CN112241472B - 一种用于大数据状态监控系统 - Google Patents

一种用于大数据状态监控系统 Download PDF

Info

Publication number
CN112241472B
CN112241472B CN202010874065.4A CN202010874065A CN112241472B CN 112241472 B CN112241472 B CN 112241472B CN 202010874065 A CN202010874065 A CN 202010874065A CN 112241472 B CN112241472 B CN 112241472B
Authority
CN
China
Prior art keywords
data
time
storage
page turning
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010874065.4A
Other languages
English (en)
Other versions
CN112241472A (zh
Inventor
潘毅
孙国勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tigerman Polytron Technologies Inc
Original Assignee
Tigerman Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tigerman Polytron Technologies Inc filed Critical Tigerman Polytron Technologies Inc
Priority to CN202010874065.4A priority Critical patent/CN112241472B/zh
Publication of CN112241472A publication Critical patent/CN112241472A/zh
Application granted granted Critical
Publication of CN112241472B publication Critical patent/CN112241472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于大数据状态监控系统，包括数据获取单元、数据解析单元、划分单元、数据库和个人存储单元；所述数据获取单元用于获取存储信息，所述存储信息包括存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，本发明通过数据解析单元的设置，对数据获取单元内获取的存储信息进行数据分析，依据存储名称数据中的字符数据将存储数据进行分类，并依据翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据进行数据损失值计算，增加对存储数据分析的精确性，确保数据分析的准确性，节省计算时间，提高工作效率。

Description

一种用于大数据状态监控系统
技术领域
本发明涉及数据监控技术领域，具体为一种用于大数据状态监控系统。
背景技术
大数据，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
授权公告号为CN105071994A的一种海量数据监控系统，该海量数据监控系统，解决了行业应用中因数据量大而带来的数据采集监控难度较大的问题，实现了数据的分布式并行采集处理，从数据源到前置采集再到后台实时处理，都是一个单独的数据处理通道，充分解决了数据的并发性，提高了数据监控系统的数据处理容量、提升了数据处理速度、极大地扩展了系统的应用范围，但是，该海量数据监控系统，无法应用于大数据的状态监控，同时无法对存储数据的存储状态进行精确的数据分析和计算，并且在用户需要个人存储时，无法快速提供有效的存储方案，为此，我们提出一种用于大数据状态监控系统。
发明内容
本发明的目的在于提供一种用于大数据状态监控系统，通过数据解析单元和获取单元的设置，对存储信息进行快速分类和损失值计算，增加对存储数据分析的精确性，确保数据分析的准确性，增加数据信息的说服力度，节省计算时间，提高工作效率，通过存储单元、个人存储单元和划分单元的设置，来自动分析用户的存储方案，避免数据丢失，增加重要存储信息的安全性，节省用户自身选取存储数据的时间，提高工作效率。
本发明所要解决的技术问题为:
(1)如何通过数据解析单元的设置，对数据获取单元内获取的存储信息进行数据分析，依据存储名称数据中的字符数据将存储数据进行分类，并依据翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据进行数据损失值计算，来解决现有技术中无法对存储信息进行精确计算的问题；
(2)如何通过存储单元的设置，按照数据解析单元所解析的存储分类和存储名称数据损失率，对存储信息进行分类存储以及备份，并在划分单元内，依据用户意向数据和存储单元大小数据对用户的个人存储单元进行存储数量预计，快速分析预计存储量，来解决现有技术中无法快速为用户提供存储方案的问题；
本发明的目的可以通过以下技术方案实现：一种用于大数据状态监控系统，包括数据获取单元、数据解析单元、中央处理器、数据存储单元、划分单元、数据库和个人存储单元；
所述数据获取单元用于获取存储信息，所述存储信息包括存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，所述翻阅时间数据包括每次翻阅时间点数据和每次翻阅时长数据，所述传输时间数据表示为每次传输时间点数据和每次传输时长数据，并将其经中央处理器传输至数据解析单元；
所述数据解析单元用于对存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据进行解析操作，得到存储名称数据分类和存储名称数据损坏率，并将其传输至数据存储单元；
所述数据存储单元用于对存储名称数据分类和存储名称数据损坏率进行分析存储操作，得到重点备份数据和普通备份数据，并其传输至数据库内；
所述数据库接收重点备份数据和普通备份数据后，即将其存储起来；
所述个人存储单元存储有用户意向数据和存储单元大小数据，所述用户意向数据指代用户对存储名称数据的存储意向，即是否想将该存储名称数据存储到个人存储单元，所述划分单元用于对存储名称数据、存储大小数据、用户意向数据和存储单元大小数据进行公共存储和个人存储进行划分操作，划分操作的具体操作过程为：
G1：获取用户意向数据和存储单元大小数据，并将其依次标记为YYj和CD，j＝1,2,3......n3；
G2：将用户意向数据与存储名称数据进行匹配，匹配出与用户意向数据想对应的存储名称数据，并获取存储名称数据相对应的存储大小数据；
G3：将存储大小数据与存储单元大小数据一同带入到计算式：BVj＝YYj/CD，将不同大小的数据进行计算比值Bv＝YY1/YY2，其中，BVj表示为每一个存储大小数据与存储单元大小数据的比值，Bv表示为两个数据大小之间的比值；
G4：设定一个预设值N，并将其与Bv进行比较，同时计算出预设值N与Bv之间的差值，将其差值转换成相同大小的数据，获取多个名称数据，并将其数据大小进行总数相加，且总数相加的结果与存储单元大小相等，并将个存储名称提取显示，供用户自行选择。
作为本发明的进一步改进方案：数据解析操作的具体操作过程为：
步骤一：获取存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，并将其依次标记为SMi、SCi、SFi、SSi、SAi、SBi和SDi，i＝1，2，3......n1，且SMi、SCi、SFi、SSi、SAi、SBi和SDi一一对应；
步骤二：依据存储名称数据对数据信息进行分类，具体为：
S1：获取存储名称数据，并将其中的每个文字和符号标记为一个字符；
S2：设定一个字符组以及字符组对应的数据种类，字符组为两个或者两个以上的字符构成；
S3：依据上述S1和S2中的字符以及字符组进行分类识别，提取S2中的某个字符组，识别该字符组的字符个数数据，并将其标定为标本字符组，将S1中的图书名称的进行字符组合，选取与标本字符组相对应的连续字符，并将其与标本字符组进行匹配，当匹配结果一致时，则提取标本字符组对应的数据种类，并判定该存储名称数据属于该数据种类，当匹配结果不一致时，则选取另外的字符组，并重复上述操作，匹配出数据种类，将存储名称数据分类进行整理，即相同分类的数据名称进行统计归纳；
步骤三：获取某段时间内存储名称数据相对应的存储时间数据、翻阅次数数据和每次翻阅时间点数据，并将其一同带入到计算式：
Figure BDA0002652056380000041
其中，V翻i表示为翻阅频率，MFi表示为每次翻阅时间点数据；
步骤四：获取某段时间内存储名称数据相对应的存储时间数据、传输次数数据和每次传输时间点数据，并将其一同带入到计算式：
Figure BDA0002652056380000042
其中，V传i表示为传输频率，MCi表示为每次传输时间点数据；
步骤五：获取某段时间内存储名称数据相对应的每次翻阅时长数据，并将其带入到计算式：
Figure BDA0002652056380000043
其中，P翻i表示为每次平均翻阅时长，FSi表示为每次翻阅时长数据；
步骤六：获取某段时间内存储名称数据相对应的每次传输时长数据，并将其带入到计算式：
Figure BDA0002652056380000044
其中，P传i表示为每次平均传输时长，CSi表示为每次传输时长数据，某段时间界定为存储时间点到计算时间点；
步骤七：将翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据一同进行存储名称数据损失计算，得到存储名称数据损坏率。
作为本发明的进一步改进方案：分析存储操作的具体操作过程为：
C1：获取储名称数据分类和存储名称数据损坏率，将分类后的每一类存储名称数据损坏率依据存储名称数据进行从大到小排序，并将其排序后的顺序进行排序标记，依次为：A1＞A2＞A3......＞Al，l＝1,2,3......n2；
C2：设定一个损坏率预设值M，并将其与A1-Al进行比对，识别出M＝Al,并依据其选取与M对应的Al的具体数值，并将大于M的数值和小于M的数据进行类别划分，具体划分为重点备份数据和普通备份数据，且与M对应的值划分为重点备份数据；
C3：依据上述C2中的重点备份数据和普通备份数据，将与其对应的存储名称数据进行存储标记，将重点备份数据压缩后进行双重备份，将普通备份数据压缩后进行备份。
作为本发明的进一步改进方案：存储名称数据损失计算的具体计算过程为：
K1：将每次平均翻阅时长和每次翻阅时长数据带入到翻阅时长差值计算式，计算出每次平均翻阅时长和每次翻阅时长数据的阅读时长差值，将每次传输时长数据和每次平均传输时长一同带入到传输时长差值计算式，计算出每次传输时长数据和每次平均传输时长的传输时长差值，并将传输时长差值和阅读时长差值进行正负标定，差值大于零的标识为正向差值，差值小于零的标识为负向差值；
K2：获取上述步骤三至步骤六中的翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，并将其一同带入到计算式：V损＝(V翻i*u1+V传i*u2+P翻i*u3+P传i*u4+H1*e1+H2*e2+H3*e3+H4*e4)/Eu，其中，V损表示为存储名称数据损坏率，u1、u2、u3和u4分别表示为翻阅频率、传输频率、每次平均翻阅时长和每次平均传输时长对数据的损坏影响因子，H1、H2、H3和H4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，e1、e2、e3和e4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的损坏影响因子，Eu表示为翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的影响计算差值因子。
本发明的有益效果：
(1)通过数据获取单元获取存储信息，并将其经中央处理器传输至数据解析单元；数据解析单元对存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据进行解析操作，得到存储名称数据分类和存储名称数据损坏率，通过数据解析单元的设置，对数据获取单元内获取的存储信息进行数据分析，依据存储名称数据中的字符数据将存储数据进行分类，并依据翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据进行数据损失值计算，增加对存储数据分析的精确性，确保数据分析的准确性，增加数据信息的说服力度，节省计算时间，提高工作效率；
(2)数据存储单元用于对存储名称数据分类和存储名称数据损坏率进行分析存储操作，得到重点备份数据和普通备份数据，数据库接收重点备份数据和普通备份数据后，个人存储单元存储有用户意向数据和存储单元大小数据，划分单元用于对存储名称数据、存储大小数据、用户意向数据和存储单元大小数据进行公共存储和个人存储进行划分操作；通过存储单元的设置，按照数据解析单元所解析的存储分类和存储名称数据损失率，对存储信息进行分类存储以及备份，并在划分单元内，依据用户意向数据和存储单元大小数据对用户的个人存储单元进行存储数量预计，快速分析预计存储量，避免数据丢失，增加重要存储信息的安全性，节省用户自身选取存储数据的时间，提高工作效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种用于大数据状态监控系统，包括数据获取单元、数据解析单元、中央处理器、数据存储单元、划分单元、数据库和个人存储单元；
所述数据获取单元用于获取存储信息，所述存储信息包括存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，所述翻阅时间数据包括每次翻阅时间点数据和每次翻阅时长数据，所述传输时间数据表示为每次传输时间点数据和每次传输时长数据，并将其经中央处理器传输至数据解析单元；
所述数据解析单元用于对存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据进行解析操作，数据解析操作的具体操作过程为：
步骤一：获取存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，并将其依次标记为SMi、SCi、SFi、SSi、SAi、SBi和SDi，i＝1，2，3......n1，且SMi、SCi、SFi、SSi、SAi、SBi和SDi一一对应；
步骤二：依据存储名称数据对数据信息进行分类，具体为：
S1：获取存储名称数据，并将其中的每个文字和符号标记为一个字符；
S2：设定一个字符组以及字符组对应的数据种类，字符组为两个或者两个以上的字符构成；
S3：依据上述S1和S2中的字符以及字符组进行分类识别，提取S2中的某个字符组，识别该字符组的字符个数数据，并将其标定为标本字符组，将S1中的图书名称的进行字符组合，选取与标本字符组相对应的连续字符，并将其与标本字符组进行匹配，当匹配结果一致时，则提取标本字符组对应的数据种类，并判定该存储名称数据属于该数据种类，当匹配结果不一致时，则选取另外的字符组，并重复上述操作，匹配出数据种类，将存储名称数据分类进行整理，即相同分类的数据名称进行统计归纳；
步骤三：获取某段时间内存储名称数据相对应的存储时间数据、翻阅次数数据和每次翻阅时间点数据，并将其一同带入到计算式：
Figure BDA0002652056380000081
其中，V翻i表示为翻阅频率，MFi表示为每次翻阅时间点数据；
步骤四：获取某段时间内存储名称数据相对应的存储时间数据、传输次数数据和每次传输时间点数据，并将其一同带入到计算式：
Figure BDA0002652056380000082
其中，V传i表示为传输频率，MCi表示为每次传输时间点数据；
步骤五：获取某段时间内存储名称数据相对应的每次翻阅时长数据，并将其带入到计算式：
Figure BDA0002652056380000091
其中，P翻i表示为每次平均翻阅时长，FSi表示为每次翻阅时长数据；
步骤六：获取某段时间内存储名称数据相对应的每次传输时长数据，并将其带入到计算式：
Figure BDA0002652056380000092
其中，P传i表示为每次平均传输时长，CSi表示为每次传输时长数据，某段时间界定为存储时间点到计算时间点；
步骤七：将翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据一同进行存储名称数据损失计算，具体为：
K1：将每次平均翻阅时长和每次翻阅时长数据带入到翻阅时长差值计算式，计算出每次平均翻阅时长和每次翻阅时长数据的阅读时长差值，将每次传输时长数据和每次平均传输时长一同带入到传输时长差值计算式，计算出每次传输时长数据和每次平均传输时长的传输时长差值，并将传输时长差值和阅读时长差值进行正负标定，差值大于零的标识为正向差值，差值小于零的标识为负向差值；
K2：获取上述步骤三至步骤六中的翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，并将其一同带入到计算式：V损＝(V翻i*u1+V传i*u2+P翻i*u3+P传i*u4+H1*e1+H2*e2+H3*e3+H4*e4)/Eu，其中，V损表示为存储名称数据损坏率，u1、u2、u3和u4分别表示为翻阅频率、传输频率、每次平均翻阅时长和每次平均传输时长对数据的损坏影响因子，H1、H2、H3和H4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，e1、e2、e3和e4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的损坏影响因子，Eu表示为翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的影响计算差值因子；
步骤八：将存储名称数据分类和存储名称数据损坏率传输至数据存储单元；
所述数据存储单元用于对存储名称数据分类和存储名称数据损坏率进行分析存储操作，分析存储操作的具体操作过程为：
C1：获取储名称数据分类和存储名称数据损坏率，将分类后的每一类存储名称数据损坏率依据存储名称数据进行从大到小排序，并将其排序后的顺序进行排序标记，依次为：A1＞A2＞A3......＞Al，l＝1,2,3......n2；
C2：设定一个损坏率预设值M，并将其与A1-Al进行比对，识别出M＝Al,并依据其选取与M对应的Al的具体数值，并将大于M的数值和小于M的数据进行类别划分，具体划分为重点备份数据和普通备份数据，且与M对应的值划分为重点备份数据；
C3：依据上述C2中的重点备份数据和普通备份数据，将与其对应的存储名称数据进行存储标记，将重点备份数据压缩后进行双重备份，将普通备份数据压缩后进行备份，并将备份数据传输至数据库内；
所述数据库接收重点备份数据和普通备份数据后，即将其存储起来；
所述个人存储单元存储有用户意向数据和存储单元大小数据，所述用户意向数据指代用户对存储名称数据的存储意向，即是否想将该存储名称数据存储到个人存储单元，所述划分单元用于对存储名称数据、存储大小数据、用户意向数据和存储单元大小数据进行公共存储和个人存储进行划分操作，公共存储表示为存储在数据库内，个人存储表示为用户将数据存储在自己的个人存储单元内，划分操作的具体操作过程为：
G1：获取用户意向数据和存储单元大小数据，并将其依次标记为YYj和CD，j＝1,2,3......n3；
G2：将用户意向数据与存储名称数据进行匹配，匹配出与用户意向数据想对应的存储名称数据，并获取存储名称数据相对应的存储大小数据；
G3：将存储大小数据与存储单元大小数据一同带入到计算式：BVj＝YYj/CD，将不同大小的数据进行计算比值Bv＝YY1/YY2，其中，BVj表示为每一个存储大小数据与存储单元大小数据的比值，Bv表示为两个数据大小之间的比值；
G4：设定一个预设值N，并将其与Bv进行比较，同时计算出预设值N与Bv之间的差值，将其差值转换成相同大小的数据，获取多个名称数据，并将其数据大小进行总数相加，且总数相加的结果与存储单元大小相等，并将个存储名称提取显示，供用户自行选择。
上述的存储信息指代图书文稿的存储信息或者文本文件的存储信息。
本发明在工作时，数据获取单元获取存储信息，并将其经中央处理器传输至数据解析单元；数据解析单元对存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据进行解析操作，得到存储名称数据分类和存储名称数据损坏率，数据存储单元用于对存储名称数据分类和存储名称数据损坏率进行分析存储操作，得到重点备份数据和普通备份数据，数据库接收重点备份数据和普通备份数据后；个人存储单元存储有用户意向数据和存储单元大小数据，划分单元用于对存储名称数据、存储大小数据、用户意向数据和存储单元大小数据进行公共存储和个人存储进行划分操作，具体为：获取用户意向数据和存储单元大小数据，并将其依次标记为YYj和CD，j＝1,2,3......n3；将用户意向数据与存储名称数据进行匹配，匹配出与用户意向数据想对应的存储名称数据，并获取存储名称数据相对应的存储大小数据；将存储大小数据与存储单元大小数据一同带入到计算式：BVj＝YYj/CD，将不同大小的数据进行计算比值Bv＝YY1/YY2，其中，BVj表示为每一个存储大小数据与存储单元大小数据的比值，Bv表示为两个数据大小之间的比值；G4：设定一个预设值N，并将其与Bv进行比较，同时计算出预设值N与Bv之间的差值，将其差值转换成相同大小的数据，获取多个名称数据，并将其数据大小进行总数相加，且总数相加的结果与存储单元大小相等，并将个存储名称提取显示，供用户自行选择。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (1)

1.一种用于大数据状态监控系统，其特征在于，包括数据获取单元、数据解析单元、中央处理器、数据存储单元、划分单元、数据库和个人存储单元；
所述数据获取单元用于获取存储信息，所述存储信息包括存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，所述翻阅时间数据包括每次翻阅时间点数据和每次翻阅时长数据，所述传输时间数据表示为每次传输时间点数据和每次传输时长数据，并将其经中央处理器传输至数据解析单元；
所述数据解析单元用于对存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据进行解析操作，得到存储名称数据分类和存储名称数据损坏率，并将其传输至数据存储单元；
所述数据存储单元用于对存储名称数据分类和存储名称数据损坏率进行分析存储操作，得到重点备份数据和普通备份数据，并其传输至数据库内；
所述数据库接收重点备份数据和普通备份数据后，即将其存储起来；
所述个人存储单元存储有用户意向数据和存储单元大小数据，所述划分单元用于对存储名称数据、存储大小数据、用户意向数据和存储单元大小数据进行划分操作，划分操作的具体操作过程为：
G1：获取用户意向数据和存储单元大小数据，并将其依次标记为YYj和CD，j＝1,2,3......n3；
G2：将用户意向数据与存储名称数据进行匹配，匹配出与用户意向数据相对应的存储名称数据，并获取存储名称数据相对应的存储大小数据；
G3：将存储大小数据与存储单元大小数据一同带入到计算式：BVj＝YYj/CD，将不同大小的数据进行计算比值Bv＝YY1/YY2，其中，BVj表示为每一个存储大小数据与存储单元大小数据的比值，Bv表示为两个数据大小之间的比值；
G4：设定一个预设值N，并将其与Bv进行比较，同时计算出预设值N与Bv之间的差值，将其差值转换成相同大小的数据，获取多个名称数据，并将其数据大小进行总数相加，且总数相加的结果与存储单元大小相等，并将各存储名称提取显示，供用户自行选择；
数据解析操作的具体操作过程为：
步骤一：获取存储名称数据、存储时间数据、翻阅次数数据、翻阅时间数据、传输次数数据、传输时间数据和存储大小数据，并将其依次标记为SMi、SCi、SFi、SSi、SAi、SBi和SDi，i＝1，2，3......n1，且SMi、SCi、SFi、SSi、SAi、SBi和SDi一一对应；
步骤二：依据存储名称数据对数据信息进行分类，具体为：
S1：获取存储名称数据，并将其中的每个文字和符号标记为一个字符；
S2：设定一个字符组以及字符组对应的数据种类，字符组为两个或者两个以上的字符构成；
S3：依据上述S1和S2中的字符以及字符组进行分类识别，提取S2中的某个字符组，识别该字符组的字符个数数据，并将其标定为标本字符组，将S1中的图书名称的进行字符组合，选取与标本字符组相对应的连续字符，并将其与标本字符组进行匹配，当匹配结果一致时，则提取标本字符组对应的数据种类，并判定该存储名称数据属于该数据种类，当匹配结果不一致时，则选取另外的字符组，并重复上述操作，匹配出数据种类，将存储名称数据分类进行整理，即相同分类的数据名称进行统计归纳；
步骤三：获取某段时间内存储名称数据相对应的存储时间数据、翻阅次数数据和每次翻阅时间点数据，并将其一同带入到计算式：
Figure DEST_PATH_IMAGE001
其中，V翻i表示为翻阅频率，MFi表示为每次翻阅时间点数据；
步骤四：获取某段时间内存储名称数据相对应的存储时间数据、传输次数数据和每次传输时间点数据，并将其一同带入到计算式：
Figure DEST_PATH_IMAGE002
其中，V传i表示为传输频率，MCi表示为每次传输时间点数据；
步骤五：获取某段时间内存储名称数据相对应的每次翻阅时长数据，并将其带入到计算式：
Figure DEST_PATH_IMAGE003
其中，P翻i表示为每次平均翻阅时长，FSi表示为每次翻阅时长数据；
步骤六：获取某段时间内存储名称数据相对应的每次传输时长数据，并将其带入到计算式：
Figure DEST_PATH_IMAGE004
其中，P传i表示为每次平均传输时长，CSi表示为每次传输时长数据，某段时间界定为存储时间点到计算时间点；
步骤七：将翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、每次传输时长数据和每次翻阅时长数据一同进行存储名称数据损失计算，得到存储名称数据损坏率；
分析存储操作的具体操作过程为：
C1：获取储名称数据分类和存储名称数据损坏率，将分类后的每一类存储名称数据损坏率依据存储名称数据进行从大到小排序，并将其排序后的顺序进行排序标记，依次为：A1＞A2＞A3......＞Al，l＝1,2,3......n2；
C2：设定一个损坏率预设值M，并将其与A1-Al进行比对，识别出M＝Al,并依据其选取与M对应的Al的具体数值，并将大于M的数值和小于M的数据进行类别划分，具体划分为重点备份数据和普通备份数据，且与M对应的值划分为重点备份数据；
C3：依据上述C2中的重点备份数据和普通备份数据，将与其对应的存储名称数据进行存储标记，将重点备份数据压缩后进行双重备份，将普通备份数据压缩后进行备份；
存储名称数据损失计算的具体计算过程为：
K1：将每次平均翻阅时长和每次翻阅时长数据带入到翻阅时长差值计算式，计算出每次平均翻阅时长和每次翻阅时长数据的阅读时长差值，将每次传输时长数据和每次平均传输时长一同带入到传输时长差值计算式，计算出每次传输时长数据和每次平均传输时长的传输时长差值，并将传输时长差值和阅读时长差值进行正负标定，差值大于零的标识为正向差值，差值小于零的标识为负向差值；
K2：获取上述步骤三至步骤六中的翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，并将其一同带入到计算式：V损＝(V翻i*u1+V传i*u2+P翻i*u3+P传i *u4+H1*e1+H2*e2+H3*e3+H4*e4)/Eu，其中，V 损 表示为存储名称数据损坏率，u1、u2、u3和u4分别表示为翻阅频率、传输频率、每次平均翻阅时长和每次平均传输时长对数据的损坏影响因子，H1、H2、H3和H4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值，e1、e2、e3和e4分别表示为正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的损坏影响因子，Eu表示为翻阅频率、传输频率、每次平均翻阅时长、每次平均传输时长、正向传输时长差值、负向传输时长差值、正向阅读时长差值和负向阅读时长差值对数据名称的影响计算差值因子。
CN202010874065.4A 2020-08-26 2020-08-26 一种用于大数据状态监控系统 Active CN112241472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010874065.4A CN112241472B (zh) 2020-08-26 2020-08-26 一种用于大数据状态监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010874065.4A CN112241472B (zh) 2020-08-26 2020-08-26 一种用于大数据状态监控系统

Publications (2)

Publication Number Publication Date
CN112241472A CN112241472A (zh) 2021-01-19
CN112241472B true CN112241472B (zh) 2023-03-28

Family

ID=74171004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010874065.4A Active CN112241472B (zh) 2020-08-26 2020-08-26 一种用于大数据状态监控系统

Country Status (1)

Country Link
CN (1) CN112241472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080640B (zh) * 2022-07-26 2023-06-02 三三智能科技(日照)有限公司 一种基于pvdf压电薄膜超声传感器的数据存储系统及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控系统
CN109977076A (zh) * 2019-03-25 2019-07-05 段崇楷 一种基于大数据分析的历史文献分类存储方法
CN111427725A (zh) * 2020-03-26 2020-07-17 温州大学 一种大数据的数据存储系统及方法
CN111461625A (zh) * 2020-04-23 2020-07-28 河北凯通信息技术服务有限公司 一种物流监控信息交换管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控系统
CN109977076A (zh) * 2019-03-25 2019-07-05 段崇楷 一种基于大数据分析的历史文献分类存储方法
CN111427725A (zh) * 2020-03-26 2020-07-17 温州大学 一种大数据的数据存储系统及方法
CN111461625A (zh) * 2020-04-23 2020-07-28 河北凯通信息技术服务有限公司 一种物流监控信息交换管理系统

Also Published As

Publication number Publication date
CN112241472A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN103605651A (zh) 一种基于olap多维分析的数据处理展现方法
CN103297440B (zh) 应用流量特征库的建立方法和装置、网络设备
CN112241472B (zh) 一种用于大数据状态监控系统
CN111126881A (zh) 一种工程造价风险预测评估方法
CN103825784A (zh) 一种非公开协议字段识别方法及系统
CN111427725A (zh) 一种大数据的数据存储系统及方法
CN114611738A (zh) 一种基于用户用电行为分析的负荷预测方法
CN113254572B (zh) 一种基于云平台的电子文档分类监管系统
CN111092879B (zh) 日志关联方法及装置、电子设备、存储介质
CN116206093B (zh) 基于位图的电表数据采集方法、系统和可读存储介质
US20230030210A1 (en) Tea impurity data annotation method based on supervised machine learning
CN116401212A (zh) 一种基于数据分析的人事文书档案快速查找系统
CN110807174A (zh) 一种基于统计分布的污水厂厂群出水分析及异常识别方法
CN115936389A (zh) 一种基于大数据技术的评审专家与评审材料的匹配方法
CN112732865B (zh) 一种刑事案件情节对刑期影响比例的测算方法及装置
CN111507397B (zh) 一种异常数据的分析方法及装置
CN111984707A (zh) 一种营运车辆多模式跨界大数据的多层次深度融合挖掘方法
CN110175200A (zh) 一种基于人工智能算法的异常用能分析方法及系统
CN109508358B (zh) 一种基于复合优化分析的企业管理效率测度方法
CN115062300B (zh) 一种基于多通道深度卷积的入侵检测方法和系统
CN117273388B (zh) 基于云计算的数据资源质量评估与优化系统
CN114579827B (zh) 一种工业设备数据性能曲线的处理方法、装置及设备
CN114625786B (zh) 一种基于风控技术的动态数据挖掘方法及系统
CN118233135A (zh) 一种基于隔离森林算法的网络流量异常检测方法
CN117807438A (zh) 一种基于大数据的仿真系统效能评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant