CN111241099A - 一种工业大数据存储方法及装置 - Google Patents

一种工业大数据存储方法及装置 Download PDF

Info

Publication number
CN111241099A
CN111241099A CN202010021094.6A CN202010021094A CN111241099A CN 111241099 A CN111241099 A CN 111241099A CN 202010021094 A CN202010021094 A CN 202010021094A CN 111241099 A CN111241099 A CN 111241099A
Authority
CN
China
Prior art keywords
data
big data
industrial big
important
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010021094.6A
Other languages
English (en)
Inventor
张彩霞
王向东
胡绍林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010021094.6A priority Critical patent/CN111241099A/zh
Publication of CN111241099A publication Critical patent/CN111241099A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/88—Detecting or preventing theft or loss

Abstract

本发明公开了一种工业大数据存储方法和装置，方法包括：建立重要数据词条表；获取工业大数据；根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；对所述工业大数据进行存储；对所述重要数据表进行存储。装置包括：工业大数据获取模块、搜索模块、存储器和处理器。通过将工业大数据中的重要数据挑选并复制进行备份。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。本发明主要用于大数据存储领域。

Description

一种工业大数据存储方法及装置
技术领域
本发明涉及大数据存储技术领域，特别涉及一种工业大数据存储方法及装置。
背景技术
智能制造的过程中会产生海量的工业大数据，动辄几十上百T，以目前的存储硬件结构，难以实现通过单个存储设备或存储器进行存储。现有对于工业大数据存储一般只是单纯的存储，并没有对重要的数据进行备份处理，或者将所有的数据进行备份处理。这种对数据的存储方式存在两个问题，一是如果对所有数据进行备份处理的话，则会耗费大量的存储空间和存储资源，二是如果不对数据进行备份处理的话，则容易造成重要的数据丢失。
发明内容
本发明目的在于提供一种工业大数据存储方法和装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为解决上述技术问题所采用的技术方案：一方面，一种工业大数据存储方法，包括：建立重要数据词条表；获取工业大数据；根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；对所述工业大数据进行存储；对所述重要数据表进行存储。
通过重要数据词条表作为对工业大数据中重要数据挑选的准则和依据。根据重要数据词条表可以从获取的工业大数据中进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中。利用重要数据表将工业大数据中的重要数据进行二次存储。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。
进一步，所述工业大数据进行存储的方式为：建立数据结构模型，将工业大数据规范化为树形结构，并进行压缩处理，将压缩处理后的工业大数据进行存储。
通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，可以更加节约存储空间。
进一步，所述数据结构模型的建立方法为通过B+树建立数据结构模型。
进一步，将压缩处理后的工业大数据以分布式存储方式进行存储。
另一方面，一种工业大数据存储装置，包括：
工业大数据获取模块，用于获取工业大数据；
搜索模块，用于根据预设的重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；
存储器；
控制器，将工业大数据和重要数据表进行存储在存储器中。
进一步，所述存储器为分布式存储器。
本发明的有益效果：一方面，将工业大数据中的重要数据挑选并复制进行备份。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。另一方面，由于本工业大数据存储装置用于执行工业大数据存储方法，故其具有工业大数据存储方法的有益效果，这里就不重复描述了。
附图说明
下面结合附图和实施例对本发明做进一步的说明；
图1是工业大数据存储方法的步骤流程图；
图2是工业大数据存储装置的模块连接结构示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，一种工业大数据存储方法，包括：
步骤1、建立重要数据词条表；
步骤2、获取工业大数据；
步骤3、根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；
步骤4、对所述工业大数据进行存储；
步骤5、对所述重要数据表进行存储。
具体的，为了准确的知道在工业大数据中哪些数据是属于重要数据，因此，需要建立重要数据词条表。所述重要数据词条表为预先建立，重要数据词条表中记录着人们定义的认为十分重要的词条，比如说工业设备的初始化参数，运行参数等等。重要数据词条表作为对工业大数据中重要数据挑选的准则和依据。根据重要数据词条表可以从获取的工业大数据中进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中。利用重要数据表将工业大数据中的重要数据进行二次存储。当完成重要数据表后，则可以将工业大数据进行存储，同时，将重要数据表进行备份存储。本工业大数据存储方法至少对重要数据进行两次存储，第一次存储为与工业大数据一起的一次存储，第二次存储为重要数据表的存储。这样一来，就实现了对工业大数据中的重要数据进行了备份。即使，源数据被损坏时，依然可以通过重要数据表对重要的数据进行保留。
本工业大数据存储方法创造性地将工业大数据中的重要数据挑选并复制进行备份。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。
在步骤4中，所述工业大数据进行存储的方式为：建立数据结构模型，将工业大数据规范化为树形结构，并进行压缩处理，将压缩处理后的工业大数据进行存储。其中，所述数据结构模型的建立方法为通过B+树建立数据结构模型。通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，可以更加节约存储空间。
在一些优选的实施例中，将压缩处理后的工业大数据以分布式存储方式进行存储。
参考图2，本发明还提供了一种工业大数据存储装置，所述工业大数据存储装置用于执行上述的工业大数据存储方法，所述工业大数据存储装置包括：
工业大数据获取模块，用于获取工业大数据；
搜索模块，用于根据预设的重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；
存储器；
控制器，将工业大数据和重要数据表进行存储在存储器中。
作为优化，所述存储器为分布式存储器。
所述一种工业大数据存储装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种工业大数据存储装置，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种工业大数据存储装置的示例，并不构成对一种工业大数据存储装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种工业大数据存储装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种工业大数据存储装置运行系统的控制中心，利用各种接口和线路连接整个一种工业大数据存储装置可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种工业大数据存储装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种工业大数据存储方法，其特征在于：包括：
建立重要数据词条表；
获取工业大数据；
根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；
对所述工业大数据进行存储；
对所述重要数据表进行存储。
2.根据权利要求1所述的一种工业大数据存储方法，其特征在于，所述工业大数据进行存储的方式为：建立数据结构模型，将工业大数据规范化为树形结构，并进行压缩处理，将压缩处理后的工业大数据进行存储。
3.根据权利要求2所述的一种工业大数据存储方法，其特征在于，所述数据结构模型的建立方法为通过B+树建立数据结构模型。
4.根据权利要求2所述的一种工业大数据存储方法，其特征在于，将压缩处理后的工业大数据以分布式存储方式进行存储。
5.一种工业大数据存储装置，其特征在于，包括：
工业大数据获取模块，用于获取工业大数据；
搜索模块，用于根据预设的重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；
存储器；
控制器，将工业大数据和重要数据表进行存储在存储器中。
6.根据权利要求5所述的一种工业大数据存储装置，其特征在于，所述存储器为分布式存储器。
CN202010021094.6A 2020-01-09 2020-01-09 一种工业大数据存储方法及装置 Pending CN111241099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010021094.6A CN111241099A (zh) 2020-01-09 2020-01-09 一种工业大数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010021094.6A CN111241099A (zh) 2020-01-09 2020-01-09 一种工业大数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN111241099A true CN111241099A (zh) 2020-06-05

Family

ID=70872529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010021094.6A Pending CN111241099A (zh) 2020-01-09 2020-01-09 一种工业大数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN111241099A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277846A1 (en) * 2021-06-28 2023-01-05 Dogus Bilgi Islem Ve Teknoloji Hiz. A.S. A security system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179472A (zh) * 2007-05-31 2008-05-14 腾讯科技（深圳）有限公司 一种网络资源搜索方法及搜索系统
CN101976246A (zh) * 2010-09-30 2011-02-16 互动在线（北京）科技有限公司 百科词条分类检索方法
CN103559270A (zh) * 2013-11-04 2014-02-05 北京中搜网络技术股份有限公司 一种词条的存储和管理方法
CN107704617A (zh) * 2017-10-25 2018-02-16 武汉科技大学 一种基于分级树形索引的关联数据的压缩方法
CN108984663A (zh) * 2018-06-28 2018-12-11 上海掌门科技有限公司 一种页面内容搜索、显示的方法及设备
CN109558489A (zh) * 2018-12-03 2019-04-02 南京中孚信息技术有限公司 文本分类方法及装置
CN109726225A (zh) * 2019-01-11 2019-05-07 广东工业大学 一种基于Storm的分布式流数据存储与查询方法
CN109815297A (zh) * 2018-12-17 2019-05-28 广州迈安信息科技有限公司 一种不依赖关系数据库的树状结构存取运算系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179472A (zh) * 2007-05-31 2008-05-14 腾讯科技（深圳）有限公司 一种网络资源搜索方法及搜索系统
CN101976246A (zh) * 2010-09-30 2011-02-16 互动在线（北京）科技有限公司 百科词条分类检索方法
CN103559270A (zh) * 2013-11-04 2014-02-05 北京中搜网络技术股份有限公司 一种词条的存储和管理方法
CN107704617A (zh) * 2017-10-25 2018-02-16 武汉科技大学 一种基于分级树形索引的关联数据的压缩方法
CN108984663A (zh) * 2018-06-28 2018-12-11 上海掌门科技有限公司 一种页面内容搜索、显示的方法及设备
CN109558489A (zh) * 2018-12-03 2019-04-02 南京中孚信息技术有限公司 文本分类方法及装置
CN109815297A (zh) * 2018-12-17 2019-05-28 广州迈安信息科技有限公司 一种不依赖关系数据库的树状结构存取运算系统
CN109726225A (zh) * 2019-01-11 2019-05-07 广东工业大学 一种基于Storm的分布式流数据存储与查询方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277846A1 (en) * 2021-06-28 2023-01-05 Dogus Bilgi Islem Ve Teknoloji Hiz. A.S. A security system

Similar Documents

Publication Publication Date Title
US8615499B2 (en) Estimating data reduction in storage systems
TWI746511B (zh) 資料表連接方法及裝置
CN108536745B (zh) 基于Shell的数据表提取方法、终端、设备及存储介质
CN110908837B (zh) 应用程序异常处理方法、装置、电子设备及存储介质
US11126359B2 (en) Partitioning graph data for large scale graph processing
CN111858730A (zh) 一种图数据库的数据导入导出装置、方法、设备及介质
CN113806301A (zh) 数据同步方法、装置、服务器及存储介质
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
US8539048B2 (en) Electronic device and method for loading configuration files using the same
CN102419753A (zh) 信息处理设备、信息处理方法和信息处理系统
CN105187562A (zh) 操作远程文件的系统及方法
CN106980618B (zh) 基于MongoDB分布式集群架构的文件存储方法和系统
CN111241099A (zh) 一种工业大数据存储方法及装置
CN112328325A (zh) 模型文件的执行方法、装置、终端设备及存储介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
US20170169044A1 (en) Property retrieval apparatus, method and system
CN111090782A (zh) 一种图数据存储方法、装置、设备及存储介质
CN115714706A (zh) 基于内嵌h5的访问加速系统、方法、存储介质及电子设备
CN111045787B (zh) 一种快速继续实验方法及系统
CN112800091A (zh) 一种流批一体式计算控制系统及方法
CN112579591B (zh) 数据校验方法、装置、电子设备及计算机可读存储介质
CN108804533B (zh) 一种异构大数据信息的过滤方法及装置
CN112506490A (zh) 一种接口生成方法、装置、电子设备及存储介质
CN112434001B (zh) 支持数据预处理的多数据源可配置MongoDB数据同步系统、电子设备及介质
CN116932779B (zh) 知识图谱的数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605