CN110377598A - 一种基于智能制造过程的多源异构数据存储方法 - Google Patents

一种基于智能制造过程的多源异构数据存储方法 Download PDF

Info

Publication number
CN110377598A
CN110377598A CN201810320428.2A CN201810320428A CN110377598A CN 110377598 A CN110377598 A CN 110377598A CN 201810320428 A CN201810320428 A CN 201810320428A CN 110377598 A CN110377598 A CN 110377598A
Authority
CN
China
Prior art keywords
data
source heterogeneous
storage
big file
intelligence manufacture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810320428.2A
Other languages
English (en)
Other versions
CN110377598B (zh
Inventor
王忠民
樊武东
贺炎
宋国豪
陈彦萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201810320428.2A priority Critical patent/CN110377598B/zh
Publication of CN110377598A publication Critical patent/CN110377598A/zh
Application granted granted Critical
Publication of CN110377598B publication Critical patent/CN110377598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据处理技术领域，具体涉及一种基于智能制造的多源异构数据存储方法。该方法包括以下步骤：多源异构数据采集；引入传感器缺失数据填补算法确保存储数据完整；选择可以有效存储多源异构数据的数据库；根据创建的树形映射方法进行多元异构数据存储映射；根据提出的大文件直接存储小文件通过缓冲队列与大文件进行合并方法进行多元异构数据的存储。本发明公开了一种基于智能制造的多源异构数据存储方法，其具体有以下有益效果：确保传感器数据无缺失存储；树形映射机制更加清楚表述数据之间相互关系，增加了异构数据存储的扩展性，方便查找和存储；大文件直接存储，小文件通过缓冲队列与大文件合并存储减少了存储空间浪费。

Description

一种基于智能制造过程的多源异构数据存储方法
技术领域
本发明涉及数据处理技术领域，特别涉及基于智能制造过程的多源异构数据存储方法。
背景技术
随着电子信息技术的发展，电子生产企业在生产流水线上安装了越来越多的传感器，为将来的产品故障排查提供数据支撑，也为减少残次品提供了数据支撑。
电子生产流水线上的传感器种类繁多，所产生的数据有结构化、半结构化和非结构化的大量多源异构数据。在多源异构数据的存储上，现有方法有很多不足之处；在进行传感器数据存储时，没有把传感器由于宕机、断电、源器件损坏等导致实时数据缺失的情况和数据存储融合联系在一起。
在对多源异构数据进行存储时，大多数方案以存储和查看的效率为重，在提高存储效率和减少数据存储冗余度方面都表现出色的方法较少。传统的多源异构数据存储方案中，在进行数据存储时，缺少扩展性强、易于表示的多源异构数据关系映射方案；并且很难尽可能的消除语义定义的差异，给多源化异构数据的融合造成了困难。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于智能制造过程的多源异构数据存储方法，可填补传感器因各种原因导致的缺失数据，保证数据采集的完整性。
通过使用MongoDB存储结构化、半结构化文件，音频、视频采用MongoDB内置的GridFS文件系统进行存储。
针对多源异构数据存储创建树形映射方案，使得多源异构数据在存储上具有良好的扩展性。
使用大文件直接存储、小文件通过缓冲队列与大文件合并的方法；这种方法增加了存储率，减少了存储空间浪费。
通过存储传感器数据时做出缺失数据填补的方式确保传感器数据完整的存储。
根据树形映射机制，将不同传感器数据放在不同的块中进行存储；父节点表示子节点的语义以及相互映射关系；这种存储方式，给多源异构数据的存储增加了扩展性，提高了访问效率和存储效率。
叶子节点通过大文件直接存储方式存储；小文件通过缓冲队列存储的方式进行数据的存储；降低了存储空间的冗余度。
附图说明
图1为基于智能制造过程的多源异构数据存储方法图。
图2为传感器缺失数据填补流程图。
图3为树形映射结构方案图。
图4为大文件直接存储，小文件通过缓冲队列与大文件合并流程图。
图5为多源异构数据存储方案图。
具体实施方式
针对智能制造生产线上传感器传输中断、宕机所产生的数据不完整问题，引入了一种面向统一数据模型的缺失数据填补算法。
该算法采用改进的混沌遗传优化方法估计不完整数据的均值和协方差对应的最佳参数；再根据已知数据利用改进（MCMC）方法估计缺失数据,解决了调控数据中的缺失问题。
该算法能通过较少的迭代次数获得最优的缺失数据解值；通过算法的计算使缺失数据的估计值更加准确,有效的保证了数据的准确性和完整性。
针对手机生产线上产生的多源异构数据数据库，选取MongoDB数据库进行存储；音频、视频采用MongoDB内置中的GridFS文件系统进行存储；片键使用哈希片键。
进行数据存储时，产品为根节点，传感器名称作为子节点，实际存储的数据作为叶子节点；比如温湿度传感器，它的叶子节点就是实际存储的数据。根节点数据用来表示其与子节点之间的映射关系；子节点数据用来表示它与叶子节点的映射关系。
叶子节点通过大文件直接存储，小文件通过缓冲队列进行存储的方式进行数据的存储；为了减少存储空间的冗余，大文件直接存储，小文件通过缓冲队列与大文件进行合并。
实现时，考虑存储结构一个块空间大小；大文件的定义为，大于等于块大小的一半；小文件定义为小于块大小的一半。
进行文件存储时，先通过文件大小判断语句，判断当前要存储的文件是否为大文件；如果是大文件则直接选择新的空块进行存储；如果是小文件，首先将小文件和已存储的大文件块大小进行相加判断。
若此小文件和已有大文件块空间相加后超过块大小，则此小文件暂时存放在缓冲队列中；为了避免缓冲队列过长增加存储时间，缓冲队列设定为10个文件；当小文件再次到来时，先进行小文件与已有大文件块占据空间总和进行计算；若合并后空间没有超过块大小则合并，若超过则将小文件加入缓冲队列；再用缓冲队列中的小文件进行存储判断；找到当前适合合并的小文件就进行合并。
与现有技术相比，本发明的优点有以下四点。
通过传感器数据缺失填补算法，在保证传感器数据不缺失的情况下进行数据的存储。
在确保了数据完整性的情况下，使用树形映射结构进行存储；叶子节点存放对应类型的数据，子节点存放子节点与叶子节点的映射关系，根节点存放根节点与子节点的映射关系；这样利于数据的表示和存储；增加了多源异构数据存储的扩展方便性。
针对手机生产线上产生的多源异构数据数据库，选取MongoDB数据库进行存储；音频、视频采用MongoDB内置的GridFS文件系统进行存储；片键使用哈希片键；使得存储、简单方便、快速。
对于同类型数据通过大文件直接存储；小文件通过缓冲队列和大文件进行的合并；这种方法增加了存储空间的利用率。

Claims (6)

1.一种基于智能制造过程的多源异构数据存储方法，其特征在于，包括以下步骤：
（1）多源异构数据采集；
（2）引入传感器缺失数据填补算法确保完整的存储数据；
（3）选择可以有效存储多源异构数据的数据库；
（4）根据创建的树形映射方法进行多源异构数据存储映射；
（5）根据提出的大文件直接存储小文件通过缓冲队列与大文件进行合并方法进行多源异构数据的存储。
2.根据权利要求1所述的一种基于智能制造过程的多源异构数据存储方法，其特征在于，所述的多源异构数据采集模块，其多源异构数据主要包括传感器数据；其中的异构数据包括温湿度压力传感器数据、RFID识读器数据、图片、音频视频；其在传感器数据采集前要求在数据采集前确保传感器供电和数据传输良好。
3.根据权利要求1所述的一种基于智能制造过程的多源异构数据存储方法，其特征在于，所述的引入传感器缺失数据填补算法，包括：提前对每个传感器需录取测试数据集；进一步包括：根据不同的传感器，测试分析算法的参数值。
4.根据权利要求1所述的一种基于智能制造过程的多源异构数据存储方法，其特征在于，所述的提出多源异构数据有效存储的方法，选取MongoDB数据库进行存储；针对音频、视频采用MongoDB内置中的GridFS文件系统进行存储；片键选用使用哈希片键。
5.根据权利要求1所述的一种基于智能制造过程的多源异构数据存储方法，其特征在于，所述的多源异构数据存储创建树形映射方法，将树形结构中的叶子节点设为数据存储节点；用树形结构中的父节点来进行父子节点之间关系的映射描述。
6.根据权利要求1所述的基于手机生产流水线上的多源异构数据融合方案，其特征在于，所述的大文件直接存储，小文件通过缓冲队列与大文件进行合并方法，设置缓冲队列为10个节点；其只进行相同属性数据的合并；进一步包括：规定大文件大小大于存储块大小的一半；优先小文件缓冲队列中最大文件进行合并。
CN201810320428.2A 2018-04-11 2018-04-11 一种基于智能制造过程的多源异构数据存储方法 Active CN110377598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810320428.2A CN110377598B (zh) 2018-04-11 2018-04-11 一种基于智能制造过程的多源异构数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810320428.2A CN110377598B (zh) 2018-04-11 2018-04-11 一种基于智能制造过程的多源异构数据存储方法

Publications (2)

Publication Number Publication Date
CN110377598A true CN110377598A (zh) 2019-10-25
CN110377598B CN110377598B (zh) 2023-04-07

Family

ID=68242995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810320428.2A Active CN110377598B (zh) 2018-04-11 2018-04-11 一种基于智能制造过程的多源异构数据存储方法

Country Status (1)

Country Link
CN (1) CN110377598B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590085A (zh) * 2020-04-30 2021-11-02 深圳中砼物联网科技有限公司 多源异构数据的处理方法、计算机设备、存储介质
WO2021217659A1 (zh) * 2020-04-30 2021-11-04 深圳中砼物联网科技有限公司 多源异构数据的处理方法、计算机设备、存储介质
CN117726080A (zh) * 2024-02-05 2024-03-19 南京迅集科技有限公司 多源异构数据驱动的智能制造决策系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215763A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Dynamic distributed query execution over heterogeneous sources
CN102651020A (zh) * 2012-03-31 2012-08-29 中国科学院软件研究所 一种海量传感器数据存储与查询方法
CN104239511A (zh) * 2014-09-15 2014-12-24 西安交通大学 一种面向MongoDB的用户空间文件系统实现方法
CN105956183A (zh) * 2016-05-30 2016-09-21 广东电网有限责任公司电力调度控制中心 一种分布式数据库中海量小文件的多级优化存储方法及系统
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
US20170017683A1 (en) * 2015-07-13 2017-01-19 28msec Systems And Methods For Storing And Interacting With Data From Heterogeneous Data Sources
CN106372256A (zh) * 2016-09-30 2017-02-01 浙江大学 一种面向海量Argo数据的分布式存储方法
CN107016056A (zh) * 2017-03-07 2017-08-04 西安电子科技大学 一种物联网中海量异构传感数据的分布式存储系统和方法
CN107193858A (zh) * 2017-03-28 2017-09-22 福州金瑞迪软件技术有限公司 面向多源异构数据融合的智能服务应用平台和方法
CN107193940A (zh) * 2017-05-19 2017-09-22 成都四象联创科技有限公司 大数据优化分析方法
CN107451282A (zh) * 2017-08-09 2017-12-08 南京审计大学 一种基于大数据环境下的多源数据聚合抽样策略

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215763A1 (en) * 2011-02-18 2012-08-23 Microsoft Corporation Dynamic distributed query execution over heterogeneous sources
CN102651020A (zh) * 2012-03-31 2012-08-29 中国科学院软件研究所 一种海量传感器数据存储与查询方法
CN104239511A (zh) * 2014-09-15 2014-12-24 西安交通大学 一种面向MongoDB的用户空间文件系统实现方法
US20170017683A1 (en) * 2015-07-13 2017-01-19 28msec Systems And Methods For Storing And Interacting With Data From Heterogeneous Data Sources
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN105956183A (zh) * 2016-05-30 2016-09-21 广东电网有限责任公司电力调度控制中心 一种分布式数据库中海量小文件的多级优化存储方法及系统
CN106372256A (zh) * 2016-09-30 2017-02-01 浙江大学 一种面向海量Argo数据的分布式存储方法
CN107016056A (zh) * 2017-03-07 2017-08-04 西安电子科技大学 一种物联网中海量异构传感数据的分布式存储系统和方法
CN107193858A (zh) * 2017-03-28 2017-09-22 福州金瑞迪软件技术有限公司 面向多源异构数据融合的智能服务应用平台和方法
CN107193940A (zh) * 2017-05-19 2017-09-22 成都四象联创科技有限公司 大数据优化分析方法
CN107451282A (zh) * 2017-08-09 2017-12-08 南京审计大学 一种基于大数据环境下的多源数据聚合抽样策略

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOUNG-JIN KIM ET AL.: "energy-efficient file placement techniques for heterogeneous mobile storage systems" *
夏虹 等: "面向工业的开放数据服务平台研究" *
林德南 等: "基于时间线优化医疗海量小文件数据集成技术" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590085A (zh) * 2020-04-30 2021-11-02 深圳中砼物联网科技有限公司 多源异构数据的处理方法、计算机设备、存储介质
WO2021217659A1 (zh) * 2020-04-30 2021-11-04 深圳中砼物联网科技有限公司 多源异构数据的处理方法、计算机设备、存储介质
CN113590085B (zh) * 2020-04-30 2023-06-16 广东中砼物联网科技有限公司 多源异构数据的处理方法、计算机设备、存储介质
CN117726080A (zh) * 2024-02-05 2024-03-19 南京迅集科技有限公司 多源异构数据驱动的智能制造决策系统及方法
CN117726080B (zh) * 2024-02-05 2024-04-26 南京迅集科技有限公司 多源异构数据驱动的智能制造决策系统及方法

Also Published As

Publication number Publication date
CN110377598B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN107003651B (zh) 自动化系统的控制装置
CN101266610B (zh) 一种Web活跃用户网站访问模式的在线挖掘方法
CN104699718B (zh) 用于快速引入业务数据的方法和装置
CN110377598A (zh) 一种基于智能制造过程的多源异构数据存储方法
CN109951463A (zh) 一种基于流计算和新型列式存储的物联网大数据分析方法
CN100465968C (zh) 自动化测试日志处理系统
CN103023970A (zh) 一种物联网海量数据存储方法及系统
US10666731B2 (en) IRC-infoid data standardization for use in a plurality of mobile applications
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN103412903B (zh) 基于兴趣对象预测的物联网实时搜索方法及系统
CN114138985B (zh) 文本数据处理的方法、装置、计算机设备以及存储介质
CN106294805A (zh) 数据处理方法及装置
CN103970891A (zh) 一种基于情境的用户兴趣信息查询方法
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN110109658A (zh) 一种基于形式化模型的ros代码生成器及代码生成方法
CN112464123A (zh) 一种基于微服务的水质监测数据可视化系统及方法
CN109346079A (zh) 基于声纹识别的语音交互方法及装置
CN105335466A (zh) 一种音频数据的检索方法与装置
Wu et al. Detecting rainfall events leveraging climate knowledge graphs
CN112035466B (zh) 一种区块链查询外置索引开发框架
CN114528270A (zh) 云环境下实时流数据与业务维度信息自动关联系统及方法
CN107357919A (zh) 行为日志查询系统及方法
CN109635161B (zh) 一种海量数据环境下跨域异地协同设计方法
CN116028446A (zh) 时序数据文件化管理方法、装置、设备及其存储介质
CN110222877A (zh) 一种基于自定义神经网络的负荷预测系统及负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant