CN109302389B - 一种工业大数据的上传方法 - Google Patents

一种工业大数据的上传方法 Download PDF

Info

Publication number
CN109302389B
CN109302389B CN201811100114.8A CN201811100114A CN109302389B CN 109302389 B CN109302389 B CN 109302389B CN 201811100114 A CN201811100114 A CN 201811100114A CN 109302389 B CN109302389 B CN 109302389B
Authority
CN
China
Prior art keywords
data
marker
uploading
class
subdata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811100114.8A
Other languages
English (en)
Other versions
CN109302389A (zh
Inventor
张彩霞
郭静
王向东
王新东
胡绍林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201811100114.8A priority Critical patent/CN109302389B/zh
Publication of CN109302389A publication Critical patent/CN109302389A/zh
Application granted granted Critical
Publication of CN109302389B publication Critical patent/CN109302389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种工业大数据的上传方法，包括：步骤1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，得到类数据；步骤2、将类数据进行分组，得到组数据和标记列表；步骤3、上传所述组数据和标记列表。将体量大的数据分成若干个体量小的组数据，通过这样化整为零的方式，提高数据上传的灵活度。可用于大数据上传技术中。

Description

一种工业大数据的上传方法
技术领域
本发明创造涉及计算机技术领域，特别涉及一种工业大数据的上传方法。
背景技术
随着行业应用系统的发展，各种信息系统应用数据快速增长，企业的信息化建设已逐步进入了大数据时代。
大数据由于数据量十分巨大，因此，在数据采集完毕后，就会对数据进行打包，然后将打包好的数据上传至云端，对于一个工业场景的数据，一般一个数据包的数据量就可以达到数百兆甚至更多，这么大的数据在上传的时候，灵活度不高，为了保证数据的完整度，往往需要对数据完整上传，十分不便。
发明内容
本发明的目的是提供一种灵活度高的上传的方法。
本发明解决其技术问题的解决方案是：一种工业大数据的上传方法，包括：
步骤1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，得到类数据；
步骤2、将类数据进行分组，得到组数据和标记列表；
步骤3、上传所述组数据和标记列表。
进一步，所述步骤1具体的子步骤包括：
步骤1.1、对采集得到的数据按照采集源头进行分类，分类后的数据记为准类数据；
步骤1.2、设立描述不同采集源头的标记符；
步骤1.3、将标记符对应的加载到所述准类数据中，加载标记符后的准类数据记为类数据。
进一步，所述步骤2具体的子步骤包括：
步骤2.1、将类数据中的标记符分离出来；
步骤2.2、将类数据按照顺序划分出若干个等数据量大小的子数据；
步骤2.3、给所述子数据分配描述子数据之间顺序关系的编号；
步骤2.4、复制两次所述标记符；
步骤2.5、将所述编号和第一次复制得到的标记符对应地附着在子数据中，附着标记符和编号的子数据记为组数据；
步骤2.6、将第二次复制得到的标记符汇集在表格文件中，得到标记列表。
进一步，在步骤2.5中，所述编号和第一次复制得到的标记符对应地附着在子数据的末尾。
进一步，所述第一次复制得到的标记符位于所述编号的前方。
本发明的有益效果是：将体量大的数据分成若干个体量小的组数据，通过这样化整为零的方式，提高数据上传的灵活度。可用于大数据上传技术中。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是本发明上传方法的步骤流程图；
图2是步骤1的子步骤流程图；
图3是步骤2的子步骤流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
实施例1，参考图1，一种工业大数据的上传方法，包括：
步骤1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，得到类数据；
其中，所述采集源头可以为不同的设备，可以对采集得到的数据按照不同设备进行分类，比如，将从A设备采集的数据为一类，从B设备采集的数据为另一类。
所述步骤1具体的子步骤包括：
步骤1.1、对采集得到的数据按照采集源头进行分类，分类后的数据记为准类数据；
步骤1.2、设立描述不同采集源头的标记符；例如，从A设备采集的数据，则可设立标记符a，从B设备采集的数据则可设立标记符b。
步骤1.3、将标记符对应的加载到所述准类数据中，加载标记符后的准类数据记为类数据。将标记符转换为字符串，并将字符串加载在准类数据中。
步骤2、将类数据进行分组，得到组数据和标记列表；
所述步骤2具体的子步骤包括：
步骤2.1、将类数据中的标记符分离出来；
步骤2.2、将类数据按照顺序划分出若干个等数据量大小的子数据；具体的，将类数据按照数据量的大小划分出若干个等数据量大小的子数据，例如类数据的数据量为100KB，那么可以划分出5个子数据，每一个子数据的数据量为20KB。这样可将数据量较大的类数据划分成数据量较小的子数据。
步骤2.3、给所述子数据分配描述子数据之间顺序关系的编号；
通过分配编号，使得子数据之间得到联系。
步骤2.4、复制两次所述标记符；
步骤2.5、将所述编号和第一次复制得到的标记符对应地附着在子数据中，附着标记符和编号的子数据记为组数据；
步骤2.6、将第二次复制得到的标记符汇集在表格文件中，得到标记列表。
步骤3、上传所述组数据和标记列表。
本发明将体量大的数据分成若干个体量小的组数据，通过这样化整为零的方式，提高数据上传的灵活度。
作为优化，在步骤2.5中，所述编号和第一次复制得到的标记符对应地附着在子数据的末尾。
作为优化，所述第一次复制得到的标记符位于所述编号的前方。
以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种工业大数据的上传方法，其特征在于，包括：
步骤1、从工业场景中采集数据，并对采集得到的数据按照采集源头进行分类，得到类数据；
步骤2、将类数据进行分组，得到组数据和标记列表；
步骤3、上传所述组数据和标记列表；
所述步骤1具体的子步骤包括：
步骤1.1、对采集得到的数据按照采集源头进行分类，分类后的数据记为准类数据；
步骤1.2、设立描述不同采集源头的标记符；
步骤1.3、将标记符对应的加载到所述准类数据中，加载标记符后的准类数据记为类数据；
所述步骤2具体的子步骤包括：
步骤2.1、将类数据中的标记符分离出来；
步骤2.2、将类数据按照顺序划分出若干个等数据量大小的子数据；
步骤2.3、给所述子数据分配描述子数据之间顺序关系的编号；
步骤2.4、复制两次所述标记符；
步骤2.5、将所述编号和第一次复制得到的标记符对应地附着在子数据中，附着标记符和编号的子数据记为组数据；
步骤2.6、将第二次复制得到的标记符汇集在表格文件中，得到标记列表。
2.根据权利要求1所述的一种工业大数据的上传方法，其特征在于，在步骤2.5中，所述编号和第一次复制得到的标记符对应地附着在子数据的末尾。
3.根据权利要求2所述的一种工业大数据的上传方法，其特征在于，所述第一次复制得到的标记符位于所述编号的前方。
CN201811100114.8A 2018-09-20 2018-09-20 一种工业大数据的上传方法 Active CN109302389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811100114.8A CN109302389B (zh) 2018-09-20 2018-09-20 一种工业大数据的上传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811100114.8A CN109302389B (zh) 2018-09-20 2018-09-20 一种工业大数据的上传方法

Publications (2)

Publication Number Publication Date
CN109302389A CN109302389A (zh) 2019-02-01
CN109302389B true CN109302389B (zh) 2021-03-30

Family

ID=65163825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811100114.8A Active CN109302389B (zh) 2018-09-20 2018-09-20 一种工业大数据的上传方法

Country Status (1)

Country Link
CN (1) CN109302389B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954242A (zh) * 2014-03-26 2015-09-30 洛克威尔自动控制技术股份有限公司 用于将工业数据迁移至云平台的统一数据摄取适配器
EP2924573A2 (en) * 2014-03-26 2015-09-30 Rockwell Automation Technologies, Inc. On-premise data collection and ingestion using industrial cloud agents
CN105159240A (zh) * 2015-07-23 2015-12-16 上海极熵数据科技有限公司 自动化工业设备的作业调度系统
CN108490893A (zh) * 2018-02-13 2018-09-04 烽台科技（北京）有限公司 一种工业控制方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496061B2 (en) * 2015-03-16 2019-12-03 Rockwell Automation Technologies, Inc. Modeling of an industrial automation environment in the cloud
US10764255B2 (en) * 2016-09-21 2020-09-01 Rockwell Automation Technologies, Inc. Secure command execution from a cloud monitoring system to a remote cloud agent
CN107707599A (zh) * 2017-05-26 2018-02-16 语祯物联科技（上海）有限公司 一种物联网通信设备传输文件的方法及装置
CN107995206A (zh) * 2017-12-13 2018-05-04 大唐融合通信股份有限公司 用于工业大数据的tlv通信协议格式的实现装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954242A (zh) * 2014-03-26 2015-09-30 洛克威尔自动控制技术股份有限公司 用于将工业数据迁移至云平台的统一数据摄取适配器
EP2924573A2 (en) * 2014-03-26 2015-09-30 Rockwell Automation Technologies, Inc. On-premise data collection and ingestion using industrial cloud agents
CN105159240A (zh) * 2015-07-23 2015-12-16 上海极熵数据科技有限公司 自动化工业设备的作业调度系统
CN108490893A (zh) * 2018-02-13 2018-09-04 烽台科技（北京）有限公司 一种工业控制方法、装置及设备

Also Published As

Publication number Publication date
CN109302389A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN103189922B (zh) 数据处理装置执行的方法和汇总副本图像的元数据的系统
US10496624B2 (en) Index key generating device, index key generating method, and search method
US20170337229A1 (en) Spatial indexing for distributed storage using local indexes
US8495022B1 (en) Systems and methods for synthetic backups
CN104572735B (zh) 一种图片标注词推荐方法及装置
CN111221570B (zh) 微服务框架的迁移方法、装置、设备及存储介质
CN101178726B (zh) 数据文件解归档的方法和系统
CN105518673B (zh) 管理数据摄取
EP1265155A2 (en) File tree comparator
CN111061758B (zh) 数据存储方法、装置及存储介质
CN104778192A (zh) 表示可内容寻址存储系统的目录结构
WO2016003904A1 (en) Computerized systems and methods for converting data for storage in a graph database
CN113051347A (zh) 异构数据库之间数据同步方法、系统、设备及存储介质
CN102708148B (zh) 一种基于多维点阵数据空间模型的去重方法
CN103870557A (zh) 基于数据库的电子档案存储系统
CN106331075A (zh) 用于存储文件的方法、元数据服务器和管理器
CN105183916A (zh) 一种管理非结构化数据的装置和方法
CN103473275A (zh) 一种采用多特征融合的图像自动标注方法和系统
CN103699555A (zh) 一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法
US20200334208A1 (en) Rule-based collections of subset(s) of metadata in response to a trigger event occurring
CN109302389B (zh) 一种工业大数据的上传方法
CN107885582B (zh) 异构容器集群迁移方法和控制器
CN112966040A (zh) 一种转换数据结构的方法、装置、终端以及存储介质
US10262000B1 (en) Global distributed file append using log-structured file system
CN110851868A (zh) 一种用于轨迹数据发布的位置代表元生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: 528000 Foshan Institute of science and technology, Xianxi reservoir West Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China