CN115730015A - 基于任务标识编码解析的工业数据管理方法 - Google Patents

Abstract

本发明涉及标识解析技术领域，具体涉及一种基于任务标识编码解析的工业数据管理方法，包括：基于预设的编码规则对工业数据的采集任务进行任务标识的编码，生成对应的任务标识码；执行数据采集任务时，将采集的多源工业数据与对应的任务标识码绑定作为标识数据；完成数据采集任务后，解析对应的任务标识码得到对应的标识数据；对标识数据进行异构数据标准化处理、数据整合和数据聚合，得到对应的标准数据并进行存储。本发明能够通过任务标识编码及解析实现多源工业数据的互通，并且能够进行多源工业数据的标准化处理以生成工业互联网标准数据，从而能够提高工业数据管理的有效性和实用性。

Description

基于任务标识编码解析的工业数据管理方法

技术领域

本发明涉及标识解析技术领域，具体涉及基于任务标识编码解析的工业数据管理方法。

背景技术

我国作为制造业大国，在工业产品类型、工业设备等方面数量巨大，随之产生了海量的工业数据。工业数据作为工业互联网的核心要素，是实现智能化管理的重要基础，对运营管理优化、生产协同组织与商业模式创新具有十分重要的意义。

目前，我国工业数据在异构、异地、异主数据的流转和汇聚方面存在极大挑战。工业大数据的资源互通、共享和协作生产是工业互联网的主要诉求之一。

然而，在现阶段，由于标识体系及相关标识标准尚在建立过程中，使得工业数据采集任务的各个采集源（包括不同设备、不同操作系统、不同协议）在进行标识注册时，因标识编码规则不同，导致不同设备、不同操作系统、不同协议的标识不具有唯一性，进而导致不同设备、不同操作系统、不同协议采集的多源工业数据无法有效流通，也难以实现多源工业数据的标准化处理。因此，如何设计一种能够实现多源工业数据互通和标准化处理的工业数据管理方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于任务标识编码解析的工业数据管理方法，能够通过任务标识编码及解析实现多源工业数据的互通，并且能够进行多源工业数据的标准化处理以生成工业互联网标准数据，从而能够提高工业数据管理的有效性和实用性。

为了解决上述技术问题，本发明采用了如下的技术方案：

基于任务标识编码解析的工业数据管理方法，包括：

S1：基于预设的编码规则对工业数据的采集任务进行任务标识的编码，生成对应的任务标识码；

S2：执行数据采集任务时，将采集的多源工业数据与对应的任务标识码绑定作为标识数据；

S3：完成数据采集任务后，解析对应的任务标识码，得到对应的标识数据；

S4：对标识数据进行异构数据标准化处理、数据整合和数据聚合，得到对应的标准数据并进行存储。

优选的，步骤S1中，将任务标识码通过对应的二级节点上传至对应的国家顶级节点存储。

优选的，步骤S2中，多源工业数据包括异主数据、异地数据和异构数据。

优选的，步骤S3中，对标识数据进行一致性检查、大数据清洗和数据归一化处理。

优选的，一致性检查是指检查数据取值范围和相互关系是否满足要求，并对超出正常范围、逻辑不合理、相互矛盾的数据进行识别，同时进行无效数据、错误数据、缺失数据的估算和删除；

大数据清洗包括遗漏数据、噪声数据和不一致数据的处理；对于遗漏数据：通过手工填补遗漏值、利用默认值填补遗漏值、利用均值填补遗漏值、利用同类别均值填补遗漏值、利用最可能的值填补遗漏值的方式进行处理；对于噪声数据，通过Bin方法、人机结合检查方法、聚类分析方法、拟合函数回归方法进行数据平滑和去噪；对于不一致数据，通过关系分析保留最大可能的正确数据或手工选择保留正确数据的方式进行处理；

数据归一化处理是指对数据进行规范化、正规化和归一化处理。

优选的，步骤S4中，通过如下组件对标识数据进行异构数据标准化处理：

基础平台层，由Hadoop生态系统组件及相关数据处理工具构成，用于提供数据存储、数据计算和数据网络资源化功能，以及数据分布式流计算、数据离线批处理以及图数据计算功能；

数据处理层，由多个数据处理单元组成，用于提供数据抽取和统计分析算法，以及半结构化和非结构化数据转结构化数据处理算法、数据内容深度理解算法；

应用展示层，由微服务框架及多类前端可视化工具组成，用于对数据处理层的结果进行归纳和总结。

优选的，步骤S4中，数据整合包括数据抽取、数据清洗、数据转换和数据检查。

优选的，步骤S4中，数据聚合包括基于XML的多源工业数据聚合和基于本体的多源工业数据聚合。

优选的，通过支持分布式存储的数据资源池存储标准数据，标准数据的存储包括块存储、文件存储和对象存储三种数据存储类型。

优选的，存储标准数据后，对于结构化或半结构化的标准数据，通过典型关系型数据库访问；对于非结构化的标准数据，通过非关系型数据库访问。

本发明中基于任务标识编码解析的工业数据管理方法与现有技术相比，具有如下有益效果：

本发明通过预设的编码规则对工业数据的采集任务进行任务标识的编码生成任务标识码，一方面工业数据采集任务中各个数据采集源均统一使用唯一识别的标识码，即标识码的编码规则相同且具有唯一性；另一方面数据采集源采集的多源工业数据均与唯一识别的标识码绑定，使得能够通过标识码结合任务标识编码及解析打通不同设备、不同操作系统、不同协议采集的多源工业数据的交互壁垒，实现多源工业数据的数据标识化和标识数据互通，即能够通过任务标识编码及解析实现多源工业数据的互通。同时，本发明通过对唯一识别的标识码进行解析能够获取工业数据采集任务中所有的多源工业数据，进而对标识数据进行异构数据标准化处理、数据整合和数据聚合得到标准数据，使得能够实现不同设备、不同操作系统、不同协议采集的多源工业数据进行标准化处理，进而能够生成工业互联网标识数据，从而能够提高工业数据管理的有效性和实用性。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为基于任务标识编码解析的工业数据管理方法的逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例：

本实施例中公开了一种基于任务标识编码解析的工业数据管理方法。

如图1所示，基于任务标识编码解析的工业数据管理方法，包括：

S1：基于预设的编码规则对工业数据的采集任务进行任务标识的编码，生成对应的任务标识码；

S2：执行数据采集任务时，将采集的多源工业数据与对应的任务标识码绑定作为标识数据；

本实施例中，多源工业数据包括异主数据、异地数据和异构数据。

S3：完成数据采集任务后，解析对应的任务标识码，得到对应的标识数据；

S4：对标识数据进行异构数据标准化处理、数据整合和数据聚合，得到对应的标准数据并进行存储。

本实施例中，异构数据标准化处理、数据整合和数据聚合均可通过现有成熟手段实现。

本发明通过预设的编码规则对工业数据的采集任务进行任务标识的编码生成任务标识码，一方面工业数据采集任务中各个数据采集源均统一使用唯一识别的标识码，即标识码的编码规则相同且具有唯一性；另一方面数据采集源采集的多源工业数据均与唯一识别的标识码绑定，使得能够通过标识码结合任务标识编码及解析打通不同设备、不同操作系统、不同协议采集的多源工业数据的交互壁垒，实现多源工业数据的数据标识化和标识数据互通，即能够通过任务标识编码及解析实现多源工业数据的互通。同时，本发明通过对唯一识别的标识码进行解析能够获取工业数据采集任务中所有的多源工业数据，进而对标识数据进行异构数据标准化处理、数据整合和数据聚合得到标准数据，使得能够实现不同设备、不同操作系统、不同协议采集的多源工业数据进行标准化处理，进而能够生成工业互联网标识数据，从而能够提高工业数据管理的有效性和实用性。

具体实施过程中，将任务标识码通过对应的二级节点上传至对应的国家顶级节点存储。

本发明通过二级节点将任务标识码上传至国家顶级节点存储，能够更好的实现任务标识码的数据标识化和标识数据互通。

具体实施过程中，对标识数据进行一致性检查、大数据清洗和数据归一化处理。

一致性检查是指检查数据取值范围和相互关系是否满足要求，并对超出正常范围、逻辑不合理、相互矛盾的数据进行识别，同时进行无效数据、错误数据、缺失数据的估算和删除；

大数据清洗包括遗漏数据、噪声数据和不一致数据的处理；对于遗漏数据：通过手工填补遗漏值、利用默认值填补遗漏值、利用均值填补遗漏值、利用同类别均值填补遗漏值、利用最可能的值填补遗漏值的方式进行处理；对于噪声数据，通过Bin方法、人机结合检查方法、聚类分析方法、拟合函数回归方法进行数据平滑和去噪；对于不一致数据，通过关系分析保留最大可能的正确数据或手工选择保留正确数据的方式进行处理；

数据归一化处理是指对数据进行规范化、正规化和归一化处理。

本发明通过一致性检能够查最大限度保证数据的完整性和准确性，通过大数据清洗能够有效保留正确数据，通过数据归一化处理能够保证数据的可靠性，进而能够进一步提高工业数据管理的有效性和实用性。

具体实施过程中，异构数据标准化处理可通过现有成熟手段实现。

本实施例中，通过如下组件对标识数据进行异构数据标准化处理：

基础平台层，由Hadoop生态系统组件及相关数据处理工具构成，用于提供数据存储、数据计算和数据网络资源化功能，以及数据分布式流计算、数据离线批处理以及图数据计算功能；

数据处理层，由多个数据处理单元组成，用于提供数据抽取和统计分析算法，以及半结构化和非结构化数据转结构化数据处理算法、数据内容深度理解算法；数据处理层涉及自然语言处理、视频图像内容理解、文本挖掘与分析等，是与人工智能联系最紧密的层，该层数据处理效果的好坏直接决定了业务应用层数据统计分析的准确性和客户体验。

应用展示层，由微服务框架及多类前端可视化工具组成，用于对数据处理层的结果进行归纳和总结。

基础平台层、数据处理层和应用展示层的系统框架使用优先推荐开源生态系统及其组件实现，系统存储主要依托Hadoop分布式文件系统（Hadoopdistributedfilesystem，HDFS）、HBase，同时支持Oracle、MySQL等结构化数据存储系统，计算框架涵盖MapReduce、Storm、Spark以及定制分布式视频流处理引擎，可视化系统基于SSH框架设计，可根据实际需求，灵活配置。

具体实施过程中，数据整合可通过现有成熟手段实现。

本实施例中，数据整合包括现有成熟使用的数据抽取、数据清洗、数据转换和数据检查等方法。

其中：

数据抽取：根据设置的数据转换模型映射关系表对数据库所需的数据设计抽取规则，实现数据项全自动数据抽取，完成对应用模型数据的映射，数据结构的规范化；应用模型中基本涵盖了两类数据库的所有数据项，保证两类数据向应用模型转换后图层与属性结构的一致性。

数据清洗：针对数据项用代码表示的数据内容对抽取得到的数据进行清洗，定义清洗规则，按照标准代码字典库、数字填图要素分类及相关标准对数据代码进行翻译，以汉字形式统一表达，实现两类数据转换为应用模型数据后的属性内容表达的统一；

数据转换：首先定义两类数据符号库与应用模型符号库的映射关系；然后建立识别关系模型，完成符号库的统一；同时利用软件对数据进行格式类型转换，组织形式转换，对清洗好的数据实现投影变换，整理归并，最后按照应用模型规范要求命名，实现两类数据库整合转换后整饰表达与组织结构的统一；

数据检查：对数据进行质量检查，结合GeoMap数据生产软件、GeoCheck数据检查软件以及DGSInfo数字填图软件对空间数据与属性数据的准确性进行计算机自动检查。

对多源工业数据的汇聚，一般可采用数据集成和数据聚合的方法，常见的数据集成方法主要有联邦数据库法、数据仓库法、中介器法。数据聚合方法是主要基于语义数据模型的数据分析和处理方法，如骨架法等。数据集成并不是简单的把数据合并在一起，而是需要消除各个信息系统的异构性和数据表示方式的差异性，将不同系统中的数据通过各种技术手段进行无缝连接，并实现统一的访问。将分散的异构数据源进行集成，要经历数据采集、数据传输、数据表示、数据转换、数据存储、数据访问、数据展示和应用多个阶段。

具体实施过程中，数据聚合可通过现有成熟手段实现。

本实施例中，数据聚合包括现有成熟使用的基于XML的多源工业数据聚合、基于本体的多源工业数据聚合、多源工业数据导入和异构数据处理等方法。

其中：

基于XML的多源工业数据聚合：可扩展标记语言XML作为半结构化数据的标准之一，被广泛应用于异构数据交换。同时，围绕XML的相关研究也逐渐成熟。基于XML的异构数据集成中间件研究受到美国政府OPAL计划支持，XML具有平台独立性，所以XML可以用来解决多源工业数据中的互操作问题，其作为数据传输的一种中介格式具有良好的自描述性和扩展性，可以用来同时表示多种类型的数据，同时XMLSchema可用来进行数据模式之间的映射，将异构数据源的类型映射为XML数据类型，因此XML技术可以比较有效地解决多源工业数据聚合问题。通过基于XML的数据汇聚交换技术，可以实现现场监控节点层、核心模块层、远程监控层三个模块层异构数据的汇聚和交换。

基于本体的多源工业数据聚合：目前对多源异构安全数据聚合相关研究大多是围绕数据集成展开，侧重于数据的集成方法、分析模式等，缺少对数据语义异构的有效解决方法，如XML等均无法解决语义异构的问题，随着可穿戴技术的发展，以安全数据处理为中心的、基于本体的多源异构安全数据聚合已经逐渐成为数据安全态势感知中一个新的、重要的研究方向。

多源工业数据导入：在数据导入单元设计数据导入框架，借助不同的导入工具，实现不同源数据和不同结构数据的导入；

鉴于数据存储介质、数据存储类型和数据传输方式的差异，系统在数据导入单元设计了如下数据导入框架，借助不同的导入工具，实现不同源数据和不同结构数据的导入，其中，对实时性要求较高的监测数据以分布式消息队列的形式由Kafka分发；关系型数据库使用Sqoop等工具，直接将数据导入HDFS；对于安全等级较高的数据和其他一些离线数据，使用硬件复制或文件传输协议FTP传输的方式导入；对于日志等文本数据使用Flume工具导入；对于互联网数据使用爬虫程序爬取，并导入；对于视频等多媒体数据，使用各厂商提供的定制码流软件开发工具包SDK开发导入程序，或者利用多媒体流处理引擎直接抓取和在线处理。在智慧城市建设过程中，数据来源差异一般较大，数据库中存放的主要是经过业务系统加工后的数据，而描述行为过程的数据一般都未被记录，此时，需要定制开发能够直接连接原始数据源的数据采集工具。

异构数据处理：根据数据类型的差异，选择不同的计算和存储引擎。

根据数据类型的差异，选择不同的计算和存储引擎。对于非实时性数据计算，选择MapReduce计算引擎；对实时性要求较高的数据计算，选择Spark或Storm计算框架；对时序不可分的流媒体数据处理，选择定制流媒体计算引擎。对于结构化或键值对数据，采用Hive或HBase存储，兼容Oracle和MySQL等关系型数据库；对于日志、多媒体等半结构化和非结构化数据，采用HDFS存储。数据仓库可以统一建立在HDFS上，统一的存储有助于最大化地发挥分布式系统的数据处理能力，充分利用内网带宽，减少异构数据仓库自身性能瓶颈导致的大数据系统性能下降问题。对于结构化数据的处理主要包括内容清洗、统计分析、关联分析等；对于半结构化数据的处理涉及模板分类、字段检索、关键字段提取等；对于非结构化的标准数据的处理涉及音视频内容的结构转化、文本内容的挖掘与分析、语义理解与情感分析等。随着数据结构多样性和内容不确定性的增加，数据处理的复杂度和难度呈现指数型非线性增长，诸多数据处理问题在这个阶段转变为人工智能算法问题。

本发明通过对唯一识别的标识码进行解析能够获取工业数据采集任务中所有的多源工业数据，进而通过上述方式对标识数据进行异构数据标准化处理、数据整合和数据聚合得到标准数据，使得能够更好的实现不同设备、不同操作系统、不同协议采集的多源工业数据进行标准化处理，进而能够生成工业互联网标识数据，从而能够进一步提高工业数据管理的有效性和实用性。

具体实施过程中，通过支持分布式存储的数据资源池存储标准数据，标准数据的存储包括块存储、文件存储和对象存储三种数据存储类型。存储标准数据后，对于结构化或半结构化的标准数据，通过典型关系型数据库（如MySQL、Orcale、DB2等）访问；对于非结构化的标准数据，通过非关系型数据库访问。数据存储主要采用分布式共享存储和对象存储，支持互联网或者公网传输，解决海量数据海量并发访问的需求。

本发明中，标准数据的存储是标准数据资源池的关键部分，而数据资源池支持标准数据分布式存储与具备管理能力，能够很好的完成可弹性扩展、可动态扩展的中间件数据资源存储，并且支持结构化数据、半结构化数据和非结构化数据的存储，从而能够提高标准数据的存储效果。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于任务标识编码解析的工业数据管理方法，其特征在于，包括：

S1：基于预设的编码规则对工业数据的采集任务进行任务标识的编码，生成对应的任务标识码；

S2：执行数据采集任务时，将采集的多源工业数据与对应的任务标识码绑定作为标识数据；

S3：完成数据采集任务后，解析对应的任务标识码，得到对应的标识数据；

S4：对标识数据进行异构数据标准化处理、数据整合和数据聚合，得到对应的标准数据并进行存储。

2.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于：步骤S1中，将任务标识码通过对应的二级节点上传至对应的国家顶级节点存储。

3.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于：步骤S2中，多源工业数据包括异主数据、异地数据和异构数据。

4.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于：步骤S3中，对标识数据进行一致性检查、大数据清洗和数据归一化处理。

5.如权利要求4所述的基于任务标识编码解析的工业数据管理方法，其特征在于：

一致性检查是指检查数据取值范围和相互关系是否满足要求，并对超出正常范围、逻辑不合理、相互矛盾的数据进行识别，同时进行无效数据、错误数据、缺失数据的估算和删除；

大数据清洗包括遗漏数据、噪声数据和不一致数据的处理；对于遗漏数据：通过手工填补遗漏值、利用默认值填补遗漏值、利用均值填补遗漏值、利用同类别均值填补遗漏值、利用最可能的值填补遗漏值的方式进行处理；对于噪声数据，通过Bin方法、人机结合检查方法、聚类分析方法、拟合函数回归方法进行数据平滑和去噪；对于不一致数据，通过关系分析保留最大可能的正确数据或手工选择保留正确数据的方式进行处理；

数据归一化处理是指对数据进行规范化、正规化和归一化处理。

6.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于，步骤S4中，通过如下组件对标识数据进行异构数据标准化处理：

基础平台层，由Hadoop生态系统组件及相关数据处理工具构成，用于提供数据存储、数据计算和数据网络资源化功能，以及数据分布式流计算、数据离线批处理以及图数据计算功能；

数据处理层，由多个数据处理单元组成，用于提供数据抽取和统计分析算法，以及半结构化和非结构化数据转结构化数据处理算法、数据内容深度理解算法；

应用展示层，由微服务框架及多类前端可视化工具组成，用于对数据处理层的结果进行归纳和总结。

7.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于，步骤S4中，数据整合包括数据抽取、数据清洗、数据转换和数据检查。

8.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于，步骤S4中，数据聚合包括基于XML的多源工业数据聚合和基于本体的多源工业数据聚合。

9.如权利要求1所述的基于任务标识编码解析的工业数据管理方法，其特征在于：通过支持分布式存储的数据资源池存储标准数据，标准数据的存储包括块存储、文件存储和对象存储三种数据存储类型。

10.如权利要求9所述的基于任务标识编码解析的工业数据管理方法，其特征在于：存储标准数据后，对于结构化或半结构化的标准数据，通过典型关系型数据库访问；对于非结构化的标准数据，通过非关系型数据库访问。

Images