CN109033279A - 一种数据处理方法及模块、计算平台及工业物联网 - Google Patents
一种数据处理方法及模块、计算平台及工业物联网 Download PDFInfo
- Publication number
- CN109033279A CN109033279A CN201810756810.8A CN201810756810A CN109033279A CN 109033279 A CN109033279 A CN 109033279A CN 201810756810 A CN201810756810 A CN 201810756810A CN 109033279 A CN109033279 A CN 109033279A
- Authority
- CN
- China
- Prior art keywords
- data
- fault
- source heterogeneous
- standardization
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据处理方法及模块、计算平台及工业物联网，所述多源异构数据处理方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。本发明极大地解决了当前诸如通信柜不具有数据分析和处理的能力的问题，可以进一步满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求。这样的多源异构数据处理方法，应用的领域及其广泛。
Description
技术领域
本发明涉及设计工业互联网及物联网领域，尤其涉及一种多源异构数据处理方法、多源异构数据处理模块、工业数据接入计算平台、信息处理模块、及工业物联网。
背景技术
在一般的工业领域里，(诸如机械加工、装备制造、交通物流、冶金能源、石油化工、生物医药、水处理等行业，在现场环境下数据间的互联互通，需要对来自总线、OPC-UA、无线、以太网等多种不同来源接收到的数据进行智能化融合，例如需要对数字化工厂、智能制造、工业云平台的边缘侧数据进行采集、学习、分析、传输等数据处理操作。
当前一般的处理方式是：在基于封闭式机柜、机箱或机架式的室内、户外通信柜中，标配有开关、工业电源、网络交换机、防火墙、信号中继器及转发器等，通过诸如光纤、铜轴电缆、双绞线等网络传输介质来实现数字信号的通信。该种方案存在以下缺点：
①对环境要求高。不适合工业厂区内安装、施工，增加改造困难，特别是环境要求严格的水源地、矿山、油井、风能、太阳能等对环境较为苛刻的地方；
②通信柜仅具备数据接收和转发能力，不具备复杂的数据分析和处理能力；因此无法满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求；
③支持类型仅限于有线信号，不支持来自不同信号源的不同类型信号的接收、分析、处理、转发，尤其是无线信号。
即便是在其他工业环境诸如具有封闭式机柜、机箱或机架式的多规格室内、户外控制及配电柜中，已然标配有开关、工业电源、工业PLC、PAC或DCS、网络交换机、防火墙、信号中继及转发器等装置，其数字信号通信方式是通过工业电气、仪表、现场总线及以太网实现数字信号的通信，同样具有上述缺点。
发明内容
为解决上述问题，本发明提供了一种数据处理方法及模块、计算平台及工业物联网。
第一方面，本发明实施例提供了一种多源异构数据处理方法，方法包括：采集所述多源异构数据；标准化处理所述采集到的多源异构数据，得到标准数据；训练和学习所述标准数据，得到故障数据和/或故障信息数据；输出所述故障数据，和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；排除所述故障数据，得到有益数据；输出所述有益数据。
上述采集所述多源异构数据的步骤包括：找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，采集1个比特位的布尔型数据；当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。
上述述标准化处理所述采集到的多源异构数据的步骤包括：对所述采集到的整型数据、布尔型数据、双精度浮点型数据、和/或字符型数据(包含语音转文字数据)进行归一化处理；对所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
上述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。
上述训练和学习所述标准数据，得到故障数据步骤包括：通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。
采用神经网络、自适应学习或专家模型等算法对上述标准数据进行比对。
上述数据处理方法还包括：对所述标准数据进行加密处理。
上述方法还包括：标准化处理所述故障数据和/所述故障信息数据，输出所述标准化后的故障数据和/故障信息数据；标准化处理所述有益数据，输出所述标准化后有益数据。
本发明通过对多源异构数据进行标准化处理得到标准化可识别的标准数据，进而识别出故障数据和有益数据，极大的方便了上位机的数据管理。极大地解决了当前诸如通信柜不具有数据分析和处理的能力的问题，可以进一步满足未来工业物联网、工业互联网和智能制造对于数据分析和处理的刚性需求。这样的多源异构数据处理方法，应用的领域及其广泛，可以应用在任何复杂的工业环境下，尤其是应用在那些环境苛刻、常规工业设备维护和管理比较复杂麻烦的情况，不仅极大的降低了人工维护和管理的成本，而且本方法提供的数据分析方法的准确性也非常高。
第二方面，本发明实施例提供了一种多源异构数据处理模块，包括：数据采集单元，用来采集所述多源异构数据；第一标准化处理单元，用来标准化处理所述采集到的多源异构数据，得到标准数据；故障数据检测单元，用来训练和学习所述标准数据，得到故障数据和/或故障信息数据；数据筛选单元，用来排除所述故障数据，得到有益数据；数据输出单元，用来输出所述故障数据和/或故障信息数据，以及输出所述有益数据。
上述数据采集单元首先找到所述多源异构数据的主体结构数据；当所述主体结构数据为开关量或事件信号时，所述数据采集单元采集1个比特位的布尔型数据；当所述主体结构数据为模拟量信号时，所述数据采集单元采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。
上述第一标准化处理单元对所述整型数据进行归一化处理；
上述第一标准化处理单元对所述归一化处理的整型数据、布尔型数据、双精度浮点型数据、字符型数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
上述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。
上述故障数据检测单元通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。
上述数据输出单元通过云传输输出所述有益数据和/或故障数据。
上述多源异构数据包括：开关量信号、现场总线基金会总线信号、基站/北斗定位信号的一种或多种。
上述多源异构数据处理模块还包括加密单元，用来对所述标准数据进行加密处理。
上述多源异构数据处理模块还包括：第二标准处理单元，标准化处理所述故障数据和/所述故障信息数据，
第三标准处理单元，标准化处理所述有益数据，所述数据输出单元，输出所述标准化后的故障数据和/故障信息数据，以及输出所述标准化后有益数据。
对比现有技术，本发明提供的多源异构数据处理模块在具备极大的方便了上位机的数据管理的基础上，其应用方式非常灵活，可以采用独立硬件产品进行实现，也可以集成在FPGA芯片中。
第三方面，本发明实施例提供了一种工业数据接入计算平台，包括任一上述的多源异构数据处理模块。
本发明提供的工业数据接入计算平台是所述多源异构数据处理模块具体实现的一种硬件产品，对比现有工业通信机柜等产品，该工业数据接入计算平台可以就近自由设置在工业设备的附近。其对来自不同设备的不同信号源进行标准化处理，并输出标准格式的有益数据和/或故障信号，进一步的还对这些信号进行进一步的处理，例如得到有益信息信号和/或故障信息信号，极大的方便了工业领域对多台设备的管理。可以应用在诸如数字化工厂、智能制造、工业云平台等多行业工业领域。
第四方面，本发明实施例提供了一种信息处理模块，包括：接受单元，用来接收来自任一上述多源异构数据处理模块的有益数据和/或故障数据和/或故障信息数据；还包括识别单元，用来识别所述有益数据和/或故障数据和/或故障信息数据上的标签，所述标签包括时间、数值、单位、量纲的一个或多个信息。
上述信息处理模块可以是虚拟仿真装置、数字孪生装置、计算机辅助制造装置或工业APP。
本发明提供的信息处理模块是对应于本发明提供的多源异构数据处理模块的上位信号接收模块，可以接收来自本发明的多源异构数据处理模块的有益数据和/或故障数据和/或故障信息数据等。相比较现有技术中的信息处理模块，本发明的信息处理模块工作更加轻松，应用成本低，可以大规模应用在多个不同工业领域中。
第五方面，本发明实施例提供了一种工业物联网，包括上述任一的工业数据接入计算平台、以及上述任一的信息处理模块，所述工业数据接入计算平台向所述信息处理模块提供所述有益数据和/或所述故障数据和/或所述故障信息数据。
上述工业物联网应用在机械加工、装备制造、交通物流、冶金能源、石油化工、生物医药、水处理等行业。
本发明基于多源异构数据的创新性发明，设计了一种工业物联网，极大地提高了现有工业物联网的数据处理精度、应用广度，以及使用便利性。
附图说明
图1为本发明提供的一种多源异构数据处理方法的实施例之一；
具体实施方式
实施例1
本实施例提供了一种多源异构数据处理方法的实施例，具体见图1，包括：
S1接收步骤，接收来自多个不同/相同信号源的数据信号。
这些来自多个不同/相同信号源的数据信号是来自但不限于诸如总线、OPC-UA、无线、以太网等多种不同来源接收到的数据信号。这些数据信号由于来源、企业/用户各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业/用户在发展过程中积累了大量采用不同存储方式的业务数据，也包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，因此构成了企业/用户的异构数据源。
S2采集步骤，采集所述多源异构数据。
设定采集时间和频率，定期对所述多源异构数据进行采集，在一个周期内对采集到的数据进行加权求平均或者采样求平均计算，然后输出一个在该周期内较为稳定的信号数据。
在具体的采集过程中，可以对所述多源异构数据进行全面的采集，也可以进行部分采集。在此本发明主要采用对多源异构数据的主体结构数据进行采集的方式。这样可以避免数据的冗余，排除杂音，提高后续计算的精准度和效率。
针对不同数据源不同格式的数据，本发明实施例采集的数据主体结构也各不相同，具体如下：
当所述主体结构数据为开关量或事件信号时，采集所述多源异构数据的1个比特位(布尔型)数据。
当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据。
当所述主体结构数据为UTF-8(兼容ASCII码)编码、或双字节信号时，采集字符型数据(包含语音转文字数据)。
S3标准化处理步骤，标准化处理所述采集到的多源异构数据，得到标准数据。
针对S2中采集到的整型数据、布尔型数据、双精度浮点型数据、字符型数据(包含语音转文字数据)进行归一化处理。具体归一化处理包括将其处理为统一的计算机可以识别的数字语言。处理结束后，给所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
在本发明中，我们对于标准数据的定义是包括有时间标签、单位标签、量纲标签的至少一种标签信号，即：标签信号+归一化后的主体结构数据。这样方便在后续做数据分析时，可以提取标准化后的时间、单位、量纲等信息进行量化、趋势等等的高精度分析。
在标准化处理步骤中，还包括隐私保护处理步骤，对标准数据进行加密处理。以保证数据的隐私安全。
S4训练和学习所述标准数据，得到故障数据。
计算机通过对标准数据进行持续比对，会得出一定的合理范围。例如当终端设备正常工作时，所采集到的终端设备数据经过标准化处理后所展现的数据范围就是合理范围。计算机可以在一个周期内持续采集终端设备的数据，并经过计算得出最终的标准合理范围区间。
具体的，本发明实施例采用神经网络、自适应学习或专家模型等算法对所述标准数据进行持续比对。
以该合理范围区间为标准，持续比对采集到的数据，并将所述合理范围以外的数据标记为离群数据，可以对该离群数据进行进一步的分析，得到并输出离群数据分析结果数据。所述离群数据以及离群数据分析结果数据都是故障数据的一种，进一步可以对故障数据进行分析得到故障信息数据。
从标准数据中排除所述故障数据，得到有益数据；
S5输出所述有益数据
S6输出所述故障数据。或对所述故障数据进行分析得到故障信息数据并输出。所述故障信息数据包括故障类型、故障时间、故障源等。
实施例2
本实施例是实施例1的具体实现方式之一。由于工业生产中，对于模拟信号的传输、测量是必不可少的，因此本实施例以模拟信号为例，具体介绍模拟信号在本发明思想下的具体实施步骤。
在此，以常用的4～20mA的电流模拟信号为示例之一。通过总线的方式接收来自终端设备的模拟信号，在t时刻对终端设备传输的电流模拟信号进行信号感知和数据采集，得到的采集结果为，X1t＝(x11 t，x12 t，x13 t，x14 t，......，x1n t)，n表示采集得到信号样本个数。
将模拟量信号转化成两组32位标准二进制数据，一组用来表示获取值的时间，一组用来表示数据真实值、量纲和单位。例如把2018年6月22日12时10分58秒表示成时间戳为1529669569，再转化为32位标准二进制为0101 1011 0010 1100 1110 0111 1100 0001，用此方法将上述采集到的电流信号进行标准化之后为之后，对数据进行加密保护，保障数据的安全性。
假设在采集的数据中出现了离群点并且表现为Error5即电流信号为0的故障，故障的出现必然是因为其关联设备的数据信号不正确。用BP神经网络对故障数据集进行数据训练和学习，便能够得到故障类型和相关设备数据信号的关系式：
Error5＝f(X1t，X2t，X3t......)
运用此关系式模型便能够实现对输入与输出关系的精确预测和判断，使系统及时作出故障排查、反应甚至反馈调节，防患于未然。
剔除数据集X1t中的离群点，并进行归一化处理，得到|X1t|，然后将归一化后的有益标准数据传入云端进行分析计算。
实施例3
本实施例是为了实现实施例1的一种多源异构数据处理模块实施例。包括：
数据接收单元，接收来自多个不同/相同信号源的数据信号。
这些来自多个不同/相同信号源的数据信号是来自但不限于诸如总线、OPC-UA、无线、以太网等多种不同来源接收到的数据信号。这些数据信号由于来源、企业/用户各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业/用户在发展过程中积累了大量采用不同存储方式的业务数据，也包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，因此构成了企业/用户的异构数据源。
数据采集单元，采集所述多源异构数据。
设定采集时间和频率，定期对所述多源异构数据进行采集，在一个周期内对采集到的数据进行加权求平均或者采样求平均计算，然后输出一个在该周期内较为稳定的信号数据。
在具体的采集过程中，可以对所述多源异构数据进行全面的采集，也可以进行部分采集。在此本发明主要采用对多源异构数据的主体结构数据进行采集的方式。这样可以避免数据的冗余，排除杂音，提高后续计算的精准度和效率。
针对不同数据源不同格式的数据，本发明实施例采集的数据主体结构也各不相同，具体如下：
当所述主体结构数据为开关量或事件信号时，采集所述多源异构数据的1个比特位(布尔型)数据。
当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据。
当所述主体结构数据为UTF-8(兼容ASCII码)编码、或双字节信号时，采集字符型数据(包含语音转文字数据)。
第一标准化处理单元，标准化处理所述采集到的多源异构数据，得到标准数据。
针对数据采集单元中采集到的整型数据、布尔型数据、双精度浮点型数据、字符型数据(包含语音转文字数据)进行归一化处理。具体归一化处理包括将其处理为统一的计算机可以识别的数字语言。处理结束后，给所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
在本发明中，我们对于标准数据的定义是包括有时间标签、单位标签、量纲标签的至少一种标签信号，即：标签信号+归一化后的主体结构数据。这样方便在后续做数据分析时，可以提取标准化后的时间、单位、量纲等信息进行量化、趋势等等的高精度分析。
在所述第一标准化处理单元中，还包括隐私保护处理模块，对标准数据进行加密处理。以保证数据的隐私安全。
故障数据检测单元，用来训练和学习所述标准数据，得到故障数据。
所述故障数据检测单元通过对标准数据进行持续比对，会得出一定的合理范围。例如当终端设备正常工作时，所采集到的终端设备数据经过标准化处理后所展现的数据范围就是合理范围。计算机可以在一个周期内持续采集终端设备的数据，并经过计算得出最终的标准合理范围区间。
具体的，本发明实施例的故障数据检测单元采用BP神经网络、自适应学习或专家模型等算法对所述标准数据进行持续比对。
所述故障数据检测单元以该合理范围区间为标准，持续比对采集到的数据，并将所述合理范围以外的数据标记为离群数据，可以对该离群数据进行进一步的分析，并得到并输出离群数据分析结果数据，所述离群数据以及利群数据分析结果数据都是故障数据的一种。进一步的，可以对故障数据进行分析得到故障信息数据。所述故障信息数据包括故障类型、故障时间、故障源等。
数据筛选单元，用来从标准数据中排除所述故障数据，得到有益数据；
数据输出单元，用来输出所述有益数据，和输出所述故障数据。或对所述故障数据进行分析得到故障信息数据并输出所述故障新型数据和/或故障数据以及有益数据。所述故障信息数据包括故障类型、故障时间、故障源等。
实施例4
本发明提供了另一种多源异构数据处理方法的实施例，其与实施例1的不同之处在于，当已经得到故障数据和/或故障信息数据、以及有益数据后，还增加了一个二次标准化处理步骤，分别对这些数据进行二次标准化处理，以保证上位机接收到的数据(例如，有益数据，和/或故障数据，和/或故障信息数据)都能够被上位机识别，以便于后续的分析操作。
实施例4的多源异构数据处理方法的其他部分与实施例1一样，在此不做赘述。
对应的，本实施例还提供了一种多源异构数据处理模块，包括：
数据采集单元，用来采集所述多源异构数据；
第一标准化处理单元，用来标准化处理所述采集到的多源异构数据，得到标准数据；
故障数据检测单元，用来训练和学习所述标准数据，得到故障数据和/或故障信息数据；
数据筛选单元，用来排除所述故障数据，得到有益数据；
第二标准处理单元，标准化处理所述故障数据和/或所述故障信息数据，
第三标准处理单元，标准化处理所述有益数据，
数据输出单元，用来输出所述故障数据和/或故障类型数据，以及输出所述有益数据。
所述第二标准处理单元和所述第三标准处理单元都是给对应的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。进一步的，所述第二标准处理单元和所述第三标准处理单元对相应的数据进行归一化检查，检查数据是否有漏缺等异常状况，并针对异常状况进行补缺等处理。
本实施例的多源异构数据处理模块的其他部分与实施例3的多源异构数据处理模块内容一样，在此不做赘述。
实施例5
本发明提供了一种工业数据接入计算平台的实施例。这种平台是对实施例1和实施例2的多源异构数据处理方法的具体实现。同样该接入平台包括了实施例3和实施例4的一种或多种多源异构数据处理模块的技术方案。具体实现方案在此不做赘述。
该工业数据接入计算平台可以应用在任何的的工业领域里，尤其是实现机械加工、装备制造、交通物流、冶金能源、石油化工、生物医药、水处理等安装、施工、改造等环境较为复杂严苛恶劣的工业环境。该工业数据接入计算平台可以实现接入来自总线、OPC-UA、无线、以太网等不同来源接入的数据，并对这些数据进行统一处理，并上传至上位机/云端。以实现对这些环境下各方数据分析和处理的刚性需求。支持到工业领域的工业物联网、工业互联网和智能制造的升级改造。
相比于传统的通信柜，本发明实施例可以实现较为复杂的数据分析和处理能力，尤其是通过对多源异构数据多类型数据接收处理以及标准化处理，大大提高设备的通用性和易用性。
实施例6
本发明提供了一种信息处理模块，可以接收上述实施例输出的所有有益数据和/或所述故障数据和/或所述故障信息数据，包括标准化前/标准化后的有益数据/故障数据/故障信息数据。
具体来讲，这种信息处理模块是上述多源异构数据处理模块实施例和工业数据接入计算平台实施例的上位机。具体表现形式可以是：虚拟仿真软件/装置、数字孪生软件/装置、计算机辅助制造软件/装置或工业APP，手机APP等。其目的就是实现对所述有益数据、所述故障数据、所述故障信息数据的及时性、便利性管理。
实施例7
本发明提供了一种工业物联网，包括：设置在各工业环境下的具体工业设备，这些工业设备具有向外部通过诸如总线、OPC-UA、无线、以太网等多种不同信息传送方式传送数据信号的功能。
例如这些工业设备可以是设置在水泥制造、钢铁冶金、污水处理、交通物流、石油化工、煤炭开采等工业环境下的具体设备，这些工业设备有的传输的是开关量/模拟量信号，有的通过总线的方式传输的是现场总线信号，有的传输的是基站/北斗定位GPS信号，有的传输的是OPC-UA或NB-LOT物联网信号，有的传输的是卫星信号。
该工业物联网实施例还包括如实施例5和6描述的工业数据接入计算平台以及实施例7所述的信息处理模块。
所述工业数据接入计算平台接收来自各工业环境下的具体工业设备的数据信号，并对这些数据信号进行清洗处理，输出对上位机(诸如实施例7所述的信息处理模块)可识别的有益数据/故障数据/故障信息数据，
上位机通过对这些数据进行处理，帮助企业实现对复杂环境下的设备管理。
具体的该工业数据接入计算平台接收来自具体工业设备的各种不同的模式信号，并进行处理。
该工业数据接入计算平台包括：
数据接收单元，接收来自不同工业设备的多个不同/相同信号源的数据信号。
数据采集单元，采集所述多源异构数据。
设定采集时间和频率，定期对所述多源异构数据进行采集，在一个周期内对采集到的数据进行加权求平均或者采样求平均计算，然后输出一个在该周期内较为稳定的信号数据。
在具体的采集过程中，可以对所述多源异构数据进行全面的采集，也可以进行部分采集。在此本发明主要采用对多源异构数据的主体结构数据进行采集的方式。这样可以避免数据的冗余，排除杂音，提高后续计算的精准度和效率。
针对不同数据源不同格式的数据，本发明实施例采集的数据主体结构也各不相同，具体如下：
当所述主体结构数据为开关量或事件信号时，采集所述多源异构数据的1个比特位(布尔型)数据。
当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据。
当所述主体结构数据为UTF-8(兼容ASCII码)编码、或双字节信号时，采集字符型数据(包含语音转文字数据)。
第一标准化处理单元，标准化处理所述采集到的多源异构数据，得到标准数据。
针对数据采集单元中采集到的整型数据、布尔型数据、双精度浮点型数据、字符型数据(包含语音转文字数据)进行归一化处理。具体归一化处理包括将其处理为统一的计算机可以识别的数字语言。处理结束后，给所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
在本发明中，我们对于标准数据的定义是包括有时间标签、单位标签、量纲标签的至少一种标签信号，即：标签信号+归一化后的主体结构数据。这样方便在后续做数据分析时，可以提取标准化后的时间、单位、量纲等信息进行量化、趋势等等的高精度分析。
在第一标准化处理单元中，还包括隐私保护处理模块，对标准数据进行加密处理。以保证数据的隐私安全。
故障数据检测单元，用来训练和学习所述标准数据，得到故障数据。
所述故障数据检测单元通过对标准数据进行持续比对，会得出一定的合理范围。例如当终端设备正常工作时，所采集到的终端设备数据经过标准化处理后所展现的数据范围就是合理范围。计算机可以在一个周期内持续采集终端设备的数据，并经过计算得出最终的标准合理范围区间。
具体的，本发明实施例的故障数据检测单元采用BP神经网络、自适应学习或专家模型等算法对所述标准数据进行持续比对。
所述故障数据检测单元以该合理范围区间为标准，持续比对采集到的数据，并将所述合理范围以外的数据标记为离群数据，可以对该离群数据进行进一步的分析，并得到并输出离群数据分析结果数据，所述离群数据以及利群数据分析结果数据都是故障数据的一种。进一步的，可以对故障数据进行分析得到故障信息数据。所述故障信息数据包括故障类型、故障时间、故障源等。
数据筛选单元，用来从标准数据中排除所述故障数据，得到有益数据；
数据输出单元，用来输出所述有益数据，和输出所述故障数据。或对所述故障数据进行分析得到故障信息数据并输出所述故障新型数据和/或故障数据以及有益数据。所述故障信息数据包括故障类型、故障时间、故障源等。
该工业数据接入计算平台还包括：
第二标准处理单元，标准化处理所述故障数据和/或所述故障信息数据，
第三标准处理单元，标准化处理所述有益数据，
所述数据输出单元，输出所述标准化后的故障数据和/故障信息数据，以及输出所述标准化后有益数据。
所述第二标准处理单元和所述第三标准处理单元都是给对应的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。进一步的，所述第二标准处理单元和所述第三标准处理单元对相应的数据进行归一化检查，检查数据是否有漏缺等异常状况，并针对异常状况进行补缺等处理。
所述工业数据接入计算平台的数据输出单元可以将这些数据输出上传至云端数据库或直接输出给上位机的指定数据库，所述上位机通过诸如虚拟仿真软件/装置、数字孪生软件/装置、计算机辅助制造软件/装置或工业APP，手机APP等方式对接收到的数据进行及时性、便利性管理。这样企业可以及时有效的处理任何来自远端复杂环境下的设备信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (22)
1.一种多源异构数据处理方法，其特征在于：所述方法包括：
采集所述多源异构数据；
标准化处理所述采集到的多源异构数据，得到标准数据；
训练和学习所述标准数据，得到故障数据和/或故障信息数据；
输出所述故障数据，
和/或对所述故障数据进行分析得到故障类型数据并输出所述故障类型数据；
排除所述故障数据，得到有益数据；
输出所述有益数据。
2.根据权利要求1所述的数据处理方法，其特征在于：
所述采集所述多源异构数据的步骤包括：
找到所述多源异构数据的主体结构数据；
当所述主体结构数据为开关量或事件信号时，采集1个比特位的布尔型数据；
当所述主体结构数据为模拟量信号时，采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；
当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。
3.根据权利要求2所述的数据处理方法，其特征在于：所述标准化处理所述采集到的多源异构数据的步骤包括：
对所述采集到的整型数据、布尔型数据、双精度浮点型数据、和/或字符型数据(包含语音转文字数据)进行归一化处理；
对所述归一化处理后的数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
4.根据权利要求1至3任一所述的数据处理方法，其特征在于：
所述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。
5.根据权利要求1至3任一所述的数据处理方法，其特征在于：
所述训练和学习所述标准数据，得到故障数据步骤包括：
通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。
6.根据权利要求5所述的数据处理方法，其特征在于：
采用神经网络、自适应学习或专家模型等算法对所述标准数据进行比对。
7.根据权利要求1至3任一所述的数据处理方法，其特征在于：
所述数据处理方法还包括：对所述标准数据进行加密处理。
8.根据权利要求1-3任一所述一种多源异构数据处理方法，其特征在于：所述方法还包括：
标准化处理所述故障数据和/所述故障信息数据，输出所述标准化后的故障数据和/故障信息数据；
标准化处理所述有益数据，输出所述标准化后有益数据。
9.一种多源异构数据处理模块，其特征在于，包括：
数据采集单元，用来采集所述多源异构数据；
第一标准化处理单元，用来标准化处理所述采集到的多源异构数据，得到标准数据；
故障数据检测单元，用来训练和学习所述标准数据，得到故障数据和/或故障信息数据；
数据筛选单元，用来排除所述故障数据，得到有益数据；
数据输出单元，用来输出所述故障数据和/或故障信息数据，以及输出所述有益数据。
10.根据权利要求9所述的多源异构数据处理模块，其特征在于，所述数据采集单元首先找到所述多源异构数据的主体结构数据；
当所述主体结构数据为开关量或事件信号时，所述数据采集单元采集1个比特位的布尔型数据；
当所述主体结构数据为模拟量信号时，所述数据采集单元采集16位整型数据，或32位整型数据，或64位双精度浮点型数据；
当所述主体结构数据为UTF-8编码、或双字节信号时，采集字符型数据。
11.根据权利要求10所述的多源异构数据处理模块，其特征在于，所述第一标准化处理单元对所述整型数据进行归一化处理；
所述第一标准化处理单元对所述归一化处理的整型数据、布尔型数据、双精度浮点型数据、字符型数据添加时间标签、单位标签、量纲标签的至少一种标签信号形成标准数据。
12.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述标准数据包括有：时间标签、单位标签、量纲标签的一个或多个标签信号。
13.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述故障数据检测单元通过对标准数据进行持续比对，设定一定范围的数据信号为合理范围，持续比对分析得到所述合理范围以外的数据，并将所述合理范围以外的数据标记为离群数据，所述离群数据是所述故障数据的一种。
14.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述数据输出单元通过云传输输出所述有益数据和/或故障数据。
15.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述多源异构数据包括：开关量信号、现场总线基金会总线信号、基站/北斗定位信号的一种或多种。
16.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述多源异构数据处理模块还包括加密单元，用来对所述标准数据进行加密处理。
17.根据权利要求9-11任一所述的多源异构数据处理模块，其特征在于，所述多源异构数据处理模块还包括：
第二标准处理单元，标准化处理所述故障数据和/所述故障信息数据，
第三标准处理单元，标准化处理所述有益数据，
所述数据输出单元，输出所述标准化后的故障数据和/故障信息数据，以及输出所述标准化后有益数据。
18.一种工业数据接入计算平台，其特征在于，包括如权利要求9至17任一所述的多源异构数据处理模块。
19.一种信息处理模块，其特征在于，包括：
接受单元，用来接收来自权利要求9至17任一所述多源异构数据处理模块的有益数据和/或故障数据和/或故障信息数据；
识别单元，用来识别所述有益数据和/或故障数据和/或故障信息数据上的标签，所述标签包括时间、数值、单位、量纲的一个或多个信息。
20.根据权利要求19所述的信息处理模块，其特征在于，所述信息处理模块可以是虚拟仿真装置、数字孪生装置、计算机辅助制造装置或工业APP。
21.一种工业物联网，其特征在于，包括如权利要求18所述的工业数据接入计算平台、以及权利要求19或20所述的信息处理模块，所述工业数据接入计算平台向所述信息处理模块提供所述有益数据和/或所述故障数据和/或所述故障信息数据。
22.根据权利要求20所述的工业物联网，其特征在于，所述工业物联网应用在机械加工、装备制造、交通物流、冶金能源、石油化工、生物医药、水处理等行业。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810688119 | 2018-06-28 | ||
| CN2018106881190 | 2018-06-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109033279A true CN109033279A (zh) | 2018-12-18 |
Family
ID=64640858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810756810.8A Pending CN109033279A (zh) | 2018-06-28 | 2018-07-11 | 一种数据处理方法及模块、计算平台及工业物联网 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109033279A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109617975A (zh) * | 2018-12-24 | 2019-04-12 | 武汉大音科技有限责任公司 | 一种基于窄带物联网天线技术的云加工平台技术及方法 |
| CN110658795A (zh) * | 2019-10-10 | 2020-01-07 | 北京航空航天大学 | 一种数字孪生数据精准融合方法和系统 |
| CN113189922A (zh) * | 2021-05-28 | 2021-07-30 | 四川车小米汽车科技有限公司 | 一种房车控制系统、方法、设备及计算机可读介质 |
| CN113487936A (zh) * | 2021-07-26 | 2021-10-08 | 广州星锐传媒信息科技有限公司 | 一种基于多维连续信号分析的模拟驾驶评判方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102573047A (zh) * | 2012-03-11 | 2012-07-11 | 上海宜云物联科技有限公司 | 无线传感器网络多协议网关的数据传输方法及网关 |
| CN104791187A (zh) * | 2015-04-08 | 2015-07-22 | 武汉四创自动控制技术有限责任公司 | 能实现健康状态预测的水轮机调节系统及方法 |
| CN105894383A (zh) * | 2015-05-22 | 2016-08-24 | 重庆和航物联网技术研究院有限公司 | 基于物联网的火灾投保系统及方法 |
| CN107038506A (zh) * | 2017-05-09 | 2017-08-11 | 华东师范大学 | 一种工厂智能预警方法 |
| WO2017193497A1 (zh) * | 2016-05-09 | 2017-11-16 | 包磊 | 基于融合模型的智能化健康管理服务器、系统及其控制方法 |
-
2018
- 2018-07-11 CN CN201810756810.8A patent/CN109033279A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102573047A (zh) * | 2012-03-11 | 2012-07-11 | 上海宜云物联科技有限公司 | 无线传感器网络多协议网关的数据传输方法及网关 |
| CN104791187A (zh) * | 2015-04-08 | 2015-07-22 | 武汉四创自动控制技术有限责任公司 | 能实现健康状态预测的水轮机调节系统及方法 |
| CN105894383A (zh) * | 2015-05-22 | 2016-08-24 | 重庆和航物联网技术研究院有限公司 | 基于物联网的火灾投保系统及方法 |
| WO2017193497A1 (zh) * | 2016-05-09 | 2017-11-16 | 包磊 | 基于融合模型的智能化健康管理服务器、系统及其控制方法 |
| CN107038506A (zh) * | 2017-05-09 | 2017-08-11 | 华东师范大学 | 一种工厂智能预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 党宏: "电力信息通信设备故障预警分析系统的研究与应用", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109617975A (zh) * | 2018-12-24 | 2019-04-12 | 武汉大音科技有限责任公司 | 一种基于窄带物联网天线技术的云加工平台技术及方法 |
| CN110658795A (zh) * | 2019-10-10 | 2020-01-07 | 北京航空航天大学 | 一种数字孪生数据精准融合方法和系统 |
| CN113189922A (zh) * | 2021-05-28 | 2021-07-30 | 四川车小米汽车科技有限公司 | 一种房车控制系统、方法、设备及计算机可读介质 |
| CN113487936A (zh) * | 2021-07-26 | 2021-10-08 | 广州星锐传媒信息科技有限公司 | 一种基于多维连续信号分析的模拟驾驶评判方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033279A (zh) | 一种数据处理方法及模块、计算平台及工业物联网 | |
| Ryalat et al. | Design of a smart factory based on cyber-physical systems and Internet of Things towards Industry 4.0 | |
| Saturno et al. | Proposal of an automation solutions architecture for Industry 4.0 | |
| Tabaa et al. | Industrial communication based on modbus and node-RED | |
| Ahmadi et al. | A review of CPS 5 components architecture for manufacturing based on standards | |
| CN101510092B (zh) | 水电解制氢远程控制系统 | |
| US20130297055A1 (en) | Network-based control method and system for controlling a whole-flow production process | |
| CN109032099A (zh) | 工程机械总装生产线在线感知系统 | |
| CN102426525A (zh) | 一种多应用系统的全景建模方法 | |
| CN103529799A (zh) | 金属制盖生产线信息服务方法及系统 | |
| CN103905410A (zh) | 一种将自定义协议转换成Modbus协议的多路通讯协议转换器 | |
| Jurišić et al. | Laboratory test bed for analyzing fault-detection reaction times of protection relays in different substation topologies | |
| Găitan et al. | Experimental implementation and performance evaluation of an IoT access gateway for the modbus extension | |
| CN111897295A (zh) | 一种工业控制系统数据采集方法和系统 | |
| Korodi et al. | Achieving interoperability using low-cost middleware OPC UA wrapping structure. Case study in the water industry | |
| Husejnagić et al. | A conceptual framework for a ubiquitous autonomous work system in the engineer-to-order environment | |
| CN111786988A (zh) | 一种基于5g的船岸数据交互系统 | |
| CN107222513A (zh) | 基于gis的mes实时数据显示及报警的方法 | |
| CN203219328U (zh) | 一种多路通讯协议转换器 | |
| Barig et al. | Assistance systems for industry 4.0 environments | |
| Chakravorti et al. | Validation of PERFoRM reference architecture demonstrating an application of data mining for predicting machine failure | |
| CN203573358U (zh) | 一种中间物料位置获取系统 | |
| KR102453852B1 (ko) | 센서 데이터 처리 시스템 | |
| CN114745141A (zh) | Fpso原油外输辅助决策系统 | |
| Vasylenko et al. | Design of information and measurement systems within the Industry 4.0 paradigm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |