CN114006928A - 一种基于多协议实时通信的物联网数据处理方法 - Google Patents
一种基于多协议实时通信的物联网数据处理方法 Download PDFInfo
- Publication number
- CN114006928A CN114006928A CN202111297842.4A CN202111297842A CN114006928A CN 114006928 A CN114006928 A CN 114006928A CN 202111297842 A CN202111297842 A CN 202111297842A CN 114006928 A CN114006928 A CN 114006928A
- Authority
- CN
- China
- Prior art keywords
- data
- protocol
- conversion
- internet
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 136
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 177
- 238000013500 data storage Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000003999 initiator Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Communication Control (AREA)
Abstract
本发明提供了一种基于多协议实时通信的物联网数据处理方法,包括:对物联网数据按照数据类型进行存储,每种数据类型对应一个独立的数据存储空间;根据多协议通信请求,从所述数据存储空间获取服务数据;基于所述多协议通信请求中的通信协议信息,确定数据转换规则,并基于所述数据转换规则,得到目标数据;通过对物联网数据进行分类存储,有利于对数据的查找和获取,并基于多协议通信请求,对数据进行转换,实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种基于多协议实时通信的物联网数据处理方法。
背景技术
通常一个公司里面有多台服务器为用户提供服务,而不同的服务器采用的通信协议均不一样,为了避免用户针对每一个服务器采用不同的通信协议,一般会采用多协议平台作为通信接口形成一个整体的多协议服务系统。
目前,各种物联网数据数量众多,类型丰富,缺乏对物联网数据的管理,并且由于不同的服务器所使用的编程语言不一样,造成各个服务器之间的数据不兼容,不同协议之间的数据交互操作不方便,不能实现对物联网数据的有效使用。
发明内容
本发明提供一种基于多协议实时通信的物联网数据处理方法,基实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
本发明提供一种基于多协议实时通信的物联网数据处理方法,包括:
步骤1:对物联网数据按照数据类型进行存储,每种数据类型对应一个独立的数据存储空间;
步骤2:根据多协议通信请求,从所述数据存储空间获取服务数据;
步骤3:基于所述多协议通信请求中的通信协议信息,确定数据转换规则,并基于所述数据转换规则,得到目标数据。
在一种可能实现的方式中,
步骤1之前,还包括:确定所述物联网数据的数据类型,包括:
提取每个数据类型的类型特征,并建立数据类型和类型特征的映射关系;
对所述物联网数据按照数据属性进行数据划分,得到多组物联网数据;
对每组物联网数据按照预设规则进行采样,得到预设数量的待分析数据;
对所述待分析数据进行特征提取,得到数据特征,并计算所述数据特征和类型特征之间的匹配度;
选取匹配度最高的类型特征作为所述数据特征的最终类型特征,并根据所述映射关系,确定所述待分析数据所在该组物联网数据的数据类型。
在一种可能实现的方式中,
步骤1中,对物联网数据按照数据类型进行存储包括:
根据数据类型为每个存储空间确定数据存储规则;
按照所述数据存储规则对所述物联网数据进行处理,并存储至对应的数据存储空间中。
在一种可能实现的方式中,
步骤1中,每个所述独立的数据存储空间对应不同的数据存储规则。
在一种可能实现的方式中,
步骤2中,根据多协议通信请求,从所述数据存储空间获取服务数据包括:
对所述多协议通信请求进行分析,获取通信目的,确定所述通信目的所需的数据内容;
基于所述数据内容,从所述数据存储空间进行遍历,获取所需的物联网数据所在的存储地址;
基于所述存储地址确定对用的数据获取方式,判断所述数据获取方式是否需要进行身份认证;
若是,对请求发起者身份进行认证,并在认证成功后,将所述存储地址对应的物联网数据进行输出,得到所述服务数据;
否则,将所述存储地址对应的物联网数据直接进行输出,得到所述服务数据。
在一种可能实现的方式中,
步骤3中,基于所述多协议通信请求中的通信协议信息,确定数据转换规则包括:
对所述多协议通信请求进行解析,得到二进制数据,并基于协议对照表将所述二进制数据转换为协议码;
确定每个协议通信请求对应的服务器标识,并基于所述服务器标识确定所述服务器的通信参数数值;
建立所述协议码与通信参数数值之间的映射关系,得到标准通信协议;
对所述标准通信协议进行划分,得到多个子协议,并确定每个子协议之间的结构关系;
以所述标准通信协议作为根节点,将子协议作为子节点,根据所述结构关系,生成树形结构;
遍历所述树形结构,获取每个子节点的子协议特征、子节点结构特征;
从协议解析程序库中获取与所述子协议特征对应的子协议解析程序,并基于所述子节点结构特征,将所述子协议解析程序进行组合,得到协议解析程序;
判断所述协议解析程序与所述标准通信协议之间的适配度是否大于预设适配度;
若是,确定所述协议解析程序满足对应协议的解析需求;
否则,对所述子节点结构特征进行优化,并根据优化后的子节点结构特征获得新的协议解析程序;
获取所述多协议通信请求每个协议对应的协议解析程序,并确定每个协议解析程序对应的目标数据格式;
获取所述多协议通信请求每个协议对应的通信接口,并基于所述目标数据格式,为所述每个通信接口设置目标数据格式标签;
获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则,并建立所述数据转换规则与所述目标数据格式标签之间的关系标识符;
基于所述关系标识符,为每个所述通信接口设置数据转换规则。
在一种可能实现的方式中,
获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则包括:
从数据转换表中所述初始数据格式到目标数据格式的中间转换数据格式;
基于所述中间转换数据格式,确定转换次数,及每次转换的转换方式;
基于所述转换次数、转换方式,确定数据转换规则。
在一种可能实现的方式中,
步骤3中,基于所述数据转换规则,得到目标数据包括:
对所述数据转换规则进行解析,确定每种协议下的转换次数和转换方式;
基于所述转换次数、转换方式为每种协议下的通信接口进行配置,得到配置文件;
对所述配置文件进行解析,得到源文件信息、目标文件信息和中间文件信息;
基于所述源文件信息、中间文件信息,确定第一转换变量,并基于所述第一转换变量对所述初始数据进行转换,得到第一中间数据;
对所述中间文件信息进行解析,得到第一数据参数范围,并判断所述第一中间数据是否在所述第一数据参数范围内;
若不在,基于所述第一中间数据的偏差,对所述第一转换变量进行修正,得到第二转换变量,从而得到第二中间数据;
否则,将所述第一中间数据作为第二中间数据;
基于所述中间文件信息、源文件信息,确定第三转换变量,并基于所述第三转换变量对所述第二中间数据进行转换,得到第一结果数据;
对所述目标文件信息进行解析,得到第二数据参数范围,并判断所述第一结果数据是否在所述第二数据参数范围内;
若是,将所述第一结果数据作为第二结果数据;
否则,基于所述第一结果数据的偏差,对所述第三转换变量进行修正,得到第四转换变量,从而得到第二结果数据;
基于所述第一转换变量、第二转换变量、第三转换变量、第四转换变量,为所述通信接口建立数据转换通道;
将所述服务数据输入所述数据转换通道中,从所述通信接口输出,得到第三结果数据,并判断所述第三结果数据与所述第二结果数据的参数范围是否一致;
若是,表明所述服务数据转换成功,所述第三结果数据即为所述目标数据;
否则,表明所述服务数据转换失败,需对所述进行优化后,进行再次转换,直到所述服务数据转换成功。
在一种可能实现的方式中,
还包括:
根据不同协议对应的数据转换规则,建立对应的数据转换通道,得到在多协议实时通信下的数据转换通道布局;
基于所述数据转换通道布局,实现在多协议实时通信下的数据转换,得到所述目标数据。
在一种可能实现的方式中,
确定所述待分析数据所在该组物联网数据的数据类型后,还包括:
将所述待分析数据所在该组物联网数据的数据类型作为第一数据类型;
将该组物联网数据划分为若干个预设容量的数据块,并计算数据块属于所述数据类型的概率;
判断所述数据块属于所述第一数据类型的概率是否大于预设概率;
若是,确定所述数据块属于所述第一数据类型;
否则,对所述数据块进行拆分,提取所述数据块中不符合所述第一数据类型的子数据块;
根据所述子数据块的数据特征差异值,确定所述子数据块的第二数据类型,并将所述子数据块从所述该组物联网数据中提取至所述第二数据类型所在的物联网数据组。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于多协议实时通信的物联网数据处理方法的流程图;
图2为本发明实施例中对物联网数据进行存储的流程图;
图3为本发明实施例中获取服务数据的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,如图1所示,包括:
步骤1:对物联网数据按照数据类型进行存储,每种数据类型对应一个独立的数据存储空间;
步骤2:根据多协议通信请求,从所述数据存储空间获取服务数据;
步骤3:基于所述多协议通信请求中的通信协议信息,确定数据转换规则,并基于所述数据转换规则,得到目标数据。
在该实施例中,所述物联网数据的数据类型包括状态数据、可供行为参考数据、反馈数据、定位数据和个性化数据,不同类型的数据存储在不同数据存储空间,实现对不同类型数据的管理,方便数据的查找与获取。
在该实施例中,从所述数据存储空间获取服务数据为根据所述多协议通信请求中的数据用途来确定。
在该实施例中,对所述服务数据进行数据转换,使目标数据满足通信协议要求,实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
上述设计方案的有益效果是:通过对物联网数据进行分类存储,有利于对数据的查找和获取,并基于多协议通信请求,对数据进行转换,实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
实施例2
基于实施例2的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,步骤1中,对物联网数据按照数据类型进行存储包括:
提取每个数据类型的类型特征,并建立数据类型和类型特征的映射关系;
对所述物联网数据按照数据属性进行数据划分,得到多组物联网数据;
对每组物联网数据按照预设规则进行采样,得到预设数量的待分析数据;
对所述待分析数据进行特征提取,得到数据特征,并计算所述数据特征和类型特征之间的匹配度;
选取匹配度最高的类型特征作为所述数据特征的最终类型特征,并根据所述映射关系,确定所述待分析数据所在该组物联网数据的数据类型。
在该实施例中,所述预设规则例如可以是根据每组物联网数据的数量,确定采样间隔,并按照所述采样间隔采样得到待分析数据。
在该实施例中,例如所述数据特征中数据随时间变化而产生改变,而类型特征为动态数据,此时,所述数据特征和类型特征匹配度很高,可确定所述待分析数据所在该组物联网数据为状态数据。
上述设计方案的有益效果是:通过按照数据类型的特征,根据物联网数据的特征和数据类型特征的匹配度,得到物联网数据的类型,为物联网数据的分类存储提供了基础,为之后数据的查找、转换提供了基础。
实施例3
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,如图2所示,步骤1中,对物联网数据按照数据类型进行存储包括:
步骤11,根据数据类型为每个存储空间确定数据存储规则;
步骤12,按照所述数据存储规则对所述物联网数据进行处理,并存储至对应的存储空间中。
在该实施例中,所述数据存储规则包括数据存储安全等级、数据存储加密等级、数据存储要求、数据存储获取方式等,例如,对于数据类型为个性化数据来说,要为此数据设置较高的安全等级和加密等级,数据存储获取方式要通过认证来获取,而对于数据类型为状态数据来说,此数据的存储可不用设置较高的加密等级,但要对存储时的数据进行标准化,使得状态参数属性一致,此数据可无需认证即可获取。
上述设计方案的有益效果是:通过根据每个数据类型的特点,来确定不同的数据存储规则,为不同的数据类型选择合适的方式进行存储,保证了对存储数据的安全性和标准化,便于之后对数据的查找和获取。
实施例4
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,步骤1中,每个所述独立的数据存储空间对应不同的数据存储规则。
上述设计方案的有益效果是:通过为每个独立的数据存储空间对应不同的数据存储规则。根据每种数据类型的特点,为每个独立的数据存储空间设置合理的存储规则,保证了每种数据类型存储的合理性。
实施例5
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,如图3所示,步骤2中,根据多协议通信请求,从所述数据存储空间获取服务数据包括:
步骤21,对所述多协议通信请求进行分析,获取通信目的,确定所述通信目的所需的数据内容;
步骤22,基于所述数据内容,从所述数据存储空间进行遍历,获取所需的物联网数据所在的存储地址;
步骤23,基于所述存储地址确定对用的数据获取方式,判断所述数据获取方式是否需要进行身份认证;
步骤24,若是,对请求发起者身份进行认证,并在认证成功后,将所述存储地址对应的物联网数据进行输出,得到所述服务数据;
步骤25,否则,将所述存储地址对应的物联网数据直接进行输出,得到所述服务数据。
在该实施例中,所述通信目的例如是获取某品牌的销售情况,则对应的数据内容包括状态数据为销售量情况、反馈数据为客户反馈情况。
上述设计方案的有益效果是:根据所述多协议通信请求的通信目的来确定所需的服务数据,并根据服务数据所在的存储地址确定数据获取方式,按照所述数据获取方式来获取服务数据,有利于对数据的查找和获取,并保证了获取数据的安全性。
实施例6
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,步骤3中,基于所述多协议通信请求中的通信协议信息,确定数据转换规则包括:
对所述多协议通信请求进行解析,得到二进制数据,并基于协议对照表将所述二进制数据转换为协议码;
确定每个协议通信请求对应的服务器标识,并基于所述服务器标识确定所述服务器的通信参数数值;
建立所述协议码与通信参数数值之间的映射关系,得到标准通信协议;
对所述标准通信协议进行划分,得到多个子协议,并确定每个子协议之间的结构关系;
以所述标准通信协议作为根节点,将子协议作为子节点,根据所述结构关系,生成树形结构;
遍历所述树形结构,获取每个子节点的子协议特征、子节点结构特征;
从协议解析程序库中获取与所述子协议特征对应的子协议解析程序,并基于所述子节点结构特征,将所述子协议解析程序进行组合,得到协议解析程序;
判断所述协议解析程序与所述标准通信协议之间的适配度是否大于预设适配度;
若是,确定所述协议解析程序满足对应协议的解析需求;
否则,对所述子节点结构特征进行优化,并根据优化后的子节点结构特征获得新的协议解析程序;
获取所述多协议通信请求每个协议对应的协议解析程序,并确定每个协议解析程序对应的目标数据格式;
获取所述多协议通信请求每个协议对应的通信接口,并基于所述目标数据格式,为所述每个通信接口设置目标数据格式标签;
获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则,并建立所述数据转换规则与所述目标数据格式标签之间的关系标识符;
基于所述关系标识符,为每个所述通信接口设置数据转换规则。
在该实施例中,所述二进制数据以字节为单位,每一个字节对应协议码中的一位。
在该实施例中,所述通信参数数值包括所述服务器设定的数据格式、同步方式、传送速度、纠错方式、字符定义等进行通信时所要遵守的规则数值,所述子协议即为每种参数数值确定的子协议。
在该实施例中,所述结构关系例如是:数据格式子协议在前、纠错方式子协议在后;数据格式子协议与字符定义子协议平行。
在该实施例中,对所述子节点结构特征进行优化,并根据优化后的子节点结构特征获得新的协议解析程序,可以提高协议解析程序和标准通信协议之间的适配性,使得到的目标数据格式更加准确。
在该实施例中,所述协议解析程序用于对所述服务数据的解析,实现服务数据的通信。
上述设计方案的有益效果是:通过根据所述多协议通信请求中的通信协议信息,得到标准通信协议,并从协议解析程序库中获取与所述标准通信协议适配的协议解析程序,通过所述协议解析程序来确定每种协议下的目标数据格式,从而确定数据转换规则,实现服务数据在多协议下的通信。
实施例7
基于实施例6的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则包括:
从数据转换表中所述初始数据格式到目标数据格式的中间转换数据格式;
基于所述中间转换数据格式,确定转换次数,及每次转换的转换方式;
基于所述转换次数、转换方式,确定数据转换规则。
在该实施例中,每两种数据格式如果进行强制转换,可能会损失数据的精度,导致前后数据产生误差,且可能出现容易超过取值范围等情况,所以需要根据数据转换表中的数据格式转换关系进行多次转换,最终得到目标格式数据,提高了在目标数据格式下数据的精度。
上述设计方案的有益效果是:通过根据数据转换表确定转换次数、转换方式,最终得到数据转换规则,保证了数据转换过程中数据的精度,使在目标数据格式下更好地保证数据的精确性。
实施例8
基于实施例1的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,步骤3中,基于所述数据转换规则,得到目标数据包括:
对所述数据转换规则进行解析,确定每种协议下的转换次数和转换方式;
基于所述转换次数、转换方式为每种协议下的通信接口进行配置,得到配置文件;
对所述配置文件进行解析,得到源文件信息、目标文件信息和中间文件信息;
基于所述源文件信息、中间文件信息,确定第一转换变量,并基于所述第一转换变量对所述初始数据进行转换,得到第一中间数据;
对所述中间文件信息进行解析,得到第一数据参数范围,并判断所述第一中间数据是否在所述第一数据参数范围内;
若不在,基于所述第一中间数据的偏差,对所述第一转换变量进行修正,得到第二转换变量,得到第二中间数据;
否则,将所述第一中间数据作为第二中间数据;
基于所述中间文件信息、源文件信息,确定第三转换变量,并基于所述第三转换变量对所述第二中间数据进行转换,得到第一结果数据;
对所述目标文件信息进行解析,得到第二数据参数范围,并判断所述第一结果数据是否在所述第二数据参数范围内;
若是,将所述第一结果数据作为第二结果数据;
否则,基于所述第一结果数据的偏差,对所述第三转换变量进行修正,得到第四转换变量,得到第二结果数据;
基于所述第一转换变量、第二转换变量、第三转换变量、第四转换变量,为所述通信接口建立数据转换通道;
将所述服务数据输入所述数据转换通道中,从所述通信接口输出,得到第三结果数据,并判断所述第三结果数据与所述第二结果数据的参数范围是否一致;
若是,表明所述服务数据转换成功,所述第三结果数据即为所述目标数据;
否则,表明所述服务数据转换失败,需对所述数据转换规则进行优化后,进行再次转换,直到所述服务数据转换成功。
在该实施例中,所述初始数据根据所述服务数据确定,用来模拟所述服务数据的转换。
在该实施例中,所述配置文件为数据的转换提供基础。
在该实施例中,所述源文件信息为数据的初始格式信息,中间文件信息为数据的中间格式信息、目标文件信息为数据的最终格式信息。
在该实施例中,所述第一转换变量为初始数据转换为中间数据是用到的转换变量,所述第一转换变量决定转换后的中间数据的格式与参数范围。
在该实施例中,基于所述第一中间数据的偏差,对所述第一转换变量进行修正,得到第二转换变量,得到第二中间数据,可以保证初始数据到中间数据的转换精度,从而提高获取中间数据的精确性,为获取目标数据的精确性提供基础。
在该实施例中,基于所述第一结果数据的偏差,对所述第三转换变量进行修正,得到第四转换变量,得到第二结果数据,可以保证中间数据到结果数据的转换精度,从而提高获取目标数据的精确性。
在该实施例中,所述第一转换变量、第二转换变量、第三转换变量、第四转换变量对应所述数据转换通道的第一转换通道、第二转换通道、第三转换通道、第四转换通道,根据所述服务数据的属性,有选择地通过上述通道,最终得到目标数据。
在该实施例中,所述第三结果数据与所述第二结果数据的参数范围不一致时,表明数据转换规则出现问题,应当对数据转换规则进行优化,例如优化转换次数或优化转换方式。
上述设计方案的有益效果是:通过根据数据转换规则确定配置文件,对配置文件进行分析,确定转换变量,并验证在转换变量下数据转换的效果,通过修正转换变量,在保证数据转换的精度后,利用转换变量建立转换通道,保证数据转换的精确性,根据不同的协议建立不同的数据转换通道,实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
实施例9
基于实施例8的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,还包括:
根据不同协议对应的数据转换规则,建立对应的数据转换通道,得到在多协议实时通信下的数据转换通道布局;
基于所述数据转换通道布局,实现在多协议实时通信下的数据转换,得到所述目标数据。
上述设计方案的有益效果是:通过建立数据转换通道布局,实现物联网数据在多协议通信下的数据转换,实现目标数据在不同通信协议或不同服务器之间的传输和交互,便于对目标数据的使用。
实施例10
基于实施例2的基础上,本发明实施例提供一种基于多协议实时通信的物联网数据处理方法,确定所述待分析数据所在该组物联网数据的数据类型后,还包括:
将所述待分析数据所在该组物联网数据的数据类型作为第一数据类型;
将该组物联网数据划分为若干个预设容量的数据块,并计算数据块属于所述数据类型的概率;
所述数据块属于第一数据类型的概率的计算公式如下:
其中,δ表示所述数据块属于第一数据类型的概率,m表示所述该组物联网数据包括的数据块数量,Fj表示第j个数据块的数据平均特征值,n表示所述数据块的数据量个数,fi表示所述数据块中第i个数据的数据特征值,fmax表示所述数据块中的最大数据特征值,fmin表示所述数据块中的最小数据特征值;
判断所述数据块属于所述第一数据类型的概率是否大于预设概率;
若是,确定所述数据块属于所述第一数据类型;
否则,对所述数据块进行拆分,提取所述数据块中不符合所述第一数据类型的子数据块;
计算所述子数据块的数据特征差异值;
其中,τ表示所述子数据块的数据特征差异值,G表示所述子数据块的数据量个数,R表示所述子数据块的数据特征值与所述数据块的数据平均特征值的绝对值差值;
根据所述子数据块的数据特征差异值,确定所述子数据块的第二数据类型,并将所述子数据块从所述该组物联网数据中提取至所述第二数据类型所在的物联网数据组。
在该实施例中,提取所述数据块中不符合所述第一数据类型的子数据块可以避免因对物联网数据划分时划分精度不足造成对物联网数据划分不准确的情况,提取出不符合所述第一数据类型的子数据块,重新对所述子数据块进行数据类型划分,提高对数据划分的准确性,提高对物联网数据的管理,从而便于对物联网数据的查找和使用。
在该实施例中,所述数据的数据特征值用来表示此数据的特征,不同类型的数据存在不同的数据特征值。
在该实施例中,对于例如可以是,R=0.3,δ=0.83,G=100,n=1000,则τ=0.73,从所有数据类型中查找与所述第一数据类型的特征值范围差值在0.73的数据类型,即为第二数据类型,通过该公式考虑到子数据块与数据块之间的数量差异比、以及不属于所述第一数据类型的概率,使得到的差异值更好地反应两个数据类型之间的差异,使所述子数据块精确找到第二数据类型。
上述设计方案的有益效果是:通过确定待分析数据所在该组物联网数据的数据类型后,对物联网数据的数据类型进行再次验证和调整,提高对数据划分的准确性,提高对物联网数据的管理,从而便于对物联网数据的查找和使用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多协议实时通信的物联网数据处理方法,其特征在于,包括:
步骤1:对物联网数据按照数据类型进行存储,每种数据类型对应一个独立的数据存储空间;
步骤2:根据多协议通信请求,从所述数据存储空间获取服务数据;
步骤3:基于所述多协议通信请求中的通信协议信息,确定数据转换规则,并基于所述数据转换规则,得到目标数据。
2.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤1之前,还包括:确定所述物联网数据的数据类型,包括:
提取每个数据类型的类型特征,并建立数据类型和类型特征的映射关系;
对所述物联网数据按照数据属性进行数据划分,得到多组物联网数据;
对每组物联网数据按照预设规则进行采样,得到预设数量的待分析数据;
对所述待分析数据进行特征提取,得到数据特征,并计算所述数据特征和类型特征之间的匹配度;
选取匹配度最高的类型特征作为所述数据特征的最终类型特征,并根据所述映射关系,确定所述待分析数据所在该组物联网数据的数据类型。
3.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤1中,对物联网数据按照数据类型进行存储包括:
根据数据类型为每个存储空间确定数据存储规则;
按照所述数据存储规则对所述物联网数据进行处理,并存储至对应的数据存储空间中。
4.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤1中,每个所述独立的数据存储空间对应不同的数据存储规则。
5.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤2中,根据多协议通信请求,从所述数据存储空间获取服务数据包括:
对所述多协议通信请求进行分析,获取通信目的,确定所述通信目的所需的数据内容;
基于所述数据内容,从所述数据存储空间进行遍历,获取所需的物联网数据所在的存储地址;
基于所述存储地址确定对应的数据获取方式,判断所述数据获取方式是否需要进行身份认证;
若是,对请求发起者身份进行认证,并在认证成功后,将所述存储地址对应的物联网数据进行输出,得到所述服务数据;
否则,将所述存储地址对应的物联网数据直接进行输出,得到所述服务数据。
6.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤3中,基于所述多协议通信请求中的通信协议信息,确定数据转换规则包括:
对所述多协议通信请求进行解析,得到二进制数据,并基于协议对照表将所述二进制数据转换为协议码;
确定每个协议通信请求对应的服务器标识,并基于所述服务器标识确定所述服务器的通信参数数值;
建立所述协议码与通信参数数值之间的映射关系,得到标准通信协议;
对所述标准通信协议进行划分,得到多个子协议,并确定每个子协议之间的结构关系;
以所述标准通信协议作为根节点,将子协议作为子节点,根据所述结构关系,生成树形结构;
遍历所述树形结构,获取每个子节点的子协议特征、子节点结构特征;
从协议解析程序库中获取与所述子协议特征对应的子协议解析程序,并基于所述子节点结构特征,将所述子协议解析程序进行组合,得到协议解析程序;
判断所述协议解析程序与所述标准通信协议之间的适配度是否大于预设适配度;
若是,确定所述协议解析程序满足对应协议的解析需求;
否则,对所述子节点结构特征进行优化,并根据优化后的子节点结构特征获得新的协议解析程序;
获取所述多协议通信请求每个协议对应的协议解析程序,并确定每个协议解析程序对应的目标数据格式;
获取所述多协议通信请求每个协议对应的通信接口,并基于所述目标数据格式,为所述每个通信接口设置目标数据格式标签;
获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则,并建立所述数据转换规则与所述目标数据格式标签之间的关系标识符;
基于所述关系标识符,为每个所述通信接口设置数据转换规则。
7.根据权利要求6所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,获取所述服务数据的初始数据格式,基于所述目标数据格式,确定数据转换规则包括:
从数据转换表中所述初始数据格式到目标数据格式的中间转换数据格式;
基于所述中间转换数据格式,确定转换次数,及每次转换的转换方式;
基于所述转换次数、转换方式,确定数据转换规则。
8.根据权利要求1所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,步骤3中,基于所述数据转换规则,得到目标数据包括:
对所述数据转换规则进行解析,确定每种协议下的转换次数和转换方式;
基于所述转换次数、转换方式为每种协议下的通信接口进行配置,得到配置文件;
对所述配置文件进行解析,得到源文件信息、目标文件信息和中间文件信息;
基于所述源文件信息、中间文件信息,确定第一转换变量,并基于所述第一转换变量对所述初始数据进行转换,得到第一中间数据;
对所述中间文件信息进行解析,得到第一数据参数范围,并判断所述第一中间数据是否在所述第一数据参数范围内;
若不在,基于所述第一中间数据的偏差,对所述第一转换变量进行修正,得到第二转换变量,从而得到第二中间数据;
否则,将所述第一中间数据作为第二中间数据;
基于所述中间文件信息、源文件信息,确定第三转换变量,并基于所述第三转换变量对所述第二中间数据进行转换,得到第一结果数据;
对所述目标文件信息进行解析,得到第二数据参数范围,并判断所述第一结果数据是否在所述第二数据参数范围内;
若是,将所述第一结果数据作为第二结果数据;
否则,基于所述第一结果数据的偏差,对所述第三转换变量进行修正,得到第四转换变量,从而得到第二结果数据;
基于所述第一转换变量、第二转换变量、第三转换变量、第四转换变量,为所述通信接口建立数据转换通道;
将所述服务数据输入所述数据转换通道中,从所述通信接口输出,得到第三结果数据,并判断所述第三结果数据与所述第二结果数据的参数范围是否一致;
若是,表明所述服务数据转换成功,所述第三结果数据即为所述目标数据;
否则,表明所述服务数据转换失败,需对所述进行优化后,进行再次转换,直到所述服务数据转换成功。
9.根据权利要求8所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,还包括:
根据不同协议对应的数据转换规则,建立对应的数据转换通道,得到在多协议实时通信下的数据转换通道布局;
基于所述数据转换通道布局,实现在多协议实时通信下的数据转换,得到所述目标数据。
10.根据权利要求2所述的一种基于多协议实时通信的物联网数据处理方法,其特征在于,确定所述待分析数据所在该组物联网数据的数据类型后,还包括:
将所述待分析数据所在该组物联网数据的数据类型作为第一数据类型;
将该组物联网数据划分为若干个预设容量的数据块,并计算数据块属于所述数据类型的概率;
判断所述数据块属于所述第一数据类型的概率是否大于预设概率;
若是,确定所述数据块属于所述第一数据类型;
否则,对所述数据块进行拆分,提取所述数据块中不符合所述第一数据类型的子数据块;
根据所述子数据块的数据特征差异值,确定所述子数据块的第二数据类型,并将所述子数据块从所述该组物联网数据中提取至所述第二数据类型所在的物联网数据组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111297842.4A CN114006928B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多协议实时通信的物联网数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111297842.4A CN114006928B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多协议实时通信的物联网数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114006928A true CN114006928A (zh) | 2022-02-01 |
CN114006928B CN114006928B (zh) | 2024-04-19 |
Family
ID=79927028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111297842.4A Active CN114006928B (zh) | 2021-11-04 | 2021-11-04 | 一种基于多协议实时通信的物联网数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114006928B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785874A (zh) * | 2022-06-16 | 2022-07-22 | 成都中科合迅科技有限公司 | 基于多网络协议提供高可用传输通道的方法 |
CN115174340A (zh) * | 2022-06-28 | 2022-10-11 | 杭州指令集智能科技有限公司 | 支持多种协议类型与物联网操作系统交互的通信方法 |
CN115643320A (zh) * | 2022-09-08 | 2023-01-24 | 中科云谷科技有限公司 | 数据处理方法、系统、存储介质及处理器 |
CN115695090A (zh) * | 2022-10-31 | 2023-02-03 | 飞腾信息技术有限公司 | 数据传输方法、物联网网关设备及计算机可读存储介质 |
CN115941809A (zh) * | 2022-11-25 | 2023-04-07 | 北京众谊越泰科技有限公司 | 一种用于dcim的多种物联网终端协议的聚合处理方法及系统 |
CN118101800A (zh) * | 2024-04-29 | 2024-05-28 | 无锡沐创集成电路设计有限公司 | 一种数据包的处理方法、系统、设备及存储介质 |
CN118568331A (zh) * | 2024-08-01 | 2024-08-30 | 浙江大华技术股份有限公司 | 一种数据通讯方法和相关装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716308A (zh) * | 2013-12-17 | 2014-04-09 | 北京京东尚科信息技术有限公司 | 一种多协议平台通信方法及多协议平台 |
CN107124421A (zh) * | 2017-05-11 | 2017-09-01 | 珠海格力电器股份有限公司 | 基于多协议的通信方法、多协议网关设备及可存储介质 |
WO2018018607A1 (zh) * | 2016-07-29 | 2018-02-01 | 深圳市赛亿科技开发有限公司 | 一种基于报文协议识别的传输协议固定转换方法及装置 |
CN109587160A (zh) * | 2018-12-19 | 2019-04-05 | 广州联达信息科技有限公司 | 一种数据转换方法、装置、可读存储介质及工业设备 |
CN112104664A (zh) * | 2020-11-02 | 2020-12-18 | 长沙树根互联技术有限公司 | 物联网数据的协议转换方法、装置及设备 |
CN112243205A (zh) * | 2020-10-23 | 2021-01-19 | 中国电子科技集团公司第二十八研究所 | 一种基于物联网的多协议融合处理方法 |
CN112261061A (zh) * | 2020-11-03 | 2021-01-22 | 合沃物联技术(南京)有限公司 | 一种基于工业物联网关的设备多协议解析方法 |
CN112511416A (zh) * | 2020-11-23 | 2021-03-16 | 四川长虹电器股份有限公司 | 基于规则式的数据通信协议转换系统、解码及编码方法 |
CN112905701A (zh) * | 2021-02-24 | 2021-06-04 | 河南辉煌科技股份有限公司 | 一种多协议通信实时库数据聚合方法及系统 |
-
2021
- 2021-11-04 CN CN202111297842.4A patent/CN114006928B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716308A (zh) * | 2013-12-17 | 2014-04-09 | 北京京东尚科信息技术有限公司 | 一种多协议平台通信方法及多协议平台 |
WO2018018607A1 (zh) * | 2016-07-29 | 2018-02-01 | 深圳市赛亿科技开发有限公司 | 一种基于报文协议识别的传输协议固定转换方法及装置 |
CN107124421A (zh) * | 2017-05-11 | 2017-09-01 | 珠海格力电器股份有限公司 | 基于多协议的通信方法、多协议网关设备及可存储介质 |
CN109587160A (zh) * | 2018-12-19 | 2019-04-05 | 广州联达信息科技有限公司 | 一种数据转换方法、装置、可读存储介质及工业设备 |
CN112243205A (zh) * | 2020-10-23 | 2021-01-19 | 中国电子科技集团公司第二十八研究所 | 一种基于物联网的多协议融合处理方法 |
CN112104664A (zh) * | 2020-11-02 | 2020-12-18 | 长沙树根互联技术有限公司 | 物联网数据的协议转换方法、装置及设备 |
CN112261061A (zh) * | 2020-11-03 | 2021-01-22 | 合沃物联技术(南京)有限公司 | 一种基于工业物联网关的设备多协议解析方法 |
CN112511416A (zh) * | 2020-11-23 | 2021-03-16 | 四川长虹电器股份有限公司 | 基于规则式的数据通信协议转换系统、解码及编码方法 |
CN112905701A (zh) * | 2021-02-24 | 2021-06-04 | 河南辉煌科技股份有限公司 | 一种多协议通信实时库数据聚合方法及系统 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785874A (zh) * | 2022-06-16 | 2022-07-22 | 成都中科合迅科技有限公司 | 基于多网络协议提供高可用传输通道的方法 |
CN115174340A (zh) * | 2022-06-28 | 2022-10-11 | 杭州指令集智能科技有限公司 | 支持多种协议类型与物联网操作系统交互的通信方法 |
CN115174340B (zh) * | 2022-06-28 | 2023-08-15 | 杭州指令集智能科技有限公司 | 支持多种协议类型与物联网操作系统交互的通信方法 |
CN115643320A (zh) * | 2022-09-08 | 2023-01-24 | 中科云谷科技有限公司 | 数据处理方法、系统、存储介质及处理器 |
CN115695090A (zh) * | 2022-10-31 | 2023-02-03 | 飞腾信息技术有限公司 | 数据传输方法、物联网网关设备及计算机可读存储介质 |
CN115941809A (zh) * | 2022-11-25 | 2023-04-07 | 北京众谊越泰科技有限公司 | 一种用于dcim的多种物联网终端协议的聚合处理方法及系统 |
CN118101800A (zh) * | 2024-04-29 | 2024-05-28 | 无锡沐创集成电路设计有限公司 | 一种数据包的处理方法、系统、设备及存储介质 |
CN118568331A (zh) * | 2024-08-01 | 2024-08-30 | 浙江大华技术股份有限公司 | 一种数据通讯方法和相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114006928B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114006928B (zh) | 一种基于多协议实时通信的物联网数据处理方法 | |
WO2022126966A1 (zh) | 接口参数校验与转换方法、装置、设备及存储介质 | |
WO2021051541A1 (zh) | 基于微服务框架的一起灰度方法、装置和计算机设备 | |
EP2512163A1 (en) | Method, system for defining message in machine-to-machine platform, and machine-to-machine platform | |
CN111683066A (zh) | 异构系统集成方法、装置、计算机设备和存储介质 | |
CN113986968B (zh) | 一种基于电力标准规范数据化的方案智能校对方法 | |
CN100461701C (zh) | 网管和网元的网络资源一致性的校验方法及其系统 | |
CN114282519B (zh) | Can数据的解析方法及装置 | |
CN115712563A (zh) | 一种基于文法变异的模糊测试方法 | |
CN115242896A (zh) | 动态报文解析方法、装置、电子设备及计算机可读存储介质 | |
CN111475562A (zh) | 应用于业务处理系统的数据格式优化方法及业务服务器 | |
CN107404440B (zh) | 一种转发表项发送方法、报文转发方法及装置 | |
CN110502478B (zh) | 一种离线系统之间的数据交互方法及系统 | |
CN114048206B (zh) | 一种大规模集群的配置一致性校验方法、系统及装置 | |
CN115130043B (zh) | 基于数据库的数据处理方法、装置、设备及存储介质 | |
CN113949640B (zh) | 业务数据处理方法及装置 | |
CN116339703A (zh) | 总线接口代码生成方法、装置、电子设备及介质 | |
CN113239039B (zh) | 动态数据的存储方法、查询方法、管理方法及管理系统 | |
CN115801928A (zh) | 一种基于工业控制系统网络通信的工控协议解析方法 | |
KR20180108505A (ko) | 메타 모델 기반 프로토콜의 저용량 전송을 위한 데이터 변형 방법 및 메타 모델 기반 프로토콜의 저용량 전송을 위한 데이터 전송 시스템 | |
CN112217896A (zh) | 一种json报文转换方法以及相关装置 | |
CN112817988B (zh) | 一种企业业务的同步加速方法 | |
CN117576545B (zh) | 一种多算法全匹配接入适配器接入方法 | |
CN118689933A (zh) | 一种多源异构的储能调度数据处理方法和系统 | |
WO2023125116A1 (zh) | 报文的处理方法、装置、存储介质和电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |