CN114979309B - 一种支持网络化目标数据随遇接入与处理的方法 - Google Patents

一种支持网络化目标数据随遇接入与处理的方法 Download PDF

Info

Publication number
CN114979309B
CN114979309B CN202210546066.5A CN202210546066A CN114979309B CN 114979309 B CN114979309 B CN 114979309B CN 202210546066 A CN202210546066 A CN 202210546066A CN 114979309 B CN114979309 B CN 114979309B
Authority
CN
China
Prior art keywords
message
protocol
information
analysis
protocols
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210546066.5A
Other languages
English (en)
Other versions
CN114979309A (zh
Inventor
李彭伟
林志祥
刘博�
李子
方晨
陈昊
郑伟
芮正玉
丁頠洋
郭婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202210546066.5A priority Critical patent/CN114979309B/zh
Publication of CN114979309A publication Critical patent/CN114979309A/zh
Application granted granted Critical
Publication of CN114979309B publication Critical patent/CN114979309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)

Abstract

本发明提供了一种支持网络化目标数据随遇接入与处理的方法,包括:1、协议动态编译与协议栈管理;2、报文头检测与协议匹配,包括信源报文汇聚、报文类型检测与协议检索两个环节;3、目标信息描述,具体包括报文解析和目标信息组织两个部分,其中报文解析主要是定义了一套通用的接口,能为不同协议的解析提供共性支撑,规范了协议解析的过程、输入和输出。目标信息组织主要是对解析后的内容进行合理的描述,其主要内容是定义合理的数据解构,真实还原目标的内涵与背景,为后续的共用交换产品组织提供支撑;4、共用交换产品组织,主要介绍了如何根据协议解析出对应特定特征的方法。

Description

一种支持网络化目标数据随遇接入与处理的方法
技术领域
本发明涉及一种支持网络化目标数据随遇接入与处理的方法。
背景技术
网络化情况下各类与目标相关的数据接入是一个复杂过程,其往往伴随着协议标准制定与解析、格式转换与融合处理等操作,并且在协议发生变化或对协议进行增删改操作时,需要暂停相关的接入服务以进行相应的更新,这种模式极大的制约了新情报源的接入与处理工作量,并影响现有系统的运行。
随着动态脚本语言编译、软件在线式更新和元数据定义与组织等技术的快速发展,与此同时,叠加各类情报信源的种类日益增加、格式与传输协议也逐渐多样化的趋势,亟需对现有的情报信源接入与处理方式进行改变,具体而言,是迫切需要一种支持信源随遇接入的软件实现方法,目标是保证各路信源能以最快、最稳定的方式被接入到战场情报处理系统中,在此过程中还将开展相应的预处理操作,形成通用性的、标准化的中间交换数据,从而确保接入的信源能高效的被应用,这种软件方法的特征可概括为“应接全接、边接边治理、随遇接入”。
情报信源随遇接入与处理的步骤包括信源报文汇聚、协议栈检索与匹配、协议解析与内容表述、共用交换格式组织等步骤,这些步骤在覆盖传统的信源接入处理过程基础上,重点实现了协议的木版画可扩展和新协议动态入栈、报文迭代检测与协议匹配、利用标准键值对实现共性交换等技术,该技术的的最大特征在于新协议可以快速发布、协议栈的增删改操作可以在不停止接入服务的情况下开展、共性交换格式能快速提升接入信源的融合处理能力。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种支持网络化目标数据随遇接入与处理的方法,本发明对情报信源的随遇接入与处理方法过程进行了较为充分的分析和详细的设计,结合工程经验,并通过相关理论总结、数据治理与数学计算方法,描述了各路信源从汇集接入到处理的全过程中需要采取的步骤和软件实现手段,能支持各类与目标相关的信源报文随遇接入。
本发明包括如下步骤:
步骤1,协议动态编译与协议栈管理;
步骤2,报文头检测与协议匹配;
步骤3,描述目标信息;
步骤4,组织共用交换产品;
步骤5,管理协议栈。
其中,步骤1包括:在对各类信源接入进行格式解析和内容识别的基础上,抽象各类信源接入的共性特征(利用现有技术自动完成,将各类数据抽象成一个共性的特征,如“公交车”、“出租车”等统一抽象为“车辆”),制定出各类信源接入的规范与标准(规范和标准是遵循现有的国家标准的,如AIS(船载自动识别系统Automatic IdentificationSystem)上报的各类海上目标运动信息。该标准规定了在甚高频水上移动频段内使用时分多址的船载自动识别系统的技术要求,主要包括操作特性、技术特性、通过DSC消息进行AIS信道管理、远程应用、应用专用消息、发射分组排序、AIS消息等内容,适用于船载自动识别系统以及相关台站设备的设计、生产、使用和管理。遵循该标准规定的技术特性、AIS信道管理/应用专用消息、发射分组排序、AIS消息等内容的要求,实现对AIS信息接收解析),结合信源实际,运用动态脚本语言技术对规范与标准进行编译、发布与运行;同时通过一种协议栈管理所述协议,协议栈的功能包括协议动态出入栈、协议检索、协议更新,通过网络汇聚的报文在经过类型提取或迭代匹配找到合适的协议后将进行自动解析,生成对应的目标描述。协议栈是现有技术的应用,主要是建立一个先进先出的队列,将各类网络数据解析的协议以及处理方式存储在队列里,在接收网络数据时,根据协议类型搜索发现相应的协议解析与处理程序;协议是一种通用的规范,本发明处理的数据都从网络上获得,而在网络上传输的数据都需要遵守相应的协议。
步骤2包括:
步骤2-1,汇聚信源报文;
步骤2-2,报文类型检测与协议检索。
步骤2-1包括:在网络上以在线监听的方式连续获取通过TCP/UDP传输的各类信源报文,在采用动态的缓存策略确保报文不被丢失;当接收到各信源报文后,将信源报文打上时间戳,并放入消息队列中,根据订阅情况和分发机制,将信源报文分发到对应的分发用户,存储在消息队列中的报文会定时进行清理,根据设定的报文存活时间删除超时报文。如对于船舶类目标,其有效时长一般为12小时,对于车辆等目标,其有效时长一般为10分钟。
步骤2-2包括:对汇聚到的报文进行报文类型检测,并根据检测结果从协议栈中检索到相应的协议,如果报文头中能直接提取到报文类型,则根据报文类型从协议栈中检索到相应的协议,如果不能提取到报文类型,则通过报文内容迭代检测的方式在协议栈中找到相应的协议;
对于信息类型字段为空或者信息类型字段与实际报文格式不相符合的情况,通过报文内容迭代解析的方式进行报文协议确认,迭代解析时,仅解析报文中n个较为重要的字段(n个较为重要的字段是根据目标的类型来定义的,主要是根据目标的特征自动分析出来的,但可以人工干预,如车辆的主要字段包括:类型、位置、速度等,船舶的主要字段包括:类型、区域、吨位等),并对这n个字段内容的正确性进行判读,如果解析正确则确定报文的信息类型,如果所有协议的预解析都没有成功,则过滤排除报文;
对于通过预解析成功判断协议的信源报文,自动记录信源报文协议,如果超过m次解析成功(m的最大值为协议栈的长度),则设置信源信息与报文协议之间的映射关系,后续解析此条信源报文时将直接调用映射的协议插件进行报文解析。
步骤3包括:
步骤3-1,解析报文;
步骤3-2,组织目标信息。
步骤3-1包括:对解析的接口进行明确和统一,接口包括插件的过程、输入和输出,协议解析插件的输入统一为报文正文和报文长度,定义一个通用的内部格式(一般是一个由Name、Key和Value组成的序列,定义如下:
ComDataType={Mem1<Name、Key、Value>、Mem2<Name、Key、Value>、Mem3<Name、
Key、Value>…Memi<Name、Key、Value>}
其中Name表示名称,如“型号”,Key表示唯一的整数值,Value表示具体的值,如“驱逐舰”、“护卫舰”等),所述内部格式包含所有协议定义的要素信息,并对各要素的描述形式进行统一,规定所有解析插件的输出结果都要统一遵循所述内部格式;将各种协议的编码进行统一,在动态调用协议解析插件后,都需要调用插件的初始化函数接口,实现各协议编码信息和统一编码信息的加载,在各协议报文解析过程中都要调用编码转换接口实现各协议的编码统一。
步骤3-2包括:当协议解析插件完成报文解析后,对解析后的信息内容进行过滤、统一和组织,包括:
对于解析后的信源报文,首先对报文的正确性进行判断,判断的参数包括经纬度信息、时间信息,过滤参数明显异常的报文(如一个报送船舶的报文在不包含位置、时间等信息时,该报文将被认为是异常的,予以排除);
进行属性要素补全和要素标准化:基于积累的属性知识库自动匹配上报的属性要素信息,对匹配成功的要素信息进行标准化处理,对缺失的要素信息进行补全;要素来源标记首先对信源报文进行编码,并将信源报文上报的所有属性信息打上报文编码信息,对于补全的属性信息打上知识库编码,标记各属性要素的来源。
步骤4包括:
步骤4-1,定义键值对:键值对TriPair为三元组格式TriPair(Key、Value、Name),判断一个组合Cv是否与一个Key相匹配的方法包括:
定义主类型Cvmaintype,次类型Cvsubtype,内部类型Cvinnertype,则:
Cvmaintype=Cv&0xFF000000
Cvsubtype=Cv&0x00FFFF00
Cvinntertype=Cv&0x0000000FF
其中&表示与计算方法,当1&1是为True,F为条件;Name表示名称,如“型号”,Key表示唯一的整数值,Value表示具体的值,如“驱逐舰”、“护卫舰”等;
步骤4-2,动态匹配数据类型,包括:
定义基本数据访问对象,提供设置与获取数据类型两类接口;
定义模板,实例化通用目标数据对象,实现数据访问接口;
步骤4-3,实现通用数据访问,包括:
模板化定义通用的数据映射对象;
定义设置对象的接口,所述接口的参数包括键Key与值对象ValueObject,通过ValueObject的数据类型参数,调用对应的处理方法,将数据填充到容器中。
步骤5包括:协议栈是一个综合管理各类信源解析协议的容器,协议栈通过对不同协议进行抽象形成了共性接口,通过共性接口,进一步提供统一的调度服务来管理各类信源解析协议,管理内容包括协议的入栈、出栈服务,并合理调度各类信源解析协议的启动、停止、更新、暂停(合理调度是指有序的组织协议的运行,是自动处理的);并且在不停止整个协议访问与运行服务的情况下实现动态的协议增加、删除、改动、查找。
有益效果:本发明提供了一种支持网络化模式下的目标数据随遇接入与处理方法,该方法首先是能结合行业背景,对特定类的数据进行基于协议的随遇快速接入,提升了目标数据接入的快捷性与灵活性;在此基础上,本专利还提供了基于通用值对的数据管理方法,该方法能有效的提升异构数据的统一表达能力和数据交换的效率,能支撑后续的数据背景识别与融合处理。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明的工作流程图。
图2是本发明报文汇聚与处理流程图。
图3是本发明的总体概念图。
图4是本发明的报文解析流程图。
图5是本发明的键值对定义图。
图6是本发明的协议栈管理与运行示意图。
具体实施方式
如图1、图2所示,本发明提供了一种支持网络化目标数据随遇接入与处理的方法,包括:
1、协议动态编译与协议栈管理
一般地,每种目标信源都有其相应的标准定义与传输格式,在实际接入时要对其做数据结构、解析算法与处理流程具体实现,本步骤主要是在对各类信源接入进行充分理解的基础上,抽象各类信源接入的共性特征,从而制定出信源接入的规范与标准,在此基础上,结合信源实际,运用动态脚本语言技术对规范与标准进行编译、发布与运行。还设计了一种协议栈用以更好地管理这些协议,协议栈的主要功能包括协议动态出入栈、协议检索、协议更新等,通过网络汇聚的报文在经过类型提取或迭代匹配找到合适的协议后将进行自动解析,生成对应的目标描述。
2报文头检测与协议匹配
2.1信源报文汇聚
在网络上以在线监听的方式连续获取通过TCP/UDP传输的各类信源报文,在这个阶段主要是采用动态的缓存策略确保报文不被丢失。当接收到各信源报文后,将信源报文打上时间戳,并放入消息队列中,根据订阅情况和分发机制,将信源报文分发到对应的分发用户,存储在消息队列中的报文会定时进行清理,根据设定的报文存活时间删除超时报文。
2.2报文类型检测与协议检索
如图4所示,对汇聚到的报文进行报文类型检测,并根据检测结果从协议栈中检索到相应的协议,如果报文头中能直接提取到报文类型,则根据报文类型从协议栈中检索到相应的协议,如果不能提取到报文类型,则通过报文内容迭代检测的方式在协议栈中找到相应的协议。
在现阶段的实时通信中,通常会在报文头中包含两个字节长度的信息类型字段(MsgType),该字段表明了报文的信息协议类型。但并不是所有的情报源都会严格填写该类型字段,在实际的报文引接过程中,经常发现该字段未被赋值或者赋值的内容与实际报文协议不相符合导致报文无法解析或者解析出错。
对于信息类型字段为空或者信息类型字段与实际报文格式不相符合的情况,可以通过报文内容迭代解析的方式进行报文协议确认。由于报文协议类型多,部分协议存在解析复杂的情况,如果简单地采用所有协议解析插件对报文进行解析直到解析成功,则会大大降低情报的引接效率。考虑到不同协议类型的报文格式差异较大,可以通过报文内容的预解析对报文协议进行确认。报文预解析通过解析报文中n个较为重要的字段而不是解析所有的报文字段,并对这n个字段内容的正确性进行判读,如果解析正确即可确定该条报文的信息类型,如果所有协议的预解析都没有成功,则过滤排除该条报文。
对于通过预解析成功判断协议的信源报文,系统会自动记录信源报文协议,如果超过m次解析成功,则设置信源信息与报文协议之间的映射关系,后续解析该信源报文时将直接调用映射的协议插件进行报文解析,可以有效提高信源解析效率。
3目标信息描述
标信息描述章节主要介绍了协议解析的实现过程以及对解析后的目标进行合理描述的方法,具体包括报文解析和目标信息组织两个部分,其中报文解析主要是定义了一套通用的接口,能为不同协议的解析提供共性支撑,规范了协议解析的过程、输入和输出。目标信息组织主要是对解析后的内容进行合理的描述,其主要内容是定义合理的数据解构,真实还原目标的内涵与背景,为后续的共用交换产品组织提供支撑。
3.1报文解析
为了实现多种协议报文解析插件的动态调用,需要对解析的接口进行明确和统一,接口包括插件的过程、输入和输出。实时通信所有报文都采用数据流的方式进行传输,所以协议解析插件的输入统一为报文正文和报文长度。不同类型的信源报文协议格式和描述形式差距较大,需要定义一个通用的内部格式,该格式包含所有协议定义的要素信息,并对各要素的描述形式进行统一,规定所有解析插件的输出结果都要统一遵循该内部格式。由于各种协议都有独特的编码规范,例如目标类型、空间分类、敌我属性等信息都进行了编码,但是各编码含义都不相同,需要将各种协议的编码进行统一。在动态调用协议解析插件后,都需要调用插件的初始化函数接口,实现各协议编码信息和统一编码信息的加载,在各协议报文解析过程中都要调用编码转换接口实现各协议的编码统一。
3.2目标信息组织
当协议解析插件完成报文解析后,需要对解析后的信息内容进行进一步的过滤、统一和组织,主要包括异常报文过滤、属性要素补全、要素标准化和要素来源标记。对于解析后信源报文,首先对报文的正确性进行判断,判断的参数包括经纬度信息、时间信息等,过滤参数明显异常的报文。属性要素补全和标准化通常在一起进行,基于积累的属性知识库自动匹配上报的属性要素信息,对匹配成功的要素信息进行标准化处理,对缺失的要素信息进行补全。要素来源标记首先对该条信源报文进行编码,并将该条报文上报的所有属性信息打上该报文编码信息,对于补全的属性信息打上知识库编码,标记各属性要素的来源。
4共用交换产品组织
在目标信息描述章节中主要介绍了如何根据协议解析出对应目标的方法,可以发现不同的协议解析出的目标格式与描述方式均不尽相同,如空中目标的属性一般包括高度、速度、类型等信息,海上目标的属性一般包括舰型、舰级等信息,其他类型目标的属性可能还包括活动特征、行为意图等信息;除此之外,不同目标对属性的数字表达方式还有区别,如有的用整数、有的用字符串、有的用文字等;另外,由于各类目标的描述标准规范还不够统一,普遍存在对统一属性的描述不一致的特征,如一架客机可能被描述为“大型机”、“客机”、“飞机”等,美军“里根号”航母可能被描述为“里根号”、“里根”、“大型航母”等。上述存在的问题迫切需要一种治理手段将各类目标数据进行归一化处理,最终形成共用交换产品,从而更好的支撑好信息融合。
4.1键值对定义
键值对是一种较为成熟的元数据描述技术,一个键值对可表示为Pair(Key、Value),Key一般为整数,其取值具有唯一性,Value描述Key的属性或内容,其取值可为整数、字符串或字符等。本发明依托键值对的基本定义,为其拓展了能描述Key名称的Name项,扩展后的键值对为三元组格式TriPair(Key、Value、Name),如空中目标的ID号可用三元组格式表示为TriPair(0X000000001,“1001”,“ID号”),其中0X00000001表示Key,“1001”表示ID号,“ID号”是名称。除此之外,本发明还为每个Key设计了基于二进制分段定义与描述,可以支撑复合内容表征,并且通过与或运算实现快速的Key背景解析,如图5中的①所示。判断一个组合Cv是否与某个Key相匹配的方式是利用如下的算法实现:
定义主类型Cvmaintype,次类型Cvsubtype,内部类型Cvinnertype,则:
Cvmaintype=Cv&0xFF000000
Cvsubtype=Cv&0x00FFFF00
Cvinntertype=Cv&0x0000000FF
其中&表示一种与计算方法,当1&1是为True,F为条件;
4.2动态匹配数据类型
在实际目标属性描述中,对不同的值会采用不同的计算机可以理解的数据类型进行描述,如Key在表征空中目标的编队成员数量时,则其对应的Value应为整数;当Key在表征空中目标的型号信息时,则其对应的Value应为字符串;当Key在表征空中目标的高度、速度、航向、横滚角、俯仰角时,则其对应的Value可能为整数、浮点数。针对以上情况,运用计算机编程语言的模板原理,实现了一系列针对不同数据类型的模板匹配方法,该部分软件的伪代码实现如下:
(1)定义基本数据访问对象,提供设置与获取数据类型两类接口;
(2)定义模板,实例化通用目标数据对象,实现数据访问接口。
4.3实现通用数据访问
在定义好模板接口后,继续开展通用数据访问的实现方法,其原理是利用模板的自动匹配与面向对象编程语言的接口转换原理,对整数、浮点数、字符串等不同数据类型实现转换,相关伪代码如下图所示,同样地,该部分伪代码只描述了基本框架与概略实现方法。通用数据访问实现的核心能力是直接在计算机底层进行了数据的统一,对上层应用屏蔽了不同数据类型的差异化访问。模板过程如下:
(1)模板化定义通用的数据映射对象
(2)定义设置对象的接口,该接口的参数包括键Key与值对象ValueObject,通过ValueObject的数据类型参数,调用对应的处理方法,将数据填充到容器中。
5协议栈管理
协议栈是一个综合管理各类信源解析协议的容器,其通过对不同协议进行抽象形成了基本的共性接口,依托这些共性接口,进一步提供统一的调度服务来管理这些协议,管理内容包括协议的入栈、出栈服务,并合理调度各类协议的启动、停止、更新、暂停等操作。除此之外,协议栈管理的核心能力主要是能在不停止整个协议访问与运行服务的情况下实现动态的协议增、删、改、查,其核心能力与协议运行的流程如图6所示。
如图3所示,本发明能支持从网络上接收各类二进制的网络报文,并依托协议栈对该报文的内容进行迭代检测,找到对应的协议格式和合适的处理方法,当找到并解析成功时,对该报文描述的目标内容进行汇总和归类,最后通过共用换格式实现目标数据的统一描述与组织管理。
本发明对情报信源的随遇接入与处理方法进行了较为详细的设计,结合工程经验,并通过相关理论总结、数据治理与数学计算方法,描述了各路信源从汇集接入到处理的全过程中需要采取的步骤和软件实现手段,该方法在工程实践中被证明可靠有效。不同协议标准的信源随遇接入是一个复杂的过程,本发明主要是描述了当前技术背景下的一种实现方法,随着动态脚本语言和软件可定义技术的快速发展,将继续提升软件实现能力,在时效性、稳定性、简易性、敏捷性以及可维护性等方面进行更大的提升。
具体实现中,本申请提供计算机存储介质以及对应的数据处理单元,其中,该计算机存储介质能够存储计算机程序,所述计算机程序通过数据处理单元执行时可运行本发明提供的一种支持网络化目标数据随遇接入与处理的方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,ROM)或随机存储记忆体(random access memory,RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来,该计算机程序软件产品可以存储在存储介质中,包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机,服务器,单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种支持网络化目标数据随遇接入与处理的方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种支持网络化目标数据随遇接入与处理的方法,其特征在于,包括如下步骤:
步骤1,协议动态编译与协议栈管理;
步骤2,报文头检测与协议匹配;
步骤3,描述目标信息;
步骤4,组织共用交换产品;
步骤5,管理协议栈;
步骤1包括:在对各类信源接入进行格式解析和内容识别的基础上,抽象各类信源接入的共性特征,制定出各类信源接入的规范与标准,结合信源实际,运用动态脚本语言技术对规范与标准进行编译、发布与运行;同时通过一种协议栈管理所述协议,协议栈的功能包括协议动态出入栈、协议检索、协议更新,通过网络汇聚的报文在经过类型提取或迭代匹配找到合适的协议后将进行自动解析,生成对应的目标描述;
步骤2包括:
步骤2-1,汇聚信源报文;
步骤2-2,报文类型检测与协议检索;
步骤2-1包括:在网络上以在线监听的方式连续获取通过TCP/UDP传输的各类信源报文,在采用动态的缓存策略确保报文不被丢失;当接收到各信源报文后,将信源报文打上时间戳,并放入消息队列中,根据订阅情况和分发机制,将信源报文分发到对应的分发用户,存储在消息队列中的报文会定时进行清理,根据设定的报文存活时间删除超时报文;
步骤2-2包括:对汇聚到的报文进行报文类型检测,并根据检测结果从协议栈中检索到相应的协议,如果报文头中能直接提取到报文类型,则根据报文类型从协议栈中检索到相应的协议,如果不能提取到报文类型,则通过报文内容迭代检测的方式在协议栈中找到相应的协议;
对于信息类型字段为空或者信息类型字段与实际报文格式不相符合的情况,通过报文内容迭代解析的方式进行报文协议确认,迭代解析时,仅解析报文中n个较为重要的字段,并对这n个字段内容的正确性进行判读,如果解析正确则确定报文的信息类型,如果所有协议的预解析都没有成功,则过滤排除报文;
对于通过预解析成功判断协议的信源报文,自动记录信源报文协议,如果超过m次解析成功,则设置信源信息与报文协议之间的映射关系,后续解析此条信源报文时将直接调用映射的协议插件进行报文解析;
步骤3包括:
步骤3-1,解析报文;
步骤3-2,组织目标信息;
步骤3-1包括:对解析的接口进行明确和统一,接口包括插件的过程、输入和输出,协议解析插件的输入统一为报文正文和报文长度,定义一个通用的内部格式,所述内部格式包含所有协议定义的要素信息,并对各要素的描述形式进行统一,规定所有解析插件的输出结果都要统一遵循所述内部格式;将各种协议的编码进行统一,在动态调用协议解析插件后,都需要调用插件的初始化函数接口,实现各协议编码信息和统一编码信息的加载,在各协议报文解析过程中都要调用编码转换接口实现各协议的编码统一;
步骤3-2包括:当协议解析插件完成报文解析后,对解析后的信息内容进行过滤、统一和组织,包括:
对于解析后的信源报文,首先对报文的正确性进行判断,判断的参数包括经纬度信息、时间信息,过滤参数明显异常的报文;
进行属性要素补全和要素标准化:基于积累的属性知识库自动匹配上报的属性要素信息,对匹配成功的要素信息进行标准化处理,对缺失的要素信息进行补全;要素来源标记首先对信源报文进行编码,并将信源报文上报的所有属性信息打上报文编码信息,对于补全的属性信息打上知识库编码,标记各属性要素的来源;
步骤4包括:
步骤4-1,定义键值对:键值对TriPair为三元组格式TriPair(Key、Value、Name),判断一个组合Cv是否与一个Key相匹配的方法包括:
定义主类型Cvmaintype,次类型Cvsubtype,内部类型Cvinnertype,则:
Cvmaintype=Cv&0xFF000000
Cvsubtype=Cv&0x00FFFF00
Cvinntertype=Cv&0x0000000FF
其中&表示与计算方法,当1&1是为True,F为条件;Name表示名称,Key表示唯一的整数值,Value表示具体的值;
步骤4-2,动态匹配数据类型,包括:
定义基本数据访问对象,提供设置与获取数据类型两类接口;
定义模板,实例化通用目标数据对象,实现数据访问接口;
步骤4-3,实现通用数据访问,包括:
模板化定义通用的数据映射对象;
定义设置对象的接口,所述接口的参数包括键Key与值对象ValueObject,通过ValueObject的数据类型参数,调用对应的处理方法,将数据填充到容器中;
步骤5包括:协议栈是一个综合管理各类信源解析协议的容器,协议栈通过对不同协议进行抽象形成了共性接口,通过共性接口,进一步提供统一的调度服务来管理各类信源解析协议,管理内容包括协议的入栈、出栈服务,并合理调度各类信源解析协议的启动、停止、更新、暂停;并且在不停止整个协议访问与运行服务的情况下实现动态的协议增加、删除、改动、查找。
CN202210546066.5A 2022-05-18 2022-05-18 一种支持网络化目标数据随遇接入与处理的方法 Active CN114979309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210546066.5A CN114979309B (zh) 2022-05-18 2022-05-18 一种支持网络化目标数据随遇接入与处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210546066.5A CN114979309B (zh) 2022-05-18 2022-05-18 一种支持网络化目标数据随遇接入与处理的方法

Publications (2)

Publication Number Publication Date
CN114979309A CN114979309A (zh) 2022-08-30
CN114979309B true CN114979309B (zh) 2023-08-18

Family

ID=82984508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210546066.5A Active CN114979309B (zh) 2022-05-18 2022-05-18 一种支持网络化目标数据随遇接入与处理的方法

Country Status (1)

Country Link
CN (1) CN114979309B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379024A (zh) * 2022-09-02 2022-11-22 北京航天长城卫星导航科技有限公司 一种基于数据服务平台的自适应学习型协议池算法装置
CN115801914B (zh) * 2022-11-29 2024-04-30 重庆长安汽车股份有限公司 一种多协议网络数据交换方法
CN116723204B (zh) * 2023-08-07 2024-02-09 南京国电南自轨道交通工程有限公司 一种分层系统之间大数据量实时数据的同步方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048979A1 (de) * 2000-09-27 2002-04-11 Bernhard Walke Software-Entwicklungsverfahren basierend auf einem generischen Protokollstapel und standardspezifischen Modulen
WO2011116583A1 (zh) * 2010-03-26 2011-09-29 中兴通讯股份有限公司 一种实现对多协议通信组件管理的方法及装置
CN102480462A (zh) * 2010-11-23 2012-05-30 中国电信股份有限公司 通用协议适配方法及装置
CN102546442A (zh) * 2012-03-09 2012-07-04 北京神州数码思特奇信息技术股份有限公司 通信协议转换技术
KR101545255B1 (ko) * 2014-04-21 2015-08-20 이병훈 이종 통신 프로토콜 통합 기반의 모니터링 시스템 및 모니터링 방법
CN105516185A (zh) * 2015-12-30 2016-04-20 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种多协议网关设备
CN106713357A (zh) * 2017-01-24 2017-05-24 南京仁谷系统集成有限公司 一种通用的网络协议解析方法
CN109413711A (zh) * 2018-10-17 2019-03-01 中国运载火箭技术研究院 一种飞行器协同信息网络协议栈
CN111010390A (zh) * 2019-12-12 2020-04-14 重庆工商大学 一种基于多协议异构物联网的自适应呼叫方法与系统
CN111801916A (zh) * 2018-02-23 2020-10-20 赛灵思公司 与多种接口通信协议兼容的可编程noc
CN112118232A (zh) * 2020-08-25 2020-12-22 通号城市轨道交通技术有限公司 报文协议解析方法及装置
CN112702317A (zh) * 2020-12-11 2021-04-23 广东电力通信科技有限公司 一种基于智能网关的通信协议优化方法
CN114301995A (zh) * 2021-12-30 2022-04-08 上海交通大学 实时工业以太网协议的转换切换与互通融合系统及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106528A1 (en) * 2010-10-28 2012-05-03 Texas Instruments Incorporated Unified protocol stack for colocated wireless transceivers
US10432704B2 (en) * 2016-03-23 2019-10-01 Sap Se Translation of messages using sensor-specific and unified protocols

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10048979A1 (de) * 2000-09-27 2002-04-11 Bernhard Walke Software-Entwicklungsverfahren basierend auf einem generischen Protokollstapel und standardspezifischen Modulen
WO2011116583A1 (zh) * 2010-03-26 2011-09-29 中兴通讯股份有限公司 一种实现对多协议通信组件管理的方法及装置
CN102480462A (zh) * 2010-11-23 2012-05-30 中国电信股份有限公司 通用协议适配方法及装置
CN102546442A (zh) * 2012-03-09 2012-07-04 北京神州数码思特奇信息技术股份有限公司 通信协议转换技术
KR101545255B1 (ko) * 2014-04-21 2015-08-20 이병훈 이종 통신 프로토콜 통합 기반의 모니터링 시스템 및 모니터링 방법
CN105516185A (zh) * 2015-12-30 2016-04-20 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种多协议网关设备
CN106713357A (zh) * 2017-01-24 2017-05-24 南京仁谷系统集成有限公司 一种通用的网络协议解析方法
CN111801916A (zh) * 2018-02-23 2020-10-20 赛灵思公司 与多种接口通信协议兼容的可编程noc
CN109413711A (zh) * 2018-10-17 2019-03-01 中国运载火箭技术研究院 一种飞行器协同信息网络协议栈
CN111010390A (zh) * 2019-12-12 2020-04-14 重庆工商大学 一种基于多协议异构物联网的自适应呼叫方法与系统
CN112118232A (zh) * 2020-08-25 2020-12-22 通号城市轨道交通技术有限公司 报文协议解析方法及装置
CN112702317A (zh) * 2020-12-11 2021-04-23 广东电力通信科技有限公司 一种基于智能网关的通信协议优化方法
CN114301995A (zh) * 2021-12-30 2022-04-08 上海交通大学 实时工业以太网协议的转换切换与互通融合系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
针对异构协议的动态解析器模型;王永娜;赵奎;王鸿亮;王俊霖;;计算机系统应用(第01期);全文 *

Also Published As

Publication number Publication date
CN114979309A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114979309B (zh) 一种支持网络化目标数据随遇接入与处理的方法
CN112394942B (zh) 基于云计算的分布式软件开发编译方法及软件开发平台
CN106104533A (zh) 处理大型数据储存库中的数据集
CN108038207A (zh) 一种日志数据处理系统、方法和服务器
CN109144734A (zh) 一种容器资源配额分配方法和装置
CN113111140A (zh) 快速解析多源海洋业务化观测数据的方法
WO2021114044A1 (en) Information acquiring method, apparatus, and system
CN113434625B (zh) 专利检索式的代码化方法、设备和存储介质
CN111291054A (zh) 一种数据处理方法、装置、计算机设备和存储介质
CN113138906A (zh) 一种调用链数据采集方法、装置、设备及存储介质
CN110941463B (zh) 一种遥感卫星数据预处理多级产品自驱动系统
WO2023125038A1 (zh) 数据表的预处理方法、装置、电子设备及存储介质
CN111917848A (zh) 基于边缘计算和云计算协同的数据处理方法及云服务器
CN115604343A (zh) 一种数据传输方法、系统、电子设备和存储介质
CN112182413B (zh) 一种基于教学大数据的智能推荐方法及服务器
CN113282609A (zh) 一种基于大数据技术的智能解析数据的方法
CN113032341A (zh) 一种基于可视化配置的日志处理方法
CN114124679A (zh) 物联网终端日志的上传方法、装置、物联网终端
CN113050987A (zh) 一种接口文档的生成方法、装置、存储介质及电子设备
CN115599881A (zh) 工作流创建方法、系统、电子设备和计算机可读存储介质
CN116362462B (zh) 一种基于物联网和大数据分析的全闭环生产管理系统
US20230418802A1 (en) Method and system for automated column type annotation
US20230281482A1 (en) Systems and methods for rule-based machine learning model promotion
Fan et al. Design of Intelligent Human Resource Information Collection System Based on Decision Tree Algorithm
CN116757637A (zh) 一种基于函数计算平台的异常工单处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant