CN111930705A - 二进制消息协议数据处理方法及装置 - Google Patents

二进制消息协议数据处理方法及装置 Download PDF

Info

Publication number
CN111930705A
CN111930705A CN202010646190.XA CN202010646190A CN111930705A CN 111930705 A CN111930705 A CN 111930705A CN 202010646190 A CN202010646190 A CN 202010646190A CN 111930705 A CN111930705 A CN 111930705A
Authority
CN
China
Prior art keywords
message
node
protocol
tree structure
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010646190.XA
Other languages
English (en)
Other versions
CN111930705B (zh
Inventor
叶海军
王阳
杨军
代宇涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Science Research Institute of CTEC
Original Assignee
Electronic Science Research Institute of CTEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Science Research Institute of CTEC filed Critical Electronic Science Research Institute of CTEC
Priority to CN202010646190.XA priority Critical patent/CN111930705B/zh
Publication of CN111930705A publication Critical patent/CN111930705A/zh
Application granted granted Critical
Publication of CN111930705B publication Critical patent/CN111930705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/322—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种二进制消息协议数据处理方法及装置。二进制消息协议数据处理方法，包括：基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；对各个协议语义模型进行解析，以获得待处理文件；对待处理文件进行逻辑切分，以获得多份独立的数据文件分片；对多份数据文件分片进行并行处理。采用本发明，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。

Description

二进制消息协议数据处理方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种二进制消息协议数据处理方法及装置。
背景技术
大数据时代的到来，基于数据的决策，对数据处理的广度、深度、速度都有了更高的要求。单机的数据处理方式已经满足不了现今的需要。Hadoop大数据处理平台近年来成为数据分析工作者进行分布式数据处理的热门选择，Hadoop兴起于互联网行业，设计的初衷是用来处理网站收集的用户数据或者日志数据，这些数据一般为文本数据，所以Hadoop默认处理的数据格式为文本类型的数据或者符合要求的二进制序列，对其它类型的数据处理并没有直接的解决方案。
特种飞机任务电子系统在运行过程中，各个节点之间需要通过自定义消息协议完成信息交互，消息协议在设计过程中，出于网络传输的需要，采用二进制的形式定义消息内容，有的消息会采用按比特位进行消息编码。消息协议定义随着系统功能的需要进行变更。
利用Hadoop大数据平台进行自定义二进制消息协议数据处理现在大都采用平台与单机协作分阶段串并结合的方法实现。该方法首先在单机平台上完成消息协议数据由二进制形式到文本形式的解析处理，数据解析逻辑由软件开发人员硬编码至解析软件中，在消息定义出现变更时，软件开发人员更新解析逻辑代码。数据在完成解析之后，利用上传工具将数据上传至分布式文件系统上，开始数据的分布式处理。
平台与单机协作分阶段串并结合的方法在进行数据解析时，当数据定义发生变动，解析软件将不可用，需要更新程序代码逻辑，软件才能正常工作，另外，分阶段串并结合的方式并没有充分发挥分布式平台进行数据处理的速度优势，数据的单机串行解析阶段为整个数据处理过程的瓶颈。
发明内容
本发明实施例提供一种二进制消息协议数据处理方法及装置，用以解决现有技术中二进制消息协议数据处理效率低的问题。
根据本发明实施例的二进制消息协议数据处理方法，包括：
基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
对各个所述协议语义模型进行解析，以获得待处理文件；
对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
对多份所述数据文件分片进行并行处理。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
根据本发明的一些实施例，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。
根据本发明的一些实施例，所述节点类型包括unsignedint、bit、int、char、short、或float。
根据本发明的一些实施例，所述对多份所述数据文件分片进行并行处理，包括：
为每个所述数据文件分片分配一个并行处理任务；
对每个所述并行处理任务进行切分，以获得多个消息分片；
对每个所述消息分片进行消息解析，以获得解析结果；
对所述解析结果进行并行任务处理调度。
根据本发明实施例的二进制消息协议数据处理装置，包括：
模型定义单元，用于基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
模型管理单元，用于对各个所述协议语义模型进行解析，以获得待处理文件；
处理单元，用于对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；对多份所述数据文件分片进行并行处理。
根据本发明的一些实施例，所述处理单元包括Hadoop平台。
根据本发明的一些实施例，所述模型定义单元，用于：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述的二进制消息协议数据处理方法的步骤。
采用本发明实施例，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1是本发明实施例中二进制消息协议数据处理方法流程图；
图2是本发明实施例中协议语义模型结构示意图；
图3是本发明实施例中协议语义模型示意图；
图4是本发明实施例中待处理文件切分流程图；
图5是本发明实施例中待处理文件处理流程图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，根据本发明实施例的二进制消息协议数据处理方法，包括：
S1，基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
S2，对各个所述协议语义模型进行解析，以获得待处理文件；
S3，对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
S4，对多份所述数据文件分片进行并行处理。
采用本发明实施例，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。
如图2所示，根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
如图3所示，根据本发明的一些实施例，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。
根据本发明的一些实施例，所述节点类型包括unsignedint、bit、int、char、short、或float。
如图5所示，根据本发明的一些实施例，所述对多份所述数据文件分片进行并行处理，包括：
为每个所述数据文件分片分配一个并行处理任务；
对每个所述并行处理任务进行切分，以获得多个消息分片；
对每个所述消息分片进行消息解析，以获得解析结果；
对所述解析结果进行并行任务处理调度。
根据本发明实施例的二进制消息协议数据处理装置，包括：
模型定义单元，用于基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
模型管理单元，用于对各个所述协议语义模型进行解析，以获得待处理文件；
处理单元，用于对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；对多份所述数据文件分片进行并行处理。
采用本发明实施例，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。
根据本发明的一些实施例，所述处理单元包括Hadoop平台。
根据本发明的一些实施例，所述模型定义单元，用于：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
下面参照图2-图5以一个具体的实施例详细描述根据本发明实施例的二进制消息协议数据处理装置。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
本发明实施例的二进制消息协议数据处理装置基于Hadoop平台实现，能够直接进行特种飞机任务电子系统二进制自定义消息协议数据的处理，并在消息协议出现变动时，只需通过修改消息模型定义的配置文件，即可解析处理新的消息协议。
具体的，本发明实施例的二进制消息协议数据处理装置包括模型定义单元、模型管理单元、和处理单元。
模型定义单元用来描述消息结构，定义了处理单元需要处理的消息内容。如图2所示，模型定义单元基于二进制消息协议特点，采用多叉树形结构，层次化描述任意按字节或者比特位编排的自定义消息协议(简称为消息)，以获得多个协议语义模型。具体实现上，可采用XML、JSON等结构化描述语言实现。在新增消息协议或者已有消息协议定义出现变动时，只需新增消息模型定义或者修改已有模型定义即可。
具体的，模型定义单元采用多叉树形结构，树中的节点由消息名称节点、消息版本节点、组合节点、元素节点组成。其中消息名称节点、消息版本节点分别标记消息的名称和版本，组合节点和元素节点用来描述消息的内容。元素节点为基本节点，由一个基本数据类型字段组成，组合节点可包括至少一个组合节点和/或至少一个元素节点。在组织方式上，树中第一层为消息根节点，用来标记消息的开始，第二层包括消息名称节点、消息版本节点、及消息内容开始节点，第三层至叶节点所在层包括消息内容节点。组合节点与叶节点按照其在消息定义中出现的顺序由左向右、由上至下进行编排。
如图3所示，组合节点、元素节点由节点Id、节点类型、节点数量、节点值、节点类别组成。节点Id用来标识节点内容的含义；节点类型在节点类别为Structure时为空，节点类别为Element时为基本属性类型，包括unsignedint、bit、int、char、short、float等。节点数量对应着消息定义中内容为数组的情况，用来标识节点内容的数量，节点值在定义时为空，在进行消息解析时可将消息的解析内容填入；节点类别为组合节点类别Structure和元素节点类别Element。
协议语义模型采用深度优先的方式进行遍历。从消息内容开始节点开始，逐层沿树形结构左分支节点进行遍历，待左分支节点遍历完成之后，开始遍历右分支节点，直至所有节点完成遍历。。
模型管理单元负责解析协议语义模型，以获得待处理文件。
如图4所示，处理单元用来完成消息数据的处理。处理单元包括数据块切分、消息切分、消息解析、消息处理。数据块切分负责将待处理文件以最适合Hadoop平台处理的大小进行切分，这部分操作也是并行处理的开端，完成切分的数据文件分片将交由Hadoop平台进行分布式并行处理调度；消息切分模块负责将已完成切分的数据文件分片进一步按消息进行切分，切分完成的单条消息分片进入消息解析模块处理；消息解析模块负责对单条消息分片内容进行解析，解析结果交由Hadoop平台进行分布式并行处理调度；消息处理模块负责解析后的消息处理，完成最终的解析结果的转换、过滤、输出等操作。
如图5所示，处理单元会对待处理文件进行逻辑切分，将待处理文件划分成独立的数据文件分片，并启动并行处理任务，每个数据文件分片分配一个并行处理任务，在各个并行任务内部，第一步执行消息分片，其次对各个消息分片进行消息解析，解析完成的结果进行并行任务处理调度，最后完成处理与结果输出。
采用本发明实施例，具有以下效果：
特种飞机任务电子系统实现复杂，定义的消息协议数量众多，在系统研制及交付使用的各个阶段，消息的增加、更改都有可能出现，对数据处理程序提出了挑战，利用本装置，可以大大减少因消息协议变动产生的程序修改需求；
特种飞机经过多年的发展，现已经成规模的装备部队，积累的数据量已达海量，单机数据处理已满足不了现今数据处理速度的需求，利用本装置，大大提高了特种飞机数据处理的速度，为后续数据分析挖掘提供基础；
本发明中提出的装置不仅可以用于特种飞机任务电子系统的消息协议的解析，也可用于其它系统的消息协议解析。
需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明实施例提供一种二进制消息协议数据处理设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下方法步骤：
S1，基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
S2，对各个所述协议语义模型进行解析，以获得待处理文件；
S3，对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
S4，对多份所述数据文件分片进行并行处理。
采用本发明实施例，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
根据本发明的一些实施例，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。
根据本发明的一些实施例，所述节点类型包括unsignedint、bit、int、char、short、或float。
根据本发明的一些实施例，所述对多份所述数据文件分片进行并行处理，包括：
为每个所述数据文件分片分配一个并行处理任务；
对每个所述并行处理任务进行切分，以获得多个消息分片；
对每个所述消息分片进行消息解析，以获得解析结果；
对所述解析结果进行并行任务处理调度。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器执行时实现如下方法步骤：
S1，基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
S2，对各个所述协议语义模型进行解析，以获得待处理文件；
S3，对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
S4，对多份所述数据文件分片进行并行处理。
采用本发明实施例，可以描述任意二进制消息协议结构，新增消息协议或者消息协议出现变动时，无需修改解析处理程序，新增或者修改模型定义配置文件即可完成变动消息协议的解析处理，还可以完成二进制消息的分布式处理。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。
根据本发明的一些实施例，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
根据本发明的一些实施例，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。
根据本发明的一些实施例，所述节点类型包括unsignedint、bit、int、char、short、或float。
根据本发明的一些实施例，所述对多份所述数据文件分片进行并行处理，包括：
为每个所述数据文件分片分配一个并行处理任务；
对每个所述并行处理任务进行切分，以获得多个消息分片；
对每个所述消息分片进行消息解析，以获得解析结果；
对所述解析结果进行并行任务处理调度。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
需要说明的是，在本说明书的描述中，在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。另外，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种二进制消息协议数据处理方法，其特征在于，包括：
基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
对各个所述协议语义模型进行解析，以获得待处理文件；
对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；
对多份所述数据文件分片进行并行处理。
2.如权利要求1所述的方法，其特征在于，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
采用XML或JSON定义各个消息。
3.如权利要求1所述的方法，其特征在于，所述基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型，包括：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
4.如权利要求3所述的方法，其特征在于，所述消息内容节点包括节点Id、节点类型、节点数量、节点值、以及节点类别。
5.如权利要求4所述的方法，其特征在于，
所述节点类型包括unsigned int、bit、int、char、short、或float。
6.如权利要求1所述的方法，其特征在于，所述对多份所述数据文件分片进行并行处理，包括：
为每个所述数据文件分片分配一个并行处理任务；
对每个所述并行处理任务进行切分，以获得多个消息分片；
对每个所述消息分片进行消息解析，以获得解析结果；
对所述解析结果进行并行任务处理调度。
7.一种二进制消息协议数据处理装置，其特征在于，包括：
模型定义单元，用于基于二进制消息协议的特点，采用多叉树形结构，层次化定义各个消息，以获得多个协议语义模型；
模型管理单元，用于对各个所述协议语义模型进行解析，以获得待处理文件；
处理单元，用于对所述待处理文件进行逻辑切分，以获得多份独立的数据文件分片；对多份所述数据文件分片进行并行处理。
8.如权利要求7所述的装置，其特征在于，所述处理单元包括Hadoop平台。
9.如权利要求7所述的装置，其特征在于，所述模型定义单元，用于：
设置多叉树形结构的第一层包括消息根节点，第二层包括消息名称节点、消息版本节点、以及消息内容开始节点，第三层至叶节点所在层包括消息内容节点；
所述消息内容节点包括组合节点和元素节点；
所述协议语义模型采用深度优先的方式进行遍历。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN202010646190.XA 2020-07-07 2020-07-07 二进制消息协议数据处理方法及装置 Active CN111930705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010646190.XA CN111930705B (zh) 2020-07-07 2020-07-07 二进制消息协议数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646190.XA CN111930705B (zh) 2020-07-07 2020-07-07 二进制消息协议数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN111930705A true CN111930705A (zh) 2020-11-13
CN111930705B CN111930705B (zh) 2023-03-14

Family

ID=73312286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646190.XA Active CN111930705B (zh) 2020-07-07 2020-07-07 二进制消息协议数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111930705B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584885A (zh) * 2003-08-18 2005-02-23 微软公司 用于验证分层组织的消息的系统和方法
US20090276451A1 (en) * 2008-05-05 2009-11-05 Sensinode Oy Method and apparatus for processing messages
CN107402991A (zh) * 2016-09-21 2017-11-28 广州特道信息科技有限公司 一种写入半结构化数据的方法和分布式NewSQL数据库系统
CN107948005A (zh) * 2017-12-29 2018-04-20 深圳市麦斯杰网络有限公司 物联网协议的更新方法及装置
CN109101621A (zh) * 2018-08-09 2018-12-28 中国建设银行股份有限公司 一种数据的批量处理方法及系统
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法
CN111343201A (zh) * 2020-05-18 2020-06-26 成都数之联科技有限公司 一种快速适配协议变更的解析方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1584885A (zh) * 2003-08-18 2005-02-23 微软公司 用于验证分层组织的消息的系统和方法
US20090276451A1 (en) * 2008-05-05 2009-11-05 Sensinode Oy Method and apparatus for processing messages
CN107402991A (zh) * 2016-09-21 2017-11-28 广州特道信息科技有限公司 一种写入半结构化数据的方法和分布式NewSQL数据库系统
CN107948005A (zh) * 2017-12-29 2018-04-20 深圳市麦斯杰网络有限公司 物联网协议的更新方法及装置
CN109101621A (zh) * 2018-08-09 2018-12-28 中国建设银行股份有限公司 一种数据的批量处理方法及系统
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法
CN111343201A (zh) * 2020-05-18 2020-06-26 成都数之联科技有限公司 一种快速适配协议变更的解析方法、装置及系统

Also Published As

Publication number Publication date
CN111930705B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
US7962524B2 (en) Computer program, device, and method for sorting dataset records into groups according to frequent tree
CN110737466B (zh) 基于静态程序分析的源代码编码序列表示方法
CN109104405B (zh) 二进制协议编码、解码方法和装置
CN112667860A (zh) 一种子图匹配方法、装置、设备及存储介质
CN104317928A (zh) 一种基于分布式数据库的业务etl方法及系统
CN102647414A (zh) 协议解析方法、设备及系统
CN112446207A (zh) 标题生成方法、装置、电子设备及存储介质
CN108055351A (zh) 三维文件的处理方法及装置
CN111538766A (zh) 一种文本分类方法、装置、处理设备和票据分类系统
CN113157927A (zh) 文本分类方法、装置、电子设备及可读存储介质
CN112966328B (zh) 基于BIM的应用Dynamo自动化创建共享参数方法
CN112733551A (zh) 文本分析方法、装置、电子设备及可读存储介质
CN113282579A (zh) 一种异构数据存储与检索方法、装置、设备及存储介质
CN111930705B (zh) 二进制消息协议数据处理方法及装置
CN115130043B (zh) 基于数据库的数据处理方法、装置、设备及存储介质
CN110806973A (zh) 一种接口报文的自动生成方法及装置
CN108089871A (zh) 软件自动更新方法、装置、设备及存储介质
CN113971044A (zh) 组件文档生成方法、装置、设备及可读存储介质
CN107247904A (zh) 一种安全基线项目同步方法及装置
CN106951434A (zh) 一种用于搜索引擎的搜索方法、装置及可编程设备
CN109840080B (zh) 字符属性比较方法、装置、存储介质及电子设备
CN113076721B (zh) 一种基于XPath的编码长度控制方法以及装置
CN111782610B (zh) 日志处理方法、装置、服务器、系统网络和存储介质
CN116909542B (zh) 一种汽车软件模块划分系统、方法及存储介质
CN115378824B (zh) 模型相似度确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant