CN108241686A - 一种数据集成方法和系统 - Google Patents

一种数据集成方法和系统 Download PDF

Info

Publication number
CN108241686A
CN108241686A CN201611220101.5A CN201611220101A CN108241686A CN 108241686 A CN108241686 A CN 108241686A CN 201611220101 A CN201611220101 A CN 201611220101A CN 108241686 A CN108241686 A CN 108241686A
Authority
CN
China
Prior art keywords
data
agreements
jms
module
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611220101.5A
Other languages
English (en)
Other versions
CN108241686B (zh
Inventor
张现伟
王政
陈雪珍
信泉
潘庆革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Air Traffic Control Technology And Equipment Development Co ltd
Original Assignee
AERO-INFO TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AERO-INFO TECHNOLOGIES Co Ltd filed Critical AERO-INFO TECHNOLOGIES Co Ltd
Priority to CN201611220101.5A priority Critical patent/CN108241686B/zh
Publication of CN108241686A publication Critical patent/CN108241686A/zh
Application granted granted Critical
Publication of CN108241686B publication Critical patent/CN108241686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

一种数据集成方法和系统，包括：网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据，并通过网关模块转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再发送给数据集成模块；数据集成模块使用表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。

Description

一种数据集成方法和系统
技术领域
本发明涉及民航空管和数据处理技术，尤指一种数据集成方法和系统。
背景技术
目前常用的数据集成方法主要是传统抽取转换加载(ETL，Extract-Transform-Load)方法、大数据ETL方法以及大数据抽取加载转换(ELT，Extract-Loading-Transform)方法。
其中，传统ETL方法是指抽取源数据库的数据，将抽取的数据的数据格式转化为目标数据库或者目标数据仓库的数据格式，然后将转换数据格式后的数据加载到目标数据库或目标数据仓库中，它本身是一个独立的连接源数据库和目标数据库货目标数据仓库的中转工具。
大数据ETL方法是指大数据既作为目标数据库也作为ETL工具本身，把源数据库的数据经过映射化简(MapReduce)处理后入库到分布式文件系统(HDFS，Hadoop DistributedFile System)中。其中，MapReduce处理可以采用分布式计算(Hadoop)软件或Spark软件实现。
大数据ELT方法是大数据ETL方法的另外一个形式，ETL作为数据转换工具，在源数据库存储空间较小，或者需要对源数据库中的数据进行处理分析，或者无法提供对源数据库中的数据进行整合需要的数据抽取方法时，往往采用大数据ELT方法，即先把源数据库中的数据先加载到大数据存储HDFS中，然后再对HDFS中的数据进行MapReduce处理，处理后的数据再次加载到大数据存储HDFS中。
大数据ETL和ELT两种方法都可以处理复杂的转换方式，存储也采用了支持更多的数据类型包括非结构化类型，但是基于块数据处理的Hadoop软件，无法及时处理动态数据，而采用Spark内存缓存和迭代处理方式，无法清楚内存数据的过期以及只能进行准实时MapReduce处理。
目前的数据集成方法具有以下缺陷：
1)无法实时转换处理
传统的ETL方法中，由于需要人工触发或定时器触发，只能处理秒级的数据，而实时处理需要处理50毫秒以下甚至纳秒级别的数据，因此无法进行实时处理。
大数据ELT方法和大数据ETL方法中，Hadoop软件采用是人工触发任务方式；Spark软件采用定时器触发机制，只能触发秒级别处理，因此无法进行实时处理。
2)不支持动态数据源
传统ETL方法中，只能处理数据库中的静态数据，无法支持数据流方式的处理；
大数据ELT方法和大数据ETL方法中，Hadoop软件只能支持块文件处理，无法支持实时流数据处理；Spark软件只能支持秒定时下的流数据处理，无法支持实时流数据源。
3)无法支持多种数据源
传统ETL方法只能采用驱动方式对数据库进行操作，无法支持提供服务或者动态数据流的数据源；
大数据ETL方法和大数据ELT方法中，Hadoop软件的处理数据源是文件，数据源单一；而Spark软件也只能支持Socket、Flume以及Karaf动态数据源方式，对于标准协议Java消息服务(JMS，Java Message Service)、传输控制协议(TCP，Transmission ControlProtocol)、互联网协议(IP，Internet Protocol)以及串口协议无法支持。
4)转换方式复杂
对于需要复杂空管信息，信息的格式差异性很大，每一封报文都是包括一个完整的逻辑，而采用传统ETL方式，无法完成复杂报文的解析处理；Hadoop软件和Spark软件采用MapReduce方式可以针对每一类报文定义解析任务，编码复杂性，而且无法适合个性化的报文解析。
发明内容
本发明实施例提供了一种数据集成方法和系统，能够处理民航空管动态数据。
本发明实施例提供了一种数据集成方法，包括：
网关适配器将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；
网关模块将JMS协议的报文数据转发给报文解析模块；
报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；
数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
可选的，所述网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据包括：
所述网关适配器将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据。
可选的，所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源包括：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
可选的，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；
包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；
接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
可选的，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；
包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；
接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
本发明实施例还提出了一种数据集成系统，包括：
网关适配器，用于将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；
网关模块，用于将JMS协议的报文数据转发给报文解析模块；
报文解析模块，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；
热缓存模块，用于保存接收到的业务报文对象；
数据集成模块，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
可选的，所述网关适配器具体用于：
将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据，将JMS协议的报文数据发送给网关模块。
可选的，所述数据集成模块具体用于采用以下方式实现所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
可选的，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；
包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；
接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
可选的，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；
包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；
接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
与相关技术相比，本发明实施例包括：网关适配器将接收到的航空固定电信网AFTN协议或ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；网关模块将JMS协议的报文数据转发给报文解析模块；报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。通过本发明实施例的方法，由于AFTN协议或ATN协议的数据流基本包含了所有的民航空管动态数据，因此，简单实现了对民航空管动态数据的处理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明第一实施例数据集成方法的流程图；
图2为本发明第二实施例数据集成系统的结构组成示意图。
具体实施方式
下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
参见图1，本发明第一实施例提出了一种数据集成方法，包括：
步骤100、网关适配器将接收到的航空固定电信网(AFTN，Aeronautical FixedTelecommunication Network)协议或航空电信网(ATN，Aeronautical TelecommunicationNetwork)协议的数据流转换成JMS协议的报文数据，将JMS协议的报文数据发送给网关模块。
本步骤中，网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据包括：
网关适配器将AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将AFTN协议或ATN协议的报文数据转换成JMS协议的报文数据。
本步骤中，可以采用一个总的网关适配器实现将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据；也可以采用多个具体的网关适配器实现将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据，每一个具体的网关适配器实现将具体的一种AFTN协议或ATN协议的数据流转换成JMS协议的报文数据。
例如，采用雷达高级数据链路控制(HDLC，High-Level Data Link Control)网关适配器将雷达HDLC数据转换成JMS协议的报文数据，采用广播式自动相关监视(ADS-B，Automatic Department Surveillance Broadcast)网关适配器将ADS-B的串口数据转换成JMS协议的报文数据，采用报文网关适配器将支持网络数据接口和报文接口的数据报文对象转换成JMS协议的报文数据，采用气象数据库(DB，Database)网关适配器将气象数据库中最新更新的气象数据查询出来，并转换成JMS协议的报文数据。其中，雷达HDLC数据、ADS-B的串口数据、支持网络数据接口和报文接口的数据报文对象、气象数据等均为AFTN协议或AMHS协议的数据流的一种。
步骤101、网关模块将JMS协议的报文数据转发给报文解析模块。
本步骤中，网关模块可以通过多个节点实现。
步骤102、报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
本步骤中，预先设置的报文解析模板可以预先按照优先级进行排序，报文解析模块在将JMS协议的报文数据与报文解析模板进行匹配时，按照优先级将JMS协议的报文数据逐个与报文解析模板进行匹配。
本步骤中，报文解析模板可以采用现有的报文解析模板，也可以采用自定义的报文解析模板。例如，报文解析模板如下：
判断field name的属性值符合气象、航班运行和情报的其中一种规范，将属性值构建成业务报文对象。
第一行表示模板的开始，最后一行表示模板的结束，第二行为与报文解析模板进行匹配的过程，即表示该模板只解析航班为ZGGG的JMS协议的报文数据，第三行开始为对JMS协议的报文数据的具体解析过程，最终得到业务报文对象。
其中，构建解析器即读取报文解析模板的过程。
本步骤中，报文解析模块可以采用第一Storm集群来实现。第一Storm集群中包括三个或三个以上第一服务器节点，其中一个第一服务器节点包括第一JMSSpout接收网关组件，该第一JMSSpout接收网关组件用于接收来自网关模块的JMS协议的报文数据，并将JMS协议的报文数据随机发送给其中一个第一服务器节点进行处理，第一服务器节点接收到第一JMSSpout接收网关组件的JMS协议的报文数据，将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
本步骤中，热缓存模块可以采用Redis集群来实现。Redis集群包括三个或三个以上第三服务器节点，Redis集群可以采用哈希(hash)方法来存储业务报文对象。
步骤103、数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
本步骤中，表达式引擎可以采用现有的表达式引擎，也可以采用自定义的表达式引擎。例如，表达式引擎可以采用JavaScriptEngine，若是过滤下出发机场ZGGG的航班数据，表达式写成这样：depAirport＝＝’ZGGG’；
在使用表达式引擎运算表达式时，先初始化表达式引擎，ScriptEngineengine＝XXXX；
然后装载上下文变量，即
engine.put(“depAirport”,”ZGGA”)；//初始化变量
engine.put(“arrAirport”,”ZGGB”)；//初始化变量
接着，运算表达式，即
Script script＝Engine.comple(“depAirport＝＝’ZGGG’”)；
最后，根据运算的表达式查找数据，即String result＝script.eval()
本步骤中，对包括所有查找到的数据的数据集合进行集成处理得到集成数据源包括：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
其中，数据组装模板可以是现有的数据组装模板，也可以是自定义的数据组装模板。例如，把数据集合分割成三种类型的数据集合：气象数据集合wxxmList，航班运行数据集合fixmList，情报数据集合aixmList；
表达式需要收集07:00-09:00时间段内起飞航班个数，那数据组装模板为
其中，第一行表示模板的开始，最后一行表示模板的结束，第二行为模板中的属性表达式，第三行到第六行为运算属性值的过程，第九行到第十二行为另一个属性值的运算过程。
本步骤中，数据集成模块可以采用第二Storm集群来实现。第二Storm集群中包括三个或三个以上第二服务器节点，其中一个第二服务器节点包括第二JMSSpout接收网关组件，该第二JMSSpout接收网关组件用于接收来自报文解析模块的业务报文对象，并将业务报文对象随机发送给其中一个第二服务器节点进行处理，第二服务器节点接收到第二JMSSpout接收网关组件的业务报文对象，使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
其中，第二Storm集群中的所有第二服务器节点也可以不包括第二JMSSpout接收网关组件，这种情况下，第二Storm集群中的所有第二服务器节点采用分布式远程过程调用(DRPC，Distributed Remote Procedure Call Protocol)技术与第一Storm集群进行通信。
通过本发明第一实施例的方法，由于AFTN协议或ATN协议的数据流基本包含了所有的民航空管动态数据，因此，简单实现了对民航空管动态数据的处理。
参见图2，本发明第二实施例提出了一种数据集成系统，包括：
网关适配器，用于将接收到的AFTN协议或ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；
网关模块，用于将JMS协议的报文数据转发给报文解析模块；
报文解析模块，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；
热缓存模块，用于保存接收到的业务报文对象；
数据集成模块，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
可选的，网关适配器具体用于：
将AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将AFTN协议或ATN协议的报文数据转换成JMS协议的报文数据，将JMS协议的报文数据发送给网关模块。
可选的，数据集成模块具体用于采用以下方式实现对包括所有查找到的数据的数据集合进行集成处理得到集成数据源：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
可选的，报文解析模块包括第一Storm集群；第一Storm集群包括三个或三个以上第一服务器节点，其中一个第一服务器节点包括第一JMSSpout接收网关组件；
包括第一JMSSpout接收网关组件的第一服务器节点，用于接收来自网关模块的JMS协议的报文数据，并将JMS协议的报文数据随风发送给其中一个第一服务器节点；
接收到JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
可选的，数据集成模块包括第二Storm集群，第二Storm集群包括三个或三个以上第二服务器节点，其中一个第二服务器节点包括第二JMSSpout接收网关组件；
包括第二JMSSpout接收网关组件的第二服务器节点，用于接收来自报文解析模块的业务报文对象，并将业务报文对象随机发送给其中一个第二服务器节点；
接收到业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
上述数据集成系统的具体实现与第一实施例数据集成方法类似，这里不再赘述。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种数据集成方法，其特征在于，包括：
网关适配器将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；
网关模块将JMS协议的报文数据转发给报文解析模块；
报文解析模块将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；
数据集成模块使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
2.根据权利要求1所述的数据集成方法，其特征在于，所述网关适配器将接收到的AFTN协议或ATN协议的数据流转换成JMS协议的报文数据包括：
所述网关适配器将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据。
3.根据权利要求1所述的数据集成方法，其特征在于，所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源包括：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
4.根据权利要求1～3任意一项所述的数据集成方法，其特征在于，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；
包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；
接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
5.根据权利要求1～3任意一项所述的数据集成方法，其特征在于，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；
包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；
接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
6.一种数据集成系统，其特征在于，包括：
网关适配器，用于将接收到的航空固定电信网AFTN协议或航空电信网ATN协议的数据流转换成JAVA消息服务JMS协议的报文数据，将JMS协议的报文数据发送给网关模块；
网关模块，用于将JMS协议的报文数据转发给报文解析模块；
报文解析模块，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块；
热缓存模块，用于保存接收到的业务报文对象；
数据集成模块，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
7.根据权利要求6所述的数据集成系统，其特征在于，所述网关适配器具体用于：
将所述AFTN协议或ATN协议的数据流转换成AFTN协议或ATN协议的报文数据，将所述AFTN协议或ATN协议的报文数据转换成所述JMS协议的报文数据，将JMS协议的报文数据发送给网关模块。
8.根据权利要求6所述的数据集成系统，其特征在于，所述数据集成模块具体用于采用以下方式实现所述对包括所有查找到的数据的数据集合进行集成处理得到集成数据源：
对数据集合归类成不同类型的数据集合，按照预先设置的数据组装模板对每一种类型的数据集合进行装载，采用表达式引擎按照数据组装模板中的表达式对装载的每一类型的数据集合进行运算生成每一类型的数据集合的属性值。
9.根据权利要求6～8任意一项所述的数据集成系统，其特征在于，所述报文解析模块包括第一Storm集群；所述第一Storm集群包括三个或三个以上第一服务器节点，其中一个所述第一服务器节点包括第一JMSSpout接收网关组件；
包括所述第一JMSSpout接收网关组件的第一服务器节点，用于接收来自所述网关模块的JMS协议的报文数据，并将所述JMS协议的报文数据随风发送给其中一个所述第一服务器节点；
接收到所述JMS协议的报文数据的第一服务器节点，用于将JMS协议的报文数据与预先设置的报文解析模板进行匹配，通过加载匹配的报文解析模板构建解析器，通过构建的解析器解析JMS协议的报文数据的正文，根据解析得到的正文构建业务报文对象；先将业务报文对象发送给热缓存模块，再将业务报文对象发送给数据集成模块。
10.根据权利要求6～8任意一项所述的数据集成系统，其特征在于，所述数据集成模块包括第二Storm集群，所述第二Storm集群包括三个或三个以上第二服务器节点，其中一个所述第二服务器节点包括第二JMSSpout接收网关组件；
包括所述第二JMSSpout接收网关组件的第二服务器节点，用于接收来自所述报文解析模块的业务报文对象，并将所述业务报文对象随机发送给其中一个所述第二服务器节点；
接收到所述业务报文对象的第二服务器节点，用于使用预先设置的表达式引擎运算表达式，根据业务报文对象采用表达式在热缓存模块中查找数据，继续执行根据查找到的数据采用表达式在热缓存模块中查找数据的步骤，直到查找不到数据；对包括所有查找到的数据的数据集合进行集成处理得到集成数据源。
CN201611220101.5A 2016-12-26 2016-12-26 一种数据集成方法和系统 Active CN108241686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611220101.5A CN108241686B (zh) 2016-12-26 2016-12-26 一种数据集成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611220101.5A CN108241686B (zh) 2016-12-26 2016-12-26 一种数据集成方法和系统

Publications (2)

Publication Number Publication Date
CN108241686A true CN108241686A (zh) 2018-07-03
CN108241686B CN108241686B (zh) 2021-11-16

Family

ID=62702022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611220101.5A Active CN108241686B (zh) 2016-12-26 2016-12-26 一种数据集成方法和系统

Country Status (1)

Country Link
CN (1) CN108241686B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030989A (zh) * 2019-11-05 2020-04-17 北京恒赢智航科技有限公司 航班运行数据报文解析系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744594A (zh) * 2004-08-30 2006-03-08 北京航空航天大学 Web服务传输协议适配器及其生成方法
US20080196016A1 (en) * 2007-02-13 2008-08-14 International Business Machines Corporation Processing of Expressions
CN102143148A (zh) * 2010-11-29 2011-08-03 华为技术有限公司 用于通用协议解析的参数获取和通用协议解析方法及装置
CN104750787A (zh) * 2015-03-12 2015-07-01 国家电网公司 数据集成处理系统和集成处理方法
CN104835009A (zh) * 2015-05-11 2015-08-12 中国民用航空总局第二研究所 一种航班监测与控制系统及其监测与控制方法
CN105721402A (zh) * 2014-12-04 2016-06-29 北京航管科技有限公司 一种解析sita报文的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744594A (zh) * 2004-08-30 2006-03-08 北京航空航天大学 Web服务传输协议适配器及其生成方法
US20080196016A1 (en) * 2007-02-13 2008-08-14 International Business Machines Corporation Processing of Expressions
CN102143148A (zh) * 2010-11-29 2011-08-03 华为技术有限公司 用于通用协议解析的参数获取和通用协议解析方法及装置
CN105721402A (zh) * 2014-12-04 2016-06-29 北京航管科技有限公司 一种解析sita报文的方法和装置
CN104750787A (zh) * 2015-03-12 2015-07-01 国家电网公司 数据集成处理系统和集成处理方法
CN104835009A (zh) * 2015-05-11 2015-08-12 中国民用航空总局第二研究所 一种航班监测与控制系统及其监测与控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030989A (zh) * 2019-11-05 2020-04-17 北京恒赢智航科技有限公司 航班运行数据报文解析系统及方法
CN111030989B (zh) * 2019-11-05 2021-10-29 北京恒赢智航科技有限公司 航班运行数据报文解析系统及方法

Also Published As

Publication number Publication date
CN108241686B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
CN109063196B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN100405784C (zh) 用于监控网络流量的方法和设备
CN101388763B (zh) 一种支持多种数据库类型的sql注入攻击检测系统
CN105187258B (zh) 一种可配置的Trap告警解析处理方法
CN110995846A (zh) 物联网采集数据处理装置、方法及系统
CN105574082A (zh) 基于Storm的流处理方法及系统
CN105227367A (zh) 一种低延迟的告警解析处理方法
CN107480252A (zh) 一种数据查询方法、客户端、服务端及系统
CN108733821A (zh) 一种监控视频截图的分发与展示方法及系统
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN106021276A (zh) 基于分布式全文检索系统的卡口车辆搜索的方法及系统
US20190384767A1 (en) Database-agnostic parallel reads
CN103036910B (zh) 一种用户Web访问行为控制方法及装置
US20100281053A1 (en) Method, apparatus, and computer-readable medium for distributing a query
CN105915377A (zh) 一种Flume与SparkStreaming整合的方法及系统
CN105227386B (zh) 用于分群体统计在线用户数的方法、装置及系统
CN105719072B (zh) 关联多段组件交易的系统及方法
CN108241686A (zh) 一种数据集成方法和系统
CN102090039A (zh) 执行数据中间处理的方法以及关联的计算机程序产品、数据中间处理设备和信息系统
CN105245394A (zh) 一种基于分层方式分析网络访问日志的方法和设备
CN102195959A (zh) Sip信令的xml数据的解析方法及装置
CN103699556A (zh) 一种用于地方志编纂和地情资料的数字方志信息系统
CN101977251A (zh) 服务器端网址资源优化装置及其优化方法
CN116055448A (zh) 一种电力作业的标识数据管理平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240122

Address after: No. 301 Weigou (East Campus), Chaoyang District, Beijing, 100015

Patentee after: Civil Aviation Air Traffic Control Technology and Equipment Development Co.,Ltd.

Country or region after: China

Address before: 100192 802, block B, science and technology wealth center, 8 Xueqing Road, Haidian District, Beijing

Patentee before: AERO-INFO TECHNOLOGIES Co.,Ltd.

Country or region before: China