CN110795480B - 交通运营数据的处理方法及装置 - Google Patents
交通运营数据的处理方法及装置 Download PDFInfo
- Publication number
- CN110795480B CN110795480B CN201910955052.7A CN201910955052A CN110795480B CN 110795480 B CN110795480 B CN 110795480B CN 201910955052 A CN201910955052 A CN 201910955052A CN 110795480 B CN110795480 B CN 110795480B
- Authority
- CN
- China
- Prior art keywords
- data
- event
- processing
- traffic operation
- processing rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000013507 mapping Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 13
- IWEDIXLBFLAXBO-UHFFFAOYSA-N dicamba Chemical compound COC1=C(Cl)C=CC(Cl)=C1C(O)=O IWEDIXLBFLAXBO-UHFFFAOYSA-N 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 abstract description 15
- 230000010354 integration Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 210000001503 joint Anatomy 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种交通运营数据的处理方法及装置；其中，该方法包括：根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；通过第一消息队列对业务系统中交通运营数据的变化进行监听；根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台。通过本发明，解决了相关技术中数据对接系统分散独立难以对各个监管平台数据接入要求的变化做出及时调整的问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种交通运营数据的处理方法及装置。
背景技术
目前，各城市进行数据对接都是使用不同公司开发的数据对接系统，各系统分散独立，不利于统一维护与管理；此外，针对监管平台数据接入要求的变化，难以做出准确快速的调整与响应，同时对接系统独立于公司生产系统之外，在数据传输及时性、稳定性和保密性存在较大风险。
针对相关技术中的上述问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种交通运营数据的处理方法及装置，以至少解决相关技术中数据对接系统分散独立难以对各个监管平台数据接入要求的变化做出及时调整的问题。
根据本发明的一个实施例，提供了一种交通运营数据的处理方法，包括：根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；通过第一消息队列对业务系统中交通运营数据的变化进行监听；根据所述处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；基于所述采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；根据所述处理规则中所述数据接入要求对所述第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到所述一个或多个监管平台。
根据本发明的另一个实施例，提供了一种交通运营数据的处理装置，包括：配置模块，用于根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；监听模块，用于通过第一消息队列对业务系统中交通运营数据的变化进行监听；转换模块，用于根据所述处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；第一处理模块，用于基于所述采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；第二处理模块，用于根据所述处理规则中所述数据接入要求对所述第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到所述一个或多个监管平台。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则，通过第一消息队列对业务系统中交通运营数据的变化进行监听，从而根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件，以及基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中，最后根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台，实现了业务系统与一个或多个监管平台的对接，而且能够根据业务系统中运营数据的变化以及监管平台的需求进行调整，解决了相关技术中数据对接系统分散独立难以对各个监管平台数据接入要求的变化做出及时调整的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的交通运营数据的处理方法的终端的硬件结构框图；
图2是根据本发明实施例的交通运营数据的处理方法的流程图；
图3是根据本发明实施例的数据对接系统分层架构示意图；
图4是根据本发明实施例的事件映射关系示意图；
图5是根据本发明可选实施例的组件的组合映射关系示意图；
图6是根据本发明可选实施例的交通运营数据的处理装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在终端、计算机终端或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的交通运营数据的处理方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的交通运营数据的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述终端的交通运营数据的处理方法，图2是根据本发明实施例的交通运营数据的处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
步骤S204，通过第一消息队列对业务系统中交通运营数据的变化进行监听；
步骤S206，根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
步骤S208，基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
步骤S210，根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台。
通过上述步骤S202至步骤S210，根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则，通过第一消息队列对业务系统中交通运营数据的变化进行监听，从而根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件，以及基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中，最后根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台，实现了业务系统与一个或多个监管平台的对接，而且能够根据业务系统中运营数据的变化以及监管平台的需求进行调整，解决了相关技术中数据对接系统分散独立难以对各个监管平台数据接入要求的变化做出及时调整的问题。
在本申请的可选实施方式中，对于本申请中的步骤S202中涉及到的根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则的方式，可以进一步包括：
步骤S202-11，根据一个或多个监管平台的接入要求，建立不同数据类型与不同监管平台之间分别组合的组合关系，并将组合关系写入处理规则中；
步骤S202-12，建立不同运营事件与不同数据采集事件之间的映射关系，以及不同数据采集事件与数据采集器之间的映射关系，并将映射关系写入处理规则中。
在本申请的可选实施方式中，对于本申请步骤S206中涉及到的根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件方式，可以是：根据处理规则中的映射关系，结合表达式求值引擎Aviator对监听到的运营事件进行过滤，并将过滤后的运营事件转换为数据采集事件。
通过表达式求值引擎Aviator，能够动态地将表达式编译成字节码并运行，实现对表达式的动态求值，即将系统中复杂的逻辑判断从具体代码实现中抽离出来，以配置文本的形式保存在YAML配置文件中，在需要用到该逻辑判断的地方，在使用Aviator对条件表达式动态求值，这样既可以满足系统的逻辑判断需要，有增加了对逻辑判断的灵活性、可控性。
在本申请的另一个可选实施方式中，基于采集事件执行对交通运营数据的采集的方式，可以是：使用ETL工具Kettle并基于采集事件执行对交通运营数据的采集。
需要说明的是，Kettle是一款纯java编写的高效稳定ETL工具，支持通过传入动态参数，执行数据采集。系统中我们将数据采集的执行逻辑抽象对应到各个数据采集器中，数据采集器通过读取事先在YAML中添加好的数据ETL配置，使用Kettle实现对配置的解析执行，最终完成数据采集。通过引入Kettle，使我们能够对这个采集流程做到灵活控制，同时也能快速满足新接入监管平台的不同数据采集要求。
需要说明的是，在本申请中使用ElasticSearch作为已分发数据的存储介质。
在本申请的另一个可选实施方式中，本申请的方法还可以包括：
步骤S212，实时监控数据在业务系统与一个或多个监管平台之间的传输情况。
下面结合本申请的一个可选实施例对本申请进行举例说明；
在本可选实施例中提供了一种交通运输运营数据采集整合分发的方法，该方法的步骤包括：
步骤S302，配置数据采集、整合、分发处理规则；
其中，通过分析待接入监管平台数据接入要求，制定相关数据采集、整合、分发处理规则，使用QConfig结合YAML格式保存配置。
步骤S304，使用消息队列qmq实现对业务系统运营数据变化事件监听，并建立业务系统运营事件与数据对接系统数据采集事件关系映射。
步骤S306，读取相关处理规则，结合表达式求值引擎Aviator，对监听到的运营事件进行过滤，最后转换为对应数据采集事件。
步骤S308，读取相关处理规则，使用ETL工具Kettle，对最终得到的数据采集事件执行运营数据采集。
步骤S310，将采集到的运营数据发送到消息队列kafka中。
步骤S312，从kafka中消费数据，读取相关处理规则，结合表达式求值引擎Aviator，对数据做过滤、转换、整合处理，然后分发到目标监管平台。
需要说明的是，在本可选实施例中采用Watcher实现对系统中数据传输情况的实时监控，使用ElasticSearch实现对已分发数据的持久化。
图3是根据本发明实施例的数据对接系统分层架构示意图，如图3所示，整个数据对接系统主要分为：数据采集、整合分发、配置与监控三部分；其中，数据采集部分主要是与业务系统交互，专注于实现业务运营数据的获取；整合分发部分主要是与各地监管平台交互，专注于运营数据的处理与发送；通过在这两部分之间加入消息队列，完成功能解耦，实现数据异步处理，同时达到流量削锋效果，保证系统的稳定性；配置与监控部分贯穿整个数据对接系统，增加系统的灵活可控性，支撑系统正确、有效运行完成相关功能。
下面结合上述图3中数据对接系统的三个部分，对本可选实施例进行进一步的说明；
(一)处理规则的配置
由图3所示，将整个系统关键的数据采集、数据整合、数据发送流程进行抽象，采用组件化设计，分离出功能独立，高内聚、可重用、可组装的各个组件(数据采集器、数据发送器、默认值生成器、格式转换器、类型转换器等)。即每一种数据采集器，只需专注于特定类型数据采集即可，例如，数据发送器只需专注于数据发送即可。采用表达式求值引擎和数据ETL工具结合YAML配置，实现对各个组件的灵活组合，处理流程的可定制化，达到最终满足各地监管平台不同接入要求的需求。
因此，本可选实施例中涉及到的处理规则配置主要包括：事件映射配置、数据ETL配置、组件组合配置。
1.1、事件映射配置
事件映射配置主要用来决定业务系统运营事件与数据对接系统数据采集事件的映射关系，以及采集事件与组件数据采集器的组合关系，如图4所示，从左向右，均为一对多的关系，业务系统中的一个事件映射出多个采集动作。
1.2、数据ETL配置
数据ETL配置主要是为上述事件映射配置中最终得到的数据采集器使用ETL工具提供执行保障的，其主要包括：采集数据源配置(通常是数据库相关)、采集内容配置(通常是sql相关)等。
1.3、组件组合配置
组件组合配置主要是在监管平台接入时，结合表达式求值引擎、YAML配置和系统组件化设计方式，对系统现有满足功能要求的组件进行灵活组合，实现对监管平台接入处理流程的定制化，通常组件的组合映射关系如图5所示，针对一条运营数据的处理，根据数据的类型和不同监管平台分别组合提供不同的处理规则，根据监管平台的不同要求，组合数据整合、分发流程中需要用到的各个组件，实现处理规则的可定制化。
也就是说，对接系统对关键处理流程进行抽象，采用组件化设计，使得组件灵活组合，依赖表达式求值引擎和数据ETL工具对处理规则的动态解析与执行，极大的提高了系统对配置的灵活控制以及通用适配特性。
(二)事件监听
采用QMQ消息队列实现对业务事件监听，QMQ以可靠性作为主要的设计考量，使用多种方式来确保消息可靠的投递，能够充分保障数据对接系统及时准确的监听到业务系统中的运营数据变化。
(三)复杂判断逻辑动态解析
在本申请中使用了java语言实现的高性能表达式求值引擎Aviator，它能够动态地将表达式编译成字节码并运行，实现对表达式的动态求值。将系统中复杂的逻辑判断从具体代码实现中抽离出来，以配置文本的形式保存在YAML配置文件中，在需要用到该逻辑判断的地方，在使用Aviator对条件表达式动态求值，这样既可以满足系统的逻辑判断需要，又增加了我们对逻辑判断的灵活性、可控性。
(四)ETL工具Kettle实现数据采集
Kettle是一款纯java编写的高效稳定ETL工具，支持通过传入动态参数，执行数据采集。系统中我们将数据采集的执行逻辑抽象对应到各个数据采集器中，数据采集器通过读取事先在YAML中添加好的数据ETL配置，使用Kettle实现对配置的解析执行，最终完成数据采集。通过引入Kettle，使我们能够对这个采集流程做到灵活控制，同时也能快速满足新接入监管平台的不同数据采集要求。
(五)关键处理流程组件化
将整个系统关键的数据采集、数据整合、数据发送流程进行抽象，采用组件化设计，分离出功能独立，高内聚、可重用、可组装的各个组件，同时使用QConfig结合YAML实现组件组合逻辑配置化，结合表达式求值引擎Aviator，实现对各个组件的灵活组合，处理流程的可定制化，做到针对不同监管平台接入处理流程的灵活控制以及配置的通用适配，满足新监管平台快速高效接入的要求。
(六)采用ElasticSearch作为存储介质
考虑到不同监管平台的数据内容、格式要求的差异性，同时数据量较大，对于查询效率的要求，采用非关系型数据ElasticSearch作为存储介质。
通过本申请的可选实施例具有以下有益效果：
1)，使用QMQ做事件监听，保证对业务系统运营数据变化感知的及时性、准确性。
2)，使用表达式求值引擎Aviator对处理流程复杂逻辑判断的动态解析与执行，实现逻辑判断配置化，与代码分离解耦，增加流程控制的灵活性。
3)，采用ETL工具Kettle，对数据源与SQL动态解析与执行，实现数据采集逻辑配置化，支持采集内容动态调整，快速满足各地监管平台的差异化要求。
4)，系统关键处理流程抽象组件化，实现各地监管平台处理规则的可灵活组合和可定制。
5)，使用QConfig结合YAML来管理配置信息，做到配置复用、配置热发布，配置动态调整，实现处理规则的通用适配以及对处理流程的灵活控制。
6)，集中的数据对接系统，大大提高监管平台的接入效率，能够对监管平台接入要求的变化做出及时响应，降低维护成本。
7)，灵活配置的数据采集策略，可用于搭建各类交通运输数据查询、分析、展示系统。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种交通运营数据的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的交通运营数据的处理装置的结构框图，如图6所示，该装置包括：
(1)配置模块602，用于根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
(2)监听模块604，用于通过第一消息队列对业务系统中交通运营数据的变化进行监听；
(3)转换模块606，用于根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
(4)第一处理模块608，用于基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
(5)第二处理模块610，用于根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台。
可选地，本申请中的配置模块602进一步可以包括：第一配置单元，用于根据一个或多个监管平台的接入要求，建立不同数据类型与不同监管平台之间分别组合的组合关系，并将组合关系写入处理规则中；第二配置单元，用于建立不同运营事件与不同数据采集事件之间的映射关系，以及不同数据采集事件与数据采集器之间的映射关系，并将映射关系写入处理规则中。
可选地，本申请中的转换模块606，还用于根据处理规则中的映射关系，结合表达式求值引擎Aviator对监听到的运营事件进行过滤，并将过滤后的运营事件转换为数据采集事件。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
S2，通过第一消息队列对业务系统中交通运营数据的变化进行监听；
S3，根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
S4，基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
S5，根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
S2，通过第一消息队列对业务系统中交通运营数据的变化进行监听；
S3，根据处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
S4，基于采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
S5，根据处理规则中数据接入要求对第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到一个或多个监管平台。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种交通运营数据的处理方法，其特征在于，包括：
根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
通过第一消息队列对业务系统中交通运营数据的变化进行监听；
根据所述处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
基于所述采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
根据所述处理规则中所述数据接入要求对所述第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到所述一个或多个监管平台；
其中，所述根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则，包括：
根据所述一个或多个监管平台的接入要求，建立不同数据类型与不同监管平台之间分别组合的组合关系，并将所述组合关系写入所述处理规则中；
建立不同运营事件与不同数据采集事件之间的映射关系，以及不同数据采集事件与数据采集器之间的映射关系，并将所述映射关系写入所述处理规则中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述处理规则中的映射关系将监听到运营事件转换对应为数据采集事件，包括：
根据所述处理规则中的映射关系，结合表达式求值引擎Aviator对监听到的运营事件进行过滤，并将过滤后的运营事件转换为数据采集事件。
3.根据权利要求1所述的方法，其特征在于，基于所述采集事件执行对交通运营数据的采集，包括：
使用ETL工具Kettle并基于所述采集事件执行对交通运营数据的采集。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
实时监控数据在所述业务系统与所述一个或多个监管平台之间的传输情况。
5.根据权利要求1至4中任一项所述的方法，其特征在于，使用ElasticSearch作为已分发数据的存储介质。
6.一种交通运营数据的处理装置，其特征在于，包括：
配置模块，用于根据一个或多个监管平台的数据接入要求和业务系统中运营事件与数据采集事件之间的映射关系配置数据的处理规则；
监听模块，用于通过第一消息队列对业务系统中交通运营数据的变化进行监听；
转换模块，用于根据所述处理规则中的映射关系将监听到运营事件转换对应为数据采集事件；
第一处理模块，用于基于所述采集事件执行对交通运营数据的采集，并将采集到的交通运营数据发送到第二消息队列中；
第二处理模块，用于根据所述处理规则中所述数据接入要求对所述第二消息队列中的交通运营数据进行处理，并将处理后的数据发送到所述一个或多个监管平台；
其中，所述配置模块包括：
第一配置单元，用于根据所述一个或多个监管平台的接入要求，建立不同数据类型与不同监管平台之间分别组合的组合关系，并将所述组合关系写入所述处理规则中；
第二配置单元，用于建立不同运营事件与不同数据采集事件之间的映射关系，以及不同数据采集事件与数据采集器之间的映射关系，并将所述映射关系写入所述处理规则中。
7.根据权利要求6所述的装置，其特征在于，
所述转换模块，还用于根据所述处理规则中的映射关系，结合表达式求值引擎Aviator对监听到的运营事件进行过滤，并将过滤后的运营事件转换为数据采集事件。
8.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955052.7A CN110795480B (zh) | 2019-10-09 | 2019-10-09 | 交通运营数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910955052.7A CN110795480B (zh) | 2019-10-09 | 2019-10-09 | 交通运营数据的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795480A CN110795480A (zh) | 2020-02-14 |
| CN110795480B true CN110795480B (zh) | 2023-11-21 |
Family
ID=69438874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910955052.7A Active CN110795480B (zh) | 2019-10-09 | 2019-10-09 | 交通运营数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795480B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685483B (zh) * | 2020-12-17 | 2022-06-07 | 福建新大陆软件工程有限公司 | 基于数据管道和安全沙箱的etl方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2529992B2 (ja) * | 1988-03-07 | 1996-09-04 | 富士通株式会社 | ポ―リングにおける傍受局のデ―タ収集方法 |
| CN106712881A (zh) * | 2015-11-12 | 2017-05-24 | 上海远景数字信息技术有限公司 | 一种处理采集数据的方法及装置 |
| CN107180116A (zh) * | 2017-06-28 | 2017-09-19 | 努比亚技术有限公司 | 一种数据同步处理方法、移动终端以及计算机可读存储介质 |
| CN107451223A (zh) * | 2017-07-17 | 2017-12-08 | 广州特道信息科技有限公司 | 一种高并发并行计算的大数据采集系统及方法 |
-
2019
- 2019-10-09 CN CN201910955052.7A patent/CN110795480B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2529992B2 (ja) * | 1988-03-07 | 1996-09-04 | 富士通株式会社 | ポ―リングにおける傍受局のデ―タ収集方法 |
| CN106712881A (zh) * | 2015-11-12 | 2017-05-24 | 上海远景数字信息技术有限公司 | 一种处理采集数据的方法及装置 |
| CN107180116A (zh) * | 2017-06-28 | 2017-09-19 | 努比亚技术有限公司 | 一种数据同步处理方法、移动终端以及计算机可读存储介质 |
| CN107451223A (zh) * | 2017-07-17 | 2017-12-08 | 广州特道信息科技有限公司 | 一种高并发并行计算的大数据采集系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795480A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933146B (zh) | 一种数据转换方法、装置和服务器 | |
| CN109151072A (zh) | 一种基于雾节点的边缘计算系统 | |
| CN102955977A (zh) | 一种基于云技术的能效服务方法及其能效服务平台 | |
| CN110995859A (zh) | 一种基于泛在物联网的变电站智能支撑平台系统 | |
| US20120323941A1 (en) | Processing Queries for Event Data in a Foreign Representation | |
| CN103220285B (zh) | 泛在业务环境下基于RESTful接口的接入系统 | |
| CN102355696B (zh) | 大规模物联网网关系统及其实现方法 | |
| CN111400393B (zh) | 基于多应用平台的数据处理方法和装置、存储介质 | |
| CN111314371A (zh) | 基于智能网关技术的边缘设备接入系统及接入方法 | |
| CN106375480A (zh) | 一种基于分布式系统的电能数据实时采集系统及方法 | |
| CN110502491A (zh) | 一种日志采集系统及其数据传输方法、装置 | |
| CN102932431A (zh) | 一种基于消息路由的状态监测数据接口配置方法 | |
| CN104050920A (zh) | Led显示屏控制系统和异步控制卡 | |
| CN110795480B (zh) | 交通运营数据的处理方法及装置 | |
| CN113609048B (zh) | 一种电力物联网云边业务协同交互方法 | |
| Sultanow et al. | A review of IoT technologies, standards, tools, frameworks and platforms | |
| CN103218682A (zh) | 基于Web服务编排描述语言的多方协同业务流程监控系统 | |
| CN110209722A (zh) | 一种用于数据交换的数据接口 | |
| Llamuca et al. | Integrating ISA-95 and IEC-61499 for distributed control system monitoring | |
| CN115081679A (zh) | 基于cdc的工业数据动态变化自动感知处理系统 | |
| CN114390033A (zh) | 基于可扩展通信协议的回路状态巡检仪采集系统及方法 | |
| CN107562820A (zh) | 一种征信数据的采集方法及系统 | |
| CN112417015A (zh) | 数据分发方法和装置、存储介质及电子装置 | |
| CN113449166A (zh) | 数据采集方法、装置、设备及存储介质 | |
| CN208834142U (zh) | 空巢老人居家生活状况监测查询系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |