CN115081679A - 基于cdc的工业数据动态变化自动感知处理系统 - Google Patents
基于cdc的工业数据动态变化自动感知处理系统 Download PDFInfo
- Publication number
- CN115081679A CN115081679A CN202210557093.2A CN202210557093A CN115081679A CN 115081679 A CN115081679 A CN 115081679A CN 202210557093 A CN202210557093 A CN 202210557093A CN 115081679 A CN115081679 A CN 115081679A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- module
- cdc
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 143
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 230000008447 perception Effects 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000004519 manufacturing process Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 abstract description 20
- 238000005457 optimization Methods 0.000 abstract description 19
- 238000000034 method Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000012827 research and development Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开属于核电技术领域，具体涉及一种基于CDC的工业数据动态变化自动感知处理系统。本公开系统包括：自动感知模块，用于感知并采集工业数据的变动数据；格式转换模块，用于将获取的不同格式的变动数据统一转换为约定消息格式；处理模块，用于根据所述格式转换模块发送变动数据加载对应的算子执行计算得到计算结果；服务模块，用于将所述计算结果对外实时发布。本公开可将工业现场不同设备、产线、流程、供应商、产品、客户、系统等连接起来形成智能网络，并通过大数据分析处理能力，实现设备管理优化、研发设计优化、运营管理优化、生产工艺联动优化、产品全生命周期管理优化、供应链协同优化。
Description
技术领域
本发明属于核电技术领域，具体涉及一种基于CDC的工业数据动态变化自动感知处理系统。
背景技术
在传统电厂中，从安全分区的维度考虑，包括DCS系统、厂级监控生产实时系统以及管理信息系统。DCS系统以控制为重点；厂级监控系统通过对电厂实时数据的监测和分析来实现对电厂生产运营的实时调度；管理信息系统则是信息处理、任务流转、工作协同。三大系统相互独立而又相互交叉，功能不同、侧重点不同。目前，国内电厂侧信息化建设工作已取得较大成效，如目前正在构建的中国核电大核源平台(DHP)平台，其作为数字核电的依托平台和神经中枢，集成中国核电海量工业系统与设备的数据，构建可扩展的开放式核电工业互联网平台，同步开展面向各种场景和可复用的核电工业应用开发生态系统，来提高核电厂硬件、服务、数据的使用效率和共享范围，实现中国核电业务与资源的智能管理及运营优化，并驱动一系列面向核电全产业链的创新核电工业应用。其中，由于核电运行安全的需求，故其对数据实时计算的需求特别高，因此，如何提供一种核电领域的增量数据实时处理方法，及是本领域亟待解决的技术问题。
发明内容
为克服相关技术中存在的问题，提供了一种基于CDC(更改数据捕获Change DataCapture)的工业数据动态变化自动感知处理系统。
根据本公开实施例的一方面，提供一种基于CDC的工业数据动态变化自动感知处理系统，所述系统包括：
自动感知模块，用于感知并采集工业数据的变动数据；
格式转换模块，用于将获取的不同格式的变动数据统一转换为约定消息格式；
处理模块，用于根据所述格式转换模块发送变动数据加载对应的算子执行计算得到计算结果；
服务模块，用于将所述计算结果对外实时发布。
在一种可能的实现方式中，所述工业数据包括由时序数据源提供的核电厂的生产时序数据，以及由业务数据源提供的生产经营业务数据，所述变动数据包括业务数据源主动发送的第一类业务变动数据、时序数据源主动发送的第一类时序变动数据、CDC定时采集的第二类时序变动数据与第二类业务变动数据。
在一种可能的实现方式中，自动感知模块包括时序数据变动初步判断子模块、业务数据初步判断子模块以及CDC子模块；
所述时序数据变动初步判断子模块用于获取第一类时序变动数据，并判断当前获取的第一类时序变动数据是否真实存在变动，若判断当前获取的第一类时序变动数据存在真实变动，则将当前获取的第一类时序变动数据转入CDC子模块处理，若判断当前获取的第一类时序变动数据未存在真实变动，则等待下一次数据；
所述业务数据初步判断子模块用于获取第一类业务变动数据，并判断当前获取的第一类业务变动数据是否真实存在变动，若判断当前获取的第一类业务变动数据存在真实变动，则将当前获取的第一类业务变动数据转入CDC子模块处理；若判断当前获取的第一类业务变动数据未存在真实变动，则等待下一次数据；
所述CDC子模块接收所述时序数据变动初步判断子模块与业务数据初步判断子模块发送的第一类时序变动数据与第一类业务变动数据，并判断接收的第一类时序变动数据与第一类业务变动数据是否存在变动，若判断接收的第一类时序变动数据与第一类业务变动数据存在变动，则将接收的第一类时序变动数据与第一类业务变动数据发送至格式转换模块处理；
所述CDC子模块还与时序数据源以及业务数据源直接通信，用于定时采集时序数据源的第二类时序变动数据与业务数据源的第二类业务变动数据，并判断采集到的第二类时序变动数据与第二类业务变动数据是否真实存在变动，若判断采集到的第二类时序变动数据与第二类业务变动数据真实存在变动，则将采集到的第二类时序变动数据与第二类业务变动数据发送至格式转换模块处理，若判断采集到的第二类时序变动数据与第二类业务变动数据未存在真实变动，则等待下一次数据。
在一种可能的实现方式中，所述时序数据变动初步判断子模块为event事件工具。
在一种可能的实现方式中，所述业务数据初步判断子模块包括binlog单元以及redolog单元。
在一种可能的实现方式中，所述binlog单元为cannal工具；所述redolog单元为OGG工具。
在一种可能的实现方式中，格式转换模块将各类消息统一转换为UMS格式。
本公开的有益效果在于：本发明所示的一种基于CDC的工业数据动态变化自动感知处理系统，可将工业现场不同设备、产线、流程、供应商、产品、客户、系统等连接起来形成智能网络，并通过大数据分析处理能力，实现设备管理优化、研发设计优化、运营管理优化、生产工艺联动优化、产品全生命周期管理优化、供应链协同优化。其采集工业生产活动中的各类海量异构数据，覆盖全面质量管理中人、机、料、法、环工业管理5大要素所涉及的数据类型，为工业互联网业务规范化、信息数字化、决策智能化提供全面支持。
具体而言，自动感知模块可自动感知并实时采集工业数据的变动数据，包括水位图数据、设备监测数据、DCS状态数据等一种或多种的生产时序数据以及工单数据、大修节点数据、工业安全事件数据等一种或多种的生产经营业务数据，上述变动数据规范为统一格式后发送至实时处理模块处理，以根据变动数据进行实时计算，可包括设备告警，格式清洗，健康值模型实时计算，合并，加工，BOM数据稽核，大修节点统计、库存计算等，最后将上述计算结果发送至实时服务系统，实时服务系统对外提供计算结果实时推送、生产数据实时推送服务，从而可实时对外提供核电生产及经由数据的变动情况，为工业互联网业务规范化、信息数字化、决策智能化提供全面支持。
附图说明
图1是根据一示例性实施例示出的一种基于CDC的工业数据动态变化自动感知处理系统的示意图。
图2是根据一示例性实施例示出的一种自动感知模块的示意图。
图3是根据一示例性实施例示出的OGG方式的数据抽取操作步骤。
图4是根据一示例性实施例示出的binlog方式的数据抽取操作步骤。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本公开提供了一种基于CDC的工业数据动态变化自动感知处理系统，用于核电工业数据端的变动数据的自动感知与实时处理，包括：
自动感知模块，用于感知并采集工业数据的变动数据；
格式转换模块，用于将获取的不同格式的变动数据统一转换为约定消息格式；
实时处理模块，用于根据所述格式转换模块发送变动数据加载对应的算子执行计算；
以及实时服务模块，用于将所述计算结果对外实时发布。
本发明所示的一种基于CDC的工业数据动态变化自动感知处理系统，可将工业现场不同设备、产线、流程、供应商、产品、客户、系统等连接起来形成智能网络，并通过大数据分析处理能力，实现设备管理优化、研发设计优化、运营管理优化、生产工艺联动优化、产品全生命周期管理优化、供应链协同优化。其采集工业生产活动中的各类海量异构数据，覆盖全面质量管理中人、机、料、法、环工业管理5大要素所涉及的数据类型，为工业互联网业务规范化、信息数字化、决策智能化提供全面支持。
图1是根据一示例性实施例示出的一种基于CDC的工业数据动态变化自动感知处理系统的示意图。如图1所示，具体而言，自动感知模块可自动感知并实时采集工业数据的变动数据，包括水位图数据、设备监测数据、DCS状态数据等一种或多种的生产时序数据以及工单数据、大修节点数据、工业安全事件数据等一种或多种的生产经营业务数据，上述变动数据规范为统一格式后发送至实时处理模块处理，以根据变动数据进行实时计算，可包括设备告警，格式清洗，健康值模型实时计算，合并，加工，BOM数据稽核，大修节点统计、库存计算等，最后将上述计算结果发送至实时服务系统，实时服务系统对外提供计算结果实时推送、生产数据实时推送、时序数据实时查询指标实时查询等服务。
工业场景下通常有数量庞大的设备，相应的，各种工业生产活动中会产生各类海量异构数据，为稳定持久地支持实时增量数据的采集，本实施例中，将变动数据划分为时序数据源主动发送的第一类时序变动数据、业务数据源主动发送的第一类业务变动数据、以及CDC定时采集的第二类时序变动数据与第二类业务变动数据，图2是根据一示例性实施例示出的一种自动感知模块的示意图，如图2所示，自动感知模块包括时序数据变动初步判断子模块、业务数据初步判断子模块以及CDC子模块。
所述时序数据变动初步判断子模块用于第一类时序变动数据是否存在真实变动的判断，若判断本次收到的第一类时序变动数据存在真实变动则转入CDC子模块处理；若无，则等待下一次数据；
所述业务数据初步判断子模块用于初步判断本次接收的第一类业务变动数据是否真实存在变动，若判断本次第一类业务变动数据存在真实变动则转入CDC子模块处理；若无，则等待下一次数据；
所述CDC子模块接收所述时序数据变动初步判断子模块与业务数据初步判断子模块发送的第一类时序变动数据与第一类业务变动数据，并进一步确认其是否存在变动，若有则将各类型数据发送至格式转换模块处理；
同时，所述CDC子模块还与时序数据源以及业务数据源直接通信，用于定时采集时序数据源的第二类时序变动数据与业务数据源的第二类业务变动数据，并判断第二类时序变动数据与第二类业务变动数据是否真实存在变动，若有则，发送至格式转换模块处理；若CDC子模块判断无真实变动，则继续执行前述步骤。
数据源中的数据设有类型标识，自动感知模块获取数据后，读取类型标识并判断对应转入时序数据变动初步判断子模块、业务数据初步判断子模块以及CDC子模块中哪个模块处理。
更进一步的，本实施例中，所述时序数据变动初步判断子模块为event事件工具；和/或所述业务数据初步判断子模块包括binlog单元以及redolog单元。
对于一些需要及时展示当前更新数据的业务应用，自动感知模块提供近实时数据接入方案，进行增量数据抽取，实现分钟级的数据刷新，其中，针对业务数据源的Oracle数据库，本实施例中，在源端集成redolog单元(优选为OGG工具)，通过解析Oracle数据库的归档日志获得数据的增量变化；针对业务数据源的MySQL数据库，通过binlog单元(优选为canal工具)解析MySQL的binlog日志，实时获取增量的数据更新。
针对电厂目前使用的大量Oracle数据库，一些数据表中记录数达到千万级以上并且没有时间戳字段，本实施例中，自动感知模块使用OGG工具解析源数据库中变化数据的归档日志文件，得到增量数据，接入到系统的中台目标表中，实现源表与目标表的数据同步，这样设置，不需要修改业务系统表结构，可实现分钟级别的近实时同步，确保数据的准确性。
其中，如图3所示，OGG方式的数据抽取操作步骤如下：
1)在源端Oracle库上开启归档模式，打开日志开关。
2)在源端安装并配置OGG工具，配置管理进程，抽取进程和投递进程。
3)在自动感知模块中进行OGG配置：开启Kafka服务，配置管理进程、复制进程。
4)创建源表对应的ODS层物理模型，并进行模型落地创建hive里的目标表，初始进行全量数据抽取。
5)增量日志解析结果通过Kafka传输，由Flume将接收到的JSON记录解析为增量数据，写入到目标表。
针对MySQL数据库中不带时间戳的数据表中数据进行增量数据采集，本实施例中，自动感知模块通过解析MySQL的binlog日志的方式获取增量数据。将canal工具集成到自动感知模块中，从MySQL源库获取变化数据的日志文件，解析为数据记录后写入到目的库中，这样设置，不需要修改业务系统表结构，可实现分钟级别的实时同步，确保数据的准确性。其中，如图4所示，binlog方式的数据抽取操作步骤如下：
1)开启源端MySQL数据库的binlog模式。
2)设置DHP数据中台中canal工具的配置信息，指定源端MySQL地址。
3)开启Kafka服务，设置消息订阅和消费。
4)配置Flume的数据传输和解析。
5)创建源表对应的ODS层物理模型，并进行模型落地创建hive里的目标表，初始进行全量数据抽取。
6)增量日志解析结果通过Kafka传输，由Flume将接收到的JSON记录解析为增量数据，写入到目标表。
作为一优选方案，为实现规范化管理，自动感知模块采集的海量结构类型各异的增量数据或全量数据后，经由格式转换模块处理，以将各种类型的消息转换为统一消息格式。本实施例中，无论是增量、全量还是日志都转换为UMS(统一消息业务，unified messageschema)格式,并最终输出到消息模块中。
本实施例中，采用软件加配置的模式的自动感知模块，在充分发挥软件自身的功能价值的同时，通过灵活的配置可高效的对数据库数据进行实时采集、监测。配置资源信息和采集策略，应用数据传输中间件保障数据的实时采集，消息模块实现数据的稳定传输并对外提供数据传输接口，有效满足工业生产对海量数据的同步需求。
CDC采集将实时数据以UMS的格式存储到Kafka后，实时处理模块使用这些实时的流式变动数据进行实时计算分析。本实施例中，实时处理模块包括多个核电工业模型算子以及实时计算引擎，核电工业模型算子为根据核电运行逻辑提前配置的，例如：设备状态计算、报警计算、工况计算等。各类核电工业模型算子与数据源之间通过流式任务建模的方法建立关联，当实时计算引擎收到CDC采集的实时的流式变动数据时，调用关联的核电工业模型算子执行实时计算。进一步的，本实施例中，实时处理模块提供可视化的界面以拖拉拽的图形化开发方式生成核电工业模型算子。
实时处理模块根据自动感知模块获取变动数据所生成实时计算结果和/或实时变动数据会发送至实时服务模块，由实时服务模块进行计算结果实时推送、生产数据实时推送服务等。此外，本实施例中，实时服务模块还提供时序数据实时查询服务以及指标实时查询服务。
本实施例中，本发明所示的一种基于CDC的工业数据动态变化自动感知处理系统的消息模块还提供数据订阅服务，实时服务模块与消息模块通信连接，用户可通过实时服务模块的订阅服务新实现以下功能：1)接收订阅者的任务请求；2)建立与订阅者数据传输通道；3)与订阅者通道关闭时，清理相应的订阅任务；4)获取数据源数据；5)根据订阅任务，将数据分发到相应的订阅者处。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (7)
1.一种基于CDC的工业数据动态变化自动感知处理系统，其特征在于，所述系统包括：
自动感知模块，用于感知并采集工业数据的变动数据；
格式转换模块，用于将获取的不同格式的变动数据统一转换为约定消息格式；
处理模块，用于根据所述格式转换模块发送变动数据加载对应的算子执行计算得到计算结果；
服务模块，用于将所述计算结果对外实时发布。
2.根据权利要求1所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，所述工业数据包括由时序数据源提供的核电厂的生产时序数据，以及由业务数据源提供的生产经营业务数据，所述变动数据包括业务数据源主动发送的第一类业务变动数据、时序数据源主动发送的第一类时序变动数据、CDC定时采集的第二类时序变动数据与第二类业务变动数据。
3.根据权利要求2所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，自动感知模块包括时序数据变动初步判断子模块、业务数据初步判断子模块以及CDC子模块；
所述时序数据变动初步判断子模块用于获取第一类时序变动数据，并判断当前获取的第一类时序变动数据是否真实存在变动，若判断当前获取的第一类时序变动数据存在真实变动，则将当前获取的第一类时序变动数据转入CDC子模块处理，若判断当前获取的第一类时序变动数据未存在真实变动，则等待下一次数据；
所述业务数据初步判断子模块用于获取第一类业务变动数据，并判断当前获取的第一类业务变动数据是否真实存在变动，若判断当前获取的第一类业务变动数据存在真实变动，则将当前获取的第一类业务变动数据转入CDC子模块处理；若判断当前获取的第一类业务变动数据未存在真实变动，则等待下一次数据；
所述CDC子模块接收所述时序数据变动初步判断子模块与业务数据初步判断子模块发送的第一类时序变动数据与第一类业务变动数据，并判断接收的第一类时序变动数据与第一类业务变动数据是否存在变动，若判断接收的第一类时序变动数据与第一类业务变动数据存在变动，则将接收的第一类时序变动数据与第一类业务变动数据发送至格式转换模块处理；
所述CDC子模块还与时序数据源以及业务数据源直接通信，用于定时采集时序数据源的第二类时序变动数据与业务数据源的第二类业务变动数据，并判断采集到的第二类时序变动数据与第二类业务变动数据是否真实存在变动，若判断采集到的第二类时序变动数据与第二类业务变动数据真实存在变动，则将采集到的第二类时序变动数据与第二类业务变动数据发送至格式转换模块处理，若判断采集到的第二类时序变动数据与第二类业务变动数据未存在真实变动，则等待下一次数据。
4.根据权利要求3所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，所述时序数据变动初步判断子模块为event事件工具。
5.根据权利要求3所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，所述业务数据初步判断子模块包括binlog单元以及redolog单元。
6.根据权利要求5所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，所述binlog单元为cannal工具；所述redolog单元为OGG工具。
7.根据权利要求1所述的基于CDC的工业数据动态变化自动感知处理系统，其特征在于，格式转换模块将各类消息统一转换为UMS格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210557093.2A CN115081679A (zh) | 2022-05-19 | 2022-05-19 | 基于cdc的工业数据动态变化自动感知处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210557093.2A CN115081679A (zh) | 2022-05-19 | 2022-05-19 | 基于cdc的工业数据动态变化自动感知处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115081679A true CN115081679A (zh) | 2022-09-20 |
Family
ID=83248204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210557093.2A Pending CN115081679A (zh) | 2022-05-19 | 2022-05-19 | 基于cdc的工业数据动态变化自动感知处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115081679A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116090789A (zh) * | 2023-03-03 | 2023-05-09 | 麦高(广东)数字科技有限公司 | 一种基于数据分析的精益制造生产管理系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250543A (zh) * | 2016-08-10 | 2016-12-21 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储方法 |
| CN109284312A (zh) * | 2018-08-27 | 2019-01-29 | 山东威尔数据股份有限公司 | 一种异构数据库变更实时通知方法 |
| CN111782671A (zh) * | 2020-07-01 | 2020-10-16 | 浪潮云信息技术股份公司 | 一种基于分布式数据库实现cdc的优化方法 |
| CN112527839A (zh) * | 2020-12-10 | 2021-03-19 | 上海浦东发展银行股份有限公司 | 多源数据处理方法、系统、设备及存储介质 |
| CN112579603A (zh) * | 2020-12-24 | 2021-03-30 | 北京志翔能源技术有限公司 | 基于cdc的数据模型动态信息感知监测方法及装置 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
-
2022
- 2022-05-19 CN CN202210557093.2A patent/CN115081679A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250543A (zh) * | 2016-08-10 | 2016-12-21 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储方法 |
| CN109284312A (zh) * | 2018-08-27 | 2019-01-29 | 山东威尔数据股份有限公司 | 一种异构数据库变更实时通知方法 |
| CN111782671A (zh) * | 2020-07-01 | 2020-10-16 | 浪潮云信息技术股份公司 | 一种基于分布式数据库实现cdc的优化方法 |
| CN112527839A (zh) * | 2020-12-10 | 2021-03-19 | 上海浦东发展银行股份有限公司 | 多源数据处理方法、系统、设备及存储介质 |
| CN112579603A (zh) * | 2020-12-24 | 2021-03-30 | 北京志翔能源技术有限公司 | 基于cdc的数据模型动态信息感知监测方法及装置 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴海: "基于开源系统的大型电力集团数据集成方案研究", 信息与电脑（理论版）, no. 01, pages 124 - 126 * |
| 张玉峰;曾奕棠;: "基于动态数据挖掘的物流信息分析模型研究", 情报科学, no. 01, pages 17 - 21 * |
| 谢向东等: "大数据预处理技术", 31 January 2020, 浙江科学技术出版社, pages: 77 - 78 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116090789A (zh) * | 2023-03-03 | 2023-05-09 | 麦高(广东)数字科技有限公司 | 一种基于数据分析的精益制造生产管理系统及方法 |
| CN116090789B (zh) * | 2023-03-03 | 2023-08-29 | 麦高(广东)数字科技有限公司 | 一种基于数据分析的精益制造生产管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108846076A (zh) | 支持接口适配的海量多源异构数据etl方法及系统 | |
| CN105005570B (zh) | 基于云计算的海量智能用电数据挖掘方法及装置 | |
| EP1394984A1 (en) | Method and Apparatus for Network Resource Utilization Assessment | |
| CN110581773A (zh) | 一种自动化服务监控与报警管理系统 | |
| CN107204894A (zh) | 网络业务质量的监控方法及装置 | |
| CN112764835A (zh) | 基于边缘计算的电力物联网传感设备配置微服务系统及方法 | |
| CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
| CN109547240B (zh) | 基于边缘计算的智能设备以及接入与设备的解析方法 | |
| CN108009258A (zh) | 一种可在线配置的数据采集与分析平台 | |
| CN113054743A (zh) | 一种适用于配电云主站的物联终端数据接入系统及方法 | |
| CN103150324A (zh) | 一种基于链式处理的数据收集系统及其方法 | |
| CN113037802A (zh) | 一种用于电力物联网的云边数据协同方法 | |
| CN112084016B (zh) | 一种基于flink的流计算性能优化系统及方法 | |
| CN101316278B (zh) | 一种基于状态机的无线多媒体传感器网络数据查询方法 | |
| CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
| CN114238388A (zh) | 一种基于多协议的异构数据收集及检索系统 | |
| CN115081679A (zh) | 基于cdc的工业数据动态变化自动感知处理系统 | |
| CN109831316A (zh) | 海量日志实时分析系统、实时分析方法及可读存储介质 | |
| CN115908046A (zh) | 基于航站楼bim的可视化配电系统 | |
| CN113489802B (zh) | 一种物联网采集设备 | |
| CN109672731A (zh) | 一种分布式节点信息监测方法、系统及应用 | |
| CN112541534A (zh) | 一种客户特性化营销模型匹配方法和装置 | |
| CN110505301A (zh) | 一种航空制造车间工业大数据处理框架 | |
| CN115438958A (zh) | 一种基于互联网的智慧能效管理系统及其管理方法 | |
| CN114385541A (zh) | 一种面向智能制造的opc ua聚合服务器及其设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |