CN116431688A - 一种数据的处理方法、装置、电子设备及存储介质 - Google Patents
一种数据的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116431688A CN116431688A CN202211425507.2A CN202211425507A CN116431688A CN 116431688 A CN116431688 A CN 116431688A CN 202211425507 A CN202211425507 A CN 202211425507A CN 116431688 A CN116431688 A CN 116431688A
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- target
- processing
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据的处理方法、装置、电子设备及存储介质，该数据的处理方法包括：获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；实时监测在数据源位置存储的数据是否发生数据变化；若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；并将目标数据存储到目标数据库中。本申请通过实时监测在数据源位置存储的数据是否发生数据变化，能够在数据发生数据变化时，立即对数据进行与数据处理操作对应的数据处理得到目标数据，提高了数据处理的效率，精准度较高。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种数据的处理方法、装置、电子设备及存储介质。
背景技术
我国的工业化程度越来越高，其工业体系也越来越完善，在工业体系中，通过加权算术平均数编制工业产品实物量指数作为工业生产指数，该工业生产指数是指用来计算和反映工业发展速度的指标，也是景气分析的首选指标。在计算工业生产指数过程中，对于计算该指标的工业数据的处理是重要步骤之一。
传统的工业数据的处理引擎大多是通过数据库接口，周期性地捕获每个周期内产生的工业数据。但是，在每个周期内产生的工业数据量是非常多的，工业数据量过大，就会导致数据处理效率较低，且由于周期性获取会使数据时效性低，从而导致数据处理精准度差。
发明内容
有鉴于此，本申请的目的在于提供一种数据的处理方法、装置、电子设备及存储介质，能够在数据发生数据变化时，立即对数据进行与数据处理操作对应的数据处理得到目标数据，提高了数据处理的效率，精准度较高。
第一方面，本申请实施例提供了一种数据的处理方法，该数据的处理方法包括：
获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；
实时监测在数据源位置存储的数据是否发生数据变化；
若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；
对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；并将目标数据存储到目标数据库中。
在一种可能的实施方式中，数据处理操作包括至少一个数据处理组件；对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据，包括：
根据数据处理操作中数据处理组件的排列顺序，对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据。
在一种可能的实施方式中，若数据处理组件为落地配置组件；对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据，包括：
将数据标识对应的数据的字段名称替换成目标数据库中，与字段名称对应的目标字段名称；
将字段名称替换后的数据确定为目标数据。
在一种可能的实施方式中，若数据处理组件为数据标签组件；对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据，包括：
按照用户在数据标签组件中设置的标签规则，对数据标识对应的数据生成标签；将数据标识对应的数据以及对应的标签，生成目标数据。
在一种可能的实施方式中，获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库，包括：
获取用户在数据配置界面输入的数据源；
获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中；
接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。
第二方面，本申请实施例还提供了一种数据的处理装置，该数据的处理装置包括：
获取模块，用于获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；
监测模块，用于实时监测在数据源位置存储的数据是否发生数据变化；
所述获取模块，还用于若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；
处理模块，用于对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；
存储模块，用于将目标数据存储到目标数据库中。
在一种可能的实施方式中，数据处理操作包括至少一个数据处理组件；处理模块，具体用于根据数据处理操作中数据处理组件的排列顺序，对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据。
在一种可能的实施方式中，若数据处理组件为落地配置组件；处理模块，具体用于将数据标识对应的数据的字段名称替换成目标数据库中，与字段名称对应的目标字段名称；将字段名称替换后的数据确定为目标数据。
在一种可能的实施方式中，若数据处理组件为数据标签组件；处理模块，具体用于按照用户在数据标签组件中设置的标签规则，对数据标识对应的数据生成标签；将数据标识对应的数据以及对应的标签，生成目标数据。
在一种可能的实施方式中，获取模块，具体用于获取用户在数据配置界面输入的数据源；获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中；接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面任一项数据的处理方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面任一项数据的处理方法的步骤。
本申请实施例提供了一种数据的处理方法、装置、电子设备及存储介质，该数据的处理方法包括：获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；实时监测在数据源位置存储的数据是否发生数据变化；若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；并将目标数据存储到目标数据库中。本申请通过实时监测在数据源位置存储的数据是否发生数据变化，能够在数据发生数据变化时，立即对数据进行与数据处理操作对应的数据处理得到目标数据，提高了数据处理的效率，精准度较高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种数据的处理方法的流程图；
图2示出了本申请实施例提供的另一种数据的处理方法的流程图；
图3示出了本申请实施例提供的一种数据的处理装置的结构示意图；
图4示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“数据处理领域”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕“数据处理领域”进行描述，但是应该理解，这仅是一个示例性实施例。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
下面对本申请实施例提供的一种数据的处理方法进行详细说明。
参照图1所示，为本申请实施例提供的一种数据的处理方法的流程示意图，下面对本申请实施例示例性的各步骤进行说明：
S101、获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库。
在本申请实施方式中，数据源指的是用户指定的需要进行数据处理操作的数据源。用户为数据源指定的数据处理操作可以包括落标配置组件、数据提取组件、数据清洗组件、数据关联组件、数据标签组件、数据分发组件等组件中至少一种数据处理组件。
数据清洗组件主要是对数据进行格式转换、代码转换以及校验的过程，目的是删除重复性数据，纠正存在的错误，提供数据一致性，后端实现具体的格转和校验的函数，界面根据来源的数据进行选择性配置，数据关联组件主要是对实时接入数据进行关联完善，可配置关联控件的主数据以及主数据的关联项、回填项，将回填项完善到接入数据中。数据分发组件主要是根据不同的业务需求配置分发不同的数据，基于消息队列的子标识以及分发格式进行数据分发，为后期的实时服务和模型运算提供数据。
其中，数据处理操作包括至少一个数据处理组件。
具体地，获取用户在数据配置界面输入的数据源；获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中；接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。
这里，用户在任务配置界面通过组件拖拽的方式实现数据处理操作，数据处理包括数据处理平台和数据流式处理接入任务，数据处理平台在传统信息化系统联接的基础上，将用户端延伸和扩展到物与物、物与人的连接，同时在流式处理任务的编辑界面，用户可以根据业务以及数据的更新程度，配置任务的调度方式以及数据的抽取规则，通过启动操作在后台实现任务的调度，数据处理引擎可根据数据处理操作的拓扑流程图对数据进行规则处理，数据处理后进行分发，数据入库引擎会消费分发的数据进行入库落盘操作。
S102、实时监测在数据源位置存储的数据是否发生数据变化。
在本申请实施方式中，通过监测引擎对数据源位置存储的数据进行监测，监测数据是否发生了变化。
S103、若在数据源位置存储的数据发生数据变化，则获取数据变化信息。
在本申请实施方式中，在数据发生变化后，依托文龙在该数据源对应的日志中对变化的数据进行捕获，并将捕获到的数据同步至数据通道中。数据变化信息包括数据操作、数据标识、数据值等等数据相关数据。数据操作包括数据删除、增加等。
这里，数据通道是数据采集平台中的重要模块，为多源化数据进入平台提供通信的道路，数据通道主要包括接入源和接出源两部分，接入源由贴源层的单份数据的链接信息构成，接出源由消息队列的子标识构成。
S104、对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；并将目标数据存储到目标数据库中。
在本申请实施方式中，对数据通道中的数据，进行与数据处理操作对应的数据处理。数据处理操作中包含至少一个数据处理组件，用户可以指定在每个数据处理组件处理完成后得到的中间数据的数据类型。该数据类型可以是下一个数据处理组件的输入数据，也可以是存储到目标数据库的目标。当中间数据的数据类型为下一个数据处理组件的输入数据时，将该中间数据分发至消息队列组件中。
这里，消息队列组件是数据采集平台中的重要组件，主要解决应用耦合、异步消息、流量削锋等问题，实现高性能、高可用、可伸缩和最终一致性架构，是海量数据采集不可缺少的组件，具备解耦、冗余、扩展性、灵活性& 峰值处理能力、可恢复性、顺序保证、缓冲、异步通信的特性。
具体地，根据数据处理操作中数据处理组件的排列顺序，对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据。
在本申请实施方式中，用户在对数据源指定数据处理操作时是按照数据处理顺序对数据处理组件进行选择的，因此需要根据数据处理操作中数据处理组件的排列顺序，对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据。
这里，对同一个数据可能会进行多种数据处理组件的处理，处理的顺序不同，得到的数据结果也会不同，因此需要按照顺序进行数据处理。
可选地，若数据处理组件为落地配置组件；对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据，包括：将数据标识对应的数据的字段名称替换成目标数据库中，与字段名称对应的目标字段名称；将字段名称替换后的数据确定为目标数据。
这里，落标配置组件主要完成外部数据的对标操作，数据标识对应的数据的字段名称是各种各样的，需通过数据探查进行数据分析后，将数据的字段名称通过数据字典映射到目标数据库中的目标字段名称，为数据治理以及数据服务提供统一的库字段。
可选地，若数据处理组件为数据标签组件；对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据，包括：按照用户在数据标签组件中设置的标签规则，对数据标识对应的数据生成标签；将数据标识对应的数据以及对应的标签，生成目标数据。
这里，数据标签组件主要是对实时接入数据进行打标签，引用标签管理模块的标签，符合标签规则的进行打标操作，不同中标数据可进入不同的业务库。
可选地，若数据处理组件为数据提取组件；对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据，包括：按照用户在数据提取组件中设置的提取规则，在数据中提取目标字符串；将目标字符串确定为目标数据。
这里，数据提取组件主要包括常规赋值、字符串处理、多字段处理等操作，扩展其他必要性字段，例如增加常量值，截取子串，多字段合并等功能。
本申请实施例提供了一种数据的处理方法，该数据的处理方法包括：获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；实时监测在数据源位置存储的数据是否发生数据变化；若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；并将目标数据存储到目标数据库中。本申请通过实时监测在数据源位置存储的数据是否发生数据变化，能够在数据发生数据变化时，立即对数据进行与数据处理操作对应的数据处理得到目标数据，提高了数据处理的效率，精准度较高。
参照图2所示，为本申请实施例提供的另一种数据的处理方法的流程示意图，下面对本申请实施例示例性的各步骤进行说明：
S201、获取用户在数据配置界面输入的数据源。
在本申请实施方式中，数据源指的是用户指定的需要进行数据处理操作的数据源。
S202、获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中。
S203、接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。
在本申请实施方式中，用户为数据源指定的数据处理操作可以包括落标配置组件、数据提取组件、数据清洗组件、数据关联组件、数据标识组件、数据分发组件等组件中至少一种数据处理组件。
本申请提供了一种数据的处理方法，该方法包括：获取用户在数据配置界面输入的数据源。获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中。接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。能够使用户对数据源设置数据处理操作。
参照图3所示，为本申请实施例提供的一种数据的处理装置的示意图，该数据的处理装置包括：
获取模块301，用于获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；
监测模块302，用于实时监测在数据源位置存储的数据是否发生数据变化；
所述获取模块301，还用于若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；
处理模块303，用于对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；
存储模块304，用于将目标数据存储到目标数据库中。
在一种可能的实施方式中，数据处理操作包括至少一个数据处理组件；处理模块303，具体用于根据数据处理操作中数据处理组件的排列顺序，对数据标识对应的数据，进行与数据处理组件对应的数据处理得到目标数据。
在一种可能的实施方式中，若数据处理组件为落地配置组件；处理模块 303，具体用于将数据标识对应的数据的字段名称替换成目标数据库中，与字段名称对应的目标字段名称；将字段名称替换后的数据确定为目标数据。
在一种可能的实施方式中，若数据处理组件为数据标签组件；处理模块 303，具体用于按照用户在数据标签组件中设置的标签规则，对数据标识对应的数据生成标签；将数据标识对应的数据以及对应的标签，生成目标数据。
在一种可能的实施方式中，获取模块301，具体用于获取用户在数据配置界面输入的数据源；获取在数据源所在位置存储的元数据，并将元数据展示到任务配置界面中；接收用户在任务配置界面针对元数据选择对应的数据处理操作、目标数据库。
本申请实施例提供了一种数据的处理装置，该数据的处理装置包括：获取模块301，用于获取用户输入的数据源，以及与数据源对应的数据处理操作、目标数据库；监测模块302，用于实时监测在数据源位置存储的数据是否发生数据变化；所述获取模块301，还用于若在数据源位置存储的数据发生数据变化，则获取数据变化信息；数据变化信息中包含数据标识；处理模块303，用于对数据标识对应的数据，进行与数据处理操作对应的数据处理得到目标数据；存储模块304，用于将目标数据存储到目标数据库中。本申请通过实时监测在数据源位置存储的数据是否发生数据变化，能够在数据发生数据变化时，立即对数据进行与数据处理操作对应的数据处理得到目标数据，提高了数据处理的效率，精准度较高。
如图4所示，本申请实施例提供的一种电子设备400，包括：处理器 401、存储器402和总线，所述存储器402存储有所述处理器401可执行的机器可读指令，当电子设备运行时，所述处理器401与所述存储器402之间通过总线通信，所述处理器401执行所述机器可读指令，以执行如上述数据的处理方法的步骤。
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述数据的处理方法。
对应于上述数据的处理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述数据的处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述信息处理方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、 ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据的处理方法，其特征在于，所述数据的处理方法包括：
获取用户输入的数据源，以及与所述数据源对应的数据处理操作、目标数据库；
实时监测在所述数据源位置存储的数据是否发生数据变化；
若在所述数据源位置存储的数据发生数据变化，则获取数据变化信息；所述数据变化信息中包含数据标识；
对所述数据标识对应的数据，进行与所述数据处理操作对应的数据处理得到目标数据；并将所述目标数据存储到所述目标数据库中。
2.根据权利要求1所述的数据的处理方法，其特征在于，所述数据处理操作包括至少一个数据处理组件；所述对所述数据标识对应的数据，进行与所述数据处理操作对应的数据处理得到目标数据，包括：
根据所述数据处理操作中数据处理组件的排列顺序，对所述数据标识对应的数据，进行与所述数据处理组件对应的数据处理得到目标数据。
3.根据权利要求2所述的数据的处理方法，其特征在于，若所述数据处理组件为落地配置组件；所述对所述数据标识对应的数据，进行与所述数据处理组件对应的数据处理得到目标数据，包括：
将所述数据标识对应的数据的字段名称替换成所述目标数据库中，与所述字段名称对应的目标字段名称；
将字段名称替换后的数据确定为目标数据。
4.根据权利要求2所述的数据的处理方法，其特征在于，若所述数据处理组件为数据标签组件；所述对所述数据标识对应的数据，进行与所述数据处理组件对应的数据处理得到目标数据，包括：
按照用户在所述数据标签组件中设置的标签规则，对所述数据标识对应的数据生成标签；将所述数据标识对应的数据以及对应的标签，生成目标数据。
5.根据权利要求1至4任一项所述的数据的处理方法，其特征在于，所述获取用户输入的数据源，以及与所述数据源对应的数据处理操作、目标数据库，包括：
获取用户在数据配置界面输入的数据源；
获取在所述数据源所在位置存储的元数据，并将所述元数据展示到任务配置界面中；
接收所述用户在任务配置界面针对所述元数据选择对应的数据处理操作、目标数据库。
6.一种数据的处理装置，其特征在于，所述数据的处理装置包括：
获取模块，用于获取用户输入的数据源，以及与所述数据源对应的数据处理操作、目标数据库；
监测模块，用于实时监测在所述数据源位置存储的数据是否发生数据变化；
所述获取模块，还用于若在所述数据源位置存储的数据发生数据变化，则获取数据变化信息；所述数据变化信息中包含数据标识；
处理模块，用于对所述数据标识对应的数据，进行与所述数据处理操作对应的数据处理得到目标数据；
存储模块，用于将所述目标数据存储到所述目标数据库中。
7.根据权利要求6所述的数据的处理装置，其特征在于，所述数据处理操作包括至少一个数据处理组件；所述处理模块，具体用于：
根据所述数据处理操作中数据处理组件的排列顺序，对所述数据标识对应的数据，进行与所述数据处理组件对应的数据处理得到目标数据。
8.根据权利要求7所述的数据的处理装置，其特征在于，若所述数据处理组件为落地配置组件；所述处理模块，具体用于：
将所述数据标识对应的数据的字段名称替换成所述目标数据库中，与所述字段名称对应的目标字段名称；
将字段名称替换后的数据确定为目标数据。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的数据的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的数据的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425507.2A CN116431688B (zh) | 2022-11-14 | 2022-11-14 | 一种数据的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425507.2A CN116431688B (zh) | 2022-11-14 | 2022-11-14 | 一种数据的处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116431688A true CN116431688A (zh) | 2023-07-14 |
| CN116431688B CN116431688B (zh) | 2024-05-03 |
Family
ID=87082037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211425507.2A Active CN116431688B (zh) | 2022-11-14 | 2022-11-14 | 一种数据的处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116431688B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633087A (zh) * | 2017-09-29 | 2018-01-26 | 南威软件股份有限公司 | 一种基于数据库的数据存储方法 |
| CN108270662A (zh) * | 2017-12-26 | 2018-07-10 | 微梦创科网络科技（中国）有限公司 | 一种消息分发方法、装置及设备 |
| CN108681590A (zh) * | 2018-05-15 | 2018-10-19 | 普信恒业科技发展（北京）有限公司 | 增量数据处理方法及装置、计算机设备、计算机存储介质 |
| CN110297813A (zh) * | 2019-05-22 | 2019-10-01 | 平安银行股份有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
| CN110321383A (zh) * | 2019-05-20 | 2019-10-11 | 平安普惠企业管理有限公司 | 大数据平台数据同步方法、装置、计算机设备及存储介质 |
| CN110909061A (zh) * | 2019-11-27 | 2020-03-24 | 恩亿科(北京)数据科技有限公司 | 数据源处理方法、装置、电子设备及存储介质 |
| CN111881209A (zh) * | 2020-06-29 | 2020-11-03 | 平安国际智慧城市科技股份有限公司 | 异构数据库的数据同步方法、装置、电子设备及介质 |
| CN112000548A (zh) * | 2020-08-20 | 2020-11-27 | 北京金山云网络技术有限公司 | 大数据组件的监测方法、装置及电子设备 |
| CN112527528A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技（深圳）有限公司 | 基于消息队列的数据传输方法、装置及存储介质 |
| CN112559211A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安人寿保险股份有限公司 | 消息数据的更新方法、装置、计算机设备及存储介质 |
| CN113242313A (zh) * | 2021-05-28 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 数据同步方法、系统、装置、服务器及存储介质 |
| CN113486109A (zh) * | 2021-06-01 | 2021-10-08 | 中国人民财产保险股份有限公司 | 异构数据库的数据同步方法、装置及电子设备 |
| CN114490869A (zh) * | 2021-12-29 | 2022-05-13 | 中国电信股份有限公司 | 一种数据同步方法、装置、数据源端、目标端及存储介质 |
| CN114647686A (zh) * | 2020-12-17 | 2022-06-21 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、设备、介质及产品 |
| CN115269694A (zh) * | 2022-05-20 | 2022-11-01 | 南京迪塔维数据技术有限公司 | 一种数据统一实时采集装置及采集方法 |
| CN115292307A (zh) * | 2022-06-28 | 2022-11-04 | 望海康信(北京)科技股份公司 | 数据同步系统、方法及相应计算机设备和存储介质 |
-
2022
- 2022-11-14 CN CN202211425507.2A patent/CN116431688B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633087A (zh) * | 2017-09-29 | 2018-01-26 | 南威软件股份有限公司 | 一种基于数据库的数据存储方法 |
| CN108270662A (zh) * | 2017-12-26 | 2018-07-10 | 微梦创科网络科技（中国）有限公司 | 一种消息分发方法、装置及设备 |
| CN108681590A (zh) * | 2018-05-15 | 2018-10-19 | 普信恒业科技发展（北京）有限公司 | 增量数据处理方法及装置、计算机设备、计算机存储介质 |
| CN110321383A (zh) * | 2019-05-20 | 2019-10-11 | 平安普惠企业管理有限公司 | 大数据平台数据同步方法、装置、计算机设备及存储介质 |
| CN110297813A (zh) * | 2019-05-22 | 2019-10-01 | 平安银行股份有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
| CN110909061A (zh) * | 2019-11-27 | 2020-03-24 | 恩亿科(北京)数据科技有限公司 | 数据源处理方法、装置、电子设备及存储介质 |
| CN111881209A (zh) * | 2020-06-29 | 2020-11-03 | 平安国际智慧城市科技股份有限公司 | 异构数据库的数据同步方法、装置、电子设备及介质 |
| CN112000548A (zh) * | 2020-08-20 | 2020-11-27 | 北京金山云网络技术有限公司 | 大数据组件的监测方法、装置及电子设备 |
| CN112559211A (zh) * | 2020-12-16 | 2021-03-26 | 中国平安人寿保险股份有限公司 | 消息数据的更新方法、装置、计算机设备及存储介质 |
| CN114647686A (zh) * | 2020-12-17 | 2022-06-21 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、设备、介质及产品 |
| CN112527528A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技（深圳）有限公司 | 基于消息队列的数据传输方法、装置及存储介质 |
| CN113242313A (zh) * | 2021-05-28 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 数据同步方法、系统、装置、服务器及存储介质 |
| CN113486109A (zh) * | 2021-06-01 | 2021-10-08 | 中国人民财产保险股份有限公司 | 异构数据库的数据同步方法、装置及电子设备 |
| CN114490869A (zh) * | 2021-12-29 | 2022-05-13 | 中国电信股份有限公司 | 一种数据同步方法、装置、数据源端、目标端及存储介质 |
| CN115269694A (zh) * | 2022-05-20 | 2022-11-01 | 南京迪塔维数据技术有限公司 | 一种数据统一实时采集装置及采集方法 |
| CN115292307A (zh) * | 2022-06-28 | 2022-11-04 | 望海康信(北京)科技股份公司 | 数据同步系统、方法及相应计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王天一, 高博: "分布式实时系统数据分发服务DDS技术研究", 《电子科技》, vol. 33, no. 08, 20 September 2020 (2020-09-20), pages 40 - 45 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116431688B (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339071B (zh) | 一种多源异构数据的处理方法及装置 | |
| JP2019532370A (ja) | ユーザ権限データ検索方法および電子機器 | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| CN111258978B (zh) | 一种数据存储的方法 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN110275889B (zh) | 一种适用于机器学习的特征处理方法及装置 | |
| CN112883125A (zh) | 一种实体数据处理方法、装置、设备和存储介质 | |
| US8849792B2 (en) | Information management method and information management apparatus | |
| CN114416703A (zh) | 数据完整性自动监控方法、装置、设备及介质 | |
| CN111652658A (zh) | 画像融合方法、装置、电子设备及计算机可读存储介质 | |
| Kong et al. | Real-manufacturing-oriented big data analysis and data value evaluation with domain knowledge | |
| CN103809915B (zh) | 一种磁盘文件的读写方法和装置 | |
| CN116431688B (zh) | 一种数据的处理方法、装置、电子设备及存储介质 | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| CN113704272B (zh) | 一种人机物融合环境下的数字对象状态表达方法及装置 | |
| CN112559641B (zh) | 拉链表的处理方法及装置、可读存储介质、电子设备 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN114860851A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN108665221B (zh) | 业绩数据的处理方法及装置、计算机设备及可读介质 | |
| CN108614838B (zh) | 一种用户群索引处理方法、装置及系统 | |
| CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 | |
| CN106469086B (zh) | 事件处理方法和装置 | |
| CN111563123A (zh) | 一种hive仓库元数据实时同步方法 | |
| CN113127574A (zh) | 基于知识图谱的业务数据展示方法、系统、设备及介质 | |
| KR101638048B1 (ko) | 맵리듀스를 이용한 sql 질의처리방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |