CN117591025B - 多源异构数据处理系统 - Google Patents

多源异构数据处理系统 Download PDF

Info

Publication number
CN117591025B
CN117591025B CN202311596283.6A CN202311596283A CN117591025B CN 117591025 B CN117591025 B CN 117591025B CN 202311596283 A CN202311596283 A CN 202311596283A CN 117591025 B CN117591025 B CN 117591025B
Authority
CN
China
Prior art keywords
data
field information
source heterogeneous
heterogeneous data
cleaned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311596283.6A
Other languages
English (en)
Other versions
CN117591025A (zh
Inventor
陈洋
李淑明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Rongshujia Information Technology Co ltd
Original Assignee
Hainan Rongshujia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Rongshujia Information Technology Co ltd filed Critical Hainan Rongshujia Information Technology Co ltd
Priority to CN202311596283.6A priority Critical patent/CN117591025B/zh
Publication of CN117591025A publication Critical patent/CN117591025A/zh
Application granted granted Critical
Publication of CN117591025B publication Critical patent/CN117591025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了多源异构数据处理系统。该方法的一具体实施方式包括：获取到多源异构数据集；将数据待处理队列中的每个多源异构数据分配至数据融合处理器组中的数据融合处理器；对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；对解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，将清洗后字段信息集返回至数据分配处理引擎，将接收到的各个清洗后字段信息添加至预设的数据待发送队列；将数据待发送队列中的各个清洗后字段信息分配至数据融合分发器组中的数据融合分发器；将接收到的清洗后字段信息写入至数据存储组件的数据库，以供存储。该实施方式可以减少存储资源的占用。

Description

多源异构数据处理系统
技术领域
本公开的实施例涉及计算机技术领域，具体涉及多源异构数据处理系统。
背景技术
多源异构数据处理系统，是对多来源数据进行实时处理的系统。目前，在进行多源异构数据处理时，通常采用的方式为：对多来源数据进行分类，然后将同一类别的数据进行统一存储。同时，建立每个类型数据对应的数据标签，以用于数据查询。
然而，发明人发现，当采用上述方式进行多源异构数据处理时，经常会存在如下技术问题：
第一，多源异构数据结构复杂，数据量大，若进行实时的分类以及存储，不仅需要占用较多的数据处理时长，还由于建立了每个数据对应的数据标签，而占用更多的存储资源；
第二，对数据分类存储，难以去除不同种类数据之间的冗余数据，从而，需要占用更多的存储资源。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了多源异构数据处理系统，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种多源异构数据处理系统，该多源异构数据处理系统包括：响应于多源数据采集器获取到多源异构数据集，将上述多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎，其中，上述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，上述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列；通过上述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器；利用上述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将上述清洗后字段信息集返回至上述数据分配处理引擎，其中，上述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列；通过上述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器；利用上述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。
第二方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第三方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的多源异构数据处理系统，可以减少存储资源的占用。具体来说，造成占用更多的存储资源的原因在于：多源异构数据结构复杂，数据量大，若进行实时的分类以及存储，不仅需要占用较多的数据处理时长，还由于建立了每个数据对应的数据标签。基于此，本公开的一些实施例的多源异构数据处理系统，首先，响应于多源数据采集器获取到多源异构数据集，将上述多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎。其中，上述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，上述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列。然后，通过上述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器。之后，利用上述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集。通过数据解析，可以解析出不同来源数据字段信息，以便于进行数据清洗。接着，对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将上述清洗后字段信息集返回至上述数据分配处理引擎。其中，上述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列。这里，通过数据清洗，可以用于将冗余的数据进行去除，以此减少存储资源的占用。而后，通过上述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器。最后，利用上述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。从而，上述实现方式无需对多源异构数据进行分类，且通过数据清洗可以进一步减少存储过程中占用的存储资源。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是根据本公开的多源异构数据处理系统的一些实施例的流程图；
图2是根据本公开的多源异构数据处理系统的一些实施例的结构示意图；
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开中所涉及的用户个人信息(例如用户订单、用户标识)的收集、存储、使用等操作，在执行相应操作之前，相关组织或个人尽到包括开展个人信息安全影响评估、向个人信息主体履行告知义务、事先征得个人信息主体的授权同意等义务。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的多源异构数据处理系统的一些实施例的流程100。该多源异构数据处理系统，包括：多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件。该多源异构数据处理系统包括以下步骤：
步骤101，响应于多源数据采集器获取到多源异构数据集，将多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎。
在一些实施例中，多源异构数据处理系统的执行主体可以响应于多源数据采集器获取到多源异构数据集，将上述多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎。其中，上述多源异构数据集中的各个多源异构数据可以是从不同数据平台获取的。上述数据分配处理引擎可以将接收到的每个多源异构数据添加至预设的数据待处理队列。其次，多源数据采集器可以是用于接收不同平台数据的采集器，其中可以包括预先设置的采集配置。例如，对应不同数据平台的数据采集接口信息等。数据分配处理引擎可以是通过预设处理协议搭建的引擎，可以用于调度数据融合处理器组、数据融合分发器组以及支撑其之间的数据传输。数据融合处理器组可以包括至少一个数据融合处理器。数据融合处理器可以用于对数据进行解析、清洗等操作。数据融合分发器组可以是将各个数据分发至数据存储组件对应数据库的处理器。另外，上述多源异构数据集中的多源异构数据可以是表征从不同数据平台获取到的数据。多源异构数据可以是但不限于以下至少一项：订单数据、物品数据等。
作为示例，如图2所示，多源异构数据处理系统可以包括：多源数据采集器201、数据分配处理引擎202、数据融合处理器组203、数据融合分发器组204、数据存储组件205。
步骤102，通过数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至数据融合处理器组中的数据融合处理器。
在一些实施例中，上述执行主体可以通过上述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器。
在一些实施例中的一些可选的实现方式中，上述执行主体将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器，可以包括以下步骤：
第一步，确定上述数据融合处理器组中各个数据融合处理器的计算资源占用率。其中，可以从数据融合处理器的监控端获取计算资源占用率。计算资源占用率可以表征数据融合处理器的占用程度。
第二步，将上述数据融合处理器组中对应计算资源占用率最小的数据融合处理器，确定为目标数据融合处理器。其中，计算资源占用率最小可以表征数据融合处理器的可用计算资源较多。另外，还可以选出处于闲置状态的数据融合处理器作为目标数据融合处理器。
第三步，将上述多源异构数据分配至上述目标数据融合处理器。其中，可以将上述多源异构数据发送至上述目标数据融合处理器，以供目标数据融合处理器进行数据处理。
步骤103，利用数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集。
在一些实施例中，上述执行主体可以利用上述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集。
在一些实施例中的一些可选的实现方式中，上述执行主体对多源异构数据进行数据解析，以生成解析后字段信息，可以包括以下步骤：
第一步，确定上述多源异构数据的数据结构类型和数据传输类型。其中，上述数据结构类型包括但不限于以下至少一项：处方订单类型、服务订单类型、采购订单类型、报表数据类型、物品库存数据类型、日志数据类型。这里，可以从多源异构数据中提取出对应数据结构类型字段的数据类型标识。从多源异构数据中提取出对应数据传输类型字段的数据传输标识。处方订单类型可以表征多源异构数据为处方订单的数据。服务订单类型可以表征多源异构数据为服务订单数据。例如，用户咨询信息。采购订单类型可以表征多源异构数据为采购订单的数据。例如，物品“养元膏”的采购订单。报表数据类型可以表征多源异构数据为报表数据。物品库存数据类型可以表征数据为物品库存数据。例如，物品库存数量。其次，数据传输类型可以是多源异构数据的数据格式标识。例如，数据传输类型可以包括以下数据格式：JSON(JavaScript Object Notation，轻量级对象简谱)格式、XML(ExtensibleMarkup Language可扩展标记语言)格式。
第二步，基于上述数据结构类型和数据传输类型，从预设的数据解析脚本集中选出对应的数据解析脚本，对上述多源异构数据进行数据解析，以生成解析后字段信息。其中，对于不同的数据结构类型和数据传输类型，预先设置了对应的数据解析脚本。因此，可以从数据解析脚本集中选出对应相同数据结构类型和数据传输类型的数据解析脚本，作为目标数据解析脚本。然后，可以利用目标数据解析脚本对上述多源异构数据进行数据解析，以生成解析后字段信息。这里，数据解析可以是从多源异构数据中提取出各个字段和对应的字段值，组成键值对数据，作为解析后字段信息。
步骤104，对解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将清洗后字段信息集返回至上述数据分配处理引擎。
在一些实施例中，上述执行主体可以对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将上述清洗后字段信息集返回至上述数据分配处理引擎。其中，上述数据分配处理引擎可以将接收到的各个清洗后字段信息添加至预设的数据待发送队列。
在一些实施例中的一些可选的实现方式中，上述执行主体对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，可以包括以下步骤：
第一步，对上述解析后字段信息集中的各个解析后字段信息进行过滤处理，得到过滤后字段信息集。其中，过滤处理可以用于去除解析后字段信息集中的无效数据。例如，若解析后字段信息为空，则可以去除该解析后字段信息。另外，过滤处理还可以去除重复的解析后字段信息。
第二步，对上述过滤后字段信息集中的各个过滤后字段信息进行数据补齐，得到补齐后字段信息集。其中，数据补齐可以是利用预设的数据补齐脚本，将每个过滤后字段信息中不存在数据值的字段补充对应的数据值。其次，还可以在过滤后字段信息中添加所需要的字段，以及根据其它字段的字段值，生成对应的字段值。
作为示例，例如，采购订单类型的过滤后字段信息可以为：[名称：红参片，采购编号：E20230723，采购数量：100盒，采购单价：10]。那么，数据补齐可以是在过滤后字段信息中添加“总价值”的字段。同时，根据数据补齐脚本、采购数量和采购单价。确定“总价值”字段对应的字段值。从而，可以得到补齐后字段信息。
第三步，对上述补齐后字段信息集中的各个补齐后字段信息进行类型转换，以生成清洗后字段信息集。其中，类型转换可以是根据对应的类型转换脚本，将所需要转换的字段对应的字段值进行数据类型转换，或者将所需要转换的字段的键进行替换。
步骤105，通过数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器。
在一些实施例中，上述执行主体可以通过上述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器。其中，各个数据融合分发器可以进行多进程并行进行数据分发。
上述步骤101-步骤105及其相关内容作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“对数据分类存储，难以去除不同种类数据之间的冗余数据，从而，需要占用更多的存储资源”。导致需要占用更多的存储资源的因素往往如下：对数据分类存储，难以去除不同种类数据之间的冗余数据。如果解决了上述因素，就能减少计算资源的占用。为了达到这一效果，首先，通过确定数据结构类型和数据传输类型，可以便于进行数据解析。以此，提取出数据中的字段信息。然后，通过过滤处理可以去除冗余的解析后字段信息。之后，通过数据补齐和数据类型转换，可以使得不同种类的多源异构数据可以进行统一存储。从而，可以减少存储资源的占用。
步骤106，利用数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。
在一些实施例中，上述执行主体可以利用上述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。
在采用技术方案来解决上述技术问题一的过程中，往往又会伴随着如下问题：多源异构数据虽然进行了分类存储且创建了对应的数据标签，但仍然难以确定数据之间的关联关系，由此在查询过程中，需要对处理后的数据中各个数据一一查询，从而，需要占用较多的计算资源。针对这些问题，通常采用的方式为：对多源异构数据进行融合处理，得到融合后的数据，以便于可以在融合后的数据中体现出不同种类数据之间的关联关系，从而，即可在查询过程中，查询所需的不同类型的数据，从而，减少了计算资源的占用。
然而，上述解决方案存在如下技术问题三：由于查询所对应的数据为融合后的数据，数据维度较多，在查询过程中直接面对数据维度较多且数据量级较大的数据进行查询，需要将全部数据查询后再提取对应的原数据进行显示，从而，难以及时为用户显示数据查询结果。针对上述技术问题三，结合发明人需要考虑及时为用户显示数据查询结果的技术需求，可以采用如下解决方案。
在一些实施例中的一些可选的实现方式中，上述执行主体将接收到的清洗后字段信息写入至上述数据存储组件的数据库，可以包括以下步骤：
第一步，基于预设的多源异构数据字段模板，将接收到的每个清洗后字段信息转化为多源异构数据表记录，得到多源异构数据表记录集。其中，每个清洗后字段信息可以包括但不限于以下至少一项：数据字段键值对集、数据库标识、数据时间戳、用户编号、数据编号组，上述多源异构数据字段模板可以包括预设字段序列。上述多源异构数据字段模板可以用于将各个清洗后字段信息中的字段按照上述预设字段序列中的各个预设字段进行排序。由此，得到的各个多源异构数据表记录之间存在相同维度且顺序相同的字段。这里，数据库标识可以是数据库的唯一标识，以用于指向的所需存储的数据库。用户编号可以是每个清洗后字段信息包括的用户标识。数据编号组中的数据编号可以是清洗后字段信息中包括的编号。例如，可以是物品的编号，也可以是订单的编号。
第二步，按照对应每个清洗后字段信息包括的数据库标识，将上述多源异构数据表记录集中的每个多源异构数据表记录写入对应的数据库。其中，对于每个数据库标识可以调用预设的数据库信息。这里数据库信息可以包括数据库标识、数据库账号、数据库密码、数据库端口号和数据库表名等信息。由此，可以将每个多源异构数据表记录存储至数据库标识所指向的数据库中。
第三步，基于上述多源异构数据表记录集中的每个多源异构数据表记录，更新对应的预设数据关联特征图，以用于数据查询。其中，预设数据关联特征图可以是预先设置的各个历史存储的多源异构数据表记录之间的关联特征图。
可选的，上述执行主体基于上述多源异构数据表记录集中的每个多源异构数据表记录，更新对应的预设数据关联特征图，可以包括以下步骤：
第一步，确定与上述多源异构数据表记录对应的预设数据关联特征图。其中，预设数据关联特征图可以是根据需求设置的。例如，可以根据区域范围设置，设置对应区域内的各个数据关联特征图。也可以是根据服务器范围、数据平台设置的。因此，可以从多个数据关联特征图中选出对应的预设数据关联特征图。
其次，上述预设数据关联特征图可以是以历史目标时间点为坐标系原点、过原点以时间增长方向为横轴、以上述多源异构数据字段模板中预设字段序列中的各个预设字段为纵轴、以多源异构数据表记录中的用户编号为竖轴的坐标系中建立的三维关联特征图。上述预设数据关联特征图中的每个坐标可以包括：坐标值、数据存储地址和关联字段坐标值组。这里，关联字段坐标值组中的每个关联字段坐标值可以为与上述坐标关联的、(时长间隔或坐标)距离最近的坐标的字段坐标值。每个坐标可以对一个多源异构数据表记录中的一个字段。
第二步，从上述预设数据关联特征图中选出与上述多源异构数据表记录对应的关联字段标识集。其中，上述关联字段标识集中可以包括与多源异构数据表记录包括的数据字段键值对集、数据库标识、数据时间戳、用户编号、数据编号组中各项数据对应的最近坐标距离值的关联字段标识。例如，对于用户编号的字段。可以从预设数据关联特征图中选出相同用户编号的，且对应的时间戳距离当前时间点最近的坐标。然后可以将该坐标的坐标值确定为关联字段标识。
第三步，将上述关联字段标识集中的每个关联字段标识对应的坐标值确定为关联字段坐标值，得到关联字段坐标值组集合。
第四步，获取上述多源异构数据表记录中对应每个字段的数据存储地址，得到数据存储地址集。其中，数据存储地址可以是每个字段的数据在数据库中的存储地址。
第五步，在上述预设数据关联特征图中，沿横轴增加与上述多源异构数据表记录对应的时间戳的特征维度，以及按照纵轴字段顺序，将上述数据存储地址集中的各个上述数据存储地址集填充至对应的坐标位置。其中，可以沿横轴的时间戳增长方向新增一个横轴坐标，处于该横轴坐标处的截面即为特征维度。其次，按照纵轴字段顺序即为按照纵轴上各个预设字段的顺序。填充可以是将数据存储地址添加至预设数据关联特征图中的对应坐标位置。
第六步，将上述关联字段坐标值组集合中的每个关联字段坐标值组添加至对应坐标位置，以及对上述特征维度进行数据补齐处理，得到更新后数据关联特征图。从而，使得填充后的坐标也包括坐标值、数据存储地址和关联字段坐标值组三项数据。其中，上述更新后数据关联特征图中的每个时间点可以对应一个相同时刻的二维特征图，二维特征图中的每个横向量对应一个多源异构数据表记录。
可选的，上述多源异构数据处理系统还可以执行以下步骤：
第一步，响应于接收到数据查询指令信息，确定与上述数据查询指令信息对应的更新后数据关联特征图。其中，上述数据查询指令信息可以包括但不限于以下至少一项：查询区域标识、查询时间段和查询字段。查询区域标识可以为表征查询区域的标识。上述更新后数据关联特征图可以与查询区域标识相对应。查询区域标识可以用于确定所需查询的数据区域。同时，还可以用于选取对应的更新后数据关联特征图。
第二步，响应于确定上述查询时间段远小于上述更新后数据关联特征图中横轴坐标范围对应的时长，从上述更新后数据关联特征图中截取出对应上述查询时间段的数据关联特征子图。其中，查询时间段远小于上述更新后数据关联特征图中横轴坐标范围对应的时长可以表征所查询的时间段相对于横轴坐标范围对应的时长相对较小。因此为了便于进行查询，可以从上述更新后数据关联特征图中截取出对应上述查询时间段的数据关联特征子图。这里，截取可以是沿垂直于横轴方向进行截取。数据关联特征子图的横轴坐标范围对应的时间段与查询时间段相同。
第三步，从上述数据关联特征子图中，依次选出与上述数据查询指令信息包括的查询日期和查询字段关联的坐标值作为查询坐标值，以及对于每个查询坐标值执行以下查询步骤：
步骤一，从上述查询坐标值对应的数据存储地址获取多源异构数据表记录，作为查询后数据表记录，以及将查询后数据表记录发送至显示终端以供显示。
步骤二，响应于确定与查询坐标值对应的关联字段坐标值组中不存在关联字段坐标值，确定上述数据查询指令信息对应的查询操作完成。其中，与查询坐标值对应的关联字段坐标值组中不存在关联字段坐标值可以表征数据关联特征子图中，不存在与查询坐标值对应的关联数据。因此，可以表征查询结束。
第四步，响应于确定与查询坐标值对应的关联字段坐标值组中存在关联字段坐标值，将每个关联字段坐标值确定为查询坐标值再次执行上述查询步骤。
可选的，上述多源异构数据处理系统还可以执行以下步骤：
第一步，基于预设的时间间隔，建立与上述更新后数据关联特征图对应的数据关联副本特征图。其中，对于每个更新后数据关联特征图，可以在间隔上述时间间隔(例如，1小时或1天等)，复制更新后数据关联特征图，作为数据关联副本特征图。
第二步，将上述数据关联副本特征图存储至预设备份数据库，以用于关联特征还原。其中，通过建立数据关联副本特征图，可以用于在更新后数据关联特征图缺失的情况下，还原更新后数据关联特征图。
上述步骤106及其可选的相关内容作为本公开的实施例的一个发明点，解决了上述提及的技术问题三“由于查询所对应的数据为融合后的数据，数据维度较多，在查询过程中直接面对数据维度较多且数据量级较大的数据进行查询，需要将全部数据查询后再提取对应的原数据进行显示，从而，难以及时为用户显示数据查询结果”。导致难以及时为用户显示数据查询结果的因素往往如下：由于查询所对应的数据为融合后的数据，数据维度较多，在查询过程中直接面对数据维度较多且数据量级较大的数据进行查询，需要将全部数据查询后再提取对应的原数据进行显示。如果解决了上述因素，就能实现可以及时为用户显示数据查询结果。为了达到这一效果，首先，引入了预设的多源异构数据字段模板，可以用于将多源异构数据中的字段进行结构化，使得各个多源异构数据中的字段相同且顺序相同，以此便于将不同来源不同结构的数据进行统一处理。然后，引入了预设数据关联特征图，可以按照各个多源异构数据的时间戳顺序和字段顺序建立数据关联。这里，还通过设置预设数据关联特征图中每个坐标对应坐标值、数据存储地址和关联字段坐标值组三项数据。因此，即使数据库中存储的数据丢失，也可以通过关联字段坐标值组继续进行查询，不影响后续其它关联数据的查询。同时，也因为每个坐标对应的关联字段坐标值组仅为一个字段对应的距离最近的各个关联字段坐标值。因此，在查询过程中，可以依次查询出每个符合查询条件且相关联的数据，同时可以进行同步显示。从而可以及时为用户显示数据查询结果。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的多源异构数据处理系统，可以减少存储资源的占用。具体来说，造成占用更多的存储资源的原因在于：多源异构数据结构复杂，数据量大，若进行实时的分类以及存储，不仅需要占用较多的数据处理时长，还由于建立了每个数据对应的数据标签。基于此，本公开的一些实施例的多源异构数据处理系统，首先，响应于多源数据采集器获取到多源异构数据集，将上述多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎。其中，上述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，上述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列。然后，通过上述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器。之后，利用上述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集。通过数据解析，可以解析出不同来源数据字段信息，以便于进行数据清洗。接着，对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将上述清洗后字段信息集返回至上述数据分配处理引擎。其中，上述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列。这里，通过数据清洗，可以用于将冗余的数据进行去除，以此减少存储资源的占用。而后，通过上述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器。最后，利用上述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。从而，上述实现方式无需对多源异构数据进行分类，且通过数据清洗可以进一步减少存储过程中占用的存储资源。
下面参考图3，其示出了适于用来实现本公开的一些实施例的电子设备300的结构示意图。图3示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置301(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于多源数据采集器获取到多源异构数据集，将上述多源异构数据集中的各个多源异构数据写入至上述数据分配处理引擎，其中，上述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，上述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列；通过上述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至上述数据融合处理器组中的数据融合处理器；利用上述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；对上述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将上述清洗后字段信息集返回至上述数据分配处理引擎，其中，上述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列；通过上述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至上述数据融合分发器组中的数据融合分发器；利用上述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至上述数据存储组件的数据库，以供存储。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括：多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (3)

1.一种多源异构数据处理系统，包括：多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件，其中：
响应于多源数据采集器获取到多源异构数据集，将所述多源异构数据集中的各个多源异构数据写入至所述数据分配处理引擎，其中，所述多源异构数据集中的各个多源异构数据是从不同数据平台获取的，所述数据分配处理引擎将接收到的每个多源异构数据添加至预设的数据待处理队列；
通过所述数据分配处理引擎，将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器；
利用所述数据融合处理器组中的每个数据融合处理器，对接收到的多源异构数据进行数据解析以生成解析后字段信息，得到解析后字段信息集；
对所述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，以及将所述清洗后字段信息集返回至所述数据分配处理引擎，其中，所述数据分配处理引擎将接收到的各个清洗后字段信息添加至预设的数据待发送队列；
通过所述数据分配处理引擎，将数据待发送队列中的各个清洗后字段信息分配至所述数据融合分发器组中的数据融合分发器；
利用所述数据融合分发器组中的每个数据融合分发器，将接收到的清洗后字段信息写入至所述数据存储组件的数据库，以供存储；
所述将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器，包括：
确定所述数据融合处理器组中各个数据融合处理器的计算资源占用率；
将所述数据融合处理器组中对应计算资源占用率最小的数据融合处理器，确定为目标数据融合处理器；
将所述多源异构数据分配至所述目标数据融合处理器；
所述对多源异构数据进行数据解析，以生成解析后字段信息，包括：
确定所述多源异构数据的数据结构类型和数据传输类型，其中，所述数据结构类型包括以下至少一项：处方订单类型、服务订单类型、采购订单类型、报表数据类型、物品库存数据类型、日志数据类型；
基于所述数据结构类型和数据传输类型，从预设的数据解析脚本集中选出对应的数据解析脚本，对所述多源异构数据进行数据解析，以生成解析后字段信息；
所述对所述解析后字段信息集中的各个解析后字段信息进行数据清洗，得到清洗后字段信息集，包括：
对所述解析后字段信息集中的各个解析后字段信息进行过滤处理，得到过滤后字段信息集；
对所述过滤后字段信息集中的各个过滤后字段信息进行数据补齐，得到补齐后字段信息集；
对所述补齐后字段信息集中的各个补齐后字段信息进行类型转换，以生成清洗后字段信息集；
将接收到的清洗后字段信息写入至所述数据存储组件的数据库，包括：
基于预设的多源异构数据字段模板，将接收到的每个清洗后字段信息转化为多源异构数据表记录，得到多源异构数据表记录集，其中，每个清洗后字段信息包括：数据字段键值对集、数据库标识、数据时间戳、用户编号、数据编号组，所述多源异构数据字段模板包括预设字段序列；
按照对应每个清洗后字段信息包括的数据库标识，将所述多源异构数据表记录集中的每个多源异构数据表记录写入对应的数据库；
基于所述多源异构数据表记录集中的每个多源异构数据表记录，更新对应的预设数据关联特征图，以用于数据查询。
2.一种电子设备，包括：
一个或多个处理器，其上存储有一个或多个程序；
当所述一个或多个程序被多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组执行，使得所述一个或多个处理器实现如权利要求1所述的多源异构数据处理系统。
3.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1所述的多源异构数据处理系统。
CN202311596283.6A 2023-11-27 2023-11-27 多源异构数据处理系统 Active CN117591025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311596283.6A CN117591025B (zh) 2023-11-27 2023-11-27 多源异构数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311596283.6A CN117591025B (zh) 2023-11-27 2023-11-27 多源异构数据处理系统

Publications (2)

Publication Number Publication Date
CN117591025A CN117591025A (zh) 2024-02-23
CN117591025B true CN117591025B (zh) 2024-05-10

Family

ID=89921554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311596283.6A Active CN117591025B (zh) 2023-11-27 2023-11-27 多源异构数据处理系统

Country Status (1)

Country Link
CN (1) CN117591025B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118332507B (zh) * 2024-06-13 2024-08-16 人民法院信息技术服务中心 一种多源异构司法大数据治理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580264A (zh) * 2019-08-22 2019-12-17 华东师范大学 多源异构时空数据及其矢量可信构建方法
CN111897875A (zh) * 2020-07-31 2020-11-06 平安科技（深圳）有限公司 城市多源异构数据的融合处理方法、装置和计算机设备
CN112579676A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 异构系统间的数据处理方法、装置、存储介质和设备
CN112905580A (zh) * 2021-03-19 2021-06-04 贵州航天云网科技有限公司 一种基于工业大数据的多源异构数据融合系统及方法
CN115827921A (zh) * 2022-12-06 2023-03-21 中电科大数据研究院有限公司 数据融合系统、数据融合方法和装置、计算机存储介质
CN117009334A (zh) * 2023-08-04 2023-11-07 哈尔滨航天恒星数据系统科技有限公司 一种海量农业多源异构传感数据智能接入及处理方法、电子设备及存储介质
CN117056867A (zh) * 2023-10-12 2023-11-14 中交第四航务工程勘察设计院有限公司 一种可用于数字孪生的多源异构数据融合方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580264A (zh) * 2019-08-22 2019-12-17 华东师范大学 多源异构时空数据及其矢量可信构建方法
CN112579676A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 异构系统间的数据处理方法、装置、存储介质和设备
CN111897875A (zh) * 2020-07-31 2020-11-06 平安科技（深圳）有限公司 城市多源异构数据的融合处理方法、装置和计算机设备
CN112905580A (zh) * 2021-03-19 2021-06-04 贵州航天云网科技有限公司 一种基于工业大数据的多源异构数据融合系统及方法
CN115827921A (zh) * 2022-12-06 2023-03-21 中电科大数据研究院有限公司 数据融合系统、数据融合方法和装置、计算机存储介质
CN117009334A (zh) * 2023-08-04 2023-11-07 哈尔滨航天恒星数据系统科技有限公司 一种海量农业多源异构传感数据智能接入及处理方法、电子设备及存储介质
CN117056867A (zh) * 2023-10-12 2023-11-14 中交第四航务工程勘察设计院有限公司 一种可用于数字孪生的多源异构数据融合方法及系统

Also Published As

Publication number Publication date
CN117591025A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
US10447772B2 (en) Managed function execution for processing data streams in real time
CN109299348B (zh) 一种数据查询方法、装置、电子设备及存储介质
CN109472524B (zh) 信息处理方法和装置
CN117591025B (zh) 多源异构数据处理系统
CN107908637B (zh) 一种基于知识库的实体更新方法及系统
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
WO2018169430A1 (en) Integrating logic in micro batch based event processing systems
WO2019076001A1 (zh) 信息更新方法和装置
CN109039817A (zh) 一种用于流量监控的信息处理方法和装置
CN111950857A (zh) 基于业务指标的指标体系管理方法、装置以及电子设备
CN111552728A (zh) 区块链的数据处理方法、系统、终端和存储介质
CN110895591A (zh) 一种定位自提点的方法和装置
CN110928594A (zh) 服务开发方法和平台
CN113190558A (zh) 一种数据加工方法和系统
CN112988915A (zh) 数据展示方法和装置
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN115185667B (zh) 可视化应用的加速方法、装置、电子设备和存储介质
CN113362090A (zh) 一种用户行为数据处理方法和装置
CN107679096B (zh) 数据集市间指标共享的方法和装置
CN116108233A (zh) 数据处理方法、装置、设备及存储介质
CN115858905A (zh) 数据处理的方法、装置、电子设备和存储介质
CN115456575A (zh) 商旅报销方法、装置、存储介质及服务设备
CN111625692B (zh) 特征抽取方法、装置、电子设备和计算机可读介质
CN111694672B (zh) 资源分配方法、任务提交方法、装置、电子设备和介质
CN113114612B (zh) 分布式系统调用链的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant