CN116340436B - 数据分组加工调度方法及装置、介质、设备 - Google Patents

数据分组加工调度方法及装置、介质、设备 Download PDF

Info

Publication number
CN116340436B
CN116340436B CN202310257775.6A CN202310257775A CN116340436B CN 116340436 B CN116340436 B CN 116340436B CN 202310257775 A CN202310257775 A CN 202310257775A CN 116340436 B CN116340436 B CN 116340436B
Authority
CN
China
Prior art keywords
data
group
processed
directed acyclic
acyclic graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310257775.6A
Other languages
English (en)
Other versions
CN116340436A (zh
Inventor
田世康
郑斌
雷天武
彭铸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Digital Business Technology Co Ltd
Original Assignee
Shandong Inspur Digital Business Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Digital Business Technology Co Ltd filed Critical Shandong Inspur Digital Business Technology Co Ltd
Priority to CN202310257775.6A priority Critical patent/CN116340436B/zh
Publication of CN116340436A publication Critical patent/CN116340436A/zh
Application granted granted Critical
Publication of CN116340436B publication Critical patent/CN116340436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据分组加工调度方法及装置、介质、设备。方法包括：将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；将所述任务集合中的各个任务的编号配置为对应的分组编号；将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。本发明实施例本发明实施例可以提高处理效率和实现数据解耦。

Description

数据分组加工调度方法及装置、介质、设备
技术领域
本发明涉及数据仓库技术领域，特别是涉及一种数据分组加工调度方法及装置、介质、设备。
背景技术
随着计算机存储科学技术的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式也发生了颠覆式变化。大数据智能加工平台的开发顺应了时代的特点，能够对大量数据集合进行加工处理，推动了科学技术的进步与企业的发展。
数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。为保证数据仓库集成数据的高效性与独立性。在数据加工过程中引入了大数据任务调度工具，大数据任务调度工具虽能解决调度的依赖性问题，但面对数据仓库中不同主题的数据具有串行的依赖，使数据仓库中模型耦合性增加，如果出现问题，极大的增加了处理时长。
发明内容
针对以上至少一个技术问题，本发明实施例提供一种数据分组加工调度方法及装置、介质、设备。
根据第一方面，本发明实施例提供的数据分组加工调度方法，包括：
将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
将所述任务集合中的各个任务的编号配置为对应的分组编号；
将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
根据第二方面，本发明实施例提供的数据分组加工调度装置，包括：
分组设置模块，用于将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
任务查找模块，用于查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
编号设置模块，用于将所述任务集合中的各个任务的编号配置为对应的分组编号；
加工处理模块，用于将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
根据第三方面，本发明实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
根据第四方面，本发明实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
本发明实施例提供的数据分组加工调度方法及装置、介质、设备，将每一个业务主题的待加工数据划分为至少一个分组，查找每一个业务主题对应的任务集合，将所述任务集合中的各个任务的编号配置为对应的分组编号，将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理。其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。本发明实施例可以实现对多个业务主题下的多个分组进行并行处理，不仅可以提高处理效率，而且可以实现对数据的解耦，各个业务主题之间不会相互影响，减少了问题排查时间。当一个业务主题的数据出现问题时，不必重新加工所有的业务主题的数据，解决了现有的串行依赖问题。可见，本发明实施例可以提高处理效率和实现数据解耦。
附图说明
图1为本发明一实施例中数据分组加工调度方法的流程示意图。
具体实施方式
第一方面，本发明实施例提供一种数据分组加工调度方法，参见图1，该方法包括如下步骤S110～S140：
S110、将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
可理解的是，待加工数据涉及多个业务主题，例如，销售数据、订单数据、退单数据等。每一个业务主题具有自己的业务主题编号，用来区分各个不同的业务主题。
可见，S110中不仅将待加工数据按照业务主题分类，还针对一个业务主题下的待加工数据进一步分组。例如，针对销售数据，可以继续分为门店销售数据、电商销售数据两个分组。每一个分组具有一个分组编号，不同的分组，对应的分组编号不同，即分组编号作为分组的唯一标识。
在一个实施例中，S110中所述将每一个业务主题的待加工数据划分为至少一个分组，可以具体包括：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组。例如，上一个举例中提到的在门店场景下的门店销售数据、在电商平台场景下的电商销售数据这两个按照业务场景而划分的两个分组。
S120、查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
可理解的是，每一个业务主题的待加工数据在进行数据加工时需要多个数据加工方法，一个数据加工方法可以理解为一个任务，即具有逻辑处理能力的脚本，因此一个业务主题的待加工数据的各个任务预先会形成一个任务集合，这样在需要时根据业务主题编号进行查找即可。
S130、将所述任务集合中的各个任务的编号配置为对应的分组编号；
也就是说，在S130中对各个任务的编号设置为分组编号。例如，一个任务用于对一个分组中的待加工数据进行加工，则将该任务的编号设置为该分组的分组编号。
在一个实施例中，所述任务集合中的各个任务具有初始编号，且初始编号为业务主题编号；对应的，S130中所述将所述任务集合中的各个任务的编号配置为对应的分组编号，可以具体包括：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号。
也就是说，每一个任务有一个初始编号，该初始编号为对应的业务主题的编号，即业务主题编号。然后由于每一个业务主题分为了多个分组，因此需要对各个任务也进行分组，因此将每一个任务的初始编号更新为该任务对应的分组的分组编号。
S140、将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
其中，有向无环图即DAG图，也可以称为DAG地图。一个分组对应一个有向无环图，在一个有向无环图中包括多个串联起来的任务以及该有向无环图对应的分组的待加工数据。通过多个串联起来的任务对该分组下的待加工数据进行逐步加工处理，得到加工后数据。
其中，一个业务主题下的各个分组对应的各个有向无环图可以并行执行，且各个业务主题下的各个有向无环图也可以并行执行，这样可以大大提交数据加工处理的速度。
在一个实施例中，S140中所述将对应同一个分组编号的任务和待加工数据形成一个有向无环图，具体可以包括：
配置http请求，所述http请求用于请求将对应同一个分组编号的任务和待加工数据形成一个有向无环图；利用数据调度工具执行所述http请求，得到该分组编号对应的有向无环图。
例如，在数据调度工具DolphinScheduler中配置http请求，然后执行http请求，便可以得到有向无环图。
当然，在划分为多个业务主题之前，可以先汇总下公共数据，这样的话，在后续划分业务主题后，有些数据可以直接引用公共数据，非常方便。
可理解的是，本发明实施例可以实现对多个业务主题下的多个分组进行并行处理，不仅可以提高处理效率，而且可以实现对数据的解耦，各个业务主题之间不会相互影响，减少了问题排查时间。当一个业务主题的数据出现问题时，不必重新加工所有的业务主题的数据，解决了现有的串行依赖问题。可见，本发明实施例可以提高处理效率和实现数据解耦。
第二方面，本发明实施例提供的数据分组加工调度装置，装置包括：
分组设置模块，用于将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
任务查找模块，用于查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
编号设置模块，用于将所述任务集合中的各个任务的编号配置为对应的分组编号；
加工处理模块，用于将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行。
在一个实施例中，所述分组设置模块具体用于：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组。
在一个实施例中，所述任务集合中的各个任务的初始编号为业务主题编号；对应的，所述编号设置模块具体用于：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号。
在一个实施例中，所述加工处理模块具体用于：配置http请求，所述http请求用于请求将对应同一个分组编号的任务和待加工数据形成一个有向无环图；利用数据调度工具执行所述http请求，得到该分组编号对应的有向无环图。
可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
第三方面，本发明实施例提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面提供的方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
可理解的是，本发明实施例提供的计算机可读介质中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
第四方面，本说明书一个实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现执行说明书中任一个实施例中的方法。
可理解的是，本发明实施例提供的计算设备中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (4)

1.一种数据分组加工调度方法，其特征在于，包括：
将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
将所述任务集合中的各个任务的编号配置为对应的分组编号；
将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行；
所述将每一个业务主题的待加工数据划分为至少一个分组，包括：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组；
所述任务集合中的各个任务的初始编号为业务主题编号；对应的，所述将所述任务集合中的各个任务的编号配置为对应的分组编号，包括：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号；
所述将对应同一个分组编号的任务和待加工数据形成一个有向无环图，包括：
配置http请求，所述http请求用于请求将对应同一个分组编号的任务和待加工数据形成一个有向无环图；
利用数据调度工具执行所述http请求，得到该分组编号对应的有向无环图。
2.一种数据分组加工调度装置，其特征在于，包括：
分组设置模块，用于将每一个业务主题的待加工数据划分为至少一个分组，每一个分组具有唯一的分组编号；
任务查找模块，用于查找每一个业务主题对应的任务集合，所述任务集合中包括用于对该业务主题的待加工数据进行数据加工的各个任务；
编号设置模块，用于将所述任务集合中的各个任务的编号配置为对应的分组编号；
加工处理模块，用于将对应同一个分组编号的任务和待加工数据形成一个有向无环图，根据所述有向无环图实现对该分组编号对应的分组的待加工数据的加工处理；其中，所述分组和所述有向无环图一一对应，各个业务主题下的各个有向无环图并行执行；
所述分组设置模块具体用于：将每一个业务主题的待加工数据按照业务场景划分为至少一个分组；
所述任务集合中的各个任务的初始编号为业务主题编号；对应的，所述编号设置模块具体用于：将所述任务集合中的每一个任务对应的初始编号更新为对应的分组编号；
所述加工处理模块具体用于：配置http请求，所述http请求用于请求将对应同一个分组编号的任务和待加工数据形成一个有向无环图；利用数据调度工具执行所述http请求，得到该分组编号对应的有向无环图。
3.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现实现权利要求1所述的方法。
4.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1所述的方法。
CN202310257775.6A 2023-03-14 2023-03-14 数据分组加工调度方法及装置、介质、设备 Active CN116340436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310257775.6A CN116340436B (zh) 2023-03-14 2023-03-14 数据分组加工调度方法及装置、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310257775.6A CN116340436B (zh) 2023-03-14 2023-03-14 数据分组加工调度方法及装置、介质、设备

Publications (2)

Publication Number Publication Date
CN116340436A CN116340436A (zh) 2023-06-27
CN116340436B true CN116340436B (zh) 2024-05-24

Family

ID=86892398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310257775.6A Active CN116340436B (zh) 2023-03-14 2023-03-14 数据分组加工调度方法及装置、介质、设备

Country Status (1)

Country Link
CN (1) CN116340436B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150145A (zh) * 2011-12-07 2013-06-12 Sap股份公司 数据仓库环境中的语义分组数据的并行处理
CN109523187A (zh) * 2018-11-27 2019-03-26 北京字节跳动网络技术有限公司 任务调度方法、装置和设备
CN112507171A (zh) * 2020-12-03 2021-03-16 深圳市易平方网络科技有限公司 一种任务调度方法、智能终端及存储介质
CN113722289A (zh) * 2021-08-09 2021-11-30 杭萧钢构股份有限公司 构建数据服务的方法、装置、电子设备及介质
CN113760488A (zh) * 2020-08-28 2021-12-07 北京沃东天骏信息技术有限公司 调度任务的方法、装置、设备和计算机可读介质
CN114281552A (zh) * 2022-01-12 2022-04-05 平安普惠企业管理有限公司 一种基于有向无环图的任务调度方法、装置、设备及介质
CN114625507A (zh) * 2022-03-14 2022-06-14 广州经传多赢投资咨询有限公司 基于有向无环图的任务调度方法、系统、设备及存储介质
CN115098600A (zh) * 2022-06-21 2022-09-23 平安普惠企业管理有限公司 用于数据仓库的有向无环图构建方法、装置和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140151B2 (en) * 2017-04-19 2018-11-27 International Business Machines Corporation Leveraging directed acyclic graph (DAG) information to group tasks for execution
US11327877B2 (en) * 2020-05-08 2022-05-10 Microsoft Technology Licensing, Llc Pipeline performance improvement using stochastic dags

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150145A (zh) * 2011-12-07 2013-06-12 Sap股份公司 数据仓库环境中的语义分组数据的并行处理
CN109523187A (zh) * 2018-11-27 2019-03-26 北京字节跳动网络技术有限公司 任务调度方法、装置和设备
CN113760488A (zh) * 2020-08-28 2021-12-07 北京沃东天骏信息技术有限公司 调度任务的方法、装置、设备和计算机可读介质
CN112507171A (zh) * 2020-12-03 2021-03-16 深圳市易平方网络科技有限公司 一种任务调度方法、智能终端及存储介质
CN113722289A (zh) * 2021-08-09 2021-11-30 杭萧钢构股份有限公司 构建数据服务的方法、装置、电子设备及介质
CN114281552A (zh) * 2022-01-12 2022-04-05 平安普惠企业管理有限公司 一种基于有向无环图的任务调度方法、装置、设备及介质
CN114625507A (zh) * 2022-03-14 2022-06-14 广州经传多赢投资咨询有限公司 基于有向无环图的任务调度方法、系统、设备及存储介质
CN115098600A (zh) * 2022-06-21 2022-09-23 平安普惠企业管理有限公司 用于数据仓库的有向无环图构建方法、装置和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Smart-mDAG: An Intelligent Scheduling Method for Multi-DAG Jobs;Yifan Zhu et al.;IEEE;20211207;第110-115页 *
并行累积可视性分析中的任务调度研究;宋效东;窦万峰;汤国安;张刚;江岭;;地理与地理信息科学;20130715(04);第56-61页 *

Also Published As

Publication number Publication date
CN116340436A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US8433762B1 (en) Generation of nickname dictionary based on analysis of user communications
US20150180872A1 (en) System and method for hierarchical resource permissions and role management in a multitenant environment
CN111414389B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN106407303A (zh) 数据存储、查询方法及装置
US20160092550A1 (en) Automated search intent discovery
JP2012137908A (ja) クラスタリング装置及びクラスタリング方法
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN111258978A (zh) 一种数据存储的方法
CN107341210B (zh) Hadoop平台下的C-DBSCAN-K聚类算法
CN111723161A (zh) 一种数据处理方法、装置及设备
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
CN106649602A (zh) 业务对象数据处理方法、装置和服务器
CN113076304A (zh) 一种分布式版本管理方法、装置和系统
CN115858488A (zh) 基于数据治理的平行迁移方法、装置及可读介质
JP2009301334A (ja) ネットワーク行動を分析する情報処理装置、分析システム、ネットワーク行動の分析方法およびプログラム
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
WO2020092279A1 (en) Recording lineage in query optimization
CN110888972A (zh) 一种基于Spark Streaming的敏感内容识别方法及装置
CN116340436B (zh) 数据分组加工调度方法及装置、介质、设备
US10949449B2 (en) Systems and methods for efficient electronic message storage and retrieval
CN111814020A (zh) 一种数据的获取方法和装置
CN116775712A (zh) 联表查询方法、装置、电子设备、分布式系统和存储介质
CN107992568B (zh) 一种搜索方法、装置及系统
CN110059080B (zh) 一种数据处理的方法和装置
CN108268662B (zh) 基于h5页面的社交图谱生成方法、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 527 Dongyue Street, Tai'an Tourism and Economic Development Zone, Tai'an City, Shandong Province, 271000

Applicant after: Shandong Inspur Digital Business Technology Co.,Ltd.

Address before: 250101 Inspur science and Technology Park, 1036 Inspur Road, hi tech Zone, Jinan City, Shandong Province

Applicant before: Shandong Inspur Digital Business Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant