CN114911589A - 跨数据平台的融合计算方法、系统、终端及存储介质 - Google Patents

跨数据平台的融合计算方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN114911589A
CN114911589A CN202210334605.9A CN202210334605A CN114911589A CN 114911589 A CN114911589 A CN 114911589A CN 202210334605 A CN202210334605 A CN 202210334605A CN 114911589 A CN114911589 A CN 114911589A
Authority
CN
China
Prior art keywords
subtask
subtasks
task
data
batch flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210334605.9A
Other languages
English (en)
Inventor
魏本帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210334605.9A priority Critical patent/CN114911589A/zh
Publication of CN114911589A publication Critical patent/CN114911589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及大数据技术领域，具体提供一种跨数据平台的融合计算方法、系统、终端及存储介质，包括：通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；根据各子任务的结束标志将任务切分为多个子任务；根据子任务之间的关联关系为各子任务生成相应的关联标识；根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。本发明通过融合计算装置使逻辑上复杂的任务，根据输入输出标识进行任务的逻辑关联，实现任务的切分后执行结果正确性，保障了任务在切分后，仍然可以正确的执行和结果反馈。

Description

跨数据平台的融合计算方法、系统、终端及存储介质
技术领域
本发明涉及大数据技术领域，具体涉及一种跨数据平台的融合计算方法、系统、终端及存储介质。
背景技术
当前数据库、大数据已成为存储数据及计算数据的主流。通常情况下，一般的任务只会在数据库或大数据集群自己内部进行，不会跨数据库或跨大数据集群进行计算。
但如果任务比较复杂，要求跨数据库或跨大数据集群时，会存在比较棘手的问题，任务如何在数据库或大数据集群之间分配，如何进行融合计算，成为一个需要急需要解决的问题。
发明内容
针对现有技术存在的不同数据平台无法进行融合计算的问题，本发明提供一种跨数据平台的融合计算方法、系统、终端及存储介质，以解决上述技术问题。
第一方面，本发明提供一种跨数据平台的融合计算方法，包括：
通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
根据各子任务的结束标志将任务切分为多个子任务；
根据子任务之间的关联关系为各子任务生成相应的关联标识；
根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
进一步的，通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系，包括：
在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务：
若是，则判定所述任务不需要切分，并将所述任务发送至分配队列；
若否，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
进一步的，根据子任务之间的关联关系为各子任务生成相应的关联标识，包括：
若SQL语言子任务的输出数据为批流子任务的输入数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识；
若SQL语言子任务的输入数据为批流子任务的输出数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识。
进一步的，根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发，包括：
将所有子任务转入分配队列，并根据子任务的重要程度设置各子任务的优先级；
根据分配队列中的子任务的优先级对子任务进行分配，将SQL语言子任务分配至数据库端的执行队列，将批流子任务分配至大数据集群的执行队列；
将带有输出标识的子任务的输出数据发送给带有相应输入标识的子任务。
第二方面，本发明提供一种跨数据平台的融合计算系统，包括：
任务解析单元，用于通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
任务切分单元，用于根据各子任务的结束标志将任务切分为多个子任务；
标识生成单元，用于根据子任务之间的关联关系为各子任务生成相应的关联标识；
任务执行单元，用于根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
进一步的，所述任务解析单元包括：
任务判断模块，用于在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务；
直接分配模块，用于若所述任务同时存在SQL语言子任务和批流子任务，则判定所述任务不需要切分，并将所述任务发送至分配队列；
关联解析模块，用于若所述任务没有同时存在SQL语言子任务和批流子任务，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
进一步的，所述标识生成单元包括：
第一生成模块，用于若SQL语言子任务的输出数据为批流子任务的输入数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识；
第二生成模块，用于若SQL语言子任务的输入数据为批流子任务的输出数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识。
进一步的，所述任务执行单元包括：
任务转入模块，用于将所有子任务转入分配队列，并根据子任务的重要程度设置各子任务的优先级；
任务分配模块，用于根据分配队列中的子任务的优先级对子任务进行分配，将SQL语言子任务分配至数据库端的执行队列，将批流子任务分配至大数据集群的执行队列；
数据发送模块，用于将带有输出标识的子任务的输出数据发送给带有相应输入标识的子任务。
第三方面，提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的有益效果在于，
本发明提供的跨数据平台的融合计算方法、系统、终端及存储介质，使用任务切分装置完成对任务的分解，分别放到对应的任务计算载体数据库和大数据集群上，通过融合计算装置进行两个任务之间的逻辑处理，完成任务，得到最终处理结果。本发明通过融合计算装置使逻辑上复杂的任务，根据输入输出标识进行任务的逻辑关联，实现任务的切分后执行结果正确性，保障了任务在切分后，仍然可以正确的执行和结果反馈。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的示意性框图。
图3为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种跨数据平台的融合计算系统。
如图1所示，该方法包括：
步骤110，通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
步骤120，根据各子任务的结束标志将任务切分为多个子任务；
步骤130，根据子任务之间的关联关系为各子任务生成相应的关联标识；
步骤140，根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
为了便于对本发明的理解，下面以本发明跨数据平台的融合计算方法的原理，结合实施例中对跨数据平台的任务进行融合计算的过程，对本发明提供的跨数据平台的融合计算方法做进一步的描述。
具体的，所述跨数据平台的融合计算方法包括：
S1、通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系。
在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务：若是，则判定所述任务不需要切分，并将所述任务发送至分配队列；若否，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
具体的，客户端发送任务至数据库端(或大数据集群端)。部署在数据库端(或大数据集群端)任务切分装置实时监听访问服务端口，如果有新任务，则把新任务放入检查队列，检查任务描述中是否存在SQL语言及批流处理的任务。检查任务如果只存在SQL语言或只存在批流任务，则该任务为简单任务，将不会进行任务切分，并进行无切分标识，转入任务分配。
S2、根据各子任务的结束标志将任务切分为多个子任务。
任务描述中如果同时存在SQL语言及批流的任务，则需要任务切分。在任务切分前，检查任务内部的逻辑关系，SQL语言任务或批流任务的开始和结束部分是否存在关联性(即一个任务的最终结果或中间是否作为另外一个任务的输入)，如果不存在关联性，则SQL任务描述结束标志和批流任务描述结束标志的位置，作为切分的位置，进行任务切分，并进行无关联切关标识，切分成SQL任务和批流任务，进行后面的任务分配，进入任务分配队列。
S3、根据子任务之间的关联关系为各子任务生成相应的关联标识。
如果检查任务内部的逻辑关系存在关联性(即一个任务的最终结果或中间是否作为另外一个任务的输入)，则需要进行任务的逻辑处理。判断SQL任务及批流任务结果的输入输出关系。①如果SQL任务的输出需要作为批流任务的输入。则在SQL任务描述结束位置加输出标识，同时在批流任务描述的开始部分加输入标识。然后在SQL任务描述结束标志和批流任务描述结束标志的位置，作为切分的位置，并进行关联切分标识，进行任务切分，切分成SQL任务和批流任务，进行后面的任务分配，两个子任务同时进入任务分配队列。②如果批流任务的输出需要作为SQL任务的输入。则在批流任务描述结束位置加输出标识，同时在SQL任务描述的开始部分加输入标识。然后在批流任务描述结束标志和SQL任务描述结束标志的位置，作为切分的位置，并进行关联切分标识，进行任务切分，切分成SQL任务和批流任务，进行后面的任务分配，两个子任务同时进入任务分配队列。
S4、根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
默认按照进入任务分配队列的时间先后顺序，将任务进行分配，把SQL任务发送至数据库端的执行队列，将批流任务发送至大数据集群的执行队列，待融合计算装置进一步处理。部署在数据库端(或大数据集群端)的融合计算装置可以根据用户需求调整执行优先级。融合计算装置对执行队列中的任务描述加入优先级标识，用数字表示，数字越高执行优先级越高。任务分配时间相同的数字越高，则优先执行。
融合计算装置检查执行队列的任务执行情况。如果该任务为无切分标识，当任务完成时，进行结果展示，任务结束；如果该任务为无关联切关标识，则按照任务完成时间先后顺序将SQL任务结果、批流任务结果展示，两个任务均展示完成，则任务结束；如果该任务为联分切关标识，则检查任务描述的输入输出，当带有输出标识的SQL任务或批流任务完成时，则将该结果发送给带有输入标识的SQL任务或批流任务，当带有输入标识的SQL任务或批流任务输出结果后，进行结果展示，任务结束。
如图2所示，该系统200包括：
任务解析单元210，用于通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
任务切分单元220，用于根据各子任务的结束标志将任务切分为多个子任务；
标识生成单元230，用于根据子任务之间的关联关系为各子任务生成相应的关联标识；
任务执行单元240，用于根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
可选地，作为本发明一个实施例，所述任务解析单元包括：
任务判断模块，用于在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务；
直接分配模块，用于若所述任务同时存在SQL语言子任务和批流子任务，则判定所述任务不需要切分，并将所述任务发送至分配队列；
关联解析模块，用于若所述任务没有同时存在SQL语言子任务和批流子任务，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
可选地，作为本发明一个实施例，所述标识生成单元包括：
第一生成模块，用于若SQL语言子任务的输出数据为批流子任务的输入数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识；
第二生成模块，用于若SQL语言子任务的输入数据为批流子任务的输出数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识。
可选地，作为本发明一个实施例，所述任务执行单元包括：
任务转入模块，用于将所有子任务转入分配队列，并根据子任务的重要程度设置各子任务的优先级；
任务分配模块，用于根据分配队列中的子任务的优先级对子任务进行分配，将SQL语言子任务分配至数据库端的执行队列，将批流子任务分配至大数据集群的执行队列；
数据发送模块，用于将带有输出标识的子任务的输出数据发送给带有相应输入标识的子任务。
图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的跨数据平台的融合计算方法。
其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。
处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
因此，本发明使用任务切分装置完成对任务的分解，分别放到对应的任务计算载体数据库和大数据集群上，通过融合计算装置进行两个任务之间的逻辑处理，完成任务，得到最终处理结果。本发明通过融合计算装置使逻辑上复杂的任务，根据输入输出标识进行任务的逻辑关联，实现任务的切分后执行结果正确性，保障了任务在切分后，仍然可以正确的执行和结果反馈，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种跨数据平台的融合计算方法，其特征在于，包括：
通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
根据各子任务的结束标志将任务切分为多个子任务；
根据子任务之间的关联关系为各子任务生成相应的关联标识；
根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
2.根据权利要求1所述的方法，其特征在于，通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系，包括：
在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务：
若是，则判定所述任务不需要切分，并将所述任务发送至分配队列；
若否，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
3.根据权利要求2所述的方法，其特征在于，根据子任务之间的关联关系为各子任务生成相应的关联标识，包括：
若SQL语言子任务的输出数据为批流子任务的输入数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识；
若SQL语言子任务的输入数据为批流子任务的输出数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识。
4.根据权利要求3所述的方法，其特征在于，根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发，包括：
将所有子任务转入分配队列，并根据子任务的重要程度设置各子任务的优先级；
根据分配队列中的子任务的优先级对子任务进行分配，将SQL语言子任务分配至数据库端的执行队列，将批流子任务分配至大数据集群的执行队列；
将带有输出标识的子任务的输出数据发送给带有相应输入标识的子任务。
5.一种跨数据平台的融合计算系统，其特征在于，包括：
任务解析单元，用于通过解析任务内部逻辑获取任务的子任务以及子任务之间的关联关系；
任务切分单元，用于根据各子任务的结束标志将任务切分为多个子任务；
标识生成单元，用于根据子任务之间的关联关系为各子任务生成相应的关联标识；
任务执行单元，用于根据子任务类型将子任务分配至相应的数据平台，并根据子任务的关联标识对子任务的输出数据进行转发。
6.根据权利要求5所述的系统，其特征在于，所述任务解析单元包括：
任务判断模块，用于在接收到客户端发送的任务之后，判断所述任务是否同时存在SQL语言子任务和批流子任务；
直接分配模块，用于若所述任务同时存在SQL语言子任务和批流子任务，则判定所述任务不需要切分，并将所述任务发送至分配队列；
关联解析模块，用于若所述任务没有同时存在SQL语言子任务和批流子任务，则判断SQL语言子任务和批流子任务是否存在参数关联关系，所述参数关联关系包括SQL语言子任务的输出数据为批流子任务的输入数据，以及SQL语言子任务的输入数据为批流子任务的输出数据。
7.根据权利要求6所述的系统，其特征在于，所述标识生成单元包括：
第一生成模块，用于若SQL语言子任务的输出数据为批流子任务的输入数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识；
第二生成模块，用于若SQL语言子任务的输入数据为批流子任务的输出数据，则在SQL语言子任务的任务描述结束位置添加输出标识并在批流子任务的任务描述结束位置添加输入标识。
8.根据权利要求7所述的系统，其特征在于，所述任务执行单元包括：
任务转入模块，用于将所有子任务转入分配队列，并根据子任务的重要程度设置各子任务的优先级；
任务分配模块，用于根据分配队列中的子任务的优先级对子任务进行分配，将SQL语言子任务分配至数据库端的执行队列，将批流子任务分配至大数据集群的执行队列；
数据发送模块，用于将带有输出标识的子任务的输出数据发送给带有相应输入标识的子任务。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202210334605.9A 2022-03-31 2022-03-31 跨数据平台的融合计算方法、系统、终端及存储介质 Pending CN114911589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210334605.9A CN114911589A (zh) 2022-03-31 2022-03-31 跨数据平台的融合计算方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210334605.9A CN114911589A (zh) 2022-03-31 2022-03-31 跨数据平台的融合计算方法、系统、终端及存储介质

Publications (1)

Publication Number Publication Date
CN114911589A true CN114911589A (zh) 2022-08-16

Family

ID=82762437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210334605.9A Pending CN114911589A (zh) 2022-03-31 2022-03-31 跨数据平台的融合计算方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN114911589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061135A1 (zh) * 2022-09-22 2024-03-28 摩尔线程智能科技(北京)有限责任公司 处理多个任务的方法、处理设备以及异构计算系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061135A1 (zh) * 2022-09-22 2024-03-28 摩尔线程智能科技(北京)有限责任公司 处理多个任务的方法、处理设备以及异构计算系统

Similar Documents

Publication Publication Date Title
CN112800095B (zh) 一种数据处理方法、装置、设备及存储介质
CN112035344A (zh) 多场景测试方法、装置、设备和计算机可读存储介质
CN111381940B (zh) 分布式数据处理方法及装置
CN114911589A (zh) 跨数据平台的融合计算方法、系统、终端及存储介质
CN108564345B (zh) 保险平台数据处理方法、电子装置及计算机可读存储介质
CN112003930A (zh) 任务分配方法、装置、设备及存储介质
CN111736993A (zh) 一种集群高可用服务配置方法、系统、终端及存储介质
CN112003730A (zh) 一种集群快速部署的方法、系统、终端及存储介质
CN111767126A (zh) 分布式批量处理的系统和方法
CN110609707B (zh) 在线数据处理系统生成方法、装置及设备
CN113220368B (zh) 一种存储客户端资源隔离方法、系统、终端及存储介质
CN115496470A (zh) 全链路配置化数据处理方法、装置和电子设备
CN111752677B (zh) 一种云资源配置方法、系统、终端及存储介质
CN108390924A (zh) 订单执行方法及装置
CN109510682B (zh) 一种池化服务器系统bmc时钟同步方法、装置、终端及存储介质
CN113691403A (zh) 拓扑节点配置方法、相关装置及计算机程序产品
CN112416488A (zh) 一种用户画像实现的方法、装置、计算机设备及计算机可读存储介质
CN111124854A (zh) 一种冒烟测试用例分配方法、系统、终端及存储介质
CN111491039A (zh) 一种分布式文件系统ip分配方法、系统、终端及存储介质
CN105138406A (zh) 一种任务处理方法、装置及系统
CN111061562B (zh) 一种软件协同打包方法、系统、终端及存储介质
CN111770209A (zh) 一种虚拟ip重分配方法、终端及存储介质
CN114968714A (zh) 基于链表的节点数据整合方法、系统、终端及存储介质
CN115080447A (zh) 软件兼容性评估方法、系统、终端及存储介质
CN111475781A (zh) 一种用户权限资源管控方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination