CN114625757B - 基于领域特定语言的任务执行方法及装置、介质、设备 - Google Patents

基于领域特定语言的任务执行方法及装置、介质、设备 Download PDF

Info

Publication number
CN114625757B
CN114625757B CN202210322886.6A CN202210322886A CN114625757B CN 114625757 B CN114625757 B CN 114625757B CN 202210322886 A CN202210322886 A CN 202210322886A CN 114625757 B CN114625757 B CN 114625757B
Authority
CN
China
Prior art keywords
sub
processing logic
attribute
execution
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210322886.6A
Other languages
English (en)
Other versions
CN114625757A (zh
Inventor
陈雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yidu Cloud Beijing Technology Co Ltd
Original Assignee
Yidu Cloud Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yidu Cloud Beijing Technology Co Ltd filed Critical Yidu Cloud Beijing Technology Co Ltd
Priority to CN202210322886.6A priority Critical patent/CN114625757B/zh
Publication of CN114625757A publication Critical patent/CN114625757A/zh
Application granted granted Critical
Publication of CN114625757B publication Critical patent/CN114625757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2448—Query languages for particular applications; for extensibility, e.g. user defined types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24535—Query rewriting; Transformation of sub-queries or views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24542—Plan optimisation
    • G06F16/24544—Join order optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种基于领域特定语言的任务执行方法及装置、介质、设备，涉及计算机技术领域，该方法包括：获取基于待执行任务；对当前数据处理逻辑进行分析，得到当前数据处理逻辑中所包括的子数据表的表名称，以及与子数据表对应的子处理逻辑；对源数据表中与表名称对应的子数据表进行注册，得到与子处理逻辑对应的临时注册表，并对子处理逻辑的执行依赖关系进行分析，得到子处理逻辑的执行顺序；根据执行顺序将子处理逻辑依次转换为子结构化查询语言，并基于与子处理逻辑对应的临时注册表，执行子结构化查询语言，得到与子处理逻辑对应的子数据集。该方法提高了任务执行效率。

Description

基于领域特定语言的任务执行方法及装置、介质、设备
技术领域
本公开实施例涉及计算机技术领域，具体而言，涉及一种基于领域特定语言的任务执行方法、基于领域特定语言的任务执行装置、计算机可读存储介质以及电子设备。
背景技术
随着计算机技术在各行各业生产实践中不断广泛和深入的使用，产生了各类巨量数据集，这些大数据已经难以在单个计算机上以可接受的时间尺度进行收集、使用、管理和处理。为了解决这一技术问题，现有技术通过将数据存储、数据分析和计算构建在多个计算和存储单元，形成分布式集群，并使用分布式计算技术实现数据的计算和分析。
在对数据的计算和分析过程中，可以基于内存计算的分布式计算框架来实现；具体的，可以通过Spark SQL(Structured Query Language，结构化查询语言)描述来源表数据以何种逻辑构成目标数据，再将SQL交由Spark执行，进而实现数据的计算和分析。
但是，上述方案存在如下缺陷：由于某些特定数据处理逻辑的SQL非常复杂，无法快速的根据数据处理逻辑的SQL对各子处理逻辑的依赖关系进行分析，进而使得任务的执行效率较低。
因此，需要提供一种新的一种基于领域特定语言的任务执行方法。
需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于领域特定语言的任务执行方法、基于领域特定语言的任务执行装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的任务执行效率较低的问题。
根据本公开的一个方面，提供一种基于领域特定语言的任务执行方法，包括：
获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到与所述子处理逻辑对应的子数据集。
在本公开的一种示例性实施例中，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序，包括：
根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
其中，所述属性信息包括：去重属性、来源关联表属性、行转列属性、过滤属性、字段分组属性、投影属性、集合属性、缓存属性以及输出属性中的多种。
在本公开的一种示例性实施例中，根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源；
根据所述子处理逻辑的来源，确定所述子处理逻辑间的方向，并根据所述子处理逻辑间的方向，生成由所述子处理逻辑构成的有向无环图；
根据所述有向无环图，得到所述子处理逻辑的执行顺序。
在本公开的一种示例性实施例中，根据所述有向无环图，得到所述子处理逻辑的执行顺序，包括：
确定所述有向无环图中只有出度的节点作为起始节点，并根据所述有向无环图的方向，确定与所述起始节点对应的中间节点以及终止节点；
基于所述起始节点、中间节点以及终止节点，得到所述子处理逻辑的执行顺序；
其中，当所述中间节点和/或所述终止节点的入度大于第一预设阈值时，所有与入度对应的其他中间节点的执行顺序的优先级大于与出度对应的其他中间节点的执行顺序的优先级。
在本公开的一种示例性实施例中，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性，确定与所述子处理逻辑对应的第一主表以及第一关联表；和/或
根据所述集合属性确定与所述子处理逻辑关联的其他子处理逻辑；
根据所述第一主表、第一关联表和/或其他处理逻辑，确定所述子处理逻辑的来源。
在本公开的一种示例性实施例中，根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，包括：
根据所述执行顺序依次读取所述子处理逻辑，并根据所述子处理逻辑的属性信息，将所述子处理逻辑依次转换为子结构化查询语言。
在本公开的一种示例性实施例中，所述基于领域特定语言的任务执行方法还包括：
在确定所述子处理逻辑的缓存属性的属性值为第二预设数值时，对与所述子处理逻辑对应的子数据集进行缓存。
根据本公开的一个方面，提供一种基于领域特定语言的任务执行装置，包括：
任务获取模块，用于获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
第一分析模块，用于对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
依赖关系分析模块，用于对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
任务执行模块，用于根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到执行结果。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于领域特定语言的任务执行方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于领域特定语言的任务执行方法。
本公开实施例提供的一种基于领域特定语言的任务执行方法，一方面，由于待执行任务是基于领域特定语言生成的，在领域特定语言的规则下，可以将该待执行任务中包括的当前数据处理逻辑由复杂的结构化查询语言拆分为多个简单的结构化查询语言单元，从而可以基于各子处理逻辑的依赖关系进行分析，进而可以解决现有技术中由于数据处理逻辑的SQL非常复杂，无法快速的根据数据处理逻辑的SQL对各子处理逻辑的依赖关系进行分析，进而使得任务的执行效率较低的问题，提高了待执行任务的任务执行效率；另一方面，通过根据执行顺序将子处理逻辑依次转换为子结构化查询语言，并基于与子处理逻辑对应的临时注册表，执行子结构化查询语言，得到与子处理逻辑对应的子数据集，也即，通过将领域特定语言转换为Spark可以执行的结构化查询语言，进而可以利用Spark的数据缓存特性和结构化查询语言引擎的优化，提升结构化查询语言的执行效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出根据本公开示例实施例的一种基于领域特定语言的任务执行方法的流程图。
图2示意性示出根据本公开示例实施例的一种子处理逻辑构成的有向无环图的示例图。
图3示意性示出根据本公开示例实施例的一种根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序的方法流程图。
图4示意性示出示意性示出根据本公开示例实施例的另一种基于领域特定语言的任务执行方法的流程图。
图5示意性示出根据本公开示例实施例的一种源数据表的示例图。
图6示意性示出根据本公开示例实施例的一种输出数据表的示例图。
图7示意性示出根据本公开示例实施例的一种当前数据处理逻辑中包括的子处理逻辑为process_person的示例图。
图8示意性示出根据本公开示例实施例的一种当前数据处理逻辑中包括的子处理逻辑为process_detail的示例图。
图9示意性示出根据本公开示例实施例的一种当前数据处理逻辑中包括的子处理逻辑为process_record的示例图。
图10示意性示出根据本公开示例实施例的一种子处理逻辑之间的依赖关系的示例图。
图11示意性示出根据本公开示例实施例的一种基于领域特定语言的任务执行装置的框图。
图12示意性示出根据本公开示例实施例的一种用于实现上述基于领域特定语言的任务执行方法的电子设备。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在对数据的计算和分析过程中，可以基于内存计算的分布式计算框架来实现。具体的，可以包括如下两种方式：
一种是，使用Spark SQL描述来源表数据以何种逻辑构成目标数据，将SQL交由Spark执行；另一种是，使用Java、Scala或Python编写Spark任务，将代码交由Spark执行。
但是，在第一种方法中，限于SQL的表达能力，当数据处理逻辑的SQL复杂到一定程度时理解难度会徒增(例如，在医疗数据生产领域，由于医疗数据结构复杂的特点，因此数据处理逻辑的SQL非常复杂)；另外子查询数据不可复用，大量相同子查询影响数据的执行效率；在第二种方法中，编写程序首先提升了技术门槛，其次任务执行效率依赖个人对Spark计算框架的理解水平，再次代码逻辑不便于在多个用户之间流转，最后同一个Spark任务逻辑不便拆分，由不同用户实现各局部逻辑、缩短开发时间，目前的基于DSL生成SQL语句方法均无法实现非常复杂依赖关系的SQL生成。
基于此，本示例实施方式中首先提供了一种基于领域特定语言的任务执行方法，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该基于领域特定语言的任务执行方法可以包括以下步骤：
步骤S110.获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
步骤S120.对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
步骤S130.对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
步骤S140.根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到与所述子处理逻辑对应的子数据集。
上述基于领域特定语言的任务执行方法中，一方面，由于待执行任务是基于领域特定语言生成的，在领域特定语言的规则下，可以将该待执行任务中包括的当前数据处理逻辑由复杂的结构化查询语言拆分为多个简单的结构化查询语言单元，从而可以基于各子处理逻辑的依赖关系进行分析，进而可以解决现有技术中由于数据处理逻辑的SQL非常复杂，无法快速的根据数据处理逻辑的SQL对各子处理逻辑的依赖关系进行分析，进而使得任务的执行效率较低的问题，提高了待执行任务的任务执行效率；另一方面，通过根据执行顺序将子处理逻辑依次转换为子结构化查询语言，并基于与子处理逻辑对应的临时注册表，执行子结构化查询语言，得到与子处理逻辑对应的子数据集，也即，通过将领域特定语言转换为Spark可以执行的结构化查询语言，进而可以利用Spark的数据缓存特性和结构化查询语言引擎的优化，提升结构化查询语言的执行效率。
以下，将结合附图对本公开示例实施例基于领域特定语言的任务执行方法进行详细的解释以及说明。
首先，对本公开示例实施例中所涉及到的名词进行解释。
DSL，Domain Specific Language，领域特定语言，是指专注于某个应用领域的计算机语言。
Spark，是指Apache Spark，是专为大规模数据处理而设计的快速通用计算引擎。
执行框架，指用于完成一类计算任务的计算机程序，其实际执行内容取决于输入的指令和配置。
DAG，Directed Acyclic Graph，中文为有向无环图，指不存在回路的有向图，图中的节点可以通过有方向的线进行连接。
其次，对本公开示例实施例的发明目的以及应用场景进行解释以及说明。具体的，随着计算机技术在各行各业生产实践中不断广泛和深入的使用，产生了各类巨量数据集，这些巨量数据集的数据来源、数据格式、数据内容等均大相径庭，为了可以快速的从这些巨量数据集中抽取所需要的数据表，并根据各数据表构建所需要的数据集，需要从原始数据表中抽取目标数据表，并根据各原始数据表、目标数据表之间的逻辑关系进行计算，进而得到最终的计算结果，以便于用户根据计算结果进行相应的数据分析。例如，在病例分析场景下，医护人员需要从多个不同的数据系统(例如医院信息系统、影像信息系统、医患会话系统等)中抽取与该患者对应的医疗信息，并执行相应的计算，最终根据得到的计算结果对患者的病情进行分析等等。
基于上述场景，本公开示例实施例提供了一种基于领域特定语言的任务执行方法，其通过将数据生产门槛由需要代码能力降为只需SQL能力，并将复杂逻辑原本对应的复杂SQL，在DSL规则下变为拆分的多个简单SQL处理单元，便于书写和理解，同时还可以将DSL转化为Spark可执行的SQL，利用Spark的数据缓存特性和SQL引擎的优化提升处理效率。
在本公开示例实施例所提供的基于领域特定语言的任务执行方法中：
在步骤S110中，获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表。
具体的，首先，对基于领域特定语言生成的待执行任务进行解释以及说明。具体的，该基于领域特定语言(DSL)生成的待执行任务，其符合json语法；其中，该待执行任务中可以包括三个关键字：源数据表(sources)、当前数据处理逻辑(processes)以及输出数据表(sinks)；每一个当前数据处理逻辑(processes)可以包括若干子数据表以及与各子数据表对应的子处理逻辑(process)。
进一步的，每个子数据表的key是对各自process处理(子处理逻辑)的描述，由下划线、字母和数字构成，相当于子数据表的表名；每一个子处理逻辑下，包含有该子处理逻辑所具有的属性信息，该属性信息可以包括：distinct，用于表示是否对数据进行去重；from，用于表示子处理逻辑的来源表或者关联来源表；lateral_view行转列；where，过滤；group_by，按照哪个字段进行分组；map，投影，相当于SQL中的select；union，对数据表求并集后去重；union_all，对数据表求并集后不去重；cache，是否缓存；sink_to，用于表示该子处理逻辑是否进行输出；在具体的对各属性信息的第一属性值的设置过程中，from和map必填，其他选用。
更进一步的，各第一属性值的设置规则可以如下所示：distinct：固定值1；from：包含符合sql语法的主表语句和关联表语句的数组，其中主表和关联表来可自于sources中定义数据源的表，或者其他process的key(相当于引用已有表)，主表和关联表需带表别名；lateral_view：符合sql语法的lateral view语句；where：符合sql语法的where语句；group_by：包含分组字段的数组；map：由key和符合sql语法的select语句组成，key表示process产出数据集的一个字段，值表示该字段数据的处理逻辑；union/union_all：包含来自数据源的表名或者其他process的key的数组；cache：固定值1，表示当前process对应的数据集缓存下来，供后续多个process使用；sink_to：定义在数据输出中的sink名称；在lateral_view、where、map中符合sql语法语句中出现的字段名须带上表别名；processes中，一个process可以通过from、union/union_all来引用其他process，这种引用建立起process间的输入输出，其数量、规模、引用深度不受规则限制，在处理逻辑上形成有前后依赖关系的由process构成的有向无环图，该有向无环图具体可以参考图2所示。
在步骤S120中，对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑。
具体的，可以将基于领域特定语言生成的待执行任务(DSL文本)传入执行框架，然后再基于该执行框架执行待执行任务中的当前数据处理逻辑(processes)，得到processes中包括的子数据表的表名称(key)以及与该子数据表对应的子处理逻辑(process)。
在步骤S130中，对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序。
在本示例实施例中，首先，基于执行框架对待执行任务(DSL文本)中的源数据表中与表名称对应的子数据表进行注册，得到与子处理逻辑对应的临时注册表；当然，也可以对源数据表中包括所有子数据表进行注册，得到多个source临时表，进而可以从各source临时表中挑取上述临时注册表，本示例对此不做特殊限制。
其次，对子处理逻辑的执行依赖关系进行分析，得到子处理逻辑的执行顺序。具体的，可以通过如下方式实现：根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；其中，所述属性信息包括：去重属性(distinct)、来源关联表属性(from)、行转列属性(lateral_view)、过滤属性(where)、字段分组属性(group_by)、投影属性(map)、集合属性(union或者union_all)、缓存属性(cache)以及输出属性(sink_to)。
进一步的，根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序。具体的，参考图3所示，可以包括以下步骤：
步骤S310，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源；
具体的，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源，可以包括：首先，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性，确定与所述子处理逻辑对应的第一主表以及第一关联表；和/或根据所述集合属性确定与所述子处理逻辑关联的其他子处理逻辑；其次，根据所述第一主表、第一关联表和/或其他处理逻辑，确定所述子处理逻辑的来源。
步骤S320，根据所述子处理逻辑的来源，确定所述子处理逻辑间的方向，并根据所述子处理逻辑间的方向，生成由所述子处理逻辑构成的有向无环图；
步骤S330，根据所述有向无环图，得到所述子处理逻辑的执行顺序。
具体的，根据所述有向无环图，得到所述子处理逻辑的执行顺序，可以包括：首先，确定所述有向无环图中只有出度的节点作为起始节点，并根据所述有向无环图的方向，确定与所述起始节点对应的中间节点以及终止节点；其次，基于所述起始节点、中间节点以及终止节点，得到所述子处理逻辑的执行顺序；其中，当所述中间节点和/或所述终止节点的入度大于第一预设阈值时，所有与入度对应的其他中间节点的执行顺序的优先级大于与出度对应的其他中间节点的执行顺序的优先级。
以下，将对步骤S310-步骤S330进行解释以及说明。首先，分析子处理逻辑process中的来源关联表属性from中使用的第一主表和第一关联表，对第一主表和第一关联表是子处理逻辑process的，认为是当前process(子处理逻辑)的来源；然后，将子处理逻辑process中的集合属性union/union_all使用的其他子处理逻辑process，认为是当前process(子处理逻辑)的来源；进一步的，对所有的子处理逻辑的来源分析完成后，可以得到所有子处理逻辑process间的方向，形成由子处理逻辑构成的有向无环图；最后，可以根据该有向无环图，确定子处理逻辑process的执行顺序；具体的，可以从DAG只有出度的若干节点开始，按照方向依次执行；对于大于一个入度的节点，待其所有来向节点都执行后再执行。
例如，参考图2所示，起始节点可以为process 1、process 4，中间节点可以包括process 2、process 3、process 5、process 6，终止节点可以包括process 7；其中，具体的执行顺序可以包括process 1、process 4、process 2、process 3、process 5、process 6、process 7；并且，需要在prcess1以及process 4均执行完成后，才能执行process 3。
在步骤S140中，根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到与所述子处理逻辑对应的子数据集。
在本示例实施例中，首先，根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言。具体的，可以包括：根据所述执行顺序依次读取所述子处理逻辑，并根据所述子处理逻辑的属性信息，将所述子处理逻辑依次转换为子结构化查询语言。按顺序取各process(process 1、process 4、process 2、process 3、process 5、process 6、process7)，依照其中的属性信息key转化为Spark SQL语句，然后再提交Spark执行，获得子数据集。
此处需要补充说明的是，对于已执行的子处理逻辑process的子数据集，可以将其注册为临时表，作为后续未执行的子处理逻辑process执行的表依赖；其中，根据子数据集注册的临时表相当于视图，未包含实际数据，在逻辑上用于后续SQL的执行。
进一步的，该基于领域特定语言的任务执行方法还包括：在确定所述子处理逻辑的缓存属性的属性值为第二预设数值时，对与所述子处理逻辑对应的子数据集进行缓存。也即，若子处理逻辑process中配置了cache的属性值为1，则在Spark中标记该子处理逻辑process的子数据集在内存中缓存，相当于物化视图，能够直接用于后续SQL的执行，避免后续多个依赖对该process的多次重复计算；进一步的，若子处理逻辑process中配置了sink_to，则将该子处理逻辑process输出落盘。
以下，将结合图4对本示例实施例基于领域特定语言的任务执行方法进行进一步的解释以及说明。具体的，参考图4所示，该基于领域特定语言的任务执行方法可以包括以下步骤：
步骤S401，分析DSL中各process的执行依赖关系，确定执行顺序；
步骤S402，按顺序取各process，依照其中的key转化为Spark SQL语句，提交Spark执行，获得数据集；
步骤S403，已执行的process数据集注册为临时表，作为后续process执行的表依赖；注册的临时表相当于视图，未包含实际数据，在逻辑上用于后续SQL的执行；
步骤S404，若process中配置了cache，则在Spark中标记该process的数据集在内存中缓存，相当于物化视图，能够直接用于后续SQL的执行，避免后续多个依赖对该process的多次重复计算；
步骤S405，若process中配置了sink_to，则将该process输出落盘。
以下，结合图5-图9对本公开示例实施例的基于领域特定语言的任务执行方法进行进一步的解释以及说明。具体的，如图5所示，例如，某个待执行任务的源数据表包括："sources":"source_1"，"type":"hive"，"database":"db1"，参考图6所示，该待执行任务的输出数据表包括："sinks":"sink_1":"type":"hive"，"database":"db2"，"table":"person_detial"，"type":"hive"，"database":"db2"，"table":"person_record"；
进一步的，参考图7所示，该待执行任务的当前数据处理逻辑"processes"中包括的子处理逻辑为："process_person"："from":[source_1_person_info a"]，"map":{"id":"a.id"，"no":"concat(a.no,'_',a.name)"，"name":"a.name"，"cache":1；参考图8所示，该待执行任务的当前数据处理逻辑"processes"中包括的子处理逻辑为："process_detail"："from":["source_1_detial a","left join process_person b on a.index＝b.no"]，"map":"person_id":"b.id"，"detail_content":"a.content"，"time":"a.submit_time"，"sink_to":"sink_1"；参考图9所示，该待执行任务的当前数据处理逻辑"processes"中包括的子处理逻辑为："process_record"："from":["source_1_record a","left join process_person b on a.person_id＝b.id"]，"map"："name":"b.name","info":"a.info","time":"a.record_time"；"sink_to":"sink_2"。
进一步的，分析processes得到process_person中使用了source_1_person_info、process_detail中使用了source_1_detial、process_record中使用了source_1_record，从而知道从source_1中使用了表person_info、detial、record，根据sources中source_1的定义，注册source临时表db1.person_info为source_1_person_info、db1.detial为source_1_detial、db1.record为source_1_record。分析processes中各from，得知process_detail和process_record中使用了process_person，从而确定得到的依赖关系可以参考图10所示。
基于上述记载的内容可以得知，本公开示例实施例所提供的基于领域特定语言的任务执行方法，通过将处理逻辑通过DSL拆解为多个process过程，达到会SQL就能实现复杂逻辑设计的目标，降低技术门槛；同时，可自主使用cache实现数据集的缓存，减少数据重复计算；并且，便于多人协作，分工实现DSL各子逻辑。
本公开示例实施例还提供了一种基于领域特定语言的任务执行装置。参考图11所示，该基于领域特定语言的任务执行装置可以包括：任务获取模块1110、第一分析模块1120、依赖分析模块1130以及任务执行模块1140。其中：
任务获取模块1110，可以用于获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
第一分析模块1120，可以用于对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
依赖关系分析模块1130，可以用于对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
任务执行模块1140，可以用于根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到执行结果。
在本公开的一种示例性实施例中，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序，包括：
根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
其中，所述属性信息包括：去重属性、来源关联表属性、行转列属性、过滤属性、字段分组属性、投影属性、集合属性、缓存属性以及输出属性中的多种。
在本公开的一种示例性实施例中，根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源；
根据所述子处理逻辑的来源，确定所述子处理逻辑间的方向，并根据所述子处理逻辑间的方向，生成由所述子处理逻辑构成的有向无环图；
根据所述有向无环图，得到所述子处理逻辑的执行顺序。
在本公开的一种示例性实施例中，根据所述有向无环图，得到所述子处理逻辑的执行顺序，包括：
确定所述有向无环图中只有出度的节点作为起始节点，并根据所述有向无环图的方向，确定与所述起始节点对应的中间节点以及终止节点；
基于所述起始节点、中间节点以及终止节点，得到所述子处理逻辑的执行顺序；
其中，当所述中间节点和/或所述终止节点的入度大于第一预设阈值时，所有与入度对应的其他中间节点的执行顺序的优先级大于与出度对应的其他中间节点的执行顺序的优先级。
在本公开的一种示例性实施例中，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性，确定与所述子处理逻辑对应的第一主表以及第一关联表；和/或
根据所述集合属性确定与所述子处理逻辑关联的其他子处理逻辑；
根据所述第一主表、第一关联表和/或其他处理逻辑，确定所述子处理逻辑的来源。
在本公开的一种示例性实施例中，根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，包括：
根据所述执行顺序依次读取所述子处理逻辑，并根据所述子处理逻辑的属性信息，将所述子处理逻辑依次转换为子结构化查询语言。
在本公开的一种示例性实施例中，所述基于领域特定语言的任务执行装置还包括：
数据集缓存模块，可以用于在确定所述子处理逻辑的缓存属性的属性值为第二预设数值时，对与所述子处理逻辑对应的子数据集进行缓存。
上述基于领域特定语言的任务执行装置中各模块的具体细节已经在对应的基于领域特定语言的任务执行方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本公开的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230以及显示单元1240。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1210可以执行如图1中所示的步骤S110：获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；步骤S120：对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；步骤S130：对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；步骤S140：根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到与所述子处理逻辑对应的子数据集。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种基于领域特定语言的任务执行方法，其特征在于，包括：
获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到与所述子处理逻辑对应的子数据集。
2.根据权利要求1所述的基于领域特定语言的任务执行方法，其特征在于，所述属性信息包括：去重属性、来源关联表属性、行转列属性、过滤属性、字段分组属性、投影属性、集合属性、缓存属性以及输出属性中的多种。
3.根据权利要求2所述的基于领域特定语言的任务执行方法，其特征在于，根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源；
根据所述子处理逻辑的来源，确定所述子处理逻辑间的方向，并根据所述子处理逻辑间的方向，生成由所述子处理逻辑构成的有向无环图；
根据所述有向无环图，得到所述子处理逻辑的执行顺序。
4.根据权利要求3所述的基于领域特定语言的任务执行方法，其特征在于，根据所述有向无环图，得到所述子处理逻辑的执行顺序，包括：
确定所述有向无环图中只有出度的节点作为起始节点，并根据所述有向无环图的方向，确定与所述起始节点对应的中间节点以及终止节点；
基于所述起始节点、中间节点以及终止节点，得到所述子处理逻辑的执行顺序；
其中，当所述中间节点和/或所述终止节点的入度大于第一预设阈值时，所有与入度对应的其他中间节点的执行顺序的优先级大于与出度对应的其他中间节点的执行顺序的优先级。
5.根据权利要求3所述的基于领域特定语言的任务执行方法，其特征在于，根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性和/或集合属性，确定所述子处理逻辑的来源，包括：
根据所述子处理逻辑所具有的属性信息中包括的来源关联表属性，确定与所述子处理逻辑对应的第一主表以及第一关联表；和/或
根据所述集合属性确定与所述子处理逻辑关联的其他子处理逻辑；
根据所述第一主表、第一关联表和/或其他处理逻辑，确定所述子处理逻辑的来源。
6.根据权利要求2所述的基于领域特定语言的任务执行方法，其特征在于，根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，包括：
根据所述执行顺序依次读取所述子处理逻辑，并根据所述子处理逻辑的属性信息，将所述子处理逻辑依次转换为子结构化查询语言。
7.根据权利要求2所述的基于领域特定语言的任务执行方法，其特征在于，所述基于领域特定语言的任务执行方法还包括：
在确定所述子处理逻辑的缓存属性的属性值为第二预设数值时，对与所述子处理逻辑对应的子数据集进行缓存。
8.一种基于领域特定语言的任务执行装置，其特征在于，包括：
任务获取模块，用于获取基于领域特定语言生成的待执行任务，其中，所述待执行任务中包括源数据表、当前数据处理逻辑以及输出数据表；
第一分析模块，用于对所述当前数据处理逻辑进行分析，得到所述当前数据处理逻辑中所包括的子数据表的表名称，以及与所述子数据表对应的子处理逻辑；
依赖关系分析模块，用于对所述源数据表中与所述表名称对应的子数据表进行注册，得到与所述子处理逻辑对应的临时注册表，并根据所述子处理逻辑所具有的属性信息，对所述子处理逻辑的执行依赖关系进行分析，得到所述子处理逻辑的执行顺序；
任务执行模块，用于根据所述执行顺序将所述子处理逻辑依次转换为子结构化查询语言，并基于与所述子处理逻辑对应的临时注册表，执行所述子结构化查询语言，得到执行结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的基于领域特定语言的任务执行方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的基于领域特定语言的任务执行方法。
CN202210322886.6A 2022-03-29 2022-03-29 基于领域特定语言的任务执行方法及装置、介质、设备 Active CN114625757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210322886.6A CN114625757B (zh) 2022-03-29 2022-03-29 基于领域特定语言的任务执行方法及装置、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210322886.6A CN114625757B (zh) 2022-03-29 2022-03-29 基于领域特定语言的任务执行方法及装置、介质、设备

Publications (2)

Publication Number Publication Date
CN114625757A CN114625757A (zh) 2022-06-14
CN114625757B true CN114625757B (zh) 2023-03-24

Family

ID=81904466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210322886.6A Active CN114625757B (zh) 2022-03-29 2022-03-29 基于领域特定语言的任务执行方法及装置、介质、设备

Country Status (1)

Country Link
CN (1) CN114625757B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200512602A (en) * 2003-09-19 2005-04-01 Hon Hai Prec Ind Co Ltd Method and system of fuzzy searching
CN108984547A (zh) * 2017-05-31 2018-12-11 北京京东尚科信息技术有限公司 数据处理的方法和装置
CN112685154A (zh) * 2020-12-25 2021-04-20 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
CN113297212A (zh) * 2021-04-28 2021-08-24 上海淇玥信息技术有限公司 一种基于物化视图的Spark查询方法、装置及电子设备
CN113392123A (zh) * 2021-06-10 2021-09-14 中国光大银行股份有限公司 一种sql语句处理方法及装置

Also Published As

Publication number Publication date
CN114625757A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109491989B (zh) 数据处理方法及装置、电子设备、存储介质
CN107391677B (zh) 携带实体关系属性的中文通用知识图谱的生成方法及装置
CN109582691B (zh) 用于控制数据查询的方法和装置
US11023500B2 (en) Systems and methods for code parsing and lineage detection
CN107515887B (zh) 一种适用于多种大数据管理系统的交互式查询方法
CN109524070B (zh) 数据处理方法及装置、电子设备、存储介质
CN109947791B (zh) 一种数据库语句优化方法、装置、设备及存储介质
CN109637602B (zh) 医疗数据存储和查询方法、装置、存储介质及电子设备
CN112560100B (zh) 数据脱敏方法及装置、计算机可读存储介质、电子设备
CN111159220B (zh) 用于输出结构化查询语句的方法和装置
CN110688544A (zh) 一种查询数据库的方法、设备及存储介质
CN111078729A (zh) 医疗数据溯源方法、装置、系统、存储介质以及电子设备
CN111061739A (zh) 海量医疗数据的入库方法及装置、电子设备、存储介质
CN114281968A (zh) 一种模型训练及语料生成方法、装置、设备和存储介质
CN112582073B (zh) 医疗信息获取方法、装置、电子设备和介质
CN108932225B (zh) 用于将自然语言需求转换成为语义建模语言语句的方法和系统
CN112988163B (zh) 编程语言智能适配方法、装置、电子设备和介质
CN114064923A (zh) 数据处理方法、装置、电子设备和存储介质
CN112182637A (zh) 一种安全控制系统、方法、装置及存储介质
US10223086B2 (en) Systems and methods for code parsing and lineage detection
CN112818072A (zh) 旅游知识图谱更新方法、系统、设备及存储介质
CN114625757B (zh) 基于领域特定语言的任务执行方法及装置、介质、设备
US11443106B2 (en) Intelligent normalization and de-normalization of tables for multiple processing scenarios
CN115222058A (zh) 调控系统运行状态分析模型构建方法及装置、介质及设备
CN113806556A (zh) 基于电网数据的知识图谱的构建方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant