CN110377621B - 一种基于计算引擎的界面处理方法及装置 - Google Patents
一种基于计算引擎的界面处理方法及装置 Download PDFInfo
- Publication number
- CN110377621B CN110377621B CN201910645736.7A CN201910645736A CN110377621B CN 110377621 B CN110377621 B CN 110377621B CN 201910645736 A CN201910645736 A CN 201910645736A CN 110377621 B CN110377621 B CN 110377621B
- Authority
- CN
- China
- Prior art keywords
- result set
- format
- task
- processing
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000004364 calculation method Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 18
- 238000011161 development Methods 0.000 abstract description 8
- 238000012800 visualization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000012634 fragment Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24539—Query rewriting; Transformation using cached or materialised query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于计算引擎的界面处理方法及装置，其中，方法包括：接收客户端发送的显示请求，根据显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集，生成记录有第一格式的结果集的第一任务，将第一任务提交至计算引擎，接收计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型，将元数据模型发送给客户端，以使客户端以可视化界面显示。该技术方案用以提高结果集的可读性，方便操作人员的后续开发。
Description
技术领域
本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种基于计算引擎的界面处理方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术(例如：区块链、云计算或大数据)应用在金融领域，传统金融业正在逐步向金融科技转变，大数据技术也不例外，但由于金融、支付行业的安全性、实时性要求，也对大数据技术提出的更高的要求。
Apache Spark提供的两种基于命令行的处理交互方式虽然足够灵活，但在金融企业应用中面临诸如部署、安全等问题。为解决上述问题，现有技术中引入Livy，Livy是一个基于Spark的开源REST服务，可以通过代码片段向Spark提交任务，并同步或者异步地获取任务执行的结果集，以及对Spark contex进行管理，从而简化了Spark与一些应用程序的交互，并实现Spark被运用到一些web应用上。
但现有技术中，Livy将任务执行的结果集直接返回至操作界面，可读性差，且不利于后续工作人员的开发。
发明内容
本发明实施例提供一种基于计算引擎的界面处理方法及装置，用以提高结果集的可读性，方便操作人员的后续开发。
本发明实施例提供的一种基于计算引擎的界面处理方法，包括：
接收客户端发送的显示请求；
根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集；所述结果集是各计算引擎处理历史任务时生成的；
生成记录有所述第一格式的结果集的第一任务，将所述第一任务提交至所述计算引擎；
接收所述计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型；
将所述元数据模型发送给所述客户端，以使所述客户端以可视化界面显示。
上述技术方案中，各计算引擎处理历史任务时生成的结果集存储在数据库中，任务执行器可以在接收到客户端发送的显示请求后，根据显示请求中结果集标识确定对应格式的结果集，并将该结果集对应的第一任务提交至计算引擎中，计算引擎根据结果集生成临时视图并返回临时视图的元数据，任务执行器进而根据临时视图的元数据生成元数据模型，并在客户端中以可视化界面的方式显示，数据的可读性强，且工作人员可以根据显示的界面执行下一步操作，有利于工作人员根据上一步的结果集数据进行下一步操作。进一步的，将各计算引擎处理历史任务时生成的结果集存储在数据库中，有利于中间数据或结果集的存储，在下一次提交任务时，无需提交包括上一步操作的任务，可以直接从数据库中调用结果集数据，提高计算引擎的运行效率。
可选的，在所述将所述元数据模型发送给所述客户端之后，还包括：
接收用户在所述可视化界面提交的处理请求；所述处理请求包括待操作的元数据及操作指令；
确定所述待操作的元数据对应的临时视图；
根据所述处理请求和所述待操作的元数据对应的临时视图，生成第二任务，所述第二任务与所述第一任务基于同一个上下文；
将所述第二任务提交至所述计算引擎；
接收所述计算引擎返回的处理结果，并将所述处理结果添加至所述元数据模型后发送给所述客户端。
上述技术方案中，任务执行器不仅可以将之前存储在数据库中的结果集的数据在客户端进行可视化显示，还可以针对该结果集生成第二任务，并将该第二任务提交至计算引擎进行下一步操作后，并将操作后生成的结果集显示在客户端界面，工作人员可以结合客户端的可视化界面进行开发操作，结果集数据的可读性强，且提高工作人员的开发效率。
可选的，所述根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集，包括：
根据所述显示请求中结果集标识，确定第二格式的结果集的存储路径；所述第二格式的结果集是将各计算引擎处理历史任务时生成的结果集转换为统一格式的结果集；
根据所述存储路径，从数据库中确定出所述第二格式的结果集；
根据所述显示请求中所述计算引擎的标识，将所述第二格式的结果集转换成所述第一格式的结果集。
可选的，所述将计算引擎处理历史任务时生成的结果集转换为统一格式的结果集，包括：
接收所述计算引擎处理历史任务时生成的第三格式的结果集；
根据所述第三格式的结果集，确定所述第三格式的结果集的格式化类；
根据所述第三格式的结果集的格式化类，将所述第三格式的结果集转换为所述第二格式的结果集。
上述技术方案中，将各计算引擎处理历史任务时生成的结果集转换为统一格式的结果集存储在数据库中，方便采用其它计算引擎对存储在数据库中的结果集进行操作时，读取该统一格式的结果集并将统一格式的结果集转换成对应计算引擎的格式。
相应的，本发明实施例还提供了一种基于计算引擎的界面处理装置，包括：
收发单元，用于接收客户端发送的显示请求；
处理单元，用于根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集；所述结果集是各计算引擎处理历史任务时生成的；
所述处理单元还用于，生成记录有所述第一格式的结果集的第一任务，将所述第一任务提交至所述计算引擎；
所述收发单元还用于，接收所述计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型；以及将所述元数据模型发送给所述客户端，以使所述客户端以可视化界面显示。
可选的，所述处理单元还用于：
在所述将所述元数据模型发送给所述客户端之后，控制所述收发单元接收用户在所述可视化界面提交的处理请求；所述处理请求包括待操作的元数据及操作指令；
确定所述待操作的元数据对应的临时视图；
根据所述处理请求和所述待操作的元数据对应的临时视图，生成第二任务，所述第二任务与所述第一任务基于同一个上下文；
将所述第二任务提交至所述计算引擎；
控制所述收发单元接收所述计算引擎返回的处理结果，并将所述处理结果添加至所述元数据模型后发送给所述客户端。
可选的，所述处理单元具体用于：
根据所述显示请求中结果集标识，确定第二格式的结果集的存储路径；所述第二格式的结果集是将各计算引擎处理历史任务时生成的结果集转换为统一格式的结果集；
根据所述存储路径，从数据库中确定出所述第二格式的结果集；
根据所述显示请求中所述计算引擎的标识，将所述第二格式的结果集转换成所述第一格式的结果集。
可选的，所述处理单元具体用于：
接收所述计算引擎处理历史任务时生成的第三格式的结果集；
根据所述第三格式的结果集，确定所述第三格式的结果集的格式化类；
根据所述第三格式的结果集的格式化类，将所述第三格式的结果集转换为所述第二格式的结果集。
相应的，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于计算引擎的界面处理方法。
相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于计算引擎的界面处理方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种界面处理方法的流程示意图；
图3为本发明实施例提供的另一种界面处理方法的流程示意图；
图4为本发明实施例提供的一种界面处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例提供基于计算引擎的界面处理方法所适用的系统架构，该系统架构可以包括客户端100、执行控制器200、任务执行器300和计算引擎400。
其中，客户端100，作为用户编写开发语言的终端，提供编辑、执行、终止等基本交互界面，且向用户提供可视化的图表。
执行控制器200，作为服务端与客户端100直接交互，负责接收用户提交的代码与指令，维护用户的上下文状态与任务执行器的状态信息，并根据当前状态处理用户请求，使得用户提交的任务得到及时执行或向用户提供相关反馈信息。
任务执行器300用于将执行控制器200的任务提交至计算引擎400，并将计算引擎400的执行结果反馈。
计算引擎400可以是Spark、Hive和Hbase等。
基于上述描述，图2示例性的示出了本发明实施例提供的一种基于计算引擎的界面处理方法的流程，该流程可以由基于计算引擎的界面处理装置执行，该装置可以位于任务执行器中，可以是该任务执行器。
如图2所示，该流程具体包括：
步骤201，接收客户端发送的显示请求。
步骤202，根据显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集。
步骤203，生成记录有第一格式的结果集的第一任务，将第一任务提交至计算引擎。
步骤204，接收计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型。
步骤205，将元数据模型发送给客户端，以使客户端以可视化界面显示。
需要说明的是，结果集是各计算引擎处理历史任务时生成的，具体的，任务执行器将任务提交至计算引擎，计算引擎返回执行结果，该执行结果即计算引擎处理历史任务时生成的。进一步的，该执行结果可以理解为具有特定格式的结果集，该结果集的格式由计算引擎的类型确定，如，计算引擎是Spark，则Spark引擎返回的结果集格式是可以被Spark引擎处理的数据格式。
各计算引擎在处理历史任务时生成特定格式的结果集，将结果集返回至任务执行器，本发明实施例中，为方便将各计算引擎的结果集进行存储，任务执行器中记录有各计算引擎的结果集对应的格式化类，任务执行器在接收到计算引擎处理历史任务时生成的结果集后，会根据该结果集确定该结果集的格式化类，并根据该结果集的格式化类，将该结果集转换为统一格式。任务执行器与数据库连接，在将结果集转换为统一格式后，可以将该具有统一格式的结果集存储至数据库中。数据库可以是分布式数据库，可以为HDFS(HadoopDistributed File System，分布式文件系统)。
各计算引擎在处理历史任务时生成的结果集相当于第三格式的结果集，数据库中存储的统一格式的结果集相当于第二格式的结果集。上述实施例中，又可以理解为，任务执行器接收计算引擎处理历史任务时生成的第三格式的结果集；根据第三格式的结果集，确定第三格式的结果集的格式化类；根据第三格式的结果集的格式化类，将第三格式的结果集解析为第二格式的结果集。
一种具体的实现方式中，任务执行器中记录有所有开发语言对应的一个结果集格式化类。任务执行器根据用户提交的开发语言类型，找到该语言的结果集对应的格式化类，并根据该格式化类解析原始的结果集，并确定出该原始的结果集中的元数据信息和元数据的值，其中，元数据信息包括字段、字段类型、排序方式等。任务执行器将解析后的元数据信息转换成预设格式，如将结果集中python的numbe转换成double。将转换成预设格式的结果集存储至数据库中，以使得后续的数据读取。
在读取过程中，如步骤201和步骤202中，任务执行器接收客户端发送的显示请求，并根据显示请求中的结果集标识，确定用于计算引擎处理的第一格式的结果集。具体的，显示请求中记录有结果集标识，任务执行器可以根据显示请求中结果集标识，确定第二格式的结果集的存储路径，此处，第二格式即上述存储在数据库中的结果集的统一格式。任务执行器根据第二格式的结果集的存储路径，从数据库中确定出第二格式的结果集，并根据显示请求中计算引擎的标识，将第二格式的结果集转换成第一格式的结果集。也就是说，任务执行器在读取到统一格式的结果集后，会将该结果集在转化成用于计算引擎处理的格式的结果集。
示例性的，任务执行器接收客户端发送的显示请求，该显示请求用于指示根据结果集生成任务后提交给Spark执行，则任务执行器在确定出第二格式的结果集后，会将该第二格式的结果集转换成Spark格式的结果集后，生成Spark任务后提交。实际应用中，任务执行器可以根据第二格式的结果集的存储路径，从HDFS中读取第二格式的结果集，并将其在内存中以ResultSetReader对象进行展示。该对象持有第二格式的结果集的所有元数据信息和元数据的值。然后，任务执行器将第二格式的结果集的元数据信息(字段名称和字段类型)转换成为Spark支持的元数据类型(StructType)。其中，字段类型通过查询一个一对一的对应关系来实现转换，每个第二格式的字段类型均有对应的SparkDataType。字段名称直接沿用第二格式中的字段名称不变。任务执行器将第二格式的元数据的值转换成Spark的值类型(Row)，第二格式的结果集对象中，每一行数值都是一个数组，而Spark Row的构造函数接受值的数组作为参数，可以直接遍历结果集对象的所有行，将数组传递给Row的构造方法，获得相关的一系列Row对象。得到的StructType和Row对象，即为Spark格式的结果集。
上述技术方案中，任务执行器将各计算引擎处理历史任务时生成的结果集转换为统一格式的结果集存储在数据库中，方便采用其它计算引擎对存储在数据库中的结果集进行操作时，读取该统一格式的结果集并将统一格式的结果集转换成对应计算引擎的格式。例如，任务执行器将Spark格式的结果集按照统一格式存储在数据库中，随后可以读取该统一格式的结果集并转换成Hive格式的结果集，用于在Hive中计算。通过该方式可以实现将任务提交给Spark、Hive、Shell等执行环境。
在确定出用于计算引擎处理的格式的结果集(第一格式的结果集)后，任务执行器可以生成记录有第一格式的结果集的第一任务，并将该第一任务提交至计算引擎，计算引擎根据该第一任务在计算引擎中创建临时视图，并将临时视图中的元数据反馈至任务执行器，任务执行器根据元数据构建可视化的元数据模型，并将构建好的可视化的元数据模型发送至客户端，客户端进行可视化界面的显示。此处，临时视图中的元数据可以理解为上述元数据类型，包括字段类型、字段名称等。
本发明实施例中，计算引擎可以是Spark引擎，在任务执行器确定出Spark格式的结果集后，可以先判断当前Spark引擎中是否存在与第一任务对应的Spark context，若没有，则启动一个Spark context，若有，则直接将Spark格式的结果集传入Spark的createDataFrame方法，得到一个Dataframe后，调用Spark提供的createOrReplaceTempView方法，即可将创建临时视图的代码片段提交给Spark执行，从而完成在Spark context中创建临时视图。
进一步的，Spark引擎将临时视图中的元数据反馈至任务执行器，任务执行器创建元数据模型，并可以采用json格式进行存储。可选的，元数据模型中包含了所有的字段和字段类型信息(column和datatype的数组)，并能够用来承载后面定义的指标、维度和筛选条件等信息(也通过对象的数组来实现)。元数据模型会以json的方式返回给客户端进行解析，客户端可以将元数据模型拥有的字段都展现出来。
此外，在任务执行器将元数据模型发送给客户端之后，客户端显示元数据模型，用户可以在客户端的显示界面上执行运算操作，用户可以在可视化界面提交处理请求，客户端将用户提交的处理请求发送至任务执行器，该处理请求中可以包括待操作的元数据及操作指令，任务执行器根据处理请求从第一任务对应的上下文中确定待操作的元数据对应的临时视图，并根据处理请求和待操作的元数据对应的临时视图，生成第二任务，将第二任务提交至计算引擎；计算引擎根据第二任务执行运算操作，具体的，计算引擎从临时视图中确定元数据对应的值，并将数据对应的值执行上述操作指令得到处理结果，也就是得到第二任务对应的结果集。任务执行器接收计算引擎返回的处理结果，并将处理结果添加至元数据模型后发送给客户端。
一种具体的实现方式中，客户端界面可以提供可视化按钮，当任务执行器将计算引擎的结果集返回后，用户可以通过客户端界面确定结果集是否符合用户需求，并在确定符合需求后，通过可视化按钮将结果集提交给任务执行器，进一步的，任务执行器执行上述操作，将结果集对应的元数据模型显示在客户端界面上，客户端界面上可以根据元数据模型显示各种字段，并组成指标、维度和筛选条件等信息，用户可以在客户端上选择针对元数据的运算方式，比如要对某个字段做聚合运算，便将其拖入指标区域内，选择聚合运算的方式后保存。任务执行器可以根据元数据和运算方式，拼接成SQL(Structured QueryLanguage，结构化查询语言)代码片段，比如对A字段做求和，就转换成为sum(A)代码片段。任务执行器将SQL代码片段提交至计算引擎，计算引擎根据SQL代码片段生成处理结果，任务执行器将处理结果填入元数据模型发送至客户端，客户端根据用户选择的图表模式，将数据填充进图表后进行渲染，进行最终的可视化展示。
一种具体的实现方式中，可以设置可视化服务模块，该可视化服务模块可以设置在上述任务执行器中，以完成任务执行器的部分任务。可视化服务模块还可以设置在执行控制器中或者是一个独立的服务器，在此不做限制。基于可视化服务模块，可以如图3示出的另一种可视化流程图，该流程中还涉及客户端、任务执行器和计算引擎。
步骤301，客户端生成可视化请求；
步骤302，客户端将可视化请求发送至可视化服务模块；
步骤303，可视化服务模块根据可视化请求创建临时视图任务；
步骤304，可视化服务模块将临时视图任务经任务执行器提交至计算引擎；
步骤305，计算引擎创建临时视图；
步骤306，可视化服务模块将查询临时视图请求发送至任务执行器；
步骤307，任务执行器从计算引擎中查询临时视图的元数据；
步骤308，任务执行器根据临时视图的元数据生成元数据模型；
步骤309，任务执行器通过可视化模块将元数据模型发送至客户端；
步骤310，客户端显示可拖拽的元数据前端组件；
步骤311，客户端界面将指标、维度等配置信息发送至可视化服务模块；
步骤312，可视化服务模块拼接SQL语句，生成查询任务；
步骤313，可视化服务模块将查询任务经任务执行器发送至计算引擎；
步骤314，计算引擎根据查询任务生成查询结果集；
步骤315，计算引擎将查询结果集发送至任务执行器；
步骤316，任务执行器将查询结果格式化后生成统一格式的结果集；
步骤317，任务执行器将统一格式的结果集填入元数据模型，作为待显示数据；
步骤319，任务执行器将待显示数据经可视化服务模块发送至客户端界面；
步骤320，客户端界面渲染成图表。
上述技术方案中，任务执行器将各计算引擎处理历史任务时生成的结果集存储在数据库中，任务执行器可以在接收到客户端发送的显示请求后，根据显示请求中结果集标识确定对应格式的结果集，并将该结果集对应的第一任务提交至计算引擎中，计算引擎根据结果集生成临时视图并返回临时视图的元数据，任务执行器进而根据临时视图的元数据生成元数据模型，并在客户端中以可视化界面的方式显示，数据的可读性强，且工作人员可以根据显示的界面执行下一步操作，有利于工作人员根据上一步的结果集数据进行下一步操作。进一步的，将各计算引擎处理历史任务时生成的结果集存储在数据库中，有利于中间数据或结果集的存储，在下一次提交任务时，无需提交包括上一步操作的任务，可以直接从数据库中调用结果集数据，提高计算引擎的运行效率。
基于统一发明构思，图4示例性的示出了本发明实施例提供的一种基于计算引擎的界面处理装置的结构，该装置可以执行基于计算引擎的界面处理方法的流程。
该装置包括：
收发单元401，用于接收客户端发送的显示请求；
处理单元402，用于根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集；所述结果集是各计算引擎处理历史任务时生成的；
所述处理单元402还用于，生成记录有所述第一格式的结果集的第一任务，将所述第一任务提交至所述计算引擎；
所述收发单元401还用于，接收所述计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型；以及将所述元数据模型发送给所述客户端，以使所述客户端以可视化界面显示。
可选的，所述处理单元402还用于：
在所述将所述元数据模型发送给所述客户端之后，控制所述收发单元401接收用户在所述可视化界面提交的处理请求；所述处理请求包括待操作的元数据及操作指令；
确定所述待操作的元数据对应的临时视图；
根据所述处理请求和所述待操作的元数据对应的临时视图，生成第二任务，所述第二任务与所述第一任务基于同一个上下文；
将所述第二任务提交至所述计算引擎；
控制所述收发单元401接收所述计算引擎返回的处理结果，并将所述处理结果添加至所述元数据模型后发送给所述客户端。
可选的，所述处理单元402具体用于：
根据所述显示请求中结果集标识，确定第二格式的结果集的存储路径；所述第二格式的结果集是将各计算引擎处理历史任务时生成的结果集转换为统一格式的结果集；
根据所述存储路径，从数据库中确定出所述第二格式的结果集；
根据所述显示请求中所述计算引擎的标识，将所述第二格式的结果集转换成所述第一格式的结果集。
可选的，所述处理单元402具体用于：
接收所述计算引擎处理历史任务时生成的第三格式的结果集；
根据所述第三格式的结果集，确定所述第三格式的结果集的格式化类；
根据所述第三格式的结果集的格式化类，将所述第三格式的结果集转换为所述第二格式的结果集。
基于统一发明构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于计算引擎的界面处理方法。
基于统一发明构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于计算引擎的界面处理方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于计算引擎的界面处理方法，其特征在于，包括：
接收客户端发送的显示请求；
根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集；所述结果集是各计算引擎处理历史任务时生成的；
生成记录有所述第一格式的结果集的第一任务，将所述第一任务提交至所述计算引擎；
接收所述计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型；
将所述元数据模型发送给所述客户端，以使所述客户端以可视化界面显示；
所述根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集，包括：
根据所述显示请求中结果集标识，确定第二格式的结果集的存储路径；所述第二格式的结果集是将各计算引擎处理历史任务时生成的第三格式的结果集，按照所述第三格式的结果集的格式化类转换为的统一格式的结果集；
根据所述存储路径，从数据库中确定出所述第二格式的结果集；
根据所述显示请求中所述计算引擎的标识，将所述第二格式的结果集转换成所述第一格式的结果集。
2.如权利要求1所述的方法，其特征在于，在所述将所述元数据模型发送给所述客户端之后，还包括：
接收用户在所述可视化界面提交的处理请求；所述处理请求包括待操作的元数据及操作指令；
确定所述待操作的元数据对应的临时视图；
根据所述处理请求和所述待操作的元数据对应的临时视图，生成第二任务，所述第二任务与所述第一任务基于同一个上下文；
将所述第二任务提交至所述计算引擎；
接收所述计算引擎返回的处理结果，并将所述处理结果添加至所述元数据模型后发送给所述客户端。
3.如权利要求1所述的方法，其特征在于，所述将各计算引擎处理历史任务时生成的第三格式的结果集，按照所述第三格式的结果集的格式化类转换为的统一格式的结果集，包括：
接收所述计算引擎处理历史任务时生成的第三格式的结果集；
根据所述第三格式的结果集，确定所述第三格式的结果集的格式化类；
根据所述第三格式的结果集的格式化类，将所述第三格式的结果集转换为所述第二格式的结果集。
4.一种基于计算引擎的界面处理装置，其特征在于，包括：
收发单元，用于接收客户端发送的显示请求；
处理单元，用于根据所述显示请求中结果集标识，确定用于计算引擎处理的第一格式的结果集；所述结果集是各计算引擎处理历史任务时生成的；
所述处理单元还用于，生成记录有所述第一格式的结果集的第一任务，将所述第一任务提交至所述计算引擎；
所述收发单元还用于，接收所述计算引擎反馈的临时视图对应的元数据并构建可视化的元数据模型；以及将所述元数据模型发送给所述客户端，以使所述客户端以可视化界面显示；
所述处理单元还具体用于：根据所述显示请求中结果集标识，确定第二格式的结果集的存储路径；所述第二格式的结果集是将各计算引擎处理历史任务时生成的第三格式的结果集，按照所述第三格式的结果集的格式化类转换为的统一格式的结果集；根据所述存储路径，从数据库中确定出所述第二格式的结果集；根据所述显示请求中所述计算引擎的标识，将所述第二格式的结果集转换成所述第一格式的结果集。
5.如权利要求4所述的装置，其特征在于，所述处理单元还用于：
在所述将所述元数据模型发送给所述客户端之后，控制所述收发单元接收用户在所述可视化界面提交的处理请求；所述处理请求包括待操作的元数据及操作指令；
确定所述待操作的元数据对应的临时视图；
根据所述处理请求和所述待操作的元数据对应的临时视图，生成第二任务，所述第二任务与所述第一任务基于同一个上下文；
将所述第二任务提交至所述计算引擎；
控制所述收发单元接收所述计算引擎返回的处理结果，并将所述处理结果添加至所述元数据模型后发送给所述客户端。
6.如权利要求4所述的装置，其特征在于，所述处理单元具体用于：
接收所述计算引擎处理历史任务时生成的第三格式的结果集；
根据所述第三格式的结果集，确定所述第三格式的结果集的格式化类；
根据所述第三格式的结果集的格式化类，将所述第三格式的结果集转换为所述第二格式的结果集。
7.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至3任一项所述的方法。
8.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至3任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910645736.7A CN110377621B (zh) | 2019-07-17 | 2019-07-17 | 一种基于计算引擎的界面处理方法及装置 |
| PCT/CN2020/102226 WO2021008570A1 (zh) | 2019-07-17 | 2020-07-15 | 一种基于计算引擎的界面处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910645736.7A CN110377621B (zh) | 2019-07-17 | 2019-07-17 | 一种基于计算引擎的界面处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110377621A CN110377621A (zh) | 2019-10-25 |
| CN110377621B true CN110377621B (zh) | 2023-12-01 |
Family
ID=68253653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910645736.7A Active CN110377621B (zh) | 2019-07-17 | 2019-07-17 | 一种基于计算引擎的界面处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110377621B (zh) |
| WO (1) | WO2021008570A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377621B (zh) * | 2019-07-17 | 2023-12-01 | 深圳前海微众银行股份有限公司 | 一种基于计算引擎的界面处理方法及装置 |
| CN111831274B (zh) * | 2020-06-29 | 2023-10-20 | 中孚信息股份有限公司 | 一种元数据解析引擎配置系统、方法、终端及可读存储介质 |
| CN112256710B (zh) * | 2020-09-30 | 2022-12-06 | 中孚安全技术有限公司 | 一种基于元数据的数据统计分析图表生成系统、方法及设备 |
| CN113742040B (zh) * | 2021-08-09 | 2024-04-19 | 广州市易工品科技有限公司 | 基于可视化界面快速生成分布式批处理任务的方法和装置 |
| CN113722337B (zh) * | 2021-11-03 | 2022-06-10 | 深圳市信润富联数字科技有限公司 | 业务数据确定方法、装置、设备及存储介质 |
| CN116932575B (zh) * | 2023-09-12 | 2023-12-15 | 长城证券股份有限公司 | 基于Spark的跨数据源操作方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567026A (zh) * | 2011-12-28 | 2012-07-11 | 用友软件股份有限公司 | 移动应用构建系统和移动应用构建方法 |
| CN109345377A (zh) * | 2018-09-28 | 2019-02-15 | 北京九章云极科技有限公司 | 一种数据实时处理系统及数据实时处理方法 |
| CN109445792A (zh) * | 2018-11-05 | 2019-03-08 | 用友网络科技股份有限公司 | 界面构建方法、装置及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793647B2 (en) * | 2011-03-03 | 2014-07-29 | International Business Machines Corporation | Evaluation of graphical output of graphical software applications executing in a computing environment |
| CN110377621B (zh) * | 2019-07-17 | 2023-12-01 | 深圳前海微众银行股份有限公司 | 一种基于计算引擎的界面处理方法及装置 |
-
2019
- 2019-07-17 CN CN201910645736.7A patent/CN110377621B/zh active Active
-
2020
- 2020-07-15 WO PCT/CN2020/102226 patent/WO2021008570A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567026A (zh) * | 2011-12-28 | 2012-07-11 | 用友软件股份有限公司 | 移动应用构建系统和移动应用构建方法 |
| CN109345377A (zh) * | 2018-09-28 | 2019-02-15 | 北京九章云极科技有限公司 | 一种数据实时处理系统及数据实时处理方法 |
| CN109445792A (zh) * | 2018-11-05 | 2019-03-08 | 用友网络科技股份有限公司 | 界面构建方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110377621A (zh) | 2019-10-25 |
| WO2021008570A1 (zh) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377621B (zh) | 一种基于计算引擎的界面处理方法及装置 | |
| US20210318851A1 (en) | Systems and Methods for Dataset Merging using Flow Structures | |
| CN108228166B (zh) | 一种基于模板的后端代码生成方法及系统 | |
| US20240152527A1 (en) | Systems and methods for storing and accessing database queries | |
| US9119056B2 (en) | Context-driven application information access and knowledge sharing | |
| CN110688106B (zh) | 基于可视化配置的量化交易策略编写方法及装置 | |
| US11775262B2 (en) | Multi-technology visual integrated data management and analytics development and deployment environment | |
| EP3502872B1 (en) | Pipeline task verification for a data processing platform | |
| CN110609681A (zh) | 可视化配置生成web应用的系统、方法、设备及介质 | |
| US10922207B2 (en) | Method, apparatus, and computer-readable medium for maintaining visual consistency | |
| CN107463356A (zh) | 任务流程的执行方法和装置 | |
| CN114662916A (zh) | 流程自动化运行方法及电子设备 | |
| CN112988576B (zh) | 一种软件项目研发进程确定方法及装置 | |
| US20190197453A1 (en) | Aggregating computer functions across different computer applications | |
| CN112632082B (zh) | 一种创建Flink作业的方法及装置 | |
| CN111143356B (zh) | 报表检索方法及装置 | |
| CN112445470A (zh) | 基于新增场景的动态规则创建方法和系统 | |
| US20220405297A1 (en) | Apparatus and method for filtering data from or across different analytics platforms | |
| US20190138921A1 (en) | Interactive guidance system for selecting thermodynamics methods in process simulations | |
| CN116225902A (zh) | 生成测试用例的方法、装置及设备 | |
| US20220398253A1 (en) | Processing cartesian columns in analytics applications | |
| CN110309062B (zh) | 用例生成方法、装置、电子设备及存储介质 | |
| US20170052998A1 (en) | System and method for efficient database transactions | |
| US20220405678A1 (en) | Method and device for managing project by using data pointer | |
| US20220405677A1 (en) | Method and device for managing project by using cost payment time point setting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |