CN110187936A - 数据回流平台、系统及方法 - Google Patents
数据回流平台、系统及方法 Download PDFInfo
- Publication number
- CN110187936A CN110187936A CN201910472455.6A CN201910472455A CN110187936A CN 110187936 A CN110187936 A CN 110187936A CN 201910472455 A CN201910472455 A CN 201910472455A CN 110187936 A CN110187936 A CN 110187936A
- Authority
- CN
- China
- Prior art keywords
- data
- script file
- task
- backflow
- task instances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4482—Procedural
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种数据回流平台、系统及方法。其中数据回流平台包括：任务实例创建模块用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；文件系统用于存储业务端预先上传的脚本文件；通用数据回流接口用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；执行模块用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，实现了统一的资源调配和应用监控。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据回流平台、系统及方法。
背景技术
互联网行业产生的数据量非常大，而所产生的数据对于任何企业而言都是非常宝贵的资源，因此，需要将数据回流至离线平台中待用，例如，进行数据分析等。通常是通过数据回流接口将产生的数据导入至离线平台，不同的业务端的数据回流需求不同，这样就需要开发不同的数据回流接口，数据回流接口上线前通常需要经过以下过程：联调、测试、发布接口、上线。虽然通过开发多个数据回流接口可以实现数据回流的需求，但是重复的开发测试和发布无疑增加了技术开发成本和维护成本，同时也是对开发资源的一种浪费。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据回流平台、系统及方法。
根据本发明的一个方面，提供了一种数据回流平台，包括：
任务实例创建模块，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；
文件系统，用于存储业务端预先上传的脚本文件；
通用数据回流接口，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；
执行模块，用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
可选地，文件系统进一步用于：接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。
可选地，执行模块进一步用于：执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；执行脚本文件的解析逻辑对待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。
可选地，数据回流平台还包括：分配模块，用于为业务端分配业务标识，并将业务标识返回给业务端。
可选地，任务实例创建模块进一步用于：向业务端提供配置页面，以供业务端在配置页面中输入任务配置信息，根据任务配置信息创建任务实例。
可选地，任务配置信息包括以下信息中的一种或多种：任务执行速率、任务执行周期和/或任务执行权限。
可选地，脚本文件为Grovvy脚本文件。
根据本发明的另一方面，提供了一种数据回流系统，包括上述数据回流平台及离线平台；
离线平台，用于落地存储待回流的数据。
根据本发明的另一方面，提供了一种利用数据回流平台实现的数据回流方法，包括：
根据业务端的需求，创建任务实例；
存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系；
接收业务端发送的数据回流请求，数据回流请求中包含业务标识；
根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
可选地，方法还包括：接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。
可选地，动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中进一步包括：
执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；
执行脚本文件的解析逻辑对待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。
可选地，在维护所创建的任务实例与脚本文件的存储路径之间的关联关系之后，方法还包括：
为业务端分配业务标识，并将业务标识返回给业务端。
可选地，根据业务端的需求，创建任务实例进一步包括：
向业务端提供配置页面，以供业务端在配置页面中输入任务配置信息，根据任务配置信息创建任务实例。
可选地，任务配置信息包括以下信息中的一种或多种：任务执行速率、任务执行周期和/或任务执行权限。
可选地，脚本文件为Grovvy脚本文件。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述数据回流方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述数据回流方法对应的操作。
根据本发明提供的方案，任务实例创建模块，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；文件系统，用于存储业务端预先上传的脚本文件；通用数据回流接口，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；执行模块，用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。本发明提供的方案，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，可以收拢不同业务的数据回流入口，实现了统一的资源调配和应用监控，有效的避免了资源的浪费，提高研发效率，相较于分散的数据回流接口而言是一种资源整合。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的数据回流平台的结构示意图；
图2示出了根据本发明另一个实施例的数据回流平台的结构示意图；
图3示出了根据本发明一个实施例的数据回流系统的结构示意图；
图4示出了根据本发明一个实施例的利用数据回流平台实现的数据回流方法的流程示意图；
图5示出了根据本发明另一个实施例的利用数据回流平台实现的数据回流方法的流程示意图；
图6示出了根据本发明一个实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的数据回流平台的结构示意图。如图1所示，该数据回流平台包括：任务实例创建模块101、文件系统102、通用数据回流接口103及执行模块104。
任务实例创建模块101，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
本实施例中的数据回流平台通过执行业务端编写的脚本来完成将业务端生产的数据写入到离线平台中，然而，数据回流平台并不能直接加载脚本进行数据回流处理，而是通过执行任务实例来执行脚本完成将数据写入到离线平台中。因此，就需要先创建任务实例，具体地，业务端提供相应的需求，任务实例创建模块在接收到业务端提供的需求后，根据业务端的需求，创建任务实例。
在文件系统存储了业务端上传的脚本文件后，任务实例创建模块还需要维护所创建的任务实例与脚本文件的存储路径之间的关联关系，这里维护所创建的任务实例与脚本文件的存储路径之间的关联关系是为了能够在确定需要执行的任务实例后，能够动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
文件系统102，用于存储业务端预先上传的脚本文件。
业务端可以根据业务需求来编写脚本文件，其中，不同业务端对应的业务需求不同，使得根据业务需求所编写的脚本文件也会不同，业务端在编写脚本文件后，将脚本文件上传至文件系统，文件系统存储业务端预先上传的脚本文件。不同的业务端只需要维护自己的脚本文件，相互之间互不影响，有效地规避了开发数据回流接口的资源损耗的问题。
通用数据回流接口103，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识。
在本实施例中，数据回流平台提供有通用数据回流接口，所谓的通用数据回流接口是指任一业务端有数据回流需求时都是调用该接口进行数据回流处理，数据回流平台不再针对不同的数据回流需求开发不同的数据回流接口供业务端调用。
具体地，业务端调用通用数据回流接口发送数据回流请求，通用数据回流接口接收业务端发送的数据回流请求，该数据回流请求中包含业务标识，其中，不同的业务端对应不同的业务标识，每个业务端具有唯一的业务标识，用来标识业务端的身份。
执行模块104，用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
执行模块根据业务标识进行查询，确定与业务标识相匹配的任务实例，由于任务实例创建模块事先维护了任务实例与脚本文件的存储路径之间的关联关系，因此，在查询到与业务标识匹配的任务实例后，便可以根据任务实例与脚本文件的存储路径之间的关联关系确定出任务实例所关联的脚本文件，执行模块执行该任务实例，从而动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
根据本发明上述实施例提供的数据回流平台，任务实例创建模块，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；文件系统，用于存储业务端预先上传的脚本文件；通用数据回流接口，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识；执行模块，用于根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。本发明提供的方案，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，可以收拢不同业务的数据回流入口，实现了统一的资源调配和应用监控，有效的避免了资源的浪费，提高研发效率，相较于分散的数据回流接口而言是一种资源整合。
图2示出了根据本发明另一个实施例的数据回流平台的结构示意图。如图2所示，该数据回流平台包括：任务实例创建模块201、文件系统202、分配模块203、通用数据回流接口204及执行模块205。
任务实例创建模块201，用于向业务端提供配置页面，以供业务端在配置页面中输入任务配置信息，根据任务配置信息创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
本实施例中的数据回流平台通过执行业务端编写的脚本来完成将业务端生产的数据写入到离线平台中，然而，数据回流平台并不能直接加载脚本进行数据回流处理，而是通过执行任务实例来执行脚本完成将数据写入到离线平台中。
在本实施例中，任务实例创建模块向业务端提供有可视化的配置页面，业务端有数据回流需求时，可以利用任务实例创建模块提供的配置页面，来创建任务实例，具体地，业务端可以根据任务实际执行要求，在配置页面中输入相应的任务配置信息，例如，任务执行速率、任务执行周期和/或任务执行权限，任务实例创建模块获取业务端输入的任务配置信息，然后根据所获取的任务配置信息来创建任务实例。其中，业务端输入的配置信息可能并不限于上述所列举信息，还可能包含其它信息，例如，任务等级、任务在哪个时间段执行等，这些配置信息规定了脚本执行的一些其它要求。
为了能够在确定需要执行的任务实例后，能够动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中，在文件系统存储了业务端上传的脚本文件后，任务实例创建模块还需要维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
任务实例创建模块维护所创建的任务实例与脚本文件的存储路径之间的关联关系直接体现为记录所创建的任务实例的任务标识与脚本文件的文件标识的关联关系。具体地，任务实例创建模块在创建任务实例后，生成并存储任务实例的任务标识，文件系统在存储业务端上传的脚本文件后，会将脚本文件的文件标识返回给任务实例创建模块，任务实例创建模块在接收到文件系统返回的脚本文件的文件标识后，记录所创建的任务实例的任务标识与脚本文件的文件标识的关联关系。
文件系统202，用于存储业务端预先上传的脚本文件。
通常情况下，业务端所生产的数据的数据格式可能是由业务特性所决定的，是根据业务特性所定制化的数据格式，而离线平台所要求的又是其它数据格式，在数据回流时，就需要对数据进行解析处理，这样，业务端就可以在编写脚本文件时，编写数据的解析逻辑，定义解析后的数据格式。而不同的业务端，待回流的数据可能需要写入到不同的目标离线表中，例如，业务端1需要将待回流的数据写入到离线平台的目标离线表1中，业务端2需要将待回流的数据写入到离线平台的目标离线表2中，业务端在编写脚本文件时，需要编写数据的存储逻辑，定义数据存储的目标离线表。即，脚本文件中编排了对于数据的解析逻辑、存储逻辑等一系列基于业务需求的定制逻辑。
因此，脚本文件是由业务端根据不同的业务需求来编写的，例如，业务需求是将数据的格式由数据格式A转换为数据格式B，将数据写入至离线平台中的目标离线表A，那么就可以在脚本文件中编写相应的解析逻辑及存储逻辑。不同业务端对应的业务需求不同，使得根据业务需求所编写的脚本文件也会不同，业务端在编写脚本文件后，将脚本文件上传至文件系统，文件系统存储业务端上传的脚本文件。
结合业务举例说明，离线平台中包含订单表、活动表、商品表，业务端生产的订单数据写入到离线平台的订单表中，业务端生产的活动数据写入到离线平台的活动表中，业务端生产的商品数据写入到离线平台的商品表中。
本实施例中的脚本文件可以是Grovvy脚本文件。Groovy是一种基于Java虚拟机的敏捷开发语言，它结合了Python、Ruby和Smalltalk语音的许多强大的特性，其中一个特性是可以加载指定的文件到java虚拟机里，动态编译和执行。不同的业务端只需要维护自己的脚本文件，相互之间互不影响，有效地规避了开发数据回流接口的资源损耗的问题。
文件系统在存储业务端预先上传的脚本文件后，将脚本文件的文件标识返回给任务实例创建模块。
当业务端需要修改文件系统中存储的脚本文件时，业务端可以直接提供修改后的脚本文件，不需要再重新创建新的任务实例，文件系统进一步用于接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。也就是说，通过替换脚本文件就能够实现不同的数据回流需求，无需对源代码进行任何修改，无需再次开发，节省了资源。
分配模块203，用于为业务端分配业务标识，并将业务标识返回给业务端。
分配模块为业务端分配业务标识，然后将所分配的业务标识返回给业务端，业务端在回流数据时，需要提供该业务标识。其中，每个业务端具有唯一的业务标识，用来标识业务端的身份，在本实施例中，需要记录业务标识、任务标识及文件标识的关联关系，这样，在执行模块需要执行任务实例时，可以根据业务标识查询到匹配的任务实例。
通用数据回流接口204，用于接收业务端发送的数据回流请求，数据回流请求中包含业务标识。
在本实施例中，数据回流平台提供有通用数据回流接口，所谓的通用数据回流接口是指任一业务端有数据回流需求时都是调用该接口进行数据回流处理，数据回流平台不再针对不同的数据回流需求开发不同的数据回流接口供业务端调用。
具体地，业务端调用通用数据回流接口发送数据回流请求，通用数据回流接口接收业务端发送的数据回流请求，该数据回流请求中包含业务标识，可选地，数据回流请求中还可以包含待回流的数据。
执行模块205，用于根据业务标识查询匹配的任务实例，执行任务实例，以执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；执行脚本文件的解析逻辑对待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。
在本实施例中，执行模块根据业务标识进行查询，确定与业务标识相匹配的任务实例，由于任务实例创建模块事先维护了任务实例与脚本文件的存储路径之间的关联关系，因此，在查询到与业务标识匹配的任务实例后，便可以根据任务实例与脚本文件的存储路径之间的关联关系确定出任务实例所关联的脚本文件，执行模块执行该任务实例，从而执行与任务实例关联的脚本文件的存储逻辑，由此待回流的数据写入的目标离线表，执行与任务实例关联的脚本文件的解析逻辑对待回流的数据进行解析处理(例如，数据格式的转换)，将解析后的待回流的数据写入离线平台的目标离线表中，离线平台的目标离线表落地存储所述待回流的数据。这里的离线平台可以理解为数据仓库，用于存储数据。
将待回流的数据写入到离线平台中后，可以根据离线平台中的数据进行数据分析，例如，数据质量分析、数据建模分析、数据特点分析等等。
根据本发明上述实施例提供的数据回流平台，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，可以收拢不同业务的数据回流入口，实现了统一的资源调配和应用监控，有效的避免了资源的浪费，提高研发效率，相较于分散的数据回流接口而言是一种资源整合；脚本文件是业务端根据业务需求而编写的，从而满足了业务端加工数据的诉求，当业务需求发生变化时，通过替换脚本文件就能够实现不同的数据回流需求，无需对源代码进行任何修改，无需再次开发，节省了资源。
图3示出了根据本发明一个实施例的数据回流系统的结构示意图。如图3所示，该数据回流系统包括：数据回流平台301及离线平台302。
离线平台302，用于落地存储待回流的数据。图3所示实施例中的数据回流平台301可以是图1或图2所示实施例中的数据回流平台，这里不再详细赘述。
图4示出了根据本发明一个实施例的利用数据回流平台实现的数据回流方法的流程示意图。如图4所示，该方法包括以下步骤：
步骤S401，根据业务端的需求，创建任务实例。
本实施例中的数据回流平台为图1所示实施例中的数据平台，其通过执行业务端编写的脚本来完成将数据写入到离线平台中，然而，数据回流平台并不能直接加载脚本进行数据回流处理，而是通过执行任务实例来执行脚本完成将数据写入到离线平台中。因此，就需要先创建任务实例，具体地，业务端提供相应的需求，任务实例创建模块在接收到业务端提供的需求后，根据业务端的需求，创建任务实例。
步骤S402，存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
业务端可以根据业务需求来编写脚本文件，其中，不同业务端对应的业务需求不同，使得根据业务需求所编写的脚本文件也会不同，业务端在编写脚本文件后，将脚本文件上传至文件系统，文件系统存储业务端预先上传的脚本文件。不同的业务端只需要维护自己的脚本文件，相互之间互不影响，有效地规避了开发数据回流接口的资源损耗的问题。
在文件系统存储了业务端上传的脚本文件后，任务实例创建模块还需要维护所创建的任务实例与脚本文件的存储路径之间的关联关系，这里维护所创建的任务实例与脚本文件的存储路径之间的关联关系是为了能够在确定需要执行的任务实例后，能够动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
步骤S403，接收业务端发送的数据回流请求，数据回流请求中包含业务标识。
在本实施例中，数据回流平台提供有通用数据回流接口，所谓的通用数据回流接口是指任一业务端有数据回流需求时都是调用该接口进行数据回流处理，数据回流平台不再针对不同的数据回流需求开发不同的数据回流接口供业务端调用。
具体地，业务端调用通用数据回流接口发送数据回流请求，通用数据回流接口接收业务端发送的数据回流请求，该数据回流请求中包含业务标识，其中，不同的业务端对应不同的业务标识，每个业务端具有唯一的业务标识，用来标识业务端的身份。
步骤S404，根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
执行模块根据业务标识进行查询，确定与业务标识相匹配的任务实例，由于任务实例创建模块事先维护了任务实例与脚本文件的存储路径之间的关联关系，因此，在查询到与业务标识匹配的任务实例后，便可以根据任务实例与脚本文件的存储路径之间的关联关系确定出任务实例所关联的脚本文件，执行模块执行该任务实例，从而动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。
根据本发明上述实施例提供的方法，根据业务端的需求，创建任务实例；存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系；接收业务端发送的数据回流请求，数据回流请求中包含业务标识；根据业务标识查询匹配的任务实例，执行任务实例，以动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中。本发明提供的方案，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，可以收拢不同业务的数据回流入口，实现了统一的资源调配和应用监控，有效的避免了资源的浪费，提高研发效率，相较于分散的数据回流接口而言是一种资源整合。
图5示出了根据本发明另一个实施例的利用数据回流平台实现的数据回流方法的流程示意图。如图5所示，该方法包括以下步骤：
步骤S501，向业务端提供配置页面，以供业务端在配置页面中输入任务配置信息，根据任务配置信息创建任务实例。
本实施例中的数据回流平台为图2所示实施例中的数据平台，其通过执行业务端编写的脚本来完成将业务端生产的数据写入到离线平台中，然而，数据回流平台并不能直接加载脚本进行数据回流处理，而是通过执行任务实例来执行脚本完成将数据写入到离线平台中。
在本实施例中，任务实例创建模块向业务端提供有可视化的配置页面，业务端有数据回流需求时，可以利用任务实例创建模块提供的配置页面，来创建任务实例，具体地，业务端可以根据任务实际执行要求，在配置页面中输入相应的任务配置信息，例如，任务执行速率、任务执行周期和/或任务执行权限，任务实例创建模块获取业务端输入的任务配置信息，然后根据所获取的任务配置信息来创建任务实例。其中，业务端输入的配置信息可能并不限于上述所列举信息，还可能包含其它信息，例如，任务等级、任务在哪个时间段执行等，这些配置信息规定了脚本执行的一些其它要求。
步骤S502，存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
通常情况下，业务端所生产的数据的数据格式可能是由业务特性所决定的，是根据业务特性所定制化的数据格式，而离线平台所要求的又是其它数据格式，在数据回流时，就需要对数据进行解析处理，这样，业务端就可以在编写脚本文件时，编写数据的解析逻辑，定义解析后的数据格式。而不同的业务端，待回流的数据可能需要写入到不同的目标离线表中，例如，业务端1需要将待回流的数据写入到离线平台的目标离线表1中，业务端2需要将待回流的数据写入到离线平台的目标离线表2中，业务端在编写脚本文件时，需要编写数据的存储逻辑，定义数据存储的目标离线表。即，脚本文件中编排了对于数据的解析逻辑、存储逻辑等一系列基于业务需求的定制逻辑。
因此，脚本文件是由业务端根据不同的业务需求来编写的，例如，业务需求是将数据的格式由数据格式A转换为数据格式B，将数据写入至离线平台中的目标离线表A，那么就可以在脚本文件中编写相应的解析逻辑及存储逻辑。不同业务端对应的业务需求不同，使得根据业务需求所编写的脚本文件也会不同，业务端在编写脚本文件后，将脚本文件上传至文件系统，文件系统存储业务端上传的脚本文件。
结合业务举例说明，离线平台中包含订单表、活动表、商品表，业务端生产的订单数据写入到离线平台的订单表中，业务端生产的活动数据写入到离线平台的活动表中，业务端生产的商品数据写入到离线平台的商品表中。
本实施例中的脚本文件可以是Grovvy脚本文件。Groovy是一种基于Java虚拟机的敏捷开发语言，它结合了Python、Ruby和Smalltalk语音的许多强大的特性，其中一个特性是可以加载指定的文件到java虚拟机里，动态编译和执行。不同的业务端只需要维护自己的脚本文件，相互之间互不影响，有效地规避了开发数据回流接口的资源损耗的问题。
文件系统在存储业务端预先上传的脚本文件后，将脚本文件的文件标识返回给任务实例创建模块。
当业务端需要修改文件系统中存储的脚本文件时，业务端可以直接提供修改后的脚本文件，文件系统进一步用于接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。也就是说，通过替换脚本文件就能够实现不同的数据回流需求，无需对源代码进行任何修改，无需再次开发，节省了资源。
为了能够在确定需要执行的任务实例后，能够动态加载与任务实例关联的脚本文件，将待回流的数据写入离线平台中，在文件系统存储了业务端上传的脚本文件后，任务实例创建模块还需要维护所创建的任务实例与脚本文件的存储路径之间的关联关系。
任务实例创建模块维护所创建的任务实例与脚本文件的存储路径之间的关联关系直接体现为记录所创建的任务实例的任务标识与脚本文件的文件标识的关联关系。具体地，任务实例创建模块在创建任务实例后，生成并存储任务实例的任务标识，文件系统在存储业务端上传的脚本文件后，会将脚本文件的文件标识返回给任务实例创建模块，任务实例创建模块在接收到文件系统返回的脚本文件的文件标识后，记录所创建的任务实例的任务标识与脚本文件的文件标识的关联关系。
步骤S503，为业务端分配业务标识，并将业务标识返回给业务端。
分配模块为业务端分配业务标识，然后将所分配的业务标识返回给业务端，业务端在回流数据时，需要提供该业务标识。其中，每个业务端具有唯一的业务标识，用来标识业务端的身份，在本实施例中，需要记录业务标识、任务标识及文件标识的关联关系，这样，在执行模块需要执行任务实例时，可以根据业务标识查询到匹配的任务实例。
步骤S504，接收业务端发送的数据回流请求，数据回流请求中包含业务标识。
在本实施例中，数据回流平台提供有通用数据回流接口，所谓的通用数据回流接口是指任一业务端有数据回流需求时都是调用该接口进行数据回流处理，数据回流平台不再针对不同的数据回流需求开发不同的数据回流接口供业务端调用。
具体地，业务端调用通用数据回流接口发送数据回流请求，通用数据回流接口接收业务端发送的数据回流请求，该数据回流请求中包含业务标识，可选地，数据回流请求中还可以包含待回流的数据。
步骤S505，根据业务标识查询匹配的任务实例，执行任务实例，以执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；执行脚本文件的解析逻辑对待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。
在本实施例中，执行模块根据业务标识进行查询，确定与业务标识相匹配的任务实例，由于任务实例创建模块事先维护了任务实例与脚本文件的存储路径之间的关联关系，因此，在查询到与业务标识匹配的任务实例后，便可以根据任务实例与脚本文件的存储路径之间的关联关系确定出任务实例所关联的脚本文件，执行模块执行该任务实例，从而执行与任务实例关联的脚本文件的存储逻辑，由此待回流的数据写入的目标离线表，执行与任务实例关联的脚本文件的解析逻辑对待回流的数据进行解析处理(例如，数据格式的转换)，将解析后的待回流的数据写入离线平台的目标离线表中，离线平台的目标离线表落地存储所述待回流的数据。这里的离线平台可以理解为数据仓库，用于存储数据。
将待回流的数据写入到离线平台中后，可以根据离线平台中的数据进行数据分析，例如，数据质量分析、数据建模分析、数据特点分析等等。
根据本发明上述实施例提供的方法，基于通用的数据回流能力，将不同的数据回流场景路由到不同的脚本文件，有效地规避了业务端重复开发的资源损耗问题，通过通用数据回流接口执行数据回流，可以收拢不同业务的数据回流入口，实现了统一的资源调配和应用监控，有效的避免了资源的浪费，提高研发效率，相较于分散的数据回流接口而言是一种资源整合；脚本文件是业务端根据业务需求而编写的，从而满足了业务端加工数据的诉求，当业务需求发生变化时，通过替换脚本文件就能够实现不同的数据回流需求，无需对源代码进行任何修改，无需再次开发，节省了资源。
本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据回流方法。
图6示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602，用于执行程序610，具体可以执行上述数据回流方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行上述任意方法实施例中的数据回流方法。程序610中各步骤的具体实现可以参见上述数据回流实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据回流设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种数据回流平台，包括：
任务实例创建模块，用于根据业务端的需求，创建任务实例，以及维护所创建的任务实例与脚本文件的存储路径之间的关联关系；
文件系统，用于存储业务端预先上传的脚本文件；
通用数据回流接口，用于接收业务端发送的数据回流请求，所述数据回流请求中包含业务标识；
执行模块，用于根据所述业务标识查询匹配的任务实例，执行所述任务实例，以动态加载与所述任务实例关联的脚本文件，将待回流的数据写入离线平台中。
2.根据权利要求1所述的数据回流平台，其中，所述文件系统进一步用于：接收业务端发送的携带有修改后的脚本文件的修改请求，将原脚本文件替换为修改后的脚本文件，并存储修改后的脚本文件。
3.根据权利要求1或2所述的数据回流平台，其中，所述执行模块进一步用于：执行脚本文件的存储逻辑，确定待回流的数据写入的目标离线表；执行脚本文件的解析逻辑对所述待回流的数据进行解析处理，将解析后的待回流的数据写入离线平台的目标离线表中。
4.根据权利要求1-3中任一项所述的数据回流平台，其中，所述数据回流平台还包括：分配模块，用于为业务端分配业务标识，并将业务标识返回给业务端。
5.根据权利要求1-4中任一项所述的数据回流平台，其中，所述任务实例创建模块进一步用于：向业务端提供配置页面，以供业务端在所述配置页面中输入任务配置信息，根据所述任务配置信息创建任务实例。
6.根据权利要求5所述的数据回流平台，其中，所述任务配置信息包括以下信息中的一种或多种：任务执行速率、任务执行周期和/或任务执行权限。
7.一种数据回流系统，包括：权利要求1-6中任一项所述的数据回流平台及离线平台；
所述离线平台，用于落地存储所述待回流的数据。
8.一种利用数据回流平台实现的数据回流方法，包括：
根据业务端的需求，创建任务实例；
存储业务端预先上传的脚本文件，维护所创建的任务实例与脚本文件的存储路径之间的关联关系；
接收业务端发送的数据回流请求，所述数据回流请求中包含业务标识；
根据所述业务标识查询匹配的任务实例，执行所述任务实例，以动态加载与所述任务实例关联的脚本文件，将待回流的数据写入离线平台中。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8所述的数据回流方法对应的操作。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求8所述的数据回流方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910472455.6A CN110187936A (zh) | 2019-05-31 | 2019-05-31 | 数据回流平台、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910472455.6A CN110187936A (zh) | 2019-05-31 | 2019-05-31 | 数据回流平台、系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110187936A true CN110187936A (zh) | 2019-08-30 |
Family
ID=67719630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910472455.6A Pending CN110187936A (zh) | 2019-05-31 | 2019-05-31 | 数据回流平台、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110187936A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966868A (zh) * | 2020-09-07 | 2020-11-20 | 航天云网数据研究院(广东)有限公司 | 基于标识解析的数据治理方法及相关设备 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075368A (zh) * | 2011-02-22 | 2011-05-25 | 华为技术有限公司 | 一种业务故障诊断方法、装置和系统 |
| US20130066621A1 (en) * | 2011-09-09 | 2013-03-14 | Microsoft Corporation | Automated Discovery of Resource Definitions and Relationships in a Scripting Environment |
| CN103902270A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术（上海）有限公司 | 动态业务建立、管理和处理方法及动态业务系统 |
| US20150334235A1 (en) * | 2014-05-16 | 2015-11-19 | ViZiCall, LLC | Systems and Methods for Handling and Routing Incoming Communication Requests |
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
| CN108628961A (zh) * | 2018-04-15 | 2018-10-09 | 广东电网有限责任公司 | 一种利用回流数据快速统计分析的方法 |
| CN109597661A (zh) * | 2018-10-26 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种业务功能配置方法及装置 |
| CN109800080A (zh) * | 2018-12-14 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 一种基于Quartz框架的任务调度方法、系统及终端设备 |
-
2019
- 2019-05-31 CN CN201910472455.6A patent/CN110187936A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102075368A (zh) * | 2011-02-22 | 2011-05-25 | 华为技术有限公司 | 一种业务故障诊断方法、装置和系统 |
| US20130066621A1 (en) * | 2011-09-09 | 2013-03-14 | Microsoft Corporation | Automated Discovery of Resource Definitions and Relationships in a Scripting Environment |
| CN103902270A (zh) * | 2012-12-27 | 2014-07-02 | 纽海信息技术（上海）有限公司 | 动态业务建立、管理和处理方法及动态业务系统 |
| US20150334235A1 (en) * | 2014-05-16 | 2015-11-19 | ViZiCall, LLC | Systems and Methods for Handling and Routing Incoming Communication Requests |
| CN106557486A (zh) * | 2015-09-25 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 一种数据的存储方法和装置 |
| CN108628961A (zh) * | 2018-04-15 | 2018-10-09 | 广东电网有限责任公司 | 一种利用回流数据快速统计分析的方法 |
| CN109597661A (zh) * | 2018-10-26 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种业务功能配置方法及装置 |
| CN109800080A (zh) * | 2018-12-14 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 一种基于Quartz框架的任务调度方法、系统及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| 蔡迅华: "核电控制系统软件数据交换接口的数据结构设计", 《自动化与信息工程》 * |
| 蔡鸿明等: "分布式环境下业务模型的数据存储及访问框架", 《清华大学学报(自然科学版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966868A (zh) * | 2020-09-07 | 2020-11-20 | 航天云网数据研究院(广东)有限公司 | 基于标识解析的数据治理方法及相关设备 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
| CN115687486B (zh) * | 2022-11-14 | 2023-06-13 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7478318B2 (ja) | フレキシブル・パイプライン生成のための方法及びシステム | |
| US20120095950A1 (en) | Systems and methods for implementing business rules designed with cloud computing | |
| CN101276290A (zh) | 用于检查参数访问的方法及任务管理系统 | |
| JP2011150503A (ja) | 並列分散処理方法、及び、計算機システム | |
| CN110188135A (zh) | 文件生成方法及设备 | |
| AU2021286505B2 (en) | Automating an adoption of cloud services | |
| CN109783197A (zh) | 用于程序运行时环境的调度方法和装置 | |
| CN110187936A (zh) | 数据回流平台、系统及方法 | |
| US8601454B2 (en) | Device and method for automatically optimizing composite applications having orchestrated activities | |
| CN110730097B (zh) | 互联网技术架构的构建方法、装置、电子设备和介质 | |
| US20160239275A1 (en) | Generating an integrated service | |
| CN111258675A (zh) | 共享前端组件的渲染方法、装置、设备及存储介质 | |
| WO2019160008A1 (ja) | アプリケーション分割装置、方法およびプログラム | |
| CN109829639A (zh) | 服务项目监控方法及装置 | |
| CN109785047A (zh) | 金融产品的订单推送方法、装置、计算机设备和存储介质 | |
| CN112132530B (zh) | 可视化动态流程编排方法及系统 | |
| US9323509B2 (en) | Method and system for automated process distribution | |
| US11995587B2 (en) | Method and device for managing project by using data merging | |
| CN115526587A (zh) | 一种海关报文的生成方法和装置 | |
| CN113361733B (zh) | 预约业务的处理方法和装置 | |
| CN114637771A (zh) | 分布式多环境流计算 | |
| CN113312900A (zh) | 数据校验的方法和装置 | |
| CN110033145B (zh) | 财务共享作业分单方法及装置、设备和存储介质 | |
| CN113923250A (zh) | 一种辅助网络服务编排的方法、装置及系统 | |
| CN115242871B (zh) | 业务网关的服务方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |