CN110868324A - 一种业务配置方法、装置、设备和存储介质 - Google Patents
一种业务配置方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110868324A CN110868324A CN201911158070.9A CN201911158070A CN110868324A CN 110868324 A CN110868324 A CN 110868324A CN 201911158070 A CN201911158070 A CN 201911158070A CN 110868324 A CN110868324 A CN 110868324A
- Authority
- CN
- China
- Prior art keywords
- service
- target
- job
- business
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例公开了一种业务配置方法、装置、设备和存储介质,其中该方法包括:获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业;根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业;将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。本发明实施例提供的技术方案,通过业务转换模块将通用语言描述的业务作业,可以转换为不同计算引擎可以运行的业务作业,使作业配置与计算引擎的运行可以实现解耦合,实现了作业配置的可移植,节省了工作量,提高了业务配置的效率。
Description
技术领域
本发明实施例涉及数据计算框架技术领域,尤其涉及一种业务配置方法、装置、设备和存储介质。
背景技术
随着科技的不断发展,随之产生的信息量呈爆炸式增长,如何实时高效处理大量数据成为了关键。大数据技术随之产生,并提供了很好的技术解决方案。而流式计算技术的出现很好的解决了数据处理实时性的问题。
大数据领域学习门槛比较高,一方面是由于大部分大数据计算框架设计上比传统框架更复杂,高可用、低延迟和弹性伸缩等方面的算法设计较多,比较难以理解;另一方面是学习大数据相关知识的环境比较复杂,除了硬件环境要求,往往还需要同时具备多种计算框架知识。并且开源社区中对于某一领域的解决方案就有多种计算框架,这对于研发和运维人员无疑是一个巨大的考验,流计算领域就是如此。目前,开源流计算框架通常需要通过开发作业包或者脚本来实现,开发流程复杂,重复工作多效率低,并且流式计算引擎多样化,设计实现各不相同,开发运维难度大,不利于业务型人员使用,即使提供作业开发工具,但其支持的引擎单一,导致依然存在作业开发和配置的工作量巨大,效率以及可移植性不能满足需求的缺陷。
发明内容
本发明实施例提供一种业务配置方法、装置、设备和存储介质,以解决现有技术中数据计算框架业务配置过程中效率低和工作量大的技术问题,提高了业务配置的可移植性。
第一方面,本发明实施例提供了一种业务配置方法,包括:
获取初始业务作业和目标计算引擎,所述初始业务作业为通过通用语言描述的作业;
根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换,得到目标业务作业;
将所述目标业务作业发送至所述目标计算引擎,以使所述目标计算引擎运行所述目标业务作业。
第二方面,本发明实施例还提供了一种业务配置装置,包括:
作业获取模块,用于获取初始业务作业和目标计算引擎,所述初始业务作业为通过通用语言描述的作业;
作业转换模块,用于根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换,得到目标业务作业;
作业发送模块,用于将所述目标业务作业发送至所述目标计算引擎,以使所述目标计算引擎运行所述目标业务作业。
进一步的,所述作业获取模块具体用于:
基于预设的作业管理模块提供的可视化操作界面,获取用户输入的所述初始业务作业和目标计算引擎。
进一步的,所述作业转换模块具体用于:
通过所述业务转换模块中的作业引擎,根据所述目标计算引擎对所述初始业务作业进行语言转换,得到所述目标业务作业,其中所述目标业务作业为所述目标计算引擎所支持语言描述的作业。
进一步的,所述作业发送模块具体用于:
通过所述业务转换模块中的作业发射器,将所述目标业务作业发送至所述目标计算引擎,其中所述作业发射器支持对所述目标业务作业的运行管理操作,所述运行管理操作包括启动、停止和修改。
进一步的,所述装置还包括:
业务逻辑配置模块,用于据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换之前,通过业务转换模块中的业务逻辑配置单元,对所述初始业务作业进行业务逻辑的配置,其中所述业务逻辑配置单元包括数据源接口、数据转换接口和数据输出接口。
进一步的,所述业务逻辑配置模块具体用于:
按照所述业务逻辑配置单元的设定接口执行顺序,依次对所述初始业务作业进行数据源信息的定义、数据转换操作的配置和数据输出配置。
进一步的,所述设定接口执行顺序从前到后依次为所述数据源接口、所述数据转换接口和所述数据输出接口。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的高清道路俯视地图的构建方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的业务配置方法。
本发明实施例通过获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。本发明实施例提供的技术方案,通过业务转换模块将通用语言描述的业务作业,可以转换为不同计算引擎可以运行的业务作业,使作业配置与计算引擎的运行可以实现解耦合,实现了作业配置的可移植,节省了工作量,提高了业务配置的效率。
附图说明
图1为本发明实施例一中提供的一种业务配置方法的流程图;
图2为本发明实施例一中提供的一种数据计算框架的示意图;
图3为本发明实施例二中提供的一种业务配置方法的流程图;
图4为本发明实施例二中提供的一种作业管理模块中可视化操作界面的示意图;
图5为本发明实施例二中提供的一种作业管理模块中作业运行管理界面的示意图;
图6为本发明实施例三中提供的一种业务配置装置的结构示意图;
图7为本发明实施例四中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中提供的一种业务配置方法的流程图,本实施例可适用于在数据计算框架中进行业务配置的情况,该方法可以由业务配置装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中,例如服务器或终端设备,例如电脑或平板电脑等。
图2为本发明实施例一中提供的一种数据计算框架的示意图,本实施例中的业务配置方式可以通过图中的数据计算框架实现,图中数据计算框架可以包括作业管理模块、接口服务模块、业务转换模块、数据管理模块和物理环境模块,其中业务转换模块可以包括业务逻辑配置单元、作业引擎和作业发射器,业务逻辑配置单元中可以包括数据源接口、数据转换接口和数据输出接口,物理环境模块可以包括多种不同类型的计算引擎本实施例中对计算引擎的数量和类型不做限制,具体可以根据需要进行设置。作业管理模块获取用户编辑的初始业务作业和目标计算引擎,通过接口服务模块传输给业务转换模块,之后业务转换模块中的作业引擎可以将初始业务作业转换为目标计算引擎对应的目标业务作业,作业发射器将目标业务作业发送给对应的目标计算引擎,以运行该目标业务作业。
如图1所示,该方法具体可以包括:
S110、获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业。
其中,初始业务作业可以为针对目标计算引擎设计的满足一定业务需求且带有业务逻辑的实时计算执行包,本实施例中的初始业务作业是指通过通用编程语言描述的作业,其中通用编程语言可以为开发人员使用频率较高的编程语言,具体可以根据实际情况进行设定。
而计算引擎可以为流式计算中进行数据处理的技术引擎,例如Storm、SparkStreaming和Flink等。目标计算引擎是指当前用户指定运行的计算引擎。其中Storm被认为是第一代流式计算引擎,但由于其自身的设计缺陷(架构和功能等方面),目前基本淘汰,社区早已停止更新;Spark Streaming是第二代流式计算引擎,其发布以及应用时长最久,功能强大,满足绝大部分的场景要求,是一款十分成熟的架构,但也有不足之处,例如其流式计算方式是基于微批量的设计,并非真正的实时计算,被称为“伪实时”;Flink是近年开始流行起来的第三代流式计算引擎,是真正意义上的实时计算框架。
具体的,获取初始业务作业和目标计算引擎,可以包括:基于预设的作业管理模块提供的可视化操作界面,获取用户输入的初始业务作业和目标计算引擎。其中可视化操作界面可以为一种提供多种插件实例的页面,通过拖拽方式即可时用户组装业务作业的开发工具。作业管理模块可以包括作业设计单元和作业运行管理单元,作业设计单元可以提供作业设计相关的操作,具体包括插件管理、创建作业、作业操作管理、保存作业、运行作业、作业克隆以及作业配置上传或下载等功能,作业运行管理单元可以提供作业部署以后的修改启停等管理操作。
S120、根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业。
其中,业务转换模块用于对初始业务作业进行作业语言转换和作业逻辑配置的模块,业务转换模块可以包括业务逻辑配置单元、作业引擎和作业发射器,业务逻辑配置单元中可以包括数据源接口、数据转换接口和数据输出接口。
具体的,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,可以包括:通过业务转换模块中的作业引擎,根据目标计算引擎对初始业务作业进行语言转换,得到目标业务作业,其中目标业务作业为目标计算引擎所支持语言描述的作业。其中作业引擎可以接收初始业务作业和用户确定的目标计算引擎的相关信息,并将初始业务作业转换为目标计算引擎对应的目标业务作业,组装成作业包。
S130、将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。
具体的,将目标业务作业发送至目标计算引擎,可以包括:通过业务转换模块中的作业发射器,将目标业务作业发送至目标计算引擎,其中作业发射器支持对目标业务作业的运行管理操作,运行管理操作包括启动、停止和修改。其中作业发射器用于将作业引擎组装成的目标业务作业的作业包发送至目标计算引擎。之后,当目标计算引擎运行目标业务作业时,作业发射器还可以对目标业务作业进行运行管理操作,具体的运行管理操作可以包括启动、停止和修改等操作。
此外,参见图2,数据计算框架中的数据管理模块用于存放业务作业等数据,接口服务模块也称为后台服务模块,用于负责作业管理模块以及业务转换模块的交互,形成业务作业全流程交互。作业管理模块可以使用H5作业基本页面框架,结合AngularJS和Bootstrap来渲染和控制页面功能模块,采用jsplumb实现业务作业可视化设计的功能。
接口服务模块与作业管理模块之间交互,可以提供信息展现、作业设计、作业管理和插件管理等接口,其中信息展现接口用于对页面提供一些基本信息,例如页面布局信息等,作业设计接口用于提供作业设计页面的信息,包括插件展示、作业配置展示、作业配置提交等,作业管理接口用于提供作业部署后相关操作,例如作业历史版本信息、作业运行配置更改等,插件管理接口用于提供插件的添加与删除等操作。接口服务模块与业务转换模块的交互,可以提供作业配置校验、作业引擎管理、作业组装发布和作业运行管理等接口,其中作业配置校验接口用于验证作业设计中每个插件模块的配置是否正确,如必填项,特殊格式校验等,作业引擎管理接口用于调用业务转换模块接口,获取目前支持的计算引擎的信息,如Storm、Spark Streaming和Flink等,作业组装发布接口用于根据用户选择的目标计算引擎同作业配置一起发送到业务转换模块中的作业引擎,由作业引擎组装成可运行的作业包,作业运行管理接口用于通过传入作业包的Id到业务转换模块,实现作业调度管理。上述作业即为业务作业,本实施例中接口服务模块可以采用Spring Boot+Spring Web服务框架,为作业管理模块提供相关操作接口。
本实施例的技术方案,通过获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。本实施例提供的技术方案,通过业务转换模块将通用语言描述的业务作业,可以转换为不同计算引擎可以运行的业务作业,使作业配置与计算引擎的运行可以实现解耦合,实现了作业配置的可移植,节省了工作量,提高了业务配置的效率。
实施例二
图3为本发明实施例二中提供的一种业务配置方法的流程图。本实施例在上述实施例的基础上,进一步优化了上述业务配置方法。相应的,如图3所示,本实施例的方法具体包括:
S210、获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业。
具体的,获取初始业务作业和目标计算引擎,可以包括:基于预设的作业管理模块提供的可视化操作界面,获取用户输入的初始业务作业和目标计算引擎。
作业管理模块可以包括作业设计单元和作业运行管理单元,作业设计单元可以提供作业设计相关的操作,具体包括插件管理、创建作业、作业操作管理、保存作业、运行作业、作业克隆以及作业配置上传或下载等功能,作业运行管理单元可以提供作业部署以后的修改启停等管理操作。
参见图4,图4为本发明实施例二中提供的一种作业管理模块中可视化操作界面的示意图,图中通过拖拽方式可以对数据源接口、数据转换接口和数据输出接口进行配置。
作业设计单元实现插件管理时,参见图4,页面左侧是插件列表信息,可以分为“实时/离线”两类,其中每一种类型根据业务作业的组成可以分为数据源(Data Source)接口、数据转换(Transform)接口和数据输出(Data Sink)接口这3个插件。每个插件对应业务作业的各个步骤。开发人员可以根据需要实现各自的接口,形成具有特定功能的插件,例如实时计算的数据源接口插件可以定义Kafka或Flume等,数据转换接口插件可以定义各种数据清洗插件,数据输出接口插件可以定义Hbase或Kafka等。作业设计单元实现创建作业时,参见图4,可视化操作界面的页面中间是一块画布,用于设计作业。用户根据需要可以从左侧插件栏拖拽相应的插件放到画布中,再通过单向连接线将插件有向不循环的连起来,主线走向依次为A1、B1和C1,其中双击插件会弹出各个插件的配置,插件配置内容再开发插件时指定,画布左上方可填写作业名称以及作业描述。作业设计单元实现作业操作时,参见图4,可视化操作界面的页面右上方是作业设计的相关操作按钮,可以包括验证、保存、下载、上传和部署等按钮,其中验证按钮用于验证作业配置是否正确无误,保存按钮可以暂存作业配置,下载按钮用于将作业配置以json文件下载到本地保管,上传按钮用于将本地已配置的json文件上传到服务环境,部署按钮可以将设计好的作业部署到环境,其中部署时需要指定运行的目标计算引擎,如Spark或Flink等。
图5为本发明实施例二中提供的一种作业管理模块中作业运行管理界面的示意图。参见图5,作业运行管理单元进行配置管理时,页面右上角有个配置按钮,点击按钮可弹出配置对话框,可以Key-Value形式展现,其中可以配置业务作业所需的运行资源,如CPU或内存等,还可以指定一些业务作业特有的配置,如作业日志级别等,配置完成点击保存即可。作业运行管理单元进行启停作业时,页面右上方有启动/停止按钮,互相切换,作业运行时显示运行中,作业停止时显示已停止。作业运行管理单元进行删除作业时,可通过页面右上方的删除按钮将作业下线,前提是作业必须先停止。作业运行管理单元管理运行历史时,可通过页面左上方的运行下拉列表查看历史运行情况,包含运行次数或运行时长等。作业运行管理单元管理作业日志时,页面下方可显示作业运行日志(运行中的作业),运行作业日志可根据不同计算引擎相关接口获得。
S220、通过业务转换模块中的业务逻辑配置单元,对初始业务作业进行业务逻辑的配置。
其中业务逻辑配置单元可以包括数据源接口、数据转换接口和数据输出接口。
具体的,通过业务转换模块中的业务逻辑配置单元,对初始业务作业进行业务逻辑的配置,可以包括:按照业务逻辑配置单元的设定接口执行顺序,依次对初始业务作业进行数据源信息的定义、数据转换操作的配置和数据输出配置。其中,设定接口执行顺序从前到后依次为数据源接口、数据转换接口和数据输出接口。
数据源接口用于定义数据源的流入信息,不同数据源的信息各不相同,因此该数据源接口可以包括配置信息获取(getConfig)、初始化(initialize)和构建(build)等方法。其中,getConfig方法用于获取用户从页面上填写的数据源接口插件输入配置信息,配置信息在开发具体数据源接口时由插件开发人员指定;initilize方法目的是为了初始化数据源接口插件,例如将数据源接口的配置信息进行初步的转换成插件功能所需的配置信息等;build方法用于实现连接外部数据,并且根据配置提供的数据定义等信息统一转换成数据源客户端对象。
数据转换接口用于进行各种数据转换操作的配置,本实施例中对具体的转换类型不作限定,可以根据实际情况进行设定,例如转换类型可以包括数据过滤、清晰、类型转换、数据结构派生等,而且支持多个转换类型的组合以完成复杂的业务逻辑。数据转换接口存在两个泛型定义,输入类型和输出类型,通过转换(trans)方法进行转换。示例性的,若数据转换操作为数据清洗,可以筛选出考试成绩达到及格线的学生姓名,输入数据是学生以及考试成绩,输出是学生姓名,及格线由用户通过可视化操作界面的页面参数传入。
数据输出接口用于进行输出配置,配置业务作业运行计算出的最终结果的输出位置,例如输出到外部数据库,或者输出到数据分析模块,利用结果展开后续的监控告警等工作。数据输出接口的核心方法是写(write),具体接收上个模块的输出数据作为输入源,再进行最终的写出操作。
S230、根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业。
具体的,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,可以包括:通过业务转换模块中的作业引擎,根据目标计算引擎对初始业务作业进行语言转换,得到目标业务作业,其中目标业务作业为目标计算引擎所支持语言描述的作业。
S240、将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。
具体的,将目标业务作业发送至目标计算引擎,可以包括:通过业务转换模块中的作业发射器,将目标业务作业发送至目标计算引擎,其中作业发射器支持对目标业务作业的运行管理操作,运行管理操作包括启动、停止和修改。
本实施例提出了一种基于通用描述语言的大数据计算框架的统一解决方案:一是为了屏蔽流式计算各种技术架构底层的差异,让作业开发和使用人员只需关注上层的业务逻辑,二是在设计阶段提供可视化操作界面,统一定义流式计算业务作业中常用的功能函数,并将其封装成与底层架构无关的通用插件,通过页面拖拉拽的方式自由组装成可识别的DAG图。在作业发布运行阶段,根据用户实际环境部署的情况来决定运行的流式计算引擎。从而将业务逻辑与计算引擎解耦,提高作业配置的可移植性。
本实施例通过获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业,通过业务转换模块中的业务逻辑配置单元,对初始业务作业进行业务逻辑的配置,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。本实施例提供的技术方案,通过业务转换模块将通用语言描述的业务作业,可以转换为不同计算引擎可以运行的业务作业,使作业配置与计算引擎的运行可以实现解耦合,实现了作业配置的可移植,节省了工作量,提高了业务配置的效率。
实施例三
图6为本发明实施例三中提供的一种业务配置装置的结构示意图,本实施例可适用于在数据计算框架中进行业务配置的情况。本发明实施例所提供的业务配置装置可执行本发明任意实施例所提供的业务配置方法,具备执行方法相应的功能模块和有益效果。
该装置具体包括作业获取模块310、作业转换模块320和作业发送模块330,其中:
作业获取模块310,用于获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业;
作业转换模块320,用于根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业;
作业发送模块330,用于将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。
本发明实施例通过获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业,根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业,将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。本发明实施例提供的技术方案,通过业务转换模块将通用语言描述的业务作业,可以转换为不同计算引擎可以运行的业务作业,使作业配置与计算引擎的运行可以实现解耦合,实现了作业配置的可移植,节省了工作量,提高了业务配置的效率。
进一步的,作业获取模块310具体用于:
基于预设的作业管理模块提供的可视化操作界面,获取用户输入的初始业务作业和目标计算引擎。
进一步的,作业转换模块320具体用于:
通过业务转换模块中的作业引擎,根据目标计算引擎对初始业务作业进行语言转换,得到目标业务作业,其中目标业务作业为目标计算引擎所支持语言描述的作业。
进一步的,作业发送模块330具体用于:
通过业务转换模块中的作业发射器,将目标业务作业发送至目标计算引擎,其中作业发射器支持对目标业务作业的运行管理操作,运行管理操作包括启动、停止和修改。
进一步的,该装置还包括:
业务逻辑配置模块,用于据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换之前,通过业务转换模块中的业务逻辑配置单元,对初始业务作业进行业务逻辑的配置,其中业务逻辑配置单元包括数据源接口、数据转换接口和数据输出接口。
进一步的,业务逻辑配置模块具体用于:
按照业务逻辑配置单元的设定接口执行顺序,依次对初始业务作业进行数据源信息的定义、数据转换操作的配置和数据输出配置。
进一步的,设定接口执行顺序从前到后依次为数据源接口、数据转换接口和数据输出接口。
本发明实施例所提供的业务配置装置可执行本发明任意实施例所提供的业务配置方法,具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四中提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备412的框图。图7显示的设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,设备412以通用设备的形式表现。设备412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该设备412交互的终端通信,和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器420通过总线418与设备412的其它模块通信。应当明白,尽管图中未示出,可以结合设备412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的业务配置方法,该方法包括:
获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业;
根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业;
将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的业务配置方法,该方法包括:
获取初始业务作业和目标计算引擎,初始业务作业为通过通用语言描述的作业;
根据目标计算引擎,通过设定的业务转换模块对初始业务作业进行语言转换,得到目标业务作业;
将目标业务作业发送至目标计算引擎,以使目标计算引擎运行目标业务作业。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种业务配置方法,其特征在于,包括:
获取初始业务作业和目标计算引擎,所述初始业务作业为通过通用语言描述的作业;
根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换,得到目标业务作业;
将所述目标业务作业发送至所述目标计算引擎,以使所述目标计算引擎运行所述目标业务作业。
2.根据权利要求1所述的方法,其特征在于,所述获取初始业务作业和目标计算引擎,包括:
基于预设的作业管理模块提供的可视化操作界面,获取用户输入的所述初始业务作业和目标计算引擎。
3.根据权利要求1所述的方法,其特征在于,根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换,得到目标业务作业,包括:
通过所述业务转换模块中的作业引擎,根据所述目标计算引擎对所述初始业务作业进行语言转换,得到所述目标业务作业,其中所述目标业务作业为所述目标计算引擎所支持语言描述的作业。
4.根据权利要求1所述的方法,其特征在于,将所述目标业务作业发送至所述目标计算引擎,包括:
通过所述业务转换模块中的作业发射器,将所述目标业务作业发送至所述目标计算引擎,其中所述作业发射器支持对所述目标业务作业的运行管理操作,所述运行管理操作包括启动、停止和修改。
5.根据权利要求1所述的方法,其特征在于,根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换之前,还包括:
通过业务转换模块中的业务逻辑配置单元,对所述初始业务作业进行业务逻辑的配置,其中所述业务逻辑配置单元包括数据源接口、数据转换接口和数据输出接口。
6.根据权利要求5所述的方法,其特征在于,通过业务转换模块中的业务逻辑配置单元,对所述初始业务作业进行业务逻辑的配置,包括:
按照所述业务逻辑配置单元的设定接口执行顺序,依次对所述初始业务作业进行数据源信息的定义、数据转换操作的配置和数据输出配置。
7.根据权利要求6所述的方法,其特征在于,所述设定接口执行顺序从前到后依次为所述数据源接口、所述数据转换接口和所述数据输出接口。
8.一种业务配置装置,其特征在于,包括:
作业获取模块,用于获取初始业务作业和目标计算引擎,所述初始业务作业为通过通用语言描述的作业;
作业转换模块,用于根据所述目标计算引擎,通过设定的业务转换模块对所述初始业务作业进行语言转换,得到目标业务作业;
作业发送模块,用于将所述目标业务作业发送至所述目标计算引擎,以使所述目标计算引擎运行所述目标业务作业。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的业务配置方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的业务配置方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911158070.9A CN110868324A (zh) | 2019-11-22 | 2019-11-22 | 一种业务配置方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911158070.9A CN110868324A (zh) | 2019-11-22 | 2019-11-22 | 一种业务配置方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110868324A true CN110868324A (zh) | 2020-03-06 |
Family
ID=69655758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911158070.9A Pending CN110868324A (zh) | 2019-11-22 | 2019-11-22 | 一种业务配置方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110868324A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111708545A (zh) * | 2020-06-17 | 2020-09-25 | 北京同邦卓益科技有限公司 | 业务流程的部署方法、装置、电子设备及存储介质 |
CN112394962A (zh) * | 2020-11-27 | 2021-02-23 | 中国银联股份有限公司 | 一种业务执行方法、业务逻辑更新方法及装置 |
CN114020365A (zh) * | 2021-11-26 | 2022-02-08 | 建信金融科技有限责任公司 | 流计算处理引擎的参数配置方法和相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060229925A1 (en) * | 2005-04-08 | 2006-10-12 | International Business Machines Corporation | Automatic discovery and maintenance of business processes in web services and enterprise development environments |
CN109710215A (zh) * | 2018-12-25 | 2019-05-03 | 福建南威软件有限公司 | 分布式流计算的可视化流程处理引擎及其使用方法 |
CN109739663A (zh) * | 2018-12-29 | 2019-05-10 | 深圳前海微众银行股份有限公司 | 作业处理方法、装置、设备及计算机可读存储介质 |
CN110019651A (zh) * | 2019-03-01 | 2019-07-16 | 广州亚美信息科技有限公司 | 一种流式规则引擎及业务数据处理方法 |
-
2019
- 2019-11-22 CN CN201911158070.9A patent/CN110868324A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060229925A1 (en) * | 2005-04-08 | 2006-10-12 | International Business Machines Corporation | Automatic discovery and maintenance of business processes in web services and enterprise development environments |
CN109710215A (zh) * | 2018-12-25 | 2019-05-03 | 福建南威软件有限公司 | 分布式流计算的可视化流程处理引擎及其使用方法 |
CN109739663A (zh) * | 2018-12-29 | 2019-05-10 | 深圳前海微众银行股份有限公司 | 作业处理方法、装置、设备及计算机可读存储介质 |
CN110019651A (zh) * | 2019-03-01 | 2019-07-16 | 广州亚美信息科技有限公司 | 一种流式规则引擎及业务数据处理方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111708545A (zh) * | 2020-06-17 | 2020-09-25 | 北京同邦卓益科技有限公司 | 业务流程的部署方法、装置、电子设备及存储介质 |
CN111708545B (zh) * | 2020-06-17 | 2023-09-22 | 北京同邦卓益科技有限公司 | 业务流程的部署方法、装置、电子设备及存储介质 |
CN112394962A (zh) * | 2020-11-27 | 2021-02-23 | 中国银联股份有限公司 | 一种业务执行方法、业务逻辑更新方法及装置 |
CN112394962B (zh) * | 2020-11-27 | 2024-01-26 | 中国银联股份有限公司 | 一种业务执行方法、业务逻辑更新方法及装置 |
CN114020365A (zh) * | 2021-11-26 | 2022-02-08 | 建信金融科技有限责任公司 | 流计算处理引擎的参数配置方法和相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209034B2 (ja) | エッジコンピューティングテスト方法、装置、機器及び読み取り可能な記憶媒体 | |
US10642725B2 (en) | Automated test generation for multi-interface enterprise virtualization management environment | |
JP7421511B2 (ja) | アプリケーションをデプロイするための方法及び装置、電子機器、読み取り可能な記憶媒体並びにコンピュータプログラム | |
US10185558B2 (en) | Language-independent program composition using containers | |
US10831463B2 (en) | Intelligent software deployment on an IaaS platform | |
US20140081615A1 (en) | Virtual systems testing | |
CN110868324A (zh) | 一种业务配置方法、装置、设备和存储介质 | |
CN112395736B (zh) | 一种分布交互仿真系统的并行仿真作业调度方法 | |
US20180136949A1 (en) | Path-sensitive contextual help system | |
CN113127361A (zh) | 应用程序的开发方法、装置、电子设备和存储介质 | |
CN116360735A (zh) | 一种表单生成方法、装置、设备和介质 | |
CN113238739A (zh) | 一种插件开发和数据获取方法、装置、电子设备及介质 | |
CN111538659B (zh) | 业务场景的接口测试方法、系统、电子设备和存储介质 | |
CN112230944A (zh) | 应用安装方法、装置、电子设备和计算机可读介质 | |
US10970055B2 (en) | Identifying software and hardware bottlenecks | |
CN111124634A (zh) | 一种训练方法、装置及电子设备和存储介质 | |
US11640281B2 (en) | Tool for introspection in object-oriented source code | |
US11995562B2 (en) | Integrating documentation knowledge with log mining for system diagnosis | |
CN108960433B (zh) | 用于运行机器学习建模过程的方法及系统 | |
CN113032237A (zh) | 数据处理方法及装置、电子设备和计算机可读存储介质 | |
Wang et al. | Cloud API testing | |
US10204029B2 (en) | Stack pattern breakpoint in COBOL | |
CN114365151A (zh) | 神经网络模型转化方法、装置、服务器及存储介质 | |
CN112817573B (zh) | 用于构建流式计算应用的方法、装置、计算机系统和介质 | |
WO2024000917A1 (zh) | 一种无侵入可插拔的前端构建转移提速方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220919 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200306 |
|
RJ01 | Rejection of invention patent application after publication |