CN110928907A - 目标任务处理方法、装置及电子设备 - Google Patents
目标任务处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110928907A CN110928907A CN201911128731.3A CN201911128731A CN110928907A CN 110928907 A CN110928907 A CN 110928907A CN 201911128731 A CN201911128731 A CN 201911128731A CN 110928907 A CN110928907 A CN 110928907A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- target
- configuration
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 17
- 238000013075 data extraction Methods 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims 4
- 238000012544 monitoring process Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004900 laundering Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0609—Buyer or seller confidence or verification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种目标任务处理方法、装置及电子设备,该目标任务为预测模型的训练任务或者基于预测模型的预测任务,该方法包括:响应于进行数据选择配置的触发,提供数据配置接口;获取通过所述数据配置接口输入的选择配置信息;根据所述选择配置信息从获取到的数据表中提取目标数据;基于所述目标数据执行所述目标任务。
Description
技术领域
本发明涉及人工智能应用技术领域,更具体地,涉及一种目标任务处理方法、一种目标任务处理装置、一种电子设备、及一种可读存储介质。
背景技术
在机器学习技术广泛应用之前,企业中的部分业务场景,例如,一笔交易是否为欺诈交易,一笔交易是否为洗钱交易,一位客户是否值得开展营销等,一般由规则系统决策或者由决策师根据经验确定。当机器学习技术开始在企业业务场景运用后,相比规则系统和人为决策,基于机器学习模型开展业务决策可以明显提升决策的准确性。
对于机器学习技术,无论是预测模型的训练任务,还是基于预测模型的预测任务,均需要获取大量数据。例如,在训练任务中,需要获取大量数据作为训练样本。又例如,在预测任务中,需要获取数据作为预测对象进行预测,和/或需要获取数据进行预测模型的自学习。现有技术中,需要在以上任务中由用户手动进行数据的选择,或者在实施对应任务的应用中预置固定的数据选择程序,在此,由于在不同的场景和/或任务下,数据的选择不具有通用性,用户需要根据当前需求选择适应的方式进行数据的选择,这无论对于人为实现,还是修改应用程序,都无疑会造成各种资源的浪费,因此,在机器学习领域,非常有必要提供一种适应各种任务的通用的处理方法。
发明内容
本发明的提供了一种目标任务处理方法的新的技术方案,以提高处理目标任务的通用性。
根据本发明的第一方面,提供了一种目标任务处理方法,所述目标任务为预测模型的训练任务或者基于预测模型的预测任务,所述方法包括:
响应于进行数据选择配置的触发,提供数据配置接口;
获取通过所述数据配置接口输入的选择配置信息;
根据所述选择配置信息从获取到的数据表中提取目标数据;
基于所述目标数据执行所述目标任务。
可选地,所述方法还包括:
获取所述目标任务的任务属性信息;
在所述数据配置接口中,显示与所述任务属性信息相匹配的默认的选择配置信息。
可选地,所述方法还包括获得与所述任务属性信息相匹配的默认的选择配置信息的步骤,包括:
获取历史任务的历史选择配置信息;
根据所述历史选择配置信息,获得与所述任务属性信息相匹配的默认的选择配置信息。
可选地,所述数据配置接口包括用于输入选择数据表的时间信息的时间配置项、及用于输入根据数据表的属性信息选择数据表的属性配置项中的至少一项。
可选地,所述时间配置项包括时间锚点配置项、相对所述时间锚点的起始时间配置项、及相对所述时间锚点的截止时间配置项。
可选地,所述根据所述选择配置信息从获取到的数据表中提取目标数据,包括:
根据所述选择配置信息,从获取到的多张数据表中选择目标数据表;
从所述目标数据表中获取所述目标数据。
可选地,所述根据所述选择配置信息,从获取到的多张数据表中选择目标数据表包括:
获取通过所述数据配置接口输入的关于数据表的属性信息的逻辑表达式;
根据所述多张数据表中每一数据表的属性信息及所述逻辑表达式,从获取到的多张数据表中选择目标数据表。
可选地,所述方法还包括:
提供数据选择模组,其中,所述数据选择模组用于执行所述根据所述选择配置信息从获取到的数据表中提取目标数据的步骤;
所述响应于进行数据选择配置的触发,提供数据配置接口包括:
响应于通过点击数据选择模组完成的所述触发,提供所述数据配置接口。
可选地,根据目标任务为基于预测模型的预测任务,所述基于所述目标数据执行所述目标任务包括:
根据配置的模型选择条件,从模型集合中选择用于执行所述预测任务的模型作为目标模型;
基于所述目标模型和所述目标数据,执行所述预测任务。
可选地,所述方法还包括:
响应于配置模型选择条件的触发,提供模型配置接口;
获取通过所述模型配置接口输入的模型选择条件,作为所述配置的模型选择条件。
可选地,所述模型选择条件包括对于模型指标、模型生成时间、模型使用时间中至少一项的选择条件。
可选地,所述模型集合中的模型包括通过自学习得到的模型,所述方法还包括:
获取在执行所述预测任务时输入的预测数据;
获取对应所述预测数据的真实结果;
基于获取的预测数据及其对应的真实结果生成更新训练样本;
通过所述更新训练样本获得更新的机器学习模型;
将所述更新的机器学习模型投放至所述模型集合中。
可选地,所述根据所述目标数据执行所述目标任务包括:
获取执行所述目标任务所需的各个功能模组,其中,所述各个功能模组包括数据选择模组,所述数据选择模组用于执行所述根据所述选择配置信息从获取到的数据表中提取目标数据的步骤;
根据配置的所述各个功能模组间的运行顺序串联所述各个功能模组,执行所述目标任务。
可选地,所述方法还包括获得配置的所述各个功能模组间的运行顺序的步骤,包括:
根据通过所述各个功能模组搭建的有向无环图,获得所配置的各个功能模组间的运行顺序。
可选地,所述方法还包括:
获取反映执行所述目标任务的状态的运行状态信息;
响应于进行运行监控的触发,提供运行监控界面,其中,所述运行监控界面提供所述运行状态信息和/或所述运行状态信息的获取入口。
可选地,所述方法还包括:
根据通过所述运行监控界面输入的控制命令,控制所述目标任务的执行。
可选地,所述方法还包括:
获取配置的所述目标任务的运行时间;
根据所述运行时间,执行所述根据所述选择配置信息从获取到的数据表中提取目标数据以及基于所述目标数据执行所述目标任务的步骤。
可选地,所述方法还包括:
响应于配置运行时间的触发,提供时间配置接口,其中,所述时间配置接口提供单次运行的运行时间配置项和/或循环运行的运行时间配置项;
获取通过所述时间配置接口输入的运行时间,作为所述配置的所述目标任务的运行时间。
可选地,任意所述配置接口包括提供勾选项的配置项及提供输入框的配置项中的至少一项。
根据本发明的第二方面,还提供了一种目标任务处理装置,所述目标任务为预测模型的训练任务或者基于预测模型的预测任务,所述装置包括:
数据配置模块,用于响应于进行数据选择配置的触发,提供数据配置接口;
配置信息获取模块,用于获取通过所述数据配置接口输入的选择配置信息;
数据提取模块,用于根据所述选择配置信息从获取到的数据表中提取目标数据;以及,
任务执行模块,用于基于所述目标数据执行所述目标任务。
可选地,所述装置还包括:
属性信息获取模块,用于获取所述目标任务的任务属性信息;以及,
显示处理模块,用于在所述数据配置接口中,显示与所述任务属性信息相匹配的默认的选择配置信息。
可选地,所述方法还包括:
默认信息确定模块,用于获取历史任务的历史选择配置信息;及根据所述历史选择配置信息,获得与所述任务属性信息相匹配的默认的选择配置信息提供给所述显示处理模块。
可选地,所述数据配置接口包括用于输入选择数据表的时间信息的时间配置项、及用于输入根据数据表的属性信息选择数据表的属性配置项中的至少一项。
可选地,所述时间配置项包括时间锚点配置项、相对所述时间锚点的起始时间配置项、及相对所述时间锚点的截止时间配置项。
可选地,所述数据提取模块在根据所述选择配置信息从获取到的数据表中提取目标数据时,用于:根据所述选择配置信息,从获取到的多张数据表中选择目标数据表;以及,从所述目标数据表中获取所述目标数据。
可选地,所述数据提取模块在根据所述选择配置信息,从获取到的多张数据表中选择目标数据表时,用于:获取通过所述数据配置接口输入的关于数据表的属性信息的逻辑表达式;以及,根据所述多张数据表中每一数据表的属性信息及所述逻辑表达式,从获取到的多张数据表中选择目标数据表。
可选地,所述装置还包括:
资源模块,用于提供数据选择模组,其中,所述数据选择模组包括所述数据提取模块;
所述数据配置模块在响应于进行数据选择配置的触发,提供数据配置接口时,用于:响应于通过点击数据选择模组完成的所述触发,提供所述数据配置接口。
可选地,根据目标任务为基于预测模型的预测任务,所述任务执行模块在基于所述目标数据执行所述目标任务时,用于:根据配置的模型选择条件,从模型集合中选择用于执行所述预测任务的模型作为目标模型;以及,基于所述目标模型和所述目标数据,执行所述预测任务。
可选地,所述装置还包括:
模型配置模块,用于响应于配置模型选择条件的触发,提供模型配置接口;
模型选择确定模块,用于获取通过所述模型配置接口输入的模型选择条件,作为所述配置的模型选择条件。
可选地,所述模型选择条件包括对于模型指标、模型生成时间、模型使用时间中至少一项的选择条件。
可选地,所述模型集合中的模型包括通过自学习得到的模型,所述装置还包括自学习模块;
所述自学习模块用于:获取在执行所述预测任务时输入的预测数据;获取对应所述预测数据的真实结果;基于获取的预测数据及其对应的真实结果生成更新训练样本;通过所述更新训练样本获得更新的机器学习模型;以及,将所述更新的机器学习模型投放至所述模型集合中。
可选地,所述任务执行模块在根据所述目标数据执行所述目标任务时,用于:获取执行所述目标任务所需的各个功能模组,其中,所述各个功能模组包括具有所述数据提取模块的数据选择模组;以及,根据配置的所述各个功能模组间的运行顺序串联所述各个功能模组,执行所述目标任务。
可选地,所述装置还包括:
运行顺序确定模块,用于根据通过所述各个功能模组搭建的有向无环图,获得所配置的各个功能模组间的运行顺序,并将所述运行顺序提供给所述任务执行模块。
可选地,所述装置还包括:
监控模块,用于获取反映执行所述目标任务的状态的运行状态信息;及,响应于进行运行监控的触发,提供运行监控界面,其中,所述运行监控界面提供所述运行状态信息和/或所述运行状态信息的获取入口。
可选地,所述监控模块还用于获取通过所述运行监控界面输入的控制命令提供至任务执行模块,以使得所述任务执行模块根据所述控制命令控制所述目标任务的执行。
可选地,所述装置还包括:
运行控制模块,用于获取配置的所述目标任务的运行时间;以及,根据所述运行时间,执行所述根据所述选择配置信息从获取到的数据表中提取目标数据以及基于所述目标数据执行所述目标任务的步骤。
可选地,所述装置还包括:
运行时间配置模块,用于响应于配置运行时间的触发,提供时间配置接口,其中,所述时间配置接口提供单次运行的运行时间配置项和/或循环运行的运行时间配置项;以及,获取通过所述时间配置接口输入的运行时间,作为所述配置的所述目标任务的运行时间。
可选地,任意所述配置接口包括提供勾选项的配置项及提供输入框的配置项中的至少一项。
根据本发明的第三方面,还提供了一种电子设备,包括:
根据本发明的第二方面所述的装置;或者,
包括:处理器和存储器,所述存储器用于存储指令,所述指令用于控制所述处理器执行根据本发明的第一方面所述的方法。
根据本发明的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据本发明的第一方面所述的方法。
在本发明的实施例中,用户能够通过所提供的数据配置接口,针对当前的目标任务输入相适配的选择配置信息,使得执行目标任务的应用能够基于该选择配置信息从数据表中提取所需的数据,并进而根据提取出的数据执行目标任务,实现该系统对于不同场景下的目标任务的不同数据选择方式的兼容,提高系统的通用性。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1示出了本发明实施例的电子设备的一种硬件配置的原理框图;
图2示出了本发明实施例的目标任务处理方法的流程图;
图3示出了根据本发明一个例子的数据配置接口的示意图。
图4示出了根据本发明一个例子的通过有向无环图构建预测任务的示意图;
图5示出了本发明一个例子的开发离线预测任务的流程示意图;
图6示出了本发明实施例的目标任务处理装置的原理框图;
图7示出了本发明的实施例的电子设备的原理框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
下面,参照附图描述根据本发明实施例的各个实施例和例子。
<硬件配置>
本发明实施例提供了一种针对不同目标任务的通用的目标任务处理方法,以使得实施该目标任务处理方法的应用能够适用于处理不同的目标任务,可以复用在大多数的业务场景中,进而提高应用的价值。
图1示出了用于实施本发明任意实施例的目标任务处理方法的电子设备1000的一个例子的硬件结构框图。
该电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑、服务器等,在此不做限定。
如图1所示,电子设备1000可以包括处理器1100、及均与处理器连接的存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700和麦克风1800等等。其中,处理器1100可以是具有运算和控制能力的中央处理器(CPU)或微控制器(MCU)等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏等。输入装置1600例如可以包括触摸屏、键盘、语音输入、体感输入等。扬声器1700用于输出音频信号,麦克风1800用于采集音频信号。
应用于本发明实施例中,电子设备1000的存储器1200用于存储指令(计算机程序),该指令用于控制处理器1100进行操作以执行根据本发明任意实施例提供的目标任务处理方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图1中对电子设备1000示出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如,电子设备1000只涉及处理器1100、存储器1200、显示装置1500和输入装置1600等。
<方法实施例>
图2示出了根据本发明一个实施例的目标任务处理方法的流程示意图,该目标任务处理方法可以例如可以由图1所示的电子设备1000实施,本实施例中,该目标任务可以是预测模型的训练任务,也可以是基于预测模型的预测任务。
根据图1所示,本实施例的目标任务处理方法可以包括如下步骤S2100~S2400。
步骤S2100,响应于进行数据选择配置的触发,提供数据配置接口。
本实施例中,安装在电子设备1000上的目标应用的客户端可以提供用于触发数据选择配置的入口,用户可以通过该入口触发进行数据选择配置的操作。
在一个例子中,该入口可以位于该客户端的任意界面上。
在另外的例子中,该入口也可以位于实施数据选择的数据选择模组上。这样,用户便可在通过目标应用提供的包括数据选择模组在内的各功能模组构建目标任务时,通过操作该数据选择模组进行相应的数据配置,省去了用户通过客户端的界面寻找该入口的操作。
在该另外的例子中,步骤S2100中响应于进行数据选择配置的触发,提供数据配置接口可以包括:响应于通过点击数据选择模组完成的该触发,提供该数据配置接口。
在各种应用场合中,用户均是以数据表的形式保存数据,并将数据表提供给目标应用,数据表有两种形式,一种形式是样本数据以多张表格的形式进行存储,如银行的交易表,每条样本的数据分布在多张表格中,不同表格涉及样本的不同属性数据;另一种形式是样本数据保存在一张全量表内,如卡表等。因此,目标应用在根据数据表进行数据选择时,可能涉及数据表的选择和/或在数据表中选择数据的处理。
以上在数据表中选择数据的处理可以通过现有手段实现,例如在数据表中选择对应设定属性的数据,用户例如可以通过结构化查询语言(Structured Query Language,SQL)对数据表中的数据进行筛选即可,例如,对于一张HIVE表,可以通过HIVE SQL语言完成在该表中进行数据筛选的操作。但如何选择数据表却是机器学习领域的难题,本实施例通过提供数据配置接口,便可解决选择数据表的问题。
为解决选择数据表的问题,该数据配置接口可以包括用于输入选择数据表的时间信息的时间配置项、及用于输入根据数据表的属性信息选择数据表的属性配置项中的至少一项。这样,目标应用根据用户通过该数据配置接口输入的选择数据表的时间信息和/或数据表的属性信息,便可实现数据表的选择。
以上时间配置项例如可以包括时间锚点配置项、相对该时间锚点的起始时间配置项、及相对该时间锚点的截止时间配置项。
时间锚点为用于确定数据表的起始时间和数据表的截止时间的基准时间点。
参见图3所示,时间锚点配置项例如可以提供基于任务运行时间确定时间锚点的选项,在用户对于时间锚点配置项选择该选项的情况下,目标应用将在每次运行目标任务时,自动将当前时间作为时间锚点完成数据的选取。
参见图3所示,时间锚点配置项例如也可以提供自定义时间锚点的选项,该选项可以是一个输入框等,用户可以通过输入框输入一个具体时间作为时间锚点。通过该选项,用户可以方便地指定一个具体的时间,甚至可以精确到分钟等,自定义时间锚点适应于一次运行目标任务的场景,例如调试场景。
参见图3所示,起始时间配置项为数据范围的左区间,用时间锚点的相对时间来定义,如30天前,即,相对时间锚点的30天前。
参见图3所示,截止时间配置项为数据范围的右区间,该配置项可以提供基于时间锚点定义该右区间的选项,和/或,也可以提供基于数据表的上传时间定义该数据范围的选项,例如,该选项为“最早上传的数据”等。
例如,用户通过起始时间配置项设置起始时间为30天前,通过截止时间配置项设置截止时间为1天前,目标应用将选择在所设置的时间锚点的30天前至1天前上传的数据表执行目标任务。又例如,用户通过起始时间配置项设置起始时间为0天前,设置的截止时间为“最早上传的数据”,目标应用将选择时间锚点当天的最早上传的一个数据表(或者称之为一个数据切片)执行目标任务。
以上属性配置项使得用户能够通过限定数据表的属性信息来选择执行目标任务所需的数据表。
数据表的属性信息例如可以包括:数据表的创建时间、业务时间、更新时间、序号等,在此不做限定。
目标应用根据用户通过属性配置项设置的有关该属性信息的选择条件,可以从接收到的所有数据组中筛选满足该选择条件的数据表参与执行目标任务。
该属性配置项例如可以提供自定义该选择条件的输入框,用户可以通过有关属性信息的逻辑表达式输入该选择条件。
例如,数据表有A、B、C三个属性信息,在数据选择阶段可根据通过或、且、非等方式设置数据选择逻辑。该数据选择逻辑例如是每次任务运行选择最近一个月的数据等。
在一个实施例中,该方法还可以包括如下步骤:获取该目标任务的任务属性信息;以及,在该数据配置接口中,显示与任务属性信息相匹配的默认的选择配置信息。
该任务属性信息例如可以包括预测模型的应用场景、预测模型的算法、及预测任务的类型(离线预测、实时预测、自学习等)中的至少一项。
目标应用可以预置映射数据,该映射数据表示任务属性信息与数据配置接口中各配置项的配置值间的对应关系。该映射数据可以是映射规则,也可以是映射函数。
该映射数据例如可以根据历史任务的历史选择配置信息确定或者训练得到,以使得该映射数据对于实际场景具有较高的精准度。该历史任务包含符合该目标任务的任务属性信息的任务,还可以包含符合其他任务属性信息的任务。
根据该实施例,在用户进行数据选择配置的触发后,数据选择接口便可在至少部分配置项中提供与该目标任务相适配的默认的选择配置信息,这样,用户便可在此基础上进行数据选择配置的调整,大大减少了用户在进行数据选择配置时的工作量。
在一个实施例中,该方法还可以包括获得与该目标任务的任务属性信息相匹配的默认的选择配置信息的步骤,包括:获取历史任务的历史选择配置信息;以及,根据该历史选择配置信息,获得与该目标任务的任务属性信息相匹配的默认的选择配置信息。
例如,可以根据基于历史选择配置信息获得的映射数据,获得与该目标任务的任务属性信息相匹配的默认的选择配置信息。
该数据配置接口提供的配置项可以包括提供勾选项的配置项及提供输入框的配置项中的至少一种,在此不做限定。对于提供勾选项的配置项,用户通过“点选”的选择操作即可完成数据配置。对于提供输入框的配置项,用户需要通过在输入框中输入配置信息完成数据配置,该种形式的配置项方便用户进行数据配置的自定义设置。本说明书中提到的任意配置接口均可参照数据配置接口提供任意形式的配置项,后面对此不再赘述。
步骤S2200,获取通过该数据配置接口输入的选择配置信息。
根据该步骤S2200,目标应用的客户端可以在用户通过数据配置接口完成数据选择配置后,获取用户通过该数据配置接口输入的选择配置信息。
例如,该选择配置信息包括上述的对于时间锚点的配置信息、对于起始时间的配置信息、对于截止时间的配置信息等。
又例如,该选择配置信息也可以包括基于逻辑表达式限定的基于数据表的属性信息表示的选择条件。
步骤S2300,根据该选择配置信息从获取到的数据表中提取目标数据。
根据该步骤S2300,目标应用可以根据通过步骤S2200获取到的选择配置信息,从获取到的所有数据表中提取目标数据。
该步骤S2300中,例如可以先从获取到的所有数据表中选择目标数据表,再从目标数据表中提取目标数据,该目标数据可以是目标数据表中的所有数据,也可以是目标数据表中的部分数据,在此不做限定。
在一个实施例中,该步骤S2300中根据选择配置信息从获取到的数据表中提取目标数据,可以包括:根据选择配置信息,从获取到的多张数据表中选择目标数据表;以及,从目标数据表中获取目标数据。
在一个实施例中,以上根据选择配置信息,从获取到的多张数据表中选择目标数据表,可以包括:获取通过数据配置接口输入的关于数据表的属性信息的逻辑表达式;根据多张数据表中每一数据表的属性信息及该逻辑表达式,从获取到的多张数据表中选择目标数据表。该实施例适应于上述的通过属性配置项输入选择配置信息的场合。
在另外的实施例中,以上根据选择配置信息,从获取到的多张数据表中选择目标数据表,也可以包括:根据通过数据配置接口输入的关于数据表的上报时间的选择配置信息,从获取到的多张数据表中选择目标数据表。该实施例适应于上述的通过时间配置项输入选择配置信息的场合。
步骤S2400,基于该目标数据执行该目标任务。
通过步骤S2300提取到的目标数据是执行目标任务的基础,在目标任务是预测模型的训练任务的情况下,该目标数据将作为训练样本数据,参与执行该目标任务;在目标任务是基于预测模型的预测任务的情况下,该目标数据将作为预测对象,参与执行该目标任务。
根据以上步骤S2100~S2400,本实施例的目标任务处理方法为用户提供了进行数据选择配置的数据配置接口,这样,用户便能够通过该数据配置接口,针对当前的目标任务输入相适配的选择配置信息,使得执行目标任务的目标应用能够基于该选择配置信息从数据表中提取所需的目标数据,并进而根据该目标数据执行目标任务,实现了该目标应用对于不同场景下的目标任务的不同数据选择方式的兼容,因此,基于该目标任务处理方法,便无需再根据具体场景的目标任务重新开发对应的目标应用,提高了目标应用的通用性。
在一个实施例中,目标任务为基于预测模型的预测任务,以上步骤S2400中基于该目标数据执行该目标任务可以包括:
步骤S2411,根据配置的模型选择条件,从模型集合中选择用于执行该预测任务的模型作为目标模型。
该模型选择条件可以包括对于模型指标、模型生成时间、模型使用时间中至少一项的选择条件。
该模型指标可以包括模型评估指标AUC,精确率、召回率、准确率、及基于以上任意指标或者任意指标组合的模型评分中的至少一项。
AUC是机器学习领域中常用的一种模型评估指标,指对应模型的受试者工作特征曲线(Receiver Operating Characteristic,ROC)下的面积,通常情况下,AUC越高,模型性能越高。
精确率Precision为提取出的正确信息条数与提取出的信息条数的比值。召回率Recall指提取出的正确信息条数与样本中的信息条数的比值。准确率Accuracy指预测正确的信息条数与样本中的信息条数的比值。
以基于召回率的模型评分的模型指标为例,该模型指标score可以为:
Score=A(i,j)ⅹRecall(i,j)公式(1);
公式(1)中,A(i,j)表示召回率Recall在i和j之间的得到。
该模型生成时间为生成对应模型的时间,这可以是通过模型调研训练得到对应模型的时间,也可以是通过自学习得到对应模型的时间。
该模型使用时间为在执行预测任务时使用对应模型的时间,例如,通过模型使用时间限定在设定时间段内使用的模型中选择目标模型等。
以上各种模型选择条件可以单独使用,也可以结合使用,在此不做限定。
该模型选择条件例如可以为:选择最新训练出的模型,选择AUC最高的模型,选择模型评分大于设定值的模型,选择在设定的模型使用时间内AUC最高的模型,或者选择在设定的模型生成时间内模型评分大于设定值的模型等等,在此不做限定。
为了进行模型选择条件的配置,该方法还包括如下步骤:响应于配置模型选择条件的触发,提供模型配置接口;以及,获取通过该模型配置接口输入的模型选择条件,作为该配置的模型选择条件,以供步骤S2410获取。
本实施例中,可参照上述数据配置接口的形式设置模型配置接口,在此不再赘述。
步骤S2412,基于该目标模型和该目标数据,执行预测任务。
本步骤S2412中,通过目标模型对目标数据进行预测,可获得对应目标数据的预测结果,以完成预测任务。
该预测任务可以是在线的实时预测任务,也可以是离线预测任务。
在此,实时预测任务即对于预测任务的应用场景,例如反洗钱预测场景,线上每产生一条数据,便通过预测模型对其进行预测,该种预测任务对于实时性的要求较高;离线预测任务相对实时预测任务,可以根据用户需求设置预测周期,其可以对在一段时间内产生的数据进行批量预测,例如,在每个时间在每一天的特定时间对当天产生的数据进行批量预测,或者在每个月的特定时间对当月产生的数据进行批量预测等,在此不做限定。
根据本实施例的目标任务处理方法,可以在模型集合中存在多个可供选择的模型的情况下,顺利地执行目标任务。
对于目标任务具有自学习环节的实施例,该模型集合可以包括通过自学习得到的模型,对此,本实施例的方法还可以包括:获取在执行预测任务时输入的预测数据;获取对应该预测数据的真实结果;基于获取的预测数据及其对应的真实结果生成更新训练样本;通过该更新训练样本获得更新的机器学习模型;以及,将该更新的机器学习模型投放至模型集合中。
在该实施例中,预测任务设置自学习环节可以不断改善预测模型的性能,以提高该预测模型的预测准确性。在此,由于每次的模型自学习均会产生一个新的模型进入模型集合,这就使得模型集合将至少包含多次自学习产生的模型,因此,本实施例的方法对于目标任务具有模型的自学习环节是尤为有利的。
根据本实施例的目标任务处理方法,目标应用可以基于配置的模型选择条件,自动完成对于执行目标任务的模型的选择,用户只需在进行目标任务的设置时设置好模型选择条件,而无需在目标任务上线运行后在每次执行目标任务时均进行模型选择的干预,大大提升了目标应用的自动运行能力。
在一个实施例中,该目标任务处理方法还可以包括如下步骤:获取配置的目标任务的运行时间,以根据该运行时间,执行上述步骤S2300中根据选择配置信息从获取到的数据表中提取目标数据以及步骤S2400中基于该目标数据执行目标任务的步骤。
本实施例中,对于单次运行的目标任务,该配置的运行时间例如可以包括运行起始时间,还可以包括任务超时时长。
本实施例中,对于循环运行的目标任务,该配置的运行时间例如可以包括循环起始时间、循环周期和循环终止时间,还可以包括任务超时时间。
以上循环终止时间例如可以以“一直循环”、“循环终止次数”或者“循环终止的具体时间”来表示。
本实施例中,该方法还可以包括:响应于配置运行时间的触发,提供时间配置接口,其中,时间配置接口提供单次运行的运行时间配置项和/或循环运行的运行时间配置项;以及,获取通过该时间配置接口输入的运行时间,作为配置的目标任务的运行时间。
该单次运行的运行时间配置项可以提供用于设置运行起始时间和任务超时时长的选项。
循环运行的运行时间配置项可以提供用于设置循环起始时间、循环周期、循环终止时间和任务超时时间的选项。本实施例中,可参照上述数据配置接口的形式设置模型配置接口,在此不再赘述。
根据本实施例的目标任务处理方法,可以基于配置的运行时间,自动启动目标任务,用户只需在进行目标任务的设置时设置好运行时间,而无需每次在期望的运行时间启动该目标任务,大大提升了目标应用的自动运行能力。
在一个实施例中,以上步骤S2400中根据目标数据执行目标任务可以包括:
步骤S2421,获取执行该目标任务所需的各个功能模组,其中,各个功能模组包括数据选择模组,该数据选择模组用于执行以上步骤S2300的根据选择配置信息从获取到的数据表中提取目标数据的操作。
本实施例中,这些功能模组由目标应用提供,用户可以通过这些功能模组进行目标任务的搭建。
对于预测模型的训练任务,这些功能模组例如可以包括:数据输入模组、数据选择模组、数据拆分模组、特征提取模组、模型训练模组、模型评估模组等。
对于基于预测模型的预测任务,这些功能模组例如可以包括数据输入模组、数据选择模组、特征提取模组、模型预测模组等。
以上数据输入模组用于引入通过设定路径上传的数据表。以上数据拆分模组用于将输入的数据拆分为训练数据和验证数据,其中,训练数据用于训练模型,验证数据用于对训练得到的模型进行评估。以上特征提取模组用于从输入的数据中提取设定模型训练或者模型预测所需输入的特征。以上模型训练模组用于基于指定的算法进行模型训练,例如二分类算法等。以上模型预测模组用于通过模型对输入的数据进行预测。以上模型评估模组用于通过验证数据对训练得到的模型进行评估,并给出设定的模型指标,例如AUC等。
以上各模组可以为封装好的算子,用户只需选择该模组搭建目标任务,而无需在搭建目标任务时自行编辑对应模组的算法内容。
这些模组可以支持模组配置、手动触发对应模组的运行、断点续跑、及参数值在上游模组至下游模组的传递等,在此不做限定。
步骤S2422,根据配置的各个功能模组间的运行顺序串联各个功能模组,执行目标任务。
本步骤S2422中,该运行顺序用于确定各功能模组间的运行关系,例如,根据运行顺序可以确定某一功能模组的输出为另一功能模组的输入等。
在一个例子中,该运行顺序可以通过编辑语言设置。
在另外的例子中,该运行顺序也可以通过带方向的连接线设置,例如,在两个功能模组之间搭建连接线,以使得此两个功能模组构成上下游关系。
对此,该方法还可以包括获得配置的各个功能模组间的运行顺序的步骤,包括:根据通过各个功能模组搭建的有向无环图(Directed Acyclic Graph,DAG),获得所配置的各个功能模组间的运行顺序。
该有向无环图如图4所示,该有向无环图搭建了一个预测任务,根据该有向无环图可知,数据输入模组4100位于最上游,数据选择模组4200为数据输入模组4100的下游,特征提取模组4300为数据选择模组4200的下游,模型预测模组4400为特征提取模组4300的下游,根据该有向无环图可以确定各功能模组的运行顺序。
根据本实施例的目标任务处理方法,用户可以通过目标应用提供的封装好的功能模组构建目标任务,对应地,目标任务可以根据用户在构建目标任务时配置的各个功能模组间的运行顺序串联各个功能模组,这样便能实现执行目标任务的目的,大大降低了开发及执行目标任务的难度。
另外,根据本实施例的目标任务处理方法,通过串联功能模组构建目标任务,可以实现手动触发运行、断点续跑等操作。
在执行目标任务的过程中,为了方便用户实时获知目标任务的运行状态,在一个实施例中,该目标任务处理方法还可以包括如下步骤:获取反映执行该目标任务的状态的运行状态信息;以及,响应于进行运行监控的触发,提供运行监控界面,其中,该运行监控界面提供运行状态信息和/或该运行状态信息的获取入口。
例如,该运行状态信息可以包括每一个功能模组的运行状态,该运行状态例如为运行成功,运行中,待运行,或者运行失败等。例如,这可以通过在运行监控界面中设置每一功能模组显示与对应运行状态相适配的颜色,来提供对应功能模组的运行状态。
又例如,该运行状态信息还可以包括目标任务的运行日志等。
又例如,该运行状态信息还可以包括运行超时、触发延迟、重试失败等预警监控信息。
根据本实施例,运行监控界面可以直接显示至少部分运行状态信息。运行监控界面还可以提供至少部分运行状态信息的获取入口,这样,用户通过该获取入口,便可获知对应的运行状态信息,例如获取目标任务的运行日志等,在此不做限定。
在一个实施例中,通过该运行监控界面,用户可以手动触发运行一次目标任务,或者手动触发某一功能模组重新执行对应任务。
在该实施例中,该目标任务处理方法还可以包括:根据通过上述运行监控界面输入的控制命令,控制目标任务的执行。
该控制命令例如是运行一次目标任务、从中间任务模组开始重新执行目标任务等命令,在此不做限定。
本实施例中,用户可以在目标应用执行目标任务的过程中,通过运行监控界面获取目标任务的运行状态信息,实现对执行目标任务的监控。
在一个实施例中,该目标任务处理方法还可以包括:响应于获取执行目标任务的执行结果的触发,提供该执行结果。
对于训练任务,该执行结果为训练得到的模型及相关信息。
对于基于预测模型的预测任务,该执行结果可以为针对预测数据的打分表等。
该实施例中,提供该执行结果可以包括显示执行结果和/或提供该执行结果的下载入口。
根据该实施例的方法,用户可以根据需要实时查询以获得执行结果,而无需每次都到目标任务指定的用于存在执行结果的路径下查找该执行结果。
<例子>
下面以目标任务为基于预测模型的离线预测任务为例,说明根据以上方法实施例的目标任务处理方法,开发对于任意场景的离线预测任务的整体流程,例如反洗钱场景、电话营销场景等。
根据图5所示,根据以上方法实施例的目标任务处理方法,该例子可以通过以下几个步骤实现离线预测任务的开发。
步骤一、定义数据的选择配置信息。
该步骤一中,可以对应于方法实施例中获取数据的选择配置信息的步骤,进行该选择配置信息的定义,即,通过数据配置接口提供的配置项,进行选择配置信息的定义。
步骤二、定义模型预测方案。
在模型调研阶段,经过优化调优后可以得到用于执行预测任务的初始预测模型,该模型调研阶段相当于实施以上指出的预测模型的训练任务,同样涉及进行数据的选择配置、运行时间的配置等,在此不再赘述。
步骤二需要基于该初始模型确定模型预测方案,该模型预测方案例如包括数据输入、数据选择、数据处理(数据表合并等)、特征提取、模型选择、模型预测等,以确定模型预测方案的整体架构,进而确定需要使用的功能模组。
步骤三、定义预测模型的自学习环节。
由于模型调研阶段产生的初始预测模型的预测效果可能会随着时间推移有所衰减,因此,在业务开展过程中,可针对业务上最近产生的数据不断开展模型训练,称之为模型自我学习。新数据训练出的预测模型一般效果更好,对业务的指导意义更大。模型自我学习的开展会产生一系列的模型,供模型预测环节使用。
该预测模型的自学习环节也相当于实施以上指出的预测模型的训练任务,同样涉及进行数据的选择配置、运行时间的配置等,在此不再赘述。
通过自学习环节产生的新的模型可以置入模型集合中,以供在模型预测阶段使用。
步骤四、定义模型自动选择策略。
基于以上自学习环节,模型集合中将不仅包含初始预测模型,还会包含通过每次自学习产生的新的模型,因此,对应于方法实施例中获取模型选择条件的步骤,可以通过模型配置接口定义模型选择条件,以在模型预测阶段,根据该模型选择条件从模型集合中选择用于执行当前目标任务的预测模型。
步骤五、配置目标任务的运行时间。
离线预测任务通常会根据业务需要在特定时间运行,例如,在每天的12点运行、每个星期一运行、或者每月1号运行等。因此,对于离线预测任务,可以在搭建目标任务时,进行目标任务的运行时间的配置。
该步骤中,对应于方法实施例中提供的获取配置的目标任务的运行时间的步骤,可以通过时间配置接口定义该运行时间,以在模型预测阶段,根据该运行时间启动离线预测任务。
步骤六、建立各功能模组间的依赖关系,以通过串联各功能模组,实现对离线预测任务的搭建。
对应于方法实施例中提供的执行目标任务的步骤,用户可以通过有向无环图等建立各功能模组间的依赖关系,以实现各功能模组间的串联。
步骤七、运行状态监控
在搭建完离线预测任务,可以进行离线预测任务的部署上线。上线后,离线预测任务便可以根据以上步骤一至步骤六的配置执行离线预测任务。
在执行离线预测任务的过程中,可以基于以上方法实施例提供运行状态监控,用户可以通过运行监控界面获取离线预测任务的运行状态信息。
步骤八、输出预测结果
每次任务运行成功后,可以将预测结果提供给用户进行查看,或者将预测结果直接提供给下游系统,以进行后续的业务操作或进一步的数据处理。
步骤九、进行离线预测任务的在线修改。
例如可以修改基于以上步骤一、步骤四、步骤五等配置的信息,还可以修改离线预测任务的运行资源参数等,例如CPU参数等,在此不做限定。
根据该步骤九的修改方法与以上方法实施例提供的各种配置方法类似,在此不再赘述。
根据该例子可知,基于目标应用实施本发明任意实施例的目标任务处理方法,用户可以通过该目标应用进行不同的数据选择配置、运行时间配置、模型选择配置等等,进而构建适用于任意场景的目标任务,而无需针对不同场景的目标任务修改目标应用,明显提高了该目标应用对于任意场景的通用性。
<装置实施例>
图6示出了根据本发明一个实施例的目标任务处理装置的原理框图,其中,目标任务为预测模型的训练任务或者基于预测模型的预测任务。
根据图6所示,该目标任务处理装置可以包括数据配置模块6100、配置信息获取模块6200、数据提取模块6300和任务执行模块6400。
该数据配置模块6100用于响应于进行数据选择配置的触发,提供数据配置接口。
该配置信息获取模块6200用于获取通过该数据配置接口输入的选择配置信息;
该数据提取模块6300用于根据配置信息获取模块6200提供的该选择配置信息从获取到的数据表中提取目标数据。
该任务执行模块6400用于基于该目标数据执行该目标任务。
在一个实施例中,该目标任务处理装置6000还可以包括属性信息获取模块和显示处理模块。该属性信息获取模块用于获取目标任务的任务属性信息;该显示处理模块用于在数据配置接口中,显示与任务属性信息相匹配的默认的选择配置信息。
在一个实施例中,该目标任务处理装置6000还可以包括默认信息确定模块。该默认信息确定模块用于获取历史任务的历史选择配置信息,及根据该历史选择配置信息,获得与该任务属性信息相匹配的默认的选择配置信息提供给显示处理模块。
在一个实施例中,该数据配置接口可以包括用于输入选择数据表的时间信息的时间配置项、及用于输入根据数据表的属性信息选择数据表的属性配置项中的至少一项。
在一个实施例中,该时间配置项包括时间锚点配置项、相对所述时间锚点的起始时间配置项、及相对所述时间锚点的截止时间配置项。
在一个实施例中,该数据提取模块6300在根据选择配置信息从获取到的数据表中提取目标数据时,可以用于:根据该选择配置信息,从获取到的多张数据表中选择目标数据表,以及从目标数据表中获取目标数据。
在一个实施例中,该数据提取模块6300在根据选择配置信息,从获取到的多张数据表中选择目标数据表时,可以用于:获取通过该数据配置接口输入的关于数据表的属性信息的逻辑表达式,以及根据该多张数据表中每一数据表的属性信息及逻辑表达式,从获取到的多张数据表中选择目标数据表。
在一个实施例中,该目标任务处理装置6000还可以包括资源模块,该资源模块用于提供数据选择模组,该数据选择模组包括数据提取模块6300。数据配置模块6100在响应于进行数据选择配置的触发,提供数据配置接口时,可以用于:响应于通过点击数据选择模组完成的触发,提供该数据配置接口。
在一个实施例中,该目标任务为基于预测模型的预测任务,该任务执行模块6400在基于目标数据执行所述目标任务时,可以用于:根据配置的模型选择条件,从模型集合中选择用于执行预测任务的模型作为目标模型;以及,基于目标模型和目标数据执行该预测任务。
在一个实施例中,该目标任务处理装置6000还可以包括模型配置模块和模型选择确定模块。该模型配置模块用于响应于配置模型选择条件的触发,提供模型配置接口。该模型选择确定模块用于获取通过该模型配置接口输入的模型选择条件,作为配置的模型选择条件。
在一个实施例中,该模型选择条件包括对于模型指标、模型生成时间、模型使用时间中至少一项的选择条件。
在一个实施例中,该模型集合中的模型包括通过自学习得到的模型,该装置还包括自学习模块。该自学习模块用于:获取在执行预测任务时输入的预测数据;获取对应预测数据的真实结果;基于获取的预测数据及其对应的真实结果生成更新训练样本;通过更新训练样本获得更新的机器学习模型;以及,将更新的机器学习模型投放至模型集合中。
在一个实施例中,该任务执行模块6400在根据目标数据执行目标任务时,可以用于:获取执行目标任务所需的各个功能模组,其中,各个功能模组包括数据选择模组,该数据选择模组具有数据提取模块6300;以及,根据配置的各个功能模组间的运行顺序串联各个功能模组,执行目标任务。
每一功能模组可以根据需要包含装置实施例中涉及的至少一个模块。
在一个实施例中,该目标任务处理装置6000还可以包括运行顺序确定模块,该运行顺序确定模块用于根据通过各个功能模组搭建的有向无环图,获得所配置的各个功能模组间的运行顺序,并将运行顺序提供给任务执行模块6400。
在一个实施例中,该目标任务处理装置6000还可以包括监控模块,该监控模块可以用于:获取反映执行目标任务的状态的运行状态信息;及响应于进行运行监控的触发,提供运行监控界面,其中,该运行监控界面提供运行状态信息和/或运行状态信息的获取入口。
在一个实施例中,该监控模块还可以用于:获取通过所述运行监控界面输入的控制命令提供至任务执行模块6400,以使得任务执行模块根据控制命令控制目标任务的执行。
在一个实施例中,该目标任务处理装置6000还可以包括运行控制模块,该运行控制模块用于:获取配置的目标任务的运行时间;以及,根据该运行时间执行根据选择配置信息从获取到的数据表中提取目标数据以及基于目标数据执行所述目标任务的步骤。
在一个实施例中,该目标任务处理装置6000还可以包括运行时间配置模块,该运行时间配置模块可以用于:响应于配置运行时间的触发,提供时间配置接口;以及获取通过所述时间配置接口输入的运行时间,作为配置的所述目标任务的运行时间,其中,该时间配置接口提供单次运行的运行时间配置项和/或循环运行的运行时间配置项。
在一个实施例中,以上任意配置接口可以包括提供勾选项的配置项及提供输入框的配置项中的至少一项。
<电子设备>
在本实施例中,还提供一种电子设备7000。该电子设备7000可以是图1所示的电子设备1000。
在一方面,该电子设备7000可以包括前述的目标任务处理装置6000,用于实施本发明任意实施例的目标任务处理方法。
在另一方面,如图7所示,电子设备7000还可以包括处理器7100和存储器7200,该存储器7200用于存储可执行的指令;该处理器7100用于根据指令的控制运行电子设备7000执行根据本发明任意实施例的目标任务处理方法。
在本实施例中,该电子设备7000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、服务器、工作站、游戏机等设备,在此不做限定。
<计算机可读存储介质>
在本实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序在被处理器执行时实现如本发明任意实施例的商品推荐模型的训练方法。
本发明可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种目标任务处理方法,所述目标任务为预测模型的训练任务或者基于预测模型的预测任务,所述方法包括:
响应于进行数据选择配置的触发,提供数据配置接口;
获取通过所述数据配置接口输入的选择配置信息;
根据所述选择配置信息从获取到的数据表中提取目标数据;
基于所述目标数据执行所述目标任务。
2.根据权利要求1所述的方法,其中,所述方法还包括:
获取所述目标任务的任务属性信息;
在所述数据配置接口中,显示与所述任务属性信息相匹配的默认的选择配置信息。
3.根据权利要求2所述的方法,其中,所述方法还包括获得与所述任务属性信息相匹配的默认的选择配置信息的步骤,包括:
获取历史任务的历史选择配置信息;
根据所述历史选择配置信息,获得与所述任务属性信息相匹配的默认的选择配置信息。
4.根据权利要求1所述的方法,其中,所述数据配置接口包括用于输入选择数据表的时间信息的时间配置项、及用于输入根据数据表的属性信息选择数据表的属性配置项中的至少一项。
5.根据权利要求4所述的方法,其中,所述时间配置项包括时间锚点配置项、相对所述时间锚点的起始时间配置项、及相对所述时间锚点的截止时间配置项。
6.根据权利要求1所述的方法,其中,所述根据所述选择配置信息从获取到的数据表中提取目标数据,包括:
根据所述选择配置信息,从获取到的多张数据表中选择目标数据表;
从所述目标数据表中获取所述目标数据。
7.根据权利要求6所述的方法,其中,所述根据所述选择配置信息,从获取到的多张数据表中选择目标数据表包括:
获取通过所述数据配置接口输入的关于数据表的属性信息的逻辑表达式;
根据所述多张数据表中每一数据表的属性信息及所述逻辑表达式,从获取到的多张数据表中选择目标数据表。
8.一种目标任务处理装置,所述目标任务为预测模型的训练任务或者基于预测模型的预测任务,所述装置包括:
数据配置模块,用于响应于进行数据选择配置的触发,提供数据配置接口;
配置信息获取模块,用于获取通过所述数据配置接口输入的选择配置信息;
数据提取模块,用于根据所述选择配置信息从获取到的数据表中提取目标数据;以及,
任务执行模块,用于基于所述目标数据执行所述目标任务。
9.一种包括至少一个存储装置和至少一个计算装置的系统,其中,所述至少一个存储装置中存储有指令,当所述指令被所述至少一个计算装置执行时,促使所述至少一个计算装置执行根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911128731.3A CN110928907A (zh) | 2019-11-18 | 2019-11-18 | 目标任务处理方法、装置及电子设备 |
CN202010774105.8A CN111767316A (zh) | 2019-11-18 | 2020-08-04 | 目标任务处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911128731.3A CN110928907A (zh) | 2019-11-18 | 2019-11-18 | 目标任务处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110928907A true CN110928907A (zh) | 2020-03-27 |
Family
ID=69854155
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911128731.3A Pending CN110928907A (zh) | 2019-11-18 | 2019-11-18 | 目标任务处理方法、装置及电子设备 |
CN202010774105.8A Pending CN111767316A (zh) | 2019-11-18 | 2020-08-04 | 目标任务处理方法、装置及电子设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010774105.8A Pending CN111767316A (zh) | 2019-11-18 | 2020-08-04 | 目标任务处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN110928907A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
CN114443118A (zh) * | 2021-12-02 | 2022-05-06 | 北京快乐茄信息技术有限公司 | 一种样本表的修改方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834561B (zh) * | 2015-04-29 | 2018-01-19 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN106230792A (zh) * | 2016-07-21 | 2016-12-14 | 北京百度网讯科技有限公司 | 基于移动办公的机器学习方法、终端设备及系统 |
CN109685089B (zh) * | 2017-10-18 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 评估模型性能的系统及方法 |
CN109034394B (zh) * | 2018-07-02 | 2020-12-11 | 第四范式(北京)技术有限公司 | 一种机器学习模型的更新方法和装置 |
CN109146084B (zh) * | 2018-09-06 | 2022-06-07 | 郑州云海信息技术有限公司 | 一种基于云计算的机器学习的方法及装置 |
CN109324905B (zh) * | 2018-09-30 | 2021-03-30 | 拉卡拉支付股份有限公司 | 数据库操作方法、装置、电子设备及存储介质 |
CN109948807A (zh) * | 2019-03-14 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种主动学习方法及装置 |
CN110175677A (zh) * | 2019-04-16 | 2019-08-27 | 平安普惠企业管理有限公司 | 自动更新方法、装置、计算机设备及存储介质 |
-
2019
- 2019-11-18 CN CN201911128731.3A patent/CN110928907A/zh active Pending
-
2020
- 2020-08-04 CN CN202010774105.8A patent/CN111767316A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111475298A (zh) * | 2020-04-03 | 2020-07-31 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
CN111475298B (zh) * | 2020-04-03 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 任务处理方法、装置、设备及存储介质 |
CN114443118A (zh) * | 2021-12-02 | 2022-05-06 | 北京快乐茄信息技术有限公司 | 一种样本表的修改方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111767316A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310934B (zh) | 一种模型生成方法、装置、电子设备和存储介质 | |
US20170357910A1 (en) | System for iteratively training an artificial intelligence using cloud-based metrics | |
US10831463B2 (en) | Intelligent software deployment on an IaaS platform | |
CN111858360B (zh) | 小程序测试方法、装置、设备及存储介质 | |
CN108459792B (zh) | 一种流量切换方法、装置、及计算机设备 | |
US9626164B1 (en) | Test-driven development module for repository-based development | |
JP2018525751A (ja) | 音声及びビデオ通話のためのインタラクティブ制御方法及び装置 | |
CN110941467A (zh) | 数据处理方法、装置及系统 | |
US11861469B2 (en) | Code generation for Auto-AI | |
CN111723515B (zh) | 一种运行算子的方法、装置及系统 | |
CN111767316A (zh) | 目标任务处理方法、装置及电子设备 | |
CN112559721B (zh) | 人机对话系统的调整方法、装置、设备、介质和程序产品 | |
CN114861910B (zh) | 神经网络模型的压缩方法及装置、设备和介质 | |
WO2021052422A1 (zh) | 用于执行自动机器学习方案的系统、方法及电子设备 | |
CN111158651A (zh) | 构建人工智能应用的方法、装置及系统 | |
CN114924862A (zh) | 利用整数规划求解器实现的任务处理方法、设备和介质 | |
KR20230006601A (ko) | 정렬 방법, 정렬 모델의 트레이닝 방법, 장치, 전자 기기 및 매체 | |
CN116841506B (zh) | 程序代码生成方法及装置、模型训练方法及装置 | |
CN117520171A (zh) | 测试用例的配置方法及装置 | |
CN112328225A (zh) | 一种页面运行方法及其运行系统 | |
US10229041B2 (en) | Run time TPNS workload controls for test workload tuning in relation to customer profiling workload | |
CN113366510A (zh) | 经由训练的原始网络与双网络来执行多目标任务 | |
CN110618944A (zh) | 设备模拟方法、装置、电子设备及存储介质 | |
CN113722594B (zh) | 推荐模型的训练方法、推荐方法、装置、电子设备及介质 | |
KR102533019B1 (ko) | Ai 연산 프로세서 가속 성능 평가 인터페이스 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200327 |