CN112036577B - 基于数据形式的应用机器学习的方法、装置和电子设备 - Google Patents
基于数据形式的应用机器学习的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112036577B CN112036577B CN202010845727.5A CN202010845727A CN112036577B CN 112036577 B CN112036577 B CN 112036577B CN 202010845727 A CN202010845727 A CN 202010845727A CN 112036577 B CN112036577 B CN 112036577B
- Authority
- CN
- China
- Prior art keywords
- data
- specified
- model
- data form
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000011161 development Methods 0.000 claims abstract description 28
- 238000013480 data collection Methods 0.000 claims description 47
- 238000003032 molecular docking Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 18
- 238000004806 packaging method and process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 7
- 238000010992 reflux Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本公开实施例涉及一种基于数据形式的应用机器学习的方法、装置和电子设备。应用机器学习的方法包括：接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和指定数据形式相关联的指定机器学习应用；其中，指定机器学习应用中预先配置有指定业务系统的相关数据的定义信息；将指定数据形式与指定业务系统的数据接口对接；运行指定机器学习应用，以使指定机器学习应用基于指定数据形式的数据形式配置信息及指定业务系统的相关数据的定义信息，对指定数据形式的第一SDK采集的数据进行处理。本公开实施例中，通过将数据形式对接业务系统，可采集业务系统中的数据，并提供数据形式配置信息为数据处理提供依据，降低开发成本。
Description
技术领域
本公开实施例涉及数据处理技术领域，具体涉及一种基于数据形式的应用机器学习的方法、装置、电子设备和存储介质。
背景技术
将人工智能(AI)技术在实际场景进行落地的流程包括但不限于：问题定义、数据治理、特征工程、机器学习模型建立(简称建模)、模型上线服务、反馈信息收集和模型迭代更新等过程。其中，建模是机器学习过程中的重要环节，而在建模之前的数据治理、特征工程等是为了得到建模所需的有效数据，从而使得能够得到有效的模型。
在实际应当中，很多业务系统/场景中的数据的采集、存储和整理都是业务方自己制定的规则的，或者根本没有规则可言。当AI应用需要落地该业务系统/应用时需要花费大量的时间和精力来进行数据治理。这也使得AI应用的门槛变高，阻碍AI应用的使用。
发明内容
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于数据形式的应用机器学习的方法、装置、电子设备和存储介质。
第一方面，本公开实施例提出一种基于数据形式的应用机器学习的方法，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：
接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息；
将所述指定数据形式与所述指定业务系统的数据接口对接；
运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理。
在一些实施例中，所述指定业务系统的相关数据的定义信息包括：请求数据、反馈数据和业务数据。
在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；
相应地，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照所述指定业务系统的相关数据的定义信息进行数据转换，得到所述指定业务系统的相关数据。
在一些实施例中，所述方法还包括：
将所述指定业务系统的相关数据积累到第一数据库；
基于所述第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
将探索得到的模型方案部署上线。
在一些实施例中，所述将探索得到的模型方案部署上线后，所述方法还包括：
获取所述指定数据形式的第一SDK采集的线上数据，并基于所述线上数据得到所述指定业务系统的线上相关数据；
将所述模型方案基于所述线上相关数据生成的中间数据回流到第一数据库中。
在一些实施例中，所述方法还包括：
基于所述线上相关数据、所述模型方案和所述第一数据库中的中间数据，进行模型自学习，得到在线模型；
将所述在线模型部署上线，以提供针对所述指定业务系统的在线预估服务。
在一些实施例中，所述在线模型通过训练离线模型得到；其中，所述离线模型为所述模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将所述离线模型部署上线。
在一些实施例中，所述在线模型通过训练随机模型得到；其中，所述随机模型为基于所述模型方案中的模型算法和模型的超参数生成的模型，且所述随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。
在一些实施例中，所述将所述在线模型部署上线包括：
将所述在线模型替换已部署上线的机器学习模型；或，将所述在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务；
所述将探索得到的模型方案部署上线包括：
将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；
所述方法还包括：展示数据形式库中各数据形式的数据形式描述信息供用户参考；所述数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；
相应地，所述确定用户选择的指定数据形式包括：接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。
在一些实施例中，所述数据形式描述信息包括以下至少一种：
数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。
在一些实施例中，所述数据形式配置信息包括：数据形式的对接方式；
相应地，所述将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。
在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；
所述方法还包括：展示所述数据形式库中各数据形式关联的应用供用户选择；
相应地，确定所述指定数据形式相关联的指定机器学习应用包括：接收用户从应用库中选择指定机器学习应用的选择操作后，根据所述选择操作确定指定机器学习应用。
在一些实施例中，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；
所述方法还包括：
若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；
若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。
在一些实施例中，所述方法还包括：
若确定所述指定数据形式为可用，则展示所述指定数据形式关联的应用供用户选择；若确定所述指定数据形式为不可用，则不展示所述指定数据形式关联的应用。
在一些实施例中，所述数据形式配置信息包括：数据形式的存储定义；
所述方法还包括：基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。
在一些实施例中，所述方法还包括：
展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；
接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；
接收开发者针对所述指定业务系统开发的数据形式配置信息；
将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。
在一些实施例中，所述方法还包括：
展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的机器学习应用；
接收开发者从所述应用库中选择指定机器学习应用的选择操作，将所述指定机器学习应用与所述指定数据形式相关联。
在一些实施例中，所述方法还包括：
提供应用开发SDK，以供开发者针对所述指定数据形式开发指定机器学习应用；
接收开发者使用所述应用开发SDK开发的指定机器学习应用；
将所述机器学习指定应用与所述指定数据形式相关联。
第二方面，本公开实施例还提出一种基于数据形式的应用机器学习的装置，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；
所述装置包括：
第一接收单元，用于接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息；
对接单元，用于将所述指定数据形式与所述指定业务系统的数据接口对接；
运行单元，用于运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理。
在一些实施例中，所述指定业务系统的相关数据的定义信息包括：请求数据、反馈数据和业务数据。
在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；
相应地，所述指定机器学习应用对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照所述指定业务系统的相关数据的定义信息进行数据转换，得到所述指定业务系统的相关数据。
在一些实施例中，所述指定机器学习应用还用于：
将所述指定业务系统的相关数据积累到第一数据库；
基于所述第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
将探索得到的模型方案部署上线。
在一些实施例中，所述指定机器学习应用还用于：
将探索得到的模型方案部署上线后，获取所述指定数据形式的第一SDK采集的线上数据，并基于所述线上数据得到所述指定业务系统的线上相关数据；
将所述模型方案基于所述线上相关数据生成的中间数据回流到第一数据库中。
在一些实施例中，所述指定机器学习应用还用于：
基于所述线上相关数据、所述模型方案和所述第一数据库中的中间数据，进行模型自学习，得到在线模型；
将所述在线模型部署上线，以提供针对所述指定业务系统的在线预估服务。
在一些实施例中，所述在线模型通过训练离线模型得到；其中，所述离线模型为所述模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将所述离线模型部署上线。
在一些实施例中，所述在线模型通过训练随机模型得到；其中，所述随机模型为基于所述模型方案中的模型算法和模型的超参数生成的模型，且所述随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。
在一些实施例中，所述指定机器学习应用将所述在线模型部署上线包括：将所述在线模型替换已部署上线的机器学习模型；或，将所述在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务；
所述指定机器学习应用将探索得到的模型方案部署上线包括：将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；
所述装置还包括：
第一展示单元，用于展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；所述数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；
相应地，所述第一接收单元还用于接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。
在一些实施例中，所述数据形式描述信息包括以下至少一种：
数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。
在一些实施例中，所述数据形式配置信息包括：数据形式的对接方式；
相应地，所述对接单元将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。
在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；
所述装置还包括：
第二展示单元，用于展示所述数据形式库中各数据形式关联的应用供用户选择；
相应地，所述运行单元还用于接收用户从应用库中选择指定机器学习应用的选择操作后，根据所述选择操作确定指定机器学习应用。
在一些实施例中，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；
所述装置还包括：
状态调整单元，用于若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。
在一些实施例中，所述装置还包括：
第三展示单元，用于所述状态调整单元将所述指定数据形式的状态置为可用后，展示所述指定数据形式关联的应用供用户选择；且所述状态调整单元将所述指定数据形式的状态置为不可用后，不展示所述指定数据形式关联的应用。
在一些实施例中，所述数据形式配置信息包括：数据形式的存储定义；
所述装置还包括：
存储单元，用于基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。
在一些实施例中，所述装置还包括：
第四展示单元，用于展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；
第二接收单元，用于接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；以及接收开发者针对所述指定业务系统开发的数据形式配置信息；
整合打包单元，用于将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。
在一些实施例中，所述第四展示单元，还用于展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的机器学习应用；
相应地，所述第二接收单元还用于接收开发者从所述应用库中选择指定机器学习应用的选择操作后，将所述指定机器学习应用与所述指定数据形式相关联。
在一些实施例中，所述装置还包括：提供单元，用于提供应用开发SDK，以供开发者针对所述指定数据形式开发指定机器学习应用；
所述第二接收单元，还用于接收开发者使用所述应用开发SDK开发的指定机器学习应用；将所述指定机器学习应用与所述指定数据形式相关联。
第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面任一实施例所述方法的步骤。
第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面任一实施例所述方法的步骤。
可见，本公开的至少一个实施例中，可以将数据采集SDK与数据处理相关的配置信息打包为新的SDK(即数据形式)，并保存到数据形式库中，使得使用者可以从数据形式库中选择适合指定业务系统的指定数据形式，指定数据形式对接指定业务系统后，可以采集指定业务系统中的数据，而数据处理相关的配置信息为数据处理提供依据，实现在特征工程之前的数据治理，因此，无需将建模模版与建模所用的数据形成严格的绑定，由第三方专业开发者根据自身的业务理解开发不同的可替换的数据形式，将开发难度从使用者和平台转移到第三方开发者，降低使用者和平台的开发成本。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种使用数据形式的示例性场景图；
图2是本公开实施例提供的一种开发数据形式和应用的示例性场景图；
图3是本公开实施例提供的一种基于数据形式的应用机器学习的方法的示例性流程图；
图4是本公开实施例提供的一种基于数据形式的应用机器学习的装置的示例性框图；
图5是本公开实施例提供的一种电子设备的示例性框图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
由于使用者(客户)对自身业务场景比较熟悉，因此使用者可利用平台(机器学习服务提供方提供的机器学习平台)来针对业务场景进行建模模板开发，或者，由平台方来根据使用者的业务需求，针对性地开发建模模板。不论是由使用者还是由平台方针对业务场景进行建模模板开发，都会面临将业务场景中的数据治理成建模模板所需要的数据的形式，导致针对不同业务场景的开发成本较大等问题。
要解决这些问题，仅靠单独的机器学习产品(例如，AI应用)的能力很难有所突破，因为定制化越高的AI应用往往越专业，反之开放度越高的AI应用使用门槛也会越高。
为此，在本公开的实施例中，第三方专业开发者可使用开放度高的底层SDK(例如数据采集SDK和应用开发SDK)来设计开发数据形式和应用，让使用者通过使用数据形式，低门槛实现AI应用的使用。另外，AI解决方案可上线(例如通过AI应用得到的模型可上线提供预估服务)。此外，AI解决方案设计更开放化(例如可以设计模型方案，以基于该模型方案和线上数据进行模型自学习，得到线上模型)。
图1为本公开实施例提供的一种使用数据形式的示例性场景图。在图1中，虽然没示出，但是本领域技术人员可以理解，第一用户界面是电子设备所提供的用户界面，电子设备可以是智能手机、笔记本电脑、平板电脑等移动设备，也可以是台式计算机等固定设备。数据形式库和应用库可以位于该电子设备中；也可以位于其他电子设备中，不同电子设备之间通过通信连接，交互数据形式库和应用库的信息。在一些实施例中，数据形式库和应用库可以为软件实现，也可以为软硬结合的方式实现。
结合图1，从使用者的角度描述数据形式的使用。
在图1中，使用者可以通过第一用户界面输入指定业务系统的信息，例如包括但不限于：业务系统的名称、业务系统的场景定义、业务系统的类型等。
在图1中，使用者可以通过第一用户界面查看数据形式库中保存的一个或多个数据形式。
数据形式可以理解为一种特殊的数据采集SDK(Software Development Kit，软件开发工具包)，与普通的数据采集SDK的区别在于，数据形式除了具备数据采集功能，还具有数据处理相关的定义信息的集合，这个集合为数据处理提供依据。
在一些实施例中，数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。不同的数据形式的第一SDK和/或数据形式配置信息不同。
在一些实施例中，数据形式(也即第二SDK)中还可包括第三SDK，用于基于数据形式配置信息对第一SDK采集的数据进行数据处理。在本实施例中，数据形式不仅具备数据采集功能，还具备数据处理功能。
在一些实施例中，为了便于使用者了解数据形式的功能及内容，可以在数据形式库中增加每个数据形式的说明文件，说明文件中包括数据形式所能解决的问题(或任务)等。当使用者不了解数据形式时，可以先查看数据形式的说明文件，进一步降低使用门槛。
在图1中，使用者可以通过第一用户界面查看应用库中保存的一个或多个应用。应用库中保存的应用可以理解为AI应用，不同的AI应用可以实现不同的AI功能，例如预估功能。
在图1中，使用者可以根据指定业务系统的信息，从数据形式库中选择指定数据形式，并从应用库中选择指定应用，以明确采用哪个数据形式和哪个应用来执行指定业务系统的任务(例如预估任务)。
至此，使用者使用数据形式的操作就完成了，可见，使用者仅需要输入指定业务系统的信息、选择指定数据形式和选择指定应用即可，操作简单不复杂。
这样，使用数据形式的其他工作由电子设备来完成。
例如，电子设备可将指定数据形式和指定应用相关联。由于指定数据形式实质上为一个SDK，因此，使用者可以通过关联后的指定应用，直接打开指定数据形式，以类似文件管理方式(例如查看文件或文件夹的方式)，查看该指定应用中的数据形式配置信息。可见，本实施例中，电子设备通过将数据形式与应用(例如AI应用)相关联，使用者只需要选择数据形式和应用，后续通过应用实现类似文件管理方式，降低使用者使用数据形式的成本并提高数据形式的管理效率，以此实现AI应用使用门槛的降低。
又例如，电子设备可将指定数据形式与指定业务系统的数据接口进行数据对接，实现数据管道的搭建，进而通过指定数据形式采集指定业务系统中的数据。在一些实施例中，电子设备进行数据对接的过程可在使用者的监督下进行，确保数据形式与业务系统能够数据匹配，例如数据形式要求的必要数据字段(属于数据形式配置信息中的一部分)与业务系统的数据进行一对一的对接。
更进一步地，如果指定数据形式中包括第三SDK，则指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理，这个处理可以理解为特征工程之前的数据治理。在本实施例中，数据形式不仅具备数据采集功能，还具备数据处理功能。
又例如，电子设备可运行指定应用，以使指定应用打开指定数据形式的第二SDK，并基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行处理，这个处理可以理解为特征工程之前的数据治理。在本实施例中，数据形式仅具备数据采集功能，不具备数据处理功能(即数据形式不包括所述的第三SDK)。
更进一步地，指定应用在对第一SDK采集的数据进行处理后，或者，指定数据形式的第三SDK在对第一SDK采集的数据进行处理后，指定应用对处理得到的数据进行特征工程，进而利用特征工程输出的数据训练得到AI模型。电子设备可将这个AI模型部署上线提供服务，实现AI解决方案可上线。
考虑到有些业务系统并没有相应的数据形式或应用，因此，需要第三方专业开发者开发数据形式或应用。
图2为本公开实施例提供的一种开发数据形式和应用的示例性场景图。在图2中，虽然没示出，但是本领域技术人员可以理解，第二用户界面是电子设备所提供的用户界面。在一些实施例中，第二用户界面与图1中所示的第一用户界面可以为同一界面，也可以为不同界面。图2中，数据采集SDK库、应用开发SDK、数据形式库和应用库，可以位于该电子设备中；也可以位于其他电子设备中。
结合图2，从开发者的角度描述数据形式的开发。
在图2中，针对指定业务系统，开发者可以根据业务技术诀窍(know how)，通过第二用户界面开发数据形式配置信息。在一些实施例中，开发者可以针对同一业务系统开发不同的数据形式配置信息，实现丰富的可替换的数据形式配置信息，增加了开发的灵活性。
在图2中，开发者可以通过第二用户界面查看数据采集SDK库中保存的一个或多个数据采集SDK。
在一些实施例中，开发者可以判断是否需要开发新的数据采集SDK。例如，若业务系统中有三种数据需要采集，而数据采集SDK库中的任意一个数据采集SDK均无法采集这三种数据，那么就需要开发新的数据采集SDK。又例如，若数据采集SDK库中存在一个数据采集SDK可以采集这三种数据中的一种数据，那么就需要开发新的数据采集SDK。又例如，若这三种数据均可被采集，那么就不需要开发新的数据采集SDK。
在图2中，开发者可以通过第二用户界面开发数据采集SDK。
在图2中，开发者可以通过第二用户界面从数据采集SDK库中选择指定数据采集SDK，指定数据采集SDK能够采集指定业务系统中的部分或全部数据。
至此，开发者开发数据形式的操作就完成了，可见，开发者仅需要开发数据形式配置信息以及开发(和/或选择)数据采集SDK即可，这样，开发数据形式的其他工作由电子设备来完成。
在一些实施例中，电子设备将接收的数据形式配置信息、开发的数据采集SDK和指定数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，开发的数据采集SDK和指定数据采集SDK会被整合打包为第一SDK。
在一些实施例中，如果开发者没有开发数据采集SDK，则电子设备将接收的数据形式配置信息和指定数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，指定数据采集SDK即为第一SDK。
在一些实施例中，如果开发者没有指定数据采集SDK，仅开发了数据采集SDK，则电子设备将接收到数据形式配置信息和开发的数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，开发的数据采集SDK即为第一SDK。
在一些实施例中，开发者可以触发整合打包操作，例如，开发者点击第二用户界面上的整合打包按钮，电子设备响应该整合打包操作而进行整合打包，得到针对指定业务系统的指定数据形式。
结合图2，从开发者的角度描述应用的开发。
在图2中，开发者可以通过第二用户界面查看应用库中保存的一个或多个应用。针对指定业务系统，开发者可以判断是否需要开发新的应用。
在一些实施例中，若需要开发新的应用，则开发者可以在第二用户界面中使用应用开发SDK来开发指定应用。例如，开发者可以构建测试环境获得测试用的数据形式，进而结合测试用的数据形式，使用应用开发SDK开发指定应用。可见，本实施例中，通过应用开发SDK，开发者可自行定义应用，实现相当程度的自由，不仅可以开发AI应用，还可以开发BI(商业智能)应用，甚至其他方面的应用。
在一些实施例中，若不需要开发新的应用，则开发者可以通过第二用户界面从应用库中选择指定应用。
电子设备将开发者开发的指定数据形式与开发(或选择)的指定应用进行关联，并将指定数据形式保存到数据形式库中，将指定应用保存(或更新)到应用库中，其中，将指定应用更新到数据库中可以理解为更新应用库中的指定应用，更新的内容是该指定应用关联的指定数据形式的信息。
在一些实施例中，开发者可以触发关联操作，例如，开发者点击第二用户界面上的关联按钮，电子设备响应该关联操作而将开发者开发的指定数据形式与开发(或选择)的指定应用进行关联。
图3为本公开实施例提供的一种基于数据形式的应用机器学习的方法的示例性流程图。该方法的执行主体为电子设备，为便于描述，以下实施例中以电子设备为执行主体说明基于数据形式的应用机器学习的方法的流程。
本实施例中，数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。
在一些实施例中，电子设备预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同。在一些实施例中，电子设备可以响应用户(用户为使用者或开发者)的保存操作而将数据形式保存到数据形式库中。
在一些实施例中，数据形式配置信息包括但不限于以下(1)至(5)中的一种或多种：
(1)数据形式描述信息。在一些实施例中，数据形式描述信息可包括但不限于以下(11)至(14)中的一种或多种：
(11)数据形式的名称。
(12)数据形式的场景定义。在一些实施例中，场景定义可包括但不限于业务系统的名称。
(13)数据形式的类型定义。在一些实施例中，类型定义包括但不限于自定义类型，便于用户检索。
(14)数据形式关联的任务定义。在一些实施例中，任务定义包括但不限于任务ID。
(2)数据形式的对接方式。在一些实施例中，数据形式的对接方式可包括但不限于以下(21)和(22)中的一种或多种：
(21)流式对接方式。
(22)批量对接方式。
(3)数据形式关联的应用。
(4)数据形式的数据表模式(Schema)定义。在一些实施例中，Schema定义可包括但不限于以下(41)至(43)中的一种或多种：
(41)一个或多个数据表的名称。
(42)每个数据表包括的字段。
(43)多个数据表之间的数据关系。
(5)数据形式的存储定义。其中，存储定义，用于将对业务系统的采集数据进行数据蓄水，为后续建模做准备，蓄水数据具有明确的时序性特征，数据形式在对接业务系统的实时数据时，已经严格实现了数据发生时间的记录。在一些实施例中，数据形式的存储定义可包括但不限于以下(51)和(52)中的一种或多种：
(51)存储位置。在一些实施例中，存储位置例如为：HDFS(Hadoop DistributedFile System，Hadoop分布式文件系统)、RtiDB(实时特征存储引擎)。RtiDB是面向AI硬实时场景的分布式特征数据库，具备高效计算、读写分离、高并发、高性能查询等特性。
(52)存储路径。
(6)数据形式的状态。在一些实施例中，数据形式的状态为可用或不可用。
在步骤301中，电子设备接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和指定数据形式相关联的指定机器学习应用。
在一些实施例中，电子设备接收用户从数据形式库中选择指定数据形式的选择操作。在一些实施例中，电子设备提供有用户界面，该用户界面可以展示数据形式库中各数据形式的数据形式描述信息供用户参考。电子设备可通过用户界面接收用户选择指定数据形式的选择操作，进而根据选择操作确定指定数据形式。另外，电子设备可通过用户界面接收用户输入的指定业务系统的信息，进而确定指定业务系统。
在一些实施例中，指定机器学习应用中预先配置有指定业务系统的相关数据的定义信息。在一些实施例中，指定业务系统的相关数据的定义信息包括：请求数据、反馈数据和业务数据。以业务系统为信用卡营销系统为例，请求数据是指发送给机器学习应用(例如AI应用)的信息，例如召回了一万个客户作为候选集，结合其他信息想要通过AI应用来帮忙判断每个客户实际可能会办理信用卡的概率，这一万条数据就是请求数据；经由AI应用预测后，实际进行电话营销时不会一万个客户都打，业务方只会选择更有可能会办理信用卡的客户去进行电话营销，可能只选中了100条，这100条就是曝光数据；最后，打完电话后客户实际有没有办理信用卡则是反馈数据。除了请求数据、曝光数据和反馈数据外，场景中可能还包含业务数据，业务数据是其他可能有助于提升AI应用预测效果的信息，例如客户的基本信息、客户的交易流水记录、客户的征信记录等BO(Business Object)数据。
在步骤302中，电子设备由于确定了指定数据形式和指定业务系统，因此可以将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。在一些实施例中，电子设备可基于指定数据形式的对接方式，将指定数据形式的第一SDK与指定业务系统的数据接口对接。
在一些实施例中，电子设备可以基于指定数据形式的存储定义，存储指定数据形式的第一SDK采集的数据。
在一些实施例中，电子设备若确定指定数据形式的第一SDK采集的数据满足指定数据形式的Schema定义，则将指定数据形式的状态置为可用；若确定指定数据形式的第一SDK采集的数据不满足Schema定义，则将指定数据形式的状态置为不可用。
在一些实施例中，对于指定数据形式的第一SDK采集的指定业务系统中的数据，可以有如下两种数据处理(可以理解为数据治理)方式：
方式一，由数据形式进行数据处理。
本方式下，数据形式的第二SDK中还包括第三SDK，第三SDK用于基于数据形式配置信息对第一SDK采集的数据进行数据处理。本实施例中，指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理。
方式二，由机器学习应用进行数据处理。
本方式下，电子设备提供有用户界面，该用户界面可以展示数据形式库中各数据形式关联的机器学习应用供用户选择，需要说明的是，若指定数据形式的状态为不可用，则不展示指定数据形式关联的机器学习应用；只有当指定数据形式的状态为可用后，才展示指定数据形式关联的机器学习应用。电子设备可通过用户界面接收用户从应用库中选择指定机器学习应用的选择操作，进而根据选择操作确定指定机器学习应用，并运行指定机器学习应用，以使指定机器学习应用打开指定数据形式的第二SDK，并基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行处理。
在一些实施例中，无论方式一，还是方式二，对于数据处理(治理)的过程类似，描述如下：
首先，将指定数据形式的第一SDK采集的数据按照指定数据形式的Schema定义进行处理；其次，将处理后的数据按照指定业务系统的相关数据的定义信息进行数据转换，得到指定业务系统的相关数据。
在步骤303中，电子设备运行指定机器学习应用，以使指定机器学习应用基于指定数据形式的数据形式配置信息以及指定业务系统的相关数据的定义信息，对指定数据形式的第一SDK采集的数据进行处理。
在一些实施例中，指定机器学习应用对指定数据形式的第一SDK采集的数据进行处理包括：首先，将指定数据形式的第一SDK采集的数据按照指定数据形式的Schema定义进行处理；其次，将处理后的数据按照指定业务系统的相关数据的定义信息进行数据转换，得到指定业务系统的相关数据。
例如，指定数据形式的第一SDK采集的数据为用户标识(User ID)，而指定数据形式的Schema定义的是用户标识为UID，则将User ID按照指定数据形式的Schema定义进行处理，得到对应的UID。
指定机器学习应用在按照指定数据形式的Schema定义进行处理后，进一步对将处理后的数据按照指定业务系统的相关数据的定义信息进行数据转换，例如，确定哪些数据是请求数据、哪些数据是反馈数据、哪些数据是曝光数据、哪些数据是业务数据。
在一些实施例中，指定机器学习应用可将指定业务系统的相关数据积累到第一数据库；基于第一数据库中积累的相关数据进行模型方案探索，得到模型方案；将探索得到的模型方案部署上线。
在一些实施例中，第一数据库为离线数据库。例如，所述离线数据库可以为分布式文件存储系统(HDFS，Hadoop Distributed File System)，还可以为其他离线数据库。在一些实施例中，指定机器学习应用可处理请求数据得到样本数据，其中处理的方式例如包括但不限于：使用过滤器(filter)进行处理和压平(flatten)处理。指定机器学习应用可将样本数据也积累到第一数据库中。
在一些实施例中，指定机器学习应用可使用过滤器(filter)基于曝光数据对请求数据进行过滤，得到交集数据；进而通过压平(flatten)处理交集数据得到样本数据。例如，曝光数据有10条数据，请求数据有12条数据，曝光数据和请求数据有5条相同数据，指定机器学习应用通过filter过滤，得到这5条相同数据即为交集数据，把不同数据滤除掉，进而通过压平(flatten)处理交集数据(这5条相同数据)得到样本数据。
在一些实施例中，指定机器学习应用基于第一数据库中的数据(例如请求数据、样本数据、反馈数据、业务数据、曝光数据中一个或多个)进行模型方案探索，得到模型方案。模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数。特征工程方案至少具有拼表功能。特征工程方案还可以具有其他功能，例如从数据中提取特征以供模型算法或模型使用。模型算法可以为目前常用的机器学习算法，例如有监督学习算法，包括但不限于：LR(Logistic Regression，逻辑回归)、GBDT(Gradient Boosting Decision Tree，梯度提升迭代决策树)、DeepNN(Deep Neural Network，深度神经网络)等。模型的超参数是在机器学习之前预先设置的用于辅助模型训练的参数，例如聚类算法中的类别个数、梯度下降法的步长、神经网络的层数、训练神经网络的学习速率等。
在一些实施例中，指定机器学习应用在探索模型方案时，可生成至少两个模型方案，其中，不同模型方案之间至少有一个方案子项不同。在一些实施例中，指定机器学习应用基于第一数据库中的数据分别采用至少两个模型方案进行模型训练，可得到模型本身的参数，其中模型本身的参数例如：神经网络中的权重、支持向量机中的支持向量、线性回归或逻辑回归中的系数等。在一些实施例中，指定机器学习应用可基于机器学习模型评价指标，对至少两个模型方案所分别训练出的模型进行评价，进而基于评价结果从至少两个模型方案中进行选择，得到探索到的模型方案。其中机器学习模型评价指标例如为AUC(AreaUnder Curve)值等。
在一些实施例中，指定机器学习应用仅将模型方案部署上线，而没有将模型方案探索过程中得到的离线模型部署上线，可避免离线模型直接部署上线后由于线上特征计算和线下特征计算得到的数据存在不一致，导致部署上线的离线模型的预估效果较差的问题。另外，由于仅将模型方案部署上线，没有将离线模型部署上线，因此在并不会生成预估结果，当接收到请求数据时，向指定业务系统发送的是默认的预估结果，指定业务系统接收到默认的预估结果后不予理会。
在一些实施例中，指定机器学习应用将模型方案部署上线时，还将模型方案探索过程中得到的离线模型部署上线，离线模型是基于第一数据库(即离线数据库)中积累的指定业务系统的相关数据训练得到，并且离线模型部署上线后是对指定业务场景的相关数据进行预估服务，因此，虽然线上线下特征计算得到的数据可能不一致，但仍实现了线上线下数据同源。
在一些实施例中，指定机器学习应用将探索得到的模型方案部署上线后获取指定数据形式的第一SDK采集的线上数据，并基于线上数据得到指定业务系统的线上相关数据；将模型方案基于线上相关数据生成的中间数据回流到第一数据库中。其中，中间数据可以为预估样本的宽表特征数据。在一些实施例中，指定机器学习应用还可将线上相关数据存储到第二数据库中。在一些实施例中，第二数据库为在线数据库，例如实时特征存储引擎(RtiDB)，也可以为其他在线数据库。
在一些实施例中，指定机器学习应用接收到一条请求数据时，基于部署上线的模型方案中的特征工程方案，利用第二数据库中的数据和接收的请求数据进行线上实时特征计算，得到预估样本的特征数据。在一些实施例中，指定机器学习应用接收到请求数据时，基于部署上线的模型方案中的特征工程方案，对第二数据库中的数据和接收的请求数据进行拼表和线上实时特征计算得到宽表特征数据，得到的预估样本的特征数据为宽表特征数据。
在一些实施例中，指定机器学习应用可基于部署上线的模型方案得到预估样本的特征数据(或宽表特征数据)，拼接特征数据和反馈数据生成带特征和反馈的样本数据，样本数据还可包括其他数据，例如时间戳数据等。在一些实施例中，指定机器学习应用拼接特征数据和反馈数据之前，拼接特征数据和曝光数据，得到带曝光数据的特征数据；进而拼接带曝光数据的特征数据和反馈数据，生成带曝光、特征和反馈的样本数据。在一些实施例中，指定机器学习应用将带特征和反馈的样本数据回流到第一数据库中，以便进行模型自学习，模型自学习得到的在线模型可部署上线，保证模型自学习用到的数据和特征工程方案分别与模型在线预估服务用到的数据和特征工程方案是一致的，实现模型自学习效果和模型预估效果一致性。
在一些实施例中，指定机器学习应用基于线上相关数据、模型方案和第一数据库中的中间数据，进行模型自学习，得到在线模型；将在线模型部署上线，以提供针对指定业务系统的在线预估服务。在一些实施例中，模型自学习的过程为：基于带特征和反馈的样本数据，通过模型方案中的模型算法和模型的超参数进行训练，得到在线模型。
在一些实施例中，在线模型通过训练离线模型得到；其中，离线模型为模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将离线模型部署上线。在一些实施例中，若指定机器学习应用部署模型方案上线时，还将离线模型部署上线，则指定机器学习应用通过模型方案中的模型算法和模型的超参数训练离线模型，更新离线模型本身的参数取值，得到在线模型。
在一些实施例中，在线模型通过训练随机模型得到；其中，随机模型为基于模型方案中的模型算法和模型的超参数生成的模型，且随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。在一些实施例中，若指定机器学习应用将模型方案部署上线时，没有将初始模型部署上线，则指定机器学习应用通过模型方案中的模型算法和模型的超参数训练随机模型，得到在线模型。
在一些实施例中，指定机器学习应用将所述在线模型部署上线包括：将在线模型替换已部署上线的机器学习模型；或，将所述在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务。
在一些实施例中，指定机器学习应用将探索得到的模型方案部署上线包括：将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
在一些实施例中，指定机器学习应用将在线模型部署上线后，当接收到一条请求数据时，基于第二数据库中的数据和接收的请求数据生成带特征的预估样本，并通过在线模型得到预估样本的预估结果，与模型方案的不同在于：在线模型可得到预估样本的预估结果。指定机器学习应用可指定业务系统发送所述预估结果，以供业务系统使用或参考。
在一些实施例中，电子设备可提供用户界面，该用户界面可以展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对指定业务系统的数据采集SDK。
在一些实施例中，电子设备可通过用户界面接收开发者从数据采集库中选择指定数据采集SDK的选择操作；和/或，接收开发者针对指定业务系统开发的数据采集SDK。在一些实施例中，电子设备可通过用户界面接收开发者针对指定业务系统开发的数据形式配置信息。
在一些实施例中，电子设备可将开发者选择的指定数据采集SDK和/或开发的数据采集SDK，以及开发者开发的数据形式配置信息进行整合打包，得到针对指定业务系统的指定数据形式。
在一些实施例中，电子设备可通过用户界面展示应用库中的各应用，以供开发者选择与指定数据形式关联的机器学习应用。相应地，电子设备接收开发者从应用库中选择指定机器学习应用的选择操作，将指定机器学习应用与指定数据形式相关联。
在一些实施例中，电子设备可提供应用开发SDK，以供开发者针对指定数据形式开发指定机器学习应用。相应地，电子设备接收开发者使用应用开发SDK开发的指定机器学习应用，并将指定机器学习应用与指定数据形式相关联。在一些实施例中，应用开发SDK可以由平台提供，平台可以设置于电子设备中，也可以设置于与电子设备相独立的其他设备，例如服务器中。服务器可以是一个服务器，也可以是一个服务器群组。服务器群组可以是集中式的，也可以是分布式的。在一些实施例中，服务器可以是本地的或远程的。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
图4为本公开实施例提供的一种基于数据形式的应用机器学习的装置400，该应用机器学习的装置可以设置于电子设备中。数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合；预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同。
如图4所示，应用机器学习的装置400包括：
第一接收单元401，用于接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息。在一些实施例中，指定业务系统的相关数据的定义信息包括：请求数据、反馈数据和业务数据。
对接单元402，用于将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。
运行单元403，用于运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理。
在一些实施例中，第二SDK中还包括第三SDK，第三SDK用于基于数据形式配置信息对第一SDK采集的数据进行数据处理；相应地，指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理。
在一些实施例中，数据形式配置信息包括：数据形式的数据表模式定义；
相应地，指定机器学习应用对指定数据形式的第一SDK采集的数据进行处理包括：基于指定数据形式的数据表模式定义，对指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照指定业务系统的相关数据的定义信息进行数据转换，得到指定业务系统的相关数据。
在一些实施例中，指定机器学习应用还用于：将指定业务系统的相关数据积累到第一数据库；基于第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；将探索得到的模型方案部署上线。
在一些实施例中，指定机器学习应用还用于：将探索得到的模型方案部署上线后，获取指定数据形式的第一SDK采集的线上数据，并基于线上数据得到指定业务系统的线上相关数据；将模型方案基于线上相关数据生成的中间数据回流到第一数据库中。
在一些实施例中，指定机器学习应用还用于：基于线上相关数据、模型方案和第一数据库中的中间数据，进行模型自学习，得到在线模型；将在线模型部署上线，以提供针对指定业务系统的在线预估服务。
在一些实施例中，在线模型通过训练离线模型得到；其中，离线模型为模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将离线模型部署上线。
在一些实施例中，在线模型通过训练随机模型得到；其中，随机模型为基于模型方案中的模型算法和模型的超参数生成的模型，且随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。
在一些实施例中，指定机器学习应用将在线模型部署上线包括：将在线模型替换已部署上线的机器学习模型；或，将在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务。
在一些实施例中，指定机器学习应用将探索得到的模型方案部署上线包括：将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
在一些实施例中，数据形式配置信息包括：数据形式描述信息；应用机器学习的装置400还包括：
第一展示单元，用于展示数据形式库中各数据形式的数据形式描述信息供用户参考；
相应地，第一接收单元401还用于接收用户从数据形式库中选择指定数据形式的选择操作后，根据选择操作确定指定数据形式。
在一些实施例中，数据形式描述信息包括以下至少一种：数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。
在一些实施例中，数据形式配置信息包括：数据形式的对接方式；相应地，对接单元402将指定数据形式与指定业务系统的数据接口对接包括：基于指定数据形式的对接方式，将指定数据形式的第一SDK与指定业务系统的数据接口对接。
在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；相应地，应用机器学习的装置400还包括：
第二展示单元，用于展示数据形式库中各数据形式关联的应用供用户选择；相应地，运行单元403还用于接收用户从应用库中选择指定机器学习应用的选择操作后，根据选择操作确定指定机器学习应用。
在一些实施例中，数据形式配置信息包括：数据形式的状态，状态包括可用和不可用；应用机器学习的装置400还包括：
状态调整单元，用于若指定数据形式的第一SDK采集的数据满足指定数据形式的数据表模式定义，则将指定数据形式的状态置为可用；若指定数据形式的第一SDK采集的数据不满足指定数据形式的数据表模式定义，则将指定数据形式的状态置为不可用。
在一些实施例中，应用机器学习的装置400还包括：
第三展示单元，用于状态调整单元将指定数据形式的状态置为可用后，展示指定数据形式关联的应用供用户选择；且状态调整单元将指定数据形式的状态置为不可用后，不展示指定数据形式关联的应用。
在一些实施例中，数据形式配置信息包括：数据形式的存储定义；应用机器学习的装置400还包括：存储单元，用于基于指定数据形式的存储定义，存储指定数据形式的第一SDK采集的数据。
在一些实施例中，应用机器学习的装置400还包括：
第四展示单元，用于展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对指定业务系统的数据采集SDK；
第二接收单元，用于接收开发者从数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对指定业务系统开发的数据采集SDK；以及接收开发者针对指定业务系统开发的数据形式配置信息；
整合打包单元，用于将指定数据采集SDK和/或开发的数据采集SDK，以及数据形式配置信息进行整合打包，得到针对指定业务系统的指定数据形式。
在一些实施例中，第四展示单元，还用于展示应用库中的各应用，以供开发者选择与指定数据形式关联的机器学习应用；相应地，第二接收单元还用于接收开发者从应用库中选择指定机器学习应用的选择操作后，将指定机器学习应用与指定数据形式相关联。
在一些实施例中，应用机器学习的装置400还包括：提供单元，用于提供应用开发SDK，以供开发者针对指定数据形式开发指定机器学习应用。相应地，第二接收单元，还用于接收开发者使用应用开发SDK开发的指定机器学习应用；将指定机器学习应用与指定数据形式相关联。
在一些实施例中，应用机器学习的装置400中各单元的划分仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如可以将多个单元实现为一个单元；也可以将一个单元划分为多个子单元。可以理解的是，各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
图5是本公开实施例提供的一种电子设备的结构示意图。
如图5所示，电子设备包括：至少一个处理器501、至少一个存储器502和至少一个通信接口503。电子设备中的各个组件通过总线系统504耦合在一起。通信接口503，用于与外部设备之间的信息传输。可理解地，总线系统504用于实现这些组件之间的连接通信。总线系统504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图5中将各种总线都标为总线系统504。
可以理解，本实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器502存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用任务。实现本公开实施例提供的基于数据形式的应用机器学习的方法的程序可以包含在应用程序中。
在本公开实施例中，处理器501通过调用存储器502存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器501用于执行本公开实施例提供的基于数据形式的应用机器学习的方法各实施例的步骤。
本公开实施例提供的基于数据形式的应用机器学习的方法可以应用于处理器501中，或者由处理器501实现。处理器501可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的基于数据形式的应用机器学习的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成方法的步骤。
本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如基于数据形式的应用机器学习的方法各实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (36)
1.一种基于数据形式的应用机器学习的方法，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述数据形式配置信息包括：数据形式的数据表模式定义和数据形式描述信息；所述方法包括：
展示数据形式库中各数据形式的数据形式描述信息供用户参考；所述数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；
接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息；所述确定用户选择的指定数据形式包括：接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式；
将所述指定数据形式与所述指定业务系统的数据接口对接；
运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理；其中，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照所述指定业务系统的相关数据的定义信息进行数据转换，得到所述指定业务系统的相关数据。
2.根据权利要求1所述的方法，其特征在于，所述指定业务系统的相关数据的定义信息包括：
请求数据、反馈数据和业务数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述指定业务系统的相关数据积累到第一数据库；
基于所述第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
将探索得到的模型方案部署上线。
4.根据权利要求3所述的方法，其特征在于，所述将探索得到的模型方案部署上线后，所述方法还包括：
获取所述指定数据形式的第一SDK采集的线上数据，并基于所述线上数据得到所述指定业务系统的线上相关数据；
将所述模型方案基于所述线上相关数据生成的中间数据回流到第一数据库中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述线上相关数据、所述模型方案和所述第一数据库中的中间数据，进行模型自学习，得到在线模型；
将所述在线模型部署上线，以提供针对所述指定业务系统的在线预估服务。
6.根据权利要求5所述的方法，其特征在于，所述在线模型通过训练离线模型得到；其中，所述离线模型为所述模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将所述离线模型部署上线。
7.根据权利要求5所述的方法，其特征在于，所述在线模型通过训练随机模型得到；其中，所述随机模型为基于所述模型方案中的模型算法和模型的超参数生成的模型，且所述随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。
8.根据权利要求5所述的方法，其特征在于，所述将所述在线模型部署上线包括：
将所述在线模型替换已部署上线的机器学习模型；或，将所述在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务；
所述将探索得到的模型方案部署上线包括：
将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
9.根据权利要求1所述的方法，其特征在于，所述数据形式描述信息包括以下至少一种：
数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。
10.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式的对接方式；
相应地，所述将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。
11.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式关联的应用；
所述方法还包括：展示所述数据形式库中各数据形式关联的应用供用户选择；
相应地，确定所述指定数据形式相关联的指定机器学习应用包括：接收用户从应用库中选择指定机器学习应用的选择操作后，根据所述选择操作确定指定机器学习应用。
12.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；
所述方法还包括：
若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；
若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
若确定所述指定数据形式为可用，则展示所述指定数据形式关联的应用供用户选择；若确定所述指定数据形式为不可用，则不展示所述指定数据形式关联的应用。
14.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式的存储定义；
所述方法还包括：基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；
接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；
接收开发者针对所述指定业务系统开发的数据形式配置信息；
将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的机器学习应用；
接收开发者从所述应用库中选择指定机器学习应用的选择操作，将所述指定机器学习应用与所述指定数据形式相关联。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
提供应用开发SDK，以供开发者针对所述指定数据形式开发指定机器学习应用；
接收开发者使用所述应用开发SDK开发的指定机器学习应用；
将所述机器学习指定应用与所述指定数据形式相关联。
18.一种基于数据形式的应用机器学习的装置，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述数据形式配置信息包括：数据形式的数据表模式定义和数据形式描述信息；
所述装置包括：
第一展示单元，用于展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；所述数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；
第一接收单元，用于接收用户输入的指定业务系统的信息，并确定用户选择的指定数据形式和所述指定数据形式相关联的指定机器学习应用；其中，所述指定机器学习应用中预先配置有所述指定业务系统的相关数据的定义信息；所述第一接收单元还用于接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式；
对接单元，用于将所述指定数据形式与所述指定业务系统的数据接口对接；
运行单元，用于运行所述指定机器学习应用，以使所述指定机器学习应用基于所述指定数据形式的数据形式配置信息以及所述指定业务系统的相关数据的定义信息，对所述指定数据形式的第一SDK采集的数据进行处理，其中，所述指定机器学习应用对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行处理；将处理后的数据按照所述指定业务系统的相关数据的定义信息进行数据转换，得到所述指定业务系统的相关数据。
19.根据权利要求18所述的装置，其特征在于，所述指定业务系统的相关数据的定义信息包括：
请求数据、反馈数据和业务数据。
20.根据权利要求18所述的装置，其特征在于，所述指定机器学习应用还用于：
将所述指定业务系统的相关数据积累到第一数据库；
基于所述第一数据库中积累的相关数据进行模型方案探索，得到模型方案；其中，所述模型方案包括以下方案子项：特征工程方案、模型算法和模型的超参数；
将探索得到的模型方案部署上线。
21.根据权利要求20所述的装置，其特征在于，所述指定机器学习应用还用于：
将探索得到的模型方案部署上线后，获取所述指定数据形式的第一SDK采集的线上数据，并基于所述线上数据得到所述指定业务系统的线上相关数据；
将所述模型方案基于所述线上相关数据生成的中间数据回流到第一数据库中。
22.根据权利要求21所述的装置，其特征在于，所述指定机器学习应用还用于：
基于所述线上相关数据、所述模型方案和所述第一数据库中的中间数据，进行模型自学习，得到在线模型；
将所述在线模型部署上线，以提供针对所述指定业务系统的在线预估服务。
23.根据权利要求22所述的装置，其特征在于，所述在线模型通过训练离线模型得到；其中，所述离线模型为所述模型方案探索的过程中产生的模型，且将探索得到的模型方案部署上线时，还将所述离线模型部署上线。
24.根据权利要求22所述的装置，其特征在于，所述在线模型通过训练随机模型得到；其中，所述随机模型为基于所述模型方案中的模型算法和模型的超参数生成的模型，且所述随机模型本身的参数取值为随机值；且将探索得到的模型方案部署上线时，没有将离线模型部署上线。
25.根据权利要求22所述的装置，其特征在于，所述指定机器学习应用将所述在线模型部署上线包括：将所述在线模型替换已部署上线的机器学习模型；或，将所述在线模型部署上线，并与已部署上线的机器学习模型共同提供模型在线预估服务；
所述指定机器学习应用将探索得到的模型方案部署上线包括：将探索得到的模型方案替换已部署上线的模型方案；或，将探索得到的模型方案部署上线，且不下线已部署上线的模型方案。
26.根据权利要求18所述的装置，其特征在于，所述数据形式描述信息包括以下至少一种：
数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。
27.根据权利要求18所述的装置，其特征在于，所述数据形式配置信息包括：数据形式的对接方式；
相应地，所述对接单元将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。
28.根据权利要求18所述的装置，其特征在于，所述数据形式配置信息包括：数据形式关联的应用；
所述装置还包括：
第二展示单元，用于展示所述数据形式库中各数据形式关联的应用供用户选择；
相应地，所述运行单元还用于接收用户从应用库中选择指定机器学习应用的选择操作后，根据所述选择操作确定指定机器学习应用。
29.根据权利要求18所述的装置，其特征在于，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；
所述装置还包括：
状态调整单元，用于若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。
30.根据权利要求29所述的装置，其特征在于，所述装置还包括：
第三展示单元，用于所述状态调整单元将所述指定数据形式的状态置为可用后，展示所述指定数据形式关联的应用供用户选择；且所述状态调整单元将所述指定数据形式的状态置为不可用后，不展示所述指定数据形式关联的应用。
31.根据权利要求18所述的装置，其特征在于，所述数据形式配置信息包括：数据形式的存储定义；
所述装置还包括：
存储单元，用于基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。
32.根据权利要求18所述的装置，其特征在于，所述装置还包括：
第四展示单元，用于展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；
第二接收单元，用于接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；以及接收开发者针对所述指定业务系统开发的数据形式配置信息；
整合打包单元，用于将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。
33.根据权利要求32所述的装置，其特征在于，所述第四展示单元，还用于展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的机器学习应用；
相应地，所述第二接收单元还用于接收开发者从所述应用库中选择指定机器学习应用的选择操作后，将所述指定机器学习应用与所述指定数据形式相关联。
34.根据权利要求33所述的装置，其特征在于，所述装置还包括：提供单元，用于提供应用开发SDK，以供开发者针对所述指定数据形式开发指定机器学习应用；
所述第二接收单元，还用于接收开发者使用所述应用开发SDK开发的指定机器学习应用；将所述指定机器学习应用与所述指定数据形式相关联。
35.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至17任一项所述方法的步骤。
36.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至17任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845727.5A CN112036577B (zh) | 2020-08-20 | 2020-08-20 | 基于数据形式的应用机器学习的方法、装置和电子设备 |
| PCT/CN2021/113855 WO2022037689A1 (zh) | 2020-08-20 | 2021-08-20 | 一种基于数据形式的数据处理方法和应用机器学习的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845727.5A CN112036577B (zh) | 2020-08-20 | 2020-08-20 | 基于数据形式的应用机器学习的方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036577A CN112036577A (zh) | 2020-12-04 |
| CN112036577B true CN112036577B (zh) | 2024-02-20 |
Family
ID=73580221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010845727.5A Active CN112036577B (zh) | 2020-08-20 | 2020-08-20 | 基于数据形式的应用机器学习的方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036577B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022037689A1 (zh) * | 2020-08-20 | 2022-02-24 | 第四范式（北京）技术有限公司 | 一种基于数据形式的数据处理方法和应用机器学习的方法 |
| CN112948476B (zh) * | 2021-02-25 | 2024-05-31 | 第四范式（北京）技术有限公司 | 机器学习系统的数据接入方法、装置、系统和存储介质 |
| CN113506025A (zh) * | 2021-07-27 | 2021-10-15 | 中国科学院计算机网络信息中心 | 一种管道数字化管理的方法及系统 |
| CN113792891B (zh) * | 2021-11-15 | 2022-02-15 | 北京华品博睿网络技术有限公司 | 一种机器学习特征生产系统及方法 |
| CN114004358B (zh) * | 2021-12-29 | 2022-06-14 | 粤港澳大湾区数字经济研究院(福田) | 一种深度学习模型训练方法 |
| CN116684296A (zh) * | 2022-02-23 | 2023-09-01 | 维沃移动通信有限公司 | 数据采集方法及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045489A1 (zh) * | 2016-09-06 | 2018-03-15 | 华为技术有限公司 | 一种数据采集方法、装置及系统 |
| CN109831478A (zh) * | 2018-12-19 | 2019-05-31 | 天翼电子商务有限公司 | 基于规则及模型的分布式实时处理智能决策系统及方法 |
| CN110708316A (zh) * | 2019-10-09 | 2020-01-17 | 杭州安恒信息技术股份有限公司 | 针对企业网络安全运营管理的方法以及系统架构 |
| CN110727697A (zh) * | 2019-08-29 | 2020-01-24 | 北京奇艺世纪科技有限公司 | 数据的处理方法和装置、存储介质、电子装置 |
| CN111310934A (zh) * | 2020-02-14 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种模型生成方法、装置、电子设备和存储介质 |
| CN113673707A (zh) * | 2020-05-15 | 2021-11-19 | 第四范式（北京）技术有限公司 | 一种应用机器学习的方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10943184B2 (en) * | 2017-09-14 | 2021-03-09 | Amadeus S.A.S. | Machine learning methods and systems for predicting online user interactions |
-
2020
- 2020-08-20 CN CN202010845727.5A patent/CN112036577B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018045489A1 (zh) * | 2016-09-06 | 2018-03-15 | 华为技术有限公司 | 一种数据采集方法、装置及系统 |
| CN109831478A (zh) * | 2018-12-19 | 2019-05-31 | 天翼电子商务有限公司 | 基于规则及模型的分布式实时处理智能决策系统及方法 |
| CN110727697A (zh) * | 2019-08-29 | 2020-01-24 | 北京奇艺世纪科技有限公司 | 数据的处理方法和装置、存储介质、电子装置 |
| CN110708316A (zh) * | 2019-10-09 | 2020-01-17 | 杭州安恒信息技术股份有限公司 | 针对企业网络安全运营管理的方法以及系统架构 |
| CN111310934A (zh) * | 2020-02-14 | 2020-06-19 | 北京百度网讯科技有限公司 | 一种模型生成方法、装置、电子设备和存储介质 |
| CN113673707A (zh) * | 2020-05-15 | 2021-11-19 | 第四范式（北京）技术有限公司 | 一种应用机器学习的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036577A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036577B (zh) | 基于数据形式的应用机器学习的方法、装置和电子设备 | |
| US11410229B2 (en) | Data reconciliation based on computer analysis of data | |
| CN106067080B (zh) | 提供可配置工作流能力 | |
| CN111506801B (zh) | 一种应用App中子应用的排序方法及装置 | |
| CN109344170B (zh) | 流数据处理方法、系统、电子设备及可读存储介质 | |
| JP2017062767A (ja) | インテリジェントなクラウド計画立案およびデコミッショニングのための方法およびシステム | |
| CN110321413A (zh) | 会话框架 | |
| CN110083334A (zh) | 模型上线的方法及装置 | |
| CN108549909B (zh) | 基于众包的对象分类方法及对象分类系统 | |
| CN112149838A (zh) | 实现自动构建模型的方法、装置、电子设备和存储介质 | |
| CN110019916A (zh) | 基于用户画像的事件处理方法、装置、设备和存储介质 | |
| US11847443B2 (en) | Constraints-based refactoring of monolith applications through attributed graph embeddings | |
| CN114048024A (zh) | 任务部署方法、装置、设备、存储介质及产品 | |
| CN116661936A (zh) | 页面数据的处理方法、装置、计算机设备及存储介质 | |
| CN112036576A (zh) | 一种基于数据形式的数据处理方法、装置和电子设备 | |
| Shrivastava | Learning Salesforce Einstein | |
| CN114253546A (zh) | 代码的生成方法、装置、存储介质及电子装置 | |
| CN113590358A (zh) | 基于rpa的服务并发治理方法及装置 | |
| WO2022037689A1 (zh) | 一种基于数据形式的数据处理方法和应用机器学习的方法 | |
| CN112288133A (zh) | 一种算法服务处理方法和装置 | |
| EP3912058A1 (en) | Profile data store automation via bots | |
| CN111651191A (zh) | 应用于微服务构架的单应用打包方法及系统 | |
| CN110221952A (zh) | 业务数据的处理方法及装置、业务数据处理系统 | |
| CN114721931B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| KR20240053911A (ko) | 소스코드 자동 생성 시스템 기반의 인공지능 협업 시스템 및 서비스 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |