CN112036576A - 一种基于数据形式的数据处理方法、装置和电子设备 - Google Patents

Abstract

本公开实施例涉及一种基于数据形式的数据处理方法、装置和电子设备。数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。数据处理方法包括：预先在数据形式库中保存至少一个数据形式，不同的数据形式的第一SDK和/或数据形式配置信息不同；接收用户从数据形式库中选择指定数据形式的选择操作，并接收用户输入的指定业务系统的信息；将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。本公开实施例中，通过将数据形式对接业务系统，可采集业务系统中的数据，并提供数据形式配置信息为数据处理提供依据，降低开发成本。

Description

一种基于数据形式的数据处理方法、装置和电子设备

技术领域

本公开实施例涉及机数据处理技术领域，具体涉及一种基于数据形式的数据处理方法、装置和电子设备。

背景技术

将人工智能(AI)技术在实际场景进行落地的流程包括但不限于：问题定义、数据治理、特征工程、机器学习模型建立(简称建模)、模型上线服务、反馈信息收集和模型迭代更新等过程。其中，建模是机器学习过程中的重要环节，而在建模之前的数据治理、特征工程等是为了得到建模所需的有效数据，从而使得能够得到有效的模型。

在实际应当中，很多业务系统/场景中的数据的采集、存储和整理都是业务方自己制定的规则的，或者根本没有规则可言。当AI应用需要落地该业务系统/应用时需要花费大量的时间和精力来进行数据治理。这也使得AI应用的门槛变高，阻碍AI应用的落地使用。

发明内容

为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于数据形式的数据处理方法、装置和电子设备。

第一方面，本公开实施例提出一种基于数据形式的数据处理方法，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：

预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；

接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；

将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。

在一些实施例中，所述方法还包括：

接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。

在一些实施例中，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；

所述方法还包括：

所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；

所述方法还包括：

展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；

相应地，所述接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。

在一些实施例中，所述数据形式描述信息包括以下至少一种：

数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。

在一些实施例中，所述数据形式配置信息包括：数据形式的对接方式；

相应地，所述将所述指定数据形式与所述指定业务系统的数据接口对接包括：

基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。

在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；

所述方法还包括：

展示所述数据形式库中各数据形式关联的应用供用户选择；

相应地，所述接收用户从应用库中选择指定应用的选择操作后，根据所述选择操作确定指定应用。

在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；

相应地，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；

所述方法还包括：

若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；

若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。

在一些实施例中，所述方法还包括：

若将所述指定数据形式的状态置为可用，则展示所述指定数据形式关联的应用供用户选择；若将所述指定数据形式的状态置为不可用，则不展示所述指定数据形式关联的应用。

在一些实施例中，所述数据形式配置信息包括：数据形式的存储定义；

所述方法还包括：基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。

在一些实施例中，所述方法还包括：

展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；

接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；

接收开发者针对所述指定业务系统开发的数据形式配置信息；

将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。

在一些实施例中，所述方法还包括：

展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的应用；

接收开发者从所述应用库中选择指定应用的选择操作，将所述指定应用与所述指定数据形式相关联。

在一些实施例中，所述方法还包括：

提供应用开发SDK，以供开发者针对所述指定数据形式开发指定应用；

接收开发者使用所述应用开发SDK开发的指定应用；

将所述指定应用与所述指定数据形式相关联。

第二方面，本公开实施例还一种基于数据形式的数据处理装置，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；

所述装置包括：

第一接收单元，用于接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；

对接单元，用于将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。

在一些实施例中，所述装置还包括：

运行单元，用于接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。

在一些实施例中，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；

相应地，所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，所述数据形式配置信息包括：数据形式描述信息；

所述装置还包括：

第一展示单元，用于展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；

相应地，所述第一接收单元还用于接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。

在一些实施例中，所述数据形式描述信息包括以下至少一种：

数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。

在一些实施例中，所述数据形式配置信息包括：数据形式的对接方式；

相应地，所述对接单元将所述指定数据形式与所述指定业务系统的数据接口对接包括：基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。

在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；

所述装置还包括：

第二展示单元，用于展示所述数据形式库中各数据形式关联的应用供用户选择；

相应地，所述运行单元还用于接收用户从应用库中选择指定应用的选择操作后，根据所述选择操作确定指定应用。

在一些实施例中，所述数据形式配置信息包括：数据形式的数据表模式定义；

相应地，所述对所述指定数据形式的第一SDK采集的数据进行处理包括：基于所述指定数据形式的数据表模式定义，对所述指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，所述数据形式配置信息包括：数据形式的状态，所述状态包括可用和不可用；

所述装置还包括：

状态调整单元，用于若所述指定数据形式的第一SDK采集的数据满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为可用；若所述指定数据形式的第一SDK采集的数据不满足所述指定数据形式的数据表模式定义，则将所述指定数据形式的状态置为不可用。

在一些实施例中，所述装置还包括：

第三展示单元，用于所述状态调整单元将所述指定数据形式的状态置为可用后，展示所述指定数据形式关联的应用供用户选择；且所述状态调整单元将所述指定数据形式的状态置为不可用后，不展示所述指定数据形式关联的应用。

在一些实施例中，所述数据形式配置信息包括：数据形式的存储定义；

所述装置还包括：

存储单元，用于基于所述指定数据形式的存储定义，存储所述指定数据形式的第一SDK采集的数据。

在一些实施例中，所述装置还包括：

第四展示单元，用于展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对所述指定业务系统的数据采集SDK；

第二接收单元，用于接收开发者从所述数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对所述指定业务系统开发的数据采集SDK；以及接收开发者针对所述指定业务系统开发的数据形式配置信息；

整合打包单元，用于将所述指定数据采集SDK和/或开发的数据采集SDK，以及所述数据形式配置信息进行整合打包，得到针对所述指定业务系统的指定数据形式。

在一些实施例中，所述第四展示单元，还用于展示应用库中的各应用，以供开发者选择与所述指定数据形式关联的应用；

相应地，所述第二接收单元还用于接收开发者从所述应用库中选择指定应用的选择操作后，将所述指定应用与所述指定数据形式相关联。

在一些实施例中，所述装置还包括：提供单元，用于提供应用开发SDK，以供开发者针对所述指定数据形式开发指定应用；

所述第二接收单元，还用于接收开发者使用所述应用开发SDK开发的指定应用；将所述指定应用与所述指定数据形式相关联。

第三方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面任一实施例所述方法的步骤。

第四方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面任一实施例所述方法的步骤。

可见，本公开的至少一个实施例中，可以将数据采集SDK与数据处理相关的配置信息打包为新的SDK(即数据形式)，并保存到数据形式库中，使得使用者可以从数据形式库中选择适合指定业务系统的指定数据形式，指定数据形式对接指定业务系统后，可以采集指定业务系统中的数据，而数据处理相关的配置信息为数据处理提供依据，实现在特征工程之前的数据治理，因此，无需将建模模版与建模所用的数据形成严格的绑定，由第三方专业开发者根据自身的业务理解开发不同的可替换的数据形式，将开发难度从使用者和平台转移到第三方开发者，降低使用者和平台的开发成本。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种使用数据形式的示例性场景图；

图2是本公开实施例提供的一种开发数据形式和应用的示例性场景图；

图3是本公开实施例提供的一种基于数据形式的数据处理方法的示例性流程图；

图4是本公开实施例提供的一种基于数据形式的数据处理装置的示例性框图；

图5是本公开实施例提供的一种电子设备的示例性框图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

由于使用者(客户)对自身业务场景比较熟悉，因此使用者可利用平台(机器学习服务提供方提供的机器学习平台)来针对业务场景进行建模模板开发，或者，由平台方来根据使用者的业务需求，针对性地开发建模模板。不论是由使用者还是由平台方针对业务场景进行建模模板开发，都会面临将业务场景中的数据治理成建模模板所需要的数据的形式，导致针对不同业务场景的开发成本较大等问题。

要解决这些问题，仅靠单独的机器学习产品(例如，AI应用)的能力很难有所突破，因为定制化越高的AI应用往往越专业，反之开放度越高的AI应用使用门槛也会越高。

为此，在本公开的实施例中，第三方专业开发者可使用开放度高的底层SDK(例如数据采集SDK和应用开发SDK)来设计开发数据形式和应用，让使用者通过使用数据形式，低门槛实现AI应用的使用。另外，AI解决方案可上线(例如通过AI应用得到的模型可上线提供预估服务)。此外，AI解决方案设计更开放化(例如可以设计模型方案，以基于该模型方案和线上数据进行模型自学习，得到线上模型)。

图1为本公开实施例提供的一种使用数据形式的示例性场景图。在图1中，虽然没示出，但是本领域技术人员可以理解，第一用户界面是电子设备所提供的用户界面，电子设备可以是智能手机、笔记本电脑、平板电脑等移动设备，也可以是台式计算机等固定设备。数据形式库和应用库可以位于该电子设备中；也可以位于其他电子设备中，不同电子设备之间通过通信连接，交互数据形式库和应用库的信息。在一些实施例中，数据形式库和应用库可以为软件实现，也可以为软硬结合的方式实现。

结合图1，从使用者的角度描述数据形式的使用。

在图1中，使用者可以通过第一用户界面输入指定业务系统的信息，例如包括但不限于：业务系统的名称、业务系统的场景定义、业务系统的类型等。

在图1中，使用者可以通过第一用户界面查看数据形式库中保存的一个或多个数据形式。

数据形式可以理解为一种特殊的数据采集SDK(Software Development Kit，软件开发工具包)，与普通的数据采集SDK的区别在于，数据形式除了具备数据采集功能，还具有数据处理相关的定义信息的集合，这个集合为数据处理提供依据。

在一些实施例中，数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。不同的数据形式的第一SDK和/或数据形式配置信息不同。

在一些实施例中，数据形式(也即第二SDK)中还可包括第三SDK，用于基于数据形式配置信息对第一SDK采集的数据进行数据处理。在本实施例中，数据形式不仅具备数据采集功能，还具备数据处理功能。

在一些实施例中，为了便于使用者了解数据形式的功能及内容，可以在数据形式库中增加每个数据形式的说明文件，说明文件中包括数据形式所能解决的问题(或任务)等。当使用者不了解数据形式时，可以先查看数据形式的说明文件，进一步降低使用门槛。

在图1中，使用者可以通过第一用户界面查看应用库中保存的一个或多个应用。应用库中保存的应用可以理解为AI应用，不同的AI应用可以实现不同的AI功能，例如预估功能。

在图1中，使用者可以根据指定业务系统的信息，从数据形式库中选择指定数据形式，并从应用库中选择指定应用，以明确采用哪个数据形式和哪个应用来执行指定业务系统的任务(例如预估任务)。

至此，使用者使用数据形式的操作就完成了，可见，使用者仅需要输入指定业务系统的信息、选择指定数据形式和选择指定应用即可，操作简单不复杂。

这样，使用数据形式的其他工作由电子设备来完成。

例如，电子设备可将指定数据形式和指定应用相关联。由于指定数据形式实质上为一个SDK，因此，使用者可以通过关联后的指定应用，直接打开指定数据形式，以类似文件管理方式(例如查看文件或文件夹的方式)，查看该指定应用中的数据形式配置信息。可见，本实施例中，电子设备通过将数据形式与应用(例如AI应用)相关联，使用者只需要选择数据形式和应用，后续通过应用实现类似文件管理方式，降低使用者使用数据形式的成本并提高数据形式的管理效率，以此实现AI应用使用门槛的降低。

又例如，电子设备可将指定数据形式与指定业务系统的数据接口进行数据对接，实现数据管道的搭建，进而通过指定数据形式采集指定业务系统中的数据。在一些实施例中，电子设备进行数据对接的过程可在使用者的监督下进行，确保数据形式与业务系统能够数据匹配，例如数据形式要求的必要数据字段(属于数据形式配置信息中的一部分)与业务系统的数据进行一对一的对接。

更进一步地，如果指定数据形式中包括第三SDK，则指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理，这个处理可以理解为特征工程之前的数据治理。在本实施例中，数据形式不仅具备数据采集功能，还具备数据处理功能。

又例如，电子设备可运行指定应用，以使指定应用打开指定数据形式的第二SDK，并基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行处理，这个处理可以理解为特征工程之前的数据治理。在本实施例中，数据形式仅具备数据采集功能，不具备数据处理功能(即数据形式不包括所述的第三SDK)。

更进一步地，指定应用在对第一SDK采集的数据进行处理后，或者，指定数据形式的第三SDK在对第一SDK采集的数据进行处理后，指定应用对处理得到的数据进行特征工程，进而利用特征工程输出的数据训练得到AI模型。电子设备可将这个AI模型部署上线提供服务，实现AI解决方案可上线。

考虑到有些业务系统并没有相应的数据形式或应用，因此，需要第三方专业开发者开发数据形式或应用。

图2为本公开实施例提供的一种开发数据形式和应用的示例性场景图。在图2中，虽然没示出，但是本领域技术人员可以理解，第二用户界面是电子设备所提供的用户界面。在一些实施例中，第二用户界面与图1中所示的第一用户界面可以为同一界面，也可以为不同界面。图2中，数据采集SDK库、应用开发SDK、数据形式库和应用库，可以位于该电子设备中；也可以位于其他电子设备中。

结合图2，从开发者的角度描述数据形式的开发。

在图2中，针对指定业务系统，开发者可以根据业务技术诀窍(know how)，通过第二用户界面开发数据形式配置信息。在一些实施例中，开发者可以针对同一业务系统开发不同的数据形式配置信息，实现丰富的可替换的数据形式配置信息，增加了开发的灵活性。

在图2中，开发者可以通过第二用户界面查看数据采集SDK库中保存的一个或多个数据采集SDK。

在一些实施例中，开发者可以判断是否需要开发新的数据采集SDK。例如，若业务系统中有三种数据需要采集，而数据采集SDK库中的任意一个数据采集SDK均无法采集这三种数据，那么就需要开发新的数据采集SDK。又例如，若数据采集SDK库中存在一个数据采集SDK可以采集这三种数据中的一种数据，那么就需要开发新的数据采集SDK。又例如，若这三种数据均可被采集，那么就不需要开发新的数据采集SDK。

在图2中，开发者可以通过第二用户界面开发数据采集SDK。

在图2中，开发者可以通过第二用户界面从数据采集SDK库中选择指定数据采集SDK，指定数据采集SDK能够采集指定业务系统中的部分或全部数据。

至此，开发者开发数据形式的操作就完成了，可见，开发者仅需要开发数据形式配置信息以及开发新的数据采集SDK和/或选择已有的数据采集SDK即可，这样，开发数据形式的其他工作由电子设备来完成。

在一些实施例中，电子设备将接收的数据形式配置信息、开发的数据采集SDK和指定数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，开发的数据采集SDK和指定数据采集SDK会被整合打包为第一SDK。

在一些实施例中，如果开发者没有开发新的数据采集SDK，则电子设备将接收的数据形式配置信息和指定数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，指定数据采集SDK即为第一SDK。

在一些实施例中，如果开发者没有指定数据采集SDK，仅开发了数据采集SDK，则电子设备将接收到数据形式配置信息和开发的数据采集SDK，整合打包为针对指定业务系统的指定数据形式，其中，开发的数据采集SDK即为第一SDK。

在一些实施例中，开发者可以触发整合打包操作，例如，开发者点击第二用户界面上的整合打包按钮，电子设备响应该整合打包操作而进行整合打包，得到针对指定业务系统的指定数据形式。

结合图2，从开发者的角度描述应用的开发。

在图2中，开发者可以通过第二用户界面查看应用库中保存的一个或多个应用。针对指定业务系统，开发者可以判断是否需要开发新的应用。

在一些实施例中，若需要开发新的应用，则开发者可以在第二用户界面中使用应用开发SDK来开发指定应用。例如，开发者可以构建测试环境获得测试用的数据形式，进而结合测试用的数据形式，使用应用开发SDK开发指定应用。可见，本实施例中，通过应用开发SDK，开发者可自行定义应用，实现相当程度的自由，不仅可以开发AI应用，还可以开发BI(商业智能)应用，甚至其他方面的应用。

在一些实施例中，若不需要开发新的应用，则开发者可以通过第二用户界面从应用库中选择指定应用。

电子设备将开发者开发的指定数据形式与开发(或选择)的指定应用进行关联，并将指定数据形式保存到数据形式库中，将指定应用保存(或更新)到应用库中，其中，将指定应用更新到数据库中可以理解为更新应用库中的指定应用，更新的内容是该指定应用关联的指定数据形式的信息。

在一些实施例中，开发者可以触发关联操作，例如，开发者点击第二用户界面上的关联按钮，电子设备响应该关联操作而将开发者开发的指定数据形式与开发(或选择)的指定应用进行关联。

图3为本公开实施例提供的一种基于数据形式的数据处理方法的示例性流程图。该方法的执行主体为电子设备，为便于描述，以下实施例中以电子设备为执行主体说明基于数据形式的数据处理方法的流程。

本实施例中，数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合。

在一些实施例中，数据形式配置信息包括但不限于以下(1)至(5)中的一种或多种：

(1)数据形式描述信息。在一些实施例中，数据形式描述信息可包括但不限于以下(11)至(14)中的一种或多种：

(11)数据形式的名称。

(12)数据形式的场景定义。在一些实施例中，场景定义可包括但不限于业务系统的名称。

(13)数据形式的类型定义。在一些实施例中，类型定义包括但不限于自定义类型，便于用户检索。

(14)数据形式关联的任务定义。在一些实施例中，任务定义包括但不限于任务ID。

(2)数据形式的对接方式。在一些实施例中，数据形式的对接方式可包括但不限于以下(21)和(22)中的一种或多种：

(21)流式对接方式。

(22)批量对接方式。

(3)数据形式关联的应用。

(4)数据形式的数据表模式(Schema)定义。在一些实施例中，Schema定义可包括但不限于以下(41)至(43)中的一种或多种：

(41)一个或多个数据表的名称。

(42)每个数据表包括的字段。

(43)多个数据表之间的数据关系。

(5)数据形式的存储定义。其中，存储定义，用于将对业务系统的采集数据进行数据蓄水，为后续建模做准备，蓄水数据具有明确的时序性特征，数据形式在对接业务系统的实时数据时，已经严格实现了数据发生时间的记录。在一些实施例中，数据形式的存储定义可包括但不限于以下(51)和(52)中的一种或多种：

(51)存储位置。在一些实施例中，存储位置例如为：HDFS(HadoopDistributedFile System，Hadoop分布式文件系统)、RtiDB(实时特征存储引擎)。

(52)存储路径。

(6)数据形式的状态。在一些实施例中，数据形式的状态为可用或不可用。

在步骤301中，电子设备预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同。

在一些实施例中，电子设备可以响应用户(用户为使用者或开发者)的保存操作而将数据形式保存到数据形式库中。需要说明的是步骤301属于预先执行的步骤，并非必要步骤，例如，若数据形式库中已经保存有数据形式，则无需执行步骤301。

在步骤302中，电子设备接收用户从数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息。

在一些实施例中，电子设备提供有用户界面，该用户界面可以展示数据形式库中各数据形式的数据形式描述信息供用户参考。电子设备可通过用户界面接收用户选择指定数据形式的选择操作，进而根据选择操作确定指定数据形式。另外，电子设备可通过用户界面接收用户输入的指定业务系统的信息，进而确定指定业务系统。

在步骤303中，电子设备由于确定了指定数据形式和指定业务系统，因此可以将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。在一些实施例中，电子设备可基于指定数据形式的对接方式，将指定数据形式的第一SDK与指定业务系统的数据接口对接。

在一些实施例中，电子设备可以基于指定数据形式的存储定义，存储指定数据形式的第一SDK采集的数据。

在一些实施例中，电子设备若确定指定数据形式的第一SDK采集的数据满足指定数据形式的Schema定义，则将指定数据形式的状态置为可用；若确定指定数据形式的第一SDK采集的数据不满足Schema定义，则将指定数据形式的状态置为不可用。

在一些实施例中，对于指定数据形式的第一SDK采集的指定业务系统中的数据，可以有如下两种数据处理(可以理解为数据治理)方式：

方式一，由应用进行数据处理。

本方式下，电子设备提供有用户界面，该用户界面可以展示数据形式库中各数据形式关联的应用供用户选择，需要说明的是，若指定数据形式的状态为不可用，则不展示指定数据形式关联的应用；只有当指定数据形式的状态为可用后，才展示指定数据形式关联的应用。电子设备可通过用户界面接收用户从应用库中选择指定应用的选择操作，进而根据选择操作确定指定应用，并运行指定应用，以使指定应用打开指定数据形式的第二SDK，并基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行处理。

方式二，由数据形式进行数据处理。

本方式下，数据形式的第二SDK中还包括第三SDK，第三SDK用于基于数据形式配置信息对第一SDK采集的数据进行数据处理。本实施例中，指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，无论方式一，还是方式二，对于数据处理(治理)的过程类似，描述如下：

首先，将指定数据形式的第一SDK采集的数据按照指定数据形式的Schema定义进行处理；其次，将处理后的数据按照指定业务系统的相关数据的定义信息进行数据转换，得到指定业务系统的相关数据。其中，指定业务系统的相关数据的定义信息包括但不限于：请求数据、曝光数据和反馈数据。

以业务系统为信用卡营销系统为例，请求数据是指发送给AI应用的信息，例如召回了一万个客户作为候选集，结合其他信息想要通过AI应用来帮忙判断每个客户实际可能会办理信用卡的概率，这一万条数据就是请求数据；经由AI应用预测后，实际进行电话营销时不会一万个客户都打，业务方只会选择更有可能会办理信用卡的客户去进行电话营销，可能只选中了100条，这100条就是曝光数据；最后，打完电话后客户实际有没有办理信用卡则是反馈数据。除了请求数据、曝光数据和反馈数据外，场景中可能还包含辅助数据，辅助数据是其他可能有助于提升AI应用预测效果的信息，例如客户的基本信息、客户的交易流水记录、客户的征信记录等信息。

在一些实施例中，电子设备可提供用户界面，该用户界面可以展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对指定业务系统的数据采集SDK。

在一些实施例中，电子设备可通过用户界面接收开发者从数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对指定业务系统开发的数据采集SDK。在一些实施例中，电子设备可通过用户界面接收开发者针对指定业务系统开发的数据形式配置信息。

在一些实施例中，电子设备可将开发者选择的指定数据采集SDK和/或开发的数据采集SDK，以及开发者开发的数据形式配置信息进行整合打包，得到针对指定业务系统的指定数据形式。

在一些实施例中，电子设备可通过用户界面展示应用库中的各应用，以供开发者选择与指定数据形式关联的应用。相应地，电子设备接收开发者从应用库中选择指定应用的选择操作，将指定应用与指定数据形式相关联。

在一些实施例中，电子设备可提供应用开发SDK，以供开发者针对指定数据形式开发指定应用。相应地，电子设备接收开发者使用应用开发SDK开发的指定应用，并将指定应用与指定数据形式相关联。在一些实施例中，应用开发SDK可以由平台，平台可以设置于电子设备中，也可以设置于与电子设备相独立的其他设备，例如服务器中。服务器可以是一个服务器，也可以是一个服务器群组。服务器群组可以是集中式的，也可以是分布式的。在一些实施例中，服务器可以是本地的或远程的。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。

图4为本公开实施例提供的一种基于数据形式的数据处理装置400，该数据处理装置可以应用在电子设备中。数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，第一SDK用于数据采集，数据形式配置信息为数据处理相关的定义信息的集合；预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同。

如图4所示，数据处理装置400包括：

第一接收单元401，用于接收用户从数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息。

对接单元402，用于将指定数据形式与指定业务系统的数据接口对接，以使指定数据形式的第一SDK采集指定业务系统中的数据。

在一些实施例中，数据处理装置400还包括：

运行单元，用于接收用户从应用库中选择指定应用的选择操作，运行指定应用，以使指定应用打开指定数据形式的第二SDK，并基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行处理。

在一些实施例中，第二SDK中还包括第三SDK，第三SDK用于基于数据形式配置信息对第一SDK采集的数据进行数据处理；相应地，指定数据形式的第三SDK基于指定数据形式的数据形式配置信息，对指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，数据形式配置信息包括：数据形式描述信息；数据处理装置400还包括：

第一展示单元，用于展示数据形式库中各数据形式的数据形式描述信息供用户参考；

相应地，第一接收单元401还用于接收用户从数据形式库中选择指定数据形式的选择操作后，根据选择操作确定指定数据形式。

在一些实施例中，数据形式描述信息包括以下至少一种：数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。

在一些实施例中，数据形式配置信息包括：数据形式的对接方式；相应地，对接单元402将指定数据形式与指定业务系统的数据接口对接包括：基于指定数据形式的对接方式，将指定数据形式的第一SDK与指定业务系统的数据接口对接。

在一些实施例中，所述数据形式配置信息包括：数据形式关联的应用；相应地，数据处理装置400还包括：

第二展示单元，用于展示数据形式库中各数据形式关联的应用供用户选择；相应地，运行单元还用于接收用户从应用库中选择指定应用的选择操作后，根据选择操作确定指定应用。

在一些实施例中，数据形式配置信息包括：数据形式的数据表模式定义；相应地，对指定数据形式的第一SDK采集的数据进行处理包括：基于指定数据形式的数据表模式定义，对指定数据形式的第一SDK采集的数据进行数据处理。

在一些实施例中，数据形式配置信息包括：数据形式的状态，状态包括可用和不可用；数据处理装置400还包括：

状态调整单元，用于若指定数据形式的第一SDK采集的数据满足指定数据形式的数据表模式定义，则将指定数据形式的状态置为可用；若指定数据形式的第一SDK采集的数据不满足指定数据形式的数据表模式定义，则将指定数据形式的状态置为不可用。

在一些实施例中，数据处理装置400还包括：

第三展示单元，用于状态调整单元将指定数据形式的状态置为可用后，展示指定数据形式关联的应用供用户选择；且状态调整单元将指定数据形式的状态置为不可用后，不展示指定数据形式关联的应用。

在一些实施例中，数据形式配置信息包括：数据形式的存储定义；数据处理装置400还包括：存储单元，用于基于指定数据形式的存储定义，存储指定数据形式的第一SDK采集的数据。

在一些实施例中，数据处理装置400还包括：

第四展示单元，用于展示数据采集SDK库中的各数据采集SDK，以供开发者选择针对指定业务系统的数据采集SDK；

第二接收单元，用于接收开发者从数据采集库中选择指定数据采集SDK的选择操作，和/或，接收开发者针对指定业务系统开发的数据采集SDK；以及接收开发者针对指定业务系统开发的数据形式配置信息；

整合打包单元，用于将指定数据采集SDK和/或开发的数据采集SDK，以及数据形式配置信息进行整合打包，得到针对指定业务系统的指定数据形式。

在一些实施例中，第四展示单元，还用于展示应用库中的各应用，以供开发者选择与指定数据形式关联的应用；相应地，第二接收单元还用于接收开发者从应用库中选择指定应用的选择操作后，将指定应用与指定数据形式相关联。

在一些实施例中，数据处理装置400还包括：提供单元，用于提供应用开发SDK，以供开发者针对指定数据形式开发指定应用。相应地，第二接收单元，还用于接收开发者使用应用开发SDK开发的指定应用；将指定应用与指定数据形式相关联。

在一些实施例中，数据处理装置400中各单元的划分仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如可以将多个单元实现为一个单元；也可以将一个单元划分为多个子单元。可以理解的是，各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。

图5是本公开实施例提供的一种电子设备的结构示意图。

如图5所示，电子设备包括：至少一个处理器501、至少一个存储器502和至少一个通信接口503。电子设备中的各个组件通过总线系统504耦合在一起。通信接口503，用于与外部设备之间的信息传输。可理解地，总线系统504用于实现这些组件之间的连接通信。总线系统504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图5中将各种总线都标为总线系统504。

可以理解，本实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

在一些实施方式中，存储器502存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用任务。实现本公开实施例提供的基于数据形式的数据处理方法的程序可以包含在应用程序中。

在本公开实施例中，处理器501通过调用存储器502存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器501用于执行本公开实施例提供的基于数据形式的数据处理方法各实施例的步骤。

本公开实施例提供的基于数据形式的数据处理方法可以应用于处理器501中，或者由处理器501实现。处理器501可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的基于数据形式的数据处理方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成方法的步骤。

本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如基于数据形式的数据处理方法各实施例的步骤，为避免重复描述，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。

本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于数据形式的数据处理方法，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；所述方法包括：

预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；

接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；

将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户从应用库中选择指定应用的选择操作，运行所述指定应用，以使所述指定应用打开所述指定数据形式的第二SDK，并基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行处理。

3.根据权利要求1所述的方法，其特征在于，所述第二SDK中还包括第三SDK，所述第三SDK用于基于所述数据形式配置信息对所述第一SDK采集的数据进行数据处理；

所述方法还包括：

所述指定数据形式的第三SDK基于所述指定数据形式的数据形式配置信息，对所述指定数据形式的第一SDK采集的数据进行数据处理。

4.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式描述信息；

所述方法还包括：

展示所述数据形式库中各数据形式的数据形式描述信息供用户参考；

相应地，所述接收用户从所述数据形式库中选择指定数据形式的选择操作后，根据所述选择操作确定指定数据形式。

5.根据权利要求4所述的方法，其特征在于，所述数据形式描述信息包括以下至少一种：

数据形式的场景定义、数据形式的类型定义和数据形式关联的任务定义。

6.根据权利要求1所述的方法，其特征在于，所述数据形式配置信息包括：数据形式的对接方式；

相应地，所述将所述指定数据形式与所述指定业务系统的数据接口对接包括：

基于所述指定数据形式的对接方式，将所述指定数据形式的第一SDK与所述指定业务系统的数据接口对接。

7.根据权利要求2所述的方法，其特征在于，所述数据形式配置信息包括：数据形式关联的应用；

所述方法还包括：

展示所述数据形式库中各数据形式关联的应用供用户选择；

相应地，所述接收用户从应用库中选择指定应用的选择操作后，根据所述选择操作确定指定应用。

8.一种基于数据形式的数据处理装置，其特征在于，所述数据形式为包括第一SDK和数据形式配置信息的第二SDK，其中，所述第一SDK用于数据采集，所述数据形式配置信息为数据处理相关的定义信息的集合；预先在数据形式库中保存至少一个数据形式，其中，不同的数据形式的第一SDK和/或数据形式配置信息不同；

所述装置包括：

第一接收单元，用于接收用户从所述数据形式库中选择指定数据形式的选择操作，以及接收用户输入的指定业务系统的信息；

对接单元，用于将所述指定数据形式与所述指定业务系统的数据接口对接，以使所述指定数据形式的第一SDK采集所述指定业务系统中的数据。

9.一种电子设备，其特征在于，包括：处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项所述方法的步骤。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项所述方法的步骤。

Images