CN110750727A - 数据处理方法、装置、系统和计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种数据处理方法、装置、系统和计算机可读存储介质，涉及数据处理技术领域。该方法包括：获取各模型提供方上传的多个数据处理模型；响应于用户登录，根据用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型；利用当前数据处理模型，获取数据处理结果以提供给所述用户。

Description

数据处理方法、装置、系统和计算机可读存储介质

技术领域

本公开涉及数据处理技术领域，特别涉及一种数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。

背景技术

模型提供方可以根据用户的业务需要建模，通过开发数据处理算法形成具有业务导向的数据处理模型。用户可以通过输入模型需要的数据，获取相应的数据处理结果。

在相关技术中，模型提供方基于特定用户的需求，开发供该特定用户使用的数据处理模型。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：无法实现数据处理模型的共享，导致数据处理模型开发的效率低下。

鉴于此，本公开提出了一种数据处理技术方案，能够提高数据处理模型开发的效率。

根据本公开的一些实施例，提供了一种数据处理方法，包括：获取各模型提供方上传的多个数据处理模型；响应于用户登录，根据所述用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型；利用所述当前数据处理模型，获取数据处理结果以提供给所述用户。

在一些实施例中，所述将相应的数据处理模型创建为当前数据处理模型包括：调用模型提供方上传的所述相应的数据处理模型的编程语言文件和运行脚本文件，以创建所述当前数据处理模型。

在一些实施例中，所述将相应的数据处理模型创建为当前数据处理模型包括：根据所述相应的数据处理模型，确定所述当前数据处理模型所需的用户特征。

在一些实施例中，所述获取数据处理结果以提供给所述用户包括：根据所述用户特征，利用所述当前数据处理模型获取数据处理结果以提供给所述用户。

在一些实施例中，所述获取数据处理结果以提供给所述用户包括：获取所述用户特征的相应数据；以所述相应数据作为输入，运行所述当前数据处理模型，以获取数据处理结果提供给所述用户。

在一些实施例中，所述获取所述用户特征的相应数据包括：根据所述用户的身份信息，从数据库获取所述用户特征的相应数据。

在一些实施例中，所述确定所述当前数据处理模型所需的用户特征包括：根据所述用户特征的唯一标识，选择所述当前数据处理模型所需的用户特征。

根据本公开的另一些实施例，提供一种数据处理装置，包括：模型获取单元，用于获取各模型提供方上传的多个数据处理模型；创建单元，用于响应于用户登录，根据所述用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型；结果获取单元，用于利用所述当前数据处理模型，获取数据处理结果以提供给所述用户。

在一些实施例中，所述创建单元调用模型提供方上传的所述相应的数据处理模型的编程语言文件和运行脚本文件，以创建所述当前数据处理模型。

在一些实施例中，所述创建单元根据所述相应的数据处理模型，确定所述当前数据处理模型所需的用户特征；所述结果获取单元根据所述用户特征，利用所述当前数据处理模型获取数据处理结果以提供给所述用户。

在一些实施例中，所述结果获取单元获取所述用户特征的相应数据，以所述相应数据作为输入，运行所述当前数据处理模型，以获取数据处理结果提供给所述用户。

在一些实施例中，所述结果获取单元根据所述用户的身份信息，从数据库获取所述用户特征的相应数据。

在一些实施例中，所述创建单元根据所述用户特征的唯一标识，选择所述当前数据处理模型所需的用户特征。

根据本公开的又一些实施例，提供一种数据处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的数据处理方法。

根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的数据处理方法。

根据本公开的再一些实施例，提供一种数据处理系统，包括：上述任一个实施例中的数据处理装置；和数据库单元，用于提供用户特征的相应数据。

在上述实施例中，根据用户的需求在多个模型提供方上传的数据处理模型中确定合适的数据处理模型，为用户提供数据处理结果以满足用户需求。这样，实现了多模型提供方和多用户之间的数据处理模型共享，从而提高了数据处理模型开发的效率。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1示出本公开的数据处理方法的一些实施例的流程图；

图2示出图1中步骤130的一些实施例的流程图；

图3示出本公开的数据处理方法的另一些实施例的流程图；

图4示出图3中步骤320的一些实施例的流程图；

图5示出本公开的数据处理系统的一些实施例的示意图；

图6示出本公开的数据处理装置的一些实施例的框图；

图7示出本公开的数据处理装置的另一些实施例的框图；

图8示出本公开的数据处理装置的又一些实施例的框图；

图9示出本公开的数据处理系统的一些实施例的框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出本公开的数据处理方法的一些实施例的流程图。

如图1所示，该方法包括：步骤110，获取数据处理模型；步骤120，创建当前数据处理模型；和步骤130，获取数据处理结果。

在步骤110中，获取各模型提供方上传的多个数据处理模型。例如，各模型提供方可以上传其开发的数据处理模型的编程语言文件和运行脚本文件等模型运行的相关文件。

在一些实施例中，数据处理模型可以包括基于指定数据处理需求(如用户分类、网络质量评估、目标识别等)的数据处理方法，以与需求相关的数据作为输入，利用数据处理算法输出满足需求的结果数据。

例如，数据处理需求为评估用户接入网络的质量优劣。在这种情况下，数据处理模型的输入数据可以是用户接入网络的特征数据(如接入基站ID、基站地址等网络基本信息数据，或者丢包率、延时、带宽等业务信息数据)；数据处理模型相应的数据处理方法可以是基于机器学习的各种人工智能方法；数据处理模型的输出数据可以是接入网络的质量优劣等级。

例如，数据处理需求为评估用户的信誉优劣。在这种情况下，数据处理模型的输入数据可以是用户相关的特征数据(如地域、年龄、收入等用户基本信息数据，或者收入情况、历史贷款明细、历史还款明细等业务信息数据)；数据处理模型相应的数据处理方法可以是基于机器学习的各种人工智能方法；数据处理模型的输出数据可以是用户的信誉优劣等级。

在步骤120中，响应于用户登录，根据用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型。

在一些实施例中，可以调用模型提供方上传的相应的数据处理模型的编程语言文件和运行脚本文件，以创建当前数据处理模型。例如，可以调用本地iPython文件(编程语言文件)和.model文件(运行脚本文件)用于模型部署。

在一些实施例中，可以创建当前数据处理模型与用户的关联关系，以便授权用户查询其可以使用的数据处理模型。

在一些实施例中，根据相应的数据处理模型，确定当前数据处理模型所需的用户特征。由于数据库单元(如大数据分析平台)可提供大量用户特征(如几千个)，数据处理模型仅需使用其中的少量用户特征(如几十个)。因此，可以根据用户特征的唯一标识，选择当前数据处理模型所需的用户特征。例如，唯一标识可以是用户特征的编码、标识、唯一名称等。这样可以提升数据处理模型的计算效率。

在步骤130中，利用当前数据处理模型，获取数据处理结果以提供给用户。例如，可以根据用户特征，利用当前数据处理模型获取数据处理结果以提供给用户。

在一些实施例中，可以采用图2中的实施例来实现步骤130。

图2示出图1中步骤130的一些实施例的流程图。

如图2所示，步骤130包括：步骤1310，获取相应数据；和步骤1320，获取数据处理结果。

在步骤1310中，获取用户特征的相应数据。例如，可以根据用户的身份信息，从数据库获取用户特征的相应数据。

在一些实施例中，数据库可以是预先建立的大数据分析平台，用于采集、存储、加工用户的特征数据。例如，数据库可以结合用户的相关信息(如基本信息、业务信息等)对用户进行特征分析，以生成各用户特征，并确定各用户特征的相应数据以标记相应的用户。

数据库中存储的每个用户特征都有相应数据。例如，用户特征为接入网络丢包率，相应数据为1％；用户特征为年龄，相应数据为25。

在步骤1320中，以相应数据作为输入，运行当前数据处理模型，以获取数据处理结果提供给用户。

图3示出本公开的数据处理方法的另一些实施例的流程图。

如图3所示，在步骤310中，用户登录。例如，用户提交其身份信息入驻基于上述任一个实施例中的数据处理方法搭建的数据处理系统(或称联合建模输出平台)。数据处理的系统管理端对该用户进行账户授权、账号开通。

在步骤320中，发布数据处理模型。例如，在数据处理系统中进行数据数据处理模型的脚本文件上传，并关联至可使用该模型的用户。

在一些实施例中，可以利用图4中的实施例实现步骤320。

图4示出图3中步骤320的一些实施例的流程图。

如图4所示，步骤320可以包括步骤3210-步骤3240。

在步骤3210中，创建或修改数据处理模型。

在一些实施例中，可以在数据处理系统中创建数据处理模型的基本信息。

例如，基本信息可以包括模型名称、可使用的用户(如在用户管理系统中授权可使用该数据处理模型查询页面权限的用户)、创建方信息中的一项或多项。

例如，基本信息还可以包括数据处理模型的编程语言文件和运行脚本文件。如可以选择本地的iPython文件作为编程语言文件,选择本地的.model文件作为运行脚本文件上传数据处理系统，用于数据处理模型的部署。

在一些实施例中，可以在数据处理系统中创建数据处理模型与用户之间的关联关系。

在步骤3220中，选择用户特征。即可以标记或圈选数据处理模型所需的用户特征。例如，可以搜索数据处理系统中用户特征的最新编码(标识)，然后根据编码进行用户特征的选择。

在一些实施例中，可以通过手动搜索用户特征唯一标识的方式，或者通过上传包含用户特征唯一标识的特征文件的方式选择用户特征。

在步骤3230中，显示用户特征的名称。

在步骤3240中，确认或删除已选的用户特征。例如，搜索到的用户特征可在数据处理系统提供的页面中添加，已添加的用户特征可页面中删除。

在上述实施例中，需向数据处理系统上传数据处理模型的编程语言文件和运行脚本文件、需要使用的用户特征信息(唯一标识)。编程语言文件和运行脚本文件由模型提供方提供，由平台方(数据处理系统)制定格式与规范。

在创建了数据处理模型后，就可以利用图3中的其他步骤进行数据处理了。

在步骤330中，结合用户特征运行数据处理模型。例如，数据处理系统对数据处理模型的Python脚本进行运行启动。

在步骤340中，用户获取数据处理结果。例如，数据处理模型成功运行且上线后，用户可在数据处理系统前端查询其可用的数据处理模型，还可以通过相应的接口获取数据处理模型的结果数据。

在一些实施例中，可以基于上述任一个实施例中的数据处理方法搭建数据处理系统。例如，可以由数据处理系统管理各模型提供方开发的数据处理模型的上下线及测试运行；由数据库单元提供其采集、生成的用户特征；用户以入驻数据处理系统的方式，通过授权接口获取需要的数据处理模型的输出结果数据。例如，可以通过图5的实施例来实现。

图5示出本公开的数据处理系统的一些实施例的示意图。

如图5所示，数据处理系统可以包括用户系统、模型输出单元、数据处理装置(包括模型管理单元和数据处理单元)和数据库单元。

用户系统，用于用户查询数据处理模型的结果数据；模型输出单元，用于用户登录；模型管理单元，用于创建数据处理模型；数据处理单元，用于运行数据处理模型；数据库单元，用于提供用户特征。

在一些实施例中，数据处理装置获取各模型提供方上传的数据处理模型(运行脚本等、编程语言文件等)。响应于用户在数据输出单元登录，模型管理单元创建用户信息；创建与用户需求相应的数据处理模型；配置数据处理模型所需的用户特征。模型管理单元还可以根据用户信息和所需的用户特征确定是否授权该用户使用该数据处理模型。

在一些实施例中，数据处理单元结合模型管理单元确定的数据处理模型和配置的用户特征，在Python环境下运行该数据处理模型。数据处理单元可以通过Java调用Python服务通过数据库单元的用户特征获取接口，获取用户特征的相应数据(详细信息、具体数值等)以计算结果数据。

在一些实施例中，数据处理单元可以通过Java调用Python服务通知模型管理单元当前用户可以使用的数据处理模型信息。用户可以通过模型数据单元查询其可用的数据处理模型。

在一些实施例中，数据处理单元可以通过Java调用Python服务配置结果查询接口，用户通过用户系统经由该结果查询接口查询数据处理的结果数据。

在一些实施例中，数据处理单元可以对数据处理过程命中的数据(满足用户需求的结果数据)进行监控和统计，以便向用户计费。

在一些实施例中，数据处理系统作为应用层与数据库单元(数据源系统)为隶属于同一管理系统，二者共同提供服务保证数据的安全性和独立性。

在一些实施例中，数据处理装置、模型输出平台、用户系统、数据库单元相对独立，从而保证了数据环境不受干扰。

在一些实施例中，数据处理系统的管理方可以对数据处理模型进行监管，从而保证了数据处理模型的合理性、合规性。

在一些实施例中，模型提供方即可以提供数据处理模型，也可以作为用户获得数据处理系统中数据处理模型长期、稳定的输出结果数据。

在一些实施例中，用户可以通过数据处理系统的共享使用现有的优质数据处理模型，获得模型成果。

在上述实施例中，根据用户的需求在多个模型提供方上传的数据处理模型中确定合适的数据处理模型，为用户提供数据处理结果以满足用户需求。这样，实现了多模型提供方和多用户之间的数据处理模型共享，从而提高了数据处理模型开发的效率。

图6示出本公开的数据处理装置的一些实施例的框图。

如图6所示，数据处理装置6包括模型获取单元61、创建单元62和结果获取单元63。

模型获取单元61获取各模型提供方上传的多个数据处理模型。

创建单元62响应于用户登录，根据用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型。

在一些实施例中，创建单元62调用模型提供方上传的相应的数据处理模型的编程语言文件和运行脚本文件，以创建当前数据处理模型。

在一些实施例中，创建单元62根据用户特征的唯一标识，选择当前数据处理模型所需的用户特征。

结果获取单元63利用当前数据处理模型，获取数据处理结果以提供给用户。

在一些实施例中，创建单元62根据相应的数据处理模型，确定当前数据处理模型所需的用户特征；结果获取单元63根据用户特征，利用当前数据处理模型获取数据处理结果以提供给用户。

在一些实施例中，结果获取单元63获取用户特征的相应数据，以相应数据作为输入，运行当前数据处理模型，以获取数据处理结果提供给用户。

在一些实施例中，结果获取单元63根据用户的身份信息，从数据库获取用户特征的相应数据。

图7示出本公开的数据处理装置的另一些实施例的框图。

如图7所示，该实施例的数据处理装置7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行本公开中任意一个实施例中的数据处理方法。

其中，存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

图8示出本公开的数据处理装置的又一些实施例的框图。

如图8所示，该实施例的数据处理装置8包括：存储器810以及耦接至该存储器810的处理器820，处理器820被配置为基于存储在存储器810中的指令，执行前述任意一个实施例中的数据处理方法。

存储器810例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

数据处理装置8还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830、840、850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。

图9示出本公开的数据处理系统的一些实施例的框图。

如图9所示，数据处理系统9包括：上述任一个实施例中的数据处理装置91和数据库单元92，用于提供用户特征的相应数据。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的数据处理方法、数据处理装置、数据处理系统和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种数据处理方法，包括：

获取各模型提供方上传的多个数据处理模型；

响应于用户登录，根据所述用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型；

利用所述当前数据处理模型，获取数据处理结果以提供给所述用户。

2.根据权利要求1所述的数据处理方法，其中，所述将相应的数据处理模型创建为当前数据处理模型包括：

调用模型提供方上传的所述相应的数据处理模型的编程语言文件和运行脚本文件，以创建所述当前数据处理模型。

3.根据权利要求1所述的数据处理方法，其中，所述将相应的数据处理模型创建为当前数据处理模型包括：

根据所述相应的数据处理模型，确定所述当前数据处理模型所需的用户特征；

所述获取数据处理结果以提供给所述用户包括：

根据所述用户特征，利用所述当前数据处理模型获取数据处理结果以提供给所述用户。

4.根据权利要求3所述的数据处理方法，其中，所述获取数据处理结果以提供给所述用户包括：

获取所述用户特征的相应数据；

以所述相应数据作为输入，运行所述当前数据处理模型，以获取数据处理结果提供给所述用户。

5.根据权利要求4所述的数据处理方法，其中，所述获取所述用户特征的相应数据包括：

根据所述用户的身份信息，从数据库获取所述用户特征的相应数据。

6.根据权利要求1-5任一项所述的数据处理方法，其中，所述将相应的数据处理模型创建为当前数据处理模型包括：

创建所述当前数据处理模型与所述用户的关联关系，以便授权所述用户查询其可以使用的数据处理模型。

7.一种数据处理装置，包括：

模型获取单元，用于获取各模型提供方上传的多个数据处理模型；

创建单元，用于响应于用户登录，根据所述用户的数据处理需求，将相应的数据处理模型创建为当前数据处理模型；

结果获取单元，用于利用所述当前数据处理模型，获取数据处理结果以提供给所述用户。

8.一种数据处理装置，包括：

存储器；和

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-6任一项所述的数据处理方法。

9.一种数据处理系统，包括：

权利要求7或8所述的数据处理装置；和

数据库单元，用于提供用户特征的相应数据。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述的数据处理方法。

Images