CN112130723A - 用于针对数据执行特征处理的方法及系统 - Google Patents

Abstract

提供一种用于针对数据执行特征处理的方法及系统。所述方法包括：接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；基于获取的函数项目来获取特征处理函数；加载获取的特征处理函数；以及运行加载的特征处理函数来针对数据执行特征处理。根据所述方法及系统，用户能够根据自己的需求自定义适用的特征处理函数来针对数据执行特征处理，满足了用户的个性化需求。

Description

用于针对数据执行特征处理的方法及系统

本申请是申请日为2018年05月25日、申请号为201810517148.0、题为“用于针对数据执行特征处理的方法及系统”的专利申请的分案申请。

技术领域

本发明总体说来涉及数据处理领域，更具体地讲，涉及一种用于针对数据执行特征处理的方法及系统。

背景技术

现有的需要使用数据进行机器学习或其他数据处理的系统(例如，机器学习平台、大数据计算平台、数据分析平台等)中，提供给用户使用的特征处理函数多为满足用户共性需求的内置函数，当用户遇到一些特殊的场景时，例如，不常见的数据格式、特殊的特征处理要求等，内置函数往往无法满足需求。这时，就需要用户进行需求反馈，然后由系统的开发人员进行新的特征处理函数的开发，再进行系统的升级部署，最终用户的需求才得以满足，整个过程需要花费较长的时间。此外，也难以保证所有用户对特征处理函数的个性化需求都得到满足。

发明内容

本发明的示例性实施例在于提供一种用于针对数据执行特征处理的方法及系统，以解决现有技术存在的内置特征处理函数不能很好地符合用户的需求的问题。

根据本发明的示例性实施例，提供一种用于针对数据执行特征处理的方法，包括：接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；基于获取的函数项目来获取特征处理函数；加载获取的特征处理函数；以及运行加载的特征处理函数来针对数据执行特征处理。

可选地，所述方法由用于执行机器学习过程的机器学习平台来执行，其中，加载获取的特征处理函数的步骤包括：将获取的特征处理函数加载到所述机器学习平台的特征处理框架，生成用于执行所述特征处理函数的可执行文件，其中，运行加载的特征处理函数来针对数据执行特征处理的步骤包括：运行所述可执行文件以针对数据执行特征处理。

可选地，在加载获取的特征处理函数之后，所述方法还包括：针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能。

可选地，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能的步骤包括：向用户提供用于输入调试数据的图形界面；接收用户在所述图形界面执行的输入操作，并根据所述输入操作来获取调试数据；以及针对获取的调试数据运行加载的特征处理函数，并向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

可选地，所述输入操作用于在输入框内键入调试数据和/或用于在数据表中指定调试数据。

可选地，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能的步骤还包括：在针对获取的调试数据运行加载的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

可选地，向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果的步骤包括：通过列出获取的调试数据的值、所述特征处理函数所限定的特征处理方法、按照所述特征处理方法得到的中间值和/或函数返回值，来向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

可选地，向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果的步骤还包括：向用户展示以下项之中的至少一项：所述调试数据对应的字段名或特征名称、所述调试数据的类型、所述函数返回值的类型、所述函数返回值对应的字段名或特征名称、所述特征处理函数的名称。

可选地，所述方法还包括：将生成的可执行文件保存到所述机器学习平台，并分享给所述机器学习平台的至少一部分用户。

可选地，函数项目涉及以下项之中的至少一项：函数名称、函数参数、用于定义特征处理过程的函数体、函数返回值。

可选地，特征处理函数在所述机器学习平台中被划分为字段运算函数、特征生成函数和特征运算函数，其中，字段运算函数的输入和输出均为字段；特征生成函数的输入为字段，并且特征生成函数的输出为特征；特征运算函数的输入和输出均为特征，其中，所述方法还包括：根据用户操作或自动将获取的特征处理函数划分为字段运算函数、特征生成函数或特征运算函数。

可选地，所述自定义操作用于在输入框中输入函数项目的代码和/或用于在提供的候选函数项目中进行选择。

可选地，所述方法还包括：在加载获取的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

根据本发明的另一示例性实施例，提供一种用于针对数据执行特征处理的系统，包括：操作接收装置，用于接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；界面提供装置，用于响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；函数项目获取装置，用于接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；函数获取装置，用于基于获取的函数项目来获取特征处理函数；加载装置，用于加载获取的特征处理函数；以及运行装置，用于运行加载的特征处理函数来针对数据执行特征处理。

可选地，所述系统部署在用于执行机器学习过程的机器学习平台上，其中，加载装置将获取的特征处理函数加载到所述机器学习平台的特征处理框架，生成用于执行所述特征处理函数的可执行文件，其中，运行装置运行所述可执行文件以针对数据执行特征处理。

可选地，所述系统还包括：调试装置，用于在加载装置加载获取的特征处理函数之后，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能。

可选地，调试装置包括：界面提供单元，用于向用户提供用于输入调试数据的图形界面；调试数据获取单元，用于接收用户在所述图形界面执行的输入操作，并根据所述输入操作来获取调试数据；以及处理结果展示单元，用于针对获取的调试数据运行加载的特征处理函数，并向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

可选地，所述输入操作用于在输入框内键入调试数据和/或用于在数据表中指定调试数据。

可选地，处理结果展示单元在针对获取的调试数据运行加载的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

可选地，处理结果展示单元通过列出获取的调试数据的值、所述特征处理函数所限定的特征处理方法、按照所述特征处理方法得到的中间值和/或函数返回值，来向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

可选地，处理结果展示单元还向用户展示以下项之中的至少一项：所述调试数据对应的字段名或特征名称、所述调试数据的类型、所述函数返回值的类型、所述函数返回值对应的字段名或特征名称、所述特征处理函数的名称。

可选地，所述系统还包括：保存装置，用于将生成的可执行文件保存到所述机器学习平台，并分享给所述机器学习平台的至少一部分用户。

可选地，函数项目涉及以下项之中的至少一项：函数名称、函数参数、用于定义特征处理过程的函数体、函数返回值。

可选地，特征处理函数在所述机器学习平台中被划分为字段运算函数、特征生成函数和特征运算函数，其中，字段运算函数的输入和输出均为字段；特征生成函数的输入为字段，并且特征生成函数的输出为特征；特征运算函数的输入和输出均为特征，其中，所述系统还包括：分类装置，用于根据用户操作或自动将获取的特征处理函数划分为字段运算函数、特征生成函数或特征运算函数。

可选地，所述自定义操作用于在输入框中输入函数项目的代码和/或用于在提供的候选函数项目中进行选择。

可选地，加载装置在加载获取的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

根据本发明的另一示例性实施例，提供一种计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如上所述的用于针对数据执行特征处理的方法的计算机程序。

根据本发明的另一示例性实施例，提供一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如上所述的用于针对数据执行特征处理的方法。

根据本发明示例性实施例的用于针对数据执行特征处理的方法及系统，能够支持用户根据自己的需求来自定义适用的特征处理函数以针对数据执行特征处理，从而既高效地满足了用户的个性化、多样性需求，又提高了平台的可扩展性，降低了平台的开发成本。进一步地，还能够对用户自定义的特征处理函数进行调试、共享、发布等。

将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本发明示例性实施例的用于针对数据执行特征处理的方法的流程图；

图2示出根据本发明示例性实施例的用户输入的函数项目的代码的示例；

图3示出根据本发明的另一示例性实施例的用于针对数据执行特征处理的方法的流程图；

图4示出根据本发明示例性实施例的针对调试数据运行加载的特征处理函数来调试特征处理函数能够实现的功能的步骤的流程图；

图5示出根据本发明示例性实施例的用于针对数据执行特征处理的系统的框图；

图6示出根据本发明的另一示例性实施例的用于针对数据执行特征处理的系统的框图；

图7示出根据本发明示例性实施例的调试装置的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1示出根据本发明示例性实施例的用于针对数据执行特征处理的方法的流程图。这里，作为示例，所述方法可通过计算机程序来执行，也可由专门的用于执行机器学习、大数据计算、或数据分析的硬件设备或软硬件资源的集合体来执行，例如，可由用于实现机器学习相关业务的机器学习平台来执行所述方法。

这里，机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的情况时，模型会提供相应的判断，即，预测结果。不论是训练机器学习模型，还是利用训练好的机器学习模型进行预测，数据都需要转换为包括各种特征的机器学习样本。机器学习可被实现为“有监督学习”、“无监督学习”或“半监督学习”的形式，应注意，本发明的示例性实施例对具体的机器学习算法并不进行特定限制。此外，还应注意，在训练和应用模型的过程中，还可结合统计算法等其他手段。

参照图1，在步骤S10中，接收用于请求自定义特征处理函数的请求操作。这里，所述特征处理函数指示用于针对数据执行特征处理的函数。应该理解，这里的特征处理可指示任何与特征生成有关的处理，该处理可以是用于生成特征的完整处理过程或其中的一部分处理过程。例如，这种处理既可以是一种数值意义上的处理，也可以是一种特征意义上的处理。

根据本发明的示例性实施例，原始数据表(例如，作为机器学习建模过程中的数据导入步骤的输入的数据表)中的每条数据记录可被看作关于一个事件或对象的描述，对应于一个示例或样例。在数据记录中，包括反映事件或对象在某方面的表现或性质的属性信息，即字段。例如，原始数据表的一行对应一条数据记录，原始数据表的一列对应一个字段。特征处理所针对的变量可以是原始数据表、数值处理过的数据表、保存中间特征的样本表和/或保存最终特征的样本表。

具体说来，可预先将特征处理所针对的变量划分为标量和矢量。其中，标量是指仅具有数值意义的变量，其仅能够体现具体的数值，如一个数字、一个字符串等，标量不具有特征意义，即，尚未被映射到特征空间；矢量是指经过特征生成后得到的变量，此时其不再具有数值意义，而具有了特征意义，例如，该变量体现的是特征空间中某个维度下的取值。本发明的示例性实施例可将特征处理函数分为三类：第一类为标量操作函数(例如，字段运算函数)，该类函数输入为标量，输出也为标量，其只进行数值处理，如类型转换、数学运算、字符串运算等处理；第二类为标量转矢量函数(例如，特征生成函数)，该类函数输入为标量，输出为矢量，负责将标量值转化为矢量值，完成特征生成；第三类为矢量操作函数(例如，特征运算函数)，该类函数输入为矢量，输出为矢量，负责进行矢量间处理，如进行矢量组合。三类为递进关系，即首先进行标量操作，再进行标量转矢量操作，最后进行矢量间操作，在进行特征处理时不要求三种函数同时存在，使用其中一种或多种即可。

由此可见，被执行特征处理的数据可以是原始数据记录的字段(例如，原始的属性字段)，也可以是已执行特征处理后得到的中间结果(例如，字段或特征)；相应地，执行特征处理后得到的可以是特征，也可以是字段。换言之，特征处理函数的输入和输出可均为字段；也可输入为字段且输出为特征；也可输入和输出均为特征。

作为示例，所述方法可由用于执行机器学习过程的机器学习平台来执行，其中，机器学习平台向用户提供的涉及特征处理的图形界面(例如，用于配置特征工程的界面)中可显示用于触发自定义特征处理函数的控件，用于请求自定义特征处理函数的请求操作可以是对该控件的选择操作(例如，点击操作)。

在步骤S20中，响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面。

作为示例，用于自定义特征处理函数的图形界面可包括用于输入用于限定特征处理函数的函数项目的输入控件。例如，所述输入控件可包括用于输入函数项目的代码的内容输入框和/或用于选择函数项目的内容选项。

在步骤S30中，接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目。

作为示例，所述自定义操作可用于在输入框中输入函数项目的代码(即，编写代码)和/或用于在提供的候选函数项目中进行选择(即，选择选项)。此外，所述自定义操作也可以是其他类型的用于输入函数项目的操作。

作为示例，函数项目可涉及以下项之中的至少一项：函数名称、函数参数、用于定义特征处理过程的函数体、函数返回值。这里，函数参数也即函数的输入，函数返回值也即函数的输出，用于定义特征处理过程的函数体也即函数主体。

作为示例，涉及函数参数的函数项目可包括：函数参数的名称和/或类型(例如，数据类型)；涉及函数返回值的函数项目可包括：函数返回值的名称和/或类型(例如，数据类型)。

作为示例，可根据用于在提供的候选函数项目中进行选择的自定义操作来获取涉及函数参数、函数返回值的函数项目；可根据用于在输入框中输入函数项目的代码的自定义操作来获取涉及用于定义特征处理过程的函数体的函数项目。

作为示例，所述自定义操作可以是基于各种适当的编程语言的操作，例如，Java编程语言等。例如，用于在输入框中输入函数项目的代码的自定义操作可以是基于各种适当的编程语言来编写代码的操作。

图2示出根据本发明示例性实施例的用户输入的函数项目的代码的示例。这里，自定义操作可以是用于在输入框中基于Java编程语言输入函数项目的代码的操作，函数项目可包括函数参数的名称、函数参数的数据类型、函数主体、函数返回值的名称、函数返回值的数据类型。

此外，作为示例，根据本发明示例性实施例的用于针对数据执行特征处理的方法还可包括：向用户提供在该机器学习平台上自定义特征处理函数的规则，此外，还可向用户提供该机器学习平台中的特征处理函数的具体示例，以便用户获知如何在所述图形界面上执行自定义操作才能够获取能够在该机器学习平台上使用的特征处理函数。

在步骤S40中，基于获取的函数项目来获取特征处理函数。这里，可在获取函数项目之后，基于获取的函数项目来得到相应的特征处理函数。为了所述特征处理函数能够运行，在步骤S50中，加载获取的特征处理函数。

作为示例，所述方法可由用于执行机器学习过程的机器学习平台来执行，相应地，步骤S50可包括：将获取的特征处理函数加载到所述机器学习平台的特征处理框架，以实现在所述机器学习平台上能够运行获取的特征处理函数。这里，机器学习平台的特征处理框架可指示用于机器学习平台实现特征处理的主体逻辑架构。

作为示例，可基于自定义操作所使用的编程语言和机器学习平台的特征处理框架所使用的编程语言，将获取的特征处理函数加载到所述机器学习平台的特征处理框架。例如，当自定义操作所使用的编程语言和机器学习平台的特征处理框架所使用的编程语言均为Java编程语言时，可使用ASM字节码操作框架将获取的特征处理函数织入到所述特征处理框架，以实现在该机器学习平台上能够运行获取的特征处理函数。

此外，作为示例，步骤S50可包括：将获取的特征处理函数加载到所述机器学习平台的特征处理框架，生成用于执行所述特征处理函数的可执行文件。作为示例，通过生成用于执行获取的特征处理函数的可执行文件，可方便地在后续使用该特征处理函数。

进一步地，作为示例，根据本发明示例性实施例的用于针对数据执行特征处理的方法还可包括：将生成的可执行文件保存到所述机器学习平台，并分享给所述机器学习平台的至少一部分用户，以允许所述至少一部分用户能够使用分享的特征处理函数。例如，用户可将生成的可执行文件共享给该用户指定的其他用户，或者，可将生成的可执行文件发布到机器学习平台，以便所有用户都可以使用该用户自定义的特征处理函数，扩大该特征处理函数的使用范围。这里，在发布或分享所述可执行文件时，可设置不同的使用权限，例如，是否可编辑或修改可执行文件的权限、是否可进一步分享可执行文件的权限等。

此外，作为示例，根据本发明示例性实施例的用于针对数据执行特征处理的方法还可包括：在加载获取的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。例如，可除了提示出现异常之外，还可进一步提示出现异常的原因等。

在步骤S60中，运行加载的特征处理函数来针对数据执行特征处理，从而满足用户对特征处理的需求。这里，可针对原始数据表或经过特定处理(例如，数据清洗或其他特征处理)之后得到的数据表(例如，处理后的数据表或样本表，这里，样本表中的一行可对应一条机器学习样本，一列可对应一个或一组特征)来运行特征处理函数以执行所述特征处理函数所限定的特征处理，以得到作为结果数据的处理后的数据表或样本表。作为示例，可通过运行所述可执行文件来运行加载的特征处理函数，以针对数据执行特征处理。

根据本发明示例性实施例的用于针对数据执行特征处理的方法，能够快速生成满足用户需求的特征，免去了机器学习平台的需求收集、开发、测试、上线等一系列流程，既节约了用户的时间，提升了用户体验，又降低了机器学习平台的开发成本。

此外，作为示例，特征处理函数在所述机器学习平台中被划分为字段运算函数、特征生成函数和特征运算函数，其中，根据本发明示例性实施例的用于针对数据执行特征处理的方法还可包括：根据用户操作或自动将获取的特征处理函数划分为字段运算函数、特征生成函数或特征运算函数。作为示例，可通过对机器学习平台中的特征处理函数进行标记，来将特征处理函数划分为字段运算函数、特征生成函数和特征运算函数。例如，所述用户操作可以是在用于指定函数类型的下拉框中选择指示字段运算函数的内容选项、指示特征生成函数的内容选项和指示特征运算函数的内容选项之一，从而将获取的特征处理函数标记为与所选择的内容选项对应的函数类型。

具体说来，字段运算函数的输入和输出均为字段，即，字段运算函数用于对数值(即，字段值)进行运算处理，例如，对字段值的数据类型进行转换、对字段值进行数学运算等；特征生成函数的输入为字段且输出为特征，即，特征生成函数用于实现从字段生成特征的处理；特征运算函数的输入和输出均为特征，即，特征运算函数用于对特征进行运算处理，例如，对多个特征进行特征组合等。

通过将机器学习平台中的特征处理函数划分为字段运算函数、特征生成函数和特征运算函数，一方面，能够方便用户获知各特征处理函数的功能、输入值和/或输出值的特性，和/或特征处理的流程(例如，在进行特征处理时，特征函数的执行顺序依次是：字段运算函数、特征生成函数和特征运算函数)，提升了用户体验；另一方面，方便机器学习平台对其内的特征处理函数进行管理(例如，方便对各类特征处理函数进行检查(例如，字段运算函数的输入输出必须为字段值而不能为特征)；或方便统一改变某一类的特征处理函数的特性等)，降低了机器学习平台的维护成本。

此外，作为示例，机器学习平台在向用户展示其内的特征处理函数时，可按照字段运算函数、特征生成函数和特征运算函数来分类显示其内的特征处理函数，方便用户快速查找到所需的特征处理函数。

图3示出根据本发明的另一示例性实施例的用于针对数据执行特征处理的方法的流程图。

参照图3，根据本发明的另一示例性实施例的用于针对数据执行特征处理的方法除包括图1所示的步骤S10、步骤S20、步骤S30、步骤S40、步骤S50和步骤S60之外，还可包括步骤S70。步骤S10至步骤S60可参照根据图1描述的具体实施方式来实现，在此不再赘述。

在执行步骤S50之后，执行步骤S70，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能。这样，用户能够确定获取的特征处理函数是否满足其需求，即，是否满足其希望该特征处理函数能够实现的功能。当该特征处理函数能够实现的功能满足用户需求(例如，接收到用户对该特征处理函数能够实现的功能的确认操作)时，则可在后续使用该特征处理函数来针对数据执行特征处理，例如，执行步骤S60；当该特征处理函数能够实现的功能不能满足用户需求时，用户可修改或重新定义特征处理函数。

作为示例，可在执行步骤S50之后，自动地直接启动步骤S70。作为另一示例，可在执行步骤S50之后，响应于调试特征处理函数能够实现的功能的请求来执行步骤S70，即，使得调试特征处理函数能够实现的功能成为可选的项目。

下面，将结合图4来描述根据本发明示例性实施例的针对调试数据运行加载的特征处理函数来调试特征处理函数能够实现的功能的步骤的具体实现方式。

参照图4，在步骤S701中，向用户提供用于输入调试数据的图形界面。

作为示例，可在执行步骤S50之后，自动向用户提供用于输入调试数据的图形界面。作为另一示例，可在执行步骤S50之后，响应于调试特征处理函数能够实现的功能的请求来向用户提供用于输入调试数据的图形界面。

在步骤S702中，接收用户在所述图形界面执行的输入操作，并根据所述输入操作来获取调试数据。这里，调试数据可指示作为函数输入的参数。

作为示例，所述输入操作可用于在输入框内键入调试数据。例如，如果获取的特征处理函数为字段运算函数或特征生成函数，则所述输入操作可用于在输入框内键入一个或多个具体的字段值作为调试数据；如果获取的特征处理函数为特征运算函数，则所述输入操作可用于在输入框内键入一个或多个具体的特征值作为调试数据。

作为另一示例，所述输入操作可用于在数据表中指定调试数据。这里，所述数据表可以是原始数据表、处理后的数据表和/或保存中间特征的样本表。例如，如果获取的特征处理函数为字段运算函数或特征生成函数，则所述输入操作可用于指定原始数据表或处理后的数据表中的至少一条数据记录中的至少一个字段的字段值作为调试数据；如果获取的特征处理函数为特征运算函数，则所述输入操作可用于指定样本表中的至少一条机器学习样本中的至少一个或一组特征的特征值作为调试数据。

在步骤S703中，针对获取的调试数据运行加载的特征处理函数，并向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。这里，所述处理结果既可指示调试数据经过特征处理之后得到的结果值，也可指示特征处理的中间值或其他有关的处理项目。也就是说，除了展示对调试数据进行特征处理的最终结果之外，还可进一步向用户展示按照特征处理函数针对调试数据执行特征处理的过程中所涉及的其他项目，以便用户更直观地检查特征处理函数的各个细节。

作为示例，可通过展示特征处理过程中涉及的处理、处理对象、中间值、代码、结果和/或错误等内容来可视化地展示特征处理过程。

作为示例，可通过列出获取的调试数据的值、获取的特征处理函数所限定的特征处理方法、按照所述特征处理方法得到的中间值和/或函数返回值，来向用户展示按照获取的特征处理函数针对获取的调试数据执行特征处理的处理结果。作为示例，可按照特征处理的先后顺序，依次列出调试数据的值、每一阶段的特征处理方法以及相应的中间值、最终得到的函数返回值等。

根据本发明的示例性实施例，通过借助调试数据来展示特征处理过程，有助于用户直观地了解按照自定义的特征处理函数针对调试数据执行特征处理的各个环节、自定义的特征处理函数能够实现的功能。

此外，作为示例，可在指定调试数据的过程中，进一步指定相应的调试数据类型，例如，所述输入操作还可用于在相应的内容输入框内输入调试数据的类型；或者，调试数据的数据表中包括了调试数据对应的字段类型或特征类型，从而能够通过指定调试数据的输入操作来获取调试数据的类型，这样，在步骤S703中，可针对获取的调试数据及其类型来运行加载的特征处理函数。

此外，作为示例，可在指定调试数据的过程中，进一步指定相应的调试数据的字段名或特征名称，例如，所述输入操作还可用于在相应的内容输入框内输入调试数据的字段名或特征名称；或者，调试数据的数据表中包括了调试数据所对应的字段名或特征名称，从而能够通过指定调试数据的输入操作来获取调试数据的字段名或特征名称。此外，所述输入操作还可用于在相应的内容输入框内输入函数返回值对应的字段名或特征名称。相应地，向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果的处理还可包括：向用户展示以下项之中的至少一项：调试数据对应的字段名或特征名称、调试数据的类型、函数返回值的类型、函数返回值对应的字段名或特征名称、特征处理函数的名称。

此外，步骤S70还可包括：在针对获取的调试数据运行加载的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。例如，特征处理函数的哪一部分出现异常，以及出现异常的原因。

图5示出根据本发明示例性实施例的用于针对数据执行特征处理的系统的框图。

如图5所示，根据本发明示例性实施例的用于针对数据执行特征处理的系统包括：操作接收装置10、界面提供装置20、函数项目获取装置30、函数获取装置40、加载装置50和运行装置60。

具体说来，操作接收装置10用于接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数。

界面提供装置20用于响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面。

函数项目获取装置30用于接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目。

作为示例，函数项目可涉及以下项之中的至少一项：函数名称、函数参数、用于定义特征处理过程的函数体、函数返回值。

作为示例，所述自定义操作可用于在输入框中输入函数项目的代码和/或用于在提供的候选函数项目中进行选择。

函数获取装置40用于基于获取的函数项目来获取特征处理函数。

加载装置50用于加载获取的特征处理函数。

作为示例，加载装置50可在加载获取的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

运行装置60用于运行加载的特征处理函数来针对数据执行特征处理。

作为示例，所述系统可部署在用于执行机器学习过程的机器学习平台上，其中，加载装置50可将获取的特征处理函数加载到所述机器学习平台的特征处理框架，生成用于执行所述特征处理函数的可执行文件，其中，运行装置60可运行所述可执行文件以针对数据执行特征处理。

作为示例，根据本发明示例性实施例的用于针对数据执行特征处理的系统还可包括：保存装置(未示出)。

保存装置用于将生成的可执行文件保存到所述机器学习平台，并分享给所述机器学习平台的至少一部分用户。

作为示例，特征处理函数在所述机器学习平台中可被划分为字段运算函数、特征生成函数和特征运算函数，其中，字段运算函数的输入和输出均为字段；特征生成函数的输入为字段，并且特征生成函数的输出为特征；特征运算函数的输入和输出均为特征，其中，根据本发明示例性实施例的用于针对数据执行特征处理的系统还可包括：分类装置(未示出)。

分类装置用于根据用户操作或自动将获取的特征处理函数划分为字段运算函数、特征生成函数或特征运算函数。

图6示出根据本发明的另一示例性实施例的用于针对数据执行特征处理的系统的框图。

如图6所示，根据本发明的另一示例性实施例的用于针对数据执行特征处理的系统除包括操作接收装置10、界面提供装置20、函数项目获取装置30、函数获取装置40、加载装置50和运行装置60之外，还包括调试装置70。

具体说来，调试装置70用于在加载装置50加载获取的特征处理函数之后，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能。

图7示出根据本发明示例性实施例的调试装置的框图。

如图7所示，根据本发明示例性实施例的调试装置70可包括：界面提供单元701、调试数据获取单元702和处理结果展示单元703。

具体说来，界面提供单元701用于向用户提供用于输入调试数据的图形界面。

调试数据获取单元702用于接收用户在所述图形界面执行的输入操作，并根据所述输入操作来获取调试数据。

作为示例，所述输入操作可用于在输入框内键入调试数据和/或用于在数据表中指定调试数据。

处理结果展示单元703用于针对获取的调试数据运行加载的特征处理函数，并向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

作为示例，处理结果展示单元703可通过列出获取的调试数据的值、所述特征处理函数所限定的特征处理方法、按照所述特征处理方法得到的中间值和/或函数返回值，来向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

作为示例，处理结果展示单元703还可向用户展示以下项之中的至少一项：所述调试数据对应的字段名或特征名称、所述调试数据的类型、所述函数返回值的类型、所述函数返回值对应的字段名或特征名称、所述特征处理函数的名称。

作为示例，处理结果展示单元703可在针对获取的调试数据运行加载的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

应该理解，根据本发明示例性实施例的用于针对数据执行特征处理的系统的具体实现方式可参照结合图1至图4描述的相关具体实现方式来实现，在此不再赘述。

根据本发明示例性实施例的用于针对数据执行特征处理的系统所包括的装置可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

应理解，根据本发明示例性实施例的用于针对数据执行特征处理的方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种用于针对数据执行特征处理的计算机可读介质，其中，在所述计算机可读介质上记录有用于执行以下方法步骤的计算机程序：接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；基于获取的函数项目来获取特征处理函数；加载获取的特征处理函数；以及运行加载的特征处理函数来针对数据执行特征处理。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1至图4进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的用于针对数据执行特征处理的系统可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，根据本发明示例性实施例的用于针对数据执行特征处理的系统所包括的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行用于针对数据执行特征处理的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的用于针对数据执行特征处理的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的用于针对数据执行特征处理的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的用于针对数据执行特征处理的计算装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行下述步骤：接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；基于获取的函数项目来获取特征处理函数；加载获取的特征处理函数；以及运行加载的特征处理函数来针对数据执行特征处理。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种用于针对数据执行特征处理的方法，包括：

接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；

响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；

接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；

基于获取的函数项目来获取特征处理函数；

加载获取的特征处理函数；以及

运行加载的特征处理函数来针对数据执行特征处理。

2.根据权利要求1所述的方法，其中，所述方法由用于执行机器学习过程的机器学习平台来执行，

其中，加载获取的特征处理函数的步骤包括：将获取的特征处理函数加载到所述机器学习平台的特征处理框架，生成用于执行所述特征处理函数的可执行文件，

其中，运行加载的特征处理函数来针对数据执行特征处理的步骤包括：运行所述可执行文件以针对数据执行特征处理。

3.根据权利要求1所述的方法，其中，在加载获取的特征处理函数之后，所述方法还包括：

针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能。

4.根据权利要求3所述的方法，其中，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能的步骤包括：

向用户提供用于输入调试数据的图形界面；

接收用户在所述图形界面执行的输入操作，并根据所述输入操作来获取调试数据；以及

针对获取的调试数据运行加载的特征处理函数，并向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

5.根据权利要求4所述的方法，其中，所述输入操作用于在输入框内键入调试数据和/或用于在数据表中指定调试数据。

6.根据权利要求4所述的方法，其中，针对调试数据运行加载的特征处理函数来调试所述特征处理函数能够实现的功能的步骤还包括：在针对获取的调试数据运行加载的特征处理函数的过程中出现异常的情况下，提示用户具体的异常情况。

7.根据权利要求4所述的方法，其中，向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果的步骤包括：通过列出获取的调试数据的值、所述特征处理函数所限定的特征处理方法、按照所述特征处理方法得到的中间值和/或函数返回值，来向用户展示按照所述特征处理函数针对所述调试数据执行特征处理的处理结果。

8.一种用于针对数据执行特征处理的系统，包括：

操作接收装置，用于接收用于请求自定义特征处理函数的请求操作，其中，所述特征处理函数指示用于针对数据执行特征处理的函数；

界面提供装置，用于响应于所述请求操作，向用户提供用于自定义特征处理函数的图形界面；

函数项目获取装置，用于接收用户在所述图形界面上执行的自定义操作，并根据所述自定义操作来获取用于限定特征处理函数的函数项目；

函数获取装置，用于基于获取的函数项目来获取特征处理函数；

加载装置，用于加载获取的特征处理函数；以及

运行装置，用于运行加载的特征处理函数来针对数据执行特征处理。

9.一种计算机可读介质，其中，在所述计算机可读介质上记录有用于执行如权利要求1至7任一所述的用于针对数据执行特征处理的方法的计算机程序。

10.一种计算装置，包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行如权利要求1至7任一所述的用于针对数据执行特征处理的方法。

Images