CN112868032A - 提升ai识别学习能力 - Google Patents

Abstract

一种机器学习分类系统，包括：第一机器学习分类器，用于对多个数据项中的每个元素进行分类以生成多个已分类数据项；第二机器学习分类器，用于：识别所述多个已分类数据项中的错误分类元素；对所述识别的错误分类元素中的每个元素进行重新分类以生成多个重新分类数据项；第三机器学习分类器，用于：识别所述多个已分类数据项中的未分类元素；对所述识别的未分类元素中的每个元素进行重新分类以生成多个重新分类数据项；集成分类器，用于响应所述多个重新分类数据项和所述多个新分类元素，调整所述多个已分类数据项的所述元素的分类。

Description

提升AI识别学习能力

相关申请案的交叉引用

本申请要求2018年10月15日提交的申请号为62/745,853、发明名称为“提升AI识别学习能力(Boosting AI Identification Learning)”的美国临时申请的优先权和权益，该在先申请通过引用并入本文。

技术领域

本发明涉及机器学习，具体涉及针对测试错误进行训练的集成学习系统。

背景技术

机器学习分类器对数据项进行处理以识别数据项中的特定元素(实体)。例如，音频分类器可以对音频数据项(如音频录制)进行处理以识别特定个人的语音模式，图像分类器可以对图像数据项的集合进行处理，以根据数据项是否包括特定元素(如特定人的脸部图像)对数据项进行分类。识别任务还可以根据更广泛的实体类别(例如，视频、图像或图像集合中的所有狗或所有动物)对数据项进行分类。使用训练数据对一些识别系统进行训练。然后，一旦系统受到训练，就使用测试数据集对系统进行测试并重新训练，直到测试数据集表明达到期望的性能水平。经过训练的分类系统可能会发生两种错误：错误识别和失败识别。

发明内容

下文示例描述了通过包括集成分类在内的多种机器学习技术来提高机器学习中的精确率和召回率的有效机制、技术和/或概念。

这些示例包含在独立权利要求的特征中。其它实施例在从属权利要求、说明书和附图中显而易见。

实施例使用多个经训练的机器学习分类器和一个或多个集成分类器对错误分类元素进行重新分类，并对由其它机器学习分类器产生的数据项中的未分类元素进行分类。

根据第一方面，提供了一种机器学习分类系统，包括第一机器学习分类器，对所述第一机器学习分类器进行训练以对数据项中的元素进行分类。由所述第一机器学习分类器生成的输出分类由第二机器学习分类器进一步分类，其中，对所述第二机器学习分类器进行训练，以对由所述第一机器学习分类器生成的分类中的错误分类元素进行重新分类。第一集成分类器将由所述第一机器学习分类器、所述第二机器学习分类器和第三机器学习分类器生成的分类合并，以生成第一集成分类数据项。

这些分类结果可以由机器学习分类器的其它集合进一步处理，以对错误分类元素进行重新分类，并对结果中的未分类元素进行分类。

根据所述第一方面，在所述系统的第一种实现方式中，所述机器学习系统包括：第三机器学习分类器，与所述第一机器学习分类器耦合，用于对未由所述第一机器学习分类器分类的元素进行分类。在该实现方式中，所述第一集成分类器用于响应由所述第一机器学习分类器、所述第二机器学习分类器和所述第三机器学习分类器产生的结果，调整所述已分类数据项的所述元素的分类。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第二种实现方式中，所述第二机器学习分类器和所述第三机器学习分类器用于并行执行。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第三种实现方式中，所述第一分类器和所述第二分类器针对所述多个数据项中数据项中的一个元素生成不同的分类。在该实例中，所述第一集成分类器用于根据所述第二分类器生成的分类，改变所述数据项中的所述元素的分类，以生成所述第一集成分类数据项。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第四种实现方式中，所述第三分类器针对未由所述第一分类器生成的数据项中的元素生成分类。在该实例中，所述第一集成分类器将所述第三分类器生成的所述数据项的这些新分类元素添加到所述第一分类器生成的所述已分类元素，以生成所述第一集成分类数据项。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第五种实现方式中，所述数据项为包括多个像素的图像，所述元素为所述图像中的像素组。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第六种实现方式中，所述第一机器学习分类器包括使用第一组标记数据项训练的第一训练分类器。所述第二机器学习分类器和所述第三机器学习分类器分别包括第二训练分类器和第三训练分类器，其中，基于不同于所述第一组标记数据项的第二组标记数据项训练所述第二训练分类器和所述第三训练分类器。这第二组标记数据项由所述第一训练机器学习分类器生成。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第七种实现方式中，第四机器学习分类器与所述集成分类器耦合，用于对所述第一集成分类数据项中的所述错误分类元素进行重新分类以生成第二多个重新分类数据项。第五机器学习分类器，也与所述集成分类器耦合，用于对所述第一集成分类数据项中的所述未分类元素进行分类，以生成第二多个新分类数据项。第二集成分类器响应所述第二多个重新分类数据项和所述第二多个新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第八种实现方式中，基于不同于所述第一组标记数据项和所述第二组标记数据项的第三组标记数据项训练所述第四机器学习分类器和所述第五机器学习分类器。所述第三组标记数据项由所述第一集成分类器修改的所述第一分类器、所述第二分类器和所述第三分类器分类。

根据所述第一方面或所述第一方面的任一上述实现方式，在所述系统的第九种实现方式中，所述第一机器学习分类器和所述第二机器学习分类器都为以下各项中的一种：支持向量分类器、随机森林分类器、决策树分类器、神经网络分类器、遗传分类器以及线性回归分类器。

根据第二方面，提供了一种用于对多个数据项进行分类的机器学习分类方法，每个数据项包括多个元素。所述方法包括：第一机器学习分类器对所述多个数据项中的每个元素进行分类以生成多个已分类数据项。所述方法还包括：将所述第一机器学习分类器产生的任何未分类元素分类为所述多个类别中的至少一个类别，以生成第一多个新分类数据项。所述方法还包括：响应所述第一多个新分类数据项，使用第一集成分类器调整所述已分类数据项以生成第一集成分类数据项。

根据所述第二方面，在所述方法的第一种实现方式中，所述方法还包括：对所述第一机器学习分类器产生的任何错误分类元素进行重新分类，以生成第一多个重新分类数据项。在该实现方式中，所述使用所述第一集成分类器调整所述已分类数据项还包括：根据所述第一多个重新分类数据项进行调整。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第二种实现方式中，所述方法还包括：对所述错误分类元素进行重新分类与对所述未分类元素进行分类并行进行。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第三种实现方式中，所述方法还包括：在所述对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，处理所述第一多个错误分类数据项中的每个数据项，以改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第四种实现方式中，所述方法还包括：在对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，向所述第一多个错误分类数据项添加附加数据项。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第五种实现方式中，所述方法还包括：在对所述第一多个未分类数据项中的所述未分类元素进行分类之前，处理所述第一多个未分类数据项中的每个数据项，以改变所述第一多个未分类数据项中的所述未分类元素的相应表示。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第六种实现方式中，所述方法还包括：在对所述未分类元素进行分类之前，向所述第一多个未分类数据项添加附加数据项。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第七种实现方式中，包括所述未分类元素和所述错误分类元素的所述数据项包括多个图像，每个图像包括多个像素；所述未分类元素和所述错误分类元素包括所述多个图像中的相应像素组。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第八种实现方式中，所述方法还包括：对所述多个图像执行图像旋转、图像对比度增强、图像色彩增强、或图像边缘增强中的至少一种。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第九种实现方式中，所述方法还包括：使用第一组标记数据项训练所述第一机器学习分类器；训练机器学习分类器，所述机器学习分类器用于对所述未分类元素进行分类，并根据由所述第一训练分类器生成的第二组标记数据项的分类，使用不同于所述第一组标记数据项的所述第二组标记数据项对所述错误分类元素进行重新分类。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第十种实现方式中，所述方法还包括：对所述第一集成分类数据项中的错误分类元素进行分类以生成第二多个新分类数据项。所述方法还包括：对所述第一集成分类数据项中的所述错误分类元素进行重新分类，以生成第二多个重新分类数据项。所述方法还包括：第二集成分类器响应所述第二多个新分类数据项和所述第二多个重新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项。

根据所述第二方面或所述第二方面的任一上述实现方式，在所述方法的第十一种实现方式中，所述方法还包括：根据由所述第一集成分类器生成的第三组标记数据项的分类，使用不同于所述第一组标记数据项和所述第二组标记数据项的所述第三组标记数据项，训练相应的机器学习分类器，其中，所述机器学习分类器产生所述第二多个重新分类元素和所述第二多个新分类元素。

根据第三方面，提供了一种包括程序代码的计算机程序，其中，当所述程序代码在计算机上执行时，用于执行根据所述第二方面或其任一实现方式的方法。因此，可以自动和可重复地执行所述方法。所述计算机程序可以通过装置执行。可以对所述装置进行可编程布置以执行所述计算机程序。

根据第四方面，提供了一种机器学习分类装置，用于对多个数据项进行分类，每个数据项包括多个元素。所述装置包括：用于通过第一机器学习分类器对所述多个数据项中的每个元素进行分类以生成多个已分类数据项的模块。所述装置还包括：用于将所述第一机器学习分类器产生的任何未分类元素分类为所述多个类别中的至少一个类别，以生成第一多个新分类数据项的模块。所述装置还包括：用于响应所述第一多个新分类数据项，使用第一集成分类器调整所述已分类数据项以生成第一集成分类数据项的模块。

根据所述第四方面，在所述装置的第一种实现方式中，所述装置还包括：用于对所述第一机器学习分类器产生的任何错误分类元素进行重新分类，以生成第一多个重新分类数据项的模块。在该实现方式中，还包括：用于使用所述第一集成分类器，根据所述第一多个重新分类数据项调整所述已分类数据项的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第二种实现方式中，所述装置还包括：用于对所述错误分类元素进行重新分类的模块，与用于对所述未分类元素进行分类的所述模块并行操作。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第三种实现方式中，所述装置还包括：用于在所述对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，处理所述第一多个错误分类数据项中的每个数据项，以改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第四种实现方式中，所述装置还包括：用于在对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，向所述第一多个错误分类数据项添加数据项的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第五种实现方式中，所述装置还包括：用于在对所述第一多个未分类数据项中的所述未分类元素进行分类之前，处理所述第一多个未分类数据项中的每个数据项，以改变所述第一多个未分类数据项中的所述未分类元素的相应表示的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第六种实现方式中，所述装置还包括：用于在对所述未分类元素进行分类之前，向所述第一多个未分类数据项添加数据项的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第七种实现方式中，包括所述未分类元素和所述错误分类元素的所述数据项包括多个图像，每个图像包括多个像素；所述未分类元素和所述错误分类元素包括所述多个图像中的相应像素组。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第八种实现方式中，所述装置还包括：用于对所述多个图像执行图像旋转、图像对比度增强、图像色彩增强、或图像边缘增强中的至少一种的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第九种实现方式中，所述装置还包括：用于使用第一组标记数据项训练所述第一机器学习分类器的模块；用于训练机器学习分类器的模块，其中，所述机器学习分类器用于对所述未分类元素进行分类，并根据由所述第一训练分类器生成的第二组标记数据项的分类，使用不同于所述第一组标记数据项的所述第二组标记数据项对所述错误分类元素进行重新分类。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第十种实现方式中，所述装置还包括：用于对所述第一集成分类数据项中的错误分类元素进行分类以生成第二多个新分类数据项的模块。所述装置还包括：用于对所述第一集成分类数据项中的所述错误分类元素进行重新分类，以生成第二多个重新分类数据项的模块。所述装置还包括：用于通过第二集成分类器响应所述第二多个新分类数据项和所述第二多个重新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项的模块。

根据所述第四方面或所述第四方面的任一上述实现方式，在所述装置的第十一种实现方式中，所述装置还包括：用于根据由所述第一集成分类器生成的第三组标记数据项的分类，使用不同于所述第一组标记数据项和所述第二组标记数据项的所述第三组标记数据项，训练相应的机器学习分类器的模块，其中，所述机器学习分类器产生所述第二多个重新分类元素和所述第二多个新分类元素。

实施例可以在硬件、软件或其任何组合中实现。

为所述第一方面到所述第四方面及其实现方式中的每一个方面及实现方式提供的解释同样适用于所述第一方面到所述第四方面及对应实现方式中的其它方面及实现方式。这些方面和实现方式可以相互结合使用。

附图说明

下文结合以下附图描述其它实施例，其中：

图1为示例性实施例提供的迭代/递归集成分类器在训练阶段的功能框图；

图2A为示例性实施例提供的用于训练单级分类器或用于训练迭代/递归集成分类器的一个级别的过程的流程图；

图2B为示例性实施例提供的用于扩增和/或修改未分类或错误分类的测试/训练数据的过程的流程图；

图3为示例性实施例提供的迭代/递归集成分类器在识别阶段的功能框图；

图4为示例性实施例提供的迭代/递归集成分类过程的流程图；

图5A为示例性实施例提供的机器学习系统的组件的框图；

图5B为实施例提供的包括用于神经网络训练的系统的环境的示例框图；

图6为示例性实施例提供的用于实现算法和执行方法的客户端、服务器、和基于云的资源的电路的框图。

具体实施方式

以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体实施例。这些实施例进行了足够详细的描述以使本领域技术人员能够实践所公开主题，应理解，可以利用其它实施例，并且在不脱离权利要求范围的情况下可以进行结构、逻辑和电更改。因此，以下对示例性实施例的描述不具有限定意义，并且不影响权利要求的范围。

在一个实施例中，本文所述的功能或算法可以在软件中实现。所述软件可包括存储于计算机可读介质或计算机可读存储设备(如一个或多个非瞬时性存储器或其它类型的基于硬件的本地或网络存储设备)中的计算机可执行指令。此外，这些功能与模块对应，所述模块可以是软件、硬件、固件或其任意组合。可根据需要在一个或多个模块中执行多个功能，所描述的实施例仅仅是示例。所述软件可以在处理硬件中执行，所述处理硬件包括以下各项中的一种或多种：数字信号处理器、专用集成电路(application-specificintegrated circuit，ASIC)、微处理器、现场可编程门阵列(field programmable gatearray，FPGA)、或在计算机系统(如个人计算机、服务器或其它计算机系统)中运行的其它类型的逻辑硬件，从而将这种计算机系统转换成专门编程的机器。

机器学习是一个研究领域，它使计算机能够学习，而不用被显式编程。机器学习探索的是算法(本文也称为工具)的研究和构建，这些算法可以从现有数据中学习并对新数据进行预测。这类机器学习工具的工作方式是，根据示例训练数据建立模型，以便作出表示为输出或评估的数据驱动的预测或决策。尽管针对一些机器学习工具呈现了示例性实施例，但本文呈现的原理也可以适用其它机器学习工具。

在一些示例性实施例中，可以使用不同的机器学习算法。例如，可以使用逻辑回归、决策树、随机森林、人工神经网络(artificial neural network，ANN)、遗传算法和支持向量机工具对数据集进行分类或评分。此外，一些实施例采用集成学习，其中，对集成分类器进行配置或训练，从而根据其它分类器确定的分类对元素进行分类。下文示例描述了一种分类系统，该分类系统使用多个机器学习工具来生成结果，集成分类器对这些结果进行处理以改进初始分类器执行的分类。该分类系统可以包括若干以递归或迭代方式实现的级别，与单级系统相比，这些级别对输入数据项进行分类，从而提高分类系统的精确率和召回率。

在机器学习分类系统中，精确率或正预测值表示在应用于分类系统的所有数据项中，正确分类的元素与所有已分类元素的比值。精确率的一个度量为真阳性数除以真阳性数和假阳性数之和。召回率或敏感度表示已正确分类的已分类元素的数量占数据项中可分类的元素总数的比例。召回率的一个度量为真阳性数和假阳性数之和中的真阳性数。

针对测试数据分类系统会发生两种错误。一种为失败分类，这些分类在数据项中表现为未分类元素。另一种为错误识别，它表现为数据项中的错误分类元素。未分类元素是数据项中本来可以分类但未分类的元素。错误分类元素是数据项中未正确识别的元素。下文所述的实施例使用经初始训练的分类器对数据项集合(数据集)中的元素进行分类，还使用单独的分类器来对未分类元素进行识别和分类，以及对错误分类元素进行识别和重新分类。集成分类器对初始分类器、未分类元素分类器和错误分类元素分类器产生的分类进行处理，以提高初始分类器所执行的分类的精确率和召回率。因此，对未分类元素进行分类的分类器提高了系统的召回率，而对错误分类元素进行重新分类的分类器提高了系统的精确率。

示例性系统可以在多个级别以递归或迭代的方式应用相同的技术，以进一步提高分类系统的召回率和精确率。在每个级别上，一个或多个先前级别视为初始分类器，在每个级别上训练单独的分类器，以从先前级别对未分类元素进行分类，并从先前级别对错误分类元素进行重新分类。

下文所述的示例可以适用于任何对数据项进行处理以对数据集的数据项中的元素进行分类的系统。因此，示例性系统可以不受限制地用于许多任务。例如，系统可以用于提高人工智能(artificial intelligence，AI)声音识别系统(包括语音识别系统和识别特定个人声音的系统)的性能。分类系统也可以用于AI图像分类和识别系统，包括图像分类系统、图像搜索系统(如人脸识别系统)和图像监控系统。

因此，尽管下文所述示例的背景是图像分类系统，但应理解，所述主题可以广泛应用于其它类型的标识、识别或分类系统。

图1为示例性实施例提供的递归/迭代集成分类器在训练阶段的功能框图。图1、图2A和图2B描述了用于训练分类器的示例性方法，而图3和图4描述了经训练分类器的示例性实现方式和使用。

图1示出了系统100，其中，初始机器学习分类器104接收训练数据102。示例性训练数据102包括多个标记数据集，其中，每个数据集包括多个标记数据项，其中，标签标识每个数据项中可由分类器104识别的元素。在图像分类系统的背景下，初始分类器104可包括包括一般分类/检测服务的多级分类系统，可以进行斑点检测以解析出图像中的对象，其中，该一般分类/检测服务对整个图像进行入门级分类。分类器104还可以采用边界框(未示出)勾勒出图像中检测到的斑点。然后，一个或多个特定分类器可以处理边界元素以识别元素。每个数据项分类元素可以伴随一个或多个特定元素已被识别的指示。该指示可以是指示元素是否在数据项中被识别的布尔值和/或指示元素被识别的可能性的置信度值。当该指示为置信度值时，分类器104可以将该置信度值与阈值进行比较，以确定是否已识别元素。

如下文结合图5A和图5B所述，使用标记训练数据对示例性分类器104进行训练，并使用标记测试数据对其进行测试。标记测试/训练数据102用于识别对元素进行分类中的错误。在示例性系统中，反向传播这些错误，从而通过易于减少错误分类的方式来调整分类器104的参数。如下文结合图5所述，可以将训练数据和测试数据应用于分类器104，直到错误率小于阈值水平。在这种情况下，分类器104即为经训练的分类器。

再次参考图1，训练分类器104时，系统将标记测试数据102应用于分类器104。标记测试数据与标记训练数据基本相同。分类器104对一部分测试数据102的分类正确，对一部分测试数据102的分类错误，对一部分测试数据102的分类失败。如下所述，可以扩增错误分类测试数据106，以生成扩增的错误分类数据集110，将其应用于错误分类机器学习分类器116。错误分类机器学习分类器116使用错误分类测试数据集106或扩增的错误分类测试数据集110作为训练数据来训练分类器116。对分类器116进行训练以对数据项中已被初始分类器104错误分类的元素进行识别和重新分类。

可以通过将包括错误分类元素的数据项106提供给数据修改器/增量器114来生成扩增的错误分类数据集110，同时将错误分类数据项106提供给扩增的错误分类数据集110。数据修改器/增量器114可以通过旋转、移位、增加图像的亮度或增加图像的对比度等方式来修改数据项。这些修改的数据项可以与未修改的数据项一起包含在扩增的错误分类数据集110中。修改器/增量器114还可以分析错误分类元素，以识别测试/训练数据102中的相似元素，并将这些相似元素提供给扩增数据集110。扩增数据集110可用于训练分类器116。例如，可以对分类器104进行训练以识别图像中的马。然而，分类器104可能将驴的图像错误分类为马。在此情况下，数据修改器/增量器114可以获取包括马的其它数据项和包括驴的数据项，以扩增分类器104提供的错误分类数据集106。然后，可以使用扩增的错误分类数据集110对分类器116进行训练，以对包括可能已被初始分类器104错误分类的元素的数据项进行识别和重新分类。

类似地，未分类数据集108可以包括数据项，这些数据项包括机器学习分类器104未进行分类的元素。如上所述，可以修改和/或扩增数据集108，以产生扩增的用于训练未分类机器学习分类器118的未分类数据集112。未分类测试数据集108的扩增是可选的。可以基于未分类数据集108或扩增的未分类数据集112对未分类机器学习分类器118进行训练。

包括具有未分类元素的数据项的数据集108或112可以应用于数据修改器/增量器114，以对与包括未分类元素的数据项类似的数据项进行识别。这些类似的数据项也可以用于训练分类器118。例如，可以对初始分类器104进行训练以识别特定人的面部图像。测试数据可以表明，分类器成功对个人的全脸图像进行分类，但未识别出个人的轮廓图像，或识别的轮廓图像置信度较低。数据修改器/增量器114可以识别更多与包括未分类元素的数据项类似的数据项(例如，包括个人的轮廓图像或非全脸图像的数据项)，并将这些数据项添加到扩增的未分类数据集112中。然后，基于扩增的未分类数据集112(或未分类数据集108)对未分类机器学习分类器118进行训练，以产生经训练的分类器，该经训练的分类器对数据项中可能未被经训练的初始分类器分类的元素104进行识别和分类。

在对分类器116和118进行训练之后，将第二组测试数据102应用于分类器104，并将分类器104产生的结果应用于分类器116和118。将分类器104、116和118产生的分类结果应用于集成分类器120。分类器120可以是经训练的分类器，也可以是决策引擎。当集成分类器120实现为决策引擎时，可以将任何来自分类器118的已分类数据项(包括分类器104未分类的元素)添加到集成分类器120产生的已分类数据集中。此外，决策引擎可以对任何分类器104提供的数据项(包括分类器116进行不同分类的元素)进行重新分类，使得分类器116确定的分类覆盖初始分类器104确定的分类。

或者，集成分类器并非根据已分类数据项的来源做出决策，而是可以实现为机器学习分类器，该机器学习分类器对分类器104、116和118提供的已分类数据项应用权重，以生成集成分类数据集，并对在标记测试数据中识别的错误使用反向传播来调整权重，从而提高集成分类器120的性能。这个过程可以持续多个测试数据集，直到集成分类器的性能令人满意。

如上所述，可以迭代或递归地实现包括分类器104、116、118和120的分类系统，以进一步提高组合分类系统的精确率和召回率。在这些实现方式中，集成分类器120的输出可以由错误分类机器学习分类器和未分类机器学习分类器的连续层处理，以进一步提高系统的召回率和精确率。

当示例性分类系统实现为多级系统时，集成分类器120的输出由下一级的错误分类分类器和未分类分类器处理，处理方式与分类器116和118对上述初始分类器104的输出的处理方式相同。特别地，第二级分类系统130根据标记数据对集成分类器120生成的已分类数据集进行处理，以存储包括错误分类数据集122中的已分类元素的数据项和包括未分类数据集124中的未分类元素的数据项。可以对错误分类数据集122和未分类数据集124进行扩增，以产生扩增的错误分类数据集126和/或扩增的未分类数据集128。在示例性系统中，应用错误分类数据集122或扩增的错误分类数据集126以对第二级错误分类机器学习分类器134进行训练。类似地，应用未分类数据集124或扩增的未分类数据集128以对第二级未分类机器学习分类器132进行训练。

在训练第二级分类器132和134之后，可以通过经训练分类器104、116、118、120、132和134对另一组测试数据进行处理来训练第二级集成分类器136，使得分类器120、132和134提供的结果应用于第二级集成分类器136。分类器136也可以是不需要训练的决策引擎。集成分类器136对分类器120、132和134产生的结果进行处理，处理方式与集成分类器120对分类器104、116和118产生的结果的处理方式相同，如上所述。

图1所示的示例性系统还可以包括分类系统140和150，使得集成分类器136产生的已分类数据集应用于分类系统140，系统140的集成分类器(未示出)的已分类数据集应用于分类系统150。分类系统140和150可以与分类系统130相同。虽然图1所示的示例性系统包括四个分类器级别，但设想可以在特定系统中实现更多或更少的级别。

图1所示的系统示出了多级分类器100的迭代实现方式。然而，也可以递归地实现多级分类器100。图4中示出了递归分类系统的示例。在递归实现方式中，可以使用单个错误分类机器学习过程来实现所有的错误分类机器学习分类器116、134等等；可以使用单个未分类机器学习过程来实现所有的未分类机器学习分类器118、132等等；可以使用单个集成过程来实现所有的集成分类器120、136等等。在递归实现方式中，这些过程会被多次调用，在系统的相应多个级别使用不同的参数集以及错误分类数据项和未分类数据项的不同集合。

图2A为示例性实施例提供的过程200的流程图，该过程200用于训练单级集成分类系统或用于训练迭代/递归集成分类系统的一个级别。在步骤202中，过程200将训练数据划分为多个训练数据集合和测试数据集合。每个集合包括多个数据项，每个数据项用可能存在于该项目中的元素标记。在步骤204中，所述过程根据所述训练数据的第一集合对初始分类器102进行训练。步骤204产生经训练的初始分类器。在步骤206中，过程200使用经训练的初始分类器对步骤202产生的第二数据集的数据项进行分类。步骤206产生数据集，该数据集包括具有由初始分类器104正确分类的元素的数据项、具有由初始分类器104错误分类的元素的数据项，以及具有未由初始分类器104分类的元素的数据项。这些数据项可以不是排他性的，包括经正确分类的元素的数据项也可以包括分类错误和/或未分类的元素。

在步骤208中，将具有经错误分类的元素的数据项组合在一起作为错误分类数据集106，如图1所示。将包括未分类元素的数据项组合在一起作为未分类数据集108，如图1所示。如上所述，可以使用错误分类数据集106和未分类数据集108，或基于扩增的错误分类数据集和扩增的未分类数据集112训练相应的错误分类机器学习分类器116和未分类机器学习分类器118。过程200可选地执行用虚线示出的步骤210，以生成扩增数据集110和112。下文结合图2B描述了块210的扩增过程的示例性实现方式。

步骤212使用错误分类数据集106(因测试数据通过经训练分类器104而产生)，或扩增的错误分类数据集110来训练错误分类机器学习分类器116。类似地，步骤214使用未分类数据集108(因测试数据通过经训练分类器104而产生)，或扩增的未分类数据集112来训练未分类机器学习分类器118。在该示例性系统中，步骤212和214的过程并行进行，因为它们相互独立。步骤212产生经训练的错误分类机器学习分类器116，步骤214产生经训练的未分类机器学习分类器118。

在步骤212和214之后，在步骤216中，过程200将在步骤202中生成的第三数据集作为测试数据应用于经训练的机器学习分类器104、经训练的错误分类机器学习分类器116，以及经训练的未分类机器学习分类器118。当集成分类器120为机器学习分类器时，在步骤218中使用第三数据集来训练集成分类器120。

如上所述，集成分类器120可以是决策引擎而非经训练的分类器。在这种情况下，不需要训练集成分类器，可以从图2A所示的过程200中省略步骤216和218。如图2A所示，过程200产生经完全训练的集成分类系统。

图2B为示例性实施例提供的过程的流程图，该过程与图2A的步骤210对应，用于扩增和/或修改未分类和/或错误分类的训练数据。该过程可以由图1所示的数据修改器/增量器114执行。图2B示出了用于扩增/修改图像分类系统的测试/训练数据的三种示例性方法。这些方法包括使测试/训练数据项移位或旋转、修改测试/训练数据项中未分类或错误分类元素的特征，并获取具有与测试/训练数据项的集合中未分类或错误分类元素相似的元素的其它测试/训练数据项。由于对未分类和错误分类的测试/训练数据项应用了相同的技术，因此图2B中仅示出了一个过程210。可以设想，执行单独的过程210以生成图1所示的扩增的错误分类数据集110和扩增的未分类数据集112。

在步骤232中，过程210复制错误分类数据集106或未分类数据集108中的未分类或错误分类的测试/训练数据项之一。在步骤234中，使复制的测试/训练数据项移位或旋转以生成新的测试/训练数据项。当数据项为图像时，移位操作可以对XY平面中的图像进行平移，或对图像进行仿射变换。旋转操作可以使XY平面中的图像绕轴沿Z方向旋转，或对图像进行参数变换。例如，移位或旋转可以改变测试/训练数据项的像素位置、视图方向和/或边界条件，从而可以改变分类器116或118处理测试/训练数据项的方式。

步骤236与步骤232类似，从错误分类数据集102或未分类数据集108复制未分类或错误分类的测试/训练数据项。在步骤238中，修改复制的数据项以改变数据项的一个或多个特征，从而也改变错误分类或未分类的数据项的对应特征。例如，在图像背景下，步骤238可以调整所复制数据项的亮度或对比度或改变颜色饱和度。

步骤240识别集合106或108中一个或多个未分类或错误分类的测试/训练数据项中的至少一个未分类或错误分类的元素。该信息可以根据测试/训练数据项的标签确定。在步骤242中，过程210识别测试/训练数据集102中包括相同或类似元素的附加数据项。例如，如果正在训练分类系统100以识别图像数据项中的马，并且错误分类或未分类的数据项指示驴被错误分类为马，或马的图像未被分类，则步骤242可以从测试/训练数据集102获得包括马和/或驴的其它数据项。

在步骤244中，添加在步骤234、238和/或242中生成的数据项以生成扩增的错误分类数据集110或未分类数据集112。如上所述，系统使用扩增的错误分类数据集110来训练错误分类机器学习分类器116，并使用扩增的未分类数据集112来训练未分类机器学习分类器118。

图3为示例性实施例提供的经完全训练的迭代集成分类系统300在分类阶段的功能框图。分类器304、306、308、310、312、314和316对应图1所示的相应的经训练分类器104、116、118、120、132、134和136。图3中的示例性分类系统示出输入数据项302由初始机器学习分类器304、错误分类机器学习分类器306和未分类机器学习分类器308并行分类。所有三个分类器的结果应用于集成分类器310。当集成分类器310为决策引擎时，集成分类器310在遇到由初始分类器304和错误分类分类器306不同分类的数据项时，用由分类器306执行的分类替换由分类器304执行的分类。类似地，当集成分类器310遇到未分类分类器308中在初始分类器304提供的分类中缺失的数据项的分类时，集成分类器310将未分类分类器308中的该数据项添加到已分类数据项的集合中。集成分类器310也可以是经训练的机器学习分类器。在这种情况下，集成分类器310根据其训练提供已分类数据项。

将由集成分类器310生成的已分类数据项应用于第二级分类系统320，其中，所述第二级分类系统320包括第二级错误分类机器学习分类器314、第二级未分类机器学习分类器312，以及第二级集成分类器316。与第一级分类器一样，当分类不同时，第二级集成分类器316可使分类器314的分类覆盖由集成分类器310提供的分类。类似地，集成分类器316可使分类器312所生成的在集成分类器310提供的分类中不存在的任何分类添加到已分类数据项的集合中。如图3所示，分类系统300可以包括附加分类，例如第三级分类系统330和第四级分类系统340。系统330和340可以都与系统320相同，并且分别从上一系统320和330接收其输入数据。

由于错误分类机器学习分类器306和314都基于处理流程中先前由分类器错误分类的元素进行训练，并且未分类机器学习分类器308和312都基于处理流程中先前未由分类器分类的元素进行训练，因此，多级分类系统相比单独的初始训练分类器304具有更高的精确率和召回率，并且相比初始训练分类器304、上级错误分类分类器306、上级未分类分类器308以及上级集成分类器310的组合具有更高的精确率和召回率。

图4为示例性实施例提供的递归集成分类过程400的流程图。在步骤402中，过程400接收待分类的数据项，并将它们提供给初始分类器以在步骤404中进行分类。在初始分类之后，在步骤406中将已分类数据项并行地应用于未分类分类器，并在步骤408中并行地应用于错误分类分类器。将来自初始分类步骤404、未分类分类步骤406和错误分类分类步骤408的已分类数据项并行地应用于集成分类步骤410。将集成分类步骤410的结果并行地应用于未分类分类步骤406、错误分类分类步骤408和集成分类步骤410，如图4所示。在递归实施例中，可以将相同的分类步骤406、408和410用于分类系统的每个级别，但定义每个级别上各种分类器的操作的参数不同。

图5A为示例性实施例提供的机器学习分类器500的组件的框图。图5所示的分类器500可以作为图1所示的分类器104、116、118、132或134中的任一个，或图3所示的对应分类器中的任一个。图5示出了训练和使用机器学习分类器的示例。在一些示例性实施例中，机器学习分类器(machine-learning classifier，MLC)也称为机器学习算法或工具，用于执行与搜索(如图像搜索)相关的操作。

机器学习是一个研究领域，它使计算机能够学习，而不用显式编程。机器学习探索的是算法(本文也称为工具)的研究和构建，这些算法可以从现有数据中学习并对新数据进行预测。这类机器学习工具的工作方式是，根据测试/训练数据存储器512中的示例训练数据建立模型，以便作出以输出或评估520表示的数据驱动的预测或决策。尽管针对一些机器学习工具呈现了示例性实施例，但本文呈现的原理也可以适用其它机器学习工具。

在一些示例性实施例中，可以使用不同的机器学习工具。例如，可以使用逻辑回归、决策树、随机森林、ANN、遗传算法和/或支持向量机工具对图像数据集的元素进行分类或评分。

机器学习中常见的两种问题类型为分类问题和回归问题。分类问题(classification/categorization problem)旨在将项目分类为若干类别值之一(例如，根据该图像是包括苹果图像还是橙子图像？)。回归算法旨在量化某些项目(例如，通过提供实数值)。在一些实施例中，示例性机器学习算法提供图像置信度评分(例如，从1到100的数字)，以限定每个图像数据项包括与特定类别对应的元素的置信度。机器学习回归算法可以通过如下方式用作分类算法：对回归算法的结果施加阈值，使得具有大于阈值的置信度值的结果分类为包括待识别元素，并且具有小于阈值的结果分类为不包括该元素。机器学习算法利用来自存储器512的训练数据来查找图像中的已识别特征502与模型中影响结果的对应特征之间的关联。

机器学习算法利用一个或多个元素的特征502来分析数据以生成评估520。特征502为所观察元素的单独的可测量属性。特征的概念与如线性回归等统计技术中使用的解释变量的概念有关。机器学习系统使用信息化、区分性、独立的特征来实现模式识别、分类和回归。特征可以具有不同类型，如数字特征、文本字符串、图形和所处理数据项的类型所特有的特征。在一个示例性实施例中，图像分类系统的特征502可以包括以下各项中的一个或多个：颜色503、亮度值504、形状505、位置506、对象507、几何形状508、图像元数据509以及其它图像属性510。

机器学习算法处理测试/训练数据存储器512中的训练数据，以查找训练数据与影响结果或评估520的识别特征502之间的关联。在一些示例性实施例中，来自存储器512的训练数据包括标记数据，该标记数据为待识别的一个或多个元素的已知特征数据502和/或一个或多个结果，如一类元素(例如，植物、动物、岩石)的图像存在、特定元素(例如，马、狗、猫)的图像存在，或对象组合(例如，骑自行车的人)的图像存在。

利用存储器512中的训练数据和识别特征502，在操作514中训练机器学习工具。机器学习工具评估特征502的值，因为这些值与测试/训练数据存储器512中的训练数据相关，并调整机器学习工具的参数，例如，以确定参数的趋势，使得增加正确评估的趋势的参数值的重要性升高，而减少正确评估的趋势的参数值的重要性降低。训练产生经过训练的机器学习程序516。

当使用机器学习程序516进行评估时，将新数据518作为输入提供给经训练的机器学习程序516，机器学习程序516生成评估520作为输出。例如，可以训练机器学习程序516以根据图像数据项是否包括特定元素(如特定人的面部图像)来进行分类。评估可以包括根据是否包括这种图像进行分类的输入图像。

在训练机器学习程序516之后，系统可以处理测试/训练数据存储器512的标记测试数据，以测量训练程序516的性能。如果测试数据指示性能较差(例如，低精确率和/或召回率)，则可以使用存储器512中的附加训练数据来训练机器学习程序。可以重复该过程，直到试验数据指示性能令人满意。

ANN为经训练分类器的示例。ANN是一种基于生物神经元进行松散建模的计算结构。通常，ANN通过各节点(例如，神经元)之间的加权连接(例如，突触)对信息(例如，数据或决策)进行编码。现代ANN是许多AI应用的基础，如自动感知(例如计算机视觉、语音识别、上下文感知等)、自动认知(例如，决策、物流、路由、供应链优化等)、自动控制(例如，自动汽车、无人机、机器人等)，等等。

许多ANN表示为与建模的连接对应的权重矩阵。ANN通过接收数据进入一组输入神经元来操作，这些输入神经元通常与其它神经元有许多输出连接。在各神经元之间的每次遍历中，对应权重修改输入值，并在目标神经元处针对阈值进行测试。如果加权值超过阈值，则再次对值进行加权，或通过非线性函数对值进行变换，并将该值传输到ANN图更下游的另一神经元。如果该值未超过阈值，则通常不会将该值传输到下游图神经元，突触连接保持未激活。继续加权和测试的过程，直到到达输出神经元，输出神经元的模式和值构成ANN处理的结果。

大部分ANN的正确运行依赖正确的权重。ANN设计者通常选择多个神经元层或各层之间的特定连接(包括循环连接)；然而，ANN设计者通常并不了解适用于给定应用的权重。而是，训练过程通常通过选择初始权重进行，初始权重可以随机选择。将训练数据馈入ANN，并将结果与提供错误指示的目标函数进行比较。错误指示是ANN结果与预期结果相比错误程度的度量。然后使用该错误来校正权重。在多次迭代中，权重将集体收敛，从而将运算数据编码到ANN中。该过程可以称为目标函数(例如，成本函数或损失函数)的优化，从而将成本或损失降到最低。

通常采用梯度下降技术来进行目标函数优化。相对于层参数(例如，权重方面)计算梯度(例如，偏导数)，以提供校正方向和可能的校正程度，但是不会产生将权重设置为“正确”值的单一校正。也就是说，通过几次迭代，权重将向正确值或运算有用值移动。在一些实现方式中，移动的量或步长是固定的(例如，各迭代之间相同)。小步长往往需要较长时间才能收敛，而大步长可能围绕正确值振荡或表现出其它不希望的行为。可以尝试可变步长来提供更快的收敛，而没有大步长的缺点。

反向传播是一种技术，利用该技术，通过ANN前向馈送训练数据，这里“前向”是指数据从输入神经元开始，沿着神经元连接的有向图，直到到达输出神经元，并且通过ANN反向应用目标函数以校正突触权重。在反向传播过程的每个步骤中，使用上一步骤的结果来校正权重。因此，将输出神经元校正的结果应用于与输出神经元连接的神经元，诸如此类，直到到达输入神经元。反向传播已成为训练各种ANN的一种流行技术。

图5B为实施例提供的包括用于神经网络训练的系统550的环境的示例框图。该系统包括使用处理节点560训练的ANN 554。处理节点560可以包括处理元件，如中央处理单元(central processing unit，CPU)、图形处理单元(graphical processing unit，GPU)、FPGA、数字信号处理器(digital signal processor，DSP)、ASIC或其它处理电路。在一个示例中，可以使用多个处理节点来训练ANN 554的不同层，甚至层内的不同节点562。因此，对处理节点560的集合进行布置以对ANN 554进行训练。

布置处理节点560的集合以接收ANN 554的训练集552。ANN 554包括按层布置的节点562集合(图示为各行节点562)和节点集合中各节点之间的节点间权重558(例如，参数)的集合。在一个示例中，训练集552为完整训练集的子集。这里，该子集可以使得存储资源有限的处理节点能够参与对ANN 554的训练。

训练数据可以包括表示域的多个数值，如红色像素值、绿色像素值和蓝色像素值；图像间距的强度值；以及用于语音识别的离散时间的音量值。将训练的每个值，或训练ANN554之后要分类的输入数据556提供给ANN 554的第一层或输入层中的对应节点562。值通过层传播，并通过目标函数更改。

如上所述，布置处理节点的集合以训练神经网络，从而创建经训练的神经网络。例如，一旦训练，输入ANN的数据将产生有效的分类564(例如，输入数据556将被分配到各类别中)。由处理节点562集合进行的训练是迭代的。在一个示例中，训练神经网络的每次迭代在ANN 554的各层之间独立进行。因此，两个不同的层可以由处理节点集合的不同成员并行处理。在一个示例中，在不同的硬件中训练ANN 554的不同层。处理节点集合的不同成员可以位于不同的包、外壳、计算机、基于云的资源等中。在一个示例中，训练的每次迭代在节点集合中的各节点之间独立进行。该示例说明附加并行化，利用该附加并行化独立训练单独节点562(例如，神经元)。在一个示例中，在不同的硬件中训练节点。

图6为示例性实施例提供的用于实现算法和执行方法的客户端、服务器和基于云的资源的电路的框图。不需要在各个实施例中使用所有组件。例如，客户端、服务器和网络资源可以各自使用不同的组件集，或者，在例如服务器的情况下使用较大存储设备。

一种计算机600形式的示例性计算设备可以包括处理单元602、存储器603、可移动存储器610、不可移动存储器612、通信接口616、输入接口606和输出接口604，它们全部通过总线601连接。尽管所述示例性计算设备被图示和描述为计算机600，但是所述计算设备在不同的实施例中可以有不同的形式。例如，所述计算设备可以替代是片上系统(system onachip，SOC)、智能手机、平板电脑、智能手表或其它计算设备，其包括结合图6所示和描述的相同或类似元件。如智能手机、平板电脑和智能手表等设备通常统称为移动设备或用户设备。此外，尽管各种数据存储元件作为计算机600的一部分进行说明，但是所述存储器还可包括或者可选地包括可通过网络(如互联网或基于服务器的存储器)访问的基于云的存储器。计算设备600可用于实现如图1和/或图3所示的系统100中的所有分类器，或单独的计算设备600可用于实现一个或多个分类器。

存储器603可以包括易失性存储器614和非易失性存储器608。计算机600可以包括或可以访问计算环境，所述计算环境包括各种计算机可读介质，如易失性内存614、非易失性内存608、可移动存储器610和不可移动存储器612。计算机存储器包括随机存取存储器(random-access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)和电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、闪存或其它存储器技术、只读光盘存储器(compact disc read-only memory，CD ROM)、数字通用磁盘(Digital Versatile Disk，DVD)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁性存储设备，或任何其它能够存储计算机可读指令的介质。存储器可以存储应用118，该应用118用于控制计算机600的运行。

计算机600可以包括或可以访问计算环境，该计算环境包括输入接口606、输出接口604和通信接口616。输出接口604可以与显示设备(如触摸屏)耦合，所述显示设备也可以用作输入设备。输入接口606可以与以下各项中的一个或多个耦合：触摸屏、触摸板、鼠标、键盘、摄像头、一个或多个设备专用按钮、集成在计算机600内或通过有线或无线数据连接与计算机600耦合的一个或多个传感器以及其它输入设备。计算机可以在网络环境中运行，使用通信接口616将计算机600连接到一个或多个远程计算机(如数据库服务器)。所述远程计算机可以包括个人计算机(personal computer，PC)、服务器、路由器、网络PC、对端设备或其它公共网络节点等。所述通信连接可以包括局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、蜂窝网、Wi-Fi、蓝牙或其它网络。

存储在计算机可读介质中的计算机可读指令可由计算机600的处理单元602执行。硬盘驱动器、CD-ROM和RAM是包括非瞬时性计算机可读介质(如存储设备)的制品的一些示例。术语“计算机可读介质”和“存储设备”不包括载波，因为载波太短暂。

在一个示例性实施例中，计算机600包括：第一分类器模块，用于对多个数据项中的每个元素进行分类以生成多个已分类数据项；识别器模块，用于识别多个已分类数据项中的未分类元素以生成第一多个未分类数据项；类别模块，用于将第一多个未分类数据项中的每个未分类元素分类为多个类别中的至少一个类别，以生成第一多个新分类数据项；集成分类器模块，用于响应第一多个新分类数据项，调整已分类数据项以生成第一集成分类数据项。在一些实施例中，计算机600可以包括用于执行实施例中所描述的步骤中的任一步骤或步骤组合的其它模块或附加模块。此外，如任一附图中所示出的或任一权利要求中所叙述的方法的任何附加或替代实施例或方面也可以预期包括类似的模块。

尽管上文详细描述了几个实施例，但也可以进行其它修改。例如，在图中描述的逻辑流程不需要所示特定顺序或连续顺序来达到期望的结果。可以向所描述的流程提供其它步骤或去除所描述的流程中的步骤，并可以向所描述的系统添加其它组件或移除所描述的系统的组件。其它实施例可在所附权利要求书的范围内。

Claims (42)

1.一种机器学习分类系统，其特征在于，包括：

第一机器学习分类器，用于：接收多个数据项，每个数据项包括一个或多个元素；对每个数据项的每个元素进行分类以生成多个已分类数据项；

第二机器学习分类器，与所述第一机器学习分类器耦合，用于：识别所述多个已分类数据项中的错误分类元素；对所述识别的错误分类元素中的每个元素进行重新分类以生成第一多个重新分类数据项；

第一集成分类器，与所述第一机器学习分类器和所述第二机器学习分类器耦合，用于响应所述第一多个重新分类数据项，调整所述多个已分类数据项的所述元素的分类以生成第一集成分类数据项。

2.根据权利要求1所述的机器学习分类系统，其特征在于，还包括：

第三机器学习分类器，与所述第一机器学习分类器耦合，用于：识别所述已分类数据项中的未分类元素；对所述识别的未分类元素中的每个元素进行分类以生成第一多个新分类数据项；

其中，所述第一集成分类器用于响应所述第一多个新分类数据项和所述第一多个重新分类数据项，调整所述已分类数据项的所述元素的分类以生成所述第一集成分类数据项。

3.根据权利要求2所述的机器学习分类系统，其特征在于，所述第二机器学习分类器和所述第三机器学习分类器用于并行执行。

4.根据权利要求2或3所述的机器学习分类系统，其特征在于，当所述第一分类器和所述第二分类器针对所述多个数据项中的一个数据项中的元素生成不同的分类时，所述第一集成分类器用于根据所述第二分类器生成的所述分类改变所述数据项中的所述元素的分类，以生成所述第一集成分类数据项。

5.根据权利要求2至4中任一项所述的机器学习分类系统，其特征在于，当所述第三分类器针对未由所述第一分类器生成的数据项中的元素生成分类时，所述第一集成分类器用于将所述第三分类器生成的所述数据项中的所述已分类元素添加到所述第一分类器生成的所述已分类元素，以生成所述第一集成分类数据项。

6.根据权利要求1至5中任一项所述的机器学习分类系统，其特征在于，所述数据项为包括多个像素的图像，所述元素为所述图像中的像素组。

7.根据权利要求2至6中任一项所述的机器学习分类系统，其特征在于，

所述第一机器学习分类器包括使用第一组标记数据项训练的第一训练分类器；

所述第二机器学习分类器和所述第三机器学习分类器分别包括第二训练分类器和第三训练分类器，其中，根据所述第一训练分类器生成的第二组标记数据项的分类，基于不同于所述第一组标记数据项的所述第二组标记数据项训练所述第二训练分类器和所述第三训练分类器。

8.根据权利要求2至7中任一项所述的机器学习分类系统，其特征在于，还包括：

第四机器学习分类器，与所述集成分类器耦合，用于：识别所述第一集成分类数据项中的错误分类元素；对所述第一集成分类数据项中的所述错误分类元素进行重新分类以生成第二多个重新分类数据项；

第五机器学习分类器，与所述集成分类器耦合，用于：识别所述第一集成分类数据项中的未分类元素；对所述第一集成分类数据项中所述识别的未分类元素进行分类以生成第二多个新分类数据项；

第二集成分类器，与所述第一集成分类器、所述第四机器学习分类器以及所述第五机器学习分类器耦合，用于响应所述第二多个重新分类数据项和所述第二多个新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项。

9.根据权利要求8所述的机器学习分类系统，其特征在于，根据所述第一集成分类器生成的第三组标记数据项的分类，基于不同于所述第一组标记数据项和所述第二组标记数据项的所述第三组标记数据项训练所述第四机器学习分类器和所述第五机器学习分类器。

10.根据权利要求1至9中任一项所述的机器学习分类系统，其特征在于，所述第一机器学习分类器和所述第二机器学习分类器都选自由以下各项组成的组：支持向量分类器、随机森林分类器、决策树分类器、神经网络分类器、遗传分类器以及线性回归分类器。

11.一种用于对多个数据项进行分类的机器学习分类方法，每个数据项包括多个元素，其特征在于，所述方法包括：

第一机器学习分类器对所述多个数据项中的每个元素进行分类以生成多个已分类数据项；

第二机器学习分类器识别所述多个已分类数据项中的未分类元素，以生成第一多个未分类数据项；

所述第二机器学习分类器将所述第一多个未分类数据项中的每个所述未分类元素分类成所述多个类别中的至少一个类别，以生成第一多个新分类数据项；

响应所述第一多个新分类数据项，使用第一集成分类器调整所述已分类数据项以生成第一集成分类数据项。

12.根据权利要求11所述的方法，其特征在于，还包括：

第三机器学习分类器识别所述多个已分类数据项中的错误分类元素，以生成第一多个错误分类数据项；

所述第三机器学习分类器对所述第一多个错误分类数据项中的每个所述错误分类元素进行重新分类，以生成第一多个重新分类数据项；

响应所述第一多个新分类数据项和所述第一多个重新分类数据项，使用所述第一集成分类器调整所述已分类数据项，以生成所述第一集成分类数据项。

13.根据权利要求12所述的方法，其特征在于，还包括并行操作所述第二机器学习分类器和所述第三机器学习分类器。

14.根据权利要求12或13所述的方法，其特征在于，还包括：在所述使用所述第三机器学习分类器对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，处理所述第一多个错误分类数据项中的每个数据项，以改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示。

15.根据权利要求12至14中任一项所述的方法，其特征在于，还包括：在使用所述第三机器学习分类器对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，向所述第一多个错误分类数据项添加附加数据项。

16.根据权利要求12至15中任一项所述的方法，其特征在于，还包括：在使用所述第二机器学习分类器对所述第一多个未分类数据项中的所述未分类元素进行分类之前，处理所述第一多个未分类数据项中的每个数据项，以改变所述第一多个未分类数据项中的所述未分类元素的相应表示。

17.根据权利要求12至14中任一项所述的方法，其特征在于，还包括：在使用所述第二机器学习分类器对所述第一多个未分类数据项中的所述未分类元素进行分类之前，向所述第一多个未分类数据项添加附加数据项。

18.根据权利要求14至17中任一项所述的方法，其特征在于，所述第一多个未分类数据项和所述第一多个错误分类数据项包括多个图像，每个图像包括多个像素；所述未分类元素和所述错误分类元素包括所述多个图像中的相应像素组。

19.根据权利要求18所述的方法，其特征在于，所述处理包括：对所述多个图像执行以下各项中的至少一种：图像旋转、图像对比度增强、图像色彩增强或图像边缘增强。

20.根据权利要求12至19中任一项所述的方法，其特征在于，还包括：

使用第一组标记数据项训练所述第一机器学习分类器；

根据所述第一训练分类器生成的第二组标记数据项的分类，使用不同于所述第一组标记数据项的所述第二组标记数据项训练所述第二机器学习分类器和所述第三机器训练分类器。

21.根据权利要求12至20中任一项所述的方法，其特征在于，还包括：

第四机器学习分类器识别所述第一集成分类数据项中的未分类元素；

所述第四机器学习分类器对所述第一集成分类数据项中所述识别的错误分类元素进行分类，以生成第二多个新分类数据项；

第五机器学习分类器识别所述第一集成分类数据项中的错误分类元素，以生成第二多个错误分类数据项；

对所述第二错误分类数据项中的所述错误分类元素进行重新分类，以生成第二多个重新分类数据项；

第二集成分类器响应所述第二多个新分类数据项和所述第二多个重新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项。

22.根据权利要求21所述的方法，其特征在于，包括：根据由所述第一集成分类器生成的第三组标记数据项的分类，使用不同于所述第一组标记数据项和所述第二组标记数据项的所述第三组标记数据项训练所述第四机器学习分类器和所述第五机器学习分类器。

23.一种非瞬时性计算机可读介质，其特征在于，存储用于对多个数据项进行分类的计算机指令，每个数据项包括多个元素，其中，一个或多个处理器执行所述计算机指令时，所述一个或多个处理器：

实现第一机器学习分类器，用于对所述多个数据项中的每个元素进行分类以生成多个已分类数据项；

实现第二机器学习分类器，用于：识别所述多个已分类数据项中的未分类元素；对所述识别的未分类元素中的每个元素进行分类以生成第一多个新分类数据项；

实现第一集成分类器，用于响应所述第一多个新分类数据项，调整所述多个已分类数据项的所述元素的分类以生成所述第一集成分类数据项。

24.根据权利要求23所述的非瞬时性计算机可读介质，其特征在于，所述一个或多个处理器执行所述计算机指令时，所述一个或多个处理器还：

实现第三机器学习分类器，用于：对所述多个已分类数据项中的错误分类元素进行分类；对所述识别的错误分类元素中的每个元素进行分类以生成第一多个重新分类数据项；

其中，所述第一集成分类器还用于响应所述第一多个新分类数据项和所述第一多个重新分类数据项，调整所述已分类数据项的所述元素的分类，以生成所述第一集成分类数据项。

25.根据权利要求24所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令配置所述一个或多个处理器以并行操作所述第二机器学习分类器和所述第三机器学习分类器。

26.根据权利要求24或25所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器，以在所述第三机器学习分类器对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示。

27.根据权利要求24至26中任一项所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器，以在使用所述第三机器学习分类器对所述第一多个错误分类数据项中的所述错误分类元素进行分类之前，向所述第一多个错误分类数据项添加附加数据项。

28.根据权利要求24至27中任一项所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器，以在通过所述第二机器学习分类器对所述第一多个未分类数据项中的所述未分类元素进行分类之前，处理所述第一多个未分类数据项中的每个数据项，以改变所述第一多个未分类数据项中的所述未分类元素的相应表示。

29.根据权利要求24至26中任一项所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器，以在通过所述第二机器学习分类器对所述第一多个未分类数据项的所述未分类元素进行分类之前，向所述第一多个未分类数据项添加附加数据项。

30.根据权利要求26至29中任一项所述的非瞬时性计算机可读介质，其特征在于，所述第一多个未分类数据项和所述第一多个未分类数据项中的数据项包括图像数据项，所述计算机指令配置所述一个或多个处理器，以通过如下方式改变所述第一多个未分类数据项和所述第一多个错误分类数据项中的所述元素的所述相应表示：旋转所述图像数据项、增强所述图像数据项的对比度、增强所述图像数据项的色彩、或增强所述图像数据项的边缘。

31.根据权利要求24至30中任一项所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器以：

使用第一组标记数据项训练所述第一机器学习分类器；

根据所述第一训练分类器生成的第二组标记数据项的分类，使用不同于所述第一组标记数据项的所述第二组标记数据项训练所述第二机器学习分类器和所述第三机器训练分类器。

32.根据权利要求24至31中任一项所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器以：

实现第四机器学习分类器，用于：识别所述第一集成分类数据项中的未分类元素；对所述第一集成分类数据项中所述识别的未分类元素进行分类，以生成第二多个新分类数据项；

实现第五机器学习分类器，用于：识别所述第一集成分类数据项中的错误分类元素；所述第一集成分类数据项中所述识别的错误分类元素进行重新分类，以生成第二多个重新分类数据项；

实现第二集成分类器，用于响应所述第二多个新分类数据项和所述第二多个重新分类数据项，调整所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项。

33.根据权利要求32所述的非瞬时性计算机可读介质，其特征在于，所述计算机指令还配置所述一个或多个处理器以：根据由所述第一集成分类器生成的第三组标记数据项的分类，使用不同于所述第一组标记数据项和所述第二组标记数据项的所述第三组标记数据项训练所述第四机器学习分类器和所述第五机器学习分类器。

34.一种用于对多个数据项进行分类的装置，每个数据项包括多个元素，其特征在于，所述装置包括：

用于对所述多个数据项中的每个元素进行分类以生成多个已分类数据项的模块；

用于识别所述多个已分类数据项中的未分类元素，以生成第一多个未分类数据项的模块；

用于将所述第一多个未分类数据项的每个所述未分类元素分类成所述多个类别中的至少一个类别，以生成第一多个新分类数据项的模块；

用于响应所述第一多个新分类数据项，使用第一集成分类器调整所述已分类数据项以生成第一集成分类数据项的模块。

35.根据权利要求34所述的装置，其特征在于，还包括：

用于识别所述多个已分类数据项中的错误分类元素，以生成第一多个错误分类数据项的模块；

用于对所述第一多个错误分类数据项中的每个所述错误分类元素进行重新分类，以生成第一多个重新分类数据项的模块；

用于响应所述第一多个新分类数据项和所述第一多个重新分类数据项，调整所述已分类数据项以生成所述第一集成分类数据项的模块。

36.根据权利要求35所述的装置，其特征在于，还包括用于识别和分类所述未分类数据元素的模块，其中，所述模块与所述用于识别和重新分类所述错误分类数据元素的模块并行。

37.根据权利要求35或36所述的装置，其特征在于，还包括：用于在所述对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，处理所述第一多个错误分类数据项中的每个数据项，以改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示的模块。

38.根据权利要求35至37中任一项所述的装置，其特征在于，还包括：在对所述第一多个错误分类数据项中的所述错误分类元素进行分类之前，向所述第一多个错误分类数据项添加附加数据项的模块。

39.根据权利要求35至38中任一项所述的装置，其特征在于，还包括：用于在所述对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，处理所述第一多个错误分类数据项中的每个数据项，以改变所述第一多个错误分类数据项中的所述错误分类元素的相应表示的模块。

40.根据权利要求35至37中任一项所述的装置，其特征在于，还包括：在对所述第一多个错误分类数据项中的所述错误分类元素进行重新分类之前，向所述第一多个错误分类数据项添加附加数据项的模块。

41.根据权利要求37至40中任一项所述的装置，其特征在于，所述第一多个未分类数据项和所述第一多个错误分类数据项包括多个图像，每个图像包括多个像素；所述未分类元素和所述错误分类元素包括所述相应的第一多个未分类数据项和所述第一多个错误分类数据项中的像素组；所述处理模块包括用于对所述多个图像执行图像旋转、图像对比度增强、图像色彩增强、或图像边缘增强中的至少一种的模块。

42.根据权利要求35至41中任一项所述的装置，其特征在于，还包括：

用于识别所述第一集成分类数据项的未分类元素的模块；

用于对所述第一集成分类数据项中所述识别的错误分类元素进行分类，以生成第二多个新分类数据项的模块；

用于识别所述第一集成分类数据项的错误分类元素的模块；

用于对所述第一集成分类数据项中所述识别的错误分类元素进行重新分类，以生成第二多个重新分类数据项的模块；

用于响应所述第二多个新分类数据项和所述第二多个重新分类数据项，改变所述多个第一集成分类数据项的所述元素的分类，以生成第二集成分类数据项的模块。

Images