CN111046929B - 模型错例的分析方法、装置及电子设备 - Google Patents

Abstract

本发明涉及模型错例的分析方法、装置及电子设备。该方法包括：获取错例集，错例集包括多个错判图像，多个错判图像均为基于同一模型的错判案例，模型为使用多个第一样本图像通过机器学习训练得出；提取每个错判图像的特征数据；根据特征数据，获取每个错判图像在错例集中的最相似图像，确定任意两个错判图像之间是否存在最相似关系；根据最相似关系对错例集进行聚类，得到聚类结果，聚类结果包括至少一个团簇，每个团簇对应多个错判图像。

Description

模型错例的分析方法、装置及电子设备

技术领域

本发明涉及云服务技术领域，更具体地，涉及一种模型错例的分析方法、一种模型优化方法、一种模型错例的分析装置、一种模型优化装置以及一种电子设备。

背景技术

随着云计算、大数据以及人工智能技术的发展，越来越多的云公司开始对外提供人工智能服务，如图片分类等。同时，随着以深度学习为代表的人工智能技术的快速发展，人工智能算法的识别准确率不断提高，但是算法不可避免会出现预测错误的情况，这些预测错误的样例(错例)会通过终端用户不断反馈给云公司。如何快速且高效地对用户反馈的海量错例进行分析，进而有针对性的对人工智能算法进行调优是一项非常重要且迫切的任务。

现有方式中，通常由人工观察和分析海量错例，在此基础上总结出典型的错误类型。这种方式费时费力，成本较高。

因此，有必要提出一种新的人工智能模型的错例分析方法方案。

发明内容

本发明的一个目的是提供一种新的人工智能模型的错例分析方法方案。

根据本发明的第一方面，提供了一种模型错例的分析方法，包括：

获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；

提取每个所述错判图像的特征数据；

根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；

根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系；

根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。

可选地，所述根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系，包括：

根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；

根据所述关系矩阵，获得所述最相似关系。

可选地，所述根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵，包括：

建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；

确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。

可选地，所述根据所述关系矩阵，获得所述最相似关系，包括：

获取任意两个错判图像对应的所述关系矩阵中的元素；

根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。

可选地，所述根据所述最相似关系对所述错例集进行聚类，得到聚类结果，包括：

根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；

获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。

根据本发明的第二方面，提供了一种模型错例的分析方法，包括：获取基于本发明第一方面所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；

基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

可选地，所述基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果，包括：

根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；

根据所述第一层次特征数据，获取每个所述第一层次团簇对应的最相似团簇；

根据所述每个所述第一层次团簇对应的最相似团簇，确定所述第一层次聚类结果中任意两个所述第一层次团簇之间是否存在设定的最相似关系；

根据所述最相似关系对所述第一层次聚类结果进行聚类，得到第二层次聚类结果，所述第二层聚类结果包括至少一个第二层团簇，每个所述第二层次团簇对应多个第一层次团簇；

对所述第二层次结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。

可选地，所述预设的停止条件包括：

假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果所述第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。

根据本发明的第三方面，提供了一种模型优化方法，包括：

获取基于本发明第一方面或者第二方面所述方法的至少一个聚类结果；

向用户提供所述聚类结果；

获取用户输入的对应所述聚类结果的多个第二样本图像；

根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。

根据本发明的第四方面，提供了一种模型错例的分析装置，包括：

错例集获取模块，用于获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；

特征提取模块，用于提取每个所述错判图像的特征数据；

最相似图像获取模块，用于根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；

关系获取模块，用于根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个所述错判图像之间是否存在最相似关系；

聚类模块，用于根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。

可选地，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系时，用于：

根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；

根据所述关系矩阵，获得所述最相似关系。

可选地，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵时，用于：

建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；

确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。

可选地，所述关系获取模块在根据所述关系矩阵，获得所述最相似关系时，用于：

获取任意两个错判图像对应的所述关系矩阵中的元素；

根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。

可选地，所述聚类模块在根据所述最相似关系对所述错例集进行聚类，得到聚类结果时，用于：

根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；

获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。

根据本发明的第五方面，提供了一种模型错例的分析装置，包括：

第一聚类模块，用于获取基于本发明第一方面所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；

第二聚类模块，用于基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

可选地，所述第二聚类模块在基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果时，用于：

根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；

根据所述第一层次特征数据，获取每个所述第一层次团簇对应的最相似团簇；

根据所述每个所述第一层次团簇对应的最相似团簇，确定所述第一层次聚类结果中任意两个所述第一层次团簇之间是否存在设定的最相似关系；

根据所述最相似关系对所述第一层次聚类结果进行聚类，得到第二层次聚类结果，所述第二层聚类结果包括至少一个第二层团簇，每个所述第二层次团簇对应多个第一层次团簇；

对所述第二层次结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。

可选地，所述预设的停止条件包括：

假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果所述第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。

根据本发明的第六方面，提供了一种模型优化装置，包括：

结果获取模块，用于获得基于本发明第一方面或者第二方面所述方法的至少一个聚类结果；

结果提供模块，用于向用户提供所述聚类结果；

样本获取模块，用于获取用户输入的对应所述聚类结果的多个第二样本图像；

训练模块，用于根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。

根据本发明的第七方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现本发明第一方面、第二方面或者第三方面所述的方法。

本实施例中的模型错例的分析方法，不包含任何超参数，可以自动发现数据中的团簇个数，对不同数据集的适应性强。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是可用于实现本发明实施例的错例分析系统的示意图。

图2是可用于实现本发明实施例的电子设备的结构示意图。

图3是根据本发明实施例的模型错例的分析方法的流程图。

图4是根据本发明实施例的生成图结构的示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1示出了可用于实现本发明的实施例的模型错例分析系统的硬件配置。

如图1所示，本实施例中的模型错例分析系统1000包括用户设备1100、人工智能服务器1200和开发终端1300。

人工智能服务器1200是用于提供人工智能云服务的服务器。其中，云服务是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。在一个例子中，人工智能服务器1200对外提供图片分类的人工智能云服务。

人工智能服务器1200可以是刀片服务器、机架式服务器等，也可以是部署在云端的服务器集群。

用户设备1100是人工智能云服务用户的电子设备，用于向人工智能服务器1200发送待处理的目标对象以及反馈错例等。用户设备1100可以是终端设备，也可以是服务器。

开发终端1300是人工智能云服务开发人员的终端设备，用于显示错例分析结果，以便开发人员总结错误模式。开发终端1300例如是智能手机、台式计算机、笔记本电脑、平板电脑等等。

人工智能服务器1200分别与用户设备1100和开发终端1300通信连接。这里的通信连接可以是有线连接也可以是无线连接。

错例分析系统1000涉及的电子设备例如具有如图2所示的结构。参见图2，电子设备2000包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500和输入装置2600。处理器2100例如可以是中央处理器CPU、微控制单元MCU等。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、串行接口等。通信装置2400例如是有线网卡或无线网卡。显示装置2500例如是液晶显示屏。输入装置2600例如包括触摸屏、键盘、鼠标、麦克风等。

本领域技术人员应当理解，尽管在图2中示出了电子设备2000的多个装置，但是，故障处理系统1000中的电子设备可以仅涉及其中的部分装置，例如，只涉及处理器2100、存储器2200和通信装置2400。

图1和图2所示的硬件配置仅是解释性的，并且决不是为了要限制本发明、其应用或用途。

<方法实施例>

本实施例提供了一种模型错例的分析方法，应用于图1中的人工智能服务器1200。如图3所示，该方法包括以下步骤S1100-S1300。

在步骤S1100，获取错例集，错例集包括多个错判图像，多个错判图像均为基于同一模型的错判案例，模型为使用多个第一样本图像通过机器学习训练得出。

本实施例中，用户设备向人工智能服务器发送目标对象(例如目标图片)，人工智能服务器将目标对象输入人工智能模型，获得相应的预测结果(例如目标图片的预测标签)并发送至用户设备。用户可以在预测结果不符合预期的情况下，通过用户设备向人工智能服务器报错。人工智能服务器将用户报错的目标对象(以下称为错判图像)作为一个错例，存储到错例集中。

本实施例中，多个错判图像均为基于同一模型的错判案例，可用于对该模型的优化。

在步骤S1200中，提取每个错判图像的特征数据。

在一个实施例中，人工智能模型为卷积神经网络模型，步骤S1200包括：将每个错判图像输入卷积神经网络模型，获取卷积神经网络模型的最后一个全连接层输出的数据，作为相应的特征数据。

在步骤S1300中，根据特征数据，获取每个错判图像在错例集中的最相似图像。

本实施例中，获取每个错判图像在错例集中的最相似图像，其过程例如是：对于任意一个错判图像，计算该错判图像对应的特征数据与其他全部错判图像对应的特征数据之间的距离(例如余弦距离、欧式距离等)，找出这些距离中的最小值，该最小值对应的错判图像即为该错判图像的最相似图像(或者称之为最近邻)。

在步骤S1400中，根据每个错判图像在错例集中的最相似图像，确定错例集中任意两个错判图像之间是否存在设定的最相似关系。

本实施例中，两个错判图像之间存在最相似关系，例如是其中一方是另一方的最相似图像，或者二者的最相似图像为同一错判图像。作为一个例子，假设A、B、C均为错判图像，如果A是B的最相似图像，或者B是A的最相似图像，或者A和B的最相似图像均为C，则都认为A和B之间存在最近邻关系。

在一个实施例中，可以将多个错判图像之间的最相似关系通过关系矩阵类表示。

首先，建立关系矩阵，关系矩阵的行数和列数均等于错例集中错判图像的总数，关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像。例如，构建关系矩阵Mat∈R^{N ×N}，其中，N代表错例集中错判图像的总数，Mat中第i行第j列的矩阵元素Mat(i,j)对应于错例集中的第i个错判图像和第j个错判图像。

其次，确定关系矩阵中元素的数值，如果元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定元素的数值为第一数值：两个错判图像的一方为另一方的相似图像，或者两个错判图像对应的最相似图像为同一错判图像；否则，确定元素的数值为第二数值。例如，Mat中第i行第j列的矩阵元素Mat(i,j)定义为：最近邻情形包括X_i是X_j的最近邻、X_j是X_i的最近邻或者X_j和X_i的最近邻为同一元素，其中X_i和X_j均代表Mat(i,j)对应的错例集中的错判图像，i,j均为正数且1≤i,j≤N；其中，X_i是X_j的最近邻，代表X_i是错例集中与X_j之间距离最小的元素。

获得关系矩阵后，可以根据关系矩阵中的元素确定任意两个错判图像之间是否存在最相似关系。

首先，获取任意两个错判图像对应的关系矩阵中的元素。例如，如果要确定错例集中第m个错判图像和第n个错判图像之间是否存在最相似关系，则确定对应的矩阵元素为Mat(m,n)。

其次，根据获取的元素的数值，确定任意两个错判图像之间是否存在最相似关系。例如，如果Mat(m,n)＝1，则可确定第m个错判图像和第n个错判图像之间存在最近邻关系。如果Mat(m,n)＝0，则可确定第m个错判图像和第n个错判图像之间不存在最近邻关系。

在步骤S1500中，根据最相似关系对错例集进行聚类，得到聚类结果，聚类结果包括至少一个团簇，每个团簇对应多个错判图像。

本实施例中，根据最相似关系对错例集进行聚类，是指将相互之间存在或者间接存在最相似关系的多个错判图像归为一类(或者一个团簇)。其中，两个错判图像间接存在最相似关系，是指两个错判图像之间本身不直接存在最相似关系，而是借助其他错判图像的传递而产生联系。作为一个例子，假设X、Y、Z均为错判图像，如果X和Z之间不存在最相似关系，但是X和Y之间存在最相似关系，Y和Z之间存在最相似关系，则X和Z之间接存在最相似关系。

在一个实施例中，根据特征数据，获取每个错判图像在错例集中的最相似图像，包括：建立错例集对应的图结构，图结构的节点与错判图像对应，图结构的边与最相似关系对应；获取图结构中的连通分量，将每个连通分量对应的多个错判图像作为一个团簇，得到聚类结果。

容易理解，同一个连通分量中的多个节点中，任意两个节点之间均通过一条边直接连接或者通过多条边间接连接，对应的多个错判图像相互之间存在或者间接存在最相似关系。如此，借助图结构能够高效准确地完成聚类过程。

在一个实施例中，在将多个错判图像之间的最相似关系通过关系矩阵类表示的情况下，建立与输入集合中的元素一一对应的节点，并且在Mat(i,j)＝1的情况下，在X_i和X_j对应的节点之间建立边，获得关系矩阵Mat对应的图结构。

在一个例子中，假设错例集为集合{a₁，a₂，a₃，a₄}，错判图像a₁的特征数据为b₁，错判图像a₂的特征数据为b₂……因此，该错例集对应的特征数据集为{b₁，b₂，b₃，b₄}。

在上述特征数据集中，假设b₁和b₂互为最近邻，b₃和b₄互为最近邻，则对应的关系矩阵为：

生成上述矩阵对应的图结构。首先，建立依次与b₁、b₂、b₃、b₄对应的节点1、节点2、节点3、节点4。其次，由于Mat(1,2)＝1(相应地Mat(2,1)＝1)，因此在节点1和节点2之间建立边；由于Mat(3,4)＝1(相应地Mat(4,3)＝1)，因此在节点3和节点4之间建立边。

上述矩阵对应的图结构如图4所示。可以看出，该图结构包括两个连通分量，即节点1和节点2形成的连通分量，节点3和节点4形成的连通分量。相应地，可以获得错判图像a₁和错判图像a₂形成的第一团簇，错判图像a₃和错判图像a₄形成的第二团簇。即，聚类结果包括了第一团簇和第二团簇，第一团簇对应错判图像a₁和错判图像a₂，第二团簇对应错判图像a₃和错判图像α₄。

本实施例中的模型错例的分析方法，不包含任何超参数，可以自动发现数据中的团簇个数，对不同数据集的适应性强。

本实施例还提供另外一种模型错例的分析方法，该方法进行多层次聚类，包括以下步骤S2100-S2200。

在步骤S2100中，获取基于实施例提供的第一种方法的聚类结果，作为第一层次聚类结果，第一层次聚类结果包括多个第一层次团簇，每个第一层次团簇对应多个错例图片。

步骤S2100可参见上文对步骤S1100-S1500的描述，这里不再赘述。

在步骤S2200中，基于第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

在一个实施例中，步骤S2200进一步包括以下步骤S2210-S2250。

在步骤S2210中，根据多个错例图片的特征数据，获取每个第一层次团簇对应的第一层次特征数据。

本实施例中，可以将多个错例图片的特征数据的平均值，作为相应的第一层次团簇对应的第一层次特征数据。例如，在图4所示的例子中，计算第一团簇对应的特征数据的平均值即作为第一团簇的第一层次特征数据。计算第二团簇对应的特征数据的平均值即/>作为第二团簇的第一层次特征数据。

在步骤S2220中，根据第一层次特征数据，获取每个第一层次团簇的最相似团簇。

步骤S2220可以参见前文对步骤S1300的描述。

在步骤S2230中，根据每个第一层次团簇对应的最相似团簇，确定第一层次聚类结果中任意两个第一层次团簇之间是否存在设定的最相似关系。

步骤S2230可以参见前文对步骤S1400的描述。

在步骤S2240中，根据最相似关系对第一层次聚类结果进行聚类，得到第二层次聚类结果，第二层聚类结果包括至少一个第二层团簇，每个第二层次团簇对应多个第一层次团簇。

步骤S2240可以参见前文对步骤S1500的描述。

在步骤S2250中，对第二层次结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。

在一个实施例中，预设的停止条件包括：假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。此外，开发人员可以根据实际情况设置合适的团簇数量作为停止条件，对比不做限定。

在图3所示的例子中，根据第一层次特征数据对第一团簇和第二团簇继续进行聚类，形成的第二层次聚类结果只包括一个元素/>达到了预设的停止条件。通过上述过程，可以获得团簇数量分别为2和1的两个层次的聚类结果。

本实施例中的错例分析方法，对错判图像进行层次化聚类，每一个团簇包含比较相似的错判图像，有利于开发人员选择合适层次的聚类结果进行分析，大大降低了人力成本。

本实施例还提供一种模型优化方法，包括以下步骤S3100-S3400。

在步骤S3100中，基于本实施例提供的模型错例的分析方法，获得至少一个聚类结果。

步骤S3100可参见前文对模型错例的分析方法的描述。

在步骤S3200中，向用户提供聚类结果。

在一个实施例中，将聚类结果发送至开发终端，以供开发终端对多个聚类结果进行显示。如此，相关人员可以在开发终端观察和分析聚类结果，总结典型错误模式。

在步骤S3300中，获取用户输入的对应聚类结果的多个第二样本图像。

在一个实施例中，开发人员对多个聚类结果进行人工分析，包括：从多个聚类结果中选取团簇数量满足预设要求的聚类结果；人工分析选取的聚类结果，获取典型错误模式。

本实施例中，开发人员可以从多个聚类结果中选择需要的聚类结果进行分析，例如选择团簇数量适中的聚类结果进行分析。在此基础上，可以根据团簇中包括的错例提炼出相应的典型错误模式。

获得典型错误模式之后，研发人员可以收集符合典型错误模式的更多第二样本图像并提交给服务器。

在步骤S3400中，根据多个第二样本图像对模型进行机器学习训练，以调整模型的参数，得到优化模型。

本实施例中，根据第二样本图像对人工智能模型进行重新训练，提高人工智能模型的准确率。

<装置实施例>

本实施例提供一种模型错例的分析装置，包括错例集获取模块、特征提取模块、最相似图像获取模块、关系获取模块和聚类模块。

错例集获取模块，用于获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出。

特征提取模块，用于提取每个所述错判图像的特征数据。

最相似图像获取模块，用于根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像。

关系获取模块，用于根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个所述错判图像之间是否存在最相似关系。

聚类模块，用于根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像。

在一个实施例中，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系时，用于：根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；根据所述关系矩阵，获得所述最相似关系。

在一个实施例中，所述关系获取模块在根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵时，用于：建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。

在一个实施例中，所述关系获取模块在根据所述关系矩阵，获得所述最相似关系时，用于：获取任意两个错判图像对应的所述关系矩阵中的元素；根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。

在一个实施例中，所述聚类模块在根据所述最相似关系对所述错例集进行聚类，得到聚类结果时，用于：根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。

本实施例还提供一种模型错例的分析装置，包括第一聚类模块和第二聚类模块。

第一聚类模块，用于获取基于本发明第一方面所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片。

第二聚类模块，用于基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

在一个实施例中，所述第二聚类模块在基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果时，用于：根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；根据所述第一层次特征数据，获取每个所述第一层次团簇对应的最相似团簇；根据所述每个所述第一层次团簇对应的最相似团簇，确定所述第一层次聚类结果中任意两个所述第一层次团簇之间是否存在设定的最相似关系；根据所述最相似关系对所述第一层次聚类结果进行聚类，得到第二层次聚类结果，所述第二层聚类结果包括至少一个第二层团簇，每个所述第二层次团簇对应多个第一层次团簇；对所述第二层次结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。

在一个实施例中，所述预设的停止条件包括：假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果所述第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。

本实施例还提供一种模型优化装置，包括结果获取模块、结果提供模块、样本获取模块和训练模块。

结果获取模块，用于获得基于本发明第一方面或者第二方面所述方法的至少一个聚类结果。

结果提供模块，用于向用户提供所述聚类结果。

样本获取模块，用于获取用户输入的对应所述聚类结果的多个第二样本图像。

训练模块，用于根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。

<电子设备实施例>

本实施例提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现本发明方法实施例描述的方法。

<机器可读存储介质实施例>

本实施例提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现本发明方法实施例描述的方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (11)

1.一种模型错例的分析方法，包括：

获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，且所述多个错判图像均为用户上报的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；

提取每个所述错判图像的特征数据；

根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；

根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系；

根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像；

向用户提供所述聚类结果；

获取用户输入的对应所述聚类结果的多个第二样本图像；

根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。

2.根据权利要求1所述的方法，其中，所述根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个错判图像之间是否存在设定的最相似关系，包括：

根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵；

根据所述关系矩阵，获得所述最相似关系。

3.根据权利要求2所述的方法，其中，所述根据所述每个所述错判图像在所述错例集中的最相似图像，获取所述错例集对应的关系矩阵，包括：

建立关系矩阵，所述关系矩阵的行数和列数均等于所述错例集中错判图像的总数，所述关系矩阵中每个元素的行坐标和列坐标分别对应一个错判图像；

确定所述关系矩阵中元素的数值，如果所述元素的行坐标和列坐标对应的两个错判图像满足以下至少一种情况，确定所述元素的数值为第一数值：所述两个错判图像的一方为另一方的相似图像，或者所述两个错判图像对应的最相似图像为同一错判图像；否则，确定所述元素的数值为第二数值。

4.根据权利要求3所述的方法，其中，所述根据所述关系矩阵，获得所述最相似关系，包括：

获取任意两个错判图像对应的所述关系矩阵中的元素；

根据获取的所述元素的数值，确定所述任意两个错判图像之间是否存在最相似关系。

5.根据权利要求1所述的方法，其中，所述根据所述最相似关系对所述错例集进行聚类，得到聚类结果，包括：

根据所述错判图像建立节点，根据所述最相似关系建立边，得到所述错例集对应的图结构；

获取所述图结构中的连通分量，将每个所述连通分量对应的多个错判图像作为一个团簇，得到所述聚类结果。

6.一种模型错例的分析方法，包括：获取基于权利要求1-5中任一项所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；

基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

7.根据权利要求6所述的方法，其中，所述基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果，包括：

根据所述多个错例图片的特征数据，获取每个所述第一层次团簇对应的第一层次特征数据；

根据所述第一层次特征数据，获取每个所述第一层次团簇对应的最相似团簇；

根据所述每个所述第一层次团簇对应的最相似团簇，确定所述第一层次聚类结果中任意两个所述第一层次团簇之间是否存在设定的最相似关系；

根据所述最相似关系对所述第一层次聚类结果进行聚类，得到第二层次聚类结果，所述第二层次聚类结果包括至少一个第二层次团簇，每个所述第二层次团簇对应多个第一层次团簇；

对所述第二层次聚类结果继续逐层次进行聚类，直至达到预设的停止条件，得到对应不同层次的多个聚类结果。

8.根据权利要求7所述的方法，其中，所述预设的停止条件包括：

假设对第N-1层次聚类结果进行聚类，得到第N层次聚类结果，如果所述第N层次聚类结果只包括一个第N层次团簇，则停止进行聚类，其中N为整数且N≥2。

9.一种模型错例的分析装置，包括：

错例集获取模块，用于获取错例集，所述错例集包括多个错判图像，所述多个错判图像均为基于同一模型的错判案例，且所述多个错判图像均为用户上报的错判案例，所述模型为使用多个第一样本图像通过机器学习训练得出；

特征提取模块，用于提取每个所述错判图像的特征数据；

最相似图像获取模块，用于根据所述特征数据，获取每个所述错判图像在所述错例集中的最相似图像；

关系获取模块，用于根据所述每个所述错判图像在所述错例集中的最相似图像，确定所述错例集中任意两个所述错判图像之间是否存在最相似关系；

聚类模块，用于根据所述最相似关系对所述错例集进行聚类，得到聚类结果，所述聚类结果包括至少一个团簇，每个所述团簇对应多个错判图像；

结果提供模块，用于向用户提供所述聚类结果；

样本获取模块，用于获取用户输入的对应所述聚类结果的多个第二样本图像；

训练模块，用于根据所述多个第二样本图像对所述模型进行机器学习训练，以调整所述模型的参数，得到优化模型。

10.一种模型错例的分析装置，包括：

第一聚类模块，用于获取基于权利要求1-5中任一项所述方法的聚类结果，作为第一层次聚类结果，所述第一层次聚类结果包括多个第一层次团簇，每个所述第一层次团簇对应多个错例图片；

第二聚类模块，用于基于所述第一层次聚类结果继续进行多个层次的聚类操作，得到对应不同层次的多个聚类结果。

11.一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至8中任意一项所述的方法。