CN112529335B - 一种模型检测方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种模型检测方法、装置、设备和存储介质，方法包括：获取标注数据和由多个预测模型分别生成的模型预测数据；对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；根据所述第一特征表补充衍生特征形成第二特征表；根据所述第二特征表，确定多个所述预测模型的差异。能够快速准确地确定预测模型的版本或识别准确率的差异在实际图像上的变化，进而实现对模型的针对性优化，更为有效地对模型性能进行评估。

Description

一种模型检测方法、装置、设备和存储介质

技术领域

本发明涉及模型检测技术领域，尤其涉及一种模型检测方法、装置、设备和存储介质。

背景技术

随着人类收集、存储、传输、处理数据的能力快速提升，社会各行各业积累了大量的数据，亟需有效地对数据进行分析，而机器学习(Machine Learning)恰顺应了大时代的迫切需求，被广泛应用于各行各业的数据处理与分析。

机器学习模型本质上是用一个复杂的函数拟合数据和目标之间的关系。机器学习模型与一些简单的规则有着很大的差别，规则明确数据和目标之间的关系，但是机器学习模型是一个黑盒只有输入和输出，内部机制如何运行难以解释。

在自动驾驶领域，机器学习模型通常用于对障碍物的标注或预测，以障碍物识别的准确率对模型的性能进行衡量，但识别准确率往往仅能反映模型的平均识别能力。而自动驾驶中对不同区域的识别精度需求程度可能不同，仅通过识别准确率无法得知该模型实际上是否得到了优化，由于模型复杂度较高，对模型进行逐层剖析的可行性较低，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化。

发明内容

本发明提供了一种模型检测方法、装置、设备和存储介质，解决了现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题。

本发明提供的一种模型检测方法，包括：

获取标注数据和由多个预测模型分别生成的模型预测数据；

对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

根据所述第一特征表补充衍生特征形成第二特征表；

根据所述第二特征表，确定多个所述预测模型的差异。

可选地，所述标注数据包括物体ID，所述模型预测数据包括匹配标注物体ID，所述对所述标注数据和所述模型预测数据进行聚类，生成第一特征表的步骤，包括：

基于所述匹配标注物体ID对所述模型预测数据进行聚类，得到多个聚类簇；

将所述物体ID与所述匹配标注物体ID相同的所述标注数据归类为所述匹配标注物体ID对应的聚类簇；

组合多个所述聚类簇，生成第一特征表。

可选地，所述衍生特征包括标注衍生特征和预测衍生特征，所述根据所述第一特征表补充衍生特征形成第二特征表的步骤，包括：

响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况；

根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据；

根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据；

基于更新后的所述标注数据和更新后的所述模型预测数据，生成第二特征表。

可选地，所述响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况的步骤，包括：

响应于输入的业务指令，确定所述业务指令对应的需求特征；所述需求特征包括第一需求特征和第二需求特征；

若所述标注数据中缺失所述第一需求特征，则判定所述标注数据存在特征缺失情况；

若所述模型预测数据中缺失所述第二需求特征，则判定所述模型预测数据存在特征缺失情况。

可选地，所述根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据的步骤，包括：

将缺失的所述第一需求特征确定为所述标注衍生特征的第一补充类型；

基于所述标注数据和所述第一补充类型，计算所述标注衍生特征；

将所述标注衍生特征补充到所述标注数据中，以更新所述标注数据。

可选地，所述根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据的步骤，包括：

将缺失的所述第二需求特征确定为所述预测衍生特征的第二补充类型；

基于所述模型预测数据和所述第二补充类型，计算所述预测衍生特征；

将所述预测衍生特征补充到所述模型预测数据中，以更新所述模型预测数据。

可选地，所述根据所述第二特征表，确定所述多个预测模型的差异的步骤，包括：

根据所述第二特征表生成特征分布图并进行过滤，得到多个待比对信息；

基于多个所述待比对信息的映射，得到多个场景信息；所述场景信息包括所述标注数据对应的原始信息，以及多个所述模型预测数据对应的预测信息；

基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异。

可选地，在所述基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异的步骤之前，还包括：

获取所述原始信息所对应的当前时刻的前帧信息和后帧信息；

从所述原始信息分别与所述前帧信息和所述后帧信息进行比对，确定所述原始信息对应的环境信息；

从所述原始信息中过滤所述环境信息，得到新的原始信息。

本发明还提供了一种模型检测装置，包括：

数据获取模块，用于获取标注数据和由多个预测模型分别生成的模型预测数据；

聚类模块，用于对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

衍生特征补充模块，用于根据所述第一特征表补充衍生特征形成第二特征表；

模型差异确定模块，用于根据所述第二特征表，确定多个所述预测模型的差异。

本发明还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的模型检测方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任一项所述的模型检测方法。

从以上技术方案可以看出，本发明具有以下优点：

本发明通过获取标注数据和多个预测模型分别生成的模型预测数据，分别对标注数据和模型预测数据进行聚类，以生成第一特征表，基于第一特征表中的标注数据和模型预测数据，补充对应的衍生特征，形成第二特征表，最后基于第二特征表的具象化展示，确定多个预测模型之间的差异。从而解决现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题，能够快速准确地确定预测模型的版本或识别准确率的差异在实际图像上的变化，进而实现对模型的针对性优化，更为有效地对模型性能进行评估。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的一种模型检测方法的步骤流程图；

图2为本发明实施例二提供的一种模型检测方法的步骤流程图；

图3为本发明实施例三提供的一种模型检测方法的步骤流程图；

图4为本发明实施例三中的一种特征分布图的部分示意图；

图5为本发明实施例三中的一种特征分布图的过滤条件设置图；

图6为本发明实施例三中的部分模型比对信息的示意图；

图7为本发明实施例三中的部分场景信息的3D渲染图；

图8为本发明实施例三中的一种模型检测装置的结构框图。

具体实施方式

本发明实施例提供了一种模型检测方法、装置、设备和存储介质，用于解决现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例一提供的一种模型检测方法的步骤流程图。

本发明提供的一种模型检测方法，包括：

步骤101，获取标注数据和由多个预测模型分别生成的模型预测数据；

标注数据指的是对目标文件中的目标物体进行标注所得到的标准标注文件，例如针对自动驾驶过程中的某帧图像进行的物体标注。

模型预测数据指的是不同版本的预测模型基于机器学习从与标注数据所针对的同一文件进行处理后所得到的预测标注文件。

在本发明实施例中，可以从预测模型的测试系统中获取到对目标文件中的标注数据和不同版本预测模型针对同一目标文件所生成的模型预测数据。

其中，目标文件可以为视频、图像等，本发明实施例对此不作限制。

步骤102，对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

在得到标注数据和模型预测数据后，对两类数据按照预定类别进行聚类，以生成第一特征表。

步骤103，根据所述第一特征表补充衍生特征形成第二特征表；

衍生特征是指用原始数据进行特征学习得到新的特征。衍生特征可以通过数据自身的变化，使数据中出现很多原来没有的特征，从而反映原始数据特征之间的关系。

在本实施例中，获取到第一特征表后，由于不同的预测模型所需要检测的性能不同，此时可以基于用户输入的业务指令，基于第一特征表中的原始特征补充与业务指令对应的衍生特征，在第一特征表的基础上结合补充后的衍生特征形成第二特征表，以使得在后续对模型的比对的过程中能够得到更为直观的检测信息。

步骤104，根据所述第二特征表，确定多个所述预测模型的差异。

在形成第二特征表后，可以进一步根据第二特征表所包含的所有特征，以具象化的方式展示标注数据和不同的预测数据，以分别确定标注数据和不同的预测数据之间的差异，从而确定版本更新所调整的参数在预测模型上的具体影响，以此确定对应的预测模型之间的差异。

在本发明实施例中，通过获取标注数据和多个预测模型分别生成的模型预测数据，分别对标注数据和模型预测数据进行聚类，以生成第一特征表，基于第一特征表中的标注数据和模型预测数据，补充对应的衍生特征，形成第二特征表，最后基于第二特征表的具象化展示，确定多个预测模型之间的差异。从而解决现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题，能够快速准确地确定预测模型的版本或识别准确率的差异在实际图像上的变化，进而实现对模型的针对性优化，更为有效地对模型性能进行评估。

请参阅图2，图2为本发明实施例二提供的一种模型检测方法的步骤流程图。

本发明提供的一种模型检测方法，包括：

步骤201，获取标注数据和由多个预测模型分别生成的模型预测数据；

在具体实现中，可以从测试系统中获取到预测模型A版本和B版本所对应的标注数据，以及A模型预测数据和B模型预测数据。

其中，所获取到的标注数据格式可以如下所示：

帧名：123

->物体ID：1

->物体轮廓顶点：(x:-10,y:13),(-12,12),(-14,17),(-12,17),(-10,13)

->物体类别：行人

->物体中心点：(x:12,y:15)

->物体朝向:-1.27(rad弧度单位)

->物体ID：2

->物体轮廓顶点：(x:30,y:-35),(32,-30),(32,-35),(30,-30),(30,-35)

->物体类别：小型汽车

->物体中心点：(x:31,y:-33)

->物体朝向:1.57

->物体ID:3

->…

帧名：124

->物体ID…

…

所获取到的A模型预测数据可以如下所示：

帧名：123

->物体ID：325

->对应匹配标注物体ID：1

->匹配度：0.99

->物体轮廓顶点：(x:-10,y:13),(-12,12),(-14,17),(-12,17),(-10,13)

->物体类别：行人

->物体中心点：(x:12,y:15)

->物体朝向:-1.27(rad弧度单位)

->预测速率：(x:0m/s,y:0m/s)

->是否在关键区域：是

->点云数量：53

->物体ID：226

->对应匹配标注物体ID：2

->匹配度：0.99

->物体轮廓顶点：...

->物体类别：小型汽车

->物体中心点：...

->物体朝向:-1.27(rad弧度单位)

->预测速率：...

->是否在关键区域：是

->物体ID：436

>对应匹配标注物体ID：无

->物体轮廓顶点：(x:20,y:-2),(20,-1),(18,-1),(18,-2),(20,-2)

->物体类别：骑行者

->物体中心点：(x:20,y:-1)

->物体朝向:1.57

->预测速率：(x:1m/s,y:0m/s)

->是否在关键区域：是

…

所获取到的B模型预测数据可以如下所示：

->物体ID：325

->对应匹配标注物体ID：1

->物体轮廓顶点：...

->物体类别：行人

->物体中心点：...

->物体朝向:-1.27

->预测速率：...

->是否在关键区域：是

->物体ID：372

->对应匹配标注物体ID：无

->物体轮廓顶点：…

->物体类别：汽车

->物体中心点：…

->物体朝向:1.57

->预测速率：…

->是否在关键区域：是

…

在获取到标注数据、A模型预测数据和B模型预测数据后，可以将所有物体信息按照预设类别对其进行聚类，以得到对应的第一特征表。

步骤202，对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

可选地，所述标注数据包括物体ID，所述模型预测数据包括匹配标注物体ID，步骤202可以包括以下子步骤S11-S13：

S11、基于所述匹配标注物体ID对所述模型预测数据进行聚类，得到多个聚类簇；

在本发明实施例中，标注数据可以包括有多个特征，例如物体ID、物体轮廓顶点、物体类别、物体中心点和物体朝向等，模型预测数据可以包括但不限于以下特征：匹配标准物体ID、物体ID、匹配度、物体轮廓顶点、物体类别、物体中心点、物体朝向、预测速率、点云数量等，

当获取到标注数据、A模型预测数据和B模型预测数据后，可以依据匹配标注物体ID这一类别对A模型预测数据和B模型预测数据分别进行聚类，由于匹配标注物体ID可能存在多个，因此可以每个模型预测数据都可以得到相应的多个聚类簇。

S12、将所述物体ID与所述匹配标注物体ID相同的所述标注数据归类为所述匹配标注物体ID对应的聚类簇；

S13、组合多个所述聚类簇，生成第一特征表。

而在标注数据中，与匹配标注物体ID对应的是物体ID，可以物体ID作为归类标准，将对应的标注数据中的特征归类到对应的聚类簇，得到包括标注数据、A模型预测数据和B模型预测数据的多个聚类簇，最后将多个聚类簇进行组合，以生成第一特征表。

以上述示例中的标注数据、A模型预测数据和B模型预测数据为例，所得到的第一特征表可以如下表1所示：

表1

在具体实现中，聚类得到第一特征表所依据的特征类型可以由技术人员根据模型的实际应用场景或模型类型进行选择，本发明实施例并不限制。

进一步地，所述衍生特征包括标注衍生特征和预测衍生特征，上述步骤103还可以替换为以下步骤203-206：

步骤203，响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况；

在具体实现中，由于标注数据和模型预测数据实际提取到的原始特征有限，基于原始特征可能无法准确得出预测模型之间的差异，此时可以基于输入的业务指令，确定用户的需求特征，以此为标准对标注数据和模型预测数据的原始特征进行判断，分别确定标准数据和模型预测数据的特征缺失情况。

在本发明的一个示例中，步骤203可以包括以下子步骤S21-S23：

S21、响应于输入的业务指令，确定所述业务指令对应的需求特征；

在本发明实施例中，当接收到输入的业务指令时，检测业务指令对应的需求特征，例如对于自动驾驶场景中目标检测，需求特征可以包括但不限于物体距离、视野角度、类别预测误差、物体类别和物体轮廓顶点等。

可选地，还可以预先设定多个业务场景，每个业务场景具有相应的需求特征，在接收到输入业务指令时，可以直接基于业务指令确定对应的业务场景，例如无人驾驶、无人机飞行、自动升降等，当确定业务场景后，获取到对应业务场景的需求特征，以便于后续判断标注数据和模型预测数据中是否缺失模型比对所需要的特征。

其中，所述需求特征包括第一需求特征和第二需求特征，由于标注数据与模型预测数据所需要的特征存在差别，因此可以对需求特征进行分类，以分别对应不同的数据。

S22、若所述标注数据中缺失所述第一需求特征，则判定所述标注数据存在特征缺失情况；

在本发明的一个示例中，第一需求特征可以有多个，通过比对标注数据的全部特征和第一需求特征，判断标注数据是否具有全部第一需求特征，若是标注数据缺失某个第一需求特征，则可以判定标注数据存在特征缺失情况，以进一步确定标注数据所缺失的特征是哪个第一需求特征。

S23、若所述模型预测数据中缺失所述第二需求特征，则判定所述模型预测数据存在特征缺失情况。

在本发明的另一个示例中，第二需求特征也可以有多个，在确定了第二需求特征后，通过比对模型预测数据中的全部特征与第二需求特征，从而判断模型预测数据是否确定某个第二需求特征，若是则可以判定模型预测数据存在特征缺失情况，可以进一步确定模型预测数据所缺失的特征是哪个第二需求特征。

可选地，若是标注数据中存在全部第一需求特征，模型预测数据中存在全部第二需求特征，则说明标注数据和模型预测数据均不存在特征缺失情况，则可以跳过补充衍生特征的步骤，将当前的第一特征表作为第二特征表进行后续的模型差异确定的步骤。

步骤204，根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据；

在得知标注数据的特征缺失情况后，可以基于标注数据所缺失的第一需求特征，计算属于标注数据的标注衍生特征，以达到更新标注数据的目的。

可选地，步骤204可以包括以下子步骤S31-S33：

S31、将缺失的所述第一需求特征确定为所述标注衍生特征的第一补充类型；

S32、基于所述标注数据和所述第一补充类型，计算所述标注衍生特征；

S33、将所述标注衍生特征补充到所述标注数据中，以更新所述标注数据。

在本发明实施例中，每个第一需求特征代表一类特征，而并不具有对应的数值，因此在确定了缺失的第一需求特征后，将所缺失的第一需求特征确定为为标注衍生特征的第一补充类型，再采用标注数据中的真实信息计算第一补充类型所对应的特征作为标注衍生特征，最后将标注衍生特征补充到标注数据中，从而更新标注数据。

例如，若是第一补充类型为物体距离原点的距离和视野内角度，则可以根据物体的中心点的坐标与原点的坐标计算出物体与原点的距离及视野内角度等。

步骤205，根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据；

进一步地，步骤205可以包括以下子步骤S41-S43：

S41、将缺失的所述第二需求特征确定为所述预测衍生特征的第二补充类型；

S42、基于所述模型预测数据和所述第二补充类型，计算所述预测衍生特征；

S43、将所述预测衍生特征补充到所述模型预测数据中，以更新所述模型预测数据。

在本发明的一个示例中，在得知模型预测数据的特征缺失情况后，可以确定模型预测数据所缺失的第二需求特征，将所缺失的第二需求特征确定为预测衍生特征的第二补充类型；再根据模型预测数据和第二补充类型，计算预测衍生特征，例如第二补充类型是类别预测误差，则可以根据标注数据的物体类别对比模型预测数据的预测物体类型，确定预测物体类型为“漏检”，“误判”，“类别错误”或是“正确检测”；在得到该预测衍生特征后，将预测衍生特征补充到模型预测数据中，以对其进行数据更新。

需要说明的是，第二需求特征仅是代表模型预测数据中的某种特征，并不指定具体的数据。

步骤206，基于更新后的所述标注数据和更新后的所述模型预测数据，生成第二特征表。

在具体实现中，基于更新后的标注数据和更新后的模型预测数据，可以直接以此作为基础，生成第二特征表。

可选地，还可以直接在第一特征表上进行衍生特征的补充，以节省再次生成第二特征表的计算资源。

进一步地，在对第一特征表补充衍生特征之后，还可以对补充后的列表的进行简化，只保留由原始特征和衍生特征所构成的标注数据和预测数据。

步骤207，根据所述第二特征表，确定多个所述预测模型的差异。

在本发明实施例中，在获取到第二特征表后，可以进一步根据第二特征表所包含的所有特征，也就是标注数据和模型预测数据更新后的原始特征和衍生特征，以具象化的方式展示标注数据和不同的预测数据，例如分布图、点云图等方式，分别确定标注数据和不同的预测数据之间的差异，从而确定版本更新时，所调整的模型参数在预测模型上的具体影响，以此确定对应的预测模型之间的差异。

在本发明实施例中，通过获取标注数据和多个预测模型分别生成的模型预测数据，依据匹配标注物体ID等类别对模型预测数据进行聚类，得到多个聚类簇，再通过标注数据的物体ID对归类到已得到的聚类簇，组合多个聚类簇以生成第一特征表；响应于业务指令，对第一特征表的标注数据和模型预测数据的特征缺失情况进行判断，若是缺失特征，则补充对应的衍生特征，以更新对应的数据形成第二特征表，最后基于第二特征表的具象化展示，确定多个预测模型之间的差异。从而解决现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题，能够快速准确地确定预测模型的版本或识别准确率的差异在实际图像上的变化，进而实现对模型的针对性优化，更为有效地对模型性能进行评估。

请参阅图3，图3为本发明实施例三提供的一种模型检测方法的步骤流程图。

本发明提供的一种模型检测方法，包括：

步骤301，获取标注数据和由多个预测模型分别生成的模型预测数据；

步骤302，对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

步骤303，根据所述第一特征表补充衍生特征形成第二特征表；

在本发明实施例中，步骤301-303的具体实施过程与上述实施例一和实施例二类似，在此不再赘述。

步骤304，根据所述第二特征表生成特征分布图并进行过滤，得到多个待比对信息；

在本实施例中，在获取到第二特征表后，可以第二特征表为基础，根据其中所包括的标注数据和模型预测数据的相关特征进行统计，以生成对应的特征分布图显示，对所述特征分布图按照设定的条件进行过滤，以得到对应的多个待比对信息。

请参阅图4，图4示出了本发明实施例三的一种特征分布图的部分示意图，其中包括了多个部分，其中第一部分涵盖了标注数据的距离特征distance、A模型预测数据的距离特征pred_ticket_distance和B模型预测数据的距离特征pred_baseline_distance；第二部分涵盖了临界水平critcal_level；第三部分涵盖了标注数据的类别category、A模型预测数据的类别pred_ticket_category和B模型预测数据的类别pred_baseline_category。

在具体实现中，可以将第二特征表所包含的数据特征输送到UI展示端进行具现化展示，以得到第二特征表对应的特征分布图。

值得一提的是，所生成的特征分布图可以接收用户的选择指令，以对特征分布图增加过滤条件，更为高效地确定差异信息，请参见图5，图5示出了本发明的一种特征分布图的过滤条件设置图。

其中过滤条件包括了distance的设置范围，预测物体类型pred_ticket_error_type设置为“漏检”，视图类型view_angle的设置范围。在对特征分布图设定好过滤条件后，对特征分布图进行过滤，以得到多个待比对信息，如图6所示，其中包括了第三部分的标注数据的类别category、A模型预测数据的类别pred_ticket_category，而为了简洁显示，可以对其他部分如视图类型view_angle、点云数量points_num和距离distance进行折叠展示。

步骤305，基于多个所述待比对信息的映射，得到多个场景信息；

在本实施例中，为得知待比对信息在实际图像中的差别，可以将多个待比对信息分别映射到3D场景，采用3D渲染技术得到多个场景信息，其中，所述场景信息包括所述标注数据对应的原始信息，以及多个所述模型预测数据对应的预测信息；

其中，3D渲染是指通过电脑计算的方式把模型从3D模型网格呈现出2D真实感高的图像，计算过程包含光线及辅助光线，材料的材质和纹理，相机相关设置等综合变量。

请参见图7，图7示出了本发明实施例中的部分场景信息的3D渲染图，其中包括了标注数据所对应的原始信息，以实物图的形式展示，还包括模型预测数据对应的预测信息，以点云形式进行展示。

步骤306，基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异。

在获取到原始信息和多个预测信息后，由于分布图进行过滤的缘故，所获取到的3D场景所显示范围较小，可以直接基于所显示的内容进行比对；待原始信息和多个预测信息进行比对后，可以得到每个预测信息与原始信息的差别，从而确定预测信息之间存在的差异。而由于预测模型的版本不同，版本更替所调整的部分可以对应到预测信息之间存在的差异，从而确定预测模型的差异，例如预测模型的差异参数和差异条件等。

进一步地，在进行原始信息与多个预测信息的比对之前，本发明还可以包括以下步骤S51-S53：

S51、获取所述原始信息所对应的当前时刻的前帧信息和后帧信息；

S52、从所述原始信息分别与所述前帧信息和所述后帧信息进行比对，确定所述原始信息对应的环境信息；

S53、从所述原始信息中过滤所述环境信息，得到新的原始信息。

可选地，还可以从本发明的内部记录系统中获取当前时刻的前一帧的前帧信息和后一帧的后帧信息，将原始信息与上述前帧信息和后帧信息进行比对，以确定原始信息所对应的环境信息，例如道路、花丛、树、路基、指示牌等，从原始信息中过滤掉环境信息，以进一步去除对预测信息比对过程中的干扰信息，得到新的原始信息；最后采用新的原始信息与多个预测信息进行比对，确定预测模型的更新所导致预测信息之间的差异，从而进一步提高预测模型的差异确定的精准度。

进一步地，为了确定原始信息与前后帧信息的区别，也可以在与预测信息进行比对之前，先比对原始信息和前后帧信息，确定当前时刻的原始信息与前后帧信息的差别，从而提高后续与预测信息的比对效率。

在本发明实施例中，通过获取标注数据和多个预测模型分别生成的模型预测数据，分别对标注数据和模型预测数据进行聚类，以生成第一特征表，基于第一特征表中的标注数据和模型预测数据，补充对应的衍生特征，形成第二特征表，最后基于第二特征表的具象化展示，确定多个预测模型之间的差异。从而解决现有技术中难以对模型识别率所对应的实际图像变化做出解释，无法检验模型的识别准确率的优化位置，难以对模型进行进一步地针对性优化的技术问题，能够快速准确地确定预测模型的版本或识别准确率的差异在实际图像上的变化，进而实现对模型的针对性优化，更为有效地对模型性能进行评估。

请参阅图8，图8为本发明实施例四提供的一种模型检测装置的结构框图。

本发明提供的一种模型检测装置，包括：

数据获取模块801，用于获取标注数据和由多个预测模型分别生成的模型预测数据；

聚类模块802，用于对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

衍生特征补充模块803，用于根据所述第一特征表补充衍生特征形成第二特征表；

模型差异确定模块804，用于根据所述第二特征表，确定多个所述预测模型的差异。

可选地，所述标注数据包括物体ID，所述模型预测数据包括匹配标注物体ID，所述聚类模块802包括：

聚类簇生成子模块，用于基于所述匹配标注物体ID对所述模型预测数据进行聚类，得到多个聚类簇；

标注数据归类子模块，用于将所述物体ID与所述匹配标注物体ID相同的所述标注数据归类为所述匹配标注物体ID对应的聚类簇；

第一特征表生成子模块，用于组合多个所述聚类簇，生成第一特征表。

可选地，所述衍生特征包括标注衍生特征和预测衍生特征，所述衍生特征补充模块803包括：

特征缺失情况确定子模块，用于响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况；

标注衍生特征补充子模块，用于根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据；

预测衍生特征补充子模块，用于根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据；

第二特征表生成子模块，用于基于更新后的所述标注数据和更新后的所述模型预测数据，生成第二特征表。

可选地，所述特征缺失情况确定子模块包括：

需求特征确定单元，用于响应于输入的业务指令，确定所述业务指令对应的需求特征；所述需求特征包括第一需求特征和第二需求特征；

标注数据特征缺失判定单元，用于若所述标注数据中缺失所述第一需求特征，则判定所述标注数据存在特征缺失情况；

模型预测数据特征缺失判定单元，用于若所述模型预测数据中缺失所述第二需求特征，则判定所述模型预测数据存在特征缺失情况。

可选地，所述标注衍生特征补充子模块包括：

第一补充类型确定单元，用于将缺失的所述第一需求特征确定为所述标注衍生特征的第一补充类型；

标注衍生特征计算单元，用于基于所述标注数据和所述第一补充类型，计算所述标注衍生特征；

第一补充单元，用于将所述标注衍生特征补充到所述标注数据中，以更新所述标注数据。

可选地，所述预测衍生特征补充子模块包括：

第二补充类型确定单元，用于将缺失的所述第二需求特征确定为所述预测衍生特征的第二补充类型；

预测衍生特征计算单元，用于基于所述模型预测数据和所述第二补充类型，计算所述预测衍生特征；

第二补充单元，用于将所述预测衍生特征补充到所述模型预测数据中，以更新所述模型预测数据。

可选地，所述模型差异确定模块804包括：

待比对信息确定子模块，用于根据所述第二特征表生成特征分布图并进行过滤，得到多个待比对信息；

场景信息确定子模块，用于基于多个所述待比对信息的映射，得到多个场景信息；所述场景信息包括所述标注数据对应的原始信息，以及多个所述模型预测数据对应的预测信息；

模型差异确定子模块，用于基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异。

可选地，所述模型差异确定模块804还包括：

额外信息获取子模块，用于获取所述原始信息所对应的当前时刻的前帧信息和后帧信息；

信息比对子模块，用于从所述原始信息分别与所述前帧信息和所述后帧信息进行比对，确定所述原始信息对应的环境信息；

原始信息更新子模块，用于从所述原始信息中过滤所述环境信息，得到新的原始信息。

本发明实施例还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的模型检测方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上述任一项所述的模型检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种模型检测方法，其特征在于，包括：

获取标注数据和由多个预测模型分别生成的模型预测数据；所述标注数据为对车辆行驶中获取到的目标物体进行标注的标准标注结果，所述模型预测数据为所述预测模型根据车辆行驶中获取到的目标物体进行标注预测的预测标注结果；

对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

根据所述第一特征表补充衍生特征形成第二特征表；

根据所述第二特征表，确定多个所述预测模型的差异；

所述根据所述第二特征表，确定所述多个预测模型的差异的步骤，包括：

根据所述第二特征表生成特征分布图并进行过滤，得到多个待比对信息；

基于多个所述待比对信息的映射，得到多个场景信息；所述场景信息包括所述标注数据对应的原始信息，以及多个所述模型预测数据对应的预测信息；

基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异。

2.根据权利要求1所述的模型检测方法，其特征在于，所述标注数据包括物体ID，所述模型预测数据包括匹配标注物体ID，所述对所述标注数据和所述模型预测数据进行聚类，生成第一特征表的步骤，包括：

基于所述匹配标注物体ID对所述模型预测数据进行聚类，得到多个聚类簇；

将所述物体ID与所述匹配标注物体ID相同的所述标注数据归类为所述匹配标注物体ID对应的聚类簇；

组合多个所述聚类簇，生成第一特征表。

3.根据权利要求1所述的模型检测方法，其特征在于，所述衍生特征包括标注衍生特征和预测衍生特征，所述根据所述第一特征表补充衍生特征形成第二特征表的步骤，包括：

响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况；

根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据；

根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据；

基于更新后的所述标注数据和更新后的所述模型预测数据，生成第二特征表。

4.根据权利要求3所述的模型检测方法，其特征在于，所述响应于输入的业务指令，分别确定所述标注数据和所述模型预测数据的特征缺失情况的步骤，包括：

响应于输入的业务指令，确定所述业务指令对应的需求特征；所述需求特征包括第一需求特征和第二需求特征；

若所述标注数据中缺失所述第一需求特征，则判定所述标注数据存在特征缺失情况；

若所述模型预测数据中缺失所述第二需求特征，则判定所述模型预测数据存在特征缺失情况。

5.根据权利要求4所述的模型检测方法，其特征在于，所述根据所述标注数据的特征缺失情况，补充所述标注衍生特征，以更新所述标注数据的步骤，包括：

将缺失的所述第一需求特征确定为所述标注衍生特征的第一补充类型；

基于所述标注数据和所述第一补充类型，计算所述标注衍生特征；

将所述标注衍生特征补充到所述标注数据中，以更新所述标注数据。

6.根据权利要求4所述的模型检测方法，其特征在于，所述根据所述模型预测数据的特征缺失情况，补充所述预测衍生特征，以更新所述模型预测数据的步骤，包括：

将缺失的所述第二需求特征确定为所述预测衍生特征的第二补充类型；

基于所述模型预测数据和所述第二补充类型，计算所述预测衍生特征；

将所述预测衍生特征补充到所述模型预测数据中，以更新所述模型预测数据。

7.根据权利要求1所述的模型检测方法，其特征在于，在所述基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异的步骤之前，还包括：

获取所述原始信息所对应的当前时刻的前帧信息和后帧信息；

从所述原始信息分别与所述前帧信息和所述后帧信息进行比对，确定所述原始信息对应的环境信息；

从所述原始信息中过滤所述环境信息，得到新的原始信息。

8.一种模型检测装置，其特征在于，包括：

数据获取模块，用于获取标注数据和由多个预测模型分别生成的模型预测数据；所述标注数据为对车辆行驶中获取到的目标物体进行标注的标准标注结果，所述模型预测数据为所述预测模型根据车辆行驶中获取到的目标物体进行标注预测的预测标注结果；

聚类模块，用于对所述标注数据和所述模型预测数据进行聚类，生成第一特征表；

衍生特征补充模块，用于根据所述第一特征表补充衍生特征形成第二特征表；

模型差异确定模块，用于根据所述第二特征表，确定多个所述预测模型的差异；

所述模型差异确定模块包括：

待比对信息确定子模块，用于根据所述第二特征表生成特征分布图并进行过滤，得到多个待比对信息；

场景信息确定子模块，用于基于多个所述待比对信息的映射，得到多个场景信息；所述场景信息包括所述标注数据对应的原始信息，以及多个所述模型预测数据对应的预测信息；

模型差异确定子模块，用于基于所述原始信息与多个所述预测信息的比对结果，确定多个所述预测模型的差异。

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的模型检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的模型检测方法。

Images