CN114418021A - 模型优化方法、装置及计算机程序产品 - Google Patents

Abstract

本申请实施例公开了一种模型优化方法、装置及计算机程序产品，该方法包括：获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对图像样本集中的每个图像样本进行图像感知，得到每个图像样本的目标感知结果；调用基准感知模型按照目标图像感知任务对每个图像样本进行图像感知，得到每个图像样本的基准感知结果；分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果；根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；根据通过一个或多个难例样本确定的目标感知模型的优化参数，更新目标感知模型。本申请实施例可提升目标感知模型的感知能力。

Description

模型优化方法、装置及计算机程序产品

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型优化方法、装置及计算机程序产品。

背景技术

目前，随着计算机技术的持续发展，视觉感知技术已被广泛关注；其中，视觉感知技术可理解成是一种调用感知模型对场景中的图像进行图像感知的技术。在视觉感知技术中，通常大部分的场景中的图像均可被感知模型正确感知，而部分极端、罕见的场景中的图像则容易被感知模型感知失败；可见，现有的感知模型的感知能力较差。基于此，如何对感知模型进行模型优化，以提升感知模型的感知能力，成为了研究热点。

发明内容

本申请实施例提供了一种模型优化方法、装置及计算机程序产品，可以提升目标感知模型的模型性能，即提升目标感知模型的感知能力，以提升目标感知模型的感知准确率。

一方面，本申请实施例提供了一种模型优化方法，所述方法包括：

获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

另一方面，本申请实施例提供了一种模型优化装置，所述装置包括：

获取单元，用于获取图像样本集；

处理单元，用于调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

所述处理单元，还用于调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

所述处理单元，还用于分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

所述处理单元，还用于根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

所述处理单元，还用于根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如下步骤：

获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

再一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行如下步骤：

获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

再一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述所提及的模型优化方法。

本申请实施例在获取到图像样本集后，可通过从该图像样本集中挖掘出一个或多个难例样本，进而采用通过各个难例样本确定的目标感知模型的优化参数，更新目标感知模型，使得目标感知模型可通过学习难例样本的样本信息来不断提升目标感知模型的感知能力，进而提升更新后的目标感知模型的感知准确性。进一步的，本申请实施例主要是通过引入一个感知准确性优于目标感知模型的感知准确性的基准感知模型，并通过基准感知模型和目标感知模型针对同一图像样本的感知结果之间的差分结果，来实现对图像样本集进行自动的难例样本挖掘的，这样可无需人为参与难例样本的挖掘，有效节省人力成本，以及提高难例样本的挖掘效率，进而提高对目标感知模型进行模型优化的优化效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的一种模型优化方案的流程示意图；

图1b是本申请实施例提供的一种终端和服务器交互的示意图；

图2是本申请实施例提供的一种模型优化方法的流程示意图；

图3是本申请实施例提供的另一种模型优化方法的流程示意图；

图4是本申请实施例提供的一种差分处理结果的示意图；

图5是本申请实施例提供的一种相似图像的示意图；

图6是本申请实施例提供的另一种模型优化方法的流程示意图；

图7是本申请实施例提供的另一种模型优化方法的流程示意图；

图8是本申请实施例提供的一种模型优化装置的结构示意图；

图9是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

随着互联网技术的不断发展，人工智能(Artificial Intelligence，AI)技术也随之得到更好的发展。所谓的人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。而深度学习则是一种利用深层神经网络系统，进行机器学习的技术；机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

基于AI技术中的计算机视觉技术和机器学习/深度学习技术，本申请实施例提出了一种模型优化方案，以实现高效地确定目标感知模型的难例样本，进而提升目标感知模型的模型性能。其中，此处所提及的目标感知模型是指待优化的感知模型；在本申请实施例中，难例样本可以指的是容易被目标感知模型感知失败的样本。需要说明的是，本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。

参见图1a所示，本申请实施例所提出的模型优化方案的大致原理如下：

首先，在获取图像样本集后，可调用待优化的目标感知模型按照目标图像感知任务对图像样本集中的每个图像样本进行图像感知，得到每个图像样本的目标感知结果；并调用基准感知模型按照目标图像感知任务对每个图像样本进行图像感知，得到每个图像样本的基准感知结果；其中，基准感知模型的感知准确率大于目标感知模型的感知准确率，也就是说，可将每个图像样本的基准感知结果作为判断相应的目标感知结果是否准确的依据。然后，便可基于每个图像样本的目标感知结果和相应的基准感知结果，在图像样本集中挖掘出难例样本，并采用挖掘出的难例样本对目标感知模型进行更新；具体的，可分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果；进而根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或多个难例样本，并采用通过一个或多个难例样本确定的目标感知模型的优化参数，更新目标感知模型。应理解的是，当图像样本集包括了海量的图像样本时，可能会通过此处所提及的一系列步骤从图像样本集中挖掘出大量的难例样本，即此情况下上述一个或多个难例样本包括的难例样本的数量可以是一个较大的正整数。

经实践表明，本申请实施例提出的模型优化方案可至少具有如下几点有益效果：①可通过目标感知模型和基准感知模型按照同一图像感知任务，分别对每个图像样本进行图像感知，得到每个图像样本的目标感知结果和相应的基准感知结果，从而基于每个图像样本的目标感知结果和相应的基准感知结果，自动化地在图像样本集中确定一个或多个难例样本，以提升难例样本的挖掘效率，且节省人力成本。②可采用得到的一个或多个难例样本对目标感知模型进行更新，使目标感知模型学习到各个难例样本的样本信息，以提升目标感知模型的感知能力。③通过高效地获取目标感知模型的难例样本，可有效提高对目标感知模型进行更新的更新效率，即提高了对目标感知模型进行优化的优化效率，极大缩短目标感知模型的开发周期，加快目标感知模型在产品中的落地。

在具体实现中，上述所提及的模型优化方案可由一个计算机设备执行，该计算机设备可以是终端或者服务器；其中，此处所提及的终端可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等；终端内可运行各式各样的客户端(application，APP)，如视频播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端，等等。此处所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算(cloud computing)、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。并且，本申请实施例所提及的计算机设备可以位于区块链网络外，也可以位于区块链网络内，对此不作限定；所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络，而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，其本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块(或称为区块)。

或者，在其他实施例中，上述所提及的模型优化方案也可由服务器和终端共同执行；终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。例如：可由终端负责获取图像样本集，并将图像样本集发送至服务器，使得服务器可确定图像样本集中每个图像样本的目标感知结果和相应的基准感知结果，并基于每个图像样本的目标感知结果和相应的基准感知结果，在图像样本集中挖掘出一个或多个难例样本，然后将挖掘出的一个或多个难例样本发送至终端，再由终端来采用该一个或多个难例样本对目标感知模型进行更新，如图1b所示。又如，可由终端负责获取图像样本集，确定图像样本集中每个图像样本的目标感知结果和相应的基准感知结果，并基于每个图像样本的目标感知结果和相应的基准感知结果，在图像样本集中挖掘出一个或多个难例样本，然后将挖掘出的一个或多个难例样本发送给配置有目标感知模型的服务器，使得服务器可以采用获取到的一个或多个难例样本对目标感知模型进行更新。应理解的是，此处只是示例性地阐述了终端和服务器共同执行上述音模型优化方案的两种情况，并非穷举。

基于上述模型优化方案的相关描述，本申请实施例提出一种模型优化方法，该模型优化方法可以由上述所提及计算机设备(终端或服务器)执行；或者，该模型优化方法可由终端和服务器共同执行。为便于阐述，后续均以计算机设备执行该模型优化方法为例进行说明；请参见图2，该模型优化方法可包括以下步骤S201-S205：

S201，获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对图像样本集中的每个图像样本进行图像感知，得到每个图像样本的目标感知结果。

具体的，上述目标图像感知任务包括但不限于：目标检测任务、图像分割任务、图像分类任务，等等。可以理解的是，若目标图像感知任务为目标检测任务，则目标感知模型可理解成一个目标检测模型(目标检测模型是一种对图像中的目标进行检测的模型，图像中的目标可以例如是手势、表情或者面部等)，且任一图像样本的目标感知结果可以包括一个或多个目标检测框，一个检测框用于标识从图像样本中检测出的目标。若目标图像感知任务为图像分割任务，则目标感知模型可理解成一个图像分割模型，且任一图像样本的目标感知结果可以指的是对该任一图像样本的分割结果。若目标图像感知任务为图像分类任务，则目标感知模型可理解为一个图像分类模型，且任一图像样本的目标感知结果可以对应该任一图像样本的图像类别，等等。

在具体实现中，计算机设备获取图像样本集的方式包括但不限于一下几种：

第一种获取方式：计算机设备可配置有拍摄组件，那么计算机设备可通过该拍摄组件在环境中采集N个图像样本，并将采集到的N个图像样本添加至图像样本集中，从而得到图像样本集，N为正整数。

第二种获取方式：计算机设备可以获取图像样本集对应的下载链接，并采用该下载链接下载图像样本集，以获取图像样本集。或者，若计算机设备自身的存储空间中存储有N个图像样本，那么计算机设备可将存储的N个图像样本添加至图像样本集中，以得到图像样本集。

需要说明的是，计算机设备可以使用mobileNet(一种小巧且高效的卷积神经网络)、shuffleNet(一种极其高效的卷积神经网络)等轻量化结构作为目标感知模型的主干网络。可选的，计算机设备也可以采用ResNet(Residual Network，残差网络)、RNN(Recurrent neural network，循环神经网络)等结构作为目标感知模型的主干网络，本申请对此不作限定。

S202，调用基准感知模型按照目标图像感知任务对每个图像样本进行图像感知，得到每个图像样本的基准感知结果。

其中，基准感知模型的感知准确率大于目标感知模型的感知准确率。

相应的，若目标图像感知任务为目标检测任务，则基准感知模型可理解为一个目标检测模型，且任一图像样本的基准感知结果可以包括一个或多个基准检测框；若目标图像感知任务为图像分割任务，则基准感知模型可理解为一个图像分割模型，且任一图像样本的基准感知结果可以指的是对该任一图像样本的分割结果；若目标图像感知任务为图像分类任务，则基准感知模型可理解为一个图像分类模型，且任一图像样本的基准感知结果可以对应该任一图像样本的图像类别，等等。

需要说明的是，计算机设备可以搭建高算力专用平台，并在上面部署高精度的基准感知模型；由于基准感知模型的计算量较大且精度较高，故通过基准感知模型所得的基准感知结果可作为参考真值。例如，若目标图像感知任务为目标检测任务，那么计算机设备可以在专用平台上部署yolov5x(一种用于目标检测的网络)或者tridentNet(另一种用于目标检测的网络)等检测模型，作为基准感知模型；又如，若目标图像感知任务为图像分类任务，那么计算机设备可以在专用平台上部署SqueezeNet(一种轻量化的网络模型)或者MobileNet(另一种轻量化的网络模型)等网络结构，作为基准感知模型，等等。

S203，分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果。

可以理解的是，由于基准感知模型的感知准确率大于目标感知模型的感知准确率，那么计算机设备可以将任一图像样本的基准感知结果作为该任一图像样本的目标感知结果的参考真值，也就是说，计算机设备可以采用任一图像样本的基准感知结果，来对该任一图像样本的目标感知结果的准确性进行判断。相应的，任一图像样本的差分结果可以用于指示该任一图像样本的目标感知结果是否正确，也就是说，计算机设备可以根据任一图像样本的差分结果，确定该任一图像样本的目标感知结果的准确性。

例如，若目标图像感知任务为目标检测任务，计算机设备可基于每个图像样本的目标感知结果中的各个目标检测框，以及相应的基准感知结果中的各个基准检测框，对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分处理结果；在此种情况下，任一图像样本的差分处理结果可以用于指示该任一图像样本的目标感知结果中的各个目标检测框，与相应的基准感知结果中的各个基准检测框之间的匹配结果；其中，两个检测框匹配可以指的是：两个检测框的重叠度大于或等于重叠度阈值。

又如，若目标图像感知任务为图像分类任务，计算机设备可基于每个图像样本的目标感知结果对应的图像类别，以及相应的基准感知结果对应的图像类别，对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分处理结果；在此种情况下，任一图像样本的差分处理结果可以用于指示该任一图像样本的目标感知结果对应的图像类型，与相应的基准感知结果对应的图像类别是否相同。

S204，根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或多个难例样本。

需要说明的是，在视觉感知算法中，对于一小部分极端、罕见的长尾场景下的图像样本不易被目标感知模型感知正确，那么计算机设备可以将此种场景下的图像作为难例(corner case)样本；其中，长尾场景是指：一切突发的、低概率的、不可预知的场景，如交通信号灯故障的路口等；换句话说，难例样本是指无法被目标感知模型感知正确的样本。

相应的，计算机设备在根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘时，计算机设备可基于每个图像样本的差分结果，确定每个图像样本是否被目标感知模型感知正确，并挖掘出图像样本集中被目标感知模型感知失败的图像样本，从而将挖掘出的图像样本作为难例样本。

例如，若目标图像感知任务为目标检测任务，那么计算机设备可以根据每个图像样本的差分处理结果，将目标感知模型中的各个目标检测框，与相应的基准感知结果中的各个基准检测框不完全匹配的图像样本作为难例样本；又如，若目标图像感知任务为图像分类任务，那么计算机设备可以根据每个图像样本的差分处理结果，将目标感知结果对应的图像类别，与相应的基准感知结果对应的图像类别不相同的图像样本作为难例样本，等等。

S205，根据通过一个或多个难例样本确定的目标感知模型的优化参数，更新目标感知模型。

可以理解的是，计算机设备可以先通过一个或多个难例样本确定目标感知模型的优化参数，然后根据通过一个或多个难例样本确定的目标感知模型的优化参数，更新目标感知模型。

本申请实施例在获取到图像样本集后，可通过从该图像样本集中挖掘出一个或多个难例样本，进而采用通过各个难例样本确定的目标感知模型的优化参数，更新目标感知模型，使得目标感知模型可通过学习难例样本的样本信息来不断提升目标感知模型的感知能力，进而提升更新后的目标感知模型的感知准确性。进一步的，本申请实施例主要是通过引入一个感知准确性优于目标感知模型的感知准确性的基准感知模型，并通过基准感知模型和目标感知模型针对同一图像样本的感知结果之间的差分结果，来实现对图像样本集进行自动的难例样本挖掘的，这样可无需人为参与难例样本的挖掘，有效节省人力成本，以及提高难例样本的挖掘效率，进而提高对目标感知模型进行模型优化的优化效率。

请参见图3，是本申请实施例提供的另一种模型优化方法的流程示意图。该模型优化方法可以由上述所提及的计算机设备执行，该计算机设备可以是终端或者服务器。请参见图3，该模型优化方法可包括以下步骤S301-S307：

S301，获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对图像样本集中的每个图像样本进行图像感知，得到每个图像样本的目标感知结果。

S302，调用基准感知模型按照目标图像感知任务对每个图像样本进行图像感知，得到每个图像样本的基准感知结果。

其中，基准感知模型的感知准确率大于目标感知模型的感知准确率。

S303，分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果。

在一种实施方式中，目标图像感知任务为目标检测任务，任一图像样本的目标感知结果包括一个或多个目标检测框，且任一图像样本的基准感知结果包括一个或多个基准检测框，检测框用于标识从图像样本中检测到的目标；那么计算机设备在分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果时，可遍历各个图像样本，将当前遍历的当前图像样本的基准感知结果作为当前基准感知结果，并将当前图像样本的目标感知结果作为当前目标感知结果；进而根据当前基准感知结果中的每个基准检测框，与当前目标感知结果中的各个目标检测框之间的差分情况，分别计算每个基准检测框和所述各个目标检测框之间的重叠度；并根据计算得到的各个重叠度，确定当前图像样本的差分结果。

在此种情况下，根据计算得到的各个重叠度，确定当前图像样本的差分结果时，若根据计算得到的各个重叠度，确定当前基准感知结果中存在第一检测框，则将漏召回标签作为当前图像样本的图像标签，添加至当前图像样本的差分结果中；第一检测框是指：与当前目标感知结果中的各个目标检测框之间的重叠度均小于重叠度阈值的基准检测框；若根据计算得到的各个重叠度，确定当前目标感知结果中存在第二检测框，则将误检测标签作为当前图像样本的图像标签，添加至当前图像样本的差分结果中；第二检测框是指：与当前基准感知结果中的各个基准检测框之间的重叠度均小于重叠度阈值的目标检测框；若根据计算得到的各个重叠度，确定当前基准感知结果中不存在第一检测框，且当前目标感知结果中不存在第二检测框，则将正确检测标签作为当前图像样本的图像标签，添加至所述当前图像样本的差分结果中。

进一步的，两个检测框之间的重叠度可以指的是：两个检测框之间的交并比，即两个检测框之间的交集(两个检测框重叠区域的面积)与两个检测框之间的并集(两个检测框未重叠区域的面积与重叠区域的面积之和)的比值；或者，可以指的是：两个检测框重叠区域的面积，与两个检测框中最大检测框所占面积的比值；或者，可以指的是：两个检测框重叠区域的面积，与两个检测框中任一检测框所占面积的比值，等等。本申请对重叠度的计算方式不作限定。需要说明的是，上述重叠度阈值可以是按照经验设置的，也可以是在某个区间范围内随机生成的，如80％或者90％等。在此种情况下，若两个检测框之间的重叠度大于或等于重叠度阈值，则计算机设备可以确定此处的两个检测框互相匹配；若两个检测框之间的重叠度小于重叠度阈值，则计算机设备可以确定此处的两个检测框不匹配。

可以理解的是，若任一图像样本中的差分结果中的图像标签为漏召回标签或误检测标签，则计算机设备可以确定目标感知模型对该任一图像样本感知失败，在此种情况下，该任一图像样本的目标感知结果中的各个目标检测框，与相应的基准感知结果中的各个基准检测框不完成匹配；若任一图像样本的差分结果中的图像标签为正确检测标签，则计算机设备可以确定目标感知模型对该任一图像样本感知正确，在此种情况下，该任一图像样本的目标感知结果中的各个目标检测框，与相应的基准感知结果中的各个基准检测框完成匹配。

例如，如图4所示，假设任一图像样本的基准感知结果包括基准检测框A和基准检测框B，且该任一图像样本的目标感知结果包括目标检测框A，那么计算机设备可以对该任一图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到差分处理结果。又假设上述重叠度阈值为80％，且目标检测框A与基准检测框A之间的重叠度为95％，那么计算机设备可以确定目标检测框A与基准检测框A匹配；由于该任一图像样本的基准感知结果中存在基准检测框B，且基准检测框B与各个目标检测框之间的重叠度均小于重叠度阈值，即该任一图像样本的目标感知结果中不存在与基准检测框匹配的目标检测框，那么计算机设备可以将基准检测框确定为基准感知结果中的第一检测框，并将漏召回标签作为该任一图像样本的图像标签，添加至该任一图像样本的差分结果中。

另一种实施方式中，目标图像感知任务为图像分类任务，任一图像样本的目标感知结果对应一个图像类别，且任一图像样本的基准感知结果对应一个图像类别；那么计算机设备在分别对每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到每个图像样本的差分结果时，可遍历每个图像样本，并将当前遍历的图像样本作为当前图像样本；然后，根据当前图像样本的目标感知结果对应的目标图像类别，与相应的基准感知结果对应的基准图像类别之间的差分情况，分别确定目标图像类别与基准图像类别之间的差异情况；若差异情况用于指示目标图像类别与基准图像类别相同，则将正确分类标签作为当前图像样本的图像标签，添加至当前图像样本的差分结果中；若差异情况用于指示目标图像类别与基准图像类别不相同，则将错误分类标签作为当前图像样本的图像标签，添加至当前图像样本的差分结果中。

可以理解的是，若任一图像样本中的差分结果中的图像标签为错误分类签，则计算机设备可以确定目标感知模型对该任一图像样本感知失败；若任一图像样本的差分结果中的图像标签为正确分类标签，则计算机设备可以确定目标感知模型对该任一图像样本感知正确。

S304，根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或多个难例样本。

在具体实现中，若目标图像感知任务为目标检测任务，则计算机设备根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或个难例样本的具体实施方式可以：针对图像样本集中的任一图像样本，从该任一图像样本的差分结果中获取该任一图像样本的图像标签；若获取到的图像标签为漏召回标签或误检测标签，则将该任一图像样本确定为一个难例样本。

例如，假设图像样本集包括图像样本A、图像样本B和图像样本C，且图像样本A的差分结果中的图像标签为正确检测标签，图像样本B的差分结果中的图像标签为误检测标签，图像样本C的差分结果中的图像标签为漏召回标签，那么计算机设备可以将图像样本B和图像样本C均作为难例样本。

相应的，若目标图像感知任务为图像分类任务，则计算机设备根据每个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，得到一个或多个难例样本的具体实施方式可以：针对图像样本集中的任一图像样本，从该任一图像样本的差分结果中获取该任一图像样本的图像标签；若获取到的图像标签为错误分类标签，则将该任一图像样本确定为一个难例样本。

S305，将一个或多个难例样本发送至配置有目标感知模型的云端服务器，以使得云端服务器通过一个或多个难例样本优化目标感知模型。

考虑到计算机设备为终端(如测试车辆所配置的车载终端)时，计算机设备的算力(即计算能力)受限，则计算机设备可将一个或多个难例样本发送至配置有目标感知模型的云端服务器，以使得云端服务器通过一个或多个难例样本优化目标感知模型。在此种情况下，计算机设备可借助云端服务器充足的算力支持，来实现对目标感知模型的模型优化。需要说明的是，通过一个或多个难例样本优化目标感知模型后的模型参数可以为目标感知模型的优化参数。

进一步的，通过一个或多个难例样本优化目标感知模型时，可采用一个或多个难例样本，构建目标感知模型的难例样本集，并采用难例样本集对目标感知模型进行模型优化。需要说明的是，在采用一个或多个难例样本，构建目标感知模型的难例样本集的过程中，可对一个或多个难例样本进行聚类处理，进而根据聚类处理结果得到目标感知模型的难例样本集；也可直接将一个或多个难例样本添加至难例样本集中，以得到目标感知模型的难例样本集，本申请对构建难例样本集的具体实施过程不作限定。

在具体的实现中，在云端服务器接收到计算机设备发送的一个或多个难例样本后，云端服务器可以获取一个或多个难例样本中的各个难例样本的图像特征，即可以对一个或多个难例样本中的各个难例样本进行特征提取，以获取到一个或多个难例样本中的各个难例样本的图像特征。需要说明的是，在对各个难例样本进行特征提取时，可以先分别提取各个难例样本的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征(即表征梯度)、LBP(Local Binary Pattern，局部二值模式)特征(即表征纹理)以及颜色统计直方图(即表征色彩分布)等特征，然后对提取到的任一难例样本的各个特征进行特征融合，得到该任一难例样本的图像特征(即综合特征)。值得注意的是，对任一难例样本的各个特征进行特征融合可以指的是：对该任一难例样本的各个特征进行串接处理，在此种情况下，该任一难例样本的图像特征为相应的串接处理结果；对任一难例样本的各个特征进行特征融合也可以指的是：对该任一难例样本的各个特征进行加法运算，在此种情况下，该任一难例样本的图像特征为相应的加法运算结果，本申请对特征融合的具体实施方式不作限定。

可选的，在获取任一难例样本的图像特征时，也可仅提取该任一难例样本的HOG特征或者LBP特征等，并将提取到的特征作为该任一难例样本的图像特征；还可以对HOG特征、LBP特征(即表征纹理)以及颜色统计直方图等特征中的任意两个特征进行特征融合，以得到任一难例样本的图像特征，本申请对此不作限定。

进一步的，通过一个或多个难例样本确定目标感知模型的优化参数时，可基于各个难例样本的图像特征之间的特征相似度，对各个难例样本进行聚类处理，形成至少一个聚类样本组；统计各个聚类样本组中的难例样本的数量，得到各个聚类样本组的样本数量；并将样本数量大于或等于预设的目标数量的聚类样本组中的全部或目标数量的难例样本，添加至目标感知模型的难例样本集中；进而采用难例样本集对目标感知模型进行模型优化。可选的，上述特征相似度可以指的是各个图像特征之间的余弦距离，也可以指的是各个图像特征之间的欧式距离，本申请对此不作限定。需要说明的是，可以采用k-means方法(一种K均值聚类算法)来对各个难例样本进行聚类处理，也可采用层次聚类算法来对各个难例样本进行聚类处理，本申请对聚类处理的具体实施方式不作限定。

需要说明的是，针对样本数量小于目标数量的任一聚类样本组，将该任一聚类样本组中的全部难例样本添加至难例样本集中；获取图像数据库中所存储的各个存储图像，并从上述任一聚类样本组中选取一个或多个难例样本作为基准难例样本；进而根据每个基准难例样本和各个存储图像之间的图像相似度，从图像数据库中搜索出每个基准难例样本的一个或多个相似图像，各个基准难例样本的相似图像的数量总和，等于样本数量和目标数量之间的差值；并将搜索出的各个相似图像均作为难例样本，添加至目标感知模型的难例样本集中。

例如，假设目标数量为50，且上述任一聚类样本组包括的难例样本的样本数量为20，那么可以从该任一聚类样本组中选取一个或多个难例样本作为基准难例样本；假设从该任一聚类样本组中选取了两个难例样本作为基准难例样本，则可在图像数据库中分别搜索出两个基准难例样本的相似图像，使得两个基准难例样本的相似图像的数量总和为30；例如，可在图像数据库中搜索出一个基准难例样本的相似图像的数量为10，并在图像数据库中搜索出另一个基准难例样本的相似图像的数量为20，等等。进一步的，可将搜索出的30个相似图像添加至难例样本集中。

又如，如图5所示，假设上述任一聚类样本组的样本数量为14，且目标数量为20，则可将该任一聚类样本组中的14个难例样本添加至难例样本集中；又假设从该任一聚类样本组中选取出一个难例样本作为基准难例样本(即基准难例样本A)，则可在图像数据库中，搜索出基准难例样本A的6个相似图像，并将搜索出的6个相似图像添加至难例样本集中，使得难例样本集不仅包括当前聚类样本组中的14个难例样本，还包括基准难例样本A的6个相似图像。

可以理解的是，可按照每个基准难例样本与各个存储图像之间的图像相似度从大到小的顺序，从图像数据库中搜索出每个基准难例样本的一个或多个相似图像，即将图像相似度达到一定相似度阈值的存储图像作为相应的基准难例样本的相似图像；在此种情况下，针对任一基准难例样本，若需在图像数据库中搜索出该任一基准难例样本的Q个相似图像，则此时的相似度阈值为：按照该任一基准难例样本与各个存储图像之间的图像相似度从大到小的顺序，对各个存储图像进行排序，得到的排序结果中的第Q个存储图像与该任一基准难例样本之间的图像相似度；其中，Q正整数。换句话说，若需从图像数据库中搜索出任一基准难例样本的Q个相似图像，则可按照该任一基准难例样本与各个存储图像之间的图像相似度从大到小的顺序，对各个存储图像进行排序，并在排序结果中选取前Q个存储图像作为该任一基准难例样本的相似图像。可选的，也可按照该任一基准难例样本与各个存储图像之间的图像相似度从小到大的顺序，对各个存储图像进行排序，并从排序结果中选取后Q个存储图像作为该任一基准难例样本的相似图像，本申请对从图像数据库中搜索出任一基准难例样本的一个或多个相似图像的具体实施方式不作限定。

需要说明的是，从上述任一聚类样本组中选取一个或多个难例样本作为基准难例样本时，可从任一聚类样本组中随机选取一个或多个难例样本作为基准难例样本，也可对任一聚类样本组中包括的难例样本进行聚类处理，得到任一聚类样本组对应的一个或多个聚类样本子集；并分别从每个聚类样本子集中选取至少一个难例样本作为基准难例样本，本申请对此不作限定。

进一步的，在根据每个基准难例样本和各个存储图像之间的图像相似度，从图像数据库中搜索出每个基准难例样本的一个或多个相似图像之前，可按照各个难例样本的图像特征的获取方式，对各个存储图像进行特征提取，以得到各个存储图像的图像特征，进而采用每个基准难例样本的图像特征和各个存储图像的图像特征，来计算每个基准难例样本和各个存储图像之间的图像相似度。可选的，该图像相似度可以指的是余弦距离，即可计算任一基准难例样本的图像特征和任一存储图像的图像特征之间的余弦距离，并将计算所得到的余弦距离作为该任一基准难例样本和该任一存储图像之间的图像相似度；该图像相似度也可以指的是欧式距离，即可计算任一基准难例样本的图像特征和任一存储图像的图像特征之间的欧式距离，并将计算所得到的欧式距离作为该任一基准难例样本和该任一存储图像之间的图像相似度，等等。

需要说明的是，若从图像样本集中挖掘出的一个或多个难例样本包括的难例样本的数量小于挖掘数量时，可将该一个或多个难例样本均添加至难例样本集中；从一个或多个难例样本中选取至少一个难例样本作为基准难例样本，并在图像数据库中搜索每个基准难例样本的相似图像，进而将每个基准难例样本的相似图像添加至难例样本集中。在此种情况下，可不执行对一个或多个难例样本进行聚类处理的动作；其中，挖掘数量可以是按照经验设置的，也可以是随机生成的，如50或者80等。

值得注意的是，上述按照各个难例样本的图像特征的获取方式，对各个存储图像进行特征提取，以得到各个存储图像的图像特征是指：采用相同的获取方式，来获取各个难例样本的图像特征以及各个存储图像的图像特征，从而避免不同的获取方式对图像相似度的影响。

举例来说，假设在获取任一难例样本的图像特征时，分别对该任一难例样本的HOG特征和LBP特征进行特征提取，得到该任一难例样本的HOG特征和LBP特征，并对该任一难例样本的HOG特征和LBP特征进行串接处理，得到该任一难例样本的图像特征；在此种情况下，在获取任一存储图像的图像特征时，也分别对该任一存储图像的HOG特征和LBP特征进行特征提取，得到该任一存储图像的HOG特征和LBP特征，并对该任一存储图像的HOG特征和LBP特征进行串接处理，得到该任一存储图像的图像特征。

进一步的，采用难例样本集对目标感知模型进行模型优化的具体实施方式可以包括：先调用参考感知模型按照目标感知任务，对难例样本集中的各个难例样本进行图像感知，得到各个难例样本的参考感知结果；然后，可基于各个难例样本的参考感知结果，对各个难例样本进行感知结果的标注，得到各个难例样本的标注感知结果；进而基于难例样本集中的各个难例样本以及相应的标注感知结果，对目标感知模型进行模型优化。其中，参考感知模型可以是精确度大于精确度阈值的感知模型，在此种情况下，参考感知模型的精确度大于上述所提及的目标感知模型的精确度，以及基准感知模型的精确度，即参考感知模型的感知准确率较大，以使各个难例样本的参考感知结果较大可能的接近真实结果；可选的，当上述所提及的基准感知模型的精确度(即感知准确率)较大时，该参考感知模型也可以是基准感知模型，在此种情况下，可将各个难例样本的基准感知结果作为相应的参考感知结果，本申请对此不作限定。

需要说明的是，基于各个难例样本的参考感知结果，对各个难例样本进行感知结果的标注，得到各个难例样本的标注感知结果时，可采用各个难例样本的参考感知结果，对相应的难例样本进行感知结果的标注，即通过参考感知模型对各个难例样本进行自动标注，并将各个标注结果作为相应的难例样本的标注感知结果。由于各个难例样本的参考感知结果仍可能存在感知失败的情况，那么可先采用各个难例样本的参考感知结果对相应的难例样本进行感知结果的标注，再通过人工审查的方式对需要修正的标注结果进行修正处理，得到各个修正处理后的标注结果，并将各个修正处理后的标注结果作为相应的难例样本的标注感知结果；在此种情况下，通过各个难例样本的参考感知结果对相应的难例样本进行感知结果的标注，所得的各个标注结果大部分是准确的，则需要修正的标注结果较少，也就是说，仅需通过人工审查的方式对各个标注结果进行人工微调，可提高各个难例样本的标注感知结果的获取效率。

例如，假设目标图像感知任务为目标检测任务，则通过参考感知模型，得到的各个难例样本的参考感知结果可包括一个或多个参考检测框，这些参考标注框可视为预标注框，且这些参考标注框会存在少量漏召回(即漏检测)、误检测以及检测框拟合不佳的情况；在此种情况下，各个难例样本的参考标注框还需要人工审查与微调，从而得到各个难例样本的标注感知结果。

S306，接收云端服务器发送的远程升级指令，远程升级指令携带有如下信息：优化后的目标感知模型，或者优化后的目标感知模型的模型参数。

需要说明的是，当远程升级指令所携带的信息包括优化后的目标感知模型时，可以仅包括优化后的目标感知模型，也可以包括内置有优化后的目标感知模型的APP(Application，应用程序)安装包，还可以包括内置有优化后的目标感知模型的模块，本申请对此不作限定。

S307，根据远程升级指令所携带的信息确定目标感知模型的优化参数，并根据优化参数对车载终端中的目标感知模型进行模型更新处理。

计算机设备在接收到云端服务器发送的远程升级指令后，可根据远程升级指令所携带的信息，对计算机设备(即车载终端)中的目标感知模型进行模型更新处理。

进一步的，若更新后的目标感知模型的模型性能未满足性能要求，则将更新后的目标感知模型作为待优化的目标感知模型，并迭代执行获取图像样本集的步骤。其中，更新后的目标感知模型的模型性能未满足性能要求可以指的是：通过更新后的目标感知模型，所得的测试样本集的精确度小于精确度阈值，该测试样本集包括一个或多个图像样本；也可以指的是：通过基准感知模型和更新后的目标感知模型，在图像样本集中挖掘出的难例样本的数量大于数量阈值，等等。

需要说明的是，上述关于步骤S305的相关描述只是示例性地阐述了计算机设备可借助云端服务器来实现通过一个或多个难例样本优化目标感知模型的方式；也就是说，在执行步骤S305后，计算机设备可执行步骤S306和步骤S307在确定目标感知模型的优化参数，并更新目标感知模型；在此种情况下，步骤S306和步骤S307为上述步骤S205的一种具体的实施方式。在其他实施例中，计算机设备也可由自己来执行通过一个或多个难例样本确定优化参数的动作，也就是说，计算机设备在通过步骤S304得到一个或多个难例样本后，可不执行步骤S305-S307，而是直接通过一个或多个难例样本确定目标感知模型的优化参数，并更新目标感知模型。

值得注意的是，当计算机设备由自己来执行通过一个或多个难例样本确定优化参数的动作时，可以采用一个或多个难例样本，构建目标感知模型的难例样本集，并采用难例样本集对目标感知模型进行模型优化，得到目标感知模型的优化参数。应理解的是，当由计算机设备自己执行优化目标感知模型的动作，以确定目标感知模型的优化参数时，其所涉及的各个步骤的具体实施方式可参见上述步骤S305的相关描述，在此不再赘述。

本申请实施例可在图像样本集中挖掘出一个或多个难例样本，并在采用一个或多个难例样本构建目标感知模型的难例样本集时，不仅通过聚类处理来从一个或多个难例样本中提炼出不同难例场景下的难例样本，避免较多相似难例场景下的难例样本带来数据标注的较大成本，还通过在图像数据库中，搜索出较少出现的难例场景下的基准难例样本的相似图像，并将搜索出的相似图像添加至难例样本集中，从而快速补充样本数量较小的难例场景下的难例样本，避免不同类型的难例样本的样本数量出现失衡情况，且无需通过测试车辆长期采集才能收集到此种难例场景下的一定数量的难例样本。进一步的，本申请实施例可采用难例样本集对目标感知模型进行模型优化，从而提高目标感知模型的模型性能，且通过快速获取到难例样本集，可提高对目标感知模型进行模型优化的优化效率。另外，本申请实施例还可将一个或多个难例样本发送至云端服务器，从而借助云端服务器较高的算力来支持难例样本的进一步挖掘，相似图像的搜索，以及通过精确度较大的参考感知模型对难例样本集中各个难例样本的自动标注，可提高获取难例样本的效率，从而提高模型优化的优化效率。

为了便于更好地理解本申请实施例中图3所示的模型优化方法；请参见图6所示，下面进一步对车载终端(即计算机设备)和云端服务器共同执行本申请实施例的模型优化方法进行阐述：

①车载终端可对获取到的图像样本集中的每个图像样本的目标感知结果与相应的基准感知结果进行差分处理，并基于每个图像样本的差分处理结果从图像样本集中挖掘出一个或多个难例样本。需要说明的是，可在车载终端搭载高算力专用平台，以在专用平台上部署基准感知模型，由于搭载专用平台的成本较高，故不能直接大批量部署，只能在少量采集车(即测试车辆)上搭建专用平台。并且，在车载终端上部署所需优化的车端模型(即目标感知模型)，目标感知模型计算量较低，同时也存在精度不足的问题，特别是在一些难例场景下容易出错，这时优化目标感知模型时补充低难度场景的图像样本的作用较小，需要有针对性地补充难例样本来提升目标感知模型的感知能力(即模型性能)。并且，车载终端基于每个图像样本的差分处理结果从图像样本集中挖掘出一个或多个难例样本，可实现有选择性地回传图像样本，进而节省带宽与流量。

②云端服务器接收车载终端发送的一个或多个难例样本后，可对一个或多个难例样本进行聚类处理，以根据聚类处理结果确定一个或多个基准难例样本。需要说明的是，如图7所示，步骤②的具体实施方式可以包括：对一个或多个难例样本进行聚类处理并挖掘难例类型，得到各个聚类样本组的难例类型，一个聚类样本组对应一个难例类型；基于各个难例类型对应的样本数量(任一难例类型对应的样本数量为该任一难例类型对应的聚类样本组的样本数量)确定罕见难例类型，进而从罕见难例类型对应的聚类样本组中选取出至少一个难例样本作为基准难例样本，罕见难例类型是至对应的样本数量小于目标数量的难例类型。值得注意的是，由于难例样本可能出现在任何场景，车载终端需要在尽可能多的场景下运行，挖掘出各种可能存在的难例样本，并持续回传各类难例样本至云端服务器；其中，不同场景包括不同的道路场景(如城区道路、高速路、乡间道路以及城中村等)、光照条件(如晴天、阴天、晨昏以及黑夜等)和天气情况(如雨天、雾天以及雪天等)等。进一步的，云端服务器可将样本数量小于目标数量的聚类样本组所指示的类型作为罕见难例类型，进而在罕见难例类型对应的每个聚类样本组中分别选取至少一个难例样本作为基准难例样本。

③云端服务器可分别采用每个基准难例样本从图像数据库中搜索出一个或多个相似图像，并将搜索出的相似图像作为难例样本添加至难例样本集中。基于此，云端服务器可通过以图搜图的方法在图像数据库中获取更多的难例样本。

④云端服务器可通过参考感知模型对难例样本集中的各个难例样本进行自动标注，得到各个难例样本的标注感知结果。

⑤云端服务器可基于各个难例样本以及相应的标注感知结果，对目标感知模型进行模型优化，并向车载终端发送远程升级指令，使车载终端根据远程升级指令，采用优化后的目标感知模型对车载终端中的目标感知模型进行更新。

⑥车载终端可判断更新后的目标感知模型是否满足性能要求，若否，则迭代执行获取图像样本集，并对图像样本集中的各个图像样本的目标感知结果与相应的基准感知结果进行差分处理等步骤；若是，如图7所示，则结束迭代。

需要说明的是，图6仅示例性的表示了车载终端和云端服务器对目标感知模型的优化过程，本申请对此不作限定；例如，云端服务器也可不在图像数据库中搜索基准难例样本的相似图像，而直接根据聚类处理结果获取难例样本集；又如，车载终端可将图像样本集中的各个图像样本的目标感知结果和相应的基准感知结果发送至云端服务器，使云端服务器根据各个图像样本的目标感知结果和相应的基准感知结果，从图像样本集中挖掘出一个或多个难例样本，等等。

相应的，图7仅示例性的表示了模型优化方法的具体流程，本申请对此不作限定；例如，在云端服务器通过参考感知模型对难例样本集中的各个难例样本进行自动标注后，还可通过人工审查的方式对各个难例样本的标注结果进行微调，并将微调后的标注结果作为相应的难例样本的标注感知结果；又如，云端服务器可将难例样本集加入至所需优化的目标感知模型的训练样本集中，并采用训练样本集对目标感知模型进行模型优化，该训练样本集是指前一次对目标感知模型进行训练的训练样本集，也就是说，在每次迭代中，云端服务器可将每次获取到的难例样本集中的各个难例样本均添加至训练样本集中，从而基于添加有各个难例样本的训练样本集，对目标感知模型进行重新训练以得到优化后的目标感知模型，等等。

经实践表明，本申请实施例提出的模型优化方法可至少具有如下几点有益效果：

第一点：可基于各个图像样本的差分结果，在图像样本集中进行难例样本的挖掘，以自动地挖掘出目标感知模型的难例样本，提高了难例样本的挖掘效率，且节省人力成本；第二点：可借助云端大模型和大数据的协同，通过对一个或多个难例样本的聚类处理和以图搜图的方式，高效挖掘出更多的难例样本，用以提升目标感知模型的模型性能；第三点：可通过车载终端和云端服务器实现难例挖掘、难例搜索、难例自动标注以及模型迭代的闭环循环系统，进而实现目标感知模型的高效迭代，极大缩短目标感知模型的开发周期，加快目标感知模型在产品中的落地。

基于上述模型优化方法的相关实施例的描述，本申请实施例还提出了一种模型优化装置，该模型优化装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)。该模型优化装置可以执行图2或图3所示的模型优化方法；请参见图8，所述模型优化装置可以运行如下单元：

获取单元801，用于获取图像样本集；

处理单元802，用于调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

所述处理单元802，还用于调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

所述处理单元802，还用于分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

所述处理单元802，还用于根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

所述处理单元802，还用于根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

在一种实施方式中，目标图像感知任务为目标检测任务，任一图像样本的目标感知结果包括一个或多个目标检测框，且所述任一图像样本的基准感知结果包括一个或多个基准检测框，检测框用于标识从图像样本中检测到的目标；处理单元802在分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果时，可具体用于：

遍历各个图像样本，将当前遍历的当前图像样本的基准感知结果作为当前基准感知结果，并将所述当前图像样本的目标感知结果作为当前目标感知结果；

根据所述当前基准感知结果中的每个基准检测框，与所述当前目标感知结果中的各个目标检测框之间的差分情况，分别计算所述每个基准检测框和所述各个目标检测框之间的重叠度；

根据计算得到的各个重叠度，确定所述当前图像样本的差分结果。

另一种实施方式中，处理单元802在根据计算得到的各个重叠度，确定所述当前图像样本的差分结果时，可具体用于：

若根据计算得到的各个重叠度，确定所述当前基准感知结果中存在第一检测框，则将漏召回标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中；所述第一检测框是指：与所述当前目标感知结果中的各个目标检测框之间的重叠度均小于重叠度阈值的基准检测框；

若根据计算得到的各个重叠度，确定所述当前目标感知结果中存在第二检测框，则将误检测标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中；所述第二检测框是指：与所述当前基准感知结果中的各个基准检测框之间的重叠度均小于重叠度阈值的目标检测框；

若根据计算得到的各个重叠度，确定所述当前基准感知结果中不存在第一检测框，且所述当前目标感知结果中不存在第二检测框，则将正确检测标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中。

另一种实施方式中，处理单元802在根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本时，可具体用于：

针对所述图像样本集中的任一图像样本，从所述任一图像样本的差分结果中获取所述任一图像样本的图像标签；

若获取到的图像标签为漏召回标签或误检测标签，则将所述任一图像样本确定为一个难例样本。

另一种实施方式中，所述方法由测试车辆所配置的车载终端执行，且所述优化参数是指通过所述一个或多个难例样本优化所述目标感知模型后的模型参数；其中，通过所述一个或多个难例样本优化所述目标感知模型的过程在云端服务器执行；处理单元802在根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型时，可具体用于：

接收所述云端服务器发送的远程升级指令，所述远程升级指令携带有如下信息：优化后的目标感知模型，或者优化后的目标感知模型的模型参数；

根据所述远程升级指令所携带的信息确定所述目标感知模型的优化参数，并根据所述优化参数对所述车载终端中的所述目标感知模型进行模型更新处理；

处理单元802还可用于：若更新后的目标感知模型的模型性能未满足性能要求，则将所述更新后的目标感知模型作为待优化的目标感知模型，并迭代执行获取图像样本集的步骤。

根据本申请的一个实施例，图2或图3所示的方法所涉及的各个步骤均可由图8所示的模型优化装置中的各个单元来执行的。例如，图2中所示的步骤S201可由图8中所示的获取单元801执行和处理单元802共同执行，步骤S202-S205均可由图8中所示的处理单元802执行。又如，图3中所示的步骤S301可由图8所示的获取单元801和处理单元802共同执行，步骤S302-S307均可由图8所示的处理单元802执行，等等。

根据本申请的另一个实施例，图8所示的模型优化装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，模型优化装置也可以包括其他单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的模型优化装置，以及来实现本申请实施例的模型优化方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。

本申请实施例在获取到图像样本集后，可通过从该图像样本集中挖掘出一个或多个难例样本，进而采用通过各个难例样本确定的目标感知模型的优化参数，更新目标感知模型，使得目标感知模型可通过学习难例样本的样本信息来不断提升目标感知模型的感知能力，进而提升更新后的目标感知模型的感知准确性。进一步的，本申请实施例主要是通过引入一个感知准确性优于目标感知模型的感知准确性的基准感知模型，并通过基准感知模型和目标感知模型针对同一图像样本的感知结果之间的差分结果，来实现对图像样本集进行自动的难例样本挖掘的，这样可无需人为参与难例样本的挖掘，有效节省人力成本，以及提高难例样本的挖掘效率，进而提高对目标感知模型进行模型优化的优化效率。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备。请参见图9，该计算机设备至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904。其中，计算机设备内的处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。

计算机存储介质904可以存储在计算机设备的存储器中，所述计算机存储介质904用于存储计算机程序，所述计算机程序包括程序指令，所述处理器901用于执行所述计算机存储介质904存储的程序指令。处理器901(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例所述的处理器901可以用于进行一系列的模型优化，具体包括：获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2或图3所示的模型优化方法的实施例中的各个方法步骤。

本申请实施例在获取到图像样本集后，可通过从该图像样本集中挖掘出一个或多个难例样本，进而采用通过各个难例样本确定的目标感知模型的优化参数，更新目标感知模型，使得目标感知模型可通过学习难例样本的样本信息来不断提升目标感知模型的感知能力，进而提升更新后的目标感知模型的感知准确性。进一步的，本申请实施例主要是通过引入一个感知准确性优于目标感知模型的感知准确性的基准感知模型，并通过基准感知模型和目标感知模型针对同一图像样本的感知结果之间的差分结果，来实现对图像样本集进行自动的难例样本挖掘的，这样可无需人为参与难例样本的挖掘，有效节省人力成本，以及提高难例样本的挖掘效率，进而提高对目标感知模型进行模型优化的优化效率。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3所示的模型优化方法实施例方面的各种可选方式中提供的方法。

并且，应理解的是，以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种模型优化方法，其特征在于，包括：

获取图像样本集，调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

2.根据权利要求1所述的方法，其特征在于，所述目标图像感知任务为目标检测任务，任一图像样本的目标感知结果包括一个或多个目标检测框，且所述任一图像样本的基准感知结果包括一个或多个基准检测框，检测框用于标识从图像样本中检测到的目标；

所述分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果，包括：

遍历各个图像样本，将当前遍历的当前图像样本的基准感知结果作为当前基准感知结果，并将所述当前图像样本的目标感知结果作为当前目标感知结果；

根据所述当前基准感知结果中的每个基准检测框，与所述当前目标感知结果中的各个目标检测框之间的差分情况，分别计算所述每个基准检测框和所述各个目标检测框之间的重叠度；

根据计算得到的各个重叠度，确定所述当前图像样本的差分结果。

3.根据权利要求2所述的方法，其特征在于，所述根据计算得到的各个重叠度，确定所述当前图像样本的差分结果，包括：

若根据计算得到的各个重叠度，确定所述当前基准感知结果中存在第一检测框，则将漏召回标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中；所述第一检测框是指：与所述当前目标感知结果中的各个目标检测框之间的重叠度均小于重叠度阈值的基准检测框；

若根据计算得到的各个重叠度，确定所述当前目标感知结果中存在第二检测框，则将误检测标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中；所述第二检测框是指：与所述当前基准感知结果中的各个基准检测框之间的重叠度均小于重叠度阈值的目标检测框；

若根据计算得到的各个重叠度，确定所述当前基准感知结果中不存在第一检测框，且所述当前目标感知结果中不存在第二检测框，则将正确检测标签作为所述当前图像样本的图像标签，添加至所述当前图像样本的差分结果中。

4.根据权利要求3所述的方法，其特征在于，所述根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本，包括：

针对所述图像样本集中的任一图像样本，从所述任一图像样本的差分结果中获取所述任一图像样本的图像标签；

若获取到的图像标签为漏召回标签或误检测标签，则将所述任一图像样本确定为一个难例样本。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法由测试车辆所配置的车载终端执行，且所述优化参数是指通过所述一个或多个难例样本优化所述目标感知模型后的模型参数；其中，通过所述一个或多个难例样本优化所述目标感知模型的过程在云端服务器执行；

所述通过所述一个或多个难例样本优化所述目标感知模型，包括：

获取所述一个或多个难例样本中的各个难例样本的图像特征，并基于所述各个难例样本的图像特征之间的特征相似度，对所述各个难例样本进行聚类处理，形成至少一个聚类样本组；

统计各个聚类样本组中的难例样本的数量，得到所述各个聚类样本组的样本数量；

将样本数量大于或等于预设的目标数量的聚类样本组中的全部或目标数量的难例样本，添加至所述目标感知模型的难例样本集中；

采用所述难例样本集对所述目标感知模型进行模型优化。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

针对所述样本数量小于所述目标数量的任一聚类样本组，将所述任一聚类样本组中的全部难例样本添加至所述难例样本集中；

获取图像数据库中所存储的各个存储图像，并从所述任一聚类样本组中选取一个或多个难例样本作为基准难例样本；

根据每个基准难例样本和所述各个存储图像之间的图像相似度，从所述图像数据库中搜索出所述每个基准难例样本的一个或多个相似图像；各个基准难例样本的相似图像的数量总和，等于所述样本数量和所述目标数量之间的差值；

将搜索出的各个相似图像均作为难例样本，添加至所述目标感知模型的难例样本集中。

7.根据权利要求5所述的方法，其特征在于，所述采用所述难例样本集对所述目标感知模型进行模型优化，包括：

调用参考感知模型按照所述目标图像感知任务，对所述难例样本集中的各个难例样本进行图像感知，得到所述各个难例样本的参考感知结果；

基于所述各个难例样本的参考感知结果，对所述各个难例样本进行感知结果的标注，得到所述各个难例样本的标注感知结果；

基于所述难例样本集中的各个难例样本以及相应的标注感知结果，对所述目标感知模型进行模型优化。

8.根据权利要求5所述的方法，其特征在于，所述根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型，包括：

接收所述云端服务器发送的远程升级指令，所述远程升级指令携带有如下信息：优化后的目标感知模型，或者优化后的目标感知模型的模型参数；

根据所述远程升级指令所携带的信息确定所述目标感知模型的优化参数，并根据所述优化参数对所述车载终端中的所述目标感知模型进行模型更新处理；

所述方法还包括：若更新后的目标感知模型的模型性能未满足性能要求，则将所述更新后的目标感知模型作为待优化的目标感知模型，并迭代执行获取图像样本集的步骤。

9.一种模型优化装置，其特征在于，包括：

获取单元，用于获取图像样本集；

处理单元，用于调用待优化的目标感知模型按照目标图像感知任务对所述图像样本集中的每个图像样本进行图像感知，得到所述每个图像样本的目标感知结果；

所述处理单元，还用于调用基准感知模型按照所述目标图像感知任务对所述每个图像样本进行图像感知，得到所述每个图像样本的基准感知结果；其中，所述基准感知模型的感知准确率大于所述目标感知模型的感知准确率；

所述处理单元，还用于分别对所述每个图像样本的目标感知结果和相应的基准感知结果进行差分处理，得到所述每个图像样本的差分结果；

所述处理单元，还用于根据所述每个图像样本的差分结果，在所述图像样本集中进行难例样本的挖掘，得到一个或多个难例样本；

所述处理单元，还用于根据通过所述一个或多个难例样本确定的所述目标感知模型的优化参数，更新所述目标感知模型。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images