CN114187355A - 一种图像标定方法及装置 - Google Patents

Abstract

本说明书实施例公开了一种图像标定方法及装置，图像标定方法可以包括：基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；第二帧图像为第一帧图像的下一帧图像；预测位置信息用于表示目标物在第二帧图像上的第一位置信息；采用识别模型对第二帧图像进行识别，得到目标物在第二帧图像上的第二位置信息；判断第二帧的第一位置信息和第二位置信息的交并比是否小于预设阈值，得到判断结果；当判断结果表示交并比小于预设阈值时，采用预测结果位置信息对第二帧图像进行标定；将标定后的第二帧图像作为训练样本输入识别模型，对识别模型进行训练。本说明书实施例中的图像标定方法，大大提高了图像标定的准确度和效率。

Description

一种图像标定方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种图像标定方法及装置。

背景技术

深度学习利用神经网络(Neural Networks)来构建机器学习的模型，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习已经广泛应用于机器视觉领域，例如：图片的识别、物体的检测等。基于深度学习图像检测网络能够实现目标检测，将检测结果自动化格式化为标注格式。

现有技术中基于深度学习的图像检测，在困难样本中表现较差。而单独基于毫米波雷达的检测无法分辨类别信息，只能生成目标大小和位置，单靠毫米波雷达无法在图像上生成有用的标注信息。基于激光雷达的检测对类别的判断较差，置信度不高，没有图像直接检测得到的效果好。

因此，急需一种将图像数据和雷达数据进行结合实现对图像的标注方法。

发明内容

本说明书实施例提供一种图像标定方法及装置，以解决现有的图像标注中对于困难样本无法标注的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种图像标定方法，所述方法包括：

基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息；

采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息；

判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果；

当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定；

将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

可选的，所述基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

所述第一标定结果包括图像标定结果和雷达标定结果；

采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

可选的，所述采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息，包括：

采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

可选的，所述基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

可选的，所述当所述判断结果表示所述交并比小于所述预设阈值时之后，在采用所述预测结果位置信息对所述第二帧图像进行标定之前，还包括：

调整所述目标物的实际位置信息，所述实际位置信息为所述目标物在图像中的轮廓的最小外接矩形。

本说明书实施例提供的一种图像标定装置，包括：

预测模块，用于基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息；

识别模块，用于采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息；

判断模块，用于判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果；

标定模块，用于当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定；

训练模块，用于将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

可选的，所述预测模块包括图像标定单元和雷达标定单元；

所述图像标定单元用于采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

所述雷达标定单元用于基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

可选的，所述第一标定模块还用于采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

可选的，所述预测模块还用于采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

可选的，所述图像标定装置还包括：

调整模块，用于调整所述目标物的实际位置信息，所述实际位置信息为包含所述目标物在图像中的轮廓的矩形框。

本说明书一个实施例至少能够达到以下有益效果：

通过识别模型对第二帧图像的识别，得到目标物在第二帧图像上的第二位置信息，基于雷达数据和图像数据的第一标定结果能够得到第二帧图像的预测位置信息，通过判断第一位置信息和第二位置信息的交并比，获得困难样本，并将预测结果作为困难样本的标注，并将带有标注的预测结果作为识别模型的样本进行训练，以优化识别模型。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的图像标定系统的示意图；

图2为本说明书实施例提供的图像标定方法的流程示意图；

图3为本说明书实施例提供的对应于图2的一种图像标定装置的结构示意图。

具体实施方式

为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。

应当理解，尽管在本申请文件中可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

现有技术中，基于深度学习的图像检测，在困难样本中的表现较差，具体表现在对图像的识别没有结果，不能对图像中的目标物进行准确标定。单独基于毫米波雷达的检测无法分辨类别信息，只能生成目标大小和位置，单靠毫米波雷达无法在图像上生成有用的标注信息。基于激光雷达的检测对类别的判断较差，置信度不高，没有图像直接检测得到的效果好。

为了解决现有技术中的缺陷，本方案给出了以下实施例：

图1为本说明书实施例中的图像标定系统的示意图。如图1所示，本说明书实施例中图像标定系统包括：图像采集设备10、雷达设备40和服务器30，其中雷达设备40包括毫米波雷达设备和激光雷达设备，该图像标定系统应用在道路环境20的标定中，其中，图像采集设备10用于采集道路环境10中的目标物，目标物包括道路上的行人、非机动车、机动车和交通事件等，本说明书实施例中的图像采集设备10可以为摄像机，通过摄像机可以采集到道路环境20中的视频数据；毫米波雷达设备和激光雷达设备用于采集道路环境20中的雷达数据，毫米波雷达设备采集目标区域内目标物生成毫米波雷达点云数据，该毫米波点云数据包含目标物的x,y的坐标信息；激光雷达设备采集目标区域内的目标物生成激光雷达点云数据，该激光雷达点云数据包含目标物的x,y,z的坐标信息。服务器30用于对所述图像设备10和雷达设备40采集的数据进行处理，利用本申请的图像标定方法实现对图像设备输出的图像的标定。

接下来，将针对说明书实施例提供的一种图像标定方法结合附图进行具体说明：

图2为本说明书实施例提供的一种图像标定方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器或应用终端的程序。

如图2所示，该流程可以包括以下步骤：

步骤202：基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息。

本说明书实施例中提供的第一帧图像为图像采集设备采集的目标区域的目标物的图像，本实施例中为摄像机采集的视频图像，第一帧为视频图像中的任意一帧。第二帧图像与第一帧图像为相邻帧图像，第二帧图像为第一帧图像的下一帧图像。预测模型能够根据雷达数据中检测到的目标物的运动轨迹，以及第一标定结果中第一位置信息得到第二帧图像的预测位置。

步骤204：采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息。

本说明书实施例中采用的识别模型需要能够识别出图像的位置信息，凡是能够对图像数据进行识别得到目标物的位置的识别模型都可以作为本申请说明书实施例的识别模型。

步骤206：判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果。

步骤208：当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定。

交并比(Intersection-over-Union，IoU)是指产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率。在本说明书实施例中，第一位置信息表示为通过预测模型得到的第二帧图像中目标物的位置，可以看作是候选框，第二位置信息表示为通过图像识别得到的第二帧图像中目标物的位置，可以看作是原标记框。通过判断第一位置信息和第二位置信息的交并比能够判断第二帧图像是否为困难样本，当二者的交并比小于预设阈值时，则判定当前的的第二帧图像为困难样本，采用预测结果对第二帧图像进行标注，此时，本说明书实施例提供的图像标定方法完成了对困难样本的标注。

实际应用中，当识别模型对图像进行识别时，未能输出识别结果时，采用本申请的图像标定方法，能够大大提高图像标定的效率。

步骤210：将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

将第二帧图像作为对别模型的训练样本进行训练，能够提高识别模型的识别准确度。

本说明书实施例提供的图像标定方法，通过对预测位置信息中的第一位置信息和通过识别模型得到的第二位置信息进行判断，能够得到通过识别模型不能准确识别或者识别不出的视频帧数据，采用预测位置信息中的第一位置信息对此类视频帧数据进行标注，解决了由于识别模型对此类图像识别精度低的问题。同时，将此类视频帧数据作为困难样本对识别模型进行训练，提高识别模型识别的准确度。本说明书实施例中的图像标定方法，有效提高了图像标定的效率和准确度。

应当理解，本说明书一个或多个实施例所述的方法中，部分步骤的顺序可以根据实际需要调整，或者可以省略部分步骤。

基于图2的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。

可选的，所述基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

所述第一标定结果包括图像标定结果和雷达标定结果；

采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

通过上述方法，识别模型能够对第一帧图像进行标定，得到图像标定结果，其中，图像标定结果中包含第二位置信息，还包括目标物的类别和置信度。例如：目标的类别为：车辆，置信度为0.8。基于雷达数据对目标物的标定，得到雷达标定结果，雷达数据中包含毫米波雷达点云数据和激光雷达点云数据，由于激光雷达点云数据采集的是目标物上全部目标点的数据，得到的目标物的三维数据；而毫米波雷达点云数据得到的是目标物的二维数据，因此，需要图像采集的像素数据、激光雷达采集的三维数据以及毫米波雷达采集的二维数据进行数据处理后，例如：建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，实现数据融合，输入预测模型内实现对视频帧图像的预测。

可选的，所述采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息，包括：

采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

本说明书实施例的深度学习网络识别模型可以选用YoloV5，YOLOv5是YOLO(YouOnly Look Once)系列目标检测算法中的第五版。

可选的，所述基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。本说明书实施例中的雷达数据能够得到目标物的运动状态信息，例如：速度信息、加速度等信息，正是依据上述信息以及图像标定结果，通过卡尔曼滤波器能够对视频帧数据进行预测。

可选的，所述当所述判断结果表示所述交并比小于所述预设阈值时之后，在采用所述预测结果位置信息对所述第二帧图像进行标定之前，还包括：

调整所述目标物的实际位置信息，所述实际位置信息为所述目标物在图像中的轮廓的最小外接矩形。

当第一位置位置信息和第二位置信息的交并比小于预设阈值时，此时，可能第一位置信息和第二位置信息不匹配，通过调整实际位置信息，能够更加准确的表示目标物的位置信息。同时，将实际位置信息作为预测位置信息对第二帧图像进行标注，由于实际位置信息能够更加准确的表示目标物的位置信息，因此，通过将第二帧数据做为训练样本能够进一步提高识别模型的准确度。

基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图3为本说明书实施例提供的对应于图2的一种图像标定装置的结构示意图。如图3所示，该装置可以包括：

预测模块301，用于基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息；

识别模块303，用于采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息；

判断模块305，用于判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果；

标定模块307，用于当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定；

训练模块309，用于将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

基于图3的装置，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。

可选的，所述预测模块包括图像标定单元和雷达标定单元；

所述图像标定单元用于采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

所述雷达标定单元用于基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

可选的，所述第一标定模块还用于采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

可选的，所述预测模块还用于采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

可选的，所述图像标定装置还包括：

调整模块，用于调整所述目标物的实际位置信息，所述实际位置信息为包含所述目标物在图像中的轮廓的矩形框。

可以理解，上述的各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能。此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。

上述对本说明书特定实施例进行了描述，在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。

本说明书实施例提供的装置、设备与方法是对应的，因此，装置、设备也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备的有益技术效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone LabsC8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像标定方法，其特征在于，所述方法包括：

基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息；

采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息；

判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果；

当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定；

将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

2.根据权利要求1所述的图像标定方法，其特征在于，所述基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

所述第一标定结果包括图像标定结果和雷达标定结果；

采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

3.根据权利要求1所述的图像标定方法，其特征在于，所述采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息，包括：

采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

4.根据权利要求1所述的图像标定方法，其特征在于，所述基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息，包括：

采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

5.根据权利要求1所述的图像标定方法，其特征在于，所述当所述判断结果表示所述交并比小于所述预设阈值时之后，在采用所述预测结果位置信息对所述第二帧图像进行标定之前，还包括：

调整所述目标物的实际位置信息，所述实际位置信息为包含所述目标物在图像中的轮廓的矩形框，将所述实际位置信息作为预测结果信息。

6.一种图像标定装置，其特征在于，包括：

预测模块，用于基于雷达数据和第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息；所述第二帧图像为所述第一帧图像的下一帧图像；所述预测位置信息用于表示目标物在所述第二帧图像上的第一位置信息；

识别模块，用于采用识别模型对所述第二帧图像进行识别，得到所述目标物在所述第二帧图像上的第二位置信息；

判断模块，用于判断所述第二帧的所述第一位置信息和所述第二位置信息的交并比是否小于预设阈值，得到判断结果；

标定模块，用于当所述判断结果表示所述交并比小于所述预设阈值时，采用所述预测结果位置信息对所述第二帧图像进行标定；

训练模块，用于将标定后的所述第二帧图像作为训练样本输入所述识别模型，对所述识别模型进行训练。

7.根据权利要求6所述的图像标定装置，其特征在于，

所述预测模块包括图像标定单元和雷达标定单元；

所述图像标定单元用于采用识别模型对所述第一帧图像进行标定，得到所述图像标定结果，所述第一帧图像为通过图像采集设备对目标区域采集得到，所述图像标定结果至少包括目标区域内的目标物的第二位置信息，所述第二位置信息表示所述目标物在所述第一帧图像中的位置；

所述雷达标定单元用于基于所述雷达数据对所述目标物进行标定，得到所述雷达标定结果，所述雷达数据通过雷达设备对所述目标区域采集得到，所述雷达标定结果至少包括所述目标物的速度信息、加速度信息和位置信息。

8.根据权利要求6所述的图像标定装置，其特征在于，

所述第一标定模块还用于采用深度学习模型对所述第二帧图像进行识别，得到第二标定结果，所述第二标定结果还包括所述目标物的类别信息和置信度信息。

9.根据权利要求6所述的图像标定装置，其特征在于，

所述预测模块还用于采用卡尔曼滤波器基于雷达数据和对于第一帧图像的第一标定结果，得到对于第二帧图像的预测位置信息。

10.根据权利要求6所述的图像标定装置，其特征在于，所述图像标定装置还包括：

调整模块，用于调整所述目标物的实际位置信息，所述实际位置信息为包含所述目标物在图像中的轮廓的矩形框。

Images