CN113378606A - 一种标注信息确定方法、装置及系统 - Google Patents

一种标注信息确定方法、装置及系统 Download PDF

Info

Publication number
CN113378606A
CN113378606A CN202010161791.1A CN202010161791A CN113378606A CN 113378606 A CN113378606 A CN 113378606A CN 202010161791 A CN202010161791 A CN 202010161791A CN 113378606 A CN113378606 A CN 113378606A
Authority
CN
China
Prior art keywords
image
dimensional
information
target object
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010161791.1A
Other languages
English (en)
Inventor
周健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010161791.1A priority Critical patent/CN113378606A/zh
Publication of CN113378606A publication Critical patent/CN113378606A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供了一种标注信息确定方法、装置及系统，方法包括：基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，目标场景中包括目标物体，获得用于针对目标场景采集图像的图像采集设备的物理参数、表示图像采集设备与目标物体之间相对位置的第一位置信息，根据三维标注信息、物理参数和第一位置信息，确定基于第一待标注图像进行标注时目标物体的第一二维标注信息，其中，第一待标注图像为：图像采集设备采集的、与点云数据所记录的对应同一场景的图像。采用本申请实施例提供的方案确定标注信息，可以提高在图像中确定目标物体的标注信息的速度，降低人力成本，从而提高确定标注信息的效率。

Description

一种标注信息确定方法、装置及系统
技术领域
本申请涉及人工智能技术领域，特别是涉及一种标注信息确定方法、装置及系统。
背景技术
在进行三维(3Dimensions，简称3D)目标检测时，可以根据摄像头采集的图像和激光雷达采集的点云数据，确定出目标物体在三维空间中的长宽高、位置坐标等信息，从而实现3D目标检测。在实际应用中，通常采用基于深度学习的3D目标检测方法来进行3D目标检测。对于这种目标检测方法，需要预先进行模型训练得到检测模型，而模型训练过程需要大量的训练数据，该训练数据包括已经进行了目标标注的点云数据和图像。
相关技术中，通常采用人工在点云数据和图像中识别目标物体的方式，确定目标物体的标注信息。
然而，由于上述模型训练过程需要大量的训练数据，人工在点云数据和图像中识别目标物体并确定目标物体的标注信息，会使得标注信息确定的速度较慢、人力成本较多、效率较低。
发明内容
本申请实施例的目的在于提供一种标注信息确定方法、装置及系统，以提高在图像中确定目标物体的标注信息的速度，降低人力成本，从而提高标注效率。具体技术方案如下：
第一方面，本申请实施例提供了一种标注信息确定方法，所述方法包括：
基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
可选的，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；
所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
可选的，所述根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
可选的，所述第一映射关系满足以下关系式：
Figure BDA0002406057750000021
其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；xOI、yOI表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure BDA0002406057750000031
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
可选的，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
可选的，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息之后，所述方法还包括：
获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
可选的，所述第二位置信息包括：
所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
可选的，所述点云数据为三维扫描设备采集的数据。
可选的，所述三维扫描设备与所述图像采集设备搭载于无人驾驶设备或机器人上。
可选的，所述目标物体包括：目标车辆、目标行人、目标货物中的至少一种。
可选的，所述目标场景为以下至少一项：
包括所述目标车辆或所述目标行人的目标街道；
包括所述目标货物的目标厂区。
第二方面，本申请实施例还提供了一种标注信息确定装置，所述装置包括：
三维信息获取单元，用于基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
参数信息获得单元，用于获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
第一二维信息确定单元，用于根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
可选的，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；
所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
所述第一二维信息确定单元，包括：
像素确定子单元，用于根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
第一二维信息确定子单元，用于根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
可选的，所述第一二维信息确定子单元，包括：
模型参数确定模块，用于根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
二维信息确定模块，用于根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
可选的，所述第一映射关系满足以下关系式：
Figure BDA0002406057750000061
其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；xOI、yOI表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure BDA0002406057750000062
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
可选的，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
所述第一二维信息确定单元，包括：
二维坐标确定子单元，用于根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
第二二维信息确定子单元，用于从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
可选的，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
所述装置还包括：
位置信息获得单元，用于获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
第二二维信息确定单元，用于根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻所采集的图像中除所述第一待标注图像外的图像。
可选的，所述第二位置信息包括：
所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
可选的，所述点云数据为三维扫描设备采集的数据。
可选的，所述三维扫描设备与所述图像采集设备搭载于无人驾驶设备或机器人上。
可选的，所述目标物体包括：目标车辆、目标行人、目标货物中的至少一种。
可选的，所述目标场景为以下至少一项：
包括所述目标车辆或所述目标行人的目标街道；
包括所述目标货物的目标厂区。
第三方面，本申请实施例还提供了一种标注信息确定系统，包括：图像采集设备、三维扫描设备、处理器；
所述图像采集设备用于采集目标场景的图像，并将采集的图像发送给所述处理器，其中，所述目标场景中包括目标物体；
所述三维扫描设备用于采集所述目标场景的点云数据，并将扫描得到的点云数据发送给所述处理器；
所述图像采集设备的视野范围与所述三维扫描设备的扫描范围存在第一重合区域，所述第一重合区域与所述三维扫描设备的扫描范围所包括的区域的比值不小于预设比值；
所述处理器，用于获取所述三维扫描设备采集的点云数据与所述图像采集设备采集的图像，基于所述点云数据获取所述目标物体的三维标注信息；获得所述图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；获取所述图像采集设备采集的第一待标注图像，其中，所述第一待标注图像为：与所述点云数据所记录的对应同一场景的图像；根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息。
可选的，所述图像采集设备包括：左目相机和右目相机；
所述左目相机的视野范围与所述三维扫描设备的扫描范围存在第二重合区域，所述右目相机的视野范围与所述三维扫描设备的扫描范围存在第三重合区域，所述第二重合区域与所述三维扫描设备的扫描范围所包括的区域的比值大于所述预设比值，所述第三重合区域与所述三维扫描设备的扫描范围所包括的区域的比值大于所述预设比值；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
所述处理器还用于在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息的步骤之后，获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
应用本申请实施例提供的方案确定标注信息时，由于三维标注信息是基于针对目标场景采集的点云数据的，第一待标注图像是图像采集设备采集的、与点云数据所记录的对应同一场景的图像，这样，根据上述三维标注信息、图像采集设备的物理参数和表示图像采集设备与目标物体之间相对位置的第一位置信息，可以确定出基于第一待标注图像进行标注时目标物体的第一二维标注信息。可见，应用本申请实施例提供的方案确定标注信息时，无需人工在图像中识别目标物体并确定目标物体的二维标注信息，提高了确定标注信息的速度、降低了人力成本，从而提高了确定标注信息的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的标注信息确定方法的一种流程示意图；
图2为本申请实施例中三维标注信息到二维标注信息的一种映射示意图；
图3为本申请实施例提供的标注信息确定方法的另一种流程示意图；
图4为本申请实施例中三维标注信息到二维标注信息的另一种映射示意图；
图5为本申请实施例提供的一种标注出目标物体的图像；
图6为本申请实施例提供的另一种标注出目标物体的图像；
图7为本申请实施例提供的标注信息确定装置的一种结构示意图；
图8为本申请实施例提供的标注信息确定装置的另一种结构示意图；
图9为本申请实施例提供的标注信息确定系统的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高基于图像确定目标物体的标注信息的速度，降低人力成本，从而提高标注效率，本申请实施例提供了一种标注信息确定方法、装置及电子设备。
下面首先对本申请实施例所提供的标注信息确定方法进行介绍。
需要说明的是，本申请实施例所提供标注信息确定方法可以应用于无人自动驾驶、路况智能检测等人工智能领域。
本申请实施例提供的标注信息确定方法的执行主体可以是电子设备，该电子设备例如可以是台式电脑、笔记本电脑、移动终端等设备，也可以是其他电子设备。
如图1所示，本申请实施例提供的标注信息确定方法包括以下步骤S110-S130。
S110：基于针对目标场景采集的点云数据，获取目标物体的三维标注信息。
其中，上述目标场景中包括目标物体。
在一种实施方式中，上述目标物体可以包括目标车辆、目标行人、目标货物、目标障碍物中的至少一种，也可以包括其他物体。本领域技术人员可以根据上述标注信息确定方法的具体应用场景来确定目标物体，本申请不具体限定。例如，当标注信息确定方法应用于无人驾驶搬运设备时，目标物体可以为目标货物，当标注信息确定方法应用于无人驾驶汽车时，目标物体可以为目标汽车和目标行人。
在一种实施方式中，上述目标场景可以为以下至少一项：
包括目标车辆或目标行人的目标街道；
包括目标货物的目标厂区；
包括目标障碍物或目标待检测物的目标区域。
目标场景可以根据目标物体来确定，本申请实施例不对目标场景作具体限定。
在本申请实施例中，可以使用三维扫描设备来对目标场景进行点云数据的采集，上述点云数据可以为三维扫描设备采集的数据。三维扫描设备例如可以是激光雷达、立体摄像头或越渡时间相机中的任一种，也可以是其他类型的三维扫描设备。上述点云数据为：记录了空间点集合中每一个空间点位置信息的数据。
目标物体的三维标注信息，可以是点云数据中第一目标点的位置信息，其中，第一目标点为：点云数据中用于表示目标物体的点。用于表示目标物体的点，可以是包围目标物体的框体的各个顶点在点云数据中对应的点，该框体可以是立方体框体，也可以是不规则形状的框体。用于表示目标物体的点，也可以是目标物体表面上的点在点云数据中对应的点，具体的，可以是位于目标物体表面上边缘的点在点云数据中对应的点。
在本申请实施例中，目标物体的三维标注信息可以通过人工确定，也可以通过其他方式确定。目标物体的三维标注信息可以存储在存储设备中，这样，电子设备可以从存储设备中获取目标物体的三维标注信息。目标物体的三维标注信息可以由人工输入电子设备中。
S120：获得用于针对上述目标场景采集图像的图像采集设备的物理参数、表示上述图像采集设备与上述目标物体之间相对位置的第一位置信息。
上述图像采集设备与三维扫描设备可以布置在同一水平位置上，也可以布置在不同水平位置上，为了便于标注信息的确定，在本申请实施例中，图像采集设备与三维扫描设备可以安装在同一水平位置上。本领域技术人员可以根据实际情况布置图像采集设备与三维扫描设备的位置，本申请实施例不具体限定图像采集设备与三维扫描设备的布置位置。
在本申请实施例中，上述物理参数可以包括：图像采集设备的焦距、图像采集设备中感光器件的参数、图像采集的像素等物理参数。上述第一位置信息可以包括：图像采集设备的光轴方向与目标物体之间的夹角、图像采集设备与目标物体之间的距离。上述第一位置信息可以通过人工测量后得到，也可以使用测量仪器测量得到，本申请实施例不具体限定第一位置信息的确定方式。
在一种实施方式中，上述三维扫描设备与上述图像采集设备可以搭载于无人驾驶设备或机器人上，也可以搭载于其他设备上。上述无人驾驶设备可以是无人机、无人驾驶汽车、无人驾驶施工设备、无人驾驶航空器等设备，也可以是其他无人驾驶设备。上述机器人可以是搬运机器人、物品分类机器人、装配机器、检测机器人等机器人，也可以是其他设备。
S130：根据上述三维标注信息、物理参数和第一位置信息，确定基于第一待标注图像进行标注时目标物体的第一二维标注信息。
其中，上述第一待标注图像为：上述图像采集设备采集的、与上述点云数据所记录的对应同一场景的图像。
由于第一待标注图像为与上述点云数据所记录的对应同一场景的图像，点云数据为针对目标场景采集的数据，因此，第一待标注图像采集的场景也为目标场景。在一个具体实施例中，第一待标注图像可以为：图像采集设备采集的、与上述点云数据所记录的对应同一场景、且采集时间与上述点云数据的采集时间之间的时间间隔不大于预设时间间隔的图像。预设时间间隔例如可以是5秒～1分钟中的任一时间间隔，预设时间间隔也可以为其他时间间隔。
在本申请实施例中，可以根据上述物理参数和第一位置信息，确定用于描述第二映射关系的关系参数；其中，第二映射关系表示：三维标注信息与第一二维标注信息之间的对应关系，第一二维标注信息为：基于第一待标注图像进行标注时目标物体的二维标注信息，再根据三维标注信息和确定关系参数后的第二映射关系，确定第一二维标注信息。
应用本申请实施例提供的标注信息确定方法确定标注信息时，由于三维标注信息是基于针对目标场景采集的点云数据的，第一待标注图像是图像采集设备采集的、与点云数据所记录的对应同一场景的图像，这样，根据上述三维标注信息、图像采集设备的物理参数和表示图像采集设备与目标物体之间相对位置的第一位置信息，可以确定出基于第一待标注图像进行标注时目标物体的第一二维标注信息。可见，应用本申请实施例提供的方法确定标注信息时，无需人工在图像中识别目标物体并确定目标物体的二维标注信息，提高了确定标注信息的速度、降低了人力成本，从而提高了确定标注信息的效率。
在一种实施方式中，上述物理参数可以包括：图像采集设备的焦距、图像采集设备中感光器件的一个像素对应的物理尺寸、图像采集设备所拍摄图像的分辨率；上述第一位置信息可以包括：图像采集设备的光轴方向与目标物体之间的夹角、图像采集设备的中心点与目标物体之间的偏移量。上述中心点为：图像采集设备的聚焦中心。
上述感光器件的一个像素对应的物理尺寸，可以是感光器件的一个像素对应的物理长度和物理宽度。
图像采集设备的光轴方向与目标物体之间的夹角，可以是图像采集设备的光轴方向与第一方向的之间的夹角，第一方向为：用于表示目标物体放置姿态的方向，例如，第一方向可以为：包围目标物体的立方体空间的边所在的方向。第一方向也可以是其他用于表示目标物体方式姿态的方向。
图像采集设备的中心点与目标物体之间的偏移量，可以为图像采集设备的中心点与第一点之间的偏移量，第一点为：用于表示目标物体位置的点，例如，第一点可以为：包围目标物体的立方体空间的面上的任一点。第一点也可以是其他用于表示目标物体位置的点。
步骤S130，可以按以下步骤S131～S132实现：
S131：根据图像采集设备所拍摄图像的分辨率，确定图像采集设备的像主点在所拍摄图像中对应的像素位置。
步骤S131中的像主点是指图像采集设备的光轴与像平面的交点，其中，像平面是指图像采集设备的成像平面。
例如，图像采集设备所拍摄图像的分辨率为1000×800，像主点位于所拍摄图像的中心，那么，像主点在所拍摄图像中对应的像素位置为：(500，400)。
S132：根据上述三维标注信息、上述焦距、上述感光器件的一个像素对应的物理尺寸、上述像主点在所拍摄图像中对应的像素位置、上述图像采集设备的光轴方向与目标物体之间的夹角以及上述偏移量，确定基于第一待标注图像进行标注时目标物体的第一二维标注信息。
本实施方式确定了物理参数和第一位置信息的具体内容，更便于对标注信息的确定。
在一种实施方式中，步骤S132，可以按以下步骤S1321～S1322实现：
S1321：根据上述焦距、上述感光器件的一个像素对应的物理尺寸、上述像主点在所拍摄图像中对应的像素位置、上述图像采集设备的光轴方向与目标物体之间的夹角以及上述偏移量，确定用于描述第一映射关系的关系参数。
其中，上述第一映射关系表示：三维标注信息与第一二维标注信息之间的对应关系，第一二维标注信息为：基于第一待标注图像进行标注时目标物体的二维标注信息。第一映射关系可以通过相机标定来确定。上述第一映射可以与上述第二映射相同。
S1322：根据上述三维标注信息和确定关系参数后的第一映射关系，确定第一二维标注信息。
在本申请实施例中，可以将上述三维标注信息代入确定关系参数后的第一映射关系中，得到基于第一待标注图像进行标注时目标物体的第一二维标注信息。
本实施方式确定了第一映射关系后，根据第一映射关系可以更快捷地得到第一二维标注信息。
在一种具体实施方式中，上述第一映射关系可以为满足以下关系式的映射关系：
Figure BDA0002406057750000141
上式(1)中，f表示图像采集设备的焦距；dx、dy表示感光器件的一个像素对应的物理尺寸中的物理长与物理宽；xOI、yOI表示图像采集设备的像主点在所拍摄图像中对应的位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure BDA0002406057750000142
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；上述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；上述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；上述自身坐标系为：以包围目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
当第一映射关系为满足式(1)的映射关系时，上述关系参数可以为：f、dx、dy、xOI、yOI、θ、XW、YW、ZW、
Figure BDA0002406057750000151
当第一映射关系为满足式(1)的映射关系时，步骤S1321，可以按以下步骤实现：
以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立三维直角坐标系，作为相机坐标系；
以图像采集设备采集的图像的长、宽分别为XI、YI轴，以图像采集设备采集的图像上的任一顶点为原点、以像素为单位建立二维直角坐标系，作为第一像素坐标系；
以包围目标物体的立方体的侧面上的点为原点OW，以与上述相机坐标系的YC平行的方向为YW轴建立三维直角坐标系，作为自身坐标系；
根据像主点在所拍摄图像中对应的像素位置，确定该像素位置在第一像素坐标系中的坐标；
根据图像采集设备的光轴方向与目标物体之间的夹角，确定自身坐标系的XW轴与相机坐标系的XC轴的夹角；
根据图像采集设备的中心点与目标物体之间的偏移量，确定自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；
将上述焦距、感光器件的一个像素对应的物理尺寸、像主点在所拍摄图像中对应的像素位置在第一像素坐标系中的坐标、XW轴与XC轴的夹角、OW相对于OC分别在XC、YC、ZC轴上的偏移量，作为第一映射关系的关系参数。
如图2所示，本申请实施例建立的相机坐标系为OCXCYCZC。自身坐标系为OWXWYWZW。图2中的OCCDXCCDYCCD为图像坐标系，该图像坐标系是以图像采集设备的光轴与成像平面的交点为原点，以与图像采集设备采集的图像的长、宽平行的方向分别为XCCD、YCCD轴，以长度为单位建立二维直角坐标系；第一像素坐标系的横轴和纵轴分别与图像坐标系的横轴与纵轴平行，第一像素坐标系的原点与平面坐标系的原点不重合。如图2所示，可以以包围目标物体的立方体的右侧面上的中心点为原点OW，以与上述相机坐标系的YC平行的方向为YW轴建立的三维直角坐标系作为自身坐标系，自身坐标系的XW轴与相机坐标系的XC轴之间的存在夹角θ，本领域技术人员可以根据实际情况建立自身坐标系，本申请实施例不具体限定。图2中的点0～7这8个点为包围目标物体的立方体空间的各个顶点，这8个点即为三维标注信息。
在一种实施方式中，上述三维标注信息可以为：根据点云数据确定的三维标注点的位置，三维标注点可以为：包围目标物体的立方体空间的各个顶点，上述三维标注点的位置为：三维标注点在自身坐标系中的坐标，其中，上述自身坐标系为：用于标定目标物体位置的参考系；
步骤S130，可以按以下步骤S133实现：
根据三维标注点在自身坐标系中的坐标、上述物理参数和上述第一位置信息，确定三维标注点在第一像素坐标系中对应的二维坐标，其中，第一像素坐标系为：以图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时目标物体的二维标注信息。
包围目标物体的立方体空间可以用来表示目标物体的大小、姿态，另外，用包围目标物体的立方体空间来表示目标物体，更便于确定标注信息。在本实施方式中，当用包围目标物体的立方体空间来表示目标物体时，包围目标物体的立方体空间的各个顶点的位置就可以作为目标物体的三维标注信息，另外，本实施方式通过坐标系更便于确定目标物体的标注信息。
在一种实施方式中，上述图像采集设备可以为：包括左目相机和右目相机的双目图像采集设备；图像采集设备采集的图像可以包括：左视图和右视图；
上述第一待标注图像可以为：左视图或右视图；
如图3所示，在步骤S130之后，上述方法还可以包括以下步骤S140～S150：
S140：获得表示左目相机与右目相机之间相对位置的第二位置信息。
第二位置信息可以包括：左目相机与右目相机之间的夹角、左目相机与右目相机之间的偏移量。
左目相机与右目相机之间的夹角，可以是左目相机的光轴和右目相机的光轴之间的夹角；左目相机与右目相机之间的偏移量，可以是左目相机的中心点和右目相机的中心点之间的偏移量。
S150：根据第二位置信息以及第一二维标注信息，确定基于第二待标注图像进行标注时目标物体的第二二维标注信息。
其中，第二待标注图像为：左目相机和右目相机在同一时刻所采集的图像中除第一待标注图像外的图像。
由于在图像采集的过程中，经常用到双目图像采集设备，当图像采集设备为双目图像采集设备时，可以根据表示左目相机与右目相机之间相对位置的第二位置信息以及确定出的第一二维标注信息，来确定基于第二待标注图像进行标注时目标物体的第二二维标注信息，这样，就确定出了基于左目相机拍摄的图像和右目相机拍摄的图像，目标物体的标注信息。
在一种实施方式中，当图像采集设备为双目图像采集设备时，在步骤S130之后，上述方法还可以包括以下步骤S160～S170：
S160：获得表示第一相机与第二相机之间相对位置的第三位置信息、第二相机的物理参数；其中，第一相机为：图像采集设备中拍摄第一待标注图像的相机，第二相机为：图像采集设备中拍摄第二待标注图像的相机，第二待标注图像为：图像采集设备同一时刻所采集的图像中除第一待标注图像外的图像；
S170：根据第三位置信息、第一位置信息、第二相机的物理参数，确定基于第二待标注图像进行标注时目标物体的第二二维标注信息。
第二相机的物理参数包括：第二相机的焦距、第二相机中感光器件的一个像素对应的物理尺寸、第二相机所拍摄图片的分辨率。
上述第三位置信息也就是步骤S140中的第二位置信息。
在一种实施方式中，步骤S170，可以按以下步骤S171～S172实现：
S171：根据第三位置信息、第一位置信息、第二相机的物理参数，确定用于描述第三映射关系的关系参数。
其中，第三映射关系表示：基于点云数据的三维标注信息与基于第二待标注图像的第二二维标注信息之间的对应关系；
S172：根据上述三维标注信息和确定关系参数后的第三映射关系，确定基于第二待标注图像进行标注时目标物体的第二二维标注信息。
在本申请实施例中，可以将上述三维标注信息代入确定了关系参数后的第三映射关系中，得到基于第二待标注图像进行标注时目标物体的第二二维标注信息。
在一种具体实施例中，上述第三映射关系可以为满足以下关系式的映射关系：
Figure BDA0002406057750000181
其中，
Figure BDA0002406057750000182
上式(2)中，fR表示第二相机的焦距；dxR、dyR表示第二相机中感光器件的一个像素对应的物理尺寸中的物理长与物理宽；xOIR、yOIR表示第二相机的像主点在所拍摄图像中对应的像素位置在第二像素坐标系中的坐标；θ表示自身坐标系的XW轴与第一相机坐标系的XC轴的夹角；
Figure BDA0002406057750000183
表示自身坐标系的原点OW到第一相机坐标系的原点OC分别在第一相机坐标系中的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；XCR、YCR、ZCR表示第二相机坐标系中点的坐标；uR、vR表示第二像素坐标系中点的坐标；R表示第一相机与第二相机之间的旋转矩阵；T表示第一相机与第二相机之间的偏移矩阵；上述第一相机坐标系为：以第一相机的中心点为原点OC、以第一相机的光轴为ZC轴建立的三维直角坐标系；上述第二像素坐标系为：以第二相机采集的图像的长、宽分别为横、纵轴、且以第二相机采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；上述自身坐标系为：以包围目标物体的立方体的侧面上的点为原点OW、且YW轴与第一相机坐标系的YC平行的三维坐标系。
上述偏移矩阵T和旋转矩阵R可以通过相机标定来确定，本领域技术人员可以根据相机标定来确定偏移矩阵T和旋转矩阵R，本申请实施例不对偏移矩阵T和旋转矩阵R的确定方法做详细说明。
本实施方式通过公式，更便于第二二维标注信息的确定。
在一种实施方式中，在步骤S130之后，上述方法还可以包括以下步骤：
根据目标物体的第一二维标注信息，在第一待标注图像上标注出目标物体。从而可以从第一待标注图像中，更直观地查看到目标物体。
如图4所示，图4的上半部分为包围目标物体的立方体空间，图4下半部分为根据第一二维标注信息在第一待标注图像上标注出的表示目标物体的矩形，以及根据第二二维标注信息在第二待标注图像上标注出的表示目标物体的矩形。上述三维标信息可以为：图4中立方体空间的各个顶点。如图4所示，由于三维标注信息与二维标注信息存在特定的对应关系，所以根据三维标注信息，可以确定出第一二维标注信息和第二二维标注信息。
如图5、图6所示，利用本申请实施例提供的标注信息确定方法在确定出目标物体的二维标注信息后，根据二维标注信息在第一待标注图像上标注出的目标物体为二维长方形。
本申请实施例还提供了一种注信息确定装置，如图7所示，所述装置包括：
三维信息获取单元710，用于基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
参数信息获得单元720，用于获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
第一二维信息确定单元730，用于根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
应用本申请实施例提供的标注信息确定装置确定标注信息时，由于三维标注信息是基于针对目标场景采集的点云数据的，第一待标注图像是图像采集设备采集的、与点云数据所记录的对应同一场景的图像，这样，根据上述三维标注信息、图像采集设备的物理参数和表示图像采集设备与目标物体之间相对位置的第一位置信息，可以确定出基于第一待标注图像进行标注时目标物体的第一二维标注信息。可见，应用本申请实施例提供的装置确定标注信息时，无需人工在图像中识别目标物体并确定目标物体的二维标注信息，提高了确定标注信息的速度、降低了人力成本，从而提高了确定标注信息的效率。
在一种实施方式中，所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率；
所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
所述第一二维信息确定单元740，包括：
像素确定子单元，用于根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
第一二维信息确定子单元，用于用于根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
在一种实施方式中，所述第一二维信息确定子单元，包括：
模型参数确定模块，用于根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
二维信息确定模块，用于根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
在一种实施方式中：所述第一映射关系可以满足以下关系式：
Figure BDA0002406057750000211
其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；xOI、yOI表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure BDA0002406057750000212
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
在一种实施方式中，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
所述第一二维信息确定单元，包括：
二维坐标确定子单元，用于根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
第二二维信息确定子单元，用于从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
在一种实施方式中，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
如图8所示，所述装置还可以包括：
位置信息获得单元740，用于获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
第二二维信息确定单元750，用于根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机同一时刻所采集的图像中除所述第一待标注图像外的图像。
在一种实施方式中，所述第二位置信息可以包括：
所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
本申请实施例还提供了一种标注信息确定系统，如图9所示，该系统包括：图像采集设备910、三维扫描设备920、处理器930。
所述图像采集设备910用于采集目标场景的图像，并将采集的图像发送给所述处理器930，其中，所述目标场景中包括目标物体。
所述三维扫描设备920用于采集所述目标场景的点云数据，并将扫描得到的点云数据发送给所述处理器930。
所述图像采集设备910的视野范围与所述三维扫描设备920的扫描范围存在第一重合区域，所述第一重合区域与所述三维扫描设备920的扫描范围所包括的区域的比值不小于预设比值。
上述预设比值可以是0.5～1中的任一比值，例如，预设比值可以是0.8或0.9，也可以是其他比值。当预设比值越大时，图像采集设备910的视野范围与三维扫描设备920的扫描范围的重合度高的概率越大，标注信息确定系统所确定的标准信息越准确。
所述处理器930，用于获取所述三维扫描设备920采集的点云数据与所述图像采集设备910采集的图像，基于所述点云数据获取所述目标物体的三维标注信息；获得所述图像采集设备910的物理参数、表示所述图像采集设备910与所述目标物体之间相对位置的第一位置信息；获取所述图像采集设备910采集的第一待标注图像，其中，所述第一待标注图像为：与所述点云数据所记录的对应同一场景的图像；根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息。
上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应用本申请实施例提供的标注信息确定系统确定标注信息时，由于三维扫描设备920采集的是目标场景的点云数据，图像采集设备910采集的是目标场景的图像，目标场景包括目标物体，第一待标注图像是图像采集设备910采集的、与点云数据所记录的对应同一场景的图像，这样，处理器930根据上述三维标注信息、图像采集设备的物理参数和表示图像采集设备与目标物体之间相对位置的第一位置信息，可以确定出基于第一待标注图像进行标注时目标物体的第一二维标注信息。可见，应用本申请实施例提供的系统确定标注信息时，无需人工在图像中识别目标物体并确定目标物体的二维标注信息，提高了确定标注信息的速度、降低了人力成本，从而提高了确定标注信息的效率。
在一种实施方式中，所述图像采集设备91可以包括：左目相机和右目相机；
所述左目相机的视野范围与所述三维扫描设备920的扫描范围存在第二重合区域，所述右目相机的视野范围与所述三维扫描设备920的扫描范围存在第三重合区域，所述第二重合区域与所述三维扫描设备920的扫描范围所包括的区域的比值大于所述预设比值，所述第三重合区域与所述三维扫描设备920的扫描范围所包括的区域的比值大于所述预设比值；
所述图像采集设备910采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
所述处理器930还用于：在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息的步骤之后，获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
本申请实施例提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项的标注信息确定方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一项的标注信息确定方法。
对于装置/系统/存储介质/程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (24)

1.一种标注信息确定方法，其特征在于，所述方法包括：
基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
2.根据权利要求1所述的方法，其特征在于，
所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；
所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
4.根据权利要求3所述的方法，其特征在于，所述第一映射关系满足以下关系式：
Figure FDA0002406057740000021
其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；xOI、yOI表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure FDA0002406057740000022
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
5.根据权利要求1所述的方法，其特征在于，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，包括：
根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
6.根据权利要求1所述的方法，其特征在于，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息之后，所述方法还包括：
获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
7.根据权利要求6所述的方法，其特征在于，所述第二位置信息包括：
所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述点云数据为三维扫描设备采集的数据。
9.根据权利要求8所述的方法，其特征在于，所述三维扫描设备与所述图像采集设备搭载于无人驾驶设备或机器人上。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述目标物体包括：目标车辆、目标行人、目标货物中的至少一种。
11.根据权利要求10所述的方法，其特征在于，所述目标场景为以下至少一项：
包括所述目标车辆或所述目标行人的目标街道；
包括所述目标货物的目标厂区。
12.一种标注信息确定装置，其特征在于，所述装置包括：
三维信息获取单元，用于基于针对目标场景采集的点云数据，获取目标物体的三维标注信息，其中，所述目标场景中包括所述目标物体；
参数信息获得单元，用于获得用于针对所述目标场景采集图像的图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；
第一二维信息确定单元，用于根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息，其中，所述第一待标注图像为：所述图像采集设备采集的、与所述点云数据所记录的对应同一场景的图像。
13.根据权利要求12所述的装置，其特征在于，
所述物理参数包括：所述图像采集设备的焦距、所述图像采集设备中感光器件的一个像素对应的物理尺寸、所述图像采集设备所拍摄图像的分辨率，其中，所述感光器件的各个像素对应的物理尺寸相同；
所述第一位置信息包括：所述图像采集设备的光轴方向与所述目标物体之间的夹角、所述图像采集设备的中心点与所述目标物体之间的偏移量；
所述第一二维信息确定单元，包括：
像素确定子单元，用于根据所述分辨率，确定所述图像采集设备的像主点在所拍摄图像中对应的像素位置；
第一二维信息确定子单元，用于根据所述三维标注信息、所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定基于第一待标注图像进行标注时所述目标物体的第一二维标注信息。
14.根据权利要求13所述的装置，其特征在于，所述第一二维信息确定子单元，包括：
模型参数确定模块，用于根据所述焦距、所述物理尺寸、所述像素位置、所述夹角与所述偏移量，确定用于描述第一映射关系的关系参数；其中，所述第一映射关系表示：所述三维标注信息与第一二维标注信息之间的对应关系，所述第一二维标注信息为：基于第一待标注图像进行标注时所述目标物体的二维标注信息；
二维信息确定模块，用于根据所述三维标注信息和确定关系参数后的所述第一映射关系，确定所述第一二维标注信息。
15.根据权利要求14所述的装置，其特征在于，所述第一映射关系满足以下关系式：
Figure FDA0002406057740000051
其中，f表示所述图像采集设备的焦距；dx、dy表示所述物理尺寸中的物理长与物理宽；xOt、yOI表示所述像素位置在第一像素坐标系中的坐标；θ表示自身坐标系的XW轴与相机坐标系的XC轴的夹角；
Figure FDA0002406057740000052
表示自身坐标系的原点OW相对于相机坐标系的原点OC分别在相机坐标系的XC、YC、ZC轴上的偏移量；XW、YW、ZW表示自身坐标系中点的坐标；u、v表示第一像素坐标系中点的坐标；所述相机坐标系为：以图像采集设备的中心点为原点OC，以图像采集设备的光轴为ZC轴建立的三维直角坐标系；所述第一像素坐标系为：以图像采集设备采集的图像的长、宽分别为XI、YI轴、且以图像采集设备采集的图像上的任一顶点为原点的、以像素为单位的二维坐标系；所述自身坐标系为：以包围所述目标物体的立方体的侧面上的点为原点OW、且YW轴与相机坐标系的YC平行的三维坐标系。
16.根据权利要求12所述的装置，其特征在于，所述三维标注信息为：根据所述点云数据确定的三维标注点的位置，所述三维标注点为：包围所述目标物体的立方体空间的各个顶点，所述三维标注点的位置为：所述三维标注点在自身坐标系中的坐标，其中，所述自身坐标系为：用于标定所述目标物体位置的参考系；
所述第一二维信息确定单元，包括：
二维坐标确定子单元，用于根据所述三维标注点在所述自身坐标系中的坐标、所述物理参数和所述第一位置信息，确定所述三维标注点在第一像素坐标系中对应的二维坐标，其中，所述第一像素坐标系为：以所述图像采集设备所采集的图像为基准建立的、以像素为单位的二维坐标系；
第二二维信息确定子单元，用于从所确定的各二维坐标中，选择横坐标最小的坐标、横坐标最大的坐标、纵坐标最小的坐标以及纵坐标最大的坐标作为基于第一待标注图像进行标注时所述目标物体的二维标注信息。
17.根据权利要求12所述的装置，其特征在于，所述图像采集设备为：包括左目相机和右目相机的双目图像采集设备；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
所述装置还包括：
位置信息获得单元，用于获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；
第二二维信息确定单元，用于根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻所采集的图像中除所述第一待标注图像外的图像。
18.根据权利要求15所述的装置，其特征在于，所述第二位置信息包括：
所述左目相机的光轴和所述右目相机的光轴之间的夹角、所述左目相机的中心点和所述右目相机的中心点之间的偏移量。
19.根据权利要求12至18任一项所述的装置，其特征在于，所述点云数据为三维扫描设备采集的数据。
20.根据权利要求19所述的装置，其特征在于，所述三维扫描设备与所述图像采集设备搭载于无人驾驶设备或机器人上。
21.根据权利要求12至18任一项所述的装置，其特征在于，所述目标物体包括：目标车辆、目标行人、目标货物中的至少一种。
22.根据权利要求21所述的装置，其特征在于，所述目标场景为以下至少一项：
包括所述目标车辆或所述目标行人的目标街道；
包括所述目标货物的目标厂区。
23.一种标注信息确定系统，其特征在于，包括：图像采集设备、三维扫描设备、处理器；
所述图像采集设备用于采集目标场景的图像，并将采集的图像发送给所述处理器，其中，所述目标场景中包括目标物体；
所述三维扫描设备用于采集所述目标场景的点云数据，并将扫描得到的点云数据发送给所述处理器；
所述图像采集设备的视野范围与所述三维扫描设备的扫描范围存在第一重合区域，所述第一重合区域与所述三维扫描设备的扫描范围所包括的区域的比值不小于预设比值；
所述处理器，用于获取所述三维扫描设备采集的点云数据与所述图像采集设备采集的图像，基于所述点云数据获取所述目标物体的三维标注信息；获得所述图像采集设备的物理参数、表示所述图像采集设备与所述目标物体之间相对位置的第一位置信息；获取所述图像采集设备采集的第一待标注图像，其中，所述第一待标注图像为：与所述点云数据所记录的对应同一场景的图像；根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息。
24.根据权利要求18所述的系统，其特征在于，所述图像采集设备包括：左目相机和右目相机；
所述左目相机的视野范围与所述三维扫描设备的扫描范围存在第二重合区域，所述右目相机的视野范围与所述三维扫描设备的扫描范围存在第三重合区域，所述第二重合区域与所述三维扫描设备的扫描范围所包括的区域的比值大于所述预设比值，所述第三重合区域与所述三维扫描设备的扫描范围所包括的区域的比值大于所述预设比值；
所述图像采集设备采集的图像包括：左视图和右视图；
所述第一待标注图像为：左视图或右视图；
所述处理器还用于在所述根据所述三维标注信息、所述物理参数和所述第一位置信息，确定基于所述第一待标注图像进行标注时所述目标物体的第一二维标注信息的步骤之后，获得表示所述左目相机与所述右目相机之间相对位置的第二位置信息；根据所述第二位置信息以及所述第一二维标注信息，确定基于第二待标注图像进行标注时所述目标物体的第二二维标注信息，其中，所述第二待标注图像为：所述左目相机和右目相机在同一时刻采集的图像中除所述第一待标注图像外的图像。
CN202010161791.1A 2020-03-10 2020-03-10 一种标注信息确定方法、装置及系统 Pending CN113378606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010161791.1A CN113378606A (zh) 2020-03-10 2020-03-10 一种标注信息确定方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010161791.1A CN113378606A (zh) 2020-03-10 2020-03-10 一种标注信息确定方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113378606A true CN113378606A (zh) 2021-09-10

Family

ID=77568701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161791.1A Pending CN113378606A (zh) 2020-03-10 2020-03-10 一种标注信息确定方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113378606A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332454A (zh) * 2021-12-29 2022-04-12 湖南华诺星空电子技术有限公司 一种基于图像的船舶抓拍方法和系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025845A1 (en) * 2009-07-31 2011-02-03 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for measuring location and distance of object by using camera
CN103278138A (zh) * 2013-05-03 2013-09-04 中国科学院自动化研究所 一种复杂结构薄部件三维位置及姿态的测量方法
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
CN109584295A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110021046A (zh) * 2019-03-05 2019-07-16 中国科学院计算技术研究所 相机与激光雷达组合传感器的外参数标定方法及系统
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110737271A (zh) * 2019-10-23 2020-01-31 西南科技大学 一种水面机器人自主巡航系统及方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025845A1 (en) * 2009-07-31 2011-02-03 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for measuring location and distance of object by using camera
CN103278138A (zh) * 2013-05-03 2013-09-04 中国科学院自动化研究所 一种复杂结构薄部件三维位置及姿态的测量方法
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
CN109584295A (zh) * 2017-09-29 2019-04-05 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN109816703A (zh) * 2017-11-21 2019-05-28 西安交通大学 一种基于相机标定和icp算法的点云配准方法
CN109961471A (zh) * 2017-12-14 2019-07-02 北京猎户星空科技有限公司 一种图像中物体位置的标注方法、装置及电子设备
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN109029284A (zh) * 2018-06-14 2018-12-18 大连理工大学 一种基于几何约束的三维激光扫描仪与相机标定方法
CN109410282A (zh) * 2018-11-08 2019-03-01 上海木木聚枞机器人科技有限公司 一种输液杆的检测跟踪方法和装置
CN110021046A (zh) * 2019-03-05 2019-07-16 中国科学院计算技术研究所 相机与激光雷达组合传感器的外参数标定方法及系统
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN109949371A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种用于激光雷达和相机数据的标定方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110737271A (zh) * 2019-10-23 2020-01-31 西南科技大学 一种水面机器人自主巡航系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
万刚 等: "无人机测绘及其应用", 31 December 2015, 北京：测绘出版社, pages: 191 - 194 *
蔡成涛 等: ""基于视觉的海洋浮标目标探测技术"", 30 November 2019, 哈尔滨：哈尔滨工程大学出版社, pages: 191 - 194 *
陈慧岩 等: "无人驾驶车辆理论与设计", 31 March 2018, 北京：北京理工大学出版社, pages: 24 - 31 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332454A (zh) * 2021-12-29 2022-04-12 湖南华诺星空电子技术有限公司 一种基于图像的船舶抓拍方法和系统

Similar Documents

Publication Publication Date Title
CN109146929B (zh) 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
WO2020102944A1 (zh) 点云处理方法、设备及存储介质
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN110889829B (zh) 一种基于鱼眼镜头的单目测距方法
JP2001524228A (ja) 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法
CN111260539B (zh) 鱼眼图目标识别方法及其系统
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN113129383A (zh) 手眼标定方法、装置、通信设备及存储介质
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
CN113378606A (zh) 一种标注信息确定方法、装置及系统
CN111724432B (zh) 物体三维检测方法和装置
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN111612812B (zh) 目标物检测方法、检测装置和电子设备
CN111256651B (zh) 一种基于单目车载摄像头的周车测距方法和装置
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN115115619A (zh) 基于圆拟合的特征点提取方法、装置、设备及存储介质
CN113688819B (zh) 一种基于标记点的目标物期望点跟踪匹配方法
CN115880220A (zh) 多视角苹果成熟度检测方法
CN113326715B (zh) 一种目标关联方法及装置
CN112711973B (zh) 一种关键点检测算法的评估方法及装置
WO2021004813A1 (en) Method and mobile entity for detecting feature points in an image
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination