CN113538546A - 用于自动驾驶的目标检测方法、装置及设备 - Google Patents

用于自动驾驶的目标检测方法、装置及设备 Download PDF

Info

Publication number
CN113538546A
CN113538546A CN202111089962.5A CN202111089962A CN113538546A CN 113538546 A CN113538546 A CN 113538546A CN 202111089962 A CN202111089962 A CN 202111089962A CN 113538546 A CN113538546 A CN 113538546A
Authority
CN
China
Prior art keywords
monocular
image
target object
depth
central point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111089962.5A
Other languages
English (en)
Other versions
CN113538546B (zh
Inventor
罗壮
张雪
张海强
李成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202111089962.5A priority Critical patent/CN113538546B/zh
Publication of CN113538546A publication Critical patent/CN113538546A/zh
Application granted granted Critical
Publication of CN113538546B publication Critical patent/CN113538546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种用于自动驾驶的目标检测方法、装置及设备。该方法包括：获取单目拍摄设备采集的图像；将所述图像输入预设单目3D目标检测模型中，得到所述图像中的目标物的预测高度；根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；根据所述深度先验值，得到所述目标物的中心点的深度值。本申请提供的方案，能够在预测深度值z的过程中解除模型与单目相机的耦合，从而提升模型的泛化性，提升目标检测结果的可靠性。

Description

用于自动驾驶的目标检测方法、装置及设备
技术领域
本申请涉及导航技术领域，尤其涉及一种用于自动驾驶的目标检测方法、装置及设备。
背景技术
目标检测是计算机视觉领域的传统任务，与图像识别不同，目标检测不仅需要识别出图像上存在的物体，给出对应的类别，还需要将该物体的位置通过最小包围框（Bounding box）的方式给出。根据目标检测需要输出结果的不同，一般将使用RGB图像进行目标检测，输出物体类别和在图像上的最小包围框的方式称为2D目标检测，而将使用RGB图像、RGB-D深度图像和激光点云，输出物体类别及在三维空间中的长宽高、旋转角等信息的检测称为3D目标检测。
3D目标检测正处于高速发展时期，目前主要是综合利用单目相机、双目相机、多线激光雷达来进行3D目标检测。利用单目相机进行3D目标检测的任务可以通过单目3D目标检测模型完成。由于单目相机的成本低，经济效应更佳，尤其在自动驾驶导航领域中，单目3D目标检测模型得到了广泛的运用，其可以为汽车的自动驾驶决策提供支持。将单张RGB图像输入单目3D目标检测模型中，该模型可以预测图像中的目标类型及其3D位置信息。3D位置信息包括目标的高h、宽w、长l，目标中心点的位置坐标（x,y,z）以及偏航角theta。其中，3D位置信息中多个变量的预测都依赖于目标中心点位置坐标中的深度值z，因此，深度值z的预测正确性十分关键。
然而，目前的单目3D目标检测模型，对于深度值z的预测，使用了从训练集的标签信息中统计的均值和方差。上述均值和方差可以理解为适用于对应的单目相机的单目3D目标检测模型中的权重参数，当对应的单目相机更换后，或者输入模型的图像为其他不同的单目相机所采集时，将影响该模型输出的预测深度值z，导致对深度值z的预测正确性下降。也就是说，目前的单目3D目标检测模型，其模型泛化性差，进而影响最终检测结果的可靠性。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种用于自动驾驶的目标检测方法、装置及设备，能够在预测深度值z的过程中解除模型与单目相机的耦合，从而提升模型的泛化性，提升目标检测结果的可靠性。
本申请第一方面提供一种用于自动驾驶的目标检测方法，包括：
获取单目拍摄设备采集的图像；
将所述图像输入预设单目3D目标检测模型中，得到所述图像中的目标物的预测高度；
根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；
根据所述深度先验值，得到所述目标物的中心点的深度值。
在一种实施方式中，所述根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：
根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
在一种实施方式中，所述目标物的中心点在所述图像中的位置包括：所述目标物的中心点在所述图像中相对像素坐标系v轴的距离；
所述单目拍摄设备在世界坐标中的安装高度包括：所述单目拍摄设备在世界坐标中的光心相对地面的距离；
所述单目拍摄设备的内参包括：所述单目拍摄设备的光心在图像坐标系y轴方向上的焦距
Figure 482355DEST_PATH_IMAGE002
，以及所述单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量
Figure 100002_DEST_PATH_IMAGE003
。
在一种实施方式中，所述根据所述深度先验值，得到所述目标物的中心点的深度值，包括：
根据所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值。
在一种实施方式中，所述根据所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值，包括：
将所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，代入预设激活函数公式中，得到所述目标物的中心点的深度值。
在一种实施方式中，所述预设单目3D目标检测模型包括：SMOKE单目3D目标检测模型。
本申请第二方面提供一种用于自动驾驶的目标检测装置，包括：
获取模块，用于获取单目拍摄设备采集的图像；
第一预测模块，用于将所述获取模块获取的图像输入预设单目3D目标检测模型中，得到所述图像中的目标物的预测高度；
计算模块，用于根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；
第二预测模块，用于根据所述计算模块得到的深度先验值，得到所述目标物的中心点的深度值。
在一种实施方式中，所述计算模块根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：
根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的方法，通过获取单目拍摄设备采集的图像，并将该图像输入预设单目3D目标检测模型中，可以得到图像中的目标物的预测高度。根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，可以计算目标物的中心点的深度先验值，进而可以得到目标物的中心点的深度值。上述方法中对深度先验值的计算并不涉及预设单目3D目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程中，在一定程度上解除预设单目3D目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性，利于提升目标检测结果的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的用于自动驾驶的目标检测方法的流程示意图；
图2是本申请实施例示出的目标物投影成像的原理示意图；
图3是本申请实施例示出的用于自动驾驶的目标检测装置的结构示意图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，对于目前的单目3D目标检测模型（例如，SMOKE模型），为了预测目标物体的3D位置信息，即预测目标物体的高h、宽w、长l、目标物体中心点位置坐标（x,y,z）及偏航角theta，首先需要预测上述多个变量中的中心点位置坐标的深度值z，其余变量的预测值均依赖于深度值z。
目前的单目3D目标检测模型，根据以下公式预测中心点位置坐标的深度值z。
z=
Figure 259687DEST_PATH_IMAGE004
+
Figure 98330DEST_PATH_IMAGE005
在得到深度值z后，可以利用单目3D目标检测模型对应的单目相机的内参以及图像坐标系下的目标物体中心点投影，根据以下公式可以恢复得到目标物体中心点位置坐标中的x和y。
Figure 582401DEST_PATH_IMAGE006
对于目标物体的高h、宽w、长l的计算，可以利用平均高、宽、长，根据以下公式回归预测目标物体的高、宽、长。
Figure 848297DEST_PATH_IMAGE007
对于偏航角theta的计算，可以在该单目3D目标检测模型预测出关于alpha角度（
Figure 50609DEST_PATH_IMAGE008
角度）的两个三角函数值
Figure 489680DEST_PATH_IMAGE009
后，根据以下公式求得偏航角theta（即
Figure 297099DEST_PATH_IMAGE011
）
Figure 530635DEST_PATH_IMAGE012
综上可知，目前的单目3D目标检测模型的多个输出变量：目标物体的高h、宽w、长l、目标物体中心点位置坐标（x,y,z）及偏航角theta，其中多个变量的预测都需要根据深度值z进行计算，获得准确的深度值z，是单目3D目标检测模型预测图像中目标物体3D位置信息的关键。
根据深度值z的计算公式：z=
Figure 95608DEST_PATH_IMAGE004
+
Figure 400687DEST_PATH_IMAGE005
，可知，为了求得z，需要求得
Figure 469138DEST_PATH_IMAGE004
、
Figure 201470DEST_PATH_IMAGE013
。其中，
Figure 253740DEST_PATH_IMAGE014
是单目3D目标检测模型输出的一个预测参数值。其中，
Figure 769035DEST_PATH_IMAGE004
与
Figure 347784DEST_PATH_IMAGE015
分别是训练集的标签信息中统计的均值和方差。也就是说，目前的单目3D目标检测模型对于深度值z的预测，使用了从训练集的标签信息中统计的均值和方差。上述均值和方差可以理解为适用于对应的单目相机的单目3D目标检测模型中的权重参数，当对应的单目相机更换后，或者输入模型的图像为其他不同的单目相机所采集时，将影响该模型输出的预测深度值z，导致对深度值z的预测正确性下降，使得单目3D目标检测模型的模型泛化性差。
针对上述问题，本申请实施例提供一种用于自动驾驶的目标检测方法，能够在预测深度值z的过程中解除模型与单目相机的耦合，从而提升模型的泛化性，提升目标检测结果的可靠性。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的用于自动驾驶的目标检测方法的流程示意图。
参见图1，该方法包括：
步骤S101、获取单目拍摄设备采集的图像。
本申请实施例中，可以通过单目拍摄设备来采集行车过程中的视频数据，并按照预置的规则对视频数据进行抽帧处理，从而得到多张图像。其中，单目拍摄设备可以包括但不限于安装于车辆上的行车记录仪、摄像头或车内监控摄像装置。
步骤S102、将图像输入预设单目3D目标检测模型中，得到图像中的目标物的预测高度。
其中，预设单目3D目标检测模型包括但不限于SMOKE单目3D目标检测模型（即SMOKE模型）。需要说明的是，SMOKE模型是一种单目3D目标检测模型，适用于单目拍摄设备，该模型结构简单，推理时间短，具有实时性，已在自动驾驶领域中得到广泛运用。
其中，目标物可以是图像中的小汽车、货车、客车、自行车、行人当中的一种或多种的组合，每一种目标物可以是一个或多个。
在该步骤中，预设单目3D目标检测模型根据接收到的图像，可以输出图像中的目标物的预测高度h。
可以理解，目标物的预测高度h的计算，可以利用平均高、宽、长，根据以下公式回归预测目标物体的高、宽、长。
Figure 860805DEST_PATH_IMAGE007
也就是说，目标物的高度h的预测过程与深度值z不关联，因此，可以认为在该步骤中利用预设单目3D目标检测模型所得到的图像中的目标物的预测高度h是准确可靠的，跟拍摄该图像的单目拍摄设备是否与该预设单目3D目标检测模型耦合无关。
步骤S103、根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值。
在一可选的实施方式中，根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值，包括：
根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，利用相似三角形原理，计算目标物的中心点的深度先验值。
其中，预测高度可以是步骤S102中所得到的图像中的目标物的预测高度h。
其中，目标物的中心点在图像中的位置可以包括：目标物的中心点在图像中相对像素坐标系v轴的距离v。需要说明的是，预设单目3D目标检测模型的其中一个分支（branch）可以生成关键点图（keypoint map），能够预测目标物的中心点及其类别，也就是说，在前向计算时可以先获取该分支预测得到的图像中的目标物的中心点及其类别。这样，根据目标物中心点在图像中的位置，即可得到目标物的中心点在图像中相对像素坐标系v轴的距离v。
其中，单目拍摄设备在世界坐标中的安装高度包括：单目拍摄设备在世界坐标中的光心相对地面的距离EL。单目拍摄设备在世界坐标中的光心相对地面的距离EL，可以理解为单目拍摄设备的光心相对地面的高度。
其中，单目拍摄设备的内参包括：单目拍摄设备的光心在图像坐标系y轴方向上的焦距
Figure 525004DEST_PATH_IMAGE002
，以及单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量
Figure 47252DEST_PATH_IMAGE003
。
请一并参见图2，如图2所示，图中点O即单目拍摄设备（camera）的光心位置，点A即在现实世界中目标物的中心点的位置，点
Figure 480508DEST_PATH_IMAGE016
即在图像（image）中目标物的中心点的位置。EL为点O相对地面（ground）的距离，目标物坐落于地面（ground）上。可以理解，目标物高度h中点的位置可以近似等于目标物中心点的位置。这样，根据如图2所示的几何图形关系，可以利用相似三角形原理，得出以下等式：
Figure 226747DEST_PATH_IMAGE017
即可以得出：
Figure 988030DEST_PATH_IMAGE018
其中，
Figure 173023DEST_PATH_IMAGE019
即是该步骤计算所得到的目标物的中心点的深度先验值。
需要说明的是，上述利用相似三角形原理得出的等式，在目标物中心点相对地面的高度低于单目拍摄设备的光心相对地面的高度的情况下成立。可以理解，当目标物中心点相对地面的高度高于单目拍摄设备的光心相对地面的高度时，同样可以利用相似三角形原理，计算目标物的中心点的深度先验值
Figure 336151DEST_PATH_IMAGE019
。
在目标物中心点相对地面的高度高于单目拍摄设备的光心相对地面的高度的情况下，在现实世界中目标物中心点的对地高度（即h/2）大于EL，单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量
Figure 581188DEST_PATH_IMAGE003
大于目标物的中心点在图像中相对像素坐标系v轴的距离v，即，可以推出以下关系等式：
Figure 892083DEST_PATH_IMAGE020
可以理解，深度先验值
Figure 756134DEST_PATH_IMAGE019
的计算并不涉及预设单目3D目标检测模型中关联单目拍摄设备的权重参数，可以在一定程度上解除预设单目3D目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性。这样，使得可以采用不同参数的单目拍摄设备所采集的图像，作为单目3D目标检测模型的输入图像，从而利于提升模型运用的泛化性。
步骤S104、根据深度先验值，得到目标物的中心点的深度值。
在一种实施方式中，根据深度先验值，得到目标物的中心点的深度值，包括：
将深度先验值
Figure 898403DEST_PATH_IMAGE019
，作为目标物的中心点的深度值。也就是说，直接将步骤S103中得到的深度先验值
Figure 189707DEST_PATH_IMAGE019
认为就是目标物的中心点的深度值。
在另一种实施方式中，根据深度先验值，得到目标物的中心点的深度值，包括：
根据深度先验值，及预设单目3D目标检测模型根据图像所输出的预测参数值，得到目标物的中心点的深度值。
其中，预设单目3D目标检测模型根据图像所输出的预测参数值为
Figure 50215DEST_PATH_IMAGE014
。
进一步的，在该步骤中，可以将深度先验值，及预设单目3D目标检测模型根据图像所输出的预测参数值，代入预设激活函数公式中，得到目标物的中心点的深度值。
其中，预设激活函数公式为：
Figure 717957DEST_PATH_IMAGE021
也就是说，目标物的中心点的深度值z，等于深度先验值
Figure 386836DEST_PATH_IMAGE019
乘以两倍的sigmoid(
Figure 239254DEST_PATH_IMAGE014
)。由于sigmoid()函数的取值区间是（0,1），于是sigmoid(
Figure 462425DEST_PATH_IMAGE014
)的取值区间为（0,2），因此，深度值z的取值区间为（0，
Figure 792912DEST_PATH_IMAGE022
）。
可以理解，深度先验值
Figure 519560DEST_PATH_IMAGE019
是预测值，在该步骤中，利用了深度先验值
Figure 542879DEST_PATH_IMAGE019
来回归目标物的中心点的深度值z，以使得最终得到的深度值z更能够表征实际值，从而提升预测准确性。上述预设激活函数公式为本申请实施例根据单目3D目标检测模型架构设计所得，利用到了单目3D目标检测模型输出的预测参数值为
Figure 784505DEST_PATH_IMAGE014
，对深度先验值
Figure 794049DEST_PATH_IMAGE019
进行回归，以得到更能够表征实际值的深度值z。
从该实施例可以看出，本申请实施例提供的方法，通过获取单目拍摄设备采集的图像，并将该图像输入预设单目3D目标检测模型中，可以得到图像中的目标物的预测高度。根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，可以计算目标物的中心点的深度先验值，进而可以得到目标物的中心点的深度值。上述方法中对深度先验值的计算并不涉及预设单目3D目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程中，在一定程度上解除预设单目3D目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性，利于提升目标检测结果的可靠性。
可以理解，上述方法还可以用于改进预设单目3D目标检测模型，实现对预设单目3D目标检测模型的输出数据的优化，使得上述方法得到的深度值成为改进后的预设单目3D目标检测模型的输出数据。这样，能够使得改进后的单目3D目标检测模型与单目拍摄设备解除耦合关系，从而提升了改进后的单目3D目标检测模型的泛化性。
与前述应用功能实现方法实施例相对应，本申请还提供了一种用于自动驾驶的目标检测装置、电子设备及相应的实施例。
图3是本申请实施例示出的用于自动驾驶的目标检测装置的结构示意图。
参见图3，本申请实施例提供一种用于自动驾驶的目标检测装置，包括：
获取模块301，用于获取单目拍摄设备采集的图像；
第一预测模块302，用于将获取模块301获取的图像输入预设单目3D目标检测模型中，得到图像中的目标物的预测高度；
计算模块303，用于根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值；
第二预测模块304，用于根据计算模块303得到的深度先验值，得到目标物的中心点的深度值。
从该实施例可以看出，该装置对深度先验值的计算并不涉及预设单目3D目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程中，在一定程度上解除预设单目3D目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性。
可选的，计算模块303根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值，包括：
根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，利用相似三角形原理，计算目标物的中心点的深度先验值。
可选的，第二预测模块304根据计算模块303得到的深度先验值，得到目标物的中心点的深度值，包括：
根据深度先验值，及预设单目3D目标检测模型根据图像所输出的预测参数值，得到目标物的中心点的深度值。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图4是本申请实施例示出的电子设备的结构示意图。
参见图4，电子设备400包括存储器410和处理器420。
处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于自动驾驶的目标检测方法，其特征在于，包括：
获取单目拍摄设备采集的图像；
将所述图像输入预设单目3D目标检测模型中，得到所述图像中的目标物的预测高度；
根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；
根据所述深度先验值，得到所述目标物的中心点的深度值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：
根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
3.根据权利要求1所述的方法，其特征在于：
所述目标物的中心点在所述图像中的位置包括：所述目标物的中心点在所述图像中相对像素坐标系v轴的距离；
所述单目拍摄设备在世界坐标中的安装高度包括：所述单目拍摄设备在世界坐标中的光心相对地面的距离；
所述单目拍摄设备的内参包括：所述单目拍摄设备的光心在图像坐标系y轴方向上的焦距
Figure 640580DEST_PATH_IMAGE002
，以及所述单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量
Figure DEST_PATH_IMAGE003
。
4.根据权利要求1所述的方法，其特征在于，所述根据所述深度先验值，得到所述目标物的中心点的深度值，包括：
根据所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值，包括：
将所述深度先验值，及所述预设单目3D目标检测模型根据所述图像所输出的预测参数值，代入预设激活函数公式中，得到所述目标物的中心点的深度值。
6.根据权利要求1-5任一项所述的方法，其特征在于：
所述预设单目3D目标检测模型包括：SMOKE单目3D目标检测模型。
7.一种用于自动驾驶的目标检测装置，其特征在于，包括：
获取模块，用于获取单目拍摄设备采集的图像；
第一预测模块，用于将所述获取模块获取的图像输入预设单目3D目标检测模型中，得到所述图像中的目标物的预测高度；
计算模块，用于根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；
第二预测模块，用于根据所述计算模块得到的深度先验值，得到所述目标物的中心点的深度值。
8.根据权利要求7所述的装置，其特征在于，所述计算模块根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：
根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-6中任一项所述的方法。
CN202111089962.5A 2021-09-17 2021-09-17 用于自动驾驶的目标检测方法、装置及设备 Active CN113538546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089962.5A CN113538546B (zh) 2021-09-17 2021-09-17 用于自动驾驶的目标检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089962.5A CN113538546B (zh) 2021-09-17 2021-09-17 用于自动驾驶的目标检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113538546A true CN113538546A (zh) 2021-10-22
CN113538546B CN113538546B (zh) 2022-01-25

Family

ID=78093334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089962.5A Active CN113538546B (zh) 2021-09-17 2021-09-17 用于自动驾驶的目标检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113538546B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1353518A1 (en) * 2002-04-09 2003-10-15 STMicroelectronics S.r.l. Process and system for generating stereoscopic images from monocular images
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN110031829A (zh) * 2019-04-18 2019-07-19 北京联合大学 一种基于单目视觉的目标精准测距方法
CN110966981A (zh) * 2018-09-30 2020-04-07 北京奇虎科技有限公司 测距方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1353518A1 (en) * 2002-04-09 2003-10-15 STMicroelectronics S.r.l. Process and system for generating stereoscopic images from monocular images
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN110966981A (zh) * 2018-09-30 2020-04-07 北京奇虎科技有限公司 测距方法及装置
CN110031829A (zh) * 2019-04-18 2019-07-19 北京联合大学 一种基于单目视觉的目标精准测距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RONGHUAIYANG: "不用激光雷达，照样又快又准！3D目标检测之SMOKE", 《CSDN》 *

Also Published As

Publication number Publication date
CN113538546B (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN104833370B (zh) 用于映射、定位和位姿校正的系统和方法
WO2021072696A1 (zh) 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN114187579A (zh) 自动驾驶的目标检测方法、装置和计算机可读存储介质
CN113989755A (zh) 识别目标的方法、装置和计算可读存储介质
CN111950504B (zh) 车辆检测方法、装置以及电子设备
CN115950441B (zh) 自动驾驶车辆的融合定位方法、装置及电子设备
CN113538546B (zh) 用于自动驾驶的目标检测方法、装置及设备
CN114897987B (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN113465615B (zh) 车道线的生成方法及相关装置
CN115761668A (zh) 摄像头的污渍识别方法、装置、车辆及存储介质
CN112835063B (zh) 物体动静属性的确定方法、装置、设备及存储介质
CN114331848A (zh) 视频图像拼接方法、装置及设备
CN114066958A (zh) 目标的深度信息预测方法和装置、电子设备和存储介质
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
CN114049394A (zh) 一种单目测距方法、装置、设备及存储介质
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN113763483B (zh) 行车记录仪俯仰角标定方法及装置
JP7452374B2 (ja) 物体検知装置および物体検知プログラム
CN113408509B (zh) 用于自动驾驶的标识牌识别方法及装置
CN115995163B (zh) 一种车辆碰撞预警方法及系统
CN114018215A (zh) 基于语义分割的单目测距方法、装置、设备及存储介质
US20230386222A1 (en) Method for detecting three-dimensional objects in roadway and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant