CN111950504B - 车辆检测方法、装置以及电子设备 - Google Patents
车辆检测方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111950504B CN111950504B CN202010854974.1A CN202010854974A CN111950504B CN 111950504 B CN111950504 B CN 111950504B CN 202010854974 A CN202010854974 A CN 202010854974A CN 111950504 B CN111950504 B CN 111950504B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- target vehicle
- key point
- block diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000010586 diagram Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种车辆检测方法、装置以及电子设备，涉及图像识别技术领域，缓解了难以测出其他车辆行驶方向的技术问题。该方法包括：获取相机采集到的车辆图像；对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像；结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点；基于所述单车车轮接地关键点计算所述目标车辆的航向角。
Description
技术领域
本申请涉及图像识别技术领域，尤其是涉及一种车辆检测方法、装置以及电子设备。
背景技术
在车辆行驶过程中，前方难免会出现其他车辆。在自动驾驶车辆的行驶过程中，自动驾驶车辆需要成功的避开这些其他车辆或减速停止，以避免与其他车辆发生摩擦、碰撞等情况。
但是，这些其他车辆大部分是移动状态，目前，自动驾驶车辆也难以测出其他车辆的行驶方向，导致自动驾驶车辆很容易与其他移动状态的车辆发生碰撞、摩擦等。
发明内容
本发明的目的在于提供一种车辆检测方法、装置以及电子设备，以缓解难以测出其他车辆行驶方向的技术问题。
第一方面，本申请实施例提供了一种车辆检测方法，所述方法包括：
获取相机采集到的车辆图像；
对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像；
结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点；
基于所述单车车轮接地关键点计算所述目标车辆的航向角。
在一个可能的实现中，所述对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图的步骤之后，还包括：
基于所述目标车辆的框图的尺寸和所述相机的内参进行计算，得到自身车辆与所述目标车辆之间的距离；
其中，所述自身车辆为设置有所述相机的车辆。
在一个可能的实现中，所述对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图的步骤，包括：
通过深度学习目标检测模型对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
其中，所述目标车辆与自身车辆在相同行驶方向车道上，所述自身车辆为设置有所述相机的车辆。
在一个可能的实现中，所述对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像的步骤，包括：
通过深度学习关键点检测模型对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像。
在一个可能的实现中，所述结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点的步骤，包括：
将所述目标车辆的框图转换为所述目标车辆的图框俯视图像；
将所述多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像；
将所述图框俯视图像和所述多车车轮接地关键点俯视图像进行比较，去除所述图框的子块以外的所述关键点，将多个所述关键点划分至所属的所述图框，得到所述目标车辆的单车车轮接地关键点。
在一个可能的实现中，所述目标车辆的框图为2D框图像。
在一个可能的实现中，所述相机为鱼眼相机和/或广角相机。
第二方面，提供了一种车辆检测装置，包括：
获取模块，用于获取相机采集到的车辆图像；
第一检测模块，用于对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
第二检测模块，用于对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像；
确定模块，用于结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点；
计算模块，用于基于所述单车车轮接地关键点计算所述目标车辆的航向角。
第三方面，本申请实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种车辆检测方法、装置以及电子设备，能够获取相机采集到的车辆图像，再对车辆图像进行目标车辆的检测从而得到目标车辆的框图，还能够对车辆图像进行关键点检测从而得到多车车轮接地关键点图像，然后，结合目标车辆的框图和多车车轮接地关键点图像以确定目标车辆的单车车轮接地关键点，最后便能够基于单车车轮接地关键点计算目标车辆的航向角，本方案中，通过将检测出的目标车辆的框图和检测出的多车车轮接地关键点图像结合，能够从多车车轮接地关键点图像中确定出目标车辆的单车车轮接地关键点，以便根据该单车车轮接地关键点计算目标车辆的航向角，实现了对移动状态的车辆也能够有效的得到其行驶方向，进而能够根据其行驶方向控制自身车辆，能够更有效的避免与这些移动状态车辆发生碰撞、摩擦等，缓解了难以测出其他车辆行驶方向的技术问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车辆检测方法的流程示意图；
图2为本申请实施例提供的车辆检测方法的另一流程示意图；
图3为本申请实施例提供的一种车辆检测装置的结构示意图；
图4为示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在车辆行驶过程中，前方难免会出现其他车辆。在自动驾驶车辆的行驶过程中，自动驾驶车辆要避开这些其他车辆或减速停止，以避免与其他车辆发生摩擦、碰撞等情况。
在实际应用中，除自身之外的其他车辆大部分是移动状态。目前，自身车辆也难以测出其他车辆的行驶方向，导致自动驾驶车辆很容易与其他移动状态的车辆发生碰撞、摩擦等。
基于此，本申请实施例提供了一种车辆检测方法、装置以及电子设备，通过该方法可以缓解难以测出其他车辆行驶方向的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一种车辆检测方法的流程示意图。如图1所示，该方法包括：
步骤S110，获取相机采集到的车辆图像。
其中，车辆图像由安装在自身车上的相机采集而得。例如，本步骤中，车辆检测系统可以从相机获取其采集到的车辆图像。
步骤S120，对车辆图像进行目标车辆的检测，得到目标车辆的框图。
本步骤中，对车辆图像进行目标车辆检测的过程也可以为基于车辆图像检测障碍车辆的过程。
步骤S130，对车辆图像进行关键点检测，得到多车车轮接地关键点图像。
其中，多车车轮接地关键点图像是包含全部车的车轮接地关键点的整体图像。需要说明的是，目标车辆检测的步骤和关键点检测的步骤可以并列进行。
步骤S140，结合目标车辆的框图和多车车轮接地关键点图像，确定目标车辆的单车车轮接地关键点。
需要说明的是，目标车辆的框图为步骤S120中得到的目标车辆框图；多车车轮接地关键点图像为步骤S130中得到的多车车轮接地关键点图像。
步骤S150，基于单车车轮接地关键点计算目标车辆的航向角。
本步骤中，车辆检测系统可以根据步骤S140中得到的目标车辆的单车车轮接地关键点的位置来计算该目标车辆的航向角。
本申请实施例中，车辆检测系统可以获取相机采集到的车辆图像，再对车辆图像进行目标车辆的检测从而得到目标车辆的框图，还能够对车辆图像进行关键点检测从而得到多车车轮接地关键点图像，然后，结合目标车辆的框图和多车车轮接地关键点图像以确定目标车辆的单车车轮接地关键点，最后便能够基于单车车轮接地关键点计算目标车辆的航向角。
通过将检测出的目标车辆的框图和检测出的多车车轮接地关键点图像结合，能够从多车车轮接地关键点图像中确定出目标车辆的单车车轮接地关键点，以便根据该单车车轮接地关键点计算目标车辆的航向角，实现了对移动状态的车辆也能够有效的得到其行驶方向，进而能够根据其行驶方向控制自身车辆，能够更有效的避免与这些移动状态车辆发生碰撞、摩擦等，缓解了难以测出其他车辆行驶方向的技术问题。
下面对上述步骤进行详细介绍。
在一些实施例中，步骤S110中的相机可以为任意类型的相机，获取到的车辆图像可以为多种不同种类的图像。作为一个示例，相机为鱼眼相机和/或广角相机。
在实际应用中，鱼眼相机相比普通的平面相机的各方面效果较差，而且平面相机的改进较为普遍而鱼眼相机的改进较少，本申请实施例可以限定主要是针对鱼眼相机的改进方法。因此，本申请实施例以上述相机为鱼眼相机为例进行说明。示例性的，如图2所示，车辆图像由安装在自身车上的鱼眼相机采集而得，车辆检测系统获取到的车辆图像为鱼眼相机采集而得的鱼眼图像。
在一些实施例中，步骤S120中的目标车辆的框图可以为2D框、3D框等多种形式的框图。作为一个示例，目标车辆的框图为2D框图像。如图2所示，通过2D框图像可以更加精确的框出图像中目标车辆的准确位置。
在一些实施例中，在步骤S120之后，该方法还可以包括以下步骤：
步骤a)，基于目标车辆的框图的尺寸和相机的内参进行计算，得到自身车辆与目标车辆之间的距离。
其中，自身车辆为设置有相机的车辆。在实际应用中，车辆检测系统根据车辆2D框的大小结合已有的相机内参，能够计算出目标车辆距离自身车辆的车距。本申请实施例中，如图2所示，最终能够输出得到目标车辆与自身车辆的车距以及目标车辆的航向角。
通过计算自身车辆与目标车辆之间的车距，能够结合目标车辆的航向角及与目标车辆的车距，以更加精确的控制自身车辆避免与移动状态的目标车辆发生碰撞、摩擦等。
在一些实施例中，车辆检测系统可以利用深度学习目标检测模型进行关键点目标车辆的检测，以充分利用深度学习来提高目标车辆的检测速度、效率以及精确度。作为一个示例，上述步骤S120可以包括如下步骤：
步骤b)，通过深度学习目标检测模型对车辆图像进行目标车辆的检测，得到目标车辆的框图。
其中，目标车辆与自身车辆在相同行驶方向车道上，自身车辆为设置有相机的车辆。即该深度学习目标检测模型不对与自身车辆相对方向的其他车辆进行检测，如对面的逆行车道，使得到的目标车辆框图(如2D框)中不包含与自身车辆相对方向的其他车辆，车辆航向角取值可以为0至180°。
本申请实施例中，如图2所示，车辆检测系统可以对鱼眼相机图像进行深度学习目标检测，从而更加快速高效的得到精确的目标车辆的框图。
在一些实施例中，车辆检测系统可以利用深度学习关键点检测模型进行多车车轮接地关键点的检测，以充分利用深度学习来提高关键点的检测速度、效率以及精确度。作为一个示例，上述步骤S130可以包括如下步骤：
步骤c)，通过深度学习关键点检测模型对车辆图像进行关键点检测，得到多车车轮接地关键点图像。
需要说明的是，关键点检测是一类给出图像上指定关键点的深度学习算法，本申请实施例中的深度学习关键点检测模型使用车轮接地点的关键点，每辆车有4个关键点，根据车的航向角不同，可见关键点为2个或3个。
通过深度学习关键点检测模型对车辆图像进行关键点检测，能够快速高效的得到更加精确的车轮接地点关键点图像。
在一些实施例中，如图2所示，车辆检测系统可以采用俯视图进行整体的车辆检测过程，以便于对车辆图像中车轮等关键部位的精确识别过程。作为一个示例，上述步骤S140可以包括如下步骤：
步骤d)，将目标车辆的框图转换为目标车辆的图框俯视图像；
步骤e)，将多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像；
步骤f)，将图框俯视图像和多车车轮接地关键点俯视图像进行比较，去除图框的子块以外的关键点，将多个关键点划分至所属的图框，得到目标车辆的单车车轮接地关键点。
对于上述步骤d)，如图2所示，车辆检测系统可以将目标车辆2D框叠加在初始的车辆图像上，以将目标车辆的框图转换为目标车辆的图框俯视图像，例如，将目标车辆的2D框图转换为2D框俯视图像。
对于上述步骤e)，如图2所示，车辆检测系统可以将多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像。
对于上述步骤f)，如图2所示，车辆检测系统可以将多车车轮接地关键点俯视图像与目标车辆的图框俯视图像(如2D框俯视图像)比较，去除2D框子块外的关键点(如噪点、目标车辆外其他车辆的车轮接地关键点)，对全部图像中多个车的车轮接地关键点划分其所属于的不同目标车辆(即目标车辆2D框)，得到目标车辆的单车车轮接地点关键点。
通过在整体上述过程中采用俯视图进行检测，相比普通的鱼眼图像的视角，俯视图的检测效果能够更加有效精确。
图3提供了一种车辆检测装置的结构示意图。如图3所示，车辆检测装置300包括：
获取模块301，用于获取相机采集到的车辆图像；
第一检测模块302，用于对车辆图像进行目标车辆的检测，得到目标车辆的框图；
第二检测模块303，用于对车辆图像进行关键点检测，得到多车车轮接地关键点图像；
确定模块304，用于结合目标车辆的框图和多车车轮接地关键点图像，确定目标车辆的单车车轮接地关键点；
计算模块305，用于基于单车车轮接地关键点计算目标车辆的航向角。
在一些实施例中，计算模块还用于在对车辆图像进行目标车辆的检测，得到目标车辆的框图之后，基于目标车辆的框图的尺寸和相机的内参进行计算，得到自身车辆与目标车辆之间的距离；
其中，自身车辆为设置有相机的车辆。
在一些实施例中，第一检测模块302具体用于：
通过深度学习目标检测模型对车辆图像进行目标车辆的检测，得到目标车辆的框图；
其中，目标车辆与自身车辆在相同行驶方向车道上，自身车辆为设置有相机的车辆。
在一些实施例中，第二检测模块303具体用于：
通过深度学习关键点检测模型对车辆图像进行关键点检测，得到多车车轮接地关键点图像。
在一些实施例中，确定模块304具体用于：
将目标车辆的框图转换为目标车辆的图框俯视图像；
将多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像；
将图框俯视图像和多车车轮接地关键点俯视图像进行比较，去除图框的子块以外的关键点，将多个关键点划分至所属的图框，得到目标车辆的单车车轮接地关键点。
在一些实施例中，目标车辆的框图为2D框图像。
在一些实施例中，相机为鱼眼相机和/或广角相机。
本申请实施例提供的车辆检测装置，与上述实施例提供的车辆检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图4所示，本申请实施例提供的一种电子设备400，包括：处理器401、存储器402和总线，所述存储器402存储有所述处理器401可执行的机器可读指令，当电子设备运行时，所述处理器401与所述存储器402之间通过总线通信，所述处理器401执行所述机器可读指令，以执行如上述车辆检测方法的步骤。
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述车辆检测方法。
处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备，与上述实施例提供的车辆检测方法及装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
对应于上述车辆检测方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述车辆检测方法的步骤。
本申请实施例所提供的车辆检测装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
再例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述车辆检测方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种车辆检测方法，其特征在于，所述方法包括：
获取相机采集到的车辆图像；
对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像；
结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点；
基于所述单车车轮接地关键点计算所述目标车辆的航向角；
所述结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点的步骤，包括：
将所述目标车辆的框图转换为所述目标车辆的图框俯视图像；
将所述多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像；
将所述图框俯视图像和所述多车车轮接地关键点俯视图像进行比较，去除所述图框的子块以外的所述关键点，将多个所述关键点划分至所属的所述图框，得到所述目标车辆的单车车轮接地关键点。
2.根据权利要求1所述的车辆检测方法，其特征在于，所述对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图的步骤之后，还包括：
基于所述目标车辆的框图的尺寸和所述相机的内参进行计算，得到自身车辆与所述目标车辆之间的距离；
其中，所述自身车辆为设置有所述相机的车辆。
3.根据权利要求1所述的车辆检测方法，其特征在于，所述对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图的步骤，包括：
通过深度学习目标检测模型对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
其中，所述目标车辆与自身车辆在相同行驶方向车道上，所述自身车辆为设置有所述相机的车辆。
4.根据权利要求1所述的车辆检测方法，其特征在于，所述对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像的步骤，包括：
通过深度学习关键点检测模型对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像。
5.根据权利要求1至4任一项所述的车辆检测方法，其特征在于，所述目标车辆的框图为2D框图像。
6.根据权利要求1至4任一项所述的车辆检测方法，其特征在于，所述相机为鱼眼相机和/或广角相机。
7.一种车辆检测装置，其特征在于，包括：
获取模块，用于获取相机采集到的车辆图像；
第一检测模块，用于对所述车辆图像进行目标车辆的检测，得到所述目标车辆的框图；
第二检测模块，用于对所述车辆图像进行关键点检测，得到多车车轮接地关键点图像；
确定模块，用于结合所述目标车辆的框图和所述多车车轮接地关键点图像，确定所述目标车辆的单车车轮接地关键点；
计算模块，用于基于所述单车车轮接地关键点计算所述目标车辆的航向角；
确定模块具体用于：
将目标车辆的框图转换为目标车辆的图框俯视图像；
将多车车轮接地关键点图像转换为多车车轮接地关键点俯视图像；
将图框俯视图像和多车车轮接地关键点俯视图像进行比较，去除图框的子块以外的关键点，将多个关键点划分至所属的图框，得到目标车辆的单车车轮接地关键点。
8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010854974.1A CN111950504B (zh) | 2020-08-21 | 2020-08-21 | 车辆检测方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010854974.1A CN111950504B (zh) | 2020-08-21 | 2020-08-21 | 车辆检测方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950504A CN111950504A (zh) | 2020-11-17 |
| CN111950504B true CN111950504B (zh) | 2024-04-16 |
Family
ID=73360063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010854974.1A Active CN111950504B (zh) | 2020-08-21 | 2020-08-21 | 车辆检测方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950504B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767412B (zh) * | 2020-12-31 | 2024-04-12 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN112861683A (zh) * | 2021-01-29 | 2021-05-28 | 上海商汤临港智能科技有限公司 | 一种行驶朝向检测方法、装置、计算机设备及存储介质 |
| CN114705121B (zh) * | 2022-03-29 | 2024-05-14 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101479568A (zh) * | 2006-06-27 | 2009-07-08 | 宝克E.博特机械公司 | 用于确定物体定向,例如车轮对准的装置及方法 |
| FR2935520A1 (fr) * | 2008-08-29 | 2010-03-05 | Valeo Vision Sas | Procede de detection d'un objet cible pour vehicule automobile |
| CN108803607A (zh) * | 2018-06-08 | 2018-11-13 | 北京领骏科技有限公司 | 一种用于自动驾驶的多功能仿真系统 |
| CN110176151A (zh) * | 2019-06-17 | 2019-08-27 | 北京精英路通科技有限公司 | 一种确定停车行为的方法、装置、介质及设备 |
| CN110210363A (zh) * | 2019-05-27 | 2019-09-06 | 中国科学技术大学 | 一种基于车载图像的目标车辆压线检测方法 |
| CN110264520A (zh) * | 2019-06-14 | 2019-09-20 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
| JP2019211943A (ja) * | 2018-06-04 | 2019-12-12 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| CN110962844A (zh) * | 2019-10-28 | 2020-04-07 | 纵目科技（上海）股份有限公司 | 一种车辆航向角修正方法及系统、存储介质及终端 |
| CN111102978A (zh) * | 2019-12-05 | 2020-05-05 | 深兰科技（上海）有限公司 | 一种车辆运动状态确定的方法、装置及电子设备 |
| CN111290407A (zh) * | 2020-03-30 | 2020-06-16 | 新石器慧通（北京）科技有限公司 | 自动驾驶车辆及其转向调节方法 |
| CN111460852A (zh) * | 2019-01-18 | 2020-07-28 | 上海欧菲智能车联科技有限公司 | 车载3d目标检测方法、系统及装置 |
| CN111491093A (zh) * | 2019-01-26 | 2020-08-04 | 初速度（苏州）科技有限公司 | 一种摄像头视场角的调整方法和装置 |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
-
2020
- 2020-08-21 CN CN202010854974.1A patent/CN111950504B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101479568A (zh) * | 2006-06-27 | 2009-07-08 | 宝克E.博特机械公司 | 用于确定物体定向,例如车轮对准的装置及方法 |
| FR2935520A1 (fr) * | 2008-08-29 | 2010-03-05 | Valeo Vision Sas | Procede de detection d'un objet cible pour vehicule automobile |
| JP2019211943A (ja) * | 2018-06-04 | 2019-12-12 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| CN108803607A (zh) * | 2018-06-08 | 2018-11-13 | 北京领骏科技有限公司 | 一种用于自动驾驶的多功能仿真系统 |
| CN111460852A (zh) * | 2019-01-18 | 2020-07-28 | 上海欧菲智能车联科技有限公司 | 车载3d目标检测方法、系统及装置 |
| CN111491093A (zh) * | 2019-01-26 | 2020-08-04 | 初速度（苏州）科技有限公司 | 一种摄像头视场角的调整方法和装置 |
| CN111497833A (zh) * | 2019-01-30 | 2020-08-07 | 株式会社万都 | 驾驶员辅助系统及其控制方法 |
| CN110210363A (zh) * | 2019-05-27 | 2019-09-06 | 中国科学技术大学 | 一种基于车载图像的目标车辆压线检测方法 |
| CN110264520A (zh) * | 2019-06-14 | 2019-09-20 | 北京百度网讯科技有限公司 | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 |
| CN110176151A (zh) * | 2019-06-17 | 2019-08-27 | 北京精英路通科技有限公司 | 一种确定停车行为的方法、装置、介质及设备 |
| CN110962844A (zh) * | 2019-10-28 | 2020-04-07 | 纵目科技（上海）股份有限公司 | 一种车辆航向角修正方法及系统、存储介质及终端 |
| CN111102978A (zh) * | 2019-12-05 | 2020-05-05 | 深兰科技（上海）有限公司 | 一种车辆运动状态确定的方法、装置及电子设备 |
| CN111290407A (zh) * | 2020-03-30 | 2020-06-16 | 新石器慧通（北京）科技有限公司 | 自动驾驶车辆及其转向调节方法 |
Non-Patent Citations (4)
| Title |
|---|
| Design and development of a heading angle controller for an unmanned ground vehicle;S. Sahoo等;International Journal of Automotive Technology;第16卷;27-37 * |
| Lidar-IMU and wheel odometer based autonomous vehicle localization system;Shaojiang Zhang等;2019 Chinese Control And Decision Conference (CCDC);4950-4955 * |
| 自动驾驶发展与关键技术综述;王金强等;电子技术应用;第45卷(第06期);28-36 * |
| 超视界路况下网联汽车的辅助驾驶方法;张洪昌;中国机械工程;第31卷(第14期);1666-1671 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950504A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950504B (zh) | 车辆检测方法、装置以及电子设备 | |
| JP6670071B2 (ja) | 車両用画像認識システム、及び対応法 | |
| US20180018528A1 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
| CN110472580B (zh) | 基于全景影像的检测车位的方法、装置、存储介质 | |
| WO2013121357A1 (en) | Time to collision using a camera | |
| TWI504858B (zh) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
| Unger et al. | Parking assistance using dense motion-stereo: Real-time parking slot detection, collision warning and augmented parking | |
| CN114705121B (zh) | 车辆位姿测量方法、装置及电子设备、存储介质 | |
| CN107909007B (zh) | 车道线检测方法及装置 | |
| CN107004137B (zh) | 用于目标检测的系统和方法 | |
| US20180005055A1 (en) | Moving object detection method in dynamic scene using monocular camera | |
| CN112598743A (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| CN112529935B (zh) | 目标车辆运动状态识别方法及装置 | |
| CN112837384B (zh) | 车辆标记方法、装置和电子设备 | |
| CN112767412B (zh) | 车辆部件级分割方法、装置以及电子设备 | |
| CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
| CN113822260A (zh) | 基于深度图像的障碍物检测方法及装置、电子设备、介质 | |
| CN111950501B (zh) | 障碍物检测方法、装置以及电子设备 | |
| CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN107255470B (zh) | 障碍物检测装置 | |
| KR101912085B1 (ko) | 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치 | |
| JP6055307B2 (ja) | 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム | |
| KR101437743B1 (ko) | 실시간 차선 위치 감지 시스템 및 방법, 이를 이용한 차량용 네비게이션 및 블랙박스 장치 | |
| CN111950502B (zh) | 基于障碍对象的检测方法、装置及计算机设备 | |
| KR20210027861A (ko) | 보행자 인식 방법 및 이를 적용한 임베디드 구조 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |