CN110969064B - 一种基于单目视觉的图像检测方法、装置及存储设备 - Google Patents

一种基于单目视觉的图像检测方法、装置及存储设备 Download PDF

Info

Publication number
CN110969064B
CN110969064B CN201811158989.3A CN201811158989A CN110969064B CN 110969064 B CN110969064 B CN 110969064B CN 201811158989 A CN201811158989 A CN 201811158989A CN 110969064 B CN110969064 B CN 110969064B
Authority
CN
China
Prior art keywords
vehicle
image
monocular vision
dimensional
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811158989.3A
Other languages
English (en)
Other versions
CN110969064A (zh
Inventor
刘树明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN201811158989.3A priority Critical patent/CN110969064B/zh
Publication of CN110969064A publication Critical patent/CN110969064A/zh
Application granted granted Critical
Publication of CN110969064B publication Critical patent/CN110969064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于单目视觉的图像检测方法、装置及存储设备，该方法包括：利用输出为车辆类型的第一神经网络模型获得基于单目视觉的图像中车辆的类型；根据获得的车辆的类型，利用输出为三维尺寸偏差的第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差；根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标。本申请能够取得的有益效果在于，获得目标车辆的3D深度信息，可以为驾驶的车辆提供更多的周围环境的信息，以便驾驶的车辆更加快速的做出判断。

Description

一种基于单目视觉的图像检测方法、装置及存储设备
技术领域
本申请涉及人工智能、自动驾驶领域，尤其是涉及一种基于单目视觉的图像检测方法、装置及存储设备。
背景技术
对于自动驾驶的汽车来说，理解周围交通场景是至关重要的。现有技术中，大家都是基于2D图像进行车辆的检测与识别，使用深度学习与机器学习的方法来进行车辆的识别和定位。通过对图像中的车辆进行标注，获得车辆在图像像素坐标系中的位置，生成label(标签)。通过大量标注的图像信息(即训练集)，运用深度学习的方法，使用神经网络进行训练得到最终的模型。在检测时，使用训练好的模型来对待检测图片进行检测，获得图片中的目标类别以及其位置信息。现有基于图像的车辆识别与检测，只能检测出车辆在图像中的位置，即车辆在像素坐标系中的位置，而对于自动驾驶来说，仅确定车辆在图像中的位置是不够的，更需要获取车辆在相机中的位置、车辆的尺寸以及其姿态，这些信息对于自动驾驶的车辆来说是至关重要的。现在的方法并没有基于2D图像的车辆检测来获取车的尺寸和位姿信息，更多的是采用双目视觉或其他的三维视觉方法来获得。本发明解决了基于单目视觉在2D车辆检测的基础上，获得车辆的尺寸、位姿信息的问题。
发明内容
本申请实施例提供一种基于单目视觉的图像检测方法、装置及存储设备。解决了基于单目视觉在2D车辆检测的基础上，获得车辆的尺寸、位姿信息的问题。
本申请提供了一种基于单目视觉的图像检测方法，该方法包括：
利用输出为车辆类型的第一神经网络模型获得基于单目视觉的图像中车辆的类型；
根据获得的车辆的类型，利用输出为三维尺寸偏差的第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差；
根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标。
本申请还提供了一种辅助驾驶系统，所述辅助驾驶系统通过所述的基于单目视觉的图像检测方法获取到车辆距离摄像机的距离，用于车道保持、自动泊车、刹车和倒车中的至少一者。
本申请还提供了一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现基于单目视觉的图像检测方法。
本申请还提供了一种基于单目视觉的图像检测装置，该装置包括：
存储设备，用于存储程序数据；
处理器，用于执行所述存储设备中的程序数据以实现基于单目视觉的图像检测方法。
与现有技术相比，本申请能够取得的有益效果在于，单目图像获得目标车辆的3D深度信息，可以为驾驶的车辆提供更多的周围环境的信息，以便驾驶的车辆更加快速的做出判断。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请提供的一种基于单目视觉的图像检测方法实施例的流程示意图；
图2为本申请提供的一种基于单目视觉的图像检测方法实施例以车辆底部中央为原点建立的世界坐标系；
图3为本申请提供的一种基于单目视觉的图像检测方法实施例中车辆在图像中的3D框；
图4为本申请提供的一种基于单目视觉的图像检测方法实施例的流程示意图；
图5为本申请提供的一种基于单目视觉的图像检测装置实施例的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的一种基于单目视觉的图像检测方法实施例的流程示意图，该流程示意图包括：
步骤105，利用输出为车辆类型的第一神经网络模型获得基于单目视觉的图像中车辆的类型；
对于汽车类型的识别可以基于神经网络模型来实现。神经网络模型得到了广泛的研究和应用，已经有一些比较成熟的产品，ResNet-101神经网络模型、VGG16神经网络模型等。在实际使用的过程中，可以根据预测的参数对这些成熟的神经网络模型进行适应性的修改，以符合设计的需要。在本实施例中，对图像中的车辆进行标注，获得车辆类型；将类型作为训练数据的标签值；按照需要输出的数据对神经网络输出层进行适应性地修改，使其输出为车辆类型；将图像与标签值同时输入设计和修改后的神经网络中进行训练，得到第一神经网络模型，可以用在行进的车辆上实时对图像进行处理。可选地，还可以将车辆在图像像素坐标系中的位置进行标注作为训练数据的标签，对神经网络输出层进行适应性地修改，使其输出为车辆在图像像素坐标系中的位置，并利用标注的数据和原始的图像进行训练，得到第四神经网络模型。
例如，一辆自动驾驶车辆A行驶在公路上，车辆A前端带有车载摄像头。车辆A的前方有一辆车辆B。车辆A上的车载摄像头对车辆B实时拍照。将拍摄的车辆B照片图像输入到第一神经网络模型中，得到车辆B的类型为汽车。
可选地，在本实施例中，修改神经网络的输出层，使其输出为车辆的二维坐标，得到第四神经网络模型。进一步地，通过第四神经网络模型得到车辆B在图像像素坐标系中的二维坐标(车辆B在图像中的2D框的四个顶点在图像像素坐标系中的2D坐标)。车辆B在图像像素坐标系中的二维坐标可用于计算车辆B在摄像机坐标系下的位置T
步骤110，根据获得的车辆的类型，利用输出为三维尺寸偏差的第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差；
在本实施例中，对图像中的车辆尺寸信息进行标注，获得车辆的三维尺寸[h,w,l]；分别统计不同类型车辆的三维尺寸[h,w,l]的均值；计算各类型车辆的三维尺寸与均值之间的偏差，将此偏差作为训练数据的标签值；按照需要输出的数据对神经网络输出层进行适应性地修改，使其输出为三维尺寸偏差；将图像与标签值同时输入设计和修改后的神经网络中进行训练，得到第二神经网络模型。以设计和修改卷积神经网络VGG16结构为例，修改FC层，使其输出为三个偏差，损失函数使用L2损失；将图像进行预处理，裁剪成224X224大小；将预处理后的图像与标签值同时输入设计和修改后的卷积神经网络VGG16中进行训练，获得第二神经网络模型。真实尺寸(三维尺寸)值比较大，在模型训练的过程中，会引起梯度爆炸，模型不能收敛。偏差值较小可以快速的收敛，因此选取偏差值作为模型训练的输入。
进一步地，将拍摄的汽车B照片图像输入到第二神经网络模型，得到汽车B长、宽、高对应的三个偏差值。
步骤115，根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标。
可选地，预先设置的该类型车辆的数据包括该类型车辆的三维尺寸均值。
可选地，根据所述车辆的三维尺寸偏差以及该类型车辆的三维尺寸均值获得所述车辆的三维尺寸；以所述车辆底部中央为原点，建立世界坐标系，如图2所示，获得所述车辆在世界坐标系的三维坐标。
进一步地，将汽车B长、宽、高对应的三个偏差值与汽车B所属类型的长、宽、高的均值相加得到汽车B的三维尺寸；在已获取汽车B的三维尺寸的情况下，以汽车B底部中央为原点，原点坐标为(x0,y0,z0)，建立汽车B的世界坐标系，则可获得八个顶点的三维坐标。
在本实施例中，对图像中的车辆朝向角度信息进行标注，获得车辆的旋转角度；将标注的旋转角度作为训练数据的标签值；设计和修改神经网络ResNet-101结构的输出层，使其输出为角度值；将图像进行预处理，裁剪成224X224大小；将预处理后的图像与标签值同时输入设计和修改后的卷积神经网络ResNet-101中进行训练，获得第三神经网络模型。
在训练第三神经网络模型时，将连续的角度[0°，360°]离散化，进行8等分，即若以0°为起始角度时，8等分的角度为[0°、45°、90°、135°、180°、225°、270°、315°、360°]。为了能够更精确的获得汽车的角度值，采用不同的起始角度来进行训练。采用9个不同的起始角度值，即0°、5°、10°、15°、20°、25°、30°、35°、40°。因此，角度的分类任务可以分为9个不同起始角度值的分类任务，每个分类任务包含8类子分类任务，共72个分类任务。在进行训练时，可以将起始角度值0°、5°、10°、15°、20°、25°、30°、35°、40°与等分后角度范围的起始角度0°、45°、90°、135°、180°、225°、270°、315°分别相加，在每个等分为45度的角度区间内训练，可以形成72个分类任务。
可选地，将拍摄的汽车B照片图像输入到第三神经网络模型，得到汽车B的旋转角度。具体而言，可以通过如下步骤实现：
利用第三神经网络模型预测汽车B的待测旋转角度与各个角度范围之间的概率值；
将概率值与第三神经网络模型的核函数相乘得到各个旋转角度；
将各个旋转角度中的最大值作为基于单目视觉的图像中车辆的旋转角度。
使用第三神经网络模型时，由于存在72个角度范围，可以计算出72个概率值，计算概率值与核函数的乘积作为角度值，取最大的角度值作为汽车B的旋转角度。根据汽车B的旋转角度计算汽车B在摄像机坐标系下的位置T
在本实施例中，将连续角度离散化，将其做为分类任务，能够提高预测的精度。
可选地，根据以下公式计算车辆在摄像机坐标系下的位置T(位置T坐标为(x1,y1,z1))：
x＝K[RT]X0；
其中，x为图像中汽车B的二维坐标，K为预置的相机内参矩阵，R为汽车B的旋转角度构成的旋转矩阵，X0为汽车B在世界坐标系的三维坐标。其中图像中汽车B的二维坐标可以在对车辆类型进行预测时，同时实现对车辆二维坐标的预测。
在本实施例中，根据汽车B在摄像机坐标系下的位置T坐标(x1,y1,z1)以及世界坐标系的原点坐标(x0,y0,z0)得到汽车B距离摄像机的距离。根据汽车B距离摄像机的距离进行自动驾驶。车辆A可以根据这个距离更加快速地做出判断，确定是否有必要采取紧急制动措施。
与现有技术相比，本实施例能够取得的有益效果在于，通过一个摄像头即可得到周围行驶的汽车的尺寸、位置信息，以便车辆行驶时，更加快速地做出判断。
图4为本申请提供的一种基于单目视觉的图像检测方法实施例的流程示意图，该流程示意图包括：
步骤405，获取待检测图像；
步骤410，2D模型检测图像中的车辆，获得车辆的2D坐标；
步骤415，3D模型尺寸预测，获得车辆的真实尺寸；
步骤420，3D模型角度预测，获得车辆的旋转角度；
步骤425，计算车辆在摄像机坐标系下的位置；
步骤430，通过投影变换，将车辆在摄像机坐标系下的位置映射到2D图像中，获得3D框。
在现实世界中，3D目标的固有属性包括6个自由度的位姿以及尺寸，这些信息对于自动驾驶的车辆来说至关重要。目前，大多数的目标检测与识别都是基于2D图像来实施的，而且目前的2D目标检测方法比较成熟，能够更好的利用现有的2D目标检测方法来实现对3D目标的位姿和尺寸的估计，更好的为自动驾驶的车辆提供更多的信息。
首先，为了能够获得3D目标的真实尺寸，即待检测车辆的长、宽、高，通过卷积神经网络(Convolutional Neural Networks,CNNs)的方法来获取。针对特定类别的车辆，如汽车(cars)，卡车(trucks)，客车(buses)等，其实际尺寸满足低方差单峰分布。设计和修改卷积神经网络结构，如VGG16等，损失函数使用L2loss。在准备训练数据的标签时，统计目标的真实尺寸并统计其均值和方差，计算真实尺寸与均值之间的偏差，将此偏差作为训练数据的标签。
为了预测汽车的三维尺寸，首先是采取图像，然后对图像中车辆的尺寸信息进行标注，获得车辆的三维尺寸[h,w,l]，然后分别统计[h,w,l]的均值，计算各车辆尺寸与均值之间的偏差(即：相减得到的数值)，将此偏差作为训练数据的标签值。设计网络结构，如VGG16，修改FC层，使其输出个数为三个，损失函数使用L2损失，将图片进行预处理，如裁剪成224X224大小，将图片与标签同时输入网络中进行训练，获得预测车辆尺寸的网络模型，即步骤415中的3D模型。
其次，预测3D目标在摄像机坐标系下的姿态，即待检测车辆的旋转角度。针对待检测车辆的旋转角度，增加几何约束来更准确的预测车辆的角度：(1)待检测车辆始终在路面之上，约束待检测车辆的俯仰、翻滚两个自由度；(2)待检测车辆始终是直立的，符合现实世界车辆的姿态。在预测车辆的角度的时候，因为角度是连续的，不便于直接预测，所以将连续的角度离散化，将连续的角度([0°，360°])分别以5°为起始角度8等分，即(0°、45°、90°、…、315°)，(5°、50°、95°、…、320°)，…,(40°、85°、130°、…、355°)。这就将预测连续角度的任务分为8个独立的分类的任务。同样使用卷积神经网络的结构，如ResNet-101，修改最后的输出层，使其输出为8个。使用准备好的训练数据进行训练获得最终的预测模型。
同样是标注图像中车辆的朝向角度，将标注的角度作为标签值，输入网络中进行训练，获得预测角度的网络模型，即步骤420中的3D模型。
最后，计算3D目标在摄像机坐标系下的位置，即检测车辆在摄像机坐标系下的三维坐标。通过上述方法对待检测车辆的真实尺寸以及旋转角度的预测，获得待检测车辆的尺寸、角度，通过透射投影变换以及待检测车辆在图像中的2D坐标，计算得到车辆在摄像机坐标系下的三维坐标。透射投影变换矩阵：
x＝K[RT]X0
其中，x为2D图像中的坐标，K为预置的相机内参矩阵，[R T]为预测的待检测车辆的角度R和在摄像机坐标系下的位置，X0为三维坐标。
根据透射投影变换矩阵：x＝K[RT]X0，当一张图片输入进来的时候，经过尺寸网络模型进行预测，产生汽车的尺寸偏差值，然后将此偏差值与统计得到的汽车尺寸均值相加即得到该汽车的尺寸值，建立汽车的坐标系，如下图所示，坐标系远点在汽车底部中央，则可获得八个定点的三维坐标，如1点X1＝(x1,0,z1)，汽车尺寸值即可得到8个顶点的三维坐标值。
同样，经过角度预测的网络模型，可以输出汽车的角度值。根据透射投影变换矩阵可以构建线性方程组，求得T，即汽车的位置，即步骤425。
最终即可获得汽车的尺寸、位置、姿态。
为了能够在图片中更好的显示，将3D框画到图像中，如图3所示，即步骤430。
进一步地，可以直接设计网络，如将汽车在图像中的坐标以及其3D固有属性值作为模型训练的标签值，然后进行训练。最终就是输入一张图片即可获得汽车2D坐标值，也可获得3D坐标值。网络模型的设计，可以使用现在比较流行的网络结构，如VGG，ResNet等。
在本实施例中，公路上自动驾驶车辆A上的前方车载摄像头实时对前方车辆B进行拍照，获取到步骤405中的待检测图像；待检测图像输入到2D模型中，获得到车辆B在图像像素坐标系中的2D坐标，即步骤410；待检测图像输入到3D模型中，得到车辆B的真实尺寸，即步骤415；待检测图像输入到3D模型中，得到车辆B的旋转角度，即步骤420；以车辆B底部中央为原点，原点坐标为(x0,y0,z0)，建立车辆B的世界坐标系，根据车辆B的真实尺寸，获得八个顶点的三维坐标；根据公式x＝K[RT]X0得到车辆B在摄像机坐标系下的位置T，坐标为(x1,y1,z1)，其中，x为图像中车辆B的二维坐标，K为预置的相机内参矩阵，R为车辆B的旋转角度构成的旋转矩阵，X0为车辆B在世界坐标系的三维坐标，即步骤425；根据车辆B在摄像机坐标系下的位置T坐标(x1,y1,z1)以及世界坐标系的原点坐标(x0,y0,z0)得到车辆B距离摄像机的距离；通过投影变换，将车辆B在摄像机坐标系下的位置映射到2D图像中，获得3D框，如图3所示。
与现有技术相比，本实施例能够取得的有益效果在于，通过一个摄像头即可得到周围行驶的汽车的尺寸、位置信息，以便车辆行驶时，更加快速地做出判断。
本申请还提供了一种辅助驾驶系统，所述辅助驾驶系统通过所述的基于单目视觉的图像检测方法获取到车辆距离摄像机的距离，用于车道保持、自动泊车、刹车和倒车中的至少一者。
本申请还提供了一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时，实现利用输出为车辆类型的第一神经网络模型获得基于单目视觉的图像中车辆的类型；根据获得的车辆的类型，利用输出为三维尺寸偏差的第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差；根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标。
图5为本申请提供的一种基于单目视觉的图像检测装置实施例的结构示意图，该结构示意图包括：存储设备505和处理器510；
所述存储设备505，用于存储程序数据；
所述处理器510，用于执行所述存储设备中的程序数据以实现利用输出为车辆类型的第一神经网络模型获得基于单目视觉的图像中车辆的类型；根据获得的车辆的类型，利用输出为三维尺寸偏差的第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差；根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标。
与现有技术相比，本实施例能够取得的有益效果在于，通过一个摄像头即可得到周围行驶的汽车的尺寸、位置信息，以便车辆行驶时，更加快速地做出判断。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于单目视觉的图像检测方法，其特征在于，该方法包括：
将车辆照片图像输入到第一神经网络模型中，利用输出为车辆类型的所述第一神经网络模型获得基于单目视觉的图像中车辆的类型；
将所述车辆照片图像输入到第二神经网络模型中，根据获得的车辆的类型，利用输出为三维尺寸偏差的所述第二神经网络模型获得基于单目视觉的图像中车辆的三维尺寸偏差，所述车辆的三维尺寸偏差包括：所述车辆的三维尺寸与所述车辆的对应类型车辆的三维尺寸均值之间的偏差；
根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标；所述预先设置的该类型车辆的数据包括该类型车辆的三维尺寸均值。
2.根据权利要求1所述的基于单目视觉的图像检测方法，其特征在于，所述根据所述车辆的三维尺寸偏差以及预先设置的该类型车辆的数据获得所述图像中车辆在世界坐标系的三维坐标包括：根据所述车辆的三维尺寸偏差以及该类型车辆的三维尺寸均值获得所述车辆在世界坐标系的三维坐标。
3.根据权利要求2所述的基于单目视觉的图像检测方法，其特征在于，所述根据所述车辆的三维尺寸偏差以及该类型车辆的三维尺寸均值获得所述车辆在世界坐标系的三维坐标包括：
根据所述车辆的三维尺寸偏差以及该类型车辆的三维尺寸均值获得所述车辆的三维尺寸；
以所述车辆底部中央为原点，建立世界坐标系，获得所述车辆在世界坐标系的三维坐标。
4.根据权利要求3所述的基于单目视觉的图像检测方法，其特征在于，该方法还包括：
将车辆照片图像输入到第三神经网络模型中，利用输出为旋转角度的所述第三神经网络模型获得基于单目视觉的图像中车辆的旋转角度；
将车辆照片图像输入到第四神经网络模型中，利用输出为车辆的二维坐标的所述第四神经网络模型获得所述图像中车辆的二维坐标；
根据所述图像中车辆的二维坐标、所述图像中车辆在世界坐标系的三维坐标、所述图像中车辆的旋转角度以及预置的相机内参矩阵计算所述车辆在摄像机坐标系下的位置T。
5.根据权利要求4所述的基于单目视觉的图像检测方法，其特征在于，所述将车辆照片图像输入到第三神经网络模型中，利用输出为旋转角度的第三神经网络模型获得基于单目视觉的图像中车辆的旋转角度包括：
利用所述第三神经网络模型预测车辆的待测旋转角度与各个角度范围之间的概率值；
将所述概率值与所述第三神经网络模型的核函数相乘得到各个旋转角度；
将所述各个旋转角度中的最大值作为所述图像中车辆的旋转角度。
6.根据权利要求5所述的基于单目视觉的图像检测方法，其特征在于，所述计算所述车辆在摄像机坐标系下的位置T包括：
根据以下公式计算所述车辆在摄像机坐标系下的位置T：
；
其中，x 为所述图像中车辆的二维坐标，K为预置的相机内参矩阵，R为所述车辆的旋转角度构成的旋转矩阵，为所述车辆在世界坐标系的三维坐标。
7.根据权利要求6所述的基于单目视觉的图像检测方法，其特征在于，所述方法还包括：根据所述车辆在摄像机坐标系下的位置T以及世界坐标系的原点得到所述车辆距离摄像机的距离。
8.一种辅助驾驶系统，其特征在于，所述辅助驾驶系统通过权利要求7所述的基于单目视觉的图像检测方法获取到车辆距离摄像机的距离，用于车道保持、自动泊车、刹车和倒车中的至少一者。
9.一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-7中任一项所述的基于单目视觉的图像检测方法。
10.一种基于单目视觉的图像检测装置，其特征在于，该装置包括：
存储设备，用于存储程序数据；
处理器，用于执行所述存储设备中的程序数据以实现权利要求1-7任一项所述的基于单目视觉的图像检测方法。
CN201811158989.3A 2018-09-30 2018-09-30 一种基于单目视觉的图像检测方法、装置及存储设备 Active CN110969064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811158989.3A CN110969064B (zh) 2018-09-30 2018-09-30 一种基于单目视觉的图像检测方法、装置及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811158989.3A CN110969064B (zh) 2018-09-30 2018-09-30 一种基于单目视觉的图像检测方法、装置及存储设备

Publications (2)

Publication Number Publication Date
CN110969064A CN110969064A (zh) 2020-04-07
CN110969064B true CN110969064B (zh) 2023-10-27

Family

ID=70029269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158989.3A Active CN110969064B (zh) 2018-09-30 2018-09-30 一种基于单目视觉的图像检测方法、装置及存储设备

Country Status (1)

Country Link
CN (1) CN110969064B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612753B (zh) 2020-05-15 2021-08-06 北京百度网讯科技有限公司 三维物体检测方法、装置、电子设备和可读存储介质
CN114078247A (zh) * 2020-08-12 2022-02-22 华为技术有限公司 目标检测方法及装置
CN112102408A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 单目视觉的尺度修正方法、装置及自动驾驶汽车
CN112183241A (zh) * 2020-09-11 2021-01-05 北京罗克维尔斯科技有限公司 基于单目图像的目标检测方法和装置
CN111932904B (zh) * 2020-10-12 2021-01-08 浙江创泰科技有限公司 一种规范停车检测方法及系统
CN112241718A (zh) 2020-10-23 2021-01-19 北京百度网讯科技有限公司 车辆信息的检测方法、检测模型的训练方法和装置
CN112733697B (zh) * 2021-01-04 2022-05-13 广州小鹏自动驾驶科技有限公司 一种车辆偏航角确定方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
WO2012001709A2 (en) * 2010-06-30 2012-01-05 Tata Consultancy Services Limited Automatic detection of moving object by using stereo vision technique
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
JP2013024662A (ja) * 2011-07-19 2013-02-04 Toyota Infotechnology Center Co Ltd ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204102A (ja) * 2007-02-19 2008-09-04 Yokohama National Univ 画像処理システム
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
WO2012001709A2 (en) * 2010-06-30 2012-01-05 Tata Consultancy Services Limited Automatic detection of moving object by using stereo vision technique
CN102467821A (zh) * 2010-11-04 2012-05-23 北京汉王智通科技有限公司 基于视频图像的路面距离检测方法及装置
JP2013024662A (ja) * 2011-07-19 2013-02-04 Toyota Infotechnology Center Co Ltd ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
WO2018058356A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴骏 ; 李文杰 ; 耿磊 ; 肖志涛 ; 张芳 ; 李月龙 ; .基于单目视觉的前方车辆检测与测距.计算机工程.2017,(02),全文. *
徐友春等.基于单目视觉的普通道路检测方法.《军事交通学院学报》.2010,(第undefined期),第51-54页. *

Also Published As

Publication number Publication date
CN110969064A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969064B (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN108647638B (zh) 一种车辆位置检测方法及装置
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US10915793B2 (en) Method and system for converting point cloud data for use with 2D convolutional neural networks
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN110312912A (zh) 车辆自动停车系统和方法
CN115035338A (zh) 由摄像机图像车辆定位的方法和系统
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
Huang et al. Measuring the absolute distance of a front vehicle from an in-car camera based on monocular vision and instance segmentation
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
WO2021175119A1 (zh) 用于获取车辆3d信息的方法和装置
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN112639822A (zh) 一种数据处理方法及装置
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
US20230038578A1 (en) Systems and Methods for Image Based Perception
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
Du et al. Validation of vehicle detection and distance measurement method using virtual vehicle approach
JP2023508276A (ja) 多重解像度ボクセルにおける共分散を含むマップ
CN112329678B (zh) 一种基于信息融合的单目行人3d定位的方法
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant