CN113643355A - 一种目标车辆位置和朝向的检测方法、系统及存储介质 - Google Patents

一种目标车辆位置和朝向的检测方法、系统及存储介质 Download PDF

Info

Publication number
CN113643355A
CN113643355A CN202010330445.1A CN202010330445A CN113643355A CN 113643355 A CN113643355 A CN 113643355A CN 202010330445 A CN202010330445 A CN 202010330445A CN 113643355 A CN113643355 A CN 113643355A
Authority
CN
China
Prior art keywords
vehicle
image
target vehicle
coordinate
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010330445.1A
Other languages
English (en)
Other versions
CN113643355B (zh
Inventor
刘前飞
刘康
张三林
蔡璐珑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010330445.1A priority Critical patent/CN113643355B/zh
Publication of CN113643355A publication Critical patent/CN113643355A/zh
Application granted granted Critical
Publication of CN113643355B publication Critical patent/CN113643355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种目标车辆位置和朝向的检测方法，包括步骤：步骤S10，通过车载摄像头采集本车的前视图像；步骤S11，对车载摄像头所采集的前视图像进行预处理；步骤S12，根据车载的惯性测量设备对所述前视图像进行图像运动补偿；步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置转换为俯视图；步骤S14，将俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。本发明还提供了相应系统及存储介质。实施本发明，可以大大提高基于视觉的目标车辆的距离以及朝向检测的精度。

Description

一种目标车辆位置和朝向的检测方法、系统及存储介质
技术领域
本发明涉及智能驾驶技术领域，特别是涉及一种目标车辆位置和朝向的检测方法、系统及存储介质。
背景技术
在汽车的智能驾驶中，需要根据驾驶环境来对前后的目标的距离进行检测。目前基于视觉的目标检测主要方法为：在前视图中根据CNN卷积神经网络(YOLO、SSD或者Faster-rcnn等)获取车辆目标在图像中的二维矩形框(bounding box)。其大致的方法流程如图1所示，其步骤包括：首先对输入的前视图像进行resize等预处理操作；接着对预处理后的前视图进行神经网络推理，以得到所有目标车辆可能的二维矩形框(bounding box)；然后在后处理阶段，针对每一个车辆目标过滤掉所有重复的二维矩形框；最后将二维矩形框的下边界作为车辆目标在图像中的接地点坐标，并转换到车辆坐标系中以输出相应的位置距离。
但是现有的这种处理方法还存在一些不足之处：
其一，车辆目标位置距离测算不准确，误差较大。在前视图中，车辆目标二维矩形框的下边界往往并不是车辆的接地点位置，这样就造成了检测得到的目标车辆位置距离相对于真实值有较大的误差，且目标车辆距离本车越远，测量得到的距离值误差越大。
其二，无法有效检测目标车辆的姿态朝向。在前视图中往往只能检测得到车辆目标的宽度和高度方向这两维的尺寸，很难检测获得目标车辆的姿态朝向。
故现有的这种基于前视图的车辆目标检测，存在不易测得其运动姿态，并且位置距离误差较大的缺点。
发明内容
本发明所要解决的技术问题在于，提供一种目标车辆位置和朝向的检测方法、系统及存储介质，可以提高目标车辆的位置距离检测的精度，以及能检测获得目标车辆的姿态朝向。
作为本发明的一方面，提供一种目标车辆位置和朝向的检测方法，其包括如下步骤：
步骤S10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个其他车辆的图像；
步骤S11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
步骤S12，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
步骤S14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
其中，所述步骤S12包括：
步骤S120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
步骤S121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure BDA0002464771710000021
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；上述参数系通过预先计算或标定获得；
步骤S121，利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
Figure BDA0002464771710000031
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
其中，所述步骤S13具体为：
利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure BDA0002464771710000032
Figure BDA0002464771710000033
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵，其通过预先计算或标定获得。
其中，所述步骤S14进一步包括：
步骤S140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；
步骤S141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
步骤S142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure BDA0002464771710000034
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure BDA0002464771710000041
为摄像头内部参数矩阵，
Figure BDA0002464771710000042
为转换矩阵，上述两个矩阵系通过预先计算或标定获得。
相应地，作为本发明的另一方面，一种目标车辆位置和朝向的检测系统，其包括：
图像采集单元，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
预处理单元，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
运动补偿单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
逆透视变换单元，用于根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
位置及朝向获得单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
其中，所述运动补偿单元包括：
姿态信息获得单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
补偿参数矩阵获得单元，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure BDA0002464771710000043
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；
补偿计算单元，用于利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
Figure BDA0002464771710000051
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
其中，所述逆透视变换单元具体用于利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure BDA0002464771710000052
Figure BDA0002464771710000053
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵。
其中，所述位置及朝向获得单元进一步包括：
神经网络处理单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；
过滤单元，用于通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
坐标计算单元，用于根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure BDA0002464771710000054
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure BDA0002464771710000055
为摄像头内部参数矩阵，
Figure BDA0002464771710000056
为转换矩阵。
相应地，作为本发明的又一方面，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。
实施本发明实施例，具有如下的有益效果：
本发明的实施例提供一种目标车辆位置和朝向的检测方法、系统及存储介质。通过图像运动补偿消除了摄像头因车辆自身运动过程中振动造成的车辆目标在前视图像中的位置偏差，提高了最终车辆目标的位置距离检测精度；
通过将前视图像转换到俯视图像中进行车辆目标的位置距离和姿态朝向检测，在俯视图中更能够直接体现车辆目标的姿态朝向，且俯视图的距离尺度与车辆坐标系成线性比例关系，只要检测出车辆目标的二维轮廓框位置，便能直接得到车辆目标的实际距离，不再需要像已有方法那样进行坐标空间转换才能得到车辆目标在车辆坐标系中的位置距离；
在卷积神经网络对车辆目标检测输出中，增加车辆目标姿态朝向角度的预测，保证了车辆目标的运动姿态朝向检测更精确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的一种目标车辆位置和朝向的检测方法的一个实施例的主流程示意图；
图2为图1中步骤S12的更详细的流程示意图；
图3为图1中步骤S13涉及的逆透视变换前后的图片的对比示意图；
图4为图1中步骤S14的更详细的流程示意图；
图5为图4中涉及的输出结果原理示意图；
图6为本发明提供的一种目标车辆位置和朝向的检测系统的一个实施例的结构示意图；
图7为图6中运动补偿单元的结构示意图；
图8为图6中位置及朝向获得单元的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，示出了本发明提供的一种目标车辆位置和朝向的检测方法的一个实施例的主流程示意图；一并结合图2至图5所示，在本实施例中，本发明提供的一种目标车辆位置和朝向的检测方法，其包括如下步骤：
步骤S10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
步骤S11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像，其中预处理可以是诸如进行图像尺寸的伸缩处理；
步骤S12，根据车载的惯性测量设备(Inertial measurement unit，IMU)实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
可以理解的是，装在车上的摄像头由于车辆运动往往相对于地面会有一定的姿态变化，也即摄像头相对于地面的俯仰角或者侧倾角会产生一定变化。通过车上安装的惯性测量设备可以实时获取相应的姿态变化，为了减少因摄像头姿态变化，造成的车辆目标在前视图像的位置误差，需要根据姿态变化信息对前视图像进行运动补偿。
具体地，在一个例子中，所述步骤S12包括：
步骤S120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
步骤S121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure BDA0002464771710000081
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；上述参数系通过预先计算或标定获得；
步骤S121，利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
Figure BDA0002464771710000082
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
具体地，在一个例子中，所述步骤S13具体为：
利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure BDA0002464771710000083
Figure BDA0002464771710000084
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵，其通过预先计算或标定获得。
具体的变换效果可以参考图3所示。
步骤S14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。在一些例子中，所述卷积神经网为CNN卷积神经网络，通过预先对该卷积神经网进行训练，可以用于在俯视图内对目标车辆的轮廓进行检测推理。
具体地，在一个例子中，所述步骤S14进一步包括：
步骤S140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框(bounding box)的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；可以理解的是，在此步骤中，可以获得所有目标车辆可能的二维矩形框，即获得的二维矩形框为多个。
步骤S141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
步骤S142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure BDA0002464771710000091
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure BDA0002464771710000092
为摄像头内部参数矩阵，
Figure BDA0002464771710000093
为转换矩阵，上述两个矩阵系通过预先计算或标定获得。
可以理解的是，车辆目标与本车之间的姿态朝向夹角bo已在上一步骤中获得。对于车辆目标的位置距离检测只需要计算得到车辆目标接地点位置在车辆坐标系中的坐标。
图5示出了一个例子中，对目标车辆的数据进行神经网络处理后输出的结果示意图；其中，实线方框代表俯视图中的一个目标车辆的轮廓；而虚线方框为经过卷积神经网络处理后输出的目标车辆的轮郭示意图。
如图6所示，为本发明提供的一种目标车辆位置和朝向的检测系统的一个实施例的结构示意图；一并结合图7和图8所示，在本实施例中，本发明所提供的目标车辆位置和朝向的检测系统1，其包括：
图像采集单元11，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
预处理单元12，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
运动补偿单元13，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
逆透视变换单元14，用于根据逆透视变换规则，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图；
位置及朝向获得单元15，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
更具体地，在一个例子中，所述运动补偿单元13包括：
姿态信息获得单元130，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
补偿参数矩阵获得单元131，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure BDA0002464771710000101
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；
补偿计算单元132，用于利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
Figure BDA0002464771710000102
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
更具体地，在一个例子中，所述逆透视变换单元14具体用于利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure BDA0002464771710000111
Figure BDA0002464771710000112
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵。
更具体地，在一个例子中，所述位置及朝向获得单元15进一步包括：
神经网络处理单元150，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；具体地，可以参考图5中所示；
过滤单元151，用于通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
坐标计算单元152，用于根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure BDA0002464771710000113
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure BDA0002464771710000114
为摄像头内部参数矩阵，
Figure BDA0002464771710000115
为转换矩阵。
更多的细节可参考前述对图1至图5的描述，在此不进行赘述。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例的上述方法实施例中图1至图5所描述的目标车辆位置和朝向的检测方法。
实施本发明实施例，具有如下的有益效果：
本发明的实施例提供一种目标车辆位置和朝向的检测方法、系统及存储介质。通过图像运动补偿消除了摄像头因车辆自身运动过程中振动造成的车辆目标在前视图像中的位置偏差，提高了最终车辆目标的位置距离检测精度；
通过将前视图像转换到俯视图像中进行车辆目标的位置距离和姿态朝向检测。在俯视图中更能够直接体现车辆目标的姿态朝向。且俯视图的距离尺度与车辆坐标系成线性比例关系，只要检测出车辆目标的二维轮廓框位置，便能直接得到车辆目标的实际距离，不再需要像已有方法那样进行坐标空间转换才能得到车辆目标在车辆坐标系中的位置距离；
在卷积神经网络对车辆目标检测输出中，增加车辆目标姿态朝向角度的预测，保证了车辆目标的运动姿态朝向检测更精确。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种目标车辆位置和朝向的检测方法，其特征在于，包括如下步骤：
步骤S10，通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个其他车辆的图像；
步骤S11，对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
步骤S12，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
步骤S13，根据逆透视变换规则，将经图像运动补偿后的前视图转换为俯视图；
步骤S14，将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
2.如权利要求1所述的方法，其特征在于，所述步骤S12包括：
步骤S120，根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
步骤S121，根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure FDA0002464771700000011
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；
步骤S121，利用所述摄像头运动补偿参数矩阵采用下述公式对所述前视图像进行图像运动补偿：
Figure FDA0002464771700000012
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
3.如权利要求2所述的方法，其特征在于，所述步骤S13具体为：
利用单应性变换矩阵采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure FDA0002464771700000021
Figure FDA0002464771700000022
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵。
4.如权利要求3所述的方法，其特征在于，所述步骤S14进一步包括：
步骤S140，将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；
步骤S141，通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
步骤S142，根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure FDA0002464771700000023
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure FDA0002464771700000024
为摄像头内部参数矩阵，
Figure FDA0002464771700000025
为转换矩阵。
5.一种目标车辆位置和朝向的检测系统，其特征在于，包括：
图像采集单元，用于通过车载摄像头采集本车的前视图像，所述前视图像中包括至少一个除本车外的其他车辆的图像；
预处理单元，用于对车载摄像头所采集的前视图像进行预处理，获得符合预定尺寸的前视图像；
运动补偿单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，并根据所述表征车辆姿态变化的信息对所述前视图像进行图像运动补偿；
逆透视变换单元，用于根据逆透视变换规则，将经图像运动补偿后的前视图转换为俯视图；
位置及朝向获得单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，获得各目标车辆的位置以及朝向信息。
6.如权利要求5所述的系统，其特征在于，所述运动补偿单元包括：
姿态信息获得单元，用于根据车载的惯性测量设备实时获取表征车辆姿态变化的信息，所述表征车辆姿态变化的信息为三轴角速率及加速度；
补偿参数矩阵获得单元，用于根据所述表征车辆姿态变化的信息以及摄像头外部参数，获得摄像头运动补偿参数矩阵Q：
Figure FDA0002464771700000031
其中，R11、R12、R21、R22为坐标旋转参数，tx、ty为坐标平移参数；
补偿计算单元，用于利用所述摄像头运动补偿参数矩阵Q采用下述公式对所述前视图像进行图像运动补偿：
Figure FDA0002464771700000032
其中，(u,v)为补偿前的前视图像中各位置的坐标，(u’,v’)为经过补偿后的前视图像中各位置的坐标。
7.如权利要求6所述的系统，其特征在于，所述逆透视变换单元具体用于利用单应性变换矩阵H采用下述公式进行计算，将经图像运动补偿后的前视图中各目标车辆位置从图像空间转换到距离尺度与车辆坐标系成线性关系的俯视图：
Figure FDA0002464771700000041
Figure FDA0002464771700000042
其中，(u’,v’)为经过补偿后的前视图像中各位置的坐标，(x,y)为逆透视变换后对应的俯视图中位置点的坐标；H为预定的单应性变换矩阵。
8.如权利要求7所述的系统，其特征在于，所述位置及朝向获得单元进一步包括：
神经网络处理单元，用于将所述转换后的俯视图输入预先训练好的卷积神经网络，输出目标车辆的二维矩形框的中心点坐标(bx,by)、矩形框的宽度bw、高度bh以及目标车辆在俯视图中相对于本车的姿态朝向夹角bo；
过滤单元，用于通过交并比参数对卷积神经网络进行过滤，对于每个目标车辆保留概率预测最大的二维轮廓参数，去除其余的二维轮廓参数；
坐标计算单元，用于根据下式计算目标车辆的接地点位置在车辆坐标系中的坐标，并同姿态朝向夹角一起输出：
Figure FDA0002464771700000043
其中，(u,v)为目标车辆矩形框最下边沿点在俯视图中的坐标，(x,y,1)为其对应在车辆坐标系中的坐标；
Figure FDA0002464771700000051
为摄像头内部参数矩阵，
Figure FDA0002464771700000052
为转换矩阵。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-4中任一项所述的方法。
CN202010330445.1A 2020-04-24 2020-04-24 一种目标车辆位置和朝向的检测方法、系统及存储介质 Active CN113643355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010330445.1A CN113643355B (zh) 2020-04-24 2020-04-24 一种目标车辆位置和朝向的检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010330445.1A CN113643355B (zh) 2020-04-24 2020-04-24 一种目标车辆位置和朝向的检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113643355A true CN113643355A (zh) 2021-11-12
CN113643355B CN113643355B (zh) 2024-03-29

Family

ID=78414799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010330445.1A Active CN113643355B (zh) 2020-04-24 2020-04-24 一种目标车辆位置和朝向的检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113643355B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898306A (zh) * 2022-07-11 2022-08-12 浙江大华技术股份有限公司 一种检测目标朝向的方法、装置及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165550A1 (en) * 2004-01-23 2005-07-28 Ryuzo Okada Obstacle detection apparatus and a method therefor
US20130293714A1 (en) * 2012-05-02 2013-11-07 Gm Global Operations Llc Full speed lane sensing using multiple cameras
CN103644843A (zh) * 2013-12-04 2014-03-19 上海铁路局科学技术研究所 轨道交通车辆运动姿态的检测方法及其应用
US20160300113A1 (en) * 2015-04-10 2016-10-13 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
CN106289159A (zh) * 2016-07-28 2017-01-04 北京智芯原动科技有限公司 基于测距补偿的车辆测距方法及装置
CN106952308A (zh) * 2017-04-01 2017-07-14 上海蔚来汽车有限公司 运动物体的位置确定方法及系统
US20170277961A1 (en) * 2016-03-25 2017-09-28 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN107972662A (zh) * 2017-10-16 2018-05-01 华南理工大学 一种基于深度学习的车辆前向碰撞预警方法
CN109299656A (zh) * 2018-08-13 2019-02-01 浙江零跑科技有限公司 一种车载视觉系统场景视深确定方法
CN109407094A (zh) * 2018-12-11 2019-03-01 湖南华诺星空电子技术有限公司 车载超宽带雷达前视成像系统
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110032949A (zh) * 2019-03-22 2019-07-19 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法
CN110532946A (zh) * 2019-08-28 2019-12-03 长安大学 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN110745140A (zh) * 2019-10-28 2020-02-04 清华大学 一种基于连续图像约束位姿估计的车辆换道预警方法
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050165550A1 (en) * 2004-01-23 2005-07-28 Ryuzo Okada Obstacle detection apparatus and a method therefor
US20130293714A1 (en) * 2012-05-02 2013-11-07 Gm Global Operations Llc Full speed lane sensing using multiple cameras
CN103644843A (zh) * 2013-12-04 2014-03-19 上海铁路局科学技术研究所 轨道交通车辆运动姿态的检测方法及其应用
US20160300113A1 (en) * 2015-04-10 2016-10-13 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
US20170277961A1 (en) * 2016-03-25 2017-09-28 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
CN106289159A (zh) * 2016-07-28 2017-01-04 北京智芯原动科技有限公司 基于测距补偿的车辆测距方法及装置
CN106952308A (zh) * 2017-04-01 2017-07-14 上海蔚来汽车有限公司 运动物体的位置确定方法及系统
CN107972662A (zh) * 2017-10-16 2018-05-01 华南理工大学 一种基于深度学习的车辆前向碰撞预警方法
CN109582993A (zh) * 2018-06-20 2019-04-05 长安大学 城市交通场景图像理解与多视角群智优化方法
CN109299656A (zh) * 2018-08-13 2019-02-01 浙江零跑科技有限公司 一种车载视觉系统场景视深确定方法
CN109407094A (zh) * 2018-12-11 2019-03-01 湖南华诺星空电子技术有限公司 车载超宽带雷达前视成像系统
CN109635793A (zh) * 2019-01-31 2019-04-16 南京邮电大学 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN110032949A (zh) * 2019-03-22 2019-07-19 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法
CN110532946A (zh) * 2019-08-28 2019-12-03 长安大学 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法
CN110745140A (zh) * 2019-10-28 2020-02-04 清华大学 一种基于连续图像约束位姿估计的车辆换道预警方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HOI-KOK CHEUNG ET AL: ""Accurate distance estimation using camera orientation compensation technique for vehicle driver assistance system"", 《2012 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS (ICCE)》 *
何晔;奉泽熙;: "安防和乘客异动在途监测系统设计", 机车电传动, no. 04 *
张帆: ""基于单目视频的车辆对象提取及速度测定方法研究"", 《CNKI优秀硕士学位论文全文库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898306A (zh) * 2022-07-11 2022-08-12 浙江大华技术股份有限公司 一种检测目标朝向的方法、装置及电子设备

Also Published As

Publication number Publication date
CN113643355B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
JP4943034B2 (ja) ステレオ画像処理装置
EP2757527B1 (en) System and method for distorted camera image correction
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
KR101637535B1 (ko) 탑뷰 영상 왜곡 보정 장치 및 방법
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN112967316B (zh) 一种面向3d多目标追踪的运动补偿优化方法及系统
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
CN116543032B (zh) 冲击物测距方法、装置、测距设备及存储介质
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN111402328A (zh) 一种基于激光里程计的位姿计算方法及装置
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN112132902A (zh) 车载摄像头外参调整方法、装置、电子设备以及介质
JP3985610B2 (ja) 車両用走行路認識装置
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
JP2005148784A (ja) 路面走行レーン検出装置
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
JP6488697B2 (ja) オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム
EP4195151A2 (en) Computer vision system for object tracking and time-to-collision
US11919508B2 (en) Computer vision system for object tracking and time-to-collision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant