CN115320603A - 一种拍摄仰角校正方法、装置及车辆 - Google Patents

一种拍摄仰角校正方法、装置及车辆 Download PDF

Info

Publication number
CN115320603A
CN115320603A CN202110456255.9A CN202110456255A CN115320603A CN 115320603 A CN115320603 A CN 115320603A CN 202110456255 A CN202110456255 A CN 202110456255A CN 115320603 A CN115320603 A CN 115320603A
Authority
CN
China
Prior art keywords
pixel
lane
vertical
width
elevation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110456255.9A
Other languages
English (en)
Other versions
CN115320603B (zh
Inventor
宫原俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haomo Zhixing Technology Co Ltd
Original Assignee
Haomo Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haomo Zhixing Technology Co Ltd filed Critical Haomo Zhixing Technology Co Ltd
Priority to CN202110456255.9A priority Critical patent/CN115320603B/zh
Publication of CN115320603A publication Critical patent/CN115320603A/zh
Application granted granted Critical
Publication of CN115320603B publication Critical patent/CN115320603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种仰角校正方法、装置及车辆，包括：在单目摄像机的预设仰角和相机高度下拍摄图像；获取预设距离下的图像中地面的第一地面垂直像素位置；在目标图像中识别车道并确定车道的像素宽度和车道的垂直像素位置之间的车道像素宽度函数后，获取预设距离下真实道路宽度在目标图像中的第二车道像素宽度；通过第一车道像素宽度和第二车道像素宽度之间的误差垂直像素位置，并获取其与第一地面垂直像素位置的和，得到第二车道像素宽度所在的第二地面垂直像素位置；根据第二地面垂直像素位置，获得真实仰角，基于真实仰角进行目标检测和距离检测，达到提高检测精度的目的。

Description

一种拍摄仰角校正方法、装置及车辆
技术领域
本发明涉及车辆自动驾驶技术领域，特别涉及一种拍摄仰角校正方法、装置及车辆。
背景技术
雷达、视觉摄像机、激光雷达、超声波传感器等从20世纪90年代中期开始被引入市场，以支持车辆自动驾驶技术。在20世纪10年代中期，自动驾驶被推广，一些自动驾驶功能有限的车辆作为公路应用被引入市场。其中，视觉摄像系统是一个非常重要的系统，因为它可以像人一样获取道路图像信息，所以该系统长期用于车道识别、目标识别、车辆检测、行人检测、自行车检测等领域。通常视觉摄像系统采用单目摄像机或立体摄像机，由于单目摄像机具有结构简单、成本低、安装方便等优点，在市场上得到了广泛的应用。
单目摄像机在距离检测中往往使用基于摄像机仰角的几何关系检测距离，以及基于障碍物图像中障碍物底部所在位置检测障碍物与摄像机之间的距离。
然而在实际应用中，在车辆行驶过程中，单目摄像机的仰角随着车辆运动会发生变化，导致仰角误差存在，进一步导致距离检测精度下降，往往不能满足障碍物距离检测的要求。
发明内容
有鉴于此，本发明旨在提出一种拍摄仰角校正方法、装置及车辆，以解决现有单目摄像机仰角存在误差导致目标物体距离检测精度下降的问题。
为达到上述目的，依据本发明的第一方面，提供了一种仰角校正方法，应用于车辆中的单目摄像机，该方法包括：
在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
获取所述目标图像的垂直像素数；
在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
在所述目标图像中识别车道；
在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
根据所述第二地面垂直像素位置，获得所述真实仰角。
依据本发明的第二方面，提供了一种仰角校正装置，应用于车辆中的单目摄像机，所述装置包括：
拍摄模块，用于在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
垂直像素数获取模块，用于获取所述目标图像的垂直像素数；
第一地面垂直像素位置获取模块，用于在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
车道识别模块，用于在所述目标图像中识别车道；
车道像素宽度函数确定模块，用于在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
垂直像素高度确定模块，用于通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
第一车道像素宽度获取模块，用于通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
第二车道像素宽度获取模块，用于在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
车道像素宽度差计算模块，用于计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
误差垂直像素位置获取模块，用于通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
第二地面垂直像素位置获取模块，用于获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
真实仰角获得模块，用于根据所述第二地面垂直像素位置，获得所述真实仰角。
一种车辆，所述车辆包括单目摄像机，所述车辆还包括所述的仰角校正装置。
相对于现有技术，本发明至少具有以下优势：
在本发明实施例中，通过在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；获取所述目标图像的垂直像素数；在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；在所述目标图像中识别车道；在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；根据所述第二地面垂直像素位置，获得所述真实仰角。与现有技术相比，该方法具有明显的优势：通过实时计算摄像机仰角，即在运行过程中随着摄像机预设角度(安装角度的)改变，摄像机的目标检测和目标测距也不受影响，实现了通过精确检测仰角误差而提高了目标物体距离检测精度的目的。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种仰角校正方法的流程图；
图2为单目摄像机与目标物体之间的距离以及拍摄仰角之间的关系示意图；
图3为道路宽度与虚拟窗口立体位置关系示意图；
图4为虚拟窗口正面视图示意图；
图5为摄像机垂直以及水平视角示意图；
图6为计算机模拟拍摄视图示意图；
图7为拍摄模拟窗口路宽位置标定示意图；
图8为摄像机视图和真实视图对比示意图；
图9为摄像机仰角误差示意图；
图10为摄像机像素比关系示意图；
图11为本发明实施例所述的一种仰角校正装置的结构框图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
参照图1，示出了本发明实施例所述的一种拍摄仰角校正方法的步骤流程图。本发明实施例提供的拍摄仰角校正方法，应用于车辆中的车载终端。
步骤101，在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
本发明实施例中，在安装了单目摄像机进行车道识别、目标识别、车辆检测等目的的车辆上，启动单目摄像机时的首先需要对摄像机进行初始化，通常情况下，初始化单目摄像机后，单目摄像机的安装高度已确定，以预设拍摄仰角，拍摄一张目标图片。如图2所示，角度θ为单目摄像机的预设拍摄仰角，h为单目摄像机距离地面的高度，d为摄像机(即车辆)与目标物体之间的距离，可以得知，在实际应用中，知道单目摄像机的拍摄仰角和摄像机的安装高度，即可测定目标物体的实际距离。
可以理解地，在实际应用中，由于车辆和目标物体的距离较大，所以目标物体与车辆之间的距离不限于图2中描述的，车辆与目标物体下缘之间的距离，本发明实施例对此不加以限制。
步骤102，获取所述目标图像的垂直像素数；
本发明实施例中，由于已安装单目摄像机的拍摄参数已知，如摄像机拍摄像素和焦距等，当利用单目摄像机拍摄目标图像后，可以获知目标图像的像素大小，其中包括目标图像的垂直像素数，使用MM来标识。
步骤103，在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
本发明实施例中，为了判断单目摄像机的预设拍摄仰角是否存在误差，则需要在目标图像中确定地面所在位置，而地面位置在图像在中通常可以通过垂直像素来表示，所以将目标图像中的地面位置标定为第一地面垂直像素位置。
步骤104，在所述目标图像中识别车道；
本发明实施例中，如果检测到车道且其宽度已知，则可以将其用作度量(物理长度)，考虑垂直于地面的虚拟窗口，其中包括地线，如图3所示，这个窗口是一个简单的相机图像，窗口中x＝x0处的图像如图4所示，图3和图4之间的关系决定了现实世界和图像之间的关系。
进一步地，如图4所示为虚拟窗口的正面视图，可以理解地，在虚拟窗口的正面视图中可以看到车道的左右边缘线以及地面线，并且地面线与左右车道线相交点之间的宽度为车道在图像中的像素宽度。
可以理解地，在目标图像中，距离越远的道路宽度越窄，反之越宽，而通过目标图像水平像素值，可以得知目标图像中道路的像素宽度与其路面在图像中的垂直像素位置的对应关系，由于车道边缘为直线，所以该对应关系可以用线性关系来表达。
步骤105，在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
优选地，通过公式(4)表达所述车道像素宽度函数为：
Width[pixel]＝F(m)＝c0+c1*m (4)，
其中，m为所述目标图像中的垂直像素位置，c0为固定参数，c1线性参数。
本发明实施例中，如图6所示为电脑模拟道路检测图，图中央白色窗口为垂直于地面的虚拟检测窗口，窗口左右两边的白线为检测到的道路左右边缘线，width-1和width-2是不同距离下的道路像素宽度。
步骤106，通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
优选地，步骤106的通过公式(6)具体实施，
Figure BDA0003040615680000071
其中，dh[m/pixel]为所述目标图像的垂直像素高度，
Figure BDA0003040615680000072
为所述单目摄像机的相机垂直视场，MM为所述目标图像的垂直像素数，L为所述预设距离。
本发明实施例中，如图5(a)展示了摄像机相机垂直视场，θFOV摄像机垂直全视角，h[m]为垂直物理高度，L[m]为摄像机拍摄的预设距离，MM为目标图像的垂直像素数，u表示摄像机视线，各参数之间的关系由公式(a1)给出：
进一步地，在图像中，物体在预设距离处对应于单个垂直像素的单像素垂直物理高度由公式(a2)示出：
单像素垂直物理高度＝h/MM (a2)
同理，如图5(b)所示为摄像机的水平视角，
Figure BDA0003040615680000073
为摄像机水平全视角范围，L[m]为摄像机拍摄的预设距离，w[m]为图像的水平宽度，NN为图像的水平像素数，其关系由公式(a3)给出：
Figure BDA0003040615680000074
如公式(a1)可以推导出公式(6)。
步骤107，通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
本发明实施例中，如图7所示，通过公式(4)和公式(6)表达的道路宽度与道路位置的垂直像素高度之间的关系，在目标图像中首先选取预设距离为L为100米的地面的垂直像素位置mGs，并且位置mGs对应的道路宽度为width-1。
其中，根据width-1所在地面线与道路边缘线交点之间的距离，即nl和nr的差值，可以计算出width-1的具体数值，即为第一车道像素宽度。
步骤108，在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
本发明实施例中，由于预设拍摄仰角存在误差，所以将目标图像中的第一车道像素宽度转换为实际道路宽度后，并不等于实际距离车辆100米的实际道路宽度。
其中，将距离车辆(即单目摄像机)100米的实际道路宽度定义为预设道路宽度，所以利用公式(6)可以得到公式(a4)：
进一步地，所述第二地面垂直像素位置对应的所述所述第二车道像素宽度为所述预设道路宽度与单个水平像素的单像素水平物理宽度之间的比值，即width_2[pixel]＝F(mG0)＝known_lane_width[m]/dw[meter/pixel]
其中，width_2[pixel]为所述第二地面垂直像素位置对应的所述所述第二车道像素宽度，known_lane_width[m]为预设距离下的实际道路宽度，dw[meter/pixel]为单个水平像素的单像素水平物理宽度。
其中，dw[meter/pixel]单个水平像素的单像素水平物理宽度可以通过公式(a4)表示，
Figure BDA0003040615680000081
其中，L为预设距离，
Figure BDA0003040615680000082
为所述单目摄像机水平视场，NN为所述目标图像的水平像素数。
可以理解地，在公式(a4)中
Figure BDA0003040615680000083
和
Figure BDA0003040615680000084
都表示摄像机在不同视觉角度表达的水平视场，在实际应用中，两个角度都是已知的，可能数值相同，也可能不同。
可以理解地，本发明对实验数据中的预设值不做具体限定。
利用公式(a4)将预设道路宽度转换为目标图像中的第二车道像素宽度。
步骤109，计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
本发明实施例中，计算width_1[pixel]-width_2[pixel]之间的差。
其中，如图8所示，左边为预设拍摄仰角下的单目摄像机的拍摄视图，右边为实际情况下的真实视图。
在实际应用当中，可以看出，实际视图中地面线所在的位置和摄像机视图中地面线所在的位置不同，两者之间存在高度差。而高度差和仰角误差之间的关系由图9表示，其中Horizon为摄像机中线平行线，与地面平行，并与图8中的Horizon对应，x轴与地面平行，z轴与摄像机中线平行线垂直，摄像机预设仰角为θset，摄像机真实仰角为θele，其中仰角误差为dθerror，图9中的灰色区域是正确的视图，地平线位于图像中的d0处。但在实际情况下，存在仰角误差dθerror，计算出的水平位置随误差而移动。在图9中，由于误差为负值，视图区域(灰色区域)像白色区域一样向上移动，地平线向上移动，计算的视界从d0移到ds处，与地平线类似，预设距离处的地面位置也会移动，这导致了目标检测和距离估计的误差。
此外，公式组(5a)为各角度之间的关系：
Figure BDA0003040615680000091
进一步的，三角函数关系有公式(6a)表示：
Figure BDA0003040615680000092
根据图8和图9以及公式(5a)和公式(6a)可以得到d0的计算方法由公式(7a)给出：
Figure BDA0003040615680000093
ds和d0之间的差值也就是因为仰角误差而得到的距离误差由公式(8a)表示为：
Figure BDA0003040615680000094
根据公式(8a)将offset转换为图像像素可以得到：
Figure BDA0003040615680000101
其中，Offset[pixel]为误差像素值，MM为第一图像垂直像素值，θFOV为摄像机全视角。
进一步地，由公式(9a)结合公式(7a)和公式(8a)可以推导出公式(10a)：
Figure BDA0003040615680000102
步骤110，通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
优选地，步骤110通过公式(5)具体实施，其中，
Offset[pixel]＝(width_1[pixel]-width_2[pixel])/c1 (5)，
其中，width_1[pixel]为所述第一地面垂直像素位置对应的所述第一车道像素宽度，width_2[pixel]为所述第二地面垂直像素位置对应的所述所述第二车道像素宽度，Offset[pixel]为所述车道像素宽度差对应的误差垂直像素位置。
可以理解地，公式(9a)和公式(10a)中的θFOV通常表达为单目摄像机垂直视角
Figure BDA0003040615680000103
本发明实施例中，其中，由图8和图9的对应关系可以得知摄像机偏移后拍摄到的物体图像与实际物体成像之间存在的高度差，与预设仰角和真实仰角之间形成的差值Offset就是摄像机在初始仰角θset拍摄到的地面位置mGs和摄像机在真实仰角θele下拍摄到的地面位置mG0之间的差值，也即为：
Figure BDA0003040615680000104
由公式(11a)可知，在预设仰角和真实仰角下摄像机拍摄的地面位置如果已知，可以计算出真实仰角之间的差值，而预设仰角θset已知，初始距离已知，所以预设仰角下拍摄的目标图像中的地面位置mGs已知，而真实仰角未知，在得知真实仰角下拍摄的地面位置mG0，即第二车道像素宽度对应的第二垂直像素高度的情况下，可以进一步求得真实仰角。
步骤111，获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
本发明实施例中，由图8右所示，在真实图像中的地面位置，也即地面位置mG0为Offset[pixel]与第一图像中的地面位置mGs的和，通过公式(12a)表示为：
mG0＝Offset[pixel]+mGs (12a)
其中，Offset[pixel]为车道像素宽度差对应的误差垂直像素位置，mGs为目标图像中的第一地面垂直像素位置，mG0为真实路面宽度在目标图像中对应的第二地面垂直像素位置。
步骤112，根据所述第二地面垂直像素位置，获得所述真实仰角。
优选地，步骤112通过公式组(1)、(2)、(3)具体实施，其中，
Figure BDA0003040615680000111
Figure BDA0003040615680000112
Figure BDA0003040615680000113
其中，θele为真实仰角，Hc为所述单目摄像机的垂直高度，L为所述预设距离，mG0为所述第二地面垂直像素位置，MM为所述目标图像的垂直像素数，
Figure BDA0003040615680000114
为所述单目摄像机的相机垂直视场。
本发明实施例中，根据图10中所示的三角函数关系，可以得到像素比ratio为mgnd的图像中的垂直像素坐标与图像垂直坐标之间的比值，可以通过公式(14a)公式(15a)和公式(16a)表示为：
Figure BDA0003040615680000121
所以，
Figure BDA0003040615680000122
由此可以推断出：
Figure BDA0003040615680000123
通过公式(14a)公式(15a)和公式(16a)可，结合本实施例中的各已知参数可以推导出公式(1)(2)和(3)，进而计算出实际拍摄仰角θele。
可以理解地，公式中FOVV与
Figure BDA0003040615680000124
所表达的意义相同。
优选地，本发明实施还可以包括：
步骤A，在所述单目摄像机的所述真实仰角和垂直高度下，检测目标对象以及所述目标对象与所述单目摄像机之间的距离。
本发明实施例中，在计算计算真实仰角后，可以在车辆行驶过程中检测目标对象或者目标对象距离车辆的，进而在自动驾驶中给车辆控制系统回馈精确的检测数据。
综上所述，本发明实施例提供的一种拍摄仰角校正方法，包括在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；获取所述目标图像的垂直像素数；在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；在所述目标图像中识别车道；在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；根据所述第二地面垂直像素位置，获得所述真实仰角。通过实时计算摄像机仰角，即在运行过程中随着摄像机预设角度(安装角度的)改变，摄像机的目标检测和目标测距也不受影响，实现了通过精确检测仰角误差而提高了目标物体距离检测精度的目的。
在上述实施例的基础上，本发明实施例还提供了一种仰角校正装置。
参照图11，示出了本发明实施例所述的一种仰角校正装置的结构框图，本发明实施例提供的拍摄仰角校正装置，应用于车辆中的单目摄像机。具体可以包括如下模块：
拍摄模块201，用于在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
垂直像素数获取模块202，用于获取所述目标图像的垂直像素数；
第一地面垂直像素位置获取模块203，用于在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
车道识别模块204，用于在所述目标图像中识别车道；
优选地，还包括：
所述第二地面垂直像素位置对应的所述所述第二车道像素宽度为所述预设道路宽度与单个水平像素的单像素水平物理宽度之间的比值，
其中，单个水平像素的单像素水平物理宽度可以通过公式(a4)表示，
Figure BDA0003040615680000131
其中dw[meter/pixel]为单个水平像素的单像素水平物理宽度，L为预设距离，
Figure BDA0003040615680000132
为所述单目摄像机水平视场，NN为所述目标图像的水平像素数。
车道像素宽度函数确定模块205，用于在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
优选地，通过公式(4)表达所述车道像素宽度函数为：
Width[pixel]＝F(m)＝c0+c1*m (4)，
其中，m为所述目标图像中的垂直像素位置，c0为固定参数。c1线性参数。
垂直像素高度确定模块206，用于通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
优选地，所述垂直像素高度确定模块206，包括：
垂直像素高度确定子模块，用于通过公式(6)实现所述通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度，其中，
dh[m/pixel]＝2L tan(θFOV/2)/MM (6)，
其中，dh[m/pixel]为所述目标图像的垂直像素高度，θFOV为所述单目摄像机的相机垂直视场，MM为所述目标图像的垂直像素数，L为所述预设距离。
第一车道像素宽度获取模块207，用于通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
第二车道像素宽度获取模块208，用于在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
车道像素宽度差计算模块209，用于计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
误差垂直像素位置获取模块210，用于通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
优选地，误差垂直像素位置获取模块210，包括：
误差垂直像素位置获取子模块，用于通过公式(5)实现所述通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置，其中，
Offset[pixel]＝(width_1[pixel]-width_2[pixel])/c1 (5)，
其中，width_1[pixel]为所述第一地面垂直像素位置对应的所述第一车道像素宽度，width_2[pixel]为所述第二地面垂直像素位置对应的所述所述第二车道像素宽度，Offset[pixel]为所述车道像素宽度差对应的误差垂直像素位置。
第二地面垂直像素位置获取模块211，用于获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
真实仰角获得模块212，用于根据所述第二地面垂直像素位置，获得所述真实仰角。
优选地，所述真实仰角获得模块212，包括：
真实仰角获得子模块，用于通过公式组(1)、(2)、(3)实现所述根据所述第二地面垂直像素位置，获得所述真实仰角，其中，
Figure BDA0003040615680000151
Figure BDA0003040615680000152
Figure BDA0003040615680000153
其中，θele为真实仰角，Hc为所述单目摄像机的垂直高度，L为所述预设距离，mG0为所述第二地面垂直像素位置，MM为所述目标图像的垂直像素数，θFOV为所述单目摄像机的相机垂直视场。
优选地，还包括：
目标对象检测模块，用于在所述单目摄像机的所述真实仰角和垂直高度下，检测目标对象以及所述目标对象与所述单目摄像机之间的距离。
综上所述，本申请提供的一种仰角校正装置，包括：拍摄模块，用于在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；垂直像素数获取模块，用于获取所述目标图像的垂直像素数；第一地面垂直像素位置获取模块，用于在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；车道识别模块，用于在所述目标图像中识别车道；车道像素宽度函数确定模块，用于在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；垂直像素高度确定模块，用于通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；第一车道像素宽度获取模块，用于通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；第二车道像素宽度获取模块，用于在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；车道像素宽度差计算模块，用于计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；误差垂直像素位置获取模块，用于通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；第二地面垂直像素位置获取模块，用于获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；真实仰角获得模块，用于根据所述第二地面垂直像素位置，获得所述真实仰角。可见，本实施例通过实时计算摄像机仰角，即在运行过程中随着摄像机预设角度(安装角度的)改变，摄像机的目标检测和目标测距也不受影响，实现了通过精确检测仰角误差而提高了目标物体距离检测精度的目的。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种仰角校正方法，应用于车辆中的单目摄像机，其特征在于，所述方法包括：
在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
获取所述目标图像的垂直像素数；
在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
在所述目标图像中识别车道；
在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
根据所述第二地面垂直像素位置，获得所述真实仰角。
2.根据权利要求1所述的方法，其特征在于，通过公式组(1)、(2)、(3)实现所述根据所述第二地面垂直像素位置，获得所述真实仰角，其中，
Figure FDA0003040615670000011
Figure FDA0003040615670000021
Figure FDA0003040615670000022
其中，θele为真实仰角，Hc为所述单目摄像机的垂直高度，L为所述预设距离，mG0为所述第二地面垂直像素位置，MM为所述目标图像的垂直像素数，
Figure FDA0003040615670000023
为所述单目摄像机的相机垂直视场。
3.根据权利要求1所述的方法，其特征在于，还包括：
在所述单目摄像机的所述真实仰角和垂直高度下，检测目标对象以及所述目标对象与所述单目摄像机之间的距离。
4.根据权利要求1所述的方法，其特征在于，还包括：
所述第二地面垂直像素位置对应的所述所述第二车道像素宽度为所述预设道路宽度与单个水平像素的单像素水平物理宽度之间的比值，
其中，单个水平像素的单像素水平物理宽度可以通过公式(a4)表示，
Figure FDA0003040615670000024
其中dw[meter/pixel]为单个水平像素的单像素水平物理宽度，L为预设距离，
Figure FDA0003040615670000025
为所述单目摄像机水平视场，NN为所述目标图像的水平像素数。
5.根据权利要求1所述的方法，其特征在于，通过公式(4)表达所述车道像素宽度函数为：
Width[pixel]＝F(m)＝c0+c1*m (4)，
其中，m为所述目标图像中的垂直像素位置，c0为固定参数，c1线性参数。
6.根据权利要求5所述的方法，其特征在于，通过公式(5)实现所述通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置，其中，
Offset[pixel]＝(width_1[pixel]-width_2[pixel])/c1 (5)，
其中，width_1[pixel]为所述第一地面垂直像素位置对应的所述第一车道像素宽度，width_2[pixel]为所述第二地面垂直像素位置对应的所述所述第二车道像素宽度，Offset[pixel]为所述车道像素宽度差对应的误差垂直像素位置。
7.根据权利要求1所述的方法，其特征在于，通过公式(6)实现所述通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度，其中，
Figure FDA0003040615670000031
其中，dh[m/pixel]为所述目标图像的垂直像素高度，
Figure FDA0003040615670000032
为所述单目摄像机的相机垂直视场，MM为所述目标图像的垂直像素数，L为所述预设距离。
8.一种仰角校正装置，应用于车辆中的单目摄像机，其特征在于，所述装置包括：
拍摄模块，用于在所述单目摄像机的预设仰角和相机高度下拍摄目标图像；
垂直像素数获取模块，用于获取所述目标图像的垂直像素数；
第一地面垂直像素位置获取模块，用于在所述预设仰角和所述相机高度下，获取预设距离下的所述目标图像中地面的第一地面垂直像素位置；
车道识别模块，用于在所述目标图像中识别车道；
车道像素宽度函数确定模块，用于在所述目标图像中，确定所述车道的像素宽度和所述车道的垂直像素位置之间的关系为车道像素宽度函数；
垂直像素高度确定模块，用于通过所述预设仰角、所述相机高度、所述相机垂直视场和所述垂直像素数，确定在预设距离处对应于单个垂直像素的单像素垂直物理高度；
第一车道像素宽度获取模块，用于通过所述车道像素宽度函数，获取所述第一地面垂直像素位置的第一车道像素宽度；
第二车道像素宽度获取模块，用于在所述目标图像中，通过所述预设道路宽度与所述单像素的垂直物理高度的比值，计算所述预设道路宽度处的第二车道像素宽度；
车道像素宽度差计算模块，用于计算所述第一车道像素宽度和所述第二车道像素宽度之间的车道像素宽度差；
误差垂直像素位置获取模块，用于通过所述车道像素宽度函数获取所述车道像素宽度差对应的误差垂直像素位置；
第二地面垂直像素位置获取模块，用于获取所述误差垂直像素位置与所述第一地面垂直像素位置的和，得到所述第二车道像素宽度所在的第二地面垂直像素位置；
真实仰角获得模块，用于根据所述第二地面垂直像素位置，获得所述真实仰角。
9.根据权利要求8所述的装置，其特征在于，所述真实仰角获得模块包括：
真实仰角获得子模块，用于通过公式组(1)、(2)、(3)实现所述根据所述第二地面垂直像素位置，获得所述真实仰角，其中，
Figure FDA0003040615670000041
Figure FDA0003040615670000042
Figure FDA0003040615670000043
其中，θele为真实仰角，Hc为所述单目摄像机的垂直高度，L为所述预设距离，mG0为所述第二地面垂直像素位置，MM为所述目标图像的垂直像素数，θFOV为所述单目摄像机的相机垂直视场。
10.一种车辆，所述车辆包括单目摄像机，其特征在于，所述车辆还包括如权利要求7-9所述的仰角校正装置。
CN202110456255.9A 2021-04-26 2021-04-26 一种拍摄仰角校正方法、装置及车辆 Active CN115320603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110456255.9A CN115320603B (zh) 2021-04-26 2021-04-26 一种拍摄仰角校正方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110456255.9A CN115320603B (zh) 2021-04-26 2021-04-26 一种拍摄仰角校正方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN115320603A true CN115320603A (zh) 2022-11-11
CN115320603B CN115320603B (zh) 2024-09-13

Family

ID=83912775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110456255.9A Active CN115320603B (zh) 2021-04-26 2021-04-26 一种拍摄仰角校正方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN115320603B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027627A1 (en) * 2004-05-19 2008-01-31 Honda Motor Co., Ltd. Traffic Lane Marking Line Recognition System for Vehicle
JP2012068935A (ja) * 2010-09-24 2012-04-05 Toyota Motor Corp 車両用対象物認識装置
CN110386142A (zh) * 2018-04-17 2019-10-29 百度（美国）有限责任公司 用于自动驾驶车辆的俯仰角校准方法
CN110986887A (zh) * 2019-12-31 2020-04-10 长城汽车股份有限公司 物体尺寸检测方法、测距方法、存储介质及单目摄像头
CN111325800A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种单目视觉系统俯仰角标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027627A1 (en) * 2004-05-19 2008-01-31 Honda Motor Co., Ltd. Traffic Lane Marking Line Recognition System for Vehicle
JP2012068935A (ja) * 2010-09-24 2012-04-05 Toyota Motor Corp 車両用対象物認識装置
CN110386142A (zh) * 2018-04-17 2019-10-29 百度（美国）有限责任公司 用于自动驾驶车辆的俯仰角校准方法
CN111325800A (zh) * 2018-12-17 2020-06-23 北京华航无线电测量研究所 一种单目视觉系统俯仰角标定方法
CN110986887A (zh) * 2019-12-31 2020-04-10 长城汽车股份有限公司 物体尺寸检测方法、测距方法、存储介质及单目摄像头

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余厚云;张为公;: "基于单目视觉传感器的车距测量与误差分析", 传感器与微系统, no. 09, 20 September 2012 (2012-09-20) *

Also Published As

Publication number Publication date
CN115320603B (zh) 2024-09-13

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US10909395B2 (en) Object detection apparatus
CN107705331B (zh) 一种基于多视点摄像机的车辆视频测速方法
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
JP4406381B2 (ja) 障害物検出装置及び方法
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN112880642B (zh) 测距系统和测距方法
US11346666B2 (en) System and method for measuring a displacement of a mobile platform
CN112541953B (zh) 一种基于雷达信号和视频同步坐标映射的车辆检测方法
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
JP2009014445A (ja) 測距装置
CN111508027A (zh) 摄像机外参标定的方法和装置
CN112406901B (zh) 一种用于车辆盲区检测报警装置的双目测距方法
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN102483881B (zh) 人行横道线检测方法及人行横道线检测装置
CN110986887B (zh) 基于单目摄像头的测距方法、存储介质及单目摄像头
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
KR20180022277A (ko) 블랙박스영상 기반 차간거리 측정 시스템
CN111830519B (zh) 多传感器融合的测距方法
CN115597550B (zh) 一种基于消失点和目标接地点的坡道单目测距方法及装置
CN109087361B (zh) 一种基于单目摄像头的前向物体横向距离标定方法
CN108108706B (zh) 目标检测中滑动窗口的优化方法及系统
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant