CN111476106B - 基于单目相机的直道相对坡度实时预测方法、系统及装置 - Google Patents

基于单目相机的直道相对坡度实时预测方法、系统及装置 Download PDF

Info

Publication number
CN111476106B
CN111476106B CN202010189986.7A CN202010189986A CN111476106B CN 111476106 B CN111476106 B CN 111476106B CN 202010189986 A CN202010189986 A CN 202010189986A CN 111476106 B CN111476106 B CN 111476106B
Authority
CN
China
Prior art keywords
camera
lane line
coordinate system
slope
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010189986.7A
Other languages
English (en)
Other versions
CN111476106A (zh
Inventor
李银国
罗啟飞
陈方荣
周中奎
史豪豪
李科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010189986.7A priority Critical patent/CN111476106B/zh
Publication of CN111476106A publication Critical patent/CN111476106A/zh
Application granted granted Critical
Publication of CN111476106B publication Critical patent/CN111476106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y02A30/60—Planning or developing urban green infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于单目相机的直道相对坡度实时预测方法、系统及装置，属于智能汽车环境感知技术领域，旨在解决现有技术无法精确预测车辆前方道路坡度的问题。本发明包括：通过单目相机获取车道线图像，通过相机标定获取相机内外参数，并计算世界坐标系下相机光心坐标；提取车道线特征点的图像坐标，并利用相机成像模型投射到世界坐标系下Z＝0的平面上；通过最小二乘法拟合两条直线段，直线段交点为车道线坡度转折点；计算车辆前方道路的相对坡度值。本发明只需要一个标定好的单目相机，检测出一条车道线就可精确计算车辆前方直道的相对坡度，成本低、精确度高。

Description

基于单目相机的直道相对坡度实时预测方法、系统及装置
技术领域
本发明属于智能汽车环境感知技术领域，涉及一种基于单目相机的直道相对坡度实时预测方法、系统及装置。
背景技术
随着汽车行业的不断发展、汽车智能化时代的到来，对于行驶中的车辆，实时获取车辆前方路面的坡度大小，成为一种刚性需求，有着越来越丰富的应用场景。
现存的道路坡度检测方案中，有的是利用加速度、陀螺仪、重力、惯导、等传感器进行检测，还有一些通过自己设计的装置来检测、计算车辆当前位置下的道路坡度，但是这样的方案不能预测车辆前方的坡度。还有一些方法是在车辆前部加装多个雷达，从而检测出车辆前方路面的坡度，但这种方案整套坡度测量装置成本较高，很难普及。而在现有的基于单目相机的方法中，大多数方案虽然可以预测车辆前方的坡度，成本低，但是只能估算坡度变化趋势，精度相对较低，且都要求检测两条车道线，对输入要求较高。
发明内容
有鉴于此，本发明的目的在于解决现有技术无法精确预测车辆前方道路坡度的问题，提供一种基于单目相机的直道相对坡度实时预测方法、系统及装置。
为达到上述目的，一方面，本发明提供如下技术方案：
一种基于单目相机的直道相对坡度实时预测方法，包括以下步骤：
S1：通过单目相机获取车道线图像；通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
S2：基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
S3：基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；
S4：通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点；
S5：基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值。
进一步，步骤S1中所述基于所述相机外参数计算世界坐标系下相机光心坐标，如下式所示：
Figure BDA0002414937670000021
其中，x0、y0、z0代表相机光心坐标，RT为相机外参数。
进一步，步骤S3中所述相机成像模型为：
Figure BDA0002414937670000022
其中，
Figure BDA0002414937670000023
代表投影矩阵，K为相机内参数，RT为相机外参数；u、v表示以像素为单位的图像坐标系的坐标，Zc为物体相机坐标下的Z轴坐标值，XW、YW、ZW分别为物体在世界坐标系下的X、Y、Z值。
进一步，步骤S3中所述利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，具体包括：
将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面，则车道线特征点的图像坐标在世界坐标系下ZW＝0，
Figure BDA0002414937670000024
为：
Figure BDA0002414937670000025
通过上式获取的
Figure BDA0002414937670000026
值，结合ZW＝0，将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，便于后续进行坡度计算。
进一步，步骤S4具体包括以下步骤：
S41：按照所述投射三维点曲线的三维点数量N，取P＝N/2将所述投射三维点曲线分为两部分，并定义初始移动步长为STEP＝N/2；
S42：采用最小二乘法分别对划分后的两部分投射三维点曲线进行直线拟合，获得第一线段、第二线段；
S43：分别计算所述第一线段、第二线段的均方差，若所述均方差之差的绝对值大于设定值，则令STEP＝[STEP/2]，将P往均方差小的方向移动STEP并跳转步骤S42；否则，所述第一线段、第二线段为获得的两条直线段；
其中，[*]代表取整，STEP＜1时，令STEP＝1。
进一步，步骤S5具体包括以下步骤：
步骤S51，分别计算所述坡度转折点到相机光心坐标在X轴、Y轴方向上的偏移Δx、Δy；分别计算所述两条直线段的斜率k1、k2。
步骤S52，基于所述偏移Δx、Δy以及斜率k1、k2，计算车辆前方道路的相对坡度值。
进一步，步骤S52中所述车辆前方道路的相对坡度值计算公式如下：
Figure BDA0002414937670000031
Figure BDA0002414937670000032
其中，P为车辆前方道路的相对坡度值，x1、y1为坡度转折点在世界坐标系下的坐标值，x0、y0、z0为世界坐标系下相机光心坐标。
本发明的另一方面，提出一种基于单目相机的直道相对坡度实时预测系统，包括图像获取模块、标定模块、车道线特征点图像坐标获取模块、投射模块、车道直线段拟合模块、坡度计算模块、输出模块；
所述图像获取模块，配置为通过单目相机获取车道线图像；
所述标定模块，配置为通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
所述车道线特征点图像坐标获取模块，配置为基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
所述投射模块，配置为基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；
所述车道直线段拟合模块，配置为通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点；
所述坡度计算模块，配置为基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值；
所述输出模块，配置为输出获取的车辆前方道路的相对坡度值。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于单目相机的直道相对坡度实时预测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于单目相机的直道相对坡度实时预测方法。
本发明的有益效果在于：
(1)本发明基于单目相机的直道相对坡度实时预测方法，通过单目相机获取单条车道线，即可计算车辆前方一定范围内直道的路面相对坡度值，实现车辆前方直道相对坡度的实时、精准地预测，降低系统成本，减少系统资源消耗。
(2)本发明方法将车道线投射到三维空间的Z＝0平面，再进行坡度计算，获取的坡度值精确度更高。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明所述的基于单目相机的直道相对坡度实时预测方法的流程示意图；
图2是本发明所述的基于单目相机的直道相对坡度实时预测方法一种实施例的坡度检测示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明提供一种基于单目相机的直道相对坡度实时预测方法，本方法基于单条车道线的特征计算直道相对坡度。根据摄像头成像原理，将图像坐标系上的车道线投射到世界坐标系下Z＝0平面上，有坡度的地方的斜率与没有坡度的地方斜率不一致，利用两者斜率的关系进而求出其相对坡度值。本发明在硬件上只需要一个标定好的摄像头，成本相对低廉，只需要检出一条车道线就可精确计算直道的相对坡度，因此具有广阔的应用价值和市场前景。
本发明的一种基于单目相机的直道相对坡度实时预测方法，该方法包括：
步骤S10，通过单目相机获取车道线图像；通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
步骤S20，基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
步骤S30，基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；
步骤S40，通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点；
步骤S50，基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值。
为了更清晰地对本发明基于单目相机的直道相对坡度实时预测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于单目相机的直道相对坡度实时预测方法，包括步骤S10至步骤S50，各步骤详细描述如下：
步骤S10，通过单目相机获取车道线图像；通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标。
本发明一个实施例中，将单目相机安装在车辆顶部，可以拍摄车辆前方道路场景图像。
“基于所述相机外参数计算世界坐标系下相机光心坐标”，如式(1)所示：
Figure BDA0002414937670000061
其中，x0、y0、z0代表相机光心坐标，RT为相机外参数。
步骤S20，基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标。
车道线检测可以采用现有的基于计算机视觉的方法或神经网络的方法，本发明对此不作限定。
步骤S30，基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线。
相机成像模型如式(2)所示：
Figure BDA0002414937670000062
其中，
Figure BDA0002414937670000063
代表投影矩阵，K为相机内参数，RT为相机外参数；u、v表示以像素为单位的图像坐标系的坐标，Zc为物体在相机坐标下的Z轴坐标值，XW、YW、ZW分别为物体在世界坐标系下的X、Y、Z值。
将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面，则车道线特征点的图像坐标在世界坐标系下ZW＝0，对式(2)进行变换，
Figure BDA0002414937670000064
如式(3)所示：
Figure BDA0002414937670000071
通过上式获取的
Figure BDA0002414937670000072
值，结合ZW＝0，将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，便于后续进行坡度计算。
步骤S40，通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点。
步骤S41，按照所述投射三维点曲线的三维点数量N，取P＝N/2将所述投射三维点曲线分为两部分，并定义初始移动步长为STEP＝N/2。
在世界坐标系下，将投射三维点曲线的三维点数量记为N，并设移动步长STEP＝N/2，取P＝N/2将投射三维点曲线分成两部分。
步骤S42，采用最小二乘法分别对划分后的两部分投射三维点曲线进行直线拟合，获得第一线段、第二线段。
本发明方法中，投射三维点曲线是投射在世界坐标系下的Z＝0的平面上的，因此，通过最小二乘法进行直线拟合时，直接忽略Z坐标。
步骤S43，分别计算所述第一线段、第二线段的均方差，若所述均方差之差的绝对值大于设定值，则令STEP＝[STEP/2]，将P往均方差小的方向移动STEP并跳转步骤S42；否则，所述第一线段、第二线段为获得的两条直线段；
其中，[*]代表取整，STEP＜1时，令STEP＝1。
分别计算两个条线段的均方差，若均方差的差的绝对值大于设定值，则令移动步长STEP＝STEP/2，并将P向均方差小的方向移动STEP步长的距离。重复进行直线拟合以及均方差比较、P点移动，直到两个均方差之差的绝对值最小或低于设定值为止。
最终获得两条直线段，靠近车辆的直线段记为l1，远离车辆的直线段记为l2，l1与l2的交点为坡度转折点P1。
步骤S50，基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值。
步骤S51，分别计算所述坡度转折点到相机光心坐标在X轴、Y轴方向上的偏移Δx、Δy；分别计算所述两条直线段的斜率k1、k2。
步骤S52，基于所述偏移Δx、Δy以及斜率k1、k2，计算车辆前方道路的相对坡度值，如式(4)、式(5)所示：
Figure BDA0002414937670000081
Figure BDA0002414937670000082
其中，P为车辆前方道路的相对坡度值，x1、y1为坡度转折点在世界坐标系下的坐标值，x0、y0、z0为世界坐标系下相机光心坐标。
如图2所示，为本发明基于单目相机的直道相对坡度实时预测方法一种实施例的坡度检测示意图，矩形car表示车辆，O表示车辆坐标系原点，
Figure BDA0002414937670000083
代表车载相机光心，AP1B表示一条车道线，AP1C表示从车载相机
Figure BDA0002414937670000084
发出射线，将车道线AP1B投影到车辆坐标系下Z＝0平面上的投影线，P1(x1、y1、z1)代表车道线坡度转折点，AP1、P1C为两条直线段l1与l2，l1靠近车辆，l2远离车辆。
本发明第二实施例的基于单目相机的直道相对坡度实时预测系统，该系统包括图像获取模块、标定模块、车道线特征点图像坐标获取模块、投射模块、车道直线段拟合模块、坡度计算模块、输出模块；
所述图像获取模块，配置为通过单目相机获取车道线图像；
所述标定模块，配置为通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
所述车道线特征点图像坐标获取模块，配置为基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
所述投射模块，配置为基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；
所述车道直线段拟合模块，配置为通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点；
所述坡度计算模块，配置为基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值；
所述输出模块，配置为输出获取的车辆前方道路的相对坡度值。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于单目相机的直道相对坡度实时预测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于单目相机的直道相对坡度实时预测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于单目相机的直道相对坡度实时预测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于单目相机的直道相对坡度实时预测方法，其特征在于：包括以下步骤：
S1：通过单目相机获取车道线图像；通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
S2：基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
S3：基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；所述相机成像模型为：
Figure FDA0003645122680000011
其中，
Figure FDA0003645122680000012
代表投影矩阵，K为相机内参数，RT为相机外参数；u、v表示以像素为单位的图像坐标系的坐标，Zc为物体相机坐标下的Z轴坐标值，XW、YW、ZW分别为物体在世界坐标系下的X、Y、Z值；
S4：通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点，具体包括以下步骤：
S41：按照所述投射三维点曲线的三维点数量N，取P＝N/2将所述投射三维点曲线分为两部分，并定义初始移动步长为STEP＝N/2；
S42：采用最小二乘法分别对划分后的两部分投射三维点曲线进行直线拟合，获得第一线段、第二线段；
S43：分别计算所述第一线段、第二线段的均方差，若所述均方差之差的绝对值大于设定值，则令STEP＝[STEP/2]，将P往均方差小的方向移动STEP并跳转步骤S42；否则，所述第一线段、第二线段为获得的两条直线段；
其中，[*]代表取整，STEP＜1时，令STEP＝1；
S5：基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值，具体包括以下步骤：
步骤S51：分别计算所述坡度转折点到相机光心坐标在X轴、Y轴方向上的偏移Δx、Δy；分别计算所述两条直线段的斜率k1、k2；
步骤S52：基于所述偏移Δx、Δy以及斜率k1、k2，计算车辆前方道路的相对坡度值。
2.根据权利要求1所述的基于单目相机的直道相对坡度实时预测方法，其特征在于：步骤S1中所述基于所述相机外参数计算世界坐标系下相机光心坐标，如下式所示：
Figure FDA0003645122680000021
其中，x0、y0、z0代表相机光心坐标，RT为相机外参数。
3.根据权利要求1所述的基于单目相机的直道相对坡度实时预测方法，其特征在于：步骤S3中所述利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，具体包括：
将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面，则车道线特征点的图像坐标在世界坐标系下ZW＝0，
Figure FDA0003645122680000022
为：
Figure FDA0003645122680000023
通过上式获取的
Figure FDA0003645122680000024
值，结合ZW＝0，将车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，便于后续进行坡度计算。
4.根据权利要求1所述的基于单目相机的直道相对坡度实时预测方法，其特征在于：步骤S52中所述车辆前方道路的相对坡度值计算公式如下：
Figure FDA0003645122680000025
Figure FDA0003645122680000026
其中，P为车辆前方道路的相对坡度值，x1、y1为坡度转折点在世界坐标系下的坐标值，x0、y0、z0为世界坐标系下相机光心坐标。
5.一种基于单目相机的直道相对坡度实时预测系统，其特征在于：包括图像获取模块、标定模块、车道线特征点图像坐标获取模块、投射模块、车道直线段拟合模块、坡度计算模块、输出模块；
所述图像获取模块，配置为通过单目相机获取车道线图像；
所述标定模块，配置为通过相机标定获得相机内参数、相机外参数，并基于所述相机外参数计算世界坐标系下相机光心坐标；
所述车道线特征点图像坐标获取模块，配置为基于所述车道线图像，通过车道线检测算法获取车道线特征点的图像坐标；
所述投射模块，配置为基于所述相机内参数、相机外参数，利用相机成像模型将所述车道线特征点的图像坐标投射到世界坐标系下Z＝0的平面上，获得车道线特征的投射三维点曲线；所述相机成像模型为：
Figure FDA0003645122680000031
其中，
Figure FDA0003645122680000032
代表投影矩阵，K为相机内参数，RT为相机外参数；u、v表示以像素为单位的图像坐标系的坐标，Zc为物体相机坐标下的Z轴坐标值，XW、YW、ZW分别为物体在世界坐标系下的X、Y、Z值；
所述车道直线段拟合模块，配置为通过最小二乘法将所述投射三维点曲线拟合为两条直线段；所述两条直线段的交点为车道线坡度转折点；具体包括以下步骤：
S41：按照所述投射三维点曲线的三维点数量N，取P＝N/2将所述投射三维点曲线分为两部分，并定义初始移动步长为STEP＝N/2；
S42：采用最小二乘法分别对划分后的两部分投射三维点曲线进行直线拟合，获得第一线段、第二线段；
S43：分别计算所述第一线段、第二线段的均方差，若所述均方差之差的绝对值大于设定值，则令STEP＝[STEP/2]，将P往均方差小的方向移动STEP并跳转步骤S42；否则，所述第一线段、第二线段为获得的两条直线段；
其中，[*]代表取整，STEP＜1时，令STEP＝1；
所述坡度计算模块，配置为基于所述世界坐标系下相机光心坐标、两条直线段、车道线坡度转折点，计算车辆前方道路的相对坡度值；
所述输出模块，配置为输出获取的车辆前方道路的相对坡度值，具体包括以下步骤：
步骤S51：分别计算所述坡度转折点到相机光心坐标在X轴、Y轴方向上的偏移Δx、Δy；分别计算所述两条直线段的斜率k1、k2；
步骤S52：基于所述偏移Δx、Δy以及斜率k1、k2，计算车辆前方道路的相对坡度值。
6.一种存储装置，其中存储有多条程序，其特征在于：所述程序适于由处理器加载并执行以实现如权利要求1-4任一所述的基于单目相机的直道相对坡度实时预测方法。
7.一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；其特征在于：所述程序适于由处理器加载并执行以实现如权利要求1-4任一所述的基于单目相机的直道相对坡度实时预测方法。
CN202010189986.7A 2020-03-17 2020-03-17 基于单目相机的直道相对坡度实时预测方法、系统及装置 Active CN111476106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010189986.7A CN111476106B (zh) 2020-03-17 2020-03-17 基于单目相机的直道相对坡度实时预测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010189986.7A CN111476106B (zh) 2020-03-17 2020-03-17 基于单目相机的直道相对坡度实时预测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN111476106A CN111476106A (zh) 2020-07-31
CN111476106B true CN111476106B (zh) 2022-07-08

Family

ID=71747822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010189986.7A Active CN111476106B (zh) 2020-03-17 2020-03-17 基于单目相机的直道相对坡度实时预测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111476106B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183378A (zh) * 2020-09-29 2021-01-05 北京深睿博联科技有限责任公司 一种基于颜色和深度图像的道路坡度估计方法及装置
CN112862890B (zh) * 2021-02-07 2023-07-04 黑芝麻智能科技(重庆)有限公司 道路坡度预测方法、装置和存储介质
CN113034586B (zh) * 2021-04-27 2022-09-23 北京邮电大学 道路倾角检测方法和检测系统
WO2023000337A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 确定道路坡度、车道线投影、显示的方法及装置
CN113834463A (zh) * 2021-09-01 2021-12-24 重庆邮电大学 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
CN115597550B (zh) * 2022-10-09 2023-09-26 深圳市欧冶半导体有限公司 一种基于消失点和目标接地点的坡道单目测距方法及装置
CN116858187B (zh) * 2023-09-01 2023-12-08 盛视科技股份有限公司 基于单目坡道角度检测方法及坡道角度检测系统
CN117405027B (zh) * 2023-12-12 2024-03-19 深圳金三立视频科技股份有限公司 一种基于单目相机的测距方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
CN109559356A (zh) * 2018-12-26 2019-04-02 长安大学 一种基于机器视觉的高速公路视距检测方法
CN109900254A (zh) * 2019-03-28 2019-06-18 合肥工业大学 一种单目视觉的路面坡度计算方法及其计算装置
CN110555884A (zh) * 2018-05-31 2019-12-10 海信集团有限公司 一种车载双目相机的标定方法、装置及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988200B2 (ja) * 2017-06-29 2022-01-05 株式会社デンソー 車両制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
CN110555884A (zh) * 2018-05-31 2019-12-10 海信集团有限公司 一种车载双目相机的标定方法、装置及终端
CN109559356A (zh) * 2018-12-26 2019-04-02 长安大学 一种基于机器视觉的高速公路视距检测方法
CN109900254A (zh) * 2019-03-28 2019-06-18 合肥工业大学 一种单目视觉的路面坡度计算方法及其计算装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions"：IEEE，monocular camera and gradient and prediction;Tristan Laidlow;《IEEEXplore》;20190812;全文 *
基于单目图像获取道路交通安全研究平面数据的方法;郭力伟;《公路交通科技(应用技术版)》;20071215(第12期);全文 *

Also Published As

Publication number Publication date
CN111476106A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111476106B (zh) 基于单目相机的直道相对坡度实时预测方法、系统及装置
CN110057352B (zh) 一种相机姿态角确定方法及装置
US8885049B2 (en) Method and device for determining calibration parameters of a camera
US10424081B2 (en) Method and apparatus for calibrating a camera system of a motor vehicle
CN111415387B (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN108932737B (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
CN111060946A (zh) 用于估计位置的方法和装置
CN110470309A (zh) 本车位置推断装置
CN113432553A (zh) 一种挂车夹角的测量方法、装置及车辆
CN112362055A (zh) 姿态估计方法、装置和电子设备
CN112862890B (zh) 道路坡度预测方法、装置和存储介质
CN111753605A (zh) 车道线定位方法、装置、电子设备及可读介质
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN112785653A (zh) 车载相机姿态角标定方法
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN113643355B (zh) 一种目标车辆位置和朝向的检测方法、系统及存储介质
CN113538699A (zh) 基于三维点云的定位方法、装置、设备及存储介质
CN108961337B (zh) 车载相机航向角标定方法和装置、电子设备以及车辆
CN116990776A (zh) 激光雷达点云补偿方法、装置及电子设备、存储介质
JP2021193340A (ja) 自己位置推定装置
CN109470269B (zh) 空间目标测量机构的标定方法、标定设备及标定系统
CN111563936A (zh) 一种相机外部参数自动标定方法及行车记录仪
CN112633043B (zh) 一种车道线确定方法、装置、电子设备及存储介质
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant