CN111738035A - 车辆偏航角的计算方法、装置和设备 - Google Patents
车辆偏航角的计算方法、装置和设备 Download PDFInfo
- Publication number
- CN111738035A CN111738035A CN201910227017.3A CN201910227017A CN111738035A CN 111738035 A CN111738035 A CN 111738035A CN 201910227017 A CN201910227017 A CN 201910227017A CN 111738035 A CN111738035 A CN 111738035A
- Authority
- CN
- China
- Prior art keywords
- lane line
- driving direction
- vehicle
- view
- direction view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 29
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种车辆偏航角的计算方法、装置和设备，其中，方法包括：获取车辆的行驶方向视图；将行驶方向视图投影成鸟瞰图；根据行驶方向视图中车道线点的位置获取鸟瞰图中车道线点的位置；根据鸟瞰图中车道线点的位置生成车道线方程；根据车道线方程计算得到车辆的偏航角。该方法基于深度学习检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，并获取车道线的方程，进而根据车道线方程计算车辆的偏航角，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
Description
技术领域
本发明涉及车辆控制技术领域，尤其涉及一种车辆偏航角的计算方法、装置和设备。
背景技术
目前，车辆安全辅助驾驶技术的应用越来越广泛，而在车道偏离、车道保持、切换车道等辅助驾驶技术中，车辆相对于车道线的偏航角是重要参数。
相关技术中，通常是通过基于陀螺仪的惯性导航系统计算车辆当前的偏航角。然而申请人发现，上述获取车辆偏航角的方法，受时间累积因素的影响，计算出的偏航角误差较大，准确性较低，无法满足实际的控车需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种车辆偏航角的计算方法。该方法基于深度学习检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，并获取车道线的方程，进而根据车道线方程计算车辆的偏航角，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
本发明的第二个目的在于提出一种车辆偏航角的计算装置。
本发明的第三个目的在于提出一种车辆。
本发明的第四个目的在于提出一种车载设备。
为达上述目的，本发明第一方面实施例提出了一种车辆偏航角的计算方法，包括以下步骤：
获取车辆的行驶方向视图；
将行驶方向视图投影成鸟瞰图；
根据行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置；
根据鸟瞰图中车道线点的位置生成车道线方程；
根据车道线方程计算得到车辆的偏航角。
另外，根据本发明上述实施例的车辆偏航角的计算方法，还可以具有如下附加的技术特征：
在本发明一个实施例中，行驶方向视图包括：前视图或后视图。
在本发明一个实施例中，根据所述行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置之前，还包括：提取所述行驶方向视图中车道线点的位置。
在本发明一个实施例中，提取所述行驶方向视图中车道线点的位置，包括：将所述行驶方向视图输入至训练好的车道线检测模型，得到车道线概率图；根据所述车道线概率图提取所述行驶方向视图中车道线点的位置。
在本发明一个实施例中，根据所述车道线概率图提取所述行驶方向视图中车道线点的位置，包括：每隔n行提取一个该行概率值最大的点作为所述行驶方向视图中的车道线点，所述n为0或正整数；获取所述行驶方向视图中的车道线点的位置。
在本发明一个实施例中，车辆偏航角的计算方法还包括：获取车辆的行驶方向视图样本；在所述行驶方向视图样本中人工标记车道线的位置；根据人工标记的车道线的位置基于深度学习训练得到所述车道线检测模型。
在本发明一个实施例中，将所述行驶方向视图投影成鸟瞰图，包括：根据预设的单应性矩阵，将所述行驶方向视图投影成所述鸟瞰图。
在本发明一个实施例中，车辆偏航角的计算方法还包括：获取车辆的行驶方向视图样本；将所述行驶方向视图样本投影成鸟瞰图样本；根据行驶方向视图样本和鸟瞰图样本中给定的多个坐标点的映射关系，计算得到所述单应性矩阵。
在本发明一个实施例中，根据所述车道线方程计算得到所述车辆的偏航角，包括：根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角。
在本发明一个实施例中，根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角，包括：根据预设公式计算得到所述车辆的偏航角，所述预设公式为：
其中，所述θ为所述车辆的偏航角；所述k为所述车道线的斜率。
本发明实施例的车辆偏航角的计算方法，首先获取车辆的前视图，然后提取前视图中车道线点的位置，再将前视图投影成鸟瞰图，并根据前视图中车道线点的位置获取所述鸟瞰图中车道线点的位置，最后根据鸟瞰图中车道线点的位置生成车道线方程，进而根据车道线方程中车道线的斜率计算得到车辆的偏航角。该方法通过深度学习方法检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，进而获取车道线的方程，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
为了实现上述目的，本发明还提出一种车辆偏航角的计算装置，包括：
第一获取模块，用于获取车辆的行驶方向视图；
投影模块，用于将所述行驶方向视图投影成鸟瞰图；
第二获取模块，用于根据所述行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置；
生成模块，用于根据所述鸟瞰图中车道线点的位置生成车道线方程；
计算模块，用于根据所述车道线方程计算得到所述车辆的偏航角。
另外，根据本发明上述实施例的车辆偏航角的计算装置，还可以具有如下附加的技术特征：
在本发明一个实施例中，第一获取模块具体用于：获取车辆的前视图或后视图。
在本发明一个实施例中，第二获取模块还用于：提取所述行驶方向视图中车道线点的位置。
在本发明一个实施例中，第二获取模块具体用于：将所述行驶方向视图输入至训练好的车道线检测模型，得到车道线概率图；根据所述车道线概率图提取所述行驶方向视图中车道线点的位置。
在本发明一个实施例中，第二获取模块具体用于：每隔n行提取一个该行概率值最大的点作为所述前视图中的车道线点，所述n为0或正整数；获取所述前视图中的车道线点的位置。
在本发明一个实施例中，车辆偏航角的计算装置还包括：训练模块，用于获取车辆的行驶方向视图样本；在所述行驶方向视图样本中人工标记车道线的位置；根据人工标记的车道线的位置基于深度学习训练得到所述车道线检测模型。
在本发明一个实施例中，投影模块具体用于：根据预设的单应性矩阵，将所述行驶方向视图投影成所述鸟瞰图。
在本发明一个实施例中，投影模块还用于：获取车辆的行驶方向视图样本；将所述行驶方向视图样本投影成鸟瞰图样本；根据行驶方向视图样本和鸟瞰图样本中多个坐标点的映射关系，计算得到所述单应性矩阵。
在本发明一个实施例中，计算模块具体用于：根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角。
在本发明一个实施例中，计算模块具体用于：
根据预设公式计算得到所述车辆的偏航角，所述预设公式为：
其中，所述θ为所述车辆的偏航角；所述k为所述车道线的斜率。
本发明实施例的车辆偏航角的计算装置，首先获取车辆的前视图，然后提取前视图中车道线点的位置，再将前视图投影成鸟瞰图，并根据前视图中车道线点的位置获取所述鸟瞰图中车道线点的位置，最后根据鸟瞰图中车道线点的位置生成车道线方程，进而根据车道线方程中车道线的斜率计算得到车辆的偏航角。该装置通过深度学习方法检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，进而获取车道线的方程，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
为了实现上述目的，本发明还提出一种车辆，包括如上述实施例所述的车辆偏航角的计算装置。
为了实现上述目的，本发明还提出一种车载设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述实施例所述的车辆偏航角的计算方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例所提供的一种车辆行驶场景示意图；
图2为本发明一个实施例所提供的一种车辆偏航角的计算方法的流程示意图；
图3为本发明一个实施例所提供的一种具体的车道线点鸟瞰图；
图4为本发明一个实施例所提供的一种车道线检测模型训练方法的流程示意图；
图5为本发明一个实施例所提供的一种单应性矩阵获取方法的流程示意图；
图6为本发明一个实施例所提供的一种摄像头内参标定场景示意图；
图7为本发明一个实施例所提供的一种车辆偏航角的计算装置的结构示意图；
图8为本发明一个实施例所提供的一种具体的车辆偏航角的计算装置的结构示意图；以及
图9为本发明一个实施例所提供的一种车载设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在如图1所示的车辆实际行驶场景中，当车辆的行驶方向未与左右两车道线l1和l2保持平行时，车辆的行驶方向与车道线的平行线产生的夹角θ为车辆相对于车道线的偏航角。相关技术中，通常是通过基于陀螺仪的惯性导航系统测量车辆的偏航角，而由于陀螺仪的测量误差会随着时间的累积而增加，导致该方法测量出的偏航角的误差较大，因此，目前亟需一种可以提高计算车辆偏航角准确性的方法。
下面参考附图描述本发明实施例的车辆偏航角的计算方法、装置和设备。
图2为本发明一个实施例所提供的一种车辆偏航角的计算方法的流程示意图，如图2所示，该车辆偏航角的计算方法可包括以下步骤：
步骤101，获取车辆的行驶方向视图。
其中，行驶方向视图是指从车辆的行驶方向上观察到的图像，比如，当车辆前行时，行驶方向视图为车辆的前视图，当车辆倒车时，行驶方向视图为车辆的后视图。
具体实施时，在车辆行驶过程中，可以通过预先设置在车内或车外的摄像头等图像采集设备获取车辆当前的行驶方向视图。其中，摄像头的设置数量、位置以及拍摄角度等参数可以根据实际需要确定，比如，可以在车辆的车头位置、车身侧面和前挡风玻璃处各设置一个摄像头，并调整各个摄像头的安装高度和拍摄角度，以便于在车辆前行时，完成清晰的获取包含车辆前方各个车道线的前视图，又比如，当车辆倒车时，可以通过预设在后备箱盖板和后挡风玻璃处的摄像头，采集包含车辆后方各个车道线的后视图。
进一步的，在本发明一个实施例中，当获取车辆的行驶方向视图后，还可以对获取到的图像进行预处理，以便于后续通过预先训练好的车道线检测模型获取行驶方向视图中的车道线。
其中，对获取到的行驶方向视图进行预处理的方法可以与训练车道线检测模型时采用的图像预处理方法保持一致，以便于后续直接使用训练好的车道线检测模型。
作为一种示例，在获取到车辆的行驶方向视图后，首先截取图像，保留图像下方三分之二大小的面积，以滤除图像上方中包含天空和建筑物等干扰物的区域，便于更加准确的检测图像下方的车道线。然后，调整图像的尺寸，将图像的大小调整为预设的尺寸，比如，800*320像素。最后，通过下述公式对图像的颜色进行归一化处理，以便消除当前环境中部分光照对车道线检测的干扰。
其中，mi,j和Si,j是从调整尺寸后的图像像素点数据集中，统计并计算出的像素点的均值和标准差。
步骤102，将行驶方向视图投影成鸟瞰图。
具体的，由于行驶方向视图为三维图像，为了便于在二维平面图中计算车辆的偏航角，需要将三维的行驶方向视图转换为二维的鸟瞰图。作为一种可能的实现方式，可以通过预先设置的行驶方向视图与鸟瞰图的单应性矩阵，将行驶方向视图投影为二维的鸟瞰图。
步骤103，根据行驶方向视图中车道线点的位置获取鸟瞰图中车道线点的位置。
具体的，将行驶方向视图投影成鸟瞰图后，还需要将行驶方向视图中的车道线对应的投影到鸟瞰图中。其中，为了便于通过单应性矩阵对车道线进行映射处理，可以将车道线近似看做由大量的车道线点组成，若干个车道线点排列成一条直线，进而由若干个包含车道线点的直线组成车道线。可以理解，每个车道线点在行驶方向视图中具有三维坐标，各个车道线的三维坐标表示车道线点在行驶方向视图中的位置，在经过单应性矩阵进行映射后转换为二维坐标，从而可以根据二维坐标表示鸟瞰图中车道线点的位置。
具体实施时，首先需要提取行驶方向视图中车道线点的位置，作为一种可能的实现方式，可以将预处理后的行驶方向视图输入至预设训练好的车道线检测模型中，该车道线检测模型基于深度学习方法进行训练，在该模型中通过前向传播算法进行一次前向计算，即可根据采集到的行驶方向视图样本获取车道线的概率图，其中，车道线的概率图是通过若干个具有条件概率值的像素点描述车道线的位置等实际情况的模型。在本申请的实施例中，以行驶方向视图中包含左右两个车道线为示例，则可以通过上述方法获取到的两张车道线的概率图，以表示左右两个车道线。
进一步的，从获得的车道线概率图中提取像素点，当以车道线概率图表示实际的车道线时，车道线概率图中的像素点与实际的车道线点存在对应关系，从而在车道线概率图中提取像素点相当于从前视图中提取车道线点，提取出的各像素点的位置可以表示行驶方向视图中实际的各车道线点的位置。
具体实施时，由于车道线概率图中的像素点较多，作为一种示例，在提取一个车道线概率图中的像素点时，可以每隔20行提取一个像素点，以该像素点代表前视图中该行的车道线点。为了提高提取的车道线点位置的准确性，可以首先计算提取的该行中各像素点的概率值，选取概率最大的像素点为待提取的像素点，然后将该像素点的概率值与预设的最低概率阈值(比如，0.3)进行比较，若该像素点的概率值大于预设的最低概率阈值，则表示该像素点可以准确的描述实际的行驶方向视图中该行的车道线点，从而确定提取出一个有效的车道线点。由此，通过该方法最多可以提取出16个有效的车道线点，当提取出的有效车道线点的个数大于3时，确定该车道线的车道线点的位置提取成功，否则，重新获取车辆的行驶方向视图并提取车道线点的位置。
然后，根据该单应性矩阵的映射关系，将提取出的前视图中车道线点映射为鸟瞰图中的相应个数的离散的车道线点，即将前视图中车道线点的三维坐标映射为鸟瞰图中的二维坐标，从而根据行驶方向视图中车道线点的位置获取了鸟瞰图中车道线点的位置。
步骤105，根据鸟瞰图中车道线点的位置生成车道线方程。
具体的，获取鸟瞰图中车道线点的位置后，由于鸟瞰图中车道线点与实际的行驶方向视图中车道线点存在映射关系，且行驶方向视图中的车道线点在车道线中，因此可以将鸟瞰图中离散的各个车道线点，线性拟合为两条表示左右两车道线的直线，直线的函数关系即为该车道线的方程。具体实施时，作为一种示例，可以通过最小二乘法将鸟瞰图中各车道线点的横纵坐标拟合为自变量x与因变量y之间的函数关系，得到各车道线方程的截距式。
步骤106，根据车道线方程计算得到车辆的偏航角。
具体的，在鸟瞰图中获取各车道线的车道线方程后，即可根据车道线方程建立如图3中所示的坐标系，在该坐标系中，Y轴负方向为车辆的前进方向，X轴为路面宽度，l1和l2为左右两车道线在鸟瞰图中投影，由图3可知，经过单应性矩阵映射后的l1和l2仍保持平行。当车辆偏离车道行驶时，Y轴的平行线与车道线会产生夹角θ，该夹角即为车辆的偏航角。根据三角函数可知，当确定车道线的斜率为k时，偏航角θ可以通过下述公式计算：
其中，k可以通过车道线方程中任意两点的坐标信息进行计算。
因此，作为一种可能的实现方式，当车辆产生偏航角时可以通过鸟瞰图中车道线方程的斜率计算得到车辆当前的偏航角。举例而言，当以车辆当前行驶方向为参照方向时，根据运动的相对关系可知，当车辆左偏时，车道线以图3所示的方式在鸟瞰图中向右上方倾斜，此时k小于0，相反的，当车辆右偏时，车道线在鸟瞰图中向左上方倾斜，此时k大于0，当k不存在时，表示车辆行驶方向与车道线平行，车辆未发生偏转。
综上所述，本发明实施例的车辆偏航角的计算方法，首先获取车辆的前视图，然后提取前视图中车道线点的位置，再将前视图投影成鸟瞰图，并根据前视图中车道线点的位置获取所述鸟瞰图中车道线点的位置，最后根据鸟瞰图中车道线点的位置生成车道线方程，进而根据车道线方程中车道线的斜率计算得到车辆的偏航角。该方法通过深度学习方法检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，进而获取车道线的方程，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
基于上述实施例，为了更加清楚具体的描述通过深度学习方法检测车道线，本发明还提出了一种基于深度学习的车道线检测模型的训练方法，图4为本发明一个实施例所提供的一种车道线检测模型训练方法的流程示意图。
如图4所示，该方法包括以下步骤：
步骤201，采集图像数据，并人工标记车道线位置。
具体的，当摄像头采集到车辆的行驶方向视图后，在获取到的行驶方向视图上人工标记出车道线的精确位置，比如，当采集到的行驶方向视图中包含两个车道线时，则分别标记左右两个车道线在行驶方向视图中的位置。
可以理解，在实际应用中可能包含不同类型的车道线，因此，可以根据采集到的车道线个数、线型等特征对车道线进行分类，并构建车道线分类数据集，便于后续根据分类数据集进行分类训练，以增加训练数据量的多样性，有利于提高训练好的模型的有效性。
步骤202，搭建深度学习网络。
具体的，作为一种可能的实施方式，可以通过九个卷积层、三个池化层和一个输出层构建深度学习网络。其中，每个卷积层后都连接一个数据预处理层(Batch Normalize)和一个非线性变换激活层(Rectified Linear Unit，ReLU)，并且，各池化层均采用maxpooling模型进行池化操作，由此，有利于提高了数据处理的分类辨识度，降低特征提取误差。进一步的，该深度学习网络的输出层输出的特征图为车道线概率密度图，在本实施例中，当车道线为两个时，则输出层输出左右两个车道线的概率图。本申请实施例的深度学习网络各网络层的具体参数如下述表1所示：
表1
步骤203，对图像数据进行预处理。
其中，对采集到的图像数据进行预处理的方法可参照上述实施例的描述，此处不再赘述。
步骤204，训练车道线检测模型并保存网络参数。
具体的，首先采用较小方差的正态分布初始化网络参数，然后，在通过预处理后的图像数据对车道线检测模型进行训练过程中，通过损失函数求解和评估车道线检测模型，作为一种示例，损失函数可以采用最小均方差来计算图像数据中每个像素点位置与人工标注的实际车道线位置的误差。由此，通过采集的图像数据训练车道线检测模型，使车道线检测模型可以根据输入的行驶方向视图获取车道线的概率图。在训练结束后，保存车道线检测模型中的网络参数，便于后续检测前视图中车道线点的位置。
本发明实施例的车道线检测模型训练方法，首先采集图像数据，并人工标记车道线位置，然后搭建深度学习网络，在对训练数据进行预处理后，训练车道线检测模型并保存网络参数。该方法基于深度学习方法训练车道线检测模型，在模型训练结束后输入行驶方向视图即可获取图中车道线的概率图，进而确定各车道线点的位置，减少了外界的光照、天气等环境因素对确定车道线点位置的影响，提高了计算车辆偏航角的精确性和便利性。
基于上述实施例可知，在如图1所示的行驶场景中，在以车辆的行驶方向为参照方向时，车辆的偏航角可以通过车道线的倾斜程度计算获得，而由于二维平面图像无法描述实际场景中的三维信息，所以相关技术中基于传统的图像处理方法提取车道线，并利用车道线的夹角计算出的偏航角是车辆偏移的相对值，无法准确计算车辆真实的偏航角，因而在本发明的实施例中，通过单应性矩阵将行驶方向视图投影成鸟瞰图，提高了偏航角的准确性。其中，为了更加清楚的描述获取单应性矩阵的具体过程，本发明还提出了一种单应性矩阵的获取方法，图5为本发明一个实施例所提供的一种单应性矩阵获取方法的流程示意图。
如图所示，该方法包括以下步骤：
步骤301，标定摄像头内参。
其中，为了获得车辆的前视图与二维鸟瞰图之间的映射关系，即计算单应性矩阵，首先需要将前视图中的世界坐标系转换平面图像坐标系，即标定摄像头的内参。
具体实施时，作为一种可能的实现方式，可以通过本申请实施例提出的一种黑白方格标定板进行标定，该黑白方格标定板的大小为10*7，每个方格的实际边长为20cm。在标定时，如图6所示，首先将标定板放在车辆前方，使得前视图中的中垂线与标定板的中垂线重合，然后获取标定板中的角点，其中，标定板的角点是标定板上与标定板的边缘不接触的内角点，在本示例中如图6所示可获取的54个角点。进一步的，拍摄预设数量的包含标定板在内的标定图片，对每一张标定图片，提取亚像素角点信息。然后，在获取到棋盘标定图的内角点图像坐标之后，就可以使用OpenCV(Open Source Computer Vision Library，开源计算机视觉库)中的calibrateCamera函数进行标定，计算相机内参、外参系数以及畸变参数等。最后，对标定结果进行评价，即通过得到的摄像机内参，对前视图中的的三维点进行重新投影计算，得到前视图中的三维点在图像上新的投影点的坐标，计算投影坐标和亚像素角点坐标之间的偏差。
步骤302，对采集到的行驶方向视图进行矫正。
其中，在通过标定后的摄像头采集车辆的行驶方向视图样本后，由于摄像头的制造精度和组装工艺上的误差，导致摄像头会产生畸变，为了避免获取到的行驶方向视图失真，并提高摄像头的标定结果的准确性，需要对摄像头采集到的行驶方向视图进行畸变矫正。
具体实施时，可以获取对摄像头内参进行标定时获得的摄像头内参和畸变参数，然后利用OpenCV开源库提供的畸变校正算法对获取到的行驶方向视图进行畸变校正。
步骤303，计算单应性矩阵。
具体的，若对世界坐标点Q到摄像头成像仪上点q的映射使用齐次坐标定义，即通过下述公式表示Q点和q点：
Q＝[X Y Z 1]T
q＝[x y 1]T
则行驶方向视图与摄像头成像平面(即投影出的鸟瞰图样本)之间的单应性可表示为：
q＝HQ
其中，H为单应性矩阵，由于在本实施例中仅计算行驶方向视图中的车道线信息，所以可以令Q点中的坐标Z＝0，从而单应性矩阵H为一个3*3的矩阵，进而上述单应性公式可以表示为如下公式：
在该公式中，h33为预设的尺度因子，因此，作为一种可能的实现方式，将行驶方向视图和摄像头成像平面中的四个坐标点的坐标信息按照相应的映射关系代入该公式，即可求得单应性矩阵H。进而，为了减小测量误差等因素的影响，可以在标定板中选取较多的角点坐标代入上述公式以计算单应性矩阵，从而提高了计算出的单应性矩阵的精确性。
本发明实施例的单应性矩阵获取方法，首先标定摄像头内参，然后对采集到的行驶方向视图进行矫正，最后根据采集到的行驶方向视图样本和鸟瞰图样本中多个坐标点的映射关系计算单应性矩阵，提高了获取到的单应性矩阵的精确性，便于后续将采集到三维前视图映射为二维鸟瞰图。
为了实现上述实施例，本发明还提出一种车辆偏航角的计算装置，图7为本发明一个实施例所提供的一种车辆偏航角的计算装置的结构示意图。如图7所示，该车辆偏航角的计算装置包括：第一获取模块100、投影模块200、第二获取模块300、生成模块400和计算模块500。
其中，第一获取模块100，用于获取车辆的行驶方向视图。
投影模块200，用于将行驶方向视图投影成鸟瞰图。
第二获取模块300，用于根据行驶方向视图中车道线点的位置获取鸟瞰图中车道线点的位置。
生成模块400，用于根据鸟瞰图中车道线点的位置生成车道线方程。
计算模块500，用于根据车道线方程计算得到车辆的偏航角。
在本发明实施例的一种可能的实现方式中，第一获取模块100具体用于获取车辆的前视图或后视图。
在本发明实施例的一种可能的实现方式中，第二获取模块300还用于提取行驶方向视图中车道线点的位置。
具体的，第二获取模块300具体用于将行驶方向视图输入至训练好的车道线检测模型，得到车道线概率图，然后根据车道线概率图提取行驶方向视图中车道线点的位置。
在本发明实施例的一种可能的实现方式中，第二获取模块300具体用于每隔n行提取一个该行概率值最大的点作为行驶方向视图中的车道线点，其中n为0或正整数，然后获取行驶方向视图中的车道线点的位置。
在本发明实施例的一种可能的实现方式中，如图8所示，车辆偏航角的计算装置还包括训练模块110，用于获取车辆的行驶方向视图样本，然后在行驶方向视图样本中人工标记车道线的位置，最后根据人工标记的车道线的位置基于深度学习训练得到车道线检测模型。
在本发明实施例的一种可能的实现方式中，投影模块200具体用于根据预设的单应性矩阵，将行驶方向视图投影成鸟瞰图。
具体的，投影模块200具体用于获取车辆的行驶方向视图样本，然后将行驶方向视图样本投影成鸟瞰图样本，最后根据行驶方向视图样本和鸟瞰图样本中给定的多个坐标点的映射关系，计算得到单应性矩阵。
在本发明实施例的一种可能的实现方式中，计算模块500具体用于根据车道线方程中车道线的斜率计算得到车辆的偏航角。具体的，计算模块500具体用于根据预设公式计算得到车辆的偏航角，其中预设公式为：
其中，θ为车辆的偏航角，k为车道线的斜率。
需要说明的是，前述对车辆偏航角的计算方法实施例的描述，也适用于本发明实施例的车辆偏航角的计算装置，其实现原理类似，在此不再赘述。
本发明实施例的车辆偏航角的计算装置，首先获取车辆的前视图，然后提取前视图中车道线点的位置，再将前视图投影成鸟瞰图，并根据前视图中车道线点的位置获取所述鸟瞰图中车道线点的位置，最后根据鸟瞰图中车道线点的位置生成车道线方程，进而根据车道线方程中车道线的斜率计算得到车辆的偏航角。该装置基于深度学习方法检测车道线，然后通过单应性矩阵将车辆实际的前视图像映射为车道线的鸟瞰图，进而获取车道线的方程，由此计算出车辆实际相对于车道线的真实偏航角度，避免了时间累积因素的影响，提高了车辆偏航角的精确性，有利于增加车辆的安全性。
为了实现上述目的，本发明还提出一种车辆，包括如上述实施例所述的车辆偏航角的计算装置。
为了实现上述目的，本发明还提出一种车载设备，图9为本发明一个实施例提出的一种车载设备的结构示意图。如图9所示，该车载设备120包括：处理器121和存储器122；存储器122用于存储可执行程序代码；处理器121通过读取存储器122中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于实现如上述实施例所述的车辆偏航角的计算方法。
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的车辆偏航角的计算方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (22)
1.一种车辆偏航角的计算方法，其特征在于，包括：
获取车辆的行驶方向视图；
将所述行驶方向视图投影成鸟瞰图；
根据所述行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置；
根据所述鸟瞰图中车道线点的位置生成车道线方程；
根据所述车道线方程计算得到所述车辆的偏航角。
2.根据权利要求1所述的计算方法，其特征在于，所述行驶方向视图包括：前视图或后视图。
3.根据权利要求1所述的计算方法，其特征在于，所述根据所述行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置之前，还包括：
提取所述行驶方向视图中车道线点的位置。
4.根据权利要求3所述的计算方法，其特征在于，所述提取所述行驶方向视图中车道线点的位置，包括：
将所述行驶方向视图输入至训练好的车道线检测模型，得到车道线概率图；
根据所述车道线概率图提取所述行驶方向视图中车道线点的位置。
5.根据权利要求4所述的计算方法，其特征在于，所述根据所述车道线概率图提取所述行驶方向视图中车道线点的位置，包括：
每隔n行提取一个该行概率值最大的点作为所述行驶方向视图中的车道线点，所述n为0或正整数；
获取所述行驶方向视图中的车道线点的位置。
6.根据权利要求4所述的计算方法，其特征在于，还包括：
获取车辆的行驶方向视图样本；
在所述行驶方向视图样本中人工标记车道线的位置；
根据人工标记的车道线的位置基于深度学习训练得到所述车道线检测模型。
7.根据权利要求1所述的计算方法，其特征在于，所述将所述行驶方向视图投影成鸟瞰图，包括：
根据预设的单应性矩阵，将所述行驶方向视图投影成所述鸟瞰图。
8.根据权利要求7所述的计算方法，其特征在于，还包括：
获取车辆的行驶方向视图样本；
将所述行驶方向视图样本投影成鸟瞰图样本；
根据行驶方向视图样本和鸟瞰图样本中多个坐标点的映射关系，计算得到所述单应性矩阵。
9.根据权利要求1所述的计算方法，其特征在于，所述根据所述车道线方程计算得到所述车辆的偏航角，包括：
根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角。
10.根据权利要求9所述的计算方法，其特征在于，所述根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角，包括：
根据预设公式计算得到所述车辆的偏航角，所述预设公式为：
其中，所述θ为所述车辆的偏航角；
所述k为所述车道线的斜率。
11.一种车辆偏航角的计算装置，其特征在于，包括：
第一获取模块，用于获取车辆的行驶方向视图；
投影模块，用于将所述行驶方向视图投影成鸟瞰图；
第二获取模块，用于根据所述行驶方向视图中车道线点的位置获取所述鸟瞰图中车道线点的位置；
生成模块，用于根据所述鸟瞰图中车道线点的位置生成车道线方程；
计算模块，用于根据所述车道线方程计算得到所述车辆的偏航角。
12.根据权利要求11所述的计算装置，其特征在于，所述第一获取模块具体用于：获取车辆的前视图或后视图。
13.根据权利要求11所述的计算装置，其特征在于，所述第二获取模块还用于：
提取所述行驶方向视图中车道线点的位置。
14.根据权利要求13所述的计算装置，其特征在于，所述第二获取模块具体用于：将所述行驶方向视图输入至训练好的车道线检测模型，得到车道线概率图；
根据所述车道线概率图提取所述行驶方向视图中车道线点的位置。
15.根据权利要求14所述的计算装置，其特征在于，所述第二获取模块具体用于：
每隔n行提取一个该行概率值最大的点作为所述行驶方向视图中的车道线点，所述n为0或正整数；
获取所述行驶方向视图中的车道线点的位置。
16.根据权利要求14所述的计算装置，其特征在于，还包括：
训练模块，用于获取车辆的行驶方向视图样本；在所述行驶方向视图样本中人工标记车道线的位置；根据人工标记的车道线的位置基于深度学习训练得到所述车道线检测模型。
17.根据权利要求11所述的计算装置，其特征在于，所述投影模块具体用于：
根据预设的单应性矩阵，将所述行驶方向视图投影成所述鸟瞰图。
18.根据权利要求17所述的计算装置，其特征在于，所述投影模块具体用于：
获取车辆的行驶方向视图样本；
将所述行驶方向视图样本投影成鸟瞰图样本；
根据行驶方向视图样本和鸟瞰图样本中多个坐标点的映射关系，计算得到所述单应性矩阵。
19.根据权利要求11所述的计算装置，其特征在于，所述计算模块具体用于：
根据所述车道线方程中车道线的斜率计算得到所述车辆的偏航角。
20.根据权利要求19所述的计算装置，其特征在于，所述计算模块具体用于：
根据预设公式计算得到所述车辆的偏航角，所述预设公式为：
其中，所述θ为所述车辆的偏航角；
所述k为所述车道线的斜率。
21.一种车辆，其特征在于，包括：如权利要求11-20任一项所述的车辆偏航角的计算装置。
22.一种车载设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-11中任一项所述的车辆偏航角的计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910227017.3A CN111738035A (zh) | 2019-03-25 | 2019-03-25 | 车辆偏航角的计算方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910227017.3A CN111738035A (zh) | 2019-03-25 | 2019-03-25 | 车辆偏航角的计算方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111738035A true CN111738035A (zh) | 2020-10-02 |
Family
ID=72645730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910227017.3A Pending CN111738035A (zh) | 2019-03-25 | 2019-03-25 | 车辆偏航角的计算方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738035A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837352A (zh) * | 2021-04-20 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 基于图像的数据处理方法、装置及设备、汽车、存储介质 |
| CN113869293A (zh) * | 2021-12-03 | 2021-12-31 | 禾多科技（北京）有限公司 | 车道线识别方法、装置、电子设备和计算机可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426864A (zh) * | 2015-12-04 | 2016-03-23 | 华中科技大学 | 一种基于等距边缘点匹配的多车道线检测方法 |
| CN105678285A (zh) * | 2016-02-18 | 2016-06-15 | 北京大学深圳研究生院 | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 |
| CN108437893A (zh) * | 2018-05-16 | 2018-08-24 | 奇瑞汽车股份有限公司 | 一种汽车偏离车道的预警方法及装置 |
| CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
-
2019
- 2019-03-25 CN CN201910227017.3A patent/CN111738035A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105426864A (zh) * | 2015-12-04 | 2016-03-23 | 华中科技大学 | 一种基于等距边缘点匹配的多车道线检测方法 |
| CN105678285A (zh) * | 2016-02-18 | 2016-06-15 | 北京大学深圳研究生院 | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 |
| CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
| CN108437893A (zh) * | 2018-05-16 | 2018-08-24 | 奇瑞汽车股份有限公司 | 一种汽车偏离车道的预警方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837352A (zh) * | 2021-04-20 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 基于图像的数据处理方法、装置及设备、汽车、存储介质 |
| CN113869293A (zh) * | 2021-12-03 | 2021-12-31 | 禾多科技（北京）有限公司 | 车道线识别方法、装置、电子设备和计算机可读介质 |
| CN113869293B (zh) * | 2021-12-03 | 2022-03-11 | 禾多科技（北京）有限公司 | 车道线识别方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| US10860871B2 (en) | Integrated sensor calibration in natural scenes | |
| CN109961468B (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
| CN110147382B (zh) | 车道线更新方法、装置、设备、系统及可读存储介质 | |
| CN109902637A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN111508027B (zh) | 摄像机外参标定的方法和装置 | |
| CN112257539B (zh) | 车辆与车道线的位置关系检测方法、系统和存储介质 | |
| CN111260539B (zh) | 鱼眼图目标识别方法及其系统 | |
| CN109948470B (zh) | 基于霍夫变换的停车线距离检测方法及系统 | |
| CN112489136B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| EP2887315A1 (en) | Calibration device, method for implementing calibration, program and camera for movable body | |
| CN110659548B (zh) | 车辆及其目标检测方法、装置 | |
| CN113496528B (zh) | 固定交通路侧场景下视觉检测目标位置标定方法及装置 | |
| CN112017249A (zh) | 车载摄像头滚转角获取、安装角度校正方法及设备 | |
| CN112489106A (zh) | 基于视频的车辆尺寸测量方法、装置、终端及存储介质 | |
| CN110770741B (zh) | 一种车道线识别方法和装置、车辆 | |
| JP5228614B2 (ja) | パラメータ計算装置、パラメータ計算システムおよびプログラム | |
| CN102483881B (zh) | 人行横道线检测方法及人行横道线检测装置 | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN114550042A (zh) | 一种道路消失点提取方法、车载传感器标定方法及装置 | |
| CN110488838A (zh) | 一种室内自主导航机器人精确重复定位方法 | |
| CN111738035A (zh) | 车辆偏航角的计算方法、装置和设备 | |
| CN106524995A (zh) | 基于可见光图像实时检测目标物体空间距离的定位方法 | |
| CN104471436A (zh) | 用于计算对象的成像比例的变化的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |