CN111738071B - 一种基于单目摄像机的运动变化的逆透视变换方法 - Google Patents
一种基于单目摄像机的运动变化的逆透视变换方法 Download PDFInfo
- Publication number
- CN111738071B CN111738071B CN202010412341.5A CN202010412341A CN111738071B CN 111738071 B CN111738071 B CN 111738071B CN 202010412341 A CN202010412341 A CN 202010412341A CN 111738071 B CN111738071 B CN 111738071B
- Authority
- CN
- China
- Prior art keywords
- point
- perspective transformation
- initial
- inverse perspective
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 35
- 238000011426 transformation method Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000007689 inspection Methods 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单目摄像机的运动变化的逆透视变换方法，属于计算机视觉、图像处理和智能车辆的环境感知领域，解决了针对在道路路面复杂采用固定的逆透视变换方法造成获得的鸟瞰图出现失真、畸变等问题。本发明的方法主要包括初始检测、逆透视变换、平行特性检验和动态检测，处理的目标是单目摄像机拍摄的视频流或图片集；用于逆透视变换的矩阵参数有了动态变化，可以适应上下坡、颠簸的路面，得到的鸟瞰图质量与固定参数的逆透视变换相比更高，能够适应道路路面复杂的情况，便于之后的道路信息提取。
Description
技术领域
本发明属于计算机视觉、图像处理和智能车辆的环境感知领域，尤其涉及一种基于单目摄像机的运动变化的逆透视变换方法。
背景技术
随着电动化、网联化、智能化和共享化的提出，汽车的发展越来越智能。自动驾驶的发展得到关注，自动驾驶的关键技术分为定位导航技术、环境感知技术、规划决策技术和自动控制技术。环境感知技术，就是感知汽车周围的环境，包括路面、静态和动态物体。感知静态物体，要进行物体分类；感知动态物体，要进行物体轨迹跟踪。环境的感知是为路径规划做准备。
计算机视觉是一门利用摄像机和电脑代替人眼进行目标识别、分类和追踪的科学学科。如今，计算机视觉已在车辆工程中得到广泛的应用，特别是智能车辆领域。它利用装载在车辆上的单或多摄像头进行画面捕捉，再通过相关的决策器进行有效而实时的信息提取，达到感知环境的目的。利用计算机视觉，可以识别车道线、交通标志、行人和车辆等物体。
在道路信息感知中，单目摄像机由于其成本便宜、控制简单的特点，被广泛应用于智能车辆中来获取图像信息。单目摄像机的姿态角有三个，分别是俯仰角、偏航角和滚倾角，其中每一个角度的变化都会使得单目摄像机所拍摄的图像发生对应的变化。单目摄像机是基于小孔成像原理成像的，其拍摄的图像是一个透视变换的结果，其中很多道路信息都会因此发生变形而无法直接识取。因此将原图像转换成鸟瞰图的逆透视变换是一种十分重要的方法。但由于道路的结构复杂和多变，通用的逆透视变换方法并不存在。例如上下坡、经过颠簸路面或车身自己振动时，摄像头的姿态就会发生改变，如果采用固定参数的逆透视变换方法，那么获得的鸟瞰图会存在失真、畸变等问题，对后续的道路信息提取造成阻碍。
发明内容
本发明提供了一种基于单目摄像机的运动变化的逆透视变换方法，能够解决针对在道路路面复杂采用固定的逆透视变换方法造成获得的鸟瞰图出现失真、畸变等问题。
为实现以上目的，本发明采用以下技术方案：
一种基于单目摄像机的运动变化的逆透视变换方法，包括以下步骤：
(1)单目摄像机开始工作，先初始检测第一帧图像，利用深度神经网络和图像纹理特征相结合的方法检测初始消失点、初始分界线和四个初始对应点，再对第一帧图像进行基于所述四个初始对应点变换的逆透视变换，输出对应的鸟瞰图；
(2)对第一帧的鸟瞰图进行平行特性检验，即先霍夫变换直线检测车道线，将检测得到的左右车道线的方向参数转换成和水平方向的夹角，通过对比左右车道线的夹角来确定鸟瞰图的质量；
(3)如果检验通过，四个对应点不变直接继续对第二帧进行逆透视变换，输出鸟瞰图；如果检验没通过，对第二帧图像进行动态检测，检测此时的消失点和分界线，根据消失点坐标和分界线斜率的变化调整四个对应点的坐标，再对第二帧图像进行逆透视变换，输出鸟瞰图；
(4)循环执行步骤(2)和步骤(3)的操作，直至输出最后一帧的鸟瞰图后，结束退出。
以上所述步骤中，步骤(1)中检测初始消失点的方法具体包括：先将数据集中的所有图像分成5×5的方块集，标注方块序号，用18层的ResNet(残差神经网络)去预测25个小方块集中哪一块含有消失点，再在确定含有消失点的小方块中用0°、45°、90°和135°这四个方向的Gabor滤波器分别卷积，得到四个能量响应值矩阵，在同一个像素位置上的四个能量响应值进行比较，确定最大的能量响应值对应的方向就是该像素的纹理方向，然后进行置信水平估计，设置阈值0.8，只有置信水平大于阈值的像素点才参与投票，置信水平Conf估记公式如下：
式中E1，E2，E3，E4是四个方向上的能量响应值，最后采用快速局部软投票方法快速估计道路消失点的位置；
步骤(1)中检测初始分界线的方法具体包括：假设图像大小为M×N，M为行数，将图像转换成灰度图，取图像的左十列像素点的灰度值，进行列向的直方图分析，找出灰度值突变点，对应的纵向坐标为a，则点(0，a)为分界线和图像左边缘的交点，同理取图像的右十列，进行列向直方图分析，找出灰度值突变点，对应的纵向坐标为b，点(N，b)为分界线和图像右边缘的交点，所述交点(0，a)和(N，b)的连线为初始分界线；
步骤(1)中检测四个初始对应点的方法具体包括：根据初始消失点确定逆透视变换的初始区域，确保逆透视变换的区域包含足够多的车道线信息，初始区域的四个顶点A0、B0、C0和D0为四个初始对应点，其中A0和B0点是初始分界线l0垂直往下平移一段距离d后和左右车道线的交点，C0点为初始消失点v0和B0点的延长线与图像下边界的交点，D0点为初始消失点v0和A0点的延长线与图像下边界的交点；
所述的逆透视变换具体包括：在已知四个对应点坐标的基础上，对图像进行基于对应点变换的逆透视变换，假设鸟瞰图的大小为m×n，m为行数，那么四个对应点中A点对应(0，0)，B点对应(n，0)，C点对应(n，m)，D点对应(0，m)，线性变换公式为：
(X，Y，Z)＝(x，y，z)·H3×3 (2)
式中，H3×3是一个3×3的齐次矩阵，四个对应点代入线性变换公式中，可以求出可用于逆透视变换的对应性矩阵，然后用该矩阵和原图像卷积、插值得到鸟瞰图；
所述平行特性检验具体包括：在鸟瞰图中先边缘检测出车道线，再进行霍夫变换直线检测，将表征车道线方向的参数θ1和θ2转换像素坐标系下的左右车道线和水平线的夹角α1和α2，用偏差s来检测鸟瞰图的质量，偏差s的计算公式如下：
s＝α1-α2 (4)
若-0.087rad≤s≤0.087rad，那么获得是高质量的鸟瞰图；若超出这个范围，说明逆透视变换的质量不好，要调整四个对应点A、B、C、D的坐标；
所述运动检测具体包括：实时检测消失点v的坐标和分界线l的斜率k，检测方法与检测初始消失点、初始分界线的方法相同，当消失点v的坐标发生变化时，可以推测是单目摄像机的俯仰角和偏航角改变；当分界线l的斜率k发生变化时，可以推测是单目摄像机的滚倾角改变，因此要根据这些的变化，实时改变用于逆透视变换的四个对应点的坐标，
以A点坐标为例，说明其坐标的变化公式，当消失点坐标发生变化时，
当分界线的斜率发生变化时，
θ＝tan-1(k0)-tan-1(k) (6)
式中，xA和yA是A点的横纵坐标，xv和yv是消失点v的横纵坐标，k是分界线l的斜率，xA0和yA0是初始对应点A0的横纵坐标，xv0和yv0是初始消失点v0的横纵坐标，k0是初始分界线l0的斜率。
B、C和D三点的变化公式与A点变化公式相同。
有益效果：本发明提供了一种基于单目摄像机的运动变化的逆透视变换方法，所述方法主要包括初始检测、逆透视变换、平行特性检验和动态检测，处理的目标是单目摄像机拍摄的视频流或图片集，取得了以下有益效果：
(1)用于逆透视变换的矩阵参数有了动态变化，可以适应上下坡、颠簸的路面，得到的鸟瞰图质量与固定参数的逆透视变换相比更高，便于之后的道路信息提取；
(2)消失点的检测方法是深度学习和图像纹理特征的一种结合，相比直接用深度学习来检测消失点，该方法只用深度学习来分类是否含有消失点的小方块区域，所需的网络结构更简单，不用构造特别的损失函数，只用分类器就行，收敛速度更快，而且训练的数据集也需要的更少，相比直接对全图进行图像纹理特检测消失点，该方法在深度学习后选定的小方块区域内再进行图像纹理特征的检索，处理的像素点数量比全图处理要少，速度更快，而且该检测方法符合人眼识别的特点，先快速确定相关的区域，再准确寻找识别目标；
(3)设置平行特性检验，来检验鸟瞰图的质量，根据平行特性检验的结果来判断下一帧是否需要动态检测，而不是所有的帧图像都进行，这样大大降低了程序的冗余度，提高了运算性能；
(4)采用对应点变换的逆透视变换，而不是基于简化的摄像机模型的逆透视变换方法，避免了摄像机的各姿态角的测量，而且动态检测中的对应点的坐标调整，是直接根据消失点和分界线的变化来调整，而非是通过消失点变化推导摄像机姿态角的变化再调整逆透视变换的设计思路，后者中的消失点对应姿态角的变化公式是基于小孔成像模型推导出来的，本身上就存在误差，所以本发明的方法精确度更高。
附图说明
图1为本发明方法工作流程图；
图2为本发明实施例中消失点、分界线示意图；
图3为本发明实施例中表征车道线方向的参数转换像素坐标系下的左右车道线和水平线的夹角角度示意图；
图4为本发明实施例中深度神经网络预测结果示意图；
图5为本发明实施例中Gabor滤波器卷积结果示意图；
图6为本发明实施例中消失点检测结果示意图；
图7为本发明实施例中分界线和图像左边边缘交点示意图；
图8为本发明实施例中逆透视变换区域示意图；
图9为本发明实施例中逆透视变换结果示意图；
图10为本发明实施例中平行特性检测结果1示意图；
图11为本发明实施例中平行特性检测结果2示意图；
图12为本发明实施例中调整后的鸟瞰图结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明：
如图1所示，一种基于单目摄像机的运动变化的逆透视变换方法，包括以下步骤：
(1)初始检测：单目摄像机开始工作，先初始检测第一帧图像，利用深度神经网络和图像纹理特征相结合的方法检测初始消失点、初始分界线和四个初始对应点，在初始检测阶段，主要进行两项操作：第一项是检测初始消失点v0的坐标和天空与路面之间的初始分界线l0的斜率k0；
所述初始消失点v0的检测采用深度学习和图像纹理特征相结合的方法检测，如图4所示，图像为1080×1440(1080为行数)，分成5×5的方块集，标注方块序号，用18层的ResNet(残差神经网络)去预测25个小方块集中哪一块含有消失点，结果预测出消失点在8号方块中，再在8号方块中用0°、45°、90°和135°这四个方向上的Gabor滤波器分别卷积，得到四个能量响应值矩阵如图5所示，在同一个像素位置上的四个能量响应值进行比较，确定最大的能量响应值对应的方向就是该像素的纹理方向，然后进行置信水平估计，设置阈值0.8，只有置信水平大于阈值的像素点才参与投票，置信水平Conf估记公式如下，
式中E1，E2，E3，E4是四个方向上的能量响应值，最后采用快速局部软投票方法快速估计初始消失点的位置(160，132)，如图6所示，投影在原图像中为初始消失点v0(788，367)；
所述分界线的检测方法：如图8所示，将图像转换成灰度图，取图像的左十列像素点，进行列向的直方图分析，找出灰度值由平缓向剧烈变化的突变点的对应的坐标为259，则点(0，259)为分界线和图像左边缘的交点，同理取图像的右十列，确定出分界线和图像右边缘的交点(1440，265)，所述交点(0，259)和(1440，265)的连线为初始分界线l0，计算出斜率k0＝0.004；
第二项是根据初始消失点确定逆透视变换的初始区域，如图8所示，梯形A0B0C0D0就是进行逆透视变换的初始区域，要确保逆透视变换的区域要包含足够多的车道线信息，四个初始对应点分别为A0、B0、C0和D0，其中A0是初始分界线l0垂直往下平移一段距离190行像素后和左车道线y＝-0.646x+875.75的交点(659,450)，B0点是初始分界线l0垂直往下平移一段距离190行像素后和右车道线y＝0.95x-381.15的交点(875,450)，C0点为v0和B0点的延长线与图像下边界的交点(1323,876)，D0点为v0和A0点的延长线与图像下边界的交点(5,876)。
(2)逆透视变换：在已知四个初始对应点坐标的基础上，对第一帧图像进行基于对应点变换的逆透视变换，假设鸟瞰图的大小为540×720(540为行数)，那么A0点对应(0,0)，B0点对应(720，0)，C0点对应(720,540)，D0点对应(0，540)，线性变换公式为：
(X，Y，Z)＝(x，y，z)·H3×3 (2)
式中，H3×3是一个3×3的齐次矩阵。四对对应点代入线性变换公式中，可以求出可用于逆透视变换的对应性矩阵，然后用该矩阵和原图像卷积、插值得到对应的鸟瞰图，如图9所示；
(3)平行特性检验：在第一帧的鸟瞰图中，先边缘检测，再进行霍夫变化直线检测出车道线，将表征车道线方向的参数θ1和θ2转换像素坐标系下的左右车道线和水平线的夹角α1和α2，用偏差s来检测鸟瞰图的质量，偏差s的计算公式如下：
s＝α1-α2 (4)
若-0.087rad≤s≤0.087rad，那么获得是高质量的鸟瞰图，对应点不变直接继续对第二帧图像进行逆透视变换，输出鸟瞰图，若如图10所示，检测出左车道线的方向参数为0.017rad，右车道线的方向参数为0rad，计算得偏差s＝-0.017rad，落在允许范围内；若如图11所示，左车道线的方向参数为-0.244rad，右车道线的方向参数为-0.09rad，计算得偏差s＝0.334rad，超出范围，需要对第二帧图像进行动态检测调整四个对应点A、B、C、D的坐标；
(4)运动检测：在单目摄像机随车身运动后，开始实时检测消失点v的坐标和分界线l的斜率k，检测方法不变，根据消失点坐标和分界线斜率的变化，实时改变用于逆透视变换的四个对应点的坐标；
以A点坐标为例，说明其坐标的变化公式，当消失点坐标发生变化时，
当分界线的斜率发生变化时，
θ＝tan-1(k0)-tan-1(k) (6)
式中，xA和yA是A点的横纵坐标，xv和yv是消失点v的横纵坐标，k是分界线l的斜率，xA0和yA0是初始对应点A0的横纵坐标，xv0和yv0是初始消失点v0的横纵坐标，k0是初始分界线l0的斜率；
B、C和D三点的变化公式与A点的变化公式相同；
图11的原图进行动态检测后，消失点v检测出来坐标为(800,370)，分界线的斜率k为0.05，先代入公式(5)，再代入公式(6)(7)计算，得出A，B，C和D四点的坐标为(649,483)，(865,493)，(1293,939)和(-23,878)，进行基于对应点变换的逆透视变换，结果如图12所示。
(5)对第二帧图像进行动态检测调整四个对应点A、B、C、D的坐标后，再对第二帧图像进行逆透视变换，输出鸟瞰图；然后对第二帧的鸟瞰图进行平行特性检验；如果检验通过，对应点不变直接继续对第三帧进行逆透视变换；如果检验没通过，对第三帧图像进行动态检测，调整四个对应点A、B、C、D的坐标后，再对第三帧图像进行逆透视变换，输出鸟瞰图；然后对第三帧的鸟瞰图进行平行特性检验；如果检验通过，对应点不变直接继续对第四帧进行逆透视变换；如果检验没通过，对第四帧图像进行动态检测、、、，如此循环，直至输出最后一帧的鸟瞰图后，结束退出。
以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (9)
1.一种基于单目摄像机的运动变化的逆透视变换方法，其特征在于，包括以下步骤：
(1)单目摄像机开始工作，先初始检测第一帧图像，利用深度神经网络和图像纹理特征相结合的方法检测初始消失点、初始分界线和四个初始对应点，再对第一帧图像进行基于所述四个初始对应点变换的逆透视变换，输出对应的鸟瞰图；
(2)对第一帧的鸟瞰图进行平行特性检验，即先霍夫变换直线检测车道线，将检测得到的左右车道线的方向参数转换成水平方向上的夹角，通过对比左右车道线的夹角来确定鸟瞰图的质量；
(3)如果检验通过，四个对应点不变直接继续对第二帧进行逆透视变换，输出鸟瞰图；如果检验没通过，对第二帧图像进行动态检测，检测此时的消失点和分界线，根据消失点坐标和分界线斜率的变化调整四个对应点的坐标，再对第二帧图像进行逆透视变换，输出鸟瞰图；
(4)循环执行步骤(2)和步骤(3)的操作，直至输出最后一帧的鸟瞰图后，结束退出。
2.根据权利要求1所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，步骤(1)中所述检测初始消失点的方法具体包括：先将数据集中的所有图像分成5×5的方块集，标注方块序号，用18层的ResNet(残差神经网络)去预测25个小方块集中哪一块含有消失点，再在确定含有消失点的小方块中用0°、45°、90°和135°这四个方向的Gabor滤波器分别卷积，得到四个能量响应值矩阵，在同一个像素位置上的四个能量响应值进行比较，确定最大的能量响应值对应的方向就是该像素的纹理方向，然后进行置信水平估计，设置阈值0.8，只有置信水平大于阈值的像素点才参与投票，置信水平Conf估记公式如下：
式中E1，E2，E3，E4是四个方向上的能量响应值，最后采用快速局部软投票方法快速估计道路初始消失点的位置。
3.根据权利要求1或2所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，步骤(1)中所述检测初始分界线的方法具体包括：假设图像大小为M×N，M为行数，将图像转换成灰度图，取图像的左十列像素点的灰度值，进行列向的直方图分析，找出灰度值突变点，对应的纵向坐标为a，则点(0，a)为分界线和图像左边缘的交点，同理取图像的右十列，进行列向直方图分析，找出灰度值突变点，对应的纵向坐标为b，点(N，b)为分界线和图像右边缘的交点，所述交点(0，a)和(N，b)的连线为初始分界线。
4.根据权利要求1或2所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，步骤(1)中所述检测四个初始对应点的方法具体包括：根据初始消失点确定逆透视变换的初始区域，确保逆透视变换的区域包含足够多的车道线信息，初始区域的四个顶点A0、B0、C0和D0为四个初始对应点，其中A0和B0点是初始分界线l0垂直往下平移一段距离d后和左右车道线的交点，C0点为初始消失点v0和B0点的延长线与图像下边界的交点，D0点为初始消失点v0和A0点的延长线与图像下边界的交点。
5.根据权利要求1所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，所述的逆透视变换具体包括：在已知四个对应点坐标的基础上，对图像进行基于对应点变换的逆透视变换，假设鸟瞰图的大小为m×n，m为行数，那么四个对应点中A点对应(0，0)，B点对应(n，0)，C点对应(n，m)，D点对应(0，m)，线性变换公式为：
(X，Y，Z)＝(x，y，z)·H3×3 (2)
式中，H3×3是一个3×3的齐次矩阵，四个对应点代入线性变换公式中，求出可用于逆透视变换的对应性矩阵，然后用该矩阵和原图像卷积、插值得到鸟瞰图。
6.根据权利要求1所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，所述平行特性检验具体包括：在鸟瞰图中先边缘检测出车道线，再进行霍夫变换直线检测，将表征车道线方向的参数θ1和θ2转换像素坐标系下的左右车道线和水平线的夹角α1和α2，用偏差s来检测鸟瞰图的质量，偏差s的计算公式如下：
s＝α1-α2 (4)
若-0.087rad≤s≤0.087rad，那么获得是高质量的鸟瞰图；若超出这个范围，说明逆透视变换的质量不好，要调整逆透视变换的对应性矩阵的参数。
7.根据权利要求1所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，所述运动检测具体包括：实时检测消失点v的坐标和分界线l的斜率k，检测方法与检测初始消失点、初始分界线的方法相同，当消失点v的坐标发生变化时，是单目摄像机的俯仰角和偏航角改变；当分界线l的斜率k发生变化时，是单目摄像机的滚倾角改变，根据这些变化，实时改变用于逆透视变换的四个对应点A、B、C、D的坐标。
8.根据权利要求7所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，A点横纵坐标的变化公式如下：
当消失点坐标发生变化时，
当分界线的斜率发生变化时，
θ＝tan-1(k0)-tan-1(k) (6)
式中，xA和yA是A点的横纵坐标，xv和yv是消失点v的横纵坐标，k是分界线l的斜率，xA0和yA0是初始对应点A0的横纵坐标，xv0和yv0是初始消失点v0的横纵坐标，k0是初始分界线l0的斜率。
9.根据权利要求7或8所述的基于单目摄像机的运动变化的逆透视变换方法，其特征在于，B、C和D三点的变化公式与A点变化公式相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010412341.5A CN111738071B (zh) | 2020-05-15 | 2020-05-15 | 一种基于单目摄像机的运动变化的逆透视变换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010412341.5A CN111738071B (zh) | 2020-05-15 | 2020-05-15 | 一种基于单目摄像机的运动变化的逆透视变换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738071A CN111738071A (zh) | 2020-10-02 |
| CN111738071B true CN111738071B (zh) | 2024-04-16 |
Family
ID=72647282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010412341.5A Active CN111738071B (zh) | 2020-05-15 | 2020-05-15 | 一种基于单目摄像机的运动变化的逆透视变换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738071B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634354B (zh) * | 2020-12-21 | 2021-08-13 | 紫清智行科技(北京)有限公司 | 基于路侧传感器的网联自动驾驶行车风险评估方法与装置 |
| CN113191937B (zh) * | 2021-04-17 | 2024-03-22 | 南京航空航天大学 | 一种基于曲面和消失点检测的自适应逆透视变换方法 |
| CN116681721B (zh) * | 2023-06-07 | 2023-12-29 | 东南大学 | 一种基于视觉的直线轨迹检测与跟踪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899858A (zh) * | 2015-02-15 | 2015-09-09 | 北京联合大学 | 基于双摄像机图像融合的车道线识别方法 |
| CN107389026A (zh) * | 2017-06-12 | 2017-11-24 | 江苏大学 | 一种基于固定点射影变换的单目视觉测距方法 |
| CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学（武汉） | 一种智能辅助驾驶方法及系统 |
| CN109785291A (zh) * | 2018-12-20 | 2019-05-21 | 南京莱斯电子设备有限公司 | 一种车道线自适应检测方法 |
-
2020
- 2020-05-15 CN CN202010412341.5A patent/CN111738071B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899858A (zh) * | 2015-02-15 | 2015-09-09 | 北京联合大学 | 基于双摄像机图像融合的车道线识别方法 |
| CN107389026A (zh) * | 2017-06-12 | 2017-11-24 | 江苏大学 | 一种基于固定点射影变换的单目视觉测距方法 |
| CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学（武汉） | 一种智能辅助驾驶方法及系统 |
| CN109785291A (zh) * | 2018-12-20 | 2019-05-21 | 南京莱斯电子设备有限公司 | 一种车道线自适应检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738071A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN107506711B (zh) | 基于卷积神经网络的双目视觉障碍物检测系统及方法 | |
| Shin et al. | Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities | |
| CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
| CN111027401A (zh) | 一种摄像头和激光雷达融合的端到端目标检测方法 | |
| CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
| CN113095152B (zh) | 一种基于回归的车道线检测方法及系统 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| CN113447923A (zh) | 目标检测方法、装置、系统、电子设备及存储介质 | |
| EP3293700A1 (en) | 3d reconstruction for vehicle | |
| CN114972968A (zh) | 基于多重神经网络的托盘识别和位姿估计方法 | |
| CN111091023A (zh) | 一种车辆检测方法、装置及电子设备 | |
| CN114089329A (zh) | 一种基于长短焦相机与毫米波雷达融合的目标检测方法 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN116258940A (zh) | 一种多尺度特征及自适应权重的小目标检测方法 | |
| CN113221957A (zh) | 一种基于Centernet的雷达信息融合特征增强方法 | |
| CN116993836A (zh) | 一种路端激光雷达相机标定方法及系统 | |
| CN115187959B (zh) | 一种基于双目视觉的飞行汽车山地着陆方法及系统 | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN115937520A (zh) | 基于语义信息引导的点云运动目标分割方法 | |
| CN115272450A (zh) | 一种基于全景分割的目标定位方法 | |
| Du et al. | Validation of vehicle detection and distance measurement method using virtual vehicle approach | |
| CN114612999A (zh) | 一种目标行为分类方法、存储介质及终端 | |
| CN112233079A (zh) | 多传感器图像融合的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |