CN107958226B - 一种道路曲线检测方法、装置和终端 - Google Patents
一种道路曲线检测方法、装置和终端 Download PDFInfo
- Publication number
- CN107958226B CN107958226B CN201711352075.6A CN201711352075A CN107958226B CN 107958226 B CN107958226 B CN 107958226B CN 201711352075 A CN201711352075 A CN 201711352075A CN 107958226 B CN107958226 B CN 107958226B
- Authority
- CN
- China
- Prior art keywords
- road
- disparity map
- pixel
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004347 surface barrier Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种道路曲线检测方法、装置和终端,涉及辅助驾驶技术领域,包括:获取待检测图像的视差图后生成V‑视差图,对V‑视差图进行霍夫变换得到霍夫矩阵,从霍夫矩阵的像素点中确定出满足预设条件的目标像素点,根据目标像素点在V‑视差图中对应的直线确定道路点包络区域,进而在道路点包络区域内检测道路点,并最终得到道路曲线。由于在V‑视差图中检测得到的各条直线,代表道路的直线上像素点个数最多,因此,通过筛选出V‑视差图中包括像素点个数最多的各条直线,可确定道路点包络区域,从而有效缩小道路点检测的范围,使道路曲线的检测更符合道路的真实情况,提高检测准确度。
Description
技术领域
本发明涉及辅助驾驶技术领域,尤其涉及一种道路曲线检测方法、装置和终端。
背景技术
在辅助驾驶、自动驾驶技术中,快速、准确、稳定的检测路面障碍物是关键技术,而准确的提取道路区域是检测路面障碍物的必要步骤。只有在准确的提取道路区域的前提下,才能准确地检测出路面障碍物。在现有的方案中,基于双目立体视觉技术的检测技术由于其成本低、探测视野大等优点,受到了各大公司以及研究人员的普遍关注。
目前,基于双目立体视觉技术的方案大同小异,通常为同时采集两张图像(左视图和右视图),以其中一幅图像作为基准图像,另一幅作为比较图像,使用立体匹配算法获取视差图,基于视差图生成V-视差图,通过检测V-视差图中的直线检测道路区域。由于V-视差图中的直线不仅包含道路区域的视差点,还包含道路以外区域的视差点,而且现实世界中的道路复杂多变,不仅包括平面道路,还可能包括上坡、下坡等曲面道路,因此,根据V-视差图中检测到的直线并不能准确地提取出道路区域,尤其是在道路区域占图像区域面积较小的情况下,该方法的检测准确率更低。
综上所述,目前亟需要一种道路曲线检测方法,用以解决现有技术中的道路检测方法中检测准确率较低、无法准确提取道路区域的技术问题。
发明内容
本发明提供一种道路曲线检测方法、装置及终端,用以解决现有技术中的道路检测方法中检测准确率较低、无法准确提取道路区域的技术问题。
本发明实施例提供的一种道路区域检测方法,包括:
获取待检测图像的视差图,根据所述视差图生成V-视差图;
对所述V-视差图进行霍夫变换,得到霍夫矩阵;
从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
在所述道路点包络区域内的像素点中确定出道路点,根据所述道路点在所述V-视差图中确定出道路曲线。
可选地,从所述霍夫矩阵的像素点中确定出像素值满足预设条件的目标像素点,包括:
选取所述霍夫矩阵中像素值前N大的像素点作为所述目标像素点,其中,N为大于等于1的正整数。;
可选地,所述选取所述霍夫矩阵中的像素值前N大的像素点作为所述目标像素点,包括:
从所述霍夫矩阵中确定出像素值大于第一阈值的像素点,选取所述像素值大于第一阈值的像素点中像素值前N大的像素点作为所述目标像素点。
可选地,在所述道路点包络区域内的像素点中确定出道路点,包括:
将所述道路点包络区域划分为多个搜索区域,将所述搜索区域中像素值最大的像素点作为所述搜索区域中的道路点。
可选地,将所述道路点包络区域划分为多个搜索区域,包括:
按照行将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定行数的像素点;或者,
按照列将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定列数的像素点。
可选地,根据所述道路点,在所述V-视差图中确定出所述道路曲线,包括:
将所述道路点中的全部道路点或者满足预设条件的部分道路点依次连接,将连接后得到的折线作为所述道路曲线;或者,
根据所述道路点中的全部道路点或者满足预设条件的部分道路点进行曲线拟合,将拟合得到的曲线作为所述道路曲线。
基于同样的发明构思,本发明还提供一种道路曲线检测装置,包括:
获取模块,用于获取待检测图像的视差图,根据所述视差图生成V-视差图;
处理模块,用于对所述V-视差图进行霍夫变换,得到霍夫矩阵;
所述处理模块还用于,从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
确定模块,用于在所述道路点包络区域内的像素点中确定出路点,根据所述道路点在所述V-视差图中确定出道路曲线。
可选地,所述处理模块具体用于:
选取所述霍夫矩阵中像素值前N大的像素点作为所述目标像素点,其中,N为大于等于1的正整数。
可选地,所述处理模块还具体用于:
从所述霍夫矩阵中确定出像素值大于第一阈值的像素点,选取所述像素值大于第一阈值的像素点中像素值前N大的像素点作为所述目标像素点。
可选地,所述确定模块具体用于:
将所述道路点包络区域划分为多个搜索区域,将所述搜索区域中像素值最大的像素点作为所述搜索区域中的道路点。
可选地,所述确定模块还具体用于:
按照行将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定行数的像素点;或者,
按照列将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定列数的像素点。
可选地,所述确定模块具体用于:
将所述道路点中的全部道路点或者满足预设条件的部分道路点依次连接,将连接后得到的折线作为所述道路曲线;或者,
根据所述道路点中的全部道路点或者满足预设条件的部分道路点进行曲线拟合,将拟合得到的曲线作为所述道路曲线。
本发明另一实施例提供了一种道路曲线检测终端,其包括摄像头组件、存储器和处理器,其中,所述摄像头组件,用于采集图像输入到处理器中进一步处理,所述存储器用于存储程序指令,所述处理器用于调用所述存储器中存储的程序指令,按照获得的程序执行上述任一种方法。
本发明另一实施例提供了一种计算机存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行上述任一种方法。
本发明实施例中,首先获取待检测图像的视差图,根据视差图生成V-视差图,随后对V-视差图进行霍夫变换,得到霍夫矩阵,从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,根据目标像素点在V-视差图中对应的各条直线,确定出V-视差图中的道路点包络区域,进而在确定出的道路点包络区域内的像素点中确定出多个道路点,根据这多个道路点在V-视差图中确定出道路曲线和视差图中对应的道路区域。
如此,由于在V-视差图中由像素值不为0的像素点构成的各条直线中,代表道路的像素点所构成的直线上包括的像素点的个数最多,因此,本发明实施例中通过采用霍夫变换的方式确定出霍夫矩阵中满足预设条件的目标像素点,可筛选出V-视差图中包括的像素点个数最多的各条直线,以确定道路点包络区域,从而有效缩小了道路点检测的范围,进而再根据在道路点包络区域中检测到的多个道路点确定道路曲线,相比于现有技术中直接在V-视差图中检测直线的方法,本发明实施例中检测到的道路曲线的检测更符合道路的真实情况,提高了道路区域检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种道路曲线检测方法所对应的流程示意图;
图2a为本发明实施例中双目相机采集的某一场景的左图像;
图2b为本发明实施例中双目相机采集的某一场景的右图像;
图3为本发明实施例中对待检测图像进行特征匹配后得到的视差图;
图4为本发明实施例中视差图的检测区域;
图5为本发明实施例中的待检测图像的视差图进行统计得到的V-视差图;
图6为本发明实施例中进行二值化处理后的二值化V-视差图;
图7为本发明实施例中利用霍夫变换选择出的V-视差图中的N条直线;
图8为本发明实施例中确定出的道路点包络区域的示意图;
图9为本发明实施例中以一列作为一个搜索区域确定道路点的示意图;
图10为本发明实施例在道路点包络区域中按照每3个连续的道路点中选取一个道路点的方式选择出的多个道路点;
图11为本发明实施例中将图10中选择出的多个道路点进行连接得到的道路曲线;
图12为本发明实施例中确定出的视差图中的道路区域的示意图;
图13为本发明实施例提供的一种道路曲线检测装置的结构示意图;
图14为本发明实施例提供的一种道路曲线检测终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例,仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例中的道路曲线检测方法可应用在辅助驾驶、自动驾驶技术中,用于在检测路面障碍物之前准确地提取道路区域。为了便于理解本发明实施例中提供的道路曲线检测方法,本发明实施例中首先对涉及到的基本概念做简要介绍。
视差指从某一基线两端各引一条直线到同一较远物体时,两条直线之间的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角,叫做这两个点的视差角,两点之间的距离称作基线。只要知道视差角度和基线程度,就可以计算出目标和观测者之间的距离。
视差图包含了场景的距离信息,它可以从双目相机拍摄的左图像和右图像计算得到,或者可通过立体视图中的深度图计算得到。以双目相机拍摄的左图像和右图像计算视差图为例,以左图像和右图像中的任一幅图像为基准图像,另一幅图像为比较图像,通过立体匹配算法逐一进行特征点的匹配得到视差图。该视差图的大小为基准图像的大小,其中的每一像素点为特征匹配得到的特征点,每一像素点的像素值为该特征点的视差值,一般情况下以像素点的灰度值来代表其像素值,视差值越大像素点的灰度值就越大。
V-视差图可以看作是视差图的侧视图,它通过对视差图的每一行中视差值相同的像素点的个数进行统计得到,其中,V-视差图的宽为视差值的范围,高为视差图的高,每个像素点的像素值为对应行中当前视差值的像素点的个数。
也就是说,V-视差图中任一像素点对应于视差图中的多个特征点,多个特征点的纵坐标和视差值均相同;V-视差图中任一像素点的横坐标为其对应的多个特征点的视差值,纵坐标为其对应的多个特征点的纵坐标,该任一像素点的像素值为其对应的多个特征点的个数。
若以(u,v)来代表视差图中某一像素点的坐标,则该视差图中该像素点的像素值(即视差值)可以表示为d(u,v)。那么在V-视差图中每一像素点的坐标可表示为(d,v),该像素点的像素值为Count(d,v),其中横坐标d为视差图中的视差值,纵坐标v为视差图中的视差值,该像素点的像素值为在视差图中纵坐标为v的一行中视差值为d的像素点的个数,即Count。
下面结合说明书附图对本发明实施例做进一步详细描述。
图1示出了本发明实施例中提供的一种道路曲线检测方法所对应的流程示意图,如图1所示,所述方法包括:
步骤S101:获取待检测图像的视差图,根据所述视差图生成V-视差图;
步骤S102:对所述V-视差图进行霍夫变换,得到霍夫矩阵;
步骤S103:从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
步骤S104:在所述道路点包络区域内的像素点中确定出道路点,根据所述道路点在所述V-视差图中确定出道路曲线。
如此,由于在V-视差图中由像素值不为0的像素点构成的各条直线中,代表道路的直线上包括的像素点的个数最多,因此,本发明实施例中通过采用霍夫变换的方式确定出霍夫矩阵中满足预设条件的目标像素点,可筛选出V-视差图中包括的像素点个数最多的各条直线,以确定道路点包络区域,从而有效缩小了道路点检测的范围,进而再根据在道路点包络区域中检测到的多个道路点确定道路曲线,相比于现有技术中直接在V-视差图中检测直线的方法,本发明实施例中检测到的道路曲线的检测更符合道路的真实情况,提高了道路区域检测的准确性。
具体来说,在步骤S101中,可通过在车辆上设置的双目相机采集同一场景的左、右图像,通过立体匹配算法得到待检测图像的视差图,并采用上文中所述的方法对视差图中各个像素点的视差值进行统计得到V-视差图。本发明实施中,车辆上设置的相机还可以为其他类型的相机,如立体相机、多目相机等,只要能采集待检测图像获取视差图即可,当然,本发明实施例中还可采用其他方式来获取视差图,本发明对此不做具体限制。
图2a和图2b为示例性地给出了通过车辆上设置的双目相机对采集的同一场景下的待检测图像进行处理后得到的灰度图,其中图2a为左图像,图2b为右图像。图3为通过对图2a和图2b中的图像进行特征匹配后得到的视差图。
由图2a、图2b和图3可以看出,道路区域主要集中在待检测图像的下半部分,而待检测图像的上半部分主要是道路区域两旁的树木、楼房等道路无关的物体。因此,本发明实施例中,可将视差图的下半部分作为检测区域,如图4所示,并生成该检测区域对应的V-视差图,如图5所示。如此,由于缩小了道路区域的检测范围,并去除了部分非道路区域中像素点的干扰,可有效减小后续检测过程中的计算量,提高检测道路区域的准确率。
需要说明的是,将视差图的下半部分作为检测区域仅是本发明实施例提供的一种可选的实现方式,在实际应用中,本领域技术人员可根据实际需要,还可参考现有技术中ROI(region of interest,感兴趣区域)区域的确定方式,将其他区域作为检测区域,本发明对此不做具体限制。
在拍摄场景中,距离相机越近的物体的视差越大,该物体上的点在视差图中的高度越低(即纵坐标越小),相反,距离相机越远的物体的视差越小,该物体上的点在视差图中的高度越高(即纵坐标越小)。由于在待检测图像中道路区域所占的面积较大(即道路区域中的像素点的个数较多),这些道路上的像素点反映在V-视差图中就是灰度值越大的像素点主要集中在左上方到右下方的对角线附近。当然由于在视差图距离相机较远的位置还有汽车、树木等非道路区域上的像素点,这些像素点反映在V-视差图中就是左上方非对角线位置(即视差值较小但纵坐标较大)上的灰度值较大的像素点。
由于霍夫变换的输入必须为二值图,因此,在进行步骤S102之前,还需将V-视差图进行二值化处理,将V-视差图处理成只包含0和255两个数值的图像。这里的0和255是指像素点的灰度,也就是像素点的像素值。
具体的,本发明实施例中,将二值化的阈值设置为1,即将V-视差图中像素值(即灰度)小于等于1的像素点的像素值全部置为0,而将像素值大于1的像素点的像素值全部置为255。由于在一般情况下,灰度值的取值范围就是[0,255],因此,本发明实施例中将二值化的阈值设置为1可以尽可能多的保留V-视差图中的像素点。
图6为本发明实施例中进行二值化处理后得到的二值化V-视差图,如图6所示,图6为一幅黑白图像,相比于图5中的V-视差图,灰度值较大的像素点的个数明显变多,而且在图5中像素值不为0的像素点在图6中的像素值都变成了255。
在步骤S102中,对得到的二值化的V-视差图进行霍夫变换,得到V-视差图在极坐标系下对应的霍夫矩阵,也称ρ-θ矩阵。所谓霍夫变换是指对二值化V-视差图中像素值不为0的的各个像素点构成直线的坐标方程转化到极坐标的参数坐标系中,其中ρ为极坐标系下的极径,θ为极坐标系下的极角。
具体的,霍夫矩阵中的每个像素点对应于V-视差图中由像素值不为0的各像素点构成的一条直线,而且霍夫矩阵中每一像素点的像素值等于该像素点在V-视差图中对应的直线中的像素点的个数。也就是说,在霍夫矩阵中若某一个像素点的像素值越大(即灰度值越大),那么它在V-视差图中对应的那条直线上的像素点的个数就越多。
现有技术中的道路检测方法,往往是在二值化V-视差图中直接检测直线,由于真实的道路环境并不是理想化的平面,而是存在着一定程度的高低起伏的曲面,因此,在V-视差图中检测到的直线并不能代表真实的道路区域。
在步骤S103中,从霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据目标像素点在V-视差图中对应的各条直线,确定出V-视差图中的道路点包络区域。其中,满足预设条件的目标像素点是指霍夫矩阵中像素值前N大的N个像素点,具体可通过如下方式确定出来的:
首先从霍夫矩阵中确定出像素值大于第一阈值的像素点,进而将像素值大于第一阈值的像素点中像素值前N大的N个像素点,作为目标像素点,N为大于等于1的正整数。
可选地,本发明实施例中还可以在确定出目标像素点之前,按照像素值从大到小的顺序,对霍夫矩阵中的像素点进行排序,随后再将排序后的前N个像素点(即整个像素矩阵中像素值前N大的各个像素点)作为目标像素点。
由于霍夫矩阵中的每一像素点与V-视差图中由像素值不为0的像素点构成的一条直线相对应,因此,在步骤S103中在霍夫矩阵选择像素值较大的N个像素点的过程,等同于在V-视差图中由像素值不为0的像素点构成的多条直线中选择出各直线中包括的像素点的个数最多的N条直线。
需要说明的是,本发明实施例中本领域技术人员可以根据实际需要自行设定第一阈值和N的大小。若霍夫矩阵中像素值大于第一阈值的像素点的个数大于N,则可从这多个像素点中选择像素值较大的前N个像素点作为目标像素点。若霍夫矩阵中像素值大于第一阈值的像素点的个数小于N,则可将像素值大于第一阈值的M个像素点作为输出,即此时选取了M个目标像素点;若霍夫矩阵中像素值大于第一阈值的像素点的个数为0,则将像素值最大的像素点作为目标像素点,即此处仅选取了一个目标像素点。
本发明实施例中,经过大量的数据测试,提供一种可选的实现方式,即将第一阈值设置为10,将N值也设置为10。
V-视差图可以看作是视差图的侧视图,由V-视差图可以看出,道路区域所对应的直线比道路区域以外的物体对应的直线要长,即包含的像素点的个数更多,本发明实施例中,根据所述N个目标像素点在V-视差图中对应的N条直线,确定出的V-视差图中的道路点包络区域,几乎涵盖了道路区域上的所有特征点,后续可仅在该道路点包络区域内继续搜索道路曲线即可,因此有效缩小了道路曲线的搜索范围,提高了检测道路区域的准确度。
图7和图8分别为本发明实施例中在V-视差图中选择出的N条直线,以及根据N条直线确定出的道路点包络区域的示意图。如图7所示,确定出的N条直线与V-视差图的边界会形成一个封闭的区域,通过从上到下依次检测上包络线,以及从下到上依次检测下包络线即可确定出如图8所示的包络区域。
在步骤S104中,首先在上述确定出的道路点包络区域确定出道路点,所述道路点有多个,具体的通过如下方式确定:
将道路点包络区域划分为多个搜索区域,其中,每个搜索区域中均包括多个像素点;按照设定顺序依次遍历多个搜索区域中的每个搜索区域,以所述搜索区域中的任一搜索区域为例,将该任一搜索区域中像素值最大的像素点作为该任一搜索区域中的道路点。
其中,搜索区域可以是按行或按列划分的搜索区域,若按行划分,则每个搜索区域为道路点包络区域中的设定行数的像素点所构成的区域,若按列划分,则每个搜索区域为道路点包络区域中的设定列数的像素点所构成的区域。
本发明实施例中,设定行数或列数可以由本领域技术人员根据实际需要确定,可以为一行/列、两行/列或其他任意多行/列。显然,设定行数或列数的数值选取的越小,道路点选取的精度就越高,确定出的道路曲线也就越准确。
可选的,在步骤S104中,可以行或列为单位在道路点包络区域中检测道路点,以按列划分搜索区域的其中一列为例,如图9所示,由于可认为道路区域上的特征点最多,道路区域上的特征点反映在V-视差图中,道路区域对应的像素点的像素值就越大,因此,可将每一列上像素值最大的像素点(即图9中的像素点901)作为该列的道路点,图10为以一列作为一个搜索单元确定出的道路点包络区域内的道路点。
进而,根据确定出的多个道路点,就可确定出V-视差图中的道路曲线。本发明实施例中,可以采用多种方式得到道路曲线。
一种可能的方式为,将多个道路点中的全部道路点或者满足预设条件的部分道路点依次连接,将连接后得到的折线作为道路曲线。例如,若检测出的道路点较为密集,而且可能会有噪点的影响,这时可在每n个连续的道路点中选取一个道路点,然后将选取出的道路点依次连接,得到道路曲线,如图11所示,图11为本发明实施例中在每3个连续的道路点中选择1个道路点,然后将选择出的道路连接得到的道路曲线。
另一种可能的方式为,根据多个道路点中的全部道路点或者满足预设条件的部分道路点进行曲线拟合,将拟合得到的曲线作为道路曲线。例如,可采用n次多项式曲线进行拟合,使用选择出的全部或部分道路点,求解多项式中的模型参数,得到n次多项式曲线的方程。
若检测出的道路点具有明显的区域特征,本发明实施例中,还可将检测出的道路点进行区域划分。划分成多个部分中,每个部分都包含多个道路点,然后针对每个部分的道路点进行曲线拟合,然后将各个部分拟合后的曲线连接,得到道路曲线。
最终,根据V-视差图与视差图中像素点坐标的对应关系,以及确定能够出的V-视差图中的道路曲线确定出视差图中的道路区域,如图12所示。具体的,V-视差图中的一条曲线代表视差图中的一个曲面,V-视差图中每一像素点的纵坐标y对应视差图中的第y行,横坐标x对应视差图中的像素值(即灰度值)。
基于同样的发明构思,本发明实施例还提供一种道路曲线检测装置,图13为本发明实施例中提供的一种检测装置的结构示意图,如图13所示,该检测装置130包括:
获取模块131,用于获取待检测图像的视差图,根据所述视差图生成V-视差图;
处理模块132,用于对所述V-视差图进行霍夫变换,得到霍夫矩阵;
所述处理模块132还用于,从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
确定模块133,用于在所述道路点包络区域内的像素点中确定出道路点,根据所述道路点在所述V-视差图中确定出道路曲线。
可选地,所述处理模块132具体用于:
选取所述霍夫矩阵中像素值前N大的像素点作为所述目标像素点,其中,N为大于等于1的正整数。
可选地,所述处理模块132具体还用于:
从所述霍夫矩阵中确定出像素值大于第一阈值的像素点,选取所述像素值大于第一阈值的像素点中像素值前N大的像素点作为所述目标像素点。
可选地,所述确定模块133具体用于:
将所述道路点包络区域划分为多个搜索区域,将所述搜索区域中像素值最大的像素点作为所述搜索区域中的道路点。
可选地,所述确定模块133还具体用于:
按照行将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定行数的像素点;或者,
按照列将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定列数的像素点。
可选地,所述确定模块133具体用于:
将所述道路点中的全部道路点或者满足预设条件的部分道路点依次连接,将连接后得到的折线作为所述道路曲线;或者,
根据所述道路点中的全部道路点或者满足预设条件的部分道路点进行曲线拟合,将拟合得到的曲线作为所述道路曲线。
基于同样的发明构思,本发明实施例还提供另一种道路曲线检测终端,该检测终端具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)等。如图14所示,该检测终端140可以包括摄像头组件141、中央处理器(Center Processing Unit,CPU)142、存储器143、输入/输出设备144及总线系统155等。其中,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
摄像头组件可以包括镜头和图像传感器,用于采集待检测图像,并存储到存储器中。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中,存储器可以用于存储上述道路曲线检测方法的程序。
处理器通过调用存储器存储的程序指令,处理器用于按照获得的程序指令执行上述道路曲线检测方法。
基于同样的发明构思,本发明实施例提供了一种计算机存储介质,用于储存为上述检测终端所用的计算机程序指令,其包含用于执行上述道路曲线检测方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
由上述内容可以看出:
本发明实施例中,首先获取待检测图像的视差图,根据视差图生成V-视差图,随后对V-视差图进行霍夫变换,得到霍夫矩阵,从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,根据目标像素点在V-视差图中对应的直线,确定出V-视差图中的道路点包络区域,进而在确定出的道路点包络区域内的像素点中确定出多个道路点,根据这多个道路点在V-视差图中确定出道路曲线和视差图中对应的道路区域。
如此,由于在V-视差图中由像素值不为0的像素点构成的各条直线中,代表道路的直线上包括的像素点的个数最多,因此,本发明实施例中通过采用霍夫变换的方式确定出霍夫矩阵中满足预设条件的目标像素点,可筛选出V-视差图中包括的像素点个数最多的各条直线,以确定道路点包络区域,从而有效缩小了道路点检测的范围,进而再根据在道路点包络区域中检测到的多个道路点确定道路曲线,相比于现有技术中直接在V-视差图中检测直线的方法,本发明实施例中检测到的道路曲线的检测更符合道路的真实情况,提高了道路区域检测的准确性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或两个以上其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的步骤。
尽管已描述了本发明的可选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种道路曲线检测方法,其特征在于,所述方法包括:
获取待检测图像的视差图,根据所述视差图生成V-视差图;
对所述V-视差图进行霍夫变换,得到霍夫矩阵;
从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
在所述道路点包络区域内的像素点中确定出道路点,根据所述道路点在所述V-视差图中确定出道路曲线;
所述道路点包络区域内的像素点中确定出道路点,包括:
将所述道路点包络区域划分为多个搜索区域,将所述搜索区域中像素值最大的像素点作为所述搜索区域中的道路点。
2.根据权利要求1中所述的方法,其特征在于,从所述霍夫矩阵的像素点中确定出像素值满足预设条件的目标像素点,包括:
选取所述霍夫矩阵中像素值前N大的像素点作为所述目标像素点,其中,N为大于等于1的正整数。
3.根据权利要求2所述的方法,其特征在于,所述选取所述霍夫矩阵中的像素值前N大的像素点作为所述目标像素点,包括:
从所述霍夫矩阵中确定出像素值大于第一阈值的像素点,选取所述像素值大于第一阈值的像素点中像素值前N大的像素点作为所述目标像素点。
4.根据权利要求1中所述的方法,其特征在于,将所述道路点包络区域划分为多个搜索区域,包括:
按照行将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定行数的像素点;或者,
按照列将所述道路点包络区域划分为多个搜索区域;其中,所述搜索区域包括所述道路点包络区域中的设定列数的像素点。
5.根据权利要求1中所述的方法,其特征在于,根据所述道路点,在所述V-视差图中确定出所述道路曲线,包括:
将所述道路点中的全部道路点或者满足预设条件的部分道路点依次连接,将连接后得到的折线作为所述道路曲线;或者,
根据所述道路点中的全部道路点或者满足预设条件的部分道路点进行曲线拟合,将拟合得到的曲线作为所述道路曲线。
6.一种道路曲线检测装置,其特征在于,所述检测装置包括:
获取模块,用于获取待检测图像的视差图,根据所述视差图生成V-视差图;
处理模块,用于对所述V-视差图进行霍夫变换,得到霍夫矩阵;
所述处理模块还用于,从所述霍夫矩阵的像素点中确定出满足预设条件的目标像素点,并根据所述目标像素点在所述V-视差图中对应的直线,确定出所述V-视差图中的道路点包络区域;
确定模块,用于在所述道路点包络区域内的像素点中确定出道路点,根据所述道路点在所述V-视差图中确定出道路曲线;
所述确定模块还用于:
将所述道路点包络区域划分为多个搜索区域,将所述搜索区域中像素值最大的像素点作为所述搜索区域中的道路点。
7.根据权利要求6中所述的检测装置,其特征在于,所述处理模块具体用于:
选取所述霍夫矩阵中像素值前N大的像素点作为所述目标像素点,其中,N为大于等于1的正整数。
8.一种道路曲线检测终端,其特征在于,包括:
摄像头组件,用于采集图像输入到处理器中进一步处理;
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行如权利要求1至5中任一项所述的方法。
9.一种计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711352075.6A CN107958226B (zh) | 2017-12-15 | 2017-12-15 | 一种道路曲线检测方法、装置和终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711352075.6A CN107958226B (zh) | 2017-12-15 | 2017-12-15 | 一种道路曲线检测方法、装置和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107958226A CN107958226A (zh) | 2018-04-24 |
CN107958226B true CN107958226B (zh) | 2020-05-22 |
Family
ID=61959209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711352075.6A Active CN107958226B (zh) | 2017-12-15 | 2017-12-15 | 一种道路曲线检测方法、装置和终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107958226B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808155B (zh) * | 2020-06-12 | 2023-04-11 | 广州极飞科技股份有限公司 | 一种航线规划、作物作业方法、装置、设备及存储介质 |
CN114708569B (zh) * | 2022-02-22 | 2023-03-24 | 广州文远知行科技有限公司 | 道路曲线检测方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489175A (zh) * | 2012-06-13 | 2014-01-01 | 株式会社理光 | 路面检测方法和装置 |
EP2713309A2 (en) * | 2012-09-24 | 2014-04-02 | Ricoh Company, Ltd. | Method and device for detecting drivable region of road |
CN103871042A (zh) * | 2012-12-12 | 2014-06-18 | 株式会社理光 | 基于视差图的视差方向上连续型物体检测方法和装置 |
CN104217208A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 目标检测方法和装置 |
CN104392212A (zh) * | 2014-11-14 | 2015-03-04 | 北京工业大学 | 一种基于视觉的道路信息检测及前方车辆识别方法 |
CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
-
2017
- 2017-12-15 CN CN201711352075.6A patent/CN107958226B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489175A (zh) * | 2012-06-13 | 2014-01-01 | 株式会社理光 | 路面检测方法和装置 |
EP2713309A2 (en) * | 2012-09-24 | 2014-04-02 | Ricoh Company, Ltd. | Method and device for detecting drivable region of road |
CN103871042A (zh) * | 2012-12-12 | 2014-06-18 | 株式会社理光 | 基于视差图的视差方向上连续型物体检测方法和装置 |
CN104217208A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 目标检测方法和装置 |
CN104392212A (zh) * | 2014-11-14 | 2015-03-04 | 北京工业大学 | 一种基于视觉的道路信息检测及前方车辆识别方法 |
CN106228110A (zh) * | 2016-07-07 | 2016-12-14 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107958226A (zh) | 2018-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
CN103489175B (zh) | 路面检测方法和装置 | |
CN107392958B (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
CN111179152B (zh) | 一种道路标识识别方法及装置、介质、终端 | |
CN104166834B (zh) | 路面检测方法和装置 | |
EP2713309A2 (en) | Method and device for detecting drivable region of road | |
CN108197531B (zh) | 一种道路曲线检测方法、装置和终端 | |
EP2772883A2 (en) | Road-surface height shape estimation method and system | |
CN108573215B (zh) | 道路反光区域检测方法、装置和终端 | |
CN110580481B (zh) | 一种基于epi的光场图像关键位置检测方法 | |
JP2013500536A5 (zh) | ||
US20130163869A1 (en) | Apparatus and method for extracting edge in image | |
CN113052754B (zh) | 一种图片背景虚化的方法及装置 | |
CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
CN108182666B (zh) | 一种视差校正方法、装置和终端 | |
CN107958226B (zh) | 一种道路曲线检测方法、装置和终端 | |
CN111243003A (zh) | 车载双目摄像机及其检测道路限高杆的方法、装置 | |
CN108256510B (zh) | 一种道路边缘线检测方法、装置及终端 | |
CN116824152A (zh) | 基于点云的目标检测方法及装置、可读存储介质、终端 | |
CN111444834A (zh) | 图像文本行检测方法、装置、设备及存储介质 | |
CN111862206A (zh) | 一种视觉定位方法、装置、电子设备及可读存储介质 | |
CN106682566A (zh) | 交通事故检测方法、交通事故检测装置和电子设备 | |
US20230386230A1 (en) | Method for detection of three-dimensional objects and electronic device | |
US9798932B2 (en) | Video extraction method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |