CN107909036B - 一种基于视差图的道路检测方法及装置 - Google Patents

一种基于视差图的道路检测方法及装置 Download PDF

Info

Publication number
CN107909036B
CN107909036B CN201711135197.XA CN201711135197A CN107909036B CN 107909036 B CN107909036 B CN 107909036B CN 201711135197 A CN201711135197 A CN 201711135197A CN 107909036 B CN107909036 B CN 107909036B
Authority
CN
China
Prior art keywords
row
determining
disparity map
road surface
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711135197.XA
Other languages
English (en)
Other versions
CN107909036A (zh
Inventor
冯谨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201711135197.XA priority Critical patent/CN107909036B/zh
Publication of CN107909036A publication Critical patent/CN107909036A/zh
Application granted granted Critical
Publication of CN107909036B publication Critical patent/CN107909036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本申请提供一种基于视差图的道路检测方法及装置,涉及图像处理技术领域,所述方法包括:确定待检测图像的稀疏视差图和V视差图;根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值。应用该方法,可以提高在视差图像中确定路面视差点的准确度以及效率,同时该方法可适用于实际路面起伏不平的场景。

Description

一种基于视差图的道路检测方法及装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种基于视差图的道路检测方法及装置。
背景技术
近年来,基于双目立体视觉(Binocular Stereo Vision)技术的障碍物检测方法成为汽车辅助驾驶领域中研究的热点,基于视差图像检测障碍物之前,准确地检测出路面视差点并删除路面视差点,对于障碍物检测结果尤其重要。现有技术中,首先基于双目摄像机采集到的道路图像生成稀疏视差图,再基于该稀疏视差图生成V视差图,利用霍夫线检测方式在该V视差图中检测出一条或多条直线来拟合在V视差图中路面的直线方程,后续,在稀疏视差图中找到满足该直线方程的视差点,这些视差点即为路面视差点,删除这些视差点,也即在稀疏视差图中删除了道路路面。
然而,上述删除道路路面的方式仅适用于理想情况下平坦的道路,实际场景中的道路很可能是起伏不平的,例如从平路到下坡路,从上坡路到平路,甚至还有其他更复杂的路况,针对该类路况,由于在不同路段过渡区通常体现为圆弧过渡,很难使用直线进行拟合,因此,若使用一条霍夫直线检测路面视差点,很容易造成在路段过渡区以及远处路段中误删障碍物视差,或者是无法删除远处路面视差,导致后期障碍物检测结果并不准确。
基于此,现有技术中又提出根据距离以及路面起伏情况对道路进行分段,每一段对应一条霍夫直线,来检测该段道路上的路面视差点,通过该种方式,虽然可以在一定程度上避免上述问题,但是,由于霍夫直线拟合次数越多,耗时越长,导致耗费计算资源;同时,由于实际应用中路面情况复杂难料,随着车辆行驶,还是不可避免的出现在预先划分的一段道路上出现路面起伏不平的情况;另外,在路面视差较少的情况下,若再将道路分成多个路段进行检测,则很可能无法拟合出路面的直线方程。由此可见,现有技术并不适用于实际道路起伏不平的场景,且容易导致确定路面视差的准确度不高,进而影响后期障碍物检测结果。
发明内容
有鉴于此,本申请提供一种基于视差图的道路检测方法及装置,以提高在视差图像中确定路面视差点的准确度以及效率,同时该方法可适用于实际路面起伏不平的场景。
具体地,本申请是通过如下技术方案实现的:
根据本申请实施例的第一方面,提供一种基于视差图的道路检测方法,所述方法包括:
确定待检测图像的稀疏视差图和V视差图;
根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;
根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值。
根据本申请实施例的第二方面,提供一种基于视差图的道路检测装置,所述装置包括:
图像获取模块,用于确定待检测图像的稀疏视差图和V视差图;
第一确定模块,用于根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;
第二确定模块,根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值。
根据本申请实施例的第三方面,提供一种计算机设备,包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现本申请提供的任一基于视差图的道路检测方法的步骤。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请提供的任一基于视差图的道路检测方法的步骤。
由上述实施例可见,通过将基于稀疏视差图的道路路面检测转换为基于V视差图的道路路面检测,之后针对V视差图中的每列进行分析,由于V视差图中不同列对应不同的视差值,从而可以实现根据视差分布情况进行分析,实现每一视差值,也即每一距离值处的道路检测;之后根据预设的像素阈值得到列中有效像素点的个数与有效像素点对应的行范围,在这一步骤中,由于噪点的视差分布没有规律,其在V视差图像中的统计值一般很小,从而通过预设的像素阈值可以过滤掉噪点视差,得到有效的行范围;后续,根据列中有效像素点的个数、预设的个数阈值,以及行范围确定V视差图中的路面所属行。
由于一般来说,若道路上存在障碍物,那么障碍物位于路面之上,同一视差处对应的实际高度也就大于路面高度,也即有效像素点的个数较多,从而根据列中有效像素点的个数与预设的个数阈值可以确定出道路上是否存在障碍物,进而基于障碍物存在情况在上述有效的行范围内进一步确定路面所属行,从而可以有效避免误删障碍物视差;之后,基于V视差图中的路面所属行在稀疏视差图中确定路面视差点。
综上所述,本申请所提供的道路检测方法利用视差值以及像素点个数删除了噪点对道路路面检测结果的影响,实现充分地区分障碍物与道路路面,从而提高了在视差图像中确定路面视差点的准确度,同时,对于实际起伏不平的道路而言,随着道路起伏,视差值与实际距离之间的关系却不会发生变化,从而该方法也可以适用于实际道路起伏不平的场景。
附图说明
图1A为本申请基于视差图的道路检测方法的一个实施例流程图;
图1B为待检测图像的灰度图的一种示例;
图1C为稀疏视差图的一种示例;
图1D为V视差图的一种示例;
图2为本申请基于视差图的道路检测方法的另一个实施例流程图;
图3为本申请基于视差图的道路检测方法的再一个实施例流程图;
图4为本申请基于视差图的道路检测装置所在网络设备的一种硬件结构图;
图5为本申请基于视差图的道路检测装置的一个实施例框图;
图6为计算机设备的一个示例性硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着汽车数量的迅猛增长,道路交通安全问题日益严峻,路面障碍物的识别与检测成为交通安全领域的研究热点。相关技术中,通过在车辆上安装双目摄像机,基于双目立体视觉技术检测路面上的障碍物,而基于双目立体视觉技术的障碍物检测方法实质上就是基于视差图像的障碍物检测方法。在通过车载的双目摄像机的“左眼”拍摄到的路面图像,与双目摄像机的“右眼”拍摄到的路面图像所得到的视差图像中,道路路面占了较大的比例,并且道路路面对障碍物检测的影响较大,因此,基于视差图像检测障碍物之前,准确地检测出视差图像中的道路路面并删除道路路面,对于后续对障碍物的检测结果尤其重要。
为了提高在视差图像中确定路面视差点的准确度以及效率,本申请提出一种基于视差图的道路检测方法及装置,在该方法中,首先获取待检测图像的稀疏视差图,进一步根据该稀疏视差图生成V视差图,基于该V视差图进行分析统计,可以得到三部分统计信息,包括路面视差信息、障碍物视差信息,以及噪点视差信息,而这三部分统计信息各有各的特点,具体的,路面视差信息主要分布于V视差图的下半部分;而障碍物通常位于路面之上,从而障碍物视差信息分布于路面视差信息之上;噪点视差信息的分布虽然没有规律,但在V视差图中噪点的统计值相对路面与障碍物而言较小。
基于此,在该方法中可以首先根据统计信息确定噪点视差的分布范围,接着滤除噪点,然后,根据统计信息初步确定出路面的分布范围,若该初步确定出的路面的实际高度大于预设的路面高度阈值,则可以认为路面上存在障碍物,此时,则可以根据障碍物视差的高度分布,在初步确定出的路面分布范围上截取一定比例部分,作为最终确定的路面分布范围,后续,则可以基于该最终确定的路面分布范围在稀疏视差图上删除路面视差点。
如下,列举下述实施例对本申请提供的基于视差图的道路检测方法进行说明。
实施例一:
请参见图1A,为本申请基于视差图的道路检测方法的一个实施例流程图,该方法包括以下步骤:
步骤101:确定待检测图像的稀疏视差图和V视差图。
本申请实施例中,为了描述方便,可以将双目摄像机采集到的两幅原始图像称为待检测图像,如图1B所示,为待检测图像的灰度图的一种示例。
相关技术中,根据采用基元不同,可以对立体匹配算法进行分类,其中一类则为基于特征的立体匹配算法。在基于特征的立体匹配算法中,主要是针对几何特征信息,例如边缘、轮廓、兴趣点、线、角点等进行视差估计,因此,通过基于特征的立体匹配算法所得出的视差图中,只有特征点或特征线处才存在有效视差值(通常为非0视差值),基于此,相关技术中,将基于特征的立体匹配算法所得出的视差图称为稀疏视差图。由此可见,本申请实施例中,可以通过基于特征的立体匹配算法对待检测图像进行处理,得到稀疏视差图,例如,如图1C所示,为稀疏视差图的一种示例。
基于特征的立体匹配算法对待检测图像进行处理得到稀疏视差图的具体过程,本领域技术人员可以参见现有技术中的相关描述,本申请对此不再详述。
后续,本申请实施例中可以基于上述得到的稀疏视差图进一步得到V视差图,例如,如图1D所示,为V视差图的一种示例。如图1D所示例的V视差图,横坐标表示视差范围,即(dmin,dmax),其中,dmin为稀疏视差图中所有视差点的视差值中的最小视差值,dmax为稀疏视差图中所有视差点的视差值中的最大视差值;纵坐标与稀疏视差图的纵坐标一一对应,以V视差图中的一个像素点,例如坐标为(46,35)的像素点为例,假设该像素点的像素值为5,则表示在稀疏视差图的第35行中,存在5个视差值为46的视差点。
基于稀疏视差图得到V视差图的具体过程,本领域技术人员可以参见现有技术中的相关描述,本申请对此不再详述。
步骤102:根据预设的像素阈值得到V视差图的列中有效像素点的个数与有效像素点对应的行范围,确定V视差图中的路面所属行。
步骤103:根据V视差图中的路面所属行,在稀疏视差图中确定路面视差点,其中,路面视差点的视差值为该列对应的视差值。
如下,列出实施例二对上述步骤102与步骤103进行详细描述:
实施例二:
请参见图2,为本申请基于视差图的道路检测方法的另一个实施例流程图,图2所示例的方法着重描述上述步骤102与步骤103,也即通过对V视差图进行处理,确定稀疏视差图中的路面视差点的过程,该方法可以包括以下步骤:
步骤201:针对V视差图中的每一列,根据预设的像素阈值得到列中有效像素点的个数与有效像素点对应的行范围。
本申请实施例中,以V视差图其中一列为例,可以对该列中的像素点,从上到下逐行进行检测,比较检测到的像素点的像素值与预设的像素阈值,若比较得出所检测到的像素点的像素值大于该预设的像素阈值,则可以将该检测到的像素点确定为有效像素点,并且,在逐行检测的过程中,当检测到首个有效像素点时,记录该首个有效像素点的所属行,例如记为raw1,当检测到最末一个有效像素点时,记录该最末一个有效像素点的所属行,例如记为raw2,该列中有效像素点对应的行范围则为[raw1,raw2];在检测完该列后,则可以统计得到该列中有效像素点的个数,例如记为N。
在一个可选的实现方式中,可以通过如下过程记录最末一个有效像素点的所属行:定义一个值,例如raw2,该raw2的初始值可以为空值,在从上到下逐行检测的过程中,每检测到一个有效像素点,则可以根据当前检测到的有效像素点的所属行对raw2进行赋值,那么,当检测完该列中所有像素点之后,raw2的值则表示所检测到的最末一个有效像素点的所属行。
在一个可选的实现方式中,可以通过如下过程统计得到该列中有效像素点的个数:定义一个值,例如记为N,N的初始值可以为0,在从上到下逐行检测的过程中,每检测到一个有效像素点,则可以对N执行加1操作,那么,当检测完该列中所有像素点之后,N的值则表示该列中有效像素点的个数。
本领域技术人员可以理解的是,上述所描述的记录最末一个有效像素点的所属行的过程,统计得到列中有效像素点个数的过程仅仅作为举例,在实际应用中,还可以存在其他实现方式,本申请对此并不作限制。
在一个可选的实现方式中,可以通过定义一个3*n的二维数组,例如int A[3][n]记录该步骤的处理结果,其中,n表示V视差图的列数,具体的,A[0][0]至A[0][n-1]可以记录V视差图中每一列上有效像素点的个数,A[1][0]至A[1][n-1]可以记录V视差图中每一列对应的行范围的上边界行,A[2][0]至A[2][n-1]则可以记录V视差图中每一列对应的行范围的下边界行。
本领域技术人员可以理解的是,上述通过二维数组的形式记录该步骤的处理结果的方式仅仅作为举例,在实际应用中,还可以存在其他记录方式,例如通过表格的形式进行数据记录,本申请对此并不作限制。
此外,需要说明的是,在本申请实施例中,可以为V视差图中的每一列分别设置一个像素阈值,或者是基于分段方式为每一段视差范围分别设置一个像素阈值,并且,考虑到“近大远小”的现象,像素阈值的设置遵循“视差值与像素阈值成正相关”这一原则。
此外,还需要说明的是,之所以根据像素阈值筛选出每一列中的有效像素点,是为了消除噪点影响,其原理是:噪点的视差分布并没有一定规律,并且噪点在V视差图上的统计值较小。
步骤202:判断V视差图的列中有效像素点的个数是否大于预设的个数阈值;若列中有效像素点的个数不大于该个数阈值,则执行步骤203;若列中有效像素点的个数大于该个数阈值,则执行步骤204。
在本申请实施例中,可以基于V视差图,逐列进行处理,在本步骤中,以对其中一列,例如第一列进行处理为例:
判断第一列中有效像素点的个数是否大于预设的个数阈值,在一个可选的实现方式中,可以获取上述二维数组A[3][n]中的元素A[0][0],判断元素A[0][0]的值是否大于预设的个数阈值,若不大于,则执行步骤203;若大于,则执行步骤204。
此外,需要说明的是,在本申请实施例中,可以为V视差图中的每一列分别设置一个个数阈值,也即为每一个视差值分别设置一个个数阈值,或者是基于分段方式为每一段视差范围分别设置一个个数阈值,并且,考虑到“近大远小”的现象,个数阈值的设置遵循“视差值与个数阈值成正相关”这一原则。
步骤203:将V视差图的列中像素值不为0的像素点所在的行确定为路面所属行;继续执行步骤208。
由V视图的定义可知,若某一像素点的像素值不为0,那么在稀疏视差图中,与该像素点所属行对应的行中,则具有视差值为该像素点所属列对应的视差值的视差点,基于此,则可以在该列中,将像素值不为0的像素点的所属行确定为路面所属行。
步骤204:根据行范围与预设的实际高度参数计算出行范围对应的第一实际高度。
在本申请实施例中,可以基于预设的实际高度参数计算出行范围对应的实际高度,为了描述方便,将该实际高度称为第一实际高度,并且,不同的视差值对应不同的实际高度参数,具体的,视差值与实际高度参数之间符合下述公式(一)所示关系。
Figure BDA0001470295710000091
在上述公式(一)中,Hconf表示实际高度参数,B表示双目摄像机的双目基线长度,d则表示视差值。
在一个可选的实现方式中,可以获取上述二维数组A[3][n]中的元素A[1][0]和A[2][0],通过如下公式(二)计算出第一列中有效像素点对应的行范围的实际高度,为了描述方便,将该实际高度称为第一实际高度。
Hobs1=(A[2][0]-A[1][0])*Hconf 公式(二)
在上述公式(二)中,Hobs1表示第一实际高度。
步骤205:判断第一实际高度是否大于预设的路面高度阈值;若第一实际高度不大于该路面高度阈值,则执行步骤203;若第一实际高度大于该路面高度阈值,则执行步骤206。
在该步骤中,判断上述步骤204中计算出的第一实际高度是否大于预设的路面高度阈值,若不大于,则可以认为第一列中不存在障碍物,执行步骤203;若大于,则可以认为第一列中存在障碍物,执行步骤206。
步骤206:根据预设的截断比例在该列上确定行搜索范围。
由于第一列中存在障碍物,那么则需要在该列中“截取”一部分范围,在该范围内再确定路面所属行,为了描述方便,将该范围称为行搜索范围,具体的,示出下述实施例三对步骤206进行详细描述。
实施例三:
请参见图3,为本申请基于视差图的道路检测方法的再一个实施例流程图,该图3所示实施例着重描述如何在列中确定行搜索范围,可以包括以下步骤:
步骤301:将预设的截断比例与列中有效像素点的个数作乘,得到有效视差个数S。
在本步骤中,可以根据下述公式(三)计算出有效视差个数S。
S=A[0][0]*R 公式(三)
在上述公式(三)中,R为预设的截断比例。
本领域技术人员可以理解的是,上述有效视差个数S应为整数,若通过公式(三)计算得出的S并非整数,则可以进一步对计算结果进行“取整”操作,得到有效视差个数S。
步骤302:在列中,从行范围的下边界行开始向上逐行检测有效像素点,当检测到第S个有效像素点时,记录下第S个有效像素点的所属行。
在一个可选的实现方式中,可以设置一个累加器,该累加器的初始值为0,在第一列中,从上述有效像素点对应的行范围的下边界行,例如元素A[2][0]所表示的行开始,向上逐行检测有效像素点,每检测到一个有效像素点,则将累加器加1,直至累加器的值达到S时,确定检测到第S个有效像素点,此时,可以记录下该第S个有效像素点的所属行,例如,将该所属行记为r。
步骤303:确定第S个有效像素点的所属行与下边界行之间的第二实际高度。
在本步骤中,可以根据如下公式(四)计算出第S个有效像素点的所属行与有效像素点对应的行范围的下边界行之间实际高度,为了描述方便,将该实际高度称为第二实际高度。
Hobs2=(A[2][0]-r)*Hconf 公式(四)
在上述公式(四)中,Hobs2表示第二实际高度。
步骤304:判断第二实际高度是否大于路面高度阈值,若不大于,则执行步骤305;若大于,则执行步骤306。
步骤305:将第S个有效像素点的所属行与V视差图的最下一行之间的范围确定为行搜索范围,结束流程。
步骤306:根据路面高度阈值、下边界行,以及实际高度参数计算出行搜索范围的上边界行,并将V视差图的最下一行确定为行搜索范围的下边界行。
在上述步骤304至步骤306中,若判断得出第二实际高度不大于路面高度阈值,则可以从“实际截取到的行”,也即r行开始向下,直至该列的最后一行(包括r行与该列的最后一行)之间的范围确定为行搜索范围。
若判断得出第二实际高度大于路面高度阈值,若仍按照上述描述从r行开始向下确定行搜索范围,则有可能导致障碍物误删增多,影响后续障碍物的检测结果,基于此,本申请实施例提出,根据路面高度阈值反推出r行,具体的,可以通过如下公式(五)计算出r行。
Figure BDA0001470295710000111
在上述公式(五)中,Troad表示路面高度阈值。
本领域技术人员可以理解的是,上述公式(五)是通过上述公式(四)变形而来。
后续,则可以将根据公式(五)计算出的r行作为行搜索范围的上边界行,将V视差图的最后一行作为行搜索范围的下边界行。
至此,完成实施例三的相关描述。
步骤207:将行搜索范围内像素值不为0的像素点所在的行确定为路面所属行。
由V视图的定义可知,若某一像素点的像素值不为0,那么在稀疏视差图中,与该像素点所属行对应的行中,则具有视差值为该像素点所属列对应的视差值的视差点,基于此,则可以通过在行搜索范围内,将像素值不为0的像素点所在的行确定为路面所属行。
步骤208:在稀疏视差图中与路面所属行对应的行中,将视差值为设定视差值的视差点确定为路面视差点,其中,该设定视差值为该列对应的视差值。
在本申请实施例中,通过V视差图确定出路面所属行之后,则可以在稀疏视差图中确定与该路面所属行对应的行,在这些对应的行中,视差值为第一列对应的视差值的视差点即为路面视差点。
步骤209:判断是否已对V视差图中的每一列进行处理,若是,则结束流程,否则,返回执行上述步骤202。
在本申请实施例中,当对V视差图中的第一列处理完成后,可以判断是否存在未处理的列,若是,则返回执行上述步骤202,直至对V视差图中的每一列完成处理。
至此,完成实施例二的相关描述。
此外,在本申请实施例中,在稀疏视差图中确定路面视差点之后,删除所确定的路面视差点,即将路面视差点的视差值置为0,从而可以避免后续根据稀疏视差图进行障碍物检测时,由于路面视差点的存在,而对障碍物检测结果造成影响。
由上述实施例可见,通过将基于稀疏视差图的道路路面检测转换为基于V视差图的道路路面检测,之后针对V视差图中的每列进行分析,由于V视差图中不同列对应不同的视差值,从而可以实现根据视差分布情况进行分析,实现每一视差值,也即每一距离值处的道路检测;之后根据预设的像素阈值得到列中有效像素点的个数与有效像素点对应的行范围,在这一步骤中,由于噪点的视差分布没有规律,其在V视差图像中的统计值一般很小,从而通过预设的像素阈值可以过滤掉噪点视差,得到有效的行范围;后续,根据列中有效像素点的个数、预设的个数阈值,以及行范围确定V视差图中的路面所属行,在这一步骤中,由于一般来说,若道路上存在障碍物,那么障碍物位于路面之上,同一视差处对应的实际高度也就大于路面高度,也即有效像素点的个数较多,从而根据列中有效像素点的个数与预设的个数阈值可以确定出道路上是否存在障碍物,进而基于障碍物存在情况在上述有效的行范围内进一步确定路面所属行,从而可以有效避免误删障碍物视差;之后,基于V视差图中的路面所属行在稀疏视差图中确定路面视差点。
综上所述,本申请所提供的道路检测方法利用视差值以及像素点个数消除噪点对道路路面检测结果的影响,实现充分地区分障碍物与道路路面,从而提高了在视差图像中确定路面视差点的准确度,同时,对于实际起伏不平的道路而言,随着道路起伏,视差值与实际距离之间的关系却不会发生变化,从而该方法也可以适用于实际道路起伏不平的场景。
与前述基于视差图的道路检测方法的实施例相对应,本申请还提供了基于视差图的道路检测装置的实施例。
本申请基于视差图的道路检测装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在网络设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请基于视差图的道路检测装置所在网络设备的一种硬件结构图,除了图4所示的处理器41、内存42、网络接口43、以及非易失性存储器44之外,实施例中装置所在的网络设备通常根据该网络设备的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图5,为本申请基于视差图的道路检测装置的一个实施例框图,该装置可以包括:图像获取模块51、第一确定模块52、第二确定模块53。
其中,图像获取模块51,可以用于确定待检测图像的稀疏视差图和V视差图;
第一确定模块52,可以用于根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;
第二确定模块53,可以用于根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值。
在一实施例中,所述第一确定模块52可以包括(图5中未示出):
第一检测子模块,可以用于在所述V视差图的列中,从上到下逐行检测像素点的像素值是否大于预设的像素阈值;
第一确定子模块,可以用于若所述像素点的像素值大于所述像素阈值,则将所述像素点确定为有效像素点,并且记录确定的首个有效像素点的所属行,以及最末一个有效像素点的所属行;
统计子模块,可以用于统计得到所述列中有效像素点的个数。
在一实施例中,所述第一确定模块52可以包括(图5中未示出):
第二确定子模块,可以用于若所述V视差图的列中有效像素点的个数不大于预设的个数阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;
第三确定子模块,可以用于若所述列中有效像素点的个数大于所述个数阈值,则根据所述行范围、预设的实际高度参数,以及预设的路面高度阈值确定所述V视差图中的路面所属行。
在一实施例中,所述第三确定子模块可以包括(图5中未示出):
第一高度计算子模块,可以用于根据所述行范围与预设的实际高度参数计算出所述行范围对应的第一实际高度;
第四确定子模块,可以用于若所述第一实际高度不大于所述路面高度阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;
第五确定子模块,可以用于若所述第一实际高度大于所述路面高度阈值,则根据预设的截断比例在所述列上确定行搜索范围;
第六确定子模块,可以用于将所述行搜索范围内像素值不为0的像素点所在的行确定路面所属行。
在一实施例中,所述第五确定子模块可以包括(图5中未示出):
作乘计算子模块,可以用于将预设的截断比例与所述列中有效像素点的个数作乘,得到有效视差个数S;
第二检测子模块,可以用于在所述列中,从所述行范围的下边界行开始向上逐行检测有效像素点,当检测到第S个有效像素点时,记录所述第S个有效像素点的所属行;
第七确定子模块,可以用于根据所述第S个有效像素点的所属行在所述列上确定行搜索范围。
在一实施例中,所述第七确定子模块可以包括(图5中未示出):
第二高度计算子模块,可以用于确定所述第S个有效像素点的所属行与所述下边界行之间的第二实际高度;
第八确定子模块,可以用于若所述第二实际高度不大于所述路面高度阈值,则将所述第S个有效像素点的所属行与所述V视差图的最下一行之间的范围确定为行搜索范围;
第九确定子模块,可以用于若所述第二实际高度大于所述路面高度阈值,则根据所述路面高度阈值、所述下边界行,以及所述实际高度参数计算出行搜索范围的上边界行,并将所述V视差图的最下一行确定为所述行搜索范围的下边界行。
请继续参见图6,本申请还提供一种计算机设备,包括处理器61、通信接口62、存储器63、通信总线64,以及摄像头组件65。
其中,处理器61、通信接口62、存储器63通过通信总线64进行相互间的通信;
存储器63,用于存放计算机程序;
处理器61,用于执行存储器63上所存放的计算机程序,处理器61执行所述计算机程序时实现本申请提供的任一基于视差图的道路检测方法的步骤。
摄像头组件65,用于采集待检测图像。
在一实施例中,摄像头组件65可以包括至少两个摄像头(图6中未示出),该至少两个摄像头可以分别为双目摄像机中的左摄像头和右摄像头。
在一实施例中,摄像头组件65还可以具有闪光灯(图6中未示出),该闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。其中,双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请提供的任一基于视差图的道路检测方法的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种基于视差图的道路检测方法,其特征在于,所述方法包括:
确定待检测图像的稀疏视差图和V视差图;
根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;
根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值;
所述确定所述V视差图中的路面所属行,包括:
若所述V视差图的列中有效像素点的个数不大于预设的个数阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;若所述列中有效像素点的个数大于所述个数阈值,则根据所述行范围、预设的实际高度参数,以及预设的路面高度阈值确定所述V视差图中的路面所属行;
所述根据所述行范围、预设的实际高度参数,以及预设的路面高度阈值确定所述V视差图中的路面所属行,包括:
根据所述行范围与预设的实际高度参数计算出所述行范围对应的第一实际高度;若所述第一实际高度不大于预设的路面高度阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;若所述第一实际高度大于所述路面高度阈值,则根据预设的截断比例在所述列上确定行搜索范围;将所述行搜索范围内像素值不为0的像素点所在的行确定为路面所属行。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,包括:
在所述V视差图的列中,从上到下逐行检测像素点的像素值是否大于预设的像素阈值;
若所述像素点的像素值大于所述像素阈值,则将所述像素点确定为有效像素点,并且记录确定的首个有效像素点的所属行,以及最末一个有效像素点的所属行;
统计得到所述列中有效像素点的个数。
3.根据权利要求1所述的方法,其特征在于,所述根据预设的截断比例在所述列上确定行搜索范围,包括:
将预设的截断比例与所述列中有效像素点的个数作乘,得到有效视差个数S;
在所述列中,从所述行范围的下边界行开始向上逐行检测有效像素点,当检测到第S个有效像素点时,记录所述第S个有效像素点的所属行;
根据所述第S个有效像素点的所属行在所述列上确定行搜索范围。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第S个有效像素点的所属行在所述列上确定行搜索范围,包括:
确定所述第S个有效像素点的所属行与所述下边界行之间的第二实际高度;
若所述第二实际高度不大于所述路面高度阈值,则将所述第S个有效像素点的所属行与所述V视差图的最下一行之间的范围确定为行搜索范围;
若所述第二实际高度大于所述路面高度阈值,则根据所述路面高度阈值、所述下边界行,以及所述实际高度参数计算出行搜索范围的上边界行,并将所述V视差图的最下一行确定为所述行搜索范围的下边界行;
根据所述路面高度阈值、所述下边界行,以及所述实际高度参数计算出行搜索范围的上边界行,包括:
确定所述路面高度阈值与所述实际高度参数的比值,将所述下边界行与所述比值之间的差值确定为行搜索范围的上边界行。
5.一种基于视差图的道路检测装置,其特征在于,所述装置包括:
图像获取模块,用于确定待检测图像的稀疏视差图和V视差图;
第一确定模块,用于根据预设的像素阈值得到所述V视差图的列中有效像素点的个数与所述有效像素点对应的行范围,确定所述V视差图中的路面所属行;
第二确定模块,根据所述V视差图中的路面所属行,在所述稀疏视差图中确定路面视差点,其中,所述路面视差点的视差值为所述列对应的视差值;
所述确定所述V视差图中的路面所属行,包括:
若所述V视差图的列中有效像素点的个数不大于预设的个数阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;若所述列中有效像素点的个数大于所述个数阈值,则根据所述行范围、预设的实际高度参数,以及预设的路面高度阈值确定所述V视差图中的路面所属行;
所述根据所述行范围、预设的实际高度参数,以及预设的路面高度阈值确定所述V视差图中的路面所属行,包括:
根据所述行范围与预设的实际高度参数计算出所述行范围对应的第一实际高度;若所述第一实际高度不大于预设的路面高度阈值,则将所述列中像素值不为0的像素点所在的行确定为路面所属行;若所述第一实际高度大于所述路面高度阈值,则根据预设的截断比例在所述列上确定行搜索范围;将所述行搜索范围内像素值不为0的像素点所在的行确定为路面所属行。
6.根据权利要求5所述的装置,其特征在于,所述第一确定模块,包括:
第一检测子模块,用于在所述V视差图的列中,从上到下逐行检测像素点的像素值是否大于预设的像素阈值;
第一确定子模块,用于若所述像素点的像素值大于所述像素阈值,则将所述像素点确定为有效像素点,并且记录确定的首个有效像素点的所属行,以及最末一个有效像素点的所属行;
统计子模块,用于统计得到所述列中有效像素点的个数。
7.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线;
其中,所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-4任一所述方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述方法的步骤。
CN201711135197.XA 2017-11-16 2017-11-16 一种基于视差图的道路检测方法及装置 Active CN107909036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711135197.XA CN107909036B (zh) 2017-11-16 2017-11-16 一种基于视差图的道路检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711135197.XA CN107909036B (zh) 2017-11-16 2017-11-16 一种基于视差图的道路检测方法及装置

Publications (2)

Publication Number Publication Date
CN107909036A CN107909036A (zh) 2018-04-13
CN107909036B true CN107909036B (zh) 2020-06-23

Family

ID=61845638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711135197.XA Active CN107909036B (zh) 2017-11-16 2017-11-16 一种基于视差图的道路检测方法及装置

Country Status (1)

Country Link
CN (1) CN107909036B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319931B (zh) * 2018-03-12 2020-11-06 海信集团有限公司 一种图像处理方法、装置及终端
CN108596899B (zh) * 2018-04-27 2022-02-18 海信集团有限公司 道路平坦性检测方法、装置及设备
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置
CN111243003B (zh) * 2018-11-12 2023-06-20 海信集团有限公司 车载双目摄像机及其检测道路限高杆的方法、装置
CN112116660B (zh) * 2019-06-19 2024-03-29 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质
CN114981138A (zh) * 2020-02-13 2022-08-30 华为技术有限公司 车辆可行驶区域的检测方法以及检测装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489175A (zh) * 2012-06-13 2014-01-01 株式会社理光 路面检测方法和装置
WO2016044296A1 (en) * 2014-09-15 2016-03-24 Second Sight Medical Products, Inc. Method and system for detecting obstacles for a visual prosthesis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489175A (zh) * 2012-06-13 2014-01-01 株式会社理光 路面检测方法和装置
WO2016044296A1 (en) * 2014-09-15 2016-03-24 Second Sight Medical Products, Inc. Method and system for detecting obstacles for a visual prosthesis

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis;Zhencheng Hu et.al;《Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling》;20051231;第1-8页 *
Global Correlation Based Ground Plane Estimation Using V-Disparity Image;Jun Zhao et.al;《2007 IEEE International Conference on Robotics and Automation》;20071231;第529-534页 *
基于单双目视觉融合的车辆检测和跟踪算法;蔡英凤 等;《交通运输工程学报》;20151231;第15卷(第6期);第118-126页 *

Also Published As

Publication number Publication date
CN107909036A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN107909036B (zh) 一种基于视差图的道路检测方法及装置
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN109034047B (zh) 一种车道线检测方法及装置
CN108629292B (zh) 弯曲车道线检测方法、装置及终端
US9042639B2 (en) Method for representing surroundings
US8204278B2 (en) Image recognition method
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
CN112889071B (zh) 用于确定二维图像中深度信息的系统和方法
CN108596899B (zh) 道路平坦性检测方法、装置及设备
EP2743861B1 (en) Method and device for detecting continuous object in disparity direction based on disparity map
CN111209770A (zh) 一种车道线识别方法及装置
US9747507B2 (en) Ground plane detection
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN110866926A (zh) 一种红外遥感图像快速精细海陆分割方法
CN107766847B (zh) 一种车道线检测方法及装置
JP5073700B2 (ja) 物体検出装置
JP5189556B2 (ja) 車線検出装置
Schauwecker et al. A comparative study of stereo-matching algorithms for road-modeling in the presence of windscreen wipers
CN108256510B (zh) 一种道路边缘线检测方法、装置及终端
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN113313016B (zh) 摄像头脏污识别方法、电子设备及车辆
CN110765877B (zh) 基于热像仪和双目相机的行人检测方法及系统
JP6719328B2 (ja) 車外監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant