CN103413308B - 一种障碍物检测方法和装置 - Google Patents

一种障碍物检测方法和装置 Download PDF

Info

Publication number
CN103413308B
CN103413308B CN201310334485.3A CN201310334485A CN103413308B CN 103413308 B CN103413308 B CN 103413308B CN 201310334485 A CN201310334485 A CN 201310334485A CN 103413308 B CN103413308 B CN 103413308B
Authority
CN
China
Prior art keywords
image
region
barrier
probit
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310334485.3A
Other languages
English (en)
Other versions
CN103413308A (zh
Inventor
刘威
左立元
于红绯
袁淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shanghai Co Ltd
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201310334485.3A priority Critical patent/CN103413308B/zh
Publication of CN103413308A publication Critical patent/CN103413308A/zh
Application granted granted Critical
Publication of CN103413308B publication Critical patent/CN103413308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及图像处理技术领域,特别是一种障碍物检测方法和装置,所述方法包括:对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征;利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值;判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果;当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域。本发明提供的方法提高了检测的障碍物图像的完整性,不需要额外进行场景训练,适用于多种场景类型,并降低了漏检率,有效克服现有技术中障碍物检测通用性不强、漏检率高的缺陷。

Description

一种障碍物检测方法和装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种障碍物检测方法和装置。
背景技术
障碍物检测是智能辅助驾驶领域以及机器人应用领域中的重要研究课题之一。通常,可以利用各种类型的传感器进行障碍物检测。其中,单目视觉传感器由于其低成本、信息丰富的特点得到了广泛的应用。
目前,基于单目视觉传感器进行障碍物检测中的常用方法包括:基于机器学习的方法以及基于运动补偿的方法。其中,基于机器学习的方法的实现原理是:对图像提取块(patch)或点(pixel-wise)特征,使用adaboost等分类器对已知场景中的不同类(例如道路、墙、车、草、信号、建筑物、人、弯道、杆、标志线、树、人行道、天空等)进行训练,然后将分类器的响应值作为此块或此像素点是障碍物的概率。基于机器学习的方法的缺点是需要对测试场景进行大量的训练,又由于障碍物的类别是多样的不可预测的,因此这种方法的通用性不强。
基于运动补偿的方法不需要进行场景训练,其是通过相机运动参数与历史帧得到当前的估计帧,然后通过比较当前真实帧和估计帧之间的差异值,对当前帧进行障碍物检测。然而,当障碍物的表面或者内部比较光滑时,这种方法只能检测出障碍物的部分边缘,导致检测到的障碍物不完整。此外,当障碍物运动速度慢时,由于像素位移小而未进行补偿时,也会导致检测到的障碍物不完整或漏检。
因此,现有技术存在的障碍物检测方法具有计算量大、通用性不强、障碍物检测不完整的缺陷。
发明内容
本发明实施例提供了一种障碍物检测方法和装置,可以提高障碍物检测的完整性,并有效克服现有技术中障碍物检测通用性不强、漏检率高的缺陷。
技术方案如下:
根据本发明实施例的第一方面,公开了一种障碍物检测方法,所述方法包括:
对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征;
利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值;
判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果;
当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域。
进一步的,所述对待检测图像进行分割,获得多个分割后的图像区域包括:
基于颜色特征对待检测图像进行粗分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的颜色特征;
和/或,
基于纹理特征对待检测图像进行分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的纹理特征。
进一步的,所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用位置特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
进一步的,所述利用位置特征计算每个分割后的图像区域属于障碍物的概率值包括:
判断分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值是否大于第三设定阈值,获得第三判断结果;其中,消失线为地平面与无穷远平面的交线;
当所述第三判断结果表明分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值大于第三设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 × d x u vl
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,dx表示图像区域的顶端像素点与消失线的距离,uvl表示消失线所在位置的纵坐标。
进一步的,所述利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值包括:
计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域;
当确定所述图像区域属于杆状类区域时,获取所述图像区域在投影方向的延长线与相机投影点的距离,判断所述距离是否小于第四设定阈值,获得第四判断结果;
当所述第四判断结果表明所述距离小于第四设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 × e - γ · d p 2
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,γ为预设值,dp表示图像区域在投影方向的延长线与相机投影点的距离。
进一步的,所述计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域包括:
获得分割后的图像区域的长轴与短轴的比值以及分割后的图像区域的外接矩形的面积;
判断所述比值是否大于第五设定阈值,获得第五判断结果;
判断图像区域面积与图像区域的外接矩形的面积的比值是否大于第六设定阈值,获得第六判断结果;
当所述第五判断结果和所述第六判断结果均为是时,确定所述图像区域属于杆状类区域。
进一步的,所述利用面积特征计算每个分割后的图像区域属于障碍物的概率值包括:
判断所述图像区域的顶端像素点的纵坐标是否位于消失线下方,获得第七判断结果;
获得分割后的图像区域的面积以及待检测图像在消失线下方的区域的面积,判断分割后的图像区域的面积是否符合第一预设条件,获得第八判断结果;
当第七判断结果和所述第八判断结果均为是时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 1 - A s i A IV
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,表示图像区域Ri的面积,AIV表示待检测图像在消失线下方的区域的面积。
进一步的,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
判断融合后的每个图像区域的像素点属于障碍物的概率值是否大于第七设定阈值,获得第九判断结果;
当所述第九判断结果表明融合后的每个图像区域的像素点属于障碍物的概率值大于第七设定阈值时,则确定所述该图像区域的像素点对应的图像区域为障碍物区域。
进一步的,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
对待检测图像进行分块,获得多个图像块;
获取每个图像块属于障碍物的概率值;
当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
根据本发明实施例的第二方面,公开了一种障碍物检测装置,所述装置包括:
图像分割单元,用于对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征;
概率值计算单元,用于利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值;
第一判断单元,用于判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果;
第一确定单元,用于当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一预设阈值时,确定所述图像区域为障碍物区域。
本发明实施例能够达到的有益效果为:在本发明实施例提供的障碍物检测方法中,在进行障碍物检测时首先对待检测图像进行预处理操作,即对待检测图像进行分割,获得多个分割后的图像区域,使得分割后的每个图像区域中的像素具有相同的图像特征,然后利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值,当判断分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域。由于在进行障碍物检测时首先对待检测图像进行预处理操作,将待检测区域分割成若干个图像区域,每一图像区域的像素具有相同图像特征,提高了检测的障碍物图像的完整性。此外,利用障碍物图像特征获得分割图像区域属于障碍物的概率值,不需要额外进行场景训练,适用于多种场景类型,并降低了漏检率,有效克服现有技术中障碍物检测通用性不强、漏检率高的缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的障碍物检测方法第一实施例流程图;
图2A为原始图像;
图2B为原始图像进行图像分割处理后的效果图;
图3障碍物和消失线的位置示意图;
图4A为原始图像;
图4B为原始图像进行图像分割处理后的效果图;
图4C利用位置特征获得的障碍物概率图;
图5为相机和障碍物之间的位置示意图;
图6为杆状类区域属于障碍物的概率曲线示意图;
图7为利用投影方向特征计算概率值的示意图;
图8A为原始图像;
图8B为原始图像进行图像分割处理后的效果图;
图8C利用投影方向特征获得的障碍物概率图;
图9A为原始图像;
图9B为原始图像进行图像分割处理后的效果图;
图9C利用面积特征获得的障碍物概率图;
图10为本发明提供的障碍物检测方法第二实施例流程图;
图11A为原始图像;
图11B为原始图像进行图像分割处理后的效果图;
图11C利用位置特征获得的障碍物概率图;
图11D利用投影方向特征获得的障碍物概率图;
图11E利用面积特征获得的障碍物概率图;
图11F为多特征融合后的障碍物概率图;
图12A为原始图像;
图12B为原始图像进行图像分割处理后的效果图;
图12C障碍物检测结果示意图;
图13为本发明实施例提供的障碍物检测装置示意图。
具体实施方式
本发明实施例提供了一种障碍物检测方法和装置,可以提高障碍物检测的完整性,并有效克服现有技术中障碍物检测通用性不强、漏检率高的缺陷。
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参见图1为本发明提供的障碍物检测方法第一实施例流程图。
S101,对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征。
为了解决现有技术中存在的障碍物检测不完整的问题,在本发明实施例中,在进行障碍物检测时首先对待检测图像进行预处理操作,将待检测区域分割成若干个图像区域,使得具有相同图像特征的像素被划分到同一图像区域中,以提高检测的障碍物图像的完整性。
具体实现时,本发明可以采用多种实现方式实现图像的分割处理。具体实现时遵循过分割原则,将输入图像分割成多个具有图像特征一致性的区域,以保证待检测图像中属于障碍物的区域不被分到非障碍物的区域中去。所述图像特征可以包括颜色特征、纹理特征等。例如,通过图像分割,将待检测图像即原始图像分割成多个具有颜色、纹理一致性的区域。
为了实现图像的快速分割,在一具体实施例中,可以采用基于图论的分成合并分割算法进行图像分割。本领域技术人员可以理解的是,还可以采用其他图像分割方法,只要能保证使得分割后的每一图像区域中的像素具有相同或者一致性的图像特征即可。
下面以使用颜色特征和/或纹理特征进行图像分割为例进行说明。
需要说明的是,对待检测图像进行分割获得多个分割后的图像区域的一种可能的实现方式可以为:基于颜色特征对待检测图像进行粗分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的颜色特征。具体实现时,可以采用多种基于颜色特征进行图像分割的方法,例如meanshift、localvariation方法等,以获得多个颜色一致的区域。
此外,对待检测图像进行分割获得多个分割后的图像区域的另外一种可能的实现方式可以为:基于纹理特征对待检测图像进行分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的纹理特征。具体实现时,本发明利用图像纹理特征,将具有相同纹理特征的区域合并成一个大区域。
具体实现时,基于纹理特征对待检测图像进行分割,获得多个分割后的图像区域可以包括:
A、获得图像区域的纹理特征。
具体实现时,所述图像区域是通过对待检测图像进行粗分割得到的。也就是说,在利用纹理特征进行图像分割处理时,首先将待检测图像粗分割成若干个图像区域。粗分割的方式可以包括:按照预先设定的大小将待检测图像分割成若干个图像块。例如,将待检测图像区域划分成M*N个图像区域。M、N的取值可以预先设定。或者,粗分割的方式还可以包括:利用图像颜色特征将待检测图像划分成若干个图像区域。这时,先利用颜色特征对待检测图像进行分割处理,获得多个具有颜色一致性的图像区域,然后获取所述图像区域的纹理特征。
具体地,在获取图像区域的纹理特征时,使用滤波器进行滤波,将每一个图像区域的所有像素点的响应值按照一定的原则并联成一个大的直方图,即一个图像区域用一个纹理直方图表示。所述纹理直方图即为所述图像区域的纹理特征。其中,像素点的响应值是指将图像与Texton滤波器组做卷积之后,得到的响应值。下面详细进行说明。首先,使用Texton滤波器组(11维)对输入图像做图像滤波,那么每个像素点就被表述成一个11维的响应向量。然后,针对上述粗分割得到的每一个图像区域,统计这个图像区域内的所有像素点的第i维响应值(i=1,2,...,11),将统计完的响应值归一化为一个直方图(bin数:b个)。而后,并联这个图像区域对应的11个直方图,使之成为一个大的直方图(bin数:B=11×b)。这样,粗分割后的每一个图像区域都可用一个B维的直方图(即:纹理基元直方图)表示。这样,即获取了每个图像区域的纹理特征。
B、计算相邻图像区域的纹理特征的卡平方(chi-square)距离值。
其中,所述卡平方距离值用于衡量两个相邻图像区域的相似度,卡平方距离值越小,说明两个相邻区域越相似。
具体实现时,可以采用卡平方距离来衡量两个相邻区域的纹理特征的相似度。公式如下:
其中,hi和hj分别代表两个图像区域的纹理基元直方图(即纹理特征),B是直方图的bin数。两个区域的纹理特征越相似,它们所对应的值就越小。
C、判断所述相邻图像区域卡平方距离值是否小于第二设定阈值,获得第二判断结果;当所述第二判断结果表明所述相邻图像区域卡平方距离值小于第二设定阈值时,合并所述相邻图像区域。
当计算出的小于第二设定阈值时,认为两个相邻区域很相似,则合并这两个区域。否则,不合并这两个相邻区域。重复上述处理,直到确定相邻图像区域的卡平方距离值不小于第二设定阈值时,获得多个图像区域作为分割后的图像区域。
本领域技术人员可以理解的是,在进行图像分割处理时,基于颜色特征的图像分割方法和基于纹理特征的图像分割方法可以单独适用,也可以结合在一起适用。当二者结合适用时,先基于颜色特征对待检测图像进行粗分割,获得多个具有颜色一致性的区域;然后获取粗分割的图像区域的纹理特征,计算相邻区域的卡平方距离值以判断相邻区域的相似度,以合并相似的相邻区域,从而获得若干图像区域。
参见图2A和图2B,其中图2A为原始图像,图2B为原始图像进行图像分割处理后的效果图。如图所示,原始图像被分割为多个具有颜色、纹理一致性的区域。
S102,利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值。
具体实现时,以分割后得到的每个图像区域为单位,计算每个分割图像区域属于障碍物的概率值。发明人在实现本发明的过程中发现,尽管障碍物的类型是任意的,但绝大多数的障碍物具有一些共同的特征:障碍物所对应的区域的位置、障碍物的投影方向、障碍物的面积特征等。因此,在本发明中,利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值。障碍物的图像特征包括但不限于位置特征、投影方向特征和面积特征。当然,本领域技术人员可以理解的是,也可以采用其他障碍物图像特征进行处理,本发明对此不进行限制,本领域技术人员在不付出创造性劳动下获取的其他实现方式均属于本发明的保护范围。
具体实现时,步骤S102利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值可以包括:
利用位置特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
本领域技术人员可以理解的是,在获得概率值时,利用位置特征获得概率值、利用投影方向特征获得概率值、利用面积特征获得概率值可以单独适用,也可以两两组合适用,也可以三者组合适用。
下面分别进行说明。
1、基于位置特征计算每个分割后的图像区域属于障碍物的概率值
其中,利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值一种可能的实现方式为:利用位置特征计算每个分割后的图像区域属于障碍物的概率值。
假设车辆是行驶在近似平坦的道路上,一旦车载相机安装好,那么就可以确定对应图像的消失线的位置。图像的消失线是地平面与无穷远平面(天空平面)的交线,即地平线。
一般真实世界中高于相机的障碍物,在图像平面上的对应区域,是穿过消失线的。参见图3,为障碍物和消失线的位置示意图。如图3所示,障碍物的两点P1,P2在图像平面中的对应点是p′1,p′2,两点的连线穿过消失线。因此,可以通过衡量分割区域和消失线的位置关系确定此区域是否是障碍物。其中,图像平面坐标系为oI-uv,相机坐标系为oc-XcYcZc
具体实现时,可以利用以下公式计算图像区域属于障碍物的概率值:
p ( R i = O ) = 0.5 + 0.5 · d x u vl A US i / A S i ≥ Thre 1 0.5 otherwise - - - ( 2 )
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,dx表示图像区域的顶端像素点与消失线的距离,uvl表示消失线所在位置的纵坐标。其中,dx=|uvl-umin|,umax和umin分别表示一个图像区域Ri中所有像素点对应的纵坐标的最大值和最小值。其中,表示图像区域Ri位于消失线上方的面积,表示图像区域Ri的整体面积,Thre1是一个预先设定的阈值即第三设定阈值。这里,0.5作为初始概率,表示每个区域是障碍物或非障碍物的可能性是相同的。
下面进行详细的阐述:具体实现时,设置图像区域属于障碍物的初始概率为0.5。首先判断分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值是否大于第三设定阈值,获得第三判断结果;其中,消失线为地平面与无穷远平面的交线。当所述第三判断结果表明分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值大于第三设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 × d x u vl
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,dx表示图像区域的顶端像素点与消失线的距离,uvl表示消失线所在位置的纵坐标。其中,dx=|uvl-umin|,umax和umin分别表示一个图像区域Ri中所有像素点对应的纵坐标的最大值和最小值。
从上述公式中可以看出:当区域穿过消失线的时候,并满足时,dx越大,这个区域是障碍物的概率越大。对于一个区域里的每一个像素点m(u,v),它属于一个障碍物的概率等于它所在的区域是障碍物的概率。
参见图4A-图4C,其中,图4A为原始图像;图4B为原始图像进行图像分割处理后的效果图;图4C利用位置特征获得的障碍物概率图。为形成鲜明对比,将通过上述公式得到的概率图映射到灰度空间,其中黑色代表0.5,白色代表1,灰色代表的是[0,1]。由于进行障碍物检测时,消失线下方的图像区域是所关心的区域,因此,在图4C中只选取了消失线以下的像素点显示。由图4C可以看出,通过位置特征可以有效的检测出障碍物。
2、基于投影方向特征计算每个分割后的图像区域属于障碍物的概率值
其中,利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值一种可能的实现方式为:利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值。
参见图5,为相机和障碍物之间的位置示意图。
对于一般意义上的障碍物而言,即任何突起于地面的事物,在俯视图下,是沿着相机投影点和障碍物的基底连线的假想方向延长的。也就是说,障碍物在道路平面上的投影方向的延长线,会穿过相机在路面上的投影点OG(即相机投影点),相机在路面上投影坐标系为oG-XGYGZG
然而,考虑到现实世界中的障碍物并不总是绝对地垂直于道路平面,这样障碍物的投影方向的延长线将无法恰好的通过相机投影点。因此在相机投影点和障碍物投影方向的延长线之间,就存在一段距离dp,如图5所示。
从图5中可以看出:对于一个任意的杆状的垂直于道路表面的区域Ri,所述图像区域在投影方向的延长线与相机投影点的距离dp越小,这个区域是障碍物的概率越大。因此,根据这种变化规律以及统计已有的视频序列,利用以下公式计算图像区域属于障碍物的概率值。
p ( R i = O ) = 0.5 + 0.5 &CenterDot; e - &gamma; &CenterDot; d p 2 0 &le; | d p | < d 1 ^ R i &Element; E R 0.5 otherwise - - - ( 3 )
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,γ为预设值,这里γ=100。dp表示图像区域在投影方向的延长线与相机投影点的距离。d1是一个预先定义的阈值即第四设定阈值,可以设定d1=0.3m。ER表示一个包含当前图像中的所有杆状类区域的集合。然而,当距离值dp大于d1或者区域Ri不是一个杆状类区域时,基于投影特征,无法判断一个区域是否是障碍物。因此,将每个区域是障碍物的初始概率设置为0.5。
参见图6为杆状类区域属于障碍物的概率曲线示意图。从图6可以看到:一个杆状类区域是障碍物的概率与距离dp之间的变化规律。即对于一个任意的杆状的垂直于道路表面的区域Ri,所述图像区域在投影方向的延长线与相机投影点的距离dp越小,这个区域是障碍物的概率越大。
下面对具体的实现过程进行介绍。
所述利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值包括:
(1)计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域。
具体实现时,获得分割后的图像区域的长轴与短轴的比值以及分割后的图像区域的外接矩形的面积;判断所述比值是否大于第五设定阈值,获得第五判断结果;判断图像区域整体面积与图像区域的外接矩形的面积的比值是否大于第六设定阈值,获得第六判断结果;当所述第五判断结果和所述第六判断结果均为是时,确定所述图像区域属于杆状类区域。
在一具体实施例中,使用纵横比和矩形度两个形状属性,来衡量一个区域是否是杆状类区域。根据CamShift原理,按照以下公式,我们可以得到每个区域的6个因素:质心方向θi,长轴li,短轴wi,纵横比矩形度
W wl i = l i / w i , P A i = A S i / A R i - - - ( 4 )
其中,表示区域Ri的最小外接矩形的面积,表示图像区域Ri的整体面积。
计算形状属性后,可以通过对纵横比和矩形度的限制,得到一个包含当前图像中的所有杆状类区域的集合。
E R = { R i | W wl i &GreaterEqual; Ther 2 , P A i &GreaterEqual; Ther 3 } - - - ( 5 )
其中Thre2和Thre3分别是两个预先设定的阈值。也就是说,当判断图像区域的纵横比大于第五预设阈值且图像区域面积与图像区域的外接矩形的面积的比值于第六设定阈值时,确定所述图像区域属于杆状类区域。
(2)当确定所述图像区域属于杆状类区域时,获取所述图像区域在投影方向的延长线与相机投影点的距离,判断所述距离是否小于第四设定阈值,获得第四判断结果。
具体实现时,通过前面提到的质心和方向θi,可以得到在图像平面中落在此区域的长轴上的两点,再使用IPM(逆透视投影变换)得到对应地面上的点,这样就可以得到相机投影点到杆状类区域Ri的投影方向的延长线的距离dp。其中,IPM为一种逆透视投影变换方法。假设已知图像坐标系中的点的坐标(u,v),通过IPM可求得世界坐标系中对应道路平面上的点的坐标(Xw,Yw,Zw)。
假设点(Xw,Yw,Zw)为世界坐标系中某平面上的点,满足如下平面方程:
aXw+bYw+cZw=1(6)
增加这一约束后就能保证对于给定的图像坐标系中点(u,v)在世界坐标系中存在唯一一点(Xw,Yw,Zw)与其对应,假设点(Xw,Yw,Zw)为世界坐标系中道路平面上的点。那么将式(6)表示为:
Z w = 1 c ( 1 - aX w - bY w ) - - - ( 7 )
根据摄像机成像原理,将式(7)代入下列公式(8)就可以得到(Xw,Yw,Zw)的值。
Z c u v 1 = &alpha; x 0 u 0 0 0 &alpha; y v 0 0 0 0 1 0 R t 0 T 1 X w Y w Z w 1 = M 1 M 2 X w = MX w - - - ( 8 )
其中,αx=f/dx,αy=f/dy,M为3×4矩阵,称为投影矩阵。
这一求解过程就称逆透视投影变换(IPM)。
参见图7,为利用投影方向特征计算概率值的示意图。通过前面提到的质心和方向θi,可以得到在图像平面中落在此区域的长轴上的两点p1(u1,v1),p2(u2,v2)(其中,这两点假设是对应世界中的杆状类区域上的两点P1,P2)。如图7,连接相机的光心oc和P1,P2,即ocP1,ocP2,延长线交道路平面于点G1(X1,Y1,Z1)和G2(X2,Y2,Z2)。
根据上述的IPM原理,可由p1(u1,v1),p2(u2,v2)计算出G1(X1,Y1,Z1),G2(X2,Y2,Z2)。其中,由于相机安装在车辆上,所以相机距离地面的高度H是固定的,且Y1=Y2=H。然后,相机光心oc在道路平面上的投影点OG到杆状类区域Ri在道路平面上的投影方向G1G2的延长线的距离,即OG到G1G2的距离:dp=OGM。
图7显示了真实世界中的杆状类区域Ri上的点P1,P2,以及ocP1和ocP2延长线交到道路平面上的点G1,G2,相机投影点OG,距离OGM。
(3)当所述第四判断结果表明所述距离小于第四设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 &times; e - &gamma; &CenterDot; d p 2 - - - ( 9 )
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,γ为预设值,dp表示图像区域在投影方向的延长线与相机投影点的距离。
在有些场景中,路面上会存在像白线一样的区域,这类区域很可能通过相机的投影点,但由于透视效应,白线区域并不满足区域矩形度的约束,因此,像白线这类的区域将不会被检测为障碍物。对于一个区域里的每一个像素点m(u,v),它属于一个障碍物的概率等于它所在的区域是障碍物的概率。
参见图8A-图8C,其中,图8A为原始图像;图8B为原始图像进行图像分割处理后的效果图;图8C利用投影方向特征获得的障碍物概率。从图8B中可以看出,原图中的右侧的柱子被分割成了3个区域,这3个区域因为满足了上述纵横比、矩形度和距离条件而在概率图中突显出来。为形成鲜明对比,将通过上述公式得到的概率图映射到灰度空间,其中黑色代表0.5,白色代表1,灰色代表的是[0.5,1]。并且,进行障碍物检测时,消失线下方的图像区域是所关心的区域,因此,只选取了消失线以下的像素点显示在图8C中。由图8C可以看出,原图中的柱子即障碍物被准确的检测出来。
3、利用面积特征计算每个分割后的图像区域属于障碍物的概率值
其中,利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值一种可能的实现方式为:利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
通常的,在图像中,道路所对应的区域是最大的区域。因此,对于位于消失线以下的所有区域,一个区域的面积越大,它是道路的概率越大,也就意味着它是障碍物的概率越小。因此,可以利用面积特征来确定一个区域是否是障碍物。
具体地,利用面积特征计算每个分割后的图像区域属于障碍物的概率值可以包括:判断所述图像区域的顶端像素点的纵坐标是否位于消失线下方,获得第七判断结果;获得分割后的图像区域的面积以及待检测图像在消失线下方的区域的面积,判断分割后的图像区域的面积是否符合第一预设条件,获得第八判断结果;当第七判断结果和所述第八判断结果均为是时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 1 - A s i A IV - - - ( 10 )
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,表示图像区域Ri的面积,AIV表示待检测图像在消失线下方的区域的面积。
判断分割后的图像区域的面积是否符合第一预设条件包括:分割后的图形区域的面积应当大于预设的阈值,其中预设的阈值可以为:λAIV,即分割后的图形区域的面积应大于待检测图像在消失线下方的区域的面积的λ倍,其中,λ的取值可以为0.7。
具体实现时,上述实现过程可以用公式表示如下:
p ( R i = O ) = 1 - A S i A IV u min x &le; u vl + &epsiv; ^ A s i &GreaterEqual; &lambda; &CenterDot; A IV 0.5 otherwise - - - ( 11 )
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,表示图像区域Ri的面积,AIV表示待检测图像在消失线下方的区域的面积。λ是一个比例因子,本发明中优选λ=0.7。uvl表示消失线所在位置的纵坐标。其中,umin表示一个图像区域Ri中所有像素点对应的纵坐标的最小值。ε表示预设的阈值。
对于一个区域里的每一个像素点m(u,v),它属于一个障碍物的概率等于它所在的区域是障碍物的概率。
参见图9A-图9C,其中,图9A为原始图像;图9B为原始图像进行图像分割处理后的效果图;图9C利用面积特征获得的障碍物概率图。从图9B可以看出,下方深色区域为消失线以下的所有区域中面积最大的区域,因此对应上述公式,此区域是道路的概率最大,即是障碍物的概率最小。为形成鲜明对比,将通过上述公式得到的概率图映射到灰度空间,其中黑色区域代表是道路的概率最大的区域,白色区域代表是道路的概率为0.5。并且,进行障碍物检测时,消失线下方的图像区域是所关心的区域,因此,只选取了消失线以下的像素点显示在图9C中。从图9C可以看出,白色区域为非道路区域,即被确定为障碍物。
S103,判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果。
具体实现时,将计算得到的每个分割后的图像区域属于障碍物的概率值与第一设定阈值进行比较,获得判断结果。其中,第一设定阈值可以根据需要设定。在一种可能的实现方式中,第一设定阈值Threobs可以表示为:
Threobs=(0.5+ε)K
其中,ε是一个噪声常数,ε=0.02,K表示获得概率值所使用的障碍物面积个数。当使用单一障碍物特征计算图像区域属于障碍物的概率值时,K=1。当同时使用位置特征、面积特征、投影方向特征计算图像区域属于障碍物的概率值时,K=3。
S104,当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域。
具体实现时,本发明可以利用单一的障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值。例如,仅使用位置计算每个分割后的图像区域属于障碍物的概率值,或者,仅使用投影方向特征计算每个分割后的图像区域属于障碍物的概率值,或者,仅使用面积特征计算每个分割后的图像区域属于障碍物的概率值。
本领域计算人员可以理解的是,本发明也可以采用两个或两个以上的图像特征计算每个分割后的图像区域属于障碍物的概率值,以获得两个或两个以上的概率值。这时,步骤S104的具体实现可以包括以下的实现方式。
在一种可能的实现方式中,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;判断融合后的每个图像区域的像素点属于障碍物的概率值是否大于第七设定阈值,获得第九判断结果;当所述第九判断结果表明融合后的每个图像区域的像素属于障碍物点的概率值大于第七设定阈值时,则确定所述该图像区域的像素点对应的图像区域为障碍物区域。
在另外一种可能的实现方式中,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
对待检测图像进行分块,获得多个图像块;
获取每个图像块属于障碍物的概率值;
当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
在本发明第一实施例中,在进行障碍物检测时首先对待检测图像进行预处理操作,即对待检测图像进行分割,获得多个分割后的图像区域,使得分割后的每个图像区域中的像素具有相同的图像特征,然后利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值,当判断分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域。由于在进行障碍物检测时首先对待检测图像进行预处理操作,将待检测区域分割成若干个图像区域,每一图像区域的像素具有相同图像特征,提高了检测的障碍物图像的完整性。此外,利用障碍物图像特征获得分割图像区域属于障碍物的概率值,不需要额外进行场景训练,适用于多种场景类型,并降低了漏检率,有效克服现有技术中障碍物检测通用性不强、漏检率高的缺陷。
参见图10,为本发明提供的障碍物检测方法第二实施例流程图。
S1001,基于颜色特征对待检测图像进行粗分割,获得多个分割后的图像区域;其中,粗分割后的每一图像区域中的像素具有相同的颜色图像特征。
具体实现时,可以采用多种方法实现基于颜色特征的图像分割,例如meanshift方法,localvariation方法等,以获得多个具有颜色一致性的图像区域。
S1002,对基于粗分割获得的多个图像区域进行基于纹理特征的细分割,细分割后的每一图像区域中的像素具有一致的纹理特征。
具体实现时,步骤S1002可以包括:获得颜色粗分割后得到的图像区域的纹理特征;计算相邻图像区域的纹理特征的平方距离值,判断所述相邻图像区域的平方距离值是否小于第二设定阈值,获得第二判断结果;当所述第二判断结果表明所述相邻图像区域的平方距离值小于第二设定阈值时,合并所述相邻图像区域;重复上述处理,直到确定相邻图像区域的纹理特征的平方距离值不小于第二设定阈值时,获得多个图像区域作为分割后的图像区域。具体实现过程可以参见第一实施例中的相关实现,在此不再赘述。
S1003,利用位置特征计算每个分割后的图像区域属于障碍物的概率值,获得第一概率值。
具体实现方式可以参见第一实施例中的相关实现,在此不再赘述。
S1004,利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值,获得第二概率值。
具体实现方式可以参见第一实施例中的相关实现,在此不再赘述。
S1005,利用面积特征计算每个分割后的图像区域属于障碍物的概率值,获得第三概率值。
具体实现方式可以参见第一实施例中的相关实现,在此不再赘述。
S1006,将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物点的概率值,利用获得的第一概率值、第二概率值、第三概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物点的概率值。
在本发明第二实施例中,使用多特征融合的方法进行障碍物检测。其中,多特征融合,能够弥补基于单一特征进行障碍物检测的不足,本发明使用一个贝叶斯框架对多特征进行融合,通过结合绝大多数障碍物具有的3个特征位置、投影、面积,达到了提高障碍物检测的准确性的目的。
对于给定一帧图像I,pt(m=O|P1,P2,P3)表示一个像素点m(u,v)在t时刻是一个障碍物像素点的概率。P1,P2和P3分别表示位置特征、投影特征、面积特征得到的障碍物概率,即第一概率值、第二概率值和第三概率值。假设像素点是条件独立的,并且这些线索在各自的领域内是均匀分布的。因此,使用贝叶斯规则计算一个像素点m(u,v)是障碍物点的概率如下:
p t ( m = O | P 1 , P 2 , P 3 ) &Proportional; &Pi; k = 1 3 p t ( m = O | P k ) p t ( m = O ) - - - ( 12 )
其中,对于每个线索,概率pt(m=O|Pk),k=1,2,3解释为一个像素点m(u,v)在时刻t属于一个障碍物的先验条件概率。pt(m=O)是一个像素点m(u,v)在时刻t是一个障碍物像素点的先验概率,我们可以通过收集视频序列进行统计得到。这里,设置为0.5,也就意味着每个像素点m(u,v)在时刻t是障碍物或非障碍物的初始概率是相同的。参见图11A-图11F,图11A为原始图像;图11B为原始图像进行图像分割处理后的效果图;图11C利用位置特征获得的障碍物概率图;图11D利用投影方向特征获得的障碍物概率图;图11E利用面积特征获得的障碍物概率图;图11F为多特征融合后的障碍物概率图。
S1007,利用融合后的每个图像区域的像素点属于障碍物点的概率值确定图像区域是否为障碍物区域。
具体实现时,可以判断融合后的每个图像区域的像素点属于障碍物点的概率值是否大于第七设定阈值,获得第九判断结果;当所述第九判断结果表明融合后的每个图像区域的像素点属于障碍物点的概率值大于第七设定阈值时,则确定所述该图像区域的像素点对应的图像区域为障碍物区域。
具体实现时,在获得融合后的每个图像区域的像素点属于障碍物的概率值之后,对待检测图像进行分块,获得多个图像块;获取每个图像块属于障碍物的概率值;当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
下面对具体的实现进行介绍。
根据上一步,可以得到每个像素点m(u,v)是障碍物的概率值。
从上述的计算公式可以看出:pt(m=O|P1,P2,P3)正比于由于pt(m=O)为先验概率,值为常数,因此,为减少计算量,只要满足下面公式,就认为一个像素点m(u,v)是障碍物点:
&Pi; k = 1 K p t ( m = O | P k ) > Thre obs - - - ( 13 )
其中,Threobs=(0.5+ε)K,ε是一个噪声常数,ε=0.02,K表示所使用的障碍物图像特征个数,K=3。举例进行说明,第一概率值为P1,第二概率值为P2,第三概率值为P3,公式13即为:
P1×P2×P3>(0.5+ε)3
该式意味着,只要上述概率乘积比初始概率乘积大,即可认为该像素点是障碍物像素点。
为了克服噪声的影响,取代了衡量每一个像素点是否是障碍物点的方式,可以根据一个图像块中的所有像素点是障碍物的概率的平均值,来确定一个图像块是否是障碍物。
这时,在获得融合后的每个图像区域的像素点属于障碍物的概率值之后,对待检测图像进行分块,获得多个图像块;获取每个图像块属于障碍物的概率值;当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
计算公式如下:
I P = 1 n h &CenterDot; n w &Sigma; i = 1 n h &Sigma; j = 1 n w &Pi; k = 1 K p t ( m = O | P k ) - - - ( 14 )
其中,nh,nw分别是一个图像块的高和宽,Ip为每个图像块属于障碍物的概率值,这里,nh=nw=15。具体实现时,Ip可以表示为图像块中所有像素属于障碍物的概率值的平均值。
如果IP>Threobs,那么这个图像块就认为是障碍物。最后,将检测到的障碍物以覆盖图像块的形式表现出来。
在这一种实现方式中,对待检测图像进行重新分块处理,然后再获取每个图像块属于障碍物的概率值,以进行障碍物检测。这样做的有益效果在于有效克服了在对待检测图像进行图像分割处理时可能带来的噪声的影响,进一步提高了检测的准确度。
参见图12A-图12C,其中,图12A为原始图像;图12B为原始图像进行图像分割处理后的效果图;图12C障碍物检测结果示意图。图12C显示了检测结果,其中,待检测图像中消失线以下的区域,包括左侧的车辆,人的腿部,右侧的柱子,路障,通过本专利的方法都已准确地检测出来。
图13为本发明实施例提供的障碍物检测装置示意图。
一种障碍物检测装置,所述装置包括:
图像分割单元1301,用于对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征。
概率值计算单元1302,用于利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值。
第一判断单元1303,用于判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果。
第一确定单元1304,用于当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一预设阈值时,确定所述图像区域为障碍物区域。
进一步的,所述图像分割单元包括:
颜色分割单元,用于基于颜色特征对待检测图像进行粗分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的颜色特征;
和/或,
纹理分割单元,用于基于纹理特征对待检测图像进行分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的纹理特征。
进一步的,所述纹理分割单元包括:
纹理特征获取单元,用于获得图像区域的纹理特征;其中,所述图像区域通过对待检测图像进行粗分割得到;
第二判断单元,用于计算相邻图像区域的纹理特征的平方距离值,判断所述相邻图像区域的平方距离值是否小于第二设定阈值,获得第二判断结果;
合并单元,用于当所述第二判断结果表明所述相邻图像区域的平方距离值小于第二设定阈值时,合并所述相邻图像区域;
迭代处理单元,用于重复上述处理,直到确定相邻图像区域的纹理特征的平方距离值不小于第二设定阈值时,获得多个图像区域作为分割后的图像区域。
进一步的,所述概率值计算单元包括:
第一计算单元,用于利用位置特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
第二计算单元,用于利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
第三计算单元,用于利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
进一步的,所述第一计算单元包括:
第三判断单元,用于判断分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值是否大于第三设定阈值,获得第三判断结果;其中,消失线为地平面与无穷远平面的交线;
第一概率值获得单元,用于当所述第三判断结果表明分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值大于第三设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 &times; d x u vl
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,dx表示图像区域的顶端像素点与消失线的距离,uvl表示消失线所在位置的纵坐标。
进一步的,所述第二计算单元包括:
杆状类区域判断单元,用于计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域;
第四判断单元,用于当确定所述图像区域属于杆状类区域时,获取所述图像区域在投影方向的延长线与相机投影点的距离,判断所述距离是否小于第四设定阈值,获得第四判断结果;
第二概率值获取单元,用于当所述第四判断结果表明所述距离小于第四设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 0.5 + 0.5 &times; e - &gamma; &CenterDot; d p 2
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,γ为预设值,dp表示图像区域在投影方向的延长线与相机投影点的距离。
进一步的,所述杆状类区域判断单元包括:
第一获得单元,用于获得分割后的图像区域的长轴与短轴的比值以及分割后的图像区域的外接矩形的面积;
第五判断单元,用于判断所述比值是否大于第五设定阈值,获得第五判断结果;
第六判断单元,用于判断图像区域面积与图像区域的外接矩形的面积的比值是否大于第六设定阈值,获得第六判断结果;
杆状类区域确定单元,用于当所述第五判断结果和所述第六判断结果均为是时,确定所述图像区域属于杆状类区域。
进一步的,所述第三计算单元包括:
第七判断单元,用于判断所述图像区域的顶端像素点的纵坐标是否位于消失线下方,获得第七判断结果;
第八判断单元,用于获得分割后的图像区域的面积以及待检测图像在消失线下方的区域的面积,判断分割后的图像区域的面积是否符合第一预设条件,获得第八判断结果;
第三概率值获得单元,用于当第七判断结果和所述第八判断结果均为是时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( Ri = o ) = 1 - A s i A IV
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,表示图像区域Ri的面积,AIV表示待检测图像在消失线下方的区域的面积。
进一步的,当障碍物图像特征为多个时,则所述概率值计算单元具体用于:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述装置还包括:
融合单元,将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
第九判断单元,用于判断融合后的每个图像区域的像素点属于障碍物的概率值是否大于第七设定阈值,获得第九判断结果;
第二确定单元,用于当所述第九判断结果表明融合后的每个图像区域的像素点属于障碍物的概率值大于第七设定阈值时,则确定所述该图像区域的像素点对应的图像区域为障碍物区域。
进一步的,当障碍物图像特征为多个时,则所述概率值计算单元具体用于:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述装置还包括:
融合单元,将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
第二分割单元,用于对待检测图像进行分块,获得多个图像块;
第四计算单元,用于获取每个图像块属于障碍物的概率值;
第四确定单元,用于当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种障碍物检测方法,其特征在于,所述方法包括:
对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征;
利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值;
判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果;
当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一设定阈值时,确定所述图像区域为障碍物区域;
其中,所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用位置特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值;
和/或,
利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
2.根据权利要求1所述的方法,其特征在于,所述对待检测图像进行分割,获得多个分割后的图像区域包括:
基于颜色特征对待检测图像进行粗分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的颜色特征;
和/或,
基于纹理特征对待检测图像进行分割,获得多个分割后的图像区域;其中,每一分割后的图像区域中的像素具有一致的纹理特征。
3.根据权利要求1所述的方法,其特征在于,所述利用位置特征计算每个分割后的图像区域属于障碍物的概率值包括:
判断分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值是否大于第三设定阈值,获得第三判断结果;其中,消失线为地平面与无穷远平面的交线;
当所述第三判断结果表明分割后的图像区域位于消失线上方的面积与所述图像区域的整体面积的比值大于第三设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( R i = o ) = 0.5 + 0.5 &times; d x u v l
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,dx表示图像区域的顶端像素点与消失线的距离,uvl表示消失线所在位置的纵坐标。
4.根据权利要求1所述的方法,其特征在于,所述利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值包括:
计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域;
当确定所述图像区域属于杆状类区域时,获取所述图像区域在投影方向的延长线与相机投影点的距离,判断所述距离是否小于第四设定阈值,获得第四判断结果;
当所述第四判断结果表明所述距离小于第四设定阈值时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( R i = o ) = 0.5 + 0.5 &times; e - &gamma; &CenterDot; d p 2
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,γ为预设值,dp表示图像区域在投影方向的延长线与相机投影点的距离。
5.根据权利要求4所述的方法,其特征在于,所述计算分割后的图像区域的形状属性,利用所述图像区域的形状属性判断所述图像区域是否属于杆状类区域包括:
获得分割后的图像区域的长轴与短轴的比值以及分割后的图像区域的外接矩形的面积;
判断所述比值是否大于第五设定阈值,获得第五判断结果;
判断图像区域面积与图像区域的外接矩形的面积的比值是否大于第六设定阈值,获得第六判断结果;
当所述第五判断结果和所述第六判断结果均为是时,确定所述图像区域属于杆状类区域。
6.根据权利要求1所述的方法,其特征在于,所述利用面积特征计算每个分割后的图像区域属于障碍物的概率值包括:
判断所述图像区域的顶端像素点的纵坐标是否位于消失线下方,获得第七判断结果;
获得分割后的图像区域的面积以及待检测图像在消失线下方的区域的面积,判断分割后的图像区域的面积是否符合第一预设条件,获得第八判断结果;
当第七判断结果和所述第八判断结果均为是时,利用以下公式计算所述图像区域属于障碍物的概率值:
p ( R i = o ) = 1 - A s i A I V
其中,p(Ri=o)表示图像区域Ri属于障碍物的概率值,表示图像区域Ri的面积,AIV表示待检测图像在消失线下方的区域的面积。
7.根据权利要求1所述的方法,其特征在于,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
判断融合后的每个图像区域的像素点属于障碍物的概率值是否大于第七设定阈值,获得第九判断结果;
当所述第九判断结果表明融合后的每个图像区域的像素点属于障碍物的概率值大于第七设定阈值时,则确定所述该图像区域的像素点对应的图像区域为障碍物区域。
8.根据权利要求1所述的方法,其特征在于,当障碍物图像特征为多个时,则所述利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值包括:
利用多个障碍物图像特征分别计算每个分割后的图像区域属于障碍物的概率值,获得多个概率值;
所述方法还包括:
将每个分割后的图像区域属于障碍物的概率值作为所述图像区域的像素点属于障碍物的概率值,利用获得的所述多个概率值进行融合处理,获得融合后的每个图像区域的像素点属于障碍物的概率值;
对待检测图像进行分块,获得多个图像块;
获取每个图像块属于障碍物的概率值;
当所述概率值大于第八设定阈值时,则确定所述图像块为障碍物区域。
9.一种障碍物检测装置,其特征在于,所述装置包括:
图像分割单元,用于对待检测图像进行分割,获得多个分割后的图像区域;其中,每个分割后的图像区域中的像素具有相同的图像特征;
概率值计算单元,用于利用障碍物图像特征计算每个分割后的图像区域属于障碍物的概率值;
第一判断单元,用于判断所述分割后的图像区域属于障碍物的概率值是否大于第一设定阈值,获得第一判断结果;
第一确定单元,用于当所述第一判断结果表明所述分割后的图像区域属于障碍物的概率值大于第一预设阈值时,确定所述图像区域为障碍物区域;
其中,所述概率值计算单元具体用于:利用位置特征计算每个分割后的图像区域属于障碍物的概率值;和/或,利用投影方向特征计算每个分割后的图像区域属于障碍物的概率值;和/或,利用面积特征计算每个分割后的图像区域属于障碍物的概率值。
CN201310334485.3A 2013-08-01 2013-08-01 一种障碍物检测方法和装置 Active CN103413308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310334485.3A CN103413308B (zh) 2013-08-01 2013-08-01 一种障碍物检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310334485.3A CN103413308B (zh) 2013-08-01 2013-08-01 一种障碍物检测方法和装置

Publications (2)

Publication Number Publication Date
CN103413308A CN103413308A (zh) 2013-11-27
CN103413308B true CN103413308B (zh) 2016-07-06

Family

ID=49606313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310334485.3A Active CN103413308B (zh) 2013-08-01 2013-08-01 一种障碍物检测方法和装置

Country Status (1)

Country Link
CN (1) CN103413308B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116418A (zh) * 2015-09-08 2015-12-02 北京铁路局北京科学技术研究所 障碍物的检测方法和装置
CN106203381B (zh) * 2016-07-20 2019-05-31 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
CN109478070A (zh) * 2016-08-04 2019-03-15 深圳市大疆创新科技有限公司 障碍物识别和避让方法和系统
CN108073868A (zh) * 2016-11-18 2018-05-25 法乐第(北京)网络科技有限公司 一种场景分割和障碍物检测的方法
CN108073869A (zh) * 2016-11-18 2018-05-25 法乐第(北京)网络科技有限公司 一种场景分割和障碍物检测的系统
CN107049717B (zh) * 2016-11-23 2019-03-01 杭州视氪科技有限公司 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
JP6710426B2 (ja) 2016-12-19 2020-06-17 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. 障害物検出方法及び装置
CN107636680B (zh) * 2016-12-30 2021-07-27 达闼机器人有限公司 一种障碍物检测方法及装置
CN108227712A (zh) * 2017-12-29 2018-06-29 北京臻迪科技股份有限公司 一种无人船的避障行驶方法及装置
CN111487956B (zh) * 2019-01-25 2024-03-15 深圳市神州云海智能科技有限公司 一种机器人避障的方法及机器人
CN112036210B (zh) * 2019-06-03 2024-03-08 杭州海康机器人股份有限公司 一种检测障碍物的方法、装置、存储介质和移动机器人
CN110472486B (zh) * 2019-07-03 2021-05-11 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN112215031B (zh) * 2019-07-09 2024-03-19 北京地平线机器人技术研发有限公司 一种障碍物的确定方法及装置
CN111028189B (zh) * 2019-12-09 2023-06-27 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113495553A (zh) * 2020-03-19 2021-10-12 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN112560580B (zh) * 2020-11-20 2022-01-28 腾讯科技(深圳)有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112330658A (zh) * 2020-11-23 2021-02-05 丰图科技(深圳)有限公司 抛洒物检测方法、装置、电子设备及存储介质
TWI758970B (zh) * 2020-11-24 2022-03-21 鴻海精密工業股份有限公司 可移動障礙物位置判斷方法、裝置、電子設備及系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408978A (zh) * 2008-11-27 2009-04-15 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置
CN101419667A (zh) * 2008-12-15 2009-04-29 东软集团股份有限公司 识别图像中障碍物的方法和装置
CN101436300A (zh) * 2008-12-10 2009-05-20 东软集团股份有限公司 障碍物分割方法及装置
CN101497329A (zh) * 2008-01-29 2009-08-05 欧姆龙株式会社 图像处理装置、图像处理方法、以及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101497329A (zh) * 2008-01-29 2009-08-05 欧姆龙株式会社 图像处理装置、图像处理方法、以及程序
CN101408978A (zh) * 2008-11-27 2009-04-15 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置
CN101436300A (zh) * 2008-12-10 2009-05-20 东软集团股份有限公司 障碍物分割方法及装置
CN101419667A (zh) * 2008-12-15 2009-04-29 东软集团股份有限公司 识别图像中障碍物的方法和装置

Also Published As

Publication number Publication date
CN103413308A (zh) 2013-11-27

Similar Documents

Publication Publication Date Title
CN103413308B (zh) 一种障碍物检测方法和装置
CN107330376B (zh) 一种车道线识别方法及系统
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
CN103714538B (zh) 道路边缘检测方法、装置及车辆
EP3735675A1 (en) Image annotation
EP3076367A1 (en) Method for road detection from one image
Yan et al. A method of lane edge detection based on Canny algorithm
CN107045629A (zh) 一种多车道线检测方法
Hautière et al. Enhanced fog detection and free-space segmentation for car navigation
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
DE102019118999A1 (de) Lidar-basierte objektdetektion und -klassifikation
Schreier et al. Robust free space detection in occupancy grid maps by methods of image analysis and dynamic B-spline contour tracking
EP3970066A1 (en) Structure annotation
CN115049700A (zh) 一种目标检测方法及装置
Feniche et al. Lane detection and tracking for intelligent vehicles: A survey
Rodríguez et al. An adaptive, real-time, traffic monitoring system
CN110414385A (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
Li et al. A lane marking detection and tracking algorithm based on sub-regions
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN113671522B (zh) 基于语义约束的动态环境激光slam方法
Mandici et al. Aggregate road surface based environment representation using digital elevation maps
Forkel et al. Dynamic resolution terrain estimation for autonomous (dirt) road driving fusing lidar and vision
Guo et al. Drivable road region detection based on homography estimation with road appearance and driving state models

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211118

Address after: 201801 room 1703, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai

Patentee after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2

Patentee before: NEUSOFT Corp.