CN103185571A - 可行驶空间的检测系统及其检测方法 - Google Patents

可行驶空间的检测系统及其检测方法 Download PDF

Info

Publication number
CN103185571A
CN103185571A CN2011104551279A CN201110455127A CN103185571A CN 103185571 A CN103185571 A CN 103185571A CN 2011104551279 A CN2011104551279 A CN 2011104551279A CN 201110455127 A CN201110455127 A CN 201110455127A CN 103185571 A CN103185571 A CN 103185571A
Authority
CN
China
Prior art keywords
image
processing unit
value
space
travelling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104551279A
Other languages
English (en)
Other versions
CN103185571B (zh
Inventor
陈育菘
廖育升
刘嘉修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Research and Testing Center
Original Assignee
Automotive Research and Testing Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Research and Testing Center filed Critical Automotive Research and Testing Center
Priority to CN201110455127.9A priority Critical patent/CN103185571B/zh
Publication of CN103185571A publication Critical patent/CN103185571A/zh
Application granted granted Critical
Publication of CN103185571B publication Critical patent/CN103185571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种可行驶空间的检测系统及其检测方法,该检测复方包含下列步骤:首先,二影像撷取单元记录一第一影像及一第二影像。接着,该处理单元执行一立体影像重建运算,将该第一、二影像转换为一包括多个像素的第三影像,各该像素具有一视差值。再者,该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列。然后,该处理单元执行一成本函数,以一障碍物项及一道路平面项估算多个对应这些格的障碍值,其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。接着,该处理单元执行一最佳化边界估算函数,以计算出多个最佳可行驶空间边界值。

Description

可行驶空间的检测系统及其检测方法
技术领域
本发明是有关于一种可行驶空间的检测系统及其检测方法,特别是指一种利用立体视觉判断道路可行驶空间的检测系统及其检测方法。
背景技术
交通载具与人们的生活息息相关,其中又以汽车为首要的个人交通载具。然而,汽车驾驶可能因技巧、经验及专注能力不同,而导致可能的交通事故,所以,现今的汽车搭载许多电子辅助装置,辅助并提醒汽车驾驶,以避免上述情况。
其中,障碍物检测系统是汽车工业正努力发展的方向之一,常见的障碍物检测系统,如倒车雷达,已成为许多汽车的标准配备之一,有效地辅助汽车驾驶评估停车空间,以顺利完成停车动作。而最近特别受到瞩目的是,汽车停止或行驶中对前方障碍物的检测,这方面的检测技术可以避免汽车驾驶因忽略前方障碍物而导致车祸,甚至可以在特定的情况下,为汽车驾驶减速或刹车,大幅提升行车安全性。然而,如何有效地检测障碍物,目前的相关技术仍有许多缺点有待改进。
以美国专利案US 5937079“Method for Stereo Image Object Detection”为例,该发明主以水平边缘特征,确定输入的参考影像的障碍物样板,再通过直方图统计,求得障碍物三维空间的位置。然而,该案以二维影像的水平特征作为障碍物比对的样板,容易受到障碍物样板设计及数量的影响。
另外,在美国专利案US 6801244“Obstacle Detection Apparatus and Method”中,该发明通过离线左右摄影机影像的车道转换矩阵,再利用有高度物体于左右影像存有视差的特性,区分出路面与障碍物。虽然该案以左右影像视点转换的手法,估算出道路可行驶空间,但此方法易受道路环境变异的影响,举例来说,当车辆从平面道路转换至斜坡道路时,会误判是遇到障碍物。
再者,在美国专利案US 2006/0095207“Obstacle Detection Using StereoVision”中,该发明以二维影像的边角(Edge)与颜色信息检测出障碍物,然后通过立体视觉估算出障碍物的三维空间信息,再估算道路可行驶空间与安全可行驶路径。然而,本案以二维影像特征检测障碍物,易受障碍物二维特征选用的限制,也就是说,如果没有预先妥善地设定障碍物的二维特征,则无法检测出障碍物。
由上述前案可以了解,过去在道路可行驶空间检测演算法中,大都先检测出障碍物,再进行可行驶空间估算。其中障碍物检测演算法大多以影像纹理信息(颜色/边缘/阴影)或型态信息(长/宽/长宽比)或样板比对方式进行检测,易受环境影响且适用性低,障碍物遮蔽与数量也会造成影响,进而产生可行驶路径的误差。
另外,车辆在行驶的过程中,系统辨识障碍物所需的反应时间必须是近乎即时的讯息回馈,系统的演算法不但不能受到外界环境的其他因素干扰,还要具备一定程度的可靠性。采用二组摄影机以建立立体视觉的三维信息虽可解决外界环境的影响,但庞大的运算负荷,却是此系统最大的瓶颈,也是系统是否实用的关键性因素。
发明内容
本发明的目的是在提供一种利用立体视觉判断道路可行驶空间的检测系统。本发明可行驶空间的检测系统,安装于一交通载具上并朝向该交通载具的移动方向,该检测系统包含:二影像撷取单元、一处理单元及一存储单元。这些影像撷取单元相间隔地设置于该交通载具上,并朝向该交通载具前进的方向以记录一第一影像及一第二影像。该处理单元电连接这些影像撷取单元。该存储单元电连接该处理单元,并储存该第一影像、该第二影像及一与检测可行驶空间相关并供该处理单元执行的检测程序,这些影像撷取单元、该处理单元及该存储单元协同配合执行可行驶空间的检测。该检测程序使该处理单元:首先,执行一立体影像重建运算,转换该第一影像及第二影像为一包括多个像素的第三影像,各该像素具有一视差值。接着,依据一道路函数将该第三影像转换为一包括多个格的距离阵列。再者,执行一成本函数,以一障碍物项及一道路平面项估算多个对应这些格的障碍值,其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。然后,执行一最佳化边界估算函数,以计算出一平滑度值。接着,依据该平滑度值执行一最佳化演算法,以计算出多个最佳可行驶空间边界值。
本发明的另一目的是在提供一种利用立体视觉判断道路可行驶空间的检测方法。本发明可行驶空间的检测方法,运作于一包括二相间隔的影像撷取单元、一存储单元及一处理单元的检测系统,该检测方法包含下列步骤:首先,该二影像撷取单元记录一第一影像及一第二影像于该存储单元。接着,该处理单元执行一立体影像重建运算,将该第一影像及第二影像转换为一包括多个像素的第三影像,各该像素具有一视差值。再者,该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列。然后,该处理单元执行一成本函数,以一障碍物项及一道路平面项估算多个对应这些格的障碍值,其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得。接着,该处理单元执行一最佳化边界估算函数,以计算出一平滑度值。再者,依据该平滑度值执行一最佳化演算法,以计算出多个最佳可行驶空间边界值。
本发明的有益效果在于:成本函数中的障碍物项及道路平面项是依据该距离阵列的各栏的视差值而得,可以适用于不同的道路情境,不论是平面道路或是上、下坡道路,对于障碍物的检测都有良好的效果。
附图说明
图1是显示本发明可行驶空间的检测系统中的二影像撷取单元的情境俯视图;
图2是说明本发明较佳实施例的可行驶空间的检测系统的系统方块图;
图3是在该较佳实施例中,这些影像撷取单元所拍摄的一第一影像及一第二影像的影像示意图;
图4是本发明较佳实施例的可行驶空间的检测方法的的系统流程图;
图5是该较佳实施例中的一距离阵列的一张二维数据示意图;
图6是该较佳实施例中的多个检测区域的情境俯视图;
图7是该较佳实施例中的多个对应多个最佳可行驶空间边界值所对应的障碍线段一张二维数据示意图;
图8是在该较佳实施例中的一障碍物检测图层的影像示意图;及
图9是在该较佳实施例中,该障碍物检测图层及多个障碍提示线段迭置于一基底影像上,并显示一合成影像的影像示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明。首先需要说明的是,本发明并不限于下述具体实施方式,本领域的技术人员应该从下述实施方式所体现的精神来理解本发明,各技术术语可以基于本发明的精神实质来作最宽泛的理解。图中相同或相似的构件采用相同的附图标记表示。
参阅图1、2,本发明的可行驶空间的检测系统是安装在交通载具11上,在本较佳实施例中,该交通载具11为一车辆,但并不限于此。该检测系统包含二相间隔设置的影像撷取单元21、一存储单元22、一处理单元23、一检测单元24,及一播放单元25。这些影像撷取单元21在本较佳实施例中为二具摄影机,每一影像撷取单元21可以对交通载具11前方的景物拍摄一设定视角的影像,如30度视角的影像,该每一影像的解析度设为640像素×480像素,也就是说,该影像的栏(Column)具有640个像素,而该影像的列(Row)具有480个像素,但该影像的解析度并不限于此。这些影像撷取单元21如车辆头灯般相间隔地安装于该交通载具11的适当处,如前保险杆处、车顶上、中控仪表板上方或通过机构吸付于挡风玻璃等位置,且拍摄方向是面向欲检测的方向,在本较佳实施例中,该拍摄方向如箭头12所示,朝着交通载具11向前方移动的方向,其目的在于交通载具11向前移动时,检测其前方是否有任何障碍物,并推估可行驶的空间。
参阅图1、3,左侧的影像撷取单元21可以撷取到一第一影像211,而右侧的影像撷取单元21可以撷取到一第二影像212,这些第一影像211及第二影像212因为拍摄角度略有不同,因此会产生“视差”,第一影像211及第二影像212中越接近影像撷取单元21的障碍物,视差的情况会越明显,相反的,越远离影像撷取单元21的障碍物,视差的情况则越不明显。在本较佳实施例中,该交通载具11移动方向前方的障碍物是一位于交通载具11左侧的高墙31、一位于交通载具11左前方的机车32及一位于交通载具11右前方的大客车33。
参阅图1、2,该存储单元22储存如图3所示的该第一影像211、该第二影像212及一与检测可行驶空间相关并供该处理单元23执行的检测程序,另外也可以暂时性地储存检测程序所需的影像文件及计算数据,以供该检测程序存取。在本较佳实施例中,该存储单元22为一存储器(Memory)模块。
该处理单元23电连接这些影像撷取单元21及该存储单元22,在本较佳实施例中,该处理单元23为一包括一中央处理器的主机板模块。该检测系统的存储单元22及处理单元23并不限于由一车用电脑(Car PC)实施,也可以制作成一专用的独立芯片或独立主机板整合于车辆的电子控制系统中。
该检测单元24电连接该处理单元23,该检测单元24在本较佳实施例中连线该交通载具11的一方向灯模块和一车速模块(均图未示),该方向灯模块可依据左一方向灯及一右方向灯的开启状况,产生一包括相对应的一左转信号及一右转信号的转向信息,而该车速模块则依据目前车速,产生一车速信息,如时速60公里。该转向信息及车速信息都会传送至该检测单元24,而该检测单元24将多个对应该转向信息及车速信息的检测信号传送至该处理单元23。必须注意的是,该包括左转信号及右转信号的转向信息并不限于由上述方向灯模块提供,也可以是由一方向盘提供,当方向盘以逆时针及顺时针转动一特定角度,则产生对应的转向信息。
该播放单元25电连接该处理单元23,该播放单元25在本较佳实施例中设于该交通载具11的仪表板,并为一包括一喇叭的液晶显示屏幕,提供驾驶者关于行驶中的相关图像化信息及声音警示。
上述的这些影像撷取单元21、该存储单元22、该处理单元23、该检测单元24,及该播放单元25协同配合执行可行驶空间的检测,该检测程序使该处理单元23执行的步骤容后说明。
参阅图2、3,本发明的可行驶空间的检测方法运作于上述检测系统,该检测系统包含这些影像撷取单元21、该包括该检测程序的存储单元22、该执行该检测程序的处理单元23、该检测单元24,及该播放单元25,该检测方法包含下列步骤:
参阅图2、3、4,首先,如步骤401所示,这些影像撷取单元21记录该第一影像211及该第二影像212于该存储单元22。其中,该第一影像211及第二影像212因为上述的视差,可以做为产生立体影像并分析距离的素材。
接着,如步骤402所示,该处理单元23执行一立体影像重建运算,利用该第一影像211及第二影像212制作出一呈现景物中障碍物距离的第三影像。该立体影像重建运算在本较佳实施例中,是将该第一影像211及该第二影像212利用一特征点匹配法转换为一包括多个像素的第三影像,而每一像素具有一视差值(Disparity)。所谓特征点匹配法,是指在该第一影像211及该第二影像212中找出多个相同的特征点(如机车32),再依据这些特征点确认第三影像中每一像素的视差值。该第三影像中,其解析度与该第一影像211与该第二影像212相同,影像的栏与列分别是640像素及480像素,但是第三影像中是以16色灰阶显示每一像素的视差值,该第三影像中某一像素的灰度越深,代表视差程度越小,也指出了该像素较远离这些影像撷取单元21,相反地,该第三影像中某一像素灰度越淡,代表视差程度越高,也指出了该像素较靠近这些影像撷取单元21,每一像素集合所构成且视差值(灰度)接近的区块在本较佳实施例中可能是机车32、大客车33及天空34等。因此该第三影像实质上是一个包括影像的栏、影像的列及视差值三种信息构成的三维座标影像。在计算机图学的领域,该第三影像的产生并不限于采用特征点匹配法,也可以采用别种演算法取得上述的第三影像。
参阅图2、4,再者,如步骤403所示,该处理单元23依据该第三影像中同一列的所有像素,及这些像素的视差值计算出一道路函数。在本较佳实施例中,计算该道路函数的方法是由该处理单元23设定一组二维座标,其中横轴座标设定为该第三影像的视差值,纵轴座标设定为该第三影像的列,将每一像素依据其所属的“列”及“视差值”分别填入上述二维座标的纵轴与横轴中,取得一由这些像素所构成的不规则曲线,再利用一曲线拟合的数学方法计算出一最接近上述不规则曲线的最佳曲线以找出每一像素的“列”及“视差值”的关系,而代表上述关系的公式就称为该道路函数,而该道路函数是:
第三影像的列=(视差值×道路常数A)+道路常数B
在本较佳实施例中,该道路常数A为0.6173,该道路常数B为246.0254。
然后,如步骤404所示,该处理单元23将该第三影像依据上述的道路函数进行转换,目的是为了求得第三影像的列与视差值的转换关系,以利后续运算。原本的第三影像的纵轴是该第三影像的列,而横轴是该第三影像的栏,该处理单元23利用该道路函数将第三影像的列转换为相对应的视差值,而横轴则维持是栏,原第三影像的像素则依据新的座标系统重新排列产生一距离信息。
参阅图2、4、5,接着,如步骤405所示,该处理单元23对上述距离信息执行一占有格(Occupancy Grid)转换以计算出一包括多个格的距离阵列5,实质上降低距离信息的数据量,增加该处理单元23的运算效率,达到即时处理的效果。所谓的占有格转换,是把原本较高精度的二维数据,转换成以一组较低精度的二维的格状阵列来表现。以本较佳实施例来说,该距离信息的栏是640像素(对应原本第三影像的栏),而纵轴的视差值是16阶,总共为10240组「栏的视差值」。假设该距离阵列5每一格51所设定的宽度是40像素、高度是1阶视差值,则距离阵列5的横轴是16格,而高度也是16格,总共为256组「栏的视差值」,大幅减少的数据量有助于减轻该处理单元23的运算负荷。必须注意的是,上述占有格转换的目的在于减少待处理的数据量,但是并不限于上述方法。
取得距离阵列5的意义可以视为如图1所示的交通载具11前方空间的俯视图,由于交通载具11前方的障碍物越接近该交通载具11,则对应该障碍物的像素的视差值越大,相反的,越远离该交通载具11,则对应该障碍物的像素值越小,甚至趋近于0。在距离阵列5中标示“×”的格代表某一栏中,像素的视差值大部分聚集在此,也就是说该栏中有某个障碍物位于特定的距离。
参阅图2、3、5接着,如步骤406所示,为了更进一步减少该处理单元实际的运算负荷,该处理单元23依据该检测单元24的检测信号处理在该距离阵列5中对应如图6所示的多个检测区域61、62、63的数据。在本较佳实施例中,这些检测信号依据前述的速度信息是否高于一预设速度,如30公里,及转向信息而改变。这些检测信号如表1所示:
表1
Figure BDA0000127065500000071
在检测信号1的情况中,交通载具11是直线地向前行驶且车速高于预设速度,影响行驶的障碍物必然是在该交通载具11的前方,因此,仅需检测如检测区域62所示的部分。在检测信号2的情况中,交通载具11的右方向灯开启且车速高于预设速度,代表该交通载具即将转换至右侧车道,因此需要检测如检测区域62、63所示的部分。在检测信号3的情况中,交通载具11的左方向灯开启且车速高于预设速度,代表交通载具11即将转换至左侧车道,因此需要检测如检测区域61、62所示的部分。在检测信号4的情况中,主要是在市区等拥挤路段行驶且车速低于预设速度,因此需要检测如检测区域61、62、63所示的部分,以全面性地防范可能的危险。在本较佳实施例中,是假设交通载具11正处在检测信号4的状况中,因此该距离阵列5中的所有数据都必须处理。
必须注意的是,在检测信号2、3所示的转向信息在本较佳实施例中是以对应左、右方向灯的左、右转信号判定检测的区域,但并不限于此,例如也可以是检测交通载具11的方向盘是否顺时针或逆时针地旋转超过一特定角度,并根据此产生相对应的左、右转信号。
参阅图2、4、5,再者,如步骤407所示,该处理单元23执行一成本函数(CostFunction)以估算距离阵列5中每一栏的每一视差值的一障碍值,该障碍值越高,代表该处越有可能有障碍物。该成本函数是:
v(d,u)=ω1×Object(d,u)+ω2×Road(d,u)
其中,v(d,u)是在该距离阵列5中,第u栏及第d视差值的障碍值,ω1是一障碍物项权重常数,ω2是一道路平面项权重常数,该两权重常数是在本较佳实施例中分别设定为30及50以取得较好的检测效果,但并不限于此,可以视实际测试的结果弹性地调整该两权重常数。
Object(d,u)是一障碍物项,也就是说在该距离阵列5的第u栏中,这些影像撷取单元21至障碍物的视差值变化。其函式是:
Figure BDA0000127065500000081
障碍物项的初始地址,在距离阵列5中,vmin指的是最高视差值,也就是图3所示的该第一影像211或第二影像212的最下方的列(列=0)。ω代表二元判断函数,其中arg=du,v-d,若ω|arg|<一预设阈值,则ω(arg)=1,若ω|arg|≥该预设阈值,则ω(arg)=0,在本较佳实施例中,该预设阈值为20,但并不限于此。
而Road(d,u)是一道路平面项,也就是说在该距离阵列5的第u栏中,障碍物至最远处的视差值变化。其函式是:
Figure BDA0000127065500000082
物项的终点地址,在距离阵列5中,vmax指的是最低视差值,也就是图3所示的该第一影像211或第二影像212的最上方的列(列=影像的列高)。ω是和上述相同的二元判断函数,并同样地依据该预设阈值判断。
特别注意的是,在本发明中该道路平面项是采用视差值作为计算的参数,因如图1所示的交通载具11的前方是上坡道路或下坡道路,对该成本函数而言并不会视为障碍物而提高该障碍值。
然后,如步骤408所示,该处理单元23依据一初始边界估算函数利用这些障碍值计算出该距离阵列5中每一栏的一初始可行驶空间边界值,各该初始可行驶空间边界值I(u)对应的函式如下。
I ( u ) = min d { v ( d , u ) }
该距离阵列5的每一栏(u)的初使可行驶空间边界值串连后大致成一条曲线,这些栏的初使可行驶空间边界值虽然不够精准,但是可以缩小后续对可行驶空间边界估算的搜寻区域,相对地减少处理单元23计算的负担,以提升障碍物辨识的速度。
接着,如步骤409所示,该处理单元23依据一最佳化边界估算函数,利用上述初始可行驶空间边界值计算出一平滑度值。其目的在于获知该距离阵列5的所有栏的初使可行驶空间边界值间是否有不够平滑的变化,若是,则代表距离阵列5的某一栏的初始可行驶空间边界值可能因为杂讯等因素影响,而导致其与邻近的另一栏的初始可行驶空间边界值差异较大。该最佳化边界估算函数是:
Cu,d,k=E1(u,d)+E2(u,d,k)
其中,若该平滑度值Cu,d,k越高,代表上述相邻的栏的差异较大的问题越有可能存在,其中E1(u,d)=v(d,u)代表该初始可行驶空间边界所在的第u栏与第d视差值的能量值(Cost),而E2(u,d,k)=ω3×(d-k),代表第u栏与第d视差值的初始可行驶空间边界及相邻的第u+1栏与第k视差值的初始可行驶空间边界所在的能量值的差值,ω3为一常数,在本较佳实施例设定为0.5。
如步骤410所示,该处理单元23判定该平滑度值Cu,d,k是否高于一预设值以执行一最佳化演算法。若是,代表这些初始可行驶空间边界值所构成的曲线并不平滑,也就是说距离阵列5中至少其中一栏所对应的初始可行驶空间边界值可能受杂讯等干扰,产生与邻近栏差异较大的初始可行驶空间边界值,因此,则如步骤411所示,该处理单元23依据该最佳化演算法计算出每一初始可行驶空间边界值的一最佳可行驶空间边界值。该最佳化演算法在本较佳实施例中为一动态规划法,但并不限于此,数学上还有其他演算方法可以使用。然后,如步骤412所示,将该距离阵列5中每一最佳可行驶空间边界值储存于该存储单元22。该距离阵列5中每一栏所对应的最佳可行驶空间边界值都是一条如图7所示的障碍线段52,这些障碍线段52代表障碍物和如图1所示的交通载具11的距离。
回到步骤410所示,若该处理单元23判定该平滑度值Cu,d,k未高于该预设值,则该处理单元23不需要执行上述的最佳化演算法,而如步骤412所示,将该距离阵列5中每一最佳可行驶空间边界值储存于该存储单元22。
至步骤412为止,该处理单元23所收集关于该距离阵列5的信息足以获知如图1所示的交通载具11与障碍物的距离,若障碍物的距离过近,则可利用该播放单元25的喇叭发出声音警示,以提醒驾驶者。然而,上述距离阵列5虽然可以提供如图1所示的交通载具11和障碍物间的距离信息,但是,以此方式所呈现的信息并无法直接由驾驶者所理解,因此,必须改变距离阵列5的座标系统,也就是说,对应地回到如图2所示的第一影像211及第二影像212的呈现方式。
参阅图2、7、8,然后,如图4的步骤413所示,该处理单元转换该距离阵列5为一包括多个检测格71的障碍物检测图层7,将该距离阵列5的座标系统(横轴是栏、纵轴是视差值)转换为该障碍物检测图层7的座标系统(横轴是与距离阵列相同的栏、纵轴是列),同时,把这些最佳可行驶空间边界值也对应地转换为多个障碍提示线段72。视差值转换为列的方式可利用步骤403计算出的道路函数,最后计算出如图8所示包括这些检测格71的障碍物检测图层7。特别说明的是,该障碍物检测图层7中,以这些最佳可行驶空间边界值为界,列低于最佳可行驶空间边界值,也就是障碍提示线段72,为一可行驶空间(标示为“○”的检测格71),列高于最佳可行驶空间边界值为一障碍物区域(标示为“×”的检测格71),另外,在本较佳实施例中,该处理单元23仅处理该障碍物检测图层7中对应实际上道路部分的检测格71,在大部分情况中,这些对应道路部分的检测格71会组成一梯形区域。
参阅图2、8、9,再者,如图4的步骤414所示,处理单元将如图2所示的第一影像211和第二影像212的其中一幅作为一基底影像8,该障碍物检测图层7及最佳可行驶空间边界则迭置于该基底影像8上,并显示一合成影像9于播放单元25中,提供该交通载具11的驾驶者判读障碍物的尺寸及距离等提示。举例来说,在合成影像9中,高墙31、机车32及大客车33的下方都出现多个代表最佳可行驶空间边界,并对应如图7所示的这些障碍提示线段72的光条91,而光条91下方由障碍物检测图层7所呈现的半透明遮罩代表可行驶区域,对应如图7所示标示为“○”的检测格71;相反的,没有半透明遮罩的部分代表不能行驶的障碍物区域,对应如图7所示标示为“×”的检测格71。
参阅图2、4,上述的步骤401至414在本较佳实施例中,该处理单元23是于每一预设时间,如1秒,即执行一次,以便能掌握每1秒交通载具的行进方向的障碍物的状况,但并不限于此,也可以设计成依据交通载具11的目前速度弹性调整,或依据处理单元23的运算速度调整成符合效率的预设时间。
参阅图1、2,由于本发明不只是能感测到障碍物,更能进一步地获知可行驶空间,因此具有下列应用:
一、当交通载具11行驶中遭遇路边的临时障碍物(停靠于路肩的车辆及施工围篱),或遭其他车辆超车并切入正在行驶的车道,均能立即地判断障碍物的位置,提供相对应的行车导引,建议驾驶者适当的行车方向。
二、应用于交通载具11的停靠,如路边停车或倒车入库等。由于该处理单元23可以比对可停靠空间及预先储存的交通载具11尺寸,因此能够判断该交通载具11是否可以停泊于该可停靠空间。
综上所述,本发明具有下述功效:
本发明在步骤407的道路平面项是由视差值计算而来,可以适用不同的道路情境,例如平面道路、上坡道路及下坡道路等。另外,在步骤408中,计算出该距离阵列5中每一栏的初始可行驶空间边界值,提升搜寻最佳化可行驶空间边界值的效率,克服现有检测可行驶空间及障碍物的技术,所以确实能达成本发明的目的。
应理解,在阅读了本发明的上述讲授内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种可行驶空间的检测系统,安装于一交通载具上并朝向该交通载具的移动方向,其特征在于该检测系统包含:
二影像撷取单元,所述影像撷取单元相间隔地设置于该交通载具上,并朝向该交通载具前进的方向以记录一第一影像及一第二影像;
一处理单元,电连接所述影像撷取单元;及
一存储单元,电连接该处理单元,并储存该第一影像、该第二影像及一与检测可行驶空间相关并供该处理单元执行的检测程序,所述影像撷取单元、该处理单元及该存储单元协同配合执行可行驶空间的检测;其中
该检测程序使该处理单元进行以下步骤:
执行一立体影像重建运算,转换该第一影像及第二影像为一包括多个像素的第三影像,各该像素具有一视差值,
依据一道路函数将该第三影像转换为一包括多个格的距离阵列,
执行一成本函数,以一障碍物项及一道路平面项估算多个对应所述格的障碍值,其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得,
执行一最佳化边界估算函数,以计算出一平滑度值,以及
依据该平滑度值执行一最佳化演算法,以计算出多个最佳可行驶空间边界值。
2.根据权利要求1所述的可行驶空间的检测系统,其特征在于:该检测系统还包含一电连接该处理单元,并输出多个检测信号的检测单元,而该距离阵列的所述格属于多个检测区域,该处理单元依据所述检测信号决定处理该距离阵列的其中一检测区域。
3.根据权利要求1所述的可行驶空间的检测系统,其特征在于:该处理单元将该第三影像转换为该距离阵列时,是将该第三影像的纵座标轴由列转换为该视差值,再执行一占有格转换。
4.根据权利要求1所述的可行驶空间的检测系统,其特征在于:该成本函数是各该障碍值=一障碍物项权重常数×该障碍物项+一道路平面项权重常数×该道路平面项。
5.根据权利要求1所述的可行驶空间的检测系统,其特征在于:该处理单元执行该最佳化边界估算函数前,还执行一初始边界估算函数,利用所述障碍值计算出多个对应该距离阵列的栏的初始可行驶空间边界值,用于计算出该平滑度值。
6.一种可行驶空间的检测方法,运作于一包括二相间隔的影像撷取单元、一存储单元及一处理单元的检测系统,其特征在于该检测方法包含下列步骤:
(a)该二影像撷取单元记录一第一影像及一第二影像于该存储单元;
(b)该处理单元执行一立体影像重建运算,将该第一影像及第二影像转换为一包括多个像素的第三影像,各该像素具有一视差值;
(c)该处理单元依据一道路函数将该第三影像转换为一包括多个格的距离阵列;
(d)该处理单元执行一成本函数,以一障碍物项及一道路平面项估算多个对应所述格的障碍值,其中该障碍物项及该道路平面项是依据该距离阵列的各栏的视差值而得;
(e)该处理单元执行一最佳化边界估算函数,以计算出一平滑度值;及
(f)依据该平滑度值执行一最佳化演算法,以计算出多个最佳可行驶空间边界值。
7.根据权利要求6所述的可行驶空间的检测方法,其特征在于:在该(c)步骤及(d)步骤间,还包含一步骤(g),该处理单元依据一检测单元的多个检测信号,该处理单元依据所述检测信号决定处理该距离阵列的多个检测区域的其中之一。
8.根据权利要求6所述的可行驶空间的检测系统,其特征在于:在该(c)步骤中,该处理单元将该第三影像的纵座标轴由列转换为该视差值,再执行一占有格转换。
9.根据权利要求6所述的可行驶空间的检测系统,其特征在于:在该(d)步骤中,该成本函数是各该障碍值=一障碍物项权重常数×该障碍物项+一道路平面项权重常数×该道路平面项。
10.根据权利要求9所述的可行驶空间的检测系统,其特征在于:在该(d)步骤及该(e)步骤中,还包含一步骤(h),该处理单元执行一初始边界估算函数,利用所述障碍值计算出多个对应该距离阵列的栏的初始可行驶空间边界值,而在该(e)步骤中,该处理单元利用所述初始可行驶空间边界值计算出该平滑度值。
CN201110455127.9A 2011-12-30 2011-12-30 可行驶空间的检测系统及其检测方法 Active CN103185571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110455127.9A CN103185571B (zh) 2011-12-30 2011-12-30 可行驶空间的检测系统及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110455127.9A CN103185571B (zh) 2011-12-30 2011-12-30 可行驶空间的检测系统及其检测方法

Publications (2)

Publication Number Publication Date
CN103185571A true CN103185571A (zh) 2013-07-03
CN103185571B CN103185571B (zh) 2015-04-01

Family

ID=48676871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110455127.9A Active CN103185571B (zh) 2011-12-30 2011-12-30 可行驶空间的检测系统及其检测方法

Country Status (1)

Country Link
CN (1) CN103185571B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103822614A (zh) * 2014-03-14 2014-05-28 河北工业大学 倒车影像的三维测量方法
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及系统
CN105867408A (zh) * 2014-11-07 2016-08-17 现代摩比斯株式会社 可行驶空间判断装置及其方法
CN106056571A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 路面检测装置和路面检测系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN109117691A (zh) * 2017-06-23 2019-01-01 百度在线网络技术(北京)有限公司 可行驶区域检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101161524A (zh) * 2006-10-12 2008-04-16 财团法人车辆研究测试中心 侦测车距的方法与装置
CN101204917A (zh) * 2006-12-21 2008-06-25 财团法人车辆研究测试中心 电子式悬吊系统控制装置及其方法
US20090085771A1 (en) * 2007-09-27 2009-04-02 Jui-Hung Wu Auto-parking device
DE102008053898A1 (de) * 2008-03-06 2009-10-15 Automotive Research & Testing Center, Lugang Antriebsvorrichtung für ein Parkbremssystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101161524A (zh) * 2006-10-12 2008-04-16 财团法人车辆研究测试中心 侦测车距的方法与装置
CN101204917A (zh) * 2006-12-21 2008-06-25 财团法人车辆研究测试中心 电子式悬吊系统控制装置及其方法
US20090085771A1 (en) * 2007-09-27 2009-04-02 Jui-Hung Wu Auto-parking device
DE102008053898A1 (de) * 2008-03-06 2009-10-15 Automotive Research & Testing Center, Lugang Antriebsvorrichtung für ein Parkbremssystem

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及系统
CN104732196B (zh) * 2013-12-24 2019-06-28 现代自动车株式会社 车辆检测方法及系统
CN103822614A (zh) * 2014-03-14 2014-05-28 河北工业大学 倒车影像的三维测量方法
CN103822614B (zh) * 2014-03-14 2015-12-30 河北工业大学 倒车影像的三维测量方法
CN105867408A (zh) * 2014-11-07 2016-08-17 现代摩比斯株式会社 可行驶空间判断装置及其方法
CN105867408B (zh) * 2014-11-07 2019-06-21 现代摩比斯株式会社 可行驶空间判断装置及其方法
CN106056571A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 路面检测装置和路面检测系统
CN106056571B (zh) * 2015-04-17 2018-09-07 丰田自动车株式会社 路面检测装置和路面检测系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106228110B (zh) * 2016-07-07 2019-09-20 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN109117691A (zh) * 2017-06-23 2019-01-01 百度在线网络技术(北京)有限公司 可行驶区域检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103185571B (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
US11915491B2 (en) Controlling host vehicle based on detected door opening events
US10969788B2 (en) ECU, autonomous vehicle including ECU, and method of determining driving lane for the same
CN105009175B (zh) 基于传感器盲点和局限性来修改自主车辆的行为
US11620837B2 (en) Systems and methods for augmenting upright object detection
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US9076047B2 (en) System and method for recognizing parking space line markings for vehicle
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
KR20190080885A (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
CN103185571B (zh) 可行驶空间的检测系统及其检测方法
US20100045449A1 (en) Method for detecting a traffic space
Tanaka et al. Vehicle detection based on perspective transformation using rear-view camera
Jung et al. Stereo vision-based forward obstacle detection
JP7402753B2 (ja) 安全支援システム、および車載カメラ画像分析方法
TWI453697B (zh) The detection system of the driving space and its detection method
Klette et al. Vision-based driver assistance systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant