CN101727756B - 交通工具移动图像辅助导引方法与系统 - Google Patents

交通工具移动图像辅助导引方法与系统 Download PDF

Info

Publication number
CN101727756B
CN101727756B CN2008101679300A CN200810167930A CN101727756B CN 101727756 B CN101727756 B CN 101727756B CN 2008101679300 A CN2008101679300 A CN 2008101679300A CN 200810167930 A CN200810167930 A CN 200810167930A CN 101727756 B CN101727756 B CN 101727756B
Authority
CN
China
Prior art keywords
image
vehicles
move
characteristic body
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101679300A
Other languages
English (en)
Other versions
CN101727756A (zh
Inventor
郑国祥
张晏树
李维民
郑山川
陈隆泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CN2008101679300A priority Critical patent/CN101727756B/zh
Publication of CN101727756A publication Critical patent/CN101727756A/zh
Application granted granted Critical
Publication of CN101727756B publication Critical patent/CN101727756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种交通工具移动图像辅助导引方法与系统,利用单一图像获取装置配合具备图像处理、辨识以及图像空间距离估测演算的控制装置用于提供交通工具移动时完整的图像辅助信息。利用本发明的方法可以产生交通工具移动轨迹、进行俯瞰视角转换、辨识图像中的图像特征以利进行距离估测。本发明可以应用于各种不同的交通工具形式,解决交通工具移动导引问题以及亦可辅助该类交通工具变换车道、停车辅助及盲点检测。

Description

交通工具移动图像辅助导引方法与系统
技术领域
本发明有关一种交通工具移动辅助方法,尤其是指一种利用图像辨识来判断车辆移动状态并且辨识障碍物与车道标志以作为导引辅助信息的一种交通工具移动图像辅助导引方法与系统。
背景技术
大部分的驾驶者都曾为驾驶交通工具时无法兼顾各方位的避障操作感到困扰,而交通工具驾驶于盲点区域的移动(如停车或狭窄路段行驶)通常是造成困扰的重要原因。目前的电子技术发展至以传感器来辅助行车安全,最常见的为距离传感器(超声波、红外线、毫米波及激光等)及图像传感器(CCD/CMOS)。距离传感器主要辅助于单方向的避障被动警示(如:适应性巡航系统、倒车雷达等),而图像传感器则应用于广域的视觉辅助,需要人眼观察判断的驾驶辅助行为(如:车道/车辆辨识、倒车摄影及盲点检测等)。倘若在驾驶行为发生同时,能够有效地协助驾驶者掌握交通工具移动动态及与障碍物的相对距离,驾驶者便可轻易完成驾驶导引并减少碰撞意外的发生。
而在现有技术中,例如中国发明专利CN179378号所公开的一种停车辅助装置,其停车目标位置的设定精度优良,设定速度快,可减轻使用者的停车目标位置的设定操作的劳苦。该停车辅助装置利用后方摄像机拍摄进行停车的停车空间,检测出该后方摄像机拍摄的图像中包括的停车空间中的表示停车区的区标线并设定停车目标位置,辅助车辆行驶到停车目标位置,其具有:检测出车辆的移动的车辆检测装置;存储车辆检测装置所检测出的车辆行驶移动经历的存储装置;基于存储装置中存储的车辆行驶移动经历的变化来推定假定停车目标位置的假定停车目标位置推定装置;基于利用假定停车目标位置推定装置推定的假定停车目标位置来设定搜索区标线的停车区标线搜索区域的停车区标线搜索区域设定装置。
又如,美国专利US.Pat.No.7,006,127所公开的一种驾驶辅助系统,其具有
Figure G2008101679300D0002151145QIETU
显示单元
Figure G2008101679300D0002151154QIETU
图像获取装置以及
Figure G2008101679300D0002151202QIETU
图像处理单元
Figure G2008101679300D0002151212QIETU
该显示单元,设置在可被前座驾驶可以看见的区域。该图像获取装置可获取车辆后方的图像。而该图像处理单元可经由图像处理以转换坐标系统使得该显示单元显示转换后的合成图像。在本技术中,在显示单元内可以同时显示自己以及前方车辆以及前方车辆的连接组件的图像,以利驾驶者判断而使连接作业得以顺利进行。
发明内容
本发明提供一种交通工具移动图像辅助导引方法与系统,用于对随时间变化的图像进行辨识,以根据交通工具的移动状态而得到交通工具移动轨迹。此外,该方法还可以辨识图像中的特征物与交通工具的距离,进而辅助交通工具的移动。本发明的方法可以应用于各种不同形式的交通工具,尤其对于大型运输工具的实时移动检测与辅助方法,以解决大型交通工具的具有大范围盲点的行车安全顾虑,提高本身车辆及其它用路人或交通工具的安全。
本发明提供一种交通工具移动图像辅助导引系统,通过单一摄影机便可达成以一般图像以及俯瞰图像来进行导引辅助,并同时检测与障碍物或者是道路标记的距离提供驾驶防碰撞警示或者是停放交通工具的功能,使得判断后方距离更直观更明确,提供完整地辅助停车解决方案,解决大部分驾驶人的困扰。
本发明提供一种交通工具移动图像辅助导引系统,可以免除过去完成驾驶导引功能预估所需要的至少一个摄影机及一个方向盘转角传感器。本发明的系统仅利用单一的摄影机配合算法即可达成功能,安装方法与一般车用摄影系统相同,可免除需要连接其它车用传感器的安装门坎,因此具有低价格、安装容易、高弹性的特性。
在一实施例中,本发明提供一种交通工具移动图像辅助导引方法,包括下列步骤:于一第一时间点获取关于一交通工具的外部环境的一第一图像;于该第一图像中选取一基准区域;于一第二时间点获取关于该交通工具的外部环境的一第二图像;于该第二图像中寻找对应该基准区域的一对应区域并获取该对应区域与该基准区域的一移动向量;以及根据该移动向量决定该交通工具的移动轨迹。
在另一实施例中,本发明还提供一种交通工具移动图像辅助导引方法,包括下列步骤:(a)于不同时间点检测关于一交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态;(b)根据该移动状态决定一移动轨迹;(c)于该图像中检测至少一特征物;以及(d)辨识该至少一特征物,并根据该至少一特征物的形式进行对应的一辅助程序。
在另一实施例中,本发明还提供一种交通工具移动图像铺助导引系统,包括:一图像获取装置,获取一交通工具外部环境的图像;一控制单元,与该图像获取装置相连接,该控制单元根据于不同时间点该图像获取装置所获取的关于该交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态,并根据该移动状态决定该交通工具的移动轨迹;以及一显示单元,与该控制单元相连接,该显示单元提供显示该图像以及该控制单元所产生的关于该交通工具的移动轨迹。此外,当该特征物与该交通工具间的距离小于一预设距离时,则控制单元将该图像获取装置所获取道的图像转换为俯视图像,并提供该显示单元一俯视图像信号。
附图说明
图1为本发明的交通工具移动图像辅助导引方法实施例流程示意图;
图2A为第一图像示意图;
图2B为第二图像示意图;
图2C为本发明的影相移动向量示意图;
图3为本发明的交通工具移动图像辅助导引方法另一实施例流程示意图;
图4A与图四B为本发明图像空间与实际空间距离估测示意图;
图5A至图五C为本发明图像空间与实际空间距离估测示意图;
图6为本发明的交通工具移动图像辅助导引系统实施例方块示意图。
其中,附图标记:
2-交通工具移动图像辅助导引方法       20~24步骤
3-交通工具移动图像辅助导引方法       30~38步骤
360~362步骤                          370~372步骤
4-交通工具移动图像辅助导引系统       40-图像获取装置
41-单元                              410-中央处理器
411-内存模块                         4110-内存
4111-闪存                            412-图像输出接口
413图像输入接口                     414-车体信号通信接口
415-电源接口                        42-显示单元
43-警报模块                         9a~9e-图像
90、91-图像处理区域                 901-基准区域
911-图像检测区块                    912、913-区域
具体实施方式
为清楚完整的公开本发明的特征、目的及功能,以下对本发明的装置的相关内部结构以及设计要点进行说明,详细说明如下:
请参阅图1所示,该图为本发明的交通工具移动图像辅助导引方法实施例流程示意图。在本实施例中,主要是对不同时间点的图像进行辨识寻找出移动的特征,并从该特征中计算出特征在图像空间中的移动方向,如此即可得到车辆的移动状态,例如:转向。再从移动状态去预估车辆行动的轨迹而在画面中显示出来以提供驾驶者参考。接下来说明该方法的运作流程,首先进行步骤20,于一第一时间点获取关于一交通工具的外部环境的一第一图像。在本实施例中,该第一图像为该交通工具后方环境的图像,但不以此为限。获取图像的方式可利用现有技术的图像获取装置,例如:CCD或CMOS传感组件,将其设置于交通工具后方,以获取交通工具后方环境的图像。该交通工具可为轮型车辆,例如:小型轮形车辆(轿车)或者是大型轮形车辆(客货车、长型连结货柜车)、航空器具或者是船舶等,但不以此为限。
接下来进行步骤21,于该第一图像中选取一基准区域。请参阅图2A所示,该图为第一图像示意图。以图2A来说明步骤21,首先在第一图像9a中决定一图像处理区域90,其大小与范围可根据需要而定,并无一定限制。然后在该图像处理区域90(Detection Area)中选取一特定区块作为基准区域901,该基准区域901的大小亦可根据需要而定,并无一定限制。接者,进行步骤22,为了判断交通工具的移动状态,在第二时间点时,获取交通工具的外部环境的图像以形成第二图像,如图2B所示。如果交通工具正在移动状态时,例如:倒退移动,则该第二图像的画面会与该第一图像的画面有所差异,根据这样的差异可以利用图像处理的方式找出交通工具的移动状态。
步骤22之后,接着进行步骤23,于该第二图像中寻找对应该基准区域901的一对应区域并计算该对应区域与该基准区域901的一移动向量,在本步骤中,同样地,在图2B的第二图像9b中,决定图像处理区域91。决定之后,根据在步骤21中决定的基准区域901大小,在该第二图像9b中形成一图像检测区块911,然后在第二图像9b中的图像处理区域91内,由上至下、由左至右逐一的变更该图像检测区块911的位置。每当移动一次时,便进行一次辨识运算,以在该第二图像9b中寻找出对应图2A中的基准区域901的图像检测区块。如图2B所示,在第一次的辨识运算中,该图像检测区块911位于左上角的区域,在本实施例中,图像检测区块的大小为3(pixel)x3(pixel)的大小,但不以此为限,因为图像检测区块的大小需根据图2A中的基准区域的大小而定,如果基准区域的大小改变,则辨识框大小也会跟着改变。在图2B的情况下,图像检测区块911所涵盖到的区域所具有的图像特征可以根据式(1)与式(2)来进行运算:
imvi=minp,qSADi(p,q)………………………………………(2)
其中,I(t-1,X,Y)表示在第一时间点(t-1)时所取样的第一图像9a中的图像空间坐标(X,Y)(亦即基准区域901的中心位置坐标)于图像中的一特征值。在本实施例中,该特征值为灰阶强度。而I(t,X,Y)表示在第二时间点(t)时所取样的第二图像9b中的图像空间坐标(X,Y)(亦即图像检测区块911的中心位置坐标)于图像中的灰阶强度。Ai为第i个图像检测区块范围。SADi(p,q)是第二图像中第i个图像检测区块911与第一图像中对应于第i个基准区域901的相对位移为(p,q)的点(本实施例为图像检测区块的中心位置,但不以此为限)之间的绝对误差和(sum of absolute defference,SAD)。既然minp,qSADi(p,q)是图像检测区块901移动最小的SAD值,产生最小值的位移向量imvi则代表第i个图像检测区块移动的局部性移动向量(Local Motion Vector,LMV)。
如图2B所示,图像检测区块911内的中心与基准区域之间会有一个SAD值。若图像检测区块911向右移动—单位像素的距离,如图2B中的标号912所示的区域。此时,再套入公式(1)又可得到对应图像检测区块911移动至区域912时与图2A的基准区域901间的一个SAD值。当重复多次上述动作,每当改变该图像检测区块911的位置,可以得到多个SAD值,此时再根据公式(2),由该多个SAD值中寻找出最小的SAD值。如图2C所示,对应该最小的SAD值的图像检测区块911所在的区域913则可视为该基准区域901在第二时间点(t)的位置。因此可以根据图像检测区块911与基准区域901之间的图像空间距离(p,q),该图像空间距离(p,q)即为在第二时间点(t)与该第一时间点(t-1)间该基准区域901的移动向量。
再回到图1所示,得到该移动向量时,再进行步骤24,根据该移动向量决定该交通工具的移动轨迹。在本步骤中,利用步骤24根据两个不同时间点的图像变化,所得到的移动向量可代表交通工具本身的移动状态,例如:转向状态。举例而言,当交通工具在后退的时候,如果方向盘有转动的情况下(亦即转向角度已知的情况下),在单位时间内,交通工具后退的距离以及交通工具本身转动的角度是可以预先估算出来的。因此,为了重建移动轨迹,基本上可以事先建立交通工具移动状态与轨迹关系数据库,也就是将转向、车速以及获取图像的图像获取装置的参数(例如:高度、视角范围以及获取图像俯角)等信息与移动轨迹建立起对应关系的数据库。由于根据步骤23所到的移动向量,可以了解交通工具现在的移动状态,亦即转向的角度,因此根据转向角度,车速以及获取图像的图像获取装置的参数(例如:高度、视角范围以及获取图像俯角)等信息,由数据库的数据中寻找出对应的轨迹,然后在显示器中显示出来。由于现有技术中,在显示器中通常只会单纯显示所获取的图像,虽然操控方向的改变也会造成显示器内所显示的图像跟着改变,但是并无任何辅助的移动轨迹会显示在画面中,以提供驾驶者辅助识别。因此驾驶者并无法直接从图像中快速了解可能发生擦撞的可能性。透过步骤24,驾驶者可以根据显示器所显示的轨迹,快速直接的判断现在的操控情况下,是否会撞倒障碍物或者是压到路面标记等情况发生。
请参阅图3所示,该图为本发明的交通工具移动图像辅助导引方法另一实施例流程示意图。在本实施例中,该交通工具移动图像辅助导引方法整合了前述的实施例、图像特征物识别、距离计算、视角改变以及警示的功能以形成一个整合型的交通工具导引方法。该方法3包括有下列步骤首先,步骤30为判断是否开始,其中,在步骤300时处于待机状态,一直到步骤301检测系统是否启动的步骤以判别是否开始判断的流程。在步骤301中,启动与否的判断方法可以根据交通工具的档位或者是通过按钮启动或者是
Figure G2008101679300D0007154035QIETU
启动来进行判断但不以此为限。在本实施例中,以后退档为例,如果在步骤301中发现了启动后退档,则代表启动判断机制。
当系统启动时,则进行步骤31,进行图像动量估测,本步骤主要是于不同时间点检测关于一交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态。接着进行步骤32,根据该移动状态决定一移动轨迹。步骤31与步骤32的方式如同图1所示的实施例以及相关的交字所述,在此不作赘述。接着进行步骤33的图像特征物检测,亦即于该图像中检测至少一特征物。本实施例所谓的特征物为障碍物或者是路面标记等,但不以此为限。至于如何在图像中检测特征物,属于公知技术,在此不作赘述。接着进行步骤34,如有图像中有特征物的话,则进行步骤35,辨识该至少一特征物,并根据该至少一特征物的形式进行对应的一辅助程序。
在本实施例中,该辅助程序包括有两个部分,第一部份主要是针对障碍物的辅助导引程序36。第二部分则是针对路面标记的辅助导引程序37。首先说明障碍物的辅助导引程序36,如果在步骤35中辨识出的特征物为障碍物的话,则进行步骤360,估测交通工具与该障碍物的距离。在步骤360中估测距离的方式为根据特征物在获取的图像中所形成的图像空间中的坐标位置,配合预先估测的图像空间坐标与实际距离的对应关系,可得出特征在实际空间中的距离。请参阅图4A与图4B所示,该图为本发明图像空间与实际空间距离估测示意图。其中图像9c为获取到关于交通工具外部环境的图像。由于获取图像的图像获取装置所装设的位置、高度、视角、获取图像的俯角或仰角为已知,因此可以事先建立图像空间与实际空间距离的对应关系,以利后续搜寻对照使用。所谓图像空间是指在图像9c中每一个像素所在的位置,而实际空间则指交通工具所存在的环境空间。从图4A可以知道,图像9c中的每一个像素所呈现的图像对应到实际空间坐标时的位置,可以通过实际的测量得知。此外,虽然在本实施例中以一个像素为单位,但是实际上也可以根据分辨率的需要,以多个像素为一个单位来建立图像空间与实际空间的对照表。
在图4A中,在图像9c所形成的图像空间(x,y)位置上的每一个像素(x1,y1)、(x1,y2)以及(x1,y3)经过量测之后可以对应到图4B所示的实际空间中的(X1,Y1)、(X1,Y2)以及(X1,Y3)的位置。在图4A的图像空间中的坐标位置所对应至图4B的实际空间的距离可由预先得知的关系计算得知
Figure G2008101679300D0008162324QIETU
再回到图3所示,在步骤360中可以根据步骤35所辨识出的障碍物在图像空间中的位置,经过事先所建立的图像空间与实际空间对应的关系,找出该障碍物在实际空间中的位置。利用图像估测出距离之后,进行步骤361判断该距离的大小,如果该距离小于一特定距离(例如:车身的L倍长度的距离时)则通过步骤362发出警报。然后,在进行步骤38,将步骤32所产生的轨迹显示出来。
另一方面,如果步骤35所辨识出来的为路面标记,例如车道线或者是停车网格线,则进行程序37。首先,以步骤370估测交通工具与该路面标记的距离,其估测方式如前所述,在此不作赘述。接着进行步骤371,如果该距离小于一特定距离,则进行步骤372切换视角,即从正视视角切换至俯瞰视角。在本实施例中,该特定距离为交通工具长度的K倍,但不以此为限。另外,步骤372的切换视角的目的,是要让驾驶者可以更轻易的从显示器中看出与路面标记之间的距离关系。如图5A所示,视角俯瞰转换为利用图像几何转换的方式,通过逆透视投影算法结合图像扭曲校正技术将原本以水平正视角度成像的图像9d转换为由上方往下看的图像9e效果。例如,在图五中,图像9d为正视视角,经过步骤372转换之后会形成图像9e由上往下看的状态。
视见角转换技术主要是基于路面为平坦的假设,如此可除去透视投影的影响所造成的距离失真。其转换示意图如图5B与图5C所示:其数学转换原理为假设车辆行驶在世界空间Z=0的平面上,且摄影机(其坐标为(X,Y,Z)=(0,0,h))光学轴与此平面的夹角为θ且与X轴的夹角为γ(在此应用例中,γ=0,但不以此为限)。假设摄影机的视角为2φ,且图像的分辨率为n×m。若于实际空间中存在坐标(x,y,0)的点,其图像空间中的坐标(α,β)可由下列式(3)与式(4)表示(1<α<n,1<β<m):
&alpha; ( x , y , 0 ) = &omega; &OverBar; ( x , y , 0 ) - ( &gamma; - &phi; ) 2 &phi; n - 1 &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; &CenterDot; ( 3 )
Figure G2008101679300D00082
其中
Figure G2008101679300D00091
Figure G2008101679300D00092
因此,对应的转换图像可以由原透视图像像素中重组,以形成俯瞰的图像。以图5中的图像9d中的像素(α,β,0)为例,经过公式(3)与式(4)的转换,即可转换成图像9e中的像素(x,y,0)。
请参阅图6所示,该图为本发明的交通工具移动图像铺助导引系统实施例方块示意图。在本实施例中该交通工具移动图像辅助导引系统4包括有一图像获取装置40、一控制单元41以及一显示单元42。该图像获取装置41设置于交通工具上以获取交通工具外部环境的图像。该图像获取装置40可为CCD或CMOS等类的图像传感器,但不以此为限。该图像获取装置40可设置于交通工具上的任一位置,设置的位置取决于获取图像的需要,并无一定限制。在本实施例中,该图像获取装置40可设置于在交通工具后方以获取交通工具后方环境的图像,其获取水平视角允许范围60~190度,图像获取频率为15~30Frames/sec;实时图像输出达15~20 Frames/sec。上述图像获取装置40的视角及图像检测距离规格各可依照交通工具车型及安装位置的不同而有所改变。
该控制单元41,其以一图像输入接口413与该图像获取装置40相耦接。该控制单元41还具有一中央处理器410、一内存模块411、一图像输出接口412、一车体信号通信接口414以及一电源接口415。该中央处理器410可接收该图像输入接口413所输入的图像信号,并进行图1以及图3所示的图像处理、图像辨识、距离运算、障碍物相对关系运算、图像输出/输出车体信号输入、及警示信号输出等流程。警示信号输出可通过警报模块43传送给驾驶端使得驾驶员可以注意到障碍物而避免与障碍物擦撞。该图像输出接口412与该显示单元42相耦接,可显示由该中央处理器410所运算处理的结果,例如:可以显示交通工具移动轨迹、图像获取装置所获取到的图像等、视角转换的图像输出结果。该内存模块411还可分为内存4110以及闪存4111。在本实施例中,内存4110为32MB以上SDRAM;而闪存4111则为16MB以上闪存,应用于系统运作的暂存空间。该内存模块411的容量大小并不以本发明的实施例为限。
该车体信号通信接口414则为接收启动本系统4的启动信号,该通信接口414可接收由交通工具上所发出的启动信号,例如:检测档位切换至特定档位(如倒退档)或者是使用者通过接键来启动时。发出启动信号的方式的配置规格将依据应用交通工具不同,可进行调整、并不以前述的说明为限
Figure G2008101679300D0010155625QIETU
此外
Figure G2008101679300D0010155631QIETU
该控制单元41上还具有一电源接口415以与电源相连接。
利用本发明的系统与方法,可以突破现有技术中交通工具移动导引必须由数种车用传感器才能完成的限制,提供具安装弹性与低成本的铺助能,甚至结合俯瞰转换及扭曲校正的图像技术,使得判断后方距离更直观更明确,提供完整地辅助停车解决方案,解决大部分驾驶人的困扰。加上经过软件简易设定可适应各种厂牌的倒车摄影机及车型,对于车用电子售后服务市场具有相当大的销售潜力。因此本产品初期将针对全球的车用电子售服市场积极布局,并将推广于大型运输机具(客货车、长型连结货柜车及船舶)铺助停泊使用。
本方法可通过简单的软件设定适应不同摄影机内部参数与外部安装特性,所以也可以使用原来已安装于车辆上的车用摄像机来运作。除了一般小型交通工具如轿车等,对于具有后向全盲点及倒车行径不易掌握地大型客货车、长型连结货柜车及船舶等大型运输机具在停泊上更有明显的辅助效果,原因在于此种车辆盲点多,以目前单一传感器的方式无法提供完全的车辆防护及他人用路安全,只要应用多组本装置及搭配适合的人机接口设计就可以解决上述的驾驶负担。
以上所述仅为本发明的实施例,不能用以限制本发明范围。即大凡依本发明权利要求所做的等效变化及修改,仍将不失本发明的要义所在,亦不脱离本发明的精神和范围,故都应视为本发明的进一步实施状况。

Claims (13)

1.一种交通工具移动图像辅助导引方法,其特征在于,包括下列步骤:
(a)于不同时间点检测关于一交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态;
(b)根据该移动状态决定一移动轨迹;
(c)于该图像中检测至少一特征物;以及
(d)辨识该至少一特征物,并根据该至少一特征物的形式进行对应的一辅助程序;
该步骤(d)还包括有下列步骤:如果该特征物为一路面标记则估测与该路面标记的距离;如果该距离小于一特定距离,则切换视角,该切换视角为将图像获取视角转换成俯视视角,切换视角的运算方式为由
以及 
Figure FSB00000793773700012
来将实际空间中存在坐标(x,y,0)与图像空间中的坐标(α,β)进行转换,其中 
Figure FSB00000793773700013
而 
Figure FSB00000793773700014
该图像的分辨率为n×m,该视角为2Φ,1<α<n,1<β<m,拍摄该图像的摄影机的所在位置坐标为(X,Y,Z)=(0,0,h),该摄影机的光学轴与Z=0的平面的夹角为θ。
2.如权利要求1所述的交通工具移动图像辅助导引方法,其特征在于,该步骤(a)还包括有下列步骤:
(a1)于一第一时间点获取关于该交通工具的外部环境的一第一图像;
(a2)于该第一图像中选取一基准区域;
(a3)于一第二时间点获取关于该交通工具的外部环境的一第二图像;
(a4)于该第二图像中寻找对应该基准区域的一对应区域并获取该对应区域与该基准区域的一图像空间距离;以及
该步骤(b)还包括有下列步骤:
(a5)根据该图像空间距离决定该交通工具的移动轨迹。
3.如权利要求2所述的交通工具移动图像辅助导引方法,其特征在于,寻找对应该基准区域的一对应区域的步骤还包括有下列步骤:
计算关于该基准区域的一特征值;以及 
于该第二图像中寻找与该特征值有最小绝对误差和的该对应区域。
4.如权利要求3所述的交通工具移动图像辅助导引方法,其特征在于,该特征值为灰阶强度值。
5.如权利要求3所述的交通工具移动图像辅助导引方法,其特征在于,寻找与该特征值有最小绝对误差和的该对应区域还具有下列步骤:
(a11)决定一检测区块;
(a12)计算该检测区块所涵盖的图像所具有的一第二特征值与该第一特征值间的一绝对误差和;
(a13)移动该检测区块;
(a14)重复进行步骤(a11)至(a13)多次,以得到多个绝对误差和;以及
(a15)由该多个绝对误差和中寻找出最小的值。
6.如权利要求2所述的交通工具移动图像辅助导引方法,其特征在于,决定该交通工具的移动轨迹还包括有下列步骤:
根据该图像空间距离判断该交通工具的移动方向;以及
根据该移动方向搜寻预先建立的轨迹数据库中对应该移动状态的移动轨迹。
7.如权利要求1所述的交通工具移动图像辅助导引方法,其特征在于,如果该特征物为一路面标记则估测与该路面标记的距离还包括有下列步骤:
预先建立图像内的坐标与实际距离的对应关系;以及
将该特征物于该图像内的坐标根据该对应关系决定该特征物的距离。
8.如权利要求1所述的交通工具移动图像辅助导引方法,其特征在于,该步骤(d)还包括有下列步骤:
如果该特征物为一障碍物则估测与该障碍物的距离;以及
如果该距离小于一特定距离,则发出警报。
9.一种交通工具移动图像辅助导引系统,其特征在于,包括:
一图像获取装置,其设置于一交通工具上以获取该交通工具外部环境的图像;
一控制单元,与该图像获取装置相连接,该控制单元根据于不同时间点该图像获取装置所获取的关于该交通工具的外部环境的变化图像中特定区块的移动向量以决定该交通工具的移动状态,并根据该移动状态决定该交通工具的移动轨迹,该控制单元根据该图像判断出至少一特征物,当该特征物为一路面 标记且该特征物与该交通工具间的距离小于一预设距离时,则控制单元切换视角,将该图像获取装置所获取到的图像转换为俯视图像,并提供显示单元一俯视图像信号,切换视角的运算方式为由 
Figure FSB00000793773700031
以及 
Figure FSB00000793773700032
来将实际空间中存在坐标(x,y,0)与图像空间中的坐标(α,β)进行转换,其中 而 
Figure FSB00000793773700034
该图像的分辨率为n×m,该视角为2Φ,1<α<n,1<β<m,拍摄该图像的该图像获取装置的所在位置坐标为(X,Y,Z)=(0,0,h),该图像获取装置的光学轴与Z=0的平面的夹角为θ;以及
该显示单元,与该控制单元相连接,该显示单元提供显示该图像以及该控制单元所产生的关于该交通工具的移动轨迹。
10.如权利要求9所述的交通工具移动图像辅助导引系统,其特征在于,该特征物为障碍物。
11.如权利要求9所述的交通工具移动图像辅助导引系统,其特征在于,该特征物为路面标记。
12.如权利要求9所述的交通工具移动图像辅助导引系统,其特征在于,该控制单元还可以估测该特征物与该交通工具间的距离。
13.如权利要求9所述的交通工具移动图像辅助导引系统,其特征在于,还具有一警报模块,如果该特征物为障碍物,且该障碍物的距离小于一特定距离则该警报模块发出警报。 
CN2008101679300A 2008-10-16 2008-10-16 交通工具移动图像辅助导引方法与系统 Active CN101727756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101679300A CN101727756B (zh) 2008-10-16 2008-10-16 交通工具移动图像辅助导引方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101679300A CN101727756B (zh) 2008-10-16 2008-10-16 交通工具移动图像辅助导引方法与系统

Publications (2)

Publication Number Publication Date
CN101727756A CN101727756A (zh) 2010-06-09
CN101727756B true CN101727756B (zh) 2012-07-25

Family

ID=42448587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101679300A Active CN101727756B (zh) 2008-10-16 2008-10-16 交通工具移动图像辅助导引方法与系统

Country Status (1)

Country Link
CN (1) CN101727756B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI365145B (en) 2009-11-02 2012-06-01 Ind Tech Res Inst Method and system for asisting driver
CN102059978B (zh) * 2009-11-16 2014-09-10 财团法人工业技术研究院 驾驶辅助方法与系统
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
US9751529B2 (en) 2011-06-09 2017-09-05 GM Global Technology Operations LLC Lane sensing through lane marker identification for lane centering/keeping
CN103901890B (zh) * 2014-04-09 2017-05-24 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
DE102014117830A1 (de) * 2014-12-04 2016-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines fahrerspezifischen Totwinkelfeldes für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN106951902B (zh) * 2017-03-27 2020-10-20 深圳怡化电脑股份有限公司 一种图像二值化处理方法及装置
WO2019026348A1 (ja) * 2017-07-31 2019-02-07 株式会社Jvcケンウッド 表示制御装置、表示制御システム、表示制御方法およびプログラム
CN109682368B (zh) * 2018-11-30 2021-07-06 上海肇观电子科技有限公司 机器人及地图构建方法、定位方法、电子设备、存储介质
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN110595494B (zh) * 2019-09-17 2021-06-22 百度在线网络技术(北京)有限公司 地图误差确定方法和装置
CN110588273B (zh) * 2019-09-26 2021-05-18 爱驰汽车有限公司 基于路面检测的泊车辅助方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2600787Y (zh) * 2002-08-21 2004-01-21 张拥军 利用数字图像识别技术测量车辆起步时运动轨迹的装置
US7006127B2 (en) * 2001-04-09 2006-02-28 Matsushita Electric Industrial. Co., Ltd. Driving aiding system
CN1793785A (zh) * 2004-12-21 2006-06-28 爱信精机株式会社 停车辅助装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006127B2 (en) * 2001-04-09 2006-02-28 Matsushita Electric Industrial. Co., Ltd. Driving aiding system
CN2600787Y (zh) * 2002-08-21 2004-01-21 张拥军 利用数字图像识别技术测量车辆起步时运动轨迹的装置
CN1793785A (zh) * 2004-12-21 2006-06-28 爱信精机株式会社 停车辅助装置

Also Published As

Publication number Publication date
CN101727756A (zh) 2010-06-09

Similar Documents

Publication Publication Date Title
CN101727756B (zh) 交通工具移动图像辅助导引方法与系统
CN102059978B (zh) 驾驶辅助方法与系统
CN110775052B (zh) 一种基于视觉与超声波感知融合的自动泊车方法
US11741696B2 (en) Advanced path prediction
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
KR101106547B1 (ko) 이미지 기반의 차량 조작 보조 방법 및 그 시스템
EP2429877B1 (en) Camera system for use in vehicle parking
JP4337929B2 (ja) 移動状態推定装置
US9530211B2 (en) Display control apparatus, a method of controlling a display control apparatus and display apparatus
CN1963867A (zh) 监视装置
CN202035096U (zh) 移动机械的移动操作监控系统
US20160125588A1 (en) Apparatus and method for recognizing position of obstacle in vehicle
JP2015139128A (ja) 車両用周辺監視装置
US20140160287A1 (en) Guide method of a reverse guideline system
CN112389419B (zh) 识别停车位的方法和停车辅助系统
JP5997962B2 (ja) 車載レーンマーカ認識装置
KR101868898B1 (ko) 자율주행을 위한 차선 인식 방법 및 장치
CN107914639B (zh) 使用外反射镜的车道显示装置及车道显示方法
KR101663292B1 (ko) 주차 보조 장치 및 방법
EP3244233B1 (en) Apparatus and method for automated parking
CN112601931A (zh) 用于检测相机的图像处理装置的误报的方法
EP3932719B1 (en) Method for assisting a user of an assistance system, assistance system and vehicle comprising such a system
WO2018037032A1 (en) A vehicle camera system
CN110908366B (zh) 自动驾驶方法及装置
CN116229754A (zh) 适用于机械车位的定位方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant