CN104002730A - 立体物检测装置、驾驶支援装置以及立体物检测方法 - Google Patents

立体物检测装置、驾驶支援装置以及立体物检测方法 Download PDF

Info

Publication number
CN104002730A
CN104002730A CN201310593683.1A CN201310593683A CN104002730A CN 104002730 A CN104002730 A CN 104002730A CN 201310593683 A CN201310593683 A CN 201310593683A CN 104002730 A CN104002730 A CN 104002730A
Authority
CN
China
Prior art keywords
mentioned
projected image
stereoscopic article
vehicle
generating unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310593683.1A
Other languages
English (en)
Other versions
CN104002730B (zh
Inventor
三谷浩辅
栋方康介
大场裕树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Publication of CN104002730A publication Critical patent/CN104002730A/zh
Application granted granted Critical
Publication of CN104002730B publication Critical patent/CN104002730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

提供一种立体物检测装置、驾驶支援装置以及立体物检测方法,基于摄影时间不同的2张摄影图像的差分,能够尽早检测到相对于自车辆处于远方的立体物。具备:投影图像生成部(11),从后置摄像机(20)的摄影图像截取不同区域的多个图像,根据各截取图像分别生成在不同方向上设定了投影面的投影图像;和立体物检测部(13),针对所生成的多个方向的投影图像的每个,基于摄影时间不同的2张投影图像的差分,检测车辆周边的立体物;针对摄入到投影图像中的位于自车辆后方的停车车辆,使接近方向与投影面倾斜地交叉,从而能够根据摄影时间不同的2张投影图像计算正确的差分。

Description

立体物检测装置、驾驶支援装置以及立体物检测方法
技术领域
本发明适合用于检测在自车辆的周边存在的立体物的立体物检测装置及立体物检测方法、以及检测由该立体物检测装置检测到的立体物的接近来执行驾驶支援处理的驾驶支援装置。
背景技术
近年来,以车辆的安全行驶为目的的系统的开发盛行。作为其开发技术之一,提供有一种检测处于自车辆周边的立体物(其他车辆或步行者等)并报告给驾驶员的系统。而且,还提供有检测接近自车辆的立体物并产生警报的系统。
作为检测自车辆周边的立体物的技术,利用从车载摄像机得到的图像的技术存在有很多(例如,参照专利文献1~4)。例如已知有如下系统:利用具备鱼眼透镜等超广角透镜的后置摄像机(也称倒车摄像机(rearcamera)),对车辆的后方以广范围进行摄影,通过对摄影图像进行解析来检测自车辆周边存在的立体物,并使驾驶员认识到该情况。
上述专利文献1~4中,取摄影时间不同的2张摄影图像的差分,将差分值较大的部分检测为立体物。其中,在专利文献1所记载的技术中,根据由车载摄像机在时刻T0得到的图像、以及车速或偏航角速度(yaw rate)等车辆的行驶状态,来计算在假定图像内的物体是道路上的平面物的情况下在时刻T1应得到的位置。然后,将其与实际在时刻T1得到的图像进行比较,如果两者一致则判定为物体是平面物,在不一致的情况下,判定为物体是立体物。
在专利文献2所记载的技术中,基于特征区域的移动量,来推测第一图像与第二图像之间的变化量、即因移动体的移动而引起的图像的变化量。然后,通过将推断出的图像的变化量应用到第一图像的整体中,来生成变换图像。该变换图像示出了在假设图像中包含的全部被摄影体处于道路平面上的情况下在摄影到第二图像的时刻各被摄影体应当存在的位置。通过生成该变换图像与第二图像之间的差分图像,将存在差分的区域检测为实际并未存在于道路平面上的物体。
在专利文献3所记载的技术中,通过单个摄像机,摄影到不同的第一及第二地点处的周边图像,来作为时间序列地赋予了视差的第一及第二图像。然后,生成将第一图像投射变换到第二地点后的第四图像,通过第四图像与第二图像的差分来检测立体物。
此外,在上述专利文献4所记载的技术中,根据摄影时间不同的2张摄影图像的差分检测到立体物之后,使用密度图来进行接近判定。具体地说,每当制作了最新的密度图时,检测最新的立体物的位置,并以与检测时刻建立了对应的状态作为成为追踪对象的目标的履历被记录。然后,基于所记录的目标的履历,推断该目标的移动轨迹,判定与该移动轨迹对应的目标是否为接近物。
先行技术文献
专利文献
专利文献1:特开平10-222679号公报
专利文献2:特开2007-129560号公报
专利文献3:专利第3494434号公报
专利文献4:特开2012-174180号公报
然而,在如上述专利文献1~4那样根据摄影时间不同的2张摄影图像的差分来检测立体物的方法中,存在很难检测相对于自车辆处于远方的立体物的问题。这是因为,处于远方的立体物的差分计算困难。因此,在检测与自车辆接近的立体物并产生警报的系统中,产生了警报精度恶化的问题。
图7是用于说明该问题的图。在图7的例子中示出了自车辆100在停车场中倒车的情形。在自车辆100的后方存在有停车中的其他车辆200,在自车辆100的左后方侧的远方存在有正与自车辆100接近中的其他车辆300。这些停车车辆200以及接近车辆300被具备鱼眼透镜的后置摄像机进行摄影,被摄入到在自车辆100的倒车方向上设定了投影面400的摄影图像中。
处于自车辆100的后方的停车车辆200,若自车辆100倒车则会与自车辆100接近,由于是处于停车中的车辆,因此不需要产生警报。但是,在停车车辆200仍处于远方时,以时间序列摄影到的图像内的停车车辆200的接近方向与投影面400几乎垂直地交叉,因此,很难根据摄影时间不同的2张摄影图像计算出正确的差分。因此,在自车辆100相对于停车车辆200已经接近到了某种程度时,才能计算出差分。由此,存在如下问题:接近到某种程度之前未被检测到的停车车辆200突然作为立体物被检测到,结果,判断为立体物接近了自车辆100而产生误警报。
此外,处于自车辆100的远方的接近车辆300缓缓地接近自车辆100,因此,需要尽早产生警报。但是,处于远方的接近车辆300在摄影图像的端部附近以小且模糊的状态被摄入,因此,很难根据摄影时间不同的2张摄影图像计算出正确的差分。因此,在接近车辆300相对于自车辆100已经接近到了某种程度时,才能计算出差分。由此,存在如下问题:本来应该被计算出的差分未被计算出来,远方存在的接近车辆300未被作为立体物而检测到,从而产生了未警报或警报延迟。
发明内容
本发明是为了解决这样的问题而做出的,其目的在于能够基于摄影时间不同的2张摄影图像的差分尽早检测到相对于自车辆处于远方的立体物。
为了解决上述的课题,本发明中,从搭载于车辆的摄像机的摄影图像截取不同区域的多个图像,根据各截取图像,分别生成在不同方向上设定了投影面的投影图像。然后,针对这样生成的多个方向的投影图像的每个,基于摄影时间不同的2张投影图像的差分,检测车辆周边的立体物。
本发明的其他方式中,将多个方向的投影图像放大为规定尺寸,使用放大后的图像来计算差分。
发明效果
根据如上述那样构成的本发明,针对位于正在倒车的自车辆的后方的停车车辆,在多个方向的投影图像当中的某个投影图像中,摄入到该投影图像中的停车车辆的接近方向与投影面倾斜地交叉,因此,能够根据摄影时间不同的2张投影图像计算出正确的差分。由此,能够尽早检测出相对于自车辆处于后方远方的立体物。
此外,根据本发明的其他特征,针对处于自车辆的远方的接近车辆,在多个方向的投影图像当中的某个投影图像中,摄入到该投影图像中的接近车辆被放大,因此,能够根据摄影时间不同的2张投影图像计算出正确的差分。由此,能够尽早检测出正在接近自车辆的处于远方的立体物。
附图说明
图1是表示本实施方式的立体物检测装置的功能构成例的框图。
图2是用于说明本实施方式的投影图像生成部的处理内容的图。
图3是表示由本实施方式的投影图像生成部生成的3个方向的投影图像的一个例子的图。
图4是表示由本实施方式的投影图像生成部生成的后方投影图像以及左后方投影图像的一个例子的图。
图5是表示应用了本实施方式的立体物检测装置的驾驶支援装置的功能构成例的框图。
图6是表示本实施方式的驾驶支援装置的动作例的流程图。
图7是用于说明以往的问题的图。
附图标记的说明
10  立体物检测装置
11  投影图像生成部
12  预测图像生成部
13  立体物检测部
14  移动量计算部
15  接近判定部
16  警报产生部
20  后置摄像机
30  驾驶支援装置
21~23  截取图像
31~33  多个方向的投影面
41~43  多个方向的投影图像
具体实施方式
以下,基于附图来说明本发明的一实施方式。图1是表示本实施方式的立体物检测装置10的功能构成例的图。如图1所示那样,本实施方式的立体物检测装置10作为其功能构成,而具备投影图像生成部11、预测图像生成部12、立体物检测部13以及移动量计算部14。此外,本实施方式的立体物检测装置10与后置摄像机20连接。
上述影图像生成部11、预测图像生成部12、立体物检测部13以及移动量计算部14的各功能能够通过硬件、DSP(Digital Signal Processor:数字信号处理器)、软件中的任意来构成。例如在由软件构成的情况下,上述各功能11~14实际上具备计算机的CPU、RAM、ROM等而构成,通过RAM或ROM、硬盘或者半导体存储器等记录介质中存储的程序进行动作来实现。
后置摄像机20具备鱼眼透镜等超广角透镜,较广范围地对自车辆后方的区域进行摄影。由于使用鱼眼透镜,因此由后置摄像机20摄影到图像是摄影范围的周边变圆变形的图像。
投影图像生成部11从后置摄像机20的摄影图像截取多个不同区域的图像,根据各截取图像分别生成在不同方向上设定了投影面的投影图像。图2是用于说明投影图像生成部11的处理内容的图,图2(a)示出了图像的截取区域,图2(b)示出了多个投影面。
如图2(a)所示那样,在本实施方式中,从后置摄像机20的摄影图像截取从自车辆来看时主要位于后方的区域21、主要位于右后方的区域22、主要位于左后方的区域23这3个区域的图像。在此,以使后方的截取区域21的一部分与右后方的截取区域22的一部分重复、后方的截取区域21的一部分与左后方的截取区域23的一部分重复的方式,设定各截取区域21~23的位置和范围。
此外,如图2(b)所示那样,在本实施方式中,设定相对于自车辆的倒车方向(向后方直进的情况的方向)成垂直的角度的后方侧投影面31、相对于后方侧投影面31向右侧成规定的角度的右后方侧投影面32、相对于后方侧投影面31向左侧成规定的角度的左后方侧投影面33这3个投影面31~33。
并且,投影图像生成部11生成将从后方的截取区域21截取的图像向后方侧投影面31投影而得到的后方投影图像、将从右后方的截取区域22截取的图像向右后方侧投影面32投影而得到的右后方投影图像、将从左后方的截取区域23截取的图像向左后方侧投影面33投影而得到的左后方投影图像这3个方向的投影图像。
此时,投影图像生成部11对各个截取区域21~23中的图像的因鱼眼透镜而引起的变形进行校正。该变形校正处理是使用预先准备的内部参数而进行的,能够应用公知的方法。投影图像生成部11还将3个方向的投影图像(变形校正后的图像。以下同样)放大处理为规定尺寸。
预测图像生成部12针对由投影图像生成部11生成的3个方向的投影图像的每个,将根据第一摄影时间的摄影图像生成的投影图像变换为该第一摄影时间之后的第二摄影时间的预测图像。在此,第一摄影时间以及第二摄影时间例如是连续的2帧的摄影时间。即,预测图像生成部12用于预测在第一摄影时间摄影到的帧图像在1帧时间后的第二摄影时间变化成什么样的图像。另外,第一摄影时间与第二摄影时间的时间间隔也可以不是1帧间隔。即,也可以是n(n为2以上的整数)帧间隔。
作为根据第一摄影时间的投影图像生成第二摄影时间的预测图像的具体方法,能够应用各种方法。例如,预测图像生成部12基于由移动量计算部14计算出的车辆的移动量,将根据第一摄影时间的摄影图像生成的投影图像变换为第二摄影时间的预测图像。在此,移动量计算部14是经由车载LAN等车内网络(未图示)输入的车速脉冲来计算从第一摄影时间起至第二摄影时间为止的时间间隔的车辆的移动量。
具体地说,预测图像生成部12基于由移动量计算部14计算出的车辆的移动量,计算在第一摄影时间得到的投影图像内的物体在1帧后的第二摄影时间会移动到的位置和尺寸。然后,将根据该计算出的位置和尺寸而对物体进行了描绘而得的图像,作为第二摄影时间的预测图像来生成。
或者是,预测图像生成部12还能够如以下那样将第一摄影时间的投影图像变换为第二摄影时间的预测图像。即,预测图像生成部12计算在比第一摄影时间靠前1帧的摄影时间得到的投影图像与在第一摄影时间得到的投影图像之间的变化量。然后,通过将计算出的图像的变化量应用于在第一摄影时间得到的投影图像,来生成第二摄影时间的预测图像。
预测图像生成部12也与投影图像生成部11同样,将3个方向的预测图像放大处理为规定尺寸。另外,在此,说明了在根据第一摄影时间的投影图像生成了第二摄影时间的预测图像之后对该预测图像进行放大的例子,但是,不限于该处理。例如也可以是,在将第一摄影时间的投影图像放大处理为规定尺寸之后再根据放大后的投影图像来生成第二摄影时间的预测图像(放大后的图像)。
立体物检测部13针对由投影图像生成部11生成的3个方向的投影图像的每个,基于由投影图像生成部11根据第二摄影时间的摄影图像生成的投影图像和由预测图像生成部12生成的第二摄影时间的预测图像之间的差分信息,检测在自车辆的周边存在的立体物。在本实施方式中,立体物检测部13基于放大处理后的投影图像和放大处理后的预测图像之间的差分信息,检测在自车辆的周边存在的立体物。在此,立体物检测部13判定为在具有一定量以上差分的区域中存在立体物。
图3是表示由投影图像生成部11生成的3个方向的投影图像的一个例子的图。该图3所示的投影图像示出了在停车场中倒车的自车辆的后方存在有停车车辆的情形的图像。另外,图3中以时间序列排列示出了根据3张摄影图像生成的3组投影图像。图3中,41为后方投影图像,42为右后方投影图像,43为左后方投影图像。此外,各投影图像内示出了圆点的部分是检测到了差分的区域。
如图3所示那样,在右后方投影图像42和左后方投影图像43中,被摄入这些投影图像中的停车车辆的接近方向(以箭头表示)与各自的投影面32、33倾斜地交叉。因此,即使是相对于自车辆处于远方的停车车辆,也能够根据摄影时间不同的2张投影图像计算出差分。
即,如图3(a)所示那样,在停车车辆相对于自车辆处于远方时,虽然在与以往同样的后方投影图像41中几乎检测不到差分,但是在右后方投影图像42和左后方投影图像43中,差分被检测到。这样,通过使用右后方投影图像42和左后方投影图像43来检测差分,能够尽早检测到相对于自车辆处于后方远方的停车车辆。
图4是表示由投影图像生成部11生成的3个方向的投影图像当中的后方投影图像以及左后方投影图像的图。该图4示出了其他车辆从自车辆的左后方侧的远方接近过来的情形。另外,图4中以时间序列排列显示了3张的后方投影图像41以及3张的左后方投影图像43。各后方投影图像41以及各左后方投影图像43内示出了圆点的部分是检测到差分的区域。
如图4(a)所示那样,在接近车辆相对于自车辆还处于较远位置时,接近车辆在后方投影图像41的端部附近以小且模糊的状态被摄入。与此相对,在左后方投影图像43中,相对于自车辆位于远方的接近车辆被放大,而成为容易检测到差分的状态。因此,能够根据摄影时间不同的2张投影图像来计算差分。由此,能够尽早检测到相对于自车辆处于远方的接近车辆。
图5是表示应用了如上述那样构成的立体物检测装置10的驾驶支援装置30的功能构成例的框图。另外,在该图5中,与图1所示的附图标记赋予了相同的附图标记的部分具备与图1的情况相同的功能,因此在此省略重复的说明。
如图5所示那样,本实施方式的驾驶支援装置30除了图1所示的立体物检测装置10的各功能构成之外,还具备接近判定部15以及警报产生部16。接近判定部15判定由立体物检测部13检测到的立体物是否在接近自车辆。警报产生部16在由接近判定部15判定为立体物在接近自车辆的情况下,产生警报。警报可以通过鸣叫警报音来进行,也可以通过在显示器画面上对接近中的立体物进行框显示来进行。
作为判定立体物是否在接近自车辆的具体方法,能够应用各种方法。例如,当立体物检测部13从按照每摄影时间生成的投影图像内检测到的立体物在朝向该投影图像的中心移动移动时,接近判定部15判定为立体物在接近自车辆。
在图3所示的例子中,如图3(a)→(b)→(c)那样按照时间序列由立体物检测部13检测到的立体物(停车车辆)在投影图像内的位置,在3个方向的投影图像41~43的哪个中都是在从中心朝向外侧移动。因此,在该情况下,接近判定部15判定为立体物没在接近自车辆。作为其结果,警报产生部16不产生警报。另外,实际上由于自车辆的倒车而停车车辆是在接近自车辆的,但是由于停车车辆是警报的产生对象外所以警报产生部16不产生警报,关于该点,没有任何问题。
此外,在本实施方式中,由于以下的理由,还具有能够防止误警报的产生的效果。即,在如图3(a)所示那样停车车辆相对于自车辆处于远方时能够尽早将停车车辆检测为立体物。因此,能够防止在自车辆相对于停车车辆接近了某种程度的图3(b)或图3(c)的阶段、之前未被检测到的停车车辆突然被作为立体物检测到,而误判断为立体物接近了自车辆。
另一方面,在图4所示的例子中,如图4(a)→(b)→(c)那样按照时间序列由立体物检测部13检测到的立体物(接近车辆)的位置,从左后方投影图像43的周边部朝向中心移动。因此,该情况下,接近判定部15判定为立体物在接近自车辆。作为其结果,警报产生部16能够在接近车辆相对于自车辆还处于远方时就尽早地产生警报。由此,能够防止未警报或警报延迟的产生。
另外,图4中仅示出了后方投影图像41以及左后方投影图像43,但实际上还存在右后方投影图像42,在该右后方投影图像42中也摄入了接近车辆。在图4的例子中,接近车辆从自车辆的左后方逐渐接近,经过自车辆后向右后方远去。该情况下,在后方投影图像41中,从某时刻起在图像的端部开始摄入接近车辆。同样,在右后方投影图像42中也是,在之后的某时刻起在图像的端部开始摄入接近车辆。并且,有可能在这些开始摄入的时刻误判定为立体物突然接近而由警报产生部16产生警报。
为了防止这样的误警报的产生,优选如以下那样构成。即,立体物检测部13在针对3个方向的投影图像41~43分别计算了差分信息之后,将该3个方向的投影图像41~43与差分信息一起合并在1个图像中,而生成合并图像。例如,通过将3个方向的投影图像41~43返回到原来的摄影图像上的截取区域21~23中,来合并成带有差分信息的1个摄影图像。
然后,立体物检测部13基于合并在这样生成的合并图像上的差分信息,检测在自车辆的周边存在的立体物。进而,接近判定部15判定在合并图像上检测到的立体物是否在接近自车辆。这样,能够将3个方向的投影图像41~43上分别检测到的立体物的运动合并成1个图像上的运动,因此,能够消除每当在投影图像41~43的端部开始摄入立体物时发出警报的问题。
图6是表示如图5那样构成的驾驶支援装置30的动作例的流程图。另外,图6所示的流程图在驾驶支援装置30的警报产生功能起动后开始。
首先,投影图像生成部11从后置摄像机20输入1帧的摄影图像。(步骤S1)。另外,以下的处理中需要2张摄影图像,因此在驾驶支援装置30起动之后立刻输入2帧的摄影图像。接下来,投影图像生成部11从所输入的摄影图像截取不同区域的3个图像,根据各截取图像21~23,分别生成在不同方向上设定了投影面31~33的投影图像41~43(步骤S2)。
此外,预测图像生成部12针对由投影图像生成部11生成的3个方向的投影图像41~43的每个,将根据第一摄影时间的摄影图像生成的投影图像变换为第二摄影时间的预测图像(步骤S3)。在此,投影图像生成部11以及预测图像生成部12将投影图像以及预测图像放大处理为规定尺寸。
接下来,立体物检测部13针对由投影图像生成部11生成的3个方向的投影图像41~43的每个,检测由投影图像生成部11根据第二摄影时间的摄影图像生成的投影图像与由预测图像生成部12生成的第二摄影时间的预测图像之间的差分(步骤S4)。
进而,立体物检测部13将3个方向的投影图像41~43与差分信息一起合并在1个图像中而生成合并图像(步骤S5)。然后,立体物检测部13基于合并在所生成的合并图像上的差分信息,检测在自车辆的周边存在的立体物(步骤S6)。
接下来,接近判定部15判定在合并图像上检测到的立体物是否在接近自车辆(步骤S7)。在此,在由接近判定部15判定为立体物在接近自车辆的情况下,警报产生部16产生警报(步骤S8)。另一方面,在由接近判定部15判定为立体物没在接近自车辆的情况下,不进行步骤S8的处理。
之后,驾驶支援装置30判定警报产生功能的起动状态是否已被解除(步骤S9)。在警报产生功能的起动状态未被解除的情况下,处理返回至步骤S1。另一方面,在警报产生功能的起动状态已被解除的情况下,图6所示的流程图的处理结束。
如以上详细地说明的那样,在本实施方式中,从搭载于车辆的后置摄像机20的摄影图像截取不同区域的多个图像21~23,根据各截取图像21~23,分别生成在不同方向设定了投影面31~33的投影图像41~43。然后,针对这样生成的多个方向的投影图像41~43的每个,基于摄影时间不同的2张投影图像的差分,检测车辆周边的立体物。
根据这样构成的本实施方式,针对处于正倒车的自车辆的后方的停车车辆,在右方向投影图像42以及左方向投影图像43中,被摄入在该投影图像42、43的停车车辆的接近方向与投影面32、33倾斜地交叉,因此,能够根据摄影时间不同的2张投影图像计算出正确的差分。由此,能够尽早地检测出相对于自车辆处于后方远方的立体物。因而,能够防止发出不应产生的警报这样的误警报。
此外,在本实施方式中,将多个方向的投影图像和多个方向的预测图像放大为规定尺寸,使用放大后的图像来计算差分。由此,针对处于自车辆的远方的接近车辆,在右方向投影图像42以及左方向投影图像43中,被摄入该投影图像42、43的接近车辆被放大,因此,能够根据摄影时间不同的2张投影图像计算出正确的差分。由此,能够尽早检测出正接近自车辆的处于远方的立体物。由此,能够防止未警报或漏警报的产生。
另外,在上述实施方式中,说明了根据后置摄像机20的摄影图像来生成在3个方向上设定了投影面31~33的投影图像41~43的例子,但是本发明不限于该个数。例如也可以是,生成投影到右后方侧投影面32上的右后方投影图像42以及投影到左后方侧投影面33上的左后方投影图像43这2个方向的投影图像。
此外,在上述实施方式中,说明了处理由后置摄像机20摄影到的自车辆后方的图像的例子,但是也可以是,处理由前置摄像机或者侧置摄像机摄影到的自车辆前方或者侧方的图像。
此外,在上述实施方式中,说明了通过将3个方向的投影图像41~43返回到原来的摄影图像上的截取区域21~23来合并成带有差分信息的1个摄影图像的例子,但是本发明不限于此。例如也可以是,将3个方向的投影图像合并成1个投影面(例如,后方投影面31)的投影图像。
此外,在上述实施方式中,说明了在应用了立体物检测装置10的驾驶支援装置30中对驾驶员产生警报的例子,但是本发明不限于此。例如,还能够在通过自动制动来避免向立体物碰撞的碰撞避免系统、以避开立体物的方式进行自动驾驶的自律行驶系统等驾驶支援装置中应用立体物检测装置10。
另外,上述实施方式只不过示出了实施本发明时的具体化的一个例子,本发明的技术的范围并不因其受到限定解释。即,本发明能够在不脱离其宗旨或者其主要特征的状态下以各种方式实施。

Claims (12)

1.一种立体物检测装置,其特征在于,具备:
投影图像生成部,从搭载于车辆的摄像机的摄影图像截取不同区域的多个图像,根据各截取图像分别生成在不同方向上设定了投影面的投影图像;
预测图像生成部,针对由上述投影图像生成部生成的多个方向的投影图像的每个,将根据第一摄影时间的摄影图像生成的投影图像变换为该第一摄影时间之后的第二摄影时间的预测图像;以及
立体物检测部,针对由上述投影图像生成部生成的多个方向的投影图像的每个,基于根据上述第二摄影时间的摄影图像生成的投影图像与由上述预测图像生成部生成的上述第二摄影时间的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
2.如权利要求1所述的立体物检测装置,其特征在于,
上述投影图像生成部将上述多个方向的投影图像放大处理为规定尺寸;
上述预测图像生成部将上述多个方向的预测图像放大处理为规定尺寸,
上述立体物检测部基于放大处理后的投影图像与放大处理后的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
3.如权利要求1所述的立体物检测装置,其特征在于,
上述投影图像生成部将上述多个方向的投影图像放大处理为规定尺寸,
上述预测图像生成部根据放大处理后的上述多个方向的投影图像生成上述多个方向的预测图像,
上述立体物检测部基于放大处理后的投影图像与放大处理后的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
4.如权利要求1所述的立体物检测装置,其特征在于,
上述立体物检测部在针对上述多个方向的投影图像的每个计算了上述差分信息之后,将该多个方向的投影图像与上述差分信息一起合并在1个图像中而生成合并图像,基于合并在该合并图像上的差分信息,检测在上述车辆的周边存在的立体物。
5.如权利要求1所述的立体物检测装置,其特征在于,
还具备:
移动量计算部,根据车速脉冲来计算从上述第一摄影时间起至上述第二摄影时间为止的时间间隔的上述车辆的移动量,
上述预测图像生成部基于由上述移动量计算部计算出的移动量,将根据上述第一摄影时间的摄影图像生成的投影图像变换为上述第二摄影时间的预测图像。
6.一种驾驶支援装置,其特征在于,具备:
投影图像生成部,从搭载于车辆的摄像机的摄影图像截取不同区域的多个图像,根据各截取图像分别生成在不同方向上设定了投影面的投影图像;
预测图像生成部,针对由上述投影图像生成部生成的多个方向的投影图像的每个,将根据第一摄影时间的摄影图像生成的投影图像变换为该第一摄影时间之后的第二摄影时间的预测图像;
立体物检测部,针对由上述投影图像生成部生成的多个方向的投影图像的每个,基于根据上述第二摄影时间的摄影图像生成的投影图像与由上述预测图像生成部生成的上述第二摄影时间的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物;
接近判定部,判定由上述立体物检测部检测到的立体物是否在接近上述车辆;以及
驾驶支援部,在由上述接近判定部判定为上述立体物在接近上述车辆的情况下,执行驾驶支援处理。
7.如权利要求6所述的驾驶支援装置,其特征在于,
上述驾驶支援部是对驾驶员产生警报的警报产生部。
8.如权利要求6所述的驾驶支援装置,其特征在于,
上述驾驶支援部是通过制动操作或者转向操作来自动避免与由上述接近判定部判定为正在接近上述车辆的立体物发生碰撞的自律行驶部。
9.如权利要求6所述的驾驶支援装置,其特征在于,
上述投影图像生成部将上述多个方向的投影图像放大处理为规定尺寸,
上述预测图像生成部将上述多个方向的预测图像放大处理为规定尺寸,
上述立体物检测部基于放大处理后的投影图像与放大处理后的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
10.如权利要求6所述的驾驶支援装置,其特征在于,
上述投影图像生成部将上述多个方向的投影图像放大处理为规定尺寸,
上述预测图像生成部根据放大处理后的上述多个方向的投影图像生成上述多个方向的预测图像,
上述立体物检测部基于放大处理后的投影图像与放大处理后的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
11.如权利要求6所述的驾驶支援装置,其特征在于,
上述立体物检测部在针对上述多个方向的投影图像的每个计算了上述差分信息之后,将该多个方向的投影图像与上述差分信息一起合并在1个图像中而生成合并图像,基于合并在该合并图像上的差分信息,检测在上述车辆的周边存在的立体物。
12.一种立体物检测方法,其特征在于,包括:
第一步骤,立体物检测装置的投影图像生成部从搭载于车辆的摄像机的摄影图像截取不同区域的多个图像,根据各截取图像分别生成在不同方向上设定了投影面的投影图像;
第二步骤,上述立体物检测装置的预测图像生成部针对由上述投影图像生成部生成的多个方向的投影图像的每个,将根据第一摄影时间的摄影图像生成的投影图像变换为该第一摄影时间之后的第二摄影时间的预测图像;以及
第三步骤,上述立体物检测装置的立体物检测部针对由上述投影图像生成部生成的多个方向的投影图像的每个,基于根据上述第二摄影时间的摄影图像生成的投影图像与由上述预测图像生成部生成的上述第二摄影时间的预测图像之间的差分信息,检测在上述车辆的周边存在的立体物。
CN201310593683.1A 2013-02-27 2013-11-20 立体物检测装置、驾驶支援装置以及立体物检测方法 Active CN104002730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-036734 2013-02-27
JP2013036734A JP5984714B2 (ja) 2013-02-27 2013-02-27 立体物検出装置、運転支援装置および立体物検出方法

Publications (2)

Publication Number Publication Date
CN104002730A true CN104002730A (zh) 2014-08-27
CN104002730B CN104002730B (zh) 2017-08-08

Family

ID=51363733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310593683.1A Active CN104002730B (zh) 2013-02-27 2013-11-20 立体物检测装置、驾驶支援装置以及立体物检测方法

Country Status (2)

Country Link
JP (1) JP5984714B2 (zh)
CN (1) CN104002730B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109665099A (zh) * 2017-10-13 2019-04-23 阿尔派株式会社 架线摄影系统以及架线摄影方法
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140653B2 (ja) * 2018-11-28 2022-09-21 株式会社日立製作所 移動体の周囲状態判定用画像処理装置および方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048094A (ja) * 2006-08-14 2008-02-28 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
JP2008189139A (ja) * 2007-02-05 2008-08-21 Mazda Motor Corp 車両用運転支援装置
JP2009193135A (ja) * 2008-02-12 2009-08-27 Xanavi Informatics Corp 車載モニタ装置
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
CN102288165A (zh) * 2010-06-21 2011-12-21 日产自动车株式会社 移动距离检测装置和移动距离检测方法
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
JP2012256159A (ja) * 2011-06-08 2012-12-27 Alpine Electronics Inc 接近物検知装置および接近物検知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222679A (ja) * 1997-02-04 1998-08-21 Toyota Motor Corp 車両用画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048094A (ja) * 2006-08-14 2008-02-28 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
JP2008189139A (ja) * 2007-02-05 2008-08-21 Mazda Motor Corp 車両用運転支援装置
JP2009193135A (ja) * 2008-02-12 2009-08-27 Xanavi Informatics Corp 車載モニタ装置
JP2011170568A (ja) * 2010-02-17 2011-09-01 Fujitsu Ten Ltd 障害物検出装置、及び障害物検出方法
CN102288165A (zh) * 2010-06-21 2011-12-21 日产自动车株式会社 移动距离检测装置和移动距离检测方法
WO2012096058A1 (ja) * 2011-01-11 2012-07-19 アイシン精機株式会社 画像生成装置
JP2012256159A (ja) * 2011-06-08 2012-12-27 Alpine Electronics Inc 接近物検知装置および接近物検知方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109665099A (zh) * 2017-10-13 2019-04-23 阿尔派株式会社 架线摄影系统以及架线摄影方法
CN109665099B (zh) * 2017-10-13 2024-02-23 阿尔派株式会社 无人航空器以及架线摄影方法
CN111918020A (zh) * 2019-05-07 2020-11-10 阿尔派株式会社 图像处理装置、以及图像处理方法

Also Published As

Publication number Publication date
CN104002730B (zh) 2017-08-08
JP5984714B2 (ja) 2016-09-06
JP2014164637A (ja) 2014-09-08

Similar Documents

Publication Publication Date Title
JP4763250B2 (ja) 物体検出装置
JP5421072B2 (ja) 接近物体検知システム
US20030069695A1 (en) Apparatus for monitoring area adjacent to vehicle
WO2019202628A1 (ja) 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
CN103718224A (zh) 三维物体检测装置和三维物体检测方法
JP5482672B2 (ja) 移動物体検出装置
JP2009169776A (ja) 検出装置
JP2014067198A (ja) 移動物体認識装置
US10984258B2 (en) Vehicle traveling environment detecting apparatus and vehicle traveling controlling system
JP6936098B2 (ja) 対象物推定装置
CN108475471B (zh) 车辆判定装置、车辆判定方法和计算机可读的记录介质
JP2020042775A (ja) 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体
JP2007096684A (ja) 車外環境認識装置
CN104002730A (zh) 立体物检测装置、驾驶支援装置以及立体物检测方法
JP3868915B2 (ja) 前方監視装置及びその方法
JP5261752B2 (ja) ドライブレコーダ
US20180105173A1 (en) Vehicle display device and vehicle display method for displaying images
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6390686B2 (ja) 車両制御装置
JP3226699B2 (ja) 車両用周辺監視装置
JP7323356B2 (ja) 駐車支援装置及び駐車支援方法
WO2019035177A1 (ja) 車載表示装置、画像処理装置および表示制御方法
JP2006343148A (ja) 画像センサとレーザーによる衝突回避システム
JP2021196322A (ja) 外部状況推定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant