CN102834853A - 车辆周围监测装置、车辆周围监测方法及车辆装置 - Google Patents
车辆周围监测装置、车辆周围监测方法及车辆装置 Download PDFInfo
- Publication number
- CN102834853A CN102834853A CN201180018129XA CN201180018129A CN102834853A CN 102834853 A CN102834853 A CN 102834853A CN 201180018129X A CN201180018129X A CN 201180018129XA CN 201180018129 A CN201180018129 A CN 201180018129A CN 102834853 A CN102834853 A CN 102834853A
- Authority
- CN
- China
- Prior art keywords
- barrier
- area
- vehicle
- frame image
- periphery monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种车辆周围监测装置,其包括:第一数据获得部,获得由对包括后侧的第一区域进行拍摄的第一摄像部拍摄到的第一帧图像数据;第二数据获得部,获得由对包括后侧的不同于所述第一区域的第二区域进行拍摄的第二摄像部拍摄到的第二帧图像数据;以及障碍物推断处理部,实施基于所述第一帧图像数据推断存在于所述第一区域的第一障碍物的第一障碍物推断处理、基于所述第二帧图像数据推断存在于所述第二区域的第二障碍物的第二障碍物推断处理、以及基于所述第一障碍物推断处理的结果和所述第二障碍物推断处理的结果中的至少任一个输出信号的信号输出处理,其中,基于所述第一障碍物推断处理的所述结果,变更与所述第二障碍物推断处理有关的条件。
Description
相关申请的引用
本申请基于并要求于2010年4月8日提交的日本专利申请2010-89344号的优先权权益,其全部内容结合于此作为参考。
技术领域
这里说明的实施方式涉及车辆周围监测装置、车辆周围监测方法及车辆装置。
背景技术
目前开发有如下的车辆周围监测装置:其可以根据车载摄像机(camera)获得的视频,检测接近本车辆的其他车辆,并对驾驶员给予警告。
例如,公开有如下的障碍物检测装置:其使用累积评价值的单元,并使用一台TV摄像机检测障碍物。由此,可以检测接近本车辆的其他车辆等障碍物。
对于以更短的时间检测高速接近本车辆的其他车辆等障碍物还有改良的余地。
【先行技术文献】
【专利文献】
专利文献1:日本特开2004-246436号公报
发明内容
一个实施方式提供了能在短时间内检测障碍物的车辆周围监测装置及车辆周围监测方法。
根据实施方式,提供一种被安装在车辆上检测所述车辆周围的障碍物的车辆周围监测装置。所述车辆周围监测装置包括第一数据获得部、第二数据获得部以及障碍物推断处理部。所述第一数据获得部获得由第一摄像部拍摄到的时间序列的多个第一帧图像数据,所述第一摄像部对包括所述车辆的后侧的第一区域进行拍摄。所述第二数据获得部获得由第二摄像部拍摄到的时间序列的多个第二帧图像数据,所述第二摄像部对包括所述车辆的后侧的、不同于所述第一区域的第二区域进行拍摄。所述障碍物推断处理部实施第一障碍物推断处理、第二障碍物推断处理以及信号输出处理,在所述第一障碍物推断处理中,基于由所述第一数据获得部获得的多个所述第一帧图像数据,推断存在于所述第一区域的第一障碍物,在所述第二障碍物推断处理中,基于由所述第二数据获得部获得的多个所述第二帧图像数据,推断存在于所述第二区域的第二障碍物,在所述信号输出处理中,基于所述第一障碍物推断处理的结果和所述第二障碍物推断处理的结果中的至少任一个输出信号。基于所述第一障碍物推断处理的所述结果,变更与所述第二障碍物推断处理有关的条件。
根据其他实施方式,提供一种车辆周围监测方法,其包括:获得由第一摄像部拍摄到的时间序列的多个第一帧图像数据,所述第一摄像部对包括所述车辆的后侧的第一区域进行拍摄;获得由第二摄像部拍摄到的时间序列的多个第二帧图像数据,所述第二摄像部对包括所述车辆的后侧的、不同于所述第一区域的第二区域进行拍摄;基于多个所述第一帧图像数据,推断存在于所述第一区域的第一障碍物;以及使用根据所述第一障碍物的推断变更后的条件,基于多个所述第二帧图像数据,推断存在于所述第二区域的第二障碍物。
附图说明
图1是举例示出第一实施方式涉及的车辆周围监测装置的使用状态的示意图。
图2是举例示出第一实施方式涉及的车辆周围监测装置的结构的示意图。
图3是举例示出第一实施方式涉及的车辆周围监测装置的动作的流程图。
图4是举例示出第一实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
图5是举例示出第二实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
图6是举例示出第三实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
图7是举例示出第四实施方式涉及的车辆监视装置的使用状态的示意图。
图8是举例示出第五实施方式涉及的车辆周围监测方法的流程图。
具体实施方式
以下,参考附图说明本发明的各实施方式。
并且,在本申请说明书和各附图中,对与前述附图的上述要素相同的要素赋予相同的符号,且适当省略详细说明。
(第一实施方式)
图1是举例示出第一实施方式涉及的车辆周围监测装置的使用状态的示意图。
图2是举例示出第一实施方式涉及的车辆周围监测装置的结构的示意图。
图3是举例示出第一实施方式涉及的车辆周围监测装置的动作的流程图。
如图1所示,本实施方式涉及的车辆周围监测装置101被安装在车辆(本车辆250)上,车辆周围监测装置101用于检测车辆(本车辆250)周围的障碍物。
如图2所示,车辆周围监测装置101包括第一数据获得部110、第二数据获得部120以及障碍物推断处理部130。
如图1及图2所示,第一数据获得部110获得由第一摄像部210拍摄到的时间序列的多个第一帧图像数据,其中,该第一摄像部210对包括车辆(本车辆250)后侧的第一区域211进行拍摄。
第二数据获得部120获得由第二摄像部220拍摄到的时间序列的多个第二帧图像数据,其中,该第二摄像部220对包括车辆(本车辆250)后侧的、不同于第一区域211的第二区域221进行拍摄。
而且,第一区域211的一部分和第二区域221的一部分也可以是相同的区域。即,第一区域211和第二区域221可以相互包括相同部分。只要整个第一区域211和整个第二区域221不一致即可,即使在第一区域211的一部分和第二区域221的一部分是相同的区域的情况下,第一区域211和第二区域221也可以是相互不同的区域。
如图1所示,第一区域211例如包括安装有车辆周围监测装置101的本车辆250的后方的至少一部分。即,例如,第一区域211可以包括本车辆250行驶中的行驶车道301(本车道)的至少一部分。
第二区域221例如包括本车辆250的侧后方的至少一部分。即,例如,第二区域221可以包括与本车辆250行驶中的行驶车道301相邻的相邻车道302的至少一部分。
但是,本发明的实施方式并不仅限于此,只要第一区域211和第二区域221包括本车辆250的后侧的区域则其可以是任意的。下面,以下面的情况为例进行说明:第一区域211包括本车辆250的后方(例如行驶车道301),第二区域221包括本车辆250的侧后方(例如相邻车道302)。
也就是说,第一摄像部210拍摄行驶车道301的从本车辆250观察时的后方,第二摄像部220拍摄相邻车道302的从本车辆250观察时的侧后方。第一摄像部210的摄像范围包括本车辆250的行驶车道301。第二摄像部220的摄像范围包括本车辆250的相邻车道302。
这时,如图1所示,将第一摄像部210设置在本车辆250的后方对车辆后方进行拍摄,将第二摄像部220设置在本车辆250的侧方(侧面)对车辆侧后方进行拍摄。
如图3所示,障碍物推断处理部130实施第一障碍物推断处理(步骤S110)、第二障碍物推断处理(步骤S120)以及信号输出处理(步骤S130)。
第一障碍物推断处理包括以下处理:基于由第一数据获得部110获得的多个第一帧图像数据,推断存在于第一领域211的第一障碍物。
例如,第一障碍物推断处理包括以下处理:基于将第一累积值和第一基准值比较而得的结果,推断存在于第一区域211的第一障碍物,其中,第一累积值是使用第一累积条件,针对多个第一帧图像数据中的每个第一帧图像数据,将由第一数据获得部110获得的多个第一帧图像数据各自的与障碍物有关的评价值(第一评价值)累积而得到的值。
第二障碍物推断处理包括以下处理:基于由第二数据获得部120获得的多个第二帧图像数据,推断存在于第二领域221的第二障碍物。
例如,第二障碍物推断处理包括以下处理:基于将第二累积值和第二基准值比较而得的结果,推断存在于第二区域221的第二障碍物,其中,第二累积值是使用第二累积条件,针对多个第二帧图像数据中的每个第二帧图像数据,将由第二数据获得部120获得的多个第二帧图像数据各自的与障碍物有关的评价值(第二评价值)累积而得到的值。
信号输出处理包括以下处理:基于第一障碍物推断处理的结果和第二障碍物推断处理的结果中的至少任一个结果而输出信号sg1。
信号sg1是例如用于将由车辆周围监测装置101检测出(推断出)的、存在于本车辆250的周围的障碍物告知本车辆250的驾驶员的信号。由此,本车辆250的驾驶员可以知道作为存在于本车辆250周围(例如,本车辆250的后方或侧后方)的障碍物的其他车辆260。即,信号sg1可以作为告知障碍物正在接近的警报。
该警报例如可以包括声音信号及光信号中的任一个。而且,这些警报例如可以基于信号sg1生成,且信号sg1也可以就是警报本身。在基于信号sg1生成这些警报的情况下,可以设置基于信号sg1生成警报的警报生成部,警报生成部可以包括在车辆周围监测装置101中,并且,警报生成部也可以独立于车辆周围监测装置101设置。
警报中的声音信号可以包括例如从安装于本车辆250的扬声器、钟(chime)、警报器(buzzer)等声音生成装置生成的声音。并且,警报中的光信号可以包括灯的点亮、由显示器等显示装置的光的变化等。并且,在警报可以使用将声音信号和光信号进行组合的形式。而且,警报(例如声音、光)的程度可以设定为随着时间的经过而增大。由此,可以使驾驶员有效地知晓障碍物的存在以及接近的程度。
在本实施方式涉及的车辆周围监测装置101中,可以基于第一障碍物推断处理的结果,变更与第二障碍物推断处理有关的条件。
例如,可以基于第一障碍物推断处理的结果变更上述第二累积条件以及上述第二基准值中的至少任一个。也就是说,可以基于将第二累积值和第二基准值比较而得的结果,实施第二障碍物推断处理中的存在于第二区域221的第二障碍物的推断,其中,第二累积值是使用第二累积条件,针对上述多个第二帧图像数据中的每个第二帧图像数据,将多个第二帧图像数据各自中的关于障碍物的评价值累积而得到的值,且基于第一障碍物推断处理的结果变更的关于第二障碍物推断处理的上述条件可以包括第二累积条件和第二基准值中的至少任一个。
由此,可以在短时间内检测出障碍物。
而且,如上所述,第一区域211和第二区域221可以互换。并且,第一摄像部210和第二摄像部220也可以互换。
并且,第一数据获得部110和第二数据获得部120可以互换。
而且,如图2所示,在本具体例中,障碍物推断处理部130具有处理部140以及信号产生部150。处理部140实施上述第一障碍物推断处理和上述第二障碍物推断处理。信号产生部150实施上述信号输出处理。也就是说,信号产生部150基于第一障碍物推断处理结果以及第二障碍物推断处理结果中的至少任一个输出信号sg1。
图4是举例示出第一实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
如图4所示,在车辆周围监测装置101中,首先,获取由第一摄像部210拍摄到的时间序列的多个第一帧图像数据(步骤S101)。由第一数据获得部110实施第一帧图像数据的获得。多个第一帧图像数据是包括第一区域211的时间序列的图像。
而且,例如,设定下述的第一累积条件(步骤S111)。
而且,使用在步骤S111中设定的第一累积条件,针对多个第一帧图像数据中的每个第一帧图像数据,将由第一数据获得部110获得的多个第一帧图像数据各自中的关于障碍物的评价值(第一评价值)进行累积,导出第一累积值(步骤S112)。
上述评价值是表示像障碍物的值。例如,在多个第一帧图像数据中的每个第一帧图像数据中,设定多个障碍物候补区域,在帧间检测其运动轨迹,并对应每个运动轨迹计算评价值。由此,可以判断其障碍物候补区域是属于道路面还是属于障碍物等立体物。
也就是说,例如,可以使用根据在多个第一帧图像数据各自中检测出的特征量的动作信息来计算表示障碍物的评价值的方法。首先,对时间序列图像中设定的多个障碍物候补区域的运动轨迹进行检测,计算选择的两个障碍物候补区域是属于道路面等水平面、还是属于障碍物等立体物的评价值,并通过将其评价值在邻近的障碍物候补区域以及帧间进行累积来计算累积值(第一累积值)。
这时,作为累积的条件,可以使用例如以下(1)式。
S1(fa)=S1(fa-1)+(s1(fa)+α1)…(1)
在这里,S1(fa)表示用当前帧fa更新的第一累积值,S1(fa-1)表示前一个帧(fa-1)中的第一累积值,s(fa)表示用当前帧fa计算出的第一评价值。而且,α1是规定的值,其是任意的数。值α1是可变的数。
在上述(1)式中,例如,如果将α1设定为0,则第一累积值S1成为将各帧中的第一评价值s1直接累积而得的累积值。并且,例如,如果将α1设定为规定的正值,则第一累积值S1变为比将各帧中的第一评价值s1单纯地进行累计的而得的值更大的值。
在步骤S111中,例如设定(1)式中的规定的值α1。
通过将值α1设定为所希望的值,从而可以调整通过累积第一评价值s1而得的第一累积值S1相对于帧数的上升速度。
而且,在上述第一累积条件的设定中,可以每次都设定第一累积条件,并且,也可以采用在变更第一累积条件时实施变更第一累积条件的处理、不变更第一累积条件时不实施关于第一累积条件的处理的方法。这样,可以根据需要实施步骤S111,也可以根据情况进行省略。
并且,在第一累积条件的设定(第一累积条件的变更)中,可以使用每次都计算关于第一累积条件的各种值的方法,并且,也可以使用预先存储关于第一累积条件的各种值,并根据存储的值中进行选择的方法。这样,第一累积条件的设定(第一累积条件的变更)方法是任意的。
而且,例如,设定第一基准值(步骤S113)。
而且,比较在步骤S112中导出的第一累积值S1和在步骤S113中设定的第一基准值(步骤S114)。并且,在第一累积值S1小于第一基准值的情况下,例如,返回步骤S101。并且,在第一累积值S1大于等于第一基准值的情况下,推断在第一区域211存在障碍物,并生成信号(步骤S130)。并且,例如,返回步骤S101。
而且,在上述第一基准值的设定中,可以每次都设定第一基准值,并且,也可以采用在变更第一基准值时实施变更第一基准值的处理、不变更第一基准值时不实施关于第一基准值的处理的方法。这样,步骤S113可以根据需要实施,也可以根据情况进行省略。
并且,在第一基准值的设定(第一基准值的变更)中,可以使用每次都计算关于第一基准值的各种值的方法,并且,也可以使用预先存储关于第一基准值的各种值,并根据存储的值进行选择的方法。这样,第一基准值的设定(第一基准值的变更)方法是任意的。
另一方面,对用第二摄像部220拍摄到的图像也进行与用第一摄像部210拍摄到的图像相同的处理。
也就是说,获得由第二摄像部220拍摄到的时间序列的多个第二帧图像数据(步骤S102)。由第二数据获得部120实施第二帧图像数据的获得。多个第二帧图像数据是包括第二区域的时间序列的图像。
而且,例如,设定下述第二累积条件(步骤S121)。
而且,使用在步骤S121中设定的第二累积条件,针对多个第二帧图像数据中的每个第二帧图像数据,对由第二数据获得部120获得的多个第二帧图像数据各自中的关于障碍物的评价值(第二评价值)进行累积,导出第二累积值(步骤S122)。
这时,作为累积的条件,可以使用例如下面的(2)式。
S2(fb)=S2(fb-1)+(s2(fb)+β1)…(2)
在这里,S2(fb)表示用当前帧fb更新的第二累积值,S2(fb-1)表示前一个帧(fb-1)中的第二累积值,s(fb)表示用当前帧fb计算的第二评价值。而且,β1是规定的值,其实任意的数。值β1是可变的数。
在步骤S121中,例如设定(2)式中的规定的值β1。由此,可以调整通过累积第二评价值s2而得的第二累积值S2相对于帧数的上升速度。
这时,在上述第二累积条件的设定中,可以每次都设定第二累积条件,并且,也可以采用在变更第二累积条件时实施变更第二累积条件的处理、不变更第二累积条件时不实施关于第二累积条件的处理的方法。这样,可以根据需要实施步骤S121,也可以根据情况进行省略。
并且,在第二累积条件的设定(第二累积条件的变更)中,可以使用每次都计算关于第二累积条件的各种值的方法,且也可以使用预先存储关于第二累积条件的各种值,并根据存储的值进行选择的方法。这样,第二累积条件的设定(第二累积条件的变更)方法是任意的。
而且,例如,设定第二基准值(步骤S123)。
而且,比较在步骤S122中导出的第二累积值S2和在步骤S123中设定的第二基准值(步骤S124)。并且,在第二累积值S2小于第二基准值的情况下,例如,返回步骤S102。并且,在第二累积值S2大于等于第二基准值的情况下,推断在第二区域221存在障碍物,并生成信号(步骤S130)。并且,例如,返回步骤S102。
而且,此时,在上述第二基准值的设定中,可以每次都设定第二基准值,且也可以采用在变更第二基准值时实施变更第二基准值的处理、不变更第二基准值时不实施关于第二基准值的处理的方法。这样,可以根据需要实施步骤S123,也可以根据情况进行省略。
并且,在第二基准值的设定(第二基准值的变更)中,可以使用每次都计算关于第二基准值的各种值的方法,且也可以使用预先存储关于第二基准值的各种值,并根据存储的值进行选择的方法。这样,第二基准值的设定(第二基准值的变更)方法是任意的。
如上所述,车辆周围监测装置101检测例如接近本车辆250的后方的第一区域211以及侧后方的第二区域221的其他车辆260,并生成用于告知本车辆250的驾驶员的警报的信号sg1。
此外,在本实施方式涉及的车辆周围监测装置101中,在步骤S114中,在第一累积值S1大于等于第一基准值时,可以判断推断为存在于第一区域211的障碍物(第一障碍物)的移动方向是否是从第一领域211向第二区域221的方向(步骤S115)。
也就是说,例如如图1所示,推断存在于第一区域211的障碍物(作为第一障碍物的其他车辆260)的移动方向260a,并对推断出的移动方向260a是否是从第一区域211向第二区域221的方向进行推断。
而且,如图4所示,在推断为存在于第一区域211的障碍物(第一障碍物)的推断出的移动方向是从第一区域211向第二区域221的方向的情况下,变更关于第二障碍物推断处理的条件。例如,变更第二累积条件。
也就是说,在步骤S114中推断为在第一区域211中存在第一障碍物,进一步在步骤S115中推断为存在于第一区域211的第一障碍物的移动方向是从第一区域211向第二区域221的方向的情况下,变更步骤S121中的第二累积条件。
也就是说,例如可以变更上述(2)式中的值β1。例如,在车辆周围监测装置101中的动作的初期,值β1被设定为0,在步骤115中,第一区域211中的第一障碍物的移动方向是从第一区域211向第二区域221的方向的情况下,值β1被设定为正值。这样,通过累积第二评价值s2而得的第二累积值S2相对于帧数的上升速度与初期状态相比得到提高。
也就是说,当累积第二评价值s2导出第二累积值S2时,例如,如图1中所例示,存在于本车辆250的背后的行驶车道301上的其他车辆260有时会突然向侧后方的相邻车道302变更车道、并进行急速超车的动作。从本车辆250的背后向右方向进行急速超车动作的其他车辆260首先会被对行驶车道301(第一区域211)进行拍摄的第一摄像部210拍摄到向本车辆250的接近动作。如果其他车辆260变更车道,则其他车辆260向第一摄像部210的摄像区域(第一区域211)的外侧移动。而且,其他车辆260会被对相邻车道302(第二区域221)进行拍摄的第二摄像部220拍摄到。此外,例如,其他车辆260会超过本车辆250,且其他车辆260会进一步向第一区域211以及第二区域221双方的外侧移动,向第一摄像部210以及第二摄像部220的摄像区域的外侧移动。
这时,在相邻车道302的第二区域221,正在拍摄其他车辆260的帧的数量少。因此,到存在于相邻车道302的其他车辆260相关的第二累积值S2变得大于第二基准值为止,需要较长的时间。
这时,希望在更短的时间内检测出如上述的突然出现在相邻车道302的其他车辆260。在本实施方式涉及的车辆周围监测装置101中,会在第二区域221的障碍物的检测条件中反映第一区域211中的障碍物的检测结果。
也就是说,用多个摄像机监视不同的车道,在各自的车道内计算障碍物评价累积值(第一累积值S1以及第二累积值S2),并基于这些障碍物评价累积值检测障碍物。而且,例如,在行驶车道301检测出的障碍物(其他车辆260)向相邻车道302变更车道时,可以通过变更在相邻车道302中使用的评价值的累积条件来及早检测出相邻车道302中的障碍物(其他车辆260)。从行驶车道301突然出现在相邻车道302的其他车辆260是进行急速超车动作的危险车辆,并可以及早检测出危险车辆。由此,可以实现更加安全的驾驶。
这样,在本实施方式涉及的车辆周围监测装置101中,第一障碍物推断处理可以包括第一障碍物的移动方向的推断。而且,第一障碍物的移动方向包括从第一区域211向第二区域221的方向时,实施第二累积条件的变更。
由此,可以在短时间内检测出从第一区域211向第二区域221突然移动的障碍物(其他车辆260)。
此外,如图4中所例示,在本实施方式涉及的车辆周围监测装置101中,在步骤S124中,在第二累积值大于等于第二基准值时,可以判断推断为存在于第二区域221的障碍物(第二障碍物)的移动方向是否是从第二区域221向第一区域211的方向(步骤S125)。
也就是说,例如,推断存在于第二区域221的障碍物(作为第二障碍物的其他车辆260)的移动方向,并对推断出的移动方向是否是从第二区域221向第一区域211的方向进行推断。
而且,如图4中所例示,在推断为存在于第二区域221的障碍物(第二障碍物)的推断出的移动方向是从第二区域221向第一区域211的方向的情况下,变更关于第一障碍物推断处理的条件。例如,可以变更第一累计条件。
也就是说,例如变更上述(1)式中的值α1。例如,在车辆周围监测装置101的动作的初期,值α1被设定为0,在步骤125中第二区域221中的第二障碍物的移动方向是从第二区域221向第一区域211的方向时,值α1被设定为正值。由此,通过累积第一评价值s1而得的第一累积值S1相对于帧数的上升速度与初期状态相比得到提高。
也就是说,累积第一评价值s1而导出第一累积值S1时,例如,存在于本车辆250的侧后方的相邻车道302上的其他车辆260有时会突然向背后后方的行驶车道301变更车道。这时,在行驶车道301的第一区域211,正在拍摄其他车辆260的帧的数量少。因此,直至与存在于行驶车道301的其他车辆260相关的第一累积值S1变得大于第一基准值为止,需要较长的时间。
这时,希望在更短的时间内检测出如上述的突然出现在行驶车道301的其他车辆260。在本实施方式涉及的车辆周围监测装置101中,会在第一区域211的障碍物的检测条件中反映第二区域221中的障碍物的检测结果。
由此,可以在短时间内检测出从第二区域221向第一区域211突然移动的障碍物(其他车辆260)。
这样,根据本实施方式涉及的车辆周围监测装置101,可以在短时间内检测出障碍物。
这样,在本实施方式涉及的车辆周围监测装置101中,可以基于第一障碍物推断处理的结果变更关于第二障碍物推断处理的条件,除此之外,也可以基于第二障碍物推断处理的结果变更关于第一障碍物推断处理的条件。
例如,可以基于将第一累积值和第一基准值比较的结果,实施第一障碍物推断处理中的存在于第一区域211的第一障碍物的推断,其中,第一累积值是使用第一累积条件,针对多个第一帧图像数据中的每个第一帧图像数据,对多个第一帧图像数据各自中的关于障碍物的评价值进行累积而得的值。这时,基于第二障碍物推断处理的结果变更的关于第一障碍物推断处理的条件可以包括第一累积条件和第一基准值中的至少任一个。
这样,本实施方式涉及的车辆周围监测装置101用例如监测多个车道的多个摄像机(例如第一摄像部210以及第二摄像部220)获得时间序列图像,并根据各自的时间序列图像计算表示像障碍物的障碍物评价值(例如第一评价值s1以及第二评价值s2),并将这些评价值在帧间进行累积以导出障碍物评价累积值(例如第一累积值S1以及第二累积值S2)。而且,基于这些障碍物评价累积值检测障碍物。
这时,将基于由一个摄像机拍摄到的图像的障碍物的检测结果用于基于由另一个摄像机拍摄到的图像的障碍物的检测处理中。并且,将基于由另一个摄像机拍摄到的图像的障碍物的检测结果用于基于由一个摄像机拍摄到的图像的障碍物的检测处理中。由此,至少基于由一个摄像机拍摄到的图像的障碍物的检测结果可以用到基于由另一个摄像机拍摄到的图像的障碍物的检测处理中。并且,相互的检测结果可以用于相互的检测方法的变更。
这时,车辆周围监测装置101可以具有在检测出的障碍物进行了车道变更时检测出变更前的车道和变更后的车道的功能。而且,对检测变更后的车道中的障碍物时的累积条件(例如第一累积条件以及第二累积条件)进行变更。具体地,例如变更值α1以及值β1。由此,可以及早检测出变更后的车道中的障碍物。
但是,本发明的实施方式并不仅限于此。
例如,可以不管车道变更的方向而对检测障碍物时的累积条件(例如第一累积条件以及第二累积条件)进行变更。
也就是说,例如,在图4中说明的步骤S114中,在第一累积值S1大于等于第一基准值且在第一区域211(例如本车辆250的行驶车道301)中检测出障碍物(其他车辆260)时,可以实施第二累积条件的设定(步骤S121),变更第二累积条件。
也就是说,其他车辆260接近本车辆250的背后时,其他车辆260可能从本车辆250的行驶车道301向相邻车道302突然进行车道变更。这时,在本车辆250的行驶车道301检测到的障碍物(其他车辆260)时,可以通过变更相邻车道302中的第二累积条件来及早检测出相邻车道302中的障碍物。
同样,例如,在图4中说明的步骤S124中,在第二累积值S2大于等于第二基准值且在第二区域221(例如本车辆250的相邻车道302)中检测出障碍物(其他车辆260)时,可以实施第一累积条件的设定(步骤S111),变更第一累积条件。
也就是说,其他车辆260接近本车辆250的侧后方时,其他车辆260可能从相邻车道302向本车辆250的行驶车道301突然变更车道。例如,在相邻车道302中检测出的其他车辆260的后面接近速度更高的其他的车辆的情况等下,检测出的其他车辆260为了让其速度更快的其他的车辆先走可能有时出现向行驶车道301突然变更车道。这时,在相邻车道302中检测出障碍物(其他车辆260)时,可以通过变更行驶车道301中的第一累积条件来及早检测出行驶车道301中的障碍物。
由此,可以基于第一障碍物推断处理(为步骤S110,具体为例如步骤S114)的结果变更第二累积条件。
同样,可以基于第二障碍物推断处理(为步骤S120,具体为例如步骤S124)的结果变更第二累积条件。
而且,在图3中例示的步骤S110中包括步骤S111、S112、S113以及S114。并且,步骤S110还可以包括步骤S115。在图3中例示的步骤S120中包括步骤S121、S122、S123以及S124。并且,步骤S120还可以包括步骤S125。
上述步骤S110和S120只要技术上可行就可以同时进行。并且,步骤S110中包括的多个处理、以及步骤S120中包括的多个处理各自顺序也只要技术上可行就可以互换,且也可以同时实施。并且,步骤S110和S120可以多次实施,且步骤S110中包括的多个处理、以及步骤S120中包括的多个处理各自的实施次数也只要技术上可行就可以为任意。
并且,在图4中例示的步骤S101、S111、S112、S113、S114以及S115中的至少任一个和步骤S102、S121、S122、S123、S124以及S125中的至少任一个只要技术上可行就也可以同时进行,并且这些的顺序只要技术上可行就可以互换。
例如,上述步骤S101、S111、S112、S113、S114以及S115、和步骤S102、S121、S122、S123、S124以及S125可以用一个处理装置(运算装置)实施,且也可以用不同的处理装置实施。用不同的处理装置实施时,可以在相同的时间并列实施,且也可以在不同的时间另行实施。
例如,在图4中例示的步骤S101和步骤S102可以同时并列实施。
并且,例如可以使用初期的值α1实施步骤S111、S112、S113以及S114后,用步骤S114的结果实施步骤S121,然后实施步骤S122、S123以及S124,用步骤S124的结果实施步骤S111。
并且,例如可以将步骤S114的结果存储到规定的存储部中,并在需要的任意时刻使用存储在存储部中的步骤S114的结果实施步骤S121。并且,例如可以将步骤S124的结果存储到规定的存储部中,并在需要的任意时刻使用存储在存储部中的步骤S124的结果实施步骤S111。
并且,例如可以将步骤S115的结果存储到规定的存储部中,在需要的任意时刻使用存储在存储部中的步骤S115的结果实施步骤S121。并且,例如可以将步骤S125的结果存储到规定的存储部中,在需要的任意时刻使用存储在存储部中的步骤S125的结果实施步骤S111。
也就是说,将第一区域211中的障碍物检测处理(例如,包括步骤S114,也可以包括步骤S115)的结果反映在步骤S121的方法、以及将第二区域221中的障碍物检测处理(例如包括步骤S124,也可以包括步骤S125)的结果反映在步骤S111的方法:例如准备在不同监测区域(例如第一区域211以及第二区域221)的处理之间可以相互参照的通用的标志(flag),通过基于障碍物的检测结果覆盖其标志,从而可以在设定累积条件的处理(例如步骤S111以及步骤S121)中参照其标志。也就是说,可以相互通知对方障碍物的检测。
因此,车辆周围监测装置101的处理可以进行各种变形。
而且,本具体例中,作为第一累积值S1以及第二累积值S2使用了根据帧间的动作信息计算表示像障碍物的评价值(例如,第一评价值s1以及第二评价值s2),并对其进行累积的方法,但是本发明的实施方式并不仅限于此。例如,可以将想要检测的车辆的例如形状图案事先进行保存,并基于保存的形状图案,根据图像数据计算用于推断障碍物的评价值。而且,可以在该形状图案中适用学习效果,并使用通过学习更新的字典,根据图像数据计算用于推断障碍物的特征值。因此,在本发明的实施方式中,表示像障碍物(靠近的其他车辆260)的评价值的计算方法是任意的。
并且,在上述说明中,虽然通过例如步骤S114和步骤S115中的至少任一个的结果变更步骤S121中的值β1,且通过例如步骤S124和步骤S125中的至少任一个的结果变更步骤S111中的值α1,但是本发明的实施方式并不仅限于此。
也就是说,例如作为导出第一累积值S1的第一累积条件可以使用下面的(3)式。
S1(fa)=α2{S1(fa-1)+s1(fa)}…(3)
在这里,α2是规定的值,其是可变的数。如(3)式所示,在该方法中,将前一个帧(fa-1)的第一累积值S1(fa-1)和用当前帧fa计算出的特征值s1(fa)的合计值放大α2倍,从而得到当前帧fa的第一累积值S1(fa)。可以根据例如步骤S124的结果变更这时的值α2。
同样,例如作为导出第二累积值S2的第二累积条件可以使用下面的(4)式。
S2(fb)=β2{S2(fb-1)+s2(fb)}…(4)
在这里,β2是规定的值,其是可变的数。如(4)式所示,在该方法中,将前一个帧(fb-1)的第二累积值S2(fb-1)和用当前帧fb计算出的特征值s2(fb)的合计值放大β2倍,从而得到当前帧fb的第二累积值S2(fb)。可以根据例如步骤S114的结果变更这时的值β2。
此外,例如作为导出第一累积值S1的第一累积条件可以使用下面的(5)式。
S1(fa)=S1(fa-1)+α3·s1(fa)…(5)
在这里,α3是规定的值,其是可变的数。如(5)式所示,在该方法中,在前一个帧(fa-1)的第一累积值S1(fa-1)上加上用当前帧fa计算出的特征值s1(fa)的α3倍,从而得到当前帧fa的第一累积值S1(fa)。可以根据例如步骤S124的结果变更这时的值α3。
同样,例如作为导出第二累积值S2的第二累积条件可以使用下面的(6)式。
S2(fb)=S2(fb-1)+β3·s2(fb)…(6)
在这里,β3是规定的值,其是可变的数。如(6)式所示,在该方法中,在前一个帧(fb-1)的第二累积值S2(fb-1)上加上用当前帧fb计算出的特征值s2(fb)的β3倍,从而得到当前帧fb的第二累积值S2(fb)。可以根据例如步骤S114的结果变更这时的值β3。
此外,作为第一累积条件可以使用下面的(7)式。
S1(fa)=α2{S1(fa-1)+α3·s1(fa)+α1}…(7)
并且,作为第二累积条件可以使用下面的(8)式。
S2(fb)=β2{S2(fb-1)+β3·s2(fb)+β1}…(8)
而且,可以根据例如步骤S124的结果变更值α1、值α2以及值α3中的至少任一个。并且,可以根据例如步骤S114的结果变更值β1、值β2以及值β3中的至少任一个。
而且,由于可以根据第一区域211中的障碍物的检测结果(步骤S114)变更用于检测存在于第二区域221的障碍物的第二累积值S2的第二累积条件,因此在例如障碍物(其他车辆260)从第一区域211向第二区域221变更车道的情况等下,可以缩短第二累积值S2变为大于等于第二基准值的时间。
并且,由于可以根据第二区域221中的障碍物的检测结果(步骤S124)变更用于检测存在于第一区域211的障碍物的第一累积值S1的第一累积条件,因此在例如障碍物(其他车辆260)从第二区域221向第一区域211变更车道的情况等下,可以缩短第一累积值S1变为大于等于第一基准值的时间。
这时,如上所述,通过在推断存在于第一区域211的障碍物(第一障碍物)的推断出的移动方向为从第一区域211向第二区域221的方向的情况下变更第二累积条件,从而可以有效地在短时间内检测出本来存在于本车辆250的背后的行驶车道301上的其他车辆260突然向侧后方的相邻车道302进行车道变更并进行急速超车的动作。
并且,如上所述,通过在推断存在于第二区域221的障碍物(第二障碍物)的推断出的移动方向为从第二区域221向第一区域211的方向的情况下变更第一累积条件,从而可以有效地在短时间内检测出本来存在于本车辆250的侧后方的相邻车道302上的其他车辆260突然向本车辆250的背后的行驶车道301进行了车道变更。
而且,在推断障碍物的移动方向时可以使用例如以下方法。即,例如对推断为存在的障碍物(其他车辆260)使用模板匹配(template matching)等方法,在帧间进行追踪处理,以算出图像内的其移动矢量。而且,移动矢量的水平分量(例如,在本车辆250的当前位置中,相对于行驶车道301的延伸方向垂直的方向的分量)的变化大于例如预先设定的值时,推断其他车辆260进行车道变更。而且,推断其他车辆260的移动方向是从行驶车道301(第一区域211)向相邻车道302(第二区域221)的方向、还是从相邻车道302(第二区域221)向行驶车道301(第一区域211)的方向。这样,可以根据其他车辆260的移动矢量的方向推断其他处理260的车道变更的方向。
由此,在步骤S115中推断其他车辆260的车道变更的方向,并基于其结果变更例如第二累积条件(步骤S121)。并且,在步骤S125中推断其他车辆260的车道变更的方向,并基于其结果变更例如第一累积条件(步骤S111)。
(第二实施方式)
图5是举例示出第二实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
本实施方式涉及的车辆周围监测装置102的结构可以设定与车辆周围监测装置101相同,因此省略说明。在车辆周围监测装置102中实施与车辆周围监测装置101不同的动作。
也就是说,如图5所示,在车辆周围监测装置102中,在步骤S 114中,第一累积值S1大于等于第一基准值、推断在第一区域211中存在第一障碍物,在步骤S115中第一障碍物的移动方向是从第一区域211向第二区域221的方向的情况下,变更第二基准值(步骤S123)。也就是说,包括在与第二障碍物推断处理有关的条件中的第二基准值被变更。
并且,在车辆周围监测装置102中,在步骤S124中,第二累积值S2大于等于第二基准值、推断在第二区域221中存在第二障碍物,在步骤S125中第二障碍物的移动方向是从第二区域221向第一区域211的方向的情况下,变更第一基准值(步骤S113)。也就是说,包括在与第一障碍物推断处理有关的条件中的第一基准值被变更。
例如,在步骤S113中作为第一基准值可以使用以下的(9)式。
T1(fa)=Td1-Tn1…(9)
在这里,T1(fa)是当前帧fa中的基准值(第一基准值)。Td1是规定的数,例如是第一基准值T1的初期值。Tn1是可变的数。例如,值Tn1在初期时被设定为0,例如,在推断第二区域221中存在第二障碍物,第二障碍物的移动方向是从第二区域221向第一区域211的方向的情况下,值Tn1变更为正数。
这样,推断第二区域221中存在第二障碍物,第二障碍物的移动方向是从第二区域221向第一区域211的方向的情况下,第一基准值T1减少。
由此,即使在由于快速的车道变更、例如第一累积值S1小的情况下,也可以通过变更第一基准值T1来适当设定第一基准值T1,从而可以及早检测出障碍物。
并且,例如在步骤S123中作为第二基准值可以使用以下的(10)式。
T2(fb)=Td2-Tn2…(10)
在这里,T2(fb)是当前帧fb中的基准值(第二基准值)。Td2是规定的数,例如是第二基准值T2的初期值。Tn2是可变的数。例如,值Tn2在初期时被设定为0,例如,在推断第一区域211中存在第一障碍物时,值Tn2被变更为正数。
这样,推断第一区域211中存在第一障碍物,第一障碍物的移动方向是从第一区域211向第二区域221的方向的情况下,第二基准值T2减少。
由此,即使在由于快速超车等快速的车道变更、例如第二累积值S2小的情况下,也可以通过变更第二基准值T2来适当设定第二基准值T2,从而可以及早检测出障碍物。
而且,在上述中,虽然在推断第二区域221中存在第二障碍物,第二障碍物的移动方向是从第二区域221向第一区域211的方向时(即,基于步骤S125的结果),变更了值Tn1,但是如上所述,也可以在推断为第二区域221中存在第二障碍物时,变更值Tn1。也就是说,可以基于步骤S124的结果变更第一基准值T1。
同样,也可以在推断第一区域211中存在第一障碍物时,变更Tn2。也就是说,也可以基于步骤S114的结果变更第二基准值T2。
并且,例如在步骤S113中作为第一基准值可以使用以下的(11)式。
T1(fa)=Td1-Tn1(fa)…(11)
即,当前帧fa中的第一基准值T1(fa)可以用值Tn1(fa)进行变化,其中,值Tn1(fa)可以对应帧的数量进行变化。
并且,例如在步骤S123中作为第二基准值可以使用以下的(12)式。
T2(fb)=Td2-Tn2(fb)…(12)
也就是说,当前帧fb中的第二基准值T2(fb)可以用值Tn2(fb)变化,其中,值Tn2(fb)可以对应帧的数量进行变化。
如上所述,可以基于障碍物的检测结果,动态地变更第一基准值T1和第二基准值T2中的至少任一个。也就是说,例如可以根据用其他车辆260的车道变更的检测结果保持的移动矢量的绝对值,动态地变更基准值的变动幅度(值Tn1(fa)和值Tn2(fb)中的至少任一个)。
(第三实施方式)
图6是举例示出第三实施方式涉及的车辆周围监测装置的动作的具体例的流程图。
本实施方式涉及的车辆周围监测装置103的结构可以与车辆周围监测装置101相同,因此省略说明。在车辆周围监测装置103中实施与车辆周围监测装置101不同的动作。
即,如图6所示,在车辆周围监测装置103中,在步骤S114中,第一累积值S1大于等于第一基准值T1、推断在第一区域211中存在第一障碍物,步骤S115中第一障碍物的移动方向是从第一区域211向第二区域221的方向时,实施第二累积条件的变更(步骤S121)以及第二基准值T2的变更(步骤S123)。
这时,如上所述,可以在步骤S114中第一累积值S1大于等于第一基准值T1、推断在第一区域211中存在第一障碍物时,实施第二累积条件的变更(步骤S121)以及第二基准值T2的变更(步骤S123)。
这样,在本实施方式中,可以基于第一障碍物推断处理(步骤S110)的结果,变更第二累积条件(例如值β1、值β2以及值β3中的至少任一个)以及第二基准值T2(例如值Tn2以及值Tn2(fb))中的至少任一个。
同样,如图6所示,在步骤S124中第二累积值S2大于等于第二基准值T2、推断第二区域221中存在第二障碍物,步骤S125中第二障碍物的移动方向是从第二区域221向第一区域211的方向时,进行第一累积条件的变更(步骤S111)以及第一基准值T1的变更(步骤S113)。
这时,如上所述,可以在步骤S124中第二累积值S2大于等于第二基准值T2、推断在第二区域221中存在第二障碍物时,进行第一累积条件的变更(步骤S111)以及第一基准值T1的变更(步骤S113)。
这样,在本实施方式中,可以基于第二障碍物推断处理(步骤S120)的结果,变更第一累积条件(例如值α1、值α2以及值α3中的至少任一个)以及第一基准值T1(例如值Tn1以及值Tn1(fa))中的至少任一个。
(第四实施方式)
图7是举例示出第四实施方式涉及的车辆监视装置的使用状态的示意图。
本实施方式涉及的车辆周围监测装置104的结构可以与车辆周围监测装置101相同,因此省略说明。在车辆周围监测装置104中适用与车辆周围监测装置101不同的使用状态。
即,在本实施方式涉及的车辆周围监测装置104中,第一摄像部210对本车辆250行驶的行驶车道301的左侧的左相邻车道303L进行拍摄,第二摄像部220对行驶车道301的右侧的右相邻车道303R进行拍摄。
即,第一区域221可以包括本车辆250后方的至少一部分、即左相邻车道303L的至少一部分。而且,第二区域221可以包括本车辆250后方的至少一部分、即右相邻车道303R的至少一部分。
在车辆周围监测装置104中,也可以实施图3~图6中说明的处理。
例如,第一累积值S1大于等于第一基准值T1,推断第一区域211(在该例中为左相邻车道303L)中存在第一障碍物,第一障碍物的移动方向是从第一区域211向第二区域221(右相邻车道303R)的方向时,实施关于第二障碍物推断处理的条件的变更。例如,实施第二累积条件的变更以及第二基准值T2的变更。由此,例如在其他车辆260从左相邻车道303L向行驶车道301进行车道变更时或其他车辆260从左相邻车道303L向右相邻车道303R进行车道变更时,可以在短时间内检测出右相邻车道303R中的障碍物(其他车辆260)。
并且,在第一累积值S1大于等于第一基准值T1,推断第一区域211(在该例中为左相邻车道303L)中存在第一障碍物时,实施第二累积条件的变更以及第二基准值T2的变更。由此,例如对应在左相邻车道303L上存在其他车辆260并进行车道变更的可能性,可以在短时间内检测出右相邻车道303R中的障碍物(其他车辆260)。
同样,例如在第二累积值S2大于等于第二基准值T2,推断第二区域221(在该例中为右相邻车道303R)中存在第二障碍物,第二障碍物的移动方向是从第二区域221向第一区域211(左相邻车道303L)的方向时,实施关于第一障碍物推断处理的条件的变更。例如,实施第一累积条件的变更以及第一基准值T1的变更。由此,例如在其他车辆260从右相邻车道303R向行驶车道301进行车道变更时或其他车辆260从右相邻车道303R向左相邻车道303L进行车道变更时,可以在短时间内检测出左相邻车道303L中的障碍物(其他车辆260)。
并且,在第二累积值S2大于等于第二基准值T2,推断第二区域221(在该例中为右相邻车道303R)中存在第二障碍物时,实施第一累积条件的变更以及第一基准值T1的变更。由此,例如对应于在右相邻车道303R上存在其他车辆260并进行车道变更的可能性,可以在短时间内检测出左相邻车道303L中的障碍物(其他车辆260)。
(第五实施方式)
图8是举例示出第五实施方式涉及的车辆周围监测方法的流程图。
如图8所示,在本实施方式涉及的车辆周围监测方法中,首先,获得由第一摄像部210拍摄到的时间序列的多个第一帧图像数据(步骤S301),其中,第一摄像部210对包括车辆(本车辆250)的后侧的第一区域211进行拍摄。
而且,获得由第二摄像部220拍摄到的时间序列的多个第二帧图像数据(步骤S302),其中,第二摄像部220对包括车辆(本车辆250)的后侧的、不同于第一区域211的第二区域221进行拍摄。
而且,基于多个第一帧图像数据,推断存在于第一区域211的第一障碍物(步骤S310)。例如,基于将第一累积值S1和第一基准值T1比较的结果,推断存在于第一区域211的第一障碍物,其中,第一累积值是使用第一累积条件,针对多个第一帧图像数据中的每个第一帧图像数据,将多个第一帧图像数据各自中的关于障碍物的评价值(例如第一评价值s1)进行累积而获得的值。
而且,使用基于第一障碍物的推断变更的条件,基于多个第二帧图像数据,推断存在于第二领域221的第二障碍物(步骤S320)。例如,基于将第二累积值S2和第二基准值T2比较的结果,推断存在于第二区域221的第二障碍物,其中,第二累积值是使用基于第一障碍物的推断变更的第二累积条件,针对多个第二帧图像数据中的每个第二帧图像数据,将多个第二帧图像数据各自中的关于障碍物的评价值(例如第二评价值s2)进行累积而获得的值。
由此,可以在短时间内检测出障碍物。
而且,上述步骤S301、S302、S310以及S320只要技术上可行就可以同时实施,且这些的实施顺序可以交换。
而且,本车辆周围监测方法还可以包括基于第一障碍物的推断和第二障碍物的推断中的至少任一个而输出信号。
并且,第一障碍物的推断(步骤S310)可以包括第一障碍物的移动方向的推断,且可以在第一障碍物的移动方向包括从第一区域211向第二区域221的方向时,变更关于第二障碍物推断处理的条件。例如,可以在第一障碍物的移动方向包括从第一区域211向第二区域221的方向时,实施上述第二累积条件和第二基准值T2中的至少任一个的变更。
并且,可以基于第二障碍物的推断结果变更关于第一障碍物推断处理的条件。例如,可以基于第二障碍物的推断结果变更上述第一累积条件和第一基准值T1中的至少任一个。
这时,第二障碍物的推断(步骤S320)可以包括第二障碍物的移动方向的推断,且可以在第二障碍物的移动方向包括从第二区域221向第一区域211的方向时,变更关于第一障碍物推断处理的条件。例如,可以在第二障碍物的移动方向包括从第二区域221向第一区域211的方向时,实施上述第一累积条件和第一基准值T1中的至少任一个的变更。
并且,该情况下,第一区域211也可以包括本车辆250的后方的至少一部分,第二区域221也可以包括本车辆250的侧后方的至少一部分。
并且,第一区域211可以包括本车辆250行驶中的行驶车道301的至少一部分,第二区域221可以包括相邻于行驶车道301的相邻车道302的至少一部分。
但是,本实施方式并不仅限于此,例如第一区域211包括本车辆250行驶中的行驶车道301的左相邻车道303L的至少一部分,第二区域221可以包括行驶车道301的右相邻车道303R的至少一部分。
如上所述,根据本发明实施方式涉及的车辆周围监测装置及车辆周围监测方法,可以在短时间内检测出障碍物。也就是说,例如,用多个摄像机监测相邻的多个车道,并互相利用各自摄像机中的障碍物检测结果,从而可以及早检测出车道变更且急速进行超车的危险车辆。
以上,参考具体例对本发明的实施方式进行了说明。但是,本发明并不仅限于这些具体例。例如,对于包括在车辆周围监测装置中的数据取得部、障碍物推断处理部、处理部以及信号发生部等的各单元的具体结构,通过本领域技术人员从公知范围进行适当选择,只要可以同样的实施本发明以得到相同的效果就属于在本发明的范围。
并且,将各具体例的任意两个以上的单元在技术上可能的范围内进行组合得到的装置,只要包含本发明的要点就属于本发明的保护范围。
另外,基于作为本发明的实施方式已经说明的上述车辆周围监测装置及车辆周围监测方法,本领域技术人员通过适当的设计变更可以实施的所有车辆周围监测装置及车辆周围监测方法,也只要包含本发明的要点就属于本发明的保护范围。
另外,在本发明的思想范畴中,只要是本领域技术人员就可以想到各种变更例以及修正例,对于那些变更例以及修正例也可以理解为属于本发明的保护范围。
上述中说明了几种实施方式,但是这些实施方式只是作为例子示出的而不对本发明的保护范围进行限定。实际上,上述新的装置及方法可以具体化为各种其他方式,此外,在不脱离本发明的主旨或精神的基础上对上述装置及方法的方式可以进行各种省略、置换以及变更。所附的权利要求以及这些的等同物或等同方法意在将落入本发明的保护范围以及主旨或精神的方式或变形包括在内。
符号说明
101、102、103、104车辆周围监视装置
110第一数据获取部 120第二数据获得部
130障碍物推断处理部 140处理部
150信号产生部 210第一摄像部
211第一区域 220第二摄像部
221第二区域 250本车辆(车辆)
260其他车辆 260a移动方向
301行驶车道 302相邻车道
303L左相邻车道 303R右相邻车道
sg1信号
Claims (15)
1.一种车辆周围监测装置,所述车辆周围监测装置被安装在车辆上,用于检测所述车辆周围的障碍物,所述车辆周围监测装置的特征在于,包括:
第一数据获得部,获得由第一摄像部拍摄到的时间序列的多个第一帧图像数据,所述第一摄像部对包括所述车辆的后侧的第一区域进行拍摄;
第二数据获得部,获得由第二摄像部拍摄到的时间序列的多个第二帧图像数据,所述第二摄像部对包括所述车辆的后侧的、不同于所述第一区域的第二区域进行拍摄;以及
障碍物推断处理部,实施第一障碍物推断处理、第二障碍物推断处理以及信号输出处理,在所述第一障碍物推断处理中,基于由所述第一数据获得部获得的多个所述第一帧图像数据,推断存在于所述第一区域的第一障碍物,在所述第二障碍物推断处理中,基于由所述第二数据获得部获得的多个所述第二帧图像数据,推断存在于所述第二区域的第二障碍物,在所述信号输出处理中,基于所述第一障碍物推断处理的结果和所述第二障碍物推断处理的结果中的至少任一个输出信号,
其中,与所述第二障碍物推断处理有关的条件基于所述第一障碍物推断处理的所述结果被变更。
2.根据权利要求1所述的车辆周围监测装置,其特征在于,
基于将第二累积值和第二基准值比较的结果,实施所述第二障碍物的推断,其中,所述第二累积值是使用第二累积条件,针对多个所述第二帧图像数据中的每个所述第二帧图像数据,将多个所述第二帧图像数据各自中的与障碍物有关的评价值累积而得到的值,
基于所述第一障碍物推断处理的所述结果变更的所述第二障碍物推断处理有关的所述条件包括所述第二累积条件和所述第二基准值中的至少任一个。
3.根据权利要求1所述的车辆周围监测装置,其特征在于,
所述第一障碍物推断处理的条件基于所述第二障碍物推断处理的所述结果被变更。
4.根据权利要求3所述的车辆周围监测装置,其特征在于,
基于将第一累积值和第一基准值比较的结果,实施所述第一障碍物的推断,其中,所述第一累积值是使用第一累积条件,针对多个所述第一帧图像数据中的每个所述第一帧图像数据,将多个所述第一帧图像数据各自中的与障碍物有关的评价值累积而得到的值,
基于所述第二障碍物推断处理的所述结果变更的所述第一障碍物推断处理有关的所述条件包括所述第一累积条件和所述第一基准值中的至少任一个。
5.根据权利要求3所述的车辆周围监测装置,其特征在于,
所述第二障碍物推断处理包括所述第二障碍物的移动方向的推断,
当所述移动方向包括从所述第二区域向所述第一区域的方向时,实施与所述第一障碍物推断处理有关的所述条件的所述变更。
6.根据权利要求1所述的车辆周围监测装置,其特征在于,
所述第一障碍物推断处理包括所述第一障碍物的移动方向的推断,
当所述移动方向包括从所述第一区域向所述第二区域的方向时,实施与所述第二障碍物推断处理有关的所述条件的所述变更。
7.根据权利要求1所述的车辆周围监测装置,其特征在于,
所述第一区域包括所述车辆的后方的至少一部分,
所述第二区域包括所述车辆的侧后方的至少一部分。
8.根据权利要求1所述的车辆周围监测装置,其特征在于,
所述第一区域包括所述车辆行驶中的本车道的至少一部分,
所述第二区域包括与所述本车道相邻的相邻车道的至少一部分。
9.一种车辆周围监测方法,其特征在于,包括:
获得由第一摄像部拍摄到的时间序列的多个第一帧图像数据,所述第一摄像部对包括所述车辆的后侧的第一区域进行拍摄;
获得由第二摄像部拍摄到的时间序列的多个第二帧图像数据,所述第二摄像部对包括所述车辆的后侧的、不同于所述第一区域的第二区域进行拍摄;
基于多个所述第一帧图像数据,推断存在于所述第一区域的第一障碍物;以及
使用根据所述第一障碍物的推断变更后的条件,基于多个所述第二帧图像数据,推断存在于所述第二区域的第二障碍物。
10.根据权利要求9所述的车辆周围监测方法,其特征在于,
推断所述第一障碍物的移动方向,
在所述移动方向包括从所述第一区域向所述第二区域的方向的情况下,在推断所述第二障碍物时进行所述条件的变更。
11.根据权利要求9所述的车辆周围监测方法,其特征在于,
基于将第二累积值和第二基准值比较的结果,实施所述第二障碍物的推断,其中,所述第二累积值是使用第二累积条件,针对多个所述第二帧图像数据中的每个所述第二帧图像数据,将多个所述第二帧图像数据各自中的与障碍物有关的评价值累积而得到的值,基于所述第一障碍物的推断变更的推断所述第二障碍物时的所述条件包括所述第二累积条件和所述第二基准值中的至少任一个。
12.一种车辆装置,所述车辆装置检测周围的障碍物,所述车辆装置的特征在于,包括:
图像识别单元,识别包括该车辆后侧的第一区域和包括该车辆的后侧的不同于所述第一区域的第二区域的图像;
第一障碍物推断单元,推断通过所述图像识别单元识别出的存在于所述第一区域的第一障碍物;
判断单元,判断通过所述图像识别单元识别出的所述第一障碍物的移动方向是从所述第一区域向所述第二区域的方向;以及
第二障碍物推断单元,推断通过所述图像识别单元识别出的存在于所述第二区域的第二障碍物,并在通过所述第一障碍物推断单元推断在所述第一区域中存在所述第一障碍物且通过所述判断单元判断出所述第一障碍物的移动方向是从所述第一区域向所述第二区域的方向时,衰减推断所述第二障碍物时的条件。
13.根据权利要求12所述的车辆装置,其特征在于,
所述第一区域包括所述车辆行驶中的本车道的至少一部分,
所述第二区域包括与所述本车道相邻的相邻车道的至少一部分。
14.根据权利要求13所述的车辆装置,其特征在于,
所述图像识别单元包括:第一摄像单元,设置在所述车辆的后方,用于对车辆后方进行拍摄;以及第二摄像单元,设置在所述车辆的侧方,用于对车辆侧后方进行拍摄。
15.根据权利要求12所述的车辆装置,其特征在于,
基于将累积值和基准值比较的结果,实施所述第二障碍物的推断,其中,所述累积值是使用累积条件,针对多个帧图像数据中的每个所述帧图像数据,将多个所述帧图像数据各自中的与障碍物有关的评价值累积而得到的值,
通过所述第二障碍物推断单元衰减的条件是所述累积条件或所述基准值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-089344 | 2010-04-08 | ||
JP2010089344A JP5574789B2 (ja) | 2010-04-08 | 2010-04-08 | 車両周辺監視装置及び車両周辺監視方法 |
PCT/JP2011/000416 WO2011125270A1 (ja) | 2010-04-08 | 2011-01-26 | 車両周辺監視装置、車両周辺監視方法および車両装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102834853A true CN102834853A (zh) | 2012-12-19 |
CN102834853B CN102834853B (zh) | 2014-12-10 |
Family
ID=44762242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180018129.XA Expired - Fee Related CN102834853B (zh) | 2010-04-08 | 2011-01-26 | 车辆周围监测装置、车辆周围监测方法及车辆装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20130057688A1 (zh) |
EP (1) | EP2557550A4 (zh) |
JP (1) | JP5574789B2 (zh) |
CN (1) | CN102834853B (zh) |
WO (1) | WO2011125270A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009761A (zh) * | 2019-03-20 | 2019-07-12 | 华南理工大学 | 智能设备自动巡检路径规划方法及系统 |
CN110505469A (zh) * | 2018-05-17 | 2019-11-26 | 株式会社电装 | 用于车辆的环绕监测系统及其方法 |
CN110942668A (zh) * | 2018-09-21 | 2020-03-31 | 丰田自动车株式会社 | 图像处理系统、图像处理方法和图像处理设备 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009007342A1 (de) * | 2009-02-04 | 2010-08-05 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung |
JP5803844B2 (ja) * | 2012-08-21 | 2015-11-04 | トヨタ自動車株式会社 | 割込予測装置、割込予測方法、及び運転支援システム |
US9552732B2 (en) * | 2014-04-02 | 2017-01-24 | Robert Bosch Gmbh | Driver assistance system including warning sensing by vehicle sensor mounted on opposite vehicle side |
JP6815963B2 (ja) * | 2017-09-29 | 2021-01-20 | クラリオン株式会社 | 車両用外界認識装置 |
CN111742327B (zh) * | 2018-02-19 | 2024-05-28 | 博朗有限公司 | 用于实施可移动处理装置的定位的设备和方法 |
DE102019202588A1 (de) * | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
DE102019202581B4 (de) | 2019-02-26 | 2021-09-02 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
EP4092651A1 (en) * | 2020-01-17 | 2022-11-23 | Aisin Corporation | Nearby vehicle position estimation system, and nearby vehicle position estimation program |
JP2022059958A (ja) * | 2020-10-02 | 2022-04-14 | フォルシアクラリオン・エレクトロニクス株式会社 | ナビゲーション装置 |
CN116157311A (zh) | 2020-11-02 | 2023-05-23 | 三菱电机株式会社 | 其它车辆行为预测诊断装置及其它车辆行为预测诊断方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246436A (ja) * | 2003-02-12 | 2004-09-02 | Toshiba Corp | 障害物検出装置および障害物検出方法 |
US20080136612A1 (en) * | 2006-11-16 | 2008-06-12 | Hitachi, Ltd. | Obstacle Detection Apparatus |
CN101396988A (zh) * | 2007-09-26 | 2009-04-01 | 日产自动车株式会社 | 车辆周边监视设备和车辆周边监视方法 |
JP2009085651A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 画像処理システム |
CN201234326Y (zh) * | 2008-06-30 | 2009-05-06 | 比亚迪股份有限公司 | 车载视频监控装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4023228B2 (ja) * | 2002-06-19 | 2007-12-19 | 日産自動車株式会社 | 車載用障害物検知装置 |
US8204278B2 (en) * | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
-
2010
- 2010-04-08 JP JP2010089344A patent/JP5574789B2/ja not_active Expired - Fee Related
-
2011
- 2011-01-26 EP EP11765172.9A patent/EP2557550A4/en not_active Withdrawn
- 2011-01-26 WO PCT/JP2011/000416 patent/WO2011125270A1/ja active Application Filing
- 2011-01-26 CN CN201180018129.XA patent/CN102834853B/zh not_active Expired - Fee Related
-
2012
- 2012-08-30 US US13/599,666 patent/US20130057688A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246436A (ja) * | 2003-02-12 | 2004-09-02 | Toshiba Corp | 障害物検出装置および障害物検出方法 |
US20080136612A1 (en) * | 2006-11-16 | 2008-06-12 | Hitachi, Ltd. | Obstacle Detection Apparatus |
CN101396988A (zh) * | 2007-09-26 | 2009-04-01 | 日产自动车株式会社 | 车辆周边监视设备和车辆周边监视方法 |
JP2009085651A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 画像処理システム |
CN201234326Y (zh) * | 2008-06-30 | 2009-05-06 | 比亚迪股份有限公司 | 车载视频监控装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110505469A (zh) * | 2018-05-17 | 2019-11-26 | 株式会社电装 | 用于车辆的环绕监测系统及其方法 |
CN110942668A (zh) * | 2018-09-21 | 2020-03-31 | 丰田自动车株式会社 | 图像处理系统、图像处理方法和图像处理设备 |
CN110942668B (zh) * | 2018-09-21 | 2022-04-29 | 丰田自动车株式会社 | 图像处理系统、图像处理方法和图像处理设备 |
CN110009761A (zh) * | 2019-03-20 | 2019-07-12 | 华南理工大学 | 智能设备自动巡检路径规划方法及系统 |
CN110009761B (zh) * | 2019-03-20 | 2021-08-10 | 华南理工大学 | 智能设备自动巡检路径规划方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20130057688A1 (en) | 2013-03-07 |
JP2011221734A (ja) | 2011-11-04 |
EP2557550A4 (en) | 2014-08-20 |
CN102834853B (zh) | 2014-12-10 |
EP2557550A1 (en) | 2013-02-13 |
WO2011125270A1 (ja) | 2011-10-13 |
JP5574789B2 (ja) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102834853B (zh) | 车辆周围监测装置、车辆周围监测方法及车辆装置 | |
US10387733B2 (en) | Processing apparatus, processing system, and processing method | |
US10402664B2 (en) | Processing apparatus, processing system, processing program, and processing method | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
JP2021192303A (ja) | ライダー支援システム及び方法 | |
JP5938569B2 (ja) | 方位情報を考慮する高度運転者支援システム、及びその動作方法 | |
JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
EP3690859A1 (en) | Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them | |
JP5898001B2 (ja) | 車両周辺監視装置 | |
JP2007072641A (ja) | 危険車両検出装置 | |
JP2009211309A (ja) | 走行支援装置 | |
JP2011071932A (ja) | 車両周辺監視装置 | |
JP2012128748A (ja) | 車両運転支援装置 | |
JP2008158640A (ja) | 移動物体検出装置 | |
JP2014078056A (ja) | 車両用領域識別装置、そのプログラム及びその方法 | |
JP2007233470A (ja) | 車両用走行支援装置 | |
KR101519261B1 (ko) | 차량의 모니터링 방법 및 자동 제동 장치 | |
JP2011227551A (ja) | 車両用蛇行運転検出装置 | |
JP2009140145A (ja) | 車両の走行支援装置 | |
JP2009070367A (ja) | 車両走行状況警告方法および装置 | |
US20190258872A1 (en) | Stationary vision system at vehicle roadway | |
KR102030359B1 (ko) | 차선 변경 안내 방법 및 이를 실행하는 장치 | |
CN113173160B (zh) | 车辆用防碰撞装置及车辆用防碰撞方法 | |
CN115123218A (zh) | 车辆的检测方法、装置及其电子设备 | |
JP2019168968A (ja) | 運転支援装置、運転支援方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 Termination date: 20170126 |