CN104517118B - 车外环境识别装置 - Google Patents
车外环境识别装置 Download PDFInfo
- Publication number
- CN104517118B CN104517118B CN201410488153.5A CN201410488153A CN104517118B CN 104517118 B CN104517118 B CN 104517118B CN 201410488153 A CN201410488153 A CN 201410488153A CN 104517118 B CN104517118 B CN 104517118B
- Authority
- CN
- China
- Prior art keywords
- fraction
- pedestrian
- profile
- outward appearance
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种车外环境识别装置。精确且快速地检测行人。本发明的车外环境识别装置(120)具备:三维位置导出部(162),导出拍摄检测区域得到的图像中的多个对象部位的在实际空间中的三维位置;对象物确定部(164),将三维位置的差值在预定范围内的对象部位彼此进行群组化来确定对象物;位置分数导出部(166),基于对象物的位置信息导出位置分数;外观分数导出部(168),基于关于对象物的外观信息导出外观分数;行人确定部(172),在至少将位置分数与外观分数相加得到的行人分数在预先设定的阈值以上的情况下,将对象物确定为行人。
Description
技术领域
本发明涉及确定存在于检测区域中的对象物对应于哪个特定物的车外环境识别装置。
背景技术
以往,已知有以下技术(例如,专利文献1):检测位于本车辆前方的车辆等的特定物,以回避与前行车辆的碰撞(碰撞回避控制),或者控制本车辆与前行车辆的车间距保持在安全距离(巡航控制)。
通过这样的本车辆的前方监视技术,可以期待以下效果:不仅可以回避前行车辆,还可以回避和/或减轻由于行人突然出现而导致的触碰事故。涉及行人的情况不同于前行车辆的情况,由于在检测区域中行人可能会从各个方向突然出现,因此从行人出现在车辆前方到车辆接近行人的时间较短的情况多,驾驶员的一瞬间的走神和/或稍微的操作延迟等会对触碰事故的发生有很大影响。因此,对于上述碰撞回避控制的期望正在提高。
另一方面,如果发生碰撞回避控制的误操作(例如,误识别为是行人而制动本车辆等的现象),则会使驾驶员产生对于碰撞回避控制的不信任感。因此,希望实现一种能够在不发生误操作的情况下精确且快速地回避触碰事故的碰撞回避控制。
例如,已经公开了以下技术(例如,专利文献2):将通过摄像装置获得的图像中包含的对象物的轮廓作为特征向量,与预先准备的轮廓形状模型进行模式匹配,从而提高行人的确定精度。
现有技术文献
专利文献
专利文献1:日本特开2012-194864号公报
专利文献2:日本特开2008-45974号公报
发明内容
技术问题
如上所述,在碰撞回避控制中必须避免误操作。因此,即便对象物(行人)进入到摄像装置的检测区域内,该对象物的外观与行人的轮廓形状模型一致进而直至确定为该对象物是行人为止也需要花费长时间。
鉴于这样的问题,本发明的目的在于提供一种能够精确且快速地检测行人的车外环境识别装置。
技术方案
为了解决上述问题,本发明的车外环境识别装置的特征在于,具备:三维位置导出部,导出拍摄检测区域得到的图像中的多个对象部位的在实际空间中的三维位置;对象物确定部,将三维位置的差值在预定范围内的对象部位彼此进行群组化来确定对象物;位置分数导出部,基于关于对象物的位置的位置信息导出位置分数;外观分数导出部,基于关于对象物的外观的外观信息导出外观分数;行人确定部,在至少将位置分数与外观分数相加得到的行人分数在预先设定的阈值以上的情况下,将对象物确定为行人。
在外观分数在预定值以上且行人分数在阈值以上的情况下,行人确定部可将对象物确定为行人。
可基于从对象物的行进横向位置、速度、累积移动量中选择的一个或多个参数导出位置分数。
可基于从对象物的高度、纵横比、位置关系、局部性、人造性、轮廓一致度、警戒度中选择的一个或多个参数导出外观分数。
还可具备:轮廓确定部,从基于图像的亮度的边缘确定对象物的轮廓;色调判定部,将对象物的轮廓内外的像素的色调进行比较,根据比较的结果将对象物确定为行人。
为了解决上述技术问题,本发明的其它的车外环境识别装置的特征在于,具备:三维位置导出部,导出拍摄检测区域得到的图像中的多个对象部位的在实际空间中的三维位置;对象物确定部,将三维位置的差值在预定范围内的对象部位彼此进行群组化来确定对象物;轮廓确定部,从基于图像的亮度的边缘确定对象物的轮廓;色调判定部,将对象物的轮廓内外的像素的色调进行比较,根据比较的结果将对象物确定为行人。
有益效果
根据本发明,可精确且快速地检测行人。
附图说明
图1是表示环境识别系统的连接关系的框图。
图2是表示车外环境识别装置的大致功能的功能框图。
图3是用于说明亮度图像和距离图像的说明图。
图4是用于说明位置信息和帧(frame)位置分数的关系的说明图。
图5是用于说明外观信息和帧外观分数的关系的说明图。
图6是表示行人分数的生成示例的说明图。
图7是表示行人判定的整体的处理流程的流程图。
图8是用于说明其它实施方式的说明图。
图9是用于说明色调判定部的操作的说明图。
符号说明
162 三维位置导出部
164 对象物确定部
166 位置分数导出部
168 外观分数导出部
172 行人确定部
174 轮廓确定部
176 色调判定部
具体实施方式
以下,参照附图来详细说明本发明的优选实施方式。本实施方式所示的尺寸、材料、其他具体的数值等仅是为了易于发明的理解的例示,除了特别声明的情况之外,并不限定本发明。应予说明,本说明书以及附图中,对于具有实质上相同的功能、构成的要素,使用相同的符号并省略重复说明,另外,与本发明没有直接关系的要素省略其图示。
近年来,通过搭载于车辆的车载相机来拍摄本车辆的前方的道路环境,基于图像内的颜色信息和/或位置信息确定前行车辆等的对象物,以回避与所确定的对象物的碰撞,或者将与前行车辆的车间距保持在安全距离(ACC:Adaptive Cruise Control)的、搭载了所谓防碰撞功能的车辆正在普及。通过本防碰撞功能,确定本车辆前方的各种障碍物,根据障碍物是静止的对象物还是伴随移动的对象物,适当地进行回避控制。作为伴随移动的对象物,主要想到的是车辆和/或行人,然而特别地,行人在检测区域中有可能从各个方向突然出现,另外,行人的绝对大小与车辆相比较小,因此难以确定,另外,存在进行确定时需要时间的问题。
例如,即使使用通过与对象物的外观进行模式匹配(图案匹配)来将对象物确定为行人的技术,也应当避免由于误识别为行人而导致的车辆误操作,且不得不在多个帧中利用外观得到匹配的帧来确定为行人。因此,行人的确定需要花费长时间。据此,本实施方式的目的在于,不仅关注关于对象物外观的外观信息,还关注关于对象物位置的位置信息,通过较早判定有行人似的特点,来精确且快速地检测行人。以下,对为达成这样的目的的环境识别系统进行说明,并详细描述作为其具体构成要素的车外环境识别装置。
(环境识别系统100)
图1是表示环境识别系统100的连接关系的框图。环境识别系统100构成为包括设置在本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU:EngineControl Unit)130。
摄像装置110构成为包括CCD(电耦合器件)和/或CMOS(互补金属氧化物半导体)等的摄像元件,可拍摄相当于本车辆1的前方的环境,生成由三种色调(R(红)、G(绿)、B(蓝))构成的彩色图像和/或黑白图像。这里,将由摄像装置110拍摄的彩色图像采用为亮度图像,以与后述的距离图像相区别。
另外,摄像装置110以在本车辆1的行驶方向侧使两个摄像装置110各自的光轴成为大致平行的方式,在大致水平方向上被分开配置。摄像装置110例如按照每1/60秒一帧(60fps)的方式连续生成对本车辆1的前方的检测区域中存在的对象物进行拍摄的图像数据。这里,识别的对象物不仅是车辆、行人、信号灯、道路(行驶路径)、栏杆、建筑物等独立存在的立体物,也包括尾灯、方向指示灯、信号灯的各点亮部分等可作为立体物的一部分而确定的物体。以下的实施方式的各功能部,将这样的图像数据的更新作为契机,按照每个帧来进行各个处理。
车外环境识别装置120从两个摄像装置110分别获取图像数据,利用所谓的模式匹配来导出视差,并将被导出的视差信息(相当于后述的进深距离)与图像数据对应而生成距离图像。在后详细说明有关亮度图像以及距离图像。另外,车外环境识别装置120使用基于亮度图像的亮度、以及基于距离图像的与本车辆1的进深距离来确定本车辆1前方的检测区域中的对象物是否对应于某一种特定物。
若车外环境识别装置120确定了特定物,则追踪该特定物(例如,前行车辆)的同时导出特定物的相对速度等,从而进行特定物与本车辆1碰撞的可能性是否高的判定。这里,在判定为碰撞的可能性高的情况下,车外环境识别装置120通过设置在驾驶者的前方的显示器122将该情况向驾驶者警告显示(报知),同时对车辆控制装置130输出显示该情况的信息。
车辆控制装置130通过方向盘132、加速踏板134、制动踏板136来接收驾驶者的操作输入,并传送到操舵机构142、驱动机构144、制动机构146,由此来控制本车辆1。另外,车辆控制装置130根据车外环境识别装置120的指令来控制驱动机构144、制动机构146。
以下,针对车外环境识别装置120的构成进行详细说明。这里,对在本实施方式中特征性的、将对象物确定为行人的步骤进行详细说明,并省略对与本实施方式的特征无关的构成的说明。
(车外环境识别装置120)
图2是表示车外环境识别装置120的大致功能的功能框图。如图2所示,车外环境识别装置120构成为包括I/F部150、数据存储部152、中央控制部154。
I/F部150是用于与摄像装置110和/或车辆控制装置130进行双向的信息交换的接口。数据存储部152由RAM、闪速存储器、HDD等构成,以用于存储以下所示的各功能部的处理所需的各种信息,另外,临时存储从摄像装置110接收到的图像数据。
中央控制部154由中央处理装置(CPU)、存储有程序等的ROM、包括作为工作区域的RAM等的半导体集成电路构成,通过系统总线156来控制I/F部150、数据存储部152等。另外,在本实施方式,中央控制部154还作为图像处理部160、三维位置导出部162、对象物确定部164、位置分数(point)导出部166、外观分数(point)导出部168、分数(point)生成部170、行人确定部172、轮廓确定部174以及色调判定部176发挥功能。以下,关于这样的功能部,根据大致的目的,按照图像处理、对象物确定处理、行人确定处理这样的顺序对具体的工作进行说明。
(图像处理)
图像处理部160利用从两个摄像装置110分别获取图像数据、并从另一侧的图像数据中检索与从一侧的图像数据任意提取的区块(例如水平4像素×垂直4像素的排列)对应的区块的、所谓的模式匹配导出视差。这里,“水平”表示画面的横向方向,“垂直”表示画面的纵向方向。
作为该模式匹配,可以考虑在两个图像数据之间,以表示任意的图像位置的区块单位来比较亮度(Y色差信号)。例如,有采用亮度的差值的绝对差值和(SAD,Sum ofAbsolute Difference)、使用差值的平方的差值的平方和(SSD,Sum of Squaredintensity Difference)和/或采用从各像素的亮度减去平均值而得到的分散值的相似度的归一化互相关(NCC,Normalized Cross Correlation)等的方法。图像处理部160对呈现在检测区域(例如水平600像素×垂直180像素)的所有的区块进行这样的区块单位的视差导出处理。这里,设定区块为水平4像素×垂直4像素,但可以任意设定区块内的像素数。
然而,在图像处理部160中,虽然能够对作为检测分辨率单位的每个区块导出视差,但是不能识别该区块是哪种对象物的一部分。因此,视差信息并不是以对象物单位,而是以检测区域中的检测分辨率单位(例如区块单位)来单独导出。这里,将据此导出的视差信息(相当于后述的进深距离)与图像数据关联的图像称作距离图像。
图3是用于说明亮度图像210和距离图像212的说明图。例如,假设通过两个摄像装置110,针对检测区域214生成了如图3的(a)那样的亮度图像(图像数据)210。然而,为了容易理解,这里仅示意性地示出摄像装置110分别生成的两个亮度图像210的一个。在本实施方式中,图像处理部160从这样的亮度图像210求出每个区块的视差,形成如图3的(b)那样的距离图像212。在距离图像212的各个区块中,关联有该区块的视差。这里,为了方便说明,用黑点表示导出了视差的区块。
返回图2进行说明,三维位置导出部162基于由图像处理部160生成的距离图像212,用所谓的立体视觉方法将检测区域214内的每个区块的视差信息变换为包括水平距离、高度以及进深距离的实际空间中的三维位置信息。这里,立体视觉方法是指通过利用三角测量法,从对象部位的距离图像212的视差导出该对象部位的相对于摄像装置110的进深距离的方法。这时,三维位置导出部162基于对象部位的进深距离以及位于与对象部位相同进深距离的道路表面上的点与对象部位之间的在距离图像212上的检测距离,导出对象部位相对于道路表面的高度。之后,将导出的三维位置信息重新与距离图像212对应。该进深距离的导出处理和/或三维位置的确定处理可应用各种已知技术,因此在此省略其说明。
(对象物确定处理)
对象物确定部164使用基于距离图像212的三维位置信息将检测区域214中的对象部位(像素和/或区块)彼此进行群组化而确定对象物。具体地说,对象确定部164以任意的对象部位作为基点,对与该对象部位的水平距离的差值、高度的差值以及进深距离的差值在预先设定的预定范围内的其它对象部位进行群组化,以将该对象部位也作为一体的对象物。这里,预定范围由实际空间上的距离来表示,并且可以设定为任意值(例如,1.0m等)。另外,关于通过群组化而被新追加的对象部位,对象物确定部164也可以以该对象部位作为基点,对与之水平距离的差值、高度的差值以及进深距离的差值在预定范围内的其它对象部位进行群组化。结果,如果距离在预定范围内,则所有的对象部位作为对象物被群组化。
(行人确定处理)
接着,基于对象物的位置和/或外观,判定该对象物是否是行人。
位置分数导出部166基于关于对象物的位置的位置信息而导出位置分数。位置信息包括例如,对象物的行进横向位置、速度以及表示进入检测区域214之后的移动量的累积的累积移动量,其中,行进横向位置是从与本车辆1的行驶路径垂直的方向的本车辆1端部开始的相对位置。该速度以及移动量可以是不考虑对象物的移动方向的标量,也可以考虑移动方向且仅将水平方向等、特定方向的成分作为对象。之后,位置分数导出部166将与位置信息对应的分数进行累计而导出帧单位的帧位置分数。
图4是用于说明位置信息和帧位置分数之间的关系的说明图。参照图4的(a),行进横向位置不足1m的情况为3分,1m以上但不足3m的情况为2分,3m以上但不足5m的情况为1分,5m以上的情况为0分。参照图4的(b),速度不足1m/s的情况为0分,1m/s以上但不足3m/s的情况为1分,3m/s以上但不足5m/s的情况为2分,5m/s以上的情况为3分。参照图4的(c),累积移动量不足0.5m的情况为0分,0.5m以上但不足1.0m的情况为1分,1.0m以上但不足1.5m的情况为2分,1.5m以上的情况为3分。
接着,位置分数导出部166如图4的(d)所示,求出与累计的帧位置分数(0~9分(pt))对应的分数,将其与由前一次的帧导出的位置分数相加,导出新的位置分数。因此,位置分数以帧为单位仅具有±1分的变动。
另外,对位置分数设置上下限值,在本实施方式中,例如,将下限值设置为0分,上限值设置为5分。这样,通过设置上下限值,即使没有检测到行人的期间或检测到行人的期间持续了长时间,分数的绝对值也不会变得太大,在有无检测到行人发生改变的情况下,可快速且准确地判定其有无。另外,通过将上限值设置为5分,可避免仅位置分数就达到判定为行人的阈值(本实施方式中为20分),从而可以仅在外观分数为有意义的值(预定值以上)的情况下才确定行人。该上下限值显然可以被设定为任意值。
外观分数导出部168基于关于对象物的外观的外观信息导出外观分数。外观信息包括例如对象物的相对于地面的高度、作为纵相对于横的比例的纵横比、相对于检测区域214的位置关系、表示对象物是否是大物体的一部分的局部性、表示有人造物似的特点的人造性、表示轮廓有行人似的特点的轮廓一致度、以及表示属于需要自动刹车的物体的可能性的高低(越是位于正面、有速度、累积移动量大的物体,则越高)的警戒度。外观分数导出部168将与外观信息对应的分数进行累计而导出帧单位的帧外观分数。
图5是用于说明外观信息和帧外观分数之间的关系的说明图。参照图5的(a),高度不足0.8m的情况为0分,0.8m以上但不足1.2m的情况为8分,1.2m以上但不足20.m的情况为10分,2.0m以上但不足2.2m的情况为5分,2.2m以上的情况为0分。参照图5的(b),纵横比不足100%的情况为0分,100%以上但不足150%的情况为5分,150%以上但不足300%的情况为10分,300%以上但不足400%的情况为8为,400%以上的情况为0分。参照图5的(c),位置关系完全超出检测区域214的情况为0分,有可能超出的情况为5分,包括在检测区域214中的情况为10分。
另外,参照图5的(d),局部性为能够判断确实是大物体的一部分的情况为0分,有可能是大物体的一部分的情况为5分,能够判断不是大物体的一部分的情况为10分。参照图5的(e),能够判断为人造性为人造物的情况为0分,有可能是人造物的情况为5分,能够判断为不是人造物的情况为10分。另外,虽然在图示中省略,对于轮廓一致度,可基于与模型模式的匹配的相关性而在0~50分之间加以确定。
接着,外观分数导出部168将对累计的分数进行合计得到的帧外观分数(0~100分(pt))乘以图5的(f)示出的与警戒度对应的系数。之后,外观分数导出部168如图5的(g)所示,求出与帧外观分数对应的分数,将其与由前一次的帧导出的外观分数相加,导出新的外观分数。因此,外观分数以帧为单位以-4~+8的幅度变动。与这样的帧外观分数和/或外观分数、以及上述帧位置分数和/或位置分数的判定相关的数值可被设定为任意值。
分数生成部170将由位置分数导出部166导出的位置分数和由外观分数导出部168导出的外观分数相加来生成行人分数。
行人确定部172将由分数生成部170生成的行人分数与预先设定的阈值(这里为20分)进行比较,在行人分数在阈值以上的情况下,行人确定部172将对象物确定为行人。这样,可不仅通过外观分数,还通过导出基于位置信息而生成的位置分数来与行人分数进行相加,从而在将外观判定为行人之前,关于对象物的位置可以判定有行人似的特点。因此,在本车辆1前方存在行人的情况下,可以使行人分数较早达到阈值,从而可由精确且快速地检测行人。
然而,如果外观分数不是有意义的值(这里为1分以上),则即使仅基于位置分数的行人分数在阈值以上,行人确定部172也不将对象物确定为行人。位置分数只是起到外观分数的辅助作用,仅在外观分数取有意义的值的情况下,才参照位置分数。这样,虽然通过外观不能判定为行人,但是也可以避免仅通过位置分数而无意地将对象物误识别为行人的情况。根据本实施方式,通过对位置分数设置不足阈值的上限值,据此与位置信息表示用于判定为行人的分数的时间的长短无关地回避仅通过位置分数就使行人分数达到阈值。
图6是表示行人分数的生成示例的说明图。图6的(a)表示现有的处理,图6的(b)表示本实施方式的处理。在图6的(a)、(b)的时间点1,虽然可以通过对象物的位置信息判定为行人,但是还不能通过外观信息判定为行人。因此,在仅通过对象物的外观来判定是否是行人的现有处理中,在图6的(a)的时间点1的行人分数是0分(pt)。另一方面,根据本实施方式,在可以通过位置信息判定为行人的情况下,由于位置分数被累计,因此即使在图6的(b)的时间点1,也可能出现行人分数已经达到上限值5分的情况。
之后,在时间点2外观分数变为8分,在时间点3外观分数变为16分的情况下,在现有的处理中,如图6的(a)的时间点3所示,行人分数是16分,由于没有达到阈值(这里是20分),因此最终在仅外观分数达到阈值的时间点4,本车辆1才采取具体应对措施(例如,车辆的停止处理)。另一方面,在本实施方式中,由于利用将位置分数和外观分数相加得到的行人分数进行判定,因此在图6的(b)的时间点2行人分数变为13分,在时间点3,行人分数变为21分。因此,在达到阈值的时间点3,可以执行本车辆1的停止处理,与图6的(a)相比,可以知道本车辆1可以针对车外环境提前采取应对措施。
图7是表示行人判定的整体处理的流程的流程图。以帧为单位对包括在检测区域214中的每一对象物执行相关的行人判定处理。
如图7所示,首先,位置分数导出部166判定对象物的高度以及宽度是否包括在能够判定为行人的范围内(S200)。如果该结果为包括在能够判定的范围内(S200的是),则导出位置分数(S202)。在该位置分数的导出处理中,位置分数导出部166如图4所示,通过对分别与行进横向位置、速度、累积移动量对应的分数进行累计来导出帧位置分数,进一步,求出与导出的帧位置分数对应的分数,将其与由前一次的帧导出的位置分数相加,导出新的位置分数。
接着,外观分数导出部168判定是否能够掌握对象物的轮廓(S204)。如果该结果为能够掌握轮廓的情况(S2014的是),则导出外观分数(S206)。在本外观分数的导出处理中,外观分数导出部168如使用图5所说明的、通过对分别与高度、纵横比、位置关系、局部性、人造性、轮廓一致度、警戒度对应的分数进行累计来导出帧外观分数,进一步,求出与导出的帧外观分数对应的分数,将其与由前一次的帧导出的外观分数相加,导出新的外观分数。
接着,分数生成部170通过将由位置分数导出部166导出的位置分数和由外观分数导出部168导出的外观分数相加来生成行人分数(S208)。之后,行人确定部172判定行人分数是否在阈值以上(S210)。如果该结果为行人分数在阈值以上(S210的是),则将该对象判定为行人(S212),并结束该行人判定处理。另外,如果行人分数不足阈值(S210的否),则判定对象物是否在检测区域214之外(S214)。如果该结果为对象物在检测区域214之外(S214的是),则结束该行人判定处理。
另外,在对象物的高度以及宽度没有包括在能够判定为行人的范围内(S200的否)、不能掌握对象物的轮廓(S204的否)、或者对象物没有在检测区域214之外(S214的否)的情况下,判定为行人的可能性仍然存在,重复从步骤S200开始的处理。
(其它的实施方式)
代替上述实施方式,另外,也可以通过其它的实施方式判定行人。
图8是用于说明其它的实施方式的说明图。行人以各种方式穿着各种色调和/或款式的服装。另外,存在行人的肤色和/或发色等也不同的情况。因此,如图8的(a)所示,在行人和除了行人以外的区域(背景),以行人的轮廓为边界,色调不同的情况较多。另一方面,如图8的(b)中用粗线所示,存在将车辆等的一部分误识别为行人的情况。然而,对于车辆而言,用较少的色调来表示的情况较多,另外,即使车辆的一部分被识别为行人,其侧面如图8的(b)那样,有同一车辆的其它部分存在,且在对象物和对象物以外的区域(尤其是水平方向的区域),以对象物的轮廓为边界,色调相同的情况较多。这里,通过如此地关注于行人和行人以外的区域的色调不同的简单特性,来提高行人的判定精度。
轮廓确定部174从基于亮度图像210的亮度的边缘确定对象物的轮廓。色调判定部176将对象物的轮廓的内外的色调(R、G、B)进行比较,根据其结果将对象物确定为行人。这里,不利用亮度信息,例如,如亮蓝色与暗蓝色的色差变得难以区分那样仅将色调作为比较对象。
图9是用于说明色调判定部176的操作的说明图。具体地说,首先,色调判定部176如图9的(a)所示,对于对象物2,导出沿表示水平方向的中央(重心)的垂直方向延伸的中心线300。之后,色调判定部176确定中心线300的各个像素的水平方向的、且由包含于用粗线表示的轮廓302中的像素构成的左右两个代表轮廓像素。因此,代表轮廓像素的在中心线300的像素的左右的数量分别与中心线300的像素的数量相同。
接着,色调判定部176如图9的(b)中的两个箭头所示,对从左右的代表轮廓像素到中心线300的水平方向的像素的色调进行累计、除法运算,从而导出色调的平均值、并将该平均值与左右的代表轮廓像素进行关联。之后,色调判定部176如图9的(c)所示,针对从代表轮廓像素到轮廓外导出水平方向的像素的色调的平均值。此时,如图9的(c)所示,作为色调的平均值的导出对象的像素数量为从该代表轮廓像素到中心线300的像素数量。这样,可以以相同的条件(像素数量)导出轮廓内外的色调的平均值。
之后,色调判定部176针对各个代表轮廓像素比较轮廓内外的色调的平均值,并对差值在预先设定的阈值以上的代表轮廓像素的数量进行累计。这里,可以通过R、G、B各自的差值的合计值来进行色调的比较。之后,将累计值与代表轮廓像素的总数进行比较,如果累计值在总数的预定比率(这里为50%)以上,则将对象确定为行人。虽然本实施方式的实验结果将适合于判断为行人的预定%设定为50%,但是并不限制为该数值,而是可以根据车外环境和/或行人的状态任意设定该数值。
然而,根据该其它的实施方式的行人判定只是起到上述基于行人分数的行人判定的辅助作用,当更加可靠且快速地执行基于行人分数的行人判定时,验证地利用根据该其它的实施方式的行人判定是有效果的。
以上,如所说明的那样,在本实施方式中,从还不能从外观上判定行人的时间点开始,预先基于位置信息将对象物判定为行人,因而可精确且快速地检测行人。另外,进一步,通过根据对象物的轮廓内外的色调判定有行人似的特点,可进一步提高行人的判定精度。
另外,还提供使计算机作为车外环境识别装置120而发挥功能的程序和/或存储该程序的、能够被计算机读取的软盘、光盘、ROM、CD、DVD、BD等的存储介质。这里,程序是指以任意的语言和/或记述方法记述的数据处理单元。
以上,参照附图说明了本发明的优选的实施方式,然而本发明并不限定于该实施方式。应该了解的是,本领域技术人员在权利要求书所记载的范畴内,容易想到的各种变形例或者修正例,当然都属于本发明的技术的范围。
需要说明的是,本说明书的行人判定处理的各个步骤并不一定必须要按照流程图所记载的顺序按时间顺序进行处理,也可以包括根据并行的或者子程序的处理。
产业上的可利用性
本发明可以应用于确定检测区域中存在的对象物对应于哪个特定物的车外环境识别装置。
Claims (6)
1.一种车外环境识别装置,其特征在于,具备:
三维位置导出部,导出拍摄检测区域得到的图像中的多个对象部位的在实际空间中的三维位置;
对象物确定部,将所述三维位置的差值在预定范围内的对象部位彼此进行群组化来确定对象物;
位置分数导出部,基于关于所述对象物的位置的位置信息导出位置分数;
外观分数导出部,基于关于所述对象物的外观的外观信息导出外观分数;
行人确定部,在所述外观分数在预定值以上且在将所述位置分数与所述外观分数相加得到的行人分数在预先设定的阈值以上的情况下,将所述对象物确定为行人。
2.如权利要求1所述的车外环境识别装置,其特征在于:基于从所述对象物的行进横向位置、速度、累积移动量中选择的一个或多个参数导出所述位置分数。
3.如权利要求1或2所述的车外环境识别装置,其特征在于:基于从所述对象物的高度、纵横比、位置关系、局部性、人造性、轮廓一致度、警戒度中选择的一个或多个参数导出所述外观分数。
4.如权利要求1或2所述的车外环境识别装置,其特征在于,还具备:
轮廓确定部,从基于所述图像的亮度的边缘确定所述对象物的轮廓;
色调判定部,将所述对象物的轮廓内外的像素的色调进行比较,根据比较的结果将该对象物确定为行人。
5.如权利要求3所述的车外环境识别装置,其特征在于,还具备:
轮廓确定部,从基于所述图像的亮度的边缘确定所述对象物的轮廓;
色调判定部,将所述对象物的轮廓内外的像素的色调进行比较,根据比较的结果将该对象物确定为行人。
6.一种车外环境识别装置,其特征在于,具备:
三维位置导出部,导出拍摄检测区域得到的图像中的多个对象部位的在实际空间中的三维位置;
对象物确定部,将所述三维位置的差值在预定范围内的对象部位彼此进行群组化来确定对象物;
轮廓确定部,从基于所述图像的亮度的边缘确定所述对象物的轮廓;
色调判定部,将所述对象物的轮廓内外的像素的色调的平均值进行比较,根据比较的结果将该对象物确定为行人。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-202627 | 2013-09-27 | ||
JP2013202627A JP5886809B2 (ja) | 2013-09-27 | 2013-09-27 | 車外環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104517118A CN104517118A (zh) | 2015-04-15 |
CN104517118B true CN104517118B (zh) | 2017-05-03 |
Family
ID=52673269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410488153.5A Active CN104517118B (zh) | 2013-09-27 | 2014-09-22 | 车外环境识别装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9280900B2 (zh) |
JP (1) | JP5886809B2 (zh) |
CN (1) | CN104517118B (zh) |
DE (1) | DE102014112797A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206774A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 立体物検出装置及び立体物検出方法 |
JP6384400B2 (ja) * | 2015-05-18 | 2018-09-05 | 株式会社デンソー | 衝突回避装置 |
US20170015245A1 (en) * | 2015-07-16 | 2017-01-19 | Hon Hai Precision Industry Co., Ltd. | Vehicle warning system and method of same |
JP6299720B2 (ja) * | 2015-10-02 | 2018-03-28 | トヨタ自動車株式会社 | 物体認識装置及び煙判定方法 |
US10445612B2 (en) * | 2015-10-26 | 2019-10-15 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP6791645B2 (ja) * | 2016-03-29 | 2020-11-25 | 本田技研工業株式会社 | 光通信装置、光通信システム、および光通信方法 |
JP2018101212A (ja) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | 車載器および顔正面度算出方法 |
WO2018131165A1 (ja) * | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP6764378B2 (ja) * | 2017-07-26 | 2020-09-30 | 株式会社Subaru | 車外環境認識装置 |
JP6653300B2 (ja) * | 2017-09-15 | 2020-02-26 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
CN108881849B (zh) * | 2018-07-20 | 2020-11-20 | 合肥云联电子科技有限公司 | 一种用于视频监控的智能辅助系统 |
US11222218B2 (en) * | 2019-03-11 | 2022-01-11 | Subaru Corporation | Vehicle exterior environment detection apparatus |
US11341621B2 (en) * | 2020-03-04 | 2022-05-24 | GM Global Technology Operations LLC | Enhanced imaging system for a motor vehicle |
CN113673282A (zh) * | 2020-05-14 | 2021-11-19 | 华为技术有限公司 | 目标检测方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005132170A (ja) * | 2003-10-29 | 2005-05-26 | Mitsubishi Motors Corp | 駐車支援装置 |
CN101536032A (zh) * | 2006-11-02 | 2009-09-16 | 皇家飞利浦电子股份有限公司 | 图像识别的装置及方法 |
JP2012053663A (ja) * | 2010-09-01 | 2012-03-15 | Honda Motor Co Ltd | 物体種別判定装置 |
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP2940366B2 (ja) * | 1993-12-07 | 1999-08-25 | 住友電気工業株式会社 | 対象物の追従認識装置 |
EP1202214A3 (en) * | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
DE102004018813A1 (de) * | 2004-04-19 | 2006-02-23 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und/oder Verfolgung von Objekten |
JP5127182B2 (ja) | 2006-08-14 | 2013-01-23 | 富士重工業株式会社 | 物体検出装置 |
JP4937844B2 (ja) * | 2007-06-12 | 2012-05-23 | 富士重工業株式会社 | 歩行者検出装置 |
JP5171723B2 (ja) * | 2009-04-27 | 2013-03-27 | アルプス電気株式会社 | 障害物検知装置、および当該装置を搭載した車両 |
US8861842B2 (en) * | 2010-02-05 | 2014-10-14 | Sri International | Method and apparatus for real-time pedestrian detection for urban driving |
CN102741884B (zh) * | 2010-07-27 | 2016-06-08 | 松下知识产权经营株式会社 | 移动体检测装置及移动体检测方法 |
JP2012194864A (ja) | 2011-03-17 | 2012-10-11 | Toyota Motor Corp | 衝突回避装置及び衝突回避方法 |
US9070023B2 (en) * | 2013-09-23 | 2015-06-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method of alerting a driver that visual perception of pedestrian may be difficult |
-
2013
- 2013-09-27 JP JP2013202627A patent/JP5886809B2/ja active Active
-
2014
- 2014-09-05 DE DE102014112797.8A patent/DE102014112797A1/de not_active Withdrawn
- 2014-09-05 US US14/478,928 patent/US9280900B2/en active Active
- 2014-09-22 CN CN201410488153.5A patent/CN104517118B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005132170A (ja) * | 2003-10-29 | 2005-05-26 | Mitsubishi Motors Corp | 駐車支援装置 |
CN101536032A (zh) * | 2006-11-02 | 2009-09-16 | 皇家飞利浦电子股份有限公司 | 图像识别的装置及方法 |
JP2012053663A (ja) * | 2010-09-01 | 2012-03-15 | Honda Motor Co Ltd | 物体種別判定装置 |
CN103198332A (zh) * | 2012-12-14 | 2013-07-10 | 华南理工大学 | 一种实时鲁棒的远红外车载行人检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150091715A1 (en) | 2015-04-02 |
JP2015069379A (ja) | 2015-04-13 |
DE102014112797A1 (de) | 2015-04-02 |
CN104517118A (zh) | 2015-04-15 |
US9280900B2 (en) | 2016-03-08 |
JP5886809B2 (ja) | 2016-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104517118B (zh) | 车外环境识别装置 | |
CN104512333B (zh) | 车外环境识别装置 | |
CN107045619B (zh) | 车外环境识别装置 | |
US20200079368A1 (en) | Control device and control method | |
US20170301107A1 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
US9965957B2 (en) | Driving support apparatus and driving support method | |
CN102881186B (zh) | 车辆用外界识别装置及使用了该装置的车辆控制系统 | |
CN109074651A (zh) | 移动体的周围环境识别装置 | |
KR20090014124A (ko) | 이미지 평가 방법 및 장치 | |
CN104115188B (zh) | 立体物检测装置 | |
Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
JP2013225295A5 (zh) | ||
JP6722084B2 (ja) | 物体検出装置 | |
CN106295494A (zh) | 车外环境识别装置 | |
CN109278642A (zh) | 车辆倒车安全性映射 | |
CN106295493A (zh) | 车外环境识别装置 | |
WO2018190362A1 (ja) | 車両周囲の歩行者を検出する方法及び装置 | |
JP7119317B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
CN106570487A (zh) | 物体间的碰撞预测方法和装置 | |
CN104517099B (zh) | 滤波装置和环境识别系统 | |
JP6591188B2 (ja) | 車外環境認識装置 | |
JP6240475B2 (ja) | 車外環境認識装置 | |
CN109308442A (zh) | 车外环境识别装置 | |
JP6329417B2 (ja) | 車外環境認識装置 | |
JP6174960B2 (ja) | 車外環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: Tokyo, Japan Patentee after: Subaru Co. Address before: Tokyo, Japan Patentee before: Fuji Heavy Industries, Ltd. |
|
CP01 | Change in the name or title of a patent holder |