CN104512333A - 车外环境识别装置 - Google Patents

车外环境识别装置 Download PDF

Info

Publication number
CN104512333A
CN104512333A CN201410483197.9A CN201410483197A CN104512333A CN 104512333 A CN104512333 A CN 104512333A CN 201410483197 A CN201410483197 A CN 201410483197A CN 104512333 A CN104512333 A CN 104512333A
Authority
CN
China
Prior art keywords
edge
average
pixel
external environment
edge strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410483197.9A
Other languages
English (en)
Other versions
CN104512333B (zh
Inventor
笠置诚佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN104512333A publication Critical patent/CN104512333A/zh
Application granted granted Critical
Publication of CN104512333B publication Critical patent/CN104512333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

根据本发明公开的车外环境识别装置,高精度地检测水蒸气和/或排放气体等的浮游物。车外环境识别装置(120)具备:三维位置导出部(162),将拍摄了检测区域的图像中的多个对象部位的在实际空间中的三维位置导出;对象物确定部(164),将三维位置的差分在预定范围内的对象部位之间群组化而确定对象物;边缘强度导出部(168),将包括对象物的区域沿水平方向分割而设定多个分割区域,按照每个分割区域,基于分割区域内的各像素的亮度值,导出作为边缘强度的平均值的边缘平均;浮游物确定部(170),将边缘平均与预先确定的阈值进行比较,在边缘平均小于阈值的情况下,将该对象物确定为类浮游物的物体。

Description

车外环境识别装置
技术领域
本发明涉及一种确定存在于检测区域中的对象物与哪个特定物对应的车外环境识别装置。
背景技术
以往,已知有以下技术(例如,专利文献1、2),即,检测位于本车辆前方的车辆等的特定物,以回避与前行车辆的碰撞(碰撞回避控制),或者控制与前行车辆的车间距保持在安全距离(自适应巡航控制)。
但是,特别是在寒冷地区和/或海拔高的地方,会有水蒸气团浮游在道路上方的情况,或者白色的排放气体从前行车辆的排气管排出后滞留而不迅速扩散的情况。在上述的车辆的控制技术中,可能会将水蒸气和/或排放气体等的浮游物误判为车辆和/或行人等的特定物,运行用于回避它们的停止或减速的控制。
因此,公开了这样的技术(例如,专利文献3),即,算出所检测的物体的各部分的距离相对于平均值的偏离(分散)量,如果偏离量超过阈值,则判断为该检测的物体为水蒸气和/或排放气体等可接触的浮游物。并且,还公开了这样的技术(例如,专利文献4),即,基于相对距离而将检测区域内的对象部位作为对象物群组化,根据相对于对象物的亮度直方图的亮度的平均值、方差值、偏斜度或峰度中的任意一个或多个特征量,来判断对象物是否为白色的浮游物。
现有技术文献
专利文献
专利文献1:日本专利第3349060号公报
专利文献2:日本特开2010-224925号公报
专利文献3:日本特开2009-110168号公报
专利文献4:日本特开2012-243049号公报
发明内容
技术问题
但是,例如,在无风状态下,会有水蒸气和/或排放气体等的浮游物滞留(停滞)在道路上的情况。在这种情况下,由于浮游物的各部分的距离的偏离变小,因此利用专利文献3的技术难以区分浮游物与特定物。并且,由于浮游物可能呈现的距离分布图案涉及多方面因素,因此仅根据偏离无法准确地把握浮游物中的特征性的距离分布,浮游物的检测精度变为较低的值。
并且,例如,在信号灯的发光颜色和/或路灯在浮游物处反射,使得浮游物带有色彩的情况下,仅利用如专利文献4那样的判定白色的技术,会有无法提高浮游物的检测精度的情况。
鉴于这样的问题,本发明的目的在于提供一种可以高精度地检测水蒸气和/或排放气体等的浮游物的车外环境识别装置。
技术方案
为了解决上述问题,本发明的车外环境识别装置的特征在于,具备:三维位置导出部,将拍摄了检测区域的图像中的多个对象部位的在实际空间中的三维位置导出;对象物确定部,将三维位置的差分在预定范围内的对象部位之间群组化而确定对象物;边缘强度导出部,将包括对象物的区域沿水平方向分割而设定多个分割区域,按照每个分割区域,基于分割区域内的各像素的亮度值,导出作为边缘强度的平均值的边缘平均;浮游物确定部,将边缘平均与预先确定的阈值进行比较,在边缘平均小于阈值的情况下,将该对象物确定为类浮游物的物体。
边缘强度导出部可以基于在分割区域内设定的预定多个判定部位内的各像素的亮度值而导出边缘平均,预定多个判定部位可以在水平方向上以预定数量连续的状态,偏向对象物的水平方向端部侧,并且,在垂直方向上均等地分隔开。
判定部位可以是像素,边缘强度导出部可以使用将与判定部位对应的像素以及与判定部位在水平方向上相连的左右各两个像素作为对象的拉普拉斯滤波而导出边缘强度。
边缘强度导出部可以按照帧单位导出边缘平均,将在时间上连续的三个帧份的边缘平均中利用中值滤波的中值视为边缘平均。
有益效果
根据本发明,可以高精度地检测水蒸气和/或排放气体等的浮游物。
附图说明
图1是示出环境识别系统的连接关系的框图。
图2是示出车外环境识别装置的大致功能的功能框图。
图3是用于说明亮度图像和距离图像的说明图。
图4是用于说明判定部位的说明图。
图5是用于说明边缘强度导出部的工作的说明图。
图6是用于说明阈值的说明图。
图7是示出车外环境识别方法的整体处理流程的流程图。
图8是示出车外环境识别方法的整体处理流程的流程图。
图9是示出车外环境识别方法的整体处理流程的流程图。
符号说明
120  车外环境识别装置
162  三维位置导出部
164  对象物确定部
168  边缘强度导出部
170  浮游物确定部
具体实施方式
以下,参照附图来详细说明本发明的优选实施方式。相关实施方式中所示的尺寸、材料、其它具体的数值等仅是为了易于发明的理解的例示,除了特别声明的情况之外,并不限定本发明。在此,本说明书以及附图中,对于具有实质上相同的功能、构成的要素,通过使用相同的符号来省略重复说明,另外,与本发明没有直接关系的要素省略其图示。
近年来,搭载了所谓碰撞防止功能的车辆正在普及,即,通过搭载于车辆的车载相机来拍摄本车辆的前方的道路环境,基于图像中的颜色信息和/或位置信息确定前行车辆等的对象物,以回避与所确定的对象物的碰撞,或者将与前行车辆的车间距离保持在安全距离(ACC:Adaptive Cruise Control)。但是,如果使用图像而单纯地确定特定物,则还会发生将滞留在道路上的水蒸气和/或排放气体等的浮游物错误地识别为车辆和/或行人这类特定物的情况。
在此,还考虑到基于浮游物特有的距离的偏离和/或白度而确定浮游物,但在无风的状态下距离的偏离小,或者在浮游物处反射信号灯的发光颜色和/或路灯而变得不是白色的情况下,会有无法提高其确定精度的情况。因此,在本实施方式中,目的在于,着眼于在浮游物中其色彩仅单调地变化,即样式少、边缘的强度(亮度差分值)相对于通常的特定物而变得比较低的情况,按照边缘强度来检测浮游物。以下,对用于达到这种目的的环境识别系统进行说明,对作为其具体构成要素的车外环境识别装置进行详细描述。
(环境识别系统100)
图1是示出环境识别系统100的连接关系的框图。环境识别系统100构成为包括设置在本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU:Engine Control Unit)130。
摄像装置110构成为包括CCD(电荷耦合器件)和/或CMOS(互补金属氧化物半导体)等的摄像元件,能够拍摄相当于本车辆1的前方的环境,生成由三个色调(R(红)、G(绿)、B(蓝))构成的彩色图像和/或黑白图像。在此,采用通过摄像装置110所拍摄的彩色图像作为亮度图像,以与后述的距离图像相区别。
并且,摄像装置110以在本车辆1的行驶方向侧使两个摄像装置110各自的光轴大致平行的方式,被分开配置在大致水平方向上。摄像装置110例如按照1/60秒的帧(60fps)连续生成对本车辆1的前方的检测区域中存在的对象物所拍摄的图像数据。在此,识别的对象物不仅是车辆、行人、信号灯、道路(行驶路径)、护栏、建筑物等独立存在的立体物,也包括尾灯和/或方向指示灯、信号灯的各点亮部分等作为立体物的一部分而能够确定的物体。以下的实施方式中的各功能部,将这样的图像数据的更新作为契机,按照每个帧来执行各个处理。
车外环境识别装置120从两个摄像装置110分别获取图像数据,利用所谓的图案匹配将视差导出,将导出的视差信息(相当于后述的进深距离)与图像数据对应关联而生成距离图像。后面详细说明亮度图像以及距离图像。并且,车外环境识别装置120使用基于亮度图像的亮度以及基于距离图像的与本车辆1的进深距离,来确定本车辆1前方的检测区域中的对象物与哪个特定物对应。
如果车外环境识别装置120确定了特定物,则追踪该特定物(例如,前行车辆)的同时,判定特定物与本车辆1碰撞的可能性是否高。在此,判定为碰撞的可能性高的情况下,车外环境识别装置120通过设置在驾驶员的前方的显示器122将该情况向驾驶员进行警告显示(报知),并且对车辆控制装置130输出表示该情况的信息。
车辆控制装置130通过方向盘132、加速踏板134、制动踏板136来接收驾驶员的操作输入,并通过传送到转向机构142、驱动机构144、制动机构146,来控制本车辆1。并且,车辆控制装置130按照车外环境识别装置120的指令来控制驱动机构、制动机构。
以下,关于车外环境识别装置120的构成进行详细说明。在此,对在本实施方式中特征性的、将对象物确定为浮游物的步骤进行详细说明,并省略对于与本实施方式的特征无关的构成的说明。
(车外环境识别装置120)
图2是示出车外环境识别装置120的大致功能的功能框图。如图2所示,车外环境识别装置120构成为包括I/F部150、数据存储部152和中央控制部154。
I/F部150是用于进行与摄像装置110和/或车辆控制装置130的双向的信息交换的接口。数据存储部152由RAM、闪速存储器、HDD等构成,存储以下所示的各功能部的处理所必需的各种信息,并且,临时存储从摄像装置110接收到的图像数据。
中央控制部154由包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区域的RAM等的半导体集成电路构成,通过系统总线156来控制I/F部150、数据存储部152等。并且,在本实施方式中,中央控制部154还作为图像处理部160、三维位置导出部162、对象物确定部164、判定部位决定部166、边缘强度导出部168、浮游物确定部170而发挥功能。以下,关于这样的功能部,根据大致的目的,按照图像处理、对象物确定处理、浮游物确定处理这样的顺序对具体的工作进行说明。
(图像处理)
图像处理部160从两个摄像装置110分别获取图像数据,利用从另一个图像数据中检索与从一个图像数据任意提取的块(例如水平4像素×垂直4像素的排列)相对应的块的所谓的图案匹配导出视差。在此,“水平”表示画面的横向方向,“垂直”表示画面纵向方向。
作为该图案匹配,可以考虑在两个图像数据之间,按照表示任意的图像位置的块单位来比较亮度(Y色差信号)。例如,有采用亮度的差分的SAD(Sum of Absolute Difference,绝对误差和)、使用差分的平方的SSD(Sum ofSquared intensity Difference,误差平方和)和采用从各像素的亮度减去平均值而得到的分散值的相似度的NCC(Normalized Cross Correlation,归一化互相关)等的方法。图像处理部160对呈现在检测区域(例如水平600像素×垂直180像素)的所有的块进行这样的块单位的视差导出处理。在此,将块设为水平4像素×垂直4像素,但可以任意地设定块内的像素数。
然而,在图像处理部160中,虽然能够按照每个作为检测分辨率单位的块来导出视差,但是无法识别该块是哪种对象物的一部分。因此,视差信息并不是按照对象物单位,而是按照检测区域中的检测分辨率单位(例如块单位)来被单独地导出。在此,将由此导出的视差信息(相当于后述的进深距离)与图像数据对应关联的图像称为距离图像。
图3是用于说明亮度图像210和距离图像212的说明图。例如,通过两个摄像装置110,关于检测区域214生成如图3(a)那样的亮度图像(图像数据)210。然而,为了容易理解,在此仅示意性地示出摄像装置110分别生成的两个亮度图像210中的一个。在本实施方式中,图像处理部160从这样的亮度图像210求出每个块的视差,形成如图3(b)那样的距离图像212。在距离图像212中的各个块中,关联有该块的视差。在此,为了方便说明,用黑点表示导出了视差的块。
返回图2进行说明,三维位置导出部162基于由图像处理部160生成的距离图像212,用所谓的立体方法将检测区域214内的每个块的视差信息转变为包括水平距离、高度以及进深距离的实际空间中的三维位置信息。在此,立体方法是指通过利用三角测量法从对象部位的距离图像212中的视差导出该对象部位的相对于摄像装置110的进深距离的方法。这时,三维位置导出部162基于对象部位的进深距离、以及在与对象部位相同进深距离的道路表面上的点与对象部位在距离图像212上的检测距离,来导出对象部位的从道路表面起算的高度。而且,重新将导出的三维位置信息对应关联到距离图像212。由于相关的进深距离的导出处理和三维位置的确定处理可应用各种公知技术,所以在此省略其说明。
(对象物确定处理)
对象物确定部164使用基于距离图像212的三维位置信息将检测区域214中的对象部位(像素和/或块)之间进行群组化而确定对象物。具体来说,对象物确定部164以任意的对象部位作为基点,将该对象部位与水平距离的差分、高度的差分以及进深距离的差分在预先设定的预定范围内的其它对象部位进行群组化,将该对象部位也作为一体化的对象物。在此,预定范围可以通过实际空间上的距离来表示,并且可设定为任意的值(例如,1.0m等)。并且,关于通过群组化而新追加的对象部位,对象物确定部164也可以将该对象部位作为基点,将水平距离的差分、高度的差分以及进深距离的差分在预定范围内的其它对象部位进行群组化。结果,如果距离在预定范围内,则这些所有的对象部位作为对象物被群组化。
(浮游物确定处理)
接着,导出对象物中的边缘强度,基于其结果判定对象物是否为浮游物。
判定部位决定部166对于判定是否为浮游物的对象物,进一步决定成为边缘强度的判定对象的部位(以下称为判定部位)。
图4是用于说明判定部位的说明图。首先,如图4(a),判定部位决定部166用包括对象物的水平方向及垂直方向的端点的长方形220包围对象物,设定在水平方向上均等地分割为三份的区域(从画面左侧依次设为分割区域222a、222b、222c)。按照每个这样的分割区域222a、222b、222c进行以后的处理。
如图4(b)所示,判定部位决定部166在每个分割区域222a、222b、222c中设定多个(在此为25个)短条224。短条224沿水平方向延长并在垂直方向上以大致均等的间隔配置。相关的短条224的水平方向的长度为例如25个像素,垂直方向上的长度为例如1个像素。在此,设为垂直方向上大致均等是因为根据对象物的垂直方向的像素数在将短条224均等地间隔时会出现像素中的尾数。例如,分割区域222a、222b、222c的垂直方向的长度如果为25+24×n(n为整数),则能够使短条224之间在垂直方向上以空出n像素的方式均等地配置,但如果在此之外,则会发生短条224之间的间隔不相等的情况。在这种情况下,在相差1个像素的范围内设定短条224之间的间隔。例如,如果对象物的垂直方向的像素为100,则间隔存在3和4的情况。但是,短条224的水平方向和/或垂直方向的像素数、以及每个分割区域222a、222b、222c的短条224的数量不限于上述的值,可以设定为任意的值。
并且,短条224的在分割区域222a、222b、222c内的水平方向的位置按照每个分割区域222a、222b、222c而不同,例如,能够向对象物的水平方向端部侧偏移。例如,如图4(b)所示,在位于画面左边的分割区域222a处,从分割区域222a的左端起形成短条224;在位于画面右边的分割区域222c处,从分割区域222c的右端起形成短条224;在位于画面中央的分割区域222b处,以分割区域222b中水平方向的中央为中心以左右均等宽度的方式形成短条224。在本实施方式中,这样形成的短条224中的各像素成为判定部位。由此,在包括了易于产生边缘的水平方向的端部的情况下,能够涉及整体地判定对象物的亮度值的分布。
边缘强度导出部168首先对于判定部位决定部166所决定的判定部位,利用拉普拉斯滤波(Laplacian filter)而导出邻接的像素之间的亮度差分值,并将其作为边缘强度。
图5是用于说明边缘强度导出部168的工作的说明图。在此,如图5所示,以图4(b)中的任意一个短条224为例说明边缘强度的导出处理。在本实施方式的拉普拉斯滤波中,如图5那样,由与判定部位相对应的像素230和在水平方向上与该像素相连的左右两个像素232,求出与成为对象的判定部位对应的像素230的边缘强度。因此,如图5所示,一个短条224中,为了求出对于连续的25个像素的判定部位的边缘强度,需要短条224的左右两个像素232共计二十九个像素。
然后,边缘强度导出部168将与判定部位对应的像素230的亮度值放大4倍,并分别减小其左右两个像素(合计四个像素)232的亮度值(-1倍)。通过这样的计算,在与成为对象的判定部位相对应的像素230与其左右两个像素232处的亮度值不同的情况下,边缘强度变大;在亮度值大致相等的情况下,边缘强度变为接近0的值。进行25个像素×25个短条×3个分割区域=1875次这样的边缘强度计算。在本实施方式中,不拘于对象物的大小,通过固定判定部位的数量,抑制了处理负荷及处理时间的变动。
接着,边缘强度导出部168导出每个分割区域222a、222b、222c的边缘强度的平均值。即,累计分别包含在左中右三个分割区域222a、222b、222c中的所有25个像素/短条×25个短条=625个像素的判定部位的边缘强度,并除以该数(625)。于是,对于每个分割区域222a、222b、222c,求出一个边缘强度的平均值(以下,称为边缘平均)。将这样导出的边缘平均应用于浮游物的判定中。
但是,如果每帧单纯采用边缘平均,则原本不应当采用的突发的边缘平均也会这样反映到判定中。因此,本实施方式的边缘强度导出部168利用中值滤波,将在时间上连续的当前帧和前后一个帧共计三个帧中导出的边缘平均的中值(第二小的值或第二大的值)视为该帧中的边缘平均。因此,由于一个帧的边缘平均也被其前一帧和后一帧所利用,所以变为共计利用三次。并且,由于在边缘平均的导出起始帧中,其没有前一帧,因此不使用中值滤波而仅将该帧的边缘平均作为最终的边缘平均。
由此,即使有产生了突发的值的情况,通过将该帧的边缘平均替换为前后某一帧的边缘平均,能够得到沿时间方向均匀化的边缘平均。
浮游物确定部170针对每个帧将由边缘强度导出部168导出的边缘平均与预先确定的预定阈值进行比较,按照边缘平均是否小于阈值或是否为阈值以上来附加分数,累计该分数。例如,如果边缘平均小于阈值则累计+1(加1),如果边缘平均在阈值以上则累计-1(减去1)。
图6是用于说明阈值的说明图。在此,可以将阈值设为浮游物与一般的特定物(例如,车辆和/或行人)的边缘强度的中值。例如,图6中示出了与车辆、行人以及浮游物的进深距离相对应的边缘强度的实验值。参照图6能够理解的是,与车辆和/或行人的边缘强度相比,浮游物的边缘强度变得较小。在此,例如通过将阈值设为8,可以将车辆和/或行人与浮游物大致区分开。并且,可以按照特性而在每个分割区域222a、222b、222c中独立地设置阈值。
然后,浮游物确定部170判定累计的分数是否在11分以上,如果在11分以上,则将对象物判定为类浮游物。但是,将累计后的分数进行上下限设置,例如使上限为20且下限为-10。这样,通过设置上下限,即使不检测浮游物期间和/或检测浮游物期间经过了较长的时间,分数的绝对值也不会变大,在改变浮游物的检测的有无的情况下(即,从不检测切换为进行检测,或从进行检测切换为不检测),可以迅速地判定其有无。
(车外环境识别方法)
图7~图9示出了根据本实施方式的车外环境识别方法的整体处理流程的流程图。相关的车外环境识别方法按照帧单位执行。首先,如图7中所示,图像处理部160从两个摄像装置110分别获取图像数据,利用图案匹配将视差信息导出,生成与图像数据对应关联的距离图像212(S300)。三维位置导出部162将拍摄了检测区域214的图像中的多个对象部位的在实际空间中的三维位置导出(S302)。接着,对象物确定部164将三维位置的差分在预定范围内的对象部位之间群组化而确定对象物(S304)。
判定部位决定部166对于对象物确定部164中所确定的对象物,进一步决定成为边缘强度的判定对象的判定部位(S306)。接着,边缘强度导出部168将作为对象物中的预定的多个判定部位的边缘强度的平均值的边缘平均导出。具体来说,边缘强度导出部168从各分割区域222a、222b、222c选择一个短条224,并且选择该短条224的一个像素230(S308)。
参照图8,边缘强度导出部168判定左端的分割区域222a中的选择的像素230是否为边缘(S310),如果是边缘(S310中的“是”),则利用拉普拉斯滤波导出该像素230的边缘强度(S312)。然后,边缘强度导出部168累计分割区域222a中的边缘强度(S314)。并且,如果选择的像素230不是边缘(S310中的“否”),则进入下一分割区域222b中的处理。
接着,边缘强度导出部168判定中央的分割区域222b中的选择的像素230是否为边缘(S316),如果是边缘(S316中的“是”),则利用拉普拉斯滤波导出该像素230的边缘强度(S318)。然后,边缘强度导出部168累计分割区域222b中的边缘强度(S320)。并且,如果选择的像素230不是边缘(S316中的“否”),则进入下一分割区域222c中的处理。
接着,边缘强度导出部168判定右端的分割区域222c中的选择的像素230是否为边缘(S322),如果是边缘(S322中的“是”),则利用拉普拉斯滤波导出该像素230的边缘强度(S324)。然后,边缘强度导出部168累计分割区域222c中的边缘强度(S326)。并且,如果选择的像素230不是边缘(S322中的“否”),则进入像素结束判定步骤(S328)中的处理。
边缘强度导出部168对所选择的短条224中的所有像素230,判定上述的处理是否结束(S328),如果没有结束(S328中的“否”),则选择短条224内的下一像素230(S330)而重复自边缘判定处理(S310)起的处理。如果结束了(S328中的“是”),则进入分割区域结束判定步骤(S332)中的处理。
边缘强度导出部168对各分割区域222a、222b、222c中的所有短条224,判定上述的处理是否结束(S332),如果没有结束(S332中的“否”),则选择各分割区域222a、222b、222c内的下一短条224(S334)而返回自边缘判定处理(S310)起的处理。如果结束了(S332中的“是”),则边缘强度导出部168使各分割区域222a、222b、222c中累计的边缘强度除以像素230的数量(在此,为625),导出边缘平均(S336)。
接着,边缘强度导出部168判定是否导出了三个帧份的上述边缘平均(S338)。其结果如果导出了三个帧份的边缘平均(S338中的“是”),则边缘强度导出部168利用中值滤波,将前后三个帧中导出的边缘平均的中值视为该帧中的边缘平均,且为了下一次的中值滤波存储该帧中的边缘平均(S340)。另一方面,如果没有导出三个帧份的边缘平均(S338中的“否”),则就这样利用通过该帧导出的边缘平均(S342)。
参照图9,浮游物确定部170将边缘平均与预先确定的阈值进行比较(S344)。其结果,如果边缘平均小于阈值(S344中的“是”),则进一步判定累计的分数是否为20以上(S346)。其结果,如果分数小于20(S346中的“否”),则浮游物确定部170在分数上加1(S348)。并且,如果分数为20以上(S346中的“是”),则进入浮游物判定处理(S354)中的处理。
并且,如果边缘平均为阈值以上(S344中的“否”),则进一步判定累计的分数是否为-10以下(S350)。其结果,如果分数大于-10(S350中的“否”),则浮游物确定部170从分数减去1(S352)。并且,如果分数为-10以下(S350中的“是”),则进入浮游物判定处理(S354)中的处理。
接着,浮游物确定部170判定累计的分数是否为11分以上(S354),如果为11分以上(S354中的“是”),则将对象物确定为类浮游物的物体(S356);如果小于11分(S354中的“否”),则将对象物确定为不是浮游物(S358)。
以上,如所说明的,在本实施方式中,即使在浮游物的各对象部位的距离偏离小,或浮游物带有色彩的情况下,也可以按照对象物的边缘强度,高精度地检测水蒸气和/或排放气体等的浮游物。
并且,还提供使计算机作为车外环境识别装置120而发挥功能的程序和/或存储该程序并能够被计算机读取的软盘、磁光盘、ROM、CD、DVD、BD等的存储介质。在此,程序是指以任意的语言和/或记述方法记述的数据处理手段。
以上,参照附图说明了本发明的优选的实施方式,但本发明并不限定于该实施方式。应该了解的是,本领域技术人员在权利要求书所记载的范畴内,容易想到的各种变形例或者修正例,这些当然都属于本发明的技术的范围。
例如,在上述的实施方式中,列举有按照对象物的边缘强度确定浮游物的示例,但也可以将如日本特开2009-110168号公报中所示的、按照对应于物体的各对象部位的距离的平均值的偏离(分散)而确定浮游物的技术和/或如日本特开2012-243049号公报所示的、以相对于对象物的亮度直方图的亮度的平均值、方差值、偏斜度或峰度中的任意一个或多个特征量为基础来确定浮游物的技术,与本实施方式的技术并用,通过其综合评价确定浮游物。这样,可以提高浮游物的确定精度。
需要说明的是,本说明书的车外环境识别方法的各个步骤并不一定必须沿流程图所记载的顺序按时序进行处理,也可以包括根据并行的或者子例程的处理。
产业上的可利用性
本发明可以用于确定检测区域中存在的对象物与哪个特定物对应的车外环境识别装置。

Claims (4)

1.一种车外环境识别装置,其特征在于,具备:
三维位置导出部,将拍摄了检测区域的图像中的多个对象部位的在实际空间中的三维位置导出;
对象物确定部,将所述三维位置的差分在预定范围内的对象部位之间群组化而确定对象物;
边缘强度导出部,将包括所述对象物的区域沿水平方向分割而设定多个分割区域,按照每个分割区域,基于分割区域内的各像素的亮度值,导出作为边缘强度的平均值的边缘平均;
浮游物确定部,将所述边缘平均与预先确定的阈值进行比较,在该边缘平均小于该阈值的情况下,将该对象物确定为类浮游物的物体。
2.根据权利要求1所述的车外环境识别装置,其特征在于,所述边缘强度导出部基于在所述分割区域内设定的预定多个判定部位内的各像素的亮度值而导出边缘平均,所述预定多个判定部位以在水平方向上以预定数量连续的状态,偏向所述对象物的水平方向端部侧,并且,在垂直方向上均等地分隔开。
3.根据权利要求2所述的车外环境识别装置,其特征在于,所述判定部位是像素,
所述边缘强度导出部使用将与所述判定部位对应的像素以及与该判定部位在水平方向上相连的左右各两个像素作为对象的拉普拉斯滤波而导出边缘强度。
4.根据权利要求1至3中的任一项所述的车外环境识别装置,其特征在于,所述边缘强度导出部按照帧单位导出所述边缘平均,将在时间上连续的三个帧份的边缘平均中利用中值滤波的中值视为所述边缘平均。
CN201410483197.9A 2013-09-27 2014-09-19 车外环境识别装置 Active CN104512333B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-202629 2013-09-27
JP2013202629A JP5906224B2 (ja) 2013-09-27 2013-09-27 車外環境認識装置

Publications (2)

Publication Number Publication Date
CN104512333A true CN104512333A (zh) 2015-04-15
CN104512333B CN104512333B (zh) 2017-09-01

Family

ID=52673271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410483197.9A Active CN104512333B (zh) 2013-09-27 2014-09-19 车外环境识别装置

Country Status (4)

Country Link
US (1) US9349070B2 (zh)
JP (1) JP5906224B2 (zh)
CN (1) CN104512333B (zh)
DE (1) DE102014112820A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295493A (zh) * 2015-06-26 2017-01-04 富士重工业株式会社 车外环境识别装置
CN106560837A (zh) * 2015-10-02 2017-04-12 丰田自动车株式会社 物体识别装置以及烟雾判定方法
US10322643B2 (en) 2017-05-15 2019-06-18 Ford Global Technologies, Llc Traction battery with reference supercapacitor for charge monitoring
CN109960999A (zh) * 2017-12-25 2019-07-02 株式会社斯巴鲁 车外环境识别装置
CN109963744A (zh) * 2016-11-24 2019-07-02 麦克赛尔株式会社 照明装置
CN110871808A (zh) * 2018-09-03 2020-03-10 株式会社斯巴鲁 车外环境识别装置及车外环境识别方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174960B2 (ja) * 2013-09-27 2017-08-02 株式会社Subaru 車外環境認識装置
JP6457278B2 (ja) * 2015-01-23 2019-01-23 トヨタ自動車株式会社 物体検出装置及び物体検出方法
US9633283B1 (en) * 2015-12-28 2017-04-25 Automotive Research & Test Center Adaptive device and adaptive method for classifying objects with parallel architecture
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックIpマネジメント株式会社 画像認識装置
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
WO2023009549A2 (en) * 2021-07-26 2023-02-02 Cyngn, Inc. High-definition mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
CN101315326A (zh) * 2007-05-31 2008-12-03 财团法人工业技术研究院 烟雾侦测方法与装置
US20110135200A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
CN102567713A (zh) * 2010-11-30 2012-07-11 富士重工业株式会社 图像处理装置以及图像处理方法
CN102842031A (zh) * 2011-05-19 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377659B2 (ja) * 1995-09-07 2003-02-17 株式会社日立国際電気 物体検出装置及び物体検出方法
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4852355B2 (ja) * 2006-06-26 2012-01-11 パナソニック株式会社 放置物検出装置及び放置物検出方法
JP4956374B2 (ja) 2007-10-29 2012-06-20 富士重工業株式会社 物体検出装置および接触回避システム
JP5254102B2 (ja) 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
JP5615862B2 (ja) * 2012-03-07 2014-10-29 クラリオン株式会社 車両周囲監視装置
JP6174960B2 (ja) * 2013-09-27 2017-08-02 株式会社Subaru 車外環境認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
CN101315326A (zh) * 2007-05-31 2008-12-03 财团法人工业技术研究院 烟雾侦测方法与装置
US20110135200A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Method for determining if an input image is a foggy image, method for determining a foggy level of an input image and cleaning method for foggy images
CN102567713A (zh) * 2010-11-30 2012-07-11 富士重工业株式会社 图像处理装置以及图像处理方法
CN102842031A (zh) * 2011-05-19 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295493A (zh) * 2015-06-26 2017-01-04 富士重工业株式会社 车外环境识别装置
CN106295493B (zh) * 2015-06-26 2019-01-04 株式会社斯巴鲁 车外环境识别装置
CN106560837A (zh) * 2015-10-02 2017-04-12 丰田自动车株式会社 物体识别装置以及烟雾判定方法
CN106560837B (zh) * 2015-10-02 2019-07-26 丰田自动车株式会社 物体识别装置以及烟雾判定方法
CN109963744A (zh) * 2016-11-24 2019-07-02 麦克赛尔株式会社 照明装置
US10322643B2 (en) 2017-05-15 2019-06-18 Ford Global Technologies, Llc Traction battery with reference supercapacitor for charge monitoring
CN109960999A (zh) * 2017-12-25 2019-07-02 株式会社斯巴鲁 车外环境识别装置
CN110871808A (zh) * 2018-09-03 2020-03-10 株式会社斯巴鲁 车外环境识别装置及车外环境识别方法

Also Published As

Publication number Publication date
CN104512333B (zh) 2017-09-01
DE102014112820A1 (de) 2015-04-02
US20150092989A1 (en) 2015-04-02
JP2015069381A (ja) 2015-04-13
US9349070B2 (en) 2016-05-24
DE102014112820A9 (de) 2015-08-20
JP5906224B2 (ja) 2016-04-20

Similar Documents

Publication Publication Date Title
CN104512333A (zh) 车外环境识别装置
CN104517118B (zh) 车外环境识别装置
CN104952254B (zh) 车辆识别方法、装置和车辆
US9361528B2 (en) Vehicle-to-vehicle distance calculation apparatus and method
CN102881186B (zh) 车辆用外界识别装置及使用了该装置的车辆控制系统
US10944958B2 (en) Method and device for detecting height-limiting rod, and automatic driving system
US7974445B2 (en) Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program
CN104346623B (zh) 车外环境识别装置
CN104346624A (zh) 车外环境识别装置
JP3872179B2 (ja) 車両の衝突防止装置
JP6722084B2 (ja) 物体検出装置
CN104115201B (zh) 立体物检测装置
KR101721442B1 (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
JP6240475B2 (ja) 車外環境認識装置
EP4060640B1 (en) Traffic signal recognition method and traffic signal recognition device
CN108944926A (zh) 车外环境识别装置
JP6174960B2 (ja) 車外環境認識装置
KR20160133386A (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법
JP7347612B1 (ja) 車両制御装置及び車両制御方法
JP2008299787A (ja) 車両検知装置
CN109308442A (zh) 车外环境识别装置
JP2003208602A (ja) 車両用後側方警報装置
JP2015089789A (ja) 車両制御装置
JP2003149256A5 (zh)
JP7385118B2 (ja) タイヤ空気圧低下度判定装置、タイヤ空気圧低下度判定方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Subaru Co.

Address before: Tokyo, Japan

Applicant before: Fuji Heavy Industries, Ltd.

GR01 Patent grant
GR01 Patent grant