CN102975678A - 环境识别装置及环境识别方法 - Google Patents

环境识别装置及环境识别方法 Download PDF

Info

Publication number
CN102975678A
CN102975678A CN2012101389713A CN201210138971A CN102975678A CN 102975678 A CN102975678 A CN 102975678A CN 2012101389713 A CN2012101389713 A CN 2012101389713A CN 201210138971 A CN201210138971 A CN 201210138971A CN 102975678 A CN102975678 A CN 102975678A
Authority
CN
China
Prior art keywords
color identification
identification marking
environment
marking symbol
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101389713A
Other languages
English (en)
Other versions
CN102975678B (zh
Inventor
木户辰之辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN102975678A publication Critical patent/CN102975678A/zh
Application granted granted Critical
Publication of CN102975678B publication Critical patent/CN102975678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及环境识别装置及环境识别方法,本发明的环境识别装置获取检测区域内的对象部位的亮度;基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系,根据对象部位的亮度而在该对象部位设定颜色识别标识符;基于存储在数据存储单元的特定物与颜色识别标识符的对应关系,将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化而作为对象物;在对象物中,将利用设定有根据是否为光发生扩散的环境来选择的颜色识别标识符的对象部位而特定的外边缘作为对象物的外边缘。根据本发明,在雨天等光容易扩散的环境中也能提高对象物的特定精度,因此可以避免错误识别。

Description

环境识别装置及环境识别方法
技术领域
本发明涉及基于检测区域的对象物的亮度而识别该对象物的环境识别装置及环境识别方法。
背景技术
以往,检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物,并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车距保持在安全距离的技术已被为人所知(例如,专利文献1、2)。
而且,在这种技术中,不仅将对象物一律特定为物体,而且为了进行更高精度的控制,还存在判断对象物是以与本车辆相同的速度行驶的前行车辆,还是不移动的被固定的物体等的技术。这里,当通过对检测区域的拍摄而检测出对象物时,在特定对象物为何物之前,应从所拍摄的图像中提取(剪切)对象物本身。
例如,当所拍摄的图像为彩色图像时,可以采用将具有相似的亮度(颜色)的像素群组化并作为对象物提取的方法。
现有技术文献
专利文献
专利文献1:日本专利第3349060号
专利文献2:日本特开平10-283461号公报
然而,当下雨或下雪时,因为附着在前挡风玻璃上的水滴或擦拭该水滴时形成的水纹等,导致所拍摄的图像呈现出信号灯等的对象物的光发生扩散的形态。因此,如果简单地将具有类似的颜色特性的多个像素彼此群组化,则这种光发生了扩散的对象物可能被识别成比实际的对象物大的形态。
发明内容
本发明是鉴于这种问题而提出的,其目的在于提供一种在雨天等光容易扩散的环境中能够提高对象物的特定精度、避免错误识别的环境识别装置和环境识别方法。
为了解决上述问题,本发明的环境识别装置,包括:数据存储单元,使预先设定的预定数量的颜色识别标识符与亮度范围一一对应,并针对多个特定物的每一个对应多个颜色识别标识符,同时针对是否为检测区域中光发生扩散的环境的检测结果的每一个对应从该多个颜色识别标识符选择的一个或多个颜色识别标识符的组合进行存储;亮度获取单元,用于获取检测区域内的对象部位的亮度;颜色识别标识符设定单元,基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系,根据对象部位的亮度而在该对象部位设定颜色识别标识符;群组化单元,基于存储在数据存储单元的特定物与颜色识别标识符的对应关系,将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化而作为对象物;环境判定单元,判定是否为检测区域中发生光扩散的环境;外边缘确定单元,根据是否为光发生扩散的环境而选择组合,在对象物中,将利用设定有所选择的该组合的颜色识别标识符的对象部位而特定的外边缘作为该对象物的外边缘。
进一步包含检测降雨的雨检测单元,环境判定单元在雨检测单元检测到降雨时,判定为光发生扩散的环境。
进一步包含检测降雪的雪检测单元,环境判定单元在雪检测单元检测到降雪时,判定为光发生扩散的环境。
环境判定单元分级别地判断光的扩散情况,数据存储单元在光的扩散情况的各级别的每一个级别对应赋予从多个颜色识别标识符选择的一个或多个颜色识别标识符的组合进行存储,外边缘确定单元根据光的扩散情况选择组合,并在对象物中,将利用设定有所选择的该组合的颜色识别标识符的对象部位而特定的外边缘作为该对象物的外边缘。
为了解决上述问题,本发明的环境识别方法,取检测区域内的对象部位的亮度;基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系,根据对象部位的亮度而在该对象部位设定颜色识别标识符;基于存储在数据存储单元的特定物与颜色识别标识符的对应关系,将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化而作为对象物;判定是否为检测区域中发生光扩散的环境;基于存储在数据存储单元的、对于否为检测区域中光发生扩散的环境的检测结果的每一个的、从多个颜色识别标识符选择的一个或多个颜色识别标识符的组合的对应关系,根据是否为光发生扩散的环境而选择组合;在对象物中,将通过设定有所选择的组合的颜色识别标识符的对象部位特定的外边缘作为该对象物的外边缘。
根据本发明,在雨天等光容易扩散的环境中也能提高对象物的特定精度,因此可以避免错误识别。
附图说明
图1为示出环境识别系统的连接关系的方框图。
图2为用于说明亮度图像和距离图像的说明图。
图3为示出环境识别装置的概略功能的功能方框图。
图4为用于说明颜色表格的说明图。
图5为用于说明特定物表格的说明图。
图6为用于说明通过位置信息获取部变换为三维位置信息的说明图。
图7为用于说明颜色识别标识符对应图的说明图。
图8为用于说明群组化单元的处理的说明图。
图9为用于说明外边缘确定单元的处理的说明图。
图10为表示环境识别方法的整个流程的流程图。
图11为表示颜色识别标识符对应图生成处理的流程的流程图。
图12为表示群组化处理的流程的流程图。
图13为表示外边缘确定处理的流程的流程图。
图14为表示特定物确定处理的流程的流程图。
符号说明
1:车辆
122:检测区域
124:亮度图像
126:距离图像
130:环境识别装置
152:数据存储单元
160:亮度获取单元
162:位置信息获取单元
164:颜色识别标识符设定单元
166:群组化单元
168:环境判定单元
170:外边缘确定单元
172:特定物确定单元
194:颜色识别标识符
200:特定物表格
202:幅度范围
210:颜色识别标识符对应图
具体实施方式
以下,参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等是仅仅是为了使发明容易理解而例示的,除了特别指定的情况之外,并不能用来限定本发明。在此,本说明书及附图中,对于具有实质上相同的功能、结构的要素,通过赋予相同的符号的方式省略重复性说明,而且对与本发明没有直接关系的要素省略了图示。
(环境识别系统100)
图1为示出环境识别系统100的连接关系的方框图。环境识别系统100包含设置在车辆1内的多个(本实施方式中为两个)摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。
摄像装置110包含电荷耦合器件(CCD,Charge-Coupled Device)或互补金素氧化半导体(CMOS,Complementary Metal-Oxide Semiconductor)等摄像器件,越过前挡风玻璃能够获取彩色图像,即,像素单位中可获取三个色相(红、绿、蓝)的亮度。在本实施方式中,把颜色和亮度同等看待,在同一篇文章里包含两个用语时,可相互交替读取为构成颜色的亮度或具有亮度的颜色。在此,由摄像装置110所拍摄的彩色图像称为亮度图像,区别于后述的距离图像。而且,摄像装置110为两个,两个摄像装置110在大致水平方向上分开布置,以在车辆1的行驶方向侧两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成拍摄车辆1前方的检测区域中的对象物的图像数据。这里,对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物,还包括尾灯或转向指示灯、信号灯的各个照明部分等能够特定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。
图像处理装置120从两个摄像装置110分别获取图像数据,并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及示出任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如,水平4像素×垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此,水平是指所拍摄的图像的画面横向方向,相当于实际空间中的水平方向。而且,垂直是指所拍摄的图像的画面纵向方向,相当于实际空间中的竖直方向。
所述图案匹配是指,在两个图像数据之间以示出任意图像位置的区块单位比较亮度值(Y色差信号)的方法。例如,包括求出亮度值的差值的绝对差值和(SAD,Sum ofAbsolute Difference)、将差值平方后使用的差值的平方和(SSD,Sum of Squared intensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC,Normalized CrossCorrelation)等方法。图像处理装置120对于被显示在检索区域(例如,600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此,将区块设定为4像素×4像素,但区块内的像素数量可以任意地设定。
但是,在图像处理装置120中,虽然对作为检测分辨率的单位的每个区块能够导出视差,但无法识别该区块是哪种对象物的一部分。因此,视差信息不是对象物单位,而是作为检测区域的检测分辨率单位(例如区块单位)而被独立地导出。在此,将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。
图2为用于说明亮度图像124和距离图像126的说明图。例如,假设通过两个摄像装置110针对检测区域122生成图2(a)所示的亮度图像(图像数据)124。但是,这里,为了便于理解,仅模式性地示出两个亮度图像124中的一个。在本实施方式中,图像处理装置120从这种亮度图像124求出每个区块的视差,从而形成图2(b)所示的距离图像126。对于距离图像126中的各个区块来说,其区块的视差相互关联。在此,为了便于说明,将导出视差的区块以黑点表示。
对于视差来说,容易在图像的边缘部分(相邻像素之间明暗的差值较大的部分)被特定,因此在距离图像126中,赋予黑点的、导出视差的区块在亮度图像124中也大多形成边缘。因此,图2(a)所示的亮度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。
环境识别装置130从图像处理装置120获得亮度图像124和距离图像126,并利用基于亮度图像124的亮度和基于距离图像126的与本车辆1的相对距离特定检测区域122中的对象物对应于哪种特定物。这时,环境识别装置130利用所谓的立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。这里,立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于环境识别装置130将在后面详述。
车辆控制装置140执行避免本车辆与通过环境识别装置130特定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说,车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态,并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此,致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且,当推断出将与对象物产生碰撞时,车辆控制装置140在设置在驾驶者前方的显示器148进行相应警告显示(报警)的同时,控制致动器146使车辆1自动地减速。车辆控制装置140也可以与环境识别装置130形成为一体。
(环境识别装置130)
图3为示出环境识别装置130的概略的功能的功能方框图。如图3所示,环境识别装置130包括I/F单元150、数据存储单元152、环境检测单元154、中央控制单元156。
I/F单元150是用于使图像处理装置120和车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成,以用于保存颜色表格(对应关系)和特定物表格(对应关系)或以下所示各个功能单元的处理中所必要的各种信息,而且暂时保存从图像处理装置120接收的亮度图像124、距离图像126。在此,颜色表格和特定物表格的使用方式如下。
图4为用于说明颜色表格190的说明图。在颜色表格190中,表示预先设定的预定数量的颜色的亮度范围192对应于颜色识别标识符194。例如,颜色识别标识符“1”中对应有与鲜红色相应的亮度范围192,颜色识别标识符“2”中对应有与黄色相应的亮度范围192,颜色识别标识符“3”中对应有与鲜青绿色相应的亮度范围192,颜色识别标识符“4”中对应有与相对于颜色识别标识符“1”而言较暗的红色相应的亮度范围192,颜色识别标识符“5”中对应有与相对于颜色识别标识符“4”而言较暗的红色相应的亮度范围192,颜色识别标识符“6”中对应有与相对于颜色识别标识符“2”而言较暗的黄色相应的亮度范围192,颜色识别标识符“7”中对应有与相对于颜色识别标识符“3”而言较暗的青绿色相应的亮度范围192,颜色识别标识符“8”中对应有与相对于颜色识别标识符“7”而言较暗的青绿色相应的亮度范围192。但是,无容置疑,亮度范围并不局限于图4中记载的范围,而且其数量也不局限于图4中记载的数量。
图5为用于说明特定物表格200的说明图。在特定物表格200中,针对多个特定物对应有与特定物自身的亮度范围相应的代表颜色识别标识符194a、还包括接近特定物的亮度的范围的一个或多个颜色识别标识符194(在本实施方式中称为“子颜色识别标识符194b”)、表示特定物的大小范围的幅度范围202。这里,作为特定物,可假设“信号灯(红)”、“信号灯(黄)”、“信号灯(青绿)”、“尾灯(红)”、“转向指示灯(橙)”、“道路标识(黄)”、“道路标识(蓝)”、“道路标识(绿)”等在道路上行驶时需要看见的各种物体。当然,特定物并不局限于图5所示的物体。而且,特定物表格200中,特定物的特定具有优先顺序,该环境识别处理依照该优先顺序,对于从特定物表格200中的多个特定物中依次选择出的每一个特定物执行。特定物中,例如,特定物“信号灯(红)”中对应有用于特定特定物“信号灯(红)”的一个或多个颜色识别标识符“1”、“4”。
代表颜色识别标识符194a为相关的一个或多个颜色识别标识符194中的任意的识别标识符,使用与特定特定物时最适合的亮度相对应的颜色识别标识符194来确定。并且,子颜色识别标识符194b使用如下的颜色识别标识符194来确定,即,适合在雨、雪、雹、雾等光发生扩散的环境中用来特定由特定物发出的光扩散的部分的对象部位的亮度所对应的的颜色识别标识符。
并且,针对由后述的环境判定单元168判定的、确定为在检测区域中光发生了扩散的环境的检测结果,对应有代表颜色识别标识符194a,针对在检测区域中光没有发生扩散的环境的检测结果,对应有代表颜色识别标识符194a和子颜色识别标识符194b。这里,相对于代表颜色识别标识符194a而言,子颜色识别标识符194b中设定有低亮度范围。这是由于对特定物进行特定时,仅用代表颜色识别标识符194a可能无法恰当地检测出其范围。
本实施方式中,基于特定物表格200,在亮度图像124内的任意对象部位中满足有关任意特定物的多个颜色识别标识符194(亮度范围192)条件的对象部位成为特定物的候补。例如,当对象部位的亮度被包含于基于特定物“信号灯(红)”的多个颜色识别标识符194的亮度范围192之内时,将该对象部位作为“信号灯(红)”的候补。并且,将对象部位群组化的对象物被提取为类似特定物的形态时,例如,被群组化的对象物的大小被包含在“信号灯(红)”的幅度范围“0.2~0.4m”之内时,被判断为特定物。被判断为特定物的对象部位通过特定物固有的颜色识别标识符(识别编号)被标记。这里,对象部位假设为像素或集合像素的区块,但本实施方式中,为了便于说明,假设为像素。
环境检测单元154例如由检测降雨的雨检测单元和检测降雪的雪检测单元构成,若检测到降雨或降雪,则将表示检测到降雨的检测信息或检测到降雪的检测信息输出到环境判定单元168。并且,环境检测单元154也可以在有无降雨或降雪的信息上附加降雨或降雪的量作为检测信息,将其输出到环境判定单元168。此外,环境检测单元154的检测并不局限于降雨或降雪,还可以检测摄像装置110的拍摄环境变为逆光等的、所拍摄的图像中的信号灯等对象物的光被扩散的环境。
雨检测单元例如包含发出红外线的发光器件、将红外线引导到前挡风玻璃的棱镜、将从前挡风玻璃反射的红外线作为对应于受光强度的输出值进行输出的受光器件。当前挡风玻璃上附着水滴时,照射到附着其水滴的部位的红外线不会反射到受光器件,导致受光器件的输出值降低。雨检测单元在其输出值在预定阈值以下时,检测为降雨。雨检测单元可以通过除此之外的各种现有技术来实现。雪检测单元也可以通过现有的各种技术来实现,因此在此省略对其结构等的详细的描述。
中央控制单元156由包括中央处理器(CPU)、存储程序等的ROM、作为工作区的RAM等的半导体集成电路构成,通过系统总线158控制I/F单元150和数据存储单元152以及环境检测单元154。而且,在本实施方式中,中央控制单元156具有作为亮度获取单元160、位置信息获取单元162、颜色识别标识符设定单元164、群组化单元166、环境判定单元168、外边缘确定单元170、特定物确定单元172、图案匹配单元174的功能。
亮度获取单元160根据后述的颜色识别标识符设定单元164的控制指令,从接收的亮度图像124以对象部位(像素)单位获取亮度(在像素单位中获取三个色相(红、绿、蓝)的亮度)。这时,当检测区域122处于例如雨天或阴天时,亮度获取单元160也可以调整白平衡之后获取亮度,以能够获取原始的亮度。
位置信息获取单元162根据后述的群组化单元166的控制指令,使用立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离x、离道路表面的高度y以及从本车辆1的相对距离z的三维位置信息。在此,视差信息表示距离图像126中的各个对象部位的视差,而三维位置信息表示实际空间中的各个对象部位的相对距离的信息。因此,在使用的术语中,水平距离、高度、相对距离是指实际空间上的距离,检测距离是指距离图像126上的距离。而且,当视差信息并非以像素单位,而是以区块单位(即,以多个像素为单位)被导出时,该视差信息被视为属于区块的所有像素的视差信息,从而能够执行像素单位的计算。
图6为用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置信息获取单元162将距离图像126识别为如图6所示的像素单位的坐标系。这里,在图6中,将左下角设定为原点(0,0),横向方向设定为i坐标轴,纵向方向设定为j坐标轴。因此,具有视差dp的像素能够由像素位置i、j和视差dp表示为(i,j,dp)。
将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此,将车辆1的行进方向右侧方设定为X轴的正方向,车辆1的上方设定为Y轴的正方向,车辆1的行进方向(前方)设定为Z轴的正方向,经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0,0,0)。此时,假设道路为平面时,道路表面与X-Z平面(y=0)一致。位置信息获取单元162通过以下的数学式1~数学式3将距离图像126上的区块坐标(i,j,dp)变换为实际空间上的三维的点坐标(x,y,z)。
x=C D/2+z·P W·(i-I V)   ...数学式1
y=C H+z·P W·(j-J V)     ...数学式2
z=K S/d p                 ...数学式3
在此,CD为摄像装置110之间的间隔(基线长度),PW为每一个像素的视角,CH为摄像装置110自道路表面的布置高度,IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素),KS为距离系数(KS=CD/PW)。
颜色识别标识符设定单元164基于存储在数据存储单元152的特定物表格200,根据对应部位的亮度给对象部位设定颜色识别标识符。
具体来说,颜色识别标识符设定单元164通过使亮度获取单元160获取亮度图像124上的任意对象部位的亮度。接着,颜色识别标识符设定单元164依次选择登记在颜色表格190中的颜色识别标识符194,判断获取的一个对象部位的亮度是否包含于依次选择出的颜色识别标识符194的亮度范围192。然后,若对象部位的亮度包含于成为对象的亮度范围192之内,则对该对象部位设定该颜色识别标识符194,制作颜色识别标识符对应图。
颜色识别标识符设定单位164对于多个对象部位的每一个顺序进行这种各个对象部位的亮度与登记在颜色表格190上的多个颜色识别标识符194的亮度范围192之间的一系列比较。这里,颜色识别标识符194的选择顺序遵从如上所述的表示在颜色表格190上的优先顺序。即,在图4的颜色表格190的例子中,以“鲜红”、“黄”、“鲜青绿”、“红”、“暗红”、“暗黄”、“青绿”、“暗青绿”的顺序执行比较处理。
而且,按照所述优先顺序进行比较的结果,当判断为对象部位的亮度包含于优先顺序高的颜色识别标识符194的亮度范围192时,就不会执行有关优先顺序低于颜色识别标识符194的比较处理。因此,对于一个对象部位最多赋予一个颜色识别标识符194。这是因为,由于多个特定物不会在空间上重叠,因此由颜色识别标识符设定单位164一旦设定为任意的颜色识别标识符194的对象物就没有必要判断是否会是其他颜色识别标识符194。如此,通过排他地处理对象部位,能够避免对已经设定了颜色识别标识符194的对象部位进行重复的设定处理,从而能够减轻处理负荷。
图7为用于说明颜色识别标识符对应图210的说明图。颜色识别标识符对应图210是在亮度图像124中叠加颜色识别标识符194的图。因此,在估计具有对应于颜色识别标识符194的亮度范围192的亮度的特定物的相应位置上集中地设定有颜色识别标识符194。
例如,在颜色识别标识符对应图210中的局部对应图210a中,相当于前行车辆的尾灯的多个对象部位212的亮度以颜色识别标识符“1”、颜色识别标识符“2”、颜色识别标识符“3”、颜色识别标识符“4”的顺序与亮度范围192进行比较。其结果,因为对象部位212的亮度被包含在颜色识别标识符“4”的亮度范围192内,因此对应特定物“尾灯(红)”的代表颜色识别标识符“4”。并且,在颜色识别标识符对应图210中的局部对应图210b中,因为相当于信号灯的右侧点亮部分的多个对象部位214的亮度被包含于颜色识别标识符“1”的亮度范围192内,因此对象部位214的亮度对应特定物“信号灯(红)”的代表颜色识别标识符“1”。进一步,在颜色识别标识符对应图210中的局部对应图210c中,相当于前行车辆的后灯的多个对象部位216的亮度以颜色识别标识符“1”、颜色识别标识符“2”、颜色识别标识符“3”的顺序与亮度范围192进行比较,最终对应特定物“尾灯(红)”的代表颜色识别标识符“4”和特定物“转向指示灯(橙)”的代表颜色识别标识符“5”。图7中示出亮度图像124的多个对象部位上被赋予颜色识别标识符194的图,但这种表示仅仅是为便于理解的概念性表示,实际上,在对象位置上用数据登记颜色识别标识符194。
群组化单元166以任意的对象部位为基点,将该对象部位和水平距离x的差值以及高度y的差值在预定范围(例如,1.0m等)内的、对应于相同特定物的对象部位群组化,作为对象物。这里,预定范围用实际空间上的距离表示,且可以设定为任意的值。
具体来讲,群组化单元166首先依次获得亮度图像124中的任意的对象部位的颜色识别标识符194。然后,群组化单元166以该对象部位为基点,将对象部位和水平距离x的差值和高度y的差值在预定范围内的、满足条件的对象部位群组化,作为对象物。这里,条件是设定有将作为基点的对象部位的颜色识别标识符194作为代表颜色识别标识符194a的特定物所对应的一个或多个颜色识别标识符194(在本实施方式中,代表颜色识别标识符194a和子颜色识别标识符194b)的对象部位。
这里,群组化单元166对于通过群组化而新增的对象部位也进行如下群组化,即,以该对象部位为基点,将水平距离x的差值和高度y的差值在预定范围内的、设定有与同一个特定物对应的代表颜色识别标识符194a和子颜色识别标识符194b的对象部位群组化。结果,只要设定有与同一个特定物对应的代表颜色识别标识符194a和子颜色识别标识符194b的对象部位之间的距离在预定范围之内,则这些全部被群组化。
在此,群组化单元166使用实际空间上的水平距离x或高度y进行判断,但当利用亮度图像124或距离图像126上的检测距离判断时,用于群组化的预定范围的阈值会根据对象部位的相对距离z而变化。如图2等所示,亮度图像124或距离图像126中,由于原本远近的物体都被表示在平面上,因此位于主体远处的物体被表示得小(短),位于附近的物体被表示得大(长)。因此,亮度图像124或距离图像126中的预定范围的阈值,例如对于位于远处的对象部位设定得较小,对于位于附近的对象部位设定得较大。由此,在远处和附近的检测距离不同时,也能够实现稳定的群组化。
并且,在此,分别独立判断水平距离x的差值和高度y的差值,仅在所有差值被包含在预定范围时才作为同一群组,但还可以依据其他的计算。例如,当水平距离x的差值和高度y的差值的欧氏距离(Euclidean distance)
Figure BDA00001609607600121
被包含于预定范围之内时,也可以作为同一群组。通过所述计算,能够导出对象部位在实际空间上的正确的彼此距离,能够提高群组化精度。
图8为用于说明群组化单元166的处理的说明图。这里,为了便于理解,省略示出颜色识别标识符194。群组化单元166在图8(a)中示出的颜色识别标识符对应图210中,对预定范围内的、例如设定有对应于特定物“信号灯(红)”的代表颜色识别标识符194a和子颜色识别标识符194b的所有对象部位进行群组化,如图8(b)所示,作为对象物218。由此,提取特定物“信号灯(红)”。
环境判定单元168判断是否为检测区域122的光发生扩散的环境。这里,光发生扩散的环境由如下原因产生,例如,因为降雨或降雪等导致前挡风玻璃上附着水滴或擦拭该水滴时形成的水纹等。环境判定单元168在由环境检测单元154输出的检测信息表示降雨或降雪时,判断为检测区域122的光发生扩散的环境。
图9为用于说明外边缘确定单元170的处理的说明图。在这里,为了便于理解,图中省略示出颜色识别标识符194。通过群组化单元166,对象部位被群组化而成为对象物之后,为了使数据处理变得容易,对象物将其外边缘设定为例如矩形形状。具体来讲,在构成对象物的对象部位中,提取水平距离x在最左xl的对象部位和最右xr的对象部位,以及高度y最小ymin的对象部位和最大ymax的对象部位。并且,将由x=xl、x=xr、y=ymin、y=ymax这四条直线包围的四边形作为该对象物的外边缘。
但是,如图9(a)所示,在雨天拍摄的信号灯的颜色识别标识符对应图210中,信号灯的光源的光朝任意方向延伸(映射)扩散。此时,如果用白色框线表示的四边形的矩形区域设定为对象物的外边缘,则比实际光源大的范围被判定为对象物的外边缘。
如此,对应于扩散的光的对象部位会降低特定物的特定精度,因此最好从对象物进行排除。但是,在晴天,对应于该扩散的光的亮度范围在特定信号灯的轮廓时被有效利用。为此,如果一律地排除属于扩散的光的亮度范围中的对象部位,则可能导致晴天时对特定物进行的特定精度。
因此,外边缘确定单元170根据是否为光发生扩散的环境来选择颜色识别标识符194,在对象物中将利用设定有所选择的颜色识别标识符194的对象部位所特定的外边缘作为对象物的外边缘。然而,在本实施方式中,以代表颜色识别标识符194a或子颜色识别标识符194b作为例子,但是也可以利用多个颜色识别标识符的组合。
在图9(b)中,模式性地举例示出构成对象物的对象部位230a、230b。这里,对象部位230a被对应赋予代表颜色识别标识符194a,对象部位230b被对应赋予子颜色识别标识符194b。
外边缘确定单元170针对被对应赋予代表颜色识别标识符194a的对象部位230a提取水平距离x在最左xl的对象部位和最右xr的对象部位,以及高度y最小ymin的对象部位和最大ymax的对象部位。并且,将其坐标存储到数据存储单元152。
并且,外边缘确定单元170针对对应有子颜色识别标识符194b的对象部位230b提取水平距离x在最左xl的对象部位和最右xr的对象部位,以及高度y最小ymin的对象部位和最大ymax的对象部位。并且,将其坐标存储到数据存储单元152。
接着,当由环境判定单元168判断为光发生扩散的环境时,外边缘确定单元170使用被对应赋予代表颜色识别标识符194a的对象部位230a的坐标,用x=xl、x=xr、y=ymin、y=ymax这四条直线包围的四边形的矩形区域包含该多个对象部位。这时,在图9(b)的例子中,外边缘被确定为被对应赋予子颜色识别标识符194b的最下端的4个对象部位230b从对象物排除,包含剩余的12个对象部位230a、230b。
如上所述,相对于代表颜色识别标识符194a而言,子颜色识别标识符194b设定为低亮度范围。因此,在图9(c)中用白色框线表示的那样,外边缘判定单元170排除亮度较低的、倾斜地延伸扩散的光的影响,而基于亮度较高的对象部位来确定外边缘。
如此,本实施方式的环境识别装置130预先在特定物上对应赋予用于特定不受扩散之影响的光源部分的代表颜色识别标识符194a。因此,即使在雨天等,信号灯等的光源的光发生扩散的情况下,外边缘确定单元170也可以基于代表颜色识别标识符194a而排除扩散的光的影响,从而确定对象物的外边缘使其恰当地包含光源。并且,可以提高图案匹配等后期处理的精度。
并且,当由环境判定单元168判断为光发生扩散的环境时,可以考虑一开始就只用代表颜色识别标识符194a进行群组化而构成对象物。但是,例如在雨天,水滴并不是均匀地附着在前挡风玻璃上,而且通过雨刷器擦拭后的水滴的分散程度也是千差万别,因此光发生扩散的程度根据情况有所不同。因此,如果一开始就只用代表颜色识别标识符194a进行群组化,则例如可能发生不能将对应于信号灯的对象部位作为一个对象物进行群组化的情况。在本实施方式中,暂且由群组化单元166用代表颜色识别标识符194a和子颜色识别标识符194b群组化对象部位之后,通过外边缘确定单元170确定外边缘,从而可以避免这种情况发生。
这里,例举了针对是否为光发生扩散的环境的检测结果,对应赋予代表颜色识别标识符194a、子颜色识别标识符194b的例子进行了说明。但是,例如,环境判定单元168也可以获得表示降雨量或降雪量的检测信息,并基于该检测信息分级别地判断光发生扩散的情况。此时,数据存储单元152针对光发生扩散的情况的各个级别对应赋予从多个颜色识别标识符194选择的一个或多个颜色识别标识符194的组合进行存储。并且,外边缘确定单元170根据光发生扩散的情况选择组合。
具体来讲,关于降雨,假设根据大雨、中雨、小雨等降雨量对降雨进行了分级分类。并且,假设例如根据降雨的分类,预先对应地设定了由上述的雨检测单元的受光器件输出的输出值(检测信息)的范围。环境判定单元168特定对应于输出值的降雨的分类,输出到外边缘确定单元170。这里,假定降雨量越多,光扩散越严重。外边缘确定单元170选择根据光扩散情况(大雨、中雨、小雨)而分级别地设定的颜色识别标识符194的组合,基于所选择的颜色识别标识符194的组合而确定外边缘。
如此,外边缘确定单元170根据分级别地设置的光扩散情况来区别使用颜色识别标识符194的多个组合,从而可以使用更符合降雨量或降雪量等环境的亮度范围192,确定对象物的外边缘。
如上所述,由于亮度图像124的光扩散由降雨或降雪引起,因此环境识别装置130通过具备降雨检测单元或降雪检测单元,基于降雨或降雪来可靠地掌握光扩散情况,从而可以将对象物的外边缘确定为恰当的大小。
由此,环境识别装置130可以从亮度图像124提取一个或多个对象物作为特定物,并可以将该信息用于各种控制。例如,通过提取特定物“信号灯(红)”,可以掌握该对象物为不移动的固定物的同时,如果该对象物是与本车辆车道有关的信号灯,则可以掌握本车辆1应该停车或减速。并且,通过提取特定物“尾灯(红)”,能够掌握该处有与本车辆1共同行使的前行车辆,且该前行车辆的背面位于特定物“尾灯(红)”的相对距离z。
由群组化单元166群组化的对象物只要满足预定的条件,则特定物确定单元172将该对象物确定为特定物。例如,如图5所示,当特定物表格200中对应赋予幅度范围202时,特定物确定单元172基于特定物表格200,只要对象物的大小(对象物的水平距离x的幅度和高度y的幅度的全部)被包含于特定物的代表颜色识别标识符194a的幅度范围202之中,则将该对象物确定为成为对象的特定物。并且,也可以对对象物的水平距离x的幅度和高度y的幅度分别设定幅度范围202。在此,将对象物视为特定物时,确认是否具有适当的大小。因此,当未被包含于幅度范围202时,可以作为对于该环境识别处理无用的信息而剔除。例如,在使用图8的例子中,由于图8(b)的对象物218的大小被包含在特定物“信号灯(红)”的幅度范围“0.2~0.4m”中,因此恰当地被特定为特定物“信号灯(红)”。
如此,在环境识别装置130中,能够从亮度图像124提取一个或多个对象物作为特定物,并能够将该信息应用于各种控制。例如,通过提取特定物“信号灯(红)”,能够掌握该对象物是不移动的固定的物体的同时,若该对象物是与本车辆车道有关的信号灯,则能够掌握本车辆1应停止或减速。而且,通过提取特定物“尾灯(红)”,能够掌握该处有与本车辆1共同行使的前行车辆,且该前行车辆的背面位于特定物“尾灯(红)”的相对距离z。
然而,由于多个特定物在空间上不会重合,因此通过特定物确定单元172一旦被确定为特定物的对象物,就没有必要再判断是否为其他特定物。因此,上述群组化单元166排除构成由特定物确定单元172确定为特定物的对象物的对象部位之后进行群组化处理。即,关于所选择的一个特定物的特定物确定处理中,一旦被确定为特定物的对象部位,在关于其他特定物的群组化处理中就不再用作群组化处理对象。如此,通过排他地处理对象部位,能够避免对已经确定了特定物的对象部位进行重复的群组化处理,从而能够减轻处理负荷。
当特定物确定单元172所确定的特定物例如为“标识”,且假设其中标记有限制速度时,图案匹配单元174进一步对所标记的数值执行图案匹配,特定该数值。由此,环境识别装置130能够识别本车辆车道的限制速度等。
在本实施方式中,首先通过特定物确定单元172提取被限定为多个的特定物,并仅进行与该提取的特定物的图案匹配即可。因此,与以往的对亮度图像124的整个面进行图案匹配相比,能够显著地减少处理负荷。
(环境识别方法)
以下,基于图10至图14的流程图说明环境识别装置130的具体的处理。图10示出关于从图像处理装置120接收到距离图像(视差信息)126时的中断处理的整个流程,图11至图14示出其中的个别的子程序。而且,在此,例举像素作为对象部位,并将亮度图像124和距离图像126的左下角作为原点,且在图像的水平方向的1~600个像素、垂直方向的1~200个像素的范围执行依照该环境识别方法的处理。而且,在此假设作为对象的颜色识别标识符194和特定物的数量为8个。
如图10所示,以距离图像126的接收信号为契机,产生依照该环境识别方法的中断时,参照由图像处理装置120获得的亮度图像124而在对象部位设定颜色识别标识符194,生成颜色识别标识符对应图210(S300)。
接着,在颜色识别标识符对应图210中距离相近且设定的颜色识别标识符满足条件的对象部位被群组化,成为对象物(S302),针对对象物进行外边缘确定处理(S304)。并且,对象物被确定为特定物(S306)。若有必要从确定的特定物进一步获取信息,则通过图案匹配单元174执行特定物的图案匹配(S308)。然后结束该中断处理。
(颜色识别标识符对应图生成处理S300)
参照图11,颜色识别标识符设定单元164对用于确定对象部位(像素)的垂直变量j进行初始化(代入“0”)(S350)。接着,颜色识别标识符设定单元164在垂直变量j上加(累加)“1”,同时对水平变量i进行初始化(代入“0”)(S352)。接着,颜色识别标识符设定单元164在水平变量上加“1”,并对特定物变量m进行初始化(S354)。在此,设定水平变量i和垂直变量j是为了对整个600×200的像素执行该颜色识别标识符对应图生成处理,设定特定物变量m是为了对每个像素顺序地比较8个特定物。
颜色识别标识符设定单元164使亮度获取单元160从亮度图像124中获得作为对象部位的像素(i,j)的亮度(S356),并在特定物变量m中加“1”(S358),获得特定物(m)的代表颜色识别标识符的亮度范围192(S360),并判断像素(i,j)的亮度是否被包含在特定物(m)的代表颜色识别标识符的亮度范围192(S362)。
若像素(i,j)的亮度被包含于特定物(m)的代表颜色识别标识符的亮度范围192(S362的“是”),则颜色识别标识符设定单元164针对该对象部位设定颜色识别标识符p而变成像素(i,j,p)(S364)。而且,若像素(i,j)的亮度未包含在特定物(m)的代表颜色识别标识符的亮度范围192(S362的“否”),则判断特定物变量m是否超过作为特定物的最大数量的8(S366)。在此,若特定物变量m并未超过最大值(S366的“否”),则从步骤S358的特定物变量m的累加处理开始重复执行。而且,若特定物变量m超过最大值(S366的“是”),则认为对应于该像素(i,j)的特定物不存在,处理转到下一步骤S368。
接着,颜色识别标识符设定单元164判断水平变量i是否超过作为水平像素的最大值的600(S368),若水平变量i并没有超过最大值(S368的“否”),则从步骤S354的水平变量i的累加处理开始重复执行。而且,若水平变量i超过最大值i(S368中的“是”),则颜色识别标识符设定单元164判断垂直变量j是否超过作为垂直像素的最大值的200(S370)。接着,若垂直变量j并未超过最大值(S370的“否”),则从步骤S352的垂直变量j的累加处理开始重复执行。而且,若垂直变量j超过最大值(S370的“是”),则终止该颜色识别标识符对应图生成处理。
(群组化处理S302)
参照图12,群组化单元166参照用于群组化对象部位的预定范围(S400),初始化(代入“0”)用于特定对象部位(像素)的垂直变量j(S402)。接着,群组化单元166在垂直变量j上加“1”,同时初始化(代入“0”)水平变量i(S404)。接着,群组化单元166在水平变量i上加“1”(S406)。
群组化单元166从亮度图像124获取包含作为对象部位的视差信息dp的像素(i,j,p,dp),将包含视差信息dp的像素(i,j,p,dp)坐标变换为实际空间上的点(x,y,z),作为像素(i,j,p,dp,x,y,z)(S408)。然后,判断该像素(i,j,p,dp,x,y,z)上是否存在有效(不是零)的颜色识别标识符p且是否还没有被赋予群组号g(S410)。在此,若存在有效的颜色识别标识符p且还没有被赋予群组号g(S410的“是”),则群组化单元166判断其像素的实际空间上的坐标(x,y,z)的预定范围之内是否存在设定有对应于以该颜色识别标识符p为代表颜色识别标识符的特定物的代表颜色识别标识符194a和子颜色识别标识符194b的其他的一个或多个像素且其像素是否还没有被赋予群组号g(S412)。
若存在设定有代表颜色识别标识符194a和子颜色识别标识符194b的其他的像素(i,j,p,dp,x,y,z),且其像素上未被赋予群组号g(S412的“是”),则群组化单元166将还没有用作群组号的号中的最小值分配给包括自身的预定范围内的所有像素(S414)。
如此,当颜色识别标识符相同的对象部位在预定范围之内存在有多个时,通过赋予一个群组号g而执行群组化。此时,采用还未用作群组号的号中的最小值的理由在于:对群组标号时,尽可能避免出现空号。据此,防止群组号g的最大值无端地变大,从而能够减轻处理负荷。
当颜色识别标识符p不是有效值(非零)或者虽是有效值但已经被赋予了群组号g时(S410中的“否”)、当不存在颜色识别标识符194相同的其他像素或者虽存在但其所有像素已经被赋予了群组号g时(S412中的“否”),处理转移到下一个步骤S416。
接着,群组化单元166判断水平变量i是否超过作为水平像素的最大值的600(S416),若水平变量i并未超过最大值(S416的“否”),则从步骤S406的水平变量i的累加处理开始重复执行。而且,若水平变量i超过最大值(S416的“是”),则群组化单元166判断垂直变量j是否超过作为垂直像素的最大值的200(S418)。然后,若垂直变量j没有超过最大值(S418中的“否”),则从步骤S404的垂直变量j的累加处理开始重复。而且,若垂直变量j超过最大值(S418的“是”),则终止该群组化处理。
(外边缘确定处理S304)
参照图13,群组化单元166对用于特定群组的群组变量k进行初始化(代入“0”)(S450)。接着,群组化单元166对群组变量k加“1”(S452)。
群组化单元166判断亮度图像124中是否存在群组号g为群组变量k的对象部位(S454)。如果存在(S454的“是”),则从赋予了该群组号g的多个对象部位中分别提取赋予了代表颜色识别标识符194a的对象部位和赋予了子颜色识别标识符194b的对象部位。然后,关于代表颜色识别标识符194a和子颜色识别标识符194b分别提取水平距离x在最左xl的对象部位和最右xr的对象部位,以及高度y最小ymin的对象部位和最大ymax的对象部位(S456)。接着,将其坐标对应到群组号g之后存储到数据存储单元152中(S458)。
环境判定单元168基于检测信息判断是否为因降雨或降雪导致检测区域122中的光发生扩散的环境(S460)。当确定为光发生扩散的环境时(S460的“是”),外边缘确定单元170基于存储在数据存储单元152的代表颜色识别标识符194a的坐标,确定外边缘(S462)。当不是光发生扩散的环境时(S460的“否”),外边缘确定单元170基于存储在数据存储单元152的子颜色识别标识符194b的坐标,确定外边缘(S464)。但是,当对应于代表颜色识别标识符194a的对象部位不包含在对应于子颜色识别标识符194b的对象部位中时,基于代表颜色识别标识符194a和子颜色识别标识符194b的坐标确定外边缘。
接着,群组化单元166判断群组变量k是否超过对象部位群组化处理中设定的群组号的最大值(S466)。然后,若群组变量k没有超过最大值(S466中的“否”),则从步骤S452的群组变量k的累加处理开始重复执行。而且,若群组变量k超过了最大值(S466中的“是”),则终止该外边缘确定处理。
(特定物确定处理S306)
参照图14,特定物确定单元172参照特定物表格200的各特定物的幅度范围202(S500),对用于特定群组的群组变量k进行初始化(代入“0”)(S502)。接着,特定物确定单元172在群组变量k上加“1”(S504)。
特定物确定单元172判断亮度图像124中是否存在群组号g为群组变量k的对象物(S506),若存在(S506的“是”),则基于通过外边缘确定处理确定的外边缘计算被赋予该群组号g的对象物的大小(S508)。接着,判断所计算出的大小是否被包含在以对群组号g为群组变量k的对象物对应赋予的代表颜色识别标识符p表示的特定物的幅度范围202(S510)。例如,当对象物的大小的水平方向成分在以代表颜色识别标识符p表示的特定物的幅度范围202之内,且对象物的大小的垂直方向成分在以代表颜色识别标识符p表示的特定物的幅度范围202之内,则对象物被判定为包含于以代表颜色识别标识符p表示的特定物的宽度范围202。
若大小被包含于以代表颜色识别标识符p表示的特定物的幅度范围202(S510的“是”),则特定物确定单元172将该对象物确定为由代表颜色识别标识符p表示的特定物(S512)。若大小未包含于以代表颜色识别标识符p表示的特定物的幅度范围202(S510的“否”),或不存在群组号g为群组变量k的对象物时(S506的“否”),处理转到下一步骤S514。
接着,特定物确定单元172判断群组变量k是否超过群组化处理中设定的群组号的最大值(S514)。然后,若群组变量k没有超过最大值(S514中的“否”),则从步骤S504的群组变量k的累加处理开始重复执行。而且,若群组变量k超过了最大值(S514中的“是”),则终止该特定物确定处理。据此,被群组化的对象物正式被确定为特定物。
如上所述,根据环境识别装置130,在雨天等光容易扩散的环境中能够提高对象物的特定精度,而且可以避免错误识别。
并且,在特定物表格200中对应设定的一个或多个颜色识别标识符194中仅使用预先设定的颜色表格190的颜色识别标识符194,从而无需无端地判定多个亮度范围,而只要判定预定数量的亮度范围192即可,因此可以大幅度地减轻处理负荷。
而且,还提供使计算机执行环境识别装置130的功能的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此,程序是利用任意的语言或记述方法记述的数据处理方法。
以上的说明中,参照附图对本发明的优选实施方式进行了说明,但是本发明并不局限于已说明的实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的,但显然这些都属于本发明的技术范围。
例如,虽然在上述的实施方式的特定物表格200中对特定物仅对应地赋予预先在颜色表格190中确定的颜色识别标识符194,但也可以对每个特定物对应赋予任意的多个亮度范围。
而且,在上述实施方式中,基于利用多个摄像装置110的图像数据之间的视差导出对象物的三维位置,但并不局限于所说明的情况,例如,可以利用激光雷达测距装置等已知的各种距离测量装置。在此,激光雷达测距装置通过向检测区域122发射激光光束,并接收该激光光束到达物体之后反射的光,从而根据所需时间测量至物体的距离。
并且,在上述的实施方式中,举出位置信息获取单元162从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息的例子。但是,并不局限于所说明的情况,也可以由图像处理装置120预先生成三维的位置信息,再由位置信息获取单元162获取所生成的三维位置信息。据此,实现功能的分散,能够减轻环境识别装置130的处理负荷。
并且,在上述的实施方式中,虽然以由摄像装置110获取彩色图像为前提进行了说明,但并不局限于这种情况,即使获取单色图像,也能执行本实施方式。此时,颜色表格190由单色的亮度定义。
并且,在上述的实施方式中,亮度获取单元160、位置信息获取单元162、颜色识别标识符设定单元164、群组化单元166、环境判定单元168、外边缘确定单元170、特定物确定单元172、图案匹配单元174由中央控制单元156通过软件运行。但是,上述的功能单元也可以由硬件构成。
并且,特定物确定单元172基于例如对象物的大小被包含于特定物的幅度范围202的情况来确定特定物,但并不局限于此,也可以在满足其他各种条件时确定为特定物。例如,对象物中的水平方向和铅直方向的相对距离z的推移几乎相等(连续)时或相对于z坐标的相对移动速度相同时确定为特定物。此时,对象物中的水平方向及铅直方向的相对距离z的推移可根据借助霍夫变换或最小平方法的近似直线确定。
在此,本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理,也可以包含并行处理或通过子程序的处理。
产业上的可利用性
本发明可利用于基于检测区域中的对象物的亮度来识别该对象物的环境识别装置及环境识别方法。

Claims (5)

1.一种环境识别装置,其特征在于,包括:
数据存储单元,使预先设定的预定数量的颜色识别标识符与亮度范围一一对应,并针对多个特定物的每一个对应多个颜色识别标识符,同时针对是否为检测区域中光发生扩散的环境的检测结果的每一个对应从该多个颜色识别标识符选择的一个或多个颜色识别标识符的组合而进行存储;
亮度获取单元,用于获取所述检测区域内的对象部位的亮度;
颜色识别标识符设定单元,基于存储在所述数据存储单元的颜色识别标识符与亮度范围的对应关系,根据所述对象部位的亮度而在该对象部位设定颜色识别标识符;
群组化单元,基于存储在所述数据存储单元的特定物与颜色识别标识符的对应关系,将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化而作为对象物;
环境判定单元,判定是否为所述检测区域中发生光扩散的环境;
外边缘确定单元,根据是否为光发生扩散的环境而选择所述组合,在所述对象物中,将利用设定有所选择的该组合的颜色识别标识符的所述对象部位而特定的外边缘作为该对象物的外边缘。
2.根据权利要求1所述的环境识别装置,其特征在于,进一步包含检测降雨的雨检测单元,所述环境判定单元在所述雨检测单元检测到降雨时,判定为所述光发生扩散的环境。
3.根据权利要求1或2所述的环境识别装置,其特征在于,进一步包含检测降雪的雪检测单元,所述环境判定单元在所述雪检测单元检测到降雪时,判定为所述光发生扩散的环境。
4.根据权利要求1或2所述的环境识别装置,其特征在于,
所述环境判定单元分级别地判断所述光的扩散情况,
数据存储单元在所述光的扩散情况的各级别的每一个级别对应赋予从所述多个颜色识别标识符选择的一个或多个颜色识别标识符的组合进行存储,
所述外边缘确定单元根据所述光的扩散情况选择所述组合,并在所述对象物中,将利用设定有所选择的该组合的颜色识别标识符的所述对象部位而特定的外边缘作为该对象物的外边缘。
5.一种环境识别方法,其特征在于,
获取检测区域内的对象部位的亮度;
基于存储在数据存储单元的颜色识别标识符与亮度范围的对应关系,根据所述对象部位的亮度而在该对象部位设定颜色识别标识符;
基于存储在所述数据存储单元的特定物与颜色识别标识符的对应关系,将水平距离的差值和高度的差值在预定范围内的、设定有对应于同一个特定物的一个或多个颜色识别标识符的对象部位群组化而作为对象物;
判定是否为所述检测区域中发生光扩散的环境;
基于存储在所述数据存储单元的、对于是否为所述检测区域中光发生扩散的环境的检测结果的每一个的、从所述多个颜色识别标识符选择的一个或多个颜色识别标识符的组合的对应关系,根据是否为光发生扩散的环境而选择所述组合;
在所述对象物中,将利用设定有所选择的所述组合的颜色识别标识符的所述对象部位而特定的外边缘作为该对象物的外边缘。
CN201210138971.3A 2011-05-12 2012-05-07 环境识别装置及环境识别方法 Active CN102975678B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011107694A JP5272042B2 (ja) 2011-05-12 2011-05-12 環境認識装置および環境認識方法
JP2011-107694 2011-05-12

Publications (2)

Publication Number Publication Date
CN102975678A true CN102975678A (zh) 2013-03-20
CN102975678B CN102975678B (zh) 2014-01-22

Family

ID=47070667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210138971.3A Active CN102975678B (zh) 2011-05-12 2012-05-07 环境识别装置及环境识别方法

Country Status (4)

Country Link
US (1) US8670612B2 (zh)
JP (1) JP5272042B2 (zh)
CN (1) CN102975678B (zh)
DE (1) DE102012103837A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038882A (zh) * 2015-11-26 2017-08-11 马自达汽车株式会社 标识识别系统
TWI595457B (zh) * 2014-12-02 2017-08-11 Metal Ind Res And Dev Centre Anti-collision three-dimensional depth sensing system and its operation method
TWI671609B (zh) * 2017-11-03 2019-09-11 財團法人資訊工業策進會 無人自走車及其控制方法
CN111801594A (zh) * 2018-04-12 2020-10-20 株式会社小糸制作所 对象识别系统、汽车、车辆用灯具、对象的聚类方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537492B2 (ja) * 2011-05-12 2014-07-02 富士重工業株式会社 環境認識装置
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
US9389306B2 (en) * 2012-07-18 2016-07-12 Sony Corporation Radar apparatus and method
DE102012215287A1 (de) * 2012-08-29 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs
KR102015533B1 (ko) * 2012-09-07 2019-08-28 한국전자통신연구원 차량의 주변 정보 획득 장치
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
US9305223B1 (en) * 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
JP5883833B2 (ja) * 2013-08-05 2016-03-15 富士重工業株式会社 車外環境認識装置
CN103612600A (zh) * 2013-11-29 2014-03-05 黄家亨 一种车载行车安全监控系统
JP6317577B2 (ja) * 2013-12-04 2018-04-25 キヤノン株式会社 映像信号処理装置及びその制御方法
US9424475B1 (en) 2014-09-17 2016-08-23 Google Inc. Construction object detection
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
CN105160333B (zh) * 2015-09-30 2018-08-17 深圳市华尊科技股份有限公司 一种车型识别方法及识别装置
US10254402B2 (en) * 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
JP6702148B2 (ja) 2016-11-11 2020-05-27 株式会社デンソー 立体物認識装置
TWI700017B (zh) * 2018-10-17 2020-07-21 財團法人車輛研究測試中心 車輛偵測方法、基於光強度動態之夜間車輛偵測方法及其系統
CN110456377B (zh) * 2019-08-15 2021-07-30 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244596A (ja) * 1991-11-04 1993-09-21 Hughes Aircraft Co ビデオ画像プロセッサおよび車両検出方法
JP2000285379A (ja) * 1999-03-30 2000-10-13 Nippon Signal Co Ltd:The 画像形車両感知器
JP2007072987A (ja) * 2005-09-09 2007-03-22 Denso Corp 環境認識装置
CN101084137A (zh) * 2004-12-20 2007-12-05 德·T·多恩 一种用于监控交通信号与警示驾驶员的装置
JP2008056163A (ja) * 2006-09-01 2008-03-13 Mazda Motor Corp 車両の障害物検知装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674354A1 (fr) * 1991-03-22 1992-09-25 Thomson Csf Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
JP3349060B2 (ja) 1997-04-04 2002-11-20 富士重工業株式会社 車外監視装置
US6480624B1 (en) * 1997-09-30 2002-11-12 Minolta Co., Ltd. Color discrimination apparatus and method
JP3399506B2 (ja) * 1998-12-22 2003-04-21 アイシン・エィ・ダブリュ株式会社 車両用ナビゲーション装置
JP4391624B2 (ja) * 1999-06-16 2009-12-24 本田技研工業株式会社 物体認識装置
ATE375585T1 (de) * 2003-03-14 2007-10-15 Liwas Aps Einrichtung zur detektion eines strassenoberflächenzustands
JP4321142B2 (ja) * 2003-07-02 2009-08-26 日産自動車株式会社 標識認識装置
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4414369B2 (ja) * 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
JP4408095B2 (ja) * 2005-06-03 2010-02-03 本田技研工業株式会社 車両及び路面標示認識装置
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
WO2008018129A1 (fr) * 2006-08-09 2008-02-14 Shinichiro Isobe Procédé de détection de protéine et colorant fluorescent utilisé à cet effet
JP2009134383A (ja) * 2007-11-29 2009-06-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP4518139B2 (ja) * 2007-11-30 2010-08-04 トヨタ自動車株式会社 画像処理装置
JP4505509B2 (ja) * 2008-01-16 2010-07-21 日本電信電話株式会社 気象情報検出方法、気象情報検出装置及び気象情報検出プログラム
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5074273B2 (ja) * 2008-04-16 2012-11-14 株式会社デンソー 車両用灯火制御装置
EP2196792B1 (en) * 2008-12-09 2011-04-06 C.R.F. Società Consortile per Azioni Optical device for motor vehicles, for detecting the condition of the road surface
JP5254102B2 (ja) * 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
JP5385056B2 (ja) * 2009-08-31 2014-01-08 株式会社デンソー 運転状況推定装置,運転支援装置
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
JP5537492B2 (ja) * 2011-05-12 2014-07-02 富士重工業株式会社 環境認識装置
JP5386537B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244596A (ja) * 1991-11-04 1993-09-21 Hughes Aircraft Co ビデオ画像プロセッサおよび車両検出方法
JP2000285379A (ja) * 1999-03-30 2000-10-13 Nippon Signal Co Ltd:The 画像形車両感知器
CN101084137A (zh) * 2004-12-20 2007-12-05 德·T·多恩 一种用于监控交通信号与警示驾驶员的装置
JP2007072987A (ja) * 2005-09-09 2007-03-22 Denso Corp 環境認識装置
JP2008056163A (ja) * 2006-09-01 2008-03-13 Mazda Motor Corp 車両の障害物検知装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595457B (zh) * 2014-12-02 2017-08-11 Metal Ind Res And Dev Centre Anti-collision three-dimensional depth sensing system and its operation method
CN107038882A (zh) * 2015-11-26 2017-08-11 马自达汽车株式会社 标识识别系统
TWI671609B (zh) * 2017-11-03 2019-09-11 財團法人資訊工業策進會 無人自走車及其控制方法
CN111801594A (zh) * 2018-04-12 2020-10-20 株式会社小糸制作所 对象识别系统、汽车、车辆用灯具、对象的聚类方法

Also Published As

Publication number Publication date
US8670612B2 (en) 2014-03-11
DE102012103837A1 (de) 2012-11-15
JP5272042B2 (ja) 2013-08-28
US20120288191A1 (en) 2012-11-15
CN102975678B (zh) 2014-01-22
JP2012238245A (ja) 2012-12-06

Similar Documents

Publication Publication Date Title
CN102975678B (zh) 环境识别装置及环境识别方法
CN102842029B (zh) 环境识别装置及环境识别方法
CN102774341B (zh) 环境识别装置及环境识别方法
CN102975677A (zh) 环境识别装置及环境识别方法
CN103121423B (zh) 车外环境识别装置及车外环境识别方法
CN102745160A (zh) 环境识别装置及环境识别方法
CN102789698B (zh) 环境识别装置以及环境识别方法
US8861787B2 (en) Environment recognition device and environment recognition method
CN111666805B (zh) 用于自动驾驶的类别标记系统
JP5537491B2 (ja) 環境認識装置
JP5386539B2 (ja) 環境認識装置
CN103136509A (zh) 车外环境识别装置及车外环境识别方法
CN115273028B (zh) 一种基于全域感知的智慧停车场语义地图构建方法及系统
KR20200063311A (ko) 자율주행용 영상인식 알고리즘 성능 강화 장치 및 방법
CN110803162B (zh) 车道保持方法及装置
CN114677658A (zh) 十亿像素动态大场景图像采集和多目标检测方法及装置
CN117690133A (zh) 点云数据标注方法、装置、电子设备、车辆及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Subaru Co.

Address before: Tokyo, Japan

Patentee before: Fuji Heavy Industries, Ltd.

CP01 Change in the name or title of a patent holder