CN103020583A

CN103020583A - 图像处理装置

Info

Publication number: CN103020583A
Application number: CN2012103526819A
Authority: CN
Inventors: 片平聪
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-09-27
Filing date: 2012-09-20
Publication date: 2013-04-03
Anticipated expiration: 2032-09-20
Also published as: CN107092857A; CN107092857B; CN103020583B; DE102012108764A1; JP5639024B2; US20130077825A1; JP2013073305A; US9542608B2

Abstract

本发明的图像处理装置通过确定利用于图案匹配的色相，确切地执行图案匹配。图像处理装置(120)具备：色彩恢复单元(172)，在以拜尔阵列构成的一对图像数据中，基于相邻的像素来恢复每个像素中未设定的色相的亮度；匹配处理单元(176)，从亮度被恢复的一对图像数据中分别提取预定大小的区块来进行匹配，确定相关性较高的区块，色彩恢复单元以及匹配处理单元仅将在拜尔阵列中占有度最高的色相为对象，分别执行亮度的恢复以及匹配。由此，通过确定利用于图案匹配的色相，能够确切地执行图案匹配。

Description

图像处理装置

技术领域

本发明涉及一种基于所拍摄的一对图像数据来执行图案匹配的图像处理装置。

背景技术

以往，检测位于本车辆前方的车辆或信号灯等所谓障碍物的对象物，并对本车辆进行控制以避免与所检测出的对象物发生碰撞或使本车辆与前行车辆的车间距离保持在安全距离的技术已被人所知(例如专利文献1、2)。

与前行车辆的车间距离，例如可根据从不同位置拍摄的一对图像数据中的对象物的视差中求出。并且，一对图像数据中的对象物的视差基于图像间的图案匹配来导出。作为图案匹配，通常进行在图像间比较预定大小的区块之间(匹配)，确定相关性较高的区块的操作。并且，还公开有利用图像的浓度直方图来执行图案匹配的技术(例如，专利文献3)。

进一步，还公开有如下技术：为了提高图案匹配的精度，在图案匹配的前阶段，针对所拍摄的图像的光学位置偏差进行几何学的位置校正(例如，专利文献4)。

现有技术文献

专利文献

专利文献1：日本特许第3349060号

专利文献2：日本特开平10-283461号公报

专利文献3：日本特开平5-210737号公报

专利文献4：日本特许第3284190号

作为获取图像的手段，例如已知有：在对应于以格子状排列的像素的多个受光部位(光电二极管)中，规则且排他地配置三原色的RGB信号各自的彩色滤光片的、所谓拜尔阵列。在拜尔阵列中，自每个像素中只能获取RGB中的一个色相，因此通常各像素中的未设定的(缺少)色相的亮度基于相邻的像素来进行插值，从而恢复色彩。并且，恢复了色彩的各个像素进行如上的几何学的位置校正，之后执行图案匹配。

但是，上述的色彩的恢复以成为对象的像素的原来的色彩与相邻的像素的原来色彩相同的情况为前提，因此在相邻的像素的色彩不同或者对象物根本不同的情况下，导致基于该不同的色彩而恢复色彩，从而可能生成假色彩。并且，当像素的物理重心和针对该像素恢复的色彩重心不同时，因为基于像素的物理重心的几何学的位置校正，可能导致色彩重心偏移。

而且，在夜间行驶时，为了有效地获取较少的入射光，通常抑制遮光器的光圈(打开遮光器)进行拍摄，，而此时会发生检测区域内的光源的光太强而导致任意的色相的亮度达到饱和(Saturation)的现象。

发明内容

本发明是鉴于这种问题而提出的，其目的在于提供一种通过确定利用于图案匹配的色相，从而能够执行确切的图案匹配的图像处理装置。

为了解决上述问题，本发明的图像处理装置，其特征在于，具备：色彩恢复单元，在以拜尔阵列构成的一对图像数据中，基于相邻的像素来恢复每个像素中未设定的色相的亮度；匹配处理单元，从亮度被恢复的一对图像数据中分别提取预定大小的区块进行匹配，确定相关性高的区块，色彩恢复单元以及匹配处理单元仅将在拜尔阵列中占有度最高的色相为对象，分别执行亮度的恢复以及匹配。

还可以还具备坐标变换单元，基于与生成一对图像数据的摄像装置所对应而预先设定的每个像素的位置偏差特性，针对各个像素进行坐标变换。

为了解决上述问题，本发明的另一图像处理装置，其特征在于，具备：匹配处理单元，从一对图像数据中分别提取预定大小的区块来进行匹配，确定相关性高的区块；环境信息获取单元，获取关于明暗的环境信息，当环境信息获取单元获取表示处于预定的亮度以下的情况的环境信息时，匹配处理单元在成为对象的多个色相中，仅将波长最短的色相为对象而执行匹配。

匹配处理单元将高压气体放电灯以及卤素灯的任意一个作为光源的对象物为匹配的对象。

根据本发明，通过确定利用于图案匹配的色相，可执行确切的图案匹配。由此，导出确切的视差信息，能够确切地执行对本车辆的控制，以避免与对象物的碰撞，或使本车辆与前行车辆的车间距离保持在安全距离。

附图说明

图1是示出根据第一实施方式的环境识别系统的连接关系的方框图。

图2是用于说明亮度图像和距离图像的说明图。

图3是用于说明拜尔阵列的一例的说明图。

图4是用于说明色彩恢复处理的说明图。

图5是用于说明坐标变换处理的说明图。

图6是用于说明色彩重心的说明图。

图7是示出图像处理装置的概略的功能的功能方框图。

图8是用于说明HID灯以及卤素灯的特性的说明图。

图9是示出第二实施方式中的图像处理装置的概略的功能的功能方框图。

符号说明：

1为车辆，100为环境识别系统，120、220为图像处理装置，170为敏感度校正单元，172为色彩恢复单元，174为坐标变换单元，176为匹配处理单元，280为环境信息获取单元。

具体实施方式

以下，参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等是仅仅是为了使发明容易理解而例示的，除了事先声明的情况以外，不能用来限定本发明。在此，本说明书及附图中，对于具有实质上相同的功能、结构的要素，通过赋予相同的符号的方式省略重复性说明，而且对与本发明没有直接关系的要素省略了图示。

(第一实施方式：环境识别系统100)

图像处理装置的目的在于，对于为了确切地达成任意的目的而拍摄的图像进行加工处理。例如，当在用于识别车辆周围环境的环境识别系统中采用图像处理装置时，图像处理装置为了对用摄像装置拍摄的图像加工处理并确定图像内的对象物的相对距离，导出该图像的视差信息。在此，为了容易理解图像处理装置，首先说明采用了图像处理装置的一实施方式的环境识别系统，然后详细说明图像处理装置的具体的构成。

图1为示出环境识别系统100的连接关系的方框图。环境识别系统100包括设置在车辆1内的摄像装置110、图像处理装置120、环境识别装置130、车辆控制装置140。

(摄像装置110)

摄像装置110包括电荷耦合器件(CCD，Charge-Coupled Device)或互补金属氧化半导体(CMOS，Complementary Metal-Oxide Semiconductor)等摄像器件，能够获得彩色图像、即从像素单位中获取三个色相(红、绿、蓝)的亮度。在本实施方式中，将颜色和亮度同等看待，在同一篇文章里包含两个词时，可相互交替读取为构成颜色的亮度或具有亮度的颜色。这里，假设获取在对应于像素的受光部位(光电二极管)规则且排他地配置RGB信号各自的彩色滤光片的、基于拜尔阵列的彩色图像。并且，将由摄像装置110所拍摄的彩色的图像称为亮度图像，区别于后述的距离图像。

摄像装置110为两个，两个摄像装置110在大致水平方向上分开布置，以在车辆1的行驶方向侧使两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成对车辆1前方的检测区域中所存在的对象物进行了拍摄的图像数据。这里，对象物不仅包括车辆、信号灯、道路、护栏这种独立存在的立体物，还包括尾灯或转向指示灯、信号灯的各个照明部分等能够确定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机执行各种处理。

(图像处理装置120)

图像处理装置120从两个摄像装置110分别获取图像数据，并评价所获取的一对图像数据的相关性，导出包含图像中的任意的区块(集合预定数量的像素的区块)的两个图像间的视差的视差信息。图像处理装置120采用从另一个图像数据搜索对应于一个图像数据中任意抽出的区块(例如，水平4像素×垂直4像素的阵列)的区块的、所谓的图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，相当于实际空间中的水平方向。而且，垂直是指所拍摄的图像的画面纵向方向，相当于实际空间中的竖直方向。针对这样的相关性的评价以及图案匹配，将在后面详细描述。

但是，在图像处理装置120中，虽然能够对作为检测分辨率的单位的每个区块导出视差，但无法识别该区块是哪个对象物的一部分。因此，视差信息不是以对象物单位，而是以检测区域中的检测分辨率单位(例如区块单位)独立地导出来。在此，将如此导出的视差信息映射到图像数据的图像称为距离图像。

图2是用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110而对检测区域122生成如图2(a)所示的亮度图像(图像数据)124。只是，这里，为了便于理解，仅模式性地示出两个亮度图像124中的一个。图像处理装置120从这种亮度图像124中求出每个区块的视差，从而形成如图2(b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出了视差的区块以黑点表示。

(环境识别装置130)

环境识别装置130从图像处理装置120获取亮度图像124和距离图像126，并利用基于亮度图像124的亮度和基于距离图像126的视差信息的与车辆(本车辆)1的相对距离，确定检测区域122中的对象物对应于哪个物体(车辆、信道灯、道路、护栏、尾灯、转向指示灯、信号灯的各个照明部分等)。此时，环境识别装置130利用所谓的立体视觉法，将距离图像126中的检测区域122内的每个区块的视差信息变换为包含相对距离的三维位置信息。这里，立体视觉法是通过使用三角测量法从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。

(车辆控制装置140)

车辆控制装置140执行避免本车辆与通过环境识别装置130确定的对象物碰撞或使本车辆与前行车辆的车间距离保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘的角度的舵角传感器142和检测车辆1的速度的车速传感器144等获取当前的车辆1的行驶状态，并通过控制致动器146使车辆1与前行车辆的车间距离保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物发生碰撞时，车辆控制装置140于设置在驾驶者的前方的显示器148进行相应警告显示(报警)的同时，控制致动器146使车辆1自动地减速。这样的车辆控制装置140也可以与环境识别装置130形成为一体。

(第一实施方式中的问题及其解决方案)

彩色图像能够以各种方式来获取。例如，(1)可通过透镜将进入到摄像装置110的入射光分割为RGB的各个色相，并用三个摄像器件获取每个色相的图像，或者，(2)能够使用在光路方向上重叠RGB各自的敏感度元件的摄像器件来一次性获取基于RGB的图像，或者，(3)依据拜尔阵列，针对每个像素规则且排他地获取一个色相。本实施方式采用其中的(3)拜尔阵列来获取图像。

图3是用于说明拜尔阵列的一例的说明图。如图3(a)所示，拜尔阵列是在以格子状排列的像素中规则且排他地布置各个色相RGB的阵列，针对任一个色相，至少在水平方向以及垂直方向的两个相邻像素中配置有相同的色相。只是，色相G的密度为色相R和色相B的两倍(占有面积)。这是因为，如图3(b)所示的分光敏感度特性，由于色相G的敏感度分布较高，因此容易获取亮度信息，并且人的视觉对色相G有较高的敏感度。

在拜尔阵列中，从各个像素只能获取针对一个色相的亮度。因此，针对缺少的其他两个色相，利用相邻的像素的该色相的亮度来进行色彩恢复处理(插值处理)。

图4为用于说明色彩恢复处理的说明图。这里，被附在像素周围的数字表示像素的水平以及垂直位置。例如，在拜尔阵列中，色相R如图4(a)所示地配置。从而，已经获取针对色相R的亮度的像素(2，1)、(2，3)、(4，1)、(4，3)的亮度可直接利用获取的亮度a、b、c、d。

并且，在水平方向或者垂直方向上与已获取了亮度的两个像素相邻的像素(2，2)、(3，1)、(3，3)、(4，2)中，线性插值相邻的两个像素的亮度，像素(2，2)的亮度＝(a+b)/2，像素(3，1)的亮度＝(a+c)/2，像素(3，3)的亮度＝(b+d)/2，像素(4，2)的亮度＝(c+d)/2。

进一步，在对角线方向上与已获取亮度的四个像素相邻的像素(3，2)中，线性插值相邻的四个像素的亮度，像素(3，2)的亮度＝(a+b+c+d)/4。这里，为了便于说明，省略水平方向的第一行以及垂直方向的第四行的像素的导出。这样的像素的插值也适用于如图(b)所示的色相B，因此在此省略对色相B的说明。

并且，色相G在拜尔阵列中如图4(c)所示地配置。从而，已经针对色相G获取了亮度的像素(2，2)、(3，1)、(3，3)、(4，2)的亮度，可直接利用已获取的亮度e、f、g、h。而且，在水平方向及垂直方向与已获取亮度的四个像素相邻的像素(3，2)中，线性插值相邻的四个像素的亮度，像素(3，2)的亮度＝(e+f+g+h)/4。

因此，对于任一个色相，可以理解为了恢复原来的色彩，在水平方向或者垂直方向需要至少三个像素的区域宽度(参照像素数量的宽度为四个像素)。此时，当拍摄到电线、树(叶等)、其他的朝一个方向较细的对象物时，如果该宽度为一个像素或两个像素，则难以进行确切的色彩的恢复。

例如，在图4(a)中，假设在垂直方向的第二行中存在水平方向的宽度为一个像素的对象物。在图4(a)的垂直方向的第二行中没有任何关于该对象物的R成分的信息，依据上述的线性插值，会生成受到其他对象物的R成分的影响的假色彩。同样地，在图4(b)中，假设在垂直方向的第三行中存在水平方向的宽度为一个像素的对象物。由于图4(b)的垂直方向的第三行没有任何关于该对象物的B成分的信息，依据上述的线性插值，会生成受到其他对象物的B成分的影响的假色彩。相对于此，在图4(c)中，不管是垂直方向的第二行还是垂直方向的第三行，都包含关于该对象物的G成分的信息，因此即使受到其他对象物的G成分的影响，也能够通过线性插值来恢复到接近原来的色彩的色彩。

由此，在色彩恢复处理中，例如，若在拜尔阵列中仅处理密度较高的色相G，则难以生成假色彩，与还包含色相R、B的情况相比，能够提高色彩的恢复性。当产生假色彩时，不仅无法进行确切的图案匹配，而且因错误匹配还会导出错误的视差信息。如上所述，通过提高色彩的恢复性，能够避免这种的情况。

当完成了色彩恢复处理时，接着基于对应于摄像装置110而预先设定的每个像素的位置偏差(歪曲)特性，执行对各个像素进行坐标变换的坐标变换处理。坐标变换为将因为通过摄像装置110获取而从原来的位置歪曲的对象物恢复到原来的位置的处理。例如，将如图5(a)所示的、具有诸如通过鱼眼镜头的位置偏差特性的影像，通过使用朝水平方向或垂直方向的单纯的位移或仿射变换等的旋转移动，校正为如图5(b)的水平方向或垂直方向为直线的图像。

针对这样的坐标变换，也执行坐标变换后的像素的色彩恢复，但是像素的物理重心和对其像素进行恢复的色彩重心不同时，会产生问题。这里，色彩重心可能因上述的色彩恢复处理而偏移。以下，对色彩重心进行说明。

图6为用于说明色彩重心的说明图。若根据图6(a)中用虚线表示的四个像素(亮度＝a、b、c、d)通过几何校正恢复用实线表示的一个像素，则用实线表示的像素150的亮度利用距离x、y而可表示为a×(1-x)(1-y)+b×x(1-y)+c×(1-x)y+d×xy。

由此，当如图6(b)所示地配置色相R，且其亮度为a、b、c、d时，假设像素(2，2)、(3，2)、(3，3)的R成分为e、f、g时，图6(b)的用实线表示的像素152的亮度为(b+e+f+g)/4。但是，这里为了容易理解，将图6(a)中的距离x、y设为0.5。并且，依据上述的色彩恢复处理，e＝(a+b)/2、f＝(a+b+c+d)/4、g＝(b+d)/2。于是，朝像素152的色相R的贡献度为，a＝3/16、b＝9/16、c＝1/16、d＝3/16。此时，色彩重心为相比像素152的物理重心(中心位置)，在附图中偏左下。当针对色相B也如同色相R那样求出时，如图6(c)所示，色彩重心为相比像素152的物理重心，在附图中偏右上。这样的色彩重心的位置因实线的像素152的获取方法而变化，这是毋庸置疑的。

但是，当为色相G的时候，如图6(d)所示，假设像素(3，1)、(2，2)、(1，3)、(4，2)、(3，3)、(2，4)的亮度为h、i、j、k、l、m，则朝像素152的色相G的贡献度为，h＝1/16、i＝6/16、j＝1/16、k＝1/16、l＝6/16、m＝1/16。此时，色彩重心与像素152的物理重心(中心位置)一致。

由此，当进行坐标变换时，针对色相R、B存在像素的物理重心与针对该像素进行恢复的色彩重心不一致的情况，因此通过基于像素的物理重心的几何学的位置校正，有可能使色彩重心偏于一方。但是，例如，在拜尔阵列中仅处理如方格图案那样均匀配置的色相G时，这样的物理重心和色彩重心之间不会产生偏移，与还包含色相R、B的情况相比，坐标变换之后的像素的色彩配置更加确切。当产生这种色彩重心的偏移时，与色彩恢复处理相同，不仅图案匹配无法确切地执行，因为错误匹配还会导出错误的视差信息。这里，通过如上所述的抑制色彩的偏移来可避免上述情况。

因此，当在坐标变换处理中仅处理色相G时，能够提高色彩的恢复性，抑制偏移。以下，具体描述成为对象的色相仅为色相G时的图像处理装置120的构成。

(图像处理装置120)

图7为示出图像处理装置120的概略的功能的功能方框图。如图7所示，图像处理装置120包括I/F单元160、数据存储单元162、中央控制单元164而构成。

I/F单元160是用于与摄像装置110和环境识别装置130进行双向信息交换的接口。数据存储单元162由RAM、闪存、HDD等构成，以用于存储以下所示各个功能单元的处理中所必要的各种信息，而且暂时存储从摄像装置110接收的亮度图像124。

中央控制单元164由包括中央处理装置(CPU)、存储有程序等的只读存储器(ROM)、作为工作区的RAM等的半导体集成电路构成，通过系统总线166来控制I/F单元160、数据存储单元162。并且，在本实施方式中，中央控制单元164还具有敏感度校正单元170、色彩恢复单元172、坐标变换单元174、匹配处理单元176、视差导出单元178的功能。

敏感度校正单元170针对从摄像装置110接收的一对图像数据实施伽马校正、拐点处理等的预定的处理。

如图4中进行的说明，色彩恢复单元172是在以拜尔阵列构成的一对图像数据中，基于相邻的像素通过线性插值等恢复各个像素中未设定的色相的亮度。但是，在本实施方式中，并不提取整个三元色，而仅提取在拜尔阵列中占有度较高的色相G，并针对未设定与色相G相关的亮度的像素实施色彩恢复处理。

依据这种构成，难以生成假色彩，与还包含色相R、B的情况相比，能够提高色彩的恢复性。由此，能够避免无法确切地执行图案匹配，或者因错误匹配而导出错误的视差信息的情况，从而提高图案匹配的精度。

并且，在此，作为占有度较高的色相而使用色相G，但是只要是在拜尔阵列中占有面积较多的色相，可采用任何一个色相。例如，不限于RGB的原色系，即使是Y M g C y G r的辅助色系，也可使用占有度最高的辅助色。

如在图5的说明，坐标变换单元174为，基于对应于生成一对图像数据的摄像装置110而预先设定的每个像素的位置偏差特性，对各个像素进行坐标变换，并导出坐标变换后的像素的亮度(色彩恢复)。这种坐标变换能够采用日本特许第3284190号等已知的各种技术，因此这里省略其详细的说明。在此，坐标变换单元174仅利用通过色彩恢复单元172来实施色彩恢复处理的色相G，进行坐标变换后的色彩恢复。

色相G在拜尔阵列中如方格图案那样均匀地配置，因此不会产生物理重心和色彩重心之间的偏移，与还包含色相R、B的情况相比，坐标变换之后的图像的色彩配置也更加恰当。因此，能够避免无法确切地执行图案匹配，或者因误匹配而导出错误的视差信息的这种情况，从而提高图案匹配的精度。

匹配处理单元176从恢复了亮度且矫正了位置偏差的一对数据中分别提取预定大小的区块而进行匹配，并确定相关性较高的区块彼此。但是，在本实施方式中仅对色相G进行图案匹配。

作为该图案匹配已知有，在两个图像数据之间以表示任意的图像位置的区块单位来比较亮度值(Y色差信号)。例如，包括求出亮度值的差值的绝对差值和(SAD，Sum of Absolute Difference)、将差值平方后使用的差值的平方和(SSD，Sum of Squared intensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC，Normalized CrossCorrelation)等方法。图像处理装置120对于被显示在检测区域(例如，600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素×4像素，但区块内的像素数量可以任意地设定。

在本实施方式中，以匹配处理单元176利用一个色相G来进行图案匹配为例进行了说明，但是根据条件，通过利用切换成依据现有的三原色的图案匹配，能够有效地进行图案匹配。此时的条件为，例如可以推断为边缘的精细度、假想的影像、DCDX值(亮度的微分)等。例如，当整体上边缘较精细时，仅依据色相G来进行图案匹配，若边缘较为缓和，依据三原色来进行图案匹配。

视差导出单元178为，以像素单位求出由匹配处理单元176来确定的区块彼此的、以图像为基准的视差，并将其关联到该区块。这种视差作为视差信息而利用于后述的环境识别装置130中。

以上说明的图像处理装置120中，作为色相仅对色相G进行处理，能够提高色彩的恢复性，抑制色彩重心的偏移。由此，通过进一步提高图案匹配的精度，能够确切地导出视差信息，并能够确切地进行控制以避免与对象物之间的碰撞，并与前行车辆的车间距离保持在安全距离以内。

(第二实施方式)

在第一实施方式中，基于拜尔阵列的构成，依据一个色相而进行了匹配。在第二实施方式中，不拘泥于拜尔阵列，而对应于车辆1外的环境而执行依据一个色相的匹配。

(第二实施方式中的问题和其解决方案)

在夜间行驶的车辆1中，环境识别系统100可以从检测区域122接收的光整体减少，因此较大程度地打开摄像装置110的遮光器，提高光的受光敏感度。此时，当尾灯、停车灯、前照灯、方向指示灯等自我发光的光源出现在检测区域122时，因较高的受光敏感度，亮度达到饱和(Saturation)。

如此，若亮度的信息显示饱和，则饱和的全部的像素表示相同的亮度，因此无法进行确切的图案匹配。为了避免这种现象而缩小遮光器的光圈时，有可能针对上述光源进行图案匹配，但是这将无法取得光源以外的对象物。

然而，如尾灯、停车灯、前照灯、方向指示灯等，车辆1中使用高压气体放电灯(HID：High Intensity Discharge)或卤素灯。在第二实施方式中，着眼于这种灯的特性。

图8是用于说明HID灯以及卤素灯的特性的说明图。例如，参照图如8(a)所示的、HID灯(此处为金属卤化物灯)的分光能量分布可知，色相G以及位于色相G和色相R之间的波长是相对能量较高的波长。另外，色相B的相对能量表现为较低的值。同样地，在图8(b)所示的卤素灯中，色相B的相对能量较低，随着波长变大，即随着色相朝着色相G、色相R移动，相对能量变高。

因此，在本实施方式中，通过在光源中仅获取相对能量较弱的色相B，从而可以避免达到饱和。尤其，尾灯、停车灯、方向转向灯等有红色或者橙色的彩色滤光片，因此色相B的光难以通过，进一步降低了色相B的亮度，从而容易避免饱和。

针对色相B，即使在打开遮光器的情况下，因色相B的起初的相对能量较低，为此难以达到饱和，作为亮度可获取有效的值。于是，生成依据该色相B的结构，能够进行确切的图案匹配。

(图像处理装置220)

图9为示出第二实施方式中的图像处理装置220的概略的功能的功能方框图。如图9所述，与第一实施方式的图像处理装置120相同，图像处理装置220包括I/F单元160、数据存储单元162、中央控制单元164。并且，中央控制单元164还具有敏感度校正单元170、色彩恢复单元172、坐标变换单元174、匹配处理单元176、视差导出单元178、环境信息获取单元280的功能。并且与作为在第一实施方式中的构成要素而已经阐述的I/F单元160、数据存储单元162、中央控制单元164、敏感度校正单元170、视差导出单元178相比，实质功能相同，因此省略重复的说明。并且，针对色彩恢复单元172、坐标变换单元174、匹配处理单元176，除了作为对象的色相为色相B以外实质上相同，因此省略重复的说明，主要说明构成不同的环境信息获取单元280。

环境信息取得单元280获取车辆1外的环境中的明暗相关的环境信息。例如，当车辆1的前照灯被点亮时，判断为当前环境是需要前照灯的程度，并且从该前照灯的点亮中获取环境信息“暗”。并且，作为环境信息获取单元280，可以设置亮度传感器，且根据是否处于适当的阈值以下来判断环境信息“暗”。

当环境信息获取单元280获取表示处于预定的亮度以下的情况的环境信息“暗”时，匹配处理单元176从成为对象的多个色相中，仅将波长最短的色相的色相B作为对象而执行匹配。例如，前行车辆的尾灯为，色相R的波长较多，色相B的波长较少。为此，当仅以色相B的波长的图像进行匹配时，尾灯不会达到饱和，能够执行确切的图案匹配。于是，能够导出确切的视差信息，确切地执行对本车辆的控制，以避免与对象物的碰撞，或与前行车辆的车间距离保持在安全距离。

在此，假设环境如白天似地十分明亮时，即环境信息获取单元280表示环境信息“明”时，匹配处理单元176依据三原色进行图案匹配。

如以上的说明，根据图像处理装置220，在夜间行驶时抑制遮光器的光圈，通过摄像器件来有效地获取较少的入射光，能够确切地获取具有光源的对象物，进而进一步提高图案匹配的精度。

而且，还提供使计算机起到图像处理装置120、220的作用的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理方法。

以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于这种实施方式。只要是本领域的技术人员，在权利要求书所记载的范畴之内得到各种变更例或修改例是显而易见的，但显然这些都属于本发明的技术范围。

例如，在上述的实施方式中，利用采用了两个摄像装置100来同时获取的图像数据，但是也可以使用采用一个摄像装置110时序地对应的一对图像数据。并且，摄像装置110的数量不限于一个或两个，也能够适用于三个以上的复眼。

而且，在上述的实施方式中，例举了作为拜尔阵列的RGB的三原色，但是也可应用RGBC的四原色或者不同的五色以上的色彩。

进一步，在上述的实施方式中，仅将通过摄像装置110来获取的图像数据作为对象，但是也可以使用电波激光雷达，且以不同的频率滤波器来获取相当于上述特定的色相的激光。在此，电波激光雷达为，向检测区域122发射激光束，接收该激光束碰到物体而被反射的光，并分析该反射光的装置。进一步，在温度测量装置中，针对每个温度测量元件的图像数据也可以应用该实施方式。

产业上的可利用性

本发明可以利用基于所拍摄的一对图像数据来执行图案匹配的图像处理装置。

Claims

1.一种图像处理装置，其特征在于，具备：

色彩恢复单元，在以拜尔阵列构成的一对图像数据中，基于相邻的像素来恢复每个像素中未设定的色相的亮度；

匹配处理单元，从亮度被恢复的一对图像数据中分别提取预定大小的区块进行匹配，确定相关性高的区块，

所述色彩恢复单元以及所述匹配处理单元仅将在所述拜尔阵列中占有度最高的色相为对象，分别执行亮度的恢复以及匹配。

2.根据权利要求1所示的图像处理装置，其特征在于，还具备坐标变换单元，基于与生成所述一对图像数据的摄像装置所对应而预先设定的每个像素的位置偏差特性，针对各个像素进行坐标变换。

3.一种图像处理装置，其特征在于，具备：

匹配处理单元，从一对图像数据中分别提取预定大小的区块来进行匹配，确定相关性高的区块；

环境信息获取单元，获取关于明暗的环境信息，

当所述环境信息获取单元获取表示处于预定的亮度以下的情况的环境信息时，所述匹配处理单元在成为对象的多个色相中，仅将波长最短的色相为对象而执行匹配。

4.根据权利要求3所示的图像处理装置，其特征在于，所述匹配处理单元将高压气体放电灯以及卤素灯的任意一个作为光源的对象物为匹配的对象。