CN105814887B - 图像生成装置 - Google Patents

Abstract

根据摄像信号的RGB比判定环境光的类别(44)，根据环境光的类别估计环境光中包含的近红外成分(IRre，IRge，IRbe)的构成比(Ey；Er，Eg，Eb)，根据该构成比，估计在环境光图像中环境光包含的近红外成分，从环境光图像(R1，G1，B1)中减去该近红外成分，由此生成可见光图像(R2，G2，B2)(46)。构成比使用环境光图像的G信号的值中包含的近红外成分与环境光图像的亮度值之比(IRge/Y1)。在生成带距离信息图像时，从摄影图像的图像信号中去除近红外成分，能够得到色彩再现性较高的图像。

Description

图像生成装置

技术领域

本发明涉及能够与摄像图像相关联地取得距存在于摄像空间中的物体的距离的信息的图像生成装置。

背景技术

以往作为车辆周边监视装置已知有如下的装置：从投光器照射空间图案光，利用摄像机拍摄照射了图案光的观测区域的图像，根据摄影图像中的图案光的照射方向和图案光的摄像方向、以及投光器与摄像机的相对位置关系，计测距存在于观测区域中的物体的距离(例如，参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2008－067362号公报(第2页、权利要求1)

发明内容

发明要解决的问题

在以往的监视装置中，通常使用近红外线等不可见的波长频带的光作为图案光，以避免由于看到所照射的图案光而使得肉眼不易识别存在于观测区域中的物体的问题。

此时为了利用摄像机拍摄图案光，需要使用对图案光的波长也具有灵敏度的摄像机。在利用对可见光以外的波长也具有灵敏度的摄像机进行拍摄时，即使是在不投射图案光的摄影中，也受到环境光中包含的可见光以外的成分的影响，存在摄影图像的色彩再现性下降、不能正确识别被摄体的问题。

本发明正是为了解决如上所述的问题而提出的，其目的在于，在生成带有距离信息图像时，从摄影图像的图像信号中去除环境光中包含的可见光以外的成分的影响，得到色彩再现性较高的图像。

用于解决问题的手段

为了解决上述目的，本发明的图像生成装置的特征在于，具有：投光器，其间隔规定数量的帧期间向摄像空间中投射近红外波长的图案光；摄像部，其拍摄被环境光照射且间隔规定数量的帧期间被投射所述图案光的所述摄像空间内的被摄体，输出包含分别表示摄像图像的R成分、G成分及B成分的R信号、G信号及B信号的摄像信号；控制部，其对所述投光器给出所述图案光的投射强度的指示；图像差分取得部，其求出通过所述摄像部进行的摄像得到的摄像信号中、在投射所述图案光时得到的摄像信号与在不投射所述图案光时得到的摄像信号的差分，由此生成图案光图像，并且根据在不投射所述图案光时得到的摄像信号生成环境光图像；环境光类别判定部，其判定所述环境光的类别；以及可见光图像生成部，其根据由所述环境光类别判定部判定出的所述环境光的类别，生成表示所述环境光中包含的近红外波长的光的构成比的构成比信息，并根据所生成的所述构成比信息估计所述环境光图像中基于所述环境光中包含的所述近红外波长的光的成分，从所述环境光图像中减去基于所述近红外波长的光的成分，由此生成可见光图像，所述环境光类别判定部根据所述摄像图像、所述环境光图像或者所述可见光图像中的R、G、B成分的比率，判定所述环境光的类别。

发明效果

根据本发明，能够在生成带有距离信息的图像时，从摄影图像的图像信号中去除可见光以外的波长的环境光成分的影响，得到色彩再现性较高的图像。

附图说明

图1是示出本发明的实施方式1的图像生成装置的结构框图。

图2是示出图1的摄像部20的结构例的概略图。

图3是立体地示出图1的投光器12及摄像部20的配置的图。

图4是示出实施方式1的投光器和摄像部的配置的图。

图5是示出图1的投光器12的结构例的概略图。

图6的(a)～(p)是示出在图像处理部40的各部分出现的数据中包含的成分的图。

图7是示出图1的图像差分取得部42的结构例的框图。

图8是放大示出投射图案的一部分的图。

图9是示出在投射图案中使用的识别码的示例的图。

图10是示出投射图案中的识别码的配置的示例的图。

图11是示出图1的距离信息生成部43的结构例的框图。

图12的(a)～(c)是示出在图像处理部40的各部分出现的数据中包含的成分的图。

图13是示出图1的可见光图像生成部46的结构例的框图。

图14的(a)～(c)是示出通过图1的增感处理部47相加的像素的配置的图。

图15的(a)和(b)示出图1的显示处理部的输出图像的示例。

图16是示出本发明的实施方式2的图像生成装置的结构框图。

图17是示出图16的可见光图像生成部46b的结构例的框图。

具体实施方式

实施方式1

图1示出本发明的实施方式1的图像生成装置的结构。图示的图像生成装置具有图案光生成部10、摄像部20、控制部30和图像处理部40。

图案光生成部10包含驱动部11和投光器12。

摄像部20如图2所示具有镜头22和摄像元件24。

图3立体地示出投光器12、摄像部20以及摄像空间(摄像对象空间)。在图3中，设为在摄像空间JS中存在长方体的被摄体OJ1和球体的被摄体OJ2。

本发明的图像生成装置如图3所示通过投光器12朝向被摄体OJ1、OJ2进行近红外波长的图案光的投射，根据摄像部20进行摄像得到的信息，求出距被摄像的被摄体OJ1、OJ2的各部分的距离，得到图像信息和关于图像的各部分的距离信息。

由投光器12投射的图案光使产生投射图案。在图3所示的例子中，投射图案形成矩阵状即沿横向(行方向)及纵向(列方向)整齐地排列的光斑。

图4是从上方观察在投光器12和摄像部20、以及摄像空间内的被摄体OJ1、OJ2上的任意点形成的一个光斑SP的图。在图示的例子中，投光器12和摄像部20在水平方向上隔开距离Lpc配置。将连接投光器12和摄像部20的直线称为基线BL，将距离Lpc称为基线长度。

设为借助从投光器12投射的光在摄像空间JS中的被摄体OJ1、OJ2中的一方形成光斑SP，摄像部20接收来自该光斑SP的光。在这种情况下，如果知道从投光器12向光斑SP的投射角φ、从光斑SP向摄像部20的入射角θ、以及基线长度Lpc，则能够根据三角测量的原理通过计算求出从基线BL到被摄体OJ1、OJ2上的光斑SP的距离Dz。

投射角φ是如图4所示在包含基线BL和光斑SP的平面内与基线BL垂直的线、和连接投光器12及光斑SP的线形成的夹角。

入射角θ是如图4所示在包含基线BL和光斑SP的平面内与基线BL垂直的线、和连接摄像部20及光斑SP的线形成的夹角。

摄像部20的入射角θ能够根据光斑SP的像形成于摄像元件24的摄像面的哪个位置、以及摄像元件24的轴线方向及视场角而求出。

来自投光器12的投射角φ是根据投光器12的结构预先确定的，因此是已知的。

在从投光器12分别以不同的投射角投射多个光斑、并由摄像部20拍摄这些光斑的情况下，如果各个投射角是已知的，则能够根据摄像面上的光斑在图像上的位置的相互关系，估计出各光斑的投射角。

投光器12如图5所示具有激光光源13、准直透镜14、光阑15及衍射光栅16。

驱动部11(图1)由控制部30控制，使激光光源13发光，利用准直透镜14使从激光光源13射出的激光成为平行光，利用光阑15使其成为预定的光束直径。

从光阑15输出的光入射到衍射光栅16。衍射光栅16将用于生成预定的投射图案的图案光投射到摄像空间JS中。

摄像部20的镜头22(图2)使被摄体像在摄像元件24的摄像面上对焦。

摄像元件24输出对入射像进行光电转换后的摄像信号。摄像元件24例如是将R、G、B像素排列成拜耳型(Bayer arrangement)构成的，输出R、G、B信号作为摄像信号。摄像元件24的各像素由光电转换元件和在光电转换元件的入射侧设置的滤色器构成。

摄像部20进行摄像空间JS的被摄体OJ1、OJ2的摄像。该摄像以预定的帧频(帧速率)例如30fps进行，通过摄像得到多个连续帧的图像，按照每帧周期输出表示1帧图像的R、G、B颜色成分的信号R0、G0、B0。

摄像空间的被摄体除了受到图案光的投射外，还被环境光照射。

当图案光投射到被摄体OJ1、OJ2时，从摄像部20输出图像(表示该图像的信号)，该图像是对被被摄体OJ1、OJ2反射的环境光的成分(环境光成分或环境光图像)叠加了被被摄体OJ1、OJ2反射的图案光的成分(图案光成分或图案光图像)。

在被摄体OJ1、OJ2未被投射图案光时，从摄像部20输出仅由被被摄体OJ1、OJ2反射的环境光的成分(环境光成分或环境光图像)构成的图像(表示该图像的信号)。

图像处理部40(图1)具有A/D转换器41、图像差分取得部42、距离信息生成部43、环境光类别判定部44、可见光图像生成部46、增感处理部47、影像信号处理部48和显示处理部49。

A/D转换器41将摄像部20的输出例如分别转换为8比特(256灰度)的数字信号R0、G0、B0。

控制部30进行图案光生成部10、摄像部20及图像处理部40的控制。

具体而言，控制部30控制摄像部20的摄像元件24的摄像模式、帧频、曝光时间、光圈、模拟增益等。在曝光时间、光圈和模拟增益的控制时，进行使所摄像的图像的明亮度固定的调节。

控制部30还对A/D转换器41提供用于控制动作的时机的信号。

控制部30还进行图案光生成部10的图案光的投射强度的控制。

在投射强度的控制时，进行使投射图案光时的信号的值与不投射图案光时的信号的值的差分固定的调节。

控制部30还进行用于使图案光生成部10的动作和摄像部20的动作同步的控制。即，控制部30对摄像部20进行按照预定的帧频反复摄像的控制，并且对图案光生成部10进行每隔1帧期间交替地反复图案光的投射和不投射的控制。具体而言，控制部30控制驱动部11使得激光光源13每隔1帧期间处于发光状态和不发光状态。

控制部30还对图像差分取得部42提供表示图案光生成部10处于投射状态(激光光源13处于发光状态)还是不投射状态(激光光源13处于不发光状态)的信号Snf。

控制部30还生成表示环境光图像中的R、G、B成分的比率的信息Prp。为此，例如对于画面整体或者分别表示画面的一部分的每个区域求出从图像差分取得部42输出的R、G、B信号R1、G1、B1的累计值的比率。控制部30将表示R、G、B成分的比率的信息Prp提供给影像信号处理部48。在影像信号处理部48中将表示上述比率的信息Prp用于白平衡调节中。

在本实施方式中也将表示上述比率的信息Prp提供给环境光类别判定部44，在环境光类别判定部44中使用该信息进行环境光的类别的判定。

控制部30还保存由投光器12投射的图案光中包含的光斑各自的、表示投射图案内的位置关系的信息Sdp、表示投射图案上的位置和投射角的对应关系的信息Spa、以及表示摄像部20的轴线方向及视场角的信息Szv、和表示基线长度Lpc的信息，并提供给距离信息生成部43。

投光器12间隔1帧期间间歇地进行图案光的投射，因而摄像部20能够间隔1帧期间交替地得到被投射图案光时的图像(投射时图像)、和不投射图案光时的图像(不投射时图像)即仅基于环境光的图像(环境光图像)。

如图6的(a)、(b)、(d)、(e)、(g)、(h)所示，从A/D转换器41输出的颜色成分的信号R0、G0、B0除包含本来的各颜色的成分Rr、Gg、Bb外，由于各个像素的滤色器在近红外区域中也具有透过性，因而也包含基于近红外光的成分(近红外成分)IRr、IRg、IRb。其中，“本来的各颜色的成分”Rr、Gg、Bb是指在滤色器对近红外光(近红外波长的光)不具有透过性的情况下、以及/或者光电转换元件对近红外光不具有灵敏度的情况下，从摄像部20输出的成分。

如图6的(a)、(d)、(g)所示，在投光器12为投射状态(开启)的帧中得到的信号R0、G0、B0中的近红外成分IRr、IRg、IRb包含基于图案光的成分IRrp、IRgp、IRbp和基于环境光的成分IRre、IRge、IRbe，如图6的(b)、(e)、(h)所示，在投光器12为不投射状态(关闭)的帧中得到的信号R0、G0、B0中的近红外成分IRr、IRg、IRb不包含基于图案光的成分IRrp、IRgp、IRbp，而仅包含基于环境光的成分IRre、IRge、IRbe。

如果忽视互为前后的帧之间的图像的变化(运动)，通过在互为前后的帧之间求出信号R0、G0、B0之差(从包含基于图案光的成分的信号中减去不包含基于图案光的成分的信号)，能够得到图6的(m)、(n)、(o)所示的表示图案光成分IRrp、IRgp、IRbp的信号、或者该信号所表示的图像(图案光图像)。

并且，通过仅选择不包含基于图案光的成分的帧的信号进行输出，能够生成图6的(b)、(e)、(h)所示的表示环境光成分R1、G1、B1的信号、或者该信号所表示的图像(环境光图像或不投射时图像)。

图像差分取得部42的作用是如上所述生成仅包含基于图案光的成分的图像(图案光图像)(图6的(m)、(n)、(o))、和不包含基于图案光的成分的帧的图像(环境光图像)R1、G1、B1(图6的(b)、(e)、(h))。

如图6的(b)、(e)、(h)所示，在信号R1、G1、B1中也包含基于环境光的近红外成分IRre、IRge、IRbe。可见光图像生成部46的作用是从信号R1、G1、B1中去除近红外成分IRre、IRge、IRbe，生成如图6的(c)、(f)、(i)所示的仅由本来的各颜色成分Rr、Gg、Bb构成的信号R2、G2、B2。

另外，在图6的(j)中示出了通过将图6的(a)、(d)、(g)的信号R0、G0、B0合成得到的亮度信号Y0。在该亮度信号Y0中包含本来的亮度成分Yy和近红外成分IRy。在近红外成分IRy中包含基于图案光的成分IRyp和基于环境光的成分IRye。

在图6的(k)中示出了通过将图6的(b)、(e)、(h)的信号R1、G1、B1合成得到的亮度信号Y1。在该亮度信号Y1中包含本来的亮度成分Yy和基于环境光的近红外成分IRye。

在图6的(l)中示出了通过将图6的(c)、(f)、(i)的信号R2、G2、B2合成得到的亮度信号Y2。在该亮度信号Y2中仅包含本来的亮度成分Yy。

在图6的(p)中示出了通过将图6的(m)、(n)、(o)的信号IRrp、IRgp、IRbp合成得到的信号IRyp。该信号IRyp表示被拍摄到的图案光的强度Sr。

下面，详细说明各部分的处理。

图像差分取得部42接收从A/D转换器41输出的信号R0、G0、B0，根据被投射图案光时的图像和未投射图案光时的图像，生成基于图案光的图像(图案光图像)和去除了图案光成分的图像(环境光图像)。例如，将在未投射图案光的帧期间得到的图像作为环境光图像进行输出，从互为前后的两个帧期间中通过被投射图案光的帧期间中的摄像(曝光)而得到的图像、减去通过未投射图案光的帧期间中的摄像(曝光)而得到的图像，将相减得到的图像作为图案光图像进行输出。具体而言，从在被投射图案光的帧期间中得到的R、G、B成分的信号减去在未投射图案光的帧期间中得到的R、G、B成分的信号，将它们进行组合而生成表示图案光成分的单一的信号。

图7示出图像差分取得部42的结构例。

帧延迟部421使从A/D转换器41通过输入端子420提供的摄像信号D41(R0、G0、B0)延迟1帧期间，输出帧延迟摄像信号D421。

差分运算部422求出摄像信号D41与帧延迟摄像信号D421的差分(从被投射图案光的帧的摄像信号减去未被投射图案光的帧的摄像而得到的差分)，生成差分信号D422。

开关423在对输入端子420提供与投光器12未投射图案光的帧有关的摄像信号D41的时刻闭合，将该信号作为环境光成分D423(R1、G1、B1)从输出端子427输出给可见光图像生成部46。

上述的基于帧延迟部421、差分运算部422、开关423的处理是对R、G、B的各颜色成分单独进行的。即，在对输入端子420输入R信号R0时，进行R信号R0的向图案光成分IRrp和环境光成分(Rr+IRre)的分离，在对输入端子420输入G信号G0时，进行G信号G0的向图案光成分IRgp和环境光成分(Gg+IRge)的分离，在对输入端子420输入B信号B0时，进行B信号B0的向图案光成分IRbp和环境光成分(Bb+IRbe)的分离。

输入到图像差分取得部42的R、G、B信号R0、G0、B0是利用拜耳排列的像素得到的信号，因而并非是所有像素具有所有的颜色成分，而是对于各像素仅存在R、G、B中的一种成分。从开关423输出的环境光成分也同样。对于从差分运算部422输出的图案光成分，同样也是仅存在分别利用R、G、B中的任意一个像素得到的成分(颜色信号R0、G0、B0中的任意一个信号中包含的成分)。

插值部424接收从差分运算部422输出的R、G、B的图案光成分IRrp、IRgp、IRbp，对于各像素进行所缺失的成分(被估计为包含于与各像素的颜色信号不同的颜色信号中的近红外成分)IRrp、IRgp、IRbp的插值。

合成部425将有关从插值部424输出的各像素的3个成分IRrp、IRgp、IRbp进行合成。

该合成与根据R、G、B信号生成亮度信号时同样，例如通过下述的运算来进行。

IRyp＝a1×IRrp+a2×IRgp+a3×IRbp (1)

在式(1)中，a1、a2、a3是满足a1+a2+a3＝1的预定的系数。系数a1、a2、a3是根据摄像部20的R、G、B的滤色器对近红外成分的光谱透过特性、R、G、B的光电转换元件对近红外成分的光谱灵敏度特性决定的。另外，为了简单起见，例如也可以设为a1＝a2＝a3＝1/3。

合成部425进行合成的结果(有关各像素的近红外成分)IRyp作为图案光成分Sr，通过输出端子428被提供给距离信息生成部43。

距离信息生成部43根据从图像差分取得部42输出的图案光成分和从控制部30另外提供的有关投射图案的信息，生成表示从摄像部20到被摄体的各部分的距离的信息，其中，该被摄体的各部分与图案光图像的各部分对应。为了距离信息生成部43的距离信息的生成，使用除光斑外也包含识别码的图案作为投射图案。首先，对投射图案进行说明。

如上所述，由投光器12投射的投射图案(投射像)是如图3所示那样包含呈矩阵状排列的光斑的图案，在各光斑的附近具有该图案附带的发挥识别码的作用的点组。

图8是将投射图案的一部分放大示出的图。下面，为了简化说明，假定投射图案是被投射在与投光器12的光轴垂直的平面上而进行说明。

最小的方块被称为点位置或单元，是在投射图案中能够控制开启(照射光的状态)或者关闭(不照射光的状态)的最小单位。例如，在投射范围内形成有纵向480行、横向650列的单元。由被照射光的状态的单元构成点。

各光斑MK形成为占据由纵向2行、横向2列的开启状态的单元构成的区域。

2行2列的区域周围的上下各1行、左右各1列是由关闭状态的单元(未被照射光的单元)构成的区域，将包含该区域和2行2列的区域的4行4列的区域称为光斑区域MA。

与4行4列的光斑区域MA的下侧相邻的1行的单元(与光斑区域MA的下侧相邻且相互排列的4个点位置的组)是构成识别码的第1部分DCa的区域，与光斑区域MA的右侧相邻的1列的单元(与光斑区域MA的右侧相邻且相互排列的4个点位置的组)是构成识别码的第2部分DCb的区域。第1部分DCa的4个单元分别用标号c1～c4表示，第2部分DCb的4个单元分别用标号c5～c8表示。

第1部分DCa及第2部分DCb的各个单元能够取开启状态(被照射的状态)或者关闭状态(不被照射的状态)中的任意一种状态。利用该开启、关闭的组合，构成8比特的识别码DC。各光斑MK附带的识别码DC用于该光斑MK的识别。

与第1部分DCa的右侧相邻的单元即与第2部分DCb的下侧相邻的单元cbr为关闭状态。

投射图案整体上是由对上述4行4列的光斑区域MA附加了识别码DC及单元cbr的、5行5列的单元构成的区域MB的反复而形成的。

光斑MK在确定投射图案的各部分的位置时使用，由2行2列的点构成，因而在摄像部20中占比较大的面积，所以看起来是比较高亮度的部分。

各光斑MK附带的识别码DC在判定该光斑MK是投射图案中包含的多个光斑中的哪个光斑时使用。

图9是示出在投射图案中使用的识别码的示例的图。在图示的例子中，使用编号0～编号55这56个彼此不同的“值”即不同的开启、关闭的组合的识别码。各编号(No.)的识别码的c1～c8的单元的值(开启或者关闭)用“1”、“0”表示。

图10示出投射图案内的识别码的配置的示例(由包含各识别码的5行5列的单元构成的区域的配置的示例)。图10中的各方块相当于由5行5列的单元构成的区域MB。各方块内的数字表示图9的识别码的编号(No.)。

在图10所示的例子中，在垂直方向上排列相同的识别码，在水平方向上从左向右按照识别码从编号0到编号55的顺序进行排列，在编号55之后(右侧)再次配置编号0，以后是同样配置的反复(周期性配置)。

在将图8及图9的识别码按照图10所示排列时，开启状态及关闭状态的单元的排列(开启状态的单元的排列及关闭状态的单元的排列)以投射图案的中心(位于投射图案的垂直方向上的中点，包含编号28的识别码的区域MB内的光斑MK的中心)为中心而点对称。

并且，在沿水平方向相邻的光斑附带的识别码之间，开启状态/关闭状态的变更部位(从开启状态向关闭状态切换的部位或者从关闭状态向开启状态切换的部位)一定仅是一个部位。

8个单元c1～c8的开启关闭的组合有256种，但不是利用其全部组合，而是仅将256种组合中的56种组合用作识别码，以便使满足上述条件。

在向不与投光器12的光轴垂直的平面投射图案光时形成的投射图案为矩形以外的四边形，光斑的行、列也互相不再平行，光斑间的距离也不再均匀。在向曲面上投射图案光时形成的投射图案中，光斑的行、列也不再是直线状的。当在被投射了图案光的面存在凹凸、阶梯等时，各个光斑的投射角的大小关系(例如从较小者开始排列时的顺序)、和各个光斑的入射角的大小关系(例如从较小者开始排列时的顺序)不再一致，有时产生“调换”。

为了得知从投光器12投射各光斑时的投射角，需要识别是矩阵的第几列的光斑。8比特的识别码其自身虽然没有包含能够确定是第几列的信息量，但例如在光斑之间存在调换时，只要各光斑相对于本来位置(顺序)的偏移在识别码的“值”的变化周期(在图10所示的例子中，指由5行5列的单元构成的区域MB的56个的量)的范围内，就能够确定没有偏移时的位置(本来位置)，通过确定本来位置，能够进行被附加了该识别码的光斑是第几列的光斑的识别。

另外，上述的“调换”是根据投光器12和摄像部20被配置在水平方向上的不同位置而产生的，投光器12和摄像部20在上下方向上被配置在相同的位置，因而在上下方向上不产生如上所述的调换，因此通过检测摄像图像中的顺序，能够判定投射图案中的上下方向上的位置(顺序)。因此，不需要用于识别上下方向上的顺序的代码。

另外，考虑到投光器12和摄像部20在上下方向上也被配置在不同位置的可能性，也可以以使得也能够识别上下方向上的顺序的方式来决定识别码。

图11示出距离信息生成部43的结构例。

图11所示的距离信息生成部43具有二值化部431、光斑区域提取部432、识别码读取部433、存储部434、投射角估计部436、入射角计算部437和距离计算部438。

二值化部431将从图像差分取得部42输出的图案光成分二值化，输出二值的图案光图像。

光斑区域提取部432从图案光图像中提取以各光斑为中心的光斑区域MA(图8的4行4列的区域)。

为了提取光斑区域MA，搜索以规定间隔配置的、由位于中心部的2行2列的4个点(由开启状态的单元构成)和位于其周围(上下各1行、左右各1列)的关闭状态的单元构成的4行4列的单元组。并且，中心部的2行2列的4个点的组在投射图案中是有规律地以相等间隔配置的，因而以在通过摄像得到的图像中也是同样的配置为条件。但是，由于被摄体表面的弯曲、凹凸、阶梯等，在摄像图像中未必是完全相等的间隔，因而进行基于相似度的模式匹配等，进行光斑区域MA的提取。

识别码读取部433从与提取出的光斑区域MA相邻的识别码区域中读取识别码DC。

投射角估计部436从识别码读取部433接收识别码的读取结果，再从控制部30得到表示图9的表的内容的数据(表示各识别码与投射图案内的位置之间的关系的信息)Sdp、以及表示投射图案上的位置与投射角的对应关系的信息Spa，根据这些信息估计各光斑的投射角φ。另外，也可以是，在从控制部30提供了上述信息即表示图9的表的内容的数据Sdp及表示投射图案上的位置与投射角的对应关系的信息Spa时，将其保存在投射角估计部436内的存储器(未图示)中。

根据识别码读取部433的读取结果，投射角估计部436进行投射角的估计。

在估计投射角时，判定所读取的识别码DC的值是否与图9的表中的识别码编号0～编号55中的任意一个识别码一致(即，判定是图案内的哪个位置的光斑附带的识别码)，根据判定结果及该光斑是上下方向的哪个位置的光斑的判定结果，确定该光斑是投射图案的水平方向及上下方向的哪个位置的光斑。

在确定出光斑在投射图案上的位置时，根据表示确定出的位置与投射角之间的关系的信息Spa(从控制部30提供的)求出投射角φ。

入射角计算部437根据光斑区域提取部432的输出，并根据光斑被拍摄在摄像面内的哪个位置以及摄像部的轴线方向和视场角，计算有关该光斑的入射角θ。表示轴线方向和视场角的信息Szv是从控制部30提供的。

距离计算部438根据由投射角估计部436估计出的投射角φ、由入射角计算部437计算出的入射角θ、和从控制部30提供的基线长度Lpc，计算从基线BL到被投射光斑的被摄体表面的距离。

首先，图4中的从基线BL到被投射光斑的被摄体表面(形成有光斑SP的点)即图4中的到光斑SP的位置的距离Dz，能够根据如下关系求出。

Dz＝Lpc/(tanφ-tanθ) (2)

式(2)能够根据图4中的如下关系得到。

Dz·tanφ-Dz·tanθ＝Lpc (3)

然后，根据通过式(3)得到的距基线BL的距离Dz和入射角θ，按照下式求出从摄像部20到形成有光斑的被摄体表面(光斑SP)的距离Dr。

Dr＝Dz/cosθ (4)

通过距离信息生成部43求出的距离信息Dr被提供给显示处理部49。

环境光类别判定部44根据从控制部30输出的表示R、G、B成分的比率的信息Prp，判定环境光的类别。环境光可分类为太阳光等自然光和人工的照明光，人工光再根据光源的种类进行分类。环境光类别判定部44例如将R、G、B成分的比率Prp与预定的一个或者两个以上的判定基准值进行比较，根据比较的结果判定环境光的类别。

环境光类别判定部44对类别的判定结果Ltp被传递给可见光图像生成部46。

可见光图像生成部46根据来自图像差分取得部42的像素值R1、G1、B1和来自环境光类别判定部44的类别的判定结果Ltp，计算从像素值R1、G1、B1中去除了近红外成分IRre、IRge、IRbe的像素值，即可见区域内的R、G、B成分的值(像素值)R2、G2、B2。

下面，参照图12的(a)～(c)说明可见光图像生成部46的动作的概况。图12的(a)、(b)、(c)分别是与图6的(e)、(k)、(p)相同的图，用虚线表示被摄体的反射率为100％时的各个成分的值。在下面的说明中，如G1(100)、Gg(100)、IRge(100)、Y1(100)、Yy(100)、IRyp(100)那样，对反射率M为100％时的各个值附加“(100)”。与此相对，有时如G1(M)、Gg(M)、IRge(M)、Y1(M)、Yy(M)、IRyp(M)那样，对不特别限定反射率M时的值附加“(M)”，由此来明确差异，但有时也省略“(M)”。

可见光图像生成部46根据来自环境光类别判定部44的表示类别的信息Ltp，进行假定为对近红外光的反射率和对可见光(此处特别指G成分)的反射率是相同的值Mo时的环境光图像(R1、G1、B1)中、近红外成分所占的比率或者构成比Ey的估计。

关于该构成比Ey，在本实施方式中，对环境光图像的G信号的值G1(Mo)中包含的近红外成分IRge(Mo)与亮度值Y1(Mo)(＝IRye(Mo)+Yy(Mo))之比。

无论该反射率Mo是什么样的值都是相同的结果，但下面为了简化说明，设想反射率Mo为100％的情况进行说明。在上述的反射率Mo为100％的情况下，上述的构成比Ey能够通过下式给出。

Ey＝IRge(100)/Y1(100)

＝IRge(100)/{IRye(100)+Yy(100)}

可见光图像生成部46通过将上述的构成比Ey和亮度值Y1(M)相乘，求出像素值G1(M)中包含的近红外成分IRge(M)，通过从像素值G1(M)中减去该近红外成分IRge(M)，求出像素值G2(M)(＝Gg(M))。

在计算像素值R2(M)(＝Rr(M))、B2(M)(＝Bb(M))时，使用将考虑了R、G、B成分相互间的近红外成分所占的比率差异的参数α、β与上述的构成比Ey相乘得到的值(α×Ey、β×Ey)，来取代上述的构成比Ey。

图13示出图1的可见光图像生成部46的结构例。

图示的可见光图像生成部46具有构成比信息生成部461、亮度值计算部463、参数生成部464和可见光成分计算部466。

构成比信息生成部461根据环境光类别判定部44对类别的判定结果Ltp，生成环境光图像的像素值中包含的表示近红外成分的构成比Er的信息(构成比信息)。

为了进行这样的处理，构成比信息生成部461具有按照环境光的每种类别保存表示环境光中包含的近红外成分的构成比的信息的构成比存储器462。构成比存储器462构成为例如包含LUT表(查找表)，在作为地址输入了表示环境类别的信息时，读出表示近红外成分的构成比的信息。

“环境光中包含的近红外成分的构成比”取决于摄像部20的滤色器的光谱透过特性及光电转换元件的光谱灵敏度特性，是指基于环境光的、摄像部20的输出值中的近红外成分的构成比。例如，在假定被摄体的反射率对于可见光和对于近红外光都是相同值Mo的情况下，环境光图像的G成分的像素值G1(Mo)中包含的近红外成分IRge(Mo)与亮度值Y1(Mo)(＝Yy(Mo)+IRye(Mo))之比(IRge(Mo)/Y1(Mo))，作为上述构成比Ey保存在构成比存储器462中。对于上述的反射率Mo为100％的情况，参照图12的(a)～(c)进行说明，上述的构成比Ey是指图12的(a)所示的环境光图像的G成分的像素值G1(100)中包含的近红外成分IRge(100)、与图12的(b)所示的亮度值Y1(100)(＝Yy(100)+IRye(100))之比(IRge(100)/Y1(100))。

如上所述，环境光类别判定部44接收控制信息中包含的表示R、G、B成分的比率(在画面整体中的比率)的信息Prp，并据此判别环境光的类别Ltp，构成比信息生成部461参照构成比存储器462，读出与类别Ltp对应的(与类别对应地存储的)的表示上述构成比Ey的信息进行输出。

表示上述构成比Ey的信息例如是对画面整体一次求出的，被用作对于画面内的所有像素或区域而言共同的值。

另外，在不是对画面整体一次性地得到信息，而是按照分别构成画面一部分的每个区域得到表示R、G、B成分的比率的信息Prp的情况下，也可以根据该信息按照每个区域求出构成比Ey。

亮度值计算部463根据从摄像部20输出的像素值R1、G1、B1计算有关该像素的亮度值Y1(M)。

亮度值的计算例如能够通过下式进行。

Y1(M)＝a r×R1(M)+a g×G1(M)+a b×B1(M) (5)

a r、a g、a b是满足a r+a g+a b＝1的预定的系数，例如a r＝0.3、a g＝0.59、ab＝0.11。

环境光类别判定部44对类别的判定结果Ltp也被传递给参数生成部464。

参数生成部464具有按照每种环境光保存参数α、β的参数存储器465。参数生成部464按照环境光类别判定部44对类别的判定结果Ltp，从参数存储器465读出与类别对应的参数α、β的值进行输出。

参数α表示在被摄体被相应类别的环境光照射、该被摄体的反射率为某个值Mo例如100％的情况下，环境光图像的R成分的像素值R1(100)中包含的近红外成分的值IRre(100)、与G成分的像素值G1(100)中包含的近红外成分的值IRge(100)之比(IRre(100)/IRge(100))，

参数β表示在被摄体被相应类别的环境光照射、该被摄体的反射率为某个值Mo例如100％的情况下，环境光图像的B成分的像素值B1(100)中包含的近红外成分的值IRbe(100)、与G成分的像素值G1(100)中包含的近红外成分的值IRge(100)之比(IRbe(100)/IRge(100))。

α、β的值取决于摄像部的滤色器的特性和光电转换元件的特性，预先通过实验而求出。

可见光成分计算部466通过将来自亮度值计算部463的亮度值Y1和来自构成比信息生成部461的构成比Ey相乘，求出环境光图像的G信号中包含的近红外成分(IRge＝Y1×Ey)，

通过将该值(IRge＝Y1×Ey)与参数α相乘，求出环境光图像的R信号中包含的近红外成分(IRre＝Y1×Ey×α)，

通过将该值(IRge＝Y1×Ey)与参数β相乘，求出环境光图像的B信号中包含的近红外成分(IRbe＝Y1×Ey×β)。

可见光成分计算部466从环境光图像的R信号、G信号、B信号中减去这样求出的环境光图像的R信号、G信号、B信号中包含的近红外成分IRre、IRge、IRbe，由此计算可见光成分(去除了近红外成分的值)R2、G2、B2。

以上的计算利用下述的式子表述。

R2＝R1-Y1×Ey×α

G2＝G1-Y1×Ey

B2＝B1-Y1×Ey×β (6)

增感处理部47对可见光图像生成部46生成的可见光图像实施增倍乃至增感处理，输出增感后的可见光图像。该增感处理是通过对周边像素的像素值进行加权，并将该加权后的像素值与从可见光图像生成部46输出的像素值R2、G2、B2进行相加而进行的。

从可见光图像生成部46输出的像素值R2、G2、B2并非是所有的像素具有所有的颜色成分，而是各像素按照拜耳排列中的位置具有任意一个颜色成分的值。增感处理部47对各像素(关注像素)加上其周边的相同颜色的像素(具有相同颜色成分的像素)的像素值，由此输出具有增感(增倍)后的像素值的信号R3、G3、B3。

图14的(a)～(c)示出与关注像素相加的像素。在图14的(a)～(c)中，最小的方块分别表示像素。

在关注像素是如图14的(a)所示的R像素RR34的情况下，加上作为周边像素的如下8个像素：上2行且左2列的像素RR12、上2行且相同列的像素RR32、上2行且右2列的像素RR52、相同行且左2列的像素RR14、相同行且右2列的像素RR54、下2行且左2列的像素RR16、下2行且相同列的像素RR36、以及下2行且右2列的像素RR56。

因此，相加结果NRR34用下式表述。

NRR34＝RR12+RR32+RR52

+RR14+RR34+RR54

+RR16+RR36+RR56

(7)

作为这样的像素相加的结果得到的值NRR34作为增倍后的R成分值R3输出。

以上对关注像素是RR34的情况进行了说明，对于其它位置的R像素也与同样配置的周边像素相加。

在关注像素是如图14的(b)所示的G像素GB33的情况下，加上作为周边像素的如下8个像素：上2行且相同列的像素GB31、上1行且左1列的像素GR22、上1行且右1列的像素GR42、相同行且左2列的像素GB13、相同行且右2列的像素GB53、下1行且左1列的像素GR24、下1行且右1列的像素GR44、以及下2行且相同列的像素GB35。

因此，相加结果NGB33用下式表述。

NGB33＝GB31+GR22+GR42

+GB13+GB33+GB53

+GR24+GR44+GB35

(8)

将这样的像素相加的结果而得到的值NGB33作为增倍后的G成分值G3进行输出。

以上对关注像素是GB33的情况进行了说明，对于其它位置的G像素也加上同样配置的周边像素。

在关注像素是如图14的(c)所示的B像素BB43的情况下，加上作为周边像素的如下8个像素：上2行且左2列的像素BB21、上2行且相同列的像素BB41、上2行且右2列的像素BB61、相同行且左2列的像素BB23、相同行且右2列的像素BB63、下2行且左2列的像素BB25、下2行且相同列的像素BB45、以及下2行且右2列的像素BB65。

因此，相加结果NBB43用下式表述。

NBB43＝BB21+BB41+BB61

+BB23+BB43+BB63

+BB25+BB45+BB65

(9)

将这样的像素相加的结果而得到的值NBB43作为增倍后的B成分值B3进行输出。

以上对关注像素是BB43的情况进行了说明，对于其它位置的B像素也加上同样配置的周边像素。

如上所述的相加处理是对关注像素混合了同一帧内的周边像素的处理，周边像素通常具有与关注像素相同程度的像素值，因而具有将信号成分增倍的效果。

例如，在将各关注像素与如上所述的周边的8个像素的像素值相加的情况下(假设周围的像素具有与关注像素相同的像素值)，相加结果为关注像素的像素值的9倍。

但是，将周边像素相加(混合)的结果是析像度(静态析像度)降低。

基于防止该析像度降低的目的，在进行像素值的相加时也可以不将周边像素均等地相加，而是按照周边像素值变更相加的权重。例如，也可以增大对与关注像素的相关性较强的像素的像素值的权重来进行加权相加。例如，也可以将关注像素和周边像素的像素值进行比较，仅对与关注像素的像素值的差值为预定的规定值以下的像素提高相加的权重，对除此以外的像素降低相加的权重。通过这样的处理，即使是诸如在关注像素的附近由于被摄体的边缘导致的像素值的急剧变动的情况下，也能够抑制析像度由于周边像素的相加而降低。

另外，也可以不将关注像素与同一帧内的周边像素相加，而将不同的帧即包含关注像素的帧的前后的帧中与关注像素相同位置的像素相加。

其中，前后的帧不限于前一帧和后一帧，也可以是前面预定数量的帧和后面的预定数量的帧。

如果将不同帧的相同位置的像素相加，则能够在避免静态析像度降低的同时增强信号成分，对图像的运动较少的情况特别有效。

但是，对于运动激烈的影像，运动模糊增多。

另外，也可以将关注像素与同一帧内的周边像素以及不同的帧的相同位置的像素双方相加，还可以将关注像素与不同帧的相同位置的像素的周边像素相加。

这样，能够进一步增大信号成分的增倍率。

影像信号处理部48对从增感处理部47输出的被实施了增感处理的可见光图像，实施颜色插值处理(各像素位置缺失的颜色成分的插值)、灰度校正处理、噪声降低处理、轮廓校正处理、白平衡调节处理、信号振幅调节处理、颜色校正处理等，将这些处理的结果得到的图像作为校正后的可见光图像R4、G4、B4进行输出。

显示处理部49进行用于将距离信息生成部43生成的距离信息与从影像信号处理部48输出的被校正后的可见光图像关联起来进行显示的处理。

图15的(a)和(b)示出显示处理部49的输出图像的示例。图15的(a)表示可见光图像(不投射时图像)，图15的(b)表示带距离信息图像。

带距离信息图像用于显示对距离分配了亮度或者颜色的图像。例如，显示用亮度表现可见光图像、用颜色表现距离的图像。或者，识别存在于摄像空间中的物体，输出将表示该物体的距离的文字信息叠加显示在可见光图像上的图像。

另外，例如也可以使用两个显示画面，在一方显示图15的(a)的可见光图像，在另一方显示图15的(b)所示的带距离信息图像，也可以在一个显示画面中交替地显示图15的(a)所示的可见光图像和图15的(b)所示的带距离信息图像，还可以显示通过用户进行的操作而选择的图像。在这种情况下，优选以与可见光图像相同的视场角、像素数，同步地显示带距离信息图像。

向显示装置(未图示)等输出关联了距离信息的图像(表示该图像的信号)。

实施方式2

图16示出本发明的实施方式2的图像生成装置的结构。图示的图像生成装置大致与图1所示的结构相同，但在以下方面不同。即，设有可见光图像生成部46b取代图1的可见光图像生成部46。

在实施方式1中，利用可见光图像生成部46求出环境光图像的G成分的值中包含的近红外成分相对于亮度值的构成比Ey，根据预先存储的参数α、β和构成比Ey，计算仅具有可见光成分的像素值R2、G2、B2，而在实施方式2中，使用环境光图像的R信号的值中包含的近红外成分IRre的构成比(第1构成比)Er计算像素值R2，使用环境光图像的G信号的值中包含的近红外成分IRge的构成比(第2构成比)Eg计算像素值G2，使用环境光图像的B信号的值中包含的近红外成分IRbe的构成比(第3构成比)Eb计算像素值B2。

图17示出在实施方式2中使用的可见光图像生成部46b。

图17的可见光图像生成部46b具有构成比信息生成部461b、反射率计算部467、强度比率计算部468和可见光成分计算部466b。

构成比信息生成部461b具有构成比存储器462b。构成比存储器462b按照环境光的每种类别，存储表示环境光图像的R、G、B成分的像素值R1、G1、B1中包含的近红外成分IRre、IRge、IRbe的构成比Er、Eg、Eb的信息(构成比信息)。

构成比Er、Eg、Eb分别用下述的式子表述。

Er＝IRre(Mo)/R1(Mo)

Eg＝IRge(Mo)/G1(Mo)

Eb＝IRbe(Mo)/B1(Mo)

在上述的式子中，Mo表示被摄体的反射率，与在实施方式1中叙述的相同，在Mo＝100％时，上述的式子能够改写如下。

Er＝IRre(100)/R1(100)

Eg＝IRge(100)/G1(100)

Eb＝IRbe(100)/B1(100)

构成比信息生成部461b从构成比存储器462b读出表示与环境光类别判定部44判定出的类别Ltp对应的构成比Er、Eg、Eb的信息并输出。

反射率计算部467根据从图像差分取得部42输出的图案光成分的值(表示图案光中由被摄体反射而入射到摄像部20的光的强度)Sr、从控制部30提供的图案光投射强度St(表示该强度的信息)、和由距离信息生成部43计算出的被摄体的距离信息Dr，对图像上的每个区域求出被摄体的近红外成分的反射率M，输出表示该反射率的信息(反射率信息)M。

该反射率例如能够按照以下所述求出。

如上所述，控制部30进行投光器12的投光强度的控制，为此生成表示投光强度的信息。将该控制用的表示投光强度St的信息提供给可见光图像生成部46b。

在根据图案光的投射强度St和距离信息Dr假定被摄体对图案光的反射率为100％的情况下，能够估计出到达摄像部20的反射光的强度。到达摄像部20的反射光的强度的估计是根据从被摄体到摄像部20的距离Dr进行的。

即，在被摄体的反射率为100％时，由被摄体反射而到达摄像部被感光的光的强度(或者与其对应的摄像信号的值)Sr0由下式给出。

Sr0＝St×(ka/Dr²) (10)

在式(10)中，ka是根据摄像部20的镜头22的孔径比和摄像元件24的灵敏度决定的常数。

另外，在如上所述使用激光光源13和衍射光栅16的组合投射投射图案的情况下，构成图案的点由被准直镜头14平行化后的激光的一点形成，因此与被摄体的距离无关地，点自身的大小不变。因此，对于从投光器12到被摄体的传播，能够假定为没有衰减。并且，虽然存在由于空气中的粒子导致的散射造成的衰减，但是与根据式(10)求出的衰减相比可以忽视。

另一方面，将实际到达摄像部20的光的强度设为Sr。于是，反射率M由下式给出。

M＝Sr/Sr0 (11)

实际的反射光的强度Sr是根据图案光投射时和不投射时的摄影图像的亮度之差求出的。即，从图像差分取得部42输出的图案光成分的大小即图12的(c)的IRyp(M)表示反射光的强度Sr。另一方面，Sr0相当于图12的(c)的IRyp(100)。

反射光的强度是在各帧中按照每个光斑求出的，因而上述的反射率M是按照与各光斑对应的每个图像区域求出的。

另外，也可以将图像分割成多个区域，使用关于各区域中包含的光斑的反射率的平均值(简单平均值或者加权平均值)Ma作为关于该区域内的所有光斑的反射率M。

并且，也可以按照每个像素求出反射率，以取代按照每个区域求出反射率。例如，对于各个像素，也可以使用关于以该像素为中心的区域中包含的光斑的反射率的平均值(简单平均值或者加权平均值)Mp作为关于该像素的反射率M。

强度比率计算部468将构成比Er、Eg、Eb与反射率M相乘，由此对R、G、B分别计算出强度比率Psr、Psg、Psb并输出。该强度比率Psr、Psg、Psb表示图像的各区域中的R、G、B的像素值(从摄像部20输出的像素值)中包含的近红外成分的比率(IRre(M)/R1(100)、IRge(M)/G1(100)、IRbe(M)/B1(100))。

可见光成分计算部466b将强度比率Psr、Psg、Psb与环境光图像的像素值R1、G1、B1相乘，由此求出环境光的R信号、G信号及B信号中包含的近红外成分IRre(＝R1×Psr)、IRge(＝G1×Psg)、IRbe(＝B1×Psb)，从环境光图像的像素值R1、G1、B1中减去该近红外成分，由此计算仅具有可见光成分的像素值(去除了近红外成分的值)R2、G2、B2。

可见光成分计算部466b计算像素值R2、G2、B2用的运算用下述的式子表述。

R2＝R1-R1×Psr

G2＝G1-G1×Psg

B2＝B1-B1×Psb (12)

将如上所述得到的可见光图像的像素值R2、G2、B2提供给增感处理部47。在上述以外的方面，实施方式2与实施方式1相同。

在上述的实施方式1及2中，根据从图像差分取得部42输出的信号R1、G1、B1求出R、G、B成分的比率Prp，但本发明不限于此，上述的比率Prp也可以根据从可见光图像生成部46输出的信号R2、G2、B2求出，也可以根据从增感处理部47输出的信号R3、G3、B3求出，也可以根据从影像信号处理部48输出的信号R4、G4、B4求出，还可以根据从A/D转换器41输出的信号R0、G0、B0求出。

在上述的实施方式1及2中，投光器12的光源使用激光器，但也可以使用LED等其它光源代替，只要满足衍射光栅的入射光的特性，即可进行同样的动作，并得到相同的效果。

在上述的实施方式1及2中，关于投光器12说明了利用激光光源13投射形成于衍射光栅16的图案的结构，但即使是高速地二维扫描激光(在1帧期间内扫描整个视野)进行图案投射的结构，也能够进行同样的动作，并得到相同的效果。

在上述的实施方式1及2中，投光器12间隔1帧期间进行图案光的投射，但本发明不限于此，也可以间隔2帧期间以上的期间进行图案光的投射，总之只要间隔规定数量的帧期间进行投射即可。

在投光器12间隔2帧期间以上的期间进行图案光的投射的情况下，对于各投射时图像能够得到多个不投射时图像。在这种情况下，图像差分取得部42例如可以根据各投射时图像、与在得到该投射时图像的帧期间的紧临的前面的帧期间或者紧临的后面的帧期间中得到的不投射时图像之间的差分，生成图案光图像。并且，在图像没有运动的情况下，也可以根据各投射时图像、与在得到该投射时图像的帧期间的前后的多个帧期间中得到的不投射时图像的平均之间的差分，生成图案光图像。

如上所述，根据本发明能够得到图像生成装置，能够与摄像图像对应地取得距存在于摄像空间中的物体的距离信息。本发明的图像生成装置例如能够同时取得侵入者的图像和距离，能够应用于监视用途的侵入监视。本发明的图像生成装置例如也能够应用于基于车辆的前方和后方的障碍物检测的驾驶支援例如停车支援。

另外，根据图案光投射强度、距被摄体的距离、摄影图像的R、G、B成分的比率的信息，估计被摄体的近红外光反射率、及环境光中包含的近红外光的构成比，进行像素值的校正，由此，即使是在使用对近红外光也具有灵敏度的摄像部的情况下，也能够去除近红外成分，得到色彩再现性较高的图像。

另外，通过对像素值校正后的图像进行基于与周边像素的像素相加的信号的增感，能够防止因像素值的校正引起的图像亮度的降低。在这种情况下，对与关注像素的相关性较强的像素值赋予更大的权重地进行相加，由此能够抑制析像度的降低。

以上说明了本发明的图像生成装置，由上述的图像生成装置执行的图像生成方法也构成本发明的一部分。并且，能够通过软件即通过被编程的计算机实现图像生成装置的各部分或者构成图像生成方法的步骤的一部分。

标号说明

10图案光生成部；11驱动部；12投光器；20摄像部；24摄像元件；30控制部；40图像处理部；41 A/D转换器；42图像差分取得部；43距离信息生成部；44环境光类别判定部；46、46b可见光图像生成部；47增感处理部；48影像信号处理部；49显示处理部；421帧延迟部；422差分运算部；424插值部；425合成部；431二值化部；432光斑区域提取部；433识别码读取部；436投射角估计部；437入射角计算部；438距离计算部；461、461b构成比信息生成部；462、462b构成比存储器；463亮度值计算部；464参数生成部；465参数存储器；466、466b可见光成分计算部；467反射率计算部；468强度比率计算部。

Claims (8)

1.一种图像生成装置，其特征在于，该图像生成装置具有：

投光器，其间隔规定数量的帧期间向摄像空间投射近红外波长的图案光；

摄像部，其对被环境光照射且间隔规定数量的帧期间被投射所述图案光的所述摄像空间内的被摄体进行摄像，输出包含分别表示摄像图像的R成分、G成分及B成分的R信号、G信号及B信号的摄像信号；

控制部，其对所述投光器给出所述图案光的投射强度的指示；

图像差分取得部，其求出通过所述摄像部进行的摄像得到的摄像信号中、在投射所述图案光时得到的摄像信号与在不投射所述图案光时得到的摄像信号之间的差分，由此生成图案光图像，并且根据在不投射所述图案光时得到的摄像信号生成环境光图像；

环境光类别判定部，其判定所述环境光的类别；以及

可见光图像生成部，其根据由所述环境光类别判定部判定出的所述环境光的类别，生成表示所述环境光中包含的近红外波长的光的构成比的构成比信息，并根据所生成的所述构成比信息来估计所述环境光图像中基于所述环境光中包含的所述近红外波长的光的成分，从所述环境光图像中减去基于所述近红外波长的光的成分，由此生成可见光图像，

所述环境光类别判定部根据所述摄像图像、所述环境光图像或者所述可见光图像中的R、G、B成分的比率，判定所述环境光的类别。

2.根据权利要求1所述的图像生成装置，其特征在于，

所述构成比是所述环境光图像的G信号的值中包含的基于近红外波长的光的成分与所述环境光图像的亮度值之比，

所述可见光图像生成部从所述环境光图像的G信号的值减去所述构成比与所述环境光图像的亮度值之积，由此求出所述可见光图像的G信号的值。

3.根据权利要求2所述的图像生成装置，其特征在于，

所述可见光图像生成部按照由所述环境光类别判定部判定出的环境光的类别，生成第1参数和第2参数，

所述第1参数表示所述环境光图像的R信号的值中包含的基于近红外波长的光的成分的值、与所述环境光图像的G信号的值中包含的基于所述近红外波长的光的成分的值之比，

所述2参数表示所述环境光图像的B信号的值中包含的基于近红外波长的光的成分的值、与所述环境光图像的G信号的值中包含的基于所述近红外波长的光的成分的值之比，

所述可见光图像生成部从所述环境光图像的R信号的值减去所述构成比、所述第1参数以及所述环境光图像的亮度值之积，由此求出所述可见光图像的R信号的值，

所述可见光图像生成部从所述环境光图像的B信号的值中减去所述构成比、所述第2参数以及所述环境光图像的亮度值之积，由此求出所述可见光图像的B信号的值。

4.根据权利要求1所述的图像生成装置，其特征在于，

所述图像生成装置还具有距离信息生成部，该距离信息生成部根据由所述图像差分取得部生成的所述图案光图像，生成表示从所述摄像部到所述被摄体的距离的距离信息，

所述构成比信息是表示第1构成比、第2构成比和第3构成比的信息，

所述第1构成比是指所述环境光图像的R信号的值中包含的、基于近红外波长的光的成分的比率，

所述第2构成比是指所述环境光图像的G信号的值中包含的、基于近红外波长的光的成分的比率，

所述第3构成比是指所述环境光图像的B信号的值中包含的、基于近红外波长的光的成分的比率，

所述可见光图像生成部根据由所述环境光类别判定部判定出的环境光的类别、所述投光器的所述图案光的投射强度、由所述图像差分取得部生成的所述图案光图像的信号的值、和由所述距离信息生成部生成的所述距离信息，估计所述被摄体的反射率，

所述可见光图像生成部通过将估计出的所述反射率、所述第1构成比以及所述环境光图像的R信号的值相乘，来计算所述环境光图像的R信号中包含的基于近红外波长的光的成分，

所述可见光图像生成部通过将估计出的所述反射率、所述第2构成比以及所述环境光图像的G信号的值相乘，来计算所述环境光图像的G信号中包含的基于近红外波长的光的成分，

所述可见光图像生成部通过将估计出的所述反射率、所述第3构成比以及所述环境光图像的B信号的值相乘，来计算所述环境光图像的B信号中包含的基于近红外波长的光的成分。

5.根据权利要求4所述的图像生成装置，其特征在于，

所述可见光图像生成部求出如下的比值乘以预定的系数得到的值作为所述反射率，该比值是所述图案光图像的信号的值、与所述投射强度和距所述被摄体的距离的平方的倒数之积的比值。

6.根据权利要求4或5所述的图像生成装置，其特征在于，

所述距离信息生成部根据所述图案光图像内的光斑的排列、和预先存储的所述图案光形成的投射图案内的各光斑的位置与投射角之间的关系，确定被摄像的投射图案内的各光斑的投射角，根据确定出的投射角，求出距被投射了光斑的所述被摄体的距离。

7.根据权利要求1～5中任意一项所述的图像生成装置，其特征在于，

所述图像生成装置还具有增感处理部，该增感处理部针对由所述可见光图像生成部生成的所述可见光图像的各像素的信号值，对周边像素的信号值进行加权并与所述各像素的信号值相加，由此对所述各像素的信号的值进行增倍。

8.根据权利要求6所述的图像生成装置，其特征在于，

所述图像生成装置还具有增感处理部，该增感处理部针对由所述可见光图像生成部生成的所述可见光图像的各像素的信号值，对周边像素的信号值进行加权并与所述各像素的信号值相加，由此对所述各像素的信号的值进行增倍。