CN103155551B - 图像生成装置及操作支援系统 - Google Patents

Abstract

本发明提供一种图像生成装置及操作支援系统，本发明的图像生成装置（100），其基于安装于挖土机（60）的多个摄像机所拍摄的多个输入图像而生成输出图像，并以与2个摄像机（2R、2B）的各自的拍摄范围重叠的区域对应的这些2个摄像机（2R、2B）的各自的输入图像部分在该输出图像中形成格子花纹的方式配置这些2个输入图像部分。

Description

图像生成装置及操作支援系统

技术领域

本发明涉及一种基于安装于被操作体的多个摄像机所拍摄的多个输入图像而生成输出图像的图像生成装置及使用该装置的操作支援系统。

背景技术

以往，已知有如下驾驶支援系统，即将通过对车辆周边进行拍摄的多个车载摄像机所拍摄的图像分别变换成俯视图图像，并向驾驶者提示接合这些俯视图图像的输出图像（例如参考专利文献1）。

当生成与2个摄像机的拍摄范围的重叠区域对应的重叠区域图像时，该驾驶支援系统设定将该重叠区域图像分成两个的作为一条形状复杂的边界线的齿梳状边界线，并以2个摄像机分别拍摄的2个俯视图图像各自的局部区域交替地配置成齿梳状的方式使2个俯视图图像接合。

通常，在该重叠区域存在的高度较高的物体在分别对2个摄像机与该物体进行连结的线的延长方向上向两方向延伸投影，因此若以一条直线将该重叠区域二分为2个区域，使一侧的区域与基于一侧的摄像机的俯视图图像对应并使另一侧的区域与基于另一侧的摄像机的俯视图图像对应，由此生成该重叠区域图像，则导致该物体从该重叠区域图像消失。

应对该问题，该驾驶支援系统能够防止上述的接合导致高度较高的物体从重叠区域图像消失，能够使驾驶者轻松识别该物体。

以往技术文献

专利文献

专利文献1：日本特开2007-109166号公报

发明内容

发明要解决的技术课题

然而，专利文献1记载的驾驶支援系统使用作为一条形状复杂的边界线的齿梳状边界线，以2个俯视图图像各自的局部区域交替配置成齿梳状的方式接合2个俯视图图像而生成输出图像，因此当这些2个俯视图图像的明度存在较大的差时，导致产生齿梳状较明显的明暗图案，使看到该输出图像的驾驶者感到不适。

鉴于上述内容，本发明的目的在于提供如下图像生成装置及使用该装置的操作支援系统，即防止基于多个摄像机所拍摄的多个输入图像而生成的输出图像中的、在多个摄像机的拍摄范围所重叠的区域的物体的消失，并使输入图像之间的明度的差不明显。

用于解决技术课题的手段

为了达成上述目的，本发明的实施例所涉及的图像生成装置，其为基于安装在被操作体上的多个摄像机所拍摄的多个输入图像而生成输出图像的图像生成装置，其特征在于，与所述多个摄像机中的2个摄像机各自的拍摄范围重叠的区域对应的所述多个摄像机中的2个摄像机各自的输入图像部分配置成在所述输出图像中形成格子花纹。

而且，本发明的实施例所涉及的操作支援系统，其为对被操作体的移动或操作进行支援的操作支援系统，其特征在于，所述操作支援系统具备：上述的图像生成装置；及显示部，设置在用于使所述被操作体移动或对所述被操作体进行操作的操作室，对该图像生成装置所生成的输出图像进行显示。

发明效果

通过上述构件，本发明能够提供如下图像生成装置及使用该装置的操作支援系统，即防止基于多个摄像机所拍摄的多个输入图像而生成的输出图像中的、在多个摄像机的拍摄范围所重叠的区域的物体的消失，并使输入图像之间的明度的差不明显。

附图说明

图1是概略地表示本发明所涉及的图像生成装置的构成例的块图。

图2是表示搭载有图像生成装置的挖土机的构成例的图。

图3A是表示投影有输入图像的空间模型的一例的图。

图3B是表示投影有输入图像的空间模型的一例的图。

图4是表示空间模型与处理对象图像平面之间的关系的一例的图。

图5是用于对将输入图像平面上的坐标与空间模型上的坐标建立对应进行说明的图。

图6A是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。

图6B是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。

图6C是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。

图6D是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。

图7A是用于对平行线群的作用进行说明的图。

图7B是用于对平行线群的作用进行说明的图。

图8A是用于对辅助线群的作用进行说明的图。

图8B是用于对辅助线群的作用进行说明的图。

图9是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。

图10是输出图像的显示例（其1）。

图11是输出图像的显示例（其2）。

图12A是用于对同色错觉进行说明的图。

图12B是用于对同色错觉进行说明的图。

图13是用于对生成带来同色错觉的明暗图案的方法的一例进行说明的图。

图14是表示将图13的格子花纹配置在输出图像平面上的状态的图。

图15是表示格子花纹形成处理的流程的流程图。

图16是表示图11中示出的输出图像与在图11的输出图像应用带来同色错觉的格子花纹的输出图像的不同点的对比图。

图17是输出图像的显示例（其3）。

图18A是对在2个摄像机各自的拍摄范围的重叠区域中的物体消失防止效果进行说明的图。

图18B是对在2个摄像机各自的拍摄范围的重叠区域中的物体消失防止效果进行说明的图。

图19是表示图17中示出的输出图像与在图17的输出图像应用带来同色错觉的格子花纹的输出图像的不同点的对比图。

具体实施方式

以下，参考附图，进行用于实施本发明的最佳形态的说明。

图1是概略地表示本发明所涉及的图像生成装置100的构成例的块图。

图像生成装置100为例如基于搭载于建设机械的摄像机2所拍摄的输入图像而生成输出图像并将该输出图像提示给驾驶者的装置，其由控制部1、摄像机2、输入部3、存储部4及显示部5构成。

图2是表示搭载有图像生成装置100的挖土机60的构成例的图，挖土机60在履带式下部行走体61上经回转机构62绕回转轴PV回转自如地搭载有上部回转体63。

而且，上部回转体63在其前方左侧部具备操纵室（驾驶室）64，在其前方中央部具备挖掘装置E，在其右侧面及后面具备摄像机2（右侧方摄像机2R、后方摄像机2B）。另外，在操纵室64内的驾驶者容易辨识的位置设置有显示部5。

接着，对图像生成装置100的各构成要件进行说明。

控制部1为具备CPU（CentralProcessingUnit）、RAM（RandomAccessMemory）、ROM（ReadOnlyMemory）、NVRAM（Non-VolatileRandomAccessMemory）等的计算机，例如将分别与后述的坐标对应建立构件10及输出图像生成构件11对应的程序存储于ROM或NVRAM，作为临时存储区域利用RAM并且使CPU执行与各构件对应的处理。

摄像机2为用于获得呈现挖土机60的周边的输入图像的装置，例如为以能够拍摄成为在操纵室64内的驾驶者的死角的区域的方式安装于上部回转体63的右侧面及后面的（参考图2）、具备CCD（ChargeCoupledDevice）或CMOS（ComplementaryMetalOxideSemiconductor）等拍摄元件的右侧方摄像机2R及后方摄像机2B。另外，摄像机2可安装于上部回转体63的右侧面及后面以外的位置（例如前面及左侧面），也可安装有广角透镜或鱼眼透镜，以便能够拍摄较宽范围。

而且，摄像机2根据来自控制部1的控制信号获得输入图像，并向控制部1输出所获得的输入图像。另外，当使用鱼眼透镜或广角透镜获得输入图像时，摄像机2向控制部1输出对通过使用这些透镜而产生的外观上的畸变或歪斜进行修正的修正完了的输入图像，但也可将未对该外观上的畸变或歪斜进行修正的输入图像原样地向控制部1输出。这时，控制部1对该外观上的畸变或歪斜进行修正。

输入部3为用于操作者能够对图像生成装置100输入各种信息的装置，例如为触控面板、按扭开关、指针设备及键盘等。

存储部4为用于存储各种信息的装置，例如为硬盘、光盘、或半导体存储器等。

显示部5为用于显示图像信息的装置，例如为设置在建设机械的操纵室64（参考图2）内的液晶显示器或投影仪等，对控制部1所输出的各种图像进行显示。

而且，图像生成装置100也可基于输入图像生成处理对象图像，并在通过对该处理对象图像实施图像变换处理来生成能够直观地掌握与周边障碍物的位置关系或距离感的输出图像的基础上，向驾驶者提示该输出图像。

“处理对象图像”为基于输入图像生成的、成为图像变换处理（例如标度变换、仿射变换、畸变变换、视点变换处理等）的对象的图像，其为如下图像：例如当在图像变换处理中使用作为基于从上方拍摄地表的摄像机的输入图像的、通过其宽广的像角包括水平方向的图像（例如空的部分）的输入图像时，以该水平方向的图像不会被不自然地显示的方式（例如以空的部分不会被对待成作为在地表的部分的方式）将该输入图像投影于规定的空间模型的基础上，将投影于该空间模型的投影图像再投影于其他的二维平面来获得的、适合于图像变换处理的图像。另外，处理对象图像也可不实施图像变换处理，原样地作为输出图像而使用。

“空间模型”为至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面（例如与处理对象图像平面平行的平面、或在与处理对象图像平面之间形成角度的平面或曲面）的、由一个或多个平面或曲面构成的、输入图像的投影对象。

另外，图像生成装置100也可不生成处理对象图像，而是通过对投影于该空间模型的投影图像实施图像变换处理而生成输出图像。而且，投影图像也可不实施图像变换处理，而是原样地作为输出图像来使用。

图3是表示投影有输入图像的空间模型MD的一例的图，图3A示出从侧方观察挖土机60时的挖土机60与空间模型MD之间的关系，图3B示出从上方观察挖土机60时的挖土机60与空间模型MD之间的关系。

如图3所示，空间模型MD具有半圆柱形状，并具有其底面内部的平面区域R1与其侧面内部的曲面区域R2。

而且，图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图，处理对象图像平面R3为例如包括空间模型MD的平面区域R1的平面。另外，为了明确化，图4中并非用如图3所示的半圆柱形状，而是用圆柱形状示出空间模型MD，但空间模型MD也可为半圆柱形状及圆柱形状中的任一种。在以后的图中也相同。而且，如上所述，处理对象图像平面R3可为包括空间模型MD的平面区域R1的圆形区域，也可为不包括空间模型MD的平面区域R1的环状区域。

接着，对控制部1所具有的各种构件进行说明。

坐标对应建立构件10为用于将摄像机2所拍摄的输入图像所处的输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应的构件，例如基于预先设定的或者经输入部3输入的摄像机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等有关摄像机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应，并将它们的对应关系存储于存储部4的输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41。

另外，当不生成处理对象图像时，坐标对应建立构件10省略将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应、及对该对应关系的在空间模型/处理对象图像对应映射表41的存储。

输出图像生成构件11为用于生成输出图像的构件，例如对处理对象图像实施标度变换、仿射变换、或畸变变换，由此将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应，并将该对应关系存储于存储部4的处理对象图像/输出图像对应映射表42，并且一边参考坐标对应建立构件10存储该值的输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值及彩度值等）与输入图像中的各像素的值建立关联来生成输出图像。

而且，输出图像生成构件11基于预先设定的或者经输入部3输入的、假想摄像机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应，并将该对应关系存储于存储部4的处理对象图像/输出图像对应映射表42，并且一边参考坐标对应建立构件10存储该值的输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值及彩度值等）与输入图像中的各像素的值建立关联来生成输出图像。

另外，输出图像生成构件11也可并非使用假想摄像机的概念，而是变更处理对象图像的标度来生成输出图像。

而且，当不生成处理对象图像时，输出图像生成构件11根据实施的图像变换处理，将空间模型MD上的坐标与输出图像平面上的坐标建立对应，一边参考输入图像/空间模型对应映射表40，一边将输出图像中的各像素的值（例如亮度值、色调值及彩度值等）与输入图像中的各像素的值建立关联来生成输出图像。此时，输出图像生成构件11省略处理对象图像平面R3上的坐标与输出图像平面上的坐标建立对应、及向处理对象图像/输出图像对应映射表42的该对应关系的存储。

接着，对基于坐标对应建立构件10及输出图像生成构件11的具体的处理的一例进行说明。

坐标对应建立构件10例如能够使用哈密尔顿的四元数，将输入图像平面上的坐标与空间模型上的坐标建立对应。

图5是用于对将输入图像平面上的坐标与空间模型上的坐标建立对应进行说明的图，摄像机2的输入图像平面作为将摄像机2的光学中心C作为原点的UVW正交坐标系中的一平面表示，空间模型作为XYZ正交坐标系中的立体面表示。

首先，坐标对应建立构件10为了将空间模型上的坐标（XYZ坐标系上的坐标）变换成输入图像平面上的坐标（UVW坐标系上的坐标），在使XYZ坐标系的原点平移到光学中心C（UVW坐标系的原点）的基础上，使XYZ坐标系旋转，以使X轴与U轴、Y轴与V轴、Z轴与-W轴（符号“-”是指方向相反。这起因于UVW坐标系将摄像机前方作为+W方向，XYZ坐标系将铅直下方作为-Z方向））分别一致。

另外，当摄像机2存在多个时，摄像机2分别具有独立的UVW坐标系，因此坐标对应建立构件10使XYZ坐标系分别相对于多个UVW坐标系中的各UVW坐标系平移且旋转。

上述的变换通过在以摄像机2的光学中心C成为XYZ坐标系的原点的方式使XYZ坐标系平移之后，以Z轴与-W轴一致的方式旋转，进而以X轴与U轴一致的方式旋转来实现，因此坐标对应建立构件10能够通过用哈密尔顿的四元数记述该变换来将这些2次旋转汇总成1次旋转运算。

然而，用于使某矢量A与另一矢量B一致的旋转相当于将矢量A与矢量B展开的面的法线作为轴并仅旋转矢量A与矢量B所形成的角度的处理，若将该角度设为θ，则根据矢量A与矢量B的内积，角度θ由如下式表示。

[数式1]

$\mathrm{\θ}={\cos }^{-1}\left(\frac{A-B}{\left|A\right|\left|B\right|}\right)$

而且，矢量A与矢量B展开的面的法线的单位矢量N根据矢量A与矢量B的外积由如下式表示。

[数式2]

$N=\frac{A\×B}{\left|A\right|\left|B\right|\sin \mathrm{\θ}}$

另外，四元数为当将i、j、k分别设为虚数单位时满足如下式的超复数，

[数式3]

ii=jj=kk=ijk＝-1

在本实施例中，四元数Q用将实成分设为t，将纯虚成分设为a、b、c的如下式表示，

[数式4]

Q＝(t；a，b，c)=t+ai+bj+ck

四元数Q的共轭四元数用如下式表示。

[数式5]

Q^*＝(t；-a，-b，-c)＝t-ai-bj-ck

四元数Q能够将实成分t设为0（零），并且用纯虚成分a、b、c表现三维矢量（a、b、c），而且能够通过t、a、b、c的各成分表现以任意矢量为轴的旋转动作。

而且，四元数Q能够综合连续的多次旋转动作而作为一次旋转动作来表现，例如能够如下表现将任意点S（sx、sy、sz）一边以任意单位矢量C（l、m、n）为轴，一边旋转角度θ时的点D（ex、ey、ez）。

[数式6]

D＝(0；ex，ey，ez)=QSQ^*但是， $S=(0;\mathrm{sx},\mathrm{sy},\mathrm{sz}),Q=(\cos \frac{\mathrm{\θ}}{2};l\sin \frac{\mathrm{\θ}}{2},m\sin \frac{\mathrm{\θ}}{2},n\sin \frac{\mathrm{\θ}}{2})$

在此，在本实施例中，若将表示使Z轴与-W轴一致的旋转的四元数设为Q_z，则XYZ坐标系中的X轴上的点X被移动至点X＇，因此点X＇以如下式表示。

[数式7]

$X^{\′}=Q_z{{\mathrm{XQ}}_z}^{*}$

而且，在本实施例中，若将表示使连结存在于X轴上的点X＇与原点的线与U轴一致的旋转的四元数设为Q_x，则表示“使Z轴与-W轴一致，而且使X轴与U轴一致的旋转”的四元数R以如下式表示。

[数式8]

R=Q_xQ_z

如上，用输入图像平面（UVW坐标系）上的坐标表现空间模型（XYZ坐标系）上的任意坐标P时的坐标P＇以如下式表示，

[数式9]

P'=RPR^*

四元数R在各个摄像机2中不变，因此坐标对应建立构件10以后仅通过执行该运算就能够将空间模型（XYZ坐标系）上的坐标变换成输入图像平面（UVW坐标系）上的坐标。

将空间模型（XYZ坐标系）上的坐标变换成输入图像平面（UVW坐标系）上的坐标之后，坐标对应建立构件10对连结摄像机2的光学中心C（UVW坐标系上的坐标）与用UVW坐标系表示空间模型上的任意坐标P的坐标P＇的线段CP＇、和摄像机2的光轴G所形成的入射角α进行计算。

而且，坐标对应建立构件10对与摄像机2的输入图像平面R4（例如CCD面）平行且包括坐标P＇的平面H中的、连结平面H与光轴G的交点E和坐标P＇的线段EP＇、和平面H中的U＇轴所形成的偏角、及线段EP＇的长度进行计算。

摄像机的光学系统通常为像高度h与入射角α及焦点距离f的函数，因此坐标对应建立构件10选择通常射影（h=ftanα）、正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等适当的射影方式来对像高度h进行计算。

之后，坐标对应建立构件10将所计算出的像高度h通过偏角分解成UV坐标系上的U成分及V成分，以相当于输入图像平面R4的每一像素的像素尺寸的数值进行除法运算，由此能够将空间模型MD上的坐标P（P＇）与输入图像平面R4上的坐标建立对应。

另外，若将输入图像平面R4的U轴方向上的每一像素的像素尺寸设为a_U，将输入图像平面R4的V轴方向上的每一像素的像素尺寸设为a_V，则与空间模型MD上的坐标P（P＇）对应的输入图像平面R4上的坐标（u、v）用如下式表示。

[数式10]

[数式11]

如此，坐标对应建立构件10将空间模型MD上的坐标与每个摄像机中存在的一个或多个输入图像平面R4上的坐标建立对应，并将空间模型MD上的坐标、摄像机识别码、及输入图像平面R4上的坐标建立关联来存储于输入图像/空间模型对应映射表40。

而且，坐标对应建立构件10使用四元数对坐标的变换进行运算，因此与使用欧拉角对坐标的变换进行运算时不同，具有不会产生万向节死锁的优点。然而，坐标对应建立构件10不限于使用四元数对坐标的变换进行运算，也可使用欧拉角对坐标的变换进行运算。

另外，当能够将多个输入图像平面R4上的坐标建立对应时，坐标对应建立构件10也可将空间模型MD上的坐标P（P＇）与有关该入射角α最小的摄像机的输入图像平面R4上的坐标建立对应，或与操作者选择的输入图像平面R4上的坐标建立对应。

接着，对将空间模型MD上的坐标中的、曲面区域R2上的坐标（具有Z轴方向的成分的坐标）再投影至存在于XY平面上的处理对象图像平面R3的处理进行说明。

图6是用于对基于坐标对应建立构件10的坐标之间的对应建立进行说明的图，图6A是作为一例表示采用通常射影（h=ftanα）的摄像机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图，坐标对应建立构件10通过使连结摄像机2的输入图像平面R4上的坐标、与对应于该坐标的空间模型MD上的坐标的线段分别通过摄像机2的光学中心C，来将两坐标建立对应。

图6A的例子中，坐标对应建立构件10将摄像机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，并将摄像机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1-L1及线段K2-L2均通过摄像机2的光学中心C。

另外，当摄像机2采用通常射影以外的射影方式（例如正射影、立体射影、等立体角射影、等距离射影等）时，坐标对应建立构件10根据各种射影方式将摄像机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。

具体而言，坐标对应建立构件10基于预定的函数（例如正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输入图像平面上的坐标与空间模型MD上的坐标建立对应。此时，线段K1-L1及线段K2-L2不会通过摄像机2的光学中心C。

图6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图，坐标对应建立构件10对作为位于XZ平面上的平行线群PL的、在与处理对象图像平面R3之间形成角度β的平行线群PL进行导入，并使空间模型MD的曲面区域R2上的坐标与对应于该坐标的处理对象图像平面R3上的坐标均落到平行线群PL中的一个，来将两坐标建立对应。

图6B的例子中，坐标对应建立构件10作为空间模型MD的曲面区域R2上的坐标L2与处理对象图像平面R3上的坐标M2落到共同的平行线，来将两坐标建立对应。

另外，坐标对应建立构件10能够将空间模型MD的平面区域R1上的坐标同曲面区域R2上的坐标相同地使用平行线群PL与处理对象图像平面R3上的坐标建立对应，但图6B的例子中，平面区域R1与处理对象图像平面R3成为共同的平面，因此空间模型MD的平面区域R1上的坐标L1与处理对象图像平面R3上的坐标M1具有相同坐标值。

如此，坐标对应建立构件10将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应，将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立关联而存储于空间模型/处理对象图像对应映射表41。

图6C是表示处理对象图像平面R3上的坐标与作为一例采用通常射影（h=ftanα）的假想摄像机2V的输出图像平面R5上的坐标之间的对应关系的图，输出图像生成构件11使连结假想摄像机2V的输出图像平面R5上的坐标、与对应于该坐标的处理对象图像平面R3上的坐标的线段分别通过假想摄像机2V的光学中心CV，并将两坐标建立对应。

图6C的例子中，输出图像生成构件11将假想摄像机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3（空间模型MD的平面区域R1）上的坐标M1建立对应，并将假想摄像机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1-N1及线段M2-N2均通过假想摄像机2V的光学中心CV。

另外，当假想摄像机2V采用通常射影以外的射影方式（例如正射影、立体射影、等立体角射影、等距离射影等）时，输出图像生成构件11根据各个射影方式将假想摄像机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。

具体而言，输出图像生成构件11基于预定的函数（例如正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。此时，线段M1-N1及线段M2-N2不会通过假想摄像机2V的光学中心CV。

如此，输出图像生成构件11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立关联而存储于处理对象图像/输出图像对应映射表42，并且一边参考坐标对应建立构件10所存储的输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。

另外，图6D是对图6A～图6C进行组合的图，表示摄像机2、假想摄像机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。

接着，参考图7，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而被坐标对应建立构件10导入的平行线群PL的作用进行说明。

图7A是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β时的图，图7B是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β1（β1＞β）时的图。而且，图7A及图7B中的空间模型MD的曲面区域R2上的坐标La～Ld分别与处理对象图像平面R3上的坐标Ma～Md对应，图7A中的坐标La～Ld彼此的间隔与图7B中的坐标La～Ld彼此的间隔相等。另外，为了说明目的，假设平行线群PL存在于XZ平面上，但实际上以从Z轴上的所有点向处理对象图像平面R3放射状地延伸的方式存在。另外，将此时的Z轴称为“再投影轴”。

如图7A及图7B所示，处理对象图像平面R3上的坐标Ma～Md彼此的间隔随着平行线群PL与处理对象图像平面R3之间的角度增大而线性地减小（同空间模型MD的曲面区域R2与各个坐标Ma～Md之间的距离无关地同样减小）。另一方面，图7的例子中，不进行从空间模型MD的平面区域R1上的坐标群向处理对象图像平面R3上的坐标群的变换，因此坐标群的间隔不会变化。

这些坐标群的间隔的变化意味着在输出图像平面R5（参考图6）上的图像部分中、只有与投影于空间模型MD的曲面区域R2的图像对应的图像部分线性地放大或缩小。

接着，参考图8，对用于将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而被坐标对应建立构件10所导入的平行线群PL的代替例进行说明。

图8A是所有位于XZ平面上的所有辅助线群AL从Z轴上的始点T1向处理对象图像平面R3延伸时的图，图8B是所有辅助线群AL从Z轴上的始点T2（T2＞T1）向处理对象图像平面R3延伸时的图。而且，图8A及图8B中的空间模型MD的曲面区域R2上的坐标La～Ld分别与处理对象图像平面R3上的坐标Ma～Md对应（图8A的例子中，坐标Mc、Md成为处理对象图像平面R3的区域外，因此未图示），图8A中的坐标La～Ld彼此的间隔与图8B中的坐标La～Ld彼此的间隔相等。另外，为了说明目的，假设辅助线群AL存在于XZ平面上，但实际上以从Z轴上的任意一点向处理对象图像平面R3放射状地延伸的方式存在。另外，与图7相同，将此时的Z轴称为“再投影轴”。

如图8A及图8B所示，处理对象图像平面R3上的坐标Ma～Md彼此的间隔随着辅助线群AL的始点与原点O之间的距离（高度）增大而非线性地减小（空间模型MD的曲面区域R2与各个坐标Ma～Md之间的距离越大，彼此的间隔的减小幅度越大）。另一方面，图8的例子中，不进行空间模型MD的平面区域R1上的坐标群向处理对象图像平面R3上的坐标群的变换，因此坐标群的间隔不变。

这些坐标群的间隔的变化与平行线群PL的情况相同，意味着输出图像平面R5（参考图6）上的图像部分中、只有与投影于空间模型MD的曲面区域R2的图像对应的图像部分被非线性地放大或缩小。

如此，图像生成装置100能够不影响与投影于空间模型MD的平面区域R1的图像对应的输出图像的图像部分（例如路面图像），而使与投影于空间模型MD的曲面区域R2的图像对应的输出图像的图像部分（例如水平图像）线性地或非线性地放大或缩小，因此能够不影响挖土机60附近的路面图像（从正上方观察挖土机60时的假想图像），而使位于挖土机60周围的物体（从挖土机60在水平方向上观察周围时的图像中的物体）迅速且灵活地放大或缩小，能够使挖土机60的死角区域的辨识性提高。

接着，参考图9，对图像生成装置100生成处理对象图像的处理（以下设为“处理对象图像生成处理”）、及使用生成的处理对象图像而生成输出图像的处理（以下设为“输出图像生成处理”）进行说明。另外，图9是表示处理对象图像生成处理（步骤S1～步骤S3）及输出图像生成处理（步骤S4～步骤S6）的流程的流程图。而且，预先决定摄像机2（输入图像平面R4）、空间模型（平面区域R1及曲面区域R2）以及处理对象图像平面R3的配置。

首先，控制部1通过坐标对应建立构件10，将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应（步骤S1）。

具体而言，坐标对应建立构件10获得平行线群PL与处理对象图像平面R3之间形成的角度，并对从处理对象图像平面R3上的一坐标延伸的平行线群PL的一个与空间模型MD的曲面区域R2交叉的点进行计算，将与所计算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标而导出，并将该对应关系存储于空间模型/处理对象图像对应映射表41。另外，在平行线群PL与处理对象图像平面R3之间形成的角度可为预先存储于存储部4等的值，也可为经输入部3由操作者动态地输入的值。

而且，当处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致时，坐标对应建立构件10将平面区域R1上的该一坐标作为与处理对象图像平面R3上的与该一坐标对应的一坐标来导出，并将该对应关系存储于空间模型/处理对象图像对应映射表41。

之后，控制部1通过坐标对应建立构件10将通过上述的处理导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应（步骤S2）。

具体而言，坐标对应建立构件10获得采用通常射影（h=ftanα）的摄像机2的光学中心C的坐标，并对作为从空间模型MD上的一坐标延伸的线段的、通过光学中心C的线段与输入图像平面R4交叉的点进行计算，将与所计算出的点对应的输入图像平面R4上的坐标作为空间模型MD上的与该一坐标对应的输入图像平面R4上的一坐标来导出，并将该对应关系存储于输入图像/空间模型对应映射表40。

之后，控制部1对是否已将处理对象图像平面R3上的所有坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立对应进行判定（步骤S3）、当判定出未将所有坐标建立对应时（步骤S3的“否”），重复步骤S1及步骤S2的处理。

另一方面，控制部1在判定出已将所有坐标建立对应时（步骤S3的“是”），在使处理对象图像生成处理结束的基础上，使输出图像生成处理开始，通过输出图像生成构件11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应（步骤S4）。

具体而言，输出图像生成构件11通过对处理对象图像实施标度变换、仿射变换或畸变变换来生成输出图像，并将通过实施的标度变换、仿射变换或畸变变换的内容决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理对象图像/输出图像对应映射表42。

或者，当使用假想摄像机2V生成输出图像时，输出图像生成构件11可根据采用的射影方式从处理对象图像平面R3上的坐标计算出输出图像平面R5上的坐标，并将该对应关系存储于处理对象图像/输出图像对应映射表42。

或者，当使用采用通常射影（h=ftanα）的假想摄像机2V生成输出图像时，输出图像生成构件11也可在获得该假想摄像机2V的光学中心CV的坐标的基础上，对为从输出图像平面R5上的一坐标延伸的线段、通过光学中心CV的线段与处理对象图像平面R3交叉的点进行计算，并将与计算出的点对应的处理对象图像平面R3上的坐标作为输出图像平面R5上的与该一坐标对应的处理对象图像平面R3上的一坐标来导出，并将该对应关系存储于处理对象图像/输出图像对应映射表42。

之后，控制部1通过输出图像生成构件11，一边参考输入图像/空间模型对应映射表40、空间模型/处理对象图像对应映射表41、及处理对象图像/输出图像对应映射表42，一边对输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系进行探求，并获得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标所具有的值（例如亮度值、色调值及彩度值等），并将该获得的值作为对应的输出图像平面R5上的各坐标的值来采用（步骤S5）。另外，相对于输出图像平面R5上的一坐标有多个输入图像平面R4上的多个坐标对应时，输出图像生成构件11可导出基于这些多个输入图像平面R4上的多个坐标的各自的值的统计值（例如平均值、最大值、最小值及中间值等），作为输出图像平面R5上的该一坐标的值采用该统计值。

之后，控制部1对是否已将输出图像平面R5上的所有坐标的值与输入图像平面R4上的坐标的值建立对应进行判定（步骤S6），当判定出未将所有坐标的值建立对应时（步骤S6的“否”），重复步骤S4及步骤S5的处理。

另一方面，控制部1当判定出将所有坐标的值建立对应时（步骤S6的“是”），生成输出图像并使该一系列的处理结束。

另外，当不生成处理对象图像时，图像生成装置100省略处理对象图像生成处理，并将输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”读取成“空间模型上的坐标”。

根据以上的结构，图像生成装置100能够生成能够使操作者直观地掌握建设机械与周边障碍物的位置关系的处理对象图像及输出图像。

而且，图像生成装置100以从处理对象图像平面R3经空间模型MD追溯输入图像平面R4的方式执行坐标的对应建立，能够使处理对象图像平面R3上的各坐标与输入图像平面R4上的一个或多个坐标可靠地对应，并且与以从输入图像平面R4经空间模型MD至处理对象图像平面R3的顺序执行坐标的对应建立时相比（此时，能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的一个或多个坐标可靠地对应，但存在处理对象图像平面R3上的坐标的一部分不与输入图像平面R4上的任一坐标建立对应的情况，这时需要对这些处理对象图像平面R3上的坐标的一部分实施内插处理等），能够迅速生成品质更好的处理对象图像。

而且，当仅将与空间模型MD的曲面区域R2对应的图像进行放大或缩小时，图像生成装置100变更平行线群PL与处理对象图像平面R3之间形成的角度而仅改写空间模型/处理对象图像对应映射表41中的与曲面区域R2关联的部分，就能够不改写输入图像/空间模型对应映射表40的内容而实现所希望的放大或缩小。

而且，当变更输出图像的观看方法时，图像生成装置100仅通过变更与标度变换、仿射变换或畸变变换有关的各种参数的值来改写处理对象图像/输出图像对应映射表42，就能够不改写输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41的内容而生成所希望的输出图像（标度变换图像、仿射变换图像或畸变变换图像）。

与此相同，当变更输出图像的视点时，图像生成装置100仅通过变更假想摄像机2V的各种参数的值而改写处理对象图像/输出图像对应映射表42，就能够不改写输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41的内容而生成从所希望的视点观察的输出图像（视点变换图像）。

图10是将使用搭载于挖土机60的2台摄像机2（右侧方摄像机2R及后方摄像机2B）的输入图像而生成的输出图像显示在显示部5时的显示例。

图像生成装置100将这些2台摄像机2各自的输入图像投影在空间模型MD的平面区域R1及曲面区域R2上的基础上，再投影于处理对象图像平面R3而生成处理对象图像，通过向该生成的处理对象图像实施图像变换处理（例如标度变换、仿射变换、畸变变换、视点变换处理等）来生成输出图像，并同时显示从上空俯视挖土机60附近的图像（平面区域R1中的图像）与从挖土机60在水平方向上观察周边的图像（处理对象图像平面R3中的图像）。

另外，当图像生成装置100不生成处理对象图像时，输出图像通过对投影于空间模型MD的图像实施图像变换处理（例如视点变换处理）来生成。

而且，输出图像被修剪成圆形，以便能够将挖土机60进行回转动作时的图像无别扭感地显示，并生成为该圆的中心CTR在空间模型MD的圆柱中心轴上，且成为挖土机60的回转轴PV上，而且显示成根据挖土机60的回转动作将其中心CTR作为轴进行旋转。此时，空间模型MD的圆柱中心轴可与再投影轴一致，也可不一致。

另外，空间模型MD的半径为例如5米，平行线群PL与处理对象图像平面R3之间形成的角度、或辅助线群AL的始点高度能够如下设定，即当物体（例如工作人员）存在于从挖土机60的回转中心仅偏离挖掘装置E的最大到达距离（例如12米）的位置时，该物体以足够大的尺寸（例如7毫米以上）显示在显示部5中。

而且，输出图像也可将挖土机60的CG图像配置为挖土机60的前方与显示部5的画面上方一致且其回转中心与中心CTR一致。这是为了使挖土机60与输出图像中显现的物体之间的位置关系更加容易理解。另外，输出图像也可将包括方位等各种信息的画框图像配置在其周围。

接着，参考图11～图16，对图像生成装置100使输入图像之间的明度（亮度）的差不明显的处理进行说明。

图11是表示搭载于挖土机60的3台摄像机2（左侧方摄像机2L、右侧方摄像机2R及后方摄像机2B）各自的输入图像与使用这些输入图像而生成的输出图像的图。

图像生成装置100将这些3台摄像机2的各自的输入图像投影在空间模型MD的平面区域R1及曲面区域R2上的基础上，再投影于处理对象图像平面R3而生成处理对象图像，通过对该生成的处理对象图像实施图像变换处理（例如标度变换、仿射变换、畸变变换及视点变换处理等）来生成输出图像，并同时显示从上空俯视挖土机60附近的图像（平面区域R1中的图像）与从挖土机60在水平方向上观察周边的图像（处理对象图像平面R3中的图像）。

在图11中，左侧方摄像机2L的输入图像及后方摄像机2B的输入图像分别包括从不同角度拍摄挖土机60的周围的相同位置的重叠部分，但这些重叠部分分别根据有关各摄像机的照明环境等的不同以不同的明度拍摄，其亮度不同。关于右侧方摄像机2R的输入图像与后方摄像机2B的输入图像之间的重叠部分也相同。

因此，基于这些3个输入图像而生成的输出图像当该输出图像平面上的坐标能够与多个输入图像平面上的坐标建立对应时，该输出图像平面上的坐标与有关入射角最小的摄像机的输入图像平面上的坐标建立对应，则与拍摄相同部位无关，在基于左侧方摄像机2L的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边界（参考图的用单点划线包围的区域R6）、及基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边界（参考图的用单点划线包围的区域R7），其亮度急剧变化，导致给看到该输出图像的驾驶者带来不适感。

因此，图像生成装置100利用根据检查阴影错觉（同色错觉）的效果，使输入图像之间的亮度的差不明显。

图12是用于对同色错觉进行说明的图（EdwardH.Adelson,“Checkershadowillusion”,1995年,网址＜URL:http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html＞），图12A表示为了带来同色错觉而利用的确认图案（格子花纹），图12B是表示确认图案（格子花纹）上的点P1～点P3及点P4～点P6上的亮度的变化的曲线图。

如图12A所示，被具有比包括点P2的单位图案的亮度更高的亮度的2个单位图案（包括点P1的单位图案及包括点P3的单位图案）夹住的包括该点P2的单位图案的亮度看似低于被具有比包括点P5的单位图案的亮度更低的亮度的2个单位图案（包括点P4的单位图案及包括点P6的单位图案）夹住的包括该点P5的单位图案的亮度。

然而，此亮度的差缘于识别如下内容的观察者的错觉，即各个单位图案形成格子花纹的情况、及包括点P4～点P6的单位图案群进入物体OBJ的影子，实际上如图12B所示，包括点P2的单位图案的亮度与包括点P5的单位图案的亮度相等。

如此，该观察者有如下错觉，即分别包括点P1、点P3及点P5的单位图案具有相同亮度，分别包括点P2、点P4及点P6的单位图案具有相同亮度。

图13是用于对生成带来同色错觉的明暗图案的方法的一例进行说明的图，表示从2个波源（例如右侧方摄像机2R及后方摄像机2B。另外，右侧方摄像机2R示于图的左侧，这只是为了图的清楚化，在此设为图的右斜上方与挖土机60的后方对应）一边形成波峰（实线圆）及波谷（虚线圆），一边扩展而相互干扰的2个波。

而且，在图13中，2个扇形区域2Ra、2Ba分别表示右侧方摄像机2R的拍摄范围、及后方摄像机2B的拍摄范围，用粗实线表示的腹线ANL表示连接2个波彼此增强的点的线，用粗虚线表示的节线NL表示连接2个波彼此减弱的点的线。另外，如图13所示，腹线ANL及节线NL交替出现。

而且，在图13中，由将右侧方摄像机2R作为波源扩展的波的1个波谷所描绘的线（虚线圆）、接着该1个波谷而产生的1个波峰所描绘的线（实线圆）、将后方摄像机2B作为波源而扩展的波的1个波谷所描绘的线（虚线圆）、及接着该1个波谷而产生的1个波峰所描绘的线（实线圆）确定的菱形区域分别形成单位图案区域LT。

假设图13所示的多个单位图案区域LT为被描绘在输出图像平面上的图案，将后方摄像机2B的输入图像与单位图案区域LT中的腹线ANL所通过的（涂成灰色的）单位图案区域LT1建立对应，且将右侧方摄像机2R的输入图像与单位图案区域LT中的节线NL所通过的（涂成白色的）单位图案区域LT2建立对应，则平均亮度分别不同的2个输入图像能够形成带来同色错觉的格子花纹。

另外，当将右侧方摄像机2R的输入图像与单位图案区域LT中的腹线ANL所通过的（涂成灰色的）单位图案区域LT1建立对应，且将后方摄像机2B的输入图像与单位图案区域LT中的节线NL所通过的（涂成白色的）单位图案区域LT2建立对应时也同样，平均亮度分别不同的2个输入图像能够形成带来同色错觉的格子花纹。

而且，图13的格子花纹使用波长及相位相等的2个波而形成，但可使用波长及相位中一方或双方不同的2个波而形成。这是为了能够灵活地调整单位图案区域LT1、LT2的尺寸或形状。

图14表示将图13中示出的格子花纹配置在输出图像平面（平面区域R1）上的状态，表示如下：存在于挖土机60的CG图像的右后方（图的右下方向）的、配置在右侧方摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域的格子花纹；及存在于挖土机60的CG图像的左后方（图的左下方向）的、配置在左侧方摄像机2L的拍摄范围与后方摄像机2B的拍摄范围的重叠区域的格子花纹。

在图14中，配置在右侧方摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域的格子花纹设为例如将右侧方摄像机2R的输入图像与（涂成灰色的）单位图案区域LT1建立对应，且将后方摄像机2B的输入图像与（涂成白色的）单位图案区域LT2建立对应。

而且，配置在左侧方摄像机2L的拍摄范围与后方摄像机2B的拍摄范围的重叠区域的格子花纹设为例如将左侧方摄像机2L的输入图像与（涂成灰色的）单位图案区域LT3建立对应，且将后方摄像机2B的输入图像与（涂成白色的）单位图案区域LT4建立对应。

图15是表示图像生成装置100将这些2个摄像机中任一方的输入图像平面上的坐标与2个摄像机各自的拍摄范围的重叠区域对应的输出图像平面上的各坐标建立对应，形成带来同色错觉的格子花纹的处理（以下设为“格子花纹形成处理”）的流程的流程图。

图像生成装置100的控制部1例如通过坐标对应建立构件10，在图9的处理对象图像生成处理的步骤S2中，当空间模型MD的平面区域R1上的一坐标能够与多个输入图像平面上的坐标建立对应时，当将空间模型MD的平面区域R1上的一坐标和与2个摄像机分别对应的2个输入图像平面中的一个中的一坐标建立对应时，执行该格子花纹形成处理。

首先，控制部1获得与2个摄像机（例如右侧方摄像机2R及后方摄像机2B）的拍摄范围所重叠的区域对应的、空间模型MD的平面区域R1上的一坐标（步骤S11）。

接着，控制部1获得2个摄像机各自的光学中心的坐标（步骤S12）。

接着，控制部1选择与步骤S11中获得的空间模型MD中的平面区域R1上的一坐标建立对应的摄像机（步骤S13）。

具体而言，若将右侧方摄像机2R的光学中心的坐标设为（X_cam1、Y_cam1），将后方摄像机2B的光学中心的坐标设为（X_cam2、Y_cam2）、将作为建立对应的对象的空间模型MD的平面区域R1上的一坐标设为（X_target、Y_target），则控制部1进行如下选择：即当表现为如下的条件式成立时，作为与该平面区域R1上的一坐标建立对应的摄像机选择右侧方摄像机2R，当下述条件式不成立时，作为与该平面区域R1上的一坐标建立对应的摄像机选择后方摄像机2B。

[数式12]

$0<\sin \left(\sqrt{{(X_{\mathrm{caml}}-X_{t\arg \mathrm{et}})}^2+{(Y_{\mathrm{caml}}-Y_{t\arg \mathrm{et}})}^2}\right)\&times;\sin \left(\sqrt{{(X_{\mathrm{cam}2}-X_{t\arg \mathrm{et}})}^2+{(Y_{\mathrm{cam}2}-Y_{t\arg \mathrm{et}})}^2}\right)$

另外，控制部1也可进行如下选择：即当上述条件式成立时，作为与该平面区域R1上的一坐标建立对应的摄像机选择后方摄像机2B；当上述条件式不成立时，作为与该平面区域R1上的一坐标建立对应的摄像机选择右侧方摄像机2R。

另外，上述条件式相当于平面区域R1上的坐标（X_target、Y_target）是否包括在图14中示出的单位图案区域LT1、或者是否包含在单位图案区域LT2的判定式。

而且，在本实施例中，在光学中心的坐标为二维坐标，从波源产生的波为平面波的前提下，控制部1基于平面区域R1上的一坐标（二维坐标）与2个摄像机各自的光学中心的坐标（投影在包括平面区域R1的平面上的二维坐标）之间的二维距离选择摄像机，但也可将光学中心的坐标设为（包括高度信息）三维坐标，将从波源产生的波设为球面波，并且基于平面区域R1上的一坐标（三维坐标）与2个摄像机各自的光学中心的坐标（三维坐标）之间的三维距离选择摄像机。

而且，在本实施例中，控制部1选择与2个摄像机（例如右侧方摄像机2R及后方摄像机2B）的拍摄范围所重叠的区域对应的、与空间模型MD的平面区域R1上的一坐标建立对应的摄像机，但也可选择与2个摄像机的拍摄范围重叠的区域对应的、与处理对象图像平面R3上的一坐标建立对应的摄像机。

此时，控制部1可基于处理对象图像平面R3上的一坐标（二维坐标）与2个摄像机各自的光学中心的坐标（投影在包括处理对象图像平面R3的平面上的二维坐标）之间的二维距离选择摄像机，也可基于处理对象图像平面R3上的一坐标（三维坐标）与2个摄像机各自的光学中心的坐标（三维坐标）之间的三维距离选择摄像机。另外，处理对象图像平面R3也可包括平面区域R1。

之后，控制部1通过坐标对应建立构件10将选择的摄像机的输入图像平面上的一坐标与空间模型MD的平面区域R1上的一坐标建立对应（步骤S14），将空间模型MD上的坐标、摄像机识别码和输入图像平面上的坐标建立关联而存储于输入图像/空间模型对应映射表40。

之后，控制部1对是否已将与2个摄像机的拍摄范围重叠的区域对应的、空间模型MD的平面区域R1上的所有坐标与2个摄像机中的一个的输入图像平面上的坐标建立对应进行判定（步骤S15），当判定出未将所有坐标建立对应时（步骤S15的“否”），重复步骤S11～步骤S14的处理。

另一方面，控制部1在判定出将所有坐标建立对应时，（步骤S15的“是”），使该格子花纹形成处理结束。

另外，在上述中，控制部1将与2个摄像机的拍摄范围重叠的区域对应的、空间模型MD的平面区域R1上的各坐标或将处理对象图像平面R3上的各坐标与2个摄像机中的一个的输入图像平面上的坐标建立对应，但也可进一步将与2个摄像机的拍摄范围重叠的区域对应的、空间模型MD的曲面区域R2上的各坐标与2个摄像机中的一个的输入图像平面上的坐标建立对应。

如此，控制部1能够使用如上述的条件式将空间模型MD上的各坐标与2个摄像机中的一个的输入图像平面上的坐标轻松地建立对应，能够生成适当的格子花纹。

图16是表示图11中示出的输出图像与在图11的输出图像应用带来同色错觉的格子花纹的输出图像的不同点的对比图，上图表示图11中示出的输出图像，下图表示应用有带来同色错觉的格子花纹的输出图像。

包括基于左侧方摄像机2L的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边界的上图的由单点划线包围的区域R6提示显著的亮度的不同，但基于左侧方摄像机2L的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域成为格子花纹而混在的下图的用单点划线包围的区域R8的其亮度的不同变得不明显，很难使看到包括该区域R8的输出图像的驾驶者感到不适感。

与此相同，包括基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边界的上图的用单点划线包围的区域R7提示显著的亮度的不同，但基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域成为格子花纹而混在的下图的用单点划线包围的区域R9，其亮度的不同变得不明显，很难使看到包括该区域R9的输出图像的驾驶者感到不适感。

接着，参考图17～图19，对图像生成装置100在生成与2个摄像机各自的拍摄范围的重叠区域对应的输出图像部分时，防止存在于该输出图像部分的物体消失的处理进行说明。

图17表示搭载于挖土机60的3台摄像机2（左侧方摄像机2L、右侧方摄像机2R及后方摄像机2B）各自的输入图像与使用这些输入图像而生成的输出图像的图。

图像生成装置100将这些3台摄像机2的各自的输入图像平面上的坐标投影在空间模型MD的平面区域R1及曲面区域R2上的坐标的基础上，再投影于处理对象图像平面R3而生成处理对象图像，通过对该生成的处理对象图像实施图像变换处理（例如标度变换、仿射变换、畸变变换、视点变换处理等）来生成输出图像，并显示从上空俯视挖土机60附近的图像（平面区域R1中的图像）与从挖土机60在水平方向上观察周边的图像（处理对象图像平面R3中的图像）。

在图17中，右侧方摄像机2R的输入图像及后方摄像机2B的输入图像分别在右侧方摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域内捕捉人物（参考右侧方摄像机2R的输入图像中的用双点划线包围的区域R10、及后方摄像机2B的输入图像中的用双点划线包围的区域R11）。

然而，基于这些右侧方摄像机2R的输入图像、及后方摄像机2B的输入图像而生成的输出图像，若该输出图像平面上的坐标与有关入射角最小的摄像机的输入图像平面上的坐标建立对应，则如图17所示，导致该重叠区域内的人物消失（参考输出图像内的用单点划线包围的区域R12）。

因此，图像生成装置100利用为了带来同色错觉而形成的格子花纹，生成与2个摄像机各自的拍摄范围的重叠区域对应的输出图像部分时，防止存在于该输出图像部分的物体消失。

图18是对在2个摄像机各自的拍摄范围的重叠区域的物体的消失防止效果进行说明的图，图18A表示用于形成图13中示出的用于带来同色错觉的格子花纹的波的图，图18B表示图18A的局部扩大图。

在图18A中，用虚线包围的投影像PRJ1表示后方摄像机2B的输入图像中的物体OBJ1的像根据用于生成路面图像的视点变换，在连结该后方摄像机2B与该物体OBJ1的线的延长方向上延伸的投影像（使用后方摄像机2B的输入图像生成该输出图像部分中的路面图像时显示出的像）。

而且，用虚线包围的投影像PRJ2表示右侧方摄像机2R的输入图像中的物体OBJ1的像根据用于生成路面图像的视点变换，在连结该右侧方摄像机2R与该物体OBJ1的线的延长方向上延伸的投影像（使用右侧方摄像机2R的输入图像来生成该输出图像部分中的路面图像时的像）。

另外，投影像PRJ1及投影像PRJ2在最终的输出图像上并不以原样的状态显示，如图18B所示，以局部缺损的状态显示。

而且，在图18A中，表示投影像PRJ1的虚线区域中，涂成灰色的部分表示与腹线ANL所通过的单位图案区域LT1（参考图13）的重叠部分，表示与该重叠部分对应的输出图像上的各坐标与后方摄像机2B的输入图像平面上的坐标（形成物体OBJ1的像的区域内的坐标）建立对应。

另一方面，表示投影像PRJ1的虚线区域中，涂成白色的部分表示与节线NL所通过的单位图案区域LT2（参考图13）的重叠部分，表示与该重叠部分对应的输出图像上的各坐标与右侧方摄像机2R的输入图像平面上的坐标（不形成物体OBJ1的像的区域内的坐标）建立对应。

另外，也可设为表示投影像PRJ1的虚线区域中，与涂成灰色的部分对应的输出图像上的各坐标与右侧方摄像机2R的输入图像平面上的坐标（不形成物体OBJ1的像的区域内的坐标）建立对应，表示投影像PRJ1的虚线区域中，与涂成白色的部分对应的输出图像上的各坐标与后方摄像机2B的输入图像平面上的坐标（形成物体OBJ1的像的区域内的坐标）建立对应。

此时，如图18B所示，投影像PRJ1通过将与其延伸方向正交的圆（将后方摄像机2B的位置作为波源的波的波峰及波谷所描绘的圆）的局部作为其边界线而包括的单位图案区域LT2而缺损，但使邻接的单位图案区域LT1相互与顶点接触，因此很难分割成细丝状，单位图案区域LT2分别包括与其延伸方向正交的圆的局部，因此该轮廓也以较易识别的清楚的状态保存。

而且，投影像PRJ1中，物体OBJ1的高度越高，在从摄像机远离的方向上延伸得更长，且越从摄像机远离，具有放大得更大的倾向，但单位图案区域LT1及LT2越从摄像机远离，均以与该投影像PRJ1相同程度，放大得更大，因此其缺口状态也大致均匀地维持。

而且，在图18A中，表示投影像PRJ2的虚线区域中，涂成黑色的部分表示与节线NL所通过的单位图案区域LT2（参考图13）的重叠部分，表示与该重叠部分对应的输出图像上的各坐标与右侧方摄像机2R的输入图像平面上的坐标（形成物体OBJ1的像的区域内的坐标）建立对应。

另一方面，表示投影像PRJ2的虚线区域中，涂成白色的部分表示与腹线ANL所通过的单位图案区域LT1（参考图13）的重叠部分，表示与该重叠部分对应的输出图像上的各坐标与后方摄像机2B的输入图像平面上的坐标（不形成物体OBJ1的像的区域内的坐标）建立对应。

另外，也可设为表示投影像PRJ2的虚线区域中，与涂成黑色的部分对应的输出图像上的各坐标与后方摄像机2B的输入图像平面上的坐标（不形成物体OBJ1的像的区域内的坐标）建立对应，表示投影像PRJ2的虚线区域中，与涂成白色的部分对应的输出图像上的各坐标与右侧方摄像机2R的输入图像平面上的坐标（形成物体OBJ1的像的区域内的坐标）建立对应。

此时，如图18B所示，与投影像PRJ1同样，投影像PRJ2通过将与其延伸方向正交的圆（将右侧方摄像机2R的位置作为波源的波的波峰及波谷所描绘的圆）的局部作为该边界线而包括的单位图案区域LT1而缺损，但使邻接的单位图案区域LT2相互与顶点接触，因此很难分割成细丝状，单位图案区域LT1分别包括与其延伸方向正交的圆的局部，因此该轮廓也以较易识别的清楚的状态被保存。

而且，投影像PRJ2与投影像PRJ1同样，物体OBJ1的高度越高，在从摄像机远离的方向上更加长地延伸，且越从摄像机远离，具有放大得更大的倾向，但单位图案区域LT1及LT2越从摄像机远离，均以与该投影像PRJ2相同的程度，放大得更大，因此其缺口状态也大致均匀地维持。

图19是表示图17中示出的输出图像与在图17的输出图像应用带来同色错觉的格子花纹的输出图像的不同点的对比图，上图表示图17中示出的输出图像，下图表示应用有带来同色错觉的格子花纹的输出图像。

包括基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边界的上图的用单点划线包围的区域R13提示人物消失的状态，但基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域成为格子花纹而混在的下图的用单点划线包围的区域R14并非使人物消失，而是在较易识别该人物的状态下进行提示，使看到包括该区域R14的输出图像的驾驶者能够可靠地识别该人物的存在。

根据以上的结构，图像生成装置100能够通过利用用于带来同色错觉的格子花纹，在生成与2个摄像机各自的拍摄范围的重叠区域对应的输出图像部分时，能够防止存在于该输出图像部分的物体消失，与以2个输入图像的各自的局部区域交替配置成齿梳状的方式接合2个输入图像的情况相比，能够以驾驶者更加容易识别的状态显示其局部缺损的该物体的投影像。

以上对本发明的优选实施例进行了详述，但本发明不限于上述实施例，能够在不脱离本发明的范围的情况下对上述的实施例施加各种变形及置换。

例如，在上述的实施例中，图像生成装置100作为空间模型采用圆柱形的空间模型MD，但可采用具有多棱柱等其他柱状形状的空间模型，也可采用由底面及侧面的两个面构成的空间模型，或者也可采用仅具有侧面的空间模型。

而且，图像生成装置100与摄像机一同搭载于具备铲斗、斗杆、动臂、及回转机构等可动部件并且自行的建设机械，并组装在一边向该驾驶者提示周围图像一边支援该建设机械的移动及这些可动部件的操作的操作支援系统，但可与摄像机一同搭载于如产业用机械或固定式起重机等具有可动部件但不自行的其他被操作体，并组装于支援这些其他被操作体的操作的操作支援系统。

另外，本申请主张基于2010年11月16日申请的日本专利申请第2010-256295号的优先权，其日本申请的全部内容通过参考援用于本说明书中。

符号的说明：

1-控制部，2-摄像机，2L-左侧方摄像机，2R-右侧方摄像机，2B-后方摄像机，3-输入部，4-存储部，5-显示部，10-坐标对应建立构件，11-输出图像生成构件，40-输入图像/空间模型对应映射表，41-空间模型/处理对象图像对应映射表，42-处理对象图像/输出图像对应映射表，60-挖土机，61-下部行走体，62-回转机构，63-上部回转体，64-操纵室。

Claims (3)

1.一种图像生成装置，基于安装在被操作体上的多个摄像机所拍摄的多个输入图像而生成包括路面图像的输出图像，其特征在于，

与所述多个摄像机中的2个摄像机各自的拍摄范围重叠的区域对应的所述多个摄像机中的2个摄像机各自的输入图像部分配置成在所述输出图像中形成格子花纹，

所述格子花纹将由下述圆划分出来的区域作为单位图案：将所述2个摄像机中的第1摄像机的位置作为中心的2个圆、及将所述2个摄像机中的第2摄像机的位置作为中心的2个圆。

2.根据权利要求1所述的图像生成装置，其特征在于，

所述格子花纹将由下述圆划分出来的格子作为单位图案：将所述第1摄像机的位置作为波源的第1波的波峰所描绘的圆、所述第1波的波谷所描绘的圆、将所述第2摄像机的位置作为波源的第2波的波峰所描绘的圆、及所述第2波的波谷所描绘的圆，

将与通过所述第1波及所述第2波形成的腹线所通过的单位图案对应的输出图像平面上的坐标与所述第1摄像机的输入图像平面上的坐标建立关联，

将与通过所述第1波及所述第2波形成的节线所通过的单位图案对应的输出图像平面上的坐标与所述第2摄像机的输入图像平面上的坐标建立关联。

3.一种操作支援系统，对被操作体的移动或操作进行支援，其特征在于，所述操作支援系统具备：

权利要求1所述的图像生成装置；及

显示部，设置在用于使所述被操作体移动或对所述被操作体进行操作的操作室，对该图像生成装置所生成的输出图像进行显示。