CN102792334A - 图像生成装置及操作支持系统 - Google Patents

图像生成装置及操作支持系统 Download PDF

Info

Publication number
CN102792334A
CN102792334A CN2011800134458A CN201180013445A CN102792334A CN 102792334 A CN102792334 A CN 102792334A CN 2011800134458 A CN2011800134458 A CN 2011800134458A CN 201180013445 A CN201180013445 A CN 201180013445A CN 102792334 A CN102792334 A CN 102792334A
Authority
CN
China
Prior art keywords
coordinate
image
plane
spatial model
output image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800134458A
Other languages
English (en)
Other versions
CN102792334B (zh
Inventor
清田芳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN102792334A publication Critical patent/CN102792334A/zh
Application granted granted Critical
Publication of CN102792334B publication Critical patent/CN102792334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

图像生成装置（100）基于安装在被操作体（60）上的多个摄像部（2B、2R）摄像的多个输入图像来生成输出图像。坐标对应建立部（10）将具有中心轴和侧面的柱状的空间模型（MD）中的坐标、与多个输入图像所处的多个输入图像平面的各自中的坐标建立对应。输出图像生成部（11）经由柱状的空间模型中的坐标，将多个输入图像平面的各自中的坐标的值与输出图像所处的输出图像平面中的坐标的值建立对应而生成输出图像。柱状的空间模型的中心轴与侧面之间的距离根据摄像部（2B、2R）的设置位置决定。

Description

图像生成装置及操作支持系统
技术领域
本发明涉及基于安装在被操作体上的多个摄像机构摄像的多个输入图像来生成输出图像的图像生成装置及使用该装置的操作支持系统。
背景技术
已知有将来自照相机的输入图像映射到三维空间上的规定的空间模型中、一边参照该映射的空间数据一边生成从该三维空间中的任意的假想视点观察的视点变换图像并进行显示的图像生成装置（例如，参照专利文献1）。
专利文献1所公开的图像生成装置将搭载在车辆上的照相机摄像的图像投影到由包围该车辆的多个平面或曲面构成的立体的空间模型中。图像生成装置使用投影在该空间模型中的图像生成视点变换图像，将所生成的视点变换图像对驾驶者进行显示。所谓视点变换图像，是对虚拟地呈现从正上方观察路面的状态的路面图像与呈现水平方向的水平图像进行组合的图像。由此，图像生成装置当驾驶车辆的驾驶者看到该视点变换图像时，能够将该视点变换图像中的物体与处于车外的实际的物体没有别扭感地建立对应。
以往技术文献
专利文献
专利文献1：日本专利第3286306号说明书
发明内容
发明所要解决的课题
专利文献1所公开的图像生成装置基于照相机摄像的路面上的特征点制作空间模型，根据车辆的移动（该车辆与该特征点之间的位置关系的变化）将该空间模型修正。在制作或修正空间模型时，没有考虑两个照相机各自的摄像范围重复的区域中的物体在向空间模型的投影时从图像消失的问题。因而，由于没有为了防止这样的图像的消失而将空间模型修正，所以不能适当地生成包含重复的区域中的物体的视点变换图像。
所以，本发明的目的是使用防止两个照相机的各自的摄像范围重复的区域中的物体从图像中消失的空间模型生成输出图像的图像生成装置及使用该装置的操作支持系统。
用于解决课题的手段
为了达到上述目的，根据本发明的一技术方案，提供一种图像生成装置，基于安装在被操作体上的多个摄像部摄像的多个输入图像来生成输出图像，其特征在于，具备：坐标对应建立部，将具有中心轴和侧面的柱状的空间模型中的坐标与该多个输入图像分别所处的多个输入图像平面的各自中的坐标建立对应，其中所述空间模型是包围该被操作体而配置的空间模型；和输出图像生成部，经由该柱状的空间模型中的坐标，将该多个输入图像平面的各自中的坐标的值与该输出图像所处的输出图像平面中的坐标的值建立对应而生成该输出图像；该柱状的空间模型的中心轴与侧面之间的距离根据该摄像部的设置位置决定。
根据本发明的另一技术方案，提供一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备上述图像生成装置和将该图像生成装置生成的输出图像进行显示的显示部。
发明效果：
根据本发明，能够提供使用防止两个照相机的各自的摄像范围重复的区域中的物体从图像消失的空间模型来生成输出图像的图像生成装置及使用该装置的操作支持系统。
附图说明
图1是表示本发明的一实施例的图像生成装置的概略结构的块图。
图2是搭载图像生成装置的挖掘机的侧视图。
图3A是将输入图像投影的空间模型的侧视图。
图3B是图3A所示的空间模型的俯视图。
图4是表示空间模型与处理对象图像平面之间的关系的立体图。
图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。
图6A是表示采用通常射影的照相机的输入图像平面上的坐标与空间模型MD上的坐标之间的对应关系的图。
图6B是表示空间模型MD的曲面区域上的坐标与处理对象图像平面上的坐标之间的对应关系的图。
图6C是表示处理对象图像平面上的坐标与采用通常射影的假想照相机的输出图像平面上的坐标之间的对应关系的图。
图6D是表示照相机、假想照相机、空间模型MD的平面区域及曲面区域、以及处理对象图像平面的相互的位置关系的图。
图7A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。
图7B是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β1的状态的图。
图8A是表示位于XZ平面上的辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。
图8B是表示辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。
图9A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。
图9B是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β2的状态的图。
图10是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。
图11是处理对象图像生成处理及输出图像生成处理的流程图。
图12A是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的俯视图。
图12B是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的立体图。
图12C是用来说明在存在一个棒状的物体的情况下生成的处理对象图像的俯视图。
图13A是用来说明在存在两个棒状的物体的情况下照相机与空间模型之间的位置关系的俯视图。
图13B是用来说明在存在两个棒状的物体的情况下照相机与空间模型之间的位置关系的立体图。
图13C是用来说明在存在两个棒状的物体的情况下生成的处理对象图像的俯视图。
图14A是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的俯视图。
图14B是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的立体图。
图14C是用来说明在存在两个棒状的物体的另一情况下生成的处理对象图像的俯视图。
图15是表示输出图像的显示例的图。
图16A是表示从上方观察挖掘机时的照相机的摄像范围与空间模型之间的位置关系的图。
图16B是表示从斜上方观察空间模型时的照相机的摄像范围与空间模型之间的位置关系的图。
图16C是表示基于如图16A、图16B所示那样设置的照相机摄像的输入图像、图像生成装置生成的处理对象图像的图。
图17是表示基于如图16A、图16B所示那样设置的照相机摄像的输入图像、图像生成装置生成的处理对象图像的一例的图。
图18是表示图像生成装置基于如图16A、图16B所示那样设置的照相机摄像的输入图像生成的处理对象图像的另一例的图。
图19A是为了说明决定空间模型的半径能够取的值的范围的次序的一例而从上方观察挖掘机60的俯视图。
图19B是为了说明决定空间模型的半径能够取的值的范围的次序的一例而从侧方观察挖掘机60的俯视图。
图20是用来说明照相机的摄像范围与空间模型之间的位置关系的俯视图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
图1是概略地表示本发明的一实施方式的图像生成装置的概略结构的块图。
一实施方式的图像生成装置100例如基于搭载在建筑机械上的照相机2摄影的输入图像来生成输出图像，将该输出图像向驾驶者提示。如图1所示，图像生成装置100包括控制部1、照相机2、输入部3、存储部4及显示部5。
图2是搭载有图像生成装置100的挖掘机60的侧视图。挖掘机60具有履带式的下部行驶体61、回转机构62及上部回转体63。上部回转体63经由回转机构62绕回转轴PV旋转自如地搭载在下部行驶体61上。
在上部回转体63的前方左侧部设有驾驶舱（驾驶室）64，在前方中央部设有挖掘配件E。在上部回转体63的右侧面及后面上设有照相机2（右侧方照相机2R、后方照相机2B）。在驾驶舱64内的驾驶者容易辨识的位置上设置有显示部5。
接着，对图像生成装置100的各构成单元进行说明。
控制部1包括具备CPU（Central Processing Unit）、RAM（Random AccessMemory）、ROM（Read Only Memory）、NVRAM（Non-Volatile RandomAccess Memory）等的计算机。例如，在ROM或NVRAM中保存有分别对应于后述的坐标对应建立部10及输出图像生成部11的程序。CPU使用RAM作为临时存储区域，并且执行对应于各机构的程序而进行处理。
照相机2是用来取得呈现挖掘机60的周边的输入图像的装置，包括右侧方照相机2R及后方照相机2B。右侧方照相机2R及后方照相机2B例如安装在上部回转体63的右侧面及后面上，以使其能够对作为处于驾驶舱64中的驾驶者的死角的区域进行摄影（参照图2）。右侧方照相机2R及后方照相机2B分别具备CCD（Charge Coupled Device）或CMOS（ComplementaryMetal Oxide Semiconductor）等摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置（例如，前面及左侧面）上，也可以安装广角透镜或鱼眼透镜，以便能够将较大的范围摄影。
照相机2根据来自控制部1的控制信号取得输入图像，将所取得的输入图像向控制部1输出。另外，照相机2在使用鱼眼透镜或广角透镜而取得了输入图像的情况下，将因使用这些透镜而产生的外观上的畸变及歪斜修正后的已修正的输入图像向控制部1输出。但是，照相机2也可以不将所取得的输入图像修正而原样向控制部1输出。在此情况下，控制部1将外观上的畸变及歪斜修正。
输入部3是用来使操作者能够对图像生成装置100输入各种信息的装置，例如包括触摸面板、按钮开关、指针设备、键盘等。
存储部4是用来存储各种信息的装置，例如包括硬盘、光盘、或半导体存储器等。
显示部5是用来显示图像信息的装置，例如包括设置在建筑机械的驾驶舱64（参照图2）内的液晶显示器或投影仪。显示部5显示控制部1输出的各种图像。
此外，图像生成装置100也可以基于输入图像生成处理对象图像、通过对该处理对象图像实施图像变换处理而生成能够直观地掌握与周边障碍物的位置关系及距离感的输出图像后、将该输出图像向驾驶者提示。
“处理对象图像”是作为基于输入图像生成的图像变换处理（例如，标度变换、仿射变换、畸变变换、视点变换处理）的对象的图像。例如，有在图像变换处理中使用通过其较广的像角包含水平方向的图像（例如是空的部分）的输入图像的情况，其中，所述输入图像是基于从上方对地表进行摄像的照相机的输入图像。在这样的情况下，将该输入图像投影到规定的空间模型中，以使该水平方向的图像不会被不自然地显示（例如使得不会将空的部分作为处于地表的部分处理）。并且，通过将投影在空间模型中的投影图像再投影到别的二维平面中，能够得到适合于图像变换处理的图像。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。
“空间模型”是输入图像的投影对象，至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面（例如与处理对象图像平面平行的平面或在与处理对象图像平面之间形成角度的平面或曲面）。
另外，图像生成装置100也可以不生成处理对象图像，而通过对投影在该空间模型中的投影图像实施图像变换处理来生成输出图像。此外，投影图像也可以不实施图像变换处理而原样作为输出图像使用。
图3A、图3B是表示将输入图像投影的空间模型MD的一例的图。图3A表示从侧方观察挖掘机60时的挖掘机60与空间模型MD之间的关系，图3B表示从上方观察挖掘机60时的挖掘机60与空间模型MD之间的关系。
如图3A、图3B所示，空间模型MD具有半圆筒形状。半圆筒形状的底面内部包括平面区域R1，侧面内部包括曲面区域R2。
图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图。在图4中，处理对象图像平面R3例如是包括空间模型MD的平面区域R1的平面。另外，在图4中，为了明确化，使空间模型MD与图3所示那样的半圆筒形状不同、用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。这在以后的图中也是同样的。此外，处理对象图像平面R3如上述那样，也可以是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空间模型MD的平面区域R1的环状区域。
接着，对控制部1具有的坐标对应建立部10及输出图像生成部11进行说明。
坐标对应建立部10为了将照相机2摄像的输入图像所处的输入图像平面上的坐标（也有称作输入坐标的情况）、空间模型MD上的坐标（也有称作空间坐标的情况）、和处理对象图像平面R3上的坐标（也有称作投影坐标的情况）建立对应而设置。例如，基于预先设定的、或者经由输入部3输入的照相机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应。将这些对应关系保存到存储部4的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41中。
另外，坐标对应建立部10在不生成处理对象图像的情况下，将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应、以及该对应关系的向空间模型－处理对象图像对应映射表41的保存省略。
输出图像生成部11是用来生成输出图像的机构。输出图像生成部11例如通过对处理对象图像实施标度变换、仿射变换或畸变变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系保存到存储部4的处理对象图像－输出图像对应映射表42中。输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值、彩度值等）与输入图像中的各像素的值建立关联而生成输出图像。
此外，输出图像生成部11基于预先设定的或者经由输入部3输入的假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系存储到存储部4的处理对象图像－输出图像对应映射表42中。并且，输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值、彩度值等）与输入图像中的各像素的值建立关联而生成输出图像。
另外，输出图像生成部11也可以不使用假想照相机的概念，而将处理对象图像的标度变更来生成输出图像。
此外，输出图像生成部11在不生成处理对象图像的情况下，根据实施的图像变换处理将空间模型MD上的坐标与输出图像平面上的坐标建立对应。并且，输出图像生成部11一边参照输入图像－空间模型对应映射表40，一边将输出图像中的各像素的值（例如亮度值、色调值、彩度值等）与输入图像中的各像素的值建立关联而生成输出图像。在此情况下，输出图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、以及将该对应关系向处理对象图像－输出图像对应映射表42的保存省略。
接着，对由坐标对应建立部10及输出图像生成部11进行的处理的一例进行说明。
坐标对应建立部10例如可以使用哈密尔顿的四元数将输入图像平面上的输入坐标与空间模型上的空间坐标建立对应。
图5是用来说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。将照相机2的输入图像平面表示为以照相机2的光学中心C为原点的UVW正交坐标系的一平面，将空间模型表示为XYZ正交坐标系的立体面。
首先，坐标对应建立部10为了将空间模型上的坐标（XYZ坐标系上的坐标）变换为输入图像平面上的坐标（UVW坐标系上的坐标），在使XYZ坐标系的原点平移到光学中心C（UVW坐标系的原点）后，使XYZ坐标系旋转，以使X轴与U轴一致、Y轴与V轴一致、Z轴与-W轴分别一致。这里，符号“-”意味着方向相反。这是因为UVW坐标系将照相机前方作为+W方向、XYZ坐标系将铅直下方作为-Z方向。
在存在多个照相机2的情况下，照相机2分别具有独立的UVW坐标系。由此，坐标对应建立部10使XYZ坐标系相对于多个UVW坐标系分别平移且旋转。
上述变换通过在使XYZ坐标系平移以使照相机2的光学中心C成为XYZ坐标系的原点后、旋转以使Z轴与-W轴一致、再旋转以使X轴与U轴一致来实现。因而，坐标对应建立部10通过将该变换用哈密尔顿的四元数记述，将这两次的旋转汇总为一次旋转运算。
用来使某个矢量A与别的矢量B一致的旋转相当于以矢量A和矢量B展开的面的法线为轴、旋转矢量A与矢量B形成的角度的处理。如果设旋转的角度为θ，则由矢量A与矢量B的内积将角度θ如以下这样表示。
［数式1］
θ = cos - 1 ( A · B | A | B | )
此外，矢量A和矢量B展开的面的法线的单位矢量N由矢量A与矢量B的外积如以下这样表示。
［数式2］
N = A × B | A | | B | sin θ
另外，四元数是在设i、j、k分别为虚数单位的情况下、满足以下的条件的超复数。
［数式3］
ii＝jj＝kk＝ijk＝-1
在本实施例中，四元数Q设实成分为t，设纯虚成分为a、b、c，并如以下这样表示。
［数式4］
Q＝(t；a，b，c)＝t+ai+bj+ck
因而，四元数Q的共轭四元数如以下这样表示。
［数式5］
Q*＝(t；-a，-b，-c)＝t-ai-bj-ck
四元数Q可以在设实成分t为0（零）的同时、用纯虚成分a、b、c表现三维矢量（a，b，c）。此外，还可以通过t、a、b、c的各成分表现以任意的矢量为轴的旋转动作。
进而，四元数Q可以将连续的多次的旋转动作综合而表现为一次的旋转动作。例如，可以使任意的点S（sx，sy，sz）一边以任意的单位矢量C（l，m，n）为轴一边旋转角度θ时的点D（ex，ey，ez）如以下这样表现。
［数式6］
D＝(0；ex，ey，ez)＝QSQ*
其中，
S = ( 0 ; sx , xy , xz ) , Q = ( cos θ 2 ; l sin θ 2 , m sin θ 2 , n sin θ 2 )
这里，在本实施例中，如果设表示使Z轴与-W轴一致的旋转的四元数为Qz，则使XYZ坐标系的X轴上的点X移动到点X’。因而，将点X’如以下这样表示。
［数式7］
X′＝QzXQz *
此外，在本实施例中，如果设使将处于X轴上的点X’与原点连结的线与U轴一致的旋转的四元数为Qx，则表示“使Z轴与-W轴一致、再使X轴与U轴一致的旋转”的四元数R如以下这样表示。
［数式8］
R＝QxQz
通过以上，将空间模型（XYZ坐标系）上的任意的坐标P用输入图像平面（UVW坐标系）上的坐标表现时的坐标P’如以下这样表示。
［数式9］
P′＝RPR*
由于四元数R在照相机2的各自中是不变的，所以坐标对应建立部10以后仅通过执行该运算就能够将空间模型（XYZ坐标系）上的坐标变换为输入图像平面（UVW坐标系）上的坐标。
在将空间模型（XYZ坐标系）上的坐标变换为输入图像平面（UVW坐标系）上的坐标后，坐标对应建立部10计算将照相机2的光学中心C（UVW坐标系上的坐标）与将空间模型上的任意的坐标P用UVW坐标系表示的坐标P’连结的线段CP’、和照相机2的光轴G形成的入射角α。
此外，坐标对应建立部10计算与照相机2的输入图像平面R4（例如CCD面）平行且包括坐标P’的平面H中的、将平面H与光轴G的交点E和坐标P’连结的线段EP’、和平面H中的U’轴形成的偏角φ以及线段EP’的长度。
照相机的光学系统通常为像高度h与入射角α及焦点距离f的函数。因而，坐标对应建立部10选择通常射影（h=ftanα）、正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等的适当的射影方式来计算像高度h。
然后，坐标对应建立部10将计算出的像高度h通过偏角φ分解为UV坐标系上的U成分及V成分，用相当于输入图像平面R4的每一像素的像素尺寸的数值除。由此，坐标对应建立部10能够将空间模型MD上的坐标P（P’）与输入图像平面R4上的坐标建立对应。
另外，如果设输入图像平面R4的U轴方向上的每一像素的像素尺寸为aU、输入图像平面R4的V轴方向上的每一像素的像素尺寸为av，则对应于空间模型MD上的坐标P（P’）的输入图像平面R4上的坐标（u，v）如以下这样表示。
［数式10］
Figure BDA00002123731900121
［数式11］
Figure BDA00002123731900122
这样，坐标对应建立部10将空间模型MD上的坐标、与按照照相机存在的一个或多个输入图像平面R4上的坐标建立对应，并且将空间模型MD上的坐标、照相机识别码及输入图像平面R4上的坐标建立关联，将对应关联保存到输入图像－空间模型对应映射表40中。
坐标对应建立部10由于使用四元数运算坐标的变换，所以与使用欧拉角运算坐标的变换的情况不同，提供不会发生万向节死锁的优点。但是，坐标对应建立部10并不限定于使用四元数运算坐标的变换，也可以使用欧拉角运算坐标的变换。
在能够进行对多个输入图像平面R4上的坐标建立对应的情况下，坐标对应建立部10也可以将空间模型MD上的坐标P（P’）与关于该入射角α为最小的照相机的输入图像平面R4上的坐标建立对应，或者也可以与操作者选择的输入图像平面R4上的坐标建立对应。
接着，对将空间模型MD上的坐标中的、曲面区域R2上的坐标（具有Z轴方向的成分的坐标）再投影到处于XY平面上的处理对象图像平面R3上的处理进行说明。
图6A、图6B是用来说明基于坐标对应建立部10进行的坐标间的对应建立的图。图6A是作为一例而表示采用通常射影（h=ftanα）的照相机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。坐标对应建立部10使将照相机2的输入图像平面R4上的坐标与对应于该坐标的空间模型MD上的坐标连结的线段分别通过照相机2的光学中心C，将两坐标建立对应。
在图6A所示的例子中，坐标对应建立部10将照相机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，将照相机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1－L1及线段K2－L2都通过照相机2的光学中心C。
另外，在照相机2采用通常射影以外的射影方式（例如正射影、立体射影、等立体角射影、等距离射影等）的情况下，坐标对应建立部10根据各个射影方式，将照相机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。
具体而言，坐标对应建立部10基于规定的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在此情况下，线段K1－L1及线段K2－L2不会通过照相机2的光学中心C。
图6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。坐标对应建立部10将在与处理对象图像平面R3之间形成角度β的平行线群PL导入，使空间模型MD的曲面区域R2上的坐标和对应于该坐标的处理对象图像平面R3上的坐标都落到平行线群PL中的一个上，将两坐标建立对应，其中，所述平行线群PL是位于XZ平面上的平行线群。
在图6B所示的例子中，坐标对应建立部10使空间模型MD的曲面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2落到共通的平行线上，而将两坐标建立对应。
坐标对应建立部10能够将空间模型MD的平面区域R1上的坐标与曲面区域R2上的坐标同样、使用平行线群PL与处理对象图像平面R3上的坐标建立对应。但是，在图6B所示的例子中，由于平面区域R1和处理对象图像平面R3为共通的平面，所以空间模型MD的平面区域R1上的坐标L1和处理对象图像平面R3上的坐标M1具有相同的坐标值。
这样，坐标对应建立部10将空间模型MD上的空间坐标与处理对象图像平面R3上的投影坐标建立对应，并且将空间模型MD上的坐标及处理对象图像R3上的坐标建立关联，保存到空间模型－处理对象图像对应映射表41中。
图6C是表示处理对象图像平面R3上的坐标与作为一例而采用通常射影（h=ftanα）的假想照相机2V的输出图像平面R5上的坐标之间的对应关系的图。输出图像生成部11将两坐标建立对应，以使将假想照相机2V的输出图像平面R5上的坐标与对应于该坐标的处理对象图像平面R3上的坐标连结的线段分别通过假想照相机2V的光学中心CV。
在图6C所示的例子中，输出图像生成部11将假想照相机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3（空间模型MD的平面区域R1）上的坐标M1建立对应，并且将假想照相机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1－N1及线段M2－N2都通过假想照相机2V的光学中心CV。
在假想照相机2V采用通常射影以外的射影方式（例如，正射影、立体射影、等立体角射影、等距离射影等）的情况下，输出图像生成部11根据各个射影方式，将假想照相机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
具体而言，输出图像生成部11基于规定的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在此情况下，线段M1－N1及线段M2－N2不会通过假想照相机2V的光学中心CV。
这样，输出图像生成部11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，并且将输出图像平面R5上的坐标及处理对象图像R3上的坐标建立关联，保存到处理对象图像－输出图像对应映射表42中。并且，输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联，生成输出图像。
另外，图6D是将图6A～图6C组合的图，表示照相机2、假想照相机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3之间的相互的位置关系。
接着，参照图7A、图7B，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立部10导入的平行线群PL的作用进行说明。
图7A是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图。图7B是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β1（β1>β）的情况的图。图7A及图7B中的空间模型MD的曲面区域R2上的坐标La～Ld分别对应于处理对象图像平面R3上的坐标Ma～Md。图7A中的坐标La～Ld的间隔分别等于图7B中的坐标La～Ld的间隔。另外，为了使说明变得简单而假设平行线群PL存在于XZ平面上，但实际上从Z轴上的全部的点朝向处理对象图像平面R3以放射状延伸而存在。另外，将该情况下的Z轴称作“再投影轴”。
如图7A及图7B所示，处理对象图像平面R3上的坐标Ma～Md的间隔随着平行线群PL与处理对象图像平面R3之间的角度增大而线性地减小。即，坐标Ma～Md的间隔和空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离无关而均匀地减小。另一方面，在图7A、图7B所示的例子中，由于不进行向处理对象图像平面R3上的坐标群的变换，所以空间模型MD的平面区域R1上的坐标群的间隔不变化。
这些坐标群的间隔的变化意味着输出图像平面R5（参照图6C）上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分被线性地放大或缩小。
接着，参照图8A、图8B，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立部10导入的平行线群PL的代替例进行说明。
图8A是位于XZ平面上的辅助线群AL的全部从Z轴上的起点T1朝向处理对象图像平面R3延伸的情况的图。图8B是辅助线群AL的全部从Z轴上的起点T2（T2>T1）朝向处理对象图像平面R3延伸的情况的图。图8A及图8B中的空间模型MD的曲面区域R2上的坐标La～Ld分别对应于处理对象图像平面R3上的坐标Ma～Md。在图8A所示的例子中，坐标Mc、Md由于为处理对象图像平面R3的区域外，所以没有图示。假设图8A中的坐标La～Ld的间隔分别等于图8B中的坐标La～Ld的间隔。另外，为了便于说明而假设辅助线群AL存在于XZ平面上，但实际上从Z轴上的任意的一点朝向处理对象图像平面R3以放射状存在。另外，与图7A、图7B所示的例子同样，将该情况下的Z轴称作“再投影轴”。
如图8A及图8B所示，处理对象图像平面R3上的坐标Ma～Md的间隔随着辅助线群AL的起点与原点O之间的距离（高度）增大而非线性地减小。即，空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离越大，各自的间隔的减小幅度越大。另一方面，在图8A、图8B所示的例子中，由于不进行向处理对象图像平面R3上的坐标群的变换，所以空间模型MD的平面区域R1上的坐标群的间隔不变化。
这些坐标群的间隔的变化与平行线群PL时同样，意味着在输出图像平面R5（参照图6C）上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分被非线性地放大或缩小。
这样，图像生成装置100能够不给与投影在空间模型MD的平面区域R1中的图像对应的输出图像的图像部分（例如，路面图像）带来影响、而使与投影在空间模型MD的曲面区域R2中的图像对应的输出图像的图像部分（例如，水平图像）线性地或非线性地放大或缩小。由此，能够不给挖掘机60的附近的路面图像（从正上方观察挖掘机60时的假想图像）带来影响、而使位于挖掘机60的周围的物体（从挖掘机60在水平方向上观察周围时的图像中的物体）迅速且灵活地放大或缩小，能够提高挖掘机60的死角区域的辨识性。
接着，参照图9A、图9B及图10，对由投影在空间模型MD中的图像直接生成输出图像的情况、与将投影在空间模型MD中的图像向处理对象图像再投影、由该再投影的处理对象图像生成输出图像的情况的差异进行说明。
图9A是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图，图9B是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β2（β2<β）的情况的图。图9A中的空间模型MD的平面区域R1及曲面区域R2、处理对象图像平面R3以及采用通常射影（h=ftanα）的假想照相机2V的输出图像平面R5及光学中心CV的位置与图9B分别是共通的。
在图9A及图9B中，包含平面区域R1的处理对象图像平面R3上的坐标M1对应于输出图像平面R5上的坐标N1，曲面区域R2上的坐标L2对应于处理对象图像平面R3上的坐标M2及输出图像平面R5上的坐标N2。距离D1（D3）表示输出图像平面R5的中心点（与假想照相机2V的光轴GV的交点）与坐标N1之间的X轴上的距离。距离D2（D4）表示输出图像平面R5的中心点与坐标N2之间的X轴上的距离。
如图9A及图9B所示，平行线群PL与处理对象图像平面R3之间的角度为β时的距离D2（参照图9A）随着该角度减小而增大，当该角度为β2时成为距离D4（参照图9B）。该角度为β时的距离D1（参照图9A）不论该角度的变化如何都是一定的，等于该角度为β2时的距离D3（参照图9B）。
这样距离D2变化为距离D4，距离D1（D3）不变，与使用图7A、7B及图8A、图8B说明的作用同样，意味着在输出图像平面R5上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分（例如，水平图像）被放大或缩小。
另外，在基于投影在空间模型MD中的图像直接生成输出图像的情况下，不能将空间模型MD的平面区域R1与曲面区域R2分别处理（因为不能分别作为放大缩小处理的对象），不能仅将与投影在曲面区域R2中的图像对应的输出图像平面R5上的图像部分放大或缩小。
图10是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图。图10表示使采用通常射影（h=ftanα）的假想照相机2V的光学中心CV移动到空间模型MD的外侧时的状态（使光学中心CV的X坐标的值比平面区域R1的半径大的状态）。
如图10所示，输出图像生成部11将处理对象图像平面R3（平面区域R1）上的坐标M1与输出图像平面R5上的坐标N1建立对应，以使线段M1－N1通过光学中心CV，并且将对应于曲面区域R2上的坐标L2的处理对象图像平面R3上的坐标M2与输出图像平面R5上的坐标N2建立对应，以使线段M2－N2通过光学中心CV。由此，不会如由投影在空间模型MD的曲面区域R2中的图像直接生成输出图像的情况那样、引起看到圆筒的侧壁外面而不能生成适当的输出图像的问题（不能将空间模型MD上的坐标与输出图像平面R5上的坐标建立对应的问题），能够生成适当的输出图像。
另外，参照图9A、图9B及图10，对采用通常射影的假想照相机2V进行了说明，但对采用通常射影以外的射影方式（例如，正射影、立体射影、等立体角射影、等距离射影等）的假想照相机2V也是同样的。在此情况下，输出图像生成部11代替将处理对象图像平面R3（平面区域R1）上的坐标M1与输出图像平面R5上的坐标N1（按照函数h=ftanα）建立对应、以使线段M1－N1通过光学中心CV，而按照对应于各个射影方式的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等）将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在此情况下，线段M1－N1不通过假想照相机2V的光学中心CV。
接着，参照图11，对图像生成装置100生成处理对象图像的处理（以下，设为“处理对象图像生成处理”）、以及使用生成的处理对象图像生成输出图像的处理（以下，设为“输出图像生成处理”）进行说明。图11是处理对象图像生成处理（步骤S1～步骤S3）及输出图像生成处理（步骤S4～步骤S6）的流程图。假设照相机2（输入图像平面R4）、空间模型（平面区域R1及曲面区域R2）、以及处理对象图像平面R3的配置为预先决定的。
首先，控制部1通过坐标对应建立部10，将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应（步骤S1）。
具体而言，坐标对应建立部10取得形成在平行线群PL与处理对象图像平面R3之间的角度，计算从处理对象图像平面R3上的一坐标延伸的平行线群PL的一个与空间模型MD的曲面区域R2交叉的点。并且，坐标对应建立部10将与计算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标导出，将其对应关系保存到空间模型－处理对象图像对应映射表41中。形成在平行线群PL与处理对象图像平面R3之间的角度只要是预先保存在存储部4等中的值就可以，也可以是操作者经由输入部3动态地输入的值。
在处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致的情况下，坐标对应建立部10将平面区域R1上的该一坐标作为与处理对象图像平面R3上的该一坐标对应的一坐标导出，将该对应关系保存到空间模型－处理对象图像对应映射表41中。
然后，控制部1通过坐标对应建立部10将由上述处理导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应（步骤S2）。
具体而言，坐标对应建立部10取得采用通常射影（h=ftanα）的照相机2的光学中心C的坐标，计算通过光学中心C的线段与输入图像平面R4交叉的点，其中所述线段是从空间模型MD上的一坐标延伸的线段。并且，坐标对应建立部10将与计算出的点对应的输入图像平面R4上的坐标作为与空间模型MD上的该一坐标对应的输入图像平面R4上的一坐标导出，将该对应关系保存到输入图像－空间模型对应映射表40中。
然后，控制部1判断是否已将处理对象图像平面R3上的全部的坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立了对应（步骤S3）。在还没有将全部的坐标建立对应的情况下（步骤S3的NO），重复步骤S1及步骤S2的处理。
另一方面，控制部1在判断为已将全部的坐标建立了对应的情况下（步骤S3的YES），在结束处理对象图像生成处理后开始输出图像生成处理。由此，输出图像生成部11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应（步骤S4）。
具体而言，输出图像生成部11通过对处理对象图像实施标度变换、仿射变换或畸变变换而生成输出图像。并且，输出图像生成部11将由实施的标度变换、仿射变换或畸变变换的内容决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系保存到处理对象图像－输出图像对应映射表42中。
或者，在使用假想照相机2V生成输出图像的情况下，输出图像生成部11也可以根据采用的射影方式、由对象处理图像平面R3上的坐标计算输出图像平面R5上的坐标，将该对应关系保存到处理对象图像－输出图像对应映射表42中。
或者，在使用采用通常射影（h=ftanα）的假想照相机2V生成输出图像的情况下，输出图像生成部11也可以在取得该假想照相机2V的光学中心CV的坐标后、计算通过光学中心CV的线段与处理对象图像平面R3交叉的点，其中所述线段是从输出图像平面R5上的一坐标延伸的线段。并且，输出图像生成部11也可以将与计算出的点对应的处理对象图像平面R3上的坐标作为与输出图像平面R5上的该一坐标对应的处理对象图像平面R3上的一坐标导出，将该对应关系保存到处理对象图像－输出图像对应映射表42中。
然后，控制部1通过输出图像生成部11，一边参照输入图像－空间模型对应映射表40、空间模型－处理对象图像对应映射表41、及处理对象图像－输出图像对应映射表42，一边探求输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、以及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系，取得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标具有的值（例如，亮度值、色调值、彩度值等）。并且，控制部1采用该取得的值作为对应的输出图像平面R5上的各坐标的值（步骤S5）。另外，在多个输入图像平面R4上的多个坐标对应于输出图像平面R5上的一坐标的情况下，输出图像生成部11也可以基于这些多个输入图像平面R4上的多个坐标的各自的值导出统计值（例如，平均值、最大值、最小值、中间值等），并作为输出图像平面R5上的该一坐标的值而采用该统计值。
然后，控制部1判断是否将输出图像平面R5上的全部的坐标的值与输入图像平面R4上的坐标的值建立了对应（步骤S6）。在判断为还没有将全部的坐标的值建立对应的情况下（步骤S6的NO），重复步骤S4及步骤S5的处理。
另一方面，控制部1在判断为将全部的坐标的值建立了对应的情况下（步骤S6的YES），生成输出图像，结束该一系列的处理。
另外，图像生成装置100在不生成处理对象图像的情况下，将处理对象图像生成处理省略，将输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”改读作“空间模型上的坐标”。
通过以上的结构，图像生成装置100能够生成能够使操作者直观地掌握建筑机械与周边障碍物之间的位置关系的处理对象图像及输出图像。
图像生成装置100通过如从处理对象图像平面R3经过空间模型MD向输入图像平面R4回溯那样执行坐标的对应建立，能够使处理对象图像平面R3上的各坐标可靠地对应于输入图像平面R4上的一或多个坐标。因而，与以从输入图像平面R4经过空间模型MD达到处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，能够迅速地生成品质更好的处理对象图像。另外，在以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况下，有虽然能够使输入图像平面R4上的各坐标可靠地对应于处理对象图像平面R3上的一或多个坐标、但是处理对象图像平面R3上的坐标的一部分与输入图像平面R4上的哪个坐标都没有建立对应的情况。在这样的情况下，需要对这些处理对象图像平面R3上的坐标的一部分实施内插处理等。
此外，在仅将与空间模型MD的曲面区域R2对应的图像放大或缩小的情况下，图像生成装置100仅通过变更形成在平行线群PL与处理对象图像平面R3之间的角度而将空间模型－处理对象图像对应映射表41中的与曲面区域R2关联的部分改写，就能够不改写输入图像－空间模型对应映射表40的内容而实现希望的放大或缩小。
此外，在变更输出图像的观看方式的情况下，图像生成装置100仅通过将关于标度变换、仿射变换或畸变变换的各种参数的值变更来改写处理对象图像－输出图像对应映射表42，就能够不将输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容改写而生成希望的输出图像（标度变换图像、仿射变换图像或畸变变换图像）。
同样，在将输出图像的视点变更的情况下，图像生成装置100仅通过变更假想照相机2V的各种参数的值而改写处理对象图像－输出图像对应映射表42，就能够不将输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容改写而生成从希望的视点看到的输出图像（视点变换图像）。
接着，参照图12A～图14C，对照相机2（右侧方照相机2R、后方照相机2B）与空间模型MD之间的位置关系进行说明。
图12A与图3B同样，是表示从上方观察挖掘机60时的照相机2与空间模型MD之间的位置关系的图。图12B与图4同样，是从斜上方观察空间模型MD时的照相机2与空间模型MD之间的位置关系的图。图12C是表示图像生成装置100生成的处理对象图像的图。
如在图12B中最优表示的那样，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行且延伸的棒状的物体OBJ。
在图12B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，光轴G1与光轴G2在圆筒中心轴（再投影轴）上的点J1处交叉。另外，光轴G1与光轴G2只要是投影在与XY平面平行的一平面上时的成分分别在圆筒中心轴（再投影轴）上的点处交叉，也可以处于扭转的位置的关系。
从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线处于相互垂直的关系。另外，在本实施例中，这两个垂线存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上并在点J2处正交，但两个垂线也可以分别位于不同的平面上且处于扭转的位置的关系。
通过图12A及图12B所示的照相机2与空间模型MD之间的位置关系，图像生成装置100能够如图12C所示那样生成处理对象图像。即，在图12C中，在Y轴上与Z轴方向平行且延伸的棒状的物体OBJ在与投影在平面区域R1上的图像对应的路面图像部分中沿与Y轴方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，在图12C中，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分中同样沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ不在路面图像部分与水平图像部分之间的边界处弯折，而以直线状延伸。
图13A～图13C分别是与图12A～图12C同样的图。在图13A～图13C所示的例子中，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行且延伸的棒状的物体OBJ。进而，在右侧方照相机2R的光轴G2的方向上，也存在自XY平面与Z轴方向平行且延伸的棒状的物体OBJ1。
在图13B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与图12B所示的位置关系同样，与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，光轴G1与光轴G2在圆筒中心轴（再投影轴）上的点J1处交叉。另外，只要投影在与XY平面平行的一平面上时的成分分别在圆筒中心轴（再投影轴）上的点处交叉，光轴G1和光轴G2也可以处于扭转的位置的关系。
另一方面，从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线不为相互垂直的关系。从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向该垂线引下的垂线在不在圆筒中心轴（再投影轴）上的点J2处正交。在本实施例中，后方照相机2B及右侧方照相机2R的光学中心存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上。但是，后方照相机2B及右侧方照相机2R的光学中心也可以分别位于不同的平面上且相互的垂线处于扭转的位置的关系。
通过图13A及图13B所示的照相机2与空间模型MD之间的位置关系，图像生成装置100如图13C所示那样生成处理对象图像。在图13C中，在Y轴上与Z轴方向平行且延伸的棒状的物体OBJ在与投影在平面区域R1上的图像对应的路面图像部分中沿从Y轴方向稍稍离开的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分中沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ在路面图像部分与水平图像部分之间的边界处稍稍弯折。
另一方面，如图13C所示，与处于右侧方照相机2R的光轴G2的方向的Z轴方向平行且延伸的棒状的物体OBJ1，在与投影在平面区域R1中的图像对应的路面图像部分中沿与光轴G2方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ1在与投影在曲面区域R2中的图像对应的水平图像部分中同样沿与光轴G2方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ1上的点的直线的方向）延伸。换言之，物体OBJ1不在路面图像部分与水平图像部分之间的边界处弯折而以直线状延伸。
图14A～图14C分别是与图12A～12C同样的图。在图14A～14C所示的例子中，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行且延伸的棒状的物体OBJ。进而，在右侧方照相机2R的光轴G2的方向上，也存在自XY平面与Z轴方向平行地延伸的棒状的物体OBJ2。
在图14B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与图12B所示的位置关系同样，与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线是相互垂直的关系。在本实施例中，后方照相机2B及右侧方照相机2R的光学中心存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上。但是，也可以是，后方照相机2B及右侧方照相机2R的光学中心分别位于不同的平面上，且相互的垂线处于扭转位置关系。
另一方面，光轴G1和光轴G2不在圆筒中心轴（再投影轴）上交叉，于不在圆筒中心轴（再投影轴）上的点J1处交叉。另外，只要投影在与XY平面平行的一平面上时的成分分别于不在圆筒中心轴（再投影轴）上的点处交叉，光轴G1与光轴G2也可以处于扭转位置关系。
通过图14A及图14B所示的照相机2与空间模型MD之间的位置关系，图像生成装置100如图14（C）所示那样生成处理对象图像。在图14C中，与处于右侧方照相机2R的光轴G2的方向的Z轴方向平行地延伸的棒状的物体OBJ2在与投影在平面区域R1上的图像对应的路面图像部分中沿与光轴G2方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ2在与投影在曲面区域R2上的图像对应的水平图像部分中沿与Y轴方向大致平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ2上的点的直线的方向）延伸。换言之，物体OBJ2在路面图像部分与水平图像部分之间的边界处稍稍弯折。
另一方面，如图14C所示，在Y轴上与Z轴方向平行延伸的棒状的物体OBJ在与投影在平面区域R1上的图像对应的路面图像部分中沿与Y轴方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分中同样沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ不在路面图像部分与水平图像部分之间的边界处弯折，而以直线状延伸。
如以上这样，图像生成装置100通过使空间模型MD的圆筒中心轴（再投影轴）与照相机的光轴交叉而配置空间模型MD，能够生成处理对象图像，以使处于照相机的光轴方向的物体不在路面图像部分与水平图像部分之间的边界处弯折。另外，在照相机仅一台的情况下、照相机为三台以上的情况下也能够得到该优点。
此外，图像生成装置100通过使从后方照相机2B及右侧方照相机2R的光学中心分别向空间模型MD的圆筒中心轴（再投影轴）引下的垂线的分别为相互垂直而配置空间模型MD，能够生成处理对象图像，以使得处于挖掘机60的右正侧及正后方的物体不在路面图像部分与水平图像部分之间的边界处弯折。另外，在照相机为三台以上的情况下也能够得到该优点。
另外，图12A～图14C所示的照相机2（右侧方照相机2R、后方照相机2B）与空间模型MD之间的位置关系及作用效果是对应于图像生成装置100生成处理对象图像的情况的，但在图像生成装置100不生成处理对象图像的情况下（不存在处理对象图像平面R3的情况下）也能够得到同样的作用效果。在此情况下，图12C、图13C、及图14C所示的处理对象图像能够用使用投影在空间模型MD中的图像生成的输出图像代之读取。
图15是使使用搭载在挖掘机60上的两台照相机2（右侧方照相机2R及后方照相机2B）的输入图像而生成的输出图像显示在显示部5上时的显示例。图像生成装置100将输入图像的一部分投影到空间模型MD的平面区域R1中，并且将输入图像的另一部分投影到空间模型MD的曲面区域R2中之后再投影到处理对象图像平面R3中而生成处理对象图像。图像生成装置100基于所生成的处理对象图像，将与投影在平面区域R1中的图像对应的、从上空俯视挖掘机60的附近的图像、和与投影在曲面区域R2中的图像对应的、即与再投影在处理对象图像平面R3中的图像对应的、从挖掘机60在水平方向上观察周边的图像组合而显示。
另外，在图像生成装置100不生成处理对象图像的情况下，输出图像通过对投影在空间模型MD中的图像实施图像变换处理（例如视点变换处理）而生成。
将输出图像修剪为圆形，以便能够将挖掘机60进行回转动作时的图像没有别扭感地显示。即，生成输出图像，以使圆的中心CTR处于空间模型MD的圆筒中心轴上、并且为挖掘机60的回转轴PV上，进行显示，以对应于挖掘机60的回转动作而以该中心CTR为轴旋转。在此情况下，空间模型MD的圆筒中心轴也可以与再投影轴一致，也可以不一致。
空间模型MD的半径例如是5米。在平行线群PL与处理对象图像平面R3之间形成的角度、或辅助线群AL的起点高度从挖掘机60的回转中心离开了挖掘配件E的最大到达距离（例如12米）的位置上存在物体（例如作业员）的情况下，可以进行设定，以将该物体在显示部5上充分大（例如7毫米以上）地显示。
进而，输出图像也可以将挖掘机60的CG图像配置为，使挖掘机60的前方与显示部5的画面上方一致、并且其回转中心与中心CTR一致。这是为了使挖掘机60与输出图像中出现的物体之间的位置关系更容易理解。另外，输出图像也可以将包含方位等各种信息的画框图像配置在其周围。
在该状态下，图像生成装置100如图9A、图9B所示，能够不给与投影在平面区域R1中的图像对应的输出图像的图像部分带来影响、而仅将与投影在曲面区域R2中、进而再投影在处理对象图像平面R3中的图像对应的输出图像的图像部分放大或缩小。此外，如图10所示，也可以为了将与投影到曲面区域R2中、进而再投影到处理对象图像平面R3中的图像对应的输出图像的图像部分从正上方俯视、而使该图像部分移动到显示部5的画面区域中的任意的位置（例如中央）。
接着，参照图16A、图16B、图16C，对照相机2（后方照相机2B、右侧方照相机2R）的摄像范围与空间模型MD之间的位置关系进行说明。
图16A是表示从上方观察挖掘机60时的照相机2的摄像范围与空间模型MD之间的位置关系的图，图16B是表示从斜上方观察空间模型MD时的照相机2的摄像范围与空间模型MD之间的位置关系的图。图16C是表示基于如图16A及图16B所示那样设置的照相机2摄像的输入图像，图像生成装置100生成的处理对象图像的图。
如在图16B中最优表示的那样，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致。在挖掘机60的周围，存在自路面平行于Z轴方向（铅直上方）且延伸的两条棒状的物体OBJ3、OBJ4。
回转轴PV与物体OBJ3之间的距离比空间模型MD的半径小。回转轴PV与物体OBJ4之间的距离比空间模型MD的半径大。
在图16A中，将后方照相机2B的摄像范围用扇形的单点划线表示，将右侧方照相机2R的摄像范围用扇形的虚线表示。物体OBJ3包含在后方照相机2B的摄像范围与右侧方照相机2R的摄像范围重复的区域（以下，设为“摄像范围重复区域”）内、且处于空间模型MD的曲面区域R2的内侧的空间中。物体OBJ4包含在摄像范围重复区域内、且处于空间模型MD的曲面区域R2的外侧的空间中。
将后方照相机2B摄像的输入图像中的对应于摄像范围重复区域的输入图像部分的坐标的一部分与空间模型MD中的平面区域R1的一区域DG1（参照图16A）及曲面区域R2的一区域DY1（参照图16B）中的坐标建立关联。将其他部分（本来能够与空间模型MD中的平面区域R1的一区域DG2（参照图16A）及曲面区域R2的一区域DY2（参照图16B）中的坐标建立关联的部分）不与空间模型MD上的坐标建立关联。这是因为，右侧方照相机2R摄像的输入图像中的对应于摄像范围重复区域的输入图像部分的一部分的坐标与该一区域DG2、DY2中的坐标建立了关联。
同样，将右侧方照相机2R摄像的输入图像中的对应于摄像范围重复区域的输入图像部分的坐标的一部分与空间模型MD中的平面区域R1的一区域DG2（参照图16A）及曲面区域R2的一区域DY2（参照图16B）中的坐标建立对应。将其他部分（本来能够与空间模型MD中的平面区域R1的一区域DG1（参照图16A）及曲面区域R2的一区域DY1（参照图16B）中的坐标建立关联的部分）不与空间模型MD上的坐标建立关联。这是因为，后方照相机2B摄像的输入图像中的对应于摄像范围重复区域的输入图像部分的一部分的坐标与该一区域DG1、DY1中的坐标建立了关联。
另外，将空间模型MD中的曲面区域R2的一区域DY1、DY2分别如图17或图18所示，与处理对象图像平面R3上的一区域DW1、DW2建立关联。
通过上述关联建立，将表示包含在摄像范围重复区域内且处于空间模型MD的曲面区域R2的内侧的空间中的物体OBJ3的、后方照相机2B及右侧方照相机2R分别摄像而得到的输入图像部分分别投影到空间模型MD中的平面区域R1的区域DG1及DG2中。在该投影图像中，物体OBJ3中的、与路面接触的很少的部分作为路面图案留下，从路面延伸的其他的大部分（是从水平方向观察物体OBJ3的图像部分、不作为路面图案处理的部分）消失（参照图16C）。
另一方面，通过上述关联建立，将表示包含在摄像范围重复区域内且处于空间模型MD的曲面区域R2的外侧的空间中的物体OBJ4的、后方照相机2B及右侧方照相机2R分别摄像的输入图像部分分别投影到空间模型MD的曲面区域R2中的区域DY1及DY2中。进而，将物体OBJ4分别投影到处理对象图像平面R3的区域DW1及DW2中，分开为两个物体OBJ4-1、OBJ4-2而分别呈现在区域DW1及DW2中（参照图16C）。
参照图17及图18，继续照相机2（后方照相机2B、右侧方照相机2R）的摄像范围与空间模型MD之间的位置关系的说明。
图17及图18与图16C同样，是表示基于如图16A及图16B所示那样设置的照相机2摄像的输入图像、图像生成装置100生成的处理对象图像的图。图17及图18所示的例子在空间模型MD的曲面区域R2的配置（空间模型MD的半径）不同这一点上相互不同，而在其他点上相同。
图17所示的空间模型MD形成为，使后方照相机2B的摄像范围及右侧方照相机2R的摄像范围的重复开始的点与空间模型MD的圆筒中心轴之间的距离和空间模型MD的半径一致。在空间模型MD的平面区域R1中不存在区域DG1及DG2，结果，不发生物体OBJ3的消失。
具体而言，在图16A中存在于空间模型MD的曲面区域R2的内侧的空间中的物体OBJ3在图17中存在于曲面区域R2的外侧的空间中。如图17所示，将表示包含在是摄像范围重复区域内并且处于空间模型MD的曲面区域R2的外侧的空间中的物体OBJ3的、后方照相机2B及右侧方照相机2R分别摄像的输入图像部分被分别投影到空间模型MD的曲面区域R2中的区域DY1及DY2中。进而，将物体OBJ3分别投影到处理对象图像平面R3的区域DW1及DW2中，分为两个物体OBJ3-1、OBJ3-2，分别呈现在区域DW1及DW2中。因而，避免了物体OBJ3消失。
另一方面，图18所示的空间模型MD使空间模型MD的半径增大而形成，以使在图16A中存在于空间模型MD的曲面区域R2的外侧的空间中的物体OBJ4包含在该曲面区域R2的内侧的空间中。结果，能够使平面区域R1（作为路面图像显示的区域）放大，但在该放大的平面区域R1中的区域DG1、DG2中，除了物体OBJ3以外，使物体OBJ4也消失。
这样，图像生成装置100当空间模型MD的半径越大时，使在摄像范围重复区域中存在于距挖掘机60更远的位置处的物体消失。另一方面，空间模型MD的半径越小，越具有将在摄像范围重复区域中存在于距挖掘机60更近的位置处的物体分为两个来显示的倾向。
在考虑上述倾向的同时，图像生成装置100将空间模型MD的最优的半径导出。
例如，将安装在挖掘机60的上部回转体63上的照相机2设置到比在挖掘机60的周边作业的作业者的标准的身高高的位置（例如2米的高度）上。在此情况下，由于取得对处于距挖掘机60为一定的距离范围内的作业者进行俯瞰的图像，所以图像生成装置100能够将这些摄像的作业者的图像不作为立体物而作为路面图案处理。这里，在将照相机设置在比其低的位置上的情况下，由于对作业者从水平方向摄像，所以为了将作业者的图像没有别扭感地显示而不得不将作业者作为立体物处理。与这样的情况相比，在将照相机2设置在比作业者的身高高的位置上的情况下，即使使空间模型MD的半径增大、将这些作业者包含在该曲面区域R2的内侧的空间中，也能够抑制作业者的图像的消失。
如以上这样，图像生成装置100通过根据照相机的设置位置（例如设置高度）决定空间模型MD的半径，能够在抑制存在于两个照相机的摄像范围重复区域内的物体的消失的同时、生成没有别扭感的输出图像。
图19A、图19B是用来说明决定空间模型MD的半径能够取的值的范围的次序的一例的图。图19A是从上方观察挖掘机60时的俯视图，图19B是从侧方观察挖掘机60时的侧视图。
图19A及图19B表示后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与路面交叉、在空间模型MD的圆筒中心轴上的点J1处交叉。后方照相机2B及右侧方照相机2R朝斜下方安装在挖掘机60的车体上，以使其不从该车体伸出、并且能够将车体附近的路面摄像，也包括该车体的一部分地进行摄像。
首先，对决定空间模型MD的半径能够取的值的最小值的次序进行说明。
后方照相机2B及右侧方照相机2R分别如图19A所示，具有由斜线阴影表示的摄像范围。网格较粗的斜线阴影对应于后方照相机2B的摄像范围，网格较细的斜线阴影对应于右侧方照相机2R的摄像范围。摄像范围分别如图19B所示，具有被挖掘机60的车体的影子遮挡而不能摄像的区域。在图19A、图19B中，该区域是用黑色涂满的区域，区域DS1对应于后方照相机2R，区域DS2对应于右侧方照相机2R。另外，区域DS1、DS2在用输出图像显示的情况下，将是被挖掘机60的车体的影子遮挡而不能摄像的区域的情况用警告色（例如黑色）涂满，以使操作者能够辨识。
区域DS1、DS2如图19A所示，通过在从挖掘机60离开规定距离的位置上、在路面上描绘将不被车体的影子遮挡而能够摄像的范围与被车体的影子遮挡而不能摄像的范围划分的边界线BL1、BL2而设定。规定距离是由后方照相机2R及右侧方照相机2R的各自的设置位置决定的距离。
边界线BL1、BL2在处于摄像范围重复区域（两种斜线阴影重叠的区域）内的交点PT1处交叉。采用该交点PT1与圆筒中心轴之间的距离作为空间模型MD的半径能够取的值的最小值。由此，能够带来能够防止存在于挖掘机60的周围的作业者的图像的消失（包括仅残留稍稍的路面图像而消失的状态）的作为投影对象的曲面区域、即在空间模型MD的曲面区域R2中具有最小半径的曲面区域R2min（用单点划线的圆表示的区域）。
接着，对决定空间模型MD的半径能够取的值的最大值的次序进行说明。
人物PSN是为了导出空间模型MD的半径能够取的值的最大值而使用的圆柱状的假想物。人物PSN具有规定的大小（例如，从上方观察时的外径是600毫米），相邻于位于摄像范围重复区域内的交点PT1的外侧（从圆筒中心轴观察是半径方向的外侧）而配置。
后方照相机2B及右侧方照相机2R分别如图19A所示，描绘通过各自的光学中心、作为人物PSN表示的圆的切线的辅助线EL1、EL2。
辅助线EL1、EL2在处于摄像范围重复区域内的交点PT2处交叉。采用交点PT2与圆筒中心轴之间的距离作为空间模型MD的半径能够取的值的最大值。由此，能够带来能够防止存在于挖掘机60的周围的作业者的图像的消失的作为投影对象的曲面区域、即在空间模型MD的曲面区域R2中具有最大半径的曲面区域R2max（用双点划线的圆表示的区域）。
通过如以上这样决定空间模型的半径能够取的值的范围，将实际采用的空间模型MD的曲面区域R2设定得比曲面区域R2min大且比曲面区域R2max小。在此情况下，使用图19A、图19B所示的人物PSN模拟其最容易消失的条件的、存在于挖掘机60的周围的作业者的图像至少身体的一部分（典型地是其头部）被分为两个而投影到曲面区域R2中。因而，能够避免人物PSN的图像的完全的消失。
此外，在使挖掘机60在照相机2摄像的方向行驶的情况下，挖掘机60的驾驶者与使挖掘机60回转的情况相比，更重视将其行进方向在输出图像中容易知道地显示。因而，图像生成装置100优选的是使空间模型MD的半径增大，使作为路面图像显示的区域增大，显示更容易知道处于挖掘机60的行进方向的物体与挖掘机60之间的距离的输出图像。
另一方面，在使挖掘机60回转的情况下，挖掘机60的驾驶者与使挖掘机60在照相机2摄像的方向上行驶的情况相比，更重视将其回转方向在输出图像中容易知道地显示。因而，图像生成装置100优选的是使空间模型MD的半径减小，显示能够防止摄像范围重复区域中的挖掘机60周边的物体的消失那样的输出图像。例如，图像生成装置100将摄像范围重复区域中的挖掘机60周边的物体分为两个而双重地显示。
为了将使用半径不同的两个空间模型生成的这两个处理对象图像区分使用，图像生成装置100也可以使驾驶者能够选择显示使挖掘机60行驶的情况下显示的输出图像（以下，称作“行驶用输出图像”）和使挖掘机60回转的情况下显示的输出图像（以下，称作“回转用输出图像”）。或者，也可以在挖掘机60开始行驶时将回转用输出图像自动切换为行驶用输出图像、在挖掘机60停止时将行驶用输出图像自动切换为回转用输出图像。
这样，图像生成装置100通过根据挖掘机60的操作状况决定空间模型MD的半径，能够生成适合于挖掘机60的动作的、没有别扭感的输出图像。
进而，图像生成装置100基于安装在上部回转体63的角部上的物体检测传感器（例如，激光雷达传感器、超声波传感器等）的输出，判断在摄像范围重复区域中是否存在物体。或者，图像生成装置100也可以检测到存在于摄像范围重复区域中的物体的距离、根据其判断结果或检测结果决定空间模型MD的半径。
在此情况下，图像生成装置100例如也可以采用到存在于摄像范围重复区域内的最近的物体的距离作为空间模型MD的半径。或者，图像生成装置100也可以采用到该物体与圆筒中心轴之间的距离为规定值（根据照相机的设置位置（例如设置高度）决定的值）以上的最近的物体的距离作为空间模型MD的半径，其中，该物体为存在于摄像范围重复区域内的物体。这是因为，该距离不到规定值的物体的图像被作为路面图案处理而避免了消失。
接着，参照图20，对图像生成装置100将对应于摄像范围重复区域的输入图像能够与对应于其他区域的输入图像区分显示的功能进行说明。另外，图20与图18同样，是表示处理对象图像的显示例的图。在图29中，照相机2的配置、空间模型MD的配置、及物体OBJ3、OBJ4的配置与图17所示的例子相同。
在图20中，图像生成装置100能够将与对应于后方照相机2B摄像的摄像范围重复区域的图像部分建立关联的、处理对象图像平面R3上的一区域DW1中的图像部分、与其他图像部分区别地强调显示。
在此情况下，图像生成装置100对于与对应于右侧方照相机2R摄像的摄像范围重复区域的图像部分建立关联的、处理对象图像平面R3上的一区域DW2中的图像部分不进行强调显示。
出现在区域DW1、DW2中的物体OBJ3-1、OBJ3-2不是表示实际存在两个物体，而只不过是将一个物体OBJ3分为两个双重地显示。因此，图像生成装置100通过仅将区域DW1、DW2中的一个强调显示，能够使驾驶者识别出该区域对应于摄像范围重复区域。进而，图像生成装置100能够使驾驶者识别到出现在区域DW1中的物体OBJ3-1和出现在区域DW2中的物体OBJ3-2都来源于一个物体OBJ3。关于物体OBJ4-1、OBJ4-2也是同样的。
另外，图像生成装置100也可以将处理对象图像平面R3上的区域DW1、DW2的两者中的图像部分强调显示。
此外，图像生成装置100例如也可以通过使处理对象图像平面R3上的区域DW1、DW2的两者或一个的亮度增大或减小来将该区域强调显示。或者，图像生成装置100也可以通过使处理对象图像平面R3上的区域DW1、DW2的两者或一个的彩色图像成为单色图像（灰阶化）来将该区域强调显示。
此外，图像生成装置100也可以将处理对象图像平面R3上的一区域DW1中的图像部分、处理对象图像平面R3上的一区域DW2中的图像部分、和其他图像部分这三者可区分显示。处理对象图像平面R3上的一区域DW1中的图像部分是与对应于后方照相机2B摄像的摄像范围重复区域的图像部分建立关联的部分。此外，处理对象图像平面R3上的一区域DW2中的图像部分是与对应于右侧方照相机2R摄像的摄像范围重复区域的图像部分建立关联的部分。
另外，图16A～图20所示的照相机2（右侧方照相机2R、后方照相机2B）的摄像范围与空间模型MD之间的位置关系及作用效果是在图像生成装置100生成处理对象图像的情况下得到的。其中，在图像生成装置100不生成处理对象图像的情况下（不存在处理对象图像平面R3的情况下）也能够得到同样的作用效果。在此情况下，将图16C、图17、图18、及图20中的处理对象图像用使用投影在空间模型MD中的图像生成的输出图像代之读取。
在上述实施例中，图像生成装置100作为空间模型而采用圆筒状的空间模型MD，但图像生成装置100也可以采用具有多边柱等的其他柱状的形状的空间模型，也可以采用由底面及侧面这二面构成的空间模型。或者，图像生成装置100也可以采用仅具有侧面的空间模型。
上述图像生成装置100与照相机一起搭载在具备铲斗、斗杆、动臂、回转机构等可动部件并自行的建筑机械中，组装在一边将周围图像向其驾驶者提示一边支持该建筑机械的移动及这些可动部件的操作的操作支持系统中。但是，图像生成装置100也可以与照相机一起搭载在如工业用机械或固定式起重机等那样虽具有可动部件但不自行的其他机械（被操作体）中，并组装在支持该机械的操作的操作支持系统中。
本发明并不限定于具体公开的上述实施方式，能够不脱离本发明的范围而形成各种变形例及改良例。
本申请基于2010年4月12日提出的日本国专利申请第2010－091657号主张优先权，在本申请中引用其全部内容。
工业实用性
本发明能够在基于多个输入图像生成输出图像的图像生成装置及使用该装置的操作支持系统中使用。
标号说明
1控制部
2照相机
2R右侧方照相机
2B后方照相机
3输入部
4存储部
5显示部
10坐标对应建立部
11输出图像生成部
40输入图像－空间模型对应映射表
41空间模型－处理对象图像对应映射表
42处理对象图像－输出图像对应映射表
60挖掘机
61下部行驶体
62回转机构
63上部回转体
64驾驶舱

Claims (8)

1.一种图像生成装置，基于安装在被操作体上的多个摄像部摄像的多个输入图像来生成输出图像，其特征在于，
具备：
坐标对应建立部，将具有中心轴和侧面的柱状的空间模型中的坐标与上述多个输入图像分别所处的多个输入图像平面的各自中的坐标建立对应，其中，所述空间模型是以包围上述被操作体的方式配置的空间模型；和
输出图像生成部，经由上述柱状的空间模型中的坐标，将上述多个输入图像平面的各自中的坐标的值与上述输出图像所处的输出图像平面中的坐标的值建立对应而生成上述输出图像；
上述柱状的空间模型的中心轴与侧面之间的距离根据上述摄像部的设置位置决定。
2.如权利要求1所述的图像生成装置，其特征在于，
上述被操作体是能够行驶及回转的机械；
设定上述柱状的空间模型的中心轴与侧面之间的距离，以使该距离在回转时比在行驶时小。
3.如权利要求1所述的图像生成装置，其特征在于，
能够将与上述多个摄像部中的两个摄像部各自的摄像范围重复的区域对应的、上述多个摄像部中的两个摄像部各自的输入图像部分，与其他输入图像部分区分显示。
4.如权利要求1所述的图像生成装置，其特征在于，
能够将与上述多个摄像机构中的两个摄像机构各自的摄像范围重复的区域对应的、上述多个摄像机构中的两个摄像机构各自的输入图像部分中的一个，与该输入图像部分中的另一个及其他输入图像部分区分显示。
5.如权利要求1所述的图像生成装置，其特征在于，
上述坐标对应建立部将作为图像变换处理的对象的处理对象图像所处的处理对象图像平面中的坐标、与上述柱状的空间模型中的坐标建立对应；
上述输出图像生成部经由上述处理对象图像平面中的坐标和上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像平面中的坐标的值建立对应而生成上述输出图像。
6.如权利要求1所述的图像生成装置，其特征在于，
还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息进行保存的存储部。
7.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备：
权利要求1所述的图像生成装置；和
对该图像生成装置生成的输出图像进行显示的显示部。
8.如权利要求7所述的操作支持系统，其特征在于，
上述显示部设置在用来移动或操作上述被操作体的操作室中。
CN201180013445.8A 2010-04-12 2011-04-08 图像生成装置及操作支持系统 Active CN102792334B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-091657 2010-04-12
JP2010091657A JP5550970B2 (ja) 2010-04-12 2010-04-12 画像生成装置及び操作支援システム
PCT/JP2011/058898 WO2011129276A1 (ja) 2010-04-12 2011-04-08 画像生成装置及び操作支援システム

Publications (2)

Publication Number Publication Date
CN102792334A true CN102792334A (zh) 2012-11-21
CN102792334B CN102792334B (zh) 2015-09-23

Family

ID=44798652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180013445.8A Active CN102792334B (zh) 2010-04-12 2011-04-08 图像生成装置及操作支持系统

Country Status (6)

Country Link
US (1) US8593454B2 (zh)
EP (1) EP2560140B1 (zh)
JP (1) JP5550970B2 (zh)
KR (1) KR101475583B1 (zh)
CN (1) CN102792334B (zh)
WO (1) WO2011129276A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104982030A (zh) * 2013-03-19 2015-10-14 住友重机械工业株式会社 作业机械用周边监视装置
CN106104629A (zh) * 2014-03-10 2016-11-09 罗伯特·博世有限公司 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法
CN106415656A (zh) * 2014-01-21 2017-02-15 住友重机械工业株式会社 图像生成装置及操作支持系统
CN112292642A (zh) * 2018-06-27 2021-01-29 西门子股份公司 用于控制技术系统的控制装置和用于配置控制装置的方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6029306B2 (ja) 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5805574B2 (ja) * 2012-03-29 2015-11-04 住友建機株式会社 作業機械用周辺監視装置
JP5960007B2 (ja) * 2012-09-20 2016-08-02 住友建機株式会社 作業機械用周辺監視装置
DE102012223588A1 (de) * 2012-12-18 2014-06-18 Robert Bosch Gmbh Vorrichtung zur erweiterten Darstellung eines Umgebungsbereichs eines Fahrzeugs
KR102003562B1 (ko) * 2012-12-24 2019-07-24 두산인프라코어 주식회사 건설기계의 감지 장치 및 방법
JP6302622B2 (ja) * 2013-03-19 2018-03-28 住友重機械工業株式会社 作業機械用周辺監視装置
JP6169381B2 (ja) * 2013-03-19 2017-07-26 住友重機械工業株式会社 ショベル
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6386213B2 (ja) * 2013-05-16 2018-09-05 住友建機株式会社 ショベル
JP6324665B2 (ja) * 2013-05-16 2018-05-16 住友建機株式会社 作業機械用周辺監視装置
JP6355298B2 (ja) * 2013-05-30 2018-07-11 住友重機械工業株式会社 画像生成装置及びショベル
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information
WO2017216945A1 (ja) * 2016-06-17 2017-12-21 株式会社前田製作所 移動式クレーン
JP2018050119A (ja) * 2016-09-20 2018-03-29 国立大学法人 東京大学 作業車両の表示システム
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
DE102017120613B4 (de) 2017-09-07 2024-03-14 Liebherr-Werk Ehingen Gmbh Verfahren zum Bewegen einer Last mit einem Kran
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7009327B2 (ja) 2018-07-10 2022-01-25 住友建機株式会社 ショベル
JP7296340B2 (ja) * 2018-08-07 2023-06-22 住友建機株式会社 ショベル
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
EP3651119A1 (en) * 2018-11-06 2020-05-13 Koninklijke Philips N.V. Disparity estimation from a wide angle image
JP7130547B2 (ja) * 2018-12-26 2022-09-05 住友建機株式会社 ショベル及びショベル用周辺監視装置
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7237882B2 (ja) * 2020-04-07 2023-03-13 住友建機株式会社 ショベル
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持系统和产生俯视图像的方法
JP2007041791A (ja) * 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
US20080309784A1 (en) * 2007-06-15 2008-12-18 Sanyo Electric Co., Ltd. Camera System And Mechanical Apparatus
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
CN101661625A (zh) * 2009-09-22 2010-03-03 北京理工大学 基于一幅标准图像生成各视角下样本图像的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03286306A (ja) 1990-04-03 1991-12-17 Mitsubishi Electric Corp 数値制御装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP2002176641A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 周囲映像提示装置
JP3652678B2 (ja) * 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP5369465B2 (ja) * 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
DE102008035428B4 (de) * 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2010091657A (ja) 2008-10-06 2010-04-22 Ricoh Co Ltd クリーニング装置、プロセスユニット及び画像形成装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
WO2003107273A1 (ja) * 2002-06-12 2003-12-24 松下電器産業株式会社 運転支援装置
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持系统和产生俯视图像的方法
JP2007041791A (ja) * 2005-08-02 2007-02-15 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
US20080309784A1 (en) * 2007-06-15 2008-12-18 Sanyo Electric Co., Ltd. Camera System And Mechanical Apparatus
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
CN101661625A (zh) * 2009-09-22 2010-03-03 北京理工大学 基于一幅标准图像生成各视角下样本图像的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104982030A (zh) * 2013-03-19 2015-10-14 住友重机械工业株式会社 作业机械用周边监视装置
CN110318441A (zh) * 2013-03-19 2019-10-11 住友重机械工业株式会社 作业机械
CN106415656A (zh) * 2014-01-21 2017-02-15 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106415656B (zh) * 2014-01-21 2019-07-30 住友重机械工业株式会社 图像生成装置及操作支持系统
CN106104629A (zh) * 2014-03-10 2016-11-09 罗伯特·博世有限公司 用于将由摄像机系统从不同位置拍摄的单个图像合并成一个共同的图像的方法
CN112292642A (zh) * 2018-06-27 2021-01-29 西门子股份公司 用于控制技术系统的控制装置和用于配置控制装置的方法
CN112292642B (zh) * 2018-06-27 2023-09-01 西门子股份公司 用于控制技术系统的控制装置和用于配置控制装置的方法

Also Published As

Publication number Publication date
US8593454B2 (en) 2013-11-26
US20130033494A1 (en) 2013-02-07
EP2560140A4 (en) 2017-03-15
JP2011221865A (ja) 2011-11-04
KR20130008606A (ko) 2013-01-22
WO2011129276A1 (ja) 2011-10-20
CN102792334B (zh) 2015-09-23
JP5550970B2 (ja) 2014-07-16
EP2560140A1 (en) 2013-02-20
EP2560140B1 (en) 2020-06-24
KR101475583B1 (ko) 2014-12-30

Similar Documents

Publication Publication Date Title
CN102792334A (zh) 图像生成装置及操作支持系统
CN102792685B (zh) 处理对象图像生成装置、处理对象图像生成方法及操作支持系统
CN102792684B (zh) 图像生成装置及操作支持系统
CN102792686B (zh) 图像生成装置及操作支持系统
JP5888956B2 (ja) ショベル及び該ショベルの周囲画像表示方法
US9432634B2 (en) Image generation device and operation support system
JP6324665B2 (ja) 作業機械用周辺監視装置
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6873889B2 (ja) ショベル及びショベルの周囲画像生成装置
JP6257918B2 (ja) ショベル
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
JP6246185B2 (ja) ショベル
JP2019206912A (ja) ショベル及びショベルの表示装置
JP2014123955A (ja) ショベル

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant