CN102792685A - 处理对象图像生成装置、处理对象图像生成方法及操作支持系统 - Google Patents

处理对象图像生成装置、处理对象图像生成方法及操作支持系统 Download PDF

Info

Publication number
CN102792685A
CN102792685A CN2011800130832A CN201180013083A CN102792685A CN 102792685 A CN102792685 A CN 102792685A CN 2011800130832 A CN2011800130832 A CN 2011800130832A CN 201180013083 A CN201180013083 A CN 201180013083A CN 102792685 A CN102792685 A CN 102792685A
Authority
CN
China
Prior art keywords
processing target
target image
image
coordinates
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800130832A
Other languages
English (en)
Other versions
CN102792685B (zh
Inventor
清田芳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN102792685A publication Critical patent/CN102792685A/zh
Application granted granted Critical
Publication of CN102792685B publication Critical patent/CN102792685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

处理对象图像生成装置（100）基于摄像部摄像的输入图像生成作为用来得到输出图像的图像变换处理的对象的处理对象图像。坐标对应建立部（10）将输入图像所处的输入图像平面中的输入坐标、输入图像投影的空间模型（R1、R2）中的空间坐标和将投影在空间模型中的图像再投影的处理对象图像平面（R3）中的投影坐标建立对应，其中，所述处理对象图像平面是处理对象图像所处的处理对象图像平面。

Description

处理对象图像生成装置、处理对象图像生成方法及操作支持系统
技术领域
本发明涉及生成作为用来基于输入图像得到输出图像的图像变换处理的对象的处理对象图像的处理对象图像生成装置、处理对象图像生成方法、以及使用该装置或方法的操作支持系统。
背景技术
已知有将来自照相机的输入图像映射到三维空间上的规定的空间模型中、一边参照该映射的空间数据一边生成从该三维空间中的任意的假想视点观察的视点变换图像并显示的图像生成装置（例如，参照专利文献1）。
专利文献1所公开的图像生成装置将搭载在车辆上的照相机摄像的图像投影到由包围该车辆的多个平面或曲面构成的立体的空间模型中。图像生成装置使用投影在该空间模型中的图像来生成视点变换图像，将所生成的视点变换图像对驾驶者进行显示。所谓视点变换图像，是将虚拟地呈现从正上方观察路面的状态的路面图像与虚拟地呈现水平方向的水平图像组合的图像。由此，图像生成装置当驾驶车辆的驾驶者看到该视点变换图像时，能够将该视点变换图像中的物体与处于车外的实际的物体没有别扭感地建立对应。
以往技术文献
专利文献
专利文献1：日本专利第3286306号说明书
发明内容
发明要解决的技术问题
专利文献1所公开的图像生成装置使用投影在立体的空间模型中的图像生成视点变换图像。因而，例如在使用配置在车辆的周围的圆筒状的空间模型的情况下，当在该圆筒的中心轴上设定从正上方观察该圆筒的假想视点（假想照相机）时，能够生成有效的视点变换图像。但是，当在圆筒的侧面的上空的位置上设定从正上方观察该圆筒的假想照相机时，完全不能将投影在其内部侧面上的图像（作为视点变换图像中的水平图像的基础的图像）进行显示。或者，当设定了从外侧观察圆筒的侧面的假想照相机时，完全不能显示投影在圆筒的内部底面上的图像（作为视点变换图像中的路面图像的基础的图像）及投影在内部侧面上的图像（作为视点变换图像中的水平图像的基础的图像）。因而，可设定的假想照相机的位置被大幅地限制。
此外，专利文献1所公开的图像生成装置将投影在空间模型中的图像作为一体不可分的图像而生成视点变换图像。例如，在使用配置在车辆的周围的圆筒状的空间模型的情况下，即使是想要仅将投影在圆筒的内部侧面上的图像（作为视点变换图像中的水平图像的基础的图像）放大或缩小时，也需要将假想照相机的位置及像角等变更而重新进行视点变换图像的生成。由此，对投影在圆筒的内部底面上的图像（作为视点变换图像中的路面图像的基础的图像）也带来影响。这样，专利文献1所公开的图像生成装置在对视点变换图像进行调整的方面欠缺灵活性。
所以，本发明的目的是提供一种生成能够进行输出图像的灵活的调整的处理对象图像的处理对象图像生成装置、处理对象图像生成方法、以及使用该装置或方法的操作支持系统。
用于解决课题的手段
为了达到上述目的，根据本发明的一技术方案，提供一种处理对象图像生成装置，基于摄像部摄像的输入图像、生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，具备坐标对应建立部，该坐标对应建立部将该输入图像所处的输入图像平面中的输入坐标、该输入图像投影的空间模型中的空间坐标和将投影在该空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中，所述处理对象图像平面是该处理对象图像所处的处理对象图像平面。
根据本发明的另一技术方案，提供一种处理对象图像生成方法，基于摄像部摄像的输入图像、生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，具备坐标对应建立步骤，该坐标对应建立步骤将该输入图像所处的输入图像平面中的输入坐标、该输入图像投影的空间模型中的空间坐标和将投影在该空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中所述处理对象图像平面是该处理对象图像所处的处理对象图像平面。
根据本发明的又一技术方案，提供一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备上述处理对象图像生成装置和显示部，所述显示部对基于该处理对象图像生成装置生成的处理对象图像生成的输出图像进行显示。
发明的效果
根据本发明，能够提供生成能够进行输出图像的灵活的调整的处理对象图像的处理对象图像生成装置、处理对象图像生成方法以及使用该装置或方法的操作支持系统。
附图说明
图1是表示本发明的一实施例的处理对象图像生成装置的概略结构的块图。
图2是搭载处理对象图像生成装置的挖掘机的侧视图。
图3A是投影输入图像的空间模型的侧视图。
图3B是图3A所示的空间模型的俯视图。
图4是表示空间模型与处理对象图像平面之间的关系的立体图。
图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。
图6A是表示采用通常射影的照相机的输入图像平面上的坐标与空间模型MD上的坐标之间的对应关系的图。
图6B是表示空间模型MD的曲面区域上的坐标与处理对象图像平面上的坐标之间的对应关系的图。
图6C是表示处理对象图像平面上的坐标与采用通常射影的假想照相机的输出图像平面上的坐标之间的对应关系的图。
图6D是表示照相机、假想照相机、空间模型MD的平面区域及曲面区域、以及处理对象图像平面的相互的位置关系的图。
图7A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。
图7B是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β1的状态的图。
图8A是表示位于XZ平面上的辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。
图8B是表示辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。
图9A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。
图9B是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β2的状态的图。
图10是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。
图11是处理对象图像生成处理及输出图像生成处理的流程图。
图12A是用来说明在存在一个棒状的物体的情况下、照相机与空间模型之间的位置关系的俯视图。
图12B是用来说明在存在一个棒状的物体的情况下、照相机与空间模型之间的位置关系的立体图。
图12C是用来说明在存在一个棒状的物体的情况下生成的处理对象图像的俯视图。
图13A是用来说明在存在两个棒状的物体的情况下、照相机与空间模型之间的位置关系的俯视图。
图13B是用来说明在存在两个棒状的物体的情况下、照相机与空间模型之间的位置关系的立体图。
图13C是用来说明在存在两个棒状的物体的情况下生成的处理对象图像的俯视图。
图14A是用来说明在存在两个棒状的物体的另一情况下、照相机与空间模型之间的位置关系的俯视图。
图14B是用来说明在存在两个棒状的物体的另一情况下、照相机与空间模型之间的位置关系的立体图。
图14C是用来说明在存在两个棒状的物体的另一情况下生成的处理对象图像的俯视图。
图15是表示输出图像的显示例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
图1是概略地表示本发明的一实施方式的处理对象图像生成装置的概略结构的块图。
一实施方式的处理对象图像生成装置100例如基于搭载在建筑机械上的照相机2摄影的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像。处理对象图像生成装置100通过对所生成的处理对象图像实施图像变换处理而生成输出图像，以便能够直观地掌握与周边障碍物的位置关系及距离感，并向驾驶者提示。如图1所示，处理对象图像生成装置100包括控制部1、照相机2、输入部3、存储部4、及显示部5。
图2是搭载处理对象图像生成装置100的挖掘机60的侧视图。挖掘机60具有履带式的下部行驶体61、回转机构62、及上部回转体63。上部回转体63经由回转机构62绕回转轴PV旋转自如地搭载在下部行驶体61上。
在上部回转体63的前方左侧部设有驾驶舱（驾驶室）64，在前方中央部设有挖掘配件E。在上部回转体63的右侧面及后面上设有照相机2（右侧方照相机2R、后方照相机2B）。在驾驶舱64内的驾驶者容易辨识的位置上设置有显示部5。
接着，对处理对象图像生成装置100的各构成单元进行说明。
控制部1包括具备CPU（Central Processing Unit）、RAM（Random AccessMemory）、ROM（Read Only Memory）、NVRAM（Non-Volatile RandomAccess Memory）等的计算机。例如，在ROM或NVRAM中保存有分别对应于后述的坐标对应建立部10及输出图像生成部11的程序。CPU使用RAM作为临时存储区域，并且执行对应于各机构的程序而进行处理。
照相机2是用来取得呈现挖掘机60的周边的输入图像的装置，包括右侧方照相机2R及后方照相机2B。右侧方照相机2R及后方照相机2B例如安装在上部回转体63的右侧面及后面上，以使其能够将成为处于驾驶舱64中的驾驶者的死角的区域摄影（参照图2）。右侧方照相机2R及后方照相机2B分别具备CCD（Charge Coupled Device）或CMOS（ComplementaryMetal Oxide Semiconductor）等摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置（例如，前面及左侧面）上，也可以安装广角透镜或鱼眼透镜，以便能够将较大的范围摄影。
照相机2根据来自控制部1的控制信号取得输入图像，将所取得的输入图像向控制部1输出。另外，照相机2在使用鱼眼透镜或广角透镜取得了输入图像的情况下，将通过使用这些透镜发生的外观上的畸变及歪斜修正后的已修正的输入图像向控制部1输出。但是，照相机2也可以不将所取得的输入图像进行修正而原样对控制部1输出。在此情况下，控制部1将外观上的畸变及歪斜进行修正。
输入部3是用来使得操作者能够对处理对象图像生成装置100输入各种信息的装置，例如包括触摸面板、按钮开关、指针设备、键盘等。
存储部4是用来存储各种信息的装置，例如包括硬盘、光盘、或半导体存储器等。
显示部5是用来显示图像信息的装置，例如包括设置在建筑机械的驾驶舱64（参照图2）内的液晶显示器或投影仪。显示部5显示控制部1输出的各种图像。
“处理对象图像”是作为基于输入图像生成的图像变换处理（例如，标度变换、仿射变换、畸变变换、视点变换处理）的对象的图像。例如，有在图像变换处理中使用通过其较广的像角包含水平方向的图像（例如是空的部分）的输入图像的情况，该输入图像是基于对地表从上方进行摄像的照相机的输入图像。在这样的情况下，将该输入图像投影到规定的空间模型中，以使该水平方向的图像不会被不自然地显示（例如使得不会将空的部分作为处于地表的部分处理）。并且，通过将投影在空间模型中的投影图像再投影到别的二维平面中，能够得到适合于图像变换处理的图像。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。
“空间模型”是输入图像的投影对象，至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面（例如与处理对象图像平面平行的平面、或在与处理对象图像平面之间形成角度的平面或曲面）。
图3A、图3B是表示将输入图像投影的空间模型MD的一例的图。图3A表示从侧方观察挖掘机60时的挖掘机60与空间模型MD之间的关系，图3B表示从上方观察挖掘机60时的挖掘机60与空间模型MD之间的关系。
如图3A、图3B所示，空间模型MD具有半圆筒形状。半圆筒形状的底面内部包括平面区域R1，侧面内部包括曲面区域R2。
图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图。在图4中，处理对象图像平面R3例如是包括空间模型MD的平面区域R1的平面。另外，在图4中，为了明确化，使空间模型MD与图3所示那样的半圆筒形状不同、用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。这在以后的图中也是同样的。此外，处理对象图像平面R3如上述那样，也可以是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空间模型MD的平面区域R1的环状区域。
接着，对控制部1具有的坐标对应建立部10及输出图像生成部11进行说明。
坐标对应建立部10是为了将照相机2摄像的输入图像所处的输入图像平面上的坐标（也有称作输入坐标的情况）、空间模型MD上的坐标（也有称作空间坐标的情况）、和处理对象图像平面R3上的坐标（也有称作投影坐标的情况）建立对应而设置的。例如，基于预先设定的或者经由输入部3输入的照相机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应。将这些对应关系保存到存储部4的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41中。
输出图像生成部11是用来生成输出图像的机构。输出图像生成部11例如通过对处理对象图像实施标度变换、仿射变换、或畸变变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系保存到存储部4的处理对象图像－输出图像对应映射表42中。输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值、彩度值等）与输入图像中的各像素的值建立关联而生成输出图像。
此外，输出图像生成部11基于预先设定的、或者经由输入部3输入的假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系存储到存储部4的处理对象图像－输出图像对应映射表42中。并且，输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值（例如亮度值、色调值、彩度值等）与输入图像中的各像素的值建立关联而生成输出图像。
另外，输出图像生成部11也可以不使用假想照相机的概念，而将处理对象图像的标度变更来生成输出图像。
接着，对由坐标对应建立部10及输出图像生成部11进行的处理的一例进行说明。
坐标对应建立部10例如可以使用哈密尔顿的四元数将输入图像平面上的输入坐标与空间模型上的空间坐标建立对应。
图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。将照相机2的输入图像平面表示为以照相机2的光学中心C为原点的UVW正交坐标系的一平面，将空间模型表示为XYZ正交坐标系的立体面。
首先，坐标对应建立部10为了将空间模型上的坐标（XYZ坐标系上的坐标）变换为输入图像平面上的坐标（UVW坐标系上的坐标），在使XYZ坐标系的原点平移到光学中心C（UVW坐标系的原点）后，使XYZ坐标系旋转，以使X轴与U轴一致、Y轴与V轴一致、Z轴与-W轴一致。这里，符号“-”意味着方向相反。这因为UVW坐标系将照相机前方作为+W方向、XYZ坐标系将铅直下方作为-Z方向。
在存在多个照相机2的情况下，照相机2分别具有独立的UVW坐标系。由此，坐标对应建立部10使XYZ坐标系分别相对于多个UVW坐标系平移且旋转。
上述变换通过在使XYZ坐标系平移以使照相机2的光学中心C成为XYZ坐标系的原点后、旋转以使Z轴与-W轴一致、再旋转以使X轴与U轴一致来实现。因而，坐标对应建立部10通过将该变换用哈密尔顿的四元数记述，将这两次的旋转汇总为一次旋转运算。
用来使某个矢量A与别的矢量B一致的旋转相当于以矢量A和矢量B展开的面的法线为轴、旋转矢量A与矢量B形成的角度的处理。如果设旋转的角度为θ，则由矢量A与矢量B的内积将角度θ如以下这样表示。
［数式1］
θ = cos - 1 ( A · B | A | | B | )
此外，矢量A和矢量B展开的面的法线的单位矢量N由矢量A与矢量B的外积如以下这样表示。
［数式2］
N = A × B | A | | B | sin θ
另外，四元数是在设i、j、k分别为虚数单位的情况下、满足以下的条件的超复数。
［数式3］
ii＝jj＝kk＝ijk＝-1
在本实施例中，四元数Q设实成分为t，设纯虚成分为a、b、c，如以下这样表示。
［数式4］
Q＝(t；a，b，c)＝t+ai+bj+ck
因而，四元数Q的共轭四元数如以下这样表示。
［数式5］
Q*＝(t；-a，-b，-c)＝t-ai-bj-ck
四元数Q可以在设实成分t为0（零）的同时、用纯虚成分a、b、c表现三维矢量（a，b，c）。此外，还可以通过t、a、b、c的各成分表现以任意的矢量为轴的旋转动作。
进而，四元数Q可以将连续的多次的旋转动作综合而表现为一次的旋转动作。例如，可以将任意的点S（sx，sy，sz）一边以任意的单位矢量C（l，m，n）为轴一边旋转角度θ时的点D（ex，ey，ez）如以下这样表现。
［数式6］
D＝(0；ex，ey，ez)＝QSQ*
其中，
S = ( 0 ; sx , sy , sz ) , Q = ( cos θ 2 ; l sin θ 2 , m sin θ 2 , n sin θ 2 )
这里，在本实施例中，如果设表示使Z轴与-W轴一致的旋转的四元数为Qz，则使XYZ坐标系的X轴上的点X移动到点X’。因而，将点X’如以下这样表示。
［数式7］
X′＝QzXQz *
此外，在本实施例中，如果设使将处于X轴上的点X’与原点连结的线与U轴一致的旋转的四元数为Qx，则表示“使Z轴与-W轴一致、再使X轴与U轴一致的旋转”的四元数R如以下这样表示。
［数式8］
R＝QxQz
通过以上，将空间模型（XYZ坐标系）上的任意的坐标P用输入图像平面（UVW坐标系）上的坐标表现时的坐标P’如以下这样表示。
［数式9］
P′＝RPR*
由于四元数R在照相机2的各自中是不变的，所以坐标对应建立部10以后仅通过执行该运算就能够将空间模型（XYZ坐标系）上的坐标变换为输入图像平面（UVW坐标系）上的坐标。
在将空间模型（XYZ坐标系）上的坐标变换为输入图像平面（UVW坐标系）上的坐标后，坐标对应建立部10计算将照相机2的光学中心C（UVW坐标系上的坐标）与将空间模型上的任意的坐标P用UVW坐标系表示的坐标P’连结的线段CP’、和照相机2的光轴G形成的入射角α。
此外，坐标对应建立部10计算与照相机2的输入图像平面R4（例如CCD面）平行且包括坐标P’的平面H中的、将平面H与光轴G的交点E和坐标P’连结的线段EP’、和平面H中的U’轴形成的偏角φ、以及线段EP’的长度。
照相机的光学系统通常为像高度h与入射角α及焦点距离f的函数。因而，坐标对应建立部10选择通常射影（h=ftanα）、正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等适当的射影方式而计算像高度h。
然后，坐标对应建立部10将计算出的像高度h通过偏角φ分解为UV坐标系上的U成分及V成分，并用相当于输入图像平面R4的每一像素的像素尺寸的数值除。由此，坐标对应建立部10能够将空间模型MD上的坐标P（P’）与输入图像平面R4上的坐标建立对应。
另外，如果设输入图像平面R4的U轴方向上的每一像素的像素尺寸为aU、输入图像平面R4的V轴方向上的每一像素的像素尺寸为aV，则对应于空间模型MD上的坐标P（P’）的输入图像平面R4上的坐标（u，v）如以下这样表示。
［数式10］
Figure BDA00002117718600111
［数式11］
Figure BDA00002117718600121
这样，坐标对应建立部10将空间模型MD上的坐标、与按照每个照相机存在的一或多个输入图像平面R4上的坐标建立对应，并且将空间模型MD上的坐标、照相机识别码及输入图像平面R4上的坐标建立关联，将对应关联保存到输入图像－空间模型对应映射表40中。
坐标对应建立部10由于使用四元数运算坐标的变换，所以与使用欧拉角运算坐标的变换的情况不同，提供不会发生万向节死锁的优点。但是，坐标对应建立部10并不限定于使用四元数运算坐标的变换，也可以使用欧拉角运算坐标的变换。
在能够进行向多个输入图像平面R4上的坐标建立对应的情况下，坐标对应建立部10也可以将空间模型MD上的坐标P（P’）与关于其入射角α为最小的照相机的输入图像平面R4上的坐标建立对应，或者也可以与操作者选择的输入图像平面R4上的坐标建立对应。
接着，对将空间模型MD上的坐标中的、曲面区域R2上的坐标（具有Z轴方向的成分的坐标）再投影到处于XY平面上的处理对象图像平面R3上的处理进行说明。
图6A、图6B是用来说明由坐标对应建立部10进行的坐标间的对应建立的图。图6A是作为一例而表示采用通常射影（h=ftanα）的照相机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。坐标对应建立部10使将照相机2的输入图像平面R4上的坐标与对应于该坐标的空间模型MD上的坐标连结的线段分别通过照相机2的光学中心C，将两坐标建立对应。
在图6A所示的例子中，坐标对应建立部10将照相机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，将照相机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1－L1及线段K2－L2都通过照相机2的光学中心C。
另外，在照相机2采用通常射影以外的射影方式（例如正射影、立体射影、等立体角射影、等距离射影等）的情况下，坐标对应建立部10根据各个射影方式，将照相机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。
具体而言，坐标对应建立部10基于规定的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在此情况下，线段K1－L1及线段K2－L2不会通过照相机2的光学中心C。
图6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。坐标对应建立部10将是位于XZ平面上的平行线群PL、在与处理对象图像平面R3之间形成角度β的平行线群PL导入，使空间模型MD的曲面区域R2上的坐标和对应于该坐标的处理对象图像平面R3上的坐标都落到平行线群PL中的一个上，将两坐标建立对应。
在图6B所示的例子中，坐标对应建立部10使空间模型MD的曲面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2落到共通的平行线上，将两坐标建立对应。
坐标对应建立部10能够将空间模型MD的平面区域R1上的坐标与曲面区域R2上的坐标同样、使用平行线群PL与处理对象图像平面R3上的坐标建立对应。但是，在图6B所示的例子中，由于平面区域R1和处理对象图像平面R3为共通的平面，所以空间模型MD的平面区域R1上的坐标L1和处理对象图像平面R3上的坐标M1具有相同的坐标值。
这样，坐标对应建立部10将空间模型MD上的空间坐标与处理对象图像平面R3上的投影坐标建立对应，并且将空间模型MD上的坐标及处理对象图像R3上的坐标建立关联，保存到空间模型－处理对象图像对应映射表41中。
图6C是表示处理对象图像平面R3上的坐标与作为一例而采用通常射影（h=ftanα）的假想照相机2V的输出图像平面R5上的坐标之间的对应关系的图。输出图像生成部11将两坐标建立对应，以使将假想照相机2V的输出图像平面R5上的坐标与对应于该坐标的处理对象图像平面R3上的坐标连结的线段分别通过假想照相机2V的光学中心CV。
在图6C所示的例子中，输出图像生成部11将假想照相机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3（空间模型MD的平面区域R1）上的坐标M1建立对应，并且将假想照相机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1－N1及线段M2－N2都通过假想照相机2V的光学中心CV。
在假想照相机2V采用通常射影以外的射影方式（例如，正射影、立体射影、等立体角射影、等距离射影等）的情况下，输出图像生成部11根据各个射影方式，将假想照相机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
具体而言，输出图像生成部11基于规定的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等），将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在此情况下，线段M1－N1及线段M2－N2不会通过假想照相机2V的光学中心CV。
这样，输出图像生成部11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，并且将输出图像平面R5上的坐标及处理对象图像R3上的坐标建立关联，保存到处理对象图像－输出图像对应映射表42中。并且，输出图像生成部11一边参照保存在坐标对应建立部10中的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联，生成输出图像。
另外，图6D是将图6A～图6C组合的图，表示照相机2、假想照相机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。
接着，参照图7A、图7B，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立部10导入的平行线群PL的作用进行说明。
图7A是位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图。图7B是位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β1（β1>β）的情况的图。图7A及图7B中的空间模型MD的曲面区域R2上的坐标La～Ld分别对应于处理对象图像平面R3上的坐标Ma～Md。图7A中的坐标La～Ld的间隔分别等于图7B中的坐标La～Ld的间隔。另外，为了使说明变得简单而假设平行线群PL存在于XZ平面上，但实际上从Z轴上的全部的点朝向处理对象图像平面R3以放射状延伸而存在。另外，将该情况下的Z轴称作“再投影轴”。
如图7A及图7B所示，处理对象图像平面R3上的坐标Ma～Md的间隔随着平行线群PL与处理对象图像平面R3之间的角度增大而线性地减小。即，坐标Ma～Md的间隔和空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离无关而均匀地减小。另一方面，在图7A、图7B所示的例子中，由于进行向处理对象图像平面R3上的坐标群的变换，所以空间模型MD的平面区域R1上的坐标群的间隔不变化。
这些坐标群的间隔的变化意味着输出图像平面R5（参照图6C）上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分被线性地放大或缩小。
接着，参照图8A、图8B，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立部10导入的平行线群PL的代替例进行说明。
图8A是位于XZ平面上的辅助线群AL的全部从Z轴上的起点T1朝向处理对象图像平面R3延伸的情况的图。图8B是辅助线群AL的全部从Z轴上的起点T2（T2>T1）朝向处理对象图像平面R3延伸的情况的图。图8A及图8B中的空间模型MD的曲面区域R2上的坐标La～Ld分别对应于处理对象图像平面R3上的坐标Ma～Md。在图8A所示的例子中，坐标Mc、Md由于为处理对象图像平面R3的区域外，所以没有图示。假设图8A中的坐标La～Ld的间隔分别等于图8B中的坐标La～Ld的间隔。另外，为了便于说明而假设辅助线群AL存在于XZ平面上，但实际上从Z轴上的任意的一点朝向处理对象图像平面R3以放射状存在。另外，与图7A、图7B所示的例子同样，将该情况下的Z轴称作“再投影轴”。
如图8A及图8B所示，处理对象图像平面R3上的坐标Ma～Md的间隔随着辅助线群AL的起点与原点O之间的距离（高度）增大而非线性地减小。即，空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离越大，各自的间隔的减小幅度越大。另一方面，在图8A、图8B所示的例子中，由于不进行向处理对象图像平面R3上的坐标群的变换，所以空间模型MD的平面区域R1上的坐标群的间隔不变。
这些坐标群的间隔的变化与平行线群PL时同样，意味着输出图像平面R5（参照图6C）上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分被非线性地放大或缩小。
这样，处理对象图像生成装置100能够不给与投影在空间模型MD的平面区域R1中的图像对应的输出图像的图像部分（例如，路面图像）带来影响、而使与投影在空间模型MD的曲面区域R2中的图像对应的输出图像的图像部分（例如，水平图像）线性地或非线性地放大或缩小。由此，能够不给挖掘机60的附近的路面图像（从正上方观察挖掘机60时的假想图像）带来影响、而使位于挖掘机60的周围的物体（从挖掘机60在水平方向上观察周围时的图像中的物体）迅速且灵活地放大或缩小，能够提高挖掘机60的死角区域的辨识性。
接着，参照图9A、图9B及图10，对由投影在空间模型MD中的图像直接生成输出图像的情况、与将投影在空间模型MD中的图像向处理对象图像再投影、由该再投影的处理对象图像生成输出图像的情况的差异进行说明。
图9A是位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图，图9B是位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β2（β2<β）的情况的图。图9A中的空间模型MD的平面区域R1及曲面区域R2、处理对象图像平面R3、以及采用通常射影（h=ftanα）的假想照相机2V的输出图像平面R5及光学中心CV的位置是分别与图9B共通的。
在图9A及图9B中，包含平面区域R1的处理对象图像平面R3上的坐标M1对应于输出图像平面R5上的坐标N1，曲面区域R2上的坐标L2对应于处理对象图像平面R3上的坐标M2及输出图像平面R5上的坐标N2。距离D1（D3）表示输出图像平面R5的中心点（与假想照相机2V的光轴GV的交点）与坐标N1之间的X轴上的距离。距离D2（D4）表示输出图像平面R5的中心点与坐标N2之间的X轴上的距离。
如图9A及图9B所示，平行线群PL与处理对象图像平面R3之间的角度为β时的距离D2（参照图9A）随着该角度减小而增大，当该角度为β2时成为距离D4（参照图9B）。该角度为β时的距离D1（参照图9A）不论该角度的变化如何都是一定的，等于该角度为β2时的距离D3（参照图9B）。
这样距离D2变化为距离D4以及距离D1（D3）不变，与使用图7A、7B及图8A、图8B说明的作用同样，意味着在输出图像平面R5上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分（例如，水平图像）被放大或缩小。
另外，在基于投影在空间模型MD中的图像直接生成输出图像的情况下，不能将空间模型MD的平面区域R1与曲面区域R2分别处理（因为不能分别作为放大缩小处理的对象），不能仅对与投影在曲面区域R2中的图像对应的输出图像平面R5上的图像部分进行放大或缩小。
图10是位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况的图。图10表示使采用通常射影（h=ftanα）的假想照相机2V的光学中心CV移动到空间模型MD的外侧时的状态（使光学中心CV的X坐标的值比平面区域R1的半径大的状态）。
如图10所示，输出图像生成部11将处理对象图像平面R3（平面区域R1）上的坐标M1与输出图像平面R5上的坐标N1建立对应，以使线段M1－N1通过光学中心CV，并且将对应于曲面区域R2上的坐标L2的处理对象图像平面R3上的坐标M2与输出图像平面R5上的坐标N2建立对应，以使线段M2－N2通过光学中心CV。由此，不会如由投影在空间模型MD的曲面区域R2中的图像直接生成输出图像的情况那样、引起看到圆筒的侧壁外面而不能生成适当的输出图像的问题（不能将空间模型MD上的坐标与输出图像平面R5上的坐标建立对应的问题），能够生成适当的输出图像。
另外，参照图9A、图9B及图10，关于采用通常射影的假想照相机2V进行了说明，但对于采用通常射影以外的射影方式（例如，正射影、立体射影、等立体角射影、等距离射影等）的假想照相机2V也是同样的。在此情况下，输出图像生成部11代替将处理对象图像平面R3（平面区域R1）上的坐标M1与输出图像平面R5上的坐标N1（按照函数h=ftanα）建立对应、以使线段M1－N1通过光学中心CV，而按照对应于各个射影方式的函数（例如，正射影（h=fsinα）、立体射影（h=2ftan（α/2））、等立体角射影（h=2fsin（α/2））、等距离射影（h=fα）等）将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在此情况下，线段M1－N1不通过假想照相机2V的光学中心CV。
接着，参照图11，对处理对象图像生成装置100生成处理对象图像的处理（以下，设为“处理对象图像生成处理”）、以及使用生成的处理对象图像生成输出图像的处理（以下，设为“输出图像生成处理”）进行说明。图11是处理对象图像生成处理（步骤S1～步骤S3）及输出图像生成处理（步骤S4～步骤S6）的流程图。假设照相机2（输入图像平面R4）、空间模型（平面区域R1及曲面区域R2）、以及处理对象图像平面R3的配置为预先决定的。
首先，控制部1通过坐标对应建立部10，将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应（步骤S1）。
具体而言，坐标对应建立部10取得形成在平行线群PL与处理对象图像平面R3之间的角度，计算从处理对象图像平面R3上的一坐标延伸的平行线群PL的一个与空间模型MD的曲面区域R2交叉的点。并且，坐标对应建立部10将与计算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标导出，将其对应关系保存到空间模型－处理对象图像对应映射表41中。形成在平行线群PL与处理对象图像平面R3之间的角度只要是预先保存在存储部4等中的值就可以，也可以是操作者经由输入部3动态地输入的值。
在处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致的情况下，坐标对应建立部10将平面区域R1上的该一坐标作为与处理对象图像平面R3上的该一坐标对应的一坐标导出，将该对应关系保存到空间模型－处理对象图像对应映射表41中。
然后，控制部1通过坐标对应建立部10将由上述处理导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应（步骤S2）。
具体而言，坐标对应建立部10取得采用通常射影（h=ftanα）的照相机2的光学中心C的坐标，计算通过光学中心C的线段与输入图像平面R4交叉的点，所述线段是从空间模型MD上的一坐标延伸的线段。并且，坐标对应建立部10将与计算出的点对应的输入图像平面R4上的坐标作为与空间模型MD上的该一坐标对应的输入图像平面R4上的一坐标导出，将该对应关系保存到输入图像－空间模型对应映射表40中。
然后，控制部1判断是否已将处理对象图像平面R3上的全部的坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立了对应（步骤S3）。在判断为还没有将全部的坐标建立对应的情况下（步骤S3的NO），重复步骤S1及步骤S2的处理。
另一方面，控制部1在判断为已将全部的坐标建立了对应的情况下（步骤S3的YES），在结束处理对象图像生成处理后开始输出图像生成处理。由此，输出图像生成部11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应（步骤S4）。
具体而言，输出图像生成部11通过对处理对象图像实施标度变换、仿射变换、或畸变变换而生成输出图像。并且，输出图像生成部11将由实施的标度变换、仿射变换、或畸变变换的内容决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系保存到处理对象图像－输出图像对应映射表42中。
或者，在使用假想照相机2V生成输出图像的情况下，输出图像生成部11也可以根据采用的射影方式、由对象处理图像平面R3上的坐标计算输出图像平面R5上的坐标，并将该对应关系保存到处理对象图像－输出图像对应映射表42中。
或者，在使用采用通常射影（h=ftanα）的假想照相机2V生成输出图像的情况下，输出图像生成部11也可以在取得该假想照相机2V的光学中心CV的坐标后、计算是从输出图像平面R5上的一坐标延伸的线段、通过光学中心CV的线段与处理对象图像平面R3交叉的点。并且，输出图像生成部11也可以将与计算出的点对应的处理对象图像平面R3上的坐标作为与输出图像平面R5上的该一坐标对应的处理对象图像平面R3上的一坐标导出，并将该对应关系保存到处理对象图像－输出图像对应映射表42中。
然后，控制部1通过输出图像生成部11，一边参照输入图像－空间模型对应映射表40、空间模型－处理对象图像对应映射表41及处理对象图像－输出图像对应映射表42，一边探求输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系以及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系，取得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标具有的值（例如，亮度值、色调值、彩度值等）。并且，控制部1采用该取得的值作为对应的输出图像平面R5上的各坐标的值（步骤S5）。另外，在多个输入图像平面R4上的多个坐标对应于输出图像平面R5上的一坐标的情况下，输出图像生成部11也可以导出基于这些多个输入图像平面R4上的多个坐标的各自的值的统计值（例如，平均值、最大值、最小值、中间值等），作为输出图像平面R5上的该一坐标的值而采用该统计值。
然后，控制部1判断是否将输出图像平面R5上的全部的坐标的值与输入图像平面R4上的坐标的值建立了对应（步骤S6）。在判断为还没有将全部的坐标的值建立对应的情况下（步骤S6的NO），重复步骤S4及步骤S5的处理。
另一方面，控制部1在判断为将全部的坐标的值建立了对应的情况下（步骤S6的YES），生成输出图像，结束该一系列的处理。
通过以上的结构，处理对象图像生成装置100能够生成能够使操作者直观地掌握建筑机械与周边障碍物的位置关系的处理对象图像及输出图像。
处理对象图像生成装置100通过如从处理对象图像平面R3经过空间模型MD向输入图像平面R4回溯那样执行坐标的对应建立，能够使处理对象图像平面R3上的各坐标可靠地对应于输入图像平面R4上的一或多个坐标。因而，与以从输入图像平面R4经过空间模型MD达到处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，能够迅速地生成品质更好的处理对象图像。另外，在以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况下，有虽然能够使输入图像平面R4上的各坐标可靠地与处理对象图像平面R3上的一个或多个坐标对应、但是处理对象图像平面R3上的坐标的一部分与输入图像平面R4上的哪个坐标都没有建立对应的情况。在这样的情况下，需要对这些处理对象图像平面R3上的坐标的一部分实施内插处理等。
此外，在仅将与空间模型MD的曲面区域R2对应的图像放大或缩小的情况下，处理对象图像生成装置100仅通过变更形成在平行线群PL与处理对象图像平面R3之间的角度而将空间模型－处理对象图像对应映射表41中的与曲面区域R2关联的部分改写，就能够不改写输入图像－空间模型对应映射表40的内容而实现希望的放大或缩小。
此外，在变更输出图像的观看方式的情况下，处理对象图像生成装置100仅通过将关于标度变换、仿射变换或畸变变换的各种参数的值变更来改写处理对象图像－输出图像对应映射表42，就能够不将输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容改写而生成希望的输出图像（标度变换图像、仿射变换图像或畸变变换图像）。
同样，在将输出图像的视点变更的情况下，处理对象图像生成装置100仅通过变更假想照相机2V的各种参数的值而改写处理对象图像－输出图像对应映射表42，就能够不将输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容改写而生成从希望的视点看到的输出图像（视点变换图像）。
接着，参照图12A～图14C，对照相机2（右侧方照相机2R、后方照相机2B）与空间模型MD之间的位置关系进行说明。
图12A与图3B同样，是表示从上方观察挖掘机60时的照相机2与空间模型MD之间的位置关系的图。图12B与图4同样，是从斜上方观察空间模型MD时的照相机2与空间模型MD之间的位置关系的图。图12C是表示处理对象图像生成装置100生成的处理对象图像的图。
如在图12B中最优表示的那样，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行延伸的棒状的物体OBJ。
在图12B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，光轴G1与光轴G2在圆筒中心轴（再投影轴）上的点J1上交叉。另外，光轴G1与光轴G2只要是投影在与XY平面平行的一平面上时的成分分别在圆筒中心轴（再投影轴）上的点上交叉，也可以处于扭转的位置的关系。
从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线处于相互垂直的关系。另外，在本实施例中，这两个垂线存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上并在点J2上正交，但两个垂线也可以分别位于不同的平面上、处于扭转的位置关系。
通过图12A及图12B所示的照相机2与空间模型MD之间的位置关系，处理对象图像生成装置100能够如图12C所示那样生成处理对象图像。即，在图12C中，在Y轴上与Z轴方向平行延伸的棒状的物体OBJ在与投影在平面区域R1上的图像对应的路面图像部分中沿与Y轴方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，在图12C中，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分中同样沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ不在路面图像部分与水平图像部分之间的边界处弯折，而以直线状延伸。
图13A～图13C分别是与图12A～图12C同样的图。在图13A～图13C所示的例子中，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行延伸的棒状的物体OBJ。进而，在右侧方照相机2R的光轴G2的方向上，也存在从XY平面与Z轴方向平行延伸的棒状的物体OBJ1。
在图13B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与图12B所示的位置关系同样，与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，光轴G1与光轴G2在圆筒中心轴（再投影轴）上的点J1交叉。另外，只要投影在与XY平面平行的一平面上时的成分分别在圆筒中心轴（再投影轴）上的点处交叉，光轴G1和光轴G2也可以处于扭转的位置的关系。
另一方面，从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线不为相互垂直的关系。从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向该垂线引下的垂线在不在圆筒中心轴（再投影轴）上的点J2处正交。在本实施例中，后方照相机2B及右侧方照相机2R的光学中心存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上。但是，后方照相机2B及右侧方照相机2R的光学中心也可以分别位于不同的平面上、相互的垂线处于扭转的位置的关系。
通过图13A及图13B所示的照相机2与空间模型MD之间的位置关系，处理对象图像生成装置100如图13C所示那样生成处理对象图像。在图13C中，在Y轴上与Z轴方向平行延伸的棒状的物体OBJ，在与投影在平面区域R1上的图像对应的路面图像部分中沿从Y轴方向稍稍离开的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分中沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ在路面图像部分与水平图像部分之间的边界处稍稍弯折。
另一方面，如图13C所示，在与处于右侧方照相机2R的光轴G2的方向的Z轴方向平行延伸的棒状的物体OBJ1在与投影在平面区域R1中的图像对应的路面图像部分沿与光轴G2方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ1在与投影在曲面区域R2中的图像对应的水平图像部分同样沿与光轴G2方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ1上的点的直线的方向）延伸。换言之，物体OBJ1不在路面图像部分与水平图像部分之间的边界处弯折而以直线状延伸。
图14A～图14C分别是与图12A～12C同样的图。在图14A～14C所示的例子中，圆筒状的空间模型MD的圆筒中心轴与再投影轴及挖掘机60的回转轴PV（Z轴）一致，在Y轴上存在与Z轴方向平行延伸的棒状的物体OBJ。进而，在右侧方照相机2R的光轴G2的方向上，也存在从XY平面与Z轴方向平行地延伸的棒状的物体OBJ2。
在图14B中，后方照相机2B的光轴G1及右侧方照相机2R的光轴G2分别与图12B所示的位置关系同样，与空间模型MD的平面区域R1及处理对象图像平面R3所处的平面（XY平面）交叉。此外，从后方照相机2B的光学中心向圆筒中心轴（再投影轴）引下的垂线与从右侧方照相机2R的光学中心向圆筒中心轴（再投影轴）引下的垂线是相互垂直的关系。在本实施例中，后方照相机2B及右侧方照相机2R的光学中心存在于与平面区域R1及处理对象图像平面R3所处的平面平行的一平面上。但是，也可以是，后方照相机2B及右侧方照相机2R的光学中心分别位于不同的平面上，相互的垂线处于扭转的位置关系。
另一方面，光轴G1和光轴G2不在圆筒中心轴（再投影轴）上交叉，在不在圆筒中心轴（再投影轴）上的点J1处交叉。另外，只要投影在与XY平面平行的一平面上时的成分分别在不在圆筒中心轴（再投影轴）上的点处交叉，光轴G1与光轴G2也可以处于扭转的位置关系。
通过图14A及图14B所示的照相机2与空间模型MD之间的位置关系，处理对象图像生成装置100如图14（C）所示那样生成处理对象图像。在图14C中，与处于右侧方照相机2R的光轴G2的方向的Z轴方向平行地延伸的棒状的物体OBJ2，在与投影在平面区域R1上的图像对应的路面图像部分沿与光轴G2方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ2在与投影在曲面区域R2上的图像对应的水平图像部分沿与Y轴方向大致平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ2上的点的直线的方向）延伸。换言之，物体OBJ2在路面图像部分与水平图像部分之间的边界处稍稍弯折。
另一方面，如图14C所示，在Y轴上与Z轴方向平行延伸的棒状的物体OBJ，在与投影在平面区域R1上的图像对应的路面图像部分沿与Y轴方向平行的方向（通过右侧方照相机2R的光学中心和物体OBJ上的点的直线的方向）延伸。此外，棒状的物体OBJ在与投影在曲面区域R2中的图像对应的水平图像部分同样沿与Y轴方向平行的方向（通过再投影轴上的点（平行线群PL或辅助线群AL的起点）和物体OBJ上的点的直线的方向）延伸。换言之，物体OBJ不在路面图像部分与水平图像部分之间的边界处弯折，而以直线状延伸。
如以上这样，处理对象图像生成装置100通过使空间模型MD的圆筒中心轴（再投影轴）与照相机的光轴交叉而配置空间模型MD，能够生成处理对象图像，以使处于照相机的光轴方向的物体不在路面图像部分与水平图像部分之间的边界处弯折。另外，该优点在照相机仅一台的情况下、照相机为三台以上的情况下也能够得到。
此外，处理对象图像生成装置100使从后方照相机2B及右侧方照相机2R的光学中心分别向空间模型MD的圆筒中心轴（再投影轴）引下的垂线分别相互垂直而配置空间模型MD，由此能够生成处理对象图像，以使得处于挖掘机60的右正侧及正后方的物体不在路面图像部分与水平图像部分之间的边界处弯折。另外，该优点在照相机为三台以上的情况下也能够得到。
图15是使使用搭载在挖掘机60上的两台照相机2（右侧方照相机2R及后方照相机2B）的输入图像生成的输出图像显示在显示部5上时的显示例。处理对象图像生成装置100将输入图像的一部分投影到空间模型MD的平面区域R1中，并且将输入图像的另一部分投影到空间模型MD的曲面区域R2中之后再投影到处理对象图像平面R3而生成处理对象图像。处理对象图像生成装置100基于所生成的处理对象图像，将与投影在平面区域R1的图像对应的、从上空俯视挖掘机60的附近的图像、和与投影在曲面区域R2中的图像对应的、即与再投影在处理对象图像平面R3中的图像对应的、从挖掘机60在水平方向上观察周边的图像组合而进行显示。
将输出图像修剪为圆形，以便能够将挖掘机60进行回转动作时的图像没有别扭感地显示。即，生成输出图像，以使圆的中心CTR处于空间模型MD的圆筒中心轴上并且为挖掘机60的回转轴PV上，进行显示，以对应于挖掘机60的回转动作而以该中心CTR为轴旋转。在此情况下，空间模型MD的圆筒中心轴也可以与再投影轴一致，也可以不一致。
空间模型MD的半径例如是5米。在平行线群PL与处理对象图像平面R3之间形成的角度、或辅助线群AL的起点高度从挖掘机60的回转中心离开了挖掘配件E的最大到达距离（例如12米）的位置上存在物体（例如作业员）的情况下，可以进行设定，以将该物体在显示部5上充分大（例如7毫米以上）地显示。
进而，输出图像也可以将挖掘机60的CG图像配置为，使挖掘机60的前方与显示部5的画面上方一致、并且其回转中心与中心CTR一致。这是为了使挖掘机60与输出图像中出现的物体之间的位置关系更容易理解。另外，输出图像也可以将包含方位等各种信息的画框图像配置在其周围。
在该状态下，处理图像生成装置100如图9A、图9B所示，能够不给与投影在平面区域R1中的图像对应的输出图像的图像部分带来影响、而仅将与投影在曲面区域R2、进而再投影在处理对象图像平面R3中的图像对应的输出图像的图像部分放大或缩小。此外，如图10所示，也可以为了将与投影到曲面区域R2、进而再投影到处理对象图像平面R3的图像对应的输出图像的图像部分从正上方俯视、而使该图像部分移动到显示部5的画面区域中的任意的位置（例如中央）。
在上述实施例中，处理对象图像生成装置100作为空间模型而采用圆筒状的空间模型MD，但处理对象图像生成装置100也可以采用具有多边柱等其他柱状的形状的空间模型，也可以采用由底面及侧面的二面构成的空间模型。或者，处理对象图像生成装置100也可以采用仅具有侧面的空间模型。
上述处理对象图像生成装置100与照相机一起搭载在具备铲斗、斗杆、动臂、回转机构等可动部件并自行的建筑机械中，组装在一边将周围图像向其驾驶者提示一边支持该建筑机械的移动及这些可动部件的操作的操作支持系统中。但是，处理对象图像生成装置100也可以与照相机一起搭载在如工业用机械或固定式起重机等那样虽具有可动部件但不自行的其他机械（被操作体）中，并组装在支持该机械操作的操作支持系统中。
本发明并不限定于具体公开的上述实施方式，不脱离本发明范围的各种变形例及改良例也包括在内。
本申请基于2010年4月12日提出的日本国专利申请第2010－091656号主张优先权，在本申请中引用其全部内容。
工业实用性
本发明能够在基于输入图像生成作为用来得到输出图像的图像变换处理的对象的处理对象图像的处理对象图像生成装置、处理对象图像生成方法以及使用该装置或方法的操作支持系统中使用。
标号说明
1控制部
2照相机
2R右侧方照相机
2B后方照相机
3输入部
4存储部
5显示部
10坐标对应建立部
11输出图像生成部
40输入图像－空间模型对应映射表
41空间模型－处理对象图像对应映射表
42处理对象图像－输出图像对应映射表
60挖掘机
61下部行驶体
62回转机构
63上部回转体
64驾驶舱

Claims (10)

1.一种处理对象图像生成装置，基于摄像部摄像的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，
具备坐标对应建立部，该坐标对应建立部将上述输入图像所处的输入图像平面中的输入坐标、上述输入图像投影的空间模型中的空间坐标和将投影在上述空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中所述处理对象图像平面是上述处理对象图像所处的处理对象图像平面。
2.如权利要求1所述的处理对象图像生成装置，其特征在于，
上述坐标对应建立部将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应，以使将上述处理对象图像平面上的多个坐标位置与分别对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别在与上述处理对象图像平面垂直的平面中平行。
3.如权利要求1所述的处理对象图像生成装置，其特征在于，
上述坐标对应建立部将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应，以使将上述处理对象图像平面上的多个坐标位置与分别对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别通过单一的规定点。
4.如权利要求1所述的处理对象图像生成装置，其特征在于，
还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息保存的存储部。
5.一种处理对象图像生成方法，基于摄像部摄像的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，
具备坐标对应建立步骤，所述坐标对应建立步骤将上述输入图像所处的输入图像平面中的输入坐标、上述输入图像投影的空间模型中的空间坐标和将投影在上述空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中，所述处理对象图像平面是上述处理对象图像所处的处理对象图像平面。
6.如权利要求5所述的处理对象图像生成方法，其特征在于，
上述坐标对应建立步骤具备将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应、以使将上述处理对象图像平面上的多个坐标位置与对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别在与上述处理对象图像平面垂直的平面中平行的步骤。
7.如权利要求5所述的处理对象图像生成方法，其特征在于，
上述坐标对应建立步骤具备将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应、以使将上述处理对象图像平面上的多个坐标位置与对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别通过单一的规定点的步骤。
8.如权利要求5所述的处理对象图像生成方法，其特征在于，
还具有将通过上述坐标对应建立步骤的对应建立而得到的对应关系信息作为映射信息保存到存储部中的步骤。
9.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备：
权利要求1～3中任一项所述的处理对象图像生成装置；
对基于上述处理对象图像生成装置生成的处理对象图像生成的输出图像进行显示的显示部。
10.如权利要求9所述的操作支持系统，其特征在于，
上述显示部被设置在用来移动或操作上述被操作体的操作室中。
CN201180013083.2A 2010-04-12 2011-04-08 处理对象图像生成装置、处理对象图像生成方法及操作支持系统 Active CN102792685B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-091656 2010-04-12
JP2010091656A JP5135380B2 (ja) 2010-04-12 2010-04-12 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
PCT/JP2011/058897 WO2011129275A1 (ja) 2010-04-12 2011-04-08 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム

Publications (2)

Publication Number Publication Date
CN102792685A true CN102792685A (zh) 2012-11-21
CN102792685B CN102792685B (zh) 2015-06-17

Family

ID=44798651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180013083.2A Active CN102792685B (zh) 2010-04-12 2011-04-08 处理对象图像生成装置、处理对象图像生成方法及操作支持系统

Country Status (6)

Country Link
US (1) US8848981B2 (zh)
EP (1) EP2560384B1 (zh)
JP (1) JP5135380B2 (zh)
KR (1) KR101385914B1 (zh)
CN (1) CN102792685B (zh)
WO (1) WO2011129275A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900417A (zh) * 2014-02-12 2016-08-24 住友重机械工业株式会社 图像生成装置及操作支持系统
CN111540009A (zh) * 2020-04-23 2020-08-14 北京字节跳动网络技术有限公司 用于生成检测信息的方法、装置、电子设备和介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649426B (zh) * 2012-01-27 2016-05-11 斗山英维高株式会社 建筑机械的操作安全性提高装置
JP5891880B2 (ja) * 2012-03-19 2016-03-23 株式会社日本自動車部品総合研究所 車載画像表示装置
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
EP2918725B1 (en) * 2012-11-08 2019-06-26 Sumitomo Heavy Industries, Ltd. Image generation device for paving machine and operation assistance system for paving device
US9142063B2 (en) * 2013-02-15 2015-09-22 Caterpillar Inc. Positioning system utilizing enhanced perception-based localization
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
JP6324665B2 (ja) * 2013-05-16 2018-05-16 住友建機株式会社 作業機械用周辺監視装置
JP6431495B2 (ja) * 2016-03-25 2018-11-28 本田技研工業株式会社 教師データ生成方法
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
US11544895B2 (en) * 2018-09-26 2023-01-03 Coherent Logix, Inc. Surround view generation
JP7283332B2 (ja) * 2019-09-26 2023-05-30 コベルコ建機株式会社 容器計測システム
CN113645458A (zh) * 2020-04-27 2021-11-12 成都术通科技有限公司 图像显示方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置
US20070009137A1 (en) * 2004-03-16 2007-01-11 Olympus Corporation Image generation apparatus, image generation method and image generation program
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPH03286306A (ja) 1990-04-03 1991-12-17 Mitsubishi Electric Corp 数値制御装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
ES2546929T3 (es) * 1998-12-07 2015-09-30 Universal City Studios Llc Método de corrección de imágenes para compensar la distorsión de la imagen del punto de vista
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
TWI231886B (en) * 2003-01-08 2005-05-01 Silicon Optix Inc Image projection system and method
JP2005242606A (ja) * 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP4902368B2 (ja) * 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5172583B2 (ja) 2008-10-06 2013-03-27 ペンタックスリコーイメージング株式会社 焦点検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置
US20070009137A1 (en) * 2004-03-16 2007-01-11 Olympus Corporation Image generation apparatus, image generation method and image generation program
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900417A (zh) * 2014-02-12 2016-08-24 住友重机械工业株式会社 图像生成装置及操作支持系统
CN105900417B (zh) * 2014-02-12 2019-05-07 住友重机械工业株式会社 图像生成装置及操作支持系统
CN111540009A (zh) * 2020-04-23 2020-08-14 北京字节跳动网络技术有限公司 用于生成检测信息的方法、装置、电子设备和介质

Also Published As

Publication number Publication date
WO2011129275A1 (ja) 2011-10-20
EP2560384A4 (en) 2016-08-31
KR101385914B1 (ko) 2014-04-15
US8848981B2 (en) 2014-09-30
EP2560384B1 (en) 2024-05-08
JP2011223409A (ja) 2011-11-04
US20130034269A1 (en) 2013-02-07
CN102792685B (zh) 2015-06-17
EP2560384A1 (en) 2013-02-20
KR20130016335A (ko) 2013-02-14
JP5135380B2 (ja) 2013-02-06

Similar Documents

Publication Publication Date Title
CN102792685B (zh) 处理对象图像生成装置、处理对象图像生成方法及操作支持系统
CN102792686B (zh) 图像生成装置及操作支持系统
CN102792334B (zh) 图像生成装置及操作支持系统
CN102792684B (zh) 图像生成装置及操作支持系统
JP5497617B2 (ja) 画像生成装置及び操作支援システム
JP5638494B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6873889B2 (ja) ショベル及びショベルの周囲画像生成装置
JP5808679B2 (ja) 画像生成装置及び操作支援システム
JP6246185B2 (ja) ショベル
JP2014123955A (ja) ショベル

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant