CN104520508B - 铺装机械用图像生成装置以及铺装机械用操作支援系统 - Google Patents

铺装机械用图像生成装置以及铺装机械用操作支援系统 Download PDF

Info

Publication number
CN104520508B
CN104520508B CN201380040773.6A CN201380040773A CN104520508B CN 104520508 B CN104520508 B CN 104520508B CN 201380040773 A CN201380040773 A CN 201380040773A CN 104520508 B CN104520508 B CN 104520508B
Authority
CN
China
Prior art keywords
mentioned
coordinate
image
plane
output image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380040773.6A
Other languages
English (en)
Other versions
CN104520508A (zh
Inventor
市川智子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012246577A external-priority patent/JP5917371B2/ja
Priority claimed from JP2013094451A external-priority patent/JP6073182B2/ja
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN104520508A publication Critical patent/CN104520508A/zh
Application granted granted Critical
Publication of CN104520508B publication Critical patent/CN104520508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/004—Devices for guiding or controlling the machines along a predetermined path
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/48—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for laying-down the materials and consolidating them, or finishing the surface, e.g. slip forms therefor, forming kerbs or gutters in a continuous operation in situ
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C2301/00—Machine characteristics, parts or accessories not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Road Paving Machines (AREA)

Abstract

一种铺装机械用图像生成装置(100)，基于安装于沥青滚平机(60)的三个摄像机(2F，2L，2R)分别摄像的输入图像来生成输出图像，具备：坐标对应建立机构(10)，将配置在沥青滚平机(60)周围的空间模型MD的坐标与输入图像所在的输入图像平面的坐标建立对应；以及输出图像生成机构(11)，经由空间模型(MD)的坐标，将输入图像平面上的坐标的值与输出图像所在的输出图像平面上的坐标的值建立对应而生成输出图像。空间模型(MD)包括与路面平行的第一平面区域(R1)和与路面交叉的第二平面区域(R2)，第二平面区域(R2)被设定在沥青滚平机(60)的行进方向前端。

Description

铺装机械用图像生成装置以及铺装机械用操作支援系统
技术领域
本发明涉及铺装机械用图像生成装置以及使用该装置的铺装机械用操作支援系统，该铺装机械用图像生成装置根据安装于铺装机械的多个摄像机所摄像的多个输入图像来生成输出图像。
背景技术
以往，已知一种沥青滚平机的驾驶员支援装置，具备：对料斗内部进行摄像的摄像机；对料斗的左外侧周边部进行摄像的摄像机；以及对料斗的右外侧周边部进行摄像的摄像机(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2009－19353号公报
发明内容
发明要解决的课题
专利文献1的沥青滚平机，在从能够沿车宽方向位移的驾驶席能够目视确认的位置，具备显示由各摄像机所摄像的图像的监视器。然后，驾驶员支援装置根据车宽度方向上的驾驶席的位置，自动地切换监视器所显示的图像。其结果，驾驶员支援装置为，使驾驶员能够容易地目视确认根据驾驶席的位置而变化的死角区域。
然而，专利文献1的驾驶员支援装置为，仅使驾驶员能够目视确认料斗周围的死角区域，不能够使驾驶员目视确认处于沥青滚平机的周围的其他死角区域。因此，专利文献1的驾驶员支援装置，对于支援沥青滚平机的运转来说不充分。
鉴于上述问题，希望提供更容易理解地提示周围的死角区域的铺装机械用图像生成装置以及铺装机械用操作支援系统。
用于解决课题的手段
本发明的实施例的铺装机械用图像生成装置，基于安装于铺装机械的多个摄像机构所摄像的输入图像来生成输出图像，该图像生成装置具备：坐标对应建立机构，将配置在上述铺装机械周围的空间模型的坐标与上述输入图像所在的输入图像平面上的坐标建立对应；以及输出图像生成机构，经由上述空间模型的坐标，将上述输入图像平面上的坐标的值与上述输出图像所在的输出图像平面上的坐标的值建立对应而生成上述输出图像，上述空间模型包括与路面平行的第一平面区域以及与路面交叉的第二平面区域，上述第二平面区域设置在上述铺装机械的行进方向前端。
此外，本发明的实施例的铺装机械用操作支援系统，是对铺装机械的移动或者操作进行支援的操作支援系统，具备：上述铺装机械用图像生成装置；以及显示部，设置在用于使上述铺装机械移动或对其进行操作的操作部的周边，显示该铺装机械用图像生成装置生成的输出图像。
发明的效果
通过上述机构，能够提供更容易理解地提示周围的死角区域的铺装机械用图像生成装置以及铺装机械用操作支援系统。
附图说明
图1是概略地表示本发明的实施例的图像生成装置的构成例的框图。
图2是表示搭载图1的图像生成装置的沥青滚平机的构成例的图。
图3是表示输入图像所投影的空间模型的一个例子的图。
图4是表示图3的空间模型与处理对象图像平面之间的关系的一个例子的图。
图5是用于对输入图像平面上的坐标与空间模型上的坐标的建立对应进行说明的图。
图6是用于对坐标对应建立机构进行的坐标间的建立对应进行说明的图。
图7是用于对平行线组的作用进行说明的图。
图8是用于对辅助线组的作用进行说明的图。
图9是表示处理对象图像生成处理以及输出图像生成处理的流程的流程图。
图10是输出图像的显示例。
图11是输出图像的其他的显示例。
图12是输出图像的另一其他的显示例。
图13是用于对生成格子花纹的方法的一个例子进行说明的图。
图14是表示将图13的格子花纹配置在输出图像平面上的状态的图。
图15是表示格子花纹形成处理的流程的流程图。
图16是输出图像的另一其他的显示例。
图17是用于对两个摄像机各自的摄像范围的重复区域中的物体的防止消失效果进行说明的图。
图18是表示图16所示的输出图像与在图16的输出图像中应用了格子花纹的输出图像之间的不同的对比图。
图19是表示输入图像所投影的空间模型的其他的一个例子的图。
图20是表示图19的空间模型与处理对象图像平面之间的关系的一个例子的图。
图21是输出图像的另一其他的显示例。
图22是输出图像的另一其他的显示例。
具体实施方式
以下，参照附图，对用于实施本发明的最佳的方式进行说明。
图1是概略地表示本发明的实施例的图像生成装置的构成例的框图。
图像生成装置100例如是基于铺装机械所搭载的摄像机2所摄像的输入图像来生成输出图像，并将该输出图像向驾驶员提示的装置。在本实施例中，图像生成装置100搭载于作为铺装机械的沥青滚平机60，主要由控制部1、摄像机2、输入部3、存储部4以及显示部5构成。
图2是表示搭载有图像生成装置100的沥青滚平机60的构成例的图，图2(A)表示左侧视图，图2(B)表示俯视图，图2(C)表示后视图。
沥青滚平机60主要由牵引部61、料斗部62以及找平部63构成。
牵引部61是用于使沥青滚平机60行驶的机构。在本实施例中，牵引部61使用行驶用液压马达使4个车轮旋转而使沥青滚平机60移动。行驶用液压马达(未图示。)从柴油发动机等原动机(未图示。)驱动的液压泵(未图示。)接受工作油的供给而旋转。此外，在牵引部61的上部配置有包括驾驶席64以及操作部65的驾驶室。
此外，在牵引部61的右侧部、左侧部以及前部安装有摄像机2(右侧部摄像机2R、左侧部摄像机2L、前部摄像机2F)。此外，在驾驶室内的驾驶员容易目视确认的位置设置有显示部5。此外，在本实施例中，将从牵引部61观察到的料斗部62的方向作为前方，将从牵引部61观察到的找平部63的方向作为后方。
料斗部62是用于接收沥青混合料的机构，在本实施例中，构成为通过液压缸(未图示。)在车宽度方向上能够开闭。沥青滚平机60通常使料斗部62成为全开状态而从自卸车(未图示。)的货台接收沥青混合料。此外，图2表示料斗部62为全开状态的情况。然后，当料斗部62内的沥青混合料减少时，能够将料斗部62关闭，将处于料斗部62的内壁附近的沥青混合料集中到料斗部62的中央部而向找平部63输送。
找平部63是用于将沥青混合料铺平的机构，在本实施例中，构成为通过液压缸(未图示。)在铅垂方向上能够升降、且在车宽度方向上能够伸缩。具体地说，找平部63的宽度为，在沿车宽度方向伸长的情况下，比牵引部61的宽度更大。
接下来，对图像生成装置100的各构成要素进行说明。
控制部1是具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等的计算机。控制部1例如将与后述的坐标对应建立机构10以及输出图像生成机构11分别对应的程序存储于ROM、NVRAM，将RAM利用为暂时存储区域，并且使CPU执行与各机构对应的处理。
摄像机2是用于取得显示出沥青滚平机60的周边的输入图像的装置，例如以能够对处于驾驶室的驾驶员的死角区域进行摄像的方式安装于牵引部61。
死角区域例如包括料斗部62的内部空间(特别是接近牵引部61的部分)、将料斗部62关闭时的料斗部62的前端的左右角部的外侧的空间、沥青滚平机60的左右的侧部附近的接近路面的空间(特别是在车宽度方向上相对于车体中心轴处于驾驶室的相反一侧的空间，在例如本实施例那样驾驶室相对于车体中心轴设置于车宽度方向右侧的情况下，沥青滚平机60的左侧部附近的接近路面的空间。)等。
此外，摄像机2可以安装于牵引部61的右侧部、左侧部以及前部以外的位置(例如后部。)，也可以以能够对较大范围进行摄像的方式安装有广角透镜或者鱼眼透镜。此外，摄像机2可以安装于料斗部62、也可以安装于找平部63。
在本实施例中，摄像机2包括前部摄像机2F、左侧部摄像机2L以及右侧部摄像机2R。如图2(A)以及图2(B)所示那样，前部摄像机2F安装于牵引部61的前部上端，安装为其光轴2FX沿行进方向前方延伸，且在与路面之间在侧视图中形成角度α(例如65度。)。此外，如图2(A)～图2(C)所示那样，左侧部摄像机2L安装于牵引部61的左侧部上端，且安装为其光轴2LX在与牵引部61的左侧面之间在俯视中形成角度β(例如70度。)，且在与路面之间在后视中形成角度γ。右侧部摄像机2R与左侧部摄像机2L左右相反而同样地安装。
此外，摄像机2也可以安装于从牵引部61延伸的安装用支座，也可以不经由安装用支座而直接安装于牵引部61，也可以埋入于牵引部61。
此外，摄像机2根据来自控制部1的控制信号取得输入图像，将取得的输入图像对控制部1进行输出。此外，摄像机2在使用鱼眼透镜或者广角透镜来取得输入图像的情况下，也可以将对通过使用这些透镜而产生的视觉上的歪曲(distortion)、移轴(tilt andshift)进行了修正的修正后的输入图像对控制部1进行输出。此外，摄像机2也可以将不对其视觉上的歪曲、移轴进行修正的输入图像直接对控制部1进行输出。在直接输出的情况下，控制部1对其视觉上的歪曲、移轴进行修正。
如此，摄像机2以其摄像范围包括沥青滚平机60的左侧方以及右侧方、处于料斗部62的内部以及周边的多个死角区域在内的连续的区域的方式取得输入图像。
输入部3是用于能够供包括驾驶员在内的操作者对图像生成装置100输入各种信息的装置，例如是触摸板、按钮开关等。
存储部4是用于存储各种信息的装置，例如是硬盘、光盘或者半导体存储器等。
显示部5是用于显示图像信息的装置，例如是设置于驾驶室内的液晶显示器等，显示控制部1输出的各种图像。
此外，图像生成装置100也可以基于输入图像生成处理对象图像，通过对该处理对象图像实施图像变换处理而生成能够直觉地掌握与周边障碍物之间的位置关系、距离感的输出图像，之后将该输出图像向操作者提示。
“处理对象图像”是指，基于输入图像生成的、成为图像变换处理(例如，标度变换、仿射变换、歪曲变换、视点变换处理等。)的对象的图像。图像生成装置100例如有时在图像变换处理中使用从上方对地表摄像的摄像机的输入图像、且是通过其较大的视角而包括水平方向的图像(例如，天空的部分。)的输入图像。在该情况下，图像生成装置100以该水平方向的图像不被不自然地显示的方式(例如，不会将天空的部分作为处于地表的部分来处理)，将该输入图像向规定的空间模型进行投影。然后，图像生成装置100将向该空间模型投影的投影图像向其他二维平面进行再投影，由此得到适合于图像变换处理的图像即处理对象图像。此外，处理对象图像也可以不实施图像变换处理而直接作为输出图像使用。
“空间模型”是至少包括处理对象图像所在的平面即处理对象图像平面以外的平面或者曲面(例如，与处理对象图像平面平行的平面，或者与处理对象图像平面之间形成角度的平面或曲面。)，并由一个或者多个平面或曲面构成的、输入图像的投影对象。
此外，图像生成装置100也可以不生成处理对象图像，而通过对向该空间模型投影的投影图像实施图像变换处理来生成输出图像。此外，投影图像也可以不实施图像变换处理而直接作为输出图像使用。
图3是表示输入图像所投影的空间模型MD的一个例子的图，图3(A)表示从左侧方观察沥青滚平机60时的沥青滚平机60与空间模型MD之间的关系，图3(B)表示从上方观察沥青滚平机60时的沥青滚平机60与空间模型MD之间的关系，图3(C)表示从后方观察沥青滚平机60时的沥青滚平机60与空间模型MD之间的关系。
如图3(A)～图3(C)所示，空间模型MD具有与路面平行的第一平面区域R1和与路面交叉的第二平面区域R2。
第一平面区域R1主要是为了通过视点变换处理来生成路面图像(从上观察摄像范围的图像)而使用的输入图像投影对象。在本实施例中，如图3(A)以及图3(C)所示那样，第一平面区域R1被设定为离路面为距离D1(例如1200mm。)的高度。这是为了防止在根据包括料斗部62的图像(以下称为“料斗部图像”。)的输入图像来生成路面图像时，该料斗部图像被过度大地显示，而使观察该路面图像的操作者感到不协调。具体地说，通过视点变换处理生成的路面图像，具有将在实际的三维空间中处于比第一平面区域R1的高度高的位置的物体较大地显示、将处于比第一平面区域R1的高度低的位置的物体较小地显示的趋势。因此，在通过视点变换处理生成的路面图像中，在将第一平面区域R1的高度设为与路面相同的高度的情况下，处于离路面为规定高度(以下称为“料斗部高度”。)的料斗部62的图像被较大地显示为所需程度以上。另一方面，通过视点变换处理生成的路面图像，在将第一平面区域R1的高度设为与料斗部高度相同的高度的情况下，能够不将料斗部图像增大而显示为所需程度以上。在该情况下，处于比料斗部高度低的位置的物体被较小地显示，但不会使观察该路面图像的操作者感到不协调。因此，第一平面区域R1例如被设置为料斗部高度。其中，第一平面区域R1也可以设置为与路面相同的高度。
第二平面区域R2主要是为了通过视点变换处理来生成远景图像(从前部摄像机2F侧对沥青滚平机60的行进方向进行观察时的图像)而使用的输入图像投影对象。此外，第二平面区域R2配置在沥青滚平机60的行进方向前端。在本实施例中，第二平面区域R2被设定于料斗部62的前端的部位。此外，第二平面区域R2被设定为相对于路面垂直、且相对于沥青滚平机60的行进方向垂直。这是为了使料斗部62的图像向第一平面区域R1投影。具体地说，这是为了使操作者能够视觉确认从上观察料斗部62的内部时的图像、以及从侧方(后方)观察料斗部62的外侧前方时的图像。
此外，图4是表示空间模型MD与处理对象图像平面之间的关系的一个例子的图，处理对象图像平面R3例如是包括空间模型MD的第一平面区域R1的平面。
接下来，对控制部1具有的各种机构进行说明。
坐标对应建立机构10是用于将摄像机2摄像的输入图像所在的输入图像平面上的坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立对应的机构。坐标对应建立机构10例如基于预先设定的或者经由输入部3输入的与摄像机2相关的各种参数、以及预先决定的输入图像平面、空间模型MD、以及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立对应。此外，与摄像机2相关的各种参数包括摄像机2的光学中心、焦距、CCD尺寸、光轴方向向量、摄像机水平方向向量、射影方式等。然后，坐标对应建立机构10将这些对应关系存储于存储部4的输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41。
此外，坐标对应建立机构10在未生成处理对象图像的情况下，省略空间模型MD上的坐标与处理对象图像平面R3上的坐标之间的建立对应、以及其对应关系向空间模型·处理对象图像对应映射41的存储。
输出图像生成机构11是用于生成输出图像的机构。输出图像生成机构11例如通过对处理对象图像实施标度变换、仿射变换或者歪曲变换，来将处理对象图像平面R3上的坐标与输出图像所在的输出图像平面上的坐标建立对应。然后，输出图像生成机构11将其对应关系存储于存储部4的处理对象图像·输出图像对应映射42。然后，输出图像生成机构11参照坐标对应建立机构10存储其值的输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41，将输出图像的各像素的值(例如，亮度值、色相值、彩度值等。)与输入图像的各像素的值建立关联而生成输出图像。
此外，输出图像生成机构11基于预先设定的或者经由输入部3输入的与虚拟摄像机相关的各种参数，将处理对象图像平面R3上的坐标与输出图像所在的输出图像平面上的坐标建立对应。此外，与虚拟摄像机相关的各种参数包括虚拟摄像机的光学中心、焦距、CCD尺寸、光轴方向向量、摄像机水平方向向量、射影方式等。然后，输出图像生成机构11将其对应关系存储于存储部4的处理对象图像·输出图像对应映射42。然后，输出图像生成机构11参照坐标对应建立机构10存储其值的输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41，将输出图像的各像素的值(例如，亮度值、色相值、彩度值等。)与输入图像的各像素的值建立关联而生成输出图像。
此外，输出图像生成机构11也可以不使用虚拟摄像机的概念，而对处理对象图像的标度进行变更来生成输出图像。
此外，输出图像生成机构11在未生成处理对象图像的情况下，根据实施的图像变换处理将空间模型MD上的坐标与输出图像平面上的坐标建立对应。然后，输出图像生成机构11参照输入图像·空间模型对应映射40，将输出图像的各像素的值(例如，亮度值、色相值、彩度值等。)与输入图像的各像素的值建立关联而生成输出图像。在该情况下，输出图像生成机构11省略处理对象图像平面R3上的坐标与输出图像平面上的坐标之间的建立对应、以及其对应关系向处理对象图像·输出图像对应映射42的存储。
接下来，对坐标对应建立机构10以及输出图像生成机构11的具体处理的一个例子进行说明。
坐标对应建立机构10例如能够使用汉密尔顿的四元数，将输入图像平面上的坐标与空间模型上的坐标建立对应。
图5是用于对输入图像平面上的坐标与空间模型上的坐标的建立对应进行说明的图。在图5中，摄像机2的输入图像平面被表示为以摄像机2的光学中心C为原点的UVW正交坐标系中的一个平面，空间模型被表示为XYZ正交坐标系中的立体面。
首先，坐标对应建立机构10将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)。因此，坐标对应建立机构10在使XYZ坐标系的原点向光学中心C(UVW坐标系的原点)平行移动之后，以使X轴与U轴、Y轴与V轴、Z轴与－W轴(符号“－”意味着方向相反。这起因于，UVW坐标系将摄像机前方作为+W方向，XYZ坐标系将铅垂下方作为－Z方向。)分别一致的方式，使XYZ坐标系旋转。
此外，在存在多个摄像机2的情况下，摄像机2分别具有个别的UVW坐标系，因此坐标对应建立机构10对于多个UVW坐标系的每个，使XYZ坐标系平行移动且旋转。
上述变换如下实现：在以摄像机2的光学中心C成为XYZ坐标系的原点的方式使XYZ坐标系平行移动之后，以Z轴与－W轴一致的方式使XYZ坐标系旋转，并且以X轴与U轴一致的方式使XYZ坐标系旋转。因此，坐标对应建立机构10通过用汉密尔顿的四元数来记述该变换，能够将这些二次旋转集中为一次旋转计算。
然而，用于使某个向量A与其他向量B一致的旋转，相当于以向量A和向量B形成的面的法线为轴使向量A旋转向量A与向量B形成的角度的处理。然后，当将该角度设为θ时，根据向量A与向量B的内积，角度θ如下表示。
[数1]
此外，根据向量A与向量B的外积，向量A和向量B形成的面的法线的单位向量N如下表示。
[数2]
此外，在将i、j、k分别设为虚数单位的情况下，四元数为满足下式的超素数。
[数3]
ii＝jj＝kk＝ijk＝-1
在本实施例中，四元数Q将实部设为t，将纯虚部设为a、b、c，而表示为：
[数4]
Q＝(t；a，b，c)＝i+ai+bj+ck
四元数Q的共轭四元数表示为：
[数5]
Q*＝(t；-a，-b，-c)＝t-ai-bj-ck
四元数Q能够将实部t设为0(零)，并且通过纯虚成分a、b、c来表现三维向量(a，b，c)，此外，通过t、a、b、c的各成分还能够表现将任意向量作为轴的旋转动作。
并且，四元数Q能够将连续的多次旋转动作统一表现为一次旋转动作。四元数Q例如能够如以下那样将任意的点S(sx，sy，sz)表现为以任意的单位向量C(l，m，n)为轴并且使其旋转了角度θ时的点D(ex，ey，ez)。
[数6]
D＝(0；ex，ey，ez)＝QSQ*其中
在此，在本实施例中，当将表示使Z轴与－W轴一致的旋转的四元数设为Qz时，XYZ坐标系的X轴上的点X移动到点X’，因此点X’表示为：
[数7]
X′＝QzXQz *
此外，在本实施例中，当将表示对处于X轴上的点X’与原点进行连结的线与U轴一致的旋转的四元数设为Qx时，表示“使Z轴与－W轴一致、并且使X轴与U轴一致的旋转”的四元数R表示为：
[数8]
R＝QzQz
通过以上，将空间模型(XYZ坐标系)上的任意的坐标P用输入图像平面(UVW坐标系)上的坐标进行了表现时的坐标P’表示为：
[数9]
P′＝RPR*
此外，四元数R在摄像机2的各自中是不变的。因此，坐标对应建立机构10仅通过执行该计算就能够将空间模型(XYZ坐标系)上的坐标变换为输入图像平面(UVW坐标系)上的坐标。
在将空间模型(XYZ坐标系)上的坐标变换为输入图像平面(UVW坐标系)上的坐标之后，坐标对应建立机构10计算线段CP’与摄像机2的光轴G形成的入射角α。此外，线段CP’是将摄像机2的光学中心C(UVW坐标系上的坐标)和用UVW坐标系来表示了空间模型上的任意的坐标P的坐标P’进行连结的线段。
此外，坐标对应建立机构10计算对平面H与光轴G之间的交点E和坐标P’进行连结的线段EP’、与平面H的U’轴形成的偏角、以及线段EP’的长度。此外，平面H是与摄像机2的输入图像平面R4(例如CCD面)平行且包含坐标P’的平面。
摄像机的光学系统通常为，像高h成为入射角α以及焦距f的函数。因此，坐标对应建立机构10选择通常射影(h＝ftanα)、正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等适当的射影方式来计算像高h。
然后，坐标对应建立机构10将计算出的像高h通过偏角φ分解为UV坐标系上的U成分以及V成分，并除以与输入图像平面R4的每一像素的像素尺寸相当的数值。由此，坐标对应建立机构10能够将空间模型MD上的坐标P(P’)与输入图像平面R4上的坐标建立对应。
此外，将输入图像平面R4的U轴向的每一像素的像素尺寸设为aU，将输入图像平面R4的V轴向的每一像素的像素尺寸设为aV。在该情况下，与空间模型MD上的坐标P(P’)对应的输入图像平面R4上的坐标(u，v)表示为：
[数10]
[数11]
如此，坐标对应建立机构10将空间模型MD上的坐标与每个摄像机中存在的一个或者多个输入图像平面R4上的坐标建立对应，将空间模型MD上的坐标、摄像机识别符、以及输入图像平面R4上的坐标建立关联而储存于输入图像·空间模型对应映射40。
此外，坐标对应建立机构10使用四元数来计算坐标的变换，因此与使用欧拉角来计算坐标的变换的情况不同，具有不产生常平架锁定这种优点。然而，坐标对应建立机构10不限定于使用四元数来计算坐标的变换，也可以使用欧拉角来计算坐标的变换。
此外，在能够与多个输入图像平面R4上的坐标建立对应的情况下，坐标对应建立机构10也可以将空间模型MD上的坐标P(P’)，和与其入射角α最小的摄像机相关的输入图像平面R4上的坐标建立对应，也可以与操作者选择的输入图像平面R4上的坐标建立对应。
接下来，对将空间模型MD上的坐标中、第二平面区域R2上的坐标(具有Z轴方向的成分的坐标)向处于XY平面上的处理对象图像平面R3进行再投影的处理进行说明。
图6是用于说明坐标对应建立机构10进行的坐标间的建立对应的图。此外，图6(A)表示作为一个例子而采用通常射影(h＝ftanα)的摄像机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系。在图6(A)中，坐标对应建立机构10使将摄像机2的输入图像平面R4上的坐标和与该坐标对应的空间模型MD上的坐标进行连结的线段分别通过摄像机2的光学中心C，而将两个坐标建立对应。
在图6(A)的例中，坐标对应建立机构10将摄像机2的输入图像平面R4上的坐标K1与空间模型MD的第一平面区域R1上的坐标L1建立对应，将摄像机2的输入图像平面R4上的坐标K2与空间模型MD的第二平面区域R2上的坐标L2建立对应。此时，线段K1－L1以及线段K2－L2均通过摄像机2的光学中心C。
此外，在摄像机2采用通常射影以外的射影方式(例如，正射影、立体射影、等立体角射影、等距离射影等。)的情况下，坐标对应建立机构10根据各个射影方式，将摄像机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。
具体地说，坐标对应建立机构10基于规定的函数(例如，正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等。)，将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在该情况下，线段K1－L1以及线段K2－L2不通过摄像机2的光学中心C。
图6(B)表示空间模型MD的第二平面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系。在图6(B)中，坐标对应建立机构10导入位于XZ平面上的平行线组PL，且是与处理对象图像平面R3之间形成角度β的平行线组PL。然后，坐标对应建立机构10将空间模型MD的第二平面区域R2上的坐标和与该坐标对应的处理对象图像平面R3上的坐标均配置在平行线组PL中的一个上，而将两个坐标建立对应。
在图6(B)的例中，坐标对应建立机构10将空间模型MD的第二平面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2配置在共通的平行线上，而对两个坐标建立对应。
此外，坐标对应建立机构10能够与第二平面区域R2上的坐标同样地使用平行线组PL将空间模型MD的第一平面区域R1上的坐标与处理对象图像平面R3上的坐标建立对应。然而，在图6(B)的例中，第一平面区域R1与处理对象图像平面R3成为共通的平面，因此不需要使用平行线组PL。这是因为，空间模型MD的第一平面区域R1上的坐标L1与处理对象图像平面R3上的坐标M1具有相同的坐标值。
如此，坐标对应建立机构10将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应，并将空间模型MD上的坐标以及处理对象图像平面R3上的坐标建立关联而存储于空间模型·处理对象图像对应映射41。
图6(C)表示处理对象图像平面R3上的坐标与作为一个例子而采用通常射影(h＝ftanα)的虚拟摄像机2V的输出图像平面R5上的坐标之间的对应关系。在图6(C)中，输出图像生成机构11使将虚拟摄像机2V的输出图像平面R5上的坐标和与该坐标对应的处理对象图像平面R3上的坐标进行连结的线段分别通过虚拟摄像机2V的光学中心CV，而将两个坐标建立对应。
在图6(C)的例中，输出图像生成机构11将虚拟摄像机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3(空间模型MD的第一平面区域R1)上的坐标M1建立对应，将虚拟摄像机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1－N1以及线段M2－N2均通过虚拟摄像机2V的光学中心CV。
此外，在虚拟摄像机2V采用通常射影以外的射影方式(例如，正射影、立体射影、等立体角射影、等距离射影等。)的情况下，输出图像生成机构11根据各个射影方式，将虚拟摄像机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
具体地说，输出图像生成机构11基于规定的函数(例如，正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等。)，将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在该情况下，线段M1－N1以及线段M2－N2不通过虚拟摄像机2V的光学中心CV。
如此，输出图像生成机构11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，并将输出图像平面R5上的坐标以及处理对象图像平面R3上的坐标建立关联而存储于处理对象图像·输出图像对应映射42。然后，输出图像生成机构11参照坐标对应建立机构10进行了存储的输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41，将输出图像的各像素的值与输入图像的各像素的值建立关联而生成输出图像。
此外，图6(D)是将图6(A)～图6(C)组合了的图，表示摄像机2、虚拟摄像机2V、空间模型MD的第一平面区域R1以及第二平面区域R2、及处理对象图像平面R3的相互的位置关系。
接下来，参照图7来说明为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立机构10导入的平行线组PL的作用。
图7(A)是位于XZ平面上的平行线组PL与处理对象图像平面R3之间形成角度β的情况下的图，图7(B)是位于XZ平面上的平行线组PL与处理对象图像平面R3之间形成角度β1(β1＞β)的情况下的图。此外，图7(A)以及图7(B)的空间模型MD的第二平面区域R2上的坐标La～Ld的各个对应于处理对象图像平面R3上的坐标Ma～Md的各个。此外，图7(A)的坐标La～Ld的各个的间隔等于图7(B)的坐标La～Ld的各个的间隔。此外，平行线组PL是为了进行说明而设为存在于XZ平面上的，但在实际上，以从Z轴上的全部点朝向处理对象图像平面R3放射状地延伸的方式存在。此外，将该情况下的Z轴称为“再投影轴”。
如图7(A)以及图7(B)所示，处理对象图像平面R3上的坐标Ma～Md的各个间隔，随着平行线组PL与处理对象图像平面R3之间的角度增大而线性地减少(和空间模型MD的第二平面区域R2与坐标Ma～Md的各个之间的距离无关而同样地减少。)。另一方面，空间模型MD的第一平面区域R1上的坐标组为，在图7的例中，未进行向处理对象图像平面R3上的坐标组的变换，因此坐标组的间隔不会变化。
这些坐标组的间隔的变化意味着，输出图像平面R5(参照图6。)上的图像部分中、仅与向空间模型MD的第二平面区域R2投影的图像对应的图像部分，被线性地放大或者缩小。
接下来，参照图8来说明为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立机构10导入的平行线组PL的代替例。
图8(A)是位于XZ平面上的辅助线组AL的全部从Z轴上的起点T1朝向处理对象图像平面R3延伸的情况下的图，图8(B)是辅助线组AL的全部从Z轴上的起点T2(T2＞T1)朝向处理对象图像平面R3延伸的情况下的图。此外，图8(A)以及图8(B)的空间模型MD的第二平面区域R2上的坐标La～Ld的各个与处理对象图像平面R3上的坐标Ma～Md的各个对应(在图8(A)的例中，坐标Mc、Md处于处理对象图像平面R3的区域外，因此未图示。)。此外，图8(A)的坐标La～Ld的各个的间隔等于图8(B)的坐标La～Ld的各个的间隔。此外，辅助线组AL为了说明目的而设为存在于XZ平面上，但在实际上，以从Z轴上的任意一点朝向处理对象图像平面R3放射状地延伸的方式存在。此外，与图7同样，将该情况下的Z轴称为“再投影轴”。
如图8(A)以及图8(B)所示，处理对象图像平面R3上的坐标Ma～Md的各个的间隔，随着辅助线组AL的起点与原点O之间的距离(高度)增大而非线性地减少(空间模型MD的第二平面区域R2与坐标Ma～Md的各个之间的距离越大，则各个间隔的减少幅度越大。)。另一方面，空间模型MD的第一平面区域R1上的坐标组，在图8的例中，未进行向处理对象图像平面R3上的坐标组的变换，因此坐标组的间隔不会变化。
这些坐标组的间隔的变化，与平行线组PL时同样意味着，输出图像平面R5(图6参照。)上的图像部分中、仅与向空间模型MD的第二平面区域R2投影的图像对应的图像部分被非线性地放大或者缩小。
如此，图像生成装置100能够不对与向空间模型MD的第一平面区域R1投影的图像对应的输出图像的图像部分(例如，路面图像。)赋予影响，而使与向空间模型MD的第二平面区域R2投影的图像对应的输出图像的图像部分(例如，远景图像。)线性或者非线性地放大或者缩小。因此，能够不对沥青滚平机60左右附近的路面图像(从正上方观察沥青滚平机60时的虚拟图像)赋予影响，而使位于沥青滚平机60的前方的物体(从沥青滚平机60沿水平方向观察前方时的图像中的物体)迅速且灵活地放大或者缩小，能够提高沥青滚平机60的死角区域的可视性。
接下来，参照图9来说明图像生成装置100生成处理对象图像的处理(以下，称为“处理对象图像生成处理”。)以及使用生成的处理对象图像来生成输出图像的处理(以下，称为“输出图像生成处理”。)。此外，图9是表示处理对象图像生成处理(步骤S1～步骤S3)以及输出图像生成处理(步骤S4～步骤S6)的流程的流程图。此外，摄像机2(输入图像平面R4)、空间模型(第一平面区域R1以及第二平面区域R2)以及处理对象图像平面R3的配置被预先决定。此外，每当摄像机2取得输入图像时，图像生成装置100就执行处理对象图像生成处理以及输出图像生成处理。
首先，控制部1的坐标对应建立机构10将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应(步骤S1)。
具体地说，坐标对应建立机构10取得平行线组PL与处理对象图像平面R3之间所形成的角度，并计算从处理对象图像平面R3上的一个坐标延伸的平行线组PL之一与空间模型MD的第二平面区域R2交叉的点。然后，坐标对应建立机构10导出与计算出的点对应的第二平面区域R2上的坐标，作为与处理对象图像平面R3上的该一个坐标对应的第二平面区域R2上的一个坐标，将其对应关系存储于空间模型·处理对象图像对应映射41。此外，平行线组PL与处理对象图像平面R3之间所形成的角度，可以是预先存储于存储部4等的值，也可以是操作者经由输入部3动态地输入的值。
此外，坐标对应建立机构10，在处理对象图像平面R3上的一个坐标与空间模型MD的第一平面区域R1上的一个坐标一致的情况下，导出第一平面区域R1上的该一个坐标，作为处理对象图像平面R3上的与该一个坐标对应的一个坐标，并将其对应关系存储于空间模型·处理对象图像对应映射41。
然后，控制部1的坐标对应建立机构10将通过上述处理导出的空间模型MD上的一个坐标与输入图像平面R4上的坐标建立对应(步骤S2)。
具体地说，坐标对应建立机构10取得采用通常射影(h＝ftanα)的摄像机2的光学中心C的坐标，计算从空间模型MD上的一个坐标延伸的线段即通过光学中心C的线段与输入图像平面R4交叉的点。然后，坐标对应建立机构10导出与计算出的点对应的输入图像平面R4上的坐标，作为与空间模型MD上的该一个坐标对应的输入图像平面R4上的一个坐标，并将其对应关系存储于输入图像·空间模型对应映射40。
然后，控制部1判断是否将处理对象图像平面R3上的全部坐标与空间模型MD上的坐标以及输入图像平面R4上的坐标建立了对应(步骤S3)。然后，控制部1在判断为还未将全部坐标建立对应的情况下(步骤S3的否)，反复进行步骤S1以及步骤S2的处理。
另一方面，控制部1在判断为对全部坐标建立了对应的情况下(步骤S3的是)，在使处理对象图像生成处理结束之后开始输出图像生成处理。然后，控制部1的输出图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。
具体地说，输出图像生成机构11通过对处理对象图像实施标度变换、仿射变换或者歪曲变换来生成输出图像。然后，输出图像生成机构11将根据实施的标度变换、仿射变换或者歪曲变换的内容而决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系，存储于处理对象图像·输出图像对应映射42。
或者，也可以为，输出图像生成机构11在使用虚拟摄像机2V来生成输出图像的情况下，对应于采用的射影方式，根据处理对象图像平面R3上的坐标来计算输出图像平面R5上的坐标，并将其对应关系存储于处理对象图像·输出图像对应映射42。
或者，也可以为，输出图像生成机构11在使用采用通常射影(h＝ftanα)的虚拟摄像机2V来生成输出图像的情况下，取得该虚拟摄像机2V的光学中心CV的坐标。然后，输出图像生成机构11计算从输出图像平面R5上的一个坐标延伸的线段即通过光学中心CV的线段与处理对象图像平面R3交叉的点。然后，输出图像生成机构11导出与计算出的点对应的处理对象图像平面R3上的坐标，作为与输出图像平面R5上的该一个坐标对应的处理对象图像平面R3上的一个坐标，并将其对应关系存储于处理对象图像·输出图像对应映射42。
然后，控制部1的输出图像生成机构11参照输入图像·空间模型对应映射40、空间模型·处理对象图像对应映射41以及处理对象图像·输出图像对应映射42，取得输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、以及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系。然后，输出图像生成机构11取得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标具有的值(例如，亮度值、色相值、彩度值等。)，并将该取得的值采用为对应的输出图像平面R5上的各坐标的值(步骤S5)。此外，在相对于输出图像平面R5上的一个坐标对应有多个输入图像平面R4上的多个坐标的情况下，输出图像生成机构11也可以导出基于多个输入图像平面R4上的多个坐标的各个值的统计值(例如，平均值、最大值、最小值、中间值等。)，而将该统计值采用作为输出图像平面R5上的该一个坐标的值。
然后，控制部1判断是否将输出图像平面R5上的全部坐标的值与输入图像平面R4上的坐标的值建立了对应(步骤S6)。然后，控制部1在判断为还未对全部坐标的值建立对应的情况下(步骤S6的否)，反复进行步骤S4以及步骤S5的处理。
另一方面，控制部1在判断为对全部坐标的值建立了对应的情况下(步骤S6的是)，生成输出图像而使这一系列处理结束。
此外，图像生成装置100在未生成处理对象图像的情况下，省略处理对象图像生成处理。在该情况下，输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”被替换为“空间模型上的坐标”。
通过以上构成，图像生成装置100能够将多个摄像机取得的输入图像进行合成，而生成能够使操作者直觉地掌握沥青滚平机60与包括作业人员等在内的周边障碍物之间的位置关系的处理对象图像以及输出图像。
此外，图像生成装置100将从上方观察包括料斗部62的全部以及找平部63的左右端在内的连续的区域的路面图像，作为输出图像的一部分进行显示。由此，操作者不从驾驶席64离开，就能够视觉确认处于沥青滚平机60周围的死角区域。作为其结果，图像生成装置100能够使沥青滚平机60的安全性以及操作性提高。具体地说，图像生成装置100能够将料斗部62内的沥青混合料的余量、铺装预定的路面上的地面物(例如，进人孔。)的位置等向操作者进行提示。此外，图像生成装置100能够将在沥青滚平机60的周边进行作业的作业人员的位置向操作者进行提示。因此，操作者能够在观察显示部5而确认了地面物、操作员的位置之后，执行料斗部62的开闭、找平部63的伸缩、找平部63的升降等各种操作。此外，操作者能够在根据作业人员与料斗部、找平部或者自卸车之间的关系而察觉到危险的情况下，进行各种操作的中止、沥青滚平机的停止等。
此外，图像生成装置100以从处理对象图像平面R3经由空间模型MD而到达输入图像平面R4的方式执行坐标的建立对应。由此，图像生成装置100能够使处理对象图像平面R3上的各坐标与输入图像平面R4上的一个或者多个坐标可靠地对应。因此，图像生成装置100为，与按照从输入图像平面R4经由空间模型MD到达处理对象图像平面R3的顺序执行坐标的建立对应的情况相比，能够迅速地生成更优质的处理对象图像。此外，在按照从输入图像平面R4经由空间模型MD到达处理对象图像平面R3的顺序执行坐标的建立对应的情况下，图像生成装置100能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的一个或者多个坐标可靠地对应。然而，有时处理对象图像平面R3上的坐标的一部分与输入图像平面R4上的哪个坐标都未建立对应。在该情况下，需要对这种处理对象图像平面R3上的坐标的一部分实施插值处理等。
此外，图像生成装置100为，在仅使与空间模型MD的第二平面区域R2对应的图像放大或者缩小的情况下，使平行线组PL与处理对象图像平面R3之间所形成的角度变更，而仅改写与空间模型·处理对象图像对应映射41的第二平面区域R2相关的部分即可。即，图像生成装置100能够不改写输入图像·空间模型对应映射40的内容，而实现所希望的放大或者缩小。
此外，图像生成装置100为，在变更输出图像的观察方法的情况下，仅对与标度变换、仿射变换或者歪曲变换相关的各种参数的值进行变更而改写处理对象图像·输出图像对应映射42即可。即，图像生成装置100能够不改写输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41的内容，而生成所希望的输出图像(标度变换图像、仿射变换图像或者歪曲变换图像)。
同样，图像生成装置100为，在对输出图像的视点进行变更的情况下，仅对虚拟摄像机2V的各种参数的值进行变更而改写处理对象图像·输出图像对应映射42即可。即，图像生成装置100能够不改写输入图像·空间模型对应映射40以及空间模型·处理对象图像对应映射41的内容，而生成从所希望的视点观察的输出图像(视点变换图像)。
图10以及图11是将使用沥青滚平机60所搭载的三台摄像机2(左侧部摄像机2L、右侧部摄像机2R以及前部摄像机2F)的输入图像而生成的输出图像在显示部5显示时的显示例。此外，图10的输出图像表示料斗部62全开时的沥青滚平机60的状态，图11表示料斗部62关闭时的沥青滚平机60的状态。
图像生成装置100将这三台摄像机2各自的输入图像向空间模型MD的第一平面区域R1以及第二平面区域R2上进行投影。然后，图像生成装置100将该投影图像向处理对象图像平面R3进行再投影而生成处理对象图像。然后，图像生成装置100对该生成的处理对象图像实施图像变换处理(例如，标度变换、仿射变换、歪曲变换、视点变换处理等。)，由此生成输出图像。输出图像同时显示从上空俯视沥青滚平机60附近的图像(第一平面区域R1的图像)、以及从沥青滚平机60沿水平方向观察前方的图像(处理对象图像平面R3的图像)。
此外，在图像生成装置100未生成处理对象图像的情况下，通过对向空间模型MD投影的图像实施图像变换处理(例如，视点变换处理。)，来生成输出图像。
并且，输出图像优选将沥青滚平机60的牵引部61的计算机绘图(CG)图像61CG配置为，沥青滚平机的前方与显示部5的画面上方一致。这是为了更容易理解沥青滚平机60与输出图像中出现的物体之间的位置关系。此外，输出图像也可以将包括方位等各种信息的边框图像配置在其周围。
接下来，参照图12～图15对图像生成装置100使输入图像间的重复区域中的图像的不自然度不明显的处理(以下，称为“重复区域修正处理”。)进行说明。
图12是表示沥青滚平机60所搭载的三台摄像机2(左侧部摄像机2L、右侧部摄像机2R以及前部摄像机2F)各自的输入图像、以及使用这些输入图像生成的输出图像的图。此外，左侧部摄像机2L的输入图像包括料斗部62左侧的图像62L以及找平部63左侧的图像63L。此外，右侧部摄像机2R的输入图像包括料斗部62右侧的图像62R以及找平部63右侧的图像63R。此外，前部摄像机2F的输入图像包括料斗部62左侧的图像62L以及右侧的图像63R。
图像生成装置100在将这三台摄像机2各自的输入图像向空间模型MD的第一平面区域R1以及第二平面区域R2上投影之后，将其投影图像向处理对象图像平面R3进行再投影而生成处理对象图像。然后，图像生成装置100对该生成的处理对象图像实施图像变换处理(例如，标度变换、仿射变换、歪曲变换、视点变换处理等。)，由此生成输出图像。如此，图像生成装置100使从上空俯视沥青滚平机60附近的图像(平面区域R1的图像)以及从沥青滚平机60向水平方向观察前方的图像(处理对象图像平面R3的图像)同时显示。
在图12中，左侧部摄像机2L的输入图像以及前部摄像机2F的输入图像分别包括从不同角度对沥青滚平机60周围的相同场所进行摄像的重复部分。右侧部摄像机2R的输入图像与前部摄像机2F的输入图像之间的重复部分也同样。
因此，基于这三个输入图像生成的输出图像，在该输出图像平面上的坐标能够与多个输入图像平面上的坐标建立对应的情况下，当该输出图像平面上的坐标和与入射角最小的摄像机相关的输入图像平面上的坐标建立对应时，会变得不自然。具体地说，在基于左侧部摄像机2L的输入图像的输出图像上的区域与基于前部摄像机2F的输入图像的输出图像上的区域之间的边界线、以及基于右侧部摄像机2R的输入图像的输出图像上的区域与基于前部摄像机2F的输入图像的输出图像上的区域之间的边界线的部位，料斗部62的形状变形(不连续)。然后，会使观察该输出图像的操作者感到不自然度。此外，如参照图16而后述的那样，会使存在于这些边界线附近的物体的图像从输出图像上消失。
因此，图像生成装置100执行重复区域修正处理。图13是用于对重复区域修正处理的一个例子进行说明的图。图13表示从两个波源(例如，左侧部摄像机2L以及前部摄像机2F。)在形成山(实线圆)以及谷(虚线圆)的同时进行扩散而相互干涉的两个波。
此外，在图13中，两个扇形区域2La、2Fa分别表示左侧部摄像机2L的摄像范围以及前部摄像机2F的摄像范围，粗实线表示的腹线ANL表示将两个波相互加强的点连接的线，粗虚线表示的节线NL表示将两个波相互减弱的点连接的线。此外，如图13所示，腹线ANL以及节线NL交替出现。
此外，在图13中，由将左侧部摄像机2L作为波源而扩散的波的一个谷描绘的线(虚线圆)、在该一个谷之后产生的一个山描绘的线(实线圆)、将前部摄像机2F作为波源而扩散的波的一个谷描绘的线(虚线圆)、以及在该一个谷之后产生的一个山描绘的线(实线圆)决定的菱形状区域，分别形成单位图案区域LT。
图13所示的多个单位图案区域LT被描绘在输出图像平面上，当前部摄像机2F的输入图像与单位图案区域LT中的腹线ANL通过(涂满灰色)的单位图案区域LT1建立对应，并且，左侧部摄像机2L的输入图像与单位图案区域LT中的节线NL通过(涂满白色)的单位图案区域LT2建立对应时，两个输入图像形成格子花纹。
此外，在左侧部摄像机2L的输入图像与单位图案区域LT中的腹线ANL通过(涂满灰色)的单位图案区域LT1建立对应，并且，前部摄像机2F的输入图像与单位图案区域LT中的节线NL通过(涂满白色)的单位图案区域LT2建立对应的情况下，两个输入图像也同样形成格子花纹。
此外，图13的格子花纹使用波长以及相位相等的两个波形成，但也可以使用波长以及相位的一方或者双方不同的两个波来形成。这是为了能够灵活地调整单位图案区域LT1、LT2的尺寸、形状。
图14表示将图13所示的格子花纹配置在输出图像平面上的状态，表示处于牵引部61的CG图像61CG的右前方(图的右上方向)的、配置在右侧部摄像机2R的摄像范围与前部摄像机2F的摄像范围的重复区域的格子花纹，和处于牵引部61的CG图像61CG的左前方(图的左上方向)的、配置在左侧部摄像机2L的摄像范围与前部摄像机2F的摄像范围的重复区域的格子花纹。
在图14中，配置在右侧部摄像机2R的摄像范围与前部摄像机2F的摄像范围的重复区域的格子花纹，例如将右侧部摄像机2R的输入图像与(涂满灰色的)单位图案区域LT1建立对应，将前部摄像机2F的输入图像与(涂满白色的)单位图案区域LT2建立对应。
此外，配置在左侧部摄像机2L的摄像范围与前部摄像机2F的摄像范围的重复区域的格子花纹，例如将左侧部摄像机2L的输入图像与(涂满灰色的)单位图案区域LT3建立对应，将前部摄像机2F的输入图像与(涂满白色的)单位图案区域LT4建立对应。
图15是表示图像生成装置100将两个摄像机各自的摄像范围的重复区域对应的输出图像平面上的各坐标，与这两个摄像机的任一方的输入图像平面上的坐标建立对应而形成格子花纹的处理(以下，称为“格子花纹形成处理”。)的流程的流程图。
图像生成装置100的控制部1例如在图9的处理对象图像生成处理的步骤S2中，在能够将空间模型MD的第一平面区域R1上的一个坐标与多个输入图像平面上的坐标建立对应的情况下，执行该格子花纹形成处理。具体地说，控制部1的坐标对应建立机构10在将空间模型MD的第一平面区域R1上的一个坐标和与两个摄像机分别对应的两个输入图像平面中的一个输入图像平面中的一个坐标建立对应时，执行该格子花纹形成处理。
首先，控制部1取得与两个摄像机(例如，右侧部摄像机2R以及前部摄像机2F。)的摄像范围重复的区域对应的、空间模型MD的第一平面区域R1上的一个坐标(步骤S11)。
接下来，控制部1取得两个摄像机各自的光学中心的坐标(步骤S12)。
接下来，控制部1选择与在步骤S11中取得的空间模型MD的第一平面区域R1上的一个坐标建立对应的摄像机(步骤S13)。
具体地说，假定右侧部摄像机2R的光学中心的坐标为(Xcam1，Ycam1)、前部摄像机2F的光学中心的坐标为(Xcam2，Ycam2)、建立对应的对象即空间模型MD的第一平面区域R1上的一个坐标为(Xtarget，Ytarget)的情况。在该情况下，控制部1，
[数12]
在由上式表示的条件式为真的情况下，作为与该第一平面区域R1上的一个坐标建立对应的摄像机而选择右侧部摄像机2R，在上述条件式为假的情况下，作为与该第一平面区域R1上的一个坐标建立对应的摄像机而选择前部摄像机2F。
此外，控制部1也可以，在上述条件式为真的情况下，作为与该第一平面区域R1上的一个坐标建立对应的摄像机而选择前部摄像机2F，在上述条件式为假的情况下，作为与该第一平面区域R1上的一个坐标建立对应的摄像机而选择右侧部摄像机2R。
此外，上述条件式相当于第一平面区域R1上的坐标(Xtarget，Ytarget)包含于图14所示的单位图案区域LT1、还是包含于单位图案区域LT2的判断式。
此外，在本实施例中，控制部1在光学中心的坐标为二维坐标、从波源产生的波为平面波这种前提下，基于第一平面区域R1上的一个坐标(二维坐标)与两个摄像机各自的光学中心的坐标(向包括第一平面区域R1的平面上投影的二维坐标)之间的二维距离来选择摄像机。然而，控制部1也可以将光学中心的坐标设为(包括高度信息)三维坐标，使从波源产生的波为球面波，并且基于第一平面区域R1上的一个坐标(三维坐标)与两个摄像机各自的光学中心的坐标(三维坐标)之间的三维距离来选择摄像机。
此外，在本实施例中，控制部1选择与两个摄像机(例如，右侧部摄像机2R以及前部摄像机2F。)的摄像范围重复的区域对应的、与空间模型MD的第一平面区域R1上的一个坐标建立对应的摄像机。然而，控制部1对于与两个摄像机的摄像范围重复的区域对应的、第二平面区域R2上的一个坐标建立对应的摄像机、以及与处理对象图像平面R3上的一个坐标建立对应的摄像机，也能够同样地选择。
在该情况下，控制部1可以基于处理对象图像平面R3上的一个坐标(二维坐标)与两个摄像机各自的光学中心的坐标(向包括处理对象图像平面R3的平面上投影的二维坐标)之间的二维距离来选择摄像机，也可以基于处理对象图像平面R3上的一个坐标(三维坐标)与两个摄像机各自的光学中心的坐标(三维坐标)之间的三维距离来选择摄像机。此外，处理对象图像平面R3也可以包括第一平面区域R1。
然后，控制部1的坐标对应建立机构10将选择的摄像机的输入图像平面上的一个坐标与空间模型MD的第一平面区域R1上的一个坐标建立对应(步骤S14)，并将空间模型MD上的坐标、摄像机识别符以及输入图像平面上的坐标建立关联而存储于输入图像·空间模型对应映射40。
然后，控制部1判断是否将与两个摄像机的摄像范围重复的区域对应的、空间模型MD的第一平面区域R1上的全部坐标，与两个摄像机中的一个输入图像平面上的坐标建立了对应(步骤S15)。然后，控制部1在判断为还未对全部坐标建立对应的情况下(步骤S15的否)，反复进行步骤S11～步骤S14的处理。
另一方面，控制部1在判断为将全部坐标建立了对应的情况下(步骤S15的是)，使该格子花纹形成处理结束。
如此，控制部1使用上述那样的条件式，能够容易地将空间模型MD上的各坐标与两个摄像机中的一个输入图像平面上的坐标建立对应，能够生成适当的格子花纹。
在此再次参照图12，示出由包括基于左侧部摄像机2L的输入图像的输出图像上的区域与基于前部摄像机2F的输入图像的输出图像上的区域之间的边界线在内的图12的点划线围成的区域R6。区域R6通过如上述那样生成的格子花纹，抑制料斗部62的形状变形(不连续)，缓和观察包括该区域R6的输出图像的操作者所感到的不自然度。对于由基于右侧部摄像机2R的输入图像的输出图像上的区域与基于前部摄像机2F的输入图像的输出图像上的区域之间的边界线在内的图12的点划线围起的区域R7也是同样的。
此外，在上述实施例中，料斗部62后端的左右角部包含于形成格子花纹的区域，但图像生成装置100也可以使料斗部62后端的左右角部包含于形成格子花纹的区域。具体地说，图像生成装置100检测对料斗部62的开闭进行控制的液压缸的状态，而检测料斗部62的开闭状态。然后，图像生成装置100向根据料斗部62的开闭状态而决定的、料斗部62后端的左右角部所在的空间模型MD上的区域，投影前部摄像机2F的输入图像。然后，图像生成装置100在与料斗部62后端的左右角部的外侧对应的空间模型MD上的区域形成格子花纹。作为其结果，图像生成装置100防止料斗部62的形状变形(不连续)，并且使重复区域适当地显示。
接下来，参照图16～图18，对在图像生成装置100生成与两个摄像机各自的摄像范围的重复区域对应的输出图像部分时，防止处于该输出图像部分的物体消失的处理进行说明。
图16表示沥青滚平机60所搭载的三台摄像机中的左侧部摄像机2L以及前部摄像机2F各自的摄像范围的重复区域的输入图像部分、以及使用这些输入图像部分生成的输出图像部分。
在图16中，左侧部摄像机2L的输入图像部分R10以及前部摄像机2F的输入图像部分R11，分别捕捉属于左侧部摄像机2L的摄像范围与前部摄像机2F的摄像范围的重复区域内的图像部分的人物。
然而，基于这些左侧部摄像机2L的输入图像部分R10以及前部摄像机2F的输入图像部分R11生成的输出图像部分R12，当其输出图像平面上的坐标和与入射角最小的摄像机相关的输入图像平面上的坐标建立对应时，如图16所示，会使该重复区域内的人物消失。
因此，图像生成装置100利用上述格子花纹，来防止在生成与两个摄像机各自的摄像范围的重复区域对应的输出图像部分时、处于该输出图像部分的物体消失。
图17是用于对两个摄像机各自的摄像范围的重复区域中的物体的防止消失效果进行说明的图，图17(A)表示用于形成图13所示的格子花纹的波的图，图17(B)表示图17(A)的局部放大图。
在图17(A)中，由虚线围起的投影像PRJ1，表示前部摄像机2F的输入图像中的物体OBJ1的像，通过用于生成路面图像的视点变换，而在将其前部摄像机2F与该物体OBJ1连结的线的延长方向上伸长后的像(是使用前部摄像机2F的输入图像部分R11来生成该输出图像部分R12的路面图像的情况下显示的像。)。
此外，由虚线围起的投影像PRJ2，表示左侧部摄像机2L的输入图像中的物体OBJ1的像，通过用于生成路面图像的视点变换，而在将其左侧部摄像机2L与该物体OBJ1连结的线的延长方向伸长后的像(是使用左侧部摄像机2L的输入图像部分R10来生成该输出图像部分R12的路面图像的情况下显示的像。)。
此外，投影像PRJ1以及投影像PRJ2，在最终的输出图像上不以保持原样的状态显示，而如图17(B)所示那样，以局部被切除的状态显示。
此外，在图17(A)中表示的情况为，表示投影像PRJ1的虚线区域中、涂满灰色的部分表示与腹线ANL通过的单位图案区域LT1(参照图13。)重叠的部分，与该重叠部分对应的输出图像上的各坐标与前部摄像机2F的输入图像平面上的坐标(形成物体OBJ1的像的区域内的坐标)建立对应。
另一方面，表示的情况为，表示投影像PRJ1的虚线区域中、涂满白色的部分表示与节线NL通过的单位图案区域LT2(参照图13。)重叠的部分，与该重叠部分对应的输出图像上的各坐标与左侧部摄像机2L的输入图像平面上的坐标(没有形成物体OBJ1的像的区域内的坐标)建立对应。
此外，也可以为，表示投影像PRJ1的虚线区域中、与涂满灰色的部分对应的输出图像上的各坐标，与左侧部摄像机2L的输入图像平面上的坐标(没有形成物体OBJ1的像的区域内的坐标)建立对应，表示投影像PRJ1的虚线区域中、与涂满白色的部分对应的输出图像上的各坐标，与前部摄像机2F的输入图像平面上的坐标(形成物体OBJ1的像的区域内的坐标)建立对应。
在该情况下，如图17(B)所示，投影像PRJ1将与其伸长方向正交的圆(将前部摄像机2F的位置作为波源的波的山以及谷描绘的圆。)的一部分，通过作为其分界线而包含的单位图案区域LT2切除。然而，投影像PRJ1为，相邻接的单位图案区域LT1、LT2相互使顶点接触，难以断开为细丝状。此外，单位图案区域LT2分别包含与其伸长方向正交的圆的一部分，因此投影像PRJ1的轮郭也以容易识别、清晰的状态保存。
此外，投影像PRJ1具有物体OBJ1的高度越高、越向从摄像机远离的方向更长地伸长，且越从摄像机远离、越被更大地放大的趋势。然而，单位图案区域LT1以及LT2均为，越从摄像机远离，以与其投影像PRJ1相同的程度，越被更大地放大，投影像PRJ1的切除状态也被维持为几乎均匀。
此外，在图17(A)中表示的情况为，表示投影像PRJ2的虚线区域中、涂满黑色的部分表示与节线NL通过的单位图案区域LT2(参照图13。)重叠的部分，与该重叠部分对应的输出图像上的各坐标与左侧部摄像机2L的输入图像平面上的坐标(形成物体OBJ1的像的区域内的坐标)建立对应。
另一方面，表示的情况为，表示投影像PRJ2的虚线区域中、涂满白色的部分，表示与腹线ANL通过的单位图案区域LT1(参照图13。)重叠的部分，与该重叠部分对应的输出图像上的各坐标与前部摄像机2F的输入图像平面上的坐标(没有形成物体OBJ1的像的区域内的坐标)建立对应。
此外，也可以为，表示投影像PRJ2的虚线区域中、与涂满黑色的部分对应的输出图像上的各坐标与前部摄像机2F的输入图像平面上的坐标(没有形成物体OBJ1的像的区域内的坐标)建立对应，表示投影像PRJ2的虚线区域中、与涂满白色的部分对应的输出图像上的各坐标与左侧部摄像机2L的输入图像平面上的坐标(形成物体OBJ1的像的区域内的坐标)建立对应。
在该情况下，投影像PRJ2与投影像PRJ1同样，如图17(B)所示，将与其伸长方向正交的圆(将左侧部摄像机2L的位置作为波源的波的山以及谷描绘的圆。)的一部分，通过作为其分界线而包括的单位图案区域LT1进行切除。然而，投影像PRJ2为，相邻接的单位图案区域LT1、LT2相互使顶点接触，因此难以断开为条状。此外，单位图案区域LT1分别包括与其伸长方向正交的圆的一部分，因此投影像PRJ2的轮郭也以容易识别、清晰的状态被保存。
此外，投影像PRJ2与投影像PRJ1同样，具有物体OBJ1的高度越高、则向从摄像机远离的方向越更长地伸长，且越从摄像机远离、则越被更大地放大的趋势。然而，单位图案区域LT1以及LT2均为，越从摄像机远离，则以与该投影像PRJ2相同的程度，越被更大地放大，因此投影像PRJ2的切除状态也被维持为几乎均匀。
图18是表示图16所示的输出图像部分R12与对图16的输出图像部分R12应用了格子花纹的情况下的输出图像部分R13之间的不同的对比图，图18的左图表示图16所示的输出图像部分R12，图18的右图表示应用了格子花纹的输出图像部分R13。
包括基于左侧部摄像机2L的输入图像部分R10的输出图像上的区域与基于前部摄像机2F的输入图像部分R11的输出图像上的区域之间的边界线在内的图18左图的输出图像部分R12，提示人物消失的状态。然而，基于左侧部摄像机2L的输入图像部分R10的输出图像上的区域和基于前部摄像机2F的输入图像部分R11的输出图像上的区域成为格子花纹而混和存在的图18右图的输出图像部分R13，提示不使人物消失而使该人物容易识别的状态。因此，对包括该输出图像部分R13的输出图像进行观察的操作者，能够可靠地识别该人物的存在。
通过以上的构成，图像生成装置100通过利用格子花纹，能够防止在生成与两个摄像机各自的摄像范围的重复区域对应的输出图像部分时处于该输出图像部分的物体消失。因此，与以两个输入图像各自的部分区域被交替配置为梳齿状的方式使两个输入图像对接的情况相比，图像生成装置100能够将其一部分被切除的物体的投影像以操作者更容易识别的状态显示。
此外，在上述实施例中，图像生成装置100使用包括被设定为离路面为距离D1(例如1200mm。)的高度的第一平面区域R1在内的空间模型MD来生成输出图像。这是为了防止，在根据包括料斗部图像在内的输入图像来生成路面图像时该料斗部图像被过大地显示、观察该路面图像的操作者感到不协调。具体地说，通过视点变换处理而生成的路面图像，具有将在实际的三维空间中处于比第一平面区域R1的高度高位置的物体较大地显示，将处于比第一平面区域R1的高度低位置的物体较小地显示的趋势。因此，在通过视点变换处理生成的路面图像中，在使第一平面区域R1的高度为与路面相同的高度的情况下，处于离路面为规定高度(料斗部高度)的料斗部62的图像较大地显示为所需程度以上。另一方面，通过视点变换处理生成的路面图像，在使第一平面区域R1的高度为与料斗部高度相同的高度的情况下，能够使料斗部图像较大地显示为所需程度以上。
然而，当通过使用空间模型MD而将处于比料斗部高度低的位置的找平部63的图像(以下，称为“找平部图像”。)较小地显示时，对包括料斗部图像以及找平部图像在内的输出图像进行观察的操作者，有可能感到不协调。这是因为，伸长状态的找平部63的宽度虽然在实际上比全开状态的料斗部62的宽度更大(参照图2(B)。)，但如图10所示，在输出图像中，相比料斗部图像的宽度找平部图像的宽度被较小地显示。
因此，图像生成装置100通过对空间模型MD的构成进行变更，来防止料斗部图像被过大地显示，并且防止找平部63的图像被过小地显示。即，图像生成装置100通过对空间模型MD的构成进行变更，由此能够以输出图像的料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的料斗部62的宽度与找平部63的宽度之间的大小关系相匹配的方式，生成输出图像。
图19是表示以料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的大小关系相匹配的方式变更其构成的空间模型MDA的图，与图3对应。图19(A)表示从左侧方观察沥青滚平机60时的沥青滚平机60与空间模型MDA之间的关系，图19(B)表示从上方观察沥青滚平机60时的沥青滚平机60与空间模型MDA之间的关系，图19(C)表示从后方观察沥青滚平机60时的沥青滚平机60与空间模型MDA之间的关系。
如图19(A)～图19(C)所示，空间模型MDA具有料斗部平面区域R1a、找平部平面区域R1b、连接面区域R1c以及第二平面区域R2。此外，第二平面区域R2与空间模型MD的第二平面区域R2相同。
料斗部平面区域R1a是与料斗部62的位置对应且被设定于比路面更高的位置且与路面平行的平面区域。在本实施例中，料斗部平面区域R1a与空间模型MD的第一平面区域R1同样，被设定为离路面为距离D1(例如1200mm。)的高度。
此外，在本实施例中，沥青滚平机60的行进方向上的料斗部平面区域R1a的长度D2与料斗部62的长度几乎相等。然而，料斗部平面区域R1a的长度D2也可以比料斗部62的长度更长。在该情况下，料斗部平面区域R1a也可以以包括牵引部61的一部分的方式向行进方向后方延长。
找平部平面区域R1b是与找平部63的位置对应的、与路面平行的平面区域。在本实施例中，找平部平面区域R1b被设定为与路面相同的高度。其中，找平部平面区域R1b为，只要是比料斗部平面区域R1a低的位置，也可以设定于比路面更高的位置。此外，找平部平面区域R1b也可以设定于比路面低的位置。
此外，在本实施例中，沥青滚平机60的行进方向上的找平部平面区域R1b的长度D3与找平部63的长度几乎相等。然而，找平部平面区域R1b的长度D3也可以比找平部63的长度长。在该情况下，找平部平面区域R1b也可以以包括牵引部61的一部分的方式向行进方向前方延长。
连接面区域R1c是将料斗部平面区域R1a与找平部平面区域R1b连接的面区域。此外，连接面区域R1c离路面的距离，在料斗部平面区域R1a离路面的距离与找平部平面区域R1b离路面的距离之间变化。在本实施例中，连接面区域R1c是将料斗部平面区域R1a与找平部平面区域R1b连接的平面区域。具体地说，连接面区域R1c是使其高度在、被设定为离路面为距离D1的高度的料斗部平面区域R1a、与被设定为路面的高度的找平部平面区域R1b之间按照一定之比例连续地变化的倾斜平面区域。其中，连接面区域R1c也可以以使其高度连续且阶段性变化的方式，由倾斜角度不同的多个倾斜平面构成。或者，连接面区域R1c也可以以使其高度断续且阶段性变化的方式，由与路面平行的多个平面和与路面交叉的多个平面构成。或者，连接面区域R1c也可以由1个或者多个曲面构成，也可以由1个或者多个曲面与1个或者多个平面的组合构成。
图20是表示空间模型MDA与处理对象图像平面之间的关系的一个例子的图，与图4对应。在本实施例中，处理对象图像平面R3A例如是包括空间模型MDA的料斗部平面区域R1a、找平部平面区域R1b以及连接面区域R1c在内的3个平面的组合。
接下来，参照图21以及图22，对使用空间模型MD生成的输出图像与使用空间模型MDA生成的输出图像之间的不同进行说明。
此外，图21表示料斗部62全开时的沥青滚平机60的状态，图21(A)表示实际的沥青滚平机60的俯视图，图21(B)是使用空间模型MDA生成的输出图像，图21(C)是使用空间模型MD生成的输出图像。
此外，图22表示料斗部62全闭时的沥青滚平机60的状态，图22(A)是使用空间模型MDA生成的输出图像，图22(B)是使用空间模型MD生成的输出图像。
此外，图21的虚线区域A62a表示处于全开状态的料斗部62的图像的大小，图21(B)的输出图像和图21(C)的输出图像具有相同的大小。此外，图22的虚线区域A62b表示处于全闭状态的料斗部62的图像的大小，图22(A)的输出图像和图22(B)的输出图像具有相同的大小。此外，图21、图22的料斗部62的图像以不被过大地显示的方式、使用被设定为比路面更高的位置的第一平面区域R1、料斗部平面区域R1a而生成。
此外，图21以及图22的虚线区域A63表示处于伸长状态的找平部63的图像的大小。此外，虚线区域A63在图21(B)的输出图像和图22(A)的输出图像具有相同的大小，在图21(C)的输出图像和图22(B)的输出图像具有相同的大小。
此外，图22(A)以及图22(B)的由点图案表示的区域AS，表示找平部63前方的路面上所撒的敷设前的沥青材料的扩展情况。
此外，对虚线区域A62a、A62b、A63进行划分的虚线以及表示区域AS的点图案，仅是以说明为目的，不在输出图像中显示。
如图21(C)所示，在使用空间模型MD生成的输出图像中，处于伸长状态的找平部63的图像的宽度，被显示为比处于全开状态的料斗部62的图像的宽度更小，显示出与图21(A)所示那样的实际的大小关系不同的大小关系。与此相对，如图21(B)所示，在使用空间模型MDA生成的输出图像中，处于伸长状态的找平部63的图像的宽度，被显示为比处于全开状态的料斗部62的图像的宽度更大，显示出与图21(A)所示那样的实际的大小关系相匹配的大小关系。
同样，如图22(B)所示，在使用空间模型MD生成的输出图像中，处于伸长状态的找平部63的图像的宽度被显示为比处于全闭状态的料斗部62的图像的宽度稍大的程度，显示出与实际的大小关系(未图示。)不同的大小关系。与此相对，如图22(A)所示，在使用空间模型MDA生成的输出图像中，处于伸长状态的找平部63的图像的宽度被显示为比处于全闭状态的料斗部62的图像的宽度显著大，显示出与实际的大小关系相匹配的大小关系。
如此，图像生成装置100通过使用空间模型MDA来生成输出图像，由此除了空间模型MD的效果以外，还能够实现能够使料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的大小关系相匹配的这种追加的效果。此外，图像生成装置100通过使输出图像中的敷设前的沥青材料的扩展情况较大地显示，由此能够实现能够使敷设前的沥青材料的扩展情况的可视性大幅度提高这种追加的效果。作为其结果，图像生成装置100除了沥青滚平机60与处于其周围的物体之间的位置关系以外，还能够将料斗部62的开闭状态、找平部63的伸长状态等沥青滚平机60自身的状态、以及敷设前的沥青材料的扩展情况更容易理解地向操作者进行提示，能够使沥青滚平机60的安全性、操作性进一步提高。此外，“使料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的大小关系相匹配”，包括使料斗部图像的宽度与找平部图像的宽度之比，与实际的料斗部62的宽度与实际的找平部63的宽度之比正确地匹配的情况。此外，料斗部图像的宽度，通过被设定为比路面更高的位置的料斗部平面区域R1a，已经被调整为不会变得过大。
此外，在上述实施例中，图像生成装置100使用包括离路面的距离不同的2个平面区域(料斗部平面区域R1a以及找平部平面区域R1b)的空间模型MDA，使料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的大小关系相匹配。然而，本发明不限定于该构成。例如，图像生成装置100也可以使用仅包括一个与路面平行的平面区域(第一平面区域R1)的空间模型MD、或者使用包括离路面的距离相等的料斗部平面区域R1a以及找平部平面区域R1b的空间模型，使料斗部图像的宽度与找平部图像的宽度之间的大小关系和实际的大小关系相匹配。在这些情况下，图像生成装置100也可以通过对向与路面平行的平面区域投影的找平部图像实施图像变换处理(例如标度变换。)，来将输出图像中的找平部图像进行放大。此外，图像生成装置100在使用空间模型MDA来生成输出图像的情况下，也可以通过对向找平部平面区域R1b投影的找平部图像实施图像变换处理(例如标度变换。)，来将输出图像中的找平部图像进行放大。
以上，对本发明的优选实施例进行了详细说明，但本发明不限定于上述实施例，在不脱离本发明的范围的情况下能够对上述实施例施加各种变形以及置换。
例如，图像生成装置100也可以搭载于使用石油沥青砂胶沥青混合料的石油沥青砂胶沥青滚平机。
此外，本申请主张基于2012年11月8日申请的日本专利申请2012－246578号的优先权，以及2013年4月26日申请的日本专利申请2013－094451号的优先权，通过参照将这些日本专利申请的全部内容援用于本申请中。
符号的说明
1...控制部；2...摄像机；2L...左侧部摄像机；2R..右侧部摄像机；2F..前部摄像机；3...输入部；4...存储部；5...显示部；10...坐标对应建立机构；11...输出图像生成机构；40...输入图像·空间模型对应映射；41...空间模型·处理对象图像对应映射；42...处理对象图像·输出图像对应映射；60...沥青滚平机；61...牵引部；62...料斗部；63...找平部；64...驾驶席；65...操作部。

Claims (14)

1.一种铺装机械用图像生成装置，基于安装于铺装机械的多个摄像机构所摄像的输入图像来生成输出图像，具备：
坐标对应建立机构，将空间模型的坐标与上述输入图像所在的输入图像平面上的坐标建立对应；以及
输出图像生成机构，经由上述空间模型的坐标，将上述输入图像平面上的坐标的值与上述输出图像所在的输出图像平面上的坐标的值建立对应而生成上述输出图像，
上述空间模型包括与路面平行的具有坐标的第一平面区域以及与路面交叉的具有坐标的第二平面区域，
上述第二平面区域被设置在上述铺装机械的行进方向前端，
上述第一平面区域是为了生成路面图像而使用的输入图像投影对象，上述第二平面区域是为了生成远景图像而使用的输入图像投影对象。
2.如权利要求1所述的铺装机械用图像生成装置，其中，
上述坐标对应建立机构，还将成为图像变换处理的对象的处理对象图像所在的处理对象图像平面上的坐标与上述空间模型中的坐标建立对应，
上述输出图像生成机构，经由上述处理对象图像平面上的坐标与上述空间模型中的坐标，将上述输入图像平面上的坐标的值与上述输出图像平面上的坐标的值建立对应，而生成上述输出图像。
3.如权利要求1所述的铺装机械用图像生成装置，其中，
上述铺装机械在行进方向前方具备料斗部，
上述第二平面区域被设定为，在上述料斗部的前端的部位与路面垂直且与行进方向垂直。
4.如权利要求3所述的铺装机械用图像生成装置，其中，
上述第一平面区域被设定为离路面为规定的高度。
5.如权利要求4所述的铺装机械用图像生成装置，其中，
上述铺装机械在行进方向后方具备找平部，
上述多个摄像机构的摄像范围是包括上述料斗部的全部以及上述找平部的左右端在内的、上述铺装机械的周边的连续的区域。
6.一种铺装机械用操作支援系统，是对铺装机械的移动或者操作进行支援的操作支援系统，其特征在于，具备：
权利要求1所述的铺装机械用图像生成装置；以及
显示部，设置在用于使上述铺装机械移动或者对其进行操作的操作部的周边，显示该铺装机械用图像生成装置生成的输出图像。
7.一种铺装机械用图像生成装置，基于安装于具备料斗部以及找平部的铺装机械的多个摄像机构所摄像的输入图像来生成输出图像，具备：
坐标对应建立机构，将配置在上述铺装机械周围的空间模型的坐标与上述输入图像所在的输入图像平面上的坐标建立对应；以及
输出图像生成机构，经由上述空间模型的坐标，将上述输入图像平面上的坐标的值与上述输出图像所在的输出图像平面上的坐标的值建立对应而生成上述输出图像，
上述空间模型包括与上述料斗部的位置对应且设置于比路面更高的位置的与路面平行的料斗部平面区域，
上述输出图像生成机构，使上述输出图像中的上述料斗部的图像与上述找平部的图像之间的大小关系，与实际的上述料斗部与上述找平部之间的大小关系相匹配。
8.如权利要求7所述的铺装机械用图像生成装置，其中，
上述坐标对应建立机构还将成为图像变换处理的对象的处理对象图像所在的处理对象图像平面上的坐标与上述空间模型中的坐标建立对应，
上述输出图像生成机构，经由上述处理对象图像平面上的坐标与上述空间模型中的坐标，将上述输入图像平面上的坐标的值与上述输出图像平面上的坐标的值建立对应，而生成上述输出图像。
9.如权利要求7所述的铺装机械用图像生成装置，其中，
上述空间模型包括与同上述找平部的位置对应的路面平行的找平部平面区域，
上述料斗部平面区域离路面的距离，比上述找平部平面区域离路面的距离更大。
10.如权利要求9所述的铺装机械用图像生成装置，其中，
上述空间模型包括将上述料斗部平面区域与上述找平部平面区域进行连接的连接面区域，
上述连接面区域离路面的距离，在上述料斗部平面区域离路面的距离与上述找平部平面区域离路面的距离之间变化。
11.如权利要求7所述的铺装机械用图像生成装置，其中，
上述输出图像的上述找平部的图像被放大显示。
12.如权利要求7所述的铺装机械用图像生成装置，其中，
上述空间模型包括被设定为在上述料斗部的前端的部位与路面垂直且与行进方向垂直的其他的平面区域。
13.如权利要求7所述的铺装机械用图像生成装置，其中，
上述多个摄像机构的摄像范围是包括上述料斗部的全部以及上述找平部的左右端在内的上述铺装机械的周边的连续的区域。
14.一种铺装机械用操作支援系统，是对铺装机械的移动或者操作进行支援的操作支援系统，其特征在于，具备：
权利要求7所述的铺装机械用图像生成装置；以及
显示部，设置在用于使上述铺装机械移动或者对其进行操作的操作部的周边，显示该铺装机械用图像生成装置生成的输出图像。
CN201380040773.6A 2012-11-08 2013-09-27 铺装机械用图像生成装置以及铺装机械用操作支援系统 Active CN104520508B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012246577A JP5917371B2 (ja) 2012-11-08 2012-11-08 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2012-246577 2012-11-08
JP2013-094451 2013-04-26
JP2013094451A JP6073182B2 (ja) 2013-04-26 2013-04-26 舗装機械用画像生成装置及び舗装機械用操作支援システム
PCT/JP2013/076196 WO2014073282A1 (ja) 2012-11-08 2013-09-27 舗装機械用画像生成装置及び舗装機械用操作支援システム

Publications (2)

Publication Number Publication Date
CN104520508A CN104520508A (zh) 2015-04-15
CN104520508B true CN104520508B (zh) 2017-06-30

Family

ID=50684399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040773.6A Active CN104520508B (zh) 2012-11-08 2013-09-27 铺装机械用图像生成装置以及铺装机械用操作支援系统

Country Status (4)

Country Link
US (1) US9255364B2 (zh)
EP (1) EP2918725B1 (zh)
CN (1) CN104520508B (zh)
WO (1) WO2014073282A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11338505B2 (en) 2013-06-23 2022-05-24 Robert A. Flitsch Methods and apparatus for mobile additive manufacturing of advanced roadway systems
US9724877B2 (en) 2013-06-23 2017-08-08 Robert A. Flitsch Methods and apparatus for mobile additive manufacturing of advanced structures and roadways
US11707882B2 (en) * 2013-06-23 2023-07-25 Robert A. Flitsch Methods and apparatus for mobile additive manufacturing of advanced roadway systems
US9988772B2 (en) * 2013-06-23 2018-06-05 Robert A. Flitsch Methods and apparatus for mobile additive manufacturing of advanced structures and roadways
EP2982951B1 (de) * 2014-08-05 2018-10-10 Joseph Vögele AG Thermografiemodul für Straßenfertiger
EP2990531A1 (de) 2014-08-27 2016-03-02 Joseph Vögele AG System für Straßenfertiger mit einer Temperaturmessvorrichtung, Verfahren zur Bestimmung eines Abkühlverhaltens und computerlesbares Speichermedium
DE102015002692A1 (de) * 2015-03-04 2016-09-08 Dynapac Gmbh Straßenbaumaschine und Verfahren zum Betreiben einer selbstfahrenden Straßenbaumaschine
US11505902B2 (en) 2015-04-15 2022-11-22 Robert A. Flitsch Methods, materials and apparatus for mobile additive manufacturing of advanced structures and roadways
WO2020036594A1 (en) 2018-08-14 2020-02-20 Flitsch Robert Methods and apparatus for mobile additive manufacturing
EP3106562A1 (en) * 2015-06-19 2016-12-21 TF-Technologies A/S Correction unit
FR3053192A1 (fr) * 2016-06-23 2017-12-29 Orange Procede de transmission d'un signal numerique pour un systeme a au moins un relais half-duplex dynamique a logique selective, produit programme et dispositif relais correspondants
EP3276079B1 (en) 2016-07-26 2021-07-14 Caterpillar Paving Products Inc. Control system for a road paver
EP3543402A1 (de) * 2018-03-19 2019-09-25 Joseph Vögele AG Baumaschine zum erstellen oder bearbeiten einer strasse
US10407844B1 (en) 2018-04-23 2019-09-10 Caterpillar Paving Products Inc. Material feed system for a paving machine
CN112488913A (zh) * 2020-11-27 2021-03-12 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5354148A (en) * 1991-10-01 1994-10-11 Colas Apparatus for spreading a bonding emulsion, or similar fluids, and road-building machine
JP2007262868A (ja) * 2006-03-30 2007-10-11 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械への舗装材供給装置
JP2009019353A (ja) * 2007-07-10 2009-01-29 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械の運転者支援装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077368Y2 (ja) * 1990-11-13 1995-02-22 株式会社新潟鐵工所 アスファルトフィニッシャにおける施工監視装置
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
EP2259220A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Method and apparatus for displaying image
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
JP4899340B2 (ja) * 2004-08-02 2012-03-21 日産自動車株式会社 運転感覚調整装置及び運転感覚調整方法
EP1850595B1 (en) * 2005-02-15 2016-07-13 Panasonic Intellectual Property Management Co., Ltd. Periphery supervising device, and periphery supervising method
JP4606336B2 (ja) * 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
US8050458B2 (en) * 2007-06-18 2011-11-01 Honda Elesys Co., Ltd. Frontal view imaging and control device installed on movable object
EP2006448A1 (de) * 2007-06-21 2008-12-24 Leica Geosystems AG Einbauzug zum erstellen einer Belagschicht aus Beton- oder Asphalt-Material
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5128566B2 (ja) * 2009-09-28 2013-01-23 住友重機械工業株式会社 周囲画像提示装置及び操作支援システム
JP5483997B2 (ja) * 2009-10-28 2014-05-07 本田技研工業株式会社 脚式移動ロボットの制御装置
JP5362639B2 (ja) 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
US8730233B2 (en) * 2010-04-19 2014-05-20 Caterpillar Inc. Mesh estimation of terrain
CN102182137A (zh) * 2011-02-25 2011-09-14 广州飒特电力红外技术有限公司 路面缺陷检测系统及方法
EP2562309B1 (de) * 2011-08-22 2014-04-02 Joseph Vögele AG Straßenfertiger mit Messvorrichtung
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5354148A (en) * 1991-10-01 1994-10-11 Colas Apparatus for spreading a bonding emulsion, or similar fluids, and road-building machine
JP2007262868A (ja) * 2006-03-30 2007-10-11 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械への舗装材供給装置
JP2009019353A (ja) * 2007-07-10 2009-01-29 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 舗装機械の運転者支援装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Also Published As

Publication number Publication date
CN104520508A (zh) 2015-04-15
US9255364B2 (en) 2016-02-09
EP2918725A4 (en) 2015-11-11
EP2918725A1 (en) 2015-09-16
WO2014073282A1 (ja) 2014-05-15
US20150197900A1 (en) 2015-07-16
EP2918725B1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
CN104520508B (zh) 铺装机械用图像生成装置以及铺装机械用操作支援系统
JP6029306B2 (ja) 作業機械用周辺監視装置
CN102792334B (zh) 图像生成装置及操作支持系统
JP5497617B2 (ja) 画像生成装置及び操作支援システム
CN104508205B (zh) 铺装机械用图像生成装置以及铺装机械用操作支援系统
CN105474636B (zh) 作业机械的周边监视装置
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6321977B2 (ja) 重機用周辺監視装置
KR20130018868A (ko) 화상생성장치 및 조작지원 시스템
JP2018017115A (ja) ショベル
JP6073182B2 (ja) 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP6378801B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6873889B2 (ja) ショベル及びショベルの周囲画像生成装置
JP5917371B2 (ja) 舗装機械用画像生成装置及び舗装機械用操作支援システム
JP2014224411A (ja) 作業機械用周辺監視装置
JP2019004484A (ja) ショベル
JP6355298B2 (ja) 画像生成装置及びショベル
JP6246185B2 (ja) ショベル
JP7009327B2 (ja) ショベル
JP2020002773A (ja) ショベル及びショベルの周囲画像生成装置
JP2013145470A (ja) 画像生成装置及び操作支援システム
JP2014123955A (ja) ショベル

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant