CN104067144A - 施工机械用周边监控装置 - Google Patents

施工机械用周边监控装置 Download PDF

Info

Publication number
CN104067144A
CN104067144A CN201380006337.7A CN201380006337A CN104067144A CN 104067144 A CN104067144 A CN 104067144A CN 201380006337 A CN201380006337 A CN 201380006337A CN 104067144 A CN104067144 A CN 104067144A
Authority
CN
China
Prior art keywords
coordinate
image
plane
range image
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380006337.7A
Other languages
English (en)
Other versions
CN104067144B (zh
Inventor
泉川岳哉
清田芳永
相泽晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd, Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN104067144A publication Critical patent/CN104067144A/zh
Application granted granted Critical
Publication of CN104067144B publication Critical patent/CN104067144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明提供一种施工机械用周边监控装置。本发明的实施例所涉及的挖土机(60)具备作为施工机械用周边监控装置的图像生成装置(100)，其根据安装于上部回转体(63)的距离图像传感器(6)所拍摄的输入距离图像生成输出距离图像。图像生成装置(100)将输入距离图像所在的输入距离图像平面上的坐标与输出距离图像所在的输出距离图像平面上的坐标建立对应。

Description

施工机械用周边监控装置
技术领域
本发明涉及一种利用距离图像传感器所获取的二维排列的距离信息生成输出图像的施工机械用周边监控装置。
背景技术
以往已知有如下周围监控装置，其使用安装于挖土机的上部回转体的激光雷达，获取在挖土机周围存在的物体相对于挖土机的距离及方向的同时，对周围进行监控(例如参考专利文献1)。
该周围监控装置，当物体相对于挖土机的距离及方向在规定时间内未发生变化时，判定该物体为静止障碍物，当距离及方向发生变化时，判定该物体为移动障碍物。在此基础上，周围监控装置生成从上空观察挖土机及其周围的插图图像，在与障碍物的实际存在位置对应的插图图像上的位置显示表示该障碍物的插图。并且，周围监控装置将静止障碍物和移动障碍物以不同方式的插图进行显示。
如此一来，周围监控装置能够将挖土机周围的障碍物的状况通俗易懂地传达给驾驶员。
以往技术文献
专利文献
专利文献1：日本特开2008-163719号公报
发明的概要
发明要解决的技术课题
然而，专利文献1中所记载的激光雷达用于对物体照射1条激光，并由其反射光检测物体的距离及方向。因此，专利文献1中所记载的激光雷达只是检测物体表面极其有限的部分与本身之间的距离，其检测结果只是用于粗略决定表示物体的插图的位置。因此，专利文献1中所记载的周围监控装置所提示的输出图像不足以将挖土机周围的障碍物的状况通俗易懂地传达给驾驶员。
鉴于上述问题点，本发明的目的在于提供一种能够将周围物体的状况通俗易懂地传达给操作人员的施工机械用周边监控装置。
用于解决技术课题的手段
为了实现上述目的，本发明的实施例所涉及的施工机械用周边监控装置，其根据安装于施工机械上的距离图像传感器所拍摄的输入距离图像生成输出距离图像，其中，施工机械用周边监控装置将所述输入距离图像所在的输入距离图像平面上的坐标与所述输出距离图像所在的输出距离图像平面上的坐标建立对应。
发明效果
通过上述机构，本发明可以提供一种能够将周围物体的状况通俗易懂地传达给操作人员的施工机械用周边监控装置。
附图说明
图1是概略地表示本发明的实施例所涉及的图像生成装置的结构例的框图。
图2是表示搭载有图像生成装置的挖土机的结构例的图。
图3是表示投影有输入图像的空间模型的一例的图。
图4是表示空间模型与处理对象图像平面之间的关系的一例的图。
图5是用于说明将输入图像平面上的坐标与空间模型上的坐标之间建立对应的图。
图6是用于说明基于坐标对应建立机构的坐标间的对应建立的图。
图7是用于说明平行线组的作用的图。
图8是用于说明辅助线组的作用的图。
图9是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。
图10是输出图像的显示例(其1)。
图11是搭载有图像生成装置的挖土机的顶视图(其1)。
图12是表示搭载于挖土机的3台摄像机各自的输入图像和利用这些输入图像而生成的输出图像的图。
图13是用于说明防止2个摄像机各自的拍摄范围的重叠区域中的物体消失的图像消失防止处理的图。
图14是表示图12所示的输出图像与通过对图12的输出图像适用图像消失防止处理而得到的输出图像的差异的对比图。
图15是表示搭载于挖土机的3台距离图像传感器各自的输入距离图像和利用这些输入距离图像而生成的输出距离图像的图。
图16是表示图15所示的输出距离图像与通过对图15的输出距离图像适用距离图像消失防止处理而得到的输出距离图像的差异的对比图。
图17是表示在输出图像上合成输出距离图像而得到的合成后输出图像的一例的图。
图18是表示在输出图像上合成输出距离图像而得到的合成后输出图像的另一例的图。
图19是搭载有图像生成装置的挖土机的顶视图(其2)。
具体实施方式
以下，参考附图对用于实施本发明的最佳方式进行说明。
图1是概略地表示本发明的实施例所涉及的图像生成装置100的结构例的框图。
图像生成装置100为对施工机械的周边进行监控的施工机械用周边监控装置的一例，由控制部1、摄像机2、输入部3、存储部4、显示部5及距离图像传感器6构成。具体而言，图像生成装置100根据由搭载于施工机械的摄像机2所拍摄的输入图像和由距离图像传感器6所拍摄的后述的输入距离图像生成输出图像并将该输出图像提示给操作人员。
图2是表示搭载有图像生成装置100的作为施工机械的挖土机60的结构例的图，挖土机60在履带式的下部行走体61之上经由回转机构62绕回转轴PV回转自如地搭载有上部回转体63。
并且，上部回转体63在其前方左侧部具备操纵室(驾驶室)64，在其前方中央部具备挖掘装置E，在其右侧面及后面具备摄像机2(右侧方摄像机2R、后方摄像机2B)及距离图像传感器6(右侧方距离图像传感器6R、后方距离图像传感器6B)。另外，在操纵室64内的操作人员容易辨识的位置上设有显示部5。
接着，对图像生成装置100的各构成要件进行说明。
控制部1为具备CPU(Central Processing Unit)、RAM(RandomAccess Memory)、ROM(Read Only Memory)、NVRAM(Non-VolatileRandom Access Memory)等的计算机。在本实施例中，控制部1将分别与例如后述的坐标对应建立机构10、图像生成机构11及距离图像合成机构12对应的程序存储在ROM和NVRAM中，利用RAM作为临时存储区域，同时使CPU执行与各机构对应的处理。
摄像机2为用于获取映出挖土机60周围的输入图像的装置。在本实施例中，摄像机2为例如为了能够拍摄到成为在操纵室64中的操作人员的死角的区域而安装于上部回转体63的右侧面及后面的右侧方摄像机2R及后方摄像机2B(参考图2)。并且，摄像机2具备CCD(ChargeCoupled Device)和CMOS(Complementary Metal OxideSemiconductor)等摄像元件。另外，摄像机2可以安装于上部回转体63的右侧面及后面以外的位置(例如前面及左侧面)，也可以安装广角透镜或鱼眼透镜，以便能够拍摄宽广范围。
并且，摄像机2根据来自控制部1的控制信号获取输入图像，并对控制部1输出所获取的输入图像。另外，当使用鱼眼透镜或广角透镜获取输入图像时，摄像机2对控制部1输出对因使用这些透镜而产生的外观上的畸变和歪斜进行修正的修正完的输入图像。并且，摄像机2也可以对控制部1直接输出未对该外观上的畸变和歪斜进行修正的输入图像。此时，控制部1对该外观上的畸变和歪斜进行修正。
输入部3为用于能够由操作人员对图像生成装置100输入各种信息的装置，例如为触控面板、按钮开关、指针设备、键盘等。
存储部4为用于存储各种信息的装置，例如为硬盘、光盘或半导体存储器等。
显示部5为用于显示图像信息的装置，例如为在挖土机60的操纵室64(参考图2)内设置的液晶显示器或投影仪等，对控制部1所输出的各种图像进行显示。
距离图像传感器6为用于获取在挖土机60周围存在的物体的距离信息的二维排列的装置。在本实施例中，距离图像传感器6例如为了能够拍摄到成为在操纵室64内的操作人员的死角的区域而安装于上部回转体63的右侧面及后面(参考图2)。另外，距离图像传感器6也可以安装于上部回转体63的前面、左侧面、右侧面及后面中的任意1个部位，还可以安装于所有的面上。
摄像机2对每一像素获取亮度、色调值、彩度值等，相对于此，距离图像传感器6为对每一像素获取距离信息的传感器，例如由投光用LED、受光用CCD构成。具体而言，距离图像传感器6采用TOF(Time OfFlight)方式，通过计量由物体反射从投光用LED发出的近红外光并由受光用CCD接受该反射光为止的时间而对每一像素获取距离信息。因此，以下，为了与摄像机2的输入图像、输出图像对比，将由距离图像传感器6获取的二维排列的距离信息称为输入距离图像、输出距离图像。另外，距离图像传感器6也可以采用图案投影方式等其他方式。并且，距离图像传感器6的输入距离图像、输出距离图像的分辨率(像素数)可以与摄像机2的输入图像、输出图像中的分辨率相同，也可以不同。并且，摄像机2的输入图像、输出图像中的1个或多个像素与距离图像传感器6的输入距离图像、输出距离图像中的1个或多个像素可以预先建立对应。
并且，距离图像传感器6可以与摄像机2同样地安装于上部回转体63的右侧面及后面以外的位置(例如为前面及左侧面)，也可以安装广角透镜或鱼眼透镜，以便能够拍摄宽广范围。
并且，距离图像传感器6与摄像机2同样地根据来自控制部1的控制信号获取输入距离图像，并对控制部1输出所获取的输入距离图像。另外，当距离图像传感器6与摄像机2同样地使用鱼眼透镜或广角透镜来获取输入距离图像时，对控制部1输出对因使用这些透镜而产生的外观上的畸变和歪斜进行修正的修正完的输入距离图像。并且，距离图像传感器6也可以对控制部1原样地输出未对该外观上的畸变和歪斜进行修正的输入距离图像。此时，控制部1对该外观上的畸变和歪斜进行修正。
并且，图像生成装置100也可以根据输入图像生成处理对象图像并对该处理对象图像实施图像变换处理，从而生成如能够使操作人员直观地掌握与周围物体的位置关系和距离感的输出图像之后，将该输出图像提示给操作人员。
图像生成装置100对输入距离图像也进行同样的处理。此时，将“处理对象图像”改称作“处理对象距离图像”。在以下记载中也相同。
“处理对象图像”为根据输入图像生成的、成为图像变换处理(例如标度变换处理、仿射变换处理、畸变变换处理、视点变换处理等)的对象的图像。具体而言，“处理对象图像”为例如由从上方拍摄地表的摄像机拍摄的输入图像即通过其宽广的像角而包含水平方向的图像(例如空的部分)的输入图像生成的、适合于图像变换处理的图像。更具体而言，通过以该水平方向的图像不会被不自然地显示的方式(例如以空的部分不会被处理成为在地表的部分的方式)将该输入图像投影于规定的空间模型之后，将投影于该空间模型的投影图像再投影于其他二维平面来生成。另外，处理对象图像也可以不实施图像变换处理，而是原样地作为输出图像而使用。
“空间模型”为输入图像的投影对象。具体而言，“空间模型”由至少包含处理对象图像所在的平面即处理对象图像平面以外的平面或曲面的、一个或多个平面或曲面构成。处理对象图像所在的平面即处理对象图像平面以外的平面或曲面例如为与处理对象图像平面平行的平面，或在与处理对象图像平面之间形成角度的平面或曲面。
另外，图像生成装置100也可以不生成处理对象图像，而是通过对投影于该空间模型的投影图像实施图像变换处理来生成输出图像。并且，投影图像也可以不实施图像变换处理，而是原样地作为输出图像而使用。
图3是表示投影有输入图像的空间模型MD的一例的图，图3的左图表示从侧方观察挖土机60时挖土机60与空间模型MD之间的关系，图3右图表示从上方观察挖土机60时挖土机60与空间模型MD之间的关系。
如图3所示，空间模型MD具有半圆筒形状，并具有其底面内侧的平面区域R1和其侧面内侧的曲面区域R2。
并且，图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图，处理对象图像平面R3为例如包含空间模型MD的平面区域R1的平面。另外，为了明确化，图4中并非用如图3所示的半圆筒形状而是用圆筒形状示出空间模型MD，但空间模型MD可以为半圆筒形状及圆筒形状中的任一形状。在以后的附图中也相同。并且，如上所述，处理对象图像平面R3可以为包含空间模型MD的平面区域R1的圆形区域，也可以为不包含空间模型MD的平面区域R1的环状区域。
接着，对控制部1所具有的各种机构进行说明。
坐标对应建立机构10为用于将摄像机2所拍摄的输入图像所在的输入图像平面上的坐标、空间模型MD上的坐标及处理对象图像平面R3上的坐标建立对应的机构。在本实施例中，坐标对应建立机构10例如根据预先设定的或者经由输入部3输入的与摄像机2相关的各种参数与预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互位置关系，将输入图像平面上的坐标、空间模型MD上的坐标及处理对象图像平面R3上的坐标建立对应。另外，与摄像机2相关的各种参数例如为摄像机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等。而且，坐标对应建立机构10将它们的对应关系存储于存储部4的输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41中。
另外，当不生成处理对象图像时，坐标对应建立机构10省略空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应建立、及将该对应关系向空间模型/处理对象图像对应映射表41中的存储。
并且，坐标对应建立机构10对距离图像传感器所拍摄的输入距离图像也进行同样的处理。此时，将摄像机、输入图像平面、处理对象图像平面改称作距离图像传感器、输入距离图像平面、处理对象距离图像平面。在以下记载中也相同。
图像生成机构11为用于生成输出图像的机构。在本实施例中，图像生成机构11例如对处理对象图像实施标度变换、仿射变换或畸变变换，由此将处理对象图像平面R3上的坐标与输出图像所在的输出图像平面上的坐标建立对应。而且，图像生成机构11将该对应关系存储于存储部4的处理对象图像/输出图像对应映射表42中。而且，图像生成机构11一边参考输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。各像素的值例如为亮度值、色调值、彩度值等。
并且，图像生成机构11根据预先设定的或者经由输入部3输入的与假想摄像机相关的各种参数，将处理对象图像平面R3上的坐标与输出图像所在的输出图像平面上的坐标建立对应。另外，与假想摄像机相关的各种参数例如为假想摄像机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等。而且，图像生成机构11将该对应关系存储于存储部4的处理对象图像/输出图像对应映射表42中。而且，图像生成机构11一边参考输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。
另外，图像生成机构11也可以不利用假想摄像机的概念，而是变更处理对象图像的标度来生成输出图像。
并且，当不生成处理对象图像时，图像生成机构11根据所实施的图像变换处理，将空间模型MD上的坐标与输出图像平面上的坐标建立对应。而且，图像生成机构11一边参考输入图像/空间模型对应映射表40一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。此时，图像生成机构11省略处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、及将该对应关系向处理对象图像/输出图像对应映射表42中的存储。
并且，图像生成机构11对输入距离图像或处理对象距离图像也进行同样的处理。此时，将输出图像平面改称作输出距离图像平面。在以下记载中也相同。
距离图像合成机构12为用于将与摄像机相关的图像和与距离图像传感器相关的图像进行合成的机构。例如，距离图像合成机构12将图像生成机构11所生成的、基于摄像机2的输入图像的输出图像和基于距离图像传感器6的输入距离图像的输出距离图像进行合成。另外，关于距离图像合成机构12的详细内容，将进行后述。
接着，对由坐标对应建立机构10及图像生成机构11进行的具体处理的一例进行说明。
坐标对应建立机构10例如能够使用哈密尔顿的四元数，将输入图像平面上的坐标与空间模型上的坐标建立对应。
图5是用于说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。摄像机2的输入图像平面表示为将摄像机2的光学中心C作为原点的UVW正交坐标系中的一平面。空间模型表示为XYZ正交坐标系中的立体面。
首先，坐标对应建立机构10在将XYZ坐标系的原点作为光学中心C(UVW坐标系的原点)平移之后，为了使X轴与U轴、Y轴与V轴、Z轴与-W轴一致而使XYZ坐标系旋转。这是为了将空间模型上的坐标(XYZ坐标系上的坐标)变换成输入图像平面上的坐标(UVW坐标系上的坐标)。另外，“-W轴”的符号“-”是指Z轴的方向与-W轴的方向相反。这是因为UVW坐标系将摄像机前方作为+W方向，XYZ坐标系将铅直下方作为-Z方向。
另外，当存在多个摄像机2时，摄像机2分别具有独立的UVW坐标系，因此坐标对应建立机构10使XYZ坐标系分别相对于多个UVW坐标系中的各UVW坐标系平移且旋转。
上述的变换通过以摄像机2的光学中心C成为XYZ坐标系的原点的方式使XYZ坐标系平移之后，以Z轴与-W轴一致的方式旋转，进而以X轴与U轴一致的方式旋转来实现。因此，坐标对应建立机构10能够通过用哈密尔顿的四元数记述该变换来将这些两次旋转汇总成一次旋转运算。
然而，用于使某一矢量A与另一矢量B一致的旋转相当于将矢量A与矢量B展开的面的法线作为轴并旋转矢量A与矢量B所形成的角度的处理。而且，若将该角度设为θ，则根据矢量A与矢量B的内积，角度θ由下式表示。
[数式1]
θ = cos - 1 ( A · B | A | | B | )
并且，矢量A与矢量B展开的面的法线的单位矢量N根据矢量A与矢量B的外积，由下式表示。
[数式2]
N = A × B | A | | B | sin θ
另外，四元数为当将i、j、k分别设为虚数单位时满足下式的超复数，
[数式3]
ii＝jj＝kk＝ijk＝-I
本实施例中，四元数Q由将实成分设为t、纯虚成分设为a、b、c并如下式表示，
[数式4]
Q＝(t；a，b，c)＝t+ai+bj+ck
四元数Q的共轭四元数由下式表示。
[数式5]
Q*＝(t；-a，-b，-c)＝t-ai-bj-ck
四元数Q还能够将实成分t设为0(零)并且由纯虚成分a、b、c表现三维矢量(a，b，c)，并且，能够通过t、a、b、c的各成分来表现以任意矢量为轴的旋转动作。
另外，四元数Q能够综合连续的多次旋转动作而作为一次旋转动作来表现。具体而言，四元数Q能够如下表现例如将任意点S(sx，sy，sz)一边以任意单位矢量C(l，m，n)为轴一边旋转角度θ时的点D(ex，ey，ez)。
[数式6]
D＝(0；ex，ey，ez)＝QSQ*
其中，S＝(0；sx，sy，sz)、 Q = ( cos θ 2 ; l sin θ 2 , m sin θ 2 , n sin θ 2 )
在此，在本实施例中，若将表示使Z轴与-W轴一致的旋转的四元数设为Qz，则XYZ坐标系中的X轴上的点X被移动至点X'，因此点X'由下式表示。
[数式7]
X′＝QzXQz *
并且，在本实施例中，若将表示使连结在X轴上的点X'与原点的线与U轴一致的旋转的四元数设为Qx，则表示“使Z轴与-W轴一致，另外，使X轴与U轴一致的旋转”的四元数R由下式表示。
[数式8]
R＝QxQz
根据以上，用输入图像平面(UVW坐标系)上的坐标表现空间模型(XYZ坐标系)上的任意坐标P时的坐标P'由下式表示。
[数式9]
P′＝RPR*
并且，四元数R在各个摄像机2中不变，因此坐标对应建立机构10以后仅通过执行该运算就能够将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标。
在将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标之后，坐标对应建立机构10对线段CP'和摄像机2的光轴G所形成的入射角α进行计算。另外，线段CP'为连结摄像机2的光学中心C(UVW坐标系上的坐标)与用UVW坐标系表示空间模型上的任意坐标P的坐标P'的线段。
并且，坐标对应建立机构10对与摄像机2的输入图像平面R4(例如CCD面)平行且包含坐标P'的平面H上的偏角φ、及线段EP'的长度进行计算。另外，线段EP'为连结平面H与光轴G的交点E和坐标P'的线段，偏角φ为平面H上的U'轴和线段EP'所形成的角度。
摄像机的光学系统中，像高度h通常成为入射角α及焦点距离f的函数。因此，坐标对应建立机构10选择通常射影(h＝ftanα)、正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等适当的射影方式来计算像高度h。
之后，坐标对应建立机构10将所计算的像高度h通过偏角φ分解成UV坐标系上的U成分及V成分，以相当于输入图像平面R4的每一像素的像素尺寸的数值进行除法运算。由此，坐标对应建立机构10能够将空间模型MD上的坐标P(P')与输入图像平面R4上的坐标建立对应。
另外，若将输入图像平面R4的U轴方向上的每一像素的像素尺寸设为aU，且将输入图像平面R4的V轴方向上的每一像素的像素尺寸设为aV，则与空间模型MD上的坐标P(P')对应的输入图像平面R4上的坐标(u，v)由下式表示。
[数式10]
[数式11]
如此，坐标对应建立机构10将空间模型MD上的坐标与每个摄像机中存在的一个或多个输入图像平面R4上的坐标建立对应，并将空间模型MD上的坐标、摄像机识别码及输入图像平面R4上的坐标建立关联来存储于输入图像/空间模型对应映射表40中。
并且，坐标对应建立机构10使用四元数对坐标的变换进行运算，因此与使用欧拉角对坐标的变换进行运算的情况不同，具有不会产生万向节死锁的优点。然而，坐标对应建立机构10并不限定于使用四元数对坐标的变换进行运算，也可以使用欧拉角对坐标的变换进行运算。
另外，当能够对多个输入图像平面R4上的坐标建立对应时，坐标对应建立机构10可以将空间模型MD上的坐标P(P')与和其入射角α最小的摄像机相关的输入图像平面R4上的坐标建立对应，也可以与操作人员所选择的输入图像平面R4上的坐标建立对应。
接着，对将空间模型MD上的坐标中曲面区域R2上的坐标(具有Z轴方向的成分的坐标)再投影于在XY平面上存在的处理对象图像平面R3的处理进行说明。
图6是用于说明基于坐标对应建立机构10的坐标间的对应建立的图。F6A是作为一例表示采用通常射影(h＝ftanα)的摄像机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。坐标对应建立机构10通过使连结摄像机2的输入图像平面R4上的坐标和与该坐标对应的空间模型MD上的坐标的线段分别通过摄像机2的光学中心C来将两个坐标建立对应。
在F6A的例子中，坐标对应建立机构10将摄像机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，并将摄像机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1-L1及线段K2-L2均通过摄像机2的光学中心C。
另外，当摄像机2采用通常射影以外的射影方式(例如正射影、立体射影、等立体角射影、等距离射影等)时，坐标对应建立机构10根据各个射影方式将摄像机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。
具体而言，坐标对应建立机构10根据规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等)，将输入图像平面上的坐标与空间模型MD上的坐标建立对应。此时，线段K1-L1及线段K2-L2不会通过摄像机2的光学中心C。
F6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。坐标对应建立机构10将作为位于XZ平面上的平行线组PL即在与处理对象图像平面R3之间形成角度β的平行线组PL进行导入。而且，坐标对应建立机构10使空间模型MD的曲面区域R2上的坐标和与该坐标对应的处理对象图像平面R3上的坐标均落在平行线组PL中的一个来将两个坐标建立对应。
在F6B的例子中，坐标对应建立机构10设为空间模型MD的曲面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2落在共同的平行线上来将两个坐标建立对应。
另外，坐标对应建立机构10还能够将空间模型MD的平面区域R1上的坐标与曲面区域R2上的坐标同样地使用平行线组PL而与处理对象图像平面R3上的坐标建立对应。然而，在F6B的例子中，平面区域R1和处理对象图像平面R3成为共同的平面。因此，空间模型MD的平面区域R1上的坐标L1和处理对象图像平面R3上的坐标M1具有相同的坐标值。
如此，坐标对应建立机构10将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应，并将空间模型MD上的坐标及处理对象图像平面R3上的坐标建立关联来存储于空间模型/处理对象图像对应映射表41中。
F6C是表示处理对象图像平面R3上的坐标与作为一例采用通常射影(h＝ftanα)的假想摄像机2V的输出图像平面R5上的坐标之间的对应关系的图。图像生成机构11通过使连结假想摄像机2V的输出图像平面R5上的坐标和与该坐标对应的处理对象图像平面R3上的坐标的线段分别通过假想摄像机2V的光学中心CV来将两个坐标建立对应。
在F6C的例子中，图像生成机构11使假想摄像机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3(空间模型MD的平面区域R1)上的坐标M1建立对应，并使假想摄像机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1-N1及线段M2-N2均通过假想摄像机2V的光学中心CV。
另外，当假想摄像机2V采用通常射影以外的射影方式(例如正射影、立体射影、等立体角射影、等距离射影等)时，图像生成机构11根据各个射影方式使假想摄像机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
具体而言，图像生成机构11根据规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等)，将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。此时，线段M1-N1及线段M2-N2不会通过假想摄像机2V的光学中心CV。
如此，图像生成机构11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，将输出图像平面R5上的坐标及处理对象图像平面R3上的坐标建立关联，并存储于处理对象图像/输出图像对应映射表42中。而且，图像生成机构11一边参考输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联来生成输出图像。
另外，F6D是将F6A～F6C进行组合的图，表示摄像机2、假想摄像机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。
接着，参考图7，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而被坐标对应建立机构10导入的平行线组PL的作用进行说明。
图7左图是在位于XZ平面上的平行线组PL与处理对象图像平面R3之间形成角度β时的图。另一方面，图7右图是在位于XZ平面上的平行线组PL与处理对象图像平面R3之间形成角度β1(β1＞β)时的图。并且，图7左图及图7右图中的空间模型MD的曲面区域R2上的坐标La～Ld的各坐标对应处理对象图像平面R3上的坐标Ma～Md的各坐标。并且，图7左图中的坐标La～Ld彼此的间隔与图7右图中的坐标La～Ld彼此的间隔相等。另外，以说明为目的，假设平行线组PL存在于XZ平面上，但实际上，平行线组PL从Z轴上的所有点以朝向处理对象图像平面R3放射状延伸的方式存在。另外，将此时的Z轴称为“再投影轴”。
如图7左图及图7右图所示，处理对象图像平面R3上的坐标Ma～Md彼此的间隔随着平行线组PL与处理对象图像平面R3之间的角度增大而线性减少。即，空间模型MD的曲面区域R2与坐标Ma～Md的各坐标之间的距离无关地同样减小。另一方面，在图7的例子中，空间模型MD的平面区域R1上的坐标组未进行向处理对象图像平面R3上的坐标组的变换，因此坐标组的间隔不会发生变化。
这些坐标组的间隔的变化意味着，在输出图像平面R5(参考图6)上的图像部分中，只有与投影于空间模型MD的曲面区域R2的图像对应的图像部分才线性放大或缩小。
接着，参考图8，对用于将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而被坐标对应建立机构10导入的平行线组PL的代替例进行说明。
图8左图是位于XZ平面上的所有辅助线组AL从Z轴上的始点T1朝向处理对象图像平面R3延伸时的图。另一方面，图8右图是所有辅助线组AL从Z轴上的始点T2(T2＞T1)朝向处理对象图像平面R3延伸时的图。并且，图8左图及图8右图中的空间模型MD的曲面区域R2上的坐标La～Ld的各坐标对应处理对象图像平面R3上的坐标Ma～Md的各坐标。另外，在图8左图的例子中，坐标Mc、Md处于处理对象图像平面R3的区域外，因此未图示。并且，图8左图中的坐标La～Ld彼此的间隔与图8右图中的坐标La～Ld彼此的间隔相等。另外，以说明为目的，假设辅助线组AL存在于XZ平面上，但实际上，以从Z轴上的任意一点朝向处理对象图像平面R3放射状延伸的方式存在。另外，将此时的Z轴与图7同样地称为“再投影轴”。
如图8左图及图8右图所示，处理对象图像平面R3上的坐标Ma～Md彼此的间隔随着辅助线组AL的始点与原点O之间的距离(高度)增大而非线性减小。即，空间模型MD的曲面区域R2与坐标Ma～Md的各坐标之间的距离越大，彼此的间隔的减小幅度越大。另一方面，在图8的例子中，空间模型MD的平面区域R1上的坐标组未进行向处理对象图像平面R3上的坐标组的变换，因此坐标组的间隔不会发生变化。
意味着，这些坐标组的间隔的变化与平行线组PL时同样，在输出图像平面R5(参考图6)上的图像部分中，只有与投影于空间模型MD的曲面区域R2的图像对应的图像部分才非线性放大或缩小。
如此，图像生成装置100不会影响与投影于空间模型MD的平面区域R1的图像对应的输出图像的图像部分(例如路面图像)，而能够使与投影于空间模型MD的曲面区域R2的图像对应的输出图像的图像部分(例如水平图像)线性或非线性放大或缩小。因此，图像生成装置100不会影响挖土机60附近的路面图像(从正上方观察挖土机60时的假想图像)，而能够使位于挖土机60周围的物体(从挖土机60在水平方向上观察周围时的图像中的物体)迅速且灵活地放大或缩小，从而能够提高挖土机60的死角区域的辨识性。
接着，参考图9，对图像生成装置100生成处理对象图像的处理(以下设为“处理对象图像生成处理”)、及使用所生成的处理对象图像生成输出图像的处理(以下设为“输出图像生成处理”)进行说明。另外，图9是表示处理对象图像生成处理(步骤S1～步骤S3)及输出图像生成处理(步骤S4～步骤S6)的流程的流程图。并且，预先决定摄像机2(输入图像平面R4)、空间模型(平面区域R1及曲面区域R2)及处理对象图像平面R3的配置。
首先，控制部1通过坐标对应建立机构10，将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应(步骤S1)。
具体而言，坐标对应建立机构10获取在平行线组PL与处理对象图像平面R3之间形成的角度。而且，坐标对应建立机构10对从处理对象图像平面R3上的一坐标延伸的平行线组PL的一个平行线与空间模型MD的曲面区域R2交叉的点进行计算。而且，坐标对应建立机构10将与所计算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标而导出，并将其对应关系存储于空间模型/处理对象图像对应映射表41中。另外，在平行线组PL与处理对象图像平面R3之间形成的角度可以为预先存储于存储部4等中的值，也可以为经由输入部3由操作人员动态地输入的值。
并且，当处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致时，坐标对应建立机构10将平面区域R1上的该一坐标作为处理对象图像平面R3上的与该一坐标对应的一坐标而导出，并将其对应关系存储于空间模型/处理对象图像对应映射表41中。
其后，控制部1通过坐标对应建立机构10，将通过上述处理导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应(步骤S2)。
具体而言，坐标对应建立机构10获取采用通常射影(h＝ftanα)的摄像机2的光学中心C的坐标。而且，坐标对应建立机构10对从空间模型MD上的一坐标延伸的线段即通过光学中心C的线段与输入图像平面R4交叉的点进行计算。而且，坐标对应建立机构10将与所计算出的点对应的输入图像平面R4上的坐标作为与空间模型MD上的该一坐标对应的输入图像平面R4上的一坐标而导出，并将其对应关系存储于输入图像/空间模型对应映射表40中。
其后，控制部1判定是否已将处理对象图像平面R3上的所有坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立对应(步骤S3)。而且，当判定为未将所有坐标建立对应时(步骤S3的“否”)，控制部1重复进行步骤S1及步骤S2的处理。
另一方面，当判定为已将所有坐标建立对应时(步骤S3的“是”)，控制部1在使处理对象图像生成处理结束之后，开始输出图像生成处理。而且，控制部1通过图像生成机构11，将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。
具体而言，图像生成机构11通过对处理对象图像实施标度变换、仿射变换或畸变变换来生成输出图像。而且，图像生成机构11将根据所实施的标度变换、仿射变换或畸变变换的内容决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理对象图像/输出图像对应映射表42中。
或者，当使用假想摄像机2V生成输出图像时，图像生成机构11可以根据所采用的射影方式，由处理对象图像平面R3上的坐标计算输出图像平面R5上的坐标，并将其对应关系存储于处理对象图像/输出图像对应映射表42中。
或者，当使用采用通常射影(h＝ftanα)的假想摄像机2V生成输出图像时，图像生成机构11获取该假想摄像机2V的光学中心CV的坐标。而且，图像生成机构11对从输出图像平面R5上的一坐标延伸的线段即通过光学中心CV的线段与处理对象图像平面R3交叉的点进行计算。而且，图像生成机构11将与所计算出的点对应的处理对象图像平面R3上的坐标作为与输出图像平面R5上的该一坐标对应的处理对象图像平面R3上的一坐标而导出。如此，图像生成机构11可以将其对应关系存储于处理对象图像/输出图像对应映射表42中。
其后，控制部1的图像生成机构11参考输入图像/空间模型对应映射表40、空间模型/处理对象图像对应映射表41及处理对象图像/输出图像对应映射表42。而且，图像生成机构11探求输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系。而且，图像生成机构11获取与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标所具有的值(例如亮度值、色调值、彩度值等)，并将该获取的值作为对应的输出图像平面R5上的各坐标的值而采用(步骤S5)。另外，当相对于输出图像平面R5上的一坐标有多个输入图像平面R4上的多个坐标对应时，图像生成机构11可以导出基于这些多个输入图像平面R4上的多个坐标的各坐标值的统计值，并采用该统计值作为输出图像平面R5上的该一坐标的值。统计值例如为平均值、最大值、最小值、中间值等。
其后，控制部1判定是否已将输出图像平面R5上的所有坐标的值与输入图像平面R4上的坐标的值建立对应(步骤S6)。而且，当判定为未将所有坐标的值建立对应时(步骤S6的“否”)，控制部1重复进行步骤S4及步骤S5的处理。
另一方面，当判定为已将所有坐标的值建立对应时(步骤S6的“是”)，控制部1生成输出图像并结束该一系列处理。
另外，当不生成处理对象图像时，图像生成装置100省略处理对象图像生成处理。此时，将输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”替代称作“空间模型上的坐标”。
通过以上结构，图像生成装置100能够生成能够使操作人员直观地掌握挖土机60周围的物体与挖土机60的位置关系的处理对象图像及输出图像。
并且，图像生成装置100以从处理对象图像平面R3经空间模型MD追溯到输入图像平面R4的方式执行坐标的对应建立。由此，图像生成装置100能够使处理对象图像平面R3上的各坐标与输入图像平面R4上的一个或多个坐标可靠地对应。因此，与以从输入图像平面R4经空间模型MD追溯到处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，图像生成装置100能够迅速生成品质更良好的处理对象图像。当以从输入图像平面R4经空间模型MD追溯到处理对象图像平面R3的顺序执行坐标的对应建立时，能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的一个或多个坐标可靠地对应。但是，存在处理对象图像平面R3上的坐标的一部分不与输入图像平面R4上的任一坐标对应的情况，此时需要对这些处理对象图像平面R3上的坐标的一部分实施内插处理等。
并且，当仅将与空间模型MD的曲面区域R2对应的图像放大或缩小时，图像生成装置100仅通过变更在平行线组PL与处理对象图像平面R3之间形成的角度来仅改写空间模型/处理对象图像对应映射表41中的与曲面区域R2关联的部分，而无需改写输入图像/空间模型对应映射表40的内容，就能够实现所希望的放大或缩小。
并且，当变更输出图像的观察方法时，图像生成装置100仅通过变更与标度变换、仿射变换或畸变变换相关的各种参数的值来改写处理对象图像/输出图像对应映射表42，而无需改写输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41的内容，就能够生成所希望的输出图像(标度变换图像、仿射变换图像或畸变变换图像)。
同样地，当变更输出图像的视点时，图像生成装置100仅通过变更假想摄像机2V的各种参数的值来改写处理对象图像/输出图像对应映射表42，而无需改写输入图像/空间模型对应映射表40及空间模型/处理对象图像对应映射表41的内容，就能够生成从所希望的视点观察的输出图像(视点变换图像)。
图10是将使用搭载于挖土机60的两台摄像机2(右侧方摄像机2R及后方摄像机2B)的输入图像生成的输出图像显示在显示部5时的显示例。
图像生成装置100将这两台摄像机2各自的输入图像投影于空间模型MD的平面区域R1及曲面区域R2上之后再投影于处理对象图像平面R3来生成处理对象图像。而且，图像生成装置100通过对该生成的处理对象图像实施图像变换处理(例如标度变换、仿射变换、畸变变换、视点变换处理等)来生成输出图像。如此，图像生成装置100同时显示将从上空俯视挖土机60附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图像(处理对象图像平面R3中的图像)。
另外，当图像生成装置100不生成处理对象图像时，通过对投影于空间模型MD的图像实施图像变换处理(例如视点变换处理)来生成输出图像。
并且，输出图像被修剪成圆形，以便能够将挖土机60进行回转动作时的图像无别扭感地显示，并且生成为该圆的中心CTR在空间模型MD的圆筒中心轴上且处于挖土机60的回转轴PV上。因此，输出图像被显示成根据挖土机60的回转动作将其中心CTR作为轴进行旋转。此时，空间模型MD的圆筒中心轴可以与再投影轴一致，也可以不一致。
另外，空间模型MD的半径为例如5米。并且，平行线组PL在与处理对象图像平面R3之间形成的角度、或辅助线组AL的始点高度能够如下设定：当物体(例如工作人员)存在于从挖土机60的回转中心远离挖掘装置E的最大到达距离(例如12米)的位置时，该物体以足够大的尺寸(例如7毫米以上)显示在显示部5。
另外，输出图像也可以将挖土机60的CG图像配置成，挖土机60的前方与显示部5的画面上方一致且其回转中心与中心CTR一致。这是为了使挖土机60和输出图像中显现的物体之间的位置关系变得更加容易理解。另外，输出图像也可以将包含方位等各种信息的画框图像配置于其周围。
接着，参考图11～图18，对图像生成装置100所生成的输出图像的详细内容进行说明。
图11是表示搭载图像生成装置100的挖土机60的顶视图。在图11所示的实施例中，挖土机60具备3台摄像机2(左侧方摄像机2L、右侧方摄像机2R及后方摄像机2B)及3台距离图像传感器6(左侧方距离图像传感器6L、右侧方距离图像传感器6R及后方距离图像传感器6B)。另外，图11的以单点划线表示的区域CL、CR、CB分别表示左侧方摄像机2L、右侧方摄像机2R、后方摄像机2B的拍摄范围。并且，图11的以点线表示的区域ZL、ZR、ZB分别表示左侧方距离图像传感器6L、右侧方距离图像传感器6R、后方距离图像传感器6B的拍摄范围。
另外，在本实施例中，距离图像传感器6的拍摄范围窄于摄像机2的拍摄范围，但距离图像传感器6的拍摄范围也可以与摄像机2的拍摄范围相同，还可以宽于摄像机2的拍摄范围。并且，距离图像传感器6的拍摄范围在摄像机2的拍摄范围内位于挖土机60附近，但也可以在进一步远离挖土机60的区域。
图12是表示搭载于挖土机60的3台摄像机2各自的输入图像和使用这些输入图像生成的输出图像的图。
图像生成装置100将3台摄像机2各自的输入图像投影于空间模型MD的平面区域R1及曲面区域R2上之后再投影于处理对象图像平面R3来生成处理对象图像。并且，图像生成装置100通过对所生成的处理对象图像实施图像变换处理(例如标度变换、仿射变换、畸变变换、视点变换处理等)来生成输出图像。其结果，图像生成装置100同时显示从上空俯视挖土机60附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图像(处理对象图像平面R3中的图像)。另外，显示在输出图像的中央的图像为挖土机60的CG图像60CG。
在图12中，右侧方摄像机2R的输入图像及后方摄像机2B的输入图像分别在右侧方摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域内捕捉人物(参考右侧方摄像机2R的输入图像中的以双点划线包围的区域R10及后方摄像机2B的输入图像中的以双点划线包围的区域R11)。
然而，若设为输出图像平面上的坐标和与入射角最小的摄像机相关的输入图像平面上的坐标建立对应，则导致输出图像中重叠区域内的人物消失(参考输出图像内的以单点划线包围的区域R12)。
因此，图像生成装置100使后方摄像机2B的输入图像平面上的坐标将被建立对应的区域和右侧方摄像机2R的输入图像平面上的坐标将被建立对应的区域在与重叠区域对应的输出图像部分中混在一起，防止重叠区域内的物体消失。
图13是表示用于说明防止2个摄像机各自的拍摄范围的重叠区域中的物体消失的图像消失防止处理的图。
F13A是表示与右侧方摄像机2R的拍摄范围和后方摄像机2B的拍摄范围的重叠区域对应的输出图像部分的图，对应图12的以点线表示的矩形区域R13。
并且，在F13A中，涂成灰色的区域PR1为配置后方摄像机2B的输入图像部分的图像区域，与区域PR1对应的输出图像平面上的各坐标与后方摄像机2B的输入图像平面上的坐标建立对应。
另一方面，涂成白色的区域PR2为配置右侧方摄像机2R的输入图像部分的图像区域，将与部分PR2对应的输出图像平面上的各坐标与右侧方摄像机2R的输入图像平面上的坐标建立对应。
在本实施例中，区域PR1和区域PR2以形成条纹模样的方式配置，区域PR1和区域PR2以条纹状交替排列的部分的边界线由以挖土机60的回转中心为中心的水平面上的同心圆决定。
F13B是表示挖土机60的右斜后方的空间区域的状况的顶视图，表示通过后方摄像机2B及右侧方摄像机2R双方拍摄的空间区域的目前状况。并且，F13B表示在挖土机60的右斜后方存在棒状的立体物OB的情况。
F13C表示根据用后方摄像机2B及右侧方摄像机2R实际拍摄F13B所示的空间区域而得到的输入图像生成的输出图像的一部分。
具体而言，图像OB1表示后方摄像机2B的输入图像中的立体物OB的图像通过用于生成路面图像的视点变换而在连结后方摄像机2B和立体物OB的线的延长方向上伸长的图像。即，图像OB1为使用后方摄像机2B的输入图像生成输出图像部分中的路面图像时所显示的立体物OB的图像的一部分。
并且，图像OB2是表示右侧方摄像机2R的输入图像中的立体物OB的图像通过用于生成路面图像的视点变换而在连结右侧方摄像机2R和立体物OB的线的延长方向上伸长的图像。即，图像OB2为使用右侧方摄像机2R的输入图像生成输出图像部分中的路面图像时所显示的立体物OB的图像的一部分。
如此，图像生成装置100使后方摄像机2B的输入图像平面上的坐标将被建立对应的区域PR1和右侧方摄像机2R的输入图像平面上的坐标将被建立对应的区域PR2在重叠区域中混在一起。其结果，图像生成装置100将与1个立体物OB相关的2个图像OB1及图像OB2双方显示在输出图像上，防止立体物OB从输出图像中消失。
图14是表示图12的输出图像与通过对图12的输出图像适用图像消失防止处理而得到的输出图像之间的差异的对比图，图14的上图表示图12的输出图像，图14的下图表示适用图像消失防止处理后的输出图像。在图14的上图中的以单点划线包围的区域R12中人物已消失，相对于此，在图14的下图中的以单点划线包围的区域R14中人物没有消失，而是显示在该区域中。
接着，参考图15，对图像生成装置100所生成的输出距离图像进行说明。另外，图15是表示搭载于挖土机60的3台距离图像传感器6各自的输入距离图像和使用这些输入距离图像生成的输出距离图像的图。
图像生成装置100将这3台距离图像传感器6各自的输入距离图像投影于空间模型MD的平面区域R1及曲面区域R2上之后再投影于处理对象距离图像平面R3来生成处理对象距离图像。并且，图像生成装置100通过对所生成的处理对象距离图像实施图像变换处理(例如标度变换、仿射变换、畸变变换、视点变换处理等)来生成输出距离图像。而且，图像生成装置100同时显示从上空俯视挖土机60附近的距离图像(平面区域R1中的距离图像)和从挖土机60在水平方向上观察周围的距离图像(处理对象距离图像平面R3中的距离图像)。另外，显示在输出距离图像的中央的图像为挖土机60的CG图像60CG。
另外，图15的输入距离图像及输出距离图像以像素值(与距离图像传感器6的距离)越小越白(淡)，像素值越大越黑(浓)的方式进行显示。另外，为了提高在挖土机60周围存在的物体的输出距离图像中的辨识性，分别与路面及上部回转体63相当的部分的像素值(距离)被设定为最大值(无限远)。即，分别与路面及上部回转体63相当的部分以黑色表示。
在图15中，右侧方距离图像传感器6R的输入距离图像及后方距离图像传感器6B的输入距离图像分别在右侧方距离图像传感器6R的拍摄范围与后方距离图像传感器6B的拍摄范围的重叠区域内捕捉人物(参考右侧方距离图像传感器6R的输入距离图像中的以双点划线包围的区域R15及后方距离图像传感器6B的输入距离图像中的以双点划线包围的区域R16)。
然而，若设为输出距离图像平面上的坐标和与处于最近位置的距离图像传感器相关的输入距离图像平面上的坐标建立对应，则导致输出距离图像中重叠区域内的人物消失(参考输出距离图像内的以单点划线包围的区域R17)。
因此，图像生成装置100使后方距离图像传感器6B的输入距离图像平面上的坐标及右侧方距离图像传感器6R的输入距离图像平面上的坐标中像素值(距离)较小的坐标与输出距离图像平面上的坐标在与重叠区域对应的输出距离图像部分中建立对应。其结果，图像生成装置100将与1个立体物相关的2个距离图像显示在输出距离图像上，防止立体物从输出距离图像中消失。另外，以下，将防止2个距离图像传感器各自的拍摄范围的重叠区域中的物体消失的处理称为“距离图像消失防止处理”。
图16是表示图15的输出距离图像与通过对图15的输出距离图像适用距离图像消失防止处理而得到的输出距离图像之间的差异的对比图，图16的上图表示图15的输出图像，图16的下图表示适用距离图像消失防止处理后的输出距离图像。在图16的上图中的以单点划线包围的区域R17中，人物已消失，相对于此，在图16的下图中的以单点划线包围的区域R17中，人物没有消失，而是显示在该区域中。
接着，参考图17及图18，对图像生成装置100在输出图像上合成输出距离图像的处理(以下设为“距离图像合成处理”)进行说明。
图17是表示在输出图像上合成输出距离图像而得到的合成后输出图像的一例的图。
图像生成装置100的距离图像合成机构12从例如图16的下图所示的输出距离图像中抽出具有规定值以下的像素值(距离)的像素。而且，距离图像合成机构12将该抽出像素的像素值(距离信息)变换成亮度值、色调值、彩度值等之后，在图14的下图所示的输出图像中重叠显示该抽出像素。重叠显示的抽出像素例如具有和与距离图像传感器6的距离相应的颜色，随着该距离的增大，按红色、黄色、绿色、蓝色阶段性地或非阶段性地改变其颜色。另外，重叠显示的抽出像素可以具有和与距离图像传感器6的距离相应的亮度，随着距离的增大，其亮度阶段性或非阶段性地减小。图17的区域EX1～EX5为由这些抽出像素形成的区域，以下称为物体区域。
并且，距离图像合成机构12也可以将由规定数以上的相邻的抽出像素形成的物体区域EX1～EX5的距离信息重叠显示在输出图像上。具体而言，距离图像合成机构12例如将构成物体区域EX1的像素的像素值(距离)的最小值、最大值、平均值、中间值等作为表示至物体区域EX1为止的距离的代表值而重叠显示在输出图像上。另外，距离图像合成机构12也可以仅在该代表值为低于规定值时将该代表值重叠显示在输出图像上。这是为了更容易识别比较靠近挖土机60的物体即接触可能性比较高的物体。
图18是表示在输出图像上合成输出距离图像而得到的合成后输出图像的另一例的图。
在图18中，距离图像合成机构12重叠显示分别与图17的物体区域EX1～EX5对应的框RF1～RF5，来代替将抽出像素的颜色和亮度进行变更来重叠显示。另外，框的线种类包含点线、实线、虚线、单点划线等，是任意的，框的形状包含矩形、圆形、椭圆形、多边形，也是任意的。
并且，距离图像合成机构12也可以将分别与框RF1～RF5对应的距离信息重叠显示在输出图像上。具体而言，距离图像合成机构12例如将构成与框RF1对应的物体区域EX1的像素的像素值(距离)的最小值、最大值、平均值、中间值等作为与框RF1对应的距离的代表值来重叠显示在输出图像上。另外，距离图像合成机构12也可以仅在该代表值低于规定值时将该代表值重叠显示在输出图像上。这是为了更容易识别比较靠近挖土机60的物体即接触可能性比较高的物体。
并且，距离图像合成机构12可以根据对应的距离信息改变框的颜色。具体而言，距离图像合成机构12随着该距离的增大，按红色、黄色、绿色、蓝色阶段性或非阶段性地改变框的颜色。另外，距离图像合成机构12也可以随着距离的增大，使框的亮度阶段性或非阶段性地减小。
通过观察如上述的合成后输出图像，挖土机60的操作人员能够更容易识别在挖土机60周围存在的物体的位置及至该物体为止的距离。并且，挖土机60的操作人员能够更容易识别在由操作人员来看成为死角的区域内存在的物体的位置、及至该物体为止的距离。
通过以上结构，图像生成装置100将根据距离图像传感器6所拍摄的输入距离图像而生成的输出距离图像合成在、根据摄像机2所拍摄的输入图像而生成的输出图像上。因此，图像生成装置100能够以比较高的分辨度测定至在挖土机60周围的比较宽广范围内存在的各物体为止的距离。其结果，图像生成装置100能够生成可靠性较高的合成后输出图像。
并且，摄像机2及距离图像传感器6配置成，各自的拍摄范围环绕挖土机60的周围。因此，图像生成装置100能够生成表示从上空观察挖土机60周围时的状态的合成后输出图像。其结果，挖土机60的操作人员能够更容易识别在挖土机60周围存在的物体的位置及至该物体为止的距离。
并且，图像生成装置100对处理对象距离图像实施与对处理对象图像实施的图像变换处理相同的图像变换处理。因此，图像生成装置100能够将输出图像平面上的坐标与输出距离图像平面上的坐标轻松地建立对应。
并且，图像生成装置100根据与距离图像传感器6的距离即与挖土机60的距离，阶段性或非阶段性地改变抽出像素或框的颜色。因此，挖土机60的操作人员能够感性判断有无接触危险。
接着，参考图19，对距离图像传感器6的另一配置例进行说明。另外，图19是挖土机60的顶视图，对应图11。
在图19所示的实施例中，挖土机60具备3台摄像机2(左侧方摄像机2L、右侧方摄像机2R及后方摄像机2B)及6台距离图像传感器6(第1左侧方距离图像传感器6L1、第2左侧方距离图像传感器6L2、第1右侧方距离图像传感器6R1、第2右侧方距离图像传感器6R2、第1后方距离图像传感器6B1及第2后方距离图像传感器6B2)。另外，图19的以单点划线表示的区域CL、CR、CB分别表示左侧方摄像机2L、右侧方摄像机2R、后方摄像机2B的拍摄范围。并且，图19的以点线表示的区域ZL1、ZL2、ZR1、ZR2、ZB1、ZB2分别表示第1左侧方距离图像传感器6L1、第2左侧方距离图像传感器6L2、第1右侧方距离图像传感器6R1、第2右侧方距离图像传感器6R2、第1后方距离图像传感器6B1、第2后方距离图像传感器6B2的拍摄范围。
如图19所示，距离图像传感器6L1、6L2、6R1、6R2、6B1、6B2的像角窄于图11的距离图像传感器的像角。因此，无法由1台距离图像传感器的拍摄范围有效地覆盖所对应的摄像机的拍摄范围。
因此，图19的结构中，通过在摄像机的两侧各安装1个距离图像传感器，能够由两个距离图像传感器的拍摄范围有效地覆盖所对应的1个摄像机的拍摄范围。另外，也可以在所对应的1个摄像机的周围安装3个以上距离图像传感器。
通过距离图像传感器6的该配置，图像生成装置100即使在距离图像传感器6的像角窄于摄像机2的像角的情况下，也能够生成与使用图11所示的结构时即距离图像传感器的像角与摄像机的像角大致相等时同样的合成后输出图像。另外，距离图像传感器6的该配置也不会对搭载性和美观带来恶劣影响。
以上，对本发明的优选实施例进行了详细说明，但本发明不限于上述实施例，在不脱离本发明的范围的情况下能够对上述实施例施加各种变形及替换。
例如，在上述实施例中，图像生成装置100采用圆筒状的空间模型MD作为空间模型，但也可以采用具有多棱柱等其他柱状形状的空间模型，也可以采用由底面及侧面这两个面构成的空间模型，或者也可以采用仅具有侧面的空间模型。
并且，图像生成装置100与摄像机及距离图像传感器一同搭载于具备铲斗、斗杆、动臂、回转机构等可动部件并且自行的挖土机上。而且，图像生成装置100构成将周围图像提示给其操作人员并且支援该挖土机的移动及这些可动部件的操作的操作支援系统。然而，图像生成装置100也可以与摄像机及距离图像传感器一同搭载于如叉车、沥青滚平机等不具有回转机构的施工机械上。或者，图像生成装置100还可以与摄像机及距离图像传感器一同搭载于如产业用机械或固定式起重机等具有可动部件但不自行的施工机械上。而且，图像生成装置100也可以构成支援这些施工机械的操作的操作支援系统。
并且，在上述实施例中，距离图像合成机构12在生成输出距离图像之后，将所生成的输出距离图像合成在输出图像上。然而，本发明并不限定于此。距离图像合成机构12例如也可以将输入图像和输入距离图像进行合成来生成合成后输入图像，并生成重叠显示有与距离图像相关的信息的合成后处理对象图像之后，生成合成后输出图像。并且，距离图像合成机构12例如也可以在将处理对象图像和处理对象距离图像进行合成来生成合成后处理对象图像之后，生成合成后输出图像。
另外，本申请主张基于2012年3月29日申请的日本专利申请2012-078340号的优先权，并将该日本专利申请的全部内容通过参考援用于本申请中。
符号说明
1-控制部，2-摄像机，2L-左侧方摄像机，2R-右侧方摄像机，2B-后方摄像机，3-输入部，4-存储部，5-显示部，6-距离图像传感器，6L-左侧方距离图像传感器，6R-右侧方距离图像传感器，6B-后方距离图像传感器，10-坐标对应建立机构，11-图像生成机构，12-距离图像合成机构，40-输入图像/空间模型对应映射表，41-空间模型/处理对象图像对应映射表，42-处理对象图像/输出图像对应映射表，60-挖土机，61-下部行走体，62-回转机构，63-上部回转体，64-操纵室，100-图像生成装置。

Claims (5)

1.一种施工机械用周边监控装置，根据安装于施工机械上的距离图像传感器所拍摄的输入距离图像生成输出距离图像，其中，
所述施工机械用周边监控装置将所述输入距离图像所在的输入距离图像平面上的坐标与所述输出距离图像所在的输出距离图像平面上的坐标建立对应。
2.根据权利要求1所述的施工机械用周边监控装置，其中，
在所述施工机械上安装有多个所述距离图像传感器，
所述施工机械用周边监控装置根据多个输入距离图像生成1个输出距离图像。
3.根据权利要求1所述的施工机械用周边监控装置，其中，
将与多个距离图像传感器中的2个距离图像传感器各自的拍摄范围重叠的区域对应的所述2个距离图像传感器各自的输入距离图像的区域中的、相互对应的像素的表示距离的像素的值中较小的值与所述输出距离图像中的对应的像素建立关联。
4.根据权利要求1所述的施工机械用周边监控装置，其中，
所述输出距离图像为实施了视点变换处理的距离图像。
5.根据权利要求1所述的施工机械用周边监控装置，其中，
在所述施工机械上安装有摄像机，
所述施工机械用周边监控装置将所述摄像机所拍摄的输入图像所在的输入图像平面上的坐标与所述摄像机的输出图像所在的输出图像平面上的坐标建立对应，并将所述输出距离图像和所述输出图像进行合成。
CN201380006337.7A 2012-03-29 2013-02-07 施工机械用周边监控装置 Active CN104067144B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012078340A JP6029306B2 (ja) 2012-03-29 2012-03-29 作業機械用周辺監視装置
JP2012-078340 2012-03-29
PCT/JP2013/052937 WO2013145878A1 (ja) 2012-03-29 2013-02-07 作業機械用周辺監視装置

Publications (2)

Publication Number Publication Date
CN104067144A true CN104067144A (zh) 2014-09-24
CN104067144B CN104067144B (zh) 2017-07-11

Family

ID=49259163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380006337.7A Active CN104067144B (zh) 2012-03-29 2013-02-07 施工机械用周边监控装置

Country Status (6)

Country Link
US (1) US9715015B2 (zh)
EP (1) EP2833162B1 (zh)
JP (1) JP6029306B2 (zh)
KR (1) KR101625997B1 (zh)
CN (1) CN104067144B (zh)
WO (1) WO2013145878A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104846865A (zh) * 2015-03-27 2015-08-19 柳州柳工挖掘机有限公司 带监控装置的挖掘机
CN105182979A (zh) * 2015-09-23 2015-12-23 上海物景智能科技有限公司 一种移动机器人障碍物检测及避让方法和系统
CN105604119A (zh) * 2014-11-14 2016-05-25 卡特彼勒公司 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统
CN107034941A (zh) * 2015-10-28 2017-08-11 住友建机株式会社 挖土机
CN107923745A (zh) * 2015-08-26 2018-04-17 住友建机株式会社 挖土机的测量装置
JP2018077196A (ja) * 2016-11-11 2018-05-17 スタンレー電気株式会社 監視システム
CN108171116A (zh) * 2017-12-01 2018-06-15 北京臻迪科技股份有限公司 飞行器辅助避障方法、装置和辅助避障系统
CN108699814A (zh) * 2016-01-29 2018-10-23 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
CN108779985A (zh) * 2016-08-05 2018-11-09 株式会社小松制作所 施工管理系统
CN109072589A (zh) * 2016-04-28 2018-12-21 神钢建机株式会社 工程机械
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
CN111953942A (zh) * 2015-11-30 2020-11-17 住友重机械工业株式会社 施工机械用周边监视系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009572B (zh) * 2013-08-26 2018-04-03 日立建机株式会社 作业机械的周围监视装置
EP3154024B1 (en) * 2014-06-03 2023-08-09 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
JP6545498B2 (ja) * 2015-03-26 2019-07-17 住友建機株式会社 ショベル
EP3351692A4 (en) 2015-09-15 2018-09-05 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
WO2016013691A1 (ja) * 2015-10-15 2016-01-28 株式会社小松製作所 位置計測システム及び位置計測方法
WO2017115809A1 (ja) * 2015-12-28 2017-07-06 住友建機株式会社 ショベル
US10861338B2 (en) * 2016-05-05 2020-12-08 Harman International Industries, Incorporated Systems and methods for driver assistance
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP6819161B2 (ja) * 2016-09-09 2021-01-27 日産自動車株式会社 座標計算方法及び座標計算装置
CN111344460B (zh) * 2017-12-04 2022-04-26 住友重机械工业株式会社 周边监视装置
JP7147248B2 (ja) * 2018-04-27 2022-10-05 株式会社タダノ クレーン車
EP3832034B1 (en) * 2018-07-31 2023-08-23 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Excavator
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP7059956B2 (ja) * 2019-02-08 2022-04-26 コベルコ建機株式会社 建設機械の障害物検出装置
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
US11661722B2 (en) * 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
US20230237806A1 (en) * 2022-01-24 2023-07-27 Caterpillar Inc. Object detection vision system
JP2024055416A (ja) * 2022-10-07 2024-04-18 兵庫県公立大学法人 作業機械、および位置検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1115250A1 (en) * 1998-07-31 2001-07-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying image
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
JP2011221865A (ja) * 2010-04-12 2011-11-04 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528243A (ja) * 1991-07-24 1993-02-05 Toshiba Corp 画像作成装置
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2000357007A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd ３次元データ処理装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP4740481B2 (ja) * 2001-06-29 2011-08-03 オリンパス株式会社 ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP4996928B2 (ja) 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
EP2355037A1 (en) * 2009-12-18 2011-08-10 Nxp B.V. Method of and system for determining an average colour value for pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1115250A1 (en) * 1998-07-31 2001-07-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying image
CN1898961A (zh) * 2004-04-27 2007-01-17 松下电器产业株式会社 车辆周围环境显示装置
JP2011221865A (ja) * 2010-04-12 2011-11-04 Sumitomo Heavy Ind Ltd 画像生成装置及び操作支援システム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105604119B (zh) * 2014-11-14 2021-12-03 卡特彼勒公司 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统
CN105604119A (zh) * 2014-11-14 2016-05-25 卡特彼勒公司 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统
CN104846865A (zh) * 2015-03-27 2015-08-19 柳州柳工挖掘机有限公司 带监控装置的挖掘机
CN107923745B (zh) * 2015-08-26 2021-07-23 住友建机株式会社 挖土机的测量装置
CN107923745A (zh) * 2015-08-26 2018-04-17 住友建机株式会社 挖土机的测量装置
CN105182979A (zh) * 2015-09-23 2015-12-23 上海物景智能科技有限公司 一种移动机器人障碍物检测及避让方法和系统
CN105182979B (zh) * 2015-09-23 2018-02-23 上海物景智能科技有限公司 一种移动机器人障碍物检测及避让方法和系统
CN107034941A (zh) * 2015-10-28 2017-08-11 住友建机株式会社 挖土机
CN107034941B (zh) * 2015-10-28 2021-01-19 住友建机株式会社 挖土机
CN111953942A (zh) * 2015-11-30 2020-11-17 住友重机械工业株式会社 施工机械用周边监视系统
CN111953942B (zh) * 2015-11-30 2022-07-12 住友重机械工业株式会社 施工机械用周边监视系统
CN108699814A (zh) * 2016-01-29 2018-10-23 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
CN108699814B (zh) * 2016-01-29 2022-04-12 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
US10876275B2 (en) 2016-04-28 2020-12-29 Kobelco Construction Machinery Co., Ltd. Construction machine
CN109072589A (zh) * 2016-04-28 2018-12-21 神钢建机株式会社 工程机械
CN109072589B (zh) * 2016-04-28 2021-10-08 神钢建机株式会社 工程机械
CN108779985A (zh) * 2016-08-05 2018-11-09 株式会社小松制作所 施工管理系统
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
JP2018077196A (ja) * 2016-11-11 2018-05-17 スタンレー電気株式会社 監視システム
CN108171116A (zh) * 2017-12-01 2018-06-15 北京臻迪科技股份有限公司 飞行器辅助避障方法、装置和辅助避障系统

Also Published As

Publication number Publication date
US9715015B2 (en) 2017-07-25
EP2833162A4 (en) 2015-04-01
JP2013205402A (ja) 2013-10-07
CN104067144B (zh) 2017-07-11
KR20140112043A (ko) 2014-09-22
EP2833162A1 (en) 2015-02-04
US20140362220A1 (en) 2014-12-11
KR101625997B1 (ko) 2016-05-31
JP6029306B2 (ja) 2016-11-24
WO2013145878A1 (ja) 2013-10-03
EP2833162B1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
CN104067144A (zh) 施工机械用周边监控装置
CN102792334B (zh) 图像生成装置及操作支持系统
AU2017404218B2 (en) Display system, display method, and remote operation system
CN100485720C (zh) 一种基于序列静态图像的360°环视全景生成方法
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN104982030A (zh) 作业机械用周边监视装置
CN103959012A (zh) 6自由度位置和取向确定
JP6324665B2 (ja) 作業機械用周辺監視装置
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
JP7003594B2 (ja) ３次元点群表示装置、３次元点群表示システム、３次元点群表示方法および３次元点群表示プログラム、記録媒体
CN107370994A (zh) 海域全景监控方法、装置、服务器及系统
CN104982031A (zh) 处理对象图像生成装置、处理对象图像生成方法及操作支援系统
CN106023066B (zh) 4路钻孔孔壁视频的柱面全景图生成方法及装置
JP5805574B2 (ja) 作業機械用周辺監視装置
JP2842735B2 (ja) 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置
US11403826B2 (en) Management system and management method using eyewear device
JP2022106868A (ja) 撮像装置および撮像装置の制御方法
JP2014224411A (ja) 作業機械用周辺監視装置
EP4288933A1 (en) Aligning multiple coordinate systems for information model rendering
JP3206874B2 (ja) 遠隔施工支援用の画像システム
CN115004683A (zh) 成像装置、成像方法和程序
CN109451294A (zh) 3d显示方法、系统、装置、电子设备及存储介质
WO2022202775A1 (en) Imaging device, imaging method, and information processing device
JP7120365B1 (ja) 撮像装置、撮像方法および情報処理装置
Wang Hybrid panoramic visual SLAM and point cloud color mapping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant