CN104982030A - 作业机械用周边监视装置 - Google Patents

作业机械用周边监视装置 Download PDF

Info

Publication number
CN104982030A
CN104982030A CN201480007706.9A CN201480007706A CN104982030A CN 104982030 A CN104982030 A CN 104982030A CN 201480007706 A CN201480007706 A CN 201480007706A CN 104982030 A CN104982030 A CN 104982030A
Authority
CN
China
Prior art keywords
coordinate
image
people
output image
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480007706.9A
Other languages
English (en)
Inventor
清田芳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to CN201910680197.0A priority Critical patent/CN110318441A/zh
Publication of CN104982030A publication Critical patent/CN104982030A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

周边监视装置(100A)具有：人存在与否判定机构(12)，判定处于挖土机(60)的周围的多个监视空间的各自的人的存在与否；和警报控制机构(13)，设置在挖土机(60)的驾驶室(64)内，控制对操作者输出警报的多个警报输出部(7)。警报控制机构(13)在判定为在右侧方监视空间(ZR)中存在人的情况下从右侧方警报输出部(7R)输出警报，在判定为在左侧方监视空间(ZL)中存在人的情况下从左侧方警报输出部(7L)输出警报，在判定为在后方监视空间(ZB)中存在人的情况下从后方警报输出部(7B)输出警报。

Description

作业机械用周边监视装置
技术领域
本发明涉及具备判定作业机械的周围人存在与否的功能的作业机械用周边监视装置。
背景技术
已知有在搭载于挖土机上的障碍物检测器的监视范围内检测到作业者的情况下发出警报音的周边监视装置(例如参照专利文献1)。此外，已知有根据安装在作业者的安全帽上的LED的发光样式判断进入到在挖土机的周围设定的作业区内的该作业者是否是共同作业者从而决定是否输出警报音的警报系统(例如参照专利文献2)。此外，已知有在叉车和其附近(周围)进行作业的作业者之间进行通信、基于该通信控制警报音的输出的安全装置(例如参照专利文献3)。
以往专利文献
专利文献
专利文献1：日本特开2008－179940号公报
专利文献2：日本特开2009－193494号公报
专利文献3：日本特开2007－310587号公报
发明内容
发明要解决的技术问题
但是，专利文献1～3的技术都是在不论从挖土机等的作业者观察进入到规定范围内的作业者存在于哪个方向的情况，都从相同的蜂鸣器或扬声器输出警报音。因此，挖土机等的操作者即使听到警报音，也不能直观地掌握作业者存在于哪个方向。
鉴于上述问题，希望提供一种使得作业机械的操作者能够直观地掌握存在于作业机械的周围的人的位置的作业机械用周边监视装置。
有关本发明的实施例的作业机械用周边监视装置具有：人存在与否判定机构，判定处于作业机械的周围的多个监视空间的各自中的人的存在与否；警报控制机构，设置在上述作业机械的驾驶室中，控制对操作者输出警报的多个警报输出部；上述多个监视空间包括作为该多个监视空间中的两个的第1监视空间及第2监视空间；上述多个警报输出部包括作为该多个警报输出部中的两个的、对应于上述第1监视空间的第1警报输出部及对应于上述第2监视空间的第2警报输出部；上述警报控制机构在判定为在上述第1监视空间中存在人的情况下从上述第1警报输出部输出警报，在判定为在上述第2监视空间中存在人的情况下从上述第2警报输出部输出警报。
发明的效果
通过上述技术方案，能够提供一种使得作业机械的操作者能够直观地掌握存在于作业机械的周围的人的位置的作业机械用周边监视装置。
附图说明
图1是概略地表示有关本发明的实施例的图像生成装置的结构例的块图。
图2是表示搭载图像生成装置的挖土机的结构例的图。
图3是表示被投影输入图像的空间模型的一例的图。
图4是表示空间模型与处理对象图像平面之间的关系的一例的图。
图5是用来说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。
图6是用来说明由坐标对应建立机构进行的坐标间的对应建立的图。
图7是用来说明平行线群的作用的图。
图8是用来说明辅助线群的作用的图。
图9是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。
图10是输出图像的一例。
图11是搭载图像生成装置的挖土机的俯视图的一例。
图12是表示搭载在挖土机上的3台照相机的各自的输入图像和使用这些输入图像生成的输出图像的图的一例。
图13是用来说明防止两个照相机的各自的摄像空间的重复部分处的物体的消失的图像消失防止处理的图。
图14是表示图12中表示的输出图像与通过对图12的输出图像应用图像消失防止处理而得到的输出图像的差异的对比图。
图15是表示搭载在挖土机中的3台照相机的各自的输入图像和使用这些输入图像生成的输出图像的图的另一例。
图16是表示人存在与否判定机构的判定结果与在输出图像的生成中使用的输入图像的对应关系的对应表的一例。
图17是输出图像的另一例。
图18是搭载图像生成装置的挖土机的俯视图的另一例。
图19是表示人存在与否判定机构的判定结果与在输出图像的生成中使用的输入图像的对应关系的对应表的另一例。
图20是输出图像的再另一例。
图21是输出图像的又另一例。
图22是表示警报控制处理的流程的流程图。
图23是表示在警报控制处理中显示的输出图像的推移的一例的图。
图24是概略地表示周边监视装置的别的结构例的块图。
具体实施方式
以下，参照附图对用来实施本发明的优选的形态进行说明。
图1是概略地表示有关本发明的实施例的图像生成装置100的结构例的块图。
图像生成装置100是监视作业机械的周边的作业机械用周边监视装置的1例，由控制部1、照相机2、输入部3、存储部4、显示部5、人检测传感器6及警报输出部7构成。具体而言，图像生成装置100基于搭载在作业机械上的照相机2摄像的输入图像来生成输出图像，并将该输出图像向操作者提示。此外，图像生成装置100基于人检测传感器6的输出，切换要提示的输出图像的内容。
图2是表示作为搭载图像生成装置100的作业机械的挖土机60的结构例的图，挖土机60在履带式的下部行驶体61之上经由回转机构62将上部回转体63绕回转轴PV回转自如地搭载。
此外，上部回转体63在其前方左侧部具备驾驶室(驾驶室)64，在其前方中央部具备挖掘配件E，在其右侧面及后面具备照相机2(右侧方照相机2R、后方照相机2B)及人检测传感器6(右侧方人检测传感器6R、后方人检测传感器6B)。另外，在驾驶室64内的操作者容易辨识的位置设置有显示部5。此外，在驾驶室64内，在右侧内壁及后侧内壁上设有警报输出部7(右侧方警报输出部7R、后方警报输出部7B)。
接着，对图像生成装置100的各构成要素进行说明。
控制部1是具备CPU(Central Processing Unit)、RAM(Random AccessMemory)、ROM(Read Only Memory)、NVRAM(Non－Volatile RandomAccess Memory)等的计算机。在本实施例中，控制部1例如在ROM或NVRAM中存储与后述坐标对应建立机构10、图像生成机构11、人存在与否判定机构12及警报控制机构13分别对应的程序，一边作为暂时存储区域而利用RAM，一边使CPU执行与各机构对应的处理。
照相机2是用来取得将挖土机60的周围拍摄的输入图像的装置。在本实施例中，照相机2例如是安装在上部回转体63的右侧面及后面以便能够拍摄成为处于驾驶室64中的操作者的死角的区域的右侧方照相机2R及后方照相机2B(参照图2)。此外，照相机2具备CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等的摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置(例如前面及左侧面)上，也可以安装广角透镜或鱼眼透镜以便能够将较大的范围摄像。
此外，照相机2根据来自控制部1的控制信号取得输入图像，对控制部1输出所取得的输入图像。另外，照相机2在使用鱼眼透镜或广角透镜取得了输入图像的情况下，将修正了通过使用这些透镜发生的外观上的畸变或仰射的已修正的输入图像对控制部1输出。此外，照相机2也可以将没有修正其外观上的畸变或仰射的输入图像原样地对控制部1输出。在此情况下，控制部1将其外观上的畸变或仰射修正。
输入部3是用来使得操作者能够对图像生成装置100输入各种信息的装置，例如是触摸面板、按钮开关、指针设备、键盘等。
存储部4是用来存储各种信息的装置，例如是硬盘、光盘或半导体存储器等。
显示部5是用来显示图像信息的装置，例如是设置在挖土机60的驾驶室64(图2参照。)内的液晶显示器或投影机等，显示控制部1输出的各种图像。
人检测传感器6是用来检测存在于挖土机60的周围的人的装置。在本实施例中，人检测传感器6例如安装在上部回转体63的右侧面及后面上，以便能够检测存在于作为处于驾驶室64中的操作者的死角的区域中的人(参照图2)。
人检测传感器6是将人与人以外的物体区别而检测的传感器，例如是检测对应的监视空间内的能量变化的传感器，包括焦电型红外线传感器、测辐射热计型红外线传感器、利用红外线照相机等的输出信号的运动体检测传感器。在本实施例中，人检测传感器6使用焦电型红外线传感器，将运动体(移动的热源)设为人而检测。此外，右侧方人检测传感器6R的监视空间包含在右侧方照相机的摄像空间中，后方人检测传感器6B的监视空间包含在后方照相机2B的摄像空间中。
另外，人检测传感器6与照相机2同样，也可以安装在上部回转体63的右侧面及后面以外的位置(例如前面及左侧面)上，也可以安装在上部回转体63的前面、左侧面、右侧面及后面中的某1个上，也可以安装在全部的面上。
警报输出部7是对挖土机60的操作者输出警报的装置。例如，警报输出部7是输出声音及光的至少一方的警报装置，包括蜂鸣器、扬声器等声音输出装置、LED、闪光灯等发光装置。在本实施例中，警报输出部7是输出警报音的蜂鸣器，由安装在驾驶室64的右侧内壁上的右侧方警报输出部7R及安装在驾驶室64的后侧内壁上的后方警报输出部7B构成(参照图2)。
此外，图像生成装置100也可以基于输入图像来生成处理对象图像，通过对该处理对象图像实施图像变换处理而生成能够直观地掌握与周围的物体的位置关系或距离感的输出图像后，将该输出图像向操作者提示。
“处理对象图像”是基于输入图像生成的、作为图像变换处理(例如缩放比例变换处理、仿射变换处理、畸变变换处理、视点变换处理等)的对象的图像。具体而言，“处理对象图像”例如是基于从上方摄像地表的照相机得到的输入图像，是通过其较宽的像角而从包含水平方向的图像(例如空中的部分)的输入图像生成的、适合于图像变换处理的图像。更具体地讲，在将该输入图像向规定的空间模型投影以使其水平方向的图像不会被不自然地显示(例如也可以不将空中的部分作为处于地表的部分对待)后，通过将投影在该空间模型中的投影图像再投影到别的二维平面上而生成。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。
“空间模型”是输入图像的投影对象。具体而言，“空间模型”由至少包括作为处理对象图像位于的平面的处理对象图像平面以外的平面或曲面的一或多个平面或曲面构成。处理对象图像位于的平面即处理对象图像平面以外的平面或曲面例如是与处理对象图像平面平行的平面或在与处理对象图像平面之间形成角度的平面或曲面。
另外，图像生成装置100也可以不生成处理对象图像，而通过对投影在该空间模型中的投影图像实施图像变换处理来生成输出图像。此外，投影图像也可以不实施图像变换处理而原样作为输出图像使用。
图3是表示输入图像被投影的空间模型MD的一例的图，图3左图表示从侧方观察挖土机60时的挖土机60与空间模型MD之间的关系，图3右图表示从上方观察挖土机60时的挖土机60与空间模型MD之间的关系。
如图3所示，空间模型MD具有半圆筒形状，具有其底面内侧的平面区域R1和其侧面内侧的曲面区域R2。
此外，图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图，处理对象图像平面R3例如是包括空间模型MD的平面区域R1的平面。另外，图4为了明确化而将空间模型MD不是用图3所示那样的半圆筒形状、而是用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。在以后的图中也同样。此外，处理对象图像平面R3也可以如上述那样是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空间模型MD的平面区域R1的环状区域。
接着，对控制部1具有的各种机构进行说明。
坐标对应建立机构10是用来将照相机2摄像的输入图像位于的输入图像平面上的坐标、空间模型MD上的坐标和处理对象图像平面R3上的坐标建立对应的机构。在本实施例中，坐标对应建立机构10例如基于预先设定的或经由输入部3输入的关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标和处理对象图像平面R3上的坐标建立对应。另外，关于照相机2的各种参数例如是照相机2的光学中心、焦点距离、CCD尺寸、光轴方向向量、照相机水平方向向量、射影方式等。并且，坐标对应建立机构10将这些对应关系存储到存储部4的输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41中。
另外，坐标对应建立机构10在不生成处理对象图像的情况下，将空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应建立及其对应关系的向空间模型－处理对象图像对应映射表41的存储省略。
图像生成机构11是用来生成输出图像的机构。在本实施例中，图像生成机构11例如通过对处理对象图像实施缩放比例变换、仿射变换或畸变变换，将处理对象图像平面R3上的坐标与输出图像位于的输出图像平面上的坐标建立对应。并且，图像生成机构11将该对应关系存储到存储部4的处理对象图像－输出图像对应映射表42中。并且，图像生成机构11一边参照输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联而生成输出图像。各像素的值例如是亮度值、色相值、色彩度值等。
此外，图像生成机构11基于预先设定的或经由输入部3输入的关于假想照相机的各种参数，将处理对象图像平面R3上的坐标与输出图像位于的输出图像平面上的坐标建立对应。另外，关于假想照相机的各种参数例如是假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向向量、照相机水平方向向量、射影方式等。并且，图像生成机构11将该对应关系存储到存储部4的处理对象图像－输出图像对应映射表42中。并且，图像生成机构11一边参照输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，将输出图像中的各像素的值与输入图像中的各像素的值建立关联而生成输出图像。
另外，图像生成机构11也可以不使用假想照相机的概念，而将处理对象图像的缩放比例变更来生成输出图像。
此外，图像生成机构11在不生成处理对象图像的情况下，根据实施的图像变换处理将空间模型MD上的坐标与输出图像平面上的坐标建立对应。并且，图像生成机构11一边参照输入图像－空间模型对应映射表40，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联而生成输出图像。在此情况下，图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立及该对应关系向处理对象图像－输出图像对应映射表42的存储省略。
此外，图像生成机构11基于人存在与否判定机构12的判定结果切换输出图像的内容。具体而言，图像生成机构11例如基于人存在与否判定机构12的判定结果将在输出图像的生成中使用的输入图像切换。另外，关于在输出图像的生成中使用的输入图像的切换及基于切换的输入图像生成的输出图像后述其详细情况。
人存在与否判定机构12是判定设定在作业机械的周围的多个监视空间的各自中的人的存在与否的机构。在本实施例中，人存在与否判定机构12基于人检测传感器6的输出，判定挖土机60的周围的人的存在与否。
此外，人存在与否判定机构12也可以基于照相机2摄像的输入图像，判定设定在作业机械的周围的多个监视空间的各自中的人的存在与否。具体而言，人存在与否判定机构12也可以使用光流、样式匹配等图像处理技术来判定作业机械的周围的人的存在与否。另外，人存在与否判定机构12也可以基于与照相机2不同的图像传感器的输出来判定作业机械的周围的人的存在与否。
或者，人存在与否判定机构12也可以基于人检测传感器6的输出和照相机2等图像传感器的输出，来判定设定在作业机械的周围的多个监视空间的各自中的人的存在与否。
警报控制机构13是控制警报输出部7的机构。在本实施例中，警报控制机构13基于人存在与否判定机构12的判定结果来控制警报输出部7。另外，关于由警报控制机构13进行的警报输出部7的控制后述其详细情况。
接着，对由坐标对应建立机构10及图像生成机构11进行的具体的处理的一例进行说明。
坐标对应建立机构10例如可以使用哈密尔顿的四元数将输入图像平面上的坐标与空间模型上的坐标建立对应。
图5是用来说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。照相机2的输入图像平面被表示为以照相机2的光学中心C为原点的UVW正交坐标系的一平面。空间模型被表示为XYZ正交坐标系中的立体面。
首先，坐标对应建立机构10在使XYZ坐标系的原点并行移动到光学中心C(UVW坐标系的原点)后，使XYZ坐标系旋转，以使X轴与U轴、Y轴与V轴、Z轴与－W轴分别一致。这是为了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)。另外，“－W轴”的符号“－”意味着Z轴的方向与－W轴的方向是相反的。这是因为，UVW坐标系将照相机前方设为+W方向，XYZ坐标系将铅直下方设为－Z方向。
另外，在存在多个照相机2的情况下，由于照相机2分别具有单独的UVW坐标系，所以坐标对应建立机构10相对于多个UVW坐标系分别使XYZ坐标系并行移动且旋转。
上述变换通过在使XYZ坐标系并行移动以使照相机2的光学中心C成为XYZ坐标系的原点后、进行旋转以使Z轴与－W轴一致、再进行旋转以使X轴与U轴一致来实现。因此，坐标对应建立机构10通过将该变换用哈密尔顿的四元数记述，能够将这两次的旋转总结为一次的旋转运算。
可是，用来使某个向量A与别的向量B一致的旋转相当于以向量A和向量B张成的面的法线为轴旋转向量A和向量B形成的角度的处理。并且，如果设其角度为θ，则根据向量A与向量B的内积，将角度θ用
[数式1]
θ = cos - 1 ( A · B | A | | B | )
表示。
此外，将向量A和向量B张成的面的法线的单位向量N可以根据向量A与向量B的外积，用
[数式2]
N = A × B | A | | B | sin θ
表示。
另外，在四元数在将i、j、k分别作为虚数单位的情况下，是满足
[数式3]
ii＝jj＝kk＝ijk＝-1
的超复数，在本实施例中，四元数Q设实成分为t，设纯虚成分为a、b、c，用
[数式4]
Q＝(t；a，b，c)＝t+ai+bj+ck
表示，四元数Q的共轭四元数用
[数式5]
Q*＝(t；-a，-b，-c)＝t-ai-bj-ck
表示。
四元数Q在使实成分t为0(零)的同时，可以用纯虚成分a、b、c表现三维向量(a，b，c)，此外，也可以通过t、a、b、c的各成分表现以任意的向量为轴的旋转动作。
进而，四元数Q可以将连续的多次的旋转动作合并而表现为一次的旋转动作。具体而言，四元数Q例如可以将使任意的点S(sx，sy，sz)以任意的单位向量C(l，m，n)为轴并旋转角度θ时的点D(ex，ey，ez)如以下这样表现。
[数式6]
D＝(0；ex，ey，ez)＝QSQ*
其中，
S = ( 0 ; s x , s y , s z ) , Q = ( c o s θ 2 ; l sin θ 2 , m sin θ 2 , n sin θ 2 )
这里，在本实施例中，如果设表示使Z轴与－W轴一致的旋转的四元数为Qz，则由于XYZ坐标系中的X轴上的点X被移动到点X'，所以点X'用
[数式7]
X′＝QzXQz *
表示。
此外，在本实施例中，如果设表示使将处于X轴上的点X'与原点连结的线与U轴一致的旋转的四元数为Qx，则表示“使Z轴与－W轴一致、再使X轴与U轴一致的旋转”的四元数R用
[数式8]
R＝QxQz
表示。
通过以上，将空间模型(XYZ坐标系)上的任意的坐标P用输入图像平面(UVW坐标系)上的坐标表现时的坐标P'用
[数式9]
P′＝RPR*
表示。此外，由于四元数R在照相机2的各自中是不变的，所以坐标对应建立机构10以后可以仅通过执行该运算而将空间模型(XYZ坐标系)上的坐标变换为输入图像平面(UVW坐标系)上的坐标。
在将空间模型(XYZ坐标系)上的坐标变换为输入图像平面(UVW坐标系)上的坐标后，坐标对应建立机构10计算线段CP'与照相机2的光轴G形成的入射角α。另外，线段CP'是将照相机2的光学中心C(UVW坐标系上的坐标)与将空间模型上的任意的坐标P用UVW坐标系表示的坐标P'连结的线段。
此外，坐标对应建立机构10计算与照相机2的输入图像平面R4(例如CCD面)平行且包含坐标P'的平面H中的偏角φ及线段EP'的长度。另外，线段EP'是将平面H与光轴G的交点E和坐标P'连结的线段，偏角φ是平面H中的U'轴和线段EP'形成的角度。
照相机的光学系通常像高度h为入射角α及焦点距离f的函数。因此，坐标对应建立机构10选择通常射影(h＝ftanα)、正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等的适当的射影方式而计算像高度h。
然后，坐标对应建立机构10将计算出的像高度h通过偏角φ分解为UV坐标系上的U成分及V成分，用相当于输入图像平面R4的每一像素的像素尺寸的数值除。由此，坐标对应建立机构10将空间模型MD上的坐标P(P')与输入图像平面R4上的坐标建立对应。
另外，如果设输入图像平面R4的U轴方向的每一像素的像素尺寸为aU，输入图像平面R4的V轴方向上每一像素的像素尺寸为aV，则与空间模型MD上的坐标P(P')对应的输入图像平面R4上的坐标(u，v)用
[数式10]
u = h c o s φ a U
[数式11]
v = h sin φ a V
表示。
这样，坐标对应建立机构10将空间模型MD上的坐标与按照照相机存在的一或多个输入图像平面R4上的坐标建立对应，将空间模型MD上的坐标、照相机识别码及输入图像平面R4上的坐标建立关联，向输入图像－空间模型对应映射表40存储。
此外，坐标对应建立机构10由于使用四元数来运算坐标的变换，所以与使用欧拉角运算坐标的变换的情况不同，具有不会产生常平架锁定的优点。但是，坐标对应建立机构10并不限定于使用四元数运算坐标的变换，也可以使用欧拉角运算坐标的变换。
另外，在能够进行向多个输入图像平面R4上的坐标的对应建立的情况下，坐标对应建立机构10也可以将空间模型MD上的坐标P(P')与关于该入射角α为最小的照相机的输入图像平面R4上的坐标建立对应，也可以与操作者选择的输入图像平面R4上的坐标建立对应。
接着，对将空间模型MD上的坐标中的曲面区域R2上的坐标(具有Z轴方向的成分的坐标)向处于XY平面上的处理对象图像平面R3再投影的处理进行说明。
图6是用来说明由坐标对应建立机构10进行的坐标间的对应建立的图。F6A作为一例而表示采用通常射影(h＝ftanα)的照相机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。坐标对应建立机构10使将照相机2的输入图像平面R4上的坐标与对应于该坐标的空间模型MD上的坐标连结的线段分别穿过照相机2的光学中心C，从而将两坐标建立对应。
在F6A的例子中，坐标对应建立机构10将照相机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，将照相机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1－L1及线段K2－L2都穿过照相机2的光学中心C。
另外，在照相机2采用通常射影以外的射影方式(例如正射影、立体射影、等立体角射影、等距离射影等)的情况下，坐标对应建立机构10根据各自的射影方式，将照相机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。
具体而言，坐标对应建立机构10基于规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等)，将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在此情况下，线段K1－L1及线段K2－L2不会穿过照相机2的光学中心C。
F6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。坐标对应建立机构10是位于XZ平面上的平行线群PL，导入在与处理对象图像平面R3之间形成角度β的平行线群PL。并且，坐标对应建立机构10使空间模型MD的曲面区域R2上的坐标和对应于该坐标的处理对象图像平面R3上的坐标都处于平行线群PL中的一个上，从而将两坐标建立对应。
在F6B的例子中，坐标对应建立机构10使得空间模型MD的曲面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2处于共通的平行线上，从而将两坐标建立对应。
另外，坐标对应建立机构10也可以将空间模型MD的平面区域R1上的坐标与曲面区域R2上的坐标同样使用平行线群PL与处理对象图像平面R3上的坐标建立对应。但是，在F6B的例子中，平面区域R1和处理对象图像平面R3为共通的平面。因此，空间模型MD的平面区域R1上的坐标L1和处理对象图像平面R3上的坐标M1具有相同的坐标值。
这样，坐标对应建立机构10将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应，将空间模型MD上的坐标及处理对象图像平面R3上的坐标建立关联而存储于空间模型－处理对象图像对应映射表41。
F6C表示处理对象图像平面R3上的坐标与作为一例而采用通常射影(h＝ftanα)的假想照相机2V的输出图像平面R5上的坐标之间的对应关系的图。图像生成机构11使得将假想照相机2V的输出图像平面R5上的坐标与对应于该坐标的处理对象图像平面R3上的坐标连结的线段分别穿过假想照相机2V的光学中心CV，从而将两坐标建立对应。
在F6C的例子中，图像生成机构11将假想照相机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3(空间模型MD的平面区域R1)上的坐标M1建立对应，将假想照相机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1－N1及线段M2－N2都穿过假想照相机2V的光学中心CV。
另外，在假想照相机2V采用通常射影以外的射影方式(例如是正射影、立体射影、等立体角射影、等距离射影等)的情况下，图像生成机构11根据各自的射影方式，将假想照相机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
具体而言，图像生成机构11基于规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等)，将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。在此情况下，线段M1－N1及线段M2－N2不会穿过假想照相机2V的光学中心CV。
这样，图像生成机构11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，将输出图像平面R5上的坐标及处理对象图像平面R3上的坐标建立关联而向处理对象图像－输出图像对应映射表42存储。并且，图像生成机构11一边参照输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立关联，生成输出图像。
另外，F6D是将F6A～F6C组合的图，表示照相机2、假想照相机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。
接着，参照图7，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立机构10导入的平行线群PL的作用进行说明。
图7左图是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β的情况下的图。另一方面，图7右图是在位于XZ平面上的平行线群PL与处理对象图像平面R3之间形成角度β1(β1>β)的情况下的图。此外，图7左图及图7右图中的空间模型MD的曲面区域R2上的坐标La～Ld分别与处理对象图像平面R3上的坐标Ma～Md的各自对应。此外，图7左图中的坐标La～Ld的各自的间隔与图7右图中的坐标La～Ld的各自的间隔相等。另外，平行线群PL为了说明目的而假设存在于XZ平面上，但实际上以从Z轴上的全部的点朝向处理对象图像平面R3以放射状延伸的方式存在。另外，将该情况下的Z轴称作“再投影轴”。
如在图7左图及图7右图中表示的那样，处理对象图像平面R3上的坐标Ma～Md的各自的间隔随着平行线群PL与处理对象图像平面R3之间的角度增大而线性地减小。即，空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离没有关系而一样地减小。另一方面，由于空间模型MD的平面区域R1上的坐标群在图7的例子中不进行向处理对象图像平面R3上的坐标群的变换，所以坐标群的间隔不会变化。
这些坐标群的间隔的变化意味着，在输出图像平面R5(参照图6)上的图像部分中、仅与投影到空间模型MD的曲面区域R2中的图像对应的图像部分被线性地放大或缩小。
接着，参照图8，对为了将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应而坐标对应建立机构10导入的平行线群PL的代替例进行说明。
图8左图是位于XZ平面上的辅助线群AL的全部从Z轴上的起点T1朝向处理对象图像平面R3延伸的情况下的图。另一方面，图8右图是辅助线群AL的全部从Z轴上的起点T2(T2>T1)朝向处理对象图像平面R3延伸的情况下的图。此外，图8左图及图8右图中的空间模型MD的曲面区域R2上的坐标La～Ld的各自与处理对象图像平面R3上的坐标Ma～Md的各自对应。另外，在图8左图的例子中，坐标Mc、Md由于为处理对象图像平面R3的区域外，所以没有图示。此外，图8左图中的坐标La～Ld的各自的间隔与图8右图中的坐标La～Ld的各自的间隔相等。另外，辅助线群AL为了说明目的而假设存在于XZ平面上，但实际上以从Z轴上的任意的一点朝向处理对象图像平面R3以放射状延伸的方式存在。另外，与图7同样，将该情况下的Z轴称作“再投影轴”。
如图8左图及图8右图所示，处理对象图像平面R3上的坐标Ma～Md的各自的间隔随着辅助线群AL的起点与原点O之间的距离(高度)增大而非线性地减小。即，空间模型MD的曲面区域R2与坐标Ma～Md的各自之间的距离越大，各自的间隔的减小幅度越大。另一方面，空间模型MD的平面区域R1上的坐标群在图8的例子中不进行向处理对象图像平面R3上的坐标群的变换，所以坐标群的间隔不会变化。
这些坐标群的间隔的变化与平行线群PL时同样，意味着在输出图像平面R5(参照图6)上的图像部分中、仅与投影在空间模型MD的曲面区域R2中的图像对应的图像部分被非线性地放大或缩小。
这样，图像生成装置100能够不给与投影在空间模型MD的平面区域R1中的图像对应的输出图像的图像部分(例如路面图像)带来影响，而将与投影在空间模型MD的曲面区域R2中的图像对应的输出图像的图像部分(例如水平图像)线性地或非线性地放大或缩小。因此，图像生成装置100能够不给挖土机60的附近的路面图像(从正上方观察挖土机60时的假想图像)带来影响，而使位于挖土机60的周围的物体(从挖土机60在水平方向上观察周围时的图像中的物体)迅速且灵活地放大或缩小，能够使挖土机60的死角区域的辨识性提高。
接着，参照图9对图像生成装置100生成处理对象图像的处理(以下设为“处理对象图像生成处理”)及使用所生成的处理对象图像生成输出图像的处理(以下设为“输出图像生成处理”)进行说明。另外，图9是表示处理对象图像生成处理(步骤S1～步骤S3)及输出图像生成处理(步骤S4～步骤S6)的流程的流程图。此外，照相机2(输入图像平面R4)、空间模型(平面区域R1及曲面区域R2)以及处理对象图像平面R3的配置被预先决定。
首先，控制部1通过坐标对应建立机构10将处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应(步骤S1)。
具体而言，坐标对应建立机构10取得在平行线群PL与处理对象图像平面R3之间形成的角度。并且，坐标对应建立机构10计算从处理对象图像平面R3上的一坐标延伸的平行线群PL的一个与空间模型MD的曲面区域R2交叉的点。并且，坐标对应建立机构10将与计算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标导出，将其对应关系向空间模型－处理对象图像对应映射表41存储。另外，平行线群PL与处理对象图像平面R3之间形成的角度也可以是预先存储在存储部4等中的值，也可以是操作者经由输入部3动态地输入的值。
此外，坐标对应建立机构10在处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致的情况下，将平面区域R1上的该一坐标作为与处理对象图像平面R3上的该一坐标对应的一坐标导出，将其对应关系存储于空间模型－处理对象图像对应映射表41。
然后，控制部1通过坐标对应建立机构10将由上述处理导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应(步骤S2)。
具体而言，坐标对应建立机构10取得采用通常射影(h＝ftanα)的照相机2的光学中心C的坐标。并且，坐标对应建立机构10计算作为从空间模型MD上的一坐标延伸的线段、穿过光学中心C的线段与输入图像平面R4交叉的点。并且，坐标对应建立机构10将与计算出的点对应的输入图像平面R4上的坐标作为与空间模型MD上的该一坐标对应的输入图像平面R4上的一坐标导出，将该对应关系存储于输入图像－空间模型对应映射表40。
然后，控制部1判定是否将处理对象图像平面R3上的全部的坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立了对应(步骤S3)。并且，控制部1在判定为还没有将全部的坐标建立对应的情况下(步骤S3的NO)，重复步骤S1及步骤S2的处理。
另一方面，控制部1在判定为将全部的坐标建立了对应的情况下(步骤S3的YES)，在使处理对象图像生成处理结束后使输出图像生成处理开始。并且，控制部1通过图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。
具体而言，图像生成机构11通过对处理对象图像实施缩放比例变换、仿射变换或畸变变换而生成输出图像。并且，图像生成机构11将由实施的缩放比例变换、仿射变换或畸变变换的内容决定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理对象图像－输出图像对应映射表42。
或者，图像生成机构11在使用假想照相机2V生成输出图像的情况下，也可以根据采用的射影方式由处理对象图像平面R3上的坐标计算输出图像平面R5上的坐标，并将该对应关系向处理对象图像－输出图像对应映射表42存储。
或者，图像生成机构11在使用采用通常射影(h＝ftanα)的假想照相机2V生成输出图像的情况下，取得该假想照相机2V的光学中心CV的坐标。并且，图像生成机构11是从输出图像平面R5上的一坐标延伸的线段，计算穿过光学中心CV的线段与处理对象图像平面R3交叉的点。并且，图像生成机构11将与计算出的点对应的处理对象图像平面R3上的坐标作为与输出图像平面R5上的该一坐标对应的处理对象图像平面R3上的一坐标导出。这样，图像生成机构11也可以将该对应关系向处理对象图像－输出图像对应映射表42存储。
然后，控制部1的图像生成机构11参照输入图像－空间模型对应映射表40、空间模型－处理对象图像对应映射表41及处理对象图像－输出图像对应映射表42。并且，图像生成机构11追溯输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、以及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系。并且，图像生成机构11取得与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标具有的值(例如是亮度值、色相值、色彩度值等)，采用该取得的值作为对应的输出图像平面R5上的各坐标的值(步骤S5)。另外，在多个输入图像平面R4上的多个坐标与输出图像平面R5上的一坐标对应的情况下，图像生成机构11也可以将基于这些多个输入图像平面R4上的多个坐标的各自的值的统计值导出，作为输出图像平面R5上的该一坐标的值而采用该统计值。统计值例如是平均值、最大值、最小值、中间值等。
然后，控制部1判定是否将输出图像平面R5上的全部的坐标的值与输入图像平面R4上的坐标的值建立了对应(步骤S6)。并且，控制部1在判定为还没有将全部的坐标的值建立对应的情况下(步骤S6的NO)，重复步骤S4及步骤S5的处理。
另一方面，控制部1在判定为已将全部的坐标的值建立了对应的情况下(步骤S6的YES)，生成输出图像，使该一系列的处理结束。
另外，图像生成装置100在没有生成处理对象图像的情况下，将处理对象图像生成处理省略。在此情况下，输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”可以改称作“空间模型上的坐标”。
通过以上的结构，图像生成装置100能够生成能够使操作者直观地掌握挖土机60的周围的物体与挖土机60的位置关系的处理对象图像及输出图像。
此外，图像生成装置100以从处理对象图像平面R3经过空间模型MD向输入图像平面R4回溯的方式执行坐标的对应建立。由此，图像生成装置100能够使处理对象图像平面R3上的各坐标与输入图像平面R4上的一个或多个坐标可靠地对应。因此，图像生成装置100与以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，能够迅速地生成更优质的处理对象图像。在以从输入图像平面R4经过空间模型MD到处理对象图像平面R3的顺序执行坐标的对应建立的情况下，能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的一或多个坐标可靠地对应。但是，有处理对象图像平面R3上的坐标的一部分与输入图像平面R4上的哪个坐标都没有建立对应的情况，在此情况下，需要对这些处理对象图像平面R3上的坐标的一部分实施插值处理等。
此外，图像生成装置100在仅将与空间模型MD的曲面区域R2对应的图像放大或缩小的情况下，仅通过将形成在平行线群PL与处理对象图像平面R3之间的角度变更而仅将空间模型－处理对象图像对应映射表41中的与曲面区域R2关联的部分改写，就能够不将输入图像－空间模型对应映射表40的内容改写而实现希望的放大或缩小。
此外，图像生成装置100在将输出图像的观看方式变更的情况下，仅通过将关于缩放比例变换、仿射变换或畸变变换的各种参数的值变更而将处理对象图像－输出图像对应映射表42改写，就能够不将输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容改写而生成希望的输出图像(缩放比例变换图像、仿射变换图像或畸变变换图像)。
同样，图像生成装置100在变更输出图像的视点的情况下，仅通过便更假想照相机2V的各种参数的值而将处理对象图像－输出图像对应映射表42改写，能够不改写输入图像－空间模型对应映射表40及空间模型－处理对象图像对应映射表41的内容而生成从希望的视点观察的输出图像(视点变换图像)。
图10是使使用搭载在挖土机60上的两台照相机2(右侧方照相机2R及后方照相机2B)的输入图像生成的输出图像显示在显示部5上时的显示例。
图像生成装置100在将这两台照相机2的各自的输入图像投影到空间模型MD的平面区域R1及曲面区域R2上后，向处理对象图像平面R3再投影而生成处理对象图像。并且，图像生成装置100通过对该生成的处理对象图像实施图像变换处理(例如，缩放比例变换、仿射变换、畸变变换、视点变换处理等)而生成输出图像。这样，图像生成装置100生成同时显示将挖土机60的附近从上空俯瞰的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图像(处理对象图像平面R3中的图像)的输出图像。以下，将这样的输出图像称作周边监视用假想视点图像。
另外，周边监视用假想视点图像在图像生成装置100不生成处理对象图像的情况下，通过对投影在空间模型MD上的图像实施图像变换处理(例如是视点变换处理)而生成。
此外，周边监视用假想视点图像被修剪为圆形，以便能够将挖土机60进行回转动作时的图像没有别扭感地显示，并生成为，使该圆的中心CTR位于空间模型MD的圆筒中心轴上且挖土机60的回转轴PV上。因此，将周边监视用假想视点图像显示成，对应于挖土机60的回转动作而以其中心CTR为轴旋转。在此情况下，空间模型MD的圆筒中心轴既可以与再投影轴一致，也可以不一致。
另外，空间模型MD的半径例如是5米。此外，可以设定在平行线群PL与处理对象图像平面R3之间形成的角度或辅助线群AL的起点高度，以使得在从挖土机60的回转中心离开了挖掘配件E的最大到达距离(例如12米)的位置存在物体(例如作业者)的情况下将该物体用显示部5充分大地(例如是7毫米以上)显示。
进而，周边监视用假想视点图像也可以将挖土机60的CG图像以挖土机60的前方与显示部5的画面上方一致、并且其回转中心与中心CTR一致的方式配置。这是为了使挖土机60与在输出图像中出现的物体之间的位置关系更容易理解。另外，周边监视用假想视点图像也可以将包括方位等的各种信息的框边图像配置在其周围。
接着，参照图11～图14对图像生成装置100生成的周边监视用假想视点图像的详细情况进行说明。
图11是搭载图像生成装置100的挖土机60的俯视图。在图11所示的实施例中，挖土机60具备3台照相机2(左侧方照相机2L、右侧方照相机2R及后方照相机2B)和3台人检测传感器6(左侧方人检测传感器6L、右侧方人检测传感器6R及后方人检测传感器6B)。另外，由图11的单点划线表示的区域CL、CR、CB分别表示左侧方照相机2L、右侧方照相机2R、后方照相机2B的摄像空间。此外，由图11的点线表示的区域ZL、ZR、ZB分别表示左侧方人检测传感器6L、右侧方人检测传感器6R、后方人检测传感器6B的监视空间。此外，挖土机60在驾驶室64内具备显示部5和3台警报输出部7(左侧方警报输出部7L、右侧方警报输出部7R及后方警报输出部7B)。
另外，在本实施例中，人检测传感器6的监视空间比照相机2的摄像空间窄，但人检测传感器6的监视空间也可以与照相机2的摄像空间相同，也可以比照相机2的摄像空间大。此外，人检测传感器6的监视空间在照相机2的摄像空间内位于挖土机60的附近，但也可以处于距挖土机60更远的区域。此外，人检测传感器6的监视空间在照相机2的摄像空间重复的部分中具有重复部分。例如，在右侧方照相机2R的摄像空间CR与后方照相机2B的摄像空间CB的重复部分中，右侧方人检测传感器6R的监视空间ZR与后方人检测传感器6B的监视空间ZB重复。但是，人检测传感器6的监视空间也可以配置为不发生重复。
图12是表示搭载在挖土机60上的3台照相机2的各自的输入图像和使用这些输入图像生成的输出图像的图。
图像生成装置100在将3台照相机2的各自的输入图像投影到空间模型MD的平面区域R1及曲面区域R2上之后，向处理对象图像平面R3再投影，生成处理对象图像。此外，图像生成装置100通过对所生成的处理对象图像实施图像变换处理(例如缩放比例变换、仿射变换、畸变变换、视点变换处理等)而生成输出图像。结果，图像生成装置100生成同时显示从上空俯瞰挖土机60的附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图像(处理对象图像平面R3中的图像)的周边监视用假想视点图像。另外，在周边监视用假想视点图像的中央显示的图像是挖土机60的CG图像60CG。
在图12中，右侧方照相机2R的输入图像及后方照相机2B的输入图像分别在右侧方照相机2R的摄像空间与后方照相机2B的摄像空间的重复部分内捕捉人物(参照右侧方照相机2R的输入图像中的由双点划线包围的区域R10、以及后方照相机2B的输入图像中的由双点划线包围的区域R11)。
但是，如果将输出图像平面上的坐标与关于入射角最小的照相机的输入图像平面上的坐标建立对应，则输出图像使重复部分内的人物消失(参照输出图像内的由单点划线包围的区域R12。)。
所以，图像生成装置100在与重复部分对应的输出图像部分中，混合存在后方照相机2B的输入图像平面上的与坐标建立了对应的区域和右侧方照相机2R的输入图像平面上的与坐标建立了对应的区域，防止重复部分内的物体消失。
图13是用来说明作为防止两个照相机的各自的摄像空间的重复部分中的物体的消失的图像消失防止处理的一例的条纹图案处理的图。
F13A是表示对应于右侧方照相机2R的摄像空间与后方照相机2B的摄像空间的重复部分的输出图像部分的图，与由图12的点线表示的矩形区域R13对应。
此外，在F13A中，由灰色涂满的区域PR1是配置后方照相机2B的输入图像部分的图像区域，将后方照相机2B的输入图像平面上的坐标与对应于区域PR1的输出图像平面上的各坐标建立对应。
另一方面，用白色涂满的区域PR2是配置右侧方照相机2R的输入图像部分的图像区域，将右侧方照相机2R的输入图像平面上的坐标与对应于区域PR2的输出图像平面上的各坐标建立对应。
在本实施例中，区域PR1和区域PR2配置为形成条纹图样(条纹图案处理)，区域PR1和区域PR2以条纹状交替地排列的部分的边界线由以挖土机60的回转中心为中心的水平面上的同心圆决定。
F13B是表示挖土机60的右斜后方的空间区域的状况的俯视图，表示由后方照相机2B及右侧方照相机2R的两者摄像的空间区域的现在的状况。此外，F13B表示在挖土机60的右斜后方存在棒状的立体物OB的情况。
F13C表示基于由后方照相机2B及右侧方照相机2R实际将F13B表示的空间区域摄像得到的输入图像生成的输出图像的一部分。
具体而言，图像OB1表示将后方照相机2B的输入图像中的立体物OB的图像通过用来生成路面图像的视点变换在将后方照相机2B与立体物OB连结的线的延长方向上伸长的图像。即，图像OB1是在使用后方照相机2B的输入图像生成输出图像部分中的路面图像的情况下显示的立体物OB的图像的一部分。
此外，图像OB2表示将右侧方照相机2R的输入图像中的立体物OB的图像通过用来生成路面图像的视点变换在将右侧方照相机2R与立体物OB连结的线的延长方向上伸长的图像。即，图像OB2是在使用右侧方照相机2R的输入图像生成输出图像部分中的路面图像的情况下显示的立体物OB的图像的一部分。
这样，图像生成装置100在重复部分中使与后方照相机2B的输入图像平面上的坐标建立了对应的区域PR1和与右侧方照相机2R的输入图像平面上的坐标建立了对应的区域PR2混合存在。结果，图像生成装置100使关于1个立体物OB的两个图像OB1及图像OB2这两者显示在输出图像上，防止立体物OB从输出图像消失。
图14是表示图12的输出图像与通过对图12的输出图像应用图像消失防止处理(条纹图案处理)而得到的输出图像的差异的对比图，图14上图表示图12的输出图像，图14下图表示应用了图像消失防止处理(条纹图案处理)后的输出图像。在图14上图中的由单点划线包围的区域R12中人物消失，相对于此，在图14下图中的由单点划线包围的区域R14中，人物没有消失而被显示。
另外，图像生成装置100也可以代替条纹图案处理而应用网格图案处理、平均化处理等，来防止重复部分内的物体的消失。具体而言，图像生成装置100通过平均化处理，采用两个照相机的各自的输入图像中的对应的像素的值(例如是亮度值)的平均值，作为与重复部分对应的输出图像部分的像素的值。或者，图像生成装置100通过网格图案处理，在与重复部分对应的输出图像部分中，将与一个照相机的输入图像中的像素的值建立对应的区域和与另一个照相机的输入图像中的像素的值建立对应的区域配置为，形成网状图样(网格图案)。由此，图像生成装置100防止重复部分内的物体消失。
接着，参照图15～图17，对图像生成机构11基于人存在与否判定机构12的判定结果根据多个输入图像决定在输出图像的生成中使用的输入图像的处理(以下设为“第1输入图像决定处理”)进行说明。另外，图15是表示搭载在挖土机60上的3台照相机2的各自的输入图像和使用这些输入图像生成的输出图像的图，对应于图12。此外，图16是表示人存在与否判定机构12的判定结果与在输出图像的生成中使用的输入图像的对应关系的对应表。此外，图17是基于由第1输入图像决定处理决定的输入图像而生成的输出图像的显示例。
如图15所示，图像生成装置100将3台照相机2的各自的输入图像投影到空间模型MD的平面区域R1及曲面区域R2上之后向处理对象图像平面R3再投影而生成处理对象图像。此外，图像生成装置100通过对生成的处理对象图像实施图像变换处理(例如是缩放比例变换、仿射变换、畸变变换、视点变换处理等)而生成输出图像。结果，图像生成装置100生成同时显示将挖土机60的附近从上空俯瞰的图像和从挖土机60在水平方向上观察周围的图像的周边监视用假想视点图像。
此外，在图15中，左侧方照相机2L、后方照相机2B及右侧方照相机2R的各自的输入图像表示作业者各存在3人的状态。此外，输出图像表示在挖土机60的周围存在9人的作业者。
这里，参照图16的对应表，对人存在与否判定机构12的判定结果与在输出图像的生成中使用的输入图像的对应关系进行说明。另外，○标记表示由人存在与否判定机构12判定为存在人，×标记表示不存在人。
样式1表示：在判定为仅在左侧方监视空间ZL中存在人、且判定为在后方监视空间ZB及右侧方监视空间ZR中不存在人的情况下，使用左侧方照相机2L的输入图像来生成输出图像。该样式1例如在仅在挖土机60的左侧方存在作业者(在该例中是3人)的情况下采用。图像生成机构11如由图17的输出图像D1表示的那样，将捕捉到3人的作业者的左侧方照相机2L的输入图像原样作为输出图像输出。另外，以下将原样使用输入图像的输出图像称作“直通图像”。
样式2表示：在判定为仅在后方监视空间ZB中存在人、且判定为在左侧方监视空间ZL及右侧方监视空间ZR中不存在人的情况下，表示使用后方照相机2B的输入图像来生成输出图像。该样式2例如在仅在挖土机60的后方存在作业者(在该例中是3人)的情况下采用。图像生成机构11如由图17的输出图像D2表示的那样，将捕捉到3人的作业者的后方照相机2B的输入图像原样作为输出图像输出。
样式3表示：在判定为仅在右侧方监视空间ZR中存在人、且判定为在左侧方监视空间ZL及后方监视空间ZB中不存在人的情况下，使用右侧方照相机2R的输入图像来生成输出图像。该样式3例如在仅在挖土机60的右侧方存在作业者(在该例中是3人)的情况下采用。图像生成机构11如由图17的输出图像D3表示的那样，将捕捉到3人的作业者的右侧方照相机2R的输入图像原样作为输出图像输出。
样式4表示：在判定为左侧方监视空间ZL及后方监视空间ZB中存在人、且判定为在右侧方监视空间ZR中不存在人的情况下，使用3个全部的输入图像来生成输出图像。该样式4例如在挖土机60的左侧方及后方存在作业者(在该例中是各3人合计6人)的情况下采用。图像生成机构11如由图17的输出图像D4表示的那样，将基于3个输入图像生成的捕捉到6人的作业者的周边监视用假想视点图像作为输出图像输出。
样式5表示：在判定为后方监视空间ZB及右侧方监视空间ZR中存在人、且判定为在左侧方监视空间ZL中不存在人的情况下，使用3个全部的输入图像来生成输出图像。该样式5例如在挖土机60的后方及右侧方存在作业者(在该例中是各3人合计6人)的情况下采用。图像生成机构11如由图17的输出图像D5表示的那样，将基于3个输入图像生成的捕捉到6人的作业者的周边监视用假想视点图像作为输出图像输出。
样式6表示：在判定为左侧方监视空间ZL及右侧方监视空间ZR中存在人、且判定为在后方监视空间ZB中不存在人的情况下，使用3个全部的输入图像来生成输出图像。该样式6例如在挖土机60的左侧方及右侧方存在作业者(在该例中是各3人合计6人)的情况下采用。图像生成机构11如由图17的输出图像D6表示的那样，将基于3个输入图像生成的捕捉到6人的作业者的周边监视用假想视点图像作为输出图像输出。
样式7表示：在判定为左侧方监视空间ZL、后方监视空间ZB及右侧方监视空间ZR的全部中存在人的情况下，使用3个全部的输入图像来生成输出图像。该样式7例如在挖土机60的左侧方、后方及右侧方存在作业者(在该例中是各3人合计9人)的情况下采用。图像生成机构11如由图15的输出图像所示，将基于3个输入图像而生成的捕捉到9人的作业者的周边监视用假想视点图像作为输出图像输出。
样式8表示：在左侧方监视空间ZL、后方监视空间ZB及右侧方监视空间ZR的全部中判定为不存在人的情况下，使用3个全部的输入图像生成输出图像。该样式8例如在挖土机60的左侧方、后方及右侧方不存在作业者的情况下采用。图像生成机构11如由图17的输出图像D7表示的那样，将基于3个输入图像生成的、拍摄出在周围不存在作业者的状态的周边监视用假想视点图像作为输出图像输出。
如上述那样，图像生成机构11在判断为仅在3个监视空间中的1个中存在人的情况下，将对应的照相机的直通图像作为输出图像输出。这是为了使存在于监视空间中的人在显示部5上尽可能大地显示。另一方面，图像生成机构11在判断为在3个监视空间的两个以上中存在人的情况下，不将直通图像输出而将周边监视用假想视点图像输出。这是因为仅通过1个直通图像不能使存在于挖土机60的周围的全部的人显示到显示部5上，此外，是因为如果将周边监视用假想视点图像输出则能够使存在于挖土机60的周围的全部的人显示到显示部5上。此外，图像生成机构11在判定为在3个监视空间的哪个中都不存在人的情况下，不输出直通图像而输出周边监视用假想视点图像。这是因为不存在要放大显示的人，此外是为了能够将存在于挖土机60的周围的人以外的其他物体广泛地监视。
此外，图像生成机构11在显示直通图像的情况下，也可以显示能够知道哪个输入图像被使用那样的文本消息。
接着，参照图18～图20，对基于人存在与否判定机构12的判定结果从多个输入图像中决定在输出图像的生成中使用的输入图像的处理的另一例(以下设为“第2输入图像决定处理”)进行说明。另外，图18是表示人检测传感器6的另一配置例的挖土机60的俯视图，对应于图11。此外，图19是表示人存在与否判定机构12的判定结果与在输出图像的生成中使用的输入图像的对应关系的对应表，对应于图16。此外，图20是基于在第2输入图像决定处理中决定的输入图像生成的输出图像的显示例。
在图18所示的实施例中，挖土机60具备两台照相机2(右侧方照相机2R及后方照相机2B)和3台人检测传感器6(右侧方人检测传感器6R、右后方人检测传感器6BR、后方人检测传感器6B)。另外，图18的由单点划线表示的区域CR、CB分别表示右侧方照相机2R、后方照相机2B的摄像空间。此外，图18的由点线表示的区域ZR、ZBR、ZB分别表示右侧方人检测传感器6R、右后方人检测传感器6BR、后方人检测传感器6B的监视空间。此外，图18的用斜线阴影表示的区域X表示摄像空间CR与摄像空间CB的重复部分(以下设为“重复摄像空间X”)。
图18的配置例在监视空间ZR及监视空间ZB不具有重复部分这一点、以及具备具有包括重复摄像空间X的监视空间ZBR的右后方人检测传感器6BR这一点上与图11的配置例不同。
根据人检测传感器6的该配置，图像生成装置100能够判定在重复摄像空间X中是否存在人。并且，图像生成装置100能够在用于输出图像的生成的输入图像的决定中使用该判定结果，更适当地切换输出图像的内容。
这里，参照图19的对应表，对人存在与否判定机构12的判定结果与用于输出图像的生成的输入图像的对应关系进行说明。
样式A表示：在后方监视空间ZB、右后方监视空间ZBR及右侧方监视空间ZR的全部中判定为不存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式A例如在挖土机60的周围不存在作业者的情况下采用。图像生成机构11如用图17的输出图像D7表示的那样，基于两个输入图像生成拍摄出在周围不存在作业者的状态的周边监视用假想视点图像并输出。
样式B表示：在判定为仅在后方监视空间ZB中存在人、且判定为在右后方监视空间ZBR及右侧方监视空间ZR中不存在人的情况下，使用后方照相机2B的输入图像生成输出图像。该样式B例如在挖土机60的后方存在1人的作业者P1的情况下采用。图像生成机构11如用图20的输出图像D10表示的那样，将捕捉到作业者P1的后方照相机2B的输入图像原样作为输出图像输出。
样式C表示：在判定为仅在右侧方监视空间ZR中存在人、且判定为在后方监视空间ZB及右后方监视空间ZBR中不存在人的情况下，使用右侧方照相机2R的输入图像生成输出图像。该样式C例如在挖土机60的右侧方存在1人的作业者P2的情况下采用。图像生成机构11如用图20的输出图像D11表示的那样，将捕捉到作业者P2的右侧方照相机2R的输入图像原样作为输出图像输出。
样式D表示：在判定为仅在右后方监视空间ZBR中存在人、且判定为在后方监视空间ZB及右侧方监视空间ZR中不存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式D例如在挖土机60的右后方的重复摄像空间X内存在1人的作业者P3的情况下采用。图像生成机构11如用图20的输出图像D12表示的那样，将捕捉到作业者P3的后方照相机2B的输入图像原样作为第1输出图像(图中左侧)输出，将捕捉到相同的作业者P3的右侧方照相机2R的输入图像原样作为第2输出图像(图中右侧)输出。
样式E表示：在判定为后方监视空间ZB及右后方监视空间ZBR中存在人、且判定为在右侧方监视空间ZR中不存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式E例如在挖土机60的后方存在1人的作业者P4、并且在挖土机60的右后方的重复摄像空间X内存在1人的作业者P5的情况下采用。图像生成机构11如用图20的输出图像D13表示的那样，将捕捉到作业者P4及作业者P5的后方照相机2B的输入图像原样作为第1输出图像(图中左侧)输出，将仅捕捉到作业者P4的右侧方照相机2R的输入图像原样作为第2输出图像(图中右侧)输出。
样式F表示：在判定为后方监视空间ZB及右侧方监视空间ZR中存在人、且判定为在右后方监视空间ZBR中不存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式F例如在挖土机60的后方存在1人的作业者P6、并且在挖土机60的右侧方存在另1人的作业者P7的情况下采用。图像生成机构11如用图20的输出图像D14表示的那样，将捕捉到作业者P6的后方照相机2B的输入图像原样作为第1输出图像(图中左侧)输出，将捕捉到作业者P7的右侧方照相机2R的输入图像原样作为第2输出图像(图中右侧)输出。
样式G表示：在判定为右后方监视空间ZBR及右侧方监视空间ZR中存在人、且判定为在后方监视空间ZB中不存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式G例如在挖土机60的右后方的重复摄像空间X内存在1人的作业者P8、并且在挖土机60的右侧方存在另1人的作业者P9的情况下采用。图像生成机构11如用图20的输出图像D15表示的那样，将捕捉到作业者P8的后方照相机2B的输入图像原样作为第1输出图像(图中左侧)输出，将捕捉到作业者P8及作业者P9的右侧方照相机2R的输入图像原样作为第2输出图像(图中右侧)输出。
样式H表示：在判定为后方监视空间ZB、右后方监视空间ZBR及右侧方监视空间ZR的全部中均存在人的情况下，使用后方照相机2B及右侧方照相机2R的输入图像生成输出图像。该样式H例如在挖土机60的右后方的重复摄像空间X内存在1人的作业者P10、在挖土机60的后方存在另1人的作业者P11、并且在挖土机60的右侧方存在再另1人的作业者P12的情况下采用。图像生成机构11如用图20的输出图像D16表示那样，将捕捉到作业者P10及作业者P11的后方照相机2B的输入图像原样作为第1输出图像(图中左侧)输出，将捕捉到作业者P10及作业者P12的右侧方照相机2R的输入图像原样作为第2输出图像(图中右侧)输出。
在第2输入图像决定处理中，图像生成机构11在仅1个照相机的输入图像中拍摄有人的情况下，将对应的照相机的直通图像作为输出图像输出。这是为了使存在于监视空间中的人在显示部5上尽可能大地显示。另一方面，图像生成机构11在两个照相机的输入图像都拍摄有人的情况下，将两个照相机的各自的直通图像同时且独立地输出。这是因为，仅通过1个直通图像不能使存在于挖土机60的周围的全部的人显示到显示部5上，此外，这是因为，如果输出周边监视用假想视点图像，则与输出直通图像的情况相比变得难以辨识作业者。此外，图像生成机构11在判定为在3个监视空间的哪个中都不存在人的情况下，不输出直通图像而输出周边监视用假想视点图像。这是因为不存在要放大显示的人，此外是为了能够将存在于挖土机60的周围的人以外的其他物体广泛地监视。
此外，图像生成机构11在显示直通图像的情况下，也可以与第1输入图像决定处理时同样，显示知道哪个输入图像被使用那样的文本消息。
接着，参照图21，对基于在第1输入图像决定处理或第2输入图像决定处理中决定的输入图像生成的输出图像的别的显示例进行说明。
如图21所示，图像生成机构11也可以将周边监视用假想视点图像和直通图像同时显示。例如，图像生成机构11在挖土机60的后方存在作业者的情况下，如用图21的输出图像D20表示的那样，也可以将周边监视用假想视点图像作为第1输出图像、将后方照相机2B的直通图像作为第2输出图像显示。在此情况下，将直通图像显示在周边监视用假想视点图像的下侧。这是为了使挖土机60的操作者直观地掌握在挖土机60的后方有作业者。此外，图像生成机构11在挖土机60的左侧方存在作业者的情况下，如用图21的输出图像D21表示的那样，也可以将周边监视用假想视点图像作为第1输出图像、将左侧方照相机2L的直通图像作为第2输出图像显示。在此情况下，直通图像被显示在周边监视用假想视点图像的左侧。同样，图像生成机构11在挖土机60的右侧方存在作业者的情况下，如用图21的输出图像D22表示的那样，也可以将周边监视用假想视点图像作为第1输出图像、将右侧方照相机2R的直通图像作为第2输出图像显示。在此情况下，将直通图像显示在周边监视用假想视点图像的右侧。
或者，图像生成机构11也可以将周边监视用假想视点图像和多个直通图像同时显示。例如，图像生成机构11在挖土机60的后方及右侧方存在作业者的情况下，如用图21的输出图像D23表示的那样，也可以将周边监视用假想视点图像作为第1输出图像、将后方照相机2B的直通图像作为第2输出图像、将右侧方照相机2R的直通图像作为第3输出图像显示。在此情况下，将后方照相机2B的直通图像显示在周边监视用假想视点图像的下侧，将右侧方照相机2R的直通图像显示在周边监视用假想视点图像的右侧。
另外，图像生成机构11在将多个输出图像同时显示的情况下，也可以显示表示输出图像的内容的信息。例如，图像生成机构11也可以在后方照相机2B的直通图像的上方或其周边显示“后方照相机直通图像”等的文本。
此外，图像生成机构11在将多个输出图像同时显示的情况下，也可以在周边监视用假想视点图像之上将1或多个直通图像弹出显示。
通过以上的结构，图像生成装置100基于人存在与否判定机构12的判定结果切换输出图像的内容。具体而言，图像生成装置100例如切换将单独的输入图像的内容缩小且变更而显示的周边监视用假想视点图像、和将单独的输入图像的内容原样显示的直通图像。这样，图像生成装置100通过在挖土机60的周边检测到作业者的情况下显示直通图像，与仅显示周边监视用假想视点图像时相比，能够更可靠地防止挖土机60的操作者漏看该作业者。这是为了将作业者较大且容易理解地显示。
此外，在上述实施例中，图像生成机构11在基于1个照相机的输入图像生成输出图像的情况下，将该照相机的直通图像作为输出图像。但是，本发明并不限定于该结构。例如，图像生成机构11也可以基于后方照相机2B的输入图像生成后方监视用假想视点图像作为输出图像。
此外，在上述实施例中，图像生成装置100使1个人检测传感器的监视空间对应于1个照相机的摄像空间，但也可以使1个人检测传感器的监视空间对应于多个照相机的摄像空间，也可以使多个人检测传感器的监视空间对应于1个照相机的摄像空间。
此外，在上述实施例中，图像生成装置100使相邻的两个人检测传感器的监视空间的一部分重复，但也可以不使监视空间重复。此外，图像生成装置100也可以使1个人检测传感器的监视空间完全包含在别的人检测传感器的监视空间中。
此外，在上述实施例中，图像生成装置100在人存在与否判定机构12的判定结果变化的瞬间将输出图像的内容切换。但是，本发明并不限定于该结构。例如，图像生成装置100也可以从人存在与否判定机构12的判定结果变化后到切换输出图像的内容而设定规定的延迟时间。这是为了抑制输出图像的内容被频繁地切换。
接着，参照图22及图23，对警报控制机构13基于人存在与否判定机构12的判定结果控制警报输出部7的处理(以下设为“警报控制处理”)进行说明。另外，图22是表示警报控制处理的流程的流程图，图23是在警报控制处理中显示的输出图像的推移的一例。此外，警报控制机构13以规定周期反复执行该警报控制处理。此外，图像生成装置100搭载在图11所示的挖土机60中。
首先，人存在与否判定机构12判定在挖土机60的周围是否存在人(步骤S11)。此时，图像生成机构11例如生成图23的输出图像D31所示那样的周边监视用假想视点图像并显示。
在判定为在挖土机60的周围存在人的情况下(步骤S11的YES)，人存在与否判定机构12判定在左侧方监视空间ZL、后方监视空间ZB及右侧方监视空间ZR中的哪个监视空间中存在人(步骤S12)。
并且，人存在与否判定机构12在判定为仅在左侧方监视空间ZL中存在人的情况下(步骤S12的左侧方)，对警报控制机构13输出左侧方检测信号。并且，接受到左侧方检测信号的警报控制机构13对左侧方警报输出部7L输出警报开始信号，从左侧方警报输出部7L输出警报(步骤S13)。此外，图像生成机构11例如将图23的输出图像D32所示那样的左侧方照相机2L的直通图像作为输出图像显示。或者，图像生成机构11例如如图23的输出图像D33所示，也可以将周边监视用假想视点图像作为第1输出图像(图中右侧的图像)、将左侧方照相机2L的直通图像作为第2输出图像(图中左侧的图像)显示。
此外，人存在与否判定机构12在判定为仅在后方监视空间ZB中存在人的情况下(步骤S12的后方)，对警报控制机构13输出后方检测信号。并且，接受到后方检测信号的警报控制机构13对后方警报输出部7B输出警报开始信号，从后方警报输出部7B输出警报(步骤S14)。此外，图像生成机构11例如将后方照相机2B的直通图像作为输出图像显示。或者，图像生成机构11也可以将周边监视用假想视点图像作为第1输出图像、将后方照相机2B的直通图像作为第2输出图像显示。
此外，人存在与否判定机构12在判定为仅在右侧方监视空间ZR存在人的情况下(步骤S12的右侧方)，对警报控制机构13输出右侧方检测信号。并且，接受到右侧方检测信号的警报控制机构13对右侧方警报输出部7R输出警报开始信号，从右侧方警报输出部7R输出警报(步骤S15)。此外，图像生成机构11例如将右侧方照相机2R的直通图像作为输出图像显示。或者，图像生成机构11也可以将周边监视用假想视点图像作为第1输出图像、将右侧方照相机2R的直通图像作为第2输出图像显示。
另一方面，在判定为在挖土机60的周围不存在人的情况下(步骤S11的NO)，人存在与否判定机构12不对警报控制机构13输出检测信号而结束此次的警报控制处理。
另外，警报控制机构13在由人存在与否判定机构12在左侧方监视空间ZL、后方监视空间ZB及右侧方监视空间ZR中的两个以上的监视空间中判定为存在人的情况下，从左侧方警报输出部7L、后方警报输出部7B及右侧方警报输出部7R中的对应的两个以上的警报输出部输出警报。此外，图像生成机构11在由人存在与否判定机构12判定为在左侧方监视空间ZL、后方监视空间ZB及右侧方监视空间ZR中的两个以上的监视空间中存在人的情况下，用在上述实施例中说明那样的方法显示输出图像。具体而言，图像生成机构11也可以如用图23的输出图像D34表示那样仅显示周边监视用假想视点图像。此外，图像生成机构11也可以如用图23的输出图像D35表示那样将两个以上的直通图像同时显示。此外，图像生成机构11也可以如用图23的输出图像D36表示的那样同时显示周边监视用假想视点图像和两个以上的直通图像。
此外，图像生成装置100在从警报输出部7输出警报音的结构中，也可以使左侧方警报输出部7L、后方警报输出部7B及右侧方警报输出部7R的各自的警报音的内容(高低、输出间隔等)不同。同样，图像生成装置100在从警报输出部7输出光的结构中，也可以使左侧方警报输出部7L、后方警报输出部7B及右侧方警报输出部7R的各自的光的内容(颜色、发光间隔等)不同。这是为了使得挖土机60的操作者能够根据警报的内容的差异更直观地识别存在于挖土机60的周边的人的大体的位置。
通过以上的结构，图像生成装置100使得挖土机60的操作者能够直观地掌握存在于挖土机60的周边的作业者的大体的位置。例如，图像生成装置100即使不检测作业者的正确的位置，只要判定在挖土机60的左侧方、后方、右侧方的哪里存在作业者，就能够将该判定出的方向向挖土机60的操作者直观地传递。
另外，在上述实施例中，警报输出部7由独立的3个蜂鸣器构成，但也可以使用包括多个扬声器的环绕声系统使声音定位。
以上，详细地对本发明的优选的实施例进行了说明，但本发明并不限制于上述实施例，能够不脱离本发明的范围而对上述实施例加以各种变形及置换。
例如，在上述实施例中，图像生成装置100作为空间模型而采用圆筒状的空间模型MD，但也可以采用具有多角柱等其他的柱状的形状的空间模型，也可以采用由底面及侧面的两面构成的空间模型，或者也可以采用仅具有侧面的空间模型。
此外，图像生成装置100与照相机及人检测传感器一起搭载在具备铲斗、斗杆、动臂、回转机构等可动部件并自行的挖土机中。并且，图像生成装置100构成一边将周围图像向该操作者提示一边支持该挖土机的移动及这些可动部件的操作的操作支持系统。但是，图像生成装置100也可以与照相机及人检测传感器一起搭载在如叉车、沥青碾光机等那样不具有回转机构的作业机械中。或者，图像生成装置100也可以与照相机及人检测传感器一起搭载在如工业用机械或固定式起重机等那样具有可动部件但不自行的作业机械中。并且，图像生成装置100也可以构成支持这些作业机械的操作的操作支持系统。
此外，周边监视装置以包括照相机2及显示部5的图像生成装置100为1例进行了说明，但也可以构成为不包含照相机2、显示部5等的图像显示功能的装置。例如，作为执行警报控制处理的装置的周边监视装置100A如图24所示，也可以将照相机2、输入部3、存储部4、显示部5、坐标对应建立机构10及图像生成机构11省略。
此外，本申请主张基于在2013年3月19日提出申请的日本专利申请2013－057401号的优先权，在本申请中通过参照而引用该日本专利申请的全部内容。
标号说明
1控制部；2照相机；2L左侧方照相机；2R右侧方照相机；2B后方照相机；3输入部；4存储部；5显示部；6人检测传感器；6L左侧方人检测传感器；6R右侧方人检测传感器；6B后方人检测传感器；7警报输出部；7L左侧方警报输出部；7B后侧方警报输出部；7R右侧方警报输出部；10坐标对应建立机构；11图像生成机构；12人存在与否判定机构；13警报控制机构；40输入图像－空间模型对应映射表；41空间模型－处理对象图像对应映射表；42处理对象图像－输出图像对应映射表；60挖土机；61下部行驶体；62回转机构；63上部回转体；64驾驶室；100图像生成装置；100A周边监视装置。
权利要求书(按照条约第19条的修改)
1.(修正后)一种作业机械用周边监视装置，其特征在于，
具有：
人存在与否判定机构，判定处于作业机械的周围的多个监视空间的各自中的人的存在与否；和
警报控制机构，设置在上述作业机械的驾驶室中，控制对操作者输出警报的多个警报输出部；
上述多个监视空间包括作为该多个监视空间中的两个的第1监视空间及第2监视空间；
上述多个警报输出部包括作为该多个警报输出部中的两个的、对应于上述第1监视空间的第1警报输出部及对应于上述第2监视空间的第2警报输出部；
上述人存在与否判定机构基于不确定上述监视空间中的人的位置而检测人的存在与否的人检测传感器的输出来判定人的存在与否；
上述警报控制机构在判定为在上述第1监视空间中存在人的情况下从上述第1警报输出部输出警报，在判定为在上述第2监视空间中存在人的情况下从上述第2警报输出部输出警报。
2.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述多个监视空间包括处于上述作业机械的后方的后方监视空间及处于侧方的侧方监视空间；
上述多个警报输出部包括设置在上述驾驶室的后方的后方警报输出部、以及设置在上述驾驶室的侧方的侧方警报输出部；
上述后方警报输出部对应于上述后方监视空间；
上述侧方警报输出部对应于上述侧方监视空间。
3.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述警报输出部输出由声音及光的至少一方形成的警报。
4.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述人存在与否判定机构基于安装在上述作业机械上的多个运动体检测传感器或图像传感器的输出，判定上述多个监视空间的各自中的人的存在与否。
说明或声明(按照条约第19条的修改)
基于条约第19条(1)的说明书
权利要求书的第1项明确了人存在与否判定机构“基于不确定监视空间中的人的位置而检测人的存在与否的人检测传感器的输出”判定人的存在与否。
文献1(JP2010－112100A)、文献2(JP2008－179940A)及文献3(JP10－090406A)都既没有公开也没有暗示人存在与否判定机构“基于不确定监视空间中的人的位置而检测人的存在与否的人检测传感器的输出”判定人的存在与否。

Claims (4)

1.一种作业机械用周边监视装置，其特征在于，
具有：
人存在与否判定机构，判定处于作业机械的周围的多个监视空间的各自中的人的存在与否；和
警报控制机构，设置在上述作业机械的驾驶室中，控制对操作者输出警报的多个警报输出部；
上述多个监视空间包括作为该多个监视空间中的两个的第1监视空间及第2监视空间；
上述多个警报输出部包括作为该多个警报输出部中的两个的、对应于上述第1监视空间的第1警报输出部及对应于上述第2监视空间的第2警报输出部；
上述警报控制机构在判定为在上述第1监视空间中存在人的情况下从上述第1警报输出部输出警报，在判定为在上述第2监视空间中存在人的情况下从上述第2警报输出部输出警报。
2.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述多个监视空间包括处于上述作业机械的后方的后方监视空间及处于侧方的侧方监视空间；
上述多个警报输出部包括设置在上述驾驶室的后方的后方警报输出部、以及设置在上述驾驶室的侧方的侧方警报输出部；
上述后方警报输出部对应于上述后方监视空间；
上述侧方警报输出部对应于上述侧方监视空间。
3.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述警报输出部输出由声音及光的至少一方形成的警报。
4.如权利要求1所述的作业机械用周边监视装置，其特征在于，
上述人存在与否判定机构基于安装在上述作业机械上的多个运动体检测传感器或图像传感器的输出，判定上述多个监视空间的各自中的人的存在与否。
CN201480007706.9A 2013-03-19 2014-02-24 作业机械用周边监视装置 Pending CN104982030A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910680197.0A CN110318441A (zh) 2013-03-19 2014-02-24 作业机械

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-057401 2013-03-19
JP2013057401A JP6545430B2 (ja) 2013-03-19 2013-03-19 ショベル
PCT/JP2014/054289 WO2014148203A1 (ja) 2013-03-19 2014-02-24 作業機械用周辺監視装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910680197.0A Division CN110318441A (zh) 2013-03-19 2014-02-24 作业机械

Publications (1)

Publication Number Publication Date
CN104982030A true CN104982030A (zh) 2015-10-14

Family

ID=51579895

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910680197.0A Pending CN110318441A (zh) 2013-03-19 2014-02-24 作业机械
CN201480007706.9A Pending CN104982030A (zh) 2013-03-19 2014-02-24 作业机械用周边监视装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910680197.0A Pending CN110318441A (zh) 2013-03-19 2014-02-24 作业机械

Country Status (5)

Country Link
US (1) US9836938B2 (zh)
EP (1) EP2978213B1 (zh)
JP (1) JP6545430B2 (zh)
CN (2) CN110318441A (zh)
WO (1) WO2014148203A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108892042A (zh) * 2018-09-13 2018-11-27 郑州大学 一种钢水包耳轴吊装对位识别装置及方法
CN109312557A (zh) * 2016-07-04 2019-02-05 住友建机株式会社 挖土机
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
CN109993936A (zh) * 2019-03-19 2019-07-09 上海电力高压实业有限公司 变电站改造越界报警系统及方法
CN110166751A (zh) * 2019-06-03 2019-08-23 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
CN110325687A (zh) * 2017-02-24 2019-10-11 住友重机械工业株式会社 挖土机、挖土机的控制方法以及便携信息终端
CN111954637A (zh) * 2018-04-27 2020-11-17 株式会社多田野 起重车
CN113614320A (zh) * 2019-03-13 2021-11-05 神钢建机株式会社 作业机械用周边监视装置
CN114067511A (zh) * 2020-07-31 2022-02-18 株式会社东芝 注意提醒系统、注意提醒方法以及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3041227A4 (en) * 2013-08-26 2017-05-24 Hitachi Construction Machinery Co., Ltd. Device for monitoring area around working machine
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
WO2016082881A1 (en) * 2014-11-27 2016-06-02 Abb Technology Ltd Distribution of audible notifications in a control room
CN108026715B (zh) 2015-09-15 2021-06-18 住友建机株式会社 挖土机
JP6419677B2 (ja) * 2015-11-30 2018-11-07 住友重機械工業株式会社 作業機械用周辺監視システム
WO2017094626A1 (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
CN114640827A (zh) * 2016-01-29 2022-06-17 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
JP6689669B2 (ja) * 2016-05-13 2020-04-28 住友重機械工業株式会社 ショベル
JPWO2018084161A1 (ja) 2016-11-01 2019-09-26 住友建機株式会社 建設機械用安全管理システム、管理装置
CN114635473B (zh) * 2017-02-22 2024-04-12 住友建机株式会社 挖土机
JP7396987B2 (ja) * 2018-07-31 2023-12-12 住友建機株式会社 ショベル
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP2020063566A (ja) 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
JP2020125672A (ja) * 2019-01-15 2020-08-20 株式会社カナモト 建設機械の安全装置
EP3951089A4 (en) * 2019-03-30 2022-09-14 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND CONSTRUCTION SYSTEM
FR3095392B1 (fr) * 2019-04-24 2021-04-16 Option Automatismes Système anti-collision pour engin de chantier, et engin de chantier équipé d’un tel système anti-collision
JP7463354B2 (ja) * 2019-04-26 2024-04-08 住友建機株式会社 ショベル
EP4023820A4 (en) * 2019-08-29 2022-11-09 Sumitomo Construction Machinery Co., Ltd. EXCAVATOR AND EXCAVATOR DIAGNOSTIC SYSTEM
GB2588186A (en) * 2019-10-11 2021-04-21 Caterpillar Inc System for monitoring surrounding area of cold planer
KR20220154080A (ko) 2020-03-25 2022-11-21 스미도모쥬기가이고교 가부시키가이샤 건설기계, 건설기계의 관리시스템, 기계학습장치 및 건설기계의 작업현장의 관리시스템
US20230137344A1 (en) * 2020-03-27 2023-05-04 Hitachi Construction Machinery Co., Ltd. Work machine
US11521397B2 (en) * 2020-09-08 2022-12-06 Caterpillar Inc. Object tracking for work machines
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07102596A (ja) * 1993-10-01 1995-04-18 Kensetsusho Kanto Chiho Kensetsu Kyokucho 建設機械の監視装置
JPH1090406A (ja) * 1996-09-13 1998-04-10 Omron Corp 警報装置
JP2007310587A (ja) * 2006-05-17 2007-11-29 Sumitomonacco Materials Handling Co Ltd 産業車両の安全装置
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN103502541A (zh) * 2011-05-26 2014-01-08 住友重机械工业株式会社 具备电动式回转装置的铲土机及其控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0517973A (ja) * 1991-07-16 1993-01-26 Yutani Heavy Ind Ltd 建設機械の安全装置
JP2008179940A (ja) 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP2009193494A (ja) 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP5227841B2 (ja) * 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
AT509253A1 (de) * 2009-08-05 2011-07-15 Moeller Gebaeudeautomation Gmbh Elektrische installationsanordnung
US9633563B2 (en) * 2010-04-19 2017-04-25 Caterpillar Inc. Integrated object detection and warning system
JP3161937U (ja) * 2010-06-04 2010-08-12 東京通信機株式会社 重機後方確認装置
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
US8948975B2 (en) * 2011-10-28 2015-02-03 Agco Corporation Agriculture combination machines for dispensing compositions
US9169973B2 (en) * 2012-12-18 2015-10-27 Agco Corporation Zonal operator presence detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07102596A (ja) * 1993-10-01 1995-04-18 Kensetsusho Kanto Chiho Kensetsu Kyokucho 建設機械の監視装置
JPH1090406A (ja) * 1996-09-13 1998-04-10 Omron Corp 警報装置
JP2007310587A (ja) * 2006-05-17 2007-11-29 Sumitomonacco Materials Handling Co Ltd 産業車両の安全装置
JP2010112100A (ja) * 2008-11-07 2010-05-20 Hitachi Constr Mach Co Ltd 作業機械の監視装置
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN103502541A (zh) * 2011-05-26 2014-01-08 住友重机械工业株式会社 具备电动式回转装置的铲土机及其控制方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109312557A (zh) * 2016-07-04 2019-02-05 住友建机株式会社 挖土机
CN109312557B (zh) * 2016-07-04 2022-02-08 住友建机株式会社 挖土机
CN109314769A (zh) * 2016-11-01 2019-02-05 住友建机株式会社 施工机械用周边监视系统
CN110325687A (zh) * 2017-02-24 2019-10-11 住友重机械工业株式会社 挖土机、挖土机的控制方法以及便携信息终端
CN110325687B (zh) * 2017-02-24 2022-06-14 住友重机械工业株式会社 挖土机、挖土机的控制方法以及便携信息终端
CN111954637A (zh) * 2018-04-27 2020-11-17 株式会社多田野 起重车
CN108892042A (zh) * 2018-09-13 2018-11-27 郑州大学 一种钢水包耳轴吊装对位识别装置及方法
CN108892042B (zh) * 2018-09-13 2024-05-03 郑州大学 一种钢水包耳轴吊装对位识别装置及方法
CN113614320A (zh) * 2019-03-13 2021-11-05 神钢建机株式会社 作业机械用周边监视装置
CN109993936A (zh) * 2019-03-19 2019-07-09 上海电力高压实业有限公司 变电站改造越界报警系统及方法
WO2020244010A1 (zh) * 2019-06-03 2020-12-10 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
CN110166751A (zh) * 2019-06-03 2019-08-23 三一汽车制造有限公司 臂架设备、臂架设备安全预警装置及方法
CN114067511A (zh) * 2020-07-31 2022-02-18 株式会社东芝 注意提醒系统、注意提醒方法以及存储介质

Also Published As

Publication number Publication date
EP2978213B1 (en) 2019-11-06
JP6545430B2 (ja) 2019-07-17
WO2014148203A1 (ja) 2014-09-25
JP2014183500A (ja) 2014-09-29
CN110318441A (zh) 2019-10-11
US20160005286A1 (en) 2016-01-07
US9836938B2 (en) 2017-12-05
EP2978213A1 (en) 2016-01-27
EP2978213A4 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
CN104982030A (zh) 作业机械用周边监视装置
JP6029306B2 (ja) 作業機械用周辺監視装置
JP6541734B2 (ja) ショベル
JP6052881B2 (ja) 作業機械用周辺監視装置
JP6456584B2 (ja) 作業機械用周辺監視装置
JP6386213B2 (ja) ショベル
JP6740259B2 (ja) 作業機械
JP6324665B2 (ja) 作業機械用周辺監視装置
JP6290497B2 (ja) ショベル
JP6378801B2 (ja) ショベル
JP6852026B2 (ja) ショベル
JP6420432B2 (ja) ショベル
JP6091821B2 (ja) ショベル
JP6602936B2 (ja) ショベル
JP6301536B2 (ja) ショベル
JP6257919B2 (ja) ショベル
JP6391656B2 (ja) 作業機械用周辺監視装置及び作業機械
JP2019004484A (ja) ショベル
JP2018186575A (ja) ショベル
JP2020127217A (ja) ショベル
JP2014183498A (ja) 作業機械用周辺監視装置
JP6356323B2 (ja) ショベル
JP2019085870A (ja) ショベル及びショベル用周辺監視装置
JP2020190192A (ja) ショベル
JP2019071677A (ja) ショベル

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151014

RJ01 Rejection of invention patent application after publication