CN109314769A - 施工机械用周边监视系统 - Google Patents

施工机械用周边监视系统 Download PDF

Info

Publication number
CN109314769A
CN109314769A CN201780036721.XA CN201780036721A CN109314769A CN 109314769 A CN109314769 A CN 109314769A CN 201780036721 A CN201780036721 A CN 201780036721A CN 109314769 A CN109314769 A CN 109314769A
Authority
CN
China
Prior art keywords
image
people
monitoring
construction machinery
excavator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780036721.XA
Other languages
English (en)
Other versions
CN109314769B (zh
Inventor
泉川岳哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Publication of CN109314769A publication Critical patent/CN109314769A/zh
Application granted granted Critical
Publication of CN109314769B publication Critical patent/CN109314769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种施工机械用周边监视系统，其在施工机械的周边检测到人时，能够使操作员更快地掌握检测到的人的状态。因此，一实施方式所涉及的施工机械用周边监视系统具备：显示控制部，将包括施工机械图像及配置于施工机械图像的周围的周围图像的监视用图像显示于显示装置；及人检测部，在施工机械的周边的规定区域内检测人，当通过人检测部在规定区域内检测到人时，显示控制部将放大监视用图像显示于显示装置，该放大监视用图像是将监视用图像中的周边图像的一部分区域、并且是以与施工机械图像相比更靠近周边图像中所包括的人的位置为中心的、包括人的一部分区域进行放大而得的。

Description

施工机械用周边监视系统
技术领域
本发明涉及一种施工机械用周边监视系统。
背景技术
已知有一种周边监视装置，其将根据对安装于施工机械的周边进行拍摄的摄像装置(摄像机)的摄像图像生成的监视用图像(例如，从施工机械的正上方观看的俯视图像)显示于驾驶座周边的监视器(例如，参考专利文献1)。
在专利文献1中，当在施工机械的周边的规定区域内检测到人时，将监视用图像从广域显示放大显示到附近显示。
以往技术文献
专利文献
专利文献1：日本专利第5395266号公报
发明内容
发明要解决的技术课题
然而，在专利文献1中，单纯地以示意地表示施工机械的图像为中心将监视用图像从广域显示放大到附近显示。因此，操作员有可能无法立即掌握监视用图像中的模仿中央部的施工机械的图像的周边所显示的被检测到的人的状态。
因此，鉴于上述课题，本发明的目的在于提供一种在施工机械的周边检测到人时，能够使操作员更快地掌握检测到的人的状态的施工机械用周边监视系统。
用于解决技术课题的手段
为了实现上述目的，本发明的一实施方式中提供一种施工机械用周边监视系统，其具备：
显示装置，设置于施工机械的驾驶室内；
摄像装置，拍摄所述施工机械的周边；
图像生成部，根据所述摄像装置的摄像图像生成所述施工机械的周边图像；
显示控制部，将监视用图像显示于所述显示装置，所述监视用图像包括示意地表示所述施工机械的施工机械图像、及根据所述施工机械与所述摄像装置的摄像范围的相对位置关系配置于所述施工机械图像的周围的所述周围图像；及
人检测部，在所述施工机械的周边的规定区域内检测人，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将放大监视用图像显示于所述显示装置，所述放大监视用图像将所述监视用图像中的所述周边图像的一部分区域、并且以与所述施工机械图像相比更靠近所述周边图像中所包括的所述人的位置为中心且包括所述人的一部分区域进行放大而得的。
发明效果
根据上述实施方式，能够提供一种在施工机械的周边检测到人时，能够使操作员更快地掌握检测到的人的状态的施工机械用周边监视系统。
附图说明
图1是表示搭载有本实施方式所涉及的周边监视系统的施工机械的一例的图。
图2A是表示本实施方式所涉及的周边监视系统的结构的一例的图。
图2B是表示本实施方式所涉及的周边监视系统的结构的另一例的图。
图3是表示显示装置中所显示的监视用图像的一例的图。
图4A是说明显示装置中所显示的放大监视用图像的第1例的图。
图4B是说明显示装置中所显示的放大监视用图像的第1例的图。
图5A是说明显示装置中所显示的放大监视用图像的第2例的图。
图5B是说明显示装置中所显示的放大监视用图像的第2例的图。
图6A是说明显示装置中所显示的放大监视用图像的第3例的图。
图6B是说明显示装置中所显示的放大监视用图像的第3例的图。
图7A是说明显示装置中所显示的放大监视用图像的第4例的图。
图7B是说明显示装置中所显示的放大监视用图像的第4例的图。
图8是说明显示装置中所显示的另一视点监视用图像的一例的图。
图9是说明显示装置中所显示的部分另一视点监视用图像的一例的图。
图10是概略地表示通过周边监视系统(显示控制部)进行的处理的一例的流程图。
具体实施方式
以下，参考附图对用于实施发明的方式进行说明。
[施工机械的结构]
首先，参考图1，对搭载有本实施方式所涉及的周边监视系统100(参考图2)的施工机械进行说明。
图1是显示搭载有本实施方式所涉及的周边监视系统100的施工机械的一例的图，具体而言，为挖土机侧视图。
另外，本实施方式所涉及的周边监视系统100理所当然可以搭载于除挖土机以外的施工机械、例如，轮式装载机、沥青滚平机等。
本实施方式所涉及的挖土机具备下部行走体1、经由回转机构2可回转地搭载于下部行走体1的上部回转体3、作为作业装置的动臂4、斗杆5、铲斗6及操作员乘坐的驾驶室10。
下部行走体1例如包括左右一对履带，各履带由行驶液压马达(未图示)液压驱动，由此使挖土机行驶。
上部回转体3由回转液压马达或电动机(均未图示)等驱动，由此相对于下部行走体1回转。
动臂4能够俯仰地枢转安装于上部回转体3的前部中央，动臂4的前端能够上下转动地枢转安装有斗杆5，斗杆5的前端能够上下转动地枢转安装有铲斗6。动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8、及铲斗缸9液压驱动。
驾驶室10为操作员乘坐的操纵室，并搭载于上部回转体3的前部左侧。
并且，本实施方式所涉及的挖土机具备控制器30、摄像装置40、物体检测传感器42及显示装置50。
控制器30为进行挖土机的驱动控制的控制装置。控制器30搭载于驾驶室10内。
摄像装置40安装于上部回转体3的上部并拍摄挖土机的周边。摄像装置40包括后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R。
后方摄像机40B安装于上部回转体3的后端上部并拍摄上部回转体3的后方。
左侧方摄像机40L安装于上部回转体3的左端上部并拍摄上部回转体3的左侧方。
右侧方摄像机40R安装于上部回转体3的右端上部并拍摄上部回转体3的右侧方。
物体检测传感器42安装于上部回转体3的外侧面等，并检测挖土机的周边、具体而言位于上部回转体3的后方、左侧方及右侧方的物体(障碍物)。能够通过物体检测传感器42检测的物体可包括人。具体而言，物体检测传感器42可以为包括检测上部回转体3的后方的物体的传感器、检测上部回转体3的左侧方的物体的传感器及检测上部回转体3的右侧方的物体的传感器这3个传感器的形态。物体检测传感器42中例如可包括能够通过向挖土机(上部回转体3)的周边输出检测波或激光，并接收其反射波或反射光来检测物体的超声波传感器、毫米波雷达、LIDAR(Light Detection and Ranging，激光雷达)等。物体检测传感器42例如能够根据反射波或反射光的强度判断检测到的物体是人还是除了人以外的物体。并且，物体检测传感器42例如可以为立体摄像机。
显示装置50设置于驾驶室10内的驾驶座的周边，通过控制器30(后述的显示控制部302)进行的控制下显示通知给操作员的各种图像信息。
[周边监视系统的结构]
接着，参考图2A、图2B，对周边监视系统100的结构进行说明。
图2A是显示本实施方式所涉及的周边监视系统100的结构的一例的框图。
本实施方式所涉及的周边监视系统100包括控制器30、摄像装置40、显示装置50。
控制器30进行周边监视系统100中的主控制处理。控制器30可通过任意的硬件、软件或其组合来实现其功能，例如以包括CPU、RAM、ROM、I/O等的微型计算机为中心而构成。控制器30作为通过在CPU上执行存储于ROM中的各种程序来实现的功能部包括人检测部301、显示控制部302。
如上所述，摄像装置40包括后方摄像机40B、左侧方摄像机40L、右侧方摄像机40R。后方摄像机40B、左侧方摄像机40L、右侧方摄像机40R在上部回转体3的上部安装成光轴朝向斜下方，并具有包括从挖土机附近的地面到挖土机的远侧的上下方向的摄像范围(视角)。后方摄像机40B、左侧方摄像机40L、右侧方摄像机40R在挖土机的运行期间按每规定周期(例如1/30秒)将摄像图像输出到控制器30，摄像图像由控制器30获取。
物体检测传感器42在挖土机的运行期间按每规定周期向控制器30输出上部回转体3的周边(具体而言为上部回转体3的后方、左侧方及右侧方)的检测结果，检测结果由控制器30获取。
显示装置50显示摄像装置40的摄像图像(实时取景图像)、由控制器30(显示控制部302)根据摄像装置40的摄像图像生成的周边图像(例如，后述视点转换图像)等。
人检测部301根据通过摄像装置40拍摄的摄像图像检测挖土机的周边的规定区域内、例如距挖土机规定距离D1(例如5米)以内的人。例如，人检测部301通过任意应用已知的各种图像处理方法和基于机器学习的分类器等，能够识别摄像图像内的人，并且对识别到的人的实际位置(从挖土机到识别到的人的距离D等)进行确定。
另外，如图2B(显示本实施方式所涉及的周边监视系统100的结构的另一例子的框图)所示，人检测部301也可以根据物体检测传感器42的检测结果检测挖土机周边的规定区域内的人。此时，人检测部301能够根据物体检测传感器42的检测结果中所包括的反射波或反射光的强度和模式等的特性判断所检测到的物体是否为人。并且，人检测部301可以通过所谓的传感器融合并根据由摄像装置40拍摄的摄像图像和基于物体检测传感器42的检测结果两者检测作为监视对象的人。
显示控制部302将各种信息图像显示于显示装置50。例如，显示控制部302根据摄像装置40的摄像图像生成周边图像并显示于显示装置50。具体而言，显示控制部302作为周边图像，根据后方摄像机40B、左侧方摄像机40L、右侧方摄像机40R的摄像图像通过进行已知的视点转换处理生成视点转换图像(从虚拟视点观看的图像)并显示于显示装置50。并且，显示控制部302在将周边图像显示于显示装置50时，为了明示周边图像中所映现的摄像装置40的摄像范围相对于挖土机的相对位置关系，将示意地显示挖土机的挖土机图像(施工机械图像的一例)一并显示于显示装置50。即，显示控制部302生成包括挖土机图像及根据挖土机与摄像装置40的摄像范围的相对位置关系配置于挖土机图像的周围的周边图像的监视用图像并显示于显示装置50。以下，参考图3，与显示装置50的详细内容一同对显示于显示装置50中的监视用图像进行说明。
图3是表示显示装置50中所显示的监视用图像的一例的图。
如图3所示，显示装置50包括显示各种信息图像的显示部50A、及基于对各种信息图像中所显示的操作对象(例如操作按钮图标和光标等)进行操作的硬件的操作部50B。
在本例中，显示部50A中不仅显示监视用图像MP，还显示提示与挖土机的运行相关的各种信息的运行信息图像IP。具体而言，在显示部50A的上半部分显示监视用图像MP，在下半部分显示运行信息图像IP。
运行信息图像IP包括日期和时间显示区域IPa、行驶模式显示区域IPb、端部附属装置显示区域IPc、引擎控制状态显示区域IPe、引擎运转时间显示区域IPf、冷却水温显示区域IPg、燃料剩余量显示区域IPh、转速模式显示区域IPi、工作油温显示区域IPk、摄像机图像显示区域IPm、警报显示区域IPp及朝向显示图标IPx。
日期和时间显示区域Ipa是图像显示当前的日期和时间的区域。在本例中，采用数字显示来表示日期为2013年2月19日，时间为23时59分。
行驶模式显示区域IPb是图像显示当前的行驶模式的区域。行驶模式表示使用可变容量泵的行驶液压马达的设定状态。具体而言，行驶模式具有低速模式及高速模式。低速模式用仿照“乌龟”的标志显示，高速模式中用仿照“兔子”的标志显示。在本例中，显示出仿照“乌龟”的标志，操作员能够确认已设定为低速模式。
端部附属装置显示区域IPc是图像显示表示当前安装的端部附属装置的图像的区域。安装于挖土机的端部附属装置中除铲斗6以外还包括凿岩机、抓斗、起重磁铁等各种端部附属装置。端部附属装置显示区域IPc中显示例如仿照这些端部附属装置的标志。在本例中，显示出仿照凿岩机的标志，操作员能够确认作为端部附属装置而安装有凿岩机。
引擎控制状态显示区域IPe是图像显示引擎的控制状态的区域。在本例中，操作员能够确认作为引擎的控制状态而选择有“自动减速、自动停止模式”。另外，“自动减速、自动停止模式”意味着根据引擎负荷较小的状态的持续时间来自动降低引擎转速，并进一步使引擎自动停止的控制状态。此外，引擎的控制状态还有“自动减速模式”、“自动停止模式”、“手动减速模式”等。
引擎运转时间显示区域IPf是图像显示引擎的累积运转时间的区域。在本例中，显示使用单位“hr(小时)”而得的值。
冷却水温显示区域IPg是图像显示当前的引擎冷却水的温度状态的区域。在本例中，显示有表示引擎冷却水的温度状态的条形图。另外，引擎冷却水的温度根据由安装于引擎的水温传感器输出的数据来显示。
具体而言，冷却水温显示区域IPg包括异常范围显示IPg1、注意范围显示IPg2、正常范围显示IPg3、分段显示IPg4及图标显示IPg5。
异常范围显示IPg1、注意范围显示IPg2、正常范围显示IPg3分别是用于通知操作员引擎冷却水的温度分别处于异常高温状态、需要注意的状态、正常状态的显示。并且，分段显示IPg4是用于通知操作员引擎冷却水的温度的高低的显示。并且，图标显示IPg5为表示异常范围显示IPg1、注意范围显示IPg2、正常范围显示IPg3及分段显示IPg4是与引擎冷却水的温度相关的显示的象征性图形等的图标。
另外，图标显示IPg5可为表示是与引擎冷却水的温度相关的显示的文字信息。
本例中，分段显示IPg4由单独控制点亮、熄灭状态的8个分段构成，冷却水温越高则点亮状态的分段的数量越增加。在本例中，4个分段成为点亮状态。并且，分段显示IPg4构成规定圆的一部分(圆弧)，根据引擎冷却水的温度的上下移动以使该圆弧的长度伸缩的方式显示。并且，在本例中，各分段所表示的温度的幅度相同，但也可以改变每一分段的温度的幅度。
并且，本例中，异常范围显示IPg1、注意范围显示IPg2、正常范围显示IPg3分别为沿分段显示IPg4的伸缩方向(规定圆的圆周方向)排列而配置的圆弧状的图形，以红色、黄色、绿色显示。并且，分段显示IPg4中，第1(最下位)至第6个分段属于正常范围，第7个分段属于注意范围，第8个(最上位)分段属于异常范围。
另外，冷却水温显示区域IPg中，也可以将表示异常液位、注意液位、正常液位的文字、记号等显示于各自的边界部分，以此来代替将异常范围显示IPg1、注意范围显示IPg2及正常范围显示IPg3显示为圆弧状的图形。
并且，包括异常范围显示、注意范围显示、正常范围显示、分段显示及图标显示的上述结构在燃料剩余量显示区域IPh及工作油温显示区域IPk中也可以同样地采用。并且，在燃料剩余量显示区域IPh中，也可以将表示“Full(满油状态)”的文字“F”或黑圈(被涂黑的圆圈记号)、及表示“Empty(空状态)”的文字“E”或白圈(未被涂黑的圆圈记号)等显示于各自的边界部分，以此来代替显示表示异常范围、注意范围及正常范围的圆弧状的图形。
燃料剩余量显示区域IPh是图像显示储存于燃料罐中的燃料的剩余量状态的区域。在本例中，显示有表示当前的燃料的剩余量状态的条形图。另外，燃料剩余量显示区域IPh的燃料的剩余量根据燃料罐内的燃料剩余量传感器所输出的数据来显示。
转速模式显示区域IPi是图像显示当前的转速模式的区域。转速模式包括例如上述SP模式、H模式、A模式及怠速模式这4种。在本例中，显示有表示SP模式的记号“SP”。
工作油温显示区域IPk是图像显示工作油罐内的工作油的温度状态的区域。在本例中，显示有表示工作油的温度状态的条形图。工作油温显示区域IPk的工作油的温度根据工作油罐内的油温传感器所输出的数据来显示。
另外，冷却水温显示区域IPg、燃料剩余量显示区域IPh及工作油温显示区域IPk中，可以采用针显示来代替条形图显示。
摄像机图像显示区域IPm是按原样显示后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R中的至少一个的摄像图像(实时取景图像)的区域。由此，操作员除了监视用图像MP以外还能够在运行信息图像IP内按原样视觉辨认由摄像装置40拍摄的摄像图像(实时取景图像)。
例如，摄像机图像显示区域IPm可以在挖土机运转期间始终显示由后方摄像机40B拍摄的摄像图像。此时，摄像机图像显示区域IPm的后方摄像机40B的摄像图像(实时取景图像)优选以镜像显示。
并且，在本例中，摄像机图像显示区域IPm占据运行信息图像IP的右侧的3分之2左右的区域。在显示装置50设置于驾驶座的右侧前方的环境中，在靠近驾驶座(操作员)的一侧显示燃料剩余量显示区域IPh等，在远离驾驶座(操作员)的一侧显示摄像机图像显示区域IPm，以提高整体的视觉辨认性。但是，运行信息图像IP中的各显示区域的尺寸及配置可根据需要更改。
并且，摄像机图像显示区域IPm中所显示的摄像图像根据对触摸面板式显示部50A的触摸操作等或对操作部50B的操作，可以切换所显示的摄像图像的成像源的摄像装置40或可以放大或缩小摄像图像。例如，可以为如下方式：操作员通过进行由操作部50B的十字按钮50Ba指定左右方向的操作，能够切换摄像机图像显示区域IPm中所显示的摄像图像(实时取景图像)的成像源的摄像装置40(后方摄像机40B、左侧方摄像机40L、右侧方摄像机40R)。并且，可以为如下方式：操作员能够通过进行指定缩放按钮50Bb的上方向的按钮及指定下方向的按钮的每一个的按压操作来放大或缩小摄像图像。此时，操作员能够通过触摸触摸面板式的显示部50A上的摄像机图像显示区域IPm的任意位置来指定位置，并以该指定位置为中心进行放大缩小。并且，也可以为如下方式：操作员能够通过十字按钮50Ba来使光标移动，并以光标位置为中心进行放大缩小。
警报显示区域IPp是显示警报的区域。本例中，表示发生电气系统异常的警告信息叠加显示于实时取景图像上。并且，在本例中，在警报显示区域Ipp中，当在由后方摄像机40B拍摄的摄像图像未显示于摄像机图像显示区域Ipm的状态下进行杆操作时，显示用于警告执行了杆操作的警报。并且，警报显示区域IPp中，当不存在应显示的警报时，直接显示实时取景图像。
朝向显示图标IPx是表示拍摄运行信息图像IP中所显示的摄像图像(实时取景图像)的摄像装置40的朝向与挖土机(上部回转体3的附属装置)的朝向的相对关系的图标。在本例中，表示拍摄摄像机图像显示区域IPm中所显示的摄像机图像的摄像装置40为后方摄像机40B的朝向显示图标IPx显示于摄像机图像显示区域IPm的右下角。
另外，朝向显示图标IPx可以显示于摄像机图像显示区域IPm的下部中央、左下角、右上角、左上角等、右下角以外的位置，也可以显示于摄像机图像显示区域IPm的外部。
并且，运行信息图像IP可以省略上述显示区域IPa～IPk的一部分，也可以包括除上述以外的显示区域。例如，运行信息图像IP可以包括显示废气过滤器(例如，柴油机微粒去除装置(DPF：Diesel Particulate Filter)等)的堵塞状况的废气过滤器状态显示区域。具体而言，废气过滤器状态显示区域可以显示表示废气过滤器的当前的使用时间相对于最大允许使用时间的比例的条形图。并且，运行信息图像IP可以省略工作油的温度状态的显示，也可以省略工作油的温度状态及冷却水的温度状态的显示。
并且，摄像机图像显示区域IPm的下部包括作为上部回转体3的盖3a的后端上边的图像即车体图像的盖图像IPq。由此，显示装置50使操作员能够更容易地掌握显示于摄像机图像显示区域IPm中的物体与挖土机之间的距离感。并且，在本实施例中，朝向显示图标IPx叠加显示于盖图像IPq上。这是为了使朝向显示图标IPx的背景颜色始终相同以便提高其视觉辨认性。并且，这是为了防止显示图标IPx隐藏摄像机图像的希望看到的部分。但是，朝向显示图标IPx也可以显示于摄像机图像显示区域IPm的外部。
并且，如图3所示，显示装置50的显示部50A的上半部分的横长的长方形区域(例如，纵横尺寸比4:3的画面)中，如上所述显示有包括挖土机图像CG及配置于挖土机图像CG的周围的周边图像EP的监视用图像MP。由此，操作员能够适当地掌握包括周边图像EP中所映现的人在内的物体与挖土机之间的位置关系。
本例中的周边图像EP是将从正上方观察挖土机周边的路面图像和配置于该路面图像的周围且沿水平方向观察挖土机周边的水平图像组合而成的视点转换图像。周边图像(视点转换图像)通过如下而获得：将后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R各自的摄像图像投影到空间模型之后，将投影到该空间模型的投影图像再次投影到另一个二维平面上。空间模型是虚拟空间中的摄像图像的投影对象、且由包括除了摄像图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。以下，在本实施方式中的周边图像是将上述路面图像和上述水平图像组合而成的视点转换图像的前体下继续说明。
并且，监视用图像中可以叠加显示表示自挖土机的距离D为恒定的位置的线段L。线段L例如表示自挖土机的距离小于规定距离D1的规定距离D2的位置。由此，当在周边图像映现包括人的物体时，能够掌握位于距离挖土机有多远的位置。
并且，监视用图像MP与上述运行信息图像IP的摄像机图像显示区域IPm同样地，可以根据对触摸面板式的显示部50A的触摸操作等或对操作部50B的操作进行监视用图像MP的放大或缩小。例如，可以为如下方式：操作员能够通过对指定缩放按钮50Bb的上方向的按钮及指定下方向的按钮分别进行按压操作来放大或缩小监视用图像。此时，操作员能够通过触摸触摸面板式的显示部50A上的监视用图像MP的任意位置来指定位置，并以该指定位置为中心进行放大缩小。并且，也可以为如下方式：操作员能够通过十字按钮50Ba来使光标移动，并以光标位置为中心进行放大缩小。
[监视用图像的显示方式的概要]
接着，对显示控制部302的特征功能进行说明。
当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302改变监视用图像的显示方式，以使操作员可容易视觉辨认检测到的人。具体而言，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302将监视用图像改变为该监视用图像内的检测到的人的位置比其他位置更被重视(强调)的显示方式。
例如，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302生成对包括检测到的人的周边图像的一部分区域放大而得的图像(以下，称为“放大监视用图像”)并显示于显示装置50。以下，为了与放大监视用图像区分，将通过人检测部301在挖土机的周边的规定区域内未检测到人时的监视用图像(参考图3)称为“正常监视用图像”。例如，显示控制部302生成对正常监视用图像中的周边图像的一部分区域、并且是以比挖土机图像更靠近周边图像中所包括的检测到的人的位置为中心的、包括该人的一部分区域进行放大而得的放大监视用图像。并且，例如，显示控制部302根据上述周边图像的一部分区域生成将挖土机图像也放大的放大监视用图像。由此，显示控制部302能够将在监视用图像中以接近检测到的人的位置为中心而配置，并且通过放大包括检测到的人的位置的一部分区域，使检测到的人的位置比其他位置更被重视的显示方式的监视用图像显示于显示装置50。
另外，显示控制部302可以通过剪切正常监视用图像的一部分区域而放大来生成放大监视用图像。并且，显示控制部302根据摄像装置40的摄像图像生成与上述一部分区域对应的周边图像(视点转换图像)，并通过与挖土机图像结合来生成放大监视用图像。
并且，在本例中，显示控制部302可以根据通过人检测部301检测到的人与挖土机的距离D改变监视用图像的显示方式的变更的规格。例如，通过人检测部301检测到的人与挖土机的距离D变得越小，显示控制部302可以越增大放大监视用图像相对于正常监视用图像的放大率。具体而言，当通过人检测部301在挖土机周边的规定区域内检测到的人与挖土机的距离D为规定距离D2(D1＞D2)以下时，显示控制部302可以相较于距离D不为规定距离D2以下的情况更增大上述放大率。由此，在检测到的人比较接近挖土机的情况下，操作员能够更容易掌握检测到的人的状态，并能够可靠地确保检测到的人的安全性。另一方面，在检测到的人比较远离挖土机的情况下，放大监视用图像中可包含比周边图像更多的区域，因此能够掌握挖土机周边整体的状态，同时掌握检测到的人的状态，并容易采取未来的安全行动。
另外，在本例中，显示控制部302放大监视用图像的包括检测到的人的一部分区域，但也可以仅改变正常监视用图像的画面上的配置以使得正常监视用图像中接近检测到的人的位置成为画面的中心。并且，在本例中，在正常监视用图像与放大监视用图像之间对显示装置50的显示内容进行切换时，显示控制部302可以从切换前的图像一下子切换到切换后的图像，也可以使用图像变形等方法从切换前的图像连续改变为切换后的图像。
对放大监视用图像的详细内容在后面进行叙述(参考图4～图7)。
并且，例如，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302生成包括从容易视觉辨认检测到的人的虚拟视点观察的挖土机周边的周边图像的监视用图像并显示于显示装置50。即，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302根据摄像装置40的摄像图像生成包括从与正常监视用图像不同的虚拟视点观察的视点转换图像(周边图像)的监视用图像并显示于显示装置50。具体而言，显示控制部302可以生成包括从相同的虚拟视点观察的挖土机图像及根据挖土机与摄像装置40的摄像范围之间的相对位置关系配置于挖土机图像的周围的周边图像的监视用图像。以下，为了与正常监视用图像区分，将该监视用图像称为“另一视点监视用图像”。
对另一视点监视用图像的详细内容在后面进行叙述(参考图8)。
并且，例如，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302可以生成与正常监视用图像的周边图像中的包括人的一部分区域对应的另一视点监视用图像(以下，称为“部分另一视点监视用图像”)，并显示于显示装置50。此时，部分另一视点监视用图像中可以包含包括检测到的人的周边图像及以与该周边图像对应的大小及位置关系配置的挖土机图像的至少一部分。
对部分另一视点监视用图像的详细内容在后面进行叙述(参考图9)。
另外，可以为如下方式：通过人检测部301在挖土机的周边的规定区域内检测到人时，可以通过操作员的操作开启/关闭改变监视用图像的显示方式的功能。例如，操作员能够通过对上述显示部50A的触摸面板式的显示部50A中所显示的基于软件的操作对象(规定的图标按钮等)和基于硬件的操作部50B等进行的操作开启/关闭该功能。
[监视用图像的显示方式的详细内容]
以下，参考图4～图9，对显示装置50中所显示的监视用图像的显示方式的变更的详细内容进行说明。
首先，图4是说明显示装置50中所显示的放大监视用图像的第1例的图。具体而言，图4A是显示装置50中所显示的正常监视用图像，图4B是通过由人检测部301检测到人而显示于显示装置50的放大监视用图像的第1例。
如图4A所示，监视用图像MP(正常监视用图像)中的周边图像EP中，在比挖土机后方的线段L更靠近挖土机的位置、即挖土机后方的距挖土机规定距离D2以内的区域映摄有工作人员W1。在这种情况下，人检测部301若检测到该工作人员W1，则通知显示控制部302已经检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图4B所示，显示控制部302在图4的监视用图像MP(正常监视用图像)，生成对以比挖土机图像CG更靠近周边图像EP中所包括的工作人员W1的位置(本例中，工作人员W1的位置)为中心的、包括工作人员W1的周边图像EP的一部分区域A1(参考图4A)进行放大而得的监视用图像MP(放大监视用图像)并显示于显示装置50。并且，在本例中，显示控制部302根据周边图像EP的上述一部分区域A1生成挖土机图像CG也以相同的放大率放大而得的放大监视用图像。即，显示控制部302生成对以正常监视用图像中的工作人员W1的位置为中心的、一部分区域A1进行放大而得的放大监视用图像并显示于显示装置50。
工作人员W1位于本例中的显示装置50中所显示的放大监视用图像的大致中央。因此，操作员通过人检测部301在挖土机的周边的规定区域内检测到人(工作人员W1)时，看到显示装置50的显示内容(放大监视用图像)，能够容易掌握检测到的人(工作人员W1)正在执行何种行为等。因此，能够提高由操作员进行的挖土机的操作时的安全性。并且，在本例中，挖土机图像的至少一部分包括在放大监视用图像中，因此，能够容易掌握通过人检测部301检测到的人(工作人员W1)与挖土机的相对位置关系。并且，在本例中，对正常监视用图像以与周边图像相同的放大率进行放大而得的挖土机图像包括在放大监视用图像中，因此能够更准确地掌握通过人检测部301检测到的人(工作人员W1)与挖土机之间的相对位置关系。
另外，从正常监视用图像向放大监视用图像的显示方式的改变规格可以在放大监视用图像的中心比挖土机图像更靠近检测到的人的范围内，通过使用显示装置50的触摸面板式的显示部50A和基于硬件的操作部50B的操作员的操作能够适当地进行调整。例如，操作员可以通过对触摸面板式的显示部50A或操作部50B的操作能够调整放大率和放大监视用图像的中心从挖土机图像CG偏移的量(显示部50A中的X轴方向及Y轴方向的偏移量)等的设定值。并且，例如，操作员在显示部50A中显示有正常监视用图像的状态下，通过对触摸面板式的显示部50A和操作部50B的操作，将正常监视用图像放大到期望的中心位置且期望的放大率之后，进行规定的确定操作，由此能够设定监视用放大图像的中心位置及放大率，并能够按检测到人的区域(后方、左侧方或右侧方)设定多个规格。并且，例如，操作员在显示部50A中显示有放大监视用图像的状态下，通过对触摸面板式的显示部50A和操作部50B的操作，能够在包括检测到的人的范围内适当地调整放大监视用图像中所包括的周边图像EP的范围。由此，周边监视系统100能够使显示装置50显示适合于操作员偏好的放大监视用图像。以下，对图5～图7、图9的情况也相同。
接着，图5是说明显示装置50中所显示的放大监视用图像的第2例的图。具体而言，图5A是显示装置50中所显示的正常监视用图像，图5B是通过由人检测部301检测到人而显示于显示装置50的放大监视用图像的第2例。
另外，在图5(图5A、图5B)中，图4所显示的显示装置50的显示部50A及操作部50B等被省略，与图3、图4的情况同样地，可以为监视用图像(正常监视用图像及放大监视用图像)与运行信息图像IP一同显示于显示装置50的显示部50A的方式。以下，对图6～图9的情况也相同。
如图5A所示，正常监视用图像中的周边图像中，在比挖土机后方的线段L更靠近挖土机的位置、即距挖土机后方的挖土机规定距离D2以内的区域映摄工作人员W1。并且，监视用图像中的周边图像中，在挖土机右后侧方的线段L附近、即距挖土机后侧方的挖土机规定距离D2附近的区域映摄有工作人员W2。在这种情况下，人检测部301若检测到该工作人员W1、W2，则通知显示控制部302已检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图5B所示，显示控制部302在正常监视用图像中生成对以比挖土机图像CG更靠近周边图像EP中所包括的工作人员W1、W2的位置(在本例中，在工作人员W1、W2的位置限定的图形的大致图心位置、即连接工作人员W1、W2的位置的线段的大致中点位置)为中心的、包括工作人员W1、W2的周边图像EP的一部分区域A2(参考图5A)进行放大而得的放大监视用图像并显示于显示装置50。并且，在本例中，显示控制部302与第1例同样地配合周边图像EP的上述一部分区域A2生成挖土机图像CG也以相同的放大率放大的放大监视用图像。即，显示控制部302生成对以正常监视用图像中的连接工作人员W1、W2的位置的线段的大致中点位置为中心的、一部分区域A2直接进行放大而得的放大监视用图像并显示于显示装置50。
在通过人检测部301检测的2个以上的人(工作人员W1、W2)处于靠近挖土机的后方的情况和处于彼此靠近的位置的情况等中，显示装置50中所显示的放大监视用图像中所包括的工作人员W1、W2位于比挖土机图像更靠近中央的位置。因此，当通过人检测部301在挖土机的周边的规定区域内检测到2个以上的人(工作人员W1、W2)时，操作员能够容易识别配置于从显示装置50的显示内容(放大监视用图像)中靠近中央的、检测到的人(工作人员W1、W2)。而且，操作员能够容易掌握所检测到的人(工作人员W1、W2)正在进行何种行为等。并且，在本例中，生成放大监视用图像以包括所有所检测到的2个以上的人(工作人员W1、W2)，因此能够掌握所检测到的2个以上的人所有的行为等。并且，在本例中，与第1例同样地，挖土机图像的至少一部分包括在放大监视用图像中，因此能够容易地掌握通过人检测部301检测到的人(工作人员W1、W2)与挖土机之间的相对位置关系。并且，在本例中，与第1例同样地，对正常监视用图像以与周边图像相同的放大率放大而得的挖土机图像包括在放大监视用图像中，因此能够更准确地掌握通过人检测部301检测到的人(工作人员W1、W2)与挖土机之间的相对位置关系。
另外，在本例中，显示控制部302生成对以由工作人员W1、W2的位置限定的图形的大致图心位置为中心的、包括工作人员W1、W2的周边图像EP的一部分区域A2(参考图5A)进行放大而得的放大监视用图像，但并不限定于该方式。即，放大监视用图像(一部分区域A2)只要以比挖土机图像CG更靠近由工作人员W1、W2的位置限定的图形的大致图心位置的位置为中心即可。
接着，图6是说明显示装置50中所显示的放大监视用图像的第3例的图。具体而言，图6A是显示装置50中所显示的正常监视用图像，图6B是通过由人检测部301检测到人而显示于显示装置50的放大监视用图像的第3例。
另外，图6A中除了被单点划线包围的部分(一部分区域A3)的配置以外与图5A相同，因此以与图5A不同的部分为中心进行说明。
如图6A所示，在正常监视用图像的挖土机的周边的规定区域内与图5A同样地映摄有工作人员W1、W2。在这种情况下，人检测部301若检测到该工作人员W1、W2，则通知显示控制部302检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图6B所示，显示控制部302生成在正常监视用图像中对以比挖土机图像CG更靠近周边图像EP中所包括的工作人员W1、W2的位置(在本例中，工作人员W1、W2中位于最接近挖土机的位置的工作人员W1)为中心的、包括工作人员W1、W2的周边图像EP的一部分区域A3(参考图6A)进行放大而得的放大监视用图像并显示于显示装置50。并且，在本例中，显示控制部302与第1例等同样地配合周边图像EP的上述一部分区域A3生成挖土机图像CG也以相同的放大率放大的放大监视用图像。即，显示控制部302生成直接放大以正常监视用图像中的工作人员W1的位置为中心的一部分区域A3的放大监视用图像并显示于显示装置50。
通过人检测部301检测到的2个以上的人(工作人员W1、W2)中最靠近挖土机的工作人员W1位于本例中的显示装置50中显示的放大监视用图像的大致中央。因此，通过人检测部301在挖土机的周边的规定区域内检测到2个以上的人(工作人员W1、W2)时，操作员能够通过确认显示装置50的显示内容(放大监视用图像)而容易地识别检测到的2个以上的人(工作人员W1、W2)中最靠近挖土机的人(工作人员W1)。而且，操作员能够容易地掌握最靠近挖土机的人(工作人员W1)正在进行何种行为等。并且，在本例中，与第2例同样地，生成放大监视用图像以包括2个以上的所有人，因此能够掌握所检测到的2个以上的所有人的行为。并且，在本例中，与第1例等同样地，挖土机图像的至少一部分包括在放大监视用图像中，因此能够容易地掌握通过人检测部301检测到的人(工作人员W1、W2)与挖土机的相对位置关系。并且，在本例中，与第1例等同样地，对正常监视用图像以与周边图像相同的放大率放大而成的挖土机图像包括在放大监视用图像中，因此能够更准确地掌握通过人检测部301检测到的人(工作人员W1、W2)与挖土机的相对位置关系。
接着，图7是说明显示装置50中所显示的放大监视用图像的第4例的图。具体而言，图7A是显示装置50中所显示的正常监视用图像，图7B是通过由人检测部301检测人而显示于显示装置50的放大监视用图像的第4例。
另外，在本例中，如图7A、7B所示，显示装置50具有纵长的长方形的画面(例如，纵横尺寸比9:16的画面)。并且，图7A除了显示装置50为纵长的长方形的画面这一点和被单点划线包围的部分(一部分区域A4)的配置以外，与图4A相同，因此以与图4A不同的部分为中心进行说明。
如图7A所示，正常监视用图像中的周边图像与图4A同样地映摄有位于挖土机的周边(后方)的规定区域内的工作人员W1。在这种情况下，人检测部301若检测到该工作人员W1，则通知显示控制部302检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图7B所示，显示控制部302生成在正常监视用图像中对以比挖土机图像CG更靠近周边图像EP中所包括的工作人员W1的位置(本例中，工作人员W1的位置)为中心的包括工作人员W1的周边图像EP的一部分区域A4进行放大而得的放大监视用图像并显示于显示装置50。并且，在本例中，显示控制部302生成对比线段L更靠近挖土机(挖土机图像)的附近区域、即包括所有距挖土机规定距离D2以内的附近区域的周边图像EP的一部分区域A4(参考图7A)进行放大而得的放大监视用图像。并且，在本例中，显示控制部302配合周边图像EP的上述一部分区域A4生成挖土机图像CG也以相同的放大率放大的放大监视用图像。即，显示控制部302直接放大以正常监视用图像中的工作人员W1的位置为中心，且包括周边图像EP中的所有距挖土机规定距离D2以内的附近区域的一部分区域A4的放大监视用图像而显示于显示装置50。
与第1例同样地，工作人员W1位于本例中的显示装置50中所显示的放大监视用图像的大致中央。因此，通过人检测部301在挖土机的周边的规定区域内检测到人(工作人员W1)时，操作员看到显示装置50的显示内容(放大监视用图像)，能够容易地掌握检测到的人(工作人员W1)正在执行何种行为。并且，在本例中，与第1例等同样地，挖土机图像的至少一部分包括在放大监视用图像中，因此能够容易掌握通过人检测部301检测到的人(工作人员W1)与挖土机的相对位置关系。并且，在本例中，与第1例等同样地，对正常监视用图像以与周边图像相同的放大率放大的挖土机图像包括在放大监视用图像中，因此能够更准确地掌握通过人检测部301检测到的人(工作人员W1)与挖土机的相对位置关系。并且，在本例中，距挖土机规定距离D2以内的所有附近区域包括在放大监视用图像，因此操作员能够确认接近挖土机的附近区域的情况且能够掌握检测到的人的行为等。因此，能够进一步提高由操作员操作挖土机时的安全性。
接着，图8是表示显示装置50所显示的另一视点监视用图像的一例的图。以下，在图8是从图4A的正常监视用图像切换的另一视点监视用图像的前提下进行说明。
如图4A所示，在正常监视用图像内的周边图像的挖土机(上部回转体3)的后方映摄有工作人员W1的情况下，人检测部301若检测到该工作人员W1，则通知显示控制部302检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图8所示，显示控制部302根据摄像装置40的摄像图像生成作为从挖土机的后方斜上方(本例的情况，从挖土机的后方的水平面45度上方的角度方向。以下，关于图9也相同)的虚拟视点观察的视点转换图像的周边图像EP。而且，显示控制部302将包括周边图像EP的另一视点监视用图像显示于显示装置50，所述周边图像EP根据与从该周边图像相同的挖土机的后方斜上方的虚拟视点观察的挖土机图像CG及挖土机与摄像装置40的摄像范围的相对位置关系配置于挖土机图像CG的周围。由此，能够虚拟地实现操作员从挖土机的斜上方后方观察工作人员和挖土机的状态，因此，操作员能够容易掌握挖土机的后方的所检测到的人(工作人员W1)与挖土机的位置关系(距离感)。
并且，显示控制部302可以生成包括作为从挖土机的前方斜上方的虚拟视点观察的视点转换图像的周边图像的另一视点监视用图像并显示于显示装置50。由此，操作员能够虚拟地实现从挖土机的前方斜上方观察所检测到的人(工作人员W1)和挖土机的状态，因此，操作员放大包括所检测到的人的挖土机的后方的区域的视野，并容易掌握工作人员的情况。
即，通过人检测部301检测到从挖土机观察时相对处于后方的人时，显示控制部302可以生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向前方或后方偏移的斜上方观察的视点转换图像的周边图像的另一视点监视用图像并显示于显示装置50。由此，周边监视系统100能够提示操作员掌握监视用图像中的所检测到的人(工作人员W1)。具体而言，周边监视系统100通过将虚拟视点相对于水平面的角度方向向从挖土机观察时人相对存在的一侧(在本例的情况下向后方)偏移，由此，如上所述，能够使操作员容易掌握挖土机的后方的工作人员与挖土机的位置关系(距离感)。并且，周边监视系统100使虚拟视点相对于水平面的角度方向向从挖土机观察时人相对存在的一侧(在本例的情况下向后方)偏移，由此放大包括工作人员在内的挖土机的后方的区域的视野，并使操作员容易掌握所检测到的人的情况。
并且，同样地，当通过人检测部301检测到从挖土机观察时相对处于右方向或左方向的人时，显示控制部302生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向右方向或左方向偏移的斜上方观察的视点转换图像的周边图像的另一视点监视用图像并显示于显示装置50。由此，周边监视系统100与检测到从挖土机观察时相对处于后方的人的情况同样地，能够提示操作员掌握监视用图像中所检测到的人(工作人员W1)。
另外，摄像装置40可以包括拍摄挖土机(上部回转体3)的前方的摄像机(前方摄像机)，此外，人检测部301可以检测包括挖土机的前方的规定区域内的人。此时，显示控制部302可以生成将包括从正上方观察挖土机的周围的水平方向360°的范围的俯视图像与水平图像组合而成的周边图像的正常监视用图像。而且，当通过人检测部301检测到从挖土机观察时相对处于前方的人时，显示控制部302与检测到处于后方的人的情况同样地生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向前方或后方偏移的斜上方观察的视点转换图像的周边图像的另一视点监视用图像并显示于显示装置50。由此，周边监视系统100与检测到从挖土机观察时相对处于后方的人的情况同样地，能够提示操作员掌握监视用图像中所检测到的人(工作人员W1)。以下，关于部分另一视点监视用图像的情况也相同。
接着，图9是表示显示装置50中所显示的部分另一视点监视用图像的一例的图。以下，在图8是从图4A的正常监视用图像切换的另一视点监视用图像的前提下进行说明。
如图4A所示，在正常监视用图像内的周边图像的挖土机(上部回转体3)的后方映摄有工作人员W1的情况下，人检测部301若检测到该工作人员W1，则通知显示控制部302检测到人。由此，如上所述，显示控制部302改变监视用图像的显示方式。
具体而言，如图9所示，显示控制部302根据摄像装置40的摄像图像生成作为从挖土机的后方斜上方的虚拟视点观察的视点转换图像、且与包括正常监视用图像的所检测到的人所在的部分的一部分区域对应的视点转换图像的周边图像。而且，显示控制部302将包括周边图像EP的部分另一视点监视用图像显示于显示装置50，所述周边图像EP根据与该周边图像相同的从挖土机后方斜上方的虚拟视点观察的挖土机图像CG的一部分及挖土机与摄像装置40的摄像范围的相对位置关系配置于挖土机图像CG(的一部分)的周围。由此，与另一视点监视用图像的情况同样地，操作员能够虚拟地实现从挖土机的后方斜上方观察工作人员和挖土机的状态，因此，操作员容易掌握挖土机的后方的检测到的人(工作人员W1)与挖土机的位置关系(距离感)。并且，在本例中，只有包括正常监视用图像内的检测到的人的一部分区域作为部分另一视点监视用图像显示于显示装置50，因此，操作员进一步容易掌握检测到的人的情况。
并且，显示控制部302可以生成包括作为将正常监视用图像的包括检测到的人的一部分区域从挖土机的前方斜上方的虚拟视点观察的视点转换图像的周边图像的部分另一视点监视用图像并显示于显示装置50中。由此，与另一视点监视用图像的情况同样地，操作员能够虚拟地实现从挖土机的前方斜上方观察检测到的人(工作人员W1)和挖土机的状态，因此放大包括检测到的人的挖土机的后方的区域的视野，操作员容易掌握工作人员的情况。
即，通过人检测部301检测到从挖土机观察时相对处于后方的人时，显示控制部302生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向前方或后方偏移的斜上方观察的视点转换图像、且与包括正常监视用图像的所检测到的人所在的部分的一部分区域对应的视点转换图像的周边图像的部分另一视点监视用图像并显示于显示装置50。由此，周边监视系统100能够进一步提示操作员掌握监视用图像中的检测到的人(工作人员W1)。
并且，同样地，通过人检测部301检测到从挖土机观察时相对处于右方向或左方向的人时，显示控制部302生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向右方向或左方向偏移的斜上方观察的视点转换图像、且与包括正常监视用图像的所检测到的人所在的部分的一部分区域对应的视点转换图像的周边图像的部分另一视点监视用图像并显示于显示装置50。由此，周边监视系统100与检测到从挖土机观察时相对处于后方的人的情况同样地，进一步对操作员提示掌握监视用图像中的检测到的人(工作人员W1)。
另外，图9所示的部分另一视点监视用图像与图8的另一视点监视用图像的一部分区域A2对应。因此，显示控制部302根据摄像装置40的摄像图像生成另一视点监视用图像之后，可以通过切出并放大已生成的另一视点转换图像的一部分区域A2来生成部分另一视点监视用图像。
[监视用图像的显示处理的详细内容]
接着，参考图10，对基于本实施方式所涉及的周边监视系统100(显示控制部302)的监视用图像显示于显示装置50的处理(显示处理)的处理流程进行说明。以下，有时将放大监视用图像、另一视点监视用图像及部分另一视点监视用图像总称为“人检测时监视用图像”。
图10是示意地表示基于本实施方式所涉及的周边监视系统100(显示控制部302)的显示处理的一例的流程图。基于本流程图的处理例如若根据由操作员进行的规定的开始操作和规定的开始条件，开始显示装置50中的正常监视用图像或人检测时监视用图像的显示，则一并开始并以规定时间间隔重复执行。并且，基于本流程图的处理例如若根据由操作员进行的规定的结束操作和规定的结束条件，显示装置50中的监视用图像(正常监视用图像或人检测时监视用图像)的显示结束则一并结束。
在步骤S101中，显示控制部302判定进行人检测时是否开启改变监视用图像的显示方式的功能。显示控制部302中，当开启该功能时，进入步骤S102，否则，结束当前的处理。
在步骤S102中，显示控制部302判定人检测部301在挖土机的周边的规定区域内是否检测到人。显示控制部302中，当人检测部301未检测到人时，进入步骤S104，当检测到人时，进入步骤S106。
在步骤S104中，显示控制部302在显示装置50中显示正常监视用图像。
另一方面，在步骤S106中，显示控制部302在显示装置50中显示人检测时监视用图像。
另外，显示控制部302能够通过本步骤中的处理显示从放大监视用图像、另一视点监视用图像及部分另一视点监视用图像中的2个以上的人检测时监视用图像中根据操作员等进行的先前的选择操作而选择的一个人检测时监视用图像。并且，也可以为如下方式：显示控制部302通过本步骤的处理仅将放大监视用图像、另一视点监视用图像及部分另一视点监视用图像中的任一个人检测时监视用图像显示于显示装置50。
在步骤S108中，显示控制部302判定从显示装置50中的上次的图像切换(正常监视用图像到人检测时监视用图像的图像切换或从人检测时监视用图像到正常监视用图像的图像切换)是否经过了规定时间以上。显示控制部302中，当从显示装置50中的上次的图像切换未经过规定时间以上时，重复本步骤的处理，当从上次的画面切换经过了规定时间以上时(或者在基于本流程图的处理的开始后未进行画面切换时)，返回到步骤S102，并重复基于本流程图的处理。由此，例如，在人位于挖土机的周边的规定区域(距挖土机规定距离D1以内的区域)的边界部分的情况等中，能够防止在正常监视用图像与放大监视用图像等之间发生频繁切换画面的内容的振荡。
[作用]
这样，在本实施方式中，当通过人检测部301在规定区域内检测到人时，显示控制部302将对正常监视用图像中的周边图像的一部分区域、并且以比挖土机图像更靠近周边图像中所包括的人的位置为中心的、包括人的一部分区域进行放大而得的放大监视用图像显示于显示装置50。由此，当通过人检测部301在挖土机的周边检测到人时，包括所检测到的人的部分靠近中央配置的放大监视用图像显示于显示装置50。因此，操作员能够容易确认靠近显示装置50的画面的中央显示的检测到的人，并且能够容易掌握检测到的人的行为内容等的状态。因此，周边监视系统100能够进一步提高由操作员操作挖土机时的安全性。
并且，在本实施方式中，当通过人检测部301在规定区域内检测到人时，显示控制部302生成包括作为从将虚拟视点相对于水平面的角度方向从正上方向相对于挖土机靠近或远离检测到的人的方向偏移的斜上方观察的视点转换图像的周边图像的另一视点监视用图像并显示于显示装置50。由此，如上所述，周边监视系统100能够对操作员提示掌握由监视用图像检测到的人。因此，周边监视系统100能够进一步提高操作员操作挖土机时的安全性。
并且，在本实施方式中，当通过人检测部301在规定区域内检测到人时，显示控制部302包括作为从将虚拟视点相对于水平面的角度方向从正上方向相对于挖土机靠近或远离检测到的人的方向偏移的斜上方观察的视点转换图像、且与正常监视用图像内的包括检测到的人所在的部分的一部分区域对应的视点转换图像的周边图像的部分另一视点监视用图像并显示于显示装置50。由此，如上所述，周边监视系统100能够进一步对操作员提示掌握由监视用图像检测到的人。因此，周边监视系统100能够进一步提高由操作员操作挖土机时的安全性。
另外，作为根据上述检测到的人与挖土机的距离D来改变监视用图像的显示方式的改变规格的其他方式，显示控制部302也可以改变作为放大监视用图像而放大显示的、包括正常监视用图像的人的一部分区域的中心。例如，当人与挖土机的距离D较小(例如，距离D为规定距离D2以下)时，显示控制部302将对正常监视用图像中的周边图像的一部分区域、并且以比挖土机图像更靠近周边图像中所包括的人的位置为中心的、包括人的一部分区域进行放大而得的放大监视用图像显示于显示装置50。另一方面，当人与挖土机的距离D较大(例如，距离D不为规定距离D2以下)时，显示控制部302将对以正常监视用图像中的挖土机图像为中心的、包括人的一部分区域进行放大而得的放大监视用图像显示于显示装置50。由此，检测到的人相对靠近挖土机的情况下，操作员更容易掌握检测到的人的状态，并能够可靠地确保检测到的人的安全性。另一方面，检测到的人相对远离挖土机的情况下，操作员能够掌握整个挖土机周边的状态，并且能够掌握检测到的人的状态，容易采取未来的安全行为。
并且，在本实施方式中，生成挖土机图像也根据周边图像的一部分区域放大而得的放大监视用图像，但也可以生成只放大周边图像的一部分区域且不放大挖土机图像的放大监视用图像。
并且，在本实施方式中，生成包括挖土机图像的至少一部分的放大监视图像，但是例如也可以生成不包括挖土机图像的放大监视用图像。
以上，对用于实施本发明的方式进行了详细说明，但本发明并不限定于这种特定的实施方式，能够在技术方案中记载的本发明的宗旨的范围内进行各种变形、变更。
例如，在上述实施方式中，作为监视用图像内的检测到的人的位置比其他位置更受重视(强调)的显示方式，例示了放大监视用图像、另一视点监视图像及部分另一视点监视用图像，但并不限定于这些。例如，当通过人检测部301在挖土机的周边的规定区域内检测到人时，显示控制部302可以生成在正常监视用图像中不包括检测到的人的区域直接重叠配置后方摄像机40B、左侧方摄像机40L及右侧方摄像机40R各自的摄像图像中映摄有检测到的人的摄像图像(实时取景图像)的监视用图像并显示于显示装置50。由此，强调正常监视用图像中包括人的区域，因此，操作员容易掌握所检测到的人的情况，并且能够一并视觉辨认映摄所检测到的人的实时取景图像，因此操作员进一步容易掌握所检测到的人的情况。
并且，例如，在上述实施方式中，控制器30(周边监视系统100)作为监视对象检测人，但也可以检测包括人或人以外的物体(例如，挖土机的周边的其他施工机械、车辆、临时放置的工件等)。此时，控制器30(显示控制部302)根据有无检测监视对象的物体，与上述同样地改变监视用图像的显示方式。
另外，本申请主张基于2016年11月1日申请的日本专利申请2016-214714号的优先权，并将该日本专利申请的所有内容通过参考而援用于本申请中。
符号说明
30-控制器，301-人检测部，302-显示控制部，40-摄像装置，40B-后方摄像机，40L-左侧方摄像机，40R-右侧方摄像机，50-显示装置，100-周边监视系统(施工机械用周边监视系统)。

Claims (8)

1.一种施工机械用周边监视系统，其具备：
显示装置，设置于施工机械的驾驶室内；
摄像装置，拍摄所述施工机械的周边；
显示控制部，根据所述摄像装置的摄像图像生成所述施工机械的周边图像，并且将监视用图像显示于所述显示装置，所述监视用图像包括示意地表示所述施工机械的施工机械图像、及根据所述施工机械与所述摄像装置的摄像范围的相对位置关系配置于所述施工机械图像的周围的所述周边图像；及
人检测部，在所述施工机械的周边的规定区域内检测人，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将放大监视用图像显示于所述显示装置，所述放大监视用图像是将所述监视用图像中的所述周边图像的一部分区域、并且以与所述施工机械图像相比更靠近所述周边图像中所包括的所述人的位置为中心的、包括所述人的一部分区域进行放大而得的。
2.根据权利要求1所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将包括所述施工机械图像的至少一部分的所述放大监视用图像显示于所述显示装置。
3.根据权利要求1或2所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将所述放大监视用图像显示于所述显示装置，所述放大监视用图像是将以所述周边图像中所包括的所述人的位置为中心的所述一部分区域进行放大而得的。
4.根据权利要求1或2所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到2个以上的人时，所述显示控制部将所述放大监视用图像显示于所述显示装置，所述放大监视用图像是将以与所述施工机械图像相比更靠近由所述周边图像中所包括的所述2个以上的人的位置规定的图形的大致图心位置的位置为中心的、包括所述2个以上的人的所述一部分区域进行放大而得的。
5.根据权利要求4所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到2个以上的人时，所述显示控制部将所述放大监视用图像显示于所述显示装置，所述放大监视用图像是将以所述图形的大致图心位置为中心的、包括所述2个以上的人的所述一部份区域进行放大而得的。
6.根据权利要求1或2所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到2个以上的人时，所述显示控制部将所述放大监视用图像显示于所述显示装置，所述放大监视用图像是将以所述周边图像中所包括的所述2个以上的人中最靠近所述施工机械的人的位置为中心的所述一部分区域进行放大而得的。
7.根据权利要求2所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将配合所述一部分区域将所述施工机械图像也放大而得的所述放大监视用图像显示于所述显示装置。
8.根据权利要求1至7中任一项所述的施工机械用周边监视系统，其中，
当通过所述人检测部在所述规定区域内检测到人时，所述显示控制部将所述放大监视用图像显示于所述显示装置，所述放大监视用图像是将所述周边图像中的包括所有距所述施工机械在规定距离内的附近区域的所述一部份区域进行放大而得的。
CN201780036721.XA 2016-11-01 2017-10-31 施工机械用周边监视系统 Active CN109314769B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016214714 2016-11-01
JP2016-214714 2016-11-01
PCT/JP2017/039339 WO2018084146A1 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
CN109314769A true CN109314769A (zh) 2019-02-05
CN109314769B CN109314769B (zh) 2022-06-07

Family

ID=62076199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036721.XA Active CN109314769B (zh) 2016-11-01 2017-10-31 施工机械用周边监视系统

Country Status (6)

Country Link
US (1) US11047113B2 (zh)
EP (1) EP3537713B1 (zh)
JP (1) JP7171436B2 (zh)
KR (1) KR102256384B1 (zh)
CN (1) CN109314769B (zh)
WO (1) WO2018084146A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128742A (zh) * 2020-01-14 2021-07-16 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器
CN113727883A (zh) * 2019-04-26 2021-11-30 住友建机株式会社 显示装置、挖土机、信息处理装置
CN113748247A (zh) * 2019-04-26 2021-12-03 住友建机株式会社 挖土机、作业现场的安全装备确认系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
JP7379866B2 (ja) * 2019-05-21 2023-11-15 コベルコ建機株式会社 作業機械
JP7096216B2 (ja) * 2019-08-21 2022-07-05 株式会社竹内製作所 作業用車両
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
US20230306833A1 (en) 2020-09-14 2023-09-28 Konica Minolta, Inc. Safety monitoring device, safety monitoring method, and program
JP2022063383A (ja) * 2020-10-12 2022-04-22 ヤンマーホールディングス株式会社 作業車両
JP2024042407A (ja) * 2022-09-15 2024-03-28 株式会社小松製作所 作業機械の表示システム、作業機械、及び作業機械の表示方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
CN1645915A (zh) * 2004-01-23 2005-07-27 日产自动车株式会社 车载夜视摄象机系统,显示装置和显示方法
US20070206835A1 (en) * 2006-03-02 2007-09-06 Koichi Abe Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same
CN100353388C (zh) * 2002-02-28 2007-12-05 夏普公司 全方位监视控制系统和全方位监视控制方法
CN102198818A (zh) * 2010-03-25 2011-09-28 富士通天株式会社 车载照明装置、图像处理装置、图像显示系统及照明方法
JP5066198B2 (ja) * 2010-02-09 2012-11-07 住友建機株式会社 作業機械のモニタ装置
CN102938827A (zh) * 2012-11-29 2013-02-20 深圳英飞拓科技股份有限公司 一种分层监控指挥系统及跨摄像头虚拟跟踪方法
US20130093851A1 (en) * 2011-10-13 2013-04-18 Aisin Seiki Kabushiki Kaisha Image generator
WO2014087594A1 (ja) * 2012-12-04 2014-06-12 株式会社デンソー 車両監視装置
CN103958790A (zh) * 2011-12-13 2014-07-30 住友建机株式会社 施工机械的周边图像显示装置及周边图像显示方法
CN104067144A (zh) * 2012-03-29 2014-09-24 住友建机株式会社 施工机械用周边监控装置
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
CN104982030A (zh) * 2013-03-19 2015-10-14 住友重机械工业株式会社 作业机械用周边监视装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193562A1 (en) * 2002-04-15 2003-10-16 Corzillus Brian S. Natural vision-based video surveillance system
KR100997227B1 (ko) * 2005-10-31 2010-11-30 도요타 지도샤（주） 주차 지원장치
TW200739125A (en) * 2006-04-14 2007-10-16 Quarton Inc Target searching device and image displaying method thereof
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
AU2011266010B2 (en) * 2010-06-18 2015-01-29 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
AU2013208525A1 (en) * 2012-01-12 2014-08-14 Hitachi Construction Machinery Co., Ltd. Periphery monitoring device for self-propelled industrial machine
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
CN104969544B (zh) * 2013-02-08 2018-02-27 日立建机株式会社 回转式作业机械的周围监视装置
JP6456584B2 (ja) * 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
US9526930B2 (en) * 2013-07-16 2016-12-27 Beijing Mechanical Equipment Institute Control method of a fire truck for high-rise and super high-rise building firefighting
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
CN100353388C (zh) * 2002-02-28 2007-12-05 夏普公司 全方位监视控制系统和全方位监视控制方法
CN1645915A (zh) * 2004-01-23 2005-07-27 日产自动车株式会社 车载夜视摄象机系统,显示装置和显示方法
US20070206835A1 (en) * 2006-03-02 2007-09-06 Koichi Abe Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same
JP5066198B2 (ja) * 2010-02-09 2012-11-07 住友建機株式会社 作業機械のモニタ装置
CN102198818A (zh) * 2010-03-25 2011-09-28 富士通天株式会社 车载照明装置、图像处理装置、图像显示系统及照明方法
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
US20130093851A1 (en) * 2011-10-13 2013-04-18 Aisin Seiki Kabushiki Kaisha Image generator
CN103958790A (zh) * 2011-12-13 2014-07-30 住友建机株式会社 施工机械的周边图像显示装置及周边图像显示方法
CN104067144A (zh) * 2012-03-29 2014-09-24 住友建机株式会社 施工机械用周边监控装置
CN102938827A (zh) * 2012-11-29 2013-02-20 深圳英飞拓科技股份有限公司 一种分层监控指挥系统及跨摄像头虚拟跟踪方法
WO2014087594A1 (ja) * 2012-12-04 2014-06-12 株式会社デンソー 車両監視装置
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
CN104982030A (zh) * 2013-03-19 2015-10-14 住友重机械工业株式会社 作业机械用周边监视装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727883A (zh) * 2019-04-26 2021-11-30 住友建机株式会社 显示装置、挖土机、信息处理装置
CN113748247A (zh) * 2019-04-26 2021-12-03 住友建机株式会社 挖土机、作业现场的安全装备确认系统
CN113748247B (zh) * 2019-04-26 2024-02-20 住友建机株式会社 挖土机、作业现场的安全装备确认系统
CN113128742A (zh) * 2020-01-14 2021-07-16 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器
CN113128742B (zh) * 2020-01-14 2024-03-22 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器

Also Published As

Publication number Publication date
US20190218754A1 (en) 2019-07-18
JPWO2018084146A1 (ja) 2019-09-19
CN109314769B (zh) 2022-06-07
KR102256384B1 (ko) 2021-05-25
EP3537713A1 (en) 2019-09-11
EP3537713B1 (en) 2021-09-01
JP7171436B2 (ja) 2022-11-15
WO2018084146A1 (ja) 2018-05-11
KR20190077246A (ko) 2019-07-03
EP3537713A4 (en) 2019-10-16
US11047113B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109314769A (zh) 施工机械用周边监视系统
JP7092688B2 (ja) 作業機械用周辺監視システム
EP3722519B1 (en) Surrounding-area monitoring device
US11959253B2 (en) Excavator and information processing apparatus
AU2013202505B2 (en) Collision detection and mitigation systems and methods for a shovel
JP6659673B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
CN107079089B (zh) 作业机械的周边监视装置
EP3779066B1 (en) Shovel
CN103649426A (zh) 建筑机械的操作安全性提高装置
CN106797449A (zh) 履带式作业机械的周边监视装置
AU2011266010A1 (en) Surrounding area monitoring device for monitoring area around work machine
WO2020218455A1 (ja) ショベル
CN103141090A (zh) 作业机械的周围监视装置
JP6878025B2 (ja) 作業機械用周辺監視システム
JP2016211149A (ja) 建設機械
JP7346061B2 (ja) ショベル
JP7329928B2 (ja) 作業機械
JP2023093109A (ja) 建設機械、及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant