CN110114244A - 工作机械用周边监视系统 - Google Patents

工作机械用周边监视系统 Download PDF

Info

Publication number
CN110114244A
CN110114244A CN201880005483.0A CN201880005483A CN110114244A CN 110114244 A CN110114244 A CN 110114244A CN 201880005483 A CN201880005483 A CN 201880005483A CN 110114244 A CN110114244 A CN 110114244A
Authority
CN
China
Prior art keywords
supervision object
display device
excavator
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880005483.0A
Other languages
English (en)
Other versions
CN110114244B (zh
Inventor
清田芳永
大槻俊介
相泽晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN110114244A publication Critical patent/CN110114244A/zh
Application granted granted Critical
Publication of CN110114244B publication Critical patent/CN110114244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

本发明提供一种能够在显示表示工作机械周边的情况的图像的显示装置上可靠地显示表示监视对象的位置的标记的工作机械用周边监视系统。因此，本发明的一实施方式所涉及的工作机械用周边监视系统具备：摄像装置，拍摄工作机械周边；及显示装置，显示通过摄像装置拍摄的工作机械周边的图像和表示监视对象的位置的标记，显示装置以2种以上的不同的显示方式显示标记。

Description

工作机械用周边监视系统
技术领域
本发明涉及一种工作机械用周边监视系统。
背景技术
已知有一种监视系统，其检测工作机械周边的规定的监视对象(例如，人)，若检测出监视对象，则在显示表示工作机械周边的情况的图像(例如，摄像机的摄像图像或根据该摄像图像而生成的视点转换图像等)的显示装置的画面上重叠显示表示监视对象的位置的标记(例如，包围监视对象的框)(例如，参考专利文献1)。
以往技术文献
专利文献
专利文献1：日本特开2012-221437号公报
发明内容
发明要解决的技术课题
然而，存在将用于将表示监视对象的位置的标记显示于画面所需的规格信息(例如，确定标记的形状的多个构成点的位置信息等)的数据等例如从负责监视对象的检测功能的控制装置等的外部发送至显示装置的情况。在该情况下，由于某种原因例如映入图像中的监视对象的数量多、与应发送的标记有关的数据量非常多等而有可能产生通信频带不足这样的情况。因此，期望显示装置即使在从外部发送标记的规格信息时的通信频带不足这样的情况下也能够可靠地显示表示监视对象的位置的标记。
因此，鉴于上述课题，目的在于提供一种在显示表示工作机械周边的情况的图像的显示装置中能够可靠地显示表示监视对象的位置的标记的工作机械用周边监视系统。
用于解决技术课题的手段
为了实现上述目的，在本发明的一实施方式中，提供一种工作机械用周边监视系统，其具备：
摄像装置，拍摄所述工作机械的周边；及
显示装置，显示通过所述摄像装置拍摄的所述工作机械周边的图像和表示监视对象的位置的标记，
所述显示装置以2种以上的不同的显示方式显示所述标记。
发明效果
根据上述实施方式，能够提供一种在显示表示工作机械周边的情况的图像的显示装置中能够可靠地显示表示监视对象的位置的标记的工作机械用周边监视系统。
附图说明
图1是表示搭载周边监视系统的工作机械的一例的图。
图2是表示周边监视系统的结构的一例的概略图。
图3是表示与第1特征功能(第1标记显示功能)有关的周边监视系统的结构的一例的图。
图4是表示显示于显示装置的监视图像的一例的图。
图5是表示显示于显示装置的监视图像的另一例的图。
图6是说明通过候选点生成部生成的候选点组的一例的图。
图7A是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的一例的图。
图7B是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的一例的图。
图8A是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的另一例的图。
图8B是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的另一例的图。
图9A是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的又一例的图。
图9B是表示通过构成点选择部作为标记图像(标记图形)的顶点而选择的候选点的又一例的图。
图10是概略地表示基于控制器的标记显示处理的第1例的流程图。
图11是概略地表示基于控制器的标记显示处理的第2例的流程图。
图12是概略地表示基于控制器的标记显示处理的第3例的流程图。
图13是概略地表示基于控制器的标记显示处理的第4例的流程图。
图14是概略地表示基于控制器的标记显示处理的第5例的流程图。
图15是表示标记显示设定画面的一例的图。
图16是表示标记显示设定画面的另一例的图。
图17是表示与第2特征功能(第2标记显示功能)有关的周边监视系统的结构的一例的图。
图18A是表示显示于显示装置的监视图像的一例的图。
图18B是表示显示于显示装置的监视图像的一例的图。
图19A是表示显示于显示装置的监视图像的另一例的图。
图19B是表示显示于显示装置的监视图像的另一例的图。
图20是说明基于标记显示处理部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第1例的图。
图21是说明基于标记显示处理部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第2例的图。
图22是说明基于标记显示处理部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第3例的图。
图23是说明基于标记显示处理部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第4例的图。
图24A是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的实时取景图像上的标识的显示方式的一例的图。
图24B是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的实时取景图像上的标识的显示方式的一例的图。
图25A是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的实时取景图像的标识的显示方式的一例的图。
图25B是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的实时取景图像上的标识的显示方式的一例的图。
图26A是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的周边图像(视点转换图像)上的标识的显示方式的一例的图。
图26B是表示通过基于标记显示处理部的标记显示处理的第4例～第6例重叠显示于显示装置的周边图像(视点转换图像)上的标识的显示方式的一例的图。
图27是说明基于标记显示处理部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第5例的图。
图28是说明基于显示控制部的表示监视对象的位置的标识(标记)的显示处理(标记显示处理)的第6例的图。
图29是表示标识设定画面的一例的图。
图30是表示与第3特征功能(远方接近车辆通知功能)有关的周边监视系统的结构的一例的图。
图31是表示显示于显示装置的监视图像的一例的图。
图32是概略地表示基于周边监视系统的处理的第1例的流程图。
图33A是表示显示于显示装置的实时取景图像的一例的图。
图33B是表示显示于显示装置的实时取景图像的一例的图。
图34A是表示显示于显示装置的周边图像的一例(周边图像中的检测车辆的强调显示的一例)的图。
图34B是表示显示于显示装置的周边图像的一例(周边图像中的检测车辆的强调显示的一例)的图。
图35是表示周边图像中的检测车辆的强调显示的另一例的图。
图36是表示周边图像中的检测车辆的强调显示的又一例的图。
图37是概略地表示基于周边监视系统的处理的第2例的流程图。
图38是概略地表示基于周边监视系统的处理的第3例的流程图。
图39是概略地表示基于周边监视系统的处理的第4例的流程图。
图40A是表示显示于显示装置的实时取景图像的另一例的图。
图40B是表示显示于显示装置的实时取景图像的另一例的图。
图41A是表示显示于显示装置的周边图像的另一例的图。
图41B是表示显示于显示装置的周边图像的另一例的图。
图42是表示与第4特征功能(安全功能限制通知功能)有关的周边监视系统的结构的一例的图。
图43是表示显示于显示装置的监视图像的一例的图。
图44A是示意性地说明朝向挖土机周边输出的警报的一例的图。
图44B是示意性地说明朝向挖土机周边输出的警报的一例的图。
图45是示意性地说明朝向挖土机周边通知的限制通知的一例的图。
图46A是示意性地说明朝向挖土机周边通知的限制通知的另一例的图。
图46B是示意性地说明朝向挖土机周边通知的限制通知的另一例的图。
图47是概略地表示基于周边监视系统的通知处理的第1例的流程图。
图48是概略地表示基于周边监视系统的通知处理的第2例的流程图。
图49是概略地表示基于周边监视系统的通知处理的第3例的流程图。
具体实施方式
以下，参考附图对用于实施发明的方式进行说明。
[工作机械的概要]
首先，参考图1对搭载本实施方式所涉及的周边监视系统100(参考图2)的工作机械进行说明。
图1是表示搭载本实施方式所涉及的周边监视系统100的工作机械的一例的图，具体而言，是挖土机的侧视图。
另外，本实施方式所涉及的周边监视系统100也可以搭载于挖土机以外的任意的工作机械，例如轮式装载机、沥青滚平机等。
本实施方式所涉及的挖土机具备下部行驶体1、经由回转机构2能够回转地搭载于下部行驶体1的上部回转体3、作为工作装置的动臂4、斗杆5及铲斗6以及操作人员所乘坐的的驾驶室10。
下部行驶体1例如包括左右一对履带，各个履带通过由行驶液压马达(未图示)液压驱动而自行。
上部回转体3通过由回转液压马达或电动机(均未图示)等驱动而相对于下部行驶体1进行回转。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央，在动臂4的前端能够上下转动地枢轴安装有斗杆5，在斗杆5的前端能够上下转动地枢轴安装有铲斗6。动臂4、斗杆5及铲斗6分别通过动臂缸7、斗杆缸8及铲斗缸9被液压驱动。
驾驶室10为操作人员所乘坐的操纵室，搭载于上部回转体3的前部左侧。
并且，本实施方式所涉及的挖土机具备控制器30、摄像装置40及显示装置50作为与周边监视系统100相关的构成要件。
控制器30为进行与挖土机的整体或后面叙述的特定的功能有关的控制的控制装置。例如，控制器30搭载于驾驶室10内。
摄像装置40安装于上部回转体3的上部，拍摄挖土机周边。摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。
后方摄像机40B安装于上部回转体3的后端上部，拍摄上部回转体3的后方。
左侧摄像机40L安装于上部回转体3的左端上部，拍摄上部回转体3的左侧。
右侧摄像机40R安装于上部回转体3的右端上部，拍摄上部回转体3的右侧。
显示装置50设置于驾驶室10内的操作席的周边，具体而言，设置于由就座在操作席上的操作人员或进行挖土机的维修的维修人员等(以下，称为“操作人员等”)容易辨识的位置，在基于控制器30的控制下显示向操作人员通知的各种图像信息。显示装置50例如为液晶显示器。
语音输出装置52设置于驾驶室10内的操作席的周边，在基于控制器30的控制下输出向操作人员通知的各种语音信息。语音输出装置52例如为扬声器或蜂鸣器等。
门锁阀54设置于从先导泵对操作挖土机的动作要件(例如，下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等)的操作装置(未图示)供给先导压的先导管路的最上游，切换先导管路的连通/非连通。例如，门锁阀54通常根据与设置于与驾驶室10内的操作席的入口相当的部分的门锁杆的操作状态联动的、门锁开关的输出信号(ON信号/OFF信号)来切换先导管路的连通/非连通。具体而言，当门锁开关的输出信号为与门锁杆被拉起的状态(即，操作人员就座在操作席上的状态)相对应的ON信号时，门锁阀54将先导管路设为连通状态。另一方面，当门锁开关的输出信号为与门锁杆被拉下的状态(即，操作人员从操作席脱离的状态)相对应的OFF信号时，门锁阀54将先导管路设为非连通状态。并且，例如，门锁阀54构成为还能够接收从控制器30输入的指令信号，根据来自控制器30的指令信号(ON信号/OFF信号)来切换先导管路的连通/非连通。
另外，在门锁阀54中，作为能够接收门锁开关的输出信号和来自控制器30的指令信号这两种信号的结构，例如可以采用可输入门锁开关的输出信号和来自控制器30的指令信号这两种信号的OR电路(若从至少一方输入ON信号，则输出ON信号的逻辑电路)。
外部用显示装置60(通知机构的一例)在基于控制器30的控制下显示向挖土机周边(例如，在挖土机周边工作的工作人员或挖土机所工作的工作现场的现场监督等监视人员等)通知的各种信息。若能够从挖土机周边辨识各种信息，则外部用显示装置60可以搭载于上部回转体3的任意位置，例如搭载于上部回转体3的后端部的侧面。外部用显示装置60可以为能够仅显示文字信息的器件，例如电光公告牌或磁反式公告牌等，也可以为还能够显示图像信息的器件，例如液晶显示器等。
外部用语音输出装置62(通知机构的一例)在基于控制器30的控制下输出向挖土机周边通知的各种语音信息。外部用语音输出装置62只要能够使语音信息到达挖土机周边的规定范围，则可以搭载于上部回转体3的任意位置。外部用语音输出装置62例如为扬声器、蜂鸣器等。
[周边监视系统的概要]
接着，参考图2对周边监视系统100的概要进行说明。
图2是表示本实施方式所涉及的周边监视系统的结构的一例的概要图。
周边监视系统100监视作为监视对象的规定的物体(以下，有时简称为“监视对象”)侵入挖土机周边的规定范围内。而且，当检测出监视对象时，周边监视系统100通过警报等向操作人员等进行通知，或者，根据情况限制挖土机的动作。监视对象可以为人或人以外的障碍物或车辆等任意的物体。
周边监视系统100包括控制器30、摄像装置40、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60及外部用语音输出装置62。
控制器30进行周边监视系统100中的各种控制处理。控制器30其功能可以通过任意的硬件、软件或其组合来实现，例如以包括CPU(Central Process ing Unit(中央处理单元)、RAM(Random Access Memory(随机存取存储器)、ROM(Read OnlyMemory(只读存储器)、辅助存储装置及I/O(Input-O utput interface(输入输出接口)等的微型计算机为中心而构成。控制器30例如通过在CPU上执行存储于ROM或辅助存储装置等的各种程序来实现各种功能。
如上所述，摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在上部回转体3的上部以光轴倾斜地朝向下方的方式安装，具有包含从挖土机附近的地面至挖土机的远方为止的上下方向的摄像范围(视角)。后方摄像机40B、左侧摄像机40L及右侧摄像机40R分别在挖土机的运行中按规定周期(例如，1/30秒)输出摄像图像并发送至控制器30。
另外，如后面叙述，摄像装置40作为输出用于检测监视对象的检测信息的传感器发挥功能，但只要是能够检测出挖土机周边的物体并输出至该物体为止的距离信息的传感器，则也可以将其他传感器搭载于挖土机。在该情况下，输出用于检测监视对象的检测信息的传感器中除了摄像装置40以外，例如还可以包括后面叙述的LIDAR(LIght DetectionAnd Ranging(激光雷达))、毫米波雷达、立体摄像机等。
显示装置50在基于控制器30的控制下能够显示摄像装置40的摄像图像(以下，有时称为实时取景图像)或通过控制器30并根据摄像装置40的摄像图像而生成(合成)的周边图像(例如，视点转换图像等合成图像)等。
语音输出装置52能够在基于控制器30的控制下输出警报声。
门锁阀54在基于控制器30的控制下即使在上述门锁杆(未图示)被拉起的状态下也能够将先导管路(未图示)设为非连通状态。由此，能够限制(停止)挖土机的动作。
外部用显示装置60在基于控制器30的控制下能够朝向挖土机周边显示规定的文字信息或图像信息来对监视对象侵入挖土机周边的警戒区域进行警报等。
外部用语音输出装置62在基于控制器30的控制下能够朝向挖土机周边输出规定的语音信息来对监视对象侵入挖土机周边的警戒区域进行警报。
以下，对以上述周边监视系统100的结构为前提的特征性功能(以下，方便起见称为“特征功能”)进行说明。本实施方式所涉及的周边监视系统100能够包括后面叙述的第1特征功能～第4特征功能的各自所涉及的结构的一部分或全部。即，后面叙述的第1特征功能～第4特征功能当然能够分别以单体执行，并且可以为与其特征功能有关的结构和与其他特征功能有关的结构组合或共用的方式。
例如，后面叙述的监视对象检测部301A、监视对象检测部301B、物体检测部301C及检测部301D各自的功能结构的一部分或全部可以通用。并且，监视图像显示处理部302A、302B各自的功能的一部分或全部可以通用。并且，监视图像显示处理部302A、302B各自的功能的一部分或全部可以通用。并且，标记图像显示处理部303A及标记显示处理部303B各自的功能的一部分或全部可以通用。并且，监视图像显示处理部302A及标记图像显示处理部303A、监视图像显示处理部302B及标记显示处理部303B、显示控制部302C、以及显示控制部302D各自的功能的一部分或全部可以通用。并且，语音控制部303C及警报输出部303D各自的功能的一部分或全部可以通用。并且，语音控制部303C及警报输出部303D中的至少一个可以包含于与第1特征功能或第2特征功能有关的周边监视系统100中(即，可以进行组合)。并且，动作限制部304及判定部305中的至少一个可以包含于与第1～第3特征功能中的任一个有关的周边监视系统100中。
[周边监视系统的第1特征功能]
首先，对与本实施方式所涉及的周边监视系统100有关的第1特征功能，具体而言，在显示于显示装置50的实时取景图像或周边图像内的监视对象上重叠显示标记(也称为标识)的功能(标记显示功能)的一例(以下，有时也称为“第1标记显示功能”)进行说明。
＜周边监视系统的结构＞
图3是表示与第1特征功能(第1标记显示功能)有关的本实施方式所涉及的周边监视系统100的结构的一例的框图。
另外，在图3中，重点表示与第1特征功能有关的结构，而省略图1、图2所示的其他结构。
如上所述，周边监视系统100监视规定的物体(在本实施方式中为车辆及人)侵入挖土机周边的规定范围内，当检测出规定的物体时，向操作人员等进行通知。周边监视系统100包括控制器30、摄像装置40、显示装置50。
如上所述，控制器30(控制装置的一例)进行周边监视系统100中的各种控制处理。控制器30例如包括监视对象检测部301A、监视图像显示处理部302A、标记图像显示处理部303A来作为通过在CPU上执行存储于ROM或非易失性的辅助存储装置中的各种程序来实现的功能部。
如上所述，摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在上部回转体3的上部以光轴倾斜地朝向下方的方式安装，具有包含从挖土机附近的地面至挖土机的远方为止的比较宽的上下方向的摄像范围(视角)。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在挖土机的运行中按规定周期(例如，1/30秒)输出摄像图像并发送至控制器30。
显示装置50在基于控制器30(具体而言，监视图像显示处理部302A)的控制下显示表示通过摄像装置40拍摄的挖土机周边的情况的监视图像。监视图像中包括摄像装置40的摄像图像(实时取景图像)及利用控制器30(具体而言，监视图像显示处理部302A)并根据摄像装置40的摄像图像而生成的周边图像(例如，视点转换图像)等。详细内容在后面叙述(参考图4、图5)。
监视对象检测部301A检测挖土机周边的规定的监视对象。如上所述，监视对象例如为人、工作车辆(卡车)、其他障碍物等。以下，在与第1特征功能有关的说明中，重点说明监视对象为人的情况。具体而言，监视对象检测部301A根据通过摄像装置40摄像的摄像图像来检测挖土机周边的规定区域(以下，称为“监视区域”)中例如距挖土机规定距离D1(例如，5米)以内的监视对象(即，人)。例如，监视对象检测部301A能够通过任意地适用已知的各种图像处理方法或基于机器学习的识别器等来识别摄像装置40的摄像图像内的人，并且确定所识别的人的实际位置(从挖土机至所识别的人为止的距离D等)。
并且，监视对象检测部301A将与摄像图像内的代表性地表示所检测出的人的位置的点(代表点)有关的信息(代表点信息)送至标记图像显示处理部303A，该摄像图像是通过基于摄像装置40的摄像图像的图像处理而检测人的过程中生成的。代表点例如可以为摄像图像上的与所检测出的人的脚位相对应的点、与头的位置相对应的点等任意的点。以下，在代表点为摄像图像上的与所检测出的人的脚位相对应的点的前提下进行说明。
另外，监视对象检测部301A也可以代替摄像装置40的摄像图像，或者除此以外，还根据其他传感器例如毫米波雷达、LIDAR、立体摄像机等的检测结果(距离图像等)来检测监视对象。
监视图像显示处理部302A根据由操作人员进行的各种操作等将通过摄像装置40拍摄的表示挖土机周边的情况的监视图像显示于显示装置50。例如，监视图像显示处理部302A根据由操作人员进行的规定操作将摄像装置40即后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像(实时取景图像)作为监视图像直接显示于显示装置50。此时，监视图像显示处理部302A可以根据由操作人员进行的操作的内容或设定内容等将后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的1个摄像机的摄像图像显示于显示装置50，也可以将多个(2个或3个)摄像机的摄像图像同时显示于显示装置50。并且，例如，监视图像显示处理部302A根据由操作人员进行的规定操作并根据摄像装置40的摄像图像生成周边图像(例如，视点转换图像)，并显示于显示装置50。具体而言，监视图像显示处理部302A根据后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像来进行已知的视点转换处理，由此生成视点转换图像(从假想视点观察的图像)作为周边图像，并显示于显示装置50。并且，在将周边图像显示于显示装置50时，监视图像显示处理部302A为了明示描绘在周边图像中的摄像装置40的摄像范围相对于挖土机的相对位置关系而将示意性地表示挖土机的挖土机图像一并显示于显示装置50。即，监视图像显示处理部302A生成包含挖土机图像和配合挖土机与摄像装置40的摄像范围的相对位置关系而配置于挖土机图像的周围的周边图像的监视图像，并显示于显示装置50。以下，参考图4、图5对显示于显示装置50的监视图像进行说明。
图4是表示显示于显示装置50的监视图像的一例(监视图像MP1)的图，具体而言，是表示在显示装置50中作为监视图像MP1而显示的实时取景图像的图。图5是表示显示于显示装置50的监视图像的另一例(监视图像MP2)的图，具体而言，是表示包含显示于显示装置50的周边图像EP(视点转换图像)及挖土机图像CG的监视图像MP2的图。
如图4所示，在显示装置50中的横长长方形的画面(例如，纵横比4:3的画面)上显示有后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的任意1个摄像机的摄像图像。
并且，在本例中，在显示于显示装置50的实时取景图像中包含人(工作人员W1A)。并且，在实时取景图像上的工作人员W1A上重叠显示有表示其位置(在本实施方式中，基于监视对象检测部301A的检测位置)的标记图像FR1A，即包围作为标记图像FR1A的工作人员W1A的框。由此，操作人员容易察觉到映在显示装置50上的监视对象(即，人)，并且在显示于显示装置50的监视图像、具体而言，实时取景图像或周边图像(视点转换图像)上容易识别监视对象(即，人)的情况等。关于标记图像的详细内容在后面叙述。
并且，如图5所示，如上所述，在显示装置50中的横长长方形的画面(例如，纵横比4:3的画面)上显示有包含挖土机图像CG和配置于挖土机图像CG的周围的周边图像EP的监视图像MP2。由此，操作人员能够适当地掌握映在周边图像EP上的监视对象(即，人)与挖土机的位置关系。
在本例中，周边图像EP为将从正上方观察与挖土机相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP的周围的、从挖土机沿水平方向观察该周边区域的周围的水平图像HVP组合而成的视点转换图像。作为视点转换图像的周边图像EP是通过将后方摄像机40B、左侧摄像机40L及右侧摄像机40R各自的摄像图像投影在空间模型之后，将投影在该空间模型中的投影图像再投影在另一二维平面而得到的。空间模型为假想空间中的摄像图像的投影对象，由包含摄像图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。以下，在本实施方式中的周边图像为将从正上方观察与挖土机相邻的周边区域的俯瞰图像和沿水平方向观察该周边区域的周围的水平图像组合而成的视点转换图像的前提下继续进行说明。
并且，在监视图像MP2(周边图像EP)上重叠显示辅助线(也即引导线gu ide line)GL1。辅助线GL1表示距挖土机的距离D为规定距离D2(＜D1)的位置。由此，当在监视图像内的周边图像上映有监视对象(即，人)时，操作人员能够掌握位于离挖土机多少程度的位置。
并且，在本例中，与图4相同地，在显示于显示装置50的监视图像MP2内的周边图像EP中包含人(工作人员W2A)。并且，在周边图像上的工作人员W2A上重叠显示有表示其位置(在本实施方式中为基于监视对象检测部301A的检测位置)的标记图像FR1A，即包围工作人员W2A的框。如上所述，关于标记图像的详细内容在后面叙述。
返回到图3，当通过监视对象检测部301A检测出监视对象时，标记图像显示处理部303A在显示于显示装置50的监视图像上重叠显示表示监视图像中所包含的监视对象(即，人)的位置的上述标记图像。标记图像若能够强调监视图像中所包含的人的位置，则可以为任意的方式，例如可以通过图形、颜色、花纹或它们的组合等而构成。以下，在本实施方式中，在标记图像为图形(以下，称为“标记图形”)的前提下进行说明。标记图像显示处理部303A包含候选点生成部3031A、标记图像选择部3032A、构成点选择部3033A、编码部3034A、发送部3035A来作为进一步细分化的功能部。
候选点生成部3031A生成成为表示显示于显示装置50的监视图像中所包含的、通过监视对象检测部301A检测出的监视对象(即，人)的检测位置的标记图形的顶点的候选的多个候选点(以下，称为候选点组)。例如，候选点生成部3031A根据从监视对象检测部301A获取的后方摄像机40B、左侧摄像机40L、右侧摄像机40R中的任意1个摄像图像上的所检测出的人的代表点信息来识别该摄像图像上的人所存在的区域，并且按照规定的规则生成预先规定的个数的候选点。以下，在作为候选点组而生成的候选点的个数为M(3以上的整数)的前提下进行说明。并且，当显示于显示装置50的监视图像为视点转换图像等周边图像时，候选点生成部3031A根据与由摄像图像生成周边图像的情况相同的转换方法将摄像图像上的候选点组的位置数据(坐标)转换为周边图像上的候选点组的位置数据(坐标)。由此，能够生成表示周边图像上所包含的所检测出的人的检测位置的标记图形的顶点的候选点组。
例如，图6是表示与摄像装置40的摄像图像上所包含的通过监视对象检测部301A检测出的人相对应的候选点组的一例的图。如图6所示，在摄像装置40即后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的任意1个摄像图像的中央附近映有背对着的工作人员W1A，在工作人员W1A的脚附近示有通过监视对象检测部301A生成的代表点RP。在本例中，候选点组CP以包围该摄像图像中所包含的工作人员W1A的方式作为合计16个(M＝16)候选点(空心圆)的集合而生成。
返回到图3，标记图像选择部3032A(选择部的一例)从预先规定的多个种类的标记图像(标记图形)中选择实际上重叠显示于显示装置50的监视图像上的标记图像(标记图形)。在本实施方式中，成为候选的多个种类的标记图形包含将选自候选点组中的2个以上的候选点作为构成点的多个种类的图形，即线段、三角形、四边形、......、M边形中的2种以上的图形。构成点是指线段的端点或多边形的顶点等。即，标记图像选择部3032A从将选自候选点组中的2个以上的候选点(以下，称为“选择点”)作为构成点的2种以上的图形中选择1个。具体而言，标记图像选择部3032A确定从候选点组中作为图形的构成点而选择的候选点的数(以下，称为“选择数”)。以下，在标记图像选择部3032A从M边形(选择数M)、四边形(选择数4)、线段(选择数2)这3种标记图形中选择重叠显示于监视图像上的标记图形，即标记图像选择部3032A将构成标记图形的构成点确定为M、4及2中的任一个的前提下进行说明。在该情况下，候选点组中所包含的候选点数M为5以上。详细内容在后面叙述。
构成点选择部3033A从通过候选点生成部3031A生成的候选点组中选择与通过标记图像选择部3032A确认的选择数相应的量的标记图形的构成点。当通过标记图像选择部3032A选择了M边形时，构成点选择部3033A当然选择候选点组中所包含的所有(M个)候选点作为标记图形的构成点。并且，当通过标记图像选择部3032A选择了四边形或线段时，构成点选择部3033A按照预先规定的规则从候选点组(即，M个候选点)中选择4个或2个构成点。
例如，图7(图7A、图7B)、图8(图8A、图8B)、图9(图9A、图9B)是表示通过构成点选择部3033A从候选点组中选择的标记图像的构成点的一例(选择数M的情况)、另一例(选择数4的情况)及又一例(选择数2的情况)的图。具体而言，图7A、图8A及图9A表示当生成了图6所示的候选点时，根据通过标记图像选择部3032A选择的标记图形的种类即所确定的选择数从候选点组中选择的标记图像的构成点的方式。并且，图7B、图8B及图9B分别是表示当选择了图7A、图8A及图9A所示的构成点时显示于显示装置50的标记图形的图。
另外，在图7A、图8A及图9A中，通过构成点选择部3033A选择的构成点由黑色圆表示，候选点组中的未选择的候选点由空心圆表示。
当通过标记图像选择部3032A选择的标记图形的种类为M边形即所确定的选择数为M时，如图7A所示，在摄像图像上当然选择以包围通过监视对象检测部301A检测出的工作人员W1A的周围的方式配置的候选点组的M(＝16)个候选点全部作为标记图形的构成点。而且，如图7B所示，在显示装置50中，在摄像图像上重叠显示包围通过监视对象检测部301A检测出的工作人员W1A的周围的方式的作为标记图像FR1A的M边形即十六边形。
并且，当通过标记图像选择部3032A选择的标记图像的种类为四边形即所确定的顶点数为4时，如图8A所示，在摄像图像上选择存在于将通过监视对象检测部301A检测出的工作人员W1A的身体的上下轴向比脚更靠下侧及比头更靠上侧这两侧延长的方向的2个候选点和存在于将连结工作人员W1A的大致两个肩的轴向两个肩的外侧延长的方向的2个候选点来作为标记图形的构成点。而且，如图8B所示，在显示装置50中，在摄像图像上重叠显示有包围通过监视对象检测部301A检测出的工作人员W1A的方式的作为标记图像FR1A的四边形。
如此，当标记图形由3个以上的构成点构成时，能够以包围监视对象的方式进行显示，因此能够作为显示于显示装置50的监视图像内的监视对象的标记发挥功能，同时能够让操作人员等掌握监视图像内的监视对象的情况。
并且，当通过标记图像选择部3032A选择的标记图像的种类为线段即所确定的顶点数为2时，如图9A所示，在摄像图像上选择存在于将通过监视对象检测部301A检测出的工作人员W1A的身体的上下轴向比脚更向下侧及比头更向上侧这两侧延长的方向的2个候选点来作为标记图形的构成点。而且，如图9B所示，在显示装置50中，在摄像图像上重叠显示概略表示通过监视对象检测部301A检测出的工作人员W1A的上下轴的方式的作为标记图像FR1A的线段。
返回到图3，编码部3034A按照预先规定的规则对通过构成点选择部3033A从候选点组中选择的标记图形的构成点的位置信息、具体而言是显示于显示装置50的监视图像上的位置信息(坐标信息)进行编码而生成发送至显示装置50的数据(以下，称为发送用数据)。
发送部3035A将通过编码部3034A生成的发送用数据发送至显示装置50。由此，显示装置50能够根据发送用数据中所包含的标记图形的顶点的位置信息(坐标信息)将通过标记图像选择部3032A从多个种类的标记图形中选择的种类的标记图像重叠显示于监视图像上。
＜周边监视系统的动作的详细内容＞
接着，参考图10～图14对基于本实施方式所涉及的周边监视系统100的特征性处理、即基于标记图像显示处理部303A的将标记图像显示于显示装置50的处理(标记图像显示处理)的详细内容进行说明。
首先，图10是概略地表示基于控制器30(标记图像显示处理部303A)的标记图像显示处理的第1例的流程图。例如，在挖土机的运行中在显示装置50上显示有监视图像时，按规定时间(例如，按基于监视对象检测部301A的监视对象的检测周期)反复执行本流程图的处理。
在步骤S101A中，候选点生成部3031A判定通过监视对象检测部301A是否检测出监视对象。当通过监视对象检测部301A检测出监视对象时，候选点生成部3031A进入步骤S102A，当未被检测出时，结束本次的处理。
在步骤S102A中，候选点生成部3031A获取由监视对象检测部301A检测出的监视对象(即，人)在摄像图像上的代表点。
在步骤S104A中，候选点生成部3031A根据所获取的代表点来生成成为显示于显示装置50的监视图像(摄像图像或周边图像)上的标记图形的顶点的候选的候选点组。
在步骤S106A中，标记图像选择部3032A判定通过监视对象检测部301A实际检测出的监视对象的数(以下，称为“检测数”)N是否为规定数N11以下。规定数N11被设定为关于通过监视对象检测部301A检测出的所有监视对象(即，人)，在规定的发送周期内能够可靠地发送包含M个顶点(即，通过候选点生成部3031A生成的所有候选点)的位置信息的发送用数据的检测数N的上限。当检测数N为规定数N11以下时，标记图像选择部3032A进入步骤S108A，当检测数N不是规定数N11以下时，进入步骤S110A。
在步骤S108A中，标记图像选择部3032A选择M边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图形的构成点的数量(选择数)确定为M(5以上的整数)。
另一方面，在步骤S110A中，标记图像选择部3032A判定检测数N是否为大于规定数N11的规定数N12以下。规定数N12被设定为关于通过监视对象检测部301A检测出的所有监视对象(即，人)，在规定的发送周期内能够可靠地发送包含4个顶点的位置信息的发送用数据的检测数N的上限。当检测数N为规定数N12以下时，标记图像选择部3032A进入步骤S112A，当检测数不是规定数N12以下时，进入步骤S114A。
在步骤S112A中，作为标记图形的种类，标记图像选择部3032A选择四边形。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为4。
另一方面，在步骤S114A中，作为标记图形的种类，标记图像选择部3032A选择线段。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为2。
在步骤S115A中，构成点选择部3033A从通过候选点生成部3031A生成的候选点组中选择与在步骤S108A、S112A、S114A中的任一处理中通过标记图像选择部3032A确定的选择数相应的量的标记图形的构成点。
在步骤S116A中，编码部3034A对通过构成点选择部3033A选择的构成点的位置信息进行编码而生成发送用数据。
在步骤S118A中，发送部3035A将通过编码部3034A生成的发送用数据发送至显示装置50，并结束本次的处理。
如此，在本例中，标记图像显示处理部303A以2种以上的不同的显示方式显示表示显示于显示装置50的监视图像上的监视对象的位置的标记。具体而言，标记图像选择部3032A根据通过监视对象检测部301A检测出的监视对象的检测数N来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。更具体而言，检测数N越多，标记图像选择部3032A越减少标记图形的构成点的数量，即，越减少作为用于在显示装置50上显示标记图像的规格信息(以下，简称为“标记图像的规格信息”)的构成点的位置信息的数据量。由此，即使在通过监视对象检测部301A检测出的监视对象的检测数N变得较多、作为从控制器30应发送至显示装置50的标记图像的规格信息的构成点的位置信息的数据量变多等通信频带有可能不足的情况下，也能够根据检测数N来调整标记图像的规格信息的数据量。具体而言，能够减少构成点数来减少发送用数据中所包含的构成点的位置信息的数据量。因此，在规定的发送周期内能够可靠地从控制器30向显示装置50发送在显示于显示装置50的监视图像上包含表示监视对象的位置的标记图像的规格信息的发送用数据。并且，若检测数N增多，则与监视图像中所包含的监视对象的数量成正比地标记图像的数量增加，有可能因信息过多而难以观察监视图像，此时，检测数N越增多则越减少标记图形的构成点来简化标记图像，因此能够抑制这种事态。
另外，标记图像的规格信息中除了图形的构成点的位置信息以外，还能够包含表示标记图像的大小、花纹、颜色等类别的信息或表示大小、花纹、颜色变化或有无闪烁的信息等。例如，当并不是通信频带不足的情况时(即，当本例中的检测数N较少的情况)，控制器30(发送部3035A)可以将包含用于显示包含较多的属性(形状、颜色、花纹、有无闪烁等)的标记图像的规格信息的数据量较大的发送用数据发送至显示装置50。由此，标记图像的信息量增加，能够进一步强调监视对象。另一方面，当通信频带不足的情况时(即，本例中的检测数N较多的情况)，控制器30(发送部3035A)可以将包含用于显示包含较少属性(例如，只有形状)的标记图像的规格信息的数据量较小的发送用数据发送至显示装置50。由此，如上所述，即使在通信频带有可能不足的情况下，也能够在规定的发送周期内可靠地发送包含标记图像的规格信息的数据。以下，图11、图12的情况也相同。
接着，图11是概略地表示基于控制器30(标记图像显示处理部303A)的标记图像显示处理的第2例的流程图。与上述第1例(图10)相同地，例如，在挖土机的运行中在显示装置50上显示有监视图像时，按规定时间(例如，基于监视对象检测部301A的监视对象的每个检测周期)反复执行本流程图的处理。
另外，在本流程图的处理中，在作为通过监视对象检测部301A检测的监视对象的检测数N的上限即在规定的处理周期内能够检测的监视对象的检测数N的上限而预先设定最大检测数Nmax的前提下进行说明。并且，关于最大检测数Nmax，能够根据处理周期、控制器30的处理性能等预先规定其最大值，并且能够根据由操作人员进行的规定操作在该最大值以下的范围内设定。
本流程图的步骤S201A～S204A，S215A～S218A与上述第1例相同，因此重点说明不同部分。
在步骤S206A中，标记图像选择部3032A判定最大检测数Nmax是否为规定数N21以下。规定数N21假如被设定为即使在通过监视对象检测部301A检测出与最大检测数Nmax相当的监视对象(即，人)的情况下，关于所检测出的所有监视对象，在规定的发送周期内能够可靠地发送包含M个顶点(即，通过候选点生成部3031A生成的所有候选点)的位置信息的发送用数据的最大检测数Nmax的上限。当最大检测数Nmax为规定数N21以下时，标记图像选择部3032A进入步骤S208A，当最大检测数Nmax不是规定数N21以下时，进入步骤S210A。
在步骤S208A中，标记图像选择部3032A选择M边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图形的构成点的数量(选择数)确定为M(5以上的整数)。
另一方面，在步骤S210A中，标记图像选择部3032A判定检测数N是否为大于规定数N21的规定数N22以下。规定数N22假如被设定为即使在通过监视对象检测部301A检测出与最大检测数Nmax相当的监视对象(即，人)的情况下，关于所检测出的所有监视对象，在规定的发送周期内能够可靠地发送包含4个顶点的位置信息的发送用数据的最大检测数Nmax的上限。当最大检测数N max为规定数N22以下时，标记图像选择部3032A进入步骤S212A，当检测数不是规定数N22以下时，进入步骤S214A。
在步骤S212A中，标记图像选择部3032A选择四边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为4。
另一方面，在步骤S214A中，标记图像选择部3032A选择线段作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为2。
如此，在本例中，与上述图10相同地，标记图像显示处理部303A以2种以上的不同的显示方式显示表示显示于显示装置50的监视图像上的监视对象的位置的标记。具体而言，标记图像选择部3032A根据作为通过监视对象检测部301A检测的监视对象的检测数N的上限而预先被设定的最大检测数Nmax来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。具体而言，最大检测数Nmax越增多，标记图像选择部3032A越减少标记图形的构成点的数量，即越减少作为标记图像的规格信息的构成点的位置信息的数据量。由此，在最大检测数Nmax被设定为较大值的情况下，假如即使发生通过监视对象检测部301A检测与最大检测数Nmax相当的监视对象、且包含从控制器30应发送至显示装置50的标记图像的规格信息的发送用数据的数据量增多等通信频带有可能不足的情况，也能够根据最大检测数Nmax来调整标记图像的数据量。因此，与上述第1例的情况相同地，在规定的发送周期内能够可靠地从控制器30向显示装置50发送在显示于显示装置50的监视图像上包含表示监视对象的位置的标记图像的规格信息的发送用数据。并且，与上述第1例的情况相同地，若最大检测数Nmax增多，则与监视图像中所包含的监视对象的数量成正比地标记图像的数量也增加，有可能因信息过多而难以观察监视图像时，最大检测数Nmax越增多则越减少标记图形的构成点来简化标记图像，因此能够抑制这种事态。
接着，图12是概略地表示基于控制器30(标记图像显示处理部303A)的标记图像显示处理的第3例的流程图。与上述第1例(图10)等相同地，例如，在挖土机的运行中在显示装置50上显示有监视图像时，按规定时间(例如，基于监视对象检测部301A的监视对象的每个检测周期)反复执行本流程图的处理。
本流程图的步骤S301A～S304A，S315A～S318A与上述第1例相同，因此重点说明不同部分。
在步骤S306A中，标记图像选择部3032A判定，在与实际显示于显示装置50的监视图像(实时取景图像或周边图像)相对应的摄像装置40的摄像范围内，通过监视对象检测部301A实际检测出的监视对象的数(以下，称为监视图像内检测数)Np是否为规定数N31以下。与上述第1例(图10)的规定数N11相同地，规定数N31被设定为，在与实际显示于显示装置50的监视图像相对应的摄像装置40的摄像范围内，关于通过监视对象检测部301A检测出的所有监视对象(即，人)，在规定的发送周期内能够可靠地发送包含M个顶点(即，通过候选点生成部3031A生成的所有候选点)的位置信息的发送用数据的监视图像内检测数Np的上限。
在步骤S308A中，标记图像选择部3032A选择M边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图形的构成点的数量(选择数)确定为M(5以上的整数)。
另一方面，在步骤S310A中，标记图像选择部3032A判定监视图像内检测数Np是否为大于规定数N31的规定数N32以下。与上述第1例(图10)的规定数N12相同地，规定数N32被设定为：在与实际显示于显示装置50的监视图像相对应的摄像装置40的摄像范围内，关于通过监视对象检测部301A检测出的所有监视对象(即，人)，在规定的发送周期内能够可靠地发送包含4个顶点的位置信息的发送用数据的监视图像内检测数Np的上限。当监视图像内检测数Np为规定数N32以下时，标记图像选择部3032A进入步骤S312A，当监视图像内检测数Np不是规定数N32以时，进入步骤S314A。
在步骤S312A中，标记图像选择部3032A选择四边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为4。
另一方面，在步骤S314A中，标记图像选择部3032A选择线段作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为2。
如此，在本例中，与上述图10等的情况相同地，标记图像显示处理部303A以2种以上的不同的显示方式显示在显示装置50显示的监视图像上表示监视对象的位置的标记。具体而言，标记图像选择部3032A根据在与显示于显示装置50的监视图像(摄像图像或周边图像)相对应的摄像装置40的摄像范围内通过监视对象检测部301A检测出的监视对象的检测数(监视图像内检测数N p)来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。即，标记图像选择部3032A根据显示于显示装置50的监视图像中所包含的监视对象的数量来变更该监视图像上的表示监视对象的位置的标记图像的种类。更具体而言，监视图像内检测数Np越多，标记图像选择部3032A越减少标记图形的构成点的数量来减少发送用数据中所包含的作为标记图像的规格信息的构成点的位置信息的数据量。即，显示于显示装置50的监视图像中所包含的监视对象的数越多，标记图像选择部3032A越减少标记图形的构成点的数量来减少发送用数据的数据量。由此，即使在监视图像内检测数Np即显示于显示装置50的监视图像中所包含的监视对象较多、作为从控制器30应发送至显示装置50的标记图像的规格信息的构成点的位置信息的数据量增多等通信频带有可能不足的情况下，也能够根据监视图像内检测数Np来调整标记图像的规格信息的数据量。并且，若监视图像内检测数Np增多，则与监视图像中所包含的监视对象的数量成比例地标记图像的数量也增加，有可能因信息过多而难以观察监视图像时，监视图像内检测数Np越增多则越减少标记图形的构成点来简化标记图像，因此能够抑制这种事态。并且，例如，当将1个摄像机的摄像图像作为监视图像显示于显示装置50时，还有可能存在监视图像内检测数Np少于根据多个摄像机即后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像而通过监视对象检测部301A检测出的监视对象的整体的检测数N的情况。因此，在这种情况下，采用规格信息的数据量较多的标记图像即更容易强调监视对象的标记图像而能够让操作人员容易识别监视对象。即，在本例中，标记图像选择部3032A能够考虑与显示于显示装置50的监视图像相对应的挖土机的周边区域的大小来调整标记图像的规格信息的数据量。
接着，图13是概略地表示基于控制器30(标记图像显示处理部303A)的标记图像显示处理的第4例的流程图。与上述第1例(图10)相同地，例如，在挖土机的运行中在显示装置50上显示有监视图像时，按规定时间(例如，基于监视对象检测部301A的监视对象的每个检测周期)反复执行本流程图的处理。
另外，在本例中，在显示装置50上能够同时显示后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的最大两台摄像机的实时取景图像的前提下进行说明。
本流程图的步骤S401A～S404A，S415A～S418A与上述第1例相同，因此重点说明不同部分。
在步骤S406A中，标记图像选择部3032A判定显示于显示装置50的监视图像是否为实时取景图像。当显示于显示装置50的监视图像为实时取景图像时，标记图像选择部3032A进入步骤S407A，当不是实时取景图像(即，为周边图像)时，进入步骤S414A。
在步骤S407A中，标记图像选择部3032A判定显示于显示装置50的实时取景图像是否为后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的仅一台摄像机的摄像图像。当显示于显示装置50的实时取景图像为仅一台摄像机的摄像图像时，标记图像选择部3032A进入步骤S408A，除此以外的情况(即，当为两台摄像机的摄像图像的情况)下，进入步骤S412A。
在步骤S408A中，标记图像选择部3032A选择M边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图形的构成点的数量(选择数)确定为M(5以上的整数)。
另一方面，在步骤S412A中，标记图像选择部3032A选择四边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为4。
并且，在步骤S414A中，标记图像选择部3032A选择线段作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为2。
如此，在本例中，与上述图10等的情况相同地，标记图像显示处理部303A以2种以上的不同的显示方式显示于显示装置50的监视图像上的表示监视对象的位置的标记。具体而言，标记图像选择部3032A根据显示于显示装置50的监视图像的种类(即，是实时取景图像还是周边图像)来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。即，标记图像选择部3032A根据与显示于显示装置50的监视图像相对应的摄像机的台数来变更该监视图像上的表示监视对象的位置的标记图像的种类。更具体而言，当在显示装置50上显示有周边图像时，标记图像选择部3032A比实时取景图像的情况更减少标记图形的构成点的数量来减少发送用数据中所包含的作为标记图像的规格信息的构成点的位置信息的数据量。即，与显示于显示装置50的监视图像相对应的摄像机的台数越多，标记图像选择部3032A越减少标记图形的构成点的数量来减少发送用数据的数据量。若与监视图像相对应的摄像机增多而作为监视图像而显示的挖土机周围的区域增加，则具有能够被检测的监视对象的数量增多的倾向，即使在作为从控制器30应发送至显示装置50的标记图像的规格信息的构成点的位置信息的数据量增多等通信频带有可能不足的情况下，也能够根据与监视图像相对应的摄像机的台数来调整标记图像的规格信息的数据量。另一方面，当与监视图像相对应的摄像机的台数少时，构成点多，能够显示容易强调监视对象的标记图像，容易促进操作人员等掌握监视对象。并且，若与监视图像相对应的摄像机增多，则与监视图像中所包含的监视对象的数量成比例地标记图像的数量也增加，有可能因信息过多而难以观察监视图像，此时，与监视图像相对应的摄像机的台数越增多则越减少标记图形的构成点来简化标记图像，因此能够抑制这种事态。
接着，图14是概略地表示基于控制器30(标记图像显示处理部303A)的标记图像显示处理的第5例的流程图。与上述第1例(图10)相同地，例如，在挖土机的运行中在显示装置50上显示有监视图像时，按规定时间(例如，基于监视对象检测部301A的监视对象的每个检测周期)反复执行本流程图的处理。
本流程图的步骤S501A～S504A，S515A～S518A与上述第1例相同，因此重点说明不同部分。
以下，对通过监视对象检测部301A检测出的每个监视对象进行步骤S506A～S514A的处理。
在步骤S506A中，标记图像选择部3032A判定通过监视对象检测部301A检测出的监视对象距挖土机的距离D是否为规定距离D3(＜D2＜D1)以下。当通过监视对象检测部301A检测出的监视对象距挖土机的距离D为规定距离D3以下时，标记图像选择部3032A进入步骤S508A，除此以外的情况下，进入步骤S510A。
在步骤S508A中，标记图像选择部3032A选择M边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图形的构成点的数量(选择数)确定为M(5以上的整数)。
另一方面，在步骤S510A中，标记图像选择部3032A判定通过监视对象检测部301A检测出的监视对象距挖土机的距离D是否为规定距离D2(＜D1)以下。当通过监视对象检测部301检测出的监视对象距挖土机的距离D为规定距离D2以下时，标记图像选择部3032A进入步骤S512A，除此以外的情况下，进入步骤S514A。
在步骤S412A中，标记图像选择部3032A选择四边形作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为4。
并且，在步骤S414A中，标记图像选择部3032A选择线段作为标记图形的种类。即，标记图像选择部3032A将从通过候选点生成部3031A生成的候选点组中选择的标记图像的构成点的数量(选择数)确定为2。
如此，在本例中，与上述图10等的情况相同地，标记图像显示处理部303A以2种以上的不同的显示方式显示在显示装置50的监视图像上显示的表示监视对象的位置的标记。具体而言，标记图像选择部3032A根据显示于显示装置50的监视图像距挖土机的距离来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。更具体而言，监视对象距挖土机的距离越远，标记图像选择部3032A越减少标记图形的构成点的数量来减少发送用数据中所包含的作为标记图像的规格信息的构成点的位置信息的数据量。另一方面，监视图像距挖土机的距离越近，标记图像选择部3032A越增多标记图形的构成点来使监视对象容易显眼。由此，为了确保安全，能够促进操作人员等掌握优先度高的监视对象即位于靠近挖土机的区域的监视对象。另一方面，对于优先度相对低的监视对象即距挖土机比较远的监视对象，设为基于简单的标记图像的通知，由此能够抑制上述通信频带的不足等。
另外，在图10～图14所示的例示中，显示于显示装置50的监视图像上所显示的标记图像是根据规定的条件来自动规定的，但也可以为操作人员等通过手动能够设定的方式(参考图15、图16)。
＜标记图像的显示设定＞
接着，参考图15、图16对由操作人员等进行的标记图像的显示设定进行说明。
首先，图15是表示显示于显示装置50的用于由操作人员等进行标记图像的显示设定的操作画面(以下，称为“标记图像设定画面”)的一例(标记图像设定画面1500)的图。
在标记图像设定画面1500中，能够以从预先规定的3个显示模式(通常模式、简单模式、强调优先模式)中选择1个显示模式的方式由操作人员等进行标记图像的显示设定。
标记图像设定画面1500包含基于设置于驾驶室10内的按钮、切换键、操纵杆等硬件的操作部或能够利用安装于显示装置50的触摸面板等进行操作的按钮图标1501～1504。
按钮图标1501附记有“通常模式”的文字图像，操作人员等选择该按钮图标1501并进行确定操作，由此能够设定通常模式作为标记图像的显示模式。
通常模式为根据上述图10～图14中的至少一个处理自动确定显示于监视图像的标记图像的显示模式。
按钮图标1502附记有“简单模式”的文字图像，操作人员等选择该按钮图标1502并进行确定操作，由此能够设定简单模式作为标记图像的显示模式。
简单模式为显示于监视图像的标记图像被固定为比较简单的方式(例如，上述四边形或线段等)的显示模式。在简单模式中，即使在监视图像中所包含的监视对象的数量较多的情况下，也能够抑制因标记图像而监视图像变得繁琐反而难以掌握监视对象的情况。
按钮图标1503附记有“强调优先模式”的文字图像，操作人员等选择该按钮图标1503并进行确定操作，由此能够设定强调优先模式作为标记图像的显示模式。
强调优先模式为固定为显示于监视图像的标记图像比较容易显眼的方式(例如，上述M边形等数据量较多的标记图形)的显示模式。在强调优先模式中，例如，即使在操作人员进行无法注视显示装置50的操作难度非常高的工作等的情况下，也容易识别显示于显示装置50的监视对象。
按钮图标1504附记有“自定义版”的文字信息，操作人员等选择该按钮图标1504并进行确定操作，由此能够转移到能够设定更详细的标记图像的操作画面(后面叙述的标记图像设定画面1600)。
如此，在本例中，操作人员等能够从预先规定的简单模式和强调优先模式中设定显示模式。由此，周边监视系统100能够进行与操作人员的喜好匹配的标记图像的显示。
接着，图16是表示显示于显示装置50的标记图像设定画面另一例(标记图像设定画面1600)的图。
在标记图像设定画面1600中，操作人员等能够具体地设定标记图像的规格。
标记图像设定画面1600包含基于设置于驾驶室10内的按钮、切换键、操纵杆等硬件的操作部或能够通过安装于显示装置50的触摸面板等进行操作的按钮图标1601～1604。
按钮图标1601标注有“标记的一律选择”的文字信息，操作人员等选择该按钮图标1601并进行确定操作，由此能够转移到用于固定显示于监视图像的标记图像的种类的设定画面。因此，操作人员等能够在转移后的设定画面上从多个种类的标记图像(例如，上述M边形、四边形及线段)中设定自己喜好的标记图像。
按钮图标1602标注有“监视对象的种类”的文字信息。操作人员等选择该按钮图标1602并进行确定操作，由此能够按监视对象的种类转移到设定显示于监视图像的标记图像的种类的设定画面。在转移后的设定画面中，操作人员等例如能够按监视对象是人还是车辆或者监视对象是移动物还是静止物等预先规定的多个种类从多个标记图像中设定自己喜好的标记图像。
按钮图标1603标注有“监视对象的相对位置”的文字信息。操作人员等选择该按钮图标1603并进行确定操作，由此能够转移到用于根据监视对象的相对位置设定标记图像的设定画面。在该设定画面中，操作人员等例如能够按将基于监视对象检测部301的监视区域从靠近挖土机的一侧划分为多个区域时的各区域、从多个标记图像中设定自己喜好的标记图像。由此，操作人员等将距挖土机较远的监视对象设为简单的标记图像(例如，线段)并将较近的监视对象设为容易显眼的标记图像(例如，四边形或M边形等)而能够自定义为容易掌握较近的监视对象，并且，相反地，也能够自定义为容易掌握较远的监视对象。
如此，在本例中，操作人员等能够进行固定显示于监视图像的标记图像的种类的设定，或者手动设定与监视对象的种类或与挖土机的相对位置等相应的标记图像的种类。由此，周边监视系统100能够显示与操作人员的喜好更匹配的标记图像。
以上，对本发明的一实施方式所涉及的周边监视系统的第1特征功能(第1标记显示功能)进行了详细叙述，但本发明并不限定于该特定的实施方式，在本发明的宗旨的范围内能够进行各种变形或变更。
例如，在上述实施方式中，标记图像选择部3032A也可以代替判断起因于通过监视对象检测部301A检测的监视对象的检测数的通信频带不足的情况，或者除此以外，还判断其他通信频带不足的情况来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记的显示方式即标记图像的种类。例如，标记图像选择部3032A可以判断控制器30与显示装置50之间的通信线路的静态或动态带宽或空闲情况来变更显示于显示装置50的监视图像上的表示监视对象的检测位置的标记图像的种类。并且，标记图像选择部3032A也可以在基于监视对象检测部301A的检测监视对象的检测周期动态变化时或能够通过由操作人员等进行的设定而变更时，根据所设定的检测周期来变更显示于显示装置50的监视图像上的表示监视对象的位置的标记图像的种类。
并且，在上述实施方式中，也能够由操作人员等手动设定通过标记图像选择部3032A选择的标记图像的种类。在该情况下，优选能够仅变更标记图像的规格信息的数据量减小的方向(例如，标记图形的构成点的数量减少的方向)的设定。
并且，在上述实施方式及变形例中，也可以除了变更标记图像的种类以外，或者代替此，调整从控制器30发送至显示装置50的发送用数据中所包含的标记图像的位置信息(例如，标记图形的各构成点的位置信息)的分辨率。即，例如，与图10～图12相同地，编码部3034A(分辨率调整部的一例)根据检测数N、最大检测数Nmax、监视图像内检测数Np等以调整标记图像的位置信息的分辨率的方式进行编码。具体而言，编码部3034A以检测数N、最大检测数Nmax、监视图像内检测数Np越增多，标记图像的位置信息的分辨率越降低的方式(即，以位数少的方式)生成发送用数据。由此，即使在因某种原因而产生通信频带不足的情况下，与调整标记图像的规格信息的数据量的情况相同地，也能够调整发送用数据的数据量。
并且，在上述实施方式中，作为标记图像而显示二维的标记图形(四边形或M边形等)，但例如也可以将在映在监视图像中的三维空间上包围监视对象的假想的立体图形(例如，圆柱或四角柱等)显示于监视图像上。由此，例如在设定有多种监视对象的情况下，通过尤其对认为需要注意的种类的监视对象设定该立体图形，操作人员等更容易与其他种类的监视对象加以区分，因此能够提高操作人员等的便利性。
另外，关于上述本实施方式所涉及的周边监视系统的第1特征功能(第1标记显示功能)，进一步公开以下内容。
(1)
一种工作机械用周边监视系统，其具备：摄像装置，拍摄工作机械周边；及显示装置，显示通过所述摄像装置拍摄的所述工作机械周边的图像和表示监视对象的位置的标记的显示装置，所述显示装置以2种以上的不同的显示方式显示所述标记。
(2)
根据(1)所述的工作机械用周边监视系统，其进一步具备在所述工作机械周边检测所述监视对象的监视对象检测部，所述显示装置根据基于所述监视对象检测部的所述监视对象的检测数来变更所述标记的显示方式。
(3)
根据(2)所述的工作机械用周边监视系统，其中，所述显示装置根据通过所述监视对象检测部实际检测出的所述监视对象的检测数来变更所述标记的显示方式。
(4)
根据(3)所述的工作机械用周边监视系统，其中，所述摄像装置包括摄像范围互不相同的多个摄像机，所述显示装置显示通过所述多个摄像机中的一部分或全部拍摄的所述工作机械周边的所述图像，根据在与实际显示的所述图像相对应的所述工作机械的周边区域内通过所述监视对象检测部实际检测出的所述监视对象的检测数来变更所述标记的显示方式。
(5)
根据(3)或(4)所述的工作机械用周边监视系统，其中，所述显示装置以通过所述监视对象检测部实际检测出的所述监视对象的检测数越增多则用于显示所述标记所需要的规格信息的数据量越减小的方式变更所述标记的显示方式。
(6)
根据(2)所述的工作机械用周边监视系统，其中，预先规定通过所述监视对象检测部检测的所述监视对象的检测数的上限即最大检测数，所述显示装置根据所述最大检测数来变更所述标记的显示方式。
(7)
根据(6)所述的工作机械用周边监视系统，其中，所述显示装置以所述最大检测数越增多则用于显示所述标记所需要的规格信息的数据量越减小的方式变更所述标记的显示方式。
(8)
根据(1)所述的工作机械用周边监视系统，其中，所述显示装置根据所述图像中所包含的所述监视对象的数量来变更所述标记的显示方式。
(9)
根据(8)所述的工作机械用周边监视系统，其中，所述显示装置以所述图像中所包含的所述监视对象的数量越增多则用于显示所述标记所需要的规格信息的数据量越减小的方式变更所述标记的显示方式。
(10)
根据(1)至(9)中任一项所述的工作机械用周边监视系统，其进一步具备控制装置，所述控制装置包括：选择部，与所述显示装置独立地设置，从2种以上的标记图像中选择作为所述标记而显示的一个标记图像；及发送部，将用于将通过所述选择部选择的所述一个标记图像显示于所述显示装置所需要的规格信息的数据发送至所述显示装置，所述显示装置将从所述控制装置接收的所述一个标记图像作为所述标记而显示。
(11)
根据(10)所述的工作机械用周边监视系统，其进一步具备调整所述数据的所述规格信息中所包含的所述一个标记图像的所述图像上的位置信息的分辨率的分辨率调整部，所述发送部将通过所述分辨率调整部调整了所述位置信息的分辨率的所述数据发送至所述显示装置。
[周边监视系统的第2特征功能]
接着，对与本实施方式所涉及的周边监视系统100有关的第2特征功能、具体而言标记显示功能的另一例(以下，有时也称为“第2标记显示功能”)进行说明。
另外，第1标记显示功能及第2标记显示功能分别可以以单体执行，也可以组合而执行。即，分别与第1标记显示功能及第2标记显示功能有关的结构可以组合，也可以共用。
＜与基于第2特征功能的作用有关的概要＞
首先，对与基于第2特征功能(第2标记显示功能)的作用有关的概要进行说明。
已知有一种周边监视系统，其用摄像机拍摄工作机械周边，并将该摄像图像或根据该摄像图像而生成的加工图像(例如，视点转换图像)等表示工作机械周边情况的监视图像显示于操作席附近的显示装置(例如，参考日本特开2012-221437号公报等)。
然而，根据工作现场的情况或监视对象的动作状态等，难以观察映在显示于显示装置的监视图像中的监视对象(例如，人或车辆等人以外的障碍物等)，操作人员有可能难以掌握监视对象的存在。
因此，在本实施方式中，提供一种通过第2特征功能，操作人员等能够容易掌握映在显示于显示装置的监视图像中的监视对象的存在的工作机械用周边监视系统。
＜周边监视系统的结构＞
接着，参考图17对与第2特征功能有关的周边监视系统100的具体结构进行说明。
图17是表示与第2特征功能有关的周边监视系统100的结构的一例的框图。
另外，在图17中，重点表示与第2特征功能有关的结构，而省略图1、图2所示的其他结构。
周边监视系统100监视规定的物体(在本实施方式中为车辆及人)向挖土机周边的规定范围内的侵入，当检测出规定的物体时，向操作人员等进行通知。周边监视系统100包括控制器30、摄像装置40、显示装置50。
如上所述，控制器30进行周边监视系统100中的各种控制处理。控制器30例如包括监视对象检测部301B、监视图像显示处理部302B、标记显示处理部303B来作为通过在CPU上执行存储于ROM中的各种程序来实现的功能部。
如上所述，摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在上部回转体3的上部以光轴倾斜地朝向下方的方式安装，具有包含从挖土机附近的地面至挖土机的远方为止的比较宽的上下方向的摄像范围(视角)。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在挖土机的运行中按规定周期(例如，1/30秒)输出摄像图像并发送至控制器30。
显示装置50在基于控制器30(具体而言，监视图像显示处理部302B)的控制下显示表示挖土机周边的情况的监视图像。监视图像中包括摄像装置40的摄像图像(实时取景图像)及利用控制器30(具体而言，监视图像显示处理部302B)并根据摄像装置40的摄像图像而生成的周边图像(例如，视点转换图像)等。详细内容在后面叙述(参考图18、图19)。
监视对象检测部301B检测挖土机周边的规定的监视对象。监视对象例如为人、工作车辆(卡车)、其他障碍物等。以下，在本实施方式中，在监视对象为人的前提下进行说明。具体而言，监视对象检测部301B根据利用摄像装置40摄像的摄像图像来检测挖土机周边的规定区域(以下，称为“监视区域”)中例如自挖土机规定距离D1(例如，5米)以内的监视对象(即，人)。例如，监视对象检测部301B能够通过任意地适用已知的各种图像处理方法或基于机器学习的识别器等来识别摄像装置40的摄像图像内的人，并且确定所识别的人的实际位置(从挖土机至所识别的人为止的距离D或从挖土机观察的方向等)。
另外，监视对象检测部301B也可以代替摄像装置40的摄像图像，或者，除此以外，还根据其他传感器例如毫米波雷达、LIDAR、立体摄像机等的检测结果(距离图像等)来检测监视对象。
监视图像显示处理部302B根据由操作人员进行的各种操作等在显示装置50上显示通过摄像装置40拍摄的表示挖土机周边情况的图像(以下，称为监视图像)。
例如，监视图像显示处理部302B根据由操作人员进行的规定操作将摄像装置40即后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像(实时取景图像)作为监视图像而直接显示于显示装置50(参考图18)。此时，监视图像显示处理部302B可以根据由操作人员进行的操作的内容或设定内容等将后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的1个摄像机的摄像图像显示于显示装置50，也可以将多个(2个或3个)摄像机的摄像图像同时显示于显示装置50。
并且，例如，监视图像显示处理部302B根据由操作人员进行的规定操作来实施基于摄像装置40的摄像图像的规定的处理，由此生成周边图像(例如，视点转换图像)，并显示于显示装置50(参考图19)。具体而言，监视图像显示处理部302B通过根据后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像来进行已知的视点转换处理，由此生成视点转换图像(从假想视点观察的图像)作为周边图像，并显示于显示装置50。此时，监视图像显示处理部302B可以由后方摄像机40B，左侧摄像机40L及右侧摄像机40R中的1个摄像机的摄像图像生成周边图像并显示于显示装置50，也可以由多个(2个或者是3个)摄像机的摄像图像生成周边图像并显示于显示装置50。
当通过监视对象检测部301B检测出监视对象时，标记显示处理部303B在显示于显示装置50的监视图像上重叠显示表示监视图像中所包含的监视对象(即，人)的位置(具体而言，通过监视对象检测部301B检测出的位置)的标记即标识。标识若能够强调监视图像中所包含的人的位置，则可以为任意的方式，例如通过图形、颜色、花纹等或它们的组合等而构成。例如，如后面叙述，标记显示处理部303B根据通过监视对象检测部301B检测出的监视对象(即，人)是否移动来改变标记的显示方式(参考图20～图23、图27、图28)。并且，例如，如后面叙述，标记显示处理部303B根据与挖土机和通过监视对象检测部301B检测出的监视对象之间的碰撞有关的潜在风险来改变标记的显示方式(参考图23～图28)。
＜监视图像上的标识的概要＞
接着，参考图18(图18A、图18B)、图19(图19A、图19B)对通过监视图像显示处理部302B显示于显示装置50的监视图像及通过标记显示处理部303B重叠显示于显示装置50的监视图像上的标识的概要进行说明。
图18A、图18B均为表示显示于显示装置50的监视图像的一例(监视图像MP1)的图，具体而言，是表示在显示装置50中作为监视图像MP1而显示的实时取景图像的图。图19A、图19B均为表示显示于显示装置50的监视图像的另一例(监视图像MP2)的图，具体而言，是表示以显示于显示装置50的周边图像EP(视点转换图像)为中心的监视图像MP2的图。
如图18A、图18B所示，在显示装置50中的横长长方形的画面(例如，纵横比4:3的画面)上显示有后方摄像机40B、左侧摄像机40L及右侧摄像机40R中的任意1个摄像机的摄像图像。
并且，如图19A、图19B所示，在显示装置50中的横长长方形的画面上如上述那样显示有包含挖土机图像CG和根据挖土机与摄像装置40的摄像区域的相对位置关系而配置于挖土机图像CG的周围的周边图像EP的监视图像MP2。由此，操作人员能够适当地掌握映在周边图像EP上的监视对象(即，人)与挖土机的位置关系。
在本例中，周边图像EP为将从正上方观察与挖土机相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP的周围的、从挖土机沿水平方向观察该周边区域的周围的水平图像HVP组合而成的视点转换图像。作为视点转换图像的周边图像EP是通过将后方摄像机40B、左侧摄像机40L及右侧摄像机40R各自的摄像图像投影在空间模型之后，将投影在该空间模型中的投影图像再投影在另一二维平面而得到。空间模型为假想空间中的摄像图像的投影对象，由包含摄像图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。以下，在本实施方式中的周边图像为将从正上方观察与挖土机相邻的周边区域的俯瞰图像和沿水平方向观察该周边区域的周围的水平图像组合而成的视点转换图像的前提下继续进行说明。
并且，在监视图像MP2(周边图像EP)上重叠显示辅助线(guide line)GL1。辅助线GL1表示距挖土机的距离D为规定距离D2(＜D1)的位置。由此，当在监视图像内的周边图像上映有监视对象(即，人)时，操作人员容易掌握位于离挖土机多少程度的位置。
并且，如图18、图19所示，在显示于显示装置50的监视图像MP1、MP2中包含作为监视对象的人(工作人员W1B、W2B)。并且，在监视图像MP1、MP2上的工作人员W1B、W2B上重叠显示有通过监视对象检测部301B检测出的情况及表示该检测位置的标记即标识MK1～MK4。由此，操作人员容易察觉到通过监视对象检测部301B检测出监视对象(即，人)，并且在显示于显示装置50的监视图像、具体而言实时取景图像或周边图像(视点转换图像)上容易辨识通过监视对象检测部301B检测出的监视对象(即，人)的情况等。
如图18A、图19A所示，标识MK1、MK3为以包围监视图像MP1、MP2上的工作人员W1B、W2B的方式设置的箱形框。标记显示处理部303B如箱形框那样显示在监视图像上的占有区域大并且强调监视图像中所包含的监视对象整体的方式的标识，由此操作人员容易掌握监视对象的存在。并且，如图18B、图19B所示，标识MK2、MK4为表示监视图像MP1、MP2上的工作人员W1B、W2B在挖土机周边的移动轨迹的轨迹线。标记显示处理部303B将轨迹线作为标识而显示，由此不仅能够掌握在监视图像上的监视对象的存在，而且能够掌握在挖土机的周边区域(即，后方区域、左侧区域及右侧区域)中的监视对象的移动情况。如此，标记显示处理部303B可以显示箱形框或轨迹线等预先规定的种类不同的标记。详细内容在后面叙述。
另外，标记显示处理部303B将从监视对象检测部301B输出的所检测出的监视对象的位置的履历保存于控制器30的内部存储器(缓冲器)等中，由此生成轨迹线在监视图像上的坐标信息。并且，当挖土机移动或回转时，标记显示处理部303B根据挖土机的移动状态或回转状态校正在监视图像上的坐标信息，由此校正显示于显示装置50的监视图像上的轨迹线的显示位置。在该情况下，标记显示处理部303B可以根据检测挖土机的行驶状态或回转状态的传感器(未图示)的检测信号来获取挖土机的移动量或回转量。
并且，如图18B、图19B所示，标识MK2、MK4包含实线所示的较新的(即，时间的经过相对未进行的)移动轨迹部分MK21、MK41和点线所示的较旧的(即，时间的经过相对进行的)移动轨迹部分MK22、MK42。当在显示装置50的监视图像上显示轨迹线作为标识时，标记显示处理部303B可以以轨迹线中的时间的经过相对进行的部分比时间的经过相对未进行的部分难以被观察的方式，例如除了以点线表示以外，随着时间的经过而逐渐变淡等方式显示。由此，即使在显示装置50的监视图像上相对应的挖土机的周边区域中的监视对象的移动轨迹较长，实际显示于监视图像上的轨迹线中时序较旧的部分难以被观察，因此能够抑制监视图像上的轨迹线的显示变得繁琐的事态。
并且，如图19B所示，监视图像MP2即周边图像EP上的工作人员W2B的轨迹线即标识MK4从与左侧摄像机40L的摄像区域相对应的图像部分连续描绘至与后方摄像机40B的摄像区域相对应的图像部分中所包含的工作人员W2B的位置。如此，当在包含多个摄像机(后方摄像机40B、左侧摄像机40L及右侧摄像机40R)的摄像区域的监视图像(即，包含多个摄像机的实时取景图像的监视图像或包含根据多个摄像机的摄像图像而生成的周边图像的监视图像)上显示轨迹线作为标识时，标记显示处理部303B可以以横跨与多个摄像机的摄像区域相对应的图像部分的方式连续显示轨迹线。即，可以为如下方式：标记显示处理部303B即使在与多个摄像机中某一摄像机的摄像区域相对应的图像部分不包含监视对象(即，人)，也维持轨迹线的显示，直至监视对象从监视图像中消失。
另外，标记显示处理部303B也可以仅在通过监视对象检测部301B实际检测出监视对象的情况下在监视图像上显示作为标识的轨迹线。即，例如，标记显示处理部303B可以在曾包含于监视图像中的监视对象变成不包含于监视图像上的情况下从监视图像上消除作为轨迹线的标识。并且，标记显示处理部303B也可以在检测不出通过监视对象检测部301B曾检测出的监视对象的情况下也使该监视对象的轨迹线残留一定时间。在该情况下，可以为如下方式：标记显示处理部303B在一定时间经过的期间使轨迹线逐渐难以被观察的方式，例如使轨迹线逐渐变淡或将线种类变更为点线等难以被观察的线种类等方式。
＜基于周边监视装置的标记显示处理的详细内容＞
接着，继续参考图18、图19并进一步参考图20～图28，对基于标记显示处理部303B的在显示装置50的监视图像上重叠显示标识(标记)的处理(标记显示处理)进行具体说明。
首先，图20是说明基于标记显示处理部303B的标记显示处理的第1例的图。具体而言，是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第1例的图。
在本例中，当通过监视对象检测部301B检测出的监视对象(即，人)移动时和停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图20所示，当通过监视对象检测部301B检测出的监视对象未移动即处于停止时，重叠显示于显示装置50的监视图像上的标识的种类为上述箱形框，其颜色为红色并闪烁。例如，当工作人员W1B、W2B停止时，如图18A、图19A所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK1、MK3的箱形框。此时，标记显示处理部303B以红色且闪烁的状态显示作为标识MK1、MK3的箱形框。
另一方面，当通过监视对象检测部301B检测出的监视对象在移动时，重叠显示于显示装置50的监视图像上的标识的种类为上述箱形框，其颜色为红色，且不闪烁。例如，当工作人员W1B、W2B移动时，如图18A、图19A所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK1、MK3的箱形框。此时，标记显示处理部303B以红色且不闪烁(即，始终点亮)的状态显示作为标识MK1、MK3的箱形框。
如此，在本例中，标记显示处理部303B在显示装置50的监视图像上显示箱形框作为表示通过监视对象检测部301B检测出的监视对象的检测位置的标识。因此，如上所述，通过显示箱形框作为监视图像上的占有区域大并且强调监视图像中所包含的监视对象整体的方式的标识，操作人员容易掌握监视对象的存在。并且，在本例中，标记显示处理部303B在通过监视对象检测部301B检测出的监视对象在移动时和处于停止时以不同的显示方式显示显示装置50中的监视图像上的标识。即，当监视对象在移动时和处于停止时，标记显示处理部303B改变标识的属性的一部分(在本例中为有无闪烁)。由此，操作人员能够容易判别监视对象是在移动还是处于停止。并且，停止的监视对象容易与背景同化，存在比移动的监视对象更难以辨识之情况时，以与移动的监视对象的情况不同的显示方式显示标识，因此与移动的监视对象相比，能够相对强调停止的监视对象，即能够闪烁标识来进行强调。因此，操作人员容易掌握显示装置50的监视图像上的处于停止的监视对象。
另外，标识的属性中除了预先规定的种类(例如，形状的差异等)、颜色、有无闪烁等以外，能够包含花纹、大小、亮度等任意的项目。
接着，图21是说明基于标记显示处理部303B的标记显示处理的第2例的图。具体而言，图21是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第2例的图。
在本例中，与上述第1例相同地，当通过监视对象检测部301B检测出的监视对象(即，人)移动时和停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图21所示，当通过监视对象检测部301B检测出的监视对象未移动即处于停止时，重叠显示于显示装置50的监视图像上的标识的其种类为上述轨迹线，其颜色为红色并闪烁。例如，当工作人员W1B、W2B停止时，如图18B、图19B所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK2、MK4的轨迹线。此时，标记显示处理部303B以红色且闪烁的状态显示作为标识MK2、MK4的轨迹线。
另一方面，当通过监视对象检测部301B检测出的监视对象在移动时，重叠显示于显示装置50的监视图像上的标识的种类为上述轨迹线，其颜色为红色，且不闪烁。例如，当工作人员W1B、W2B移动时，如图18B、图19B所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK2、MK4的轨迹线。此时，标记显示处理部303B以红色且不闪烁(即，始终点亮)的状态显示作为标识MK2、MK4的轨迹线。
如此，在本例中，标记显示处理部303B在显示装置50的监视图像上显示轨迹线作为表示通过监视对象检测部301B检测出的监视对象的检测位置的标识。由此，如上所述，不仅能够掌握在监视图像上的监视对象的存在，而且能够掌握在挖土机的周边区域中的监视对象的移动情况。并且，与上述第1例相同地，标记显示处理部303B容易掌握监视对象在移动的情况，由此，与上述第1例相同地，操作人员容易掌握显示装置50的监视图像上的处于停止的监视对象。
接着，图22是说明基于标记显示处理部303B的标记显示处理的第3例的图。具体而言，图22是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第3例的图。
在本例中，与上述第1例等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)移动时和停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图22所示，当通过监视对象检测部301B检测出的监视对象未在移动即处于停止时，重叠显示于显示装置50的监视图像上的标识的种类为上述箱形框，其颜色为红色并闪烁。例如，当工作人员W1B、W2B停止时，如图18A、图19A所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK1、MK3的箱形框。此时，标记显示处理部303B以红色且闪烁的状态显示作为箱形框的标识MK1、MK3。
另一方面，当通过监视对象检测部301B检测出的监视对象在移动时，重叠显示于显示装置50的监视图像上的标识的种类为上述轨迹线，其颜色为红色，且不闪烁。例如，当工作人员W1B、W2B移动时，如图18B、图19B所示，标记显示处理部303B在监视图像MP1、MP2上重叠显示作为标识MK2、MK4的轨迹线。此时，标记显示处理部303B以红色且不闪烁(即，始终点亮)的状态显示作为轨迹线的标识MK2、MK4。
如此，在本例中，标记显示处理部303B在通过监视对象检测部301B检测出的监视对象在移动时和处于停止时以不同的显示方式显示显示装置50中的监视图像上的标识。即，当监视对象在移动时和处于停止时，标记显示处理部303B改变标识的属性的一部分即标识的种类(箱形框或轨迹线)及有无闪烁。由此，与第1例等相同地，操作人员能够容易判别监视对象是正在移动还是处于停止，并且容易掌握显示装置50的监视图像上的处于停止的监视对象。尤其，在本例中，改变标识的多个(3个)属性中的2个属性，因此在该点上更容易掌握显示装置50的监视图像上的处于停止的监视对象。并且，当通过监视对象检测部301B检测出的监视对象正在移动时，标记显示处理部303B在显示装置50的监视图像上显示轨迹线作为标识，因此操作人员能够根据轨迹线与箱形框的差异来直观地理解监视对象是在移动还是处于停止，更容易判别监视对象是在移动还是处于停止。
另外，在上述第1例(图20)～第3例(图22)中，当通过监视对象检测部301B检测出的监视对象在移动时和处于停止时，标记显示处理部303B可以改变预先规定的标识的所有属性(本例的情况下为预先规定的种类、颜色、有无闪烁这3个)。
接着，图23是说明基于标记显示处理部303B的标记显示处理的第4例的图。具体而言，图23是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第4例的图。
在本例中，与上述第1例等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)移动时和停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图23所示，与上述第3例相同地，当通过监视对象检测部301B检测出的监视对象在移动时，显示于显示装置50的监视图像上的标识为不闪烁(即，始终点亮)的轨迹线，当处于停止时为闪烁的箱形框。即，标记显示处理部303B在监视对象在移动时和未在移动时改变标识的多个属性中的2个属性(标识的种类、有无闪烁)。
并且，在本例中，标记显示处理部303B根据与通过监视对象检测部301B检测出的监视对象(即，人)与挖土机之间的碰撞有关的潜在风险来改变标记的显示方式即标识的多个属性中的1个属性(颜色)。在本例中，作为潜在风险的指标，采用挖土机与监视对象的位置关系，具体而言，采用监视对象与挖土机的距离。
具体而言，如图23所示，当通过监视对象检测部301B检测出的监视对象的潜在风险较低即与挖土机的距离较远时，显示于显示装置50的监视图像上的标识的颜色为蓝色。另一方面，当通过监视对象检测部301B检测出的监视对象的潜在风险较高即与挖土机的距离较近时，显示于显示装置50的监视图像上的标识的颜色为红色。
即，当通过监视对象检测部301B检测出的监视对象与挖土机的距离较近(例如为规定阈值以下)时，标记显示处理部303B在显示装置50的监视图像上显示红色的标识，当监视对象与挖土机的距离较远(例如，远于规定阈值)时，在显示装置50的监视图像上显示蓝色的标识。
例如，图24(图24A、图24B)、图25(图25A、图25B)表示通过基于标记显示处理部303B的标记显示处理重叠显示于显示装置50的实时取景图像的标识的显示方式的一例的图。具体而言，图24是表示当通过监视对象检测部301B检测出的监视对象停止时通过标记显示处理部303B的标记显示处理重叠显示于显示装置50的实时取景图像的标识的显示方式的一例的图。并且，图25是表示当通过监视对象检测部301B检测出的监视对象在移动时通过标记显示处理部303B的本例所涉及的标记显示处理而重叠显示于显示装置50的实时取景图像的标识的显示方式的一例的图。
在本例中，如图24A所示，当处于停止的工作人员W5B位于距挖土机较远的位置时，标记显示处理部303B在显示装置50的实时取景图像上重叠显示蓝色闪烁的箱形框作为标识MK5。另一方面，如图24B所示，当处于停止的工作人员W6B位于距离挖土机较近的位置时，标记显示处理部303B在显示装置50的实时取景图像上显示红色闪烁的箱形框作为标识MK6。
并且，在本例中，如图24B所示，当正在移动的工作人员W7B位于距挖土机较远的位置时，标记显示处理部303B在显示装置50的实时取景图像上重叠显示蓝色的轨迹线(不闪烁)作为标识MK7。另一方面，如图25B所示，当正在移动的工作人员W8B位于距挖土机较近的位置时，标记显示处理部303B在显示装置50的实时取景图像上重叠显示红色的轨迹线(不闪烁)作为标识MK8。
并且，例如，图26(图26A、图26B)是表示通过基于标记显示处理部303B的标记显示处理重叠显示于显示装置50的周边图像的标识的一例的图。具体而言，图26A是表示当通过监视对象检测部301B检测出的监视对象停止时通过标记显示处理部303B的标记显示处理重叠显示于显示装置50的周边图像的标识的显示方式的一例的图。并且，图26B是表示当通过监视对象检测部301B检测出的监视对象在移动时通过标记显示处理部303B的标记显示处理重叠显示于显示装置50的周边图像的标识的显示方式的一例的图。
在本例中，如图26A所示，当处于停止的工作人员W9B位于距挖土机较远的位置例如位于比辅助线GL1更靠外侧时，标记显示处理部303B在显示装置50的周边图像EP上显示蓝色的闪烁的箱形框作为标识MK9。另一方面，当处于停止的工作人员W10B位于距挖土机较近的位置例如位于辅助线GL1以内时，标记显示处理部303B在显示装置50的周边图像EP上显示红色闪烁的箱形框作为标识MK10。
并且，在本例中，如图26B所示，当正在移动的工作人员W11B位于距挖土机较远的位置时，标记显示处理部303B在显示装置50的周边图像EP上显示蓝色的轨迹线(不闪烁)作为标识MK11。并且，当正在移动的工作人员W12B位于距挖土机较近的位置时，标记显示处理部303B在显示装置50的周边图像EP上显示红色的轨迹线(不闪烁)作为标识MK12。
如此，在本例中，与上述第1例(图20)等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)移动时和停止时，标记显示处理部303B改变标识的显示方式。由此，能够得到与上述第1例等相同的作用/效果。并且，在本例中，标记显示处理部303B同时根据挖土机与监视对象的位置关系即监视对象与挖土机的距离，当监视对象与挖土机的距离较近时和较远时改变标识的显示方式即标识的颜色。因此，操作人员能够根据标识的显示方式的变化来掌握与监视对象和挖土机的碰撞有关的潜在风险的高低即监视对象距离挖土机较远还是较近。尤其，在本例中，当挖土机与监视对象的距离较近即潜在风险高时，显示联想到风险的“红色”的标识，因此在这点上更容易掌握潜在风险。
另外，标记显示处理部303B可以仅在通过监视对象检测部301B检测出的监视对象在移动且监视对象与挖土机的距离较近时显示轨迹线作为标识，除此以外的情况即监视对象未在移动或监视对象与挖土机的距离较远时显示箱形框作为标识。这是因为较远的监视对象的移动轨迹也有可能存在必要性较低的情况。
接着，图27是说明基于标记显示处理部303B的标记显示处理的第5例的图。具体而言，图27是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第5例的图。
在本例中，与上述第1例等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)在移动时和处于停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图27所示，与上述第3例等相同地，当通过监视对象检测部301B检测出的监视对象在移动时，显示于显示装置50的监视图像上的标识为不闪烁(即，始终点亮)的轨迹线，当处于停止时为闪烁的箱形框。即，标记显示处理部303B在监视对象在移动时和未在移动时改变标识的多个属性中的2个属性(标识的种类、有无闪烁)。
并且，在本例中，与上述第4例相同地，标记显示处理部303B根据与通过监视对象检测部301B检测出的监视对象(即，人)与挖土机之间的碰撞有关的潜在风险来改变标识的显示方式即标识的多个属性中的1个属性(颜色)。在本例中，作为潜在风险的指标，采用挖土机与监视对象的位置关系、具体而言，监视对象与挖土机的距离的时序变化的情况即经时变化的情况。
具体而言，如图27所示，当通过监视对象检测部301B检测出的监视对象的潜在风险较低即监视对象没有时序靠近挖土机(即，挖土机与监视对象的距离没有变化，或者监视对象远离挖土机)时，显示于显示装置50的监视图像上的标识的颜色为蓝色。另一方面，当通过监视对象检测部301B检测出的监视对象的潜在风险较高即监视对象时序靠近挖土机时，显示于显示装置50的监视图像上的标识的颜色为红色。即，当通过监视对象检测部301B检测出的监视对象与挖土机的距离的经时变化呈现监视对象向挖土机的接近时，标记显示处理部303B在显示装置50的监视图像上显示红色的标识，当监视对象与挖土机的距离的经时变化未呈现向挖土机的接近时，在显示装置50的监视图像上显示蓝色的标识。
另外，标记显示处理部303B也可以通过监控过去一定时间内的挖土机与监视对象的距离的变化来判定监视对象是否在靠近挖土机。
例如，在本例中，如上述图24A所示，即使在处于停止的工作人员W5B位于距挖土机较远的位置的情况下，当工作人员W5B时序靠近挖土机时，标记显示处理部303B也在显示装置50的实时取景图像上显示红色的闪烁的箱形框作为标识MK5。另一方面，如上述图24B所示，即使在停止的工作人员W6B位于距挖土机较近的位置的情况下，当工作人员W6B时序远离挖土机时，标记显示处理部303B也在显示装置50的实时取景图像上显示蓝色的闪烁的箱形框作为标识MK6。
并且，在本例中，例如，如上述图25A所示，虽然正在移动的工作人员W7B位于距挖土机较远的位置，但正在靠近挖土机，因此标记显示处理部303B在显示装置50的实时取景图像上显示红色的轨迹线(不闪烁)作为标识MK7。另一方面，如上述图25B所示，虽然正在移动的工作人员W8B位于距挖土机较近的位置，但在远离挖土机，因此标记显示处理部303B在显示装置50的实时取景图像上显示蓝色的轨迹线(不闪烁)作为标识MK8。
并且，在本例中，例如，如上述图26A所示，即使在处于停止的工作人员W9B位于距挖土机较远的位置例如位于比辅助线GL1更靠外侧的情况下，当工作人员W9B时序靠近挖土机时，标记显示处理部303B也在显示装置50的周边图像EP上显示红色的闪烁的箱形框作为标识MK9。另一方面，即使在处于停止的工作人员W10B位于距挖土机较近的位置例如位于辅助线GL1以内的情况下，当工作人员W10B时序远离挖土机时，标记显示处理部303B也在显示装置50的周边图像EP上显示蓝色的闪烁的箱形框作为标识MK10。
并且，在本例中，如图26B所示，虽然正在移动的工作人员W11B位于距挖土机较远的位置，但正在靠近挖土机，因此标记显示处理部303B也在显示装置50的周边图像EP上显示红色的轨迹线(不闪烁)作为标识MK11。并且，虽然正在移动的工作人员W12B位于距挖土机较近的位置，但靠近挖土机之后远离挖土机，因此标记显示处理部303B在显示装置50的周边图像EP上显示蓝色的轨迹线(不闪烁)作为标识MK12。
另外，如图26B所示，周边图像EP中所包含的工作人员W12B靠近挖土机之后远离挖土机，因此标记显示处理部303B可以将工作人员W12B的标识MK12(轨迹线)中正在靠近挖土机的轨迹部分设为红色，并且将远离挖土机的轨迹部分设为蓝色。以下，关于后面叙述的第6例(图28)也相同。
如此，在本例中，与上述第1例(图20)等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)正在移动时和处于停止时，标记显示处理部303B改变标识的显示方式。由此，能够得到与上述第1例等相同的作用/效果。并且，在本例中，标记显示处理部303B同时根据挖土机与监视对象的位置关系即监视对象与挖土机的距离的经时变化的情况，在监视对象靠近挖土机时和除此以外的情况(远离挖土机的情况，或与挖土机的距离没有变化的情况)下，改变标识的显示方式即标识的颜色。因此，与上述第4例相同地，操作人员能够根据标识的显示方式的变化来掌握与监视对象和挖土机的碰撞有关的潜在风险的高低即监视对象是否在靠近挖土机。尤其，在本例中，与第4例相同地，当监视对象在靠近挖土机即潜在风险高时，显示使人联想到风险的“红色”的标识，因此在这点上更容易掌握潜在风险。
接着，图28是说明基于标记显示处理部303B的标记显示处理的第6例的图。具体而言，图28是表示改变标记的显示方式(即，标识的属性)时的与监视对象有关的条件和改变标识的属性中的哪一个的对应关系的第6例的图。
在本例中，与上述第1例等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)正在移动时和处于停止时，标记显示处理部303B改变标识的显示方式。
具体而言，如图28所示，当通过监视对象检测部301B检测出的监视对象在移动时，显示于显示装置50的监视图像上的标识为轨迹线，当处于停止时为箱形框。即，当监视对象在移动时和不移动时，标记显示处理部303B改变标识的属性中的1个属性(标识的种类)。
并且，在本例中，与上述第4例等相同地，标记显示处理部303B根据与通过监视对象检测部301B检测出的监视对象(即，人)与挖土机之间的碰撞有关的潜在风险来改变标识的显示方式即标识的属性。在本例中，作为潜在风险的指标，采用上述挖土机与监视对象的位置关系，具体而言，上述第4例中的监视对象与挖土机的距离及上述第5例中的监视对象与挖土机的距离的时序变化的情况即经时变化的情况这两种情况。
具体而言，如图28所示，当通过监视对象检测部301B检测出的监视对象与挖土机的距离较远时，显示于显示装置50的监视图像上的标识为不闪烁的状态即始终点亮状态。另一方面，当通过监视对象检测部301B检测出的监视对象的潜在风险较高即与挖土机的距离较近时，显示于显示装置50的监视图像上的标识为闪烁状态。即，当通过监视对象检测部301B检测出的监视对象与挖土机的距离较近时和较远时，标记显示处理部303B改变显示于显示装置50的监视图像上的标识的多个属性中的1个属性(有无闪烁)。
并且，当通过监视对象检测部301B检测出的监视对象未时序靠近挖土机时，显示于显示装置50的监视图像上的标识的颜色为蓝色。另一方面，当通过监视对象检测部301B检测出的监视对象时序靠近挖土机时，显示于显示装置50的监视图像上的标识的颜色为红色。即，当通过监视对象检测部301B检测出的监视对象与挖土机的距离的经时变化呈现监视对象向挖土机的接近时和未呈现向挖土机的接近时，标记显示处理部303B改变显示于显示装置50的监视图像上的标识的多个属性中的1个属性(颜色)。
例如，如上述图24A所示，处于停止的工作人员W5B位于距挖土机较远的位置，因此当工作人员W5B在靠近挖土机时，标记显示处理部303B在显示装置50的实时取景图像上显示不闪烁即始终点亮的红色的箱形框作为标识MK5，当工作人员W5B未靠近挖土机时，在显示装置50的实时取景图像上显示不闪烁即始终点亮的蓝色的箱形框作为标识MK5。另一方面，如上述图24B所示，处于停止的工作人员W6B位于距挖土机较近的位置，因此当工作人员W6B靠近挖土机时，标记显示处理部303B在显示装置50的实时取景图像上显示闪烁的红色的箱形框作为标识MK6，当工作人员W5B未靠近挖土机时，在显示装置50的实时取景图像上显示闪烁的蓝色的箱形框作为标识MK6。
并且，例如，如上述图25A所示，正在移动的工作人员W7B在距挖土机较远的位置上在靠近挖土机，因此标记显示处理部303B在显示装置50的实时取景图像上显示不闪烁即始终点亮的红色的轨迹线作为标识MK7。另一方面，如上述图25B所示，正在移动的工作人员W8B在与挖土机较近的位置上正在远离挖土机，因此标记显示处理部303B在显示装置50的实时取景图像上显示闪烁的蓝色的轨迹线作为标识MK8。
并且，例如，如上述图26A所示，处于停止的工作人员W9B位于距挖土机较远的位置，因此当工作人员W9B在靠近挖土机时，标记显示处理部303B在显示装置50的周边图像EP上显示不闪烁即始终点亮的红色的箱形框作为标识MK9，当工作人员W9B未靠近挖土机时，在显示装置50的周边图像EP上显示不闪烁即始终点亮的蓝色的箱形框作为标识MK9。另一方面，处于停止的工作人员W10B位于与挖土机较近的位置，因此当工作人员W10B在靠近挖土机时，标记显示处理部303B在显示装置50的周边图像EP上显示闪烁的红色的箱形框作为标识MK10，当工作人员W10B未靠近挖土机时，在显示装置50的周边图像EP上显示闪烁的蓝色的箱形框作为标识MK10。
并且，例如，如上述图26B所示，正在移动的工作人员W11B在距挖土机较远的位置上正在靠近挖土机，因此标记显示处理部303B在显示装置50的周边图像EP上显示不闪烁即始终点亮的红色的轨迹线作为标识MK11。另一方面，正在移动的工作人员W12B在与挖土机较近的位置上正在远离挖土机，因此标记显示处理部303B在显示装置50的实时取景图像上显示闪烁的蓝色的轨迹线作为标识MK12。
如此，在本例中，与上述第1例(图20)等相同地，当通过监视对象检测部301B检测出的监视对象(即，人)正在移动时和处于停止时，标记显示处理部303B改变标识的显示方式。由此，能够得到与上述第1例等相同的作用/效果。并且，在本例中，标记显示处理部303B同时根据挖土机与监视对象的位置关系来改变标识的显示方式即标识的属性。因此，与上述第4例(图23)等相同地，操作人员能够根据标识的显示方式的变化来掌握与监视对象和挖土机的碰撞有关的潜在风险的高低。并且，在本例中，作为与潜在风险有关的指标，采用监视对象与挖土机的距离(第1指标)和该距离的经时变化的情况(第2指标)这两种，并且通过标识不同的属性(有无闪烁及颜色)的变化来表现分别基于第1指标及第2指标的潜在风险。因此，操作人员能够掌握基于2个指标的潜在风险的高低。
另外，在图20～图28所示的例示中，预先规定有与监视对象有关的每个条件的标识的属性，但也可以为能够由操作人员等设定与监视对象有关的每个条件的标识的属性的结构(参考图29)。
＜标识属性的设定＞
接着，参考图29对由操作人员等进行的标识的显示设定(标识属性的设定)进行说明。
图29是表示显示于显示装置50的用于由操作人员等进行标识的显示设定的操作画面(以下，称为“标识设定画面”)的一例(标识设定画面2900)的图。
在标识设定画面2900中，操作人员等能够具体地设定标识的属性。
标识图像设定画面2900包含基于设置于驾驶室10内的按钮、切换键、操纵杆等硬件的操作部或能够利用安装于显示装置50的触摸面板等进行操作的按钮图标2901～2904。
按钮图标2901附记有“一律选择”的文字信息，操作人员等选择该按钮图标2901并进行确定操作，由此能够转移到用于固定显示于监视图像的标识的属性的设定画面。因此，操作人员等能够通过在转移后的设定画面上个别地设定标识的属性来设定自己喜好的标记图像。
按钮图标2902标注有“监视对象的位置”的文字信息。操作人员等选择该按钮图标2902并进行确定操作，由此能够具体地设定与监视对象有关的条件中与监视对象的位置有关的每个条件的标识的属性。因此，例如，当监视对象相对于挖土机位于相对近的位置时和远的位置时，操作人员等能够在转移后的设定画面上根据自己的喜好设定不同属性的标识。
按钮图标2903标注有“监视对象的移动情况”的文字信息。操作人员等选择该按钮图标2903并进行确定操作，由此能够具体地设定与监视对象有关的条件中与监视对象的移动情况(例如，有无移动或有无接近挖土机等)有关的每个条件的标识的属性。因此，操作人员等能够在转移后的设定画面上根据自己的喜好例如按监视对象是否在靠近挖土机或监视对象是否在移动等单体的条件或多个条件的组合来设定不同的标识。
另外，当然也可以准备能够设定组合了与监视对象的位置有关的条件和与监视对象的移动情况有关的条件的每个条件的标识属性的设定画面。
按钮图标2904附记有“返回”的文字信息，操作人员等选择该按钮图标2904并进行确定操作，由此能够在转移到标识设定画面2900之前的层次上将上位的信息画面显示于显示装置50。
如此，在本例中，操作人员等能够手动设定与监视对象有关的每个条件的标识的属性。由此，周边监视系统100能够配合操作人员等的喜好显示监视图像上的标识。
以上，对本发明的一实施方式所涉及的周边监视系统的第2特征功能进行了详细叙述，但本发明并不限定于该特定的实施方式，在本发明的宗旨的范围内能够进行各种变形或变更。
例如，在上述实施方式中，作为潜在风险的指标，使用了挖土机与监视对象的距离(第1指标)和该距离的经时变化的情况(第2指标)，但也可以采用该指标以外的任意的指标。
另外，关于上述实施方式所涉及的周边监视系统的第2特征功能，进一步公开以下内容。
(1)
一种工作机械用周边监视系统，其具备：摄像装置，拍摄工作机械周边；及显示装置，显示通过所述摄像装置拍摄的所述工作机械周边的图像和表示监视对象的位置的标记，当所述监视对象处于停止时和正在移动时，所述显示装置改变所述标记的显示。
(2)
根据(1)所述的工作机械用周边监视系统，其中，所述标记包含表示所述监视对象的移动轨迹的轨迹线。
(3)
根据(2)所述的工作机械用周边监视系统，其中，所述摄像装置包含摄像范围互不相同的多个摄像机，即使在监视对象横跨所述多个摄像机中的一个摄像机的摄像区域与其他摄像机的摄像区域之间而移动的情况下，所述显示装置也显示在与所述图像中的所述一个摄像机的摄像区域相对应的一个图像区域和与所述其他摄像机相对应的其他图像区域之间连续地相连的所述轨迹线。
(4)
根据(2)所述的工作机械用周边监视系统，其中，所述摄像装置包括摄像范围互不相同的多个摄像机，在所述图像包含分别与所述多个摄像机中的一个摄像机的摄像区域及其他摄像机的摄像区域相对应的一个图像区域及其他图像区域的情况下，即使所述监视对象不包含于所述一个摄像机的摄像区域，只要包含于所述其他摄像机的摄像区域时，所述显示装置也维持所述轨迹线的显示。
(5)
根据(2)至(4)中任一项所述的工作机械用周边监视系统，其中，以时间的经过相对进行的部分比时间的经过相对未进行的部分更难以被观察的方式显示所述轨迹线。
(6)
根据(1)至(5)中任一项所述的工作机械用周边监视系统，其中，所述显示装置根据所述监视对象与所述工作机械的位置关系来改变所述标记的显示。
(7)
根据(6)所述的工作机械用周边监视系统，其中，所述显示装置根据所述工作机械与所述监视对象的距离来改变所述标记的显示。
(8)
根据(6)或(7)所述的工作机械用周边监视系统，其中，所述显示装置根据所述工作机械与所述监视对象的距离的经时变化的情况来改变所述标记的显示。
(9)
根据(1)至(5)中任一项所述的工作机械用周边监视系统，其中，所述显示装置根据与所述工作机械和所述监视对象的碰撞有关的潜在风险来改变所述标记的显示。
(10)
根据(1)至(9)中任一项所述的工作机械用周边监视系统，其中，所述显示装置通过改变包含所述标记的形状、颜色、花纹、大小、亮度及有无闪烁的属性的至少1个来改变所述标记的显示。
[周边监视系统的第3特征功能]
接着，对与本实施方式所涉及的周边监视系统100有关的第3功能，具体而言，向操作人员等通知从挖土机观察从相对远方的区域接近该挖土机的车辆(卡车等)的存在的功能(以下，也称为“远方接近车辆通知功能”)进行说明。
＜与基于第3特征功能的作用有关的概要＞
首先，说明与基于第3特征功能(远方接近车辆通知功能)的作用有关的概要进行说明。
已知有一种工作机械用周边监视系统，其具备：物体检测机构，检测靠近工作机械的成为规定的靠近区域的对象的物体(例如，人)；及通知机构，若通过物体检测机构检测出该物体，则通知给操作人员等(例如，参考日本特开2014-181508号公报等)。
根据该结构，操作人员等能够容易认知靠近工作机械的靠近区域的监视对象的物体的存在。
然而，从工作效率的观点考虑，要求操作人员等更早认知从远方靠近工作机械的车辆(尤其是卡车)。例如，是因为配合靠近的卡车的到达而进行向卡车的排土准备等能够提高工作效率。因此，对于比靠近区域远的远方区域的车辆等物体，也期望操作人员等能够容易认知。
因此，在本实施方式中，提供一种通过第3特征功能，能够使操作人员等容易认知工作机械的远方区域的车辆的工作机械用周边监视系统。
＜周边监视系统的结构＞
接着，参考图30对与第3特征功能有关的周边监视系统100的具体结构进行说明。
图30是表示本实施方式所涉及的周边监视系统100的结构的一例的框图。
另外，在图30中，重点表示与第3特征功能有关的结构，而省略图1、图2所示的其他结构。
周边监视系统100监视规定的物体(在本实施方式中为车辆及人)向挖土机周边的规定范围内的侵入，当检测出规定的物体时，向操作人员等进行通知。周边监视系统100包括控制器30、摄像装置40、显示装置50及语音输出装置52。
如上所述，控制器30进行周边监视系统100中的各种控制处理。控制器30例如包括物体检测部301C、显示控制部302C、语音控制部303C来作为通过在CPU上执行存储于ROM或辅助存储装置等中的各种程序来实现的功能部。
如上所述，摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在上部回转体3的上部以光轴倾斜地朝向下方的方式安装，具有包含从挖土机附近的地面至挖土机的远方为止的上下方向的摄像范围(视角)。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在挖土机的运行中按规定周期(例如，1/30秒)输出摄像图像并发送至控制器30。
显示装置50显示摄像装置40的摄像图像(实时取景图像)或通过控制器30(显示控制部302C)并根据摄像装置40的摄像图像生成的周边图像(例如，后面叙述的视点转换图像)等。
语音输出装置52在基于控制器30(语音控制部303C)的控制下输出规定的声音。
物体检测部301C根据通过摄像装置40拍摄的摄像图像来检测成为挖土机周边的规定区域中的规定对象的物体。物体检测部301C包括检测包含作为检测对象的卡车的车辆的车辆检测部3011C和检测作为检测对象的人的人检测部3012C。
车辆检测部3011C将挖土机周边的规定的检测区域(以下，车辆检测区域)作为对象而检测车辆。具体而言，车辆检测部3011C将与靠近挖土机的靠近区域(例如，距挖土机的距离D为规定距离D1以下的区域)的外侧相邻的远方区域(例如，距挖土机的距离D超过规定距离D1的区域)作为车辆检测区域而检测车辆。例如，车辆检测部3011C能够通过任意地适用已知的各种图像处理方法或基于机器学习的识别器等来识别摄像图像内的车辆，并且确定所识别的车辆的实际位置(例如，从挖土机至所识别的车辆为止的距离等)。
人检测部3012C将挖土机周边的规定的检测区域(以下，人检测区域)作为对象而检测人。具体而言，人检测部3012C将靠近挖土机的靠近区域(例如，如上所述，距挖土机的距离D为规定距离D1以下的区域)作为人检测区域而检测人。例如，人检测部3012C能够通过任意适用已知的各种图像处理方法或基于机器学习的识别器等来识别摄像图像内的人，并且确定所识别的人的实际位置(例如，从挖土机至所识别的人为止的距离等)。
显示控制部302C根据由操作人员进行的各种操作等在显示装置50上显示各种信息图像。例如，显示控制部302C根据由操作人员进行的规定操作将摄像装置40(后方摄像机40B、左侧摄像机40L、右侧摄像机40R)的摄像图像(实时取景图像)显示于显示装置50。并且，例如，显示控制部302C根据由操作人员进行的规定操作并根据摄像装置40的摄像图像来生成周边图像，并显示于显示装置50。具体而言，显示控制部302C通过根据后方摄像机40B、左侧摄像机40L、右侧摄像机40R的摄像图像来进行已知的视点转换处理，由此生成视点转换图像(从假想视点观察的图像)作为周边图像，并显示于显示装置50。并且，在将周边图像显示于显示装置50时，显示控制部302C为了明示映在周边图像中的摄像装置40的摄像范围相对于挖土机的相对位置关系而将示意性地表示挖土机的挖土机图像一并显示于显示装置50。即，显示控制部302C生成包含挖土机图像和根据挖土机与摄像装置40的摄像范围的相对位置关系而配置于挖土机图像的周围的周边图像的监视图像，并显示于显示装置50。以下，参考图31对显示于显示装置50的监视图像进行说明。
图31是表示显示于显示装置50的监视图像MP2的一例的图。如图31所示，在显示装置50中的横长长方形的画面(例如，纵横比4:3的画面)上如上所述显示有包含挖土机图像CG和配置于挖土机图像CG的周围的周边图像EP的监视图像MP2。由此，操作人员能够适当地掌握映在周边图像EP上的物体(例如，人、车辆等)与挖土机的位置关系。
本例中的周边图像EP为将从正上方观察与挖土机相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像的周围的、从挖土机沿水平方向观察该周边区域的周围的水平图像HVP组合而成的视点转换图像。作为视点转换图像的周边图像EP是通过将后方摄像机40B、左侧摄像机40L及右侧摄像机40R各自的摄像图像投影在空间模型之后，将投影在该空间模型中的投影图像再投影在另一二维平面而得到的。空间模型为假想空间中的摄像图像的投影对象，由包含摄像图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。以下，在本实施方式中的周边图像为将从正上方观察与挖土机相邻的周边区域的俯瞰图像和沿水平方向观察该周边区域的周围的水平图像组合而成的视点转换图像的前提下继续进行说明。
并且，在监视图像MP2(周边图像EP)上重叠显示辅助线(guide line)GL1。辅助线GL1表示距挖土机的距离D为规定距离D2(＜D1)的位置。由此，当在周边图像中映有车辆、人等物体时，操作人员能够掌握位于离挖土机多少程度的位置。
返回到图30，并且，当在车辆检测区域中通过车辆检测部3011C检测出车辆时，显示控制部302C进行表示检测出车辆的内容的显示，例如强调显示于显示装置50的实时取景图像或周边图像的一部分。并且，当如后面叙述(参考图39)那样在人检测区域中通过人检测部3012C检测出人时，显示控制部302C可以进行表示检测出人的内容的显示，例如强调显示于显示装置50的实时取景图像或周边图像中的包含所检测出的人的区域(人区域)。关于基于显示控制部302C的该处理的详细内容在后面叙述。
另外，显示控制部302C的功能可以设置于控制器30的外部，例如可以内置于显示装置50。在该情况下，摄像装置40(后方摄像机40B、左侧摄像机40L、右侧摄像机40R)的摄像图像及基于车辆检测部3011C、人检测部3012C的检测结果等信息分别从摄像装置40及控制器30输入至显示装置50。
当在车辆检测区域中通过车辆检测部3011C检测出车辆时，语音控制部303C控制语音输出装置52而输出将检测出车辆的内容通知给操作人员等的规定的声音(以下，车辆检测声)。并且，当如后面叙述那样(参考图39)通过人检测部3012C检测出人时，语音控制部303C可以输出通知检测出人的内容的规定的声音(以下，人检测声)。
另外，语音控制部303C的功能可以设置于控制器30的外部，例如可以内置于语音输出装置52。
＜周边监视系统的动作的详细内容＞
接着，参考图32～图41对基于本实施方式所涉及的周边监视系统100的特征性动作进行说明。
图32是概略地表示基于本实施方式所涉及的周边监视系统100的处理的第1例的流程图。例如，在挖土机的运行中按规定时间反复执行本流程图的处理。
在步骤S102C中，车辆检测部3011C判定在车辆检测区域即挖土机周边的远方区域(距挖土机的距离D超过规定距离D1的区域)中是否检测出车辆。当在远方区域中检测出车辆时，车辆检测部3011C进入步骤S104C，除此以外的情况下，结束本次的处理。
在步骤S104C中，显示控制部302C判定在显示装置50中是否显示有映有通过车辆检测部3011C检测出的车辆(检测车辆)的实时取景图像(后面叙述的监视图像MP1)或周边图像(监视图像MP2)。当在显示装置50中未显示映有检测车辆的实时取景图像及周边图像时，显示控制部302C进入步骤S106C，当显示有任一个图像时，进入步骤S108C。
在步骤S106C中，显示控制部302C显示映有检测车辆的实时取景图像或周边图像。关于是显示哪个图像是预先规定的。
在步骤S108C中，如上所述，显示控制部302C通过强调显示装置50的画面的一部分即所显示的实时取景图像(监视图像MP1)或周边图像(监视图像MP2)的一部分来将在远方区域中检测出车辆的内容通知给操作人员等。同时，如上所述，语音控制部303C通过从语音输出装置52输出车辆检测声来将在远方区域中检测出车辆的内容通知给操作人员等。
在步骤S110C中，车辆检测部3011C判定在远方区域中检测该车辆的状态是否在持续。当在远方区域中检测该车辆的状态在持续时，车辆检测部3011C反复进行本步骤的判定，当在远方区域中检测该车辆的状态未在持续时，即在远方区域中检测不出该车辆时，进入步骤S112C。
在步骤S112C中，显示控制部302C停止强调实时取景图像(监视图像MP1)或周边图像(监视图像MP2)的一部分的显示，并且，同时，语音控制部303C停止车辆检测声而结束本次的处理。
如此，在本例中，当通过物体检测部301C(车辆检测部3011C)在远方区域中检测出车辆时，显示装置50及语音输出装置52(均为通知部的一例)向操作人员等进行检测出车辆的内容的通知。具体而言，显示装置50在基于显示控制部302C的控制下进行强调实时取景图像(监视图像MP1)或周边图像(监视图像MP2)的一部分的显示，语音输出装置52在基于语音控制部303C的控制下输出车辆检测声。由此，操作人员等能够容易认知有可能从远方靠近挖土机的车辆。因此，例如，配合从远方靠近的卡车的到达而进行向卡车的排土准备等能够提高工作效率。
并且，当通过物体检测部301C(车辆检测部3011C)在远方区域中检测出车辆而由此进行了该内容的通知的状态下在远方区域中检测不出该车辆时，显示装置50及语音输出装置52停止通知。例如，若由于该车辆从远方区域进一步移动到靠近区域而(即，由于进一步靠近挖土机)在远方区域中检测不出车辆，则显示装置50及语音输出装置52停止通知。由此，能够抑制由于在操作人员已经能够认知从远方靠近挖土机的车辆的状态下持续通知而操作人员所感觉到的厌烦或不高兴。
例如，图33(图33A、图33B)是表示显示于显示装置50的作为监视图像MP1的实时取景图像的一例的图。具体而言，图33A是通过车辆检测部3011C在远方区域中检测出车辆时的实时取景图像的图，图33B是表示通过检测车辆移动到靠近区域而通过车辆检测部3011C在远方区域中检测不出车辆时的实时取景图像的图。
如图33A所示，在显示于显示装置50的实时取景图像上重叠显示表示靠近区域与远方区域的边界(即，距挖土机的距离D为规定距离D1的位置)的辅助线GL2。而且，实时取景图像中相当于远方区域的比辅助线GL2更靠上侧的区域中映有通过车辆检测部3011C检测出的卡车V1，包含卡车V1的区域(车辆区域)以被粗线框FR1C包围的方式被强调显示。由此，作为显示装置50的画面(实时取景图像)的一部分的包含卡车V1的区域(车辆区域)被强调，因此显示装置50能够向操作人员等通知检测出卡车V1的内容。
另一方面，如图33B所示，通过车辆检测部3011C检测出的卡车V1进一步靠近挖土机，由此变化为包含于实时取景图像中的相当于靠近区域的比辅助线GL2更靠下侧的区域中的状态。因此，通过车辆检测部3011C在远方区域中检测不出卡车V1，因此停止强调包含卡车V1的区域的显示(粗线框FR1C的显示)。由此，如上所述，能够抑制由于持续通知而感觉到的操作人员的厌烦或不愉快感。
并且，例如，图34(图34A、图34B)是表示显示于显示装置50的周边图像EP(监视图像MP2)的一例的图。具体而言，图34A是表示通过车辆检测部3011C在远方区域中检测出车辆时的周边图像EP(监视图像MP2)中的检测车辆的强调显示的一例的图，图34B是表示由于检测车辆移动到靠近区域而通过车辆检测部3011C在远方区域中检测不出车辆时的周边图像EP(监视图像MP2)的图。
如图34A所示，在显示于显示装置50的周边图像EP上重叠显示表示靠近区域与远方区域的边界(即，距挖土机的距离D为规定距离D1的位置)的辅助线GL3。而且，在周边图像EP中的相当于远方区域的比辅助线GL3更靠外侧的区域中映有通过车辆检测部3011C检测出的卡车V2，与图33A所示的实时取景图像的一例相同地，周边图像EP中的包含卡车V2的区域(车辆区域)以被粗线框FR2C包围的方式被强调显示。由此，作为显示装置50的画面(监视图像MP2)的一部分的包含卡车V2的区域(车辆区域)被强调，因此显示装置50能够向操作人员等通知检测出卡车V1的内容的。
并且，如图34B所示，通过车辆检测部3011C检测出的卡车V2进一步靠近挖土机，由此变化为包含于周边图像EP中的相当于靠近区域的比辅助线GL3更靠外侧的区域中的状态。因此，通过车辆检测部3011C在远方区域中检测不出卡车V2，因此停止强调显示包含卡车V2的区域的显示(粗线框FR2C的显示)。由此，如上所述，能够抑制由于持续通知而感觉到的操作人员的厌烦或不愉快感。
并且，例如，图35是表示通过车辆检测部3011C在远方区域检测出车辆时的周边图像EP(监视图像MP2)中的检测车辆的强调显示的另一例的图。
如图35所示，在本例中，当显示装置50在基于显示控制部302C的控制下通过车辆检测部3011C检测出卡车V2时，将图标IC1重叠显示于周边图像E P上，由此强调显示周边图像EP的一部分。具体而言，在周边图像EP中的相当于远方区域的比辅助线GL3更靠外侧的区域中映有通过车辆检测部3011C检测出的卡车V2，相邻于周边图像EP中的包含卡车V2的区域而重叠显示有表示卡车V2接近的方向的箭头的图标IC1。由此，作为显示装置50的画面(监视图像MP2)中的一部分的包含卡车V2的区域(车辆区域)由图标IC1强调，因此显示装置50能够向操作人员等通知检测出卡车V2的内容。
另外，图标IC1的形状并不限于箭头形状，可以为任意的形状。并且，作为强调实时取景图像及周边图像之中的包含检测车辆的区域(车辆区域)的显示方式，可以使用以粗线框包围车辆区域及重叠显示图标之外的任意的方法，例如显示装置50可以将车辆区域的亮度设为比其他区域高，或者周期性地改变车辆区域的亮度而设为闪烁状态，或者使车辆区域的颜色与其他区域不同等。
并且，例如，图36是表示通过车辆检测部3011C在远方区域中检测出车辆时的周边图像EP(监视图像MP2)中的检测车辆的强调显示的又一例的图。
如图36所示，在本例中，当显示装置50在基于显示控制部302C的控制下通过车辆检测部3011C检测出卡车V2时，在画面(即，监视图像MP2)中强调显示比周边图像EP的外缘更靠外侧的区域AR1即与周边图像EP中的相当于远方区域的比辅助线GL3更靠外侧区域的更外侧相邻的区域AR1。例如，显示装置50可以通过将区域AR1改变为与通常状态不同的颜色或花纹，或者将亮度设为比画面中的其他区域高，或者周期性地改变亮度而设为闪烁状态等来强调区域AR1。由此，与周边图像EP的相当于远方区域的比辅助线GL3更靠外侧的区域相邻的、作为显示装置50的画面(监视图像MP2)的一部分的区域AR1被强调显示，因此显示装置50能够向操作人员等通知检测出卡车V2的内容。
接着，图37是概略地表示基于本实施方式所涉及的周边监视系统100的处理的第2例的流程图。与上述第1例相同地，例如，在挖土机的运行中按规定时间反复执行本流程图的处理。
在步骤S202C中，与图32的步骤S102C相同地，车辆检测部3011C判定在车辆检测区域即挖土机周边的远方区域(距挖土机的距离D超过规定距离D1的区域)中是否检测出车辆。当在远方区域中检测出车辆时，车辆检测部3011C进入步骤S204C，除此以外的情况下，结束本次的处理。
在步骤S204C中，车辆检测部3011C判定检测车辆是否在接近挖土机。车辆检测部3011C例如可以根据检测检测车辆的过程中的位置的履历(移动履历)等来检测检测车辆是否在接近挖土机。当检测车辆在接近挖土机时，车辆检测部3011C进入步骤S206C，当检测车辆未在接近挖土机时，结束本次的处理。
步骤S206C～S214C的处理与上述第1例(图32)中的步骤S104C～S112C相同，因此省略说明。
如此，在本例中，当通过物体检测部301C(车辆检测部3011C)在远方区域中检测出接近挖土机即向靠近方向移动的车辆时，显示装置50及语音输出装置52进行检测出车辆的内容的通知。由此，仅在检测出存在于远方区域的车辆中接近挖土机的车辆时通知该内容，因此能够抑制不必要的通知。
接着，图38是概略地表示基于本实施方式所涉及的周边监视系统100的处理的第3例的流程图。与上述第1例等相同地，例如，在挖土机的运行中按规定时间反复执行本流程图的处理。
在步骤S302C中，与图32的步骤S102C等相同地，车辆检测部3011C判定在车辆检测区域即挖土机周边的远方区域(距挖土机的距离D超过规定距离D1的区域)中是否检测出车辆。当在远方区域中检测出车辆时，车辆检测部3011C进入步骤S204C，除此以外的情况下，结束本次的处理。
在步骤S304C中，显示控制部302C判定在显示装置50上是否显示有映有检测车辆的实时取景图像。当在显示装置50上未显示有映有检测车辆的实时取景图像时，显示控制部302C进入步骤S306C，当显示有映有检测车辆的实时取景图像时，进入步骤S308C。
在步骤S306C中，显示控制部302C在显示装置50上显示映有检测车辆的实时取景图像。
步骤S308C～S312C除了显示于显示装置50的对象限定于包含检测车辆的实时取景图像以外，与上述第1例(图32)的步骤S108C～S112C相同，因此省略说明。
另外，本例的流程图通过基于上述第1例将步骤S104C、S106C的处理替换为步骤S304C、S306C的处理而构成，但也可以通过基于上述第2例将步骤S206C、S208C的处理替换为步骤S304C、S306C的处理(第3例的变形例)。
如此，在本例中，当显示装置50在显示控制部302C的控制下通过车辆检测部3011C在远方区域中检测出车辆时，自动显示包含检测车辆的实时取景图像。由此，实时取景图像中所包含的远方区域的车辆相比周边图像的情况被显示为较大，因此操作人员等不仅容易确认远方区域的车辆的存在，而且容易确认车辆的详细内容。
接着，图39是概略地表示基于本实施方式所涉及的周边监视系统100的处理的第4例的流程图。本流程图的处理与上述第1例～第3例及第3例的变形例所涉及的处理中的任一个并列执行。
在步骤S402C中，人检测部3012C判定在人检测区域即挖土机周边的靠近区域(距挖土机的距离D为规定距离D1以下的区域)中是否检测出人。当在靠近区域中检测出人时，人检测部3012C进入步骤S404C，除此以外的情况下，结束本次的处理。
在步骤S404C中，显示控制部302C判定在显示装置50上是否显示有映有通过人检测部3012C检测出的人的作为监视图像的实时取景图像或周边图像(监视图像MP2)。当在显示装置50中未显示映有所检测出的人的实时取景图像及周边图像(监视图像MP2)时，显示控制部302C进入步骤S406C，当显示有任一个图像时，进入步骤S408C。
在步骤S406C中，显示控制部302C显示映有所检测出的人的实时取景图像或周边图像(监视图像MP2)。关于显示哪个图像是预先规定的。
另外，当通过上述的第1例～第3例及第3例的变形例的处理而选择的实时取景图像(映有检测车辆的实时取景图像)与通过本例的处理而选择的实时取景图像(映有所检测出的人的实时取景图像)不同时，显示控制部302C在显示装置50上显示周边图像，或者将2个实时取景图像左右排列显示。
在步骤S408C中，如上所述，显示控制部302C通过强调显示装置50中所包含的人来将在靠近区域中检测出人的内容通知给操作人员等。同时，如上所述，语音控制部303C通过从语音输出装置52输出人检测声来将在靠近区域中检测出人的内容通知给操作人员等。
在步骤S410C中，人检测部3012C判定在靠近区域中检测出该人的状态是否持续。当在靠近区域中检测出该人的状态持续时，人检测部3012C反复进行本步骤的判定，当在靠近区域中检测出该人的状态未在持续时，即在靠近区域中检测不出该人时，进入步骤S412C。
在步骤S412C中，显示控制部302C停止强调实时取景图像(监视图像MP1)或周边图像(监视图像MP2)中所包含的人的显示，并且，同时，语音控制部303C停止人检测声而结束本次的处理。
如此，在本例中，当通过物体检测部301C(车辆检测部3011C)在远方区域中检测出车辆时，显示装置50及语音输出装置52向操作人员等进行检测出车辆的内容的通知，并且，当通过物体检测部301C(人检测部3012C)在靠近区域中检测出车辆时，向操作人员等进行检测出人的内容的通知。由此，操作人员能够早期识别远方区域的车辆而提高工作效率，并且能够早期识别靠近区域的人而确保安全性。
并且，当在由于通过物体检测部301C(人检测部3012C)在靠近区域中检测出人而进行了该内容的通知的状态下在靠近区域中检测不出该人时，显示装置50及语音输出装置52停止通知。例如，若由于该人从靠近区域移动到远方区域(即，通过远离挖土机)而在靠近区域中检测不出该人，则显示装置50及语音输出装置52停止通知。由此，在比较确保了安全性的状态下停止通知(不执行)，因此能够抑制操作人员所感觉到的厌烦或不愉快感。
例如，图40(图40A、图40B)是表示显示于显示装置50的作为监视图像MP1的实时取景图像的另一例的图。具体而言，图40A是表示人(工作人员H1)存在于远方区域时的实时取景图像的图，图40B是表示由于移动到靠近区域而通过人检测部3012C检测出人(工作人员H1)时的实时取景图像的图。
如图40A所示，在显示于显示装置50的实时取景图像中的相当于远方区域的比辅助线GL2更靠上侧的区域中映有工作人员H1。在该情况下，远方区域的工作人员H1不会被人检测部3012C检测出，因此不进行检测出人的内容的通知(后面叙述的包含人的区域的强调显示)。
另一方面，如图40B所示，工作人员H1通过靠近挖土机而变化为包含于实时取景图像中的相当于靠近区域的比辅助线GL2更靠下侧的区域中的状态。因此，工作人员H1通过人检测部3012C在靠近区域中被检测，包含工作人员H1的区域(人区域)以被粗线框FR3C包围的方式被强调显示。由此，如上所述，操作人员能够早期识别靠近区域的人而确保安全性。
并且，例如，图41(图41A、图41B)是表示显示于显示装置50的周边图像EP(监视图像MP2)的另一例的图。具体而言，图41A是表示人(工作人员H2)存在于远方区域时的周边图像EP(监视图像MP2)的图，图41B是表示由于移动到靠近区域而通过人检测部3012C在靠近区域中检测出人(工作人员H2)时的周边图像EP(监视图像MP2)的图。
如图41A所示，在显示于显示装置50的周边图像EP中的相当于远方区域的比辅助线GL3更靠外侧的区域中映有工作人员H2。在该情况下，远方区域的工作人员H2不会被人检测部3012C检测出，因此不进行检测出人的内容的通知(后面叙述的包含人的区域的强调显示)。
另一方面，如图41B所示，工作人员H2通过靠近挖土机而变化为包含于周边图形EP中的相当于靠近区域的比辅助线GL3更靠内侧的区域中的状态。因此，工作人员H2通过人检测部3012C在靠近区域中被检测，包含工作人员H2的区域(人区域)以由粗线框FR4C包围的方式被强调显示。由此，如上所述，操作人员能够早期识别靠近区域的人而确保安全性。
另外，作为强调实时取景图像及周边图像中的包含所检测出的人的区域(人区域)的显示方式，可以使用以粗线框包围人区域以外的任意的方法，例如显示装置50可以将图标重叠显示于人区域或相邻于人区域而重叠显示，或者将人区域的亮度设为比其他区域高，或者周期性地改变人区域的亮度而设为闪烁状态，或者使人区域的颜色与其他区域不同等。
以上，对本发明的一实施方式所涉及的周边监视系统的第3功能进行了详细叙述，但本发明并不限定于该特定的实施方式，在本发明的宗旨的范围内能够进行各种变形或变更。
例如，在上述实施方式中，在基于显示控制部302C及语音控制部303C的控制下，利用显示装置50及语音输出装置52这两个装置进行对操作人员等的检测出车辆及人的内容的通知，但也可以为只利用任一个装置进行该通知的方式。
并且，在上述实施方式及变形例中，物体检测部301C即车辆检测部3011C及人检测部3012C分别根据摄像装置40(后方摄像机40B、左侧摄像机40L、右侧摄像机40R)的摄像图像检测车辆及人，但也可以代替摄像装置40的摄像图像，或者除此以外，还根据其他传感器例如毫米波雷达、LIDAR、立体摄像机等的检测结果(距离图像等)来检测车辆及人。
并且，在上述实施方式及变形例中，物体检测部301C利用搭载于挖土机的传感器来检测车辆，但并不限定于该方式。例如，物体检测部301C直接或间接地获取在相同的工作现场工作或有可能向该工作现场移动的车辆(以下，称为“对象车辆”)的位置信息和挖土机的位置信息，并根据挖土机与对象车辆的相对位置关系来检测从相对远方接近挖土机的对象车辆。具体而言，对象车辆及挖土机的位置信息分别可以利用搭载于对象车辆及挖土机的GNSS(Glob al Navigation Satellite System：全球导航卫星系统)装置来获取。而且，对象车辆及挖土机例如可以利用搭载于各自的规定的通信设备并通过规定的通信网络与规定的管理服务器等连接成能够进行通信，挖土机经由该通信网络从管理服务器获取从对象车辆上传到管理服务器的车辆的位置信息，并通过与挖土机的位置信息进行比较来检测靠近挖土机的对象车辆。由此，挖土机(物体检测部301C)能够在更早的阶段检测靠近挖土机的车辆。并且，挖土机例如能够通过除了车辆的位置信息以外还获取与车辆有关的附属信息(是因哪种工作目的而朝向何处)等来在更早的阶段检测靠近挖土机的车辆。
另外，关于上述实施方式所涉及的周边监视系统的第3功能，进一步公开以下内容。
(1)
一种工作机械用周边监视系统，其具备：物体检测部，在比靠近工作机械的规定的靠近区域更远方的远方区域中检测车辆；及通知部，当通过所述物体检测部在所述远方区域中检测出车辆时，进行检测出车辆的内容的通知。
(2)
根据(1)所述的工作机械用周边监视系统，其中，当通过所述物体检测部在所述远方区域中检测出向靠近所述工作机械的方向移动的车辆时，所述通知部进行检测出车辆的内容的通知。
(3)
根据(1)或(2)所述的工作机械用周边监视系统，其中，当在由于通过所述物体检测部在所述远方区域中检测出车辆而进行了所述通知的状态下，由于该车辆移动到所述靠近区域而通过所述物体检测部在所述远方区域中检测不到该车辆时，所述通知部停止所述通知。
(4)
根据(3)所述的工作机械用周边监视系统，其中，所述物体检测部在所述靠近区域检测人，当通过所述物体检测部在所述靠近区域中检测出人时，所述通知部进行检测出人的内容的通知。
(5)
根据(4)所述的工作机械用周边监视系统，其中，所述物体检测部具有用于检测车辆的车辆检测部和用于检测人的人检测部，并且将所述远方区域作为对象而利用所述车辆检测部，将所述靠近区域作为对象而利用所述人检测部。
(6)
根据(1)至(5)中任一项所述的工作机械用周边监视系统，其进一步具备拍摄工作机械周边的摄像装置，所述通知部设置于所述工作机械的操作席的周边，并包括显示所述摄像装置的摄像图像或根据所述摄像图像而生成的视点转换图像的显示装置，当通过所述物体检测部检测出车辆时，所述显示装置通过强调包含所述摄像图像或所述视点转换图像的所述显示装置的画面的一部分来进行检测出车辆的内容的通知。
(7)
根据(6)所述的工作机械用周边监视系统，其中，当通过所述物体检测部检测出车辆时，所述显示装置强调所述摄像图像或所述视点转换图像中的包含通过所述物体检测部检测出的车辆的区域。
(8)
根据(6)所述的工作机械用周边监视系统，其中，当通过所述物体检测部检测出车辆时，所述显示装置进行强调画面中的比所述视点转换图像的外缘更靠外侧的区域的显示。
(9)
一种工作机械用周边监视系统，其具备当从工作机械观察存在从相对远方接近所述工作机械的车辆时通知该车辆的存在的通知部。
(10)
根据(9)所述的工作机械用周边监视系统，其进一步具备拍摄工作机械周边的摄像装置，所述通知部设置于所述工作机械的操作席的周边，并包括显示所述摄像装置的摄像图像或根据所述摄像图像而生成的视点转换图像的显示装置，当所述摄像图像或所述视点转换图像中包含所述车辆时，所述显示装置通过强调包含所述摄像图像或所述视点转换图像的所述显示装置的画面的一部分来通知所述车辆的存在。
(11)
根据(10)所述的工作机械用周边监视系统，其中，当所述摄像图像或所述视点转换图像中包含所述车辆时，所述显示装置强调所述摄像图像或所述视点转换图像中包含所述车辆的区域。
(12)
根据(10)所述的工作机械用周边监视系统，其中，当通过所述物体检测部检测出车辆时，所述显示装置进行强调画面中的比所述视点转换图像的外缘更靠外侧的区域的显示。
[周边监视系统的第4特征功能]
接着，对与本实施方式所涉及的周边监视系统100有关的第4特征功能，具体而言，将周边监视系统100的安全功能受限制的情况通知给挖土机周边的功能的一例(以下，有时也称为“安全功能限制通知功能”)进行说明。
＜与基于第4特征功能的作用有关的概要＞
首先，对与第4特征功能(安全功能限制通知功能)的作用有关的概要进行说明。
已知有一种工作机械用周边监视系统，其具备：监视对象检测机构，检测工作机械周边的规定的监视对象(例如，人)；及安全确保机构，若检测监视对象，则例如通过将检测出该监视对象的内容通知给操作人员或者限制工作机械的动作等来实现工作机械周边的安全性的维持(例如，参照日本特开2014-181508号公报等)。
然而，当监视对象检测机构及安全确保机构中的至少一个不动作时，或者，即使动作，动作状态也不正常时，基于监视对象检测机构及安全确保机构的工作机械周边的安全性的确保受限制。因此，考虑到这种情况，期望实现使用工作机械的工作现场的进一步的安全性确保。
因此，在本实施方式中，提供一种通过第4特征功能，能够进一步提高使用工作机械的工作现场中的安全性的工作机械用周边监视系统。
＜周边监视系统的结构＞
接着，参考图42对本实施方式所涉及的周边监视系统100的具体结构进行说明。
图42是表示本实施方式所涉及的周边监视系统100的结构的一例的框图。
周边监视系统100监视作为监视对象的规定的物体(以下，简称为“监视对象”)向挖土机周边的规定范围内的侵入，当检测出监视对象时，输出警报或者限制挖土机的动作。监视对象可以为人或人以外的障碍物或车辆等任意的物体。以下，在监视对象为人的前提下继续进行说明。
周边监视系统100包括控制器30、摄像装置40、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60及外部用语音输出装置62。
如上所述，控制器30进行周边监视系统100中的各种控制处理。控制器30例如包括检测部301D、显示控制部302D、警报输出部303D、限制控制部304D及判定部305D作为通过在CPU上执行存储于ROM或辅助存储装置等中的各种程序来实现的功能部。
如上所述，摄像装置40包括后方摄像机40B、左侧摄像机40L、右侧摄像机40R。后方摄像机40B、左侧摄像机40L、右侧摄像机40R在上部回转体3的上部以光轴倾斜地朝向下方的方式安装，具有包含从挖土机附近的地面至挖土机的远方为止的上下方向的摄像范围(视角)。后方摄像机40B、左侧摄像机40L及右侧摄像机40R分别在挖土机的运行中按规定周期(例如，1/30秒)输出摄像图像并发送至控制器30。
显示装置50显示摄像装置40的摄像图像(实时取景图像)或利用控制器30(显示控制部302D)并根据摄像装置40的摄像图像而生成的周边图像(例如，后面叙述的视点转换图像)等。
语音输出装置52在基于控制器30(具体而言，警报输出部303D)的控制下输出警报声。
门锁阀54在基于控制器30(具体而言，限制控制部304D)的控制下即使在上述门锁杆(未图示)被拉起的状态下也将先导管路(未图示)设为非连通状态。
外部用显示装置60在基于控制器30(具体而言，警报输出部303D)的控制下朝向挖土机周边显示规定的文字信息或图像信息来进行对于监视对象向挖土机周边的警戒区域的侵入的警报。并且，外部用显示装置60在基于控制器30(具体而言，判定部305D)的控制下朝向挖土机周边显示表示挖土机的监视功能(在挖土机周边检测监视对象的功能)或根据监视功能而动作的后面叙述的安全功能受限制的内容的文字信息或图像信息。
外部用语音输出装置62在基于控制器30(具体而言，警报输出部303D)的控制下朝向挖土机周边输出规定的语音信息来进行对于向监视对象的挖土机周边的警戒区域的侵入的警报。并且，外部用语音输出装置62在基于控制器30(具体而言，判定部305D)的控制下朝向挖土机周边输出表示挖土机的监视功能(在挖土机周边检测监视对象的功能)或后面叙述的安全功能受限制的内容的语音信息。
检测部301D根据利用摄像装置40拍摄的摄像图像来检测挖土机周边的规定区域(监视区域)内例如距挖土机的距离D为规定距离D1(例如，5米)以内的人(监视对象)。例如，检测部301D能够通过适用已知的各种图像处理方法或基于机器学习的识别器等来识别摄像图像内的人，并且确定所识别的人的实际位置(从挖土机至所识别的人为止的距离D等)。检测部301D包括后方检测部301DB、左侧检测部301DL及右侧检测部301DR。
后方检测部301DB根据从后方摄像机40B输入的摄像图像来检测后方摄像机40B的摄像区域(即，后方区域)中的监视区域内的监视对象(即，人)。
左侧检测部301DL根据从左侧摄像机40L输入的摄像图像来检测左侧摄像机40L的摄像区域(即，左侧区域)中的监视区域内的监视对象(即，人)。
右侧检测部301DR根据从右侧摄像机40R输入的摄像图像来检测右侧摄像机40R的摄像区域(即，右侧区域)中的监视区域内的监视对象(即，人)。
另外，检测部301D(后方检测部301DB、左侧检测部301DL、右侧检测部301DR)也可以代替摄像装置40的摄像图像，或者除此以外，还根据其他传感器例如毫米波雷达、LlDAR、立体摄像机等的检测结果(距离图像等)来检测挖土机周边的监视对象。在该情况下，这些其他传感器设置于挖土机上。
如此，在本实施方式所涉及的周边监视系统100中，由上述说明可知，具有检测监视对象(即，人)的功能(以下，称为“监视功能”)的监视对象检测机构110构成为包括拍摄包含监视区域的挖土机周边的摄像装置40和通过图像处理等从摄像装置40的摄像图像检测监视对象的检测部301D。
并且，监视对象检测机构110包括在后方摄像机40B、左侧摄像机40L及右侧摄像机40R各自的摄像区域内检测监视对象的后方用监视对象检测机构110B、左侧用监视对象检测机构110L及右侧用监视对象检测机构110R(多个按区域监视对象检测机构的一例)。具体而言，后方用监视对象检测机构110B(按区域监视对象检测机构的一例)包括后方摄像机40B和后方检测部301D B，左侧用监视对象检测机构110L(按区域监视对象检测机构的另一例)包括左侧摄像机40L和左侧检测部301DL，右侧用监视对象检测机构110R(按区域监视对象检测机构的又一例)包括右侧摄像机40R和右侧检测部301DR。
显示控制部302D根据操作人员的各种操作在显示装置50上显示各种信息图像。例如，显示控制部302D根据由操作人员进行的规定操作并根据摄像装置40的摄像图像来生成周边图像，并显示于显示装置50。具体而言，显示控制部302D通过根据后方摄像机40B、左侧摄像机40L及右侧摄像机40R的摄像图像来进行已知的视点转换处理，由此生成视点转换图像(从假想视点观察的图像)作为周边图像，并显示于显示装置50。并且，在将周边图像显示于显示装置50时，显示控制部302D为了明示映在周边图像中的摄像装置40的摄像范围相对于挖土机的相对位置关系而将示意性地表示挖土机的挖土机图像一并显示于显示装置50。即，显示控制部302D生成包含挖土机图像和根据挖土机与摄像装置40的摄像范围的相对位置关系而配置于挖土机图像的周围的周边图像的监视图像，并显示于显示装置50。以下，参考图43对显示于显示装置50的监视图像进行说明。
另外，显示控制部302D的功能也可以内置于显示装置50。在该情况下，摄像装置40(后方摄像机40B、左侧摄像机40L、右侧摄像机40R)的摄像图像及检测部301D的检测结果等信息分别从摄像装置40及控制器30输入至显示装置50。
图43是表示显示于显示装置50的监视图像MP2的一例的图。
如图43所示，在显示装置50中的横长长方形的画面(例如，纵横比4:3的画面)上如上所述显示有包含挖土机图像CG和配置于挖土机图像CG的周围的周边图像EP的监视图像MP2。由此，操作人员等能够适当地掌握映在周边图像EP上的监视对象(即，人)与挖土机的位置关系。
本例中的周边图像EP为将从正上方观察与挖土机相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP的周围的、从挖土机沿水平方向观察该周边区域的水平图像HVP组合而成的视点转换图像。作为视点转换图像的周边图像EP是通过将后方摄像机40B、左侧摄像机40L及右侧摄像机40R各自的摄像图像投影在空间模型之后，将投影在该空间模型中的投影图像再投影在另一二维平面而得到。空间模型为假想空间中的摄像图像的投影对象，由包含摄像图像所在的平面以外的平面或曲面的一个或多个平面或曲面构成。以下，在本实施方式中的周边图像为将从正上方观察与挖土机相邻的周边区域的俯瞰图像和从挖土机沿水平方向观察该周边区域的周围的水平图像组合而成的视点转换图像的前提下继续进行说明。
并且，在监视图像MP2上重叠显示辅助线GL1。辅助线GL1表示距挖土机的距离D为规定距离D2(＜D1)的位置即监视区域中所包含的后面叙述的警戒区域的外缘位置。由此，当在周边图像上映有监视对象(即，人)时，操作人员等能够掌握监视对象位于距挖土机怎样程度的位置。
并且，在本例中，监视图像MP2的周边图像EP在警戒区域(距挖土机的距离D为规定距离D2以下的区域)内包含作为监视对象的人(工作人员W1D)。周边图像EP中所包含的警戒区域内的工作人员W1D以被粗线框FR1D包围的方式被强调。由此，能够朝向操作人员警报(通知)监视对象侵入警戒区域的内容。
返回到图42，当通过检测部301D在警戒区域即距挖土机的距离D为规定距离D2以内检测出人时，警报输出部303D向驾驶室10的内部即操作人员及挖土机周边即工作人员或工作现场的现场监督等监视人员等进行警报。例如，警报输出部303D输出基于声音的警报。具体而言，警报输出部303D通过语音输出装置52及外部用语音输出装置62输出警告声。例如，图44(图44A、图44B)是示意性地说明朝向挖土机周边输出的警报的一例的图。如图44所示，当位于挖土机周边的警戒区域外的工作人员(图44A)侵入到警戒区域内时，从语音输出装置52及外部用语音输出装置62向驾驶室10的内部的操作人员及侵入挖土机周边的工作人员、其他工作人员及工作现场的现场监督等监视人员等例如输出“进入危险区域”等警告声(语音)(图44B)。
并且，例如，警报输出部303D输出基于视觉显示的警报。具体而言，警报输出部303D向显示控制部302D发送警报要求。由此，显示控制部302D能够根据警报要求来实施以粗线框包围显示于显示装置50的监视图像MP2的周边图像EP中所包含的作为监视对象的人等强调处理(参考图43)，显示装置50能够进行对操作人员的警报。并且，警报输出部303D向外部用显示装置60发送警报要求。由此，显示装置50能够通过显示与上述图44的警告声(语音)相同的文字信息等来向挖土机周边进行警报。
如此，警报输出部303D通过使用语音输出装置52向操作人员进行警报，能够促进由操作人员进行的挖土机的操作的中断等，其结果，能够实现挖土机周边的安全性的维持。并且，警报输出部303D通过使用外部用语音输出装置62向挖土机周边进行警报，能够促进人从警戒区域退避或者对警戒区域外的人(其他工作人员或工作现场的现场监督等监视人员)促进重新进行工作人员的配置位置等，其结果，能够实现挖土机周边的安全性的维持。
另外，当在比警戒区域更靠外侧的监视区域(D2＜D≤D1)中检测出监视对象(即，人)时，警报输出部303D可以进行与在警戒区域中检测出监视对象的情况相比表示危险度的警报级别较低的警报即预备警报。例如，当所检测出的人距挖土机的距离D为规定距离D1以下且大于规定距离D2时(即，当所检测出的人位于比警戒区域更靠外侧的监视区域时)，警报输出部303D视为危险度较低的注意状态(警报水准1)而输出预备警报(例如，使扬声器输出比较小音量的警告声)。另一方面，当所检测出的人距挖土机的距离D为规定距离D2以下时(即，当所检测出的人位于警戒区域内时)，警报输出部303D视为危险度较高的警戒状态(警报水准2)而输出正式警报(例如，比较大音量的警告声)。
返回到图42，当通过检测部301D在警戒区域中检测出人时，限制控制部304D限制挖土机的动作要件(下部走行体1、上部回转体3、动臂4、斗杆5、铲斗6等)的动作。例如，限制控制部304D通过向门锁阀54发送作为指令信号的ON信号而使门锁阀54将先导管路设为非连通状态。由此，从先导泵(未图示)不向操作挖土机的动作要件的操作装置(未图示)供给工作油(先导压)，因此即使操作人员对操作装置进行操作输入，也能够以挖土机的动作要件不进行动作的方式进行限制。因此，即使在人侵入靠近挖土机的警戒区域的情况下，挖土机的动作也受限制，能够抑制挖土机与人的碰撞，其结果，能够实现挖土机周边的安全性的维持。
另外，例如，也可以设置对从操作装置输出的二次侧的先导压进行减压的减压阀，限制控制部304D代替门锁阀54来控制该减压阀。在该情况下，该减压阀能够通过将从操作装置输出的二次侧的先导压减压至相当于操作量零的压力值以下来使由操作人员进行的对操作装置的操作无效，其结果，能够限制挖土机的动作要件的动作。
如此，当通过监视对象检测机构110在警戒区域内检测出监视对象(即，人)时具有实现挖土机周边的安全性的确保的安全功能，例如如上所述，朝向操作人员输出警报的功能(以下，称为内部警报功能)、朝向挖土机周边输出警报的功能(以下，称为外部警报功能)及限制挖土机的动作要件的动作的功能(以下，称为动作限制功能)等的安全确保机构120包括显示控制部302D、警报输出部303D、限制控制部304D、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60、外部用语音输出装置62等而构成。
判定部305D(判定机构的一例)判定周边监视系统100中的检测监视对象的功能(以下，称为监视功能)，即判定监视对象检测机构110是否正在动作及正在动作时的动作状态是否正常(以下，判定是否正在动作称为“第1与否判定”，将动作状态是否正常的判定称为“第2与否判定”)。监视对象检测机构110“没进行动作”的状态例如包含：当监视对象检测机构110中的至少一部分通过电源供给或液压供给而进行动作时，电源OFF或液压被遮断的状态，或者，当监视对象检测机构110的监视功能能够ON/OFF切换时，该监视功能被设定为OFF的状态等，有目的地设为不让监视对象检测机构110(即，监视功能)工作的状态。
而且，当判定为监视对象检测机构110没进行动作或者虽然动作但该动作状态不正常(即，异常)时，判定部305D向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机周边通知表示监视对象检测机构110(即，监视功能)的动作被限制的内容(限制通知)。
判定部305D可以利用任意的方法判定监视对象检测机构110是否正在进行动作。例如，判定部305D可以分别对监视对象检测机构110中所包含的各构成要件即摄像装置40(后方摄像机40B、左侧摄像机40L、右侧摄像机40R)及检测部301D(后方检测部301DB、左侧检测部301DL、右侧检测部301D R)进行与否(是否适当)判定。在该情况下，当构成要件中的至少1个不进行动作时，判定部305D判定为监视对象检测机构110不进行动作。并且，例如，判定部305D也可以根据是否为从摄像装置40向控制器30定期输入摄像图像的状态来判定摄像装置40是否正在进行动作。并且，判定部305D也可以通过确认保存于控制器30的存储器等中的与监视功能的ON/OFF有关的信息(旗标(flag))等来判定检测部301D是否在进行动作。
并且，判定部305D可以利用任意的方法判定监视对象检测机构110的动作状态是否正常。例如，判定部305D可以分别对监视对象检测机构110中所包含的各构成要件即摄像装置40及检测部301D进行与否判定。在该情况下，当构成要件中的至少1个的动作状态不正常时，判定部305D判定为监视对象检测机构110的动作状态为不正常。并且，例如，判定部305D也可以根据预先存储于控制器30的ROM等中的故障检查(health check)程序(DIAG程序)进行摄像装置40及检测部301D的故障检查，并根据故障检查结果来判定摄像装置40及检测部301D的动作状态是否正常。
并且，判定部305D也可以通过判定是否能够从摄像装置40获取能够通过图像处理而正常地检测监视对象的程度的摄像图像来判定监视对象检测机构110的动作状态是否正常。这是因为，若在从摄像装置40输出的摄像图像上产生结冰、曝光过度、曝光不足，或者起因于摄像装置40的透镜的附着物而附着物占据从摄像装置40输出的摄像图像的大部分等，则基于图像处理时无法正常地检测监视对象的可能性高。并且是因为，在挖土机以一定程度的速度移动或回转的情况下，摄像装置40的摄像区域时时刻刻发生变化，因此无法获取能够正常地检测监视对象的程度的摄像图像，即无法获取包含追踪同一监视对象的候选并作为正式的监视对象而用于进行检测所需要的张数的同一监视对象的摄像图像，当基于图像处理时无法正常地检测监视对象的可能性高。
具体而言，判定部305D可以根据摄像装置40的摄像图像的平均信息量例如平均亮度信息量等来判定摄像装置40的摄像图像是否处于能够正常地检测监视对象的状态，即摄像图像是否为不符合曝光过度、曝光不足、结冰等的状态。例如，当基于摄像装置40的摄像图像的平均亮度信息量较小即小于适当地预先规定的阈值时，摄像图像中的亮度值的直方图分散呈现窄的状态，因此能够判定为曝光过度、曝光不足或与此类似的状态(附着物覆盖摄像装置40的透镜的状态等)。在该情况下，可以使用时序连续的多个摄像图像中的平均亮度信息量的平均值来进行该判定。并且，当时序连续的2个摄像图像的平均亮度信息量的变化量(平均亮度信息量变化量)为大致零(即，小于能够判定为大致零的非常小的阈值)时，2个摄像图像中的亮度的直方图呈现无变化的状态，因此能够判定为摄像图像的结冰或与此类似的状态。在该情况下，可以分别对时序连续的2个以上的平均亮度信息量变化量判定是否为大致零，当满足该条件的比例为规定以上时，判定为摄像图像的结冰或与此类似的状态。
并且，判定部305D也可以根据摄像装置40的摄像图像的规定的图像特征量例如LBP(Local Binary Pattern(局部二元模式))特征量的时序变化来判定挖土机的移动状态或回转状态是否为能够从摄像图像正常地检测监视对象的程度。这是因为，当基于摄像装置40的摄像图像中的图像特征量的时序变化(差分)较大时，能够判断为背景在移动即挖土机在移动或在回转。例如，首先，判定部305D将摄像装置40的时序连续的2个摄像图像分别区分为预先规定的多个块例如N(2以上的整数)个块，并对每个块计算LBP特征量。接着，判定部305D对每个块计算2个摄像图像之间的相当于LBP特征量的变化量的汉明距离hdi(i＝1、......、N)，并且将所区分的N个块的全部的汉明距离hdi之和计算为2个摄像图像之间的汉明距离HD(＝hd1+......+hdN)。而且，当所计算出的汉明距离HD大于适当地预先规定的阈值时，能够判定为背景以一定程度的速度移动即挖土机以一定程度的速度移动或回转。在该情况下，也可以将时序连续的3个以上的摄像图像作为对象而计算2个以上的汉明距离HD，并使用这些平均值来进行该判定。
并且，判定部305D也可以分别对监视对象检测机构110中所包含的后方用监视对象检测机构110B、左侧用监视对象检测机构110L、右侧用监视对象检测机构110R判定是否在进行动作及动作时的动作状态是否正常。
而且，当判定为后方用监视对象检测机构110B、左侧用监视对象检测机构110L、右侧用监视对象检测机构110R中的一部分不进行动作或者虽然动作但该动作状态不正常(即，异常)时，判定部305D可以使用外部用显示装置60及外部用语音输出装置62朝向挖土机周边通知与后方用监视对象检测机构110B、左侧用监视对象检测机构110L、右侧用监视对象检测机构110R中的一部分相对应的摄像装置40的摄像区域(后方区域、左侧区域及右侧区域中的任意1个或2个区域)中的监视功能受限制的内容(以下，称为“限制通知”)(参考后面叙述的图48)。
并且，当通过监视对象检测机构110在警戒区域中检测出监视对象(即，人)时，判定部305D可以对实现挖土机周边的安全性的确保的安全确保机构120判定是否在进行动作及动作时的动作状态是否正常。与监视对象检测机构110的情况相同地，安全确保机构120“不进行动作的”状态例如包含当安全确保机构120中的至少一部分通过电源供给或液压供给进行动作时，电源被OFF或液压被遮断的状态，或者，当安全确保机构120(即，安全功能)能够ON/O FF切换时，安全功能被设定为OFF的状态等，有目的地设为不让安全确保机构120发挥功能的状态。
而且，当判定为安全确保机构120不进行动作或者虽然动作但该动作状态不正常(即，异常)时，判定部305D可以向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机周边通知表示安全确保机构120(即，安全功能)的动作受限制的内容(限制通知)(参考图49)。
与监视对象检测机构110的情况相同地，判定部305D可以利用任意的方法来判定安全确保机构120是否在进行动作。例如，判定部305D可以分别对安全确保机构120中所包含的各构成要件即显示控制部302D、警报输出部303D、限制控制部304D、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60、外部用语音输出装置62进行与否判定。在该情况下，当构成要件中的至少1个不进行动作时，判定部305D判定为确保机构120不进行动作。并且，例如，判定部305D也可以根据是否为从摄像装置40向控制器30定期输入摄像图像的状态来判定摄像装置40是否在进行动作。并且，判定部305D也可以通过确认保存于控制器30的存储器等中的与安全功能的ON/OFF有关的信息(旗标(flag))等来判定检测部301D是否在进行动作。
并且，与监视对象检测机构110的情况相同地，判定部305D可以利用任意的方法判定安全确保机构120的动作状态是否正常。例如，判定部305D可以分别对安全确保机构120中所包含的各构成要件即显示控制部302D、警报输出部303D、限制控制部304D、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60、外部用语音输出装置62进行与否判定。在该情况下，当构成要件中的至少1个的动作状态不正常时，判定部305D判定为安全确保测机构120的动作状态不正常。并且，例如，判定部305D可以根据预先存储于控制器30的ROM等中的故障检查程序(DIAG程序)进行显示控制部302D、警报输出部303D、限制控制部304D、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60、外部用语音输出装置62的故障检查，并根据故障检查结果来判定显示控制部302D、警报输出部303D、限制控制部304D、显示装置50、语音输出装置52、门锁阀54、外部用显示装置60、外部用语音输出装置62的动作状态是否正常。
＜限制通知的具体例＞
接着，参考图45、图46对表示通过外部用显示装置60及外部用语音输出装置62进行的监视对象检测机构110的动作(监视功能)受限制的通知(限制通知)的具体例进行说明。
另外，关于表示安全确保机构120的动作(安全功能)受限制的通知也同样地进行，因此省略说明。
图45、图46(图46A、图46B)是示意性地说明朝向挖土机周边通知的限制通知的一例及另一例的图。
如图45所示，在本例中，在上部回转体3的后端的侧面上部，遍及左右方向而配置的外部用显示装置60上显示为“监视功能为限制中”。由此，在挖土机周边进行工作的工作人员或工作现场的监督人员等能够掌握挖土机的监视功能受限制的情况。
并且，如图46所示，当监视对象检测机构110的动作成为不正常的情况时(图46A)，从外部用语音输出装置62例如输出“挖土机的监视功能受限制”等语音(图46B)。
由此，工作人员或工作现场的现场监督等监视人员等能够从挖土机的外部掌握挖土机的监视功能或基于该监视功能的安全功能受限制的情况。因此，通常关于挖土机周边的安全性的确保，很大程度上依赖于挖土机侧的监视功能或安全功能，其结果，即使在这些功能受限制的情况下，也能够对工作人员或工作现场的现场监督等监视人员等提醒考虑到挖土机周边的安全性的确保的行动(例如，比通常更加确保与挖土机的距离来进行工作等)。因此，能够进一步提高挖土机周边的安全性。
＜周边监视系统的动作的详细内容＞
接着，参考图47～图49对基于本实施方式所涉及的周边监视系统100的特征性处理即用于进行基于判定部305D的限制通知的处理(通知处理)的流程进行说明。
图47是概略地表示基于周边监视系统100的判定部305D的通知处理的第1例的流程图。例如，在挖土机的运行中，可以在未进行限制通知的情况下定期地反复执行本流程图的处理。
在步骤S102D中，判定部305D对监视功能进行第1与否判定，即判定监视对象检测机构110是否在进行动作。
在步骤S104D中，判定部305D对监视功能进行第2与否判定，即判定监视对象检测机构110进行动作时的动作状态是否正常。
另外，步骤S102D、S104D的处理顺序可以倒过来。
在步骤S106D中，判定部305D判定在步骤S102D、S104D中的第1与否判定及第2与否判定中是否存在1个否判定。当有否判定时，判定部305D进入步骤S108D，当没有否判定时，结束本次的处理。
在步骤S108D中，判定部305D向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机周边通知表示监视功能(即，监视对象检测机构110的动作)受限制的内容，并结束本次的处理。
如此，在本例中，当挖土机的监视功能不进行动作时，或者，即使动作，动作状态也不正常(例如，故障)时，外部用显示装置60及外部用语音输出装置62朝向挖土机周边通知该内容。由此，位于挖土机周边的工作人员或工作现场的现场监督等监视人员等以挖土机的监视功能正常进行动作为前提而在挖土机周边进行工作或者让其他人进行工作的情况多时，如上所述，工作人员或监督人员等能够从挖土机的外部掌握挖土机的监视功能受限制的情况。因此，通常关于挖土机周边的安全性的确保，很大程度上依赖于挖土机侧的监视功能，其结果，即使在这些功能受限制的情况下，也能够对工作人员或监督人员等提醒考虑到挖土机周边的安全性的确保的行动。因此，能够进一步提高挖土机周边的安全性。
另外，可以使用设置于挖土机的未图示的通信器件等，当挖土机的监视功能不进行动作时，或者，即使动作，动作状态也不正常时(步骤S106D的“是”)，向工作现场的管理终端或工作现场的现场监督等监视人员的终端(智能手机、平板电脑终端)等发送挖土机的监视功能受限制的内容的通知。例如，可以为如下方式：通信器件通过向规定的管理服务器发送该通知而经由管理服务器向预先登录的工作现场的管理终端或现场监督等管理人员的终端实时传送该通知。由此，例如工作现场宽阔的情况等，工作现场的现场监督等的监视人员有可能察觉不到从挖土机直接输出的通知时，向设置于工作现场的事务所的管理终端或监视人员自身所携带的终端发送该通知，因此能够掌握挖土机的监视功能受限制。以下，关于后面叙述的图48的步骤S206D的“是”的情况和图49的步骤S310D的“是”的情况也可以进行相同的对应。
并且，例如，当挖土机的监视功能不进行动作时，或者，即使动作，动作状态也不正常时(步骤S106D的“是”)，控制器30可以将挖土机的各种状态(例如，搭载于挖土机的各种传感器的检测信号、表示对操作装置的操作状态的信号、表示包括控制器30的各种控制装置的控制状态的信号等)记录在内部存储器等中。并且，所记录的数据可以利用未图示的通信器件发送至管理服务器并进行积蓄。如此，通过记录监视功能受限制时的各种状态能够作为不良情况的证据记录，或者，通过分析所积蓄的各种状态能够进行不良情况原因查明或今后的改善等。以下，关于后面叙述的图48的步骤S206D的“是”的情况和图49的步骤S310D的“是”的情况也可以进行相同的对应。
并且，例如，当挖土机的监视功能不进行动作时，或者，即使动作，动作状态也不正常时(步骤S106D的“是”)，且从摄像装置40输入了摄像图像时，控制器30可以将一定期间量的摄像装置40的摄像图像记录在内部存储器等中。并且，所记录的摄像图像的数据可以利用未图示的通信器件发送至管理服务器并进行积蓄。由此，和与挖土机的各种状态有关的数据的情况相同地，能够掌握摄像装置40的动作状态不正常时的具体情况，能够在不良情况的原因查明或今后的改善良等中加以应用，并且在摄像装置40没有问题时，能够将监视功能受限制时的周边情况等作为不良情况的证据记录而进行积蓄。以下，关于后面叙述的图48的步骤S206D的“是”的情况和图49的步骤S310D的“是”的情况也可以进行相同的对应。
接着，图48是概略地表示基于周边监视系统100的判定部305D的通知处理的第2例的流程图。与上述第1例(图47)的情况相同地，例如，在挖土机的运行中，可以在未进行限制通知的情况下定期地反复执行本流程图的处理。
在步骤S202D中，判定部305D对后方区域、左侧区域及右侧区域各自中的监视功能进行第1与否判定，即判定后方用监视对象检测机构110B、左侧用监视对象检测机构110L及右侧用监视对象检测机构110R是否分别在进行动作。
在步骤S204D中，判定部305D对后方区域、左侧区域及右侧区域各自中的监视功能进行第2与否判定，即判定后方用监视对象检测机构110B、左侧用监视对象检测机构110L及右侧用监视对象检测机构110R分别进行动作时的动作状态是否正常。
在步骤S206D中，判定部305D判定在步骤S202D、S204D中的第1与否判定及第2与否判定中是否存在否判定。当有否判定时，判定部305D进入步骤S208D，当没有否判定时，结束本次的处理。
在步骤S208D中，判定部305D判定在步骤S202D、204中的第1与否判定及第2与否判定中是否存在对后方区域、左侧区域及右侧区域的所有区域中的监视功能的否判定。当对后方区域、左侧区域及右侧区域的所有区域中的监视功能存在否判定时，判定部305D进入步骤S210D，当对后方区域、左侧区域及右侧区域中的一部分区域的监视功能存在否判定时，进入步骤S212D。
在步骤S210D中，判定部305D向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机周边通知表示在全区域(后方区域、左侧区域及右侧区域)中监视功能受限制的内容，并结束本次的处理。
另一方面，在步骤S212D中，判定部305D向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机周边通知表示在与所有区域中存在否判定的一部分按区域监视对象检测机构(后方用监视对象检测机构110B、左侧用监视对象检测机构110L及右侧用监视对象检测机构110R中的任意1个或2个)相对应的区域(后方区域、左侧区域及右侧区域中的任意1个或2个)中监视功能受限制的内容，并结束本次的处理。
如此，在本例中，当后方用监视对象检测机构110B、左侧用监视对象检测机构110L及右侧用监视对象检测机构110R中的一部分不进行动作或动作状态不正常时，外部用显示装置60及外部用语音输出装置62通知表示对与该一部分相对应的区域的监视功能受限制的内容。由此，位于挖土机周边的工作人员或工作现场的现场监督等监视人员等能够从挖土机的外部掌握对基于监视功能的挖土机周边的监视对象区域中的哪个区域限制监视功能。
接着，图49是概略地表示基于周边监视系统100的判定部305D的通知处理的第2例的流程图。与上述第1例(图47)的情况相同地，例如，可以在挖土机运行中的未进行限制通知的情况下定期地反复执行本流程图的处理。
本流程图的步骤S302D、S304D与上述第1例(图47)的步骤S102D、S104D相同，因此重点说明不同部分。
在步骤S306D中，判定部305D对安全功能进行第1与否判定，即判定安全确保机构120是否在进行动作。
在步骤S308D中，判定部305D对安全功能进行第2与否判定，即判定安全确保机构120进行动作时的动作状态是否正常。
另外，步骤S302D～S308D的判定处理的顺序是任意的。
在步骤S310D中，判定部305D判定在步骤S302D～S308D中的第1与否判定及第2与否判定中是否存在1个否判定。当存在否判定时，判定部305D进入步骤S312D，当不存在否判定时，结束本次的处理。
在步骤S312D中，判定部305D向外部用显示装置60及外部用语音输出装置62发送通知指令，朝向挖土机的外部通知表示监视功能(即，监视对象检测机构110的动作)或安全功能(即，安全确保机构120的动作)受限制的内容，并结束本次的处理。
另外，在步骤S312D中，判定部305D可以经由外部用显示装置60、外部用语音输出装置62向挖土机周边通知是只有监视功能受限制还是只有安全功能受限制，或者，监视功能及安全功能这两种功能均受限制。并且，判定部305D也可以省略对监视功能的第1与否判定及第2与否判定(步骤S302D、S304D)而仅对基于监视功能的安全功能进行第1与否判定及第2与否判定(步骤S306D、S308D)。在该情况下，在步骤S312D中，判定部305D经由外部用显示装置60、外部用语音输出装置62朝向挖土机周边通知表示安全功能受限制的内容。并且，判定部305D也可以分别对多个安全功能即上述内部警报功能、外部警报功能、动作限制功能等进行第1与否判定及第2与否判定。在该情况下，在步骤S312D中，判定部305D可以经由外部用显示装置60、外部用语音输出装置62通知是多个安全功能中的所有功能均受限制还是一部分安全功能受限制。
如此，在本例中，当挖土机的监视功能及根据该监视功能进行动作的安全功能中的至少一种功能不进行动作或者动作状态不正常时，外部用显示装置60及外部用语音输出装置62朝向挖土机周边通知表示监视功能或安全功能受限制的内容。由此，位于挖土机周边的工作人员或工作现场的现场监督等监视人员等从挖土机的外部不仅能够掌握监视功能受限制的情况，而且能够掌握根据监视功能进行动作的安全功能受限制的情况。因此，即使在监视功能不受限制的情况下，当根据监视功能进行动作的安全功能受限制时，安全功能有可能不正常地动作，其结果，能够对工作人员或工作现场的现场监督等监视人员等提醒考虑到挖土机周边的安全性的确保的行动。因此，能够进一步提高挖土机周边的安全性。
以上，对本发明的一实施方式所涉及的周边监视系统的第4功能进行了详细叙述，但本发明并不限定于该特定的实施方式，在本发明的宗旨的范围内能够进行各种变形或变更。
例如，在上述实施方式中，对监视对象检测机构110及安全确保机构120中的至少一个机构进行第1与否判定及第2与否判定这两种判定，但也可以仅根据其中任一种与否判定来进行限制通知。
并且，在上述实施方式及变形例中，通过外部用显示装置60及外部用语音输出装置62这两种装置进行通知，也可以利用任一个装置来进行。
并且，在上述实施方式及变形例中，朝向挖土机周边通知表示监视功能或安全功能受限制的内容，但同时也可以通过显示装置50或语音输出装置52(均为通知机构的一例)朝向驾驶室10的内部即操作人员进行相同的通知。由此，操作人员以挖土机的监视功能或安全功能正常地动作为前提而进行挖土机的操作的情况也多时，例如，即使在未察觉到监视功能或安全功能的异常等的指示的情况或者监视功能等并非有目的地被OFF的情况下，与向挖土机周边的通知的同时进行相同的通知，由此能够可靠地掌握挖土机的监视功能或安全功能受限制。因此，通常关于挖土机周边的安全性的确保，很大程度上依赖于监视功能或安全功能，其结果，即使在这些功能受限制的情况下，也能够对操作人员等提醒考虑到挖土机周边的安全性的确保的挖土机的操纵。因此，能够进一步提高挖土机周边的安全性。
另外，关于上述本实施方式所涉及的周边监视系统的第4功能(安全功能限制通知功能)，进一步公开以下内容。
(1)
一种工作机械用周边监视系统，其具备：监视对象检测机构，在工作机械周边检测规定的监视对象；安全确保机构，具有当通过所述监视对象检测机构检测出所述监视对象时实现所述工作机械周边的安全性的确保的规定的安全功能；判定机构，对所述监视对象检测机构及所述安全确保机构中的至少一个机构判定是否正在进行动作及动作状态是否正常中的至少一个；及通知机构，当利用所述判定机构判定为所述监视对象检测机构或所述安全确保机构不进行动作或者动作状态不正常时，进行表示所述监视对象检测机构或所述安全确保机构的动作受限制的通知。
(2)
根据(1)所述的工作机械用周边监视系统，其中，所述通知机构朝向所述工作机械周边进行所述通知。
(3)
根据(2)所述的工作机械用周边监视系统，其中，所述通知机构朝向设置所述工作机械的操作席的驾驶室的内部进行所述通知。
(4)
根据(1)至(3)中任一项所述的工作机械用周边监视系统，其中，所述监视对象检测机构具备分别在所述工作机械周边的多个区域中的每个检测所述监视对象的多个按区域监视对象检测机构，所述判定机构判定所述多个按区域监视对象检测机构是否分别进行动作及动作状态是否正常中的至少一个，当利用所述判定机构判定为所述多个按区域监视对象检测机构中的一部分区域监视对象检测机构不进行动作或者动作状态不正常时，所述通知进行与所述多个区域中所述一部分监视对象检测机构相对应的区域中的所述安全功能受限制的内容的通知。
(5)
一种工作机械用周边监视系统，其具备：监视对象检测机构，包括拍摄工作机械周边的摄像装置和根据对所述摄像装置的摄像图像的图像处理在所述工作机械周边检测规定的监视对象的检测部；判定机构，根据所述摄像图像的平均信息量及图像特征量中的至少一个来进行基于所述监视对象检测机构的所述监视对象的检测功能是否正常的与否判定；及通知机构，当基于所述判定机构的判定结果为否时，进行表示所述监视对象检测机构的动作受限制的通知。
(6)
根据(5)所述的工作机械用周边监视系统，其中，所述判定机构根据所述平均信息量来判定所述摄像图像是否为能够正常地检测所述监视对象的状态。
(7)
根据(5)或(6)所述的工作机械用周边监视系统，其中，所述判定机构根据所述图像特征量的时序变化来判定所述工作机械的移动状态或回转状态是否为能够从所述摄像图像正常地检测所述监视对象的程度。
以上，对实施本发明的方式进行了详细叙述，但本发明并不限定于该特定的实施方式，在技术方案所记载的本发明的宗旨的范围内能够进行各种变形或变更。
另外，本申请主张基于2017年2月17日申请的日本专利申请2017-027860号、2017年3月27日申请的日本专利申请2017-061958号、2017年3月30日申请的日本专利申请2017-069313号及2017年3月31日申请的日本专利申请2017-073017号的优先权，这些日本专利申请的所有内容通过参考援用于本申请中。
符号说明
30-控制器，40-摄像装置，40B-后方摄像机，40L-左侧摄像机，40R-右侧摄像机，50-显示装置(通知部、通知机构)，52-语音输出装置(通知部、通知机构)，54-门锁阀，60-外部用显示装置，62-外部用语音输出装置，100-周边监视系统(工作机械用周边监视系统)，110-监视对象检测机构，110B-后方用监视对象检测机构，110L-左侧用监视对象检测机构，110R-右侧用监视对象检测机构，120-安全确保机构，301A-监视对象检测部，301B-监视对象检测部，301C-物体检测部，301D-检测部，301DB-后方检测部，301DL-左侧检测部，301DR-右侧检测部，302A-监视图像显示处理部，302B-监视图像显示处理部，302C-显示控制部，302D-显示控制部，303A-标记图像显示处理部，303B-标记显示处理部，303C-语音控制部，303D-警报输出部，304D-限制控制部，305D-判定部，3011C-车辆检测部，3012C-人检测部，3031A-候选点生成部，3032A-标记图像选择部(选择部)，3033A-构成点选择部，3034A-编码部(分辨率调整部)，3035A-发送部。

Claims (14)

1.一种工作机械用周边监视系统，其具备：
摄像装置，拍摄工作机械周边；及
显示装置，显示通过所述摄像装置拍摄的所述工作机械周边的图像和表示监视对象的位置的标记，
所述显示装置以2种以上的不同的显示方式显示所述标记。
2.根据权利要求1所述的工作机械用周边监视系统，
其进一步具备在所述工作机械周边检测所述监视对象的监视对象检测部，
所述显示装置根据基于所述监视对象检测部的所述监视对象的检测数来变更所述标记的显示方式。
3.根据权利要求2所述的工作机械用周边监视系统，其中，
所述显示装置根据通过所述监视对象检测部实际检测出的所述监视对象的检测数来变更所述标记的显示方式。
4.根据权利要求3所述的工作机械用周边监视系统，其中，
所述摄像装置包括摄像范围互不相同的多个摄像机，
所述显示装置显示通过所述多个摄像机中的一部分或全部拍摄的所述工作机械周边的所述图像，并根据在与实际显示的所述图像相对应的所述工作机械的周边区域内通过所述监视对象检测部实际检测出的所述监视对象的检测数来变更所述标记的显示方式。
5.根据权利要求3所述的工作机械用周边监视系统，其中，
所述显示装置以通过所述监视对象检测部实际检测出的所述监视对象的检测数越多则用于显示所述标记所需要的规格信息的数据量越小的方式变更所述标记的显示方式。
6.根据权利要求2所述的工作机械用周边监视系统，其中，
预先规定通过所述监视对象检测部检测的所述监视对象的检测数的上限即最大检测数，
所述显示装置根据所述最大检测数来变更所述标记的显示方式。
7.根据权利要求6所述的工作机械用周边监视系统，其中，
所述显示装置以所述最大检测数越多则用于显示所述标记所需要的规格信息的数据量越小的方式变更所述标记的显示方式。
8.根据权利要求1所述的工作机械用周边监视系统，其中，
所述显示装置根据所述图像中所包含的所述监视对象的数量来变更所述标记的显示方式。
9.根据权利要求8所述的工作机械用周边监视系统，其中，
所述显示装置以所述图像中所包含的所述监视对象的数量越多则用于显示所述标记所需要的规格信息的数据量越小的方式变更所述标记的显示方式。
10.根据权利要求1所述的工作机械用周边监视系统，
其进一步具备控制装置，所述控制装置包括：选择部，与所述显示装置分开设置，从2种以上的标记图像中选择作为所述标记而显示的一个标记图像；及发送部，将用于使通过所述选择部选择的所述一个标记图像显示于所述显示装置所需要的规格信息的数据发送至所述显示装置，
所述显示装置将从所述控制装置接收的所述一个标记图像作为所述标记而显示。
11.根据权利要求10所述的工作机械用周边监视系统，
其进一步具备调整所述数据的所述规格信息中所包含的所述一个标记图像在所述图像上的位置信息的分辨率的分辨率调整部，
所述发送部将通过所述分辨率调整部调整了所述位置信息的分辨率的所述数据发送至所述显示装置。
12.根据权利要求1所述的工作机械用周边监视系统，其中，
当所述监视对象停止时和移动时，所述显示装置改变所述标记的显示。
13.根据权利要求1所述的工作机械用周边监视系统，
其具备当从所述工作机械观察存在从相对远方接近所述工作机械的车辆时通知该车辆的存在的通知部。
14.根据权利要求1所述的工作机械用周边监视系统，其具备：
监视对象检测机构，在所述工作机械周边检测所述监视对象，
安全确保机构，具有当通过所述监视对象检测机构检测出所述监视对象时实现确保所述工作机械周边的安全性的规定的安全功能；
判定机构，对所述监视对象检测机构及所述安全确保机构中的至少一个机构判定是否进行动作及动作状态是否正常中的至少一个；及
通知机构，当通过所述判定机构判定为所述监视对象检测机构或所述安全确保机构不进行动作或者动作状态不正常时，进行表示所述监视对象检测机构或所述安全确保机构的动作受限制的通知。
CN201880005483.0A 2017-02-17 2018-02-16 工作机械用周边监视系统 Active CN110114244B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2017027860 2017-02-17
JP2017-027860 2017-02-17
JP2017-061958 2017-03-27
JP2017061958 2017-03-27
JP2017069313 2017-03-30
JP2017-069313 2017-03-30
JP2017073017 2017-03-31
JP2017-073017 2017-03-31
PCT/JP2018/005591 WO2018151280A1 (ja) 2017-02-17 2018-02-16 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
CN110114244A true CN110114244A (zh) 2019-08-09
CN110114244B CN110114244B (zh) 2023-07-04

Family

ID=63169471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880005483.0A Active CN110114244B (zh) 2017-02-17 2018-02-16 工作机械用周边监视系统

Country Status (6)

Country Link
US (1) US11939746B2 (zh)
EP (1) EP3584120B1 (zh)
JP (2) JP7092688B2 (zh)
KR (1) KR102449834B1 (zh)
CN (1) CN110114244B (zh)
WO (1) WO2018151280A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114423909A (zh) * 2019-09-18 2022-04-29 住友重机械工业株式会社 挖土机
CN115362297A (zh) * 2020-03-31 2022-11-18 神钢建机株式会社 工程机械的周边检测装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726278B2 (en) * 2016-09-30 2020-07-28 Samsung Electronics Co., Ltd. Method, device and system for providing notification information
JP6791082B2 (ja) * 2017-09-27 2020-11-25 株式会社ダイフク 監視システム
EP3815067B1 (en) * 2018-06-27 2024-02-21 Husqvarna Ab Improved arboriculture safety system
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
US11615707B2 (en) 2019-05-29 2023-03-28 Deere & Company Guidance display system for work vehicles and work implements
US11204254B2 (en) 2019-05-29 2021-12-21 Deere & Company Implement guidance display system for work vehicles
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
JPWO2020256101A1 (zh) * 2019-06-20 2020-12-24
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
US11222213B2 (en) * 2019-09-30 2022-01-11 Verizon Patent And Licensing Inc. Vehicle behavior detection system
JP7261721B2 (ja) * 2019-10-15 2023-04-20 日立建機株式会社 施工支援システムおよび作業機械
JP7344510B2 (ja) * 2019-11-05 2023-09-14 テンソル・コンサルティング株式会社 動作分析システム、動作分析方法、および動作分析プログラム
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
US20210382486A1 (en) * 2020-06-03 2021-12-09 Deere & Company Work area monitoring system and method of operating a work vehicle at a work area
JP2022035746A (ja) * 2020-08-21 2022-03-04 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
JP6940906B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP6940907B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP7036329B1 (ja) * 2021-05-17 2022-03-15 株式会社アラヤ 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
US11680387B1 (en) * 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest
CN114942044B (zh) * 2022-05-30 2023-06-23 深圳市中深建装饰设计工程有限公司 一种室外装饰工程环境污染自动监测报警系统
CN116030428B (zh) * 2023-03-30 2023-06-30 武汉创领信服科技有限公司 工地区域危险报警监测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032141A (ja) * 2003-07-10 2005-02-03 Azuma Systems:Kk 作業車両用周辺監視システム
US20130088593A1 (en) * 2010-06-18 2013-04-11 Hitachi Construction Machinery Co., Ltd. Surrounding Area Monitoring Device for Monitoring Area Around Work Machine
JP2014062387A (ja) * 2012-09-20 2014-04-10 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械用周辺監視装置
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
US20140354813A1 (en) * 2011-09-16 2014-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings Monitoring Device for Work Machine
US20150326829A1 (en) * 2014-04-25 2015-11-12 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
US20150343976A1 (en) * 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2700710B2 (ja) * 1990-06-21 1998-01-21 新キャタピラー三菱株式会社 建設機械の警報装置
US5939986A (en) * 1996-10-18 1999-08-17 The United States Of America As Represented By The United States Department Of Energy Mobile machine hazardous working zone warning system
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP3900912B2 (ja) 2001-12-05 2007-04-04 株式会社豊田自動織機 産業車両
JP2003333590A (ja) * 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
CN100545359C (zh) * 2003-09-02 2009-09-30 株式会社小松制作所 施工目标指示装置
JP3902168B2 (ja) * 2003-09-04 2007-04-04 日立建機株式会社 建設機械の診断情報表示システム
US7835854B2 (en) * 2004-02-20 2010-11-16 Sharp Kabushiki Kaisha Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4399397B2 (ja) * 2005-06-23 2010-01-13 古野電気株式会社 他船ターゲット表示装置
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP2008303648A (ja) * 2007-06-08 2008-12-18 Caterpillar Japan Ltd 作業機械の警報システム
US8099218B2 (en) * 2007-11-30 2012-01-17 Caterpillar Inc. Paving system and method
CA2617976A1 (en) * 2008-01-11 2009-07-11 John Dasilva Personnel safety system utilizing time variable frequencies
EP2280547A4 (en) * 2008-05-19 2013-02-13 Panasonic Corp VEHICLE SURROUNDING MONITORING DEVICE AND VEHICLE ENTOURING MONITORING METHOD
JP2010121986A (ja) 2008-11-18 2010-06-03 Panasonic Corp 車載カメラ用のキャリブレーションターゲット及びキャリブレーションシステム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2010241548A (ja) 2009-04-03 2010-10-28 Kansai Electric Power Co Inc:The クレーンの安全確認装置
EP2492404A4 (en) * 2009-10-19 2015-12-09 Hitachi Construction Machinery OPERATING MACHINE
US9280902B2 (en) * 2010-04-09 2016-03-08 DSG TAG Systems, Inc. Facilities management
US8909467B2 (en) * 2010-06-07 2014-12-09 Industry-Academic Cooperation Foundation, Yonsei University Tower crane navigation system
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
JP5740149B2 (ja) * 2010-12-22 2015-06-24 クラリオン株式会社 表示制御装置、表示レイヤ合成プログラム
JP5594672B2 (ja) 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
JP5742937B2 (ja) * 2011-06-02 2015-07-01 トヨタ自動車株式会社 車両用視界支援装置
WO2012164712A1 (ja) * 2011-06-02 2012-12-06 日立建機株式会社 作業機械の周囲監視装置
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置
WO2013008623A1 (ja) * 2011-07-12 2013-01-17 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
CN103796879B (zh) * 2011-08-12 2017-03-22 丰田自动车株式会社 停车支援装置
JP2013042402A (ja) * 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
JP5616531B2 (ja) 2011-09-21 2014-10-29 本田技研工業株式会社 車両周辺監視装置
US9253082B2 (en) 2011-10-11 2016-02-02 Futurewei Technologies, Inc. Failure detection in the multiprotocol label switching multicast label switched path's end-to-end protection solution
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9150147B2 (en) * 2013-03-08 2015-10-06 Caterpillar Inc. System and method for controlling features
JP6169381B2 (ja) * 2013-03-19 2017-07-26 住友重機械工業株式会社 ショベル
JP6456584B2 (ja) 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
JP5991648B2 (ja) 2013-03-28 2016-09-14 株式会社デンソー 車両用表示制御装置
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
JP5987791B2 (ja) * 2013-06-28 2016-09-07 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP6346614B2 (ja) * 2013-09-13 2018-06-20 マクセル株式会社 情報表示システム
JP6264037B2 (ja) * 2013-12-27 2018-01-24 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6291866B2 (ja) * 2014-01-27 2018-03-14 株式会社デンソー 運転支援装置、および運転支援方法
WO2015120905A1 (en) * 2014-02-14 2015-08-20 Sandvik Mining And Construction Oy Arrangement for initiating a remote operation mode
US9902341B2 (en) * 2014-02-26 2018-02-27 Kyocera Corporation Image processing apparatus and image processing method including area setting and perspective conversion
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
CA2863648C (en) * 2014-04-25 2017-06-20 Takeshi Kurihara Surroundings monitoring system, work vehicle, and surroundings monitoring method
US10826795B2 (en) * 2014-05-05 2020-11-03 Nutanix, Inc. Architecture for implementing service level management for a virtualization environment
EP3143607A1 (en) * 2014-05-14 2017-03-22 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
DE112014007205B4 (de) * 2014-11-26 2020-12-17 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016122966A (ja) * 2014-12-25 2016-07-07 富士通テン株式会社 データ再生装置、データ再生方法及びプログラム
JP6454554B2 (ja) * 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
WO2016140016A1 (ja) * 2015-03-03 2016-09-09 日立建機株式会社 車両の周囲監視装置
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
JP6734260B2 (ja) * 2015-03-31 2020-08-05 株式会社小松製作所 作業機械
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US10391938B2 (en) * 2015-05-15 2019-08-27 Ford Global Technologies, Llc Imaging system for locating a moving object in relation to another object
JP6595219B2 (ja) * 2015-06-08 2019-10-23 株式会社デンソーテン 物体報知装置および物体報知方法
JP6522441B2 (ja) * 2015-06-29 2019-05-29 日立建機株式会社 作業機械の作業支援システム
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
JP6254554B2 (ja) * 2015-07-21 2017-12-27 トヨタ自動車株式会社 情報提示システム
JP6468556B2 (ja) 2015-07-24 2019-02-13 アルプス電気株式会社 入力スイッチおよび入力装置
JP2017034453A (ja) * 2015-07-31 2017-02-09 富士通テン株式会社 画像処理装置、画像表示システム及び画像処理方法
KR101856890B1 (ko) * 2015-07-31 2018-05-10 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 표시 시스템, 작업 기계의 표시 장치, 및 작업 기계의 표시 방법
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
JP6563290B2 (ja) 2015-09-24 2019-08-21 中央発條株式会社 スプリングアセンブリ
JP6236577B2 (ja) * 2015-09-25 2017-11-22 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP2017069313A (ja) 2015-09-29 2017-04-06 株式会社日立国際電気 半導体装置の製造方法、基板処理装置、ガス供給システムおよびプログラム
CN106797449B (zh) * 2015-09-30 2019-12-03 株式会社小松制作所 履带式作业机械的周边监视装置
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
JP2017073017A (ja) 2015-10-08 2017-04-13 セイコーエプソン株式会社 電子装置、及び、表示制御方法
JP6306552B2 (ja) * 2015-10-13 2018-04-04 株式会社タダノ 遠隔操作装置、及び案内システム
KR102086272B1 (ko) * 2015-10-22 2020-03-06 닛산 지도우샤 가부시키가이샤 표시 제어 방법 및 표시 제어 장치
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
US9781494B1 (en) * 2015-12-28 2017-10-03 Wells Fargo Bank, N.A. Systems and methods for activity monitoring
US10225468B2 (en) * 2016-01-13 2019-03-05 Omnivision Technologies, Inc. Imaging systems and methods with image data path delay measurement
KR101765556B1 (ko) * 2016-05-11 2017-08-23 (주)캠시스 차량 속도에 따른 영상 처리 장치 및 방법
JP6723079B2 (ja) * 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
JP2018021651A (ja) * 2016-08-05 2018-02-08 トヨタ自動車株式会社 ガス充填システム
JP6935800B2 (ja) * 2016-09-26 2021-09-15 ソニーグループ株式会社 車両制御装置、車両制御方法、および移動体
KR101965834B1 (ko) * 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
CN110035926A (zh) * 2016-12-07 2019-07-19 三菱电机株式会社 显示控制装置、显示系统及显示控制方法
CN109644250A (zh) * 2016-12-28 2019-04-16 株式会社小松制作所 作业车辆及作业车辆的控制系统
WO2017131243A1 (ja) * 2017-02-09 2017-08-03 株式会社小松製作所 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法
US10668854B2 (en) * 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
CN110612562B (zh) * 2017-05-11 2022-02-25 三菱电机株式会社 车载用监视摄像头装置
AU2018341547B2 (en) * 2017-09-26 2021-07-08 Palfinger Ag Operating device and loading crane having an operating device
CN111344460B (zh) * 2017-12-04 2022-04-26 住友重机械工业株式会社 周边监视装置
JP6949767B2 (ja) * 2018-03-22 2021-10-13 日立建機株式会社 作業員管理システム
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
US11501619B2 (en) * 2019-11-22 2022-11-15 Deere & Company Worksite classification system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005032141A (ja) * 2003-07-10 2005-02-03 Azuma Systems:Kk 作業車両用周辺監視システム
US20130088593A1 (en) * 2010-06-18 2013-04-11 Hitachi Construction Machinery Co., Ltd. Surrounding Area Monitoring Device for Monitoring Area Around Work Machine
US20140354813A1 (en) * 2011-09-16 2014-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings Monitoring Device for Work Machine
JP2014062387A (ja) * 2012-09-20 2014-04-10 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械用周辺監視装置
US20150343976A1 (en) * 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
US20150326829A1 (en) * 2014-04-25 2015-11-12 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114423909A (zh) * 2019-09-18 2022-04-29 住友重机械工业株式会社 挖土机
CN114423909B (zh) * 2019-09-18 2023-09-29 住友重机械工业株式会社 挖土机
CN115362297A (zh) * 2020-03-31 2022-11-18 神钢建机株式会社 工程机械的周边检测装置

Also Published As

Publication number Publication date
JP7092688B2 (ja) 2022-06-28
EP3584120A4 (en) 2020-03-18
US11939746B2 (en) 2024-03-26
CN110114244B (zh) 2023-07-04
KR102449834B1 (ko) 2022-09-29
EP3584120A1 (en) 2019-12-25
JPWO2018151280A1 (ja) 2019-12-12
WO2018151280A1 (ja) 2018-08-23
US20190360177A1 (en) 2019-11-28
JP2022128470A (ja) 2022-09-01
EP3584120B1 (en) 2021-04-14
KR20190120162A (ko) 2019-10-23

Similar Documents

Publication Publication Date Title
CN110114244A (zh) 工作机械用周边监视系统
EP3722519B1 (en) Surrounding-area monitoring device
CN1300418C (zh) 用于建筑机械上的监测显示设备
US11946223B2 (en) Shovel
US11867815B2 (en) Laser gas detector and laser gas detection system
US20210258471A1 (en) Human-Automation Collaborative Tracker of Fused Object
CN105474635A (zh) 作业机械的周围监视装置
US11216664B2 (en) Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time
CN108026714A (zh) 施工机械用周边监视系统
US10294635B2 (en) Display device and display system of work machine
KR102119033B1 (ko) 영상을 이용한 도로의 노면 표시 훼손 정보 제공 장치 및 방법
JP5823207B2 (ja) 監視システム
CN106488014A (zh) 移动终端的安全提醒方法及系统
BR112018012901B1 (pt) Sistema para o controle central de um ou vários guindastes, guindaste e estação de controle central
CN107784844A (zh) 智能交通信号灯系统及其道路环境检测方法
US20140214187A1 (en) RC/Autonomous Machine Mode Indication
CN109945076A (zh) 一种基于机器视觉检测的管道淤堵积水检测系统
US20220333357A1 (en) Work machine periphery monitoring system, work machine, and work machine periphery monitoring method
CN111108250A (zh) 挖土机及挖土机的输出装置
KR102430303B1 (ko) 적외선 카메라를 이용한 스크린 도어 장애물 감지 시스템
JP2020024763A (ja) 反射検知システム
CN114248790B (zh) 一种视觉报警方法、装置及系统
Rezendez et al. Reducing Excavation Damage in the Natural Gas Industry Using Real-Time GIS and Sensors
CN117475464A (zh) 一种基于图像识别的钻井溢流人员操作风险监测系统及方法
WO2024074327A1 (en) Safety rule violation detection in a construction or constructed site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant