CN111344460B - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN111344460B
CN111344460B CN201880072820.8A CN201880072820A CN111344460B CN 111344460 B CN111344460 B CN 111344460B CN 201880072820 A CN201880072820 A CN 201880072820A CN 111344460 B CN111344460 B CN 111344460B
Authority
CN
China
Prior art keywords
shovel
alarm
unit
monitoring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072820.8A
Other languages
English (en)
Other versions
CN111344460A (zh
Inventor
清田芳永
大槻俊介
相泽晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Publication of CN111344460A publication Critical patent/CN111344460A/zh
Application granted granted Critical
Publication of CN111344460B publication Critical patent/CN111344460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2033Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/32Vehicle surroundings
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller

Abstract

本发明提供一种根据检测存在于施工机械周边的监视对象进行警报的输出或动作的限制等时能够抑制操作性下降的周边监视装置。因此,本发明的一实施方式的周边监视装置具备:检测部(301),检测挖土机(500)周边的规定的监视对象;及控制部(警报输出部(303)、动作限制部(304)),当通过检测部(301)检测到在挖土机(500)的高度方向上存在于规定的第1范围内的所述监视对象时,输出警报或进行挖土机(500)的动作限制。

Description

周边监视装置
技术领域
本发明涉及一种搭载于挖土机等施工机械的周边监视装置等。
背景技术
已知有若检测到挖土机等施工机械周边的规定的监视对象(例如,人),则输出警报或限制施工机械的动作等,以确保施工机械周边的安全性的周边监视装置(例如,参考专利文献1)。
以往技术文献
专利文献
专利文献1:日本特开2014-181508号公报
发明内容
发明要解决的技术课题
然而,专利文献1等中,在施工机械周边的监视对象区域内检测到的所有监视对象有可能成为输出警报或限制动作的对象。因此,实际上,尽管施工机械与检测到的监视对象触碰等的可能性极低(例如,在挖土机的工作面与监视对象存在的平面之间存在较大的高低差)的状况下,也可能会执行施工机械中的警报输出或动作限制。即,因进行不必要的警报输出或挖土机的动作限制而可能会降低施工机械的操作性。
因此,鉴于上述课题,目的在于提供一种在根据检测存在于施工机械周边的监视对象而进行警报的输出或动作的限制等时,能够抑制操作性下降的周边监视装置等。
用于解决技术课题的手段
为了实现上述目的,本发明的一实施方式中提供一种周边监视装置,其具备:
传感器,能够获取与施工机械周边的规定的监视对象的位置相关的检测信息;及
控制部,当所述监视对象存在于由所述传感器能够获取所述检测信息的范围内并存在于距所述施工机械规定距离以下的范围内且在所述施工机械的高度方向上存在于规定的第1范围内时,输出警报或进行所述施工机械的动作限制。
发明效果
根据上述实施方式,能够提供一种在根据检测存在于施工机械周边的监视对象而进行警报的输出或动作的限制等时能够抑制操作性下降的周边监视装置等。
附图说明
图1是表示周边监视系统的结构的一例的概略图。
图2是表示施工机械的一例的图。
图3是表示周边监视系统的详细结构的一例的框图。
图4是表示监视区域的一例的图。
图5是表示显示于显示装置的监视用图像的一例的图。
图6A是示意地说明周边监视装置的动作的一例的图。
图6B是示意地说明周边监视装置的动作的一例的图。
图6C是示意地说明周边监视装置的动作的一例的图。
图6D是示意地说明周边监视装置的动作的一例的图。
图7是概略地表示周边监视装置进行的监视处理的一例的流程图。
图8是概略地表示外部装置进行的允许解除处理的一例的流程图。
图9是概略地表示周边监视装置进行的解除处理的一例的流程图。
图10是表示施工机械的另一例的图。
图11是表示周边监视装置的结构的另一例的图。
图12A是表示从周边监视装置进行的警报及动作限制的对象中被排除的监视对象的具体例的图。
图12B是表示从周边监视装置进行的警报及动作限制的对象中被排除的监视对象的具体例的图。
图12C是表示从周边监视装置进行的警报及动作限制的对象中被排除的监视对象的具体例的图。
图12D是表示从周边监视装置进行的警报及动作限制的对象中被排除的监视对象的具体例的图。
图13是表示施工机械的又一例的图。
图14是表示施工机械的又一例的图。
图15是表示显示于显示装置的监视用图像的一例的图。
图16A是表示检测到警报及动作限制的对象即监视对象时的显示装置的显示内容的具体例的图。
图16B是表示检测到警报及动作限制的对象即监视对象时的显示装置的显示内容的具体例的图。
图16C是表示检测到警报及动作限制的对象即监视对象时的显示装置的显示内容的具体例的图。
图16D是表示检测到警报及动作限制的对象即监视对象时的显示装置的显示内容的具体例的图。
图17是概略地表示周边监视装置进行的监视处理的一例的流程图。
图18是概略地表示周边监视装置进行的监视处理的另一例的流程图。
具体实施方式
以下,参考附图对用于实施本发明的方式进行说明。
<周边监视系统的一例>
首先,参考图1~图9对本实施方式所涉及的周边监视系统1000的一例进行说明。
[周边监视系统的概要]
首先,对本实施方式所涉及的周边监视系统1000的概要进行说明。
图1是表示周边监视系统1000的结构的一例的概略图。
周边监视系统1000包含挖土机500、管理终端700、解除装置750、管理终端800及管理服务器900。
挖土机500为施工机械的一例。
如后所述,挖土机500若在其周边的规定范围内(后面叙述的监视区域内) 检测到规定的监视对象,则输出警报或进行动作限制。
并且,当正在输出警报或正在进行动作限制时,挖土机500根据规定的条件例如操作者进行的规定操作(对后面叙述的解除开关60的操作)或来自管理终端700等的后面叙述的允许解除通知的接收等,解除警报或动作限制(以下,统称为“警报等”)。
挖土机500通过规定的通信方法,例如基于蓝牙(Bluetooth)(注册商标) 的通信标准的通信(以下,称为“BT通信”)或基于约300Hz~3THz的RF(Ra dio Frequency:射频)频带的电波(以下,称为RF电波)进行的通信(以下,称为“RF通信”)等,与管理终端700等能够进行通信地连接。由此,挖土机500能够从管理终端700等接收各种信息(例如,允许解除通知等)。并且,挖土机500能够向管理终端700等发送各种信息(例如,后面叙述的警报输出通知、动作限制通知、委托解除通知等)。
并且,挖土机500例如通过以基站为终端的移动通信网或互联网等规定的通信网络NW与管理服务器900能够进行通信地连接。由此,挖土机500能够从管理服务器900接收各种信息(例如,允许解除通知等)。并且,挖土机500 能够向管理服务器900发送各种信息(例如,警报输出通知、动作限制通知、委托解除通知等)。
管理终端700(信息处理终端的一例)为挖土机500周边的工作者W所携带的移动终端,例如将由工作者W输入的施工现场中的各种信息或基于内置有摄像机功能的施工现场的摄像图像等适当上传到管理服务器900。
管理终端700例如可以是工作者W所携带的移动电话、智能手机、平板终端等通用的移动终端。并且,管理终端700可以是特殊化为允许解除挖土机50 0中的警报等的功能的专用终端(例如,用于向挖土机500发送允许解除通知的遥控开关等),也可以是控制具备该功能的挖土机500等施工机械的专用终端(即,远程操作终端)。
管理终端700例如通过BT通信或RF通信等规定的通信方法与挖土机500 能够进行通信地连接。由此,当在挖土机500中正在输出警报或正在进行动作限制时,管理终端700能够将允许解除警报等的允许解除通知发送至挖土机50 0。
并且,管理终端700能够从挖土机500获取(接收)用于判定是否允许解除警报或动作限制的各种信息(例如,与后面叙述的挖土机500周边的状况相关的周边状况信息)。并且,管理终端700能够接收对按钮或键盘等基于硬件的操作部或显示于触摸屏显示器等的按钮图标等基于软件的操作部的规定操作。因此,管理终端700根据所获取的各种信息或确认了挖土机500的周边状况的工作者W进行的规定操作等,判定是否允许解除警报等,并能够根据判定结果将允许解除通知发送至挖土机500。
另外,管理终端700也可以从除了挖土机500以外获取与挖土机500周边的状况相关的周边状况信息。例如,管理终端700也可以从监视用无人机获取周边状况信息,该周边状况信息包含通过搭载有在挖土机500的施工现场的上空飞行的该无人机的摄像机拍摄的挖土机500周边的摄像图像。以下,关于解除装置750、管理终端800、管理服务器900也相同。
并且,管理终端700也可以通过通信网络NW与管理服务器900能够双向通信地连接。在该情况下,管理终端700也可以经由通信网络NW从挖土机500获取上传到管理服务器900的各种信息(例如,周边状况信息等)。并且,管理终端700也可以经由管理服务器900向挖土机500发送各种信息(例如,允许解除通知等)。
另外,工作者W中除了在挖土机500周边实际进行工作的工作者以外,还可以包含监督包括基于挖土机500的工作的施工现场的一部分或全部的监督者等。
解除装置750(信息处理装置的一例)例如适当配置于离挖土机500的周边充分分开的位置(后面叙述的挖土机500的监视区域的外部)。
解除装置750与管理终端700相同地,通过BT通信或RF通信等规定的通信方法与挖土机500能够进行通信地连接。由此,解除装置750与管理终端70 0相同地,当在挖土机500中正在输出警报或正在进行动作限制时,能够将允许解除通知发送至挖土机500。
并且,解除装置750与管理终端700相同地,能够从挖土机500获取用于判定是否允许解除警报或动作限制的各种信息(例如,周边状况信息等)。并且,解除装置750与管理终端700相同地,能够接收对基于硬件或软件的操作部的规定操作。因此,解除装置750与管理终端700相同地,根据所获取的各种信息或确认了挖土机500的周边状况的工作者W进行的规定操作等,判定是否允许解除警报等,并根据判定结果,能够将允许解除通知发送至挖土机500。尤其,如上所述,解除装置750设置于挖土机500的监视区域的外部。因此,当工作者W进入监视区域时,解除装置750根据退避至监视区域外部的该工作者W进行的规定操作,能够判定为监视区域内的安全状况已得到确认即可以允许解除警报等。
另外,解除装置750也可以仅根据工作者W进行的操作而进行是否允许解除警报等的判定。即,解除装置750也可以是不根据获取了周边状况信息等的信息来判定是否允许解除警报等的方式。并且,解除装置750也可以搭载检测监视对象及挖土机500的传感器例如毫米波雷达、LIDAR(Light Detectio n And Ranging:激光雷达)及立体摄像机等。在该情况下,解除装置750在根据基于传感器的检测结果能够识别出的挖土机500与监视对象之间的相对位置关系来确认挖土机500周边的安全状况的基础上,才能够将后面叙述的允许解除通知发送至挖土机500。即,当根据传感器的检测结果判定为在监视区域内没有监视对象(人)时,解除装置750可以向挖土机500输出允许解除通知。
管理终端800(信息处理终端的一例)例如设置于在施工现场临时设置的管理事务所等,并且由在管理事务所中管理整个施工现场的管理者M或在管理事务所中等待的工作者W等利用。管理终端800例如将由管理者M或工作者W 输入的施工现场中的各种信息或基于内置的摄像机功能的施工现场的摄像图像等上传到管理服务器900。
管理终端800(信息处理装置的一例)例如可以是台式或便携式的通用计算机。并且,管理终端800也可以是特殊化为包含允许解除警报等的功能的与施工现场的管理相关的功能的台式或便携式的专用计算机。并且,管理终端80 0与管理终端700相同地,也可以是工作者W或管理者M能够携带的移动终端。即,管理终端800也可以是与管理终端700兼用且可从管理事务所带出的方式。
管理终端800与管理终端700等相同地,能够通过BT通信或RF通信等规定的通信方法与挖土机500进行通信地连接。由此,管理终端800与管理终端 700相同地,当在挖土机500中正在输出警报或正在进行动作限制时,能够将允许解除通知发送至挖土机500。
并且,管理终端800与管理终端700等相同地,能够从挖土机500获取用于判定是否允许解除警报或动作限制的各种信息(例如,周边状况信息等)。并且,管理终端800与管理终端700相同地,能够接收对基于硬件或软件的操作部的规定操作。因此,管理终端800与管理终端700相同地,根据所获取的各种信息或确认了挖土机500的周边状况的管理者M或工作者W进行的操作等,判定是否允许解除警报等,并根据判定结果,能够将允许解除通知发送至挖土机500。
并且,管理终端800与管理终端700相同地,也可以通过通信网络NW与管理服务器900能够进行双向通信地连接。在该情况下,管理终端800也可以经由通信网络NW从挖土机500获取上传到管理服务器900的各种信息(例如,警报输出通知、动作限制通知、委托解除通知等)。并且,管理终端800也可以经由管理服务器900向挖土机500发送各种信息(例如,允许解除通知等)。
管理服务器900设置于挖土机500的施工现场的外部。管理服务器900例如从管理终端700、800等收集与施工现场相关的各种信息(例如,日报、施工现场的摄像图像等),并进行施工现场及挖土机500的管理。管理服务器900 可以是对周边监视系统1000进行整体运用管理的经营者所具有的服务器(所谓的本公司服务器),也可以是除该经营者以外的经营者所具有并且进行运用管理的服务器(所谓的云服务器)。
管理服务器900通过通信网络NW与挖土机500能够进行通信地连接。由此,当在挖土机500中正在输出警报或正在进行动作限制时,管理服务器900 能够将允许解除通知发送至挖土机500。
并且,管理服务器900能够从挖土机500获取用于判定是否允许解除警报或动作限制的各种信息(例如,周边状况信息等)。并且,管理终端800与管理终端700等相同地,能够接收对基于硬件或软件的操作部的规定操作。因此,管理终端800与管理终端700相同地,根据所获取的各种信息或确认了挖土机 500的周边状况的工作者W进行的操作等,判定是否允许解除警报等,并根据判定结果,能够将允许解除通知发送至挖土机500。
以下,将管理终端700、解除装置750、管理终端800及管理服务器900统称为“外部装置600”,对挖土机500及包含外部装置600的周边监视系统100 0进行详细说明。
另外,在本实施方式中,设置多个外部装置600,但至少设置一个即可。并且,在外部装置600中还能够包含除上述以外的其他方式。例如,外部装置600也可以是包含计算机等的信息处理部、RF收发机及移动通信模块等通信设备,并且在挖土机500的施工现场的上空飞行并通过所搭载的摄像机能够拍摄挖土机500的施工现场的监视用无人机(信息处理装置的一例)。由此,作为外部装置600的无人机根据从摄像图像能够识别的挖土机500与监视对象之间的相对位置关系,确认挖土机500周边的安全状况,并且能够将允许解除通知发送至挖土机500。即,当根据摄像图像判定为在监视区域内没有监视对象 (人)时,作为该外部装置600的无人机能够将允许解除通知发送至挖土机50 0。
[施工机械的概要]
接着,参考图2对本实施方式所涉及的周边监视系统1000(参考图3)中所包含的施工机械的概要进行说明。
图2是表示本实施方式所涉及的周边监视系统1000中所包含的施工机械的一例的图,具体而言是挖土机500的侧视图。
另外,在本实施方式所涉及的周边监视系统1000中也可以包含除挖土机5 00以外的任意的施工机械例如推土机、轮式装载机、沥青铺筑机及林业机械等。
挖土机500具备下部行驶体1、经由回转机构2能够回转地搭载于下部行驶体1的上部回转体3;作为附属装置(工作装置)的动臂4、斗杆5及铲斗6;操作者搭乘的操纵室10。
下部行驶体1例如包含左右一对履带,并且通过由行驶用液压马达(未图示)液压驱动各自的履带而自行行驶。
上部回转体3由回转液压马达或电动机(均未图示)等驱动,由此相对于下部行驶体1进行回转。
动臂4能够俯仰地枢轴安装于上部回转体3的前部中央,在动臂4的前端能够上下转动地枢轴安装有斗杆5,在斗杆5的前端能够上下转动地枢轴安装有铲斗6。动臂4、斗杆5及铲斗6分别由动臂缸7、斗杆缸8及铲斗缸9液压驱动。
操纵室10为操作者搭乘的座舱,并且搭载于上部回转体3的前部左侧。
[周边监视系统的详细结构]
接着,除了图1、图2以外还参考图3对本实施方式所涉及的周边监视系统1000的具体结构进行说明。
图3是表示本实施方式所涉及的周边监视系统1000的详细结构的一例的框图。
如上所述,周边监视系统1000包含挖土机500及外部装置600。
挖土机500中搭载有周边监视装置100。
周边监视装置100监视监视对象即规定的物体(以下,简称为“监视对象”)向挖土机500周边的规定范围内的侵入,当检测到监视对象时,输出警报或限制挖土机的动作。监视对象中不仅包含在挖土机500的周围进行工作的工作人员或施工现场的现场监督等的人,还能够包含在施工现场中临时存放的材料等固定放置的障碍物或包括卡车在内的车辆等进行移动的障碍物等除人以外的任意的物体。以下,以人为前提,对监视对象继续进行说明。
周边监视装置100包含控制器30、摄像装置40、显示装置50、语音输出装置52、门锁阀54、解除开关60、确认动作状态检测部70、通信设备72及外部通知装置74。并且,作为与周边监视装置100相关的结构,包含设置于挖土机500外部的外部装置600,本实施方式所涉及的周边监视系统1000以包含搭载于挖土机500的周边监视装置100及外部装置600的方式构成。
控制器30是以进行挖土机500的驱动控制为主的控制装置。例如,控制器 30搭载于操纵室10内,并且进行与周边监视装置100相关的各种控制处理。
控制器30可以通过任意的硬件或硬件及软件的组合来实现其功能。控制器 30例如以包含CPU(Central Processing Unit:中央处理器)、RAM(Rando m Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、辅助存储装置、RTC(Real TimeClock:实时时钟)及各种通信用接口等的微型计算机为中心构成。控制器30例如作为通过在CPU上执行存储于 ROM或辅助存储装置的各种程序而实现的功能部,包含检测部301、显示控制部302、警报输出部303、动作限制部304、委托解除通知部305、周边状况信息发送部306及判定部307。
摄像装置40安装于上部回转体3的上部,并且拍摄挖土机500的周边。摄像装置40包含摄像机40B、40L、40R。
摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3的后端上部、左端上部及右端上部,并且拍摄上部回转体3的后方、左侧及右侧。具体而言,摄像机40B、摄像机40L及摄像机40R分别在上部回转体3的上部安装成光轴朝向斜下方,并且拍摄包含从挖土机500附近的地面至挖土机500远方的上下方向的摄像范围(视角)。摄像机40B、摄像机40L及摄像机40R分别在挖土机500的运行中,每隔规定周期(例如,1/30秒)输出摄像图像,所输出的摄像图像输入于控制器30。
显示装置50设置于操纵室10内的操作员座的周边,具体而言,设置于从就坐于操作员座的操作者容易视觉辨认的位置,并且在基于控制器30控制下显示通知给操作者的各种图像信息。显示装置50例如为液晶显示器或有机EL(E lectroluminescence:电致发光)显示器,也可是兼作操作部的触控面板式。具体而言,显示装置50显示摄像装置40的摄像图像(实时取景图像)或通过控制器30根据摄像装置40的摄像图像生成的周边图像(例如,后面叙述的视点转换图像)等。
语音输出装置52设置于操纵室10内的操作员座的周边,并且在基于控制器30的控制下输出通过给操作者的各种语音信息。语音输出装置52例如为扬声器或蜂鸣器等。具体而言,语音输出装置52根据来自控制器30的控制指令输出警报音。
门锁阀54设置于从先导泵(未图示)对操作挖土机500的动作要件(即,下部行驶体1、上部回转体3、动臂4、斗杆5及铲斗6等)的操作装置(未图示)供给先导压的先导管路的最上游,并且切换先导管路的连通/非连通。
例如,通常,门锁阀54根据与设置于操纵室10内的相当于操作员座的入口的部分的门锁杆(未图示)的操作状态联动的门锁开关的输出信号(“开启” /“关闭”),切换先导管路的连通/非连通。具体而言,当门锁开关的输出信号为与门锁杆被提拉的状态(即,操作者就坐于操作员座的状态)对应的“开启”信号时,门锁阀54将先导管路设为连通状态。另一方面,当门锁开关的输出信号为与门锁杆被拉下的状态(即,操作者从操作员座离开的状态)对应的“关闭”信号时,门锁阀54将先导管路设为非连通状态。
并且,例如,门锁阀54构成为还能够接收从控制器30输入的指令信号。具体而言,门锁阀54中,其信号输入部可以与门锁开关的输出信号及来自控制器30的指令信号这两者被输入的逻辑与电路即若从至少一个输入“关闭”信号则输出“关闭”信号的逻辑电路连接。由此,门锁阀54即使在门锁杆被提拉的状态下,也根据来自控制器30的指令信号(“开启”信号/“关闭”信号),能够切换先导管路的连通/非连通。即,门锁阀54在基于控制器30的控制下,即使在门锁杆被提拉的状态下,也将先导管路设为非连通状态。
解除开关60(解除意向输入部的一例)为输入操作者解除后面叙述的警报或挖土机500的动作限制的解除意向的操作部。解除开关60例如可以是基于后面叙述的操作部50B的按钮、操纵杆及旋钮等硬件的操作部,也可以是显示于显示装置50的操作画面上的虚拟按钮(图标)等基于软件的操作部。与解除开关60的操作状态相关的信息输入于控制器30。以下,关于后面叙述的监视功能开关62或显示内容切换开关64等也相同。
另外,也可以代替解除开关60而采用识别与操作者进行的解除意向对应的特定的姿势或手势的摄像机(解除意向输入部的一例)及识别与基于操作者的解除意向对应的特定的视线移动的视线传感器(解除意向输入部的一例)等。
确认动作状态检测部70例如搭载于操纵室10内,并且检测操纵室10内的操作者进行的确认挖土机500周边的状况的动作(以下,称为“周边状况确认动作”)。确认动作状态检测部70例如为拍摄包含操作者脸部在内的操纵室1 0内的摄像机或检测操作者视线的视线传感器等。由此,根据从摄像机的摄像图像或视线传感器的检测信号识别的操作者视线的移动,能够检测操作者的周边状况确认动作。并且,确认动作状态检测部70例如为设置于操作者佩戴的安全帽或头盔并且检测操作者的脑波的脑波传感器。由此,根据操作者的脑波的变化或其倾向,能够检测操作者的周边状况确认动作。
通信设备72为在与外部装置600之间进行控制信号或信息信号等的收发的器件。通信设备72在控制器30的控制下,将各种信号(例如,后面叙述的警报输出通知、动作限制通知、委托解除通知等)发送至外部装置600。并且,通过通信设备72接收的来自外部装置600的信号被输入于控制器30。
例如,通信设备72能够包含在与外部装置600之间进行RF通信的RF收发机。并且,例如,通信设备72能够包含在与外部装置600之间进行BT通信的蓝牙通信模块(BT通信模块)。并且,例如,通信设备72为在与外部装置600 之间直接或经由规定的服务器(管理服务器900)等并通过移动通信网等进行各种信号的收发的移动通信模块。
外部通知装置74为在基于控制器30的控制下向挖土机500的周边通知挖土机500的状况的器件。
例如,外部通知装置74也可以是能够通过听觉方法即语音向挖土机500的周边通知挖土机500状况的扬声器或蜂鸣器等语音输出装置。
并且,例如,外部通知装置74也可以是能够通过视觉方法即信息的显示向挖土机500的周边通知挖土机500状况的显示器或电子告示牌等显示装置。
检测部301根据通过摄像装置40拍摄的摄像图像,检测挖土机500周边的规定区域(监视区域)内,例如检测距挖土机500的距离D为规定距离D1(例如,5米)以内的规定的监视对象。
例如,图4是示意地表示检测部301的监视区域的一例的图。
如图4所示,监视区域中包含分别与摄像机40B、摄像机40L及摄像机40R 对应的监视区域MAB、监视区域MAL及监视区域MAR。
控制器30在与资源平衡的范围内能够将监视区域MAB、MAL、MAR以由点线表示的方式扩展或以由单点划线表示的方式缩小。例如,当将监视区域MAB以由单点划线表示的方式扩展时,控制器30通过缩小监视区域MAL、MAR中的至少一个,控制器30(检测部301)在规定的处理时间内能够完成检测监视对象的处理。
返回图3,检测部301例如通过任意地适用已知的各种图像处理方法或包含人工智能(AI:Artificial Intelligence)等的机器学习库的识别器等,识别摄像图像内的监视对象。而且,检测部301能够确定识别出的监视对象的实际存在位置(从挖土机500至识别出的监视对象为止的距离D等)。并且,检测部301还能够确定监视对象的种类(例如,是人还是除了人以外的障碍物)。
如上所述,监视对象例如包含在挖土机500的周边进行工作的工作者或监督者等人、临时存放的建筑材料及妨碍工程车辆等挖土机500的工作的障碍物。
另外,检测部301也可以代替摄像装置40的摄像图像或附加,而根据搭载于挖土机500的其他传感器的检测结果(距离图像等),检测挖土机500周边的监视对象。检测部301例如根据搭载于挖土机500的毫米波雷达、激光雷达及立体摄像机等的检测结果,能够检测监视对象。
显示控制部302在显示装置50中显示各种信息图像。
例如,显示控制部302根据基于操作者的规定操作,并根据摄像装置40的摄像图像,生成周边图像并显示于显示装置50。具体而言,作为周边图像,显示控制部302根据摄像机40B、摄像机40L及摄像机40R的摄像图像进行已知的视点转换处理,由此生成从虚拟视点观察的视点转换图像并显示于显示装置 50。并且,显示控制部302在将周边图像显示于显示装置50时,为了明确表示摄像装置40的摄像范围与挖土机500之间的相对位置关系而在显示装置50中一并显示示意地表示挖土机500的挖土机图像。即,显示控制部302生成包含挖土机图像及对应于挖土机500与摄像装置40的摄像范围之间的相对位置关系而配置于挖土机图像的周围的周边图像的监视用图像并显示于显示装置50。
另外,显示控制部302的功能也可以内置于显示装置50。在该情况下,摄像装置40(摄像机40B、摄像机40L、摄像机40R)的摄像图像及检测部301的检测结果等信息分别从摄像装置40及控制器30输入于显示装置50。
例如,图5是表示显示于显示装置50的监视用图像MP的一例的图。
如图5所示,显示装置50包含显示各种信息图像的显示部50A及操作各种信息图像中所显示的操作对象(例如,操作按钮图标或光标等)的基于硬件的操作部50B。
在本例中,在显示部50A不仅显示监视用图像MP,还显示提示与挖土机50 0的运行相关的各种信息的运行信息图像IP。具体而言,在显示部50A的上半部分显示监视用图像MP,在下半部分显示运行信息图像IP。
运行信息图像IP包含日期和时间显示区域IPa、行驶模式显示区域IPb、端接附件显示区域IPc、发动机控制状态显示区域IPe、发动机工作时间显示区域IPf、冷却水温显示区域IPg、燃料余量显示区域IPh、转速模式显示区域IP i、工作油温显示区域IPk、摄像机图像显示区域IPm、警告显示区域IPp及朝向显示图标IPx。
日期和时间显示区域IPa为图像显示当前的日期和时间的区域。在本例中,采用数字显示,并且示出了日期为2013年2月19日且时刻为23时59分。
行驶模式显示区域IPb为图像显示当前的行驶模式的区域。行驶模式表示使用了变量泵的行驶用液压马达的设定状态。具体而言,行驶模式具有低速模式及高速模式。低速模式以模仿了“乌龟”的标记来显示,高速模式以模仿了“兔子”的标记来显示。在本例中,显示有模仿了“乌龟”的标记,操作者能够识别出已设定为低速模式。
端接附件显示区域IPc为图像显示表示当前所安装的端接附件的图像的区域。安装于挖土机的端接附件中除了铲斗6以外,还包含凿岩机、抓钩、磁力吊等各种端接附件。端接附件显示区域IPc例如显示模仿了这些端接附件的标记。在本例中,显示有模仿了凿岩机的标记,操作者能够识别出作为端接附件安装有凿岩机。
发动机控制状态显示区域IPe为图像显示发动机的控制状态的区域。在本例中,操作者能够识别出作为发动机的控制状态选择了“自动减速/自动停止模式”。另外,“自动减速/自动停止模式”表示根据发动机负荷小的状态的持续时间,自动降低发动机转速,进而自动停止发动机的控制状态。此外,发动机的控制状态中有“自动减速模式”、“自动停止模式”及“手动减速模式”等。
发动机工作时间显示区域IPf为图像显示发动机的累计工作时间的区域。在本例中,显示使用了单位“hr(小时)”的值。
冷却水温显示区域IPg为图像显示当前的发动机冷却水的温度状态的区域。在本例中,显示有表示发动机冷却水的温度状态的条形图。另外,根据安装于发动机的水温传感器输出的数据显示发动机冷却水的温度。
具体而言,冷却水温显示区域IPg包含异常范围显示IPg1、注意范围显示 IPg2、正常范围显示IPg3、扇形区显示IPg4及图标显示IPg5。
异常范围显示IPg1、注意范围显示IPg2及正常范围显示IPg3分别为用于对操作者通知发动机冷却水的温度处于异常高温状态、需要注意的状态及正常状态的显示。并且,扇形区显示IPg4为用于对操作者通知发动机冷却水的温度的高低的显示。并且,图标显示IPg5是表示异常范围显示IPg1、注意范围显示IPg2、正常范围显示IPg3及扇形区显示IPg4为与发动机冷却水的温度相关的显示的记号图形等图标。
另外,图标显示IPg5也可以是表示与发动机冷却水的温度相关的显示的字符信息。
在本例中,扇形区显示IPg4由分别控制点亮/熄灯状态的8个扇形区构成,冷却水温变得越高,点亮状态的扇形区的数量越增加。在本例中,4个扇形区成为点亮状态。并且,扇形区显示IPg4构成规定圆的一部分(圆弧),并且以根据发动机冷却水的温度的上下浮动而其圆弧的长度伸缩的方式显示。并且,在本例中,各扇形区所表示的温度的宽度相同,但也可以按每个扇形区改变温度的宽度。
并且,在本例中,异常范围显示IPg1、注意范围显示IPg2及正常范围显示IPg3分别为以沿扇形区显示IPg4的伸缩方向(规定圆的圆周方向)的方式排列配置的圆弧状的图形,并且以红色、黄色及绿色来显示。并且,扇形区显示IPg4中,从第1个(最下位)至第6个扇形区属于正常范围,第7个扇形区属于注意范围,第8个(最上位)扇形区属于异常范围。
另外,在冷却水温显示区域IPg中,也可以表示异常等级、注意等级及正常等级的字符、记号等显示于各自的边界部分,而代替以圆弧状的图形来显示异常范围显示IPg1、注意范围显示IPg2及正常范围显示IPg3。
并且,在燃料余量显示区域IPh及工作油温显示区域IPk中,也相同地采用包含异常范围显示、注意范围显示、正常范围显示、扇形区显示及图标显示的上述结构。并且,在燃料余量显示区域IPh中,也可以将表示“Full(加满状态)”的字符“F”黑圆点(涂满的圆形记号)、表示“Empty(空状态)”的字符“E”或白圆点(未涂满的圆形记号)等显示于各自的边界部分,而代替显示表示异常范围、注意范围及正常范围的圆弧状的图形。
燃料余量显示区域IPh为图像显示储存于燃料箱的燃料的余量状态的区域。在本例中,显示有表示当前的燃料的余量状态的条形图。根据由燃料箱内的燃料余量传感器输出的数据显示燃料余量显示区域IPh的燃料的余量。
转速模式显示区域IPi为图像显示当前的转速模式的区域。转速模式例如包含上述的SP模式、H模式、A模式及怠速模式这4个。在本例中,显示有表示SP模式的记号“SP”。
工作油温显示区域IPk为图像显示工作油罐内的工作油的温度状态的区域。在本例中,显示有表示工作油的温度状态的条形图。根据由工作油罐内的油温传感器输出的数据显示工作油温显示区域IPk的工作油的温度。
另外,在冷却水温显示区域IPg、燃料余量显示区域IPh及工作油温显示区域IPk中,也可以代替条形图显示而采用针显示。
摄像机图像显示区域IPm为直接显示摄像机40B、摄像机40L及摄像机40R 中的至少一个摄像图像(实时取景图像)的区域。由此,操作者除了监视用图像MP以外,还能够在运行信息图像IP内直接视觉辨认通过摄像装置40拍摄的摄像图像(实时取景图像)。
例如,在挖土机运转的期间,在摄像机图像显示区域IPm还可以始终显示通过摄像机40B拍摄的摄像图像。此时,摄像机图像显示区域IPm的摄像机40 B的摄像图像(实时取景图像)优选以镜像来显示。
并且,在本例中,摄像机图像显示区域IPm占运行信息图像IP右侧的三分之二左右的区域。这是为了在显示装置50设置于驾驶座的右侧前方的环境下,设为在靠近驾驶座(操作者)的一侧显示燃料余量显示区域IPh等而在远离驾驶座(操作者)的一侧显示摄像机图像显示区域IPm,以提高整体的视觉辨认性。但是,也可以根据需要变更运行信息图像IP中的各显示区域的尺寸及配置。
并且,关于显示于摄像机图像显示区域IPm的摄像图像,也可以根据对触控面板式显示部50A的触碰操作等或对操作部50B的操作,切换所显示的摄像图像的摄像端的摄像装置40,或进行摄像图像的放大或缩小。例如,可以是如下方式,即,操作者通过进行通过操作部50B的十字按钮50Ba指定左右方向的操作,能够切换显示于摄像机图像显示区域IPm的摄像图像(实时取景图像) 的摄像端的摄像装置40(摄像机40B、摄像机40L、摄像机40R)。并且,也可以是如下方式,即,操作者通过分别对缩放按钮50Bb的指定上方向的按钮及指定下方向的按钮进行按压操作,能够放大或缩小摄像图像。此时,操作者通过触碰触控面板式显示部50A上的摄像机图像显示区域IPm的任意的位置,能够指定位置,并且以该指定位置为中心进行放大缩小。并且,也可以是如下方式,即,操作者通过十字按钮50Ba,能够移动光标并且以光标位置为中心进行放大缩小。
警告显示区域IPp为显示警告的区域。在本例中,表示发生了电气系统异常的警告消息重叠显示于实时取景图像上。并且,在本例中,当通过摄像机40 B拍摄的摄像图像未显示于摄像机图像显示区域IPm的状态进行了操纵杆操作时,在警告显示区域IPp显示警告该情况的警告。并且,当不存在需显示的警告时,实时取景图像直接显示于警告显示区域IPp。
朝向显示图标IPx为表示拍摄了运行信息图像IP中所显示的摄像图像(实时取景图像)的摄像装置40的朝向与挖土机(上部回转体3的附属装置)的朝向之间的相对关系的图标。在本例中,表示拍摄显示于摄像机图像显示区域IP m的摄像机图像的摄像装置40为摄像机40B的朝向显示图标Ipx被显示于摄像机图像显示区域IPm的右下角。
另外,朝向显示图标IPx可以显示于摄像机图像显示区域IPm的下部中央、左下角、右上角及左上角等除了右下角以外的位置,也可以显示于摄像机图像显示区域IPm的外部。
并且,运行信息图像IP可以省略上述的显示区域IPa~IPk的一部分,也可以包含除了上述以外的显示区域。例如,运行信息图像IP也可以包含显示废气过滤器(例如,柴油机微粒去除装置(DPF:Diesel Particulate Filter /柴油机微粒过滤器)等)的堵塞情况的废气过滤器状态显示区域。具体而言,废气过滤器状态显示区域也可以显示表示废气过滤器的当前的使用时间相对于允许最大使用时间的比例的条形图。并且,运行信息图像IP可以省略工作油的温度状态的显示,也可以省略工作油的温度状态及冷却水的温度状态的显示。
并且,在摄像机图像显示区域IPm的下部包含上部回转体3的罩体3a的后端上缘的图像即作为车身图像的罩体图像IPq。由此,显示装置50使操作者更轻松地捕捉显示于摄像机图像显示区域IPm的物体与挖土机之间的距离感。并且,本实施例中,朝向显示图标IPx重叠显示于罩体图像IPq上。这是为了使朝向显示图标IPx的背景颜色始终相同而提高其视觉辨认性。并且,这是为了防止显示图标IPx遮掩摄像机图像的想要看的部分。但是,朝向显示图标IPx 也可以显示于摄像机图像显示区域IPm的外部。
并且,如图5所示,在显示装置50的显示部50A的上半部分的横长的长方形的画面(例如,纵横尺寸比4:3的画面),显示有如上所述的包含挖土机图像CG及配置于挖土机图像CG的周围的周边图像EP的监视用图像MP。由此,操作者等能够确切地掌握周边图像EP中所映出的监视对象(即,人)与挖土机 500之间的位置关系。
本例中的周边图像EP为组合了从正上方观察了与挖土机500相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP的周围且以水平方向从挖土机500 观察了该周边区域的水平图像HVP的视点转换图像。视点转换图像即周边图像 EP通过在将摄像机40B、摄像机40L及摄像机40R各自的摄像图像投影到空间模型的基础上,将投影到该空间模型的投影图像再次投影到另一二维平面来获得。空间模型为虚拟空间中的摄像图像的投影对象,并且由包含除了摄像图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,在监视用图像MP中重叠显示有引导线LN1。引导线LN1表示距挖土机500的距离D为规定距离D2(≤D1)的位置。由此,当在周边图像中映出监视对象(即,人)时,操作者等能够掌握位于离挖土机500分开何种程度的位置。
并且,在本例中,监视用图像MP的周边图像EP中包含监视对象即人(工作者W1)。以用粗线框FR1包围的方式强调周边图像EP中所包含的监视区域内的工作者W1。由此,能够向操作者警报(通知)监视对象侵入监视区域的情况。
返回图3,当通过检测部301在监视区域即距挖土机500的距离D为规定距离D1以内检测到监视对象(人)时,警报输出部303(控制部的一例)向操纵室10的内部即操作者输出警报。由此,周边监视装置100能够使操作者意识到监视对象(人)进入了挖土机500周边的监视区域内,并且对操作者督促确认挖土机500周边的安全状况。
例如,警报输出部303输出基于听觉方法即语音的警报。具体而言,警报输出部303向语音输出装置52输出控制指令而使其输出警告音。
另外,警报输出部303也可以根据各种条件改变警告音的音高、音压、音色等或周期性地鸣放警告音(例如,蜂鸣器声)时的鸣放周期等。例如,警报输出部303也可以根据通过检测部301检测到的监视对象相对于挖土机500的相对位置,改变警告音的音高、音压、音色及鸣放周期等。具体而言,当检测到与挖土机500相对较近的监视对象时及检测到与挖土机500相对较远的监视对象时,警报输出部303也可以改变警告音的音高、音压、音色及鸣放周期等中的至少一个。由此,周边监视装置100根据警告音的差异,能够使操作者等掌握与挖土机500之间的位置关系(接近程度)。以下,关于使用外部通知装置74时也相同。
并且,例如,警报输出部303输出基于视觉方法的警报。具体而言,警报输出部303向显示控制部302发送警报请求。由此,显示控制部302根据警报请求,实施用粗线框包围等强调显示于显示装置50的监视用图像MP的周边图像EP中所包含的监视对象即人的处理(参考图4),显示装置50能够输出对操作者的警报。
另外,警报输出部303也可以输出基于触觉方法的警报。具体而言,警报输出部303例如也可以向搭载于操作员座的振动发生装置(振动器)输出控制指令,并通过使操作员座振动,输出对操作者的触觉警报。
并且,当输出警报时,警报输出部303向挖土机500的外部通知在挖土机 500中输出警报的情况。
例如,当输出警报时,警报输出部303控制外部通知装置74(外部通知部的一例),并通过听觉或视觉方法向挖土机500的周边通知(报知)在挖土机 500中输出警报的情况。由此,周边监视装置100能够使在挖土机500的周边进行工作的工作者、监督者等或位于离挖土机500较近的位置的管理事务所的管理者等意识到在挖土机500中输出警报。
另外,警报输出部303也可以通过触觉方法通知在挖土机500中输出警报的情况。具体而言,警报输出部303通过通信设备72(外部通知部的一例)向在挖土机500的周边进行工作的工作者、监督者等或者管理事务所或管理服务器900的管理者等所携带的带振动器功能的规定设备(例如,后面叙述的管理终端700等)发送用于使振动器功能工作的基于规定通信标准的无线信号(与 RF通信或BT通信对应的信号)。由此,工作者等所携带的规定设备发生振动,因此挖土机500能够向周边的工作者等通知(报知)在挖土机500中输出警报的情况。
并且,例如,当输出警报时,警报输出部303控制通信设备72(外部通知部的一例),将在挖土机500中输出警报的情况的通知(以下,称为“警报输出通知”)发送至外部装置600。由此,周边监视装置100能够使判定是否允许警报解除的外部装置600或外部装置600的利用者(例如,挖土机500周边的工作者、监督者或者管理事务所的现场管理者或管理服务器900的管理者等) 意识到在挖土机500中输出警报的情况。并且,当输出警报时,警报输出部30 3也可以控制通信设备72,并且向外部装置600的利用者的预先登录的邮件地址或规定的社交网络服务(SNS:Social Networking Service)的账户发送警报输出通知。由此,周边监视装置100能够使外部装置600的利用者意识到在挖土机500中输出警报。
另外,也可以按照操作者等的意向在操纵室10内设置用于向挖土机500的外部通知在挖土机500中输出警报的情况的专用输入部(外部通知意向输入部的一例。例如,通过操作输入意向的按钮开关等的操作部或者通过规定的手势、姿势或视线移动等输入意向的摄像机或视线传感器等)。在该情况下,当存在对该专用输入部的意向输入时,通过外部通知装置74或通信设备72向挖土机 500的外部通知在挖土机500中输出警报的情况。
并且,如后所述,当通过判定部307判定为由操作者进行了周边状况确认动作,且由操作者操作了解除开关60时,警报输出部303解除警报输出,即,使输出中的警报停止。由此,周边监视装置100在由操作者确切地进行了挖土机500周边的安全状况的基础上,才能够解除警报的输出。因此,可抑制因操作者未确认挖土机500的周边状况而形式性地操作解除开关60导致警报被解除的事态,从而能够提高挖土机500的施工现场的安全性。
并且,如后所述,当通过判定部307判定为在挖土机500的外部允许了警报的解除,且由操作者操作了解除开关60时,警报输出部303解除警报的输出,即,使输出中的警报停止。由此,周边监视装置100在挖土机500的外部中,在确切地进行了基于挖土机500周边的安全状况的确认的警报允许解除的基础上,才能够解除警报的输出。因此,可抑制因未确认挖土机500的周边状况而操作者形式性地操作解除开关60导致警报被解除的事态,从而能够提高挖土机500的施工现场的安全性。
当通过检测部301在监视区域检测到人时,动作限制部304(控制部的一例)限制挖土机500的动作要件(下部行驶体1、上部回转体3、动臂4、斗杆 5及铲斗6等)的动作。例如,动作限制部304通过向门锁阀54发送作为指令信号的“开启”信号,使门锁阀54将先导管路设为非连通状态。由此,从先导泵(未图示)不会向操作挖土机500的动作要件的操作装置(未图示)供给工作油(先导压),因此能够以即便操作者对操作装置进行操作输入也使挖土机 500的动作要件不动作的方式进行限制。因此,即使在人进入接近挖土机500的监视区域的情况下,也限制挖土机500的动作,从而能够抑制挖土机500与人的碰撞,其结果,能够实现维持挖土机500周边的安全性。
另外,例如,设置对从操作装置输出的二次侧先导压进行减压的减压阀,动作限制部304也可以代替门锁阀54控制该减压阀。在该情况下,该减压阀通过将从操作装置输出的二次侧先导压减压至相当于操作量零的压力值以下,能够使操作者对操作装置的操作无效。因此,动作限制部304通过控制该减压阀,作为结果能够限制挖土机500的动作要件的动作。并且,动作限制部304也可以通过控制该减压阀,不停止挖土机500的动作要件而以将对操作者的操作的各种动作要件的动作抑制为比通常更缓慢的方式限制挖土机500的动作。
并且,当进行挖土机500的动作限制时,动作限制部304向挖土机500的外部通知正在进行挖土机500的动作限制的情况。
例如,当进行挖土机500的动作限制时,动作限制部304控制外部通知装置74(外部通知部的一例),向挖土机500的周边通知(报知)正在进行挖土机500的动作限制的情况。由此,周边监视装置100能够使在挖土机500的周边进行工作的工作者、监督者等或位于离挖土机500较近的位置的管理事务所的管理者等意识到正在进行挖土机500的动作限制。
另外,动作限制部304也可以与警报输出部303的情况相同地通过触觉方法通知正在进行挖土机500的动作限制的情况。
并且,例如,当进行挖土机500的动作限制时,动作限制部304控制通信设备72(外部通知部的一例)而将正在进行挖土机500的动作限制的情况的通知(以下,称为“动作限制通知”)发送至外部装置600。由此,周边监视装置100能够使判定是否允许动作限制解除的外部装置600或外部装置600的利用者意识到正在进行挖土机500的动作限制的情况。并且,当进行挖土机500 的动作限制时,动作限制部304也可以控制通信设备72而向外部装置600的利用者的预先登录的邮件地址或规定的SNS账户发送警报输出通知。由此,周边监视装置100能够使外部装置600的利用者意识到正在进行挖土机500的动作限制的情况。
另外,与警报的情况相同地,也可以按照操作者等的意向在操纵室10内设置用于将正在进行挖土机500的动作限制的情况向挖土机500的外部通知的专用输入部(外部通知意向输入部的一例)。并且,与警报对应的专用输入部及与动作限制对应的专用输入部也可以是通用的输入部。在该情况下,当存在对该专用输入部的意向输入时,通过外部通知装置74或通信设备72向挖土机50 0的外部通知正在进行挖土机500的动作限制的情况。
并且,如后所述,当通过判定部307判定为由操作者进行了周边状况确认动作,且由操作者操作了解除开关60时,动作限制部304解除挖土机500的动作限制。由此,周边监视装置100在由操作者确切地进行了挖土机500周边的安全状况的基础上,才能够解除挖土机500的动作限制。因此,可抑制因操作者未确认挖土机500周边状况而形式性地操作解除开关60导致挖土机500的动作限制被解除的事态,从而能够提高挖土机500的施工现场的安全性。
并且,如后所述,当通过判定部307判定为在挖土机500的外部允许解除挖土机500的动作限制,且由操作者操作了解除开关60时,动作限制部304解除挖土机500的动作限制。由此,周边监视装置100在挖土机500的外部中,在确切地进行了基于挖土机500周边的安全状况的确认的动作限制解除的允许的基础上,才能够解除挖土机500的动作限制。因此,可抑制因未确认挖土机 500的周边状况而操作者形式性地操作解除开关60导致挖土机500的动作限制被解除的事态,从而能够提高挖土机500的施工现场的安全性。
当由操作者操作了解除开关60时,委托解除通知部305控制通信设备72 而将委托解除警报或动作限制的情况的通知(以下,称为“委托解除通知”) 发送至外部装置600。并且,当由操作者操作了解除开关60时,委托解除通知部305也可以控制通信设备72而向外部装置600的利用者的预先登录的邮件地址或规定的SNS账户发送委托解除通知。由此,周边监视装置100能够使外部装置600或外部装置600的利用者主动地委托解除警报或挖土机500的动作限制的允许。
另外,当警报的输出或挖土机500的动作限制开始时,委托解除通知也可以不管有无基于操作者的解除开关60的操作均发送至外部装置600或外部装置 600的利用者的邮件地址等。并且,如上所述,在发送委托解除通知之前,警报输出通知或动作限制通知发送至外部装置600等,因此也可以省略委托解除通知的发送。即,也可以省略委托解除通知部305。并且,也可以是与解除开关60另行地在操纵室10内设置的用于按照操作者等的意向而将委托解除通知发送至外部装置600或外部装置600的利用者的邮件地址等的专用输入部(委托解除意向输入部的一例。例如,通过操作输入意向的按钮开关等操作部,或通过规定的手势、姿势或视线移动等输入意向的摄像机或视线传感器等)。在该情况下,当存在对专用输入部的意向输入时,委托解除通知也可以发送至外部装置600或外部装置600的利用者的邮件地址等。
当正在进行警报的输出或挖土机500的动作限制时,周边状况信息发送部 306将与挖土机500周边的状况相关的信息(以下,称为“周边状况信息”) 定期地发送至外部装置600。当正在进行警报的输出或挖土机500的动作限制时,周边状况信息发送部306可以自动地向外部装置600发送周边状况信息,也可以根据从外部装置600由通信设备72接收的请求信号向外部装置600发送周边状况信息。
周边状况信息中例如能够包含基于摄像装置40的挖土机500周边的摄像图像。并且,周边状况信息中例如能够包含基于检测部301的监视对象的检测结果或与检测到的监视对象的位置等相关的信息。
判定部307判定是否由操作者确认了挖土机500周边的安全状况即是否进行了周边状况确认动作。
例如,判定部307根据确认动作状态检测部70的检测结果,判定是否由操作者进行了周边状况确认动作。具体而言,如上所述,判定部307也可以根据通过作为确认动作状态检测部70的摄像机或视线传感器检测到的操作者的视线的移动,判定是否由操作者进行了周边状况确认动作。更具体而言,当能够判定为操作者的视线目视了用于间接观察挖土机500周边的反射镜(例如,后视镜)或显示于显示装置50的实时取景图像或监视用图像时,判定部307可以判定为由操作者进行了周边状况确认动作。
并且,如上所述,判定部307也可以根据通过作为确认动作状态检测部70 的脑波传感器检测到的操作者的脑波,判定是否由操作者进行了周边状况确认动作。更具体而言,例如,当由操作者操作了解除开关60时,判定部307可以根据操作者的脑波,判定是否对警报的输出或挖土机500的动作限制无意识地 (反射性地)进行了该操作。而且,当并不是无意识地进行该操作即有意识地进行了该操作时,判定部307可以判定为由操作者进行了周边状况确认动作。
并且,例如,判定部307根据自警报或挖土机500的动作限制开始起的经过时间,判定是否由操作者进行了周边状况确认动作。具体而言,当自警报或挖土机500的动作限制开始起经过了规定时间以上时,判定部307可以判定为进行了基于操作者的周边状况确认动作。这是因为,当自警报或挖土机500的动作限制开始起经过了某种程度的时间时,操作者确认周边状况的时间上有富余,从而能够视为进行了基于操作者的周边状况确认动作。
并且,判定部307判定是否在挖土机500的外部确认了挖土机500周边的安全状况且是否允许了警报或动作限制的解除。
例如,当通过通信设备72(获取部的一例)从外部装置600获取了允许解除通知时,判定部307判定为在挖土机500的外部允许了警报或动作限制的解除。
并且,例如,当由挖土机500外部的工作者或监督者等确认了安全状况且示出了允许解除警报或动作限制的情况的信号时(例如,示出了预先规定的姿势或手势时),判定部307判定为在挖土机500的外部允许了警报或动作限制的解除。具体而言,判定部307进行从摄像装置40的摄像图像识别进入监视区域而成为警报或挖土机500的动作限制的触发的工作者或监督者等规定的第三者的处理。此时,判定部307可以根据规定的第三者所固有的特征信息(例如,工作服或头盔等的颜色等识别信息),识别规定的第三者。而且,当能够判定为识别出的工作者或监督者等规定的第三者正在进行规定的姿势或手势时,判定部307可以判定为在挖土机500的外部允许了警报或动作限制的解除。换言之,当从摄像装置40的摄像图像中获取了包含正在进行规定的姿势或手势的工作者或监督者等规定的第三者的摄像图像时,判定部307(获取部的一例)可以判定为在挖土机500的外部允许了警报或动作限制的解除。
当在挖土机500中正在进行警报的输出或动作限制时,外部装置600根据规定的条件允许警报或动作限制的解除。
外部装置600包含通信设备610、信息处理部620、显示部630、语音输出部640及操作部650。
通信设备610为与挖土机500进行双向通信的任意的器件。通信设备610 在通信方式等的点上与挖土机500的通信设备72存在对应关系,例如能够包含 RF收发机、BT通信模块及移动通信模块等。
信息处理部620进行外部装置600中的各种控制处理。信息处理部620可以通过任意的硬件或硬件及软件的组合来实现其功能。例如,信息处理部620 以包含CPU、RAM、ROM、辅助存储装置、RTC及各种通信用接口等的计算机为中心构成。信息处理部620例如作为在CPU上执行存储于ROM或辅助存储装置的一个以上的程序来实现的功能部,包含挖土机状况通知部6201、周边状况信息获取部6202、允许解除操作接收部6203、判定部6204及允许解除通知部620 5。
显示部630在信息处理部620的控制下显示各种信息图像。显示部630例如为液晶显示器或有机EL显示器等。
语音输出部640在信息处理部620的控制下向外部输出语音。语音输出部 640例如为扬声器或蜂鸣器等。
操作部650接收来自外部装置600的利用者的各种操作。操作部650例如可以是按钮等基于硬件的操作部,也可以是显示于触控面板式显示部630的操作画面的按钮图标等基于软件的操作部。
挖土机状况通知部6201通过通信设备610,并根据从挖土机500接收的各种信息,向利用者通知挖土机500的状况。
具体而言,当通过通信设备610接收了警报输出通知或动作限制通知时,挖土机状况通知部6201可以向外部装置600的利用者通知在挖土机500中正在输出警报的情况或正在进行动作限制的情况。由此,外部装置600能够使该利用者意识到在挖土机500中正在输出警报或正在进行动作限制。由于位于离挖土机500较远的位置的管理事务所的管理者或施工现场外部的管理服务器900 的管理者等难以直接掌握挖土机500的状况,因此尤其有效。
例如,挖土机状况通知部6201也可以在显示部630显示在挖土机500中正在输出警报的情况或正在进行动作限制的情况。
并且,例如,挖土机状况通知部6201也可以从语音输出部640输出在挖土机500中正在输出警报的情况或正在进行动作限制的情况的语音。
并且,当通过通信设备610接收了委托解除通知时,挖土机状况通知部62 01向利用者通知从挖土机500接收了警报或动作限制的委托解除的情况。由此,外部装置600能够对利用者督促根据确认挖土机500周边的安全状况而允许解除警报或动作限制的规定操作(后面叙述的允许解除操作)。
例如,挖土机状况通知部6201也可以在显示部630(第1通知部的一例) 显示从挖土机500接收了警报或动作限制的委托解除的情况。
并且,例如,挖土机状况通知部6201可以从语音输出部640(第1通知部的一例)输出从挖土机500接收了警报或动作限制的委托解除的情况的语音。
当通过通信设备610在挖土机500中正在进行警报的输出或动作限制时,周边状况信息获取部6202获取从挖土机500定期发送的周边状况信息。
并且,当通过通信设备610接收了警报输出通知或动作限制通知时,周边状况信息获取部6202也可以通过通信设备610将请求周边状况信息的请求信号发送至挖土机500。
并且,周边状况信息获取部6202向利用者通知所获取的周边状况信息的内容。由此,外部装置600能够对利用者督促识别挖土机500的周边状况。
例如,周边状况信息获取部6202也可以在显示部630(第2通知部的一例) 显示周边状况信息的内容。
并且,例如,周边状况信息获取部6202也可以从语音输出部640(第2通知部的一例)输出与周边状况信息的内容相关的语音。
允许解除操作接收部6203接收外部装置600的利用者对操作部650(允许解除操作部的一例)的允许解除挖土机500的警报或动作限制的规定操作(以下,称为“允许解除操作”)。
例如,允许解除操作接收部6203可以接收来自作为外部装置600的管理服务器900的管理者或工作者等的允许解除操作。并且,当利用外部装置600(例如,管理服务器900)而能够进行挖土机500的远程操作时,允许解除操作接收部6203可以通过外部装置600接收来自进行挖土机500的远程操作的操作者等的允许解除操作。此时,该操作者例如根据显示于外部装置600的显示部63 0的挖土机500周围的图像(具体而言,通过挖土机500的摄像装置40拍摄且上传到管理服务器900的图像),能够确认挖土机500周围的状态。
当在挖土机500中正在进行警报的输出或动作限制时,判定部6204判定是否允许警报或动作限制的解除。
例如,判定部6204根据通过周边状况信息获取部6202获取的周边状况信息,确认挖土机500周边的安全状况,并允许警报或动作限制的解除。具体而言,当根据周边状况信息确认为在挖土机500的监视区域内没有监视对象(人) 时,判定部6204可以允许警报或动作限制的解除。
并且,例如,当通过允许解除操作接收部6203接收了允许解除操作时,判定部6204允许警报或动作限制的解除。
当通过判定部6204允许了警报或动作限制的解除时,允许解除通知部620 5通过通信设备610将允许解除警报或动作限制的情况的通知(允许解除通知) 发送至挖土机500。
[周边监视系统的动作的概要]
接着,参考图6(图6A~图6D)对本实施方式所涉及的周边监视系统1000 的动作的概要进行说明。
图6A~图6D是示意地表示周边监视系统1000的动作的一例的图。具体而言,图6A是示意地表示监视对象即人(工作者402)进入了挖土机500的监视区域404时的周边监视装置100的动作的一例的图。图6B是以图6A的状况为前提,示意地表示工作者402退避至监视区域404之外时的周边监视装置100 的动作的一例的图。图6C是以图6B的状况为前提,示意地表示挖土机500的操作者401进行了周边状况确认动作时的周边监视装置100的动作的一例的图。图6D是以图6B的状况为前提,示意地表示工作者402或监督者403对外部装置600(例如,管理终端700、解除装置750)进行了规定操作时的周边监视装置100的动作的一例的图。
另外,在图中,摄像装置40的○标记表示通过摄像装置40拍摄到监视区域404内的监视对象即通过检测部301检测到监视区域404内的监视对象。并且,在图中,语音输出装置52的○标记表示输出警报音即通过警报输出部303 输出警报。并且,在图中,门锁阀54的○标记表示门锁阀54进行工作且先导管路处于非连通状态即通过动作限制部304正在进行挖土机500的动作限制。并且,在图中,解除开关60的○标记及×标记分别表示使解除开关60的操作有效化的状态及无效化的状态。并且,在图中,确认动作状态检测部70的○标记表示检测到基于操作者401的周边状况确认动作即通过判定部307判定为进行了基于操作者401的周边状况确认动作的情况。并且,在图中,外部装置60 0的○标记表示对外部装置600进行了规定操作。
如图6A所示,若根据摄像装置40的摄像图像检测到进入监视区域404内的工作者402,则周边监视装置100使语音输出装置52及门锁阀54工作而开始警报的输出及挖土机500的动作限制。由此,周边监视装置100能够使操作者401意识到在监视区域404内进入了监视对象(工作者402)。并且,此时,周边监视装置100向挖土机500的外部通知正在进行警报的输出及挖土机500 的动作限制的情况。由此,周边监视装置100能够使监视区域内的工作者402 意识到过于接近挖土机500。并且,周边监视装置100通过挖土机500的动作限制能够抑制挖土机500移动而与工作者402发生干扰等的事态。因此,能够提高挖土机500周边的安全性。
如图6B所示,侵入到挖土机500的监视区域内的工作者402意识到警报及动作限制的原因是自己而从监视区域404内向监视区域404的外部退避。另一方面,周边监视装置100即便工作者402已退避至监视区域404的外部且在监视区域404内不能检测到工作者402,也持续警报的输出及挖土机500的动作限制。由此,假如工作者402留在监视区域404内的状况下,即使在摄像装置40的摄像图像内的工作者402与背景同化而无法识别出(检测)工作者402的情况下,警报或挖土机500的动作限制也能够持续。因此,能够进一步提高挖土机500周边的安全性。
如图6C所示,若通过视线传感器等确认动作状态检测部70检测到操作者 401视觉辨认后视镜或显示装置50的监视用图像(周边图像)的视线的移动,则周边监视装置100使对解除开关60的解除操作有效。然后,在对解除开关6 0的操作成为有效的状态下,若由操作者401操作解除开关60,则周边监视装置100使语音输出装置52停止的同时使门锁阀54工作而进行警报的解除及挖土机500的动作限制的解除。由此,周边监视装置100在警报或挖土机500的动作限制开始之后,在使操作者确认挖土机500周边的安全状况的基础上,才能够解除警报或挖土机500的动作限制。
并且,如图6D所示,若从退避至监视区域404外部的工作者402或在监视区域404的外部中监督施工现场的监督者403接收到允许解除操作,则外部装置600将允许解除通知405发送至挖土机500。若通过通信设备72从外部装置 600接收到允许解除通知405,则周边监视装置100判定为在挖土机500的外部允许了警报或动作限制的解除。而且,周边监视装置100使语音输出装置52停止的同时使门锁阀54工作而进行警报的解除及挖土机500的动作限制的解除。由此,周边监视装置100在使挖土机500的外部的工作者402或监督者403等规定的人确认挖土机500周边的安全状况的基础上,才能够解除警报或挖土机 500的动作限制。
并且,在图6D所示的状况下,如上所述,外部装置600也可以根据周边状况信息自动确认挖土机500的安全状况,并且向挖土机500发送允许解除通知 405。由此,周边监视装置100在使外部装置600确认了挖土机500周边的安全状况的基础上,才能够解除警报或挖土机500的动作限制。
[周边监视装置的动作的详细内容]
接着,参考图7~图9对基于本实施方式所涉及的周边监视系统1000的动作的详细内容具体而言处理流程进行说明。
首先,图7是概略地表示周边监视装置100进行的监视监视对象向监视区域的侵入的处理(监视处理)的一例的流程图。例如,在挖土机500的运行中,当不进行基于警报输出部303的警报的输出或基于动作限制部304的挖土机50 0的动作限制时,每隔规定的处理周期重复执行基于本流程图的处理。
在步骤S702中,检测部301根据从摄像装置40输入的摄像图像,进行检测监视区域内的监视对象的处理。
在步骤S704中,检测部301判定是否检测到监视对象。当检测到监视对象时,检测部301转到步骤S706,当未检测到监视对象时,结束这次处理。
在步骤S706中,警报输出部303通过语音输出装置52输出警报,动作限制部304使门锁阀54工作而将先导管路设为非连通,由此进行挖土机500的动作限制。
在步骤S708中,警报输出部303及动作限制部304分别控制通信设备72 或外部通知装置74,向挖土机500的外部通知在挖土机500中正在进行警报的输出及动作限制的情况,并结束这次处理。
接着,图8是概略地表示允许解除外部装置600进行的警报及挖土机500 的动作限制的处理(允许解除处理)的一例的流程图。例如,当外部装置600 从挖土机500接收了警报输出通知或动作限制通知时,可以在将允许解除通知发送至挖土机500为止的期间,每隔规定的控制周期重复执行基于本流程图的处理。并且,例如,当外部装置600从挖土机500接收了委托解除通知时,可以在将允许解除通知发送至挖土机500为止的期间,每隔规定的处理周期重复执行基于本流程图的处理。
在步骤S802中,判定部6204判定是否通过允许解除操作接收部6203接收了允许解除操作或是否根据周边状况信息确认了挖土机500周边的安全状况。当通过允许解除操作接收部6203接收了允许解除操作时,或根据周边状况信息确认了挖土机500周边的安全状况时,判定部6204转到步骤S804,在除此以外的情况下,结束这次处理。
在步骤S804中,判定部6204通过通信设备610向挖土机500发送允许解除通知,并结束这次处理。
另外,本实施方式(本例)中的允许解除通知为与挖土机500中的警报或动作限制的解除(的允许)相关的信息的一例,还能够设想其他方式。
例如,外部装置600也可以向挖土机500发送与挖土机500的周围确认相关的信息即在进行警报或动作限制的解除时督促确认挖土机500周围的信息。具体而言,外部装置600可以向挖土机500发送询问有无基于操作者的确认挖土机500周围的内容的信息。由此,当接收了该信息时,周边监视装置100确认是否由操作者进行了周边状况确认动作,当由操作者进行了周边状况确认动作时,能够解除警报或挖土机500的动作限制。并且,当接收了该信息时,周边监视装置100通过显示装置50或语音输出装置52(均为操作者通知部的一例),能够对操作者进行确认是否确认了挖土机500的周围,或督促确认挖土机500的周围等的通知。而且,当存在由操作者确认了挖土机500周围的情况的意向显示时(例如,进行了规定操作或通过摄像机或视线传感器检测到规定的手势、姿势或视线移动时)或进行了基于操作者的周边状况确认动作时,周边监视装置100能够解除警报或挖土机500的动作限制。
接着,图9是概略地表示解除周边监视装置100进行的警报及挖土机500 的动作限制的处理(解除处理)的一例的流程图。例如,在挖土机500的运行中,当正在进行基于警报输出部303的警报的输出或基于动作限制部304的挖土机500的动作限制时,每隔规定的处理周期重复执行基于本流程图的处理。
在步骤S902中,警报输出部303及动作限制部304判定是否操作了解除开关60。当操作了解除开关60时,警报输出部303及动作限制部304转到步骤S 904,当未进行操作时,结束这次处理。
另外,步骤S902的判定也可以由警报输出部303及动作限制部304中的任一个进行。
在步骤S904中,判定部307判定是否进行了基于操作者的周边状况确认动作或挖土机500的外部中的解除警报及动作限制的允许。当判定为进行了基于操作者的周边状况确认动作或挖土机500的外部中的解除警报及动作限制的允许时,判定部307转到步骤S906,在除此以外的情况下,结束这次处理。
在步骤S906中,警报输出部303及动作限制部304分别进行警报的解除及挖土机500的动作限制的解除,并结束这次处理。
在上述的专利文献1中,设置有用于解除施工机械中的警报或动作限制的操作部,并由操作者等对该操作部的操作,能够解除警报或施工机械的动作限制。因此,即使在施工机械周边的状况确认尚不充分的情况下,也可能会导致警报或施工机械的动作限制被解除。
相对于此,在本例中,通过除了挖土机500或操作挖土机500的操作者等以外的外部装置600或外部装置600的操作者等,即通过相当于挖土机500及与该操作者不同的第三者的装置或人,判定是否允许解除挖土机500中的警报或动作限制。由此,通过挖土机500及来自挖土机500外部的目光能够判断挖土机500的安全性,因此确切地进行了施工机械周边的状况确认的基础上,能够解除挖土机500中的警报或动作限制。因此,能够进一步提高挖土机500及挖土机500周围的安全性。
另外,在本例中,周边监视装置100包含警报输出部303及动作限制部30 4这两者,但也可以仅包含其中任一个。即,当在监视区域内检测到监视对象时,周边监视装置100也可以是仅进行警报的输出及挖土机500的动作限制中的任一个的方式。
并且,在本例中,判定部307判定是否由操作者进行了周边状况确认动作和在挖土机500的外部是否允许了警报或动作限制的解除这两者,但也可以仅判定其中任一个。在该情况下,当通过判定部307判定的任一个判定结果为肯定判定且由操作者操作了解除开关60时,警报输出部303及动作限制部304分别解除警报及挖土机500的动作限制。换言之,当通过判定部307判定的任一个判定结果为肯定判定时,周边监视装置100使对解除开关60的操作有效。并且,如上所述,在以从外部装置600由挖土机500接收与允许解除通知不同的其他方式的与警报或动作限制的解除(的允许)相关的信息为前提的情况下,当接收了该信息且之后进行了基于操作者的周边状况确认动作时,周边监视装置100可以使对解除开关60的操作有效。并且,相同地,当接收了该信息且之后存在由操作者确认了挖土机500周围的情况的意向显示时,周边监视装置10 0可以使对解除开关60的操作有效。
并且,在本例中,警报输出部303及动作限制部304分别以操作解除开关 60为条件解除警报或动作限制,但也可以将解除开关60的操作不设为条件。即,警报输出部303及动作限制部304也可以分别仅将通过判定部307进行了基于操作者的周边状况确认动作或挖土机500的外部中允许解除警报或动作限制设为条件来解除警报或动作限制。
并且,在本例中,当进行了基于操作者的周边状况确认动作或挖土机500 的外部中的解除警报或动作限制的允许且操作了解除开关60时,解除警报及挖土机500的动作限制,但并不限定于该方式。例如,警报输出部303及动作限制部304也可以分别仅进行挖土机500的外部中的解除警报或动作限制的允许,来解除警报及挖土机500的动作限制。即,警报及挖土机的动作限制也能够从挖土机500的外部装置600进行解除。这是因为,在挖土机500的外部进行的与解除的允许相关的判断与挖土机500的操作者或控制器30等进行的判断相比,可靠性相对更高。并且,例如,警报输出部303及动作限制部304也可以分别在进行了基于操作者的周边状况确认及外部中的解除警报或动作限制的允许这两者且操作了解除开关60时,解除警报及挖土机500的动作限制。由此,能够进一步提高挖土机500的施工现场的周边的安全性。
并且,在本例中,外部装置600中的是否允许解除警报及挖土机500的动作限制的判定也可以通过使用基于机器学习的AI(Artificial Intelligenc e:人工智能)关联技术来实现。即,用于从外部装置600解除挖土机500的警报或动作限制或发送与警报或动作限制的解除相关的信息的处理例如也可以通过基于深度学习(Deep Learning)等机器学习的识别器来执行。在该情况下,该识别器能够根据通过挖土机500或管理服务器900收集且由表示无法允许解除警报或动作限制的状态的图像(即,安全未得到确保的挖土机500的周边图像)及表示能够允许的状态的图像(即,安全得到确保的挖土机500的周边图像)构成的培训用数据生成。
并且,在本例中,以包含一个挖土机500及外部装置600的方式构成周边监视系统1000,但也可以以包含多个挖土机500及外部装置600的方式构成周边监视系统1000。
并且,以下,公开本例所涉及的周边监视装置100及外部装置600(管理终端700、解除装置750、管理终端800、管理服务器900)。
(1)
一种周边监视装置,其监视施工机械周围,所述周边监视装置具备:
监视对象检测部,在所述施工机械周边的规定范围内检测规定的监视对象;
控制部,当通过所述监视对象检测部检测到所述监视对象时,输出警报或进行所述施工机械的动作限制;
获取部,获取与所述施工机械的外部中的所述警报或所述动作限制的解除相关的信息;及
解除意向输入部,由操作者输入解除所述警报或所述动作限制的意向,
当正在进行所述警报或所述动作限制时,所述控制部通过所述获取部获取所述信息,且当对所述解除意向输入部输入了所述意向时,所述控制部解除所述警报或所述动作限制。
(2)
在(1)所述的周边监视装置中,
所述获取部从规定的外部装置获取允许解除所述警报或动作限制的情况的通知,
当通过所述获取部获取了所述通知且对所述解除意向输入部输入了所述意向时,所述控制部解除所述警报或所述动作限制。
(3)
(1)所述的周边监视装置还具备:
操作者通知部,对操作者进行通知,
所述获取部从规定的外部装置获取与所述施工机械的周围确认相关的信息,
当通过所述获取部获取了与所述施工机械的周围确认相关的信息时,所述操作者通知部向操作者通知该信息的内容。
(4)
(2)或(3)所述的周边监视装置还具备:
外部通知部,向所述施工机械的外部通知正在进行所述警报的输出或所述动作限制的情况。
(5)
(4)所述的周边监视装置还具备:
外部通知意向输入部,按照操作者的意向进行基于所述外部通知部的通知。
(6)
在(4)或(5)所述的周边监视装置中,
所述外部通知部向所述外部装置或者所述外部装置的利用者的邮件地址或规定的社交网络服务的账户发送正在进行所述警报的输出或所述动作限制的情况的通知。
(7)
在(4)或(6)中任一项所述的周边监视装置中,
所述外部通知部通过视觉方法、触觉方法或听觉方法向所述施工机械周边所存在的人通知正在进行所述警报的输出或所述动作限制的情况。
(8)
(2)或(7)中任一项所述的周边监视装置还具备:
委托解除通知部,当正在进行所述警报或所述动作限制时,向所述外部装置发送委托解除所述警报或所述动作限制的通知。
(9)
(8)所述的周边监视装置还具备:
委托解除意向输入部,按照操作者的意向进行基于所述委托解除通知部的委托解除的通知。
(10)
(1)所述的周边监视装置还具备:
摄像装置,拍摄所述施工机械的周边,
所述获取部从所述摄像装置中获取包含进行规定的姿势或手势且存在于所述施工机械周边的规定的人的摄像图像,
当通过所述获取部获取了包含进行所述姿势或所述手势的所述人的摄像图像且对所述解除意向输入部输入了所述意向时,所述控制部解除所述警报或所述动作限制。
(11)
在(1)至(10)中任一项所述的周边监视装置中,
对所述解除意向输入部的所述意向的输入在通过所述获取部获取了在所述施工机械的外部允许解除所述警报或所述动作限制的情况的信息时成为有效,
当存在对所述解除意向输入部的有效的所述意向输入时,所述控制部解除所述警报或所述动作限制。
(12)
一种信息处理终端,其设置于施工机械的外部且能够与所述施工机械或能够与和所述施工机械进行通信的信息处理装置进行通信,所述信息处理终端具备:
判定部,当在所述施工机械周边的规定范围内检测到规定的监视对象且在所述施工机械中正在输出警报或正在进行所述施工机械的动作限制时,判定是否允许解除所述警报或所述动作限制;及
允许解除通知部,当通过所述判定部允许解除所述警报或所述动作限制时,向所述施工机械发送与允许解除所述警报或所述动作限制相关的信息。
(13)
(12)所述的信息处理终端还具备:
周边状况信息获取部,获取与所述施工机械周边的状况相关的信息,
所述判定部根据通过所述周边状况信息获取部获取的信息,允许解除所述警报或所述动作限制。
(14)
(12)或(13)所述的信息处理终端还具备:
获取部,获取表示所述施工机械的操作者确认了所述施工机械周围的信息,
当通过所述获取部获取了表示操作者确认了所述施工机械周围的信息时,所述判定部允许解除所述警报或所述动作限制。
(15)
在(13)所述的信息处理终端中,
当根据通过所述周边状况信息获取部获取的信息确认为在所述施工机械的所述规定范围内没有所述监视对象时,所述判定部允许解除所述警报或所述动作限制。
(16)
(12)至(15)中任一项所述的信息处理终端还具备:
允许解除操作部,该信息处理终端的利用者进行允许解除所述警报或所述动作限制的操作,
当操作了所述允许解除操作部时,所述判定部允许解除所述警报或所述动作限制。
(17)
(16)所述的信息处理终端还具备:
第1通知部,当从所述施工机械接收了正在进行所述警报的输出或所述动作限制的情况的通知或者所述警报或所述动作限制的委托解除的通知时,向该信息处理终端的利用者通知该情况。
(18)
(16)或(17)所述的信息处理终端还具备:
周边状况信息获取部,获取与所述施工机械周边的状况相关的信息;及
第2通知部,向该信息处理装置的利用者通知通过所述周边状况信息获取部获取的信息的内容。
(19)
在(12)至(18)中任一项所述的信息处理终端中,
当从所述施工机械接收了正在进行所述警报的输出或所述动作限制的情况的通知或所述警报或所述动作限制的委托解除的通知时,所述判定部判定是否允许解除所述警报或所述动作限制。
(20)
(12)至(19)中任一项所述的信息处理终端为所述施工机械进行工作的施工现场的规定的工作人员所携带的终端及设置于所述施工现场的规定的事务所的终端。
(21)
一种信息处理装置,其设置于施工机械的外部且能够与所述施工机械进行通信,所述信息处理装置具备:
判定部,当在所述施工机械周边的规定范围内检测到规定的监视对象且在所述施工机械中正在输出警报或正在进行所述施工机械的动作限制时,判定是否允许解除所述警报或所述动作限制;及
允许解除通知部,当通过所述判定部允许解除所述警报或所述动作限制时,向所述施工机械发送与允许解除所述警报或所述动作限制相关的信息。
(22)
一种信息处理程序,其使设置于施工机械的外部且能够与所述施工机械或能够与和所述施工机械进行通信的信息处理装置进行通信的信息处理终端或者设置于所述施工机械的外部且能够与所述施工机械进行通信的信息处理装置执行如下步骤:
判定步骤,当在所述施工机械周边的规定范围内检测到规定的监视对象且通过所述施工机械正在输出警报或正在进行所述施工机械的动作限制时,判定是否允许解除所述警报或所述动作限制;及
允许解除通知步骤,当通过所述判定步骤允许解除所述警报或所述动作限制时,向所述施工机械发送与允许解除所述警报或所述动作限制相关的信息。
<周边监视系统的另一例>
接着,参考图10~图18对周边监视系统1000的另一例进行说明。在本例中,不同点主要在于,搭载有周边监视装置100及周边监视装置100的挖土机 500的结构。
以下,在本例中,以与上述的一例不同的部分为中心进行说明,有时省略与上述的一例重复的说明。例如,在本例中,为了方便起见,有时省略除了周边监视系统1000中的周边监视装置100及挖土机500以外的结构即与外部装置 600相关的说明或图示。并且,在本例中,为了方便起见,有时在周边监视装置100及挖土机500的结构中,省略关于周边监视装置100(挖土机500)与外部装置600的交换的说明或图示。
[周边监视装置的结构]
接着,参考图10、图11对本实施方式所涉及的周边监视装置100的具体结构进行说明。
图10是表示搭载有本实施方式所涉及的周边监视装置100的挖土机500的另一例的图,具体而言,是挖土机500的侧视图。图11是表示本实施方式所涉及的周边监视装置100的结构的另一例的框图。在图10、图11中,为了方便起见,在周边监视装置100及挖土机500的结构中,省略关于周边监视装置10 0(挖土机500)与外部装置600的交换的结构(例如,委托解除通知部305、周边状况信息发送部306、判定部307、确认动作状态检测部70等)的图示。
另外,如上所述,本实施方式所涉及的周边监视装置100可以搭载于除挖土机500以外的任意的施工机械。例如,周边监视装置100也可以搭载于作为端接附件安装有磁力吊的起重磁铁设备、推土机、轮式装载机、沥青铺筑机及林业机械等。
周边监视装置100与上述的一例相同地,监视向挖土机500周边的规定范围内的监视对象即规定的物体即监视对象的侵入,当检测到监视对象时,输出警报,或限制挖土机的动作。
周边监视装置100包含控制器30、摄像装置40、显示装置50、语音输出装置52、门锁阀54、解除开关60、监视功能“开启”/“关闭”开关(以下,简称为“监视功能开关”)62及显示内容切换开关64。
控制器30是以进行挖土机500的驱动控制为主的控制装置。例如,控制器 30搭载于操纵室10内,并且进行与周边监视装置100相关的各种控制处理。
控制器30可通过任意的硬件、软件或它们的组合来实现其功能。如上所述,控制器30例如以包含CPU、RAM、ROM、辅助存储装置、RTC及各种通信用接口等的微型计算机为中心构成。控制器30例如作为通过在CPU上执行存储于ROM 或辅助存储装置的各种程序来实现的功能部,包含检测部301、显示控制部30 2、警报输出部303及动作限制部304。
摄像装置40(传感器的一例)安装于上部回转体3的上部,并且拍摄挖土机500的周边。摄像装置40包含摄像机40B、40L、40R。
如上所述,摄像机40B、摄像机40L及摄像机40R分别安装于上部回转体3 的后端上部、左端上部及右端上部,并且拍摄上部回转体3的后方、左侧及右侧。例如,摄像机40B、摄像机40L及摄像机40R(分别为单眼摄像机的一例) 分别为具有极宽的视角的单眼广角摄像机。具体而言,摄像机40B、摄像机40L 及摄像机40R分别在上部回转体3的上部安装成光轴朝向斜下方,并且拍摄包含从挖土机附近的地面至挖土机远方的上下方向的摄像范围。摄像机40B、摄像机40L及摄像机40R分别在挖土机500的运行中,每隔规定周期(例如,1/3 0秒)输出摄像图像,所输出的摄像图像输入于控制器30。
监视功能开关62例如为设置于操纵室10内且用于操作者等“开启”/“关闭”基于周边监视装置100的监视功能的操作部。即,监视功能开关62为根据监视对象的检测而执行的用于将警报的输出及挖土机500的动作限制的功能设为有效状态或无效状态的操作部。
例如,当根据操作者等对监视功能开关62的操作而监视功能成为有效时,后面叙述的检测部301、显示控制部302、警报输出部303及动作限制部304的功能成为有效。
另一方面,例如,当根据操作者等对监视功能开关62的操作而监视功能成为无效时,检测部301、显示控制部302(至少与监视功能相关的部分)、警报输出部303及动作限制部304的所有功能成为无效。并且,在该情况下,在检测部301、显示控制部302、警报输出部303及动作限制部304中,也可以仅警报输出部303及动作限制部304的功能为无效,而与检测部301或显示控制部 302的监视功能相关的部分的功能保持有效的状态。由此,当将监视功能维持为无效,并且根据监视功能开关62的操作而使监视功能有效时,无需再次启动检测部301及显示控制部302的功能而能够缩短监视功能再次开始为止所需的时间。
并且,例如,当根据操作者等对监视功能开关62的操作而监视功能成为无效时,在基于控制器30(后面叙述的显示控制部302)的控制下,表示监视功能处于无效状态的指示器显示于显示装置50。并且,也可以是如下方式,即,在操纵室10内设置有由红色灯等构成的专用指示器,例如,当根据操作者等对监视功能开关62的操作而监视功能成为无效时,该专用指示器点亮。由此,周边监视装置100能够使操作者等意识到监视功能(即,根据监视对象的检测的警报的输出或挖土机500的动作限制等的功能)处于无效状态。
与监视功能开关62的操作状态相关的信息输入于控制器30。
显示内容切换开关64例如为设置于操纵室10内并且用于操作者等切换显示于显示装置50的内容的操作部。例如,显示内容切换开关64为对将显示装置50的显示内容设为摄像装置40的摄像图像还是设为包含后面叙述的周边图像的监视图像或设为同时显示两者等进行切换的操作部。与显示内容切换开关 64的操作状态相关的信息输入于控制器30。
检测部301根据通过摄像装置40拍摄的摄像图像,在挖土机500周边的规定区域具体而言在从挖土机500观察的水平方向即沿挖土机500进行工作的 (下部行驶体1接地的)平面的方向(以下,简称为“水平方向”)的监视区域内对监视对象进行检测。具体而言,检测部301在距挖土机500的水平方向的距离D为规定距离D1(例如,5米)以内的监视区域内对监视对象进行检测。
例如,如上述图4所示,监视区域包含分别与摄像机40B、摄像机40L及摄像机40R对应的监视区域MAB、监视区域MAL及监视区域MAR。
监视区域MAB、监视区域MAL及监视区域MAR分别能够由所对应的摄像机4 0B、40L、40R的水平方向的视角及从摄像机40B、40L、40R向水平方向延伸的可监视距离规定。
并且,在监视区域MAB、监视区域MAL及监视区域MAR中,在能够利用控制器30的处理资源的范围内,能够调整在一监视区域内加长可监视距离而在另一监视区域缩短可监视距离等(参考图中的点线及单点划线)。
返回图10及图11,并且,检测部301根据通过摄像装置40拍摄的摄像图像,检测除了满足从上述挖土机500观察的水平方向的条件以外还满足从挖土机500观察的高度方向即以挖土机500进行工作的(下部行驶体1接地的)平面为基准的铅垂方向(以下,简称为“高度方向”)的条件的监视对象。具体而言,检测部301在水平方向上所规定的监视区域内,检测在高度方向上存在于规定范围HR1(第1范围的一例)内的位置的监视对象。即,检测部301在监视区域内,检测与挖土机500进行工作的工作面的高度方向上的差较小的监视对象。更具体而言,检测部301在监视区域内,检测相对于与挖土机500的特定高度相关的基准位置,存在于在正方向及负方向的至少一个范围内所规定的规定范围HR1(例如,-2米~+2米等)内的监视对象。由此,周边监视装置 100能够将存在于与挖土机500的工作面之间的高度方向的差较大的位置的监视对象设为监视功能的对象之外。
另外,该基准位置例如能够适当选择与挖土机500的工作面的高度对应的下部行驶体1的履带接地面的中心位置或前端或后端的位置等。
例如,检测部301通过任意地适用已知的各种图像处理方法或包含人工智能(AI:Artificial Intelligence)等的机器学习库的识别器等,识别摄像图像内的监视对象。
并且,检测部301通过适用已知的各种方法,能够判定(推断)基于单眼摄像装置40的摄像图像中所包含的识别出的监视对象(人)存在的位置(以下,称为“实际存在位置”。例如,脚下位置)。
例如,检测部301根据识别出的监视对象的摄像图像上的大小(例如,摄像图像上的高度方向的大小),推断从挖土机500观察的水平方向的位置(以下,称为“水平位置”)。这是因为,识别出的监视对象的摄像图像上的大小存在监视对象越远离挖土机500越变小的相关关系。具体而言,在监视对象中能够规定所设想的大小范围(例如,所设想的人的身高范围),因此能够预先规定所设想的大小范围内所包含的该监视对象的从挖土机500观察的水平位置与摄像图像上的大小之间的相关关系。因此,检测部301例如根据预先存储于控制器30的辅助存储装置等内部存储器的表示摄像图像上的监视对象的大小与从挖土机500观察的水平位置之间的相关关系的映射图或转换式等,能够推断识别出的监视对象的实际存在位置(距挖土机500的水平位置)。
并且,例如,检测部301在监视对象存在于与挖土机500(的下部行驶体 1)相同的平面上的前提下,通过将摄像图像向该平面上的射影变换(单应性) 等,能够推断其实际存在位置(例如,脚下位置)。在该情况下,构成摄像图像的某一部分(某一点)和与挖土机500相同的平面上的某一位置建立对应关联。
在此,当在监视对象的脚下位置与挖土机500的工作面之间存在高度方向的差时,摄像图像上的监视对象显示成与监视对象位于与挖土机500的工作面相同的平面上的情况(即,挖土机500及监视对象在高度方向上位于相同的位置的情况)不同。
例如,即便从挖土机500观察的水平位置相同,位于与挖土机500的工作面不同的高度方向的位置(以下,称为“高度位置”)的监视对象也显示成相对于位于与挖土机500的工作面相同的高度位置的情况偏向摄像图像上的高度方向(例如,考虑到摄像图像上的上下方向或相对于上下方向由歪斜引起的像的崩溃等而规定的方向)。并且,位于与挖土机500的工作面不同的高度位置的监视对象相对于位于与挖土机500的工作面相同的高度位置的情况,在从摄像装置40观察的方向上也出现差异,因此在摄像图像上的与高度方向对应的尺寸上也出现差异。
并且,例如,位于与挖土机500的工作面不同的高度位置的监视对象相对于监视对象假如存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置的情况,在摄像图像上的与高度方向对应的尺寸上出现差异。这是因为,如上所述,摄像装置40的光轴朝向地面朝向斜下方向,因此若监视对象的高度位置偏离挖土机500的工作面,则与摄像装置40的距离变近或变远。
即,当摄像图像上的监视对象的视觉效果位于某一范围内(规定范围HR2 内)时,检测部301能够判定为监视对象在实际空间中在高度方向上位于规定范围HR1内。
具体而言,当摄像图像上的监视对象相对于基准位置(例如,挖土机500 的工作面上的相当于推断出的监视对象的水平位置的摄像图像上的基准线)的高度方向上的偏离量在规定范围HR2内时,检测部301能够判定为在实际空间中监视对象位于规定范围HR1内。此时,规定范围HR2根据通过检测部301推断的监视对象的实际存在位置(从挖土机500观察的水平位置)预先规定。更具体而言,规定范围HR2根据通过检测部301推断的监视对象的实际存在位置的从挖土机500观察的远近程度预先规定。这是因为,监视对象越远离(变远) 挖土机500(摄像装置),与监视对象的脚下位置和挖土机500的工作面之间的高度方向的差对应的摄像图像上的偏离量变得越小。
并且,当与摄像图像上的监视对象的高度方向对应的尺寸在规定范围HR2 内时,检测部301能够判定为监视对象在实际空间中在高度方向上位于规定范围HR1内。此时,规定范围HR2例如根据摄像图像上的包含监视对象的图像部分的位置预先规定。更具体而言,规定范围HR2以根据摄像图像上的包含监视对象的图像部分的位置而发生变化的方式预先规定。这是因为,在监视对象存在于与挖土机500的工作面相同的平面的前提下,摄像图像上的任意的图像部分与挖土机500的工作面上的某一位置一对一地建立对应关联,因此根据从挖土机500观察的该位置的远近程度而与监视对象的高度方向对应的尺寸可能会不同。换言之,规定范围HR2根据通过检测部301推断的实际存在位置(监视对象存在于与挖土机500的工作面相同的平面上的前提下的实际存在位置)的远近程度规定。
另外,该规定范围HR2以通过预先运算处理与在实际空间上所规定的规定范围HR1对应的摄像图像上的视觉效果的差异而导出的映射图等的方式,预先存储于控制器30的辅助存储装置等内部存储器。此时,规定范围HR2能够根据与所设想的监视对象的高度方向对应的尺寸(例如,所设想的人的身高)或摄像装置40的安装高度或安装姿势 (角度)规定。这是因为,根据与所设想的监视对象的高度方向对应的尺寸而摄像装置40的摄像图像上的监视对象的视觉效果的变化程度可能会不同。并且,这是因为,根据摄像装置40的安装高度或安装姿势 而监视对象与光轴之间的关系不同,其结果,摄像装置40的摄像图像上的监视对象的视觉效果的变化程度可能会不同。并且,当作为挖土机500存在多个机种(例如,中型机、大型机等)时,摄像装置40的安装高度等不同,因此其结果,该规定范围HR2按每个机种可能会不同。因此,所设想的多个机种的每个规定范围HR2(具体而言,与规定范围HR2对应的上述映射图等)均可以预先存储于控制器30内的内部存储器。由此,无需按每个机种变更控制器3 0的规格,而能够实现控制器30的通用化。
例如,图12(图12A~图12D)是表示根据上述的高度方向的条件而成为监视功能(警报的输出及挖土机500的动作限制等)的对象之外的监视对象的具体例的图。
图12A是表示工作者W在高度方向上存在于比挖土机500的工作面低一层的平面的状况的图。
在本例中,工作者W在从挖土机500观察的相同的水平位置上,位于比位于与挖土机500相同的工作面上的虚拟的工作者(虚拟工作者)Wv更向下方的位置。因此,包含于摄像装置40的摄像图像上的工作者W显示成在从挖土机5 00观察的相同的水平位置上,相对于存在于与挖土机500相同的工作面上的虚拟工作者Wv在高度方向上向下方偏离。
并且,在本例中,工作者W相对于存在于与挖土机500相同的工作面上的情况,距摄像装置40的距离变远。因此,在存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置上,通过对应于摄像装置40的光轴投影工作者W而获得的像Wi变得其高度方向的尺寸小于实际的工作者W。即,包含于摄像装置40的摄像图像上的工作者W显示成与其高度方向对应的尺寸小于存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置上存在的情况。
并且,相同地,图12B是表示工作者W在高度方向上存在于比挖土机500 的工作面高一层的平面的状况的图。
在本例中,工作者W在从挖土机500观察的相同的水平位置上,位于比位于与挖土机500相同的工作面上的虚拟工作者Wv更向上方的位置。因此,包含于摄像装置40的摄像图像上的工作者W显示成在从挖土机500观察的相同的水平位置上,相对于存在于与挖土机500相同的工作面上的虚拟工作者Wv在高度方向上向上方偏离。
并且,在本例中,工作者W相对于存在于与挖土机500相同的工作面上的情况,距摄像装置40的距离变近。因此,在存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置上,通过对应于摄像装置40的光轴投影工作者W而获得的像Wi变得其高度方向的尺寸大于实际的工作者W。即,包含于摄像装置40的摄像图像上的工作者W的与其高度方向对应的尺寸大于以存在于与挖土机500的工作面相同的平面上为前提推断出的实际存在位置上存在情况下的尺寸。
因此,当高度方向的上下高低差超过规定范围HR1时,摄像图像上的工作者W的视觉效果相对于存在于与挖土机500的工作面相同的平面的情况,成为规定范围HR2之外。因此,检测部301不检测该工作者W,而该工作者W成为周边监视装置100的监视功能的对象之外。这是因为,能够认为挖土机500向与其工作面具有较大的高低差的其他平面移动的可能性极低,并且与该其他平面上的工作者W触碰等的可能性也极低。
并且,图12C是表示挖土机500在倾斜面上进行工作时,工作者W存在于与倾斜面的下坡方向相邻的水平面的状况的图。
在本例中,工作者W在从挖土机500观察的相同的水平位置上,根据倾斜面与水平面的角度差,存在于在高度方向上比位于与挖土机500相同的工作面上的虚拟工作者Wv更向上方(即,变高方向)的位置。因此,与图12B的情况相同地,包含于摄像装置40的摄像图像上的工作者W显示成,与图12B的情况相同地,在从挖土机500观察的相同的水平位置上,相对于存在于与挖土机50 0相同的工作面上的虚拟工作者Wv在高度方向上向上方偏离。
并且,在本例中,与图12B的情况相同地,工作者W相对于存在于与挖土机500相同的工作面上的情况,距摄像装置40的距离变近。因此,在存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置上,通过对应于摄像装置40的光轴投影工作者W而获得的像Wi变得其高度方向的尺寸大于实际的工作者W。即,包含于摄像装置40的摄像图像上的工作者W显示成与其高度方向对应的尺寸大于以存在于与挖土机500的工作面相同的平面上为前提推断出的实际存在位置上存在情况下的尺寸。
并且,相同地,图12D是表示挖土机500在倾斜面上进行工作时,工作者 W存在于与倾斜面的上坡方向相邻的水平面的状况的图。
在本例中,工作者W在从挖土机500观察的相同的水平位置上,根据倾斜面与水平面的角度差,存在于在高度方向上比位于与挖土机500相同的工作面上的虚拟工作者Wv更向下方(即,变低的方向)的位置。因此,与图12A的情况相同地,包含于摄像装置40的摄像图像上的工作者W显示成相对于虚拟工作者Wv在高度方向上向下方偏离。
并且,在本例中,与图12A的情况相同地,工作者W相对于存在于与挖土机500相同的工作面上的情况,距摄像装置40的距离变远。因此,在存在于与挖土机500的工作面相同的平面上的前提下推断出的实际存在位置上,通过对应于摄像装置40的光轴投影工作者W而获得的像Wi变得其高度方向的尺寸小于实际的工作者W。即,包含于摄像装置40的摄像图像上的工作者W显示成与其高度方向对应的尺寸小于以存在于与挖土机500的工作面相同的平面上为前提推断出的实际存在位置上存在的情况下的尺寸。
因此,当由挖土机500工作中的倾斜面与工作者W存在的水平面的角度差引起的工作者W的脚下位置与倾斜面之间的高度方向的差超过规定范围HR1时,摄像图像上的工作者W的视觉效果相对于存在于与挖土机500的工作面相同的平面的情况,成为规定范围HR2之外。因此,检测部301不检测工作者W,而工作者W成为周边监视装置100的监视功能的对象之外。这是因为,工作者W 的脚下位置与挖土机500的工作面之间的高度方向的差较大的状况和挖土机50 0的工作面与工作者W存在面之间的角度差较大的状况或挖土机500与工作者W之间的水平方向的距离也分开某种程度的状况对应。更具体而言,这是因为,能够认为若挖土机500的工作面与工作者W的存在面之间的角度差大到某种程度,则挖土机500超过角度差而移动至工作者W的存在面的可能性极低,与工作者W触碰等的可能性也极低。并且,这是因为,若挖土机500与工作者W之间的水平方向的距离分开某种程度,则挖土机500与工作者W之间触碰等的可能性进一步变低。
另外,与设为监视功能的对象之外的条件对应的高度方向的上述的高低差或角度差的范围即规定范围HR1能够根据挖土机500的行驶性能规定。这是因为,根据挖土机500的行驶性能,挖土机500超过高低差或角度差而移动过来的可能性可能会不同。
并且,检测部301也可以通过其他方法判定从摄像装置40的摄像图像识别的监视对象(人)在高度方向上是否位于规定范围HR1内。
例如,图13是表示搭载有周边监视装置100的挖土机500的又一例的图。在本例中,挖土机500即周边监视装置100还包含激光雷达(LIDAR:Light D etection and Ranging)42。
激光雷达42(传感器的一例)检测挖土机500周边的障碍物或包含地形在内的物体。并且,激光雷达42输出与检测到的物体(检测物体)的位置(具体而言,该物体的从挖土机500观察的方向及距离)相关的信息。即,激光雷达 42能够输出与挖土机500周边的地形相关的位置信息(地形信息)。
由此,检测部301根据由激光雷达42输出的地形信息,能够确定与从摄像图像识别出的监视对象的水平方向的位置对应的地形。因此,检测部301根据与所确定的地形对应的高度方向的位置,能够判定识别出的监视对象在高度方向上是否位于规定范围HR1内。
另外,在本例中,只要能够获取地形信息,则也可以采用其他传感器。例如,也可以采用毫米波雷达、立体摄像机等来代替激光雷达42。
并且,例如,图14是表示搭载有周边监视装置100的挖土机500的又一例的图。在本例中,挖土机500即周边监视装置100还包含GPS(Global Posit ioning System:全球定位系统)模块80及通信设备72。
GPS模块80(位置信息获取部的一例)接收从挖土机500上空的3个以上优选4个以上的卫星发送的GPS信号,并且测定挖土机500的位置。通过GPS 模块80测定的挖土机500的位置信息被输入于控制器30。
通信设备72(地形信息获取部的一例)在与规定的外部装置(例如,设置于施工现场外部的管理服务器900或设置于施工现场的管理事务所的管理终端 700等)之间进行规定方式下的通信。通信设备72例如为通过规定的通信网络与外部装置进行通信的移动通信模块或与较近存在的外部装置进行通信的RF (Radio Frequency:射频)通信设备等。
由此,控制器30通过通信设备72访问规定的外部装置(例如管理服务器 900等),并且能够从该外部装置获取与挖土机500的施工现场的信息化施工相关的地形信息。因此,检测部301根据基于GPS模块80的挖土机500的位置信息及施工现场的地形信息,能够确定施工现场中的挖土机500的位置并且确定与从摄像图像识别出的监视对象的水平方向的位置对应的地形。因此,检测部301与图13的例示的情况相同地,根据与所确定的地形对应的高度方向的位置,能够判定识别出的监视对象在高度方向上是否位于规定范围HR1内。
另外,检测部301也可以根据搭载于挖土机500的其他传感器的检测结果 (距离图像等),检测挖土机500周边的监视对象,来代替摄像装置40的摄像图像或附加。检测部301例如根据搭载于挖土机500的毫米波雷达、激光雷达及立体摄像机等的检测结果,能够检测监视对象。在该情况下,检测部301也可以通过与图12A~图12D对应的方法,判定监视对象在高度方向上是否位于规定范围HR1内。
显示控制部302在显示装置50中显示各种信息图像。
例如,显示控制部302根据操作者对显示内容切换开关64的操作,在显示装置50中显示摄像机40B、40L、40R中的至少一个摄像机的摄像图像。以下,有时将显示于显示装置50的该摄像图像称为“实时取景图像”。
并且,例如,显示控制部302根据操作者对显示内容切换开关64的操作,并且根据摄像装置40的摄像图像,生成周边图像(合成图像的一例)并显示于显示装置50。
具体而言,显示控制部302作为周边图像,根据摄像机40B、40L、40R的摄像图像,进行已知的视点转换处理,由此生成从虚拟视点观察的视点转换图像并显示于显示装置50。并且,显示控制部302在将周边图像显示于显示装置 50时,为了明确表示摄像装置40的摄像范围与挖土机500之间的相对位置关系而在显示装置50中一并显示示意地表示挖土机500的挖土机图像。即,显示控制部302生成包含挖土机图像及对应于挖土机500与摄像装置40的摄像范围之间的相对位置关系而配置于挖土机图像的周围的周边图像的监视用图像并显示于显示装置50。
另外,显示控制部302的功能也可以内置于显示装置50。在该情况下,摄像装置40(摄像机40B、40L、40R)的摄像图像及检测部301的检测结果等信息分别从摄像装置40及控制器30输入于显示装置50。
例如,图15是表示显示于显示装置50的监视用图像MP的一例的图。
如图15所示,显示装置50包含显示各种信息图像的显示区域即显示部50 A及接收与显示于显示部50A的各种信息图像相关的基于操作者等的操作的按钮开关等基于硬件的操作部50B。
显示部50A例如为显示装置50中的横长的长方形的画面(例如,纵横尺寸比4:3的画面)。如上所述,在显示部50A显示有包含挖土机图像CG及配置于挖土机图像CG周围的周边图像EP的监视用图像MP。由此,操作者等能够确切地掌握周边图像EP中所映出的监视对象(即,人)与挖土机500之间的位置关系。
本例的周边图像EP为组合了从正上方观察了与挖土机500相邻的周边区域的俯瞰图像BVP和配置于该俯瞰图像BVP周围且从挖土机500向水平方向观察了该周边区域的水平图像HVP的视点转换图像。视点转换图像即周边图像EP通过将摄像机40B、40L、40R各自的摄像图像投影到空间模型的基础上将投影到该空间模型的投影图像再次投影到另一二维平面来获得。空间模型为虚拟空间中的摄像图像的投影对象,并且由包含除了摄像图像所处的平面以外的平面或曲面的一个或多个平面或曲面构成。
并且,在监视用图像MP中重叠显示有引导线GL1。引导线GL1表示距挖土机500的水平方向的距离D为规定距离D2(≤D1)的位置。即,引导线GL1为将与从挖土机500的正上方观察的俯视观察对应的挖土机图像CG的轮廓形状向挖土机图像CG的外侧偏移(放大)了与规定距离D2相当的量的线段。由此,当在周边图像中映出监视对象(即,人)时,操作者等能够掌握位于离挖土机 500分开何种程度的位置。
另外,检测部301的用于检测监视对象的处理(监视对象检测处理)及显示控制部302进行的生成监视用图像(周边图像)的处理(周边图像生成处理) 也可以是异步处理。在该情况下,在控制器30中可以是如周边图像生成处理与监视对象检测处理相比启动或处理周期更快那样的设定。由此,能够抑制如周边图像生成处理延迟且不更新显示于显示装置50的监视用图像内的周边图像那样的事态。
返回图10及图11,如上所述,当通过检测部301在水平方向上所规定的监视区域内,在高度方向上检测到规定范围HR1内的监视对象时,警报输出部 303(控制部的一例)向操纵室10的内部或外部输出警报。
例如,如上所述,警报输出部303输出基于听觉方法即语音的警报。具体而言,警报输出部303向语音输出装置52输出控制指令而使其输出警告音。
并且,例如,如上所述,警报输出部303输出基于视觉方法即向显示装置 50显示的警报。具体而言,警报输出部303向显示控制部302发送警报请求。由此,显示控制部302根据警报请求,强调显示于显示装置50的实时取景图像或监视用图像MP的周边图像EP中所包含的监视对象即人,由此显示装置50能够输出对操作者的警报。关于基于警报输出部303的监视对象的强调方式的详细内容,将在后面进行叙述(参考图16A~16D)。
另外,如上所述,警报输出部303也可以通过触觉方法例如通过使操作者就坐的操作员座振动的振动发生装置输出警报。
如上所述,当通过检测部301在水平方向上所规定的监视区域内,在高度方向上检测到规定范围HR1内的监视对象时,动作限制部304(控制部的一例) 限制挖土机500的动作要件的动作。
[检测监视对象时的显示装置的显示内容]
接着,参考图16(图16A~图16D)对通过检测部301检测到监视对象时的显示装置50的显示内容的具体例进行说明。
图16A~图16D是表示通过检测部301检测到监视对象时的显示装置50的显示内容的具体例的图。
首先,图16A是表示在显示装置50中显示有摄像机40B、40L、40R中所选择的任一个摄像机的实时取景图像TP的状况下检测到监视对象(工作者W1) 时的显示于显示装置50的实时取景图像TP的一例的图。以下,为了方便起见,有时将与显示于显示装置50的实时取景图像TP对应的摄像机40B、40L、40R 中所选择的任一个摄像机称为“选择摄像机”。
另外,操作者例如通过显示内容切换开关64,能够从摄像机40B、40L、40 R中选择(切换)与显示于显示装置50的实时取景图像TP对应的摄像机(选择摄像机)。并且,以本例的工作者W1在水平方向上存在于监视区域内且在高度方向上存在于规定范围HR1内为前提进行说明。以下,关于后面叙述的图16 B~图16D的工作者W2~W4也是相同的前提。
如图16A所示,在本例的实时取景图像TP的中央部映出在挖土机500的周边进行工作的工作者W1(即,包含工作者W1)。
此时,工作者W1在水平方向上立于选择摄像机的大致正前方。换言之,工作者W1存在于选择摄像机的水平方向上的视角的中央附近。因此,与实际空间的水平方向对应的包含实时取景图像TP上的左右方向上的工作者W1的图像部分的失真非常小,例如,不会发生工作者W1的像朝向实时取景图像TP的左右方向的外侧崩溃的现象(以下,为了方便起见称为“像崩溃现象”)等。因此,立于地面上的工作者W1在实时取景图像TP上显示成沿显示部50A的上下方向站立。
如上所述,工作者W1在水平方向上存在于监视区域内,且在高度方向上存在于规定范围HR1内。因此,检测部301检测该工作者W1,警报输出部303通过显示控制部302重叠显示强调显示于显示装置50的实时取景图像TP中所包含的工作者W1的标记,具体而言重叠显示包围工作者W1的框FR1。由此,操作者等通过确认实时取景图像TP,能够轻松地识别出在挖土机的周边进入到监视区域内的工作者W1,从而能够迅速地掌握该工作者W1进行何种动作(工作) 等。
此时,框FR1由沿实际存在空间中的高度方向即沿从立于地面上的工作者 W1的脚下位置朝向头部位置的方向(以下,为了方便起见称为“身高方向”) 延伸的四方形构成。本例的情况下,如上所述,在实际空间的水平方向上,工作者W1立于选择摄像机的大致正前方,因此工作者W1的身高方向相当于显示部50A的纵向(具体而言,显示部50A的上方向)。因此,框FR1由在实时取景图像TP上的工作者W1的脚下位置附近的下方具有一边,并且从该底边向与身高方向对应的显示部50A的上方向延伸且在与工作者W1的头部位置相邻的上方具有与上述的一边对置的另一边的四方形构成。由此,对应于工作者W1的身高方向(在本例中,显示部50A的上方向)显示强调工作者W1的框FR1,因此操作者等能够在实时取景图像TP上容易识别出检测到的监视对象。
并且,如上所述,摄像机40B、40L、40R分别安装于上部回转体3的上端部,并且以使光轴朝向斜下方向的方式朝向挖土机500周边的地面拍摄挖土机 500的周边。其结果,立于地面上的工作者W1在实时取景图像TP上显示成随着从地面附近的脚下位置接近头部位置而其像(身体)逐渐变大。因此,构成框FR1的四方形具有对应于实时取景图像TP上的工作者W1的视觉效果而其身高方向上的宽度随着从脚下位置接近头部位置而逐渐变宽的大致梯形形状。由此,框FR1以沿因工作者W1的实时取景图像TP上的位置引起的视觉效果的差异即因工作者W1的实时取景图像TP上的高度方向的位置引起的大小的变化的方式形成,因此操作者等能够在实时取景图像TP上更容易识别出通过检测部3 01检测到的监视对象。
接着,图16B是表示在显示装置50中显示有选择摄像机的实时取景图像T P的状况下检测到监视对象(工作者W2)时的显示于显示装置50的实时取景图像TP的另一例的图。
如图16B所示,在本例的实时取景图像TP中的比左右方向的中央偏向左侧的部分映出(包含)在挖土机500的周边进行工作的工作者W2。
此时,工作者W2在水平方向上在以从选择摄像机观察的正前方为基准向左侧分开某种程度的位置上行走。换言之,工作者W2存在于从选择摄像机的水平方向上的视角的中央向左方向分开某种程度的位置。因此,与实际空间的水平方向对应且实时取景图像TP上的左右方向上的包含工作者W2的部分的失真变得较大。具体而言,如图16B所示,发生工作者W2的像向实时取景图像TP的外侧即左方向倾斜(崩溃)的现象,即发生像崩溃现象。
工作者W2与图16A的工作者W1的情况相同地,在水平方向上存在于监视区域内,且在高度方向上存在于规定范围HR1内。因此,与图16A的情况相同地,检测部301检测该工作者W2,警报输出部303通过显示控制部302重叠显示包围显示于显示装置50的实时取景图像TP中所包含的工作者W2的框FR2。
此时,框FR2与图16A的框FR1的情况相同地,由沿实际存在空间中的高度方向即立于地面上的工作者W2的身高方向延伸的四方形构成。在本例的情况下,如上所述,在实际空间的水平方向上,工作者W2在从选择摄像机的正前方向左方向分开某种程度的位置上行走,因此工作者W2的身高方向相当于因受到像崩溃现象的影响而从显示部50A的上方向向左侧倾斜某种程度的方向。因此,框FR2以对应于实时取景图像TP上的工作者W2的失真而从与脚下位置对应的一边朝向与头部位置对应的另一边的延伸方向向像崩溃方向(本例的情况下,左方向)倾斜的方式重叠显示于实时取景图像TP上。由此,强调检测到的监视对象的框FR2对应于实时取景图像TP上的由失真引起的监视对象的视觉效果的差异而发生变化,因此操作者等例如即使在如工作者W2步行移动那样的情况下,也能够如容易识别出工作者W2。
接着,图16C是表示在显示装置50中显示有选择摄像机的实时取景图像T P的状况下检测到监视对象(工作者W3)时的显示于显示装置50的实时取景图像TP的又一例的图。
如图16C所示,在本例的实时取景图像TP的右端部映出(包含)在挖土机 500的周边进行工作的工作者W3。
此时,工作者W3在水平方向上在以从选择摄像机观察的正前方为基准向右侧分开某种程度的位置上行走。换言之,工作者W3存在于从选择摄像机的水平方向上的视角的中央向右方向分开某种程度的位置。因此,与图16B的工作者 W2的情况相同地,与实际空间的水平方向对应的且实时取景图像TP上的左右方向上的包含工作者W3的部分的失真变得较大。具体而言,如图16C所示,发生工作者W3的像向实时取景图像TP的外侧即右方向倾斜(崩溃)的现象,即发生像崩溃现象。
工作者W3与图16A的工作者W1等的情况相同地,在水平方向上存在于监视区域内,且在高度方向上存在于规定范围HR1内。因此,与图16A等的情况相同地,检测部301检测该工作者W3,警报输出部303通过显示控制部302重叠显示包围显示于显示装置50的实时取景图像TP中所包含的工作者W3的框F R3。
此时,与图16A的框FR1等相同地,显示控制部302首先尝试将由沿实际存在空间中的高度方向即立于地面上的工作者W2的身高方向延伸的四方形构成的框FR3a重叠显示于实时取景图像TP上。然而,如图16C所示,工作者W3包含于实时取景图像TP上的右端部,因此导致框FR3a从实时取景图像TP向外迸出。因此,若判断为导致框FR3a从实时取景图像TP迸出,则显示控制部302 通过使框FR3a变形或生成新的框形状等,将以进入到实时取景图像TP内的方式进行修正的框FR3重叠显示于实时取景图像TP上。由此,显示控制部302即使在导致以相当于上述最优方法的规则形成的框(以下,称为“最优框”)从实时取景图像迸出的状况下,也能够将以相当于次优方法的规则进行修正的框 (以下,称为“次优框”)适当地重叠显示于实时取景图像上。
另外,用于确定上述最优框的信息例如预先保存于控制器30的内部存储器等。并且,当导致最优框从实时取景图像TP迸出时,关于用于确定得到修正的次优框的信息(例如,计算实时取景图像上的结构点的坐标的条件式或映射图等)也预先保存于上述的内部存储器等。由此,显示控制部302通过参考该内部存储器内的相符的信息,能够将通过该信息确定的最优框或次优框重叠显示于实时取景图像TP上。
并且,通过显示控制部302重叠显示于实时取景图像的框(例如,框FR1~ FR3)的颜色例如只要是相对于地面等的背景操作者等容易识别的颜色,则可以是任意颜色。并且,框FR1的颜色也可以根据各种条件发生变化。例如,框 FR1的颜色可以根据通过检测部301检测到的监视对象相对于挖土机500的相对位置发生变化。具体而言,当为离挖土机500相对较近的监视对象时,框FR 1的颜色可以设为色温低的颜色(例如,红色),当为离挖土机500相对较远的监视对象时,框FR1的颜色可以设为色温高的颜色(例如,蓝色)。由此,周边监视装置100通过颜色的差异,能够使操作者等掌握与挖土机500之间的位置关系(接近程度)。
并且,当然,检测部301根据摄像机40B、40L、40R中的除了选择摄像机以外的摄像机的摄像图像,进行检测监视对象的处理。因此,例如,当通过检测部301从摄像机40B、40L、40R中的除了选择摄像机以外的摄像机检测到监视对象时,警报输出部303也可以通过显示控制部302将显示装置50的显示内容自动地切换为与检测到监视对象的摄像图像对应的摄像机的实时取景图像。
接着,图16D是表示在显示装置50中显示有监视用图像MP的状况下,检测到监视对象(工作者W4)时的显示于显示装置50的监视用图像MP的一例的图。
如图16D所示,在本例的监视用图像MP中的周边图像EP的相当于挖土机 500后方的部分(即,合成图像中的与摄像机40B的摄像图像对应的部分)映出(包含)在挖土机500的周边(后方)进行工作的工作者W4。
工作者W4与图16A的工作者W1等的情况相同地,在水平方向上存在于监视区域内,且在高度方向上存在于规定范围HR1内。因此,检测部301检测该工作者W4,警报输出部303通过显示控制部302重叠显示强调显示于显示装置 50的监视用图像MP内的周边图像EP中所包含的工作者W4的标记(框FR4)。
具体而言,框FR4由足够小于周边图像EP上的工作者W4所占的部分的四方形(在本例中,沿显示部50A的纵向及横向构成四边的正方形)构成。更具体而言,框FR4以包围周边图像EP内的工作者W4的脚下位置的方式重叠显示于监视用图像MP中的周边图像EP上。这是因为,合成图像即周边图像EP上的监视对象的形状具有相对于实际空间中的监视对象的形状变得失真非常大的倾向,如实时取景图像TP的情况,若显示包围监视对象的框,则反而存在难以掌握监视对象的可能性。
[周边监视装置的动作的详细内容]
接着,参考图17、图18对基于本实施方式所涉及的周边监视装置100的动作的详细内容进行说明。具体而言,对与根据基于周边监视装置100检测监视对象进行警报的输出及挖土机500的动作限制相关的处理(以下,称为“周边监视处理”)的流程进行说明。
图17是概略地表示周边监视装置100进行的周边监视处理的一例的流程图。例如,在挖土机自启动起到停止为止的运行中,当未进行警报的输出及挖土机500的动作限制时,每隔规定的处理周期重复执行基于本流程图的处理。以下,关于基于图18的流程图的处理也相同。
在步骤S102中,检测部301根据摄像装置40的摄像图像进行识别摄像图像中所包含的监视对象的处理。
在步骤S104中,检测部301判定是否识别出在水平方向上存在于监视区域内的监视对象。当识别出在水平方向上存在于监视区域内的监视对象时,检测部301转到步骤S106,在除此以外的情况下,转到步骤S112。
在步骤S106中,检测部301判定在步骤S104中识别出的监视对象在水平方向上是否存在于规定范围HR1内。当在步骤S104中识别出的监视对象在水平方向上存在于规定范围HR1内时,检测部301转到步骤S108,在除此以外的情况下,转到步骤S112。
另外,步骤S104、S106的处理的顺序也可以与此相反。
在步骤S108中,检测部301将识别出的监视对象判断为检测对象。然后,检测部301将检测到该监视对象的情况向警报输出部303及动作限制部304通知与该监视对象相关的信息(例如,与水平方向及高度方向相关的位置信息等)。
在步骤S110中,警报输出部303通过显示装置50或语音输出装置52输出警报。并且,同时,动作限制部304通过门锁阀54进行挖土机500的动作限制。然后,控制器30结束这次处理。
另一方面,在步骤S112中,检测部301判断为未检测到成为检测对象的监视对象,并结束这次处理。
例如,在上述专利文献1等中,在挖土机等施工机械周边的监视对象区域 (监视区域)内被检测的所有监视对象有可能成为警报的输出或动作限制的对象。因此,实际上,尽管施工机械与检测到的监视对象触碰等的可能性极低 (例如,在挖土机的工作面与监视对象所存在的平面之间具有较大的高低差) 的状况下,也可能会执行警报的输出或挖土机的动作限制。即,因进行不必要的警报的输出或挖土机的动作限制而可能会降低降低挖土机的操作性。
相对于此,在本例中,周边监视装置100限定于在水平方向上所规定的监视区域中检测到在高度方向上存在于规定范围HR1内的监视对象时,进行警报的输出或挖土机500的动作限制。由此,通过适当设定规定范围HR1,在如挖土机500与监视对象触碰等的可能性非常低的状况下,可以避免警报的输出或挖土机500的动作限制。更具体而言,例如,如图12A~图12D所示,有时可能会存在如在相对于挖土机500的工作面经由高低差或倾斜相邻的不同工作面上存在监视对象那样的情况。这是因为,在该情况下,根据高低差或倾斜的大小程度等,挖土机500超过高低差或倾斜而移动至监视对象存在的工作面上的可能性变得非常低。因此,周边监视装置100抑制不必要的警报的输出或挖土机500的动作限制,从而能够抑制挖土机500的操作性的下降。
另外,也可以代替检测部301而通过警报输出部303及动作限制部304中的至少一个判定监视对象在高度方向上是否存在于规定范围HR1内。以下,利用图18对该情况的处理流程进行说明。
图18是概略表示周边监视装置100进行的周边监视处理的另一例的流程图。
步骤S202、S204的处理与图17的步骤S102、S104相同,因此省略说明。
在步骤S204中,当识别出在水平方向上存在于监视区域内的监视对象时,检测部301转到步骤S206。
步骤S206的处理与图9的步骤S108相同,因此省略说明。
在步骤S208中,警报输出部303及动作限制部304中的至少一个(以下,为了方便起见,称为“警报输出部303等”)判定通过检测部301检测到的监视对象在高度方向上是否存在于规定范围HR1内。当通过检测部301检测到的监视对象在高度方向上存在于规定范围HR1内时,警报输出部303等转到步骤 S210,在除此以外的情况下,结束这次处理。
步骤S210、S212的处理与图17的步骤S110、S112相同,因此省略说明。
如此,在本例中,与图17的一例的情况相同地,限定于在水平方向上所规定的监视区域中检测到在高度方向上存在于规定范围HR1内的监视对象时,进行警报的输出或挖土机500的动作限制。由此,发挥与图17的情况相同的作用 /效果。
另外,在本例中,周边监视装置100包含警报输出部303及动作限制部30 4这两者,但与上述的一例的情况相同地,也可以仅包含其中任一个。即,当在水平方向的监视区域内检测到规定范围HR1内的监视对象时,周边监视装置 100也可以是仅进行警报的输出及挖土机500的动作限制中的任一个的方式。
并且,在本例中,当检测到在水平方向上存在于监视区域且在高度方向上存在于规定范围HR1内的监视对象时,图16A~图16D所示的内容显示于显示装置50,但并不限定于该方式。具体而言,关于不管监视对象在高度方向的位置如何均检测到在水平方向上存在于监视区域内的监视对象的情况(例如,上述的周边监视系统1000的一例中所包含的周边监视装置100),可以使图16 A~图16D所示的内容显示于显示装置50。
并且,在本例中,从警报或动作限制的对象中排除存在于与挖土机500的工作平面(基准面)不同的高度的台阶面的监视对象或存在于具有与挖土机50 0的工作平面不同的倾斜角度的平面的监视对象,但当然,也可以根据除此以外的理由,从警报或动作限制的对象中排除在挖土机500的高度方向上存在于脱离规定范围HR1的位置上的监视对象。即,规定范围HR1也可以在考虑到由除了相对于挖土机500的工作平面的高低差或倾斜以外的理由引起的挖土机50 0与监视对象之间在高度方向上的偏离的基础上进行规定。
并且,在本例中,周边监视装置100组装于周边监视系统1000,但周边监视装置100也可以并非以周边监视系统1000(外部装置600)为前提而单独 (即,独立状态下)进行上述动作。
并且,以下公开本例所涉及的周边监视装置100。
(1)
一种周边监视装置,其具备:
检测部,检测挖土机周边的规定的监视对象;及
控制部,当通过所述检测部检测到在所述挖土机的高度方向上存在于规定的第1范围内的所述监视对象时,输出警报或进行所述挖土机的动作限制。
(2)
在(1)所述的周边监视装置中,
当通过所述检测部检测到在所述挖土机的高度方向上相对于与所述挖土机的特定高度对应的基准位置存在于所述第1范围内的所述监视对象时,所述控制部输出所述警报或进行所述挖土机的动作限制。
(3)
(1)或(2)所述的周边监视装置还具备:
传感器,能够获取与所述挖土机周边的所述监视对象的位置相关的检测信息,
所述检测部根据所述传感器的检测信息,判定所述挖土机的高度方向上的所述监视对象存在的位置。
(4)
在(3)所述的周边监视装置中,
所述传感器包含单眼摄像机、立体摄像机、激光雷达或雷达。
(5)
(1)或(2)所述的周边监视装置还具备:
地形信息获取部,获取与所述挖土机的施工现场的信息化施工相关的地形信息;及
位置信息获取部,获取所述挖土机的所述施工现场中的位置信息,
所述检测部根据所述地形信息及所述位置信息,判定所述挖土机的高度方向上的所述监视对象存在的位置。
(6)
在(4)所述的周边监视装置中,
当在通过所述单眼摄像机拍摄的所述挖土机周边的摄像图像中包含所述监视对象时,并且当所述摄像图像上的所述监视对象的视觉效果位于预先规定的第2范围内时,所述检测部判定为所述监视对象在所述挖土机的高度方向上存在于所述第1范围内。
(7)
在(6)所述的周边监视装置中,
当所述摄像图像上的所述监视对象相对于所述挖土机的高度方向上的规定的基准位置的偏离量或所述摄像图像上的所述监视对象与所述挖土机的高度方向对应的尺寸在根据从所述挖土机观察的所述监视对象的远近程度预先规定的所述第2范围内时,所述检测部判定为所述监视对象在所述挖土机的高度方向上存在于所述第1范围内。
(8)
(4)、(6)或(7)所述的周边监视装置还具备:
显示装置,显示通过所述单眼摄像机拍摄的所述挖土机周边的摄像图像,
当通过所述检测部检测到在所述挖土机的高度方向上存在于规定的第1范围内的所述监视对象时,所述控制部对应于由所述单眼摄像机拍摄的像失真的倾向在显示于所述显示装置的所述摄像图像上重叠显示包围所述监视对象的框。
(9)
根据(8)所述的周边监视装置中,
当对应于由所述单眼摄像机拍摄的像失真的倾向而预先规定其形状的所述框向显示于所述显示装置的所述摄像图像之外露出时,所述控制部将以进入到所述摄像图像中的方式变形的所述框重叠显示在显示于所述显示装置的所述摄像图像上。
(10)
(4)、(6)或(7)所述的周边监视装置具备:
多个所述单眼摄像机,摄像范围彼此不同;及
显示装置,显示根据所述多个所述单眼摄像机各自的摄像图像生成且表示挖土机周边的状况的合成图像,
所述控制部在显示于所述显示装置的所述合成图像上的包含所述监视对象的部分重叠显示小于所述合成图像上的所述摄像图像且不管所述合成图像上的位置如何大小均相同的标记。
以上,对用于实施本发明的方式进行了详细说明,但本发明并不限定于该特定实施方式,在技术方案中所记载的本发明的主旨范围内,能够进行各种变形/变更。
本申请主张基于2017年12月4日申请的日本专利申请2017-232908号及 2018年1月25日申请的日本专利申请2018-010872号的优先权,这些日本专利申请的全部内容通过参考援用于本申请。
符号说明
30-控制器,40-摄像装置,40B、40L、40R-摄像机(传感器),42-激光雷达(传感器),50-显示装置(操作者通知部),52-语音输出装置(操作者通知部),54-门锁阀,60-解除开关(解除意向输入部),62-监视功能“开启”/“关闭”开关,64-显示内容切换开关,70-确认动作状态检测部,72-通信设备(获取部、外部通知部、地形信息获取部),74-外部通知装置(外部通知部),80-GPS模块(位置信息获取部),100-周边监视装置,301-检测部,302-显示控制部,303-警报输出部(控制部),304-动作限制部(控制部), 305-委托解除通知部,306-周边状况信息发送部,307-判定部(获取部),50 0-挖土机,600-外部装置,610-通信设备,620-信息处理部,630-显示部(第 1通知部、第2通知部),640-语音输出部(第1通知部、第2通知部),650 -操作部(允许解除操作部),700-管理终端(外部装置、信息处理终端、终端),750-解除装置(外部装置、信息处理装置),800-管理终端(外部装置、信息处理终端、终端),900-管理服务器(外部装置、信息处理装置),1000 -周边监视系统,6201-挖土机状况通知部,6202-周边状况信息获取部,6203- 允许解除操作接收部,6204-判定部,6205-允许解除通知部。

Claims (10)

1.一种周边监视装置,其具备:
传感器,能够获取与施工机械周边的规定的监视对象的位置相关的检测信息;及
控制部,当所述监视对象存在于由所述传感器能够获取所述检测信息的范围内并存在于距所述施工机械规定距离以下的范围内且在所述施工机械的高度方向上存在于规定的第1范围内时,输出警报或进行所述施工机械的动作限制,
所述控制部在所述监视对象相对于所述施工机械所处的基准面超过所述第1范围而存在于所述高度不同的台阶面的情况下或存在于具有与所述基准面不同的倾斜角度的倾斜面上的从所述基准面在所述高度方向上超过了所述第1范围的位置的情况下,不输出所述警报且不进行所述动作限制。
2.根据权利要求1所述的周边监视装置,其中,
所述控制部即使在所述监视对象存在于由所述传感器能够获取所述检测信息的范围内并存在于距所述施工机械所述规定距离以下的范围内,所述监视对象在所述施工机械的高度方向上存在于所述第1范围之外的情况下,也不输出所述警报或进行所述动作限制。
3.根据权利要求1或2所述的周边监视装置,其中,
所述控制部仅在所述施工机械的高度方向上相对于与所述施工机械的特定高度对应的基准位置在所述第1范围内存在所述监视对象的情况下,输出所述警报或进行所述施工机械的动作限制。
4.根据权利要求1-3中任一项所述的周边监视装置,其还具备:
根据所述传感器的检测信息,判定所述施工机械的高度方向上的所述监视对象存在的位置。
5.根据权利要求1-3中任一项所述的周边监视装置,其还具备:
地形信息获取部,获取与所述施工机械的施工现场的信息化施工相关的地形信息;及
位置信息获取部,获取所述施工机械的所述施工现场中的位置信息,
根据所述地形信息及所述位置信息,判定所述施工机械的高度方向上的所述监视对象存在的位置。
6.根据权利要求1-5中任一项所述的周边监视装置,其还具备:
获取部,获取与所述施工机械的外部中的所述警报或所述动作限制的解除相关的信息,
当正在进行所述警报或所述动作限制时,所述控制部根据基于所述获取部的所述信息的获取,解除所述警报或所述动作限制。
7.根据权利要求6所述的周边监视装置,其中,
所述获取部从规定的外部装置获取允许解除所述警报或所述动作限制的情况的通知,
所述控制部根据通过所述获取部获取的所述通知,解除所述警报或所述动作限制。
8.根据权利要求6所述的周边监视装置,其还具备:
操作者通知部,对操作者进行通知,
所述获取部从规定的外部装置获取与所述施工机械的周围确认相关的信息,
当通过所述获取部获取了与所述施工机械的周围确认相关的信息时,所述操作者通知部向操作者通知该信息的内容。
9.根据权利要求6所述的周边监视装置,其还具备:
摄像装置,拍摄所述施工机械的周边,
所述获取部从所述摄像装置中获取包含进行规定的姿势或手势且存在于所述施工机械周边的规定的人的摄像图像,
当正在进行所述警报或所述动作限制时,所述控制部根据基于所述获取部的包含正在进行所述姿势或所述手势的所述人的摄像图像的获取,解除所述警报或所述动作限制。
10.根据权利要求6所述的周边监视装置,其还具备:
解除意向输入部,由操作者输入解除所述警报或所述动作限制的意向,
当正在进行所述警报或所述动作限制时,通过所述获取部获取了所述信息,且对所述解除意向输入部输入了所述意向时,所述控制部解除所述警报或所述动作限制。
CN201880072820.8A 2017-12-04 2018-12-03 周边监视装置 Active CN111344460B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017-232908 2017-12-04
JP2017232908 2017-12-04
JP2018-010872 2018-01-25
JP2018010872 2018-01-25
PCT/JP2018/044427 WO2019111859A1 (ja) 2017-12-04 2018-12-03 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム

Publications (2)

Publication Number Publication Date
CN111344460A CN111344460A (zh) 2020-06-26
CN111344460B true CN111344460B (zh) 2022-04-26

Family

ID=66751090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072820.8A Active CN111344460B (zh) 2017-12-04 2018-12-03 周边监视装置

Country Status (6)

Country Link
US (1) US11365527B2 (zh)
EP (1) EP3722519B1 (zh)
JP (2) JP7252137B2 (zh)
KR (1) KR102627093B1 (zh)
CN (1) CN111344460B (zh)
WO (1) WO2019111859A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
US20220195704A1 (en) * 2019-04-04 2022-06-23 Komatsu Ltd. System including work machine, computer implemented method, method for producing trained posture estimation model, and training data
WO2020218453A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 ショベル
WO2021025123A1 (ja) * 2019-08-08 2021-02-11 住友建機株式会社 ショベル、情報処理装置
JP2021033403A (ja) * 2019-08-19 2021-03-01 矢崎エナジーシステム株式会社 車載器および作業車両の運転支援システム
JP7340996B2 (ja) * 2019-09-03 2023-09-08 日立建機株式会社 現場管理システム
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
JP7349880B2 (ja) * 2019-10-18 2023-09-25 株式会社小松製作所 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7234095B2 (ja) * 2019-10-31 2023-03-07 日立建機株式会社 建設機械
JP7153627B2 (ja) 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7400425B2 (ja) * 2019-12-10 2023-12-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
CN110942582A (zh) * 2019-12-23 2020-03-31 福建省特种设备检验研究院 基于机器视觉的扶手带人员异常行为的监测报警方法
JP7479156B2 (ja) * 2020-01-30 2024-05-08 住友重機械工業株式会社 作業機械、情報処理装置
JP7476558B2 (ja) * 2020-02-15 2024-05-01 コベルコ建機株式会社 作業機械の遠隔操作支援システム
JP2021143541A (ja) * 2020-03-13 2021-09-24 コベルコ建機株式会社 作業支援サーバ、作業支援方法
JP7260502B2 (ja) * 2020-03-24 2023-04-18 株式会社日立製作所 情報提示装置、遠隔操作システムおよびプログラム
WO2021192114A1 (ja) * 2020-03-25 2021-09-30 日立建機株式会社 作業機械の運転支援システム
JP7447670B2 (ja) * 2020-05-15 2024-03-12 トヨタ自動車株式会社 自律移動装置制御システム、その制御方法及びその制御プログラム
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
EP4101996A4 (en) * 2020-05-29 2024-04-03 Hitachi Construction Mach Co WORKING MACHINE
JP2022014975A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置
US11773567B2 (en) * 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
CN112053339B (zh) * 2020-08-31 2023-01-31 中冶赛迪信息技术(重庆)有限公司 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备
CN116250027A (zh) * 2020-09-29 2023-06-09 索尼半导体解决方案公司 信息处理系统和信息处理方法
US11898331B2 (en) * 2020-12-02 2024-02-13 Caterpillar Sarl System and method for detecting objects within a working area
JP7250749B2 (ja) 2020-12-14 2023-04-03 日立建機株式会社 作業内容および機能内容変更判定システム
KR102388054B1 (ko) * 2020-12-17 2022-04-21 (주)우신특장 공사차량 충돌방지시스템
CN114387759A (zh) * 2021-12-01 2022-04-22 深圳市原像天成科技有限公司 一种基于工程机械操作安全智能分析系统
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL
JP2024007313A (ja) 2022-07-05 2024-01-18 吉谷土木株式会社 作付け支援方法と圃場作業支援システム等

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
CN103917717A (zh) * 2012-10-19 2014-07-09 株式会社小松制作所 液压挖掘机的挖掘控制系统
CN105008622A (zh) * 2013-09-12 2015-10-28 日立建机株式会社 挖掘区域限制控制的基础信息的运算装置和运算方法以及工程机械
CN105339561A (zh) * 2014-06-04 2016-02-17 株式会社小松制作所 作业机械的姿势运算装置、作业机械及作业机械的姿势运算方法
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
JP5367665B2 (ja) * 2010-09-17 2013-12-11 日立建機株式会社 作業機械の表示システム
JP6270029B2 (ja) * 2011-05-26 2018-01-31 住友重機械工業株式会社 電動式旋回装置を備えたショベル及びその制御方法
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP6352592B2 (ja) * 2013-03-19 2018-07-04 住友重機械工業株式会社 ショベル
JP6302622B2 (ja) 2013-03-19 2018-03-28 住友重機械工業株式会社 作業機械用周辺監視装置
JP6456584B2 (ja) 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
JP6386213B2 (ja) 2013-05-16 2018-09-05 住友建機株式会社 ショベル
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
US10228232B2 (en) * 2014-04-14 2019-03-12 Caterpillar Inc. Operator assistance system
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
EP3385457A4 (en) * 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视系统
JP6096980B2 (ja) 2015-12-18 2017-03-15 株式会社小松製作所 施工情報表示装置および施工情報の表示方法
FR3053762B1 (fr) 2016-07-07 2020-08-28 Valeo Iluminacion Sa Module lumineux pour vehicule automobile
JP7358070B2 (ja) * 2019-04-26 2023-10-10 住友建機株式会社 ショベル
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
CN103917717A (zh) * 2012-10-19 2014-07-09 株式会社小松制作所 液压挖掘机的挖掘控制系统
CN105008622A (zh) * 2013-09-12 2015-10-28 日立建机株式会社 挖掘区域限制控制的基础信息的运算装置和运算方法以及工程机械
CN105339561A (zh) * 2014-06-04 2016-02-17 株式会社小松制作所 作业机械的姿势运算装置、作业机械及作业机械的姿势运算方法
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示系统、作业机械的远程操作系统以及作业机械
JP2017101419A (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム

Also Published As

Publication number Publication date
KR102627093B1 (ko) 2024-01-18
JP7252137B2 (ja) 2023-04-04
WO2019111859A1 (ja) 2019-06-13
EP3722519B1 (en) 2022-05-11
KR20200090761A (ko) 2020-07-29
JP2023083299A (ja) 2023-06-15
JPWO2019111859A1 (ja) 2020-12-24
CN111344460A (zh) 2020-06-26
US20200291614A1 (en) 2020-09-17
EP3722519A1 (en) 2020-10-14
US11365527B2 (en) 2022-06-21
EP3722519A4 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
CN111344460B (zh) 周边监视装置
KR102638317B1 (ko) 작업기계, 작업기계용 주변감시시스템
US11940789B2 (en) System and method for autonomous operation of a machine
US11492777B2 (en) Shovel and system of managing shovel
KR102305144B1 (ko) 작업 기계
US20220042286A1 (en) Shovel
US20220074171A1 (en) Display device, shovel, and information processing apparatus
KR20200133719A (ko) 쇼벨
WO2020218452A1 (ja) ショベル、作業現場の安全装備確認システム
WO2021025123A1 (ja) ショベル、情報処理装置
US20220042283A1 (en) Shovel
JP2022157923A (ja) ショベル
WO2021149775A1 (ja) 作業機械、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant