CN115176058A - 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 - Google Patents

作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 Download PDF

Info

Publication number
CN115176058A
CN115176058A CN202180016984.0A CN202180016984A CN115176058A CN 115176058 A CN115176058 A CN 115176058A CN 202180016984 A CN202180016984 A CN 202180016984A CN 115176058 A CN115176058 A CN 115176058A
Authority
CN
China
Prior art keywords
alarm
person
work machine
unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180016984.0A
Other languages
English (en)
Inventor
江口太郎
中泽浩一
栗原毅
下屋芳之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN115176058A publication Critical patent/CN115176058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Preliminary Treatment Of Fibers (AREA)
  • Spinning Or Twisting Of Yarns (AREA)

Abstract

一种作业机械的周边监控系统，具备：拍摄装置30，其作为检测部用于检测作业机械周边的人；警报部，其用于输出警报；状态判断部54，其对拍摄装置30检测到的人的身体的状态进行判断；以及警报控制部56，其基于状态判断部54的判断结果，对警报部的警报的输出进行控制。

Description

作业机械的周边监控系统、作业机械、及作业机械的周边监控 方法
技术领域
本发明涉及作业机械的周边监控系统、作业机械、及作业机械的周边监控方法。
背景技术
在涉及作业机械的技术领域中，现已知如专利文献1所公开的具备周边监控装置的作业机械。在专利文献1中，作业机械的驾驶室中配置有周边监控显示器。周边监控显示器的显示部用于显示作业机械周边的俯视图像。
专利文献1：国际公开第2016/159012号
发明内容
周边监控装置在作业机械的周边存在人的情况下输出警报。由此，即使在作业机械周边的人已意识到作业机械的存在的情况下，也会输出警报。在作业机械的周边存在人的情况下，理想的为：根据人的状态，来输出警报或抑制输出警报。
本发明提供一种作业机械的周边监控系统，具备：检测部，其用于检测作业机械周边的人；警报部，其用于输出警报；状态判断部，其用于判断所述检测部检测到的所述人的身体的状态；警报控制部，其基于所述状态判断部的判断结果，对所述警报部的警报的输出进行控制。
根据本发明，能够在作业机械的周边存在人的情况下，根据人的状态来控制警报的输出。
附图说明
图1是表示实施方式涉及的作业机械的立体图。
图2是表示实施方式涉及的作业机械的驾驶室的图。
图3是示意性地表示实施方式涉及的上部回转体的图。
图4是用于说明实施方式涉及的检测范围及警报范围的示意图。
图5是表示实施方式涉及的周边监控装置的功能框图。
图6是表示实施方式涉及的显示部的俯视图像的显示例的一个示例的图。
图7是表示实施方式涉及的显示部的俯视图像的显示例的其他示例的图。
图8是表示实施方式涉及的显示部的俯视图像的显示例的其他示例的图。
图9是表示实施方式涉及的显示部的俯视图像的显示例的其他示例的图。
图10是表示实施方式涉及的显示部的俯视图像的显示例的其他示例的图。
图11是表示实施方式涉及的显示部的俯视图像的显示例的其他示例的图。
图12是表示实施方式涉及的显示部的单个拍摄装置图像的显示例的一个示例的图。
图13是表示实施方式涉及的显示部的单个拍摄装置图像的显示例的其他示例的图。
图14是表示实施方式涉及的周边监控方法的流程图。
图15是表示实施方式涉及的计算机系统的框图。
具体实施方式
下面，参照附图对本发明涉及的实施方式进行说明，但本发明不限定于此。下文说明的实施方式的结构要素可以进行适当地组合。此外，还存在不使用部分结构要素的情况。
作业机械
图1是表示实施方式涉及的作业机械1的立体图。在实施方式中，设作业机械1为液压挖掘机。在以下的说明中，可将作业机械1称作液压挖掘机1。液压挖掘机1包括：下部行走体2、由下部行走体2所支承的上部回转体3、由上部回转体3所支承的作业机4、以及用于驱动作业机4的液压缸5。
下部行走体2能够以支承着上部回转体3的状态行走。下部行走体2具有一对履带。下部行走体2通过履带的旋转而行走。
上部回转体3能够以支承于下部行走体2的状态，相对于下部行走体2以回转轴RX为中心回转。上部回转体3具有供液压挖掘机1的驾驶员搭乘的驾驶室6。在驾驶室6中，设有供驾驶员就坐的驾驶座椅9。
作业机4包括：连结于上部回转体3的动臂4A、连结于动臂4A的斗杆4B、以及连结于斗杆4B的铲斗4C。液压缸5包括：用于驱动动臂4A的动臂缸5A、用于驱动斗杆4B的斗杆缸5B、以及用于驱动铲斗4C的铲斗缸5C。
动臂4A以能够以动臂旋转轴AX为中心旋转的方式被支承于上部回转体3。斗杆4B以能够以斗杆旋转轴BX为中心旋转的方式被支承于动臂4A。铲斗4C以能够以铲斗旋转轴CX为中心旋转的方式被支承于斗杆4B。
动臂旋转轴AX、斗杆旋转轴BX和铲斗旋转轴CX相互平行。动臂旋转轴AX、斗杆旋转轴BX、及铲斗旋转轴CX，与平行于回转轴RX的轴正交。在以下的说明中，可将与回转轴RX平行的方向称作上下方向；可将与动臂旋转轴AX、斗杆旋转轴BX、及铲斗旋转轴CX平行的方向称作左右方向；可将与动臂旋转轴AX、斗杆旋转轴BX及铲斗旋转轴CX、以及回转轴RX这两个方向正交的方向称作前后方向。以就坐于驾驶座椅9的驾驶员为基准，存在作业机4的方向为前方，与前方相反的方向为后方。以就坐于驾驶座椅9的驾驶员为基准，左右方向中的一方为右方，与右方相反的方向为左方。远离下部行走体2的接地面的方向为上方，与上方相反的方向为下方。
驾驶室6配置于上部回转体3的前方。驾驶室6配置于作业机4的左方。作业机4的动臂4A配置于驾驶室6的右方。
驾驶室
图2是表示实施方式涉及的液压挖掘机1的驾驶室6的图。液压挖掘机1具备配置于驾驶室6的操作部10。为了使液压挖掘机1的至少一部分动作而对操作部10进行操作。操作部10由就坐于驾驶座椅9的驾驶员进行操作。液压挖掘机1的动作包括下部行走体2的动作、上部回转体3的动作、及作业机4的动作中的至少一个。
操作部10包括：用于使上部回转体3及作业机4动作而被操作的左作业杆11及右作业杆12、用于使下部行走体2动作而被操作的左行走杆13及右行走杆14、以及左脚踏板15及右脚踏板16。
左作业杆11配置于驾驶座椅9的左方。通过将左作业杆11沿前后方向进行操作，使斗杆4B进行倾卸动作或挖掘动作。通过将左作业杆11沿左右方向进行操作，使上部回转体3左回转或右回转。右作业杆12配置于驾驶座椅9的右方。通过将右作业杆12沿左右方向进行操作，使铲斗4C进行挖掘动作或倾卸动作。通过将右作业杆12沿前后方向进行操作，使动臂4A进行下降动作或上升动作。
左行走杆13及右行走杆14配置于驾驶座椅9的前方。左行走杆13配置于右行走杆14的左方。通过将左行走杆13沿前后方向进行操作，使下部行走体2的左侧的履带进行前进动作或后退动作。通过将右行走杆14沿前后方向进行操作，使下部行走体2的右侧的履带进行前进动作或后退动作。
左脚踏板15及右脚踏板16配置于驾驶座椅9前方。左脚踏板15配置于右脚踏板16的左方。左脚踏板15与左行走杆13联动。右脚踏板16与右行走杆14联动。也可以通过操作左脚踏板15及右脚踏板16，来使下部行走体2进行前进动作或后退动作。
液压挖掘机1具备配置于驾驶室6的周边监控显示器20。周边监控显示器20配置于驾驶座椅9的右前方。周边监控显示器20具有：显示部21、操作部22、控制部23及作为警报部的内侧警报部24。
显示部21用于显示表示液压挖掘机1的周边状况的周边图像数据。显示部21包括平板显示屏，如：液晶显示屏(LCD：Liquid Crystal Display)或有机电致发光显示屏(OELD：Organic Electroluminescence Display)。
周边图像数据包括液压挖掘机1周边的俯视图像PDa和单个拍摄装置图像PDb中的一方或两者。
俯视图像PDa是指，将作为检测部的多个拍摄装置30分别获取的多个图像数据变换成俯视视角进行合成，从而生成的图像。在俯视图像PDa中，显示表示液压挖掘机1的标记图像1S。标记图像1S相当于从上方观察液压挖掘机1的图像。根据标记图像1S，液压挖掘机1与液压挖掘机1周边的位置关系得以明确。
单个拍摄装置图像PDb是指，由多个拍摄装置30中的一个拍摄装置30获取的液压挖掘机1的周边一部分的图像。单个拍摄装置图像PDb包括以下图像中的至少一个：由后拍摄装置31获取的表示液压挖掘机1的后方状况的后方单个拍摄装置图像PDb、由右后拍摄装置32获取的表示液压挖掘机1的右后方状况的右后方单个拍摄装置图像PDb、由右前拍摄装置33获取的表示液压挖掘机1的右前方状况的右前方单个拍摄装置图像PDb、以及由左后拍摄装置34获取的表示液压挖掘机1的左后方状况的左后方单个拍摄装置图像PDb。
操作部22包括供驾驶员操作的多个开关。操作部22通过被驾驶员操作，而输出操作指令。
控制部23包括计算机系统。
内侧警报部24向作业机械1的驾驶室6的内侧输出警报。在实施方式中，内侧警报部24是蜂鸣器，其向驾驶室6的内侧输出蜂鸣声。
警报是指在检测到人的时候输出的输出信息。在实施方式中，以由内侧警报部24或后文所述的外侧警报部60输出的蜂鸣声作为警报进行说明，但并不限于此。警报还可以是显示部21显示的信息或显示标记、设于液压挖掘机1的PATLITE(派特莱，注册商标)警示灯、或者设于驾驶室6的由显示灯或LED等构成的警告灯。在警报是PATLITE警示灯的情况下，除了向驾驶室6的驾驶员，还能够向液压挖掘机1周边人警报提起注意。
拍摄装置
图3是示意性地表示实施方式涉及的上部回转体3的图。液压挖掘机1具备包含多个拍摄装置30的拍摄装置系统300。多个拍摄装置30设于上部回转体3。拍摄装置30用于获取拍摄对象的图像。拍摄装置30作为检测作业机械1周边的人的检测部发挥功能。在作业机械1的周围配置有多个拍摄装置30。在实施方式中，拍摄装置30包括：设于上部回转体3后部的后拍摄装置31、设于上部回转体3右部的右后拍摄装置32及右前拍摄装置33、以及设于上部回转体3左部的左后拍摄装置34。
后拍摄装置31用于拍摄上部回转体3的后方区域。右后拍摄装置32用于拍摄上部回转体3的右后方区域。右前拍摄装置33用于拍摄上部回转体3的右前方区域。左后拍摄装置34用于拍摄上部回转体3的左后方区域。多个拍摄装置30(31、32、33和34)均具有光学系统和图像传感器。图像传感器包括电荷耦合元件(CCD：Couple Charged Device)图像传感器或互补金属氧化物半导体(CMOS：Complementary Metal Oxide Semiconductor)图像传感器。
此外，左后拍摄装置34用于对上部回转体3的左侧方区域及左后方区域的范围进行拍摄，但也可以是对其中一个区域进行拍摄。同样地，右后拍摄装置32用于对上部回转体3的右侧方区域及右后方区域的范围进行拍摄，但也可以是对其中一个区域进行拍摄。同样地，右前拍摄装置33用于对上部回转体3的右前方区域及右侧方区域的范围进行拍摄，但也可以是对其中一个区域进行拍摄。此外，拍摄装置30用于对上部回转体3的左后方、后方、右后方及右前方进行拍摄，但并不限于此。例如，拍摄装置30的数量可以与图3所示的示例不相同。例如，拍摄装置30的拍摄范围可以与图3所示的示例不相同。
在实施方式中，不存在用于拍摄驾驶室6的前方及左前方的拍摄装置。这是因为就坐于驾驶座椅9的驾驶员能够直接目视确认驾驶室6的前方及左前方的状况。由此，设于液压挖掘机1的拍摄装置30的数量得以抑制。此外，也可以设置用于获取表示驾驶室6的前方及左前方的状况的图像数据的拍摄装置30。
图4是用于说明实施方式涉及的检测范围A及警报范围B的示意图。拍摄装置30具有能够检测到人的检测范围A。检测范围A包含拍摄装置30的可拍摄范围即视野范围。控制部23对由拍摄装置30获取的图像数据进行图像处理。通过对图像数据进行图像处理，能够判断出在拍摄装置30的检测范围A内是否存在人。
外侧警报单元
液压挖掘机1具备外侧警报单元600，该外侧警报单元600包含作为警报部的多个外侧警报部60。多个外侧警报部60设于上部回转体3。多个外侧警报部60设于拍摄装置30的周边。多个外侧警报部60向作业机械1周边的互不相同的方向输出警报。多个外侧警报部60向作业机械1的驾驶室6的外侧输出警报。在实施方式中，多个外侧警报部60是蜂鸣器，其向驾驶室6的外侧输出蜂鸣声。在实施方式中，外侧警报部60包括：设于上部回转体3后部的外侧警报部61、设于上部回转体3右部的外侧警报部62、以及设于上部回转体3左部的外侧警报部64。外侧警报部61配置于后拍摄装置31的周边。外侧警报部61向作业机械1的后方输出警报。外侧警报部62配置于右后拍摄装置32及右前拍摄装置33的周边。外侧警报部62向右后方、右侧方、及右前方输出警报。外侧警报部64配置于左后拍摄装置34的周边。外侧警报部64向左后方及左侧方输出警报。
周边监控装置
图5是表示实施方式涉及的周边监控装置100的功能框图。液压挖掘机1具备周边监控装置100。周边监控装置100用于监控液压挖掘机1的周边。周边监控装置100具备：周边监控显示器20、拍摄装置系统300、以及外侧警报单元600。周边监控显示器20具有：显示部21、操作部22、控制部23、以及内侧警报部24。拍摄装置系统300具有多个拍摄装置30(31、32、33、34)。外侧警报单元600具有多个外侧警报部60(61、62、63、64)。此外，周边监控装置100还可以构成为不具备显示部21和操作部22。另外，周边监控装置100还可以构成为仅具备外侧警报单元600和内侧警报部24中的任一方。
控制部23包括计算机系统。控制部23具有：包含如CPU(中央处理器：CentralProcessing Unit)这种处理器的运算处理部41、包含如RAM(随机存储器：Random AccessMemory)这种易失性存储器及如ROM(只读存储器：Read Only Memory)这种非易失性存储器的存储部42、以及输入输出接口43。
运算处理部41具有：图像数据获取部51、显示数据生成部52、人判断部53、状态判断部54、显示控制部55、以及警报控制部56。
存储部42用于存储在运算处理部41的处理中使用的各种数据等。在实施方式中，存储部42具有：用于存储人的特征的特征存储部57、以及用于存储警报范围B(参见图4)的警报范围存储部58。
特征包括人的轮廓以及人的颜色等，是用于特定人的外观的信息。
用图4对警报范围B进行说明。警报范围B是被要求根据人的存在而输出警报的范围。警报范围B被设定为包围液压挖掘机1。当人存在于警报范围B的内侧时，则输出警报。当人存在于警报范围B的外侧时，则不输出警报。警报范围B小于检测范围A。警报范围B也可以和检测范围A的范围相同，或者也可以比检测范围A大。
在实施方式中，警报范围B包括第一警报范围Ba和第二警报范围Bb。第二警报范围Bb被设定为包围液压挖掘机1。液压挖掘机1配置于第二警报范围Bb的内侧。第二警报范围Bb被规定在第一警报范围Ba的内侧。第二警报范围Bb小于第一警报范围Ba。警报范围B可以为一个或多个。
在实施方式中，第一警报范围Ba及第二警报范围Bb分别为矩形。第一警报范围Ba的前端部与第二警报范围Bb的前端部一致。第一警报范围Ba的后端部被规定在第二警报范围Bb的后端部的后方。第一警报范围Ba的左端部被规定在第二警报范围Bb的左端部的左方。第一警报范围Ba的右端部被规定在第二警报范围Bb的右端部的右方。
当人存在于警报范围B的内侧时，则输出警报。当人不存在于警报范围B的内侧时，则停止输出警报。当人存在于第二警报范围Bb的内侧时，还可以限制作业机械1的车身的动作。例如，当作业机械1处于行走动作前或回转动作前时，可以实施对行走或回转动作的禁止控制即发车锁止。此外，若作业机械1处于行走中，则可以使下部行走体2的行走停止或减速。此外，若处于回转中，则可以使上部回转体3的回转动作停止或减速。此外，还可以抑制作业机1等其他的车身的动作。
输入输出接口43分别与拍摄装置系统300、外侧警报单元600、显示部21、操作部22、及内侧警报部24连接。
图像数据获取部51从拍摄装置系统300获取图像数据。图像数据获取部51从后拍摄装置31获取表示液压挖掘机1的后方状况的图像数据。图像数据获取部51从右后拍摄装置32获取表示液压挖掘机1的右后方状况的图像数据。图像数据获取部51从右前拍摄装置33获取表示液压挖掘机1的右前方状况的图像数据。图像数据获取部51从左后拍摄装置34获取表示液压挖掘机1的左后方状况的图像数据。
显示数据生成部52基于由图像数据获取部51获取的图像数据，生成表示液压挖掘机1的周边状况的周边显示数据。周边显示数据包括液压挖掘机1周边的俯视图像PDa以及液压挖掘机1周边的单个拍摄装置图像PDb。更详细来说，显示数据生成部52基于由多个拍摄装置30分别获取的图像数据，生成液压挖掘机1周边的俯视图像PDa。显示数据生成部52基于由多个拍摄装置30中的一个拍摄装置30获取的图像数据，生成单个拍摄装置图像PDb。
显示数据生成部52将后拍摄装置31、右后拍摄装置32、右前拍摄装置33、及左后拍摄装置34各自获取的图像数据分别变换为表示从液压挖掘机1的上方的虚拟视角观察的俯视视角图像的变换图像数据。显示数据生成部52从变换图像数据中切割出与显示俯视图像PDa的构架区域对应的部分。显示数据生成部52对切割出的变换图像数据进行合成。由此，生成液压挖掘机1的周边的俯视图像PDa。此外，显示数据生成部52在俯视图像PDa中合成表示液压挖掘机1的标记图像1S。标记图像1S相当于从上方观察液压挖掘机1的图像。根据标记图像1S，能够使液压挖掘机1与液压挖掘机1周边的相对的位置关系明确化。
在实施方式中，不生成驾驶室6的前方及左前方的俯视图像。但也可以设置用于获取表示驾驶室6的前方及左前方状况的图像数据的拍摄装置30，从而生成驾驶室6的前方及左前方的俯视图像。
人判断部53基于由图像数据获取部51获取的图像数据，判断液压挖掘机1周边是否存在人。人判断部53通过对图像数据获取部51获取的图像数据进行图像处理，判断是否存在位于警报范围B内的人。图像处理包括从图像数据中提取人的特征的处理。人判断部53通过将从图像数据提取的特征与存储于特征存储部57的特征进行对照，来判断液压挖掘机1周边，也就是警报范围B的内侧是否存在人。进一步地，人判断部53也可以同时对检测到的人的相对于作业机1的朝向进行识别。
进一步地，人判断部53对第一警报范围Ba的外侧、第一警报范围Ba的内侧与第二警报范围Bb的外侧之间、或者第二警报范围Bb的内侧中的哪个范围内存在人进行判断。人判断部53将图像数据中提取到特征的位置与存储于警报范围存储部58中的警报范围B进行对照，从而对提取到特征的位置在第一警报范围Ba的外侧、第一警报范围Ba的内侧与第二警报范围Bb的外侧之间、或者第二警报范围Bb的内侧中的哪个范围内进行判断。
更进一步地，人判断部53对如图4所示的、检测范围A1、检测范围A2、检测范围A3、或者检测范围A4中的哪个检测范围中存在人进行判断。检测范围A1为检测范围A中的右前方的范围。检测范围A1与右前拍摄装置33的拍摄范围重合。人判断部53将从右前拍摄装置33的拍摄图像数据中识别到的人判定为存在于检测范围A1中。检测范围A2为检测范围A中的右后方的范围。检测范围A2与右后拍摄装置32的拍摄范围重合。人判断部53将从右后拍摄装置32的拍摄图像数据中识别到的人判定为存在于检测范围A2中。检测范围A3为检测范围A中的后方的范围。检测范围A3与后拍摄装置31的拍摄范围重合。人判断部53将从后拍摄装置31的拍摄图像数据中识别到的人判定为存在于检测范围A3中。检测范围A4为检测范围A中的左侧方及左后方的范围。检测范围A4与左后拍摄装置34的拍摄范围重合。人判断部53将从左后拍摄装置34的拍摄图像数据中识别到的人判定为存在于检测范围A4中。
在人判断部53判定警报范围B的内侧存在人的情况下，状态判断部54基于图像数据获取部51获取的图像数据，对人的状态是否为输出警报状态进行判断。
人的状态是指人的身体的状态。身体的状态是指人的朝向。此外，人的朝向可以是人的身体的前侧的朝向，也可以是人的身体的一部分的朝向。人的身体的一部的朝向例如为：人的双眼或者一只眼睛的朝向、人的脸部的朝向、人的躯干或下肢的朝向、人佩戴的眼镜或口罩等的朝向、或者人的衣服的前襟或鞋子的鞋尖的朝向等。
此外，在人判断部53判定警报范围B的内侧存在人的情况下，状态判断部54基于图像数据获取部51获取的图像数据，对人的状态是否为抑制警报状态进行判断。抑制警报状态是指，人朝向作业机械1的状态，也就是人已意识到作业机械1的状态。
状态判断部54例如通过对图像数据获取部51获取的图像数据进行图像处理，在识别到人的双眼或一只眼睛朝向作业机械1的情况下，判定人处于已意识到作业机械1的状态。状态判断部54例如通过对图像数据进行图像处理，在识别到人的脸部朝向作业机械1的情况下，判定人处于已意识到作业机械1的状态。状态判断部54例如通过对图像数据进行图像处理，在检测到人的躯干或下肢面向作业机械1的情况下，判定人处于已意识到作业机械1的状态。状态判断部54例如通过对图像数据进行图像处理，在识别到人佩戴的眼镜或口罩的情况下，判定人处于已意识到作业机械1的状态。状态判断部54例如通过对图像数据进行图像处理，在识别到人的衣服的前襟或鞋子的鞋尖的情况下，判定人处于已意识到作业机械1的状态。状态判断部54还可以通过将这些条件中的多个进行组合来判断是否已意识到作业机械1。在液压挖掘机1的周边存在多人的情况下，状态判断部54对所有的人是否已意识到作业机械1进行判断。人的状态包含身体的状态，身体的状态包含人的朝向，人的朝向可以是身体的前侧的朝向或一部分的朝向。
状态判断部54还可以在判定过一次人已意识到作业机械1后，判定人持续对作业机械1存在意识。此外，状态判断部54还可以在判定过一次人已意识到作业机械1后，在经过预设时长前，判定为人持续对作业机械1存在意识，并在经过预设时长后结束判定为人持续对作业机械1存在意识。在这种情况下，在经过预设时长之前，判定出有人已意识到作业机械1的情况下，也可以延长预设时长。其中，在经过预设时长前，被判定为已意识到作业机械1的人也可以是不同的人。
此外，状态判断部54还可以在判定过一次人已意识到作业机械1后，在由于作业机械1的车身动作从而车身的位置发生变化或回转的角度发生变化、或者有人移动、人的脸部或身体的朝向发生变化等的情况下，判定人持续对作业机械1存在意识。此外，状态判断部54还可以在判定为人持续对作业机械1存在意识的情况下，在由于作业机械1的车身动作从而车身的位置发生变化或回转角度发生变化、或者有人移动、人的脸部或身体的朝向发生变化等情况下，结束判定人持续对作业机械1存在意识。例如，可以基于左作业杆11、右作业杆12、左行走杆13、以及右行走杆14的操作信息，判定出车身位置发生了变化，或回转角度发生了变化。
显示控制部55用于使显示部21显示表示液压挖掘机1的周边状况的周边图像数据。显示数据包括：周边图像数据。周边图像数据包括俯视图像PDa及单个拍摄装置图像PDb。在实施方式中，显示控制部55使显示部21至少显示液压挖掘机1周边的俯视图像PDa。
警报控制部56用于控制警报。更详细来说，警报控制部56输出：使警报输出的工作指令、使警报的输出停止的停止指令、以及抑制输出警报的抑制指令中的一个指令。
通过输出工作指令，使警报输出。例如，在警报为内侧警报部24及外侧警报部60的蜂鸣声的情况下，通过输出工作指令，则输出内侧警报部24及外侧警报部60的蜂鸣声。例如，在警报为在显示部21显示的信息或标记的情况下，通过输出工作指令，使显示控制部55进行控制，使信息或标记输出在显示部21上。
通过输出停止指令，使警报的输出停止。例如，在警报为内侧警报部24的情况下，通过输出停止指令，使内侧警报部24的蜂鸣声停止。例如，在警报为外侧警报部60的蜂鸣声的情况下，通过输出停止指令，使外侧警报部60的蜂鸣声停止。例如，在警报为显示部21显示的信息或标记的情况下，通过输出停止指令，使显示控制部55进行控制，使信息或标记不输出在显示部21上。
通过输出抑制指令，抑制警报的输出。例如，在警报为内侧警报部24的情况下，通过输出抑制指令，使内侧警报部24不输出蜂鸣声，或者降低其音量。例如，在警报为外侧警报部60的情况下，通过输出抑制指令，使外侧警报部60不输出蜂鸣声，或者降低其音量。例如，在警报为显示部21显示的信息或标记的的情况下，通过输出抑制命令，使信息或标记不输出在显示部21上，或者使显示的大小缩小。
警报控制部56基于人判断部53的判断结果及状态判断部54的判断结果中的至少一方，对内侧警报部24及外侧警报部60中至少一方的警报的输出进行控制。更详细来说，警报控制部56根据作业机械1周边的人的有无，对输出以及停止输出内侧警报部24及外侧警报部60中至少一方的警报进行控制。进一步地，警报控制部56根据状态判断部54的判断结果，在人朝向作业机械1的情况下，抑制由内侧警报部24及外侧警报部60的至少一方输出警报。
例如，在人判断部53判定人存在于第二警报范围Bb的内侧的情况，即“情况1”的情况下，警报控制部56使内侧警报部24及外侧警报部60输出警报。
例如，在人判断部53判定人存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间的情况，即“情况2”的情况下，警报控制部56使内侧警报部24及外侧警报部60输出警报。进一步地，以如下方式，以每个检测范围，对由外侧警报部60输出的警报进行控制。
例如，在符合“情况2”且状态判断部54针对某个检测范围判定该检测范围内的所有人的状态处于抑制警报状态的情况，即“情况3”的情况下，警报控制部56抑制向某个方向输出警报的外侧警报部60输出警报，所述某个方向为检测到朝向作业机械1的人的方向。更详细来说，在基于状态判断部54的判断结果对于某个检测范围判定为人存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间、且该检测范围内的所有人处于已意识到作业机械1的状态的情况下，警报控制部56抑制朝向该检测范围配置的外侧警报部60输出警报。
例如，在符合“情况2”且状态判断部54针对某个检测范围判定该检测范围中一个以上的人的状态不处于抑制警报状态的情况，即“情况4”的情况下，警报控制部56使向某个方向输出警报的外侧警报部60输出警报，所述某个方向为检测到朝向作业机械1的人的方向。更详细来说，在基于状态判断部54的判断结果对于某个检测范围判定为人存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间、且该检测范围内一个以上的人不处于已意识到作业机械1的状态的情况下，警报控制部56使朝向该检测范围配置的外侧警报部60照常输出警报。
例如，在符合“情况2”且人判断部53针对某个检测范围判定该检测范围中不存在人的情况，即“情况5”的情况下，警报控制部56使朝向该检测范围配置的外侧警报部60停止输出警报。
例如，在人判断部53判定人不存在于警报范围B内的情况，即“情况6”的情况下，警报控制部56使内侧警报部24停止输出警报。
图6是表示实施方式涉及的显示部21的俯视图像PDa的显示例的一个示例的图。在图6所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1不处于已意识到作业机械1的状态。即“情况4”的情况。在这种情况下，基于状态判断部54的判断结果，警报控制部56使所有的外侧警报部60，或者与检测范围A2对应的外侧警报部63输出警报。
图7是表示实施方式涉及的显示部21的俯视图像PDa的显示例的其他示例的图。在图7所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。即“情况3”的情况。在这种情况下，基于状态判断部54的判断结果，警报控制部56抑制外侧警报部60中的外侧警报部63输出警报。
图8是表示实施方式涉及的显示部21的俯视图像PDa的显示例的其他示例的图。在图8所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。并判定：人M2存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M2不处于已意识到作业机械1的状态。该示例中，在检测范围A2内存在已意识到作业机械1的人M1和未意识到作业机械1的人M2。即“情况4”的情况。在这种情况下，基于状态判断部54的判断结果，警报控制部56使所有的外侧警报部60，或者与检测范围A2对应的外侧警报部63输出警报。
图9是表示实施方式涉及的显示部21的俯视图像PDa的显示例的其他示例的图。在图9所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。状态判断部54判定：人M2存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A3内，并且人M2处于已意识到作业机械1的状态。状态判断部54判定：人M3存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A4内，并且人M3不处于已意识到作业机械1的状态。该示例中，检测范围A2中存在已意识到作业机械1的人M1；检测范围A3中存在已意识到作业机械1的人M2；检测范围A4中存在未意识到作业机械1的人M3。即“情况3”和“情况4”的情况。在这种情况下，基于状态判断部54的判断结果，警报控制部56抑制外侧警报部60中的外侧警报部61与外侧警报部62输出警报，并使外侧警报部64输出警报。
图10是表示实施方式涉及的显示部21的俯视图像PDa的显示例的其他示例的图。在图10所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。状态判断部54判定：人M2存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M2不处于已意识到作业机械1的状态。状态判断部54判定：人M3存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A3内，并且人M3处于已意识到作业机械1的状态。状态判断部54判定：人M4存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A4内，并且人M4不处于已意识到作业机械1的状态。该示例中，检测范围A2中存在已意识到作业机械1的人M1与未意识到作业机械1的人M2；检测范围A3中存在已意识到作业机械1的人M2；检测范围A4中存在未意识到作业机械1的人M3。即“情况3”和“情况4”的情况。在这种情况下，基于状态判断部54的判断结果，警报控制部56抑制外侧警报部60中的外侧警报部61输出警报，并使外侧警报部62和外侧警报部64输出警报。
图11是表示实施方式涉及的显示部21的俯视图像PDa的显示例的其他示例的图。在图11所示的俯视图像PDa显示于显示部21的状态下，状态判断部54判定：人M1存在于第二警报范围Bb的内侧，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。即“情况1”的情况。在这种情况下，该示例中，虽然人M1已意识到作业机械1，但由于其存在于第二警报范围Bb的内侧，与作业机械1的距离较近，因此不进行抑制地输出警报。在这种情况下，警报控制部56使包括外侧警报部62的所有外侧警报部60输出警报。
图12是表示实施方式涉及的显示部21的单个拍摄装置图像PDb的显示例的一个示例的图。在图12所示的、右后拍摄装置32的单个拍摄装置图像PDb显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1处于已意识到作业机械1的状态。即“情况3”的情况。人M1的位置例如可以由占据图像的高度方向的人M1的高度，或者图像中的人M1的显示位置来判断。人M1的位置例如还可以基于立体相机拍摄的图像来判断。设其他的单个拍摄装置图像PDb中没有显示人。在这种情况下，基于状态判断部54的判断结果，警报控制部56抑制外侧警报部60中的外侧警报部63输出警报。
图13是表示实施方式涉及的显示部21的单个拍摄装置图像的显示例的其他示例的图。在图13所示的、右后拍摄装置32的单个拍摄装置图像PDb显示于显示部21的状态下，状态判断部54判定：人M1存在于第一警报范围Ba的内侧与第二警报范围Bb的外侧之间，且存在于检测范围A2内，并且人M1不处于已意识到作业机械1的状态。即“情况4”的情况。设其他单个拍摄装置图像PDb中没有显示人。在这种情况下，基于状态判断部54的判断结果，警报控制部56使所有的外侧警报部60，或者与检测范围A2对应的外侧警报部63输出警报。
周边监控方法
图14是表示实施方式涉及的周边监控方法的流程图。液压挖掘机1开锁启动时，周边监控装置100被启动。周边监控装置100刚启动时，周边监控装置100根据液压挖掘机1周边的人的存在而输出警报。
拍摄装置30对液压挖掘机1的周边进行拍摄。图像数据获取部51从拍摄装置30获取图像数据(步骤SP1)。
显示数据生成部52生成周边图像数据。显示数据生成部52由多个拍摄装置30拍摄的图像数据生成俯视图像PDa(步骤SP2)。
显示控制部55将俯视图像PDa显示于显示部21中(步骤SP3)。
此外，还可以在步骤SP2中生成单个拍摄装置图像PDb，在步骤SP3中显示单个拍摄装置图像PDb。或者，还可以在步骤SP2中生成俯视拍摄装置图像PDa及单个拍摄装置图像PDb，在步骤SP3中显示俯视拍摄装置图像PDa及单个拍摄装置图像PDb。
人判断部53对警报范围B中是否存在人进行判断(步骤SP4)。更详细来说，人判断部53通过将从图像数据提取的特征与存储于特征存储部57中的特征进行对照，从而判断警报范围B中是否存在人。进一步地，人判断部53对第一警报范围Ba的外侧、第一警报范围Ba的内侧与第二警报范围Bb的外侧之间、或者第二警报范围Bb的内侧中的哪个范围内存在人进行判断。更进一步地，人判断部53对检测范围A1、检测范围A2、检测范围A3、或检测范围A4中的哪个范围内存在人进行判断。
在人判断部53判定警报范围B内存在人的情况下(步骤SP4：是)，对每个检测范围执行步骤S5至步骤SP7的处理。在人判断部53判定警报范围B中不存在人的情况下(步骤SP4：否)，前进至步骤SP7。
在人判断部53判定警报范围B内存在人的情况下(步骤SP4：是)，状态判断部54对是否为输出警报状态进行判断(步骤SP5)。更详细来说，状态判断部54基于人的脸部或身体的朝向等，判断人的状态是否为人已意识到作业机械1的状态。在警报范围B内存在多人的情况下，状态判断部54对所有人是否已意识到作业机械1进行判断。在状态判断部54判定为处于输出警报状态的情况下(步骤SP5：是)，前进至步骤SP6。在状态判断部54判定为非输出警报状态的情况下(步骤SP5：否)，前进至步骤SP7。
在状态判断部54判定为处于输出警报状态的情况下(步骤SP5：是)，警报控制部56输出使警报输出的工作指令(步骤SP6)。在作业范围B内存在未意识到作业机械1的人的情况下，警报控制部56使警报输出。例如，在人判断部53判定人存在于第二警报范围Bb的内侧的情况，即“情况1”的情况下，警报控制部56使内侧警报部24及外侧警报部60输出警报。或者，在符合“情况2”且状态判断部54针对某个检测范围判定该检测范围内的一个以上的人的状态不处于抑制警报状态的情况，即“情况4”的情况下，警报控制部56使朝向该检测范围配置的外侧警报部60输出警报。
在状态判断部54判定为非输出警报状态的情况下(步骤SP5：否)，警报控制部56输出使警报的输出停止的停止指令(步骤SP7)。其中，非输出警报状态包括不输出警报的状态，以及抑制输出的状态。此外，停止指令包括抑制输出警报的抑制指令。在作业范围B内不存在人的情况下，或者在作业范围B内仅存在已意识到作业机械1的人的情况下(所有人都已意识到作业机械1的情况)，警报控制部56抑制输出警报。例如，在状态判断部54判定处于抑制警报状态的情况下，警报控制部56输出抑制输出警报的抑制指令。更详细来说，在符合“情况2”且状态判断部54针对某个检测范围判定该检测范围内的所有人的状态处于抑制警报状态的情况，即“情况3”的情况下，警报控制部56抑制朝向该检测范围配置的外侧警报部60输出警报，使朝向该检测范围配置的外侧警报部60不输出警报。
此外，当人存在于第二警报范围Bb的内侧时，还可以对作业机械1的车身的动作进行限制。
周边监控装置100通过反复执行上述处理来进行液压挖掘机1的周边监控。由此，例如，在符合“情况2”且人判断部53针对某检测范围判定该检测范围内不存在人的情况，即“情况5”的情况下，警报控制部56使朝向该检测范围配置的外侧警报部60停止输出警报。在人判断部53判定警报范围B内不存在人的情况即“情况6”的情况下，警报控制部56使内侧警报部24停止输出警报。
此外，图14所示的流程图为一个示例，在其他实施方式中，不一定要执行全部的步骤。例如，周边监控装置100也可以不执行步骤SP2和步骤SP3。
计算机系统
图15是表示实施方式涉及的计算机系统1000的框图。上述的控制部23包括计算机系统1000。计算机系统1000具有：处理器1001，如CPU(中央处理器：Central ProcessingUnit)；主内存1002，其包含如ROM(只读存储器：Read Only Memory)这种非易失性存储器及如RAM(随机存储器：Random Access Memory)这种易失性存储器；存储器1003；以及接口1004，其包含输入输出电路。上述的控制部23的功能作为计算机程序被存储于存储器1003中。处理器1001将计算机程序从存储器1003中读取并加载至主内存1002，依照计算机程序来执行上述的处理。此外，计算机程序还可以经由网络传送至计算机系统1000。
计算机程序或计算机系统1000按照上述的实施方式能够执行以下处理：检测作业机械1周边的人；输出警报；对检测到的人的状态进行判断；根据作业机械1周边的人的有无而控制警报的输出；以及根据人的状态的判断结果而抑制警报的输出。
如此，例如，在由人的脸部朝向作业机械1等而判定为已意识到作业机械1的情况下，抑制输出警报。警报可以是内侧警报部24，也可以是外侧警报部60。此外，可以同时具备内侧警报部24与外侧警报部60双方，也可以具备其中一方。在同时具备内侧警报部24与外侧警报部60双方的情况下，例如，在通过人的脸部朝向作业机械1等而判定已意识到作业机械1时，可以抑制双方输出警报，也可以抑制其中一方输出警报。
效果
如上文所述，在作业机械1的周边存在人，且人已意识到作业机械1的情况下，抑制输出警报。由此，根据实施方式，能够在作业机械1的周边存在人的情况下，根据人的状态来控制警报的输出。根据实施方式，能够抑制输出必要性低的警报。
在实施方式中具有：向作业机械1的外侧输出警报的外侧警报部60、以及向作业机械1的驾驶室6的内侧输出警报的内侧警报部24。实施方式能够在作业机械1的周边存在人的情况下，根据人的状态，抑制外侧警报部60输出警报。根据实施方式，在作业机械1的周边存在人的情况下，能够不论人的状态而向驾驶员输出警报。
在实施方式中包括多个外侧警报部60，其朝向作业机械1外侧的互不相同的方向输出警报。根据实施方式，能够抑制多个外侧警报部60中的、向检测到朝向作业机械1的人的方向输出警报的外侧警报部60输出警报。根据实施方式，向存在不朝向作业机械1的人的方向输出警报的外侧警报部60能够输出警报。
在实施方式中，基于用于拍摄作业机械1周边的拍摄装置30所拍摄的图像，对人的状态进行判断。根据实施方式，无需为了判断人的状态，而设置追加的传感器，或拍摄装置等。
在实施方式中，在判定过一次人已意识到作业机械1后，即使在人的脸部或身体的朝向发生改变等情况下，也判定为人持续对作业机械1存在意识。根据本实施方式，能够更适当地抑制在人与作业机械1的相对位置发生变化的情况下的警报的输出。更详细来说，能够避免如下的情况：在判定出人已意识到作业机械1后，例如，在每次由于人发生移动或作业机械1的车身位置发生变化，而使人与作业机械1的相对位置发生变化时，警报的输出与抑制发生变化，使人感到繁琐。此外，根据本实施方式，能够避免在作业机械1摇晃，或者在作业机械1进行挖掘装载等既定动作，而使判定为人已意识到作业机械1的状态与判定为人未意识到作业机械1的状态的界线不清楚的情况下，警报反复地一会儿被输出一会儿被抑制，而变得烦人。
在实施方式中，在判定为人持续对作业机械1存在意识的情况下，作业机械1的车身动作，从而车身位置发生变化或回转角度发生变化时，结束判定人持续对作业机械1存在意识。根据本实施方式，能够在人与作业机械1的相对位置关系发生变化的情况下，适当地输出警报。
其他实施方式
在上述的实施方式中，检测部为用于拍摄作业机械1周边的拍摄装置30。但检测部并不限于拍摄装置30。检测部还可以是设于液压挖掘机1的立体相机或雷达装置或激光装置。
在上述的实施方式中，周边监控显示器20包括：显示部21、操作部22、控制部23、以及内侧警报部24。显示部21、操作部22、控制部23、以及内侧警报部24可以一部分分开设置，也可以各自分开设置。例如，显示部21可以是如平板型个人计算机那样的，设于作业机械外部的显示部。此外，设于周边监控显示器20外部的操作部22可以配置于驾驶室6内的其他位置，也可以设置于驾驶室6的外部。另外，还可以在周边监控显示器20所包含的操作部22之外增加设置上述的操作部22。
在上述实施方式中，设有多个外侧警报部60，但并不限于此，外侧警报部60也可以为一个。外侧警报单元600可以由一个外侧警报部60构成。
在上述的实施方式中，内侧警报部24及外侧警报部60输出蜂鸣声。但内侧警报部24及外侧警报部60也可以是语音输出装置。这种情况下，警报可以是从语音输出装置输出的语音。此外，内侧警报部24及外侧警报部60也可以是警告灯。
在上述实施方式中说明的是，周边显示数据包括俯视图像PDa和单个拍摄装置图像PDb的示例，但并不限于此。周边显示数据也可以是俯视图像PDa与单个拍摄装置图像PDb中的任一方。此外，在上述实施方式中说明的是，显示周边显示数据的示例，但周边显示数据也可以不显示出来。
此外，在上述的实施方式涉及的周边监控装置100中，对作业机械1中设置有一台周边监控装置100的情况进行了说明，但在其他实施方式中，还可以实现将周边监控装置100的部分结构配置于其他控制装置，并由两台以上的周边监控装置100构成周边监控系统。另外，上述的实施方式中表示的一台周边监控装置100也是周边监控系统的一个示例。
此外，对上述的实施方式涉及的周边监控装置100设置于作业机械1的情况进行了说明，但在其他实施方式中，也可以将周边监控装置100的部分或全部的结构设置于作业机械1的外部。例如，在其他实施方式中，周边监控装置100可以是对涉及远程操作的作业机械1进行控制的装置。
在上述的实施方式中，液压挖掘机1可以是在矿山等地方使用的采矿用液压挖掘机，也可以是用于工程现场的液压挖掘机。此外，可以适用于自卸车、轮式装载机以及其他作业机械用的周边监控系统。
符号说明
1…液压挖掘机(作业机械)，1S…标记图像，2…下部走行体，3…上部回转体，4…作业机，4A…动臂，4B…斗杆，4C…铲斗，5…液压缸，5A…动臂缸，5B…斗杆缸，5C…铲斗缸，6…驾驶室，9…驾驶座椅，10…操作部，11…左作业杆，12…右作业杆，13…左行走杆，14…右行走杆，15…左脚踏板，16…右脚踏板，20…周边监控显示器，21…显示部，22…操作部，23…控制部，24…内侧警报部(警报部)，30…拍摄装置(检测部)，31…后拍摄装置，32…右后拍摄装置，33…右前拍摄装置，34…左后拍摄装置，41…运算处理部，42…存储部，43…输入输出接口，51…图像数据获取部，52…显示数据生成部，53…人判断部，54…状态判断部，55…显示控制部，56…警报控制部，57…特征存储部，58…警报范围存储部，60…外侧警报部(警报部)，61…外侧警报部，62…外侧警报部，63…外侧警报部，64…外侧警报部，100…周边监控装置，300…拍摄装置系统，600…外侧警报单元，1000…计算机系统，1001…处理器，1002…主内存，1003…存储器，1004…接口，A…检测范围，A1…检测范围，A2…检测范围，A3…检测范围，A4…检测范围，AX…动臂旋转轴，B…警报范围，Ba…第一警报范围，Bb…第二警报范围，BX…斗杆旋转轴，CX…铲斗旋转轴，PDa…俯视图像，PDb…单个拍摄装置图像，RX…回转轴。

Claims (9)

1.一种作业机械的周边监控系统，其特征在于，具备：
检测部，其用于检测作业机械周边的人；
警报部，其用于输出警报；
状态判断部，其用于判断所述检测部检测到的所述人的身体的状态；以及
警报控制部，其基于所述状态判断部的判断结果，对所述警报部的警报的输出进行控制。
2.根据权利要求1所述的作业机械的周边监控系统，其特征在于，
所述警报控制部根据所述作业机械周边的人的有无，而使所述警报部输出警报；并根据所述状态判断部的判断结果，而抑制所述警报部输出警报。
3.根据权利要求1或2所述的作业机械的周边监控系统，其特征在于，
所述警报部包括多个外侧警报部，向所述作业机械周边的互不相同的方向输出警报，
所述警报控制部根据所述状态判断部的判断结果，对于多个所述外侧警报部中的、向检测到朝向所述作业机械的人的方向输出警报的所述外侧警报部，抑制由其输出警报。
4.根据权利要求1所述的作业机械的周边监控系统，其特征在于，
所述检测部为用于拍摄所述作业机械的周边的拍摄装置，
所述状态判断部基于所述拍摄装置拍摄的图像，对人的身体的状态进行判断。
5.根据权利要求1至4中任一项所述的作业机械的周边监控系统，其特征在于，
在所述作业机械的周边配置有多个所述检测部，
所述警报部配置于所述检测部的周边。
6.根据权利要求1至5中任一项所述的作业机械的周边监控系统，其特征在于，
所述状态判断部在判断出所述人朝向所述作业机械后，判定所述人持续朝向所述作业机械。
7.根据权利要求6所述的作业机械的周边监控系统，其特征在于，
在判定为所述人持续朝向所述作业机械的情况下，当所述人与所述作业机械的相对位置关系发生变化时，所述状态判断部结束判定所述人持续朝向所述作业机械。
8.一种作业机械，其特征在于，具备：
权利要求1至权利要求7中任一项所述的作业机械的周边监控系统。
9.一种作业机械的周边监控方法，其特征在于，包括：
检测作业机械周边的人；
输出警报；
对检测到的所述人的身体的状态进行判断；以及
基于对所述身体的状态的判断结果，对所述警报的输出进行控制。
CN202180016984.0A 2020-03-19 2021-03-09 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 Pending CN115176058A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020049548A JP7481139B2 (ja) 2020-03-19 2020-03-19 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2020-049548 2020-03-19
PCT/JP2021/009360 WO2021187248A1 (ja) 2020-03-19 2021-03-09 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

Publications (1)

Publication Number Publication Date
CN115176058A true CN115176058A (zh) 2022-10-11

Family

ID=77771244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180016984.0A Pending CN115176058A (zh) 2020-03-19 2021-03-09 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法

Country Status (6)

Country Link
US (1) US20230114366A1 (zh)
JP (1) JP7481139B2 (zh)
KR (1) KR20220127330A (zh)
CN (1) CN115176058A (zh)
DE (1) DE112021000609T5 (zh)
WO (1) WO2021187248A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11958403B2 (en) * 2022-05-23 2024-04-16 Caterpillar Inc. Rooftop structure for semi-autonomous CTL

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2009193494A (ja) * 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011170663A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 車両周囲監視装置
JP2012001995A (ja) * 2010-06-18 2012-01-05 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2012168578A (ja) * 2011-02-09 2012-09-06 Toyota Motor Corp 移動者警報装置
CN103826919A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
CN107075840A (zh) * 2015-04-28 2017-08-18 株式会社小松制作所 作业机械的周边监视装置以及作业机械的周边监视方法
JP2017145564A (ja) * 2016-02-15 2017-08-24 株式会社神戸製鋼所 可動機械の安全装置
JP2017223111A (ja) * 2017-09-12 2017-12-21 住友重機械工業株式会社 ショベル
US20180122218A1 (en) * 2016-10-28 2018-05-03 Brian Shanley Proximity alarm system and method of operating same
JP2018135759A (ja) * 2018-06-07 2018-08-30 住友重機械工業株式会社 作業機械用周辺監視装置
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2009193494A (ja) * 2008-02-18 2009-08-27 Shimizu Corp 警報システム
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
JP2011170663A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 車両周囲監視装置
JP2012001995A (ja) * 2010-06-18 2012-01-05 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2012168578A (ja) * 2011-02-09 2012-09-06 Toyota Motor Corp 移動者警報装置
CN103826919A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统及作业车辆
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
CN107075840A (zh) * 2015-04-28 2017-08-18 株式会社小松制作所 作业机械的周边监视装置以及作业机械的周边监视方法
JP2017145564A (ja) * 2016-02-15 2017-08-24 株式会社神戸製鋼所 可動機械の安全装置
US20180122218A1 (en) * 2016-10-28 2018-05-03 Brian Shanley Proximity alarm system and method of operating same
JP2017223111A (ja) * 2017-09-12 2017-12-21 住友重機械工業株式会社 ショベル
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
JP2018135759A (ja) * 2018-06-07 2018-08-30 住友重機械工業株式会社 作業機械用周辺監視装置

Also Published As

Publication number Publication date
WO2021187248A1 (ja) 2021-09-23
KR20220127330A (ko) 2022-09-19
US20230114366A1 (en) 2023-04-13
JP2021147895A (ja) 2021-09-27
JP7481139B2 (ja) 2024-05-10
DE112021000609T5 (de) 2022-12-15

Similar Documents

Publication Publication Date Title
US11447928B2 (en) Display system, display method, and remote control system
CN113152552B (zh) 工程机械的控制系统及方法
EP3522133B1 (en) Work vehicle vicinity monitoring system and work vehicle vicinity monitoring method
CN115176058A (zh) 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
CN114763701A (zh) 工程机械的控制系统及方法
WO2021200798A1 (ja) 検出システムおよび検出方法
JP2022072598A (ja) 作業車両の表示システムおよび作業車両の表示方法
US11739503B2 (en) Hydraulic excavator
JP2013002101A (ja) 作業機械の視野補助装置
JP2021114757A (ja) 作業機械の遠隔操作システム及び作業機械の遠隔操作方法
CN113994051A (zh) 远程操作系统以及远程操作服务器
CN114503549A (zh) 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
KR102508279B1 (ko) 유압 셔블
KR20230017724A (ko) 건설기계의 제어 시스템 및 방법
US20210340732A1 (en) Work machine
WO2020080294A1 (ja) 油圧ショベル
US20240141616A1 (en) Remote operation assistance server and remote operation asistance system
US20230120720A1 (en) Work machine obstacle notification system and work machine obstacle notification method
JP7329928B2 (ja) 作業機械
WO2023048136A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
US20220290401A1 (en) Display system, remote operation system, and display method
KR20220102765A (ko) 건설기계의 제어 시스템 및 방법
JP2022152012A (ja) 建設機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination