CN114503549A - 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 - Google Patents

作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 Download PDF

Info

Publication number
CN114503549A
CN114503549A CN202080068410.3A CN202080068410A CN114503549A CN 114503549 A CN114503549 A CN 114503549A CN 202080068410 A CN202080068410 A CN 202080068410A CN 114503549 A CN114503549 A CN 114503549A
Authority
CN
China
Prior art keywords
work machine
display
reference line
alarm
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080068410.3A
Other languages
English (en)
Inventor
江口太郎
中泽浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Publication of CN114503549A publication Critical patent/CN114503549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

作业机械的周边监控系统具备显示控制部，其使表示作业机械周边的图像、以及在图像中配置于作业机械的周围至少一部分的基准线显示于显示部中。显示控制部在根据作业机械周边的物体的存在而输出警报的有效状态与不输出警报的无效状态间，切换基准线的显示状态。

Description

作业机械的周边监控系统、作业机械、及作业机械的周边监控 方法
技术领域
本发明涉及作业机械的周边监控系统、作业机械、及作业机械的周边监控方法。
背景技术
在涉及作业机械的技术领域中，现已知如专利文献1所公开的具备周边监控装置的作业机械。在专利文献1中，作业机械的驾驶室中配置有周边监控显示器。周边监控显示器的显示部用于显示作业机械周边的俯视图像及基准线。基准线用于表示根据物体的存在而输出警报的范围。当在基准线的内侧范围内存在物体时，输出警报。
专利文献1：国际公开第2016/159012号
发明内容
周边监控装置可能有如下情况：在根据作业机械周边的物体的存在而输出警报的有效状态与不输出警报的无效状态之间进行切换。作业机械存在搭乘的人不是同一个人的可能性。例如，存在搭乘第一驾驶员，或搭乘与第一驾驶员不同的第二驾驶员，或搭乘维护人员的可能性。在第一搭乘者将周边监控装置切换为有效状态或无效状态后，最好能使接下来搭乘的第二搭乘者容易地识别周边监控装置处于有效状态还是无效状态。
根据本发明，提供一种作业机械的周边监控系统，其具备显示控制部，所述显示控制部使表示作业机械周边的图像、以及所述图像中配置于作业机械的周围至少一部分的基准线显示于显示部中，所述显示控制部在根据所述作业机械周边的物体的存在而输出警报的有效状态与不输出所述警报的无效状态间，切换所述基准线的显示状态。
根据本发明，能够在输出警报的有效状态与不输出警报的无效状态下，分别向驾驶员提供适当的基准线。
附图说明
图1是表示实施方式涉及的作业机械的立体图。
图2是表示实施方式涉及的作业机械的驾驶室的图。
图3是示意性地表示实施方式涉及的上部回转体的图。
图4是用于说明实施方式涉及的警报范围的示意图。
图5是表示实施方式涉及的周边监控显示器的图。
图6是表示实施方式涉及的周边监控装置的功能框图。
图7是用于说明实施方式涉及的俯视图像的生成方法的示意图。
图8是表示实施方式涉及的周边监控方法的流程图。
图9是表示实施方式涉及的显示部的显示例的图。
图10是表示实施方式涉及的显示部的显示例的图。
图11是表示实施方式涉及的计算机系统的框图。
具体实施方式
下面，参照附图对本发明涉及的实施方式进行说明，但本发明不限定于此。下文说明的实施方式的结构要素可以进行适当地组合。此外，还存在不使用部分结构要素的情况。
作业机械
图1是表示实施方式涉及的作业机械1的立体图。在实施方式中，设作业机械1为液压挖掘机。在以下的说明中，可将作业机械1称作液压挖掘机1。
如图1所示，液压挖掘机1包括：下部行走体2、由下部行走体2所支承的上部回转体3、由上部回转体3所支承的作业机4、以及用于驱动作业机4的液压缸5。
下部行走体2能够以支承着上部回转体3的状态行走。下部行走体2具有一对履带。下部行走体2通过履带的旋转而行走。
上部回转体3能够以支承于下部行走体2的状态，以回转轴RX为中心回转。上部回转体3具有供液压挖掘机1的驾驶员搭乘的驾驶室6。驾驶员就坐的驾驶座椅9设于驾驶室6中。
作业机4包括：连结于上部回转体3的动臂4A、连结于动臂4A的斗杆4B、以及连结于斗杆4B的铲斗4C。液压缸5包括：用于驱动动臂4A的动臂缸5A、用于驱动斗杆4B的斗杆缸5B、以及用于驱动铲斗4C的铲斗缸5C。
动臂4A以能够以动臂旋转轴AX为中心旋转的方式被支承于上部回转体3。斗杆4B以能够以斗杆旋转轴BX为中心旋转的方式被支承于动臂4A。铲斗4C以能够以铲斗旋转轴CX为中心旋转的方式被支承于斗杆4B。
动臂旋转轴AX、斗杆旋转轴BX和铲斗旋转轴CX相互平行。动臂旋转轴AX、斗杆旋转轴BX、及铲斗旋转轴CX，与平行于回转轴RX的轴正交。在以下的说明中，可将与回转轴RX平行的方向称作上下方向；可将与动臂旋转轴AX、斗杆旋转轴BX、及铲斗旋转轴CX平行的方向称作左右方向；可将与动臂旋转轴AX、斗杆旋转轴BX及铲斗旋转轴CX、以及回转轴RX这两个方向正交的方向称作前后方向。以就坐于驾驶座椅9的驾驶员为基准，存在作业机4的方向为前方，与前方相反的方向为后方。以就坐于驾驶座椅9的驾驶员为基准，左右方向中的一方为右方，与右方相反的方向为左方。远离下部行走体2的接地面的方向为上方，与上方相反的方向为下方。
上部回转体3具有动力箱7和配重8。动力箱7及配重8配置于上部回转体3的后部。配重8配置于动力箱7的后方。动力箱7中收纳有：发动机、液压泵、散热器、及油冷却器。
驾驶室6配置于上部回转体3的前部。驾驶室6配置于作业机4的左方。作业机4的动臂4A配置于驾驶室6的右方。
驾驶室
图2是表示实施方式涉及的液压挖掘机1的驾驶室6的图。如图2所示，液压挖掘机1的驾驶员所就坐的驾驶座椅9设于驾驶室6中。
液压挖掘机1具备配置于驾驶室6的操作部10。为了使液压挖掘机1的至少一部分动作而对操作部10进行操作。操作部10由就坐于驾驶座椅9的驾驶员进行操作。液压挖掘机1的动作包括下部行走体2的动作、上部回转体3的动作、及作业机4的动作中的至少一个。
操作部10包括：用于使上部回转体3及作业机4动作而被操作的左作业杆11及右作业杆12、用于使下部行走体2动作而被操作的左行走杆13及右行走杆14、以及左脚踏板15及右脚踏板16。
左作业杆11配置于驾驶座椅9的左方。右作业杆12配置于驾驶座椅9的右方。通过将左作业杆11沿前后方向进行操作，使斗杆4B进行倾卸动作或挖掘动作。通过将左作业杆11沿左右方向进行操作，使上部回转体3左回转或右回转。通过将右作业杆12沿左右方向进行操作，使铲斗4C进行挖掘动作或倾卸动作。通过将右作业杆12沿前后方向进行操作，使动臂4A进行下降动作或上升动作。此外，也可以是，在将左作业杆11沿前后方向进行操作时上部回转体3进行右回转或左回转，在将左作业杆11沿左右方向进行操作时斗杆4B进行倾卸动作或挖掘动作。
左行走杆13及右行走杆14配置于驾驶座椅9的前方。左行走杆13配置于右行走杆14的左方。通过将左行走杆13沿前后方向进行操作，使下部行走体2的左侧的履带进行前进动作或后退动作。通过将右行走杆14沿前后方向进行操作，使下部行走体2的右侧的履带进行前进动作或后退动作。
左脚踏板15及右脚踏板16配置于驾驶座椅9前方。左脚踏板15配置于右脚踏板16的左方。左脚踏板15与左行走杆13联动。右脚踏板16与右行走杆14联动。也可以通过操作左脚踏板15及右脚踏板16，来使下部行走体2进行前进动作或后退动作。
液压挖掘机1具备配置于驾驶室6的周边监控显示器20。周边监控显示器20配置于驾驶座椅9的右前方。周边监控显示器20具有：显示部21、操作部22、控制部23及警报部24。
显示部21用于显示规定的显示数据。显示部21包括平板显示屏，如：液晶显示屏(LCD：Liquid Crystal Display)或有机电致发光显示屏(OELD：OrganicElectroluminescence Display)。
操作部22包括供驾驶员操作的多个开关。操作部22通过被驾驶员操作，而输出操作指令。
控制部23包括计算机系统。控制部23用于实施规定的运算处理及图像处理。
警报部24用于输出蜂鸣声。
拍摄装置
图3是示意性地表示实施方式涉及的上部回转体3的图。液压挖掘机1具备包含多个拍摄装置30的拍摄装置系统300。多个拍摄装置30设于上部回转体3。拍摄装置30用于获取拍摄对象的图像。如图3所示，拍摄装置30包括：设于上部回转体3后部的后拍摄装置31、设于上部回转体3右部的右后拍摄装置32及右前拍摄装置33、以及设于上部回转体3左部的左后拍摄装置34。
后拍摄装置31用于拍摄上部回转体3的后方区域。右后拍摄装置32用于拍摄上部回转体3的右后方区域。右前拍摄装置33用于拍摄上部回转体3的右前方区域。左后拍摄装置34用于拍摄上部回转体3的左后方区域。多个拍摄装置30(31、32、33和34)均具有光学系统和图像传感器。图像传感器包括电荷耦合元件(CCD：Couple Charged Device)图像传感器或互补金属氧化物半导体(CMOS：Complementary Metal Oxide Semiconductor)图像传感器。
此外，左后拍摄装置34用于对上部回转体3的左侧方区域及左后方区域的范围进行拍摄，也可以是对其中一个区域进行拍摄。同样地，右后拍摄装置32用于对上部回转体3的右侧方区域及右后方区域的范围进行拍摄，也可以是对其中一个区域进行拍摄。同样地，右前拍摄装置33用于对上部回转体3的右前方区域及右侧方区域的范围进行拍摄，也可以是对其中一个区域进行拍摄。此外，拍摄装置30用于对上部回转体3的左后方、后方、右后方及右前方进行拍摄，在其他实施方式中不限于此。例如，其他实施方式涉及的拍摄装置30的数量可以与图3所示的示例不相同。此外，还可以不将上部回转体3的左后方、后方、右后方及右前方的范围作为拍摄范围。
在实施方式中，拍摄装置30作为以非接触方式检测液压挖掘机1周边的物体OB的物体检测部发挥功能。拍摄装置30具有能够检测物体OB的范围即检测范围A。检测范围A包含拍摄装置30的视野范围(可拍摄范围)。控制部23对由拍摄装置30获取的图像数据进行图像处理。控制部23通过对图像数据进行图像处理，能够判断出在拍摄装置30的检测范围A内是否存在物体OB。此外，作为通过图像处理而检测的物体OB，可以是将包括人、物的障碍物作为对象进行检测，也可以仅将人作为对象，或对移动物体进行检测。
警报范围
图4是用于说明实施方式涉及的警报范围B的示意图。如图4所示，在拍摄装置30的检测范围A中设定警报范围B。警报范围B小于检测范围A。警报范围B为被要求根据物体OB的存在而输出警报的范围。当由拍摄装置30检测到存在于警报范围B内的物体OB时，由警报部24输出蜂鸣声。此外，在其他实施方式中，警报范围B也可以和检测范围A的范围相同，或者也可以比检测范围A大。
此外，在实施方式中，驾驶室6的前方及左前方不存在检测范围A。就坐于驾驶座椅9的驾驶员能够直接目视辨认驾驶室6的前方及左前方的状况。因此，在液压挖掘机1中，不设置用于获取表示驾驶室6前方及左前方状况的图像数据的拍摄装置30。由此，能够减少设于液压挖掘机1的拍摄装置30的数量。此外，也可以设置用于获取表示驾驶室6前方及左前方状况的图像数据的拍摄装置30。
在实施方式中，控制部23对根据液压挖掘机1周边物体OB的存在而输出警报的有效状态与不输出警报的无效状态进行切换。在有效状态下，当警报范围B内存在物体OB时，输出警报。在无效状态下，即使警报范围B内存在物体OB，也不输出警报。
警报是指在检测到物体OB时输出的输出信息。在实施方式中，警报为从警报部24输出的蜂鸣声或显示于显示部21的信息或显示标记。此外，作为警报，示例有设于液压挖掘机1的PATLITE(派特莱，注册商标)警示灯。通过PATLITE警示灯，能够向在液压挖掘机1周围的人警报提起注意。此外，作为警报，示例有设于驾驶室6的显示灯或由LED等构成的警告灯。
例如，在存在于液压挖掘机1周边的物体OB是液压挖掘机1的作业中所需的物体OB，或在驾驶员充分确认了液压挖掘机1的周边状况的情况下，若输出警报，可能会使驾驶员感到烦躁。即，根据液压挖掘机1的作业状态，有可能发生无需输出警报的情况。为了避免不必要的警报的输出，控制部23能够切换为不输出警报的无效状态。
驾驶员为了切换有效状态和无效状态，对操作部22进行操作。通过对操作部22进行操作而生成的操作指令被输出至控制部23。控制部23基于操作指令，在有效状态和无效状态之间进行切换。驾驶员在想要避免输出不必要的警报的情况下，对操作部22进行操作来使其切换为无效状态。驾驶员在想要在液压挖掘机1周边存在物体OB时使其输出警报的情况下，对操作部22进行操作来切换为有效状态。
在有效状态下，当物体OB存在于警报范围B的内侧时，输出警报。即使在有效状态下，当物体OB存在于警报范围B的外侧时，不输出警报。此外，当警报范围B与检测范围A的范围大小相同时，或大于检测范围A时，也可以输出警报。在无效状态下，即使在物体OB存在于警报范围B的内侧时，也不输出警报。
警报范围B被设定为包含液压挖掘机1。在实施方式中，警报范围B包括第一警报范围Ba和第二警报范围Bb。第二警报范围Bb被设定为包含液压挖掘机1。液压挖掘机1配置于第二警报范围Bb的内侧。第二警报范围Bb被规定在第一警报范围Ba的内侧。第二警报范围Bb小于第一警报范围Ba。
在实施方式中，第一警报范围Ba及第二警报范围Bb在实质上分别为矩形。第一警报范围Ba的前端部与第二警报范围Bb的前端部一致。第一警报范围Ba的后端部被规定在第二警报范围Bb的后端部的后方。第一警报范围Ba的左端部被规定在第二警报范围Bb的左端部的左方。第一警报范围Ba的右端部被规定在第二警报范围Bb的右端部的右方。
在有效状态下，当物体OB存在于第一警报范围Ba的内侧且存在于第二警报范围Bb的外侧时，输出警报。在有效状态下，当物体OB存在于第二警报范围Bb的内侧时，输出警报。此外，还可以限制作业机械1的车身的动作。例如，当作业机械1处于行走动作前或回转动作前时，可以实施对行走或回转动作的禁止控制即发车锁止。此外，若作业机械1处于行走中，则可以使下部行走体2的行走停止或减速。此外，若处于回转中，则可以使上部回转体3的回转动作停止或减速。此外，还可以抑制其他的车身的动作。
如图4所示，上部回转体3的后端部与第一警报范围Ba的后端部的距离W1ar比上部回转体3的后端部与第二警报范围Bb的后端部的距离W1br长。上部回转体3的前端部与第一警报范围Ba(第二警报范围Bb)的前端部的距离W3r比距离W1br短。作为一示例，距离W1ar为约4.5m，距离W1br为约2.5m，距离W3r为约1.0m。液压挖掘机1的驾驶员能够直接目视辨认上部回转体3前方的状况。因此，距离W3r可以较短。
周边监控显示器
图5是表示实施方式涉及的周边监控显示器20的图。如图5所示，周边监控显示器20具有显示部21和操作部22。
显示部21用于显示预设的显示数据。显示于显示部21的显示数据包括：表示液压挖掘机1周边状况的周边图像数据PD、表示距离上部回转体3的距离及方向的一者或两者的基准的基准线GD、以及表示液压挖掘机1状态的状态图像数据SD。
周边图像数据PD包括液压挖掘机1的周边俯视图像PDa及单个拍摄装置图像PDb的其中一个或两者。
俯视图像PDa为：通过将由多个拍摄装置30分别获取的多个图像数据，转换为由上方视点观察的图像数据并进行合成，从而生成的图像。
单个拍摄装置图像PDb为：由多个拍摄装置30中的一个拍摄装置30获取的液压挖掘机1的周边一部分的图像。单个拍摄装置图像PDb包括由后拍摄装置31获取的表示液压挖掘机1的后方状况的后方单个拍摄装置图像、由右后拍摄装置32获取的表示液压挖掘机1的右后方状况的右后方单个拍摄装置图像、由右前拍摄装置33获取的表示液压挖掘机1的右前方状况的右前方单个拍摄装置图像、以及由左后拍摄装置34获取的表示液压挖掘机1的左后方状况的左后方单个拍摄装置图像中的至少一个。
在图5所示的示例中，俯视图像PDa显示于显示部21的显示画面的第一区域21A。单个拍摄装置图像PDb显示于显示部21的显示画面的第二区域21B。第一区域21A及第二区域21B被设定在显示部21的显示画面的上下方向中的显示画面的中央部。第一区域21A被设定在第二区域21B的左方。
如图5所示，显示部21将表示液压挖掘机1的标记图像1S，与俯视图像PDa配合地显示。标记图像1S相当于从上方观察液压挖掘机1的图像。通过标记图像1S，能够使液压挖掘机1与液压挖掘机1的周边的位置关系明确化。
在图5所示的示例中，显示于第二区域21B的单个拍摄装置图像PDb为，由后拍摄装置31获取的表示液压挖掘机1的后方状况的后方单个拍摄装置图像。此外，显示于第二区域21B的单个拍摄装置图像PDb也可以为右后方单个拍摄装置图像，或右前方单个拍摄装置图像，或左后方单个拍摄装置图像。此外，在其他实施方式中，也可以设置为可切换成检测到物体OB的单个拍摄装置图像PDb。
基准线GD用于表示距离上部回转体3的距离的基准。此外，基准线GD也可以用于表示上部回转体3的距离及方向的基准。基准线DG可以表示距离上部回转体3的回转轴RX的距离及方向，也可以表示距离上部回转体3的外形边缘的距离及方向。
基准线GD在俯视图像PDa中配置于液压挖掘机1(标记图像1S)的周围。基准线GD为线状。
在图5所示的示例中，基准线GD与单个拍摄装置图像PDb配合地显示于显示部21。此外，基准线GD也可以不显示于单个拍摄装置图像PDb。
状态图像数据SD包括：表示发动机的冷却水温度的水温计SDa、表示液压机器的液压油温度的油温计SDb、及表示燃料余量程度的燃料液位计SDc。
此外，显示部21使标记MA显示在俯视图像PDa的左上方。标记MA表示：目前处于输出警报的有效状态。在有效状态下显示标记MA。在无效状态下不显示标记MA。还可以使标记MA根据检测出物体OB的区域来变更所显示的标记的颜色例如，当在第二警报范围Bb的内侧检测出物体OB时，可以使标记MA的颜色表示为红色，当在第一警报范围Ba的内侧且第二警报范围Bb的外侧处检测出物体OB时，可以使标记MA的颜色表示为黄色。
此外，显示部21使标记NA显示在单个拍摄装置图像PDb的右上方。标记NA用于表示显示于第二区域21B的单个拍摄装置图像PDb位于液压挖掘机1的哪一方向。在图5所示的示例中，标记NA具有识别区域，该识别区域表示单个拍摄装置图像PDb为由后拍摄装置31拍摄的后方单个拍摄装置图像。识别区域可以为阴影线，也可以为与周围不同的颜色。
操作部22具有配置于显示部21的显示画面下方的多个功能开关F1、F2、F3、F4、F5及F6。功能开关F1、F2、F3、F4、F5及F6分别被分配有特定的功能。在显示部21的显示画面的下部显示有多个图标。图标显示于功能开关F1、F2、F3、F4、F5及F6的正上方。在驾驶员对功能开关F1、F2、F3、F4、F5及F6进行操作后，生成显示于正上方的图标所对应的特定功能的操作信号。
在图5所示的示例中，在显示部21的显示画面的下部显示有多个图标I1、I2及I3。在功能开关F3正上方显示有图标I1。在功能开关F4的正上方显示有图标I2。在功能开关F6的正上方显示有图标I3。
此外，在图5所示的示例中，在显示部21的显示画面的上部显示有多个图标I4及I5。图标I4表示作业计时器的数值。图标I5表示所设定的作业模式。
通过操作操作部22的至少一个开关，能够在物体的检测功能的有效状态与无效状态之间进行切换。
周边监控装置
图6是表示实施方式涉及的周边监控装置100的功能框图。液压挖掘机1具备周边监控装置100。周边监控装置100用于监控液压挖掘机1的周边。
周边监控装置100包括周边监控显示器20和拍摄装置系统300。周边监控显示器20具有：显示部21、操作部22、控制部23和警报部24。拍摄装置系统300具有多个拍摄装置30(31、32、33及34)。
控制部23包括计算机系统。控制部23具有：运算处理部41，其包含如CPU(CentralProcessing Unit，中央处理器)这样的处理器；存储部42，其包含如RAM(Random AccessMemory，随机存储器)这样的易失性存储器及如ROM(Read Only Memory，只读存储器)这样的非易失性存储器；以及输入输出接口43。
输入输出接口43分别与拍摄装置系统300、显示部21、操作部22、及警报部24连接。
运算处理部41具有：图像数据取得部51、操作指令取得部52、显示数据生成部53、物体判断部54、显示控制部55、操作指令判断部59、以及警报控制部56。
存储部42具有特征存储部57和警报范围存储部58。
图像数据取得部51从拍摄装置系统300获取图像数据。图像数据取得部51从后拍摄装置31获取表示液压挖掘机1后方状况的图像数据。图像数据取得部51从右后拍摄装置32获取表示液压挖掘机1右后方状况的图像数据。图像数据取得部51从右前拍摄装置33获取表示液压挖掘机1右前方状况的图像数据。图像数据取得部51从左后拍摄装置34获取表示液压挖掘机1左后方状况的图像数据。
操作指令取得部52用于获取从操作部22输出的操作指令。操作指令包括：从有效状态切换为无效状态的操作指令、及从无效状态切换为有效状态的操作指令。基于操作指令可以在有效状态与无效状态之间进行切换。
显示数据生成部53基于由图像数据取得部51获取的图像数据，生成表示液压挖掘机1周边状况的周边显示数据PD。周边显示数据PD包括液压挖掘机1的周边俯视图像PDa和液压挖掘机1的周边的单个拍摄装置图像PDb。
显示数据生成部53基于由多个拍摄装置30分别获取的图像数据，生成液压挖掘机1周边的俯视图像PDa。显示数据生成部53基于由多个拍摄装置30中的一个拍摄装置30获取的图像数据，生成单个拍摄装置图像PDb。
物体判断部54基于由图像数据取得部51获取的图像数据，判断液压挖掘机1周边是否存在物体OB。物体判断部54能够通过对由图像数据取得部51获取的图像数据进行图像处理，来判断是否存在物体OB。图像处理包括从图像数据中提取物体OB特征的处理。存储部42具有存储物体OB的特征的特征存储部57。特征包括：人物的特征、及在作业现场收集的存在于作业现场的物体OB的特征。物体判断部54通过将从图像数据提取的特征与存储于特征存储部57的特征进行对照，来判断液压挖掘机1周边是否存在物体OB。
显示控制部55用于使显示部21显示规定的显示数据。显示数据包括：周边图像数据PD、基准线GD、及状态图像数据SD。周边图像数据PD包括俯视图像PDa及单个拍摄装置图像PDb。在实施方式中，显示控制部55使显示部21至少显示液压挖掘机1周边的俯视图像PDa。
基准线GD用于表示距离上部回转体3的距离的基准。此外，基准线GD还可以用于表示上部回转体3的距离及方向的基准。基准线GD以在俯视图像PDa中配置于液压挖掘机1(标记图像1S)的周围至少一部分的方式显示于显示部21。显示控制部55在显示于显示部21的显示画面的俯视图像PDa中，与俯视图像PDa配合地，使基准线GD显示于液压挖掘机1的周围至少一部分。
显示控制部55在根据液压挖掘机1周边的物体OB的存在而输出警报的有效状态与不输出警报的无效状态间，切换基准线GD的显示状态。
切换基准线GD的显示状态包括：在显示部21的显示画面中，切换液压挖掘机1(标记图像1S)与基准线GD的距离。
切换基准线GD的显示状态包括：在显示部21的显示画面中，切换基准线GD的形状。
在有效状态下，显示控制部55使基准线GD以规定警报范围B的方式显示于显示部21。表示警报范围B的警报范围数据被存储于警报范围存储部58中。警报范围数据包括：上部回转体3的外形边缘与警报范围B边缘的距离、及警报范围B的外形。显示控制部55基于存储于警报范围存储部58中的警报范围数据，在显示部21的显示画面中，使基准线GD以规定警报范围B的方式显示于显示部21。显示控制部55基于警报范围B的外形来显示基准线GD。此外，显示控制部55也可以以与警报范围B的外形不同的形状来显示基准线GD。
操作指令判断部59用于对由操作指令取得部52获取的操作指令是切换为有效状态的操作指令还是切换为无效状态的操作指令进行判断。
警报控制部56用于输出使警报输出的动作指令及使警报不输出的停止指令中的至少一者。输出动作指令，则输出警报。例如，当警报为警报部24的蜂鸣声时，根据输出的动作指令，输出警报部24的蜂鸣声。输出停止指令，则从警报部24不输出蜂鸣声。例如，当警报为在显示部21显示的信息或标记时，根据输出的动作指令，由显示控制部55进行控制，而向显示部21输出信息或标记。输出停止命令，则不向显示部21输出信息或标记。操作指令判断部59对由操作指令取得部52获取的操作指令为切换为有效状态的操作指令还是切换为无效状态的操作指令进行判断。警报控制部56基于操作指令判断部59的判断，在根据液压挖掘机1周边的物体OB的存在而输出警报的有效状态与不输出警报的无效状态之间进行切换。
俯视图像的生成方法
图7是用于说明实施方式涉及的俯视图像的生成方法的示意图。如图7所示，显示数据生成部53基于由多个拍摄装置30(31、32、33及34)获取的图像数据，生成液压挖掘机1周边的俯视图像PDa。
如图7所示，显示数据生成部53将分别由后拍摄装置31、右后拍摄装置32、右前拍摄装置33、及左后拍摄装置34获取的图像数据P1、图像数据P2、图像数据P3、及图像数据P4分别变换为表示从液压挖掘机1的上方的虚拟视点观察的上方视点图像的变换图像数据P11、变换图像数据P12、变换图像数据P13、及变换图像数据P14。
显示数据生成部53从变换图像数据P11、P12、P13及P14中切取出用于表示俯视图像PDa的与构架区域E1、E2、E3及E4对应的部分。显示数据生成部53对切取出的变换图像数据P11、P12、P13、P14进行合成。由此，生成出液压挖掘机1周边的俯视图像PDa。此外，显示数据生成部53在俯视图像PDa中添加表示液压挖掘机1的标记图像1S。标记图像1S相当于从上方观察液压挖掘机1的图像。通过标记图像1S，能够明确液压挖掘机1与液压挖掘机1周边的位置关系。
此外，在驾驶室6的前方及左前方的构架区域E0不生成俯视图像PDa。就坐于驾驶座椅9的驾驶员能够直接目视辨认驾驶室6的前方及左前方的状况。因此，在液压挖掘机1中不设置用于获取表示驾驶室6的前方及左前方的状况的图像数据的拍摄装置30。由此，能够减少设于液压挖掘机1的拍摄装置30的数量。此外，也可以设置用于获取表示驾驶室6的前方及左前方的状况的图像数据的拍摄装置30，并在构架区域E0中生成俯视图像PDa。
周边监控方法
图8是表示实施方式涉及的周边监控方法的流程图。液压挖掘机1开锁启动时，周边监控装置100被启动。周边监控装置100刚启动时，周边监控装置100被设定为根据液压挖掘机1周边的物体OB的存在而输出警报的有效状态。
拍摄装置30对液压挖掘机1的周边进行拍摄。图像数据取得部51从拍摄装置30获取图像数据(步骤SP1)。
显示数据生成部53生成周边图像数据PD。显示数据生成部53至少生成俯视图像PDa(步骤SP2)。
操作指令取得部52从操作部22获取操作指令。操作指令判断部59对由操作指令取得部52获取的操作指令是切换为有效状态的操作指令还是切换为无效状态的操作指令进行判断。在本实施方式中，操作指令判断部59对操作指令取得部52是否获取了从有效状态切换为无效状态的操作指令进行判断。即，操作指令取得部52对检测物体OB的功能是否为有效状态进行判断(步骤SP3)。
在步骤SP3中，当判定为有效状态时(步骤SP3：是)，显示控制部55将俯视图像PDa和基准线GD以第一显示状态显示于显示部21中(步骤SP4)。
图9是表示实施方式涉及的显示部21的显示例的图。图9表示周边监控装置100在有效状态下的显示部21的显示例。
如图9所示，显示控制部55将俯视图像PDa和基准线GD显示于显示部21中，所述基准线GD在俯视图像PDa中配置于表示液压挖掘机1的标记图像1S的周围至少一部分。在有效状态下，显示控制部55将基准线GD以第一显示状态显示于显示部21。此外，在有效状态下，显示控制部55也可以将标记MA显示于显示部21。
基准线GD以包含标记图像1S的方式显示。在实施方式中，基准线GD包括规定第一警报范围Ba的第一基准线GDa和规定第二警报范围Bb的第二基准线GDb。标记图像1S显示于第二基准线GDb的内侧。第二基准线GDb显示于第一基准线GDa的内侧。由第二基准线GDb包围的区域小于由第一基准线GDa包围的区域。
在实施方式中，第一基准线GDa及第二基准线GDb在实质上分别为矩形。第一基准线GDa的前端部可以显示为与第二基准线GDb的前端部一致。第一基准线GDa的后端部被规定在第二基准线GDb的后端部的后方。第一基准线GDa的左端部被规定在第二基准线GDb的左端部的左方。第一基准线GDa的右端部被规定在第二基准线GDb的右端部的右方。
如图9所示，在有效状态下，显示控制部55将基准线GD以使基准线GD与标记图像1S远离的方式显示于显示部21中。在图9所示的示例中，标记图像1S的外侧边缘与基准线GD的距离为第一距离W1。标记图像1S的后端部与第一基准线GDa的后端部的距离为第一距离W1a。标记图像1S的后端部与第二基准线GDb的后端部的距离为第一距离W1b。标记图像1S的外侧边缘及后端部相当于上部回转体3的外侧边缘及后端部。
物体判断部54基于由图像数据取得部51获取的图像数据，对液压挖掘机1周边是否存在物体OB进行判断。在实施方式中，物体判断部54对警报范围B内是否存在物体OB进行判断。即，物体判断部54对在基准线GD的内侧是否存在物体OB进行判断(步骤SP5)。
在步骤SP5中，当判定为警报范围B内存在物体OB时(步骤SP5：是)，警报控制部56输出使警报输出的动作指令(步骤SP6)。如图9所示，作为警报，显示控制部55可以将标识MK以与显像在俯视图像PDa中的物体OB重合的方式显示于显示部21中。标识MK为在显示部21的显示画面中，用于显示存在于警报范围B内的物体OB的标记的示例。此外，还可以输出由警报部24输出的蜂鸣声，或在显示部21显示的信息等，进行其他警报的动作指令。
此外，图9表示物体OB存在于第一基准线GDa(第一警报范围Ba)的内侧且存在于第二基准线GDb(第二警报范围Bb)的外侧的情况。在有效状态下，当物体OB存在于第二基准线GDb(第二警报范围Bb)的内侧时，也以与显像于俯视图像PDa的物体OB重合的方式，显示标识MK。
当物体OB存在于第一基准线GDa(第一警报范围Ba)的内侧且存在于第二基准线GDb(第二警报范围Bb)的外侧时，标识MK显示为第一颜色(例如黄色)。当物体OB存在于第二基准线GDb(第二警报范围Bb)的内侧时，标识MK显示为第二颜色(例如红色)。
此外，当物体OB存在于第二基准线GDb(第二警报范围Bb)的内侧时，还可以对作业机械1的车身的动作进行限制。
在步骤SP5中，当判定为警报范围B内不存在物体OB时(步骤SP5：否)，警报控制部56输出使警报的输出停止的停止指令(步骤SP7)。例如，当警报为标识MK时，接收到停止指令的显示控制部55不显示标识MK。此外，例如，当警报为蜂鸣声时，接收到停止指令的警报部24使蜂鸣声停止。
在步骤SP3中，当判定为无效状态时(步骤SP3：否)，显示控制部55将俯视图像PDa和基准线GD以第二显示状态显示于显示部21中(步骤SP8)。
此外，图8所示的流程图为一个示例，在其他实施方式中，不一定要实行全部的步骤。例如，周边监控装置100也可以不实行步骤SP5、步骤SP6及步骤SP7。
此外，在步骤SP3中，操作指令判断部59对操作指令取得部52是否获取了从有效状态切换为无效状态的操作指令进行判断。但操作指令判断部59也可以对操作指令取得部52是否获取了从无效状态切换为有效状态的操作指令进行判断。操作指令判断部59只需对操作指令取得部52获取的操作指令是切换为有效状态的操作指令还是切换为无效状态的操作指令进行判断即可。
图10是表示实施方式涉及的显示部21的显示例的图。图10表示周边监控装置100在无效状态下的显示部21的显示例。
如图10所示，显示控制部55将俯视图像PDa和基准线GD显示于显示部21中，所述基准线GD在俯视图像PDa中配置于表示液压挖掘机1的标记图像1S的周围至少一部分。在无效状态下，显示控制部55将基准线GD以与第一显示状态不同的第二显示状态显示于显示部21。此外，在无效状态下，显示控制部55不显示标记MA。
在有效状态下的基准线GD与在无效状态下的基准线GD不同。如图9及图10所示，在有效状态下的基准线GD与液压挖掘机1(标记图像1S)的距离，与在无效状态下的基准线GD与液压挖掘机1(标记图像1S)的距离不同。在有效状态下的基准线GD的形状，与在无效状态下的基准线GD的形状不同。由在有效状态下的基准线GD包围的区域的面积，与由在无效状态下的基准线GD包围的区域的面积不同。
基准线GD包括第一基准线GDa和第二基准线GDb。在无效状态下，第一基准线GDa与第一警报范围Ba的外形不一致。在无效状态下，第二基准线GDb与第二警报范围Bb的外形不一致。
如图10所示，在无效状态下，显示控制部55将基准线GD以基准线GD靠近标记图像1S的方式显示于显示部21中。在图10所示的示例中，标记图像1S的外侧边缘与基准线GD的距离为第二距离W2。标记图像1S的后端部与第一基准线GDa的后端部的距离为第二距离W2a。此外，第二距离W2a可以为零。标记图像1S的后端部与第二基准线GDb的后端部的距离为第二距离W2b。标记图像1S的外侧边缘及后端部相当于上部回转体3的外侧边缘及后端部。
第二距离W2比第一距离W1短。第二距离W2a比第一距离W1a短。第二距离W2b比第一距离W1b短。如此，显示控制部55以在有效状态下标记图像1S与基准线GD的距离为第一距离W1、在无效状态下标记图像1S与基准线GD的距离为比第一距离W1短的第二距离W2的方式，来显示基准线GD。此外，第一距离W1a与第二距离W2b之差的距离，比第一距离W1b短。第一距离W1a与第二距离W2b之差的距离，比第二距离W2b长。如此，在有效状态下，显示控制部55以第一距离W1a与第一距离W1b之差的距离与第一距离W1b之间的长短关系变化的方式，来显示基准线GD。
在实施方式中，在有效状态下的基准线GD显示在上部回转体3的回转范围的外侧。在无效状态下的基准线GD显示在上部回转体3的回转范围的外侧，且显示在有效状态下的基准线GD的内侧。
在无效状态下，基准线GD也以包含标记图像1S的方式显示。第二基准线GDb以包含标记图像1S的方式显示。标记图像1S显示于第二基准线GDb的内侧。第二基准线GDb显示于第一基准线GDa的内侧。由第二基准线GDb包围的区域小于由第一基准线GDa包围的区域。
在实施方式中，第一基准线GDa及第二基准线GDb在实质上分别为矩形。第一基准线GDa的前端部被规定在第二基准线GDb的前端部的前方。第一基准线GDa的后端部被规定在第二基准线GDb的后端部的后方。第一基准线GDa的左端部被规定在第二基准线GDb的左端部的左方。第一基准线GDa的右端部被规定在第二基准线GDb的右端部的右方。
在无效状态下由第二基准线GDb包围的区域的面积小于在有效状态下由第二基准线GDb包围的区域的面积。
在无效状态下由第一基准线GDa包围的区域的面积可以大于也可以小于在有效状态下由第一基准线GDa包围的区域的面积。在无效状态下由第一基准线GDa包围的区域面积，还可以与在有效状态下由第一基准线GDa包围的区域的面积相等。
在无效状态下的表示液压挖掘机1的标记图像1S的大小与在有效状态下的标记图像1S的大小相等。此外，也可以使在无效状态下的标记图像1S与在有效状态下的标记图像1S的大小不同。
在无效状态下，驾驶员在充分地确认液压挖掘机1的周边状况的同时实施作业。在驾驶员在启动作业机4之前确认显示部21的情况下，周边监控装置100需要正确地向驾驶员提供液压挖掘机1的周边状况。因此，基准线GD优选地显示于靠近上部回转体3的外形边缘的位置。
在有效状态下，当液压挖掘机1的周边存在物体OB时，由于警报被输出，即使驾驶员不确认显示部21也能够被唤起注意。周边监控装置100需要向驾驶员提供：例如在足够比上部回转体3的回转范围大的范围内的物体OB的存在信息。因此，基准线GD优选地显示于远离上部回转体3的外形边缘的位置。
计算机系统
图11是表示实施方式涉及的计算机系统1000的框图。上述的控制部23包括计算机系统1000。计算机系统1000具有：处理器1001，如CPU(Central Processing Unit，中央处理器)；主内存1002，其包含如ROM(Read Only Memory，只读存储器)这样的非易失性存储器及如RAM(Random Access Memory，随机存储器)这样的易失性存储器；存储器1003；以及接口1004，其包含输入输出电路。上述的控制部23的功能作为计算机程序被存储于存储器1003中。处理器1001将计算机程序从存储器1003中读取并加载至主内存1002，依照计算机程序来实行上述的处理。此外，计算机程序还可以经由网络传送至计算机系统1000。
计算机程序或计算机系统1000按照上述的实施方式能够实行以下处理：将表示作业机械1周边的图像显示于显示部21；与显示图像配合地，在显示部21的显示画面中，将基准线显示于作业机械1的周围至少一部分；以及在根据作业机械1周边的物体的存在而输出警报的有效状态与不输出警报的无效状态间，切换基准线的显示状态。
效果
如上述所说明的，根据实施方式，显示控制部55在根据液压挖掘机1周边的物体OB的存在而输出警报的有效状态与不输出警报的无效状态间，切换基准线GD的显示状态。由此，在输出警报的有效状态及不输出警报的无效状态下，均能够向驾驶员提供适当的基准线GD。
作业机械1中存在搭乘的人不是同一个人的可能性。例如，存在搭乘第一驾驶员，或搭乘与第一驾驶员不同的第二驾驶员，或搭乘维护人员的可能性。优选地，在第一搭乘者将周边监控装置切换为有效状态或无效状态后，最好能使接下来搭乘的第二搭乘者能够容易地识别周边监控装置100处于有效状态还是无效状态。
在实施方式中，在无效状态下，基准线GD以与有效状态不同的显示状态显示于显示部21中。因此，搭乘作业机械1的人，能够通过确认基准线GD，容易地识别周边监控装置100为有效状态及无效状态中的哪一种。
其他实施方式
在上述的实施方式中，使基准线GD与作业机械1周边的俯视图像PDa配合地显示于显示部21。但也可以使基准线GD与作业机械1的周边的单个拍摄装置图像PDb配合地显示于显示部21。在这种情况下，基于从操作部22输出的操作指令来切换基准线GD的显示状态。此外，如参照图5所说明的那样，还可以在显示部21中同时显示俯视图像PDa及单个拍摄装置图像PDb的情况下，使基准线GD与俯视图像PDa及单个拍摄装置图像PDb两者配合地显示于显示部21中。在这种情况下，可以基于从操作部22输出的操作指令来切换俯视图像PDa及单个拍摄装置图像PDb的基准线GD的显示状态，或切换俯视图像PDa及单个拍摄装置图像PDb中的任一方的基准线GD的显示状态。此外，还可以在俯视图像PDa及单个拍摄装置图像PDb中的任一方中显示基准线GD，并基于从操作部22输出的操作指令来切换基准线GD的显示状态。
在上述的实施方式中，物体检测部为拍摄装置30。但物体检测部并不限于拍摄装置30。物体检测部还可以是设于液压挖掘机1的雷达装置或是激光装置。
在上述的实施方式中，基准线GD为线状。但基准线GD也可以不是线状。基准线GD例如可以由多个点来构成。
在上述的实施方式中，通过操作操作部22的开关，可切换成有效状态或无效状态。但操作部22也可以包括设于显示部21的显示画面中的触摸感应器。即，显示部21也可以包括具有操作部22的功能的触控面板。可以通过操作触控面板，从而切换成有效状态或无效状态。
在上述的实施方式中，周边监控显示器20包括：显示部21、操作部22、控制部23、以及警报部24。显示部21、操作部22、控制部23、以及警报部24可以一部分分开设置，也可以各自分开设置。例如，显示部21可以是如平板型个人计算机那样的、设于作业机械外部的显示部。在这种情况下，可以由平板型个人计算机所具备的操作部22，在有效状态的显示与无效状态的显示之间进行切换，也可以由平板型个人计算机从作业机械所具备的操作部22接收操作指令，在有效状态的显示与无效状态的显示之间进行切换。例如，操作部22可以设于驾驶室6内右侧方的控制台上。可以通过操作设于控制台的操作部22，从而在有效状态与无效状态之间进行切换。此外，设于周边监控显示器20外部的操作部22可以配置于驾驶室6内的其他位置，也可以设置于驾驶室6的外部。另外，还可以在周边监控显示器20所包含的操作部22之外增加设置上述的操作部22。
在上述的实施方式中，警报部24输出蜂鸣声。但警报部24也可以是语音输出装置。这种情况下，警报可以是从语音输出装置输出的语音。此外，警报部24也可以是警告灯。
在上述的实施方式中，显示有两根基准线GD，但基准线GD也可以是一根，还可以是三根以上。
此外，在上述的实施方式中，对相当于构架区域E0的区域中不显示基准线GD的情况进行了说明，但在其他实施方式中，也可以在表示液压挖掘机1的标记图像1S的整个周围显示基准线GD。
此外，在上述的实施方式中，对作业机械1中设置有一台周边监控装置100的情况进行了说明，但在其他实施方式中，还可以实现将周边监控装置100的部分结构配置于其他周边监控装置，并由两台以上的周边监控装置构成周边监控系统。另外，上述的实施方式中表示的一台周边监控装置100也是周边监控系统的一个示例。
此外，对上述的实施方式涉及的周边监控装置100设置于作业机械1的情况进行了说明，但在其他实施方式中，也可以将周边监控装置100的部分或全部的结构设置于作业机械1的外部。例如，在其他实施方式中，周边监控装置100可以是对涉及远程操作的作业机械1进行控制的装置。在这种情况下，周边监控装置100将画面显示于配置在远程操作室的显示部中。
此外，在上述的实施方式中，对在输出警报的有效状态与不输出警报的无效状态间，切换基准线GD的距离或形状的情况进行了说明，但在其他实施方式中，还可以在输出警报的有效状态与不输出警报的无效状态间，切换基准线GD的线的种类、基准线GD的颜色、基准线GD的线的粗细、或基准线GD的闪烁显示等。
在上述的实施方式中，液压挖掘机1可以是在矿山等地方使用的采矿用液压挖掘机，也可以是用于工程现场的液压挖掘机。此外，可以适用于自卸车、轮式装载机以及其他作业机械用的周边监控系统。
符号说明
1…液压挖掘机(作业机械)；1S…标记图像；2…下部行走体；3…上部回转体；4…作业机；4A…动臂；4B…斗杆；4C…铲斗；5…液压缸；5A…动臂缸；5B…斗杆缸；5C…铲斗缸；6…驾驶室；7…动力箱；8…配重；9…驾驶座椅；10…操作部；11…左作业杆；12…右作业杆；13…左行走杆；14…右行走杆；15…左脚踏板；16…右脚踏板；20…周边监控显示器；21…显示部；21A…第一区域；21B…第二区域；22…操作部；23…控制部；24…警报部；30…拍摄装置；31…后拍摄装置；32…右后拍摄装置；33…右前拍摄装置；34…左后拍摄装置；41…运算处理部；42…存储部；43…输入输出接口；51…图像数据取得部；52…操作指令取得部；53…显示数据生成部；54…物体判断部；55…显示控制部；56…警报控制部；57…特征存储部；58…警报范围存储部；59…操作指令判断部；100…周边监控装置；300…拍摄装置系统；1000…计算机系统；1001…处理器；1002…主内存；1003…存储器；1004…接口；A…检测范围；AX…动臂旋转轴；B…警报范围；Ba…第一警报范围；Bb…第二警报范围；BX…斗杆旋转轴；CX…铲斗旋转轴；RX…回转轴；GD…基准线；GDa…第一基准线；GDb…第二基准线；E0…构架区域；E1…构架区域；E2…构架区域；E3…构架区域；E4…构架区域；F1…功能开关；F2…功能开关；F3…功能开关；F4…功能开关；F5…功能开关；F6…功能开关；I1…图标；I2…图标；I3…图标；I4…图标；I5…图标；OB…物体；P1…图像数据；P2…图像数据；P3…图像数据；P4…图像数据；P11…变换图像数据；P12…变换图像数据；P13…变换图像数据；P14…变换图像数据；PD…周边图像数据；PDa…俯视图像；PDb…单个拍摄装置图像；MA…标记；MK…标识；NA…标记；SD…状态图像数据；SDa…水温计；SDb…油温计；SDc…燃料液位计；W1…第一距离；W1a…第一距离；W1b…第一距离；W2…第二距离；W2a…第二距离；W2b…第二距离。

Claims (10)

1.一种作业机械的周边监控系统，其特征在于，
具备显示控制部，所述显示控制部使表示作业机械周边的图像、以及在所述图像中配置于作业机械的周围至少一部分的基准线显示于显示部中，
所述显示控制部在根据所述作业机械周边的物体的存在而输出警报的有效状态与不输出所述警报的无效状态间，切换所述基准线的显示状态。
2.根据权利要求1所述的作业机械的周边监控系统，其特征在于，
所述表示作业机械周边的图像为所述作业机械周边的俯视图像。
3.根据权利要求1所述的作业机械的周边监控系统，其特征在于，
所述表示作业机械周边的图像为表示所述作业机械周边的单个拍摄装置图像。
4.根据权利要求1至3中任一项所述的作业机械的周边监控系统，其特征在于，
切换所述显示状态包括：在所述显示部的显示画面中，切换所述作业机械与所述基准线的距离。
5.根据权利要求4所述的作业机械的周边监控系统，其特征在于，
所述显示控制部以在所述有效状态下使所述距离为第一距离、在所述无效状态下使所述距离为比所述第一距离短的第二距离的方式，来显示所述基准线。
6.根据权利要求5所述的作业机械的周边监控系统，其特征在于，
切换所述显示状态包括：在所述显示部的显示画面中，切换所述基准线的形状。
7.根据权利要求1至6中任一项所述的作业机械的周边监控系统，其特征在于，
具备用于存储警报范围的警报范围存储部，所述警报范围为：在用于检测作业机械周边的物体的物体检测部的检测范围内的、被要求根据物体的存在而输出警报的范围，
所述显示控制部在所述有效状态下，使所述基准线以规定所述警报范围的方式显示。
8.根据权利要求1至7中任一项所述的作业机械的周边监控系统，其特征在于，包括：
操作指令取得部，其用于获取从操作部输出的操作指令；以及
操作指令判断部，其用于判断所述操作指令是切换为所述有效状态的操作指令还是切换为所述无效状态的操作指令，
基于所述操作指令判断部的判断，在所述有效状态与所述无效状态之间进行切换。
9.一种作业机械，其特征在于，
具备权利要求1至权利要求8中任一项所述的作业机械的周边监控系统。
10.一种作业机械的周边监控方法，其特征在于，包括：
在显示部显示表示作业机械周边的图像；
在所述显示部的显示画面中的作业机械的周围至少一部分显示基准线；以及
在根据所述作业机械周边的物体的存在而输出警报的有效状态与不输出所述警报的无效状态间，切换所述基准线的显示状态。
CN202080068410.3A 2019-10-18 2020-10-19 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法 Pending CN114503549A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019191213A JP7349880B2 (ja) 2019-10-18 2019-10-18 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP2019-191213 2019-10-18
PCT/JP2020/039241 WO2021075580A1 (ja) 2019-10-18 2020-10-19 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

Publications (1)

Publication Number Publication Date
CN114503549A true CN114503549A (zh) 2022-05-13

Family

ID=75538162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068410.3A Pending CN114503549A (zh) 2019-10-18 2020-10-19 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法

Country Status (5)

Country Link
US (1) US20220333357A1 (zh)
JP (1) JP7349880B2 (zh)
CN (1) CN114503549A (zh)
DE (1) DE112020004151T5 (zh)
WO (1) WO2021075580A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023014767A (ja) * 2021-07-19 2023-01-31 株式会社小松製作所 掘削機械の稼働範囲設定システムおよびその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497898B2 (en) * 2013-01-24 2016-11-22 Tribine Industries, LLC Agricultural harvester unloading assist system and method
JP6178580B2 (ja) 2013-01-28 2017-08-09 富士通テン株式会社 物体検出装置、物体検出システム及び物体検出方法
JPWO2016157463A1 (ja) 2015-03-31 2018-01-18 株式会社小松製作所 作業機械の周辺監視装置
WO2019111859A1 (ja) 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
CN111819334A (zh) 2018-03-08 2020-10-23 住友重机械工业株式会社 施工机械、信息处理装置、信息处理方法及程序
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
US11204254B2 (en) * 2019-05-29 2021-12-21 Deere & Company Implement guidance display system for work vehicles
JP7489287B2 (ja) * 2020-10-12 2024-05-23 ヤンマーホールディングス株式会社 建設機械

Also Published As

Publication number Publication date
WO2021075580A1 (ja) 2021-04-22
JP2021068948A (ja) 2021-04-30
JP7349880B2 (ja) 2023-09-25
US20220333357A1 (en) 2022-10-20
DE112020004151T5 (de) 2022-07-14

Similar Documents

Publication Publication Date Title
JP7108750B2 (ja) システムおよび方法
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
CN107407078B (zh) 作业机械的周边监视装置及作业机械的周边监视方法
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
EP3174291A1 (en) Surroundings display device for turning operation machine
JP6568228B2 (ja) 作業機械の表示装置及び表示システム
KR20130138227A (ko) 작업 기계의 주위 감시 장치
JP2008163719A (ja) 作業機械の周囲監視装置
CN113152552A (zh) 工程机械的控制系统及方法
US10442442B2 (en) Work vehicle periphery monitoring system and work vehicle periphery monitoring method
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP2009202689A (ja) 建設機械における表示装置
EP3733982B1 (en) Shovel and output device of shovel
CN114503549A (zh) 作业机械的周边监控系统、作业机械、及作业机械的周边监控方法
JP2021114757A (ja) 作業機械の遠隔操作システム及び作業機械の遠隔操作方法
WO2021187248A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
US20240052602A1 (en) Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
US20220412049A1 (en) Work assisting server and method for selecting imaging device
WO2023048136A1 (ja) 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法
JP7092714B2 (ja) 作業機械の制御装置及び作業機械の制御方法
CN117881851A (zh) 远程操作系统以及远程操作复合系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination