CN117988414A - 作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械 - Google Patents

Abstract

提供操作人员容易直观地掌握与作业机械的操作相关的各种信息的作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械。作业机械的控制方法具有如下步骤：取得作业机械的周围的监视区域的拍摄图像；使基于拍摄图像的俯瞰图像(Im100)显示于第一显示区域(R11)；以及使特定图像(Im200)的至少一部分显示于第二显示区域(R12)。第一显示区域(R11)是显示装置所显示的显示画面(Dp1)中的从俯视时相当于作业机械的本机基准位置(P1)观察到的周向的一部分作为缺口区域(R13)而被切除了的形状的区域。第二显示区域(R12)是显示画面(Dp1)中的配置于缺口区域(R13)内的区域。

Description

作业机械的控制方法、作业机械用控制程序、作业机械用控制 系统以及作业机械

技术领域

本发明涉及具有探测周围的监视区域中的探测对象物的功能的作业机械所使用的作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械。

背景技术

作为相关技术，公知有基于搭载于上部回转体的相机拍摄到的多个输入图像而生成输出图像的作业机械(挖掘机)(例如，参照专利文献1)。相关技术所涉及的作业机械具备以拍摄上部回转体的三个方向的方式搭载于上部回转体的左部、右部以及后部这三个部位的相机(拍摄装置)。在该作业机械中，在设置于驾驶室内的显示装置(显示部)，与下部行驶体的朝向无关地至少映出作业机械的左方、右方以及后方的区域，生成从上空俯视作业机械的图像(俯瞰图像)作为输出图像。

专利文献1：日本特开2018-035669号公报

在上述相关技术中，仅俯瞰图像显示于显示装置，有时操作人员难以直观地掌握与作业机械的操作相关的各种信息。

发明内容

本发明的目的在于提供操作人员容易直观地掌握与作业机械的操作相关的各种信息的作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械。

本发明的一方式所涉及的作业机械的控制方法具有如下步骤：取得作业机械的周围的监视区域的拍摄图像；使基于上述拍摄图像的俯瞰图像显示于第一显示区域；使特定图像的至少一部分显示于第二显示区域。上述第一显示区域是显示装置所显示的显示画面中的从俯视时相当于上述作业机械的本机基准位置观察到的周向的一部分作为缺口区域而被切除了的形状的区域。上述第二显示区域是上述显示画面中的配置于上述缺口区域内的区域。

本发明的一方式所涉及的作业机械用控制程序是用于使一个以上的处理器执行上述作业机械的控制方法的程序。

本发明的一方式所涉及的作业机械用控制系统具备图像取得部、第一显示处理部、第二显示处理部。上述图像取得部取得作业机械的周围的监视区域的拍摄图像。上述第一显示处理部使基于上述拍摄图像的俯瞰图像显示于第一显示区域，上述第一显示区域是显示装置所显示的显示画面中的从俯视时相当于上述作业机械的本机基准位置观察到的周向的一部分作为缺口区域而被切除了的形状的区域。上述第二显示处理部使特定图像的至少一部分显示于第二显示区域，上述第二显示区域是上述显示画面中的配置于上述缺口区域内的区域。

本发明的一方式所涉及的作业机械具备上述作业机械用控制系统和供上述显示装置搭载的机体。

根据本发明，能够提供操作人员容易直观地掌握与作业机械的操作相关的各种信息的作业机械的控制方法、作业机械用控制程序、作业机械用控制系统以及作业机械。

附图说明

图1是表示实施方式1所涉及的作业机械的整体结构的概略立体图。

图2是表示实施方式1所涉及的作业机械的液压回路等的概略图。

图3是示意性地表示从上方观察实施方式1所涉及的作业机械时设定于作业机械的周围的监视区域等的概略俯视图。

图4是通过实施方式1所涉及的作业机械用控制系统显示显示画面的显示装置的概略外观图。

图5是表示通过实施方式1所涉及的作业机械用控制系统显示的显示画面的一个例子的图。

图6是表示通过实施方式1所涉及的作业机械用控制系统显示的显示画面中的第二区域的显示例的图。

图7是表示通过实施方式1所涉及的作业机械用控制系统显示的俯瞰图像的显示例的图。

图8是表示通过实施方式1所涉及的作业机械用控制系统显示的俯瞰图像的显示例的图。

图9是表示实施方式1所涉及的作业机械用控制系统的动作例的流程图。

图10是表示通过实施方式2所涉及的作业机械用控制系统显示的俯瞰图像的显示例的图。

图11是表示通过实施方式2所涉及的作业机械用控制系统显示的俯瞰图像的显示例的图。

附图标记说明

1...作业机械用控制系统；2...显示装置；3...作业机械；12...图像取得部；30...机体；111...第一显示处理部；112...第二显示处理部；A1...监视区域；Dp1...显示画面；Im10...图标(目标)；Im11、Im12、Im13...拍摄图像；Im100...俯瞰图像；Im200...特定图像；L1、L2...距离；Ob1...探测对象物；P1...本机基准位置；P2...后方基准位置；R11...第一显示区域；R12...第二显示区域；R13...缺口区域。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。以下的实施方式是将本发明具体化了的一个例子，不是旨在限定本发明的技术范围。

(实施方式1)

[1]整体结构

如图1所示，本实施方式所涉及的作业机械3在机体30具备行驶部31、回转部32、作业部33。此外，如图2所示，作业机械3还具备作业机械用控制系统1(以下，也简称为“控制系统1”)。此外，机体30还具备显示装置2以及操作装置等。

本公开所说的“作业机械”是指各种作业用机械，作为一个例子，是反铲挖掘机(包括液压挖掘机、迷你挖掘机等)、轮式装载机以及运载车等作业车辆。作业机械3具备构成为至少能够执行包括起吊作业在内的一个以上的作业的作业部33。作业机械3不局限于“车辆”，例如也可以是作业用船舶、无人机或多旋翼直升机等作业飞行体等。并且，作业机械3不局限于工程机械(建设机械)，例如也可以是插秧机、拖拉机或联合收割机等农业机械(农机)。在本实施方式中，只要没有特别说明，举出如下情况作为例子进行说明：作业机械3是带起吊功能(带起重机功能)的反铲挖掘机，除起吊作业之外，能够执行挖掘作业、平整土地作业、挖沟作业或装载作业等作为作业。

此外，在本实施方式中，为了方便说明，将作业机械3处于可使用的状态下的铅垂方向定义为上下方向D1。并且，在回转部32的非回转状态下，以从搭乘于作业机械3(的驾驶部321)的使用者(操作人员)观察到的方向作为基准，定义前后方向D2以及左右方向D3。换言之，本实施方式中使用的各方向均是以作业机械3的机体30为基准而规定的方向，在作业机械3前进时机体30移动的方向为“前方”，在作业机械3后退时机体30移动的方向为“后方”。同样，在作业机械3右转弯时机体30的前端部移动的方向为“右方”，在作业机械3左转弯时机体30的前端部移动的方向为“左方”。但是，这些方向不是旨在限定作业机械3的使用方向(使用时的方向)。

作业机械3具备成为动力源的发动机。在作业机械3中，例如通过发动机驱动液压泵41(参照图2)，从液压泵41向机体30的各部分的液压致动器(包括液压马达43以及液压缸44等)供给工作油，从而机体30驱动。此外，作业机械3例如通过搭乘于机体30的驾驶部321的使用者(操作人员)操作操作装置的操作杆等来控制。

在本实施方式中，如上述那样假设作业机械3是乘用型反铲挖掘机的情况，因此，作业部33按照搭乘于驾驶部321的使用者(操作人员)的操作而被驱动，执行挖掘作业等作业。供使用者搭乘的驾驶部321设置于回转部32。

行驶部31具有行驶功能，构成为能够在地面行驶(包括转弯)。行驶部31例如具有左右一对履带311以及推土铲312等。行驶部31还具有用于驱动履带311的行驶用的液压马达43(液压致动器)等。

回转部32位于行驶部31的上方，构成为能够相对于行驶部31以沿着铅垂方向的旋转轴为中心回转。回转部32具有回转用的液压马达(液压致动器)等。除驾驶部321之外，回转部32还搭载有发动机以及液压泵41等。并且，在回转部32的前端部设置有供作业部33安装的动臂托架322。

作业部33构成为能够执行包括起吊作业在内的作业。作业部33支承于回转部32的动臂托架322，执行作业。作业部33具有铲斗331、动臂332以及斗杆333等。作业部33还具有用于驱动各部分的液压致动器(包括液压缸44以及液压马达等)。

铲斗331是安装于作业机械3的机体30的配件(作业工具)的一种，由根据作业内容而从多种配件中选择的任意器具构成。作为一个例子，铲斗331相对于机体30可拆卸地安装，根据作业的内容进行更换。作为作业机械3用配件，除铲斗331之外，例如还有破碎机、螺旋钻、碾碎机、叉齿、叉爪、钢架切割机、沥青切削机、割草机、松土机、覆盖机、倾斜旋转器(日文：チルトローテータ)以及打夯机等各种器具。作业部33通过利用来自驱动装置的动力驱动铲斗331，来执行作业。

动臂332由回转部32的动臂托架322支承为能够旋转。具体而言，动臂332由动臂托架322支承为能够以沿着水平方向的旋转轴为中心旋转。动臂332具有从支承于动臂托架322的基端部向上方延伸的形状。斗杆333与动臂332的前端连结。斗杆333被支承为能够相对于动臂332以沿着水平方向的旋转轴为中心旋转。在斗杆333的前端安装有铲斗331。

作业部33接受来自作为动力源的发动机的动力而进行动作。具体而言，通过发动机驱动液压泵41，从液压泵41向作业部33的液压致动器(液压缸44等)供给工作油，从而作业部33的各部分(铲斗331、动臂332以及斗杆333)进行动作。

在本实施方式中，特别是，作业部33具有动臂332以及斗杆333构成为能够单独旋转的多关节式构造。换句话说，通过动臂332以及斗杆333各自以沿着水平方向的旋转轴为中心旋转，从而例如包括动臂332以及斗杆333的多关节式作业部33整体上能够进行伸展、折叠的动作。

行驶部31以及回转部32各自也与作业部33同样，接受来自作为动力源的发动机的动力而进行动作。换句话说，从液压泵41向行驶部31的液压马达43以及回转部32的液压马达等供给工作油，从而回转部32以及行驶部31进行动作。

发动机如上述那样作为向各部分供给动力的动力源发挥功能。这里，发动机与液压泵41等一起搭载于回转部32。在本实施方式中，作为一个例子，发动机是柴油发动机。发动机通过从燃料箱被供给燃料(这里为轻油)而进行驱动。

这里，在机体30装备拍摄机体30的周边的相机等用于探测作业机械3的周围的监视区域A1(参照图3)中的探测对象物Ob1(参照图3)的各种传感器类(包括相机)。在本实施方式中，作为一个例子，如图3所示，包括左方相机341、右方相机342以及后方相机343在内的多个(这里为3个)相机搭载于机体30的回转部32。左方相机341、右方相机342以及后方相机343与控制系统1连接，向控制系统1输出由各自拍摄到的图像。图3是从上方观察作业机械3而得到的俯视图，示意性地表示设定于作业机械3的周围的监视区域A1、探测对象物Ob1以及作业机械3的机体30(包括左方相机341、右方相机342以及后方相机343)。

左方相机341、右方相机342以及后方相机343分别以能够对从搭乘于回转部32的驾驶部321的操作人员观察时成为左方、右方以及后方的监视区域A1进行拍摄的方式以驾驶部321为基准朝向左方、右方以及后方设置。换句话说，如图3所示，监视区域A1包括多个(这里为3个)小区域A11、A12、A13，左方相机341对其中的从搭乘于驾驶部321的操作人员观察时成为左方的小区域A11(左方区域)进行拍摄。同样，右方相机342对从搭乘于驾驶部321的操作人员观察时成为右方的小区域A12(右方区域)进行拍摄，后方相机343对从搭乘于驾驶部321的操作人员观察时成为后方的小区域A13(后方区域)进行拍摄。由此，能够用左方相机341、右方相机342以及后方相机343覆盖对于操作人员而言容易成为死角的侧方(左方以及右方)以及后方。

在图2中，示意性地示出本实施方式所涉及的作业机械3的液压回路以及电气电路(电连接关系)。在图2中，实线为高压的(工作油用的)油路、虚线为低压的(先导油用的)油路、单点划线的箭头表示电信号的路径。

如图2所示，作业机械3除了具备液压泵41、液压马达43(图2中省略图示)以及液压缸44之外，还具备先导泵42、遥控阀45、控制阀46以及方向切换阀(控制阀)47等。

来自由发动机驱动的液压泵41的工作油向行驶部31的液压马达43、回转部32的液压马达以及作业部33的液压缸44等供给。由此，液压马达43以及液压缸44等液压致动器被驱动。

在液压马达43以及液压缸44等液压致动器设置有能够对来自液压泵41的工作油的方向以及流量进行切换的先导式的方向切换阀47。方向切换阀47从先导泵42被供给成为输入指令的先导油而被驱动。

这里，例如在先导油向作业部33的液压缸44所对应的方向切换阀47的供给路径设置有遥控阀45。遥控阀45根据操作杆的操作而输出作业部33的作业操作指令。作业操作指令指示作业部33的展开动作以及缩小动作等。此外，在遥控阀45与先导泵42之间插入有电磁式的控制阀46(电磁阀)。控制阀46经由截止继电器352以及截止开关353而与电源351连接，根据来自电源351的供给电流进行动作。

同样，在先导油向行驶部31的液压马达43所对应的方向切换阀的供给路径也设置有遥控阀。该遥控阀根据操作杆的操作而输出行驶部31的行驶操作指令。行驶操作指令指示行驶部31的行驶动作(前进或后退等)。并且，在先导油向回转部32的液压马达所对应的方向切换阀的供给路径也设置有遥控阀。该遥控阀根据操作杆的操作而输出回转部32的回转操作指令。回转操作指令指示回转部32的回转动作(左回转或右回转等)。而且，在这些遥控阀与先导泵42之间也插入有电磁式的控制阀46(电磁阀)。控制阀46经由截止继电器352以及截止开关353而与电源351连接，根据来自电源351的供给电流进行动作。

控制阀46在通电状态下，换句话说，在被供给电流的状态下，开放先导油从先导泵42向遥控阀45的流路，在非通电状态换句话说截断供给电流的状态下，截断先导油的流路。因此，通过截断向控制阀46的供给电流，从而遥控阀45所对应的液压致动器变得无法驱动，无论操作杆的操作如何，液压致动器的输出均强制性地停止。

这里，截止继电器352与控制系统1连接，根据来自控制系统1的控制信号(电信号)来切换接通/断开。截止开关353根据截止杆的操作来切换接通/断开，例如在截止杆被操作至下方的状态下成为接通。因此，截止继电器352和截止开关353双方均接通时，控制阀46成为通电状态，开放先导油从先导泵42向遥控阀45的流路，因此，液压致动器根据操作杆的操作而进行驱动。相对于此，在截止继电器352和截止开关353的至少一者为断开的状态下，控制阀46成为非通电状态，先导油的流路被截断，因此，液压致动器变得无法驱动。

例如，在同插入于回转部32的液压马达所对应的遥控阀与先导泵42之间的控制阀46相连的截止继电器352和截止开关353的至少一者为断开的状态下，回转部32的液压马达变得无法驱动。在该状态下，无论操作杆的操作如何，液压致动器(回转部32的液压马达)的输出均强制性地停止，因此，回转部32的回转动作被禁止。

控制系统1以具有CPU(Central Processing Unit)等一个以上的处理器、ROM(Read Only Memory)以及RAM(Random Access Memory)等一个以上的存储器的计算机系统为主结构，执行各种处理(信息处理)。在本实施方式中，控制系统1是进行作业机械3整体的控制的综合控制器，例如由电子控制单元(ECU：Electronic Control Unit)构成。但是，控制系统1也可以与综合控制器分开地设置。针对控制系统1，详情在“[2]控制系统的结构”一栏中进行说明。

显示装置2配置于机体30的驾驶部321，是用于接受由使用者(操作人员)进行的操作输入并向使用者输出各种信息的使用者界面。显示装置2例如通过输出与使用者的操作对应的电信号，来接受由使用者进行的各种操作。由此，使用者(操作人员)能够目视确认显示装置2所显示的显示画面Dp1(参照图4)，此外，能够根据需要来操作显示装置2。

如图2所示，显示装置2具备控制部21、操作部22、显示部23。显示装置2构成为能够与控制系统1通信，能够与控制系统1之间收发数据。在本实施方式中，作为一个例子，显示装置2是用于作业机械3的专用器件。

控制部21按照来自控制系统1的数据，控制显示装置2。具体而言，控制部21输出与由操作部22接受到的使用者的操作对应的电信号，或者将由控制系统1生成的显示画面Dp1显示于显示部23。

操作部22是用于接受使用者(操作人员)对显示部23所显示的显示画面Dp1进行的操作输入的使用者界面。操作部22例如通过输出与使用者U1(参照图4)的操作对应的电信号，来接受由使用者U1进行的各种操作。在本实施方式中，作为一个例子，如图4所示，操作部22包括机械式的多个(这里为6个)按钮开关221～226。上述多个按钮开关221～226以沿着显示部23的显示区域的周缘的方式接近显示区域(图4的例子中为下方)地配置。上述多个按钮开关221～226与后述的显示画面Dp1所显示的项目相对应，通过操作多个按钮开关221～226中的任一个，来操作(选择)显示画面Dp1中的任一个项目。

此外，操作部22也可以包括触摸面板以及操作拨盘等。在这种情况下，也通过对操作部22的操作来操作(选择)显示画面Dp1中的任一个项目。

显示部23是显示各种信息的液晶显示器或有机EL显示器这样的用于向使用者U1(操作人员)提示信息的使用者界面。显示部23通过显示来对使用者提示各种信息。在本实施方式中，作为一个例子，显示部23是带背光的全彩液晶显示器，如图4所示具有在横向上较长的“横长”的显示区域。

显示装置2通过显示画面Dp1向操作作业机械3的使用者U1(操作人员)提示各种信息。换句话说，操作作业机械3的使用者U1通过观察显示装置2所显示的显示画面Dp1而能够在视觉上得到与作业机械3相关的各种信息。作为一个例子，在显示装置2显示有冷却水温以及工作油温等与作业机械3的运行状态相关的信息，从而使用者U1能够通过显示装置2来确认作业机械3的操作所需的与作业机械3的运行状态相关的信息。此外，针对由左方相机341、右方相机342以及后方相机343拍摄的作业机械3的周边图像(监视区域A1的图像)，显示装置2也能够在显示画面Dp1进行显示。由此，使用者U1(操作人员)在操作作业机械3时例如能够通过显示装置2所显示的显示画面Dp1来确认从驾驶部321来看容易成为死角的作业机械3的侧方以及后方等的状况。

并且，显示装置2也可以具有对使用者U1(操作人员)输出声音(包含语音)的功能。在这种情况下，显示装置2根据来自控制系统1的声音控制信号而输出蜂鸣音或语音等声音。

此外，机体30除了上述的结构之外，还具备操作杆、截止杆、通信终端、燃料箱以及电池等。并且，在机体30装备有冷却水温传感器、工作油温传感器、计测发动机转速的转速计以及计测运行时间的计时器等用于监视机体30的运行状态的传感器类。此外，检测截止杆以及启动钥匙开关等的状态等的传感器也装备于机体30。

[2]控制系统的结构

接下来，参照图2对本实施方式所涉及的控制系统1的结构进行说明。控制系统1通过控制显示装置2，使显示装置2显示显示画面Dp1。在本实施方式中，显示装置2如上述那样搭载于作业机械3的机体30。控制系统1是作业机械3的结构要素，与机体30等一起构成作业机械3。换言之，本实施方式所涉及的作业机械3至少具备：控制系统1；和供显示装置2搭载的机体30(包括行驶部31、回转部32以及作业部33)。

本公开中所说的显示画面Dp1等“画面”是指由显示装置2显示的影像(图像)，包括图像、图形、照片、文字表述以及动态图像等。即，控制系统1例如能够使包含表示冷却水温以及工作油温等与作业机械3的运行状态相关的信息的图像等的显示画面Dp1显示于显示装置2。这里，在显示画面Dp1包含动态图像等的情况下，显示画面Dp1包含时时刻刻变化的影像，而不是恒定的影像。

如图2所示，控制系统1具备显示处理部11、图像取得部12、探测部13、牵制处理部14。在本实施方式中，作为一个例子，控制系统1将具有一个以上的处理器的计算机系统作为主结构，因此，通过一个以上的处理器执行作业机械用控制程序，来实现上述多个功能部(显示处理部11等)。控制系统1所包含的上述多个功能部也可以分散设置于多个壳体，也可以设置于一个壳体。

控制系统1构成为能够与设置于机体30的各部分的器件通信。换句话说，在控制系统1至少与显示装置2、截止继电器352、左方相机341、右方相机342以及后方相机343等连接。由此，控制系统1能够控制显示装置2等，或者控制截止继电器352而控制控制阀46，或者取得左方相机341、右方相机342以及后方相机343等的拍摄图像。这里，控制系统1也可以与各器件直接地进行各种信息(数据)的收发，也可以经由中继器等间接地进行。

显示处理部11至少执行使显示画面Dp1显示于显示装置2的显示处理。具体而言，显示处理部11基于由图像取得部12取得的数据等而生成显示画面Dp1，通过控制显示装置2，使显示画面Dp1显示于显示装置2的显示部23。并且，显示处理部11根据显示装置2的操作部22接受到的操作而进行动作。显示处理部11使例如由左方相机341、右方相机342以及后方相机343拍摄的拍摄图像Im11、Im12、Im13(参照图5)显示于显示画面Dp1。换句话说，显示处理部11、图像取得部12使作业机械3的周围的监视区域A1(各小区域A11、A12、A13)的图像显示于显示装置2。

此外，显示处理部11具有对显示画面Dp1的第二区域R2(参照图5)进行全屏(放大)显示的全屏模式。并且，显示处理部11能够至少在全屏模式下使基于拍摄图像Im11、Im12、Im13而生成的俯瞰图像Im100(参照图7)和与俯瞰图像Im100不同的特定图像Im200(参照图7)的至少一部分显示于显示画面Dp1。

这里，显示处理部11具有第一显示处理部111和第二显示处理部112。虽详情将后述，但第一显示处理部111执行使基于拍摄图像Im11、Im12、Im13生成的俯瞰图像Im100显示于显示装置2所显示的显示画面Dp1的第一显示区域R11(参照图7)的第一显示处理。第二显示处理部112执行使特定图像Im200的至少一部分显示于显示装置2所显示的显示画面Dp1的第二显示区域R12(参照图7)的第二显示处理。

并且，显示处理部11除了拍摄图像Im11、Im12、Im13、俯瞰图像Im100以及特定图像Im200等之外，还使表示由探测部13探测出的监视区域A1中的探测对象物Ob1的存在与否(有无)的探测结果的探测目标等显示于显示画面Dp1。探测目标根据探测部13的探测结果而使其显示方式变化。因此，当在监视区域A1存在探测对象物Ob1的情况下和不存在探测对象物Ob1的情况下，显示画面Dp1中的探测目标的显示方式不同。

本公开中所说的探测目标等“目标”包括在显示画面Dp1中显示的标记、图像、图形、照片、文字表述或者动态图像等、或它们的组合。此外，本公开中所说的“显示方式”包括(目标的)显示色、尺寸(包括大小、线条粗细等)、形状、动作状态(包括动画、旋转/静止等)、显示的有无或者显示模式(包括闪烁模式等)等、或它们的组合。总之，显示处理部11根据探测部13的探测结果使探测目标的显示色等显示方式变化。

图像取得部12执行对作业机械3的周围的监视区域A1的拍摄图像进行取得的图像取得处理。在本实施方式中，图像取得部12从左方相机341、右方相机342以及后方相机343定期或不定期地取得左方相机341、右方相机342以及后方相机343的输出。换句话说，图像取得部12取得作业机械3的周围的监视区域A1(各小区域A11、A12、A13)的图像数据(拍摄图像)。由图像取得部12取得到的数据例如存储于存储器等。

探测部13执行对作业机械3的周围的监视区域A1中的探测对象物Ob1进行探测的探测处理。换句话说，探测部13判断监视区域A1中的探测对象物Ob1的存在与否(有无)，输出表示在监视区域A1是否存在探测对象物Ob1的探测结果。在本实施方式中，作为一个例子，探测对象物Ob1为“人”。换句话说，作业机械3移动或作业机械3的周围的“人”移动了而“人”侵入了作业机械3的周围的监视区域A1的情况下，探测部13将该“人”作为探测对象物Ob1进行探测。当在监视区域A1中存在多个探测对象物Ob1的情况下，探测部13也可以将探测对象物Ob1的数量(人数)也包含在内地进行探测。

在本实施方式中，探测部13基于左方相机341、右方相机342以及后方相机343的输出(图像数据)，来探测监视区域A1中的探测对象物Ob1。具体而言，探测部13对由图像取得部12取得到的图像数据实施图像处理，由此提取图像中的特征量，基于该特征量，来判断在图像中是否映现有探测对象物Ob1(在本实施方式中为“人”)。这里，当在图像中映现有探测对象物Ob1的情况下，探测部13判断在由左方相机341、右方相机342以及后方相机343中的哪一个拍摄到的图像中映现有探测对象物Ob1。换句话说，探测部13区分在由左方相机341拍摄的小区域A11、由右方相机342拍摄的小区域A12以及由后方相机343拍摄的小区域A13中的哪一个中存在探测对象物Ob1，进行探测对象物Ob1的探测。

牵制处理部14执行基于探测部13的探测结果来牵制作业机械3的动作的牵制处理。在本实施方式中，在探测部13的探测结果是示出在监视区域A1中存在探测对象物Ob1(这里为人)的结果的情况下，牵制处理部14执行牵制处理。本公开中所说的“牵制处理”是指对作业机械3的动作在进行某些抑制的方向上起作用的处理。作为一个例子，牵制处理包括如下处理：通过控制显示装置2而利用声音或光(包括显示)对操作作业机械3的使用者U1(操作人员)进行警告，从而间接地牵制作业机械3的动作。并且，牵制处理包括如下处理：通过控制作业机械3的行驶部31、回转部32以及作业部33等而直接地牵制作业机械3的动作。

具体而言，在本实施方式中，作为一个例子，牵制处理部14当在监视区域A1存在探测对象物Ob1的情况下，使截止继电器352成为断开。由此，经由截止继电器352而连接于电源351的控制阀46成为非通电状态，控制阀46所对应的液压致动器的输出强制性地停止。即，在本实施方式中，牵制处理包括对作业机械3的动作进行限制的限制处理。本公开中所说的“限制处理”是指对作业机械3的动作在进行某些限制的方向上起作用的处理。作为一个例子，限制处理包括：禁止行驶部31的行驶动作(无法进行行驶动作)的处理、禁止回转部32的回转动作(无法进行回转动作)的处理以及禁止作业部33的动作(无法进行作业)的处理等。由此，无论使用者U1(操作人员)的操作如何，均能够强制性地限制作业机械3的动作。换句话说，能够避免由于作业机械3动作导致的机体30与探测对象物Ob1的接触。

然而，探测部13不是控制系统1中必要的结构。例如，控制系统1也可以构成为：取得外部的探测部的探测结果，使牵制处理部14基于该探测结果来执行牵制处理。

[3]作业机械的控制方法

以下，参照图5～图9，主要对由控制系统1执行的作业机械3的控制方法(以下，简称为“控制方法”)的一个例子进行说明。

本实施方式所涉及的控制方法由以计算机系统为主结构的控制系统1执行，换言之通过作业机械用控制程序(以下，简称为“控制程序”)具体体现。换句话说，本实施方式所涉及的控制程序是用于使一个以上的处理器执行控制方法所涉及的各处理的计算机程序。这样的控制程序例如也可以由控制系统1以及显示装置2配合执行。

这里，在进行了用于执行控制程序的预先设定的特定的开始操作的情况下，控制系统1执行控制方法所涉及的下述各种处理。开始操作例如是作业机械3的发动机的起动操作等。另一方面，在进行了预先设定的特定的结束操作的情况下，控制系统1结束控制方法所涉及的下述的各种处理。结束操作例如是作业机械3的发动机的停止操作等。

[3.1]显示画面

这里，首先对通过本实施方式所涉及的控制方法显示于显示装置2的显示部23的显示画面Dp1的结构进行说明。在图5等表示显示装置2的显示部23所显示的显示画面Dp1的附图中，表示区域的单点划线、引出线以及附图标记均仅是为了说明而标注的，并不是实际显示于显示装置2。

图5所示的显示画面Dp1是通过控制方法最初显示的主页画面Dp11。换句话说，控制系统1的显示处理部11执行生成例如图5所示那样的显示画面Dp1并显示于显示装置2(的显示部23)的显示处理。主页画面Dp11是在作业机械3运行中首先显示于显示装置2的基本的显示画面Dp1。显示画面Dp1能够按照对操作部22的操作，从主页画面Dp11向包括菜单画面、起重机画面、模式画面以及PTO画面等在内的各种显示画面Dp1迁移。

如图5所示，作为主页画面Dp11的显示画面Dp1包括第一区域R1、第二区域R2、第三区域R3、第四区域R4、第五区域R5、第六区域R6、第七区域R7、第八区域R8、第九区域R9以及第十区域R10。在本实施方式所涉及的控制方法中，作为一个例子，在占据显示画面Dp1的大部分的第二区域R2显示监视区域A1(各小区域A11、A12、A13)的拍摄图像Im11、Im12、Im13等。

具体而言，显示画面Dp1在纵向(上下方向)上分割为4个区域。而且，从上起3个区域分别进一步在横向(左右方向)上分割为3个区域。由此，显示画面Dp1分割为共10个区域。而且，从上起第2层的区域从左起依次成为第一区域R1、第二区域R2、第三区域R3。最下层的区域成为第四区域R4。并且，从上起第3层的区域从左起依次成为第五区域R5、第六区域R6、第七区域R7，最上层的区域从左起依次成为第八区域R8、第九区域R9、第十区域R10。对于纵向的尺寸而言，在纵向上分割出的4个区域之中，从上起第2层的区域(第一区域R1、第二区域R2、第三区域R3)最宽。对于横向的尺寸而言，在横向上分割出的3个区域之中，正中的区域(第二区域R2、第六区域R6、第九区域R9)最宽。

但是，这些各区域的配置以及尺寸只不过是一个例子，能够适当变更。此外，各区域不是必须由分界线明确地分割。例如，在图5的例子中，相对于第二区域R2与第三区域R3由分界线明确地分割，在第一区域R1与第二区域R2之间不存在分界线。当然，第一区域R1与第二区域R2也可以由分界线明确地分割。

第一区域R1是在纵向上较长的矩形状的区域。在第一区域R1中，例如显示与发动机的燃料(例如轻油)的余量相关的余量信息G1。显示处理部11基于余量传感器的输出(传感器信号)等，生成显示画面Dp1中的余量信息G1。

第二区域R2是在横向上较长的矩形状的区域，如上述那样，在第二区域R2显示有拍摄图像Im11、Im12、Im13等。拍摄图像Im11是由左方相机341拍摄的成为驾驶部321的左方的小区域A11的图像，拍摄图像Im12是由右方相机342拍摄的成为驾驶部321的右方的小区域A12的图像。拍摄图像Im13是由后方相机343拍摄的成为驾驶部321的后方的小区域A13的图像。显示处理部11使由图像取得部12取得的拍摄图像Im11、Im12、Im13实时地显示。

并且，在第二区域R2的中央部显示有模拟从上方观察到的机体30的图标Im10。图标Im10示意性地表示从机体30观察到的左方相机341、右方相机342以及后方相机343的拍摄范围(小区域A11、A12、A13)的位置关系。在本实施方式中，拍摄图像Im11、Im12、Im13是第二区域R2的中央部以矩形状开设了缺口的形状。因此，显示于第二区域R2的中央部的图标Im10配置为嵌入拍摄图像Im11、Im12、Im13的缺口部位。

第三区域R3是在纵向上较长的矩形状的区域。在第三区域R3显示有与作业机械3的各部分的运行状态对应的图像(图标)Im1。在第三区域R3中能够显示多个图像Im1，通过各个图像Im1的外观设计(图样)，示出例如表示电池、安全带、冷却水温、工作油温等中的哪一个状态。这里，各图像Im1例如通过显示色或尺寸等显示方式来示出运行状态。显示处理部11使用探测作业机械3的各部分的运行状态的各种传感器(包括冷却水温传感器以及工作油温传感器)的输出，判断作业机械3的各部分的状态。而且，在任一个部位探测到异常值的情况下，显示处理部11通过使该部位的图像Im1的显示色等显示方式变化等，进行警告显示。

第四区域R4是遍及显示画面Dp1的整个宽度地延伸的带状的区域。在第四区域R4中显示有用于对显示画面Dp1的操作的各项目。图5中，作为一个例子，“菜单”、“起重机”、“模式”、“相机”、“PTO”、“切换”这6个项目在第四区域R4中从左起依次排列配置。这6个项目分别相对应有位于其正下方的操作部22的6个按钮开关221～226。例如，在“菜单”的项目相对应有按钮开关221，在“起重机”的项目相对应有按钮开关222。因此，例如，若与“相机”的项目对应的按钮开关224由使用者U1(参照图4)操作，则“相机”的项目被操作(选择)。

并且，在本实施方式中，以也与操作部22的操作拨盘(或光标键)等的操作对应的方式，在第四区域R4中高亮显示任一个项目。图5的例子中，“菜单”的项目高亮显示，通过操作拨盘(或光标键)等的操作，来切换高亮显示的项目。对于使用者U1而言，能够通过在使所希望的项目高亮显示的状态下操作决定按钮来选择所希望的项目。因此，例如，若在使高亮显示移动至“相机”的项目的状态下操作决定按钮，则“相机”的项目被操作(选择)。此外，在操作部22包含触摸面板的情况下，使用者U1能够通过触摸显示画面Dp1上的所希望的项目的操作而选择所希望的项目。

在第五区域R5中显示有示出由各种传感器(包括冷却水温传感器以及工作油温传感器)探测到异常值的警告显示用的图像(图标)。在第六区域R6中例如显示有与作业机械3的运行中的作业部33相关的信息。在第七区域R7中例如显示有发动机的转速等与作业机械3的运行状态相关的信息。在第八区域R8例如显示有当前时刻。在第九区域R9中例如显示有示出当前显示的显示画面Dp1所属的项目的信息。在第十区域R10中例如显示有与作业机械3的运行时间(计时器)相关的信息。

然而，在本实施方式中，显示处理部11在包括上述那样的主页画面Dp11、图7所示那样的放大画面Dp12在内的多个画面之间切换使显示装置2显示的显示画面Dp1。换句话说，显示装置2所显示的显示画面Dp1能够从上述的主页画面Dp11向图7所示那样的放大画面Dp12切换。

图7所示的放大画面Dp12是这样的画面：与主页画面Dp11相比，将第二区域R2放大而对显示画面Dp1的第二区域R2进行了全屏显示。换句话说，显示处理部11通过从显示主页画面Dp11的通常模式切换为全屏模式，使显示装置2的显示部23显示对第二区域R2进行了全屏显示的放大画面Dp12。

图7的例子中，放大画面Dp12仅包括第二区域R2，画面的整体成为第二区域R2。换句话说，在放大画面Dp12中，第一区域R1、以及第三区域R3～第十区域R10成为非显示，将第二区域R2放大显示。

因此，在放大画面Dp12中，与主页画面Dp11相比，将拍摄图像Im11、Im12、Im13放大显示，以可视性优异的显示方式显示拍摄图像Im11、Im12、Im13。另一方面，放大画面Dp12与主页画面Dp11不同，不包含第一区域R1的余量信息G1等与作业机械3的运行状态相关的运行信息。

[3.2]俯瞰图像的详情

接下来，对通过本实施方式所涉及的控制方法显示的俯瞰图像Im100的详情进行说明。

如上述那样，显示处理部11能够至少在显示放大画面Dp12的全屏模式中使俯瞰图像Im100显示于显示画面Dp1(放大画面Dp12)。即，显示处理部11例如能够根据视点切换操作，使显示于显示画面Dp1的第二区域R2的图像在图6所示那样的拍摄图像Im11、Im12、Im13与图7所示那样的俯瞰图像Im100之间切换。作为视点切换操作的一个例子，存在“相机”的项目的操作(选择)或视点切换用开关的操作等。或者，例如显示处理部11也可以根据探测部13的探测结果等自动地切换拍摄图像Im11、Im12、Im13与俯瞰图像Im100。

俯瞰图像Im100是从上方(上空)俯视机体30的图像，在本实施方式中，是与行驶部31的朝向无关地至少包括从搭乘于作业机械3(的驾驶部321)的使用者(操作人员)观察到的左方、右方以及后方的区域的图像。这样的俯瞰图像Im100是通过将左方相机341、右方相机342以及后方相机343的拍摄图像Im11、Im12、Im13坐标变换并合成而生成的拍摄图像的一种。在本实施方式中，作为一个例子，俯瞰图像Im100通过显示处理部11的第一显示处理部111基于拍摄图像Im11、Im12、Im13而生成，但不局限于该例子，也可以通过显示处理部11以外的功能模块生成。俯瞰图像Im100也可以是拍摄图像与动画合成了的图像。

图7的例子中，显示处理部11在显示画面Dp1(放大画面Dp12)的第二区域R2中设定第一显示区域R11和第二显示区域R12，使俯瞰图像Im100显示于第一显示区域R11，使特定图像Im200显示于第二显示区域R12。第一显示区域R11是显示装置2所显示的显示画面Dp1中的从俯视时相当于作业机械3的本机基准位置P1观察到的周向的一部分作为缺口区域R13而被切除了的形状的区域。第二显示区域R12是显示装置2所显示的显示画面Dp1中的配置于缺口区域R13内的区域。

具体而言，在第二区域R2的中央部显示有模拟从上方观察到的机体30的图标Im10时，作为该图标Im10的中心的第二区域R2的中心成为俯视时相当于作业机械3的本机基准位置P1。而且，显示有俯瞰图像Im100的第一显示区域R11具有以该本机基准位置P1(第二区域R2的中心)为中心的周向(圆周方向)的一部分作为缺口区域R13而被切除了的形状。图7中，通过黑色圆表示本机基准位置P1，但这与附图标记等同样，只不过为了说明而标注，不是实际显示于显示装置2。

更详细而言，第一显示区域R11是使距本机基准位置P1较远的一侧的周缘成为圆弧状的扇状的区域，且在相当于该扇状的顶角的位置配置有图标Im10。本公开中所说的“圆弧状”不局限于构成正圆的一部分的圆弧，包括所有向外凸出的弯曲线。因此，即便是如图7那样周缘(外形线)整体上由向外凸出的弯曲线构成的第一显示区域R11，也可以称为周缘成是圆弧状的扇状的区域。换言之，第一显示区域R11的周缘包括圆弧R110、与该圆弧R110的两端相连的沿着径向的一对边缘R111、R112，由上述圆弧R110以及一对边缘R111、R112围起的区域成为扇形。

而且，以本机基准位置P1为中心的圆形状(圆环状)的区域中的除通过一对边缘R111、R112而切取的第一显示区域R11以外的区域成为缺口区域R13。图7的例子中，第一显示区域R11中的一对边缘R111、R112之间的角度(扇状的中心角)大致成为260度。因此，缺口区域R13的中心角大致成为100度。

图8示出实际显示于显示装置2的显示画面Dp1(放大画面Dp12)的一个例子。如图8所示，第一显示区域R11所显示的俯瞰图像Im100是以成为从上方(上空)俯视机体30的图像的方式对拍摄图像Im11、Im12、Im13进行坐标变换并无缝地合成而得到的图像。图8中，作为图标Im10，不是显示模拟了机体30的目标，而是显示通过圆形标记表示了相当于机体30的位置的目标。

即，本实施方式所涉及的控制方法具有：取得作业机械3的周围的监视区域的拍摄图像Im11、Im12、Im13的步骤；和使基于拍摄图像Im11、Im12、Im13的俯瞰图像Im100显示于第一显示区域R11的步骤。第一显示区域R11是显示装置2所显示的显示画面Dp1中的从俯视时相当于作业机械3的本机基准位置P1观察到的周向的一部分作为缺口区域R13而被切除了的形状的区域。控制方法还具有：使显示画面Dp1中的配置于缺口区域R13内的第二显示区域R12显示特定图像Im200的至少一部分的步骤。

总之，包括俯瞰图像Im100以及特定图像Im200的显示画面Dp1显示于显示装置2。并且，俯瞰图像Im100显示于从本机基准位置P1观察的周向的一部分作为缺口区域R13而切除的形状的第一显示区域R11，在配置于该缺口区域R13内的第二显示区域R12显示有特定图像Im200的至少一部分。因此，显示装置2能够显示一部分被切除了的形状的俯瞰图像Im100，并且利用缺口区域R13显示其他图像(特定图像Im200)，因此，除了俯瞰图像Im100之外，还能够一体地显示其他特定图像Im200。作为结果，对于操作人员而言，没有不协调感地目视确认一体地显示的俯瞰图像Im100以及特定图像Im200，操作人员容易直观地掌握与作业机械3的操作相关的各种信息。

在本实施方式中，如图7以及图8所示，第二显示区域R12在显示画面Dp1中配置于第一显示区域R11的上方。这里所说的“上方”是指从目视确认显示画面Dp1的使用者(操作人员)观察的上方，是显示画面Dp1内的纵向(上下方向)的一方，与实际空间中的方向无关。换句话说，第一显示区域R11是从本机基准位置P1观察时显示画面Dp1的上方侧作为缺口区域R13而切除了的形状，且在该缺口区域R13内配置有第二显示区域R12。根据这样的配置，能够维持第一显示区域R11所显示的俯瞰图像Im100的可视性，并且使特定图像Im200显示于操作人员容易目视确认的位置。

这里，缺口区域R13配置于俯瞰图像Im100中相当于作业机械3的前方的位置。即，在本实施方式中，在显示画面Dp1的上方相当于俯瞰图像Im100中的作业机械3的前方时，在该作业机械3的前方配置有第二显示区域R12。对于操作人员而言，最容易目视确认作业机械3的周围中的前方，因此，使俯瞰图像Im100中的相当于作业机械3的前方的区域成为缺口区域R13，从而能够在不使作业机械3的周围的可视性大幅降低的情况下显示俯瞰图像Im100。

此外，在本实施方式中，如图7以及图8所示，在显示画面Dp1中，在第一显示区域R11与第二显示区域R12之间配置有间隙。换句话说，第二显示区域R12设定为与第一显示区域R11中的一对边缘R111、R112分离开。由此，在第一显示区域R11所显示的俯瞰图像Im100与第二显示区域R12所显示的特定图像Im200之间形成有间隙，对于操作人员而言，容易区分俯瞰图像Im100与特定图像Im200。作为结果，有助于针对俯瞰图像Im100以及特定图像Im200各自的可视性提高。

此外，在本实施方式中，在显示画面Dp1中，第二显示区域R12的周缘的至少一部分沿着第一显示区域R11的周缘的一部分而配置。图7的例子中，第二显示区域R12的周缘成为六边形，该六边形中的两个边沿着第一显示区域R11的周缘中的一对边缘R111、R112配置。这里，特别是，第二显示区域R12的周缘(六边形)中的两个边与一对边缘R111、R112平行。由此，能够使第二显示区域R12所显示的特定图像Im200比较大地显示，有助于特定图像Im200的可视性提高。

此外，在本实施方式中，特定图像Im200是与构成俯瞰图像Im100的一部分的拍摄图像Im11、Im12、Im13相关的图像。换句话说，俯瞰图像Im100在如上述那样将拍摄图像Im11、Im12、Im13合成而生成时，第二显示处理部112使与拍摄图像Im11、Im12、Im13相关的图像作为特定图像Im200而显示于第二显示区域R12。与拍摄图像Im11、Im12、Im13相关的图像例如也可以是拍摄图像Im11、Im12、Im13中的至少一部分，也可以是对拍摄图像Im11、Im12、Im13实施了坐标变换或滤波等某些图像处理的图像。由此，对于操作人员而言，能够与俯瞰图像Im100一起目视确认与拍摄图像Im11、Im12、Im13相关的图像，容易确认机体30的周围的状况。

这里，特定图像Im200是与作业机械3的后方侧的拍摄图像Im13相关的图像。换句话说，由后方相机343拍摄的成为驾驶部321的后方的小区域A13的图像亦即拍摄图像Im13所相关的图像作为特定图像Im200而显示于第二显示区域R12。由此，能够通过特定图像Im200覆盖从操作人员来看容易成为死角的机体30的后方。

在本实施方式中，特别是，特定图像Im200是从拍摄图像Im13的变换方式与俯瞰图像Im100不同的图像。即，俯瞰图像Im100是从上方(上空)俯视机体30的图像，因此，针对由后方相机343拍摄的拍摄图像Im13，以成为俯视的方式进行坐标变换等变换。相对于此，作为特定图像Im200而显示于第二显示区域R12的拍摄图像Im13与图6的例子同样，以成为从搭乘于作业机械3(的驾驶部321)的使用者(操作人员)观察到的图像的方式进行坐标变换等变换。因此，针对作为特定图像Im200而显示的小区域A13，在俯瞰图像Im100和特定图像Im200之间以不同的变换方式显示，能够使操作人员更仔细地确认。

此外，显示画面Dp1包括表示从作业机械3观察到的俯瞰图像Im100的拍摄范围的位置关系的目标(图标Im10)。即，如上述那样，在第二区域R2的中央部显示有示意性地示出从机体30观察到的左方相机341、右方相机342以及后方相机343的拍摄范围(小区域A11、A12、A13)的位置关系的图标Im10。这里，图标Im10配置于俯瞰图像Im100的本机基准位置P1，因此，俯瞰图像Im100以与从上方观察机体30时的位置关系对应的方式显示于图标Im10的周围。换句话说，成为机体30的左方的小区域A11的拍摄图像Im11相对于图标Im10而位于左方，成为机体30的右方的小区域A12的拍摄图像Im12相对于图标Im10而位于右方，成为机体30的后方的小区域A13的拍摄图像Im13相对于图标Im10而位于下方，以这样的方式显示俯瞰图像Im100。

这样，本实施方式所涉及的控制方法使显示画面Dp1中的俯瞰图像Im100相对于图标Im10的位置关系反映实际空间中的监视区域A1相对于作业机械3的位置关系。因此，操作人员观察显示画面Dp1而容易直观地掌握是拍摄了监视区域A1的哪里的俯瞰图像Im100。

此外，俯瞰图像Im100的显示不局限于显示放大画面Dp12的全屏模式，也可以通过显示除了包括第二区域R2之外还包括第一区域R1以及第三区域R3～第十区域R10的主页画面Dp11的通常模式来进行。

[3.3]整体处理

接下来，参照图9对控制方法所涉及的处理的整体的流程进行说明。图9是表示控制方法中的特别是俯瞰图像Im100的显示所涉及的处理的一个例子的流程图。

如图9所示，控制系统1的图像取得部12从左方相机341、右方相机342以及后方相机343取得拍摄图像Im11、Im12、Im13(S1)。然后，控制系统1的显示处理部11基于拍摄图像Im11、Im12、Im13而生成俯瞰图像Im100(S2)。

显示处理部11的第一显示处理部111使俯瞰图像Im100显示于显示画面Dp1中的从俯视时相当于作业机械3的本机基准位置P1观察到的周向的一部分作为缺口区域R13而被切除了的形状的第一显示区域R11(S3)。之后，显示处理部11的第二显示处理部112使特定图像Im200的至少一部分显示于显示画面Dp1中的配置于缺口区域R13内的第二显示区域R12(S4)。

作为其结果，如图7以及图8所示，在显示画面Dp1中，在第一显示区域R11以及第二显示区域R12分别显示有俯瞰图像Im100以及特定图像Im200。控制系统1反复执行上述步骤S1～S4的处理。其中，图9所示的流程图只不过是一个例子，也可以适当追加或省略处理，也可以适当更换处理的顺序。

[4]变形例

以下，列举实施方式1的变形例。以下说明的变形例能够适当组合应用。

本公开中的控制系统1包括计算机系统。计算机系统将作为硬件的一个以上的处理器以及一个以上的存储器作为主结构。通过处理器执行计算机系统的存储器中记录的程序，来实现作为本公开中的控制系统1的功能。程序也可以预先记录于计算机系统的存储器，也可以通过电气通信线路提供，也可以记录于可用计算机系统读取的存储卡、光盘、硬盘驱动器等非暂时记录介质来提供。此外，控制系统1所包含的一部分或全部的功能部也可以由电子电路构成。

此外，控制系统1的至少一部分的功能集成于一个壳体内不是控制系统1所必须的结构，控制系统1的结构要素也可以分散设置于多个壳体。相反地，在实施方式1中，分散于多个装置(例如控制系统1以及显示装置2)的功能也可以集成于一个壳体内。并且，控制系统1的至少一部分的功能也可以通过云(云计算)等来实现。

此外，作业机械3的动力源不局限于柴油发动机，例如也可以是除柴油发动机以外的发动机，也可以是马达(电动机)或包括发动机和马达(电动机)的混合动力式的动力源。

此外，显示装置2不局限于专用器件，例如，也可以是膝上型计算机、平板终端或智能手机等通用终端。并且，显示部23不局限于如液晶显示器或有机EL显示器那样直接显示显示画面的方式，例如也可以是如投影仪那样通过投影显示显示画面的结构。

此外，作为操作部22的信息的输入的方式，也可以采用除按钮开关、触摸面板以及操作拨盘以外的方式。例如，操作部22也可以采用键盘、鼠标等定点设备、语音输入、手势输入或来自其他终端的操作信号的输入等方式。

此外，牵制处理部14所执行的限制处理只要是限制作业机械3的动作的处理即可，不局限于禁止作业机械3的动作(回转动作等)(使其无法动作)的处理。限制处理例如也可以是将作业机械3的动作(回转动作等)的速度减速的处理、缩小作业机械3的动作范围(回转角度等)的处理、或限制作业机械3的动作的允许区域的处理等。

此外，牵制处理部14的牵制处理所涉及的功能不是必须的，牵制处理部14能够适当省略。并且，探测部13的探测处理所涉及的功能本来就不是必须的，探测部13能够适当省略。

此外，显示处理部11也可以除了在显示画面Dp1的第二区域R2显示监视区域A1的拍摄图像Im11、Im12、Im13这三个画面的三画面显示之外，还进行单画面显示或者双画面显示，或者取代上述三画面显示而进行单画面显示或者双画面显示。显示处理部11在单画面显示中，使拍摄图像Im11、Im12、Im13中的任一个单画面显示于第二区域R2，在双画面显示中，使拍摄图像Im11、Im12、Im13中的任两个画面显示于第二区域R2。作为双画面显示的一个例子，显示处理部11使由右方相机342拍摄的拍摄图像Im12以及由后方相机343拍摄的拍摄图像Im13这两个画面显示于第二区域R2。拍摄图像Im12以及拍摄图像Im13例如在第二区域R2沿左右方向排列配置。

此外，也可以是，作业机械3的周围的监视区域A1中的用于探测探测对象物Ob1的传感器不局限于包含左方相机341、右方相机342以及后方相机343，还包含一个、两个或4个以上的相机(图像传感器)。并且，例如也可以通过如全景相机(360度相机)那样从作业机械3观察时能够拍摄所有方位的相机来探测监视区域A1中的探测对象物Ob1。此外，对于用于探测监视区域A1中的探测对象物Ob1的传感器，也可以除了相机之外或取代相机，包括例如人体传感器、声呐传感器、雷达或LiDAR(Light Detection and Ranging)等传感器。这里，探测监视区域A1中的探测对象物Ob1的传感器也可以是三维传感器，上述三维传感器通过基于光或声音到达测距点并返回为止的往复时间来测定至测距点为止的距离的TOF(TimeOf Flight)方式，测定至探测对象物Ob1为止的距离。

此外，探测对象物Ob1也可以除了“人”之外或取代人，包括车辆等移动体(包括其他作业机械)、壁以及柱等构造物、植物、动物、台阶、沟、或者其他障碍物。

此外，第二显示区域R12在显示画面Dp1中配置于第一显示区域R11的上方不是必须的，例如也可以是，第二显示区域R12在显示画面Dp1中配置于第一显示区域R11的下方。在显示画面Dp1中，在第一显示区域R11与第二显示区域R12之间配置有间隙不是必须的，第一显示区域R11与第二显示区域R12也可以无间隙地配置。

特定图像Im200为与构成俯瞰图像Im100的一部分的拍摄图像Im11、Im12、Im13相关的图像不是必须的。例如，特定图像Im200也可以是冷却水温以及工作油温等与作业机械3的运行状态相关的信息。并且，特定图像Im200也可以不是与作业机械3的后方侧的拍摄图像Im13相关的图像，例如也可以是与作业机械3的左方的拍摄图像Im11相关的图像。特定图像Im200为从拍摄图像Im11、Im12、Im13的变换方式与俯瞰图像Im100不同的图像也不是必须的，也可以是与俯瞰图像Im100相同的变换方式。

此外，缺口区域R13配置于俯瞰图像Im100中相当于作业机械3的前方的位置不是必须的，例如，也可以在俯瞰图像Im100中相当于作业机械3的后方的位置配置缺口区域R13。显示画面Dp1包含表示从作业机械3观察到的俯瞰图像Im100的拍摄范围的位置关系的目标(图标Im10)也不是必须的，图标Im10也可以适当省略。

(实施方式2)

如图10以及图11所示，本实施方式所涉及的作业机械3的显示画面Dp1的第二区域R2的显示内容与实施方式1所涉及的作业机械3不同。以下，针对与实施方式1相同的结构，标注共用的附图标记而适当地省略说明。

在本实施方式中，不是第二显示区域R12的周缘的至少一部分沿着第一显示区域R11的周缘的一部分而配置的结构。换句话说，在本实施方式中，不是第二显示区域R12的周缘的至少一部分沿着第一显示区域R11的周缘的一部分而配置的结构。例如，图10的例子中，第二显示区域R12的周缘成为长方形(矩形)，该长方形中的邻接的一对角部分别与第一显示区域R11的周缘中的一对边缘R111、R112对置。此外，图11的例子中，第二显示区域R12的周缘成为六边形，但该六边形中的两个边相对于第一显示区域R11的周缘中的一对边缘R111、R112而倾斜。这样，第二显示区域R12的周缘的至少一部分沿着第一显示区域R11的周缘的一部分配置不是必须的。

此外，在本实施方式中，第一显示区域R11在显示画面Dp1中从相当于作业机械3的后方的后方基准位置P2至以本机基准位置P1为中心的周向的缺口区域R13为止的距离在绕顺时针方向时和绕逆时针方向时不同。即，如图10以及图11所示，在俯瞰图像Im100中相当于作业机械3的后方的位置(本机基准位置P1的正下方)设定了后方基准位置P2的情况下，从后方基准位置P2至边缘R111为止的绕顺时针方向的距离L1与从后方基准位置P2至边缘R112为止的绕逆时针方向的距离L2不同。图10的例子中，从后方基准位置P2至边缘R111为止的绕顺时针方向的距离L1小于从后方基准位置P2至边缘R112为止的绕逆时针方向的距离L2(L1＜L2)。图11的例子中，从后方基准位置P2至边缘R111为止的绕顺时针方向的距离L1大于从后方基准位置P2至边缘R112为止的绕逆时针方向的距离L2(L1＞L2)。

这样，显示有俯瞰图像Im100的第一显示区域R11在显示画面Dp1中构成为左右非对称。例如，在作业机械3中，有时驾驶部321会偏向机体30的左右方向D3的一侧，在这样的情况下，在俯瞰图像Im100中本来也会生成左右非对称的图像。根据本实施方式的结构，能够基于实际的位置关系来显示这样的左右非对称的俯瞰图像Im100。

实施方式2所涉及的结构能够与实施方式1中说明的各种结构(包括变形例)适当地组合而采用。

〔发明的附注〕

以下，对从上述的实施方式提取的发明的概要进行附注。另外，以下附注中说明的各结构以及各处理功能能够取舍选择来任意地组合。

＜附注1＞

一种作业机械的控制方法，具有如下步骤：

取得作业机械的周围的监视区域的拍摄图像；

使基于上述拍摄图像的俯瞰图像显示于第一显示区域，上述第一显示区域是显示装置所显示的显示画面中的从俯视时相当于上述作业机械的本机基准位置观察到的周向的一部分作为缺口区域而被切除了的形状的区域；以及

使特定图像的至少一部分显示于第二显示区域，上述第二显示区域是上述显示画面中的配置于上述缺口区域内的区域。

＜附注2＞

根据附注1所述的作业机械的控制方法，其中，

上述第二显示区域在上述显示画面中配置于上述第一显示区域的上方。

＜附注3＞

根据附注1或2所述的作业机械的控制方法，其中，

在上述显示画面中，在上述第一显示区域与上述第二显示区域之间配置有间隙。

＜附注4＞

根据附注1～3中任一项所述的作业机械的控制方法，其中，

在上述显示画面中，上述第二显示区域的周缘的至少一部分沿着上述第一显示区域的周缘的一部分配置。

＜附注5＞

根据附注1～4中任一项所述的作业机械的控制方法，其中，

上述特定图像是与构成上述俯瞰图像的一部分的上述拍摄图像相关的图像。

＜附注6＞

根据附注5所述的作业机械的控制方法，其中，

上述特定图像是与上述作业机械的后方侧的上述拍摄图像相关的图像。

＜附注7＞

根据附注5或6所述的作业机械的控制方法，其中，

上述特定图像是从上述拍摄图像的变换方式与上述俯瞰图像不同的图像。

＜附注8＞

根据附注1～7中任一项所述的作业机械的控制方法，其中，

上述缺口区域配置于上述俯瞰图像中相当于上述作业机械的前方的位置。

＜附注9＞

根据附注1～8中任一项所述的作业机械的控制方法，其中，

上述显示画面包含：表示从上述作业机械观察到的上述俯瞰图像的拍摄范围的位置关系的目标。

＜附注10＞

根据附注1～9中任一项所述的作业机械的控制方法，其中，

对于上述第一显示区域而言，在上述显示画面中，从相当于上述作业机械的后方的后方基准位置至以上述本机基准位置为中心的周向的上述缺口区域为止的距离在绕顺时针方向时和绕逆时针方向时不同。

＜附注11＞

一种作业机械用控制程序，用于使一个以上的处理器执行附注1～10中任一项所述的作业机械的控制方法。

Claims (13)

1.一种作业机械的控制方法，其特征在于，具有如下步骤：

取得作业机械的周围的监视区域的拍摄图像；

使基于所述拍摄图像的俯瞰图像显示于第一显示区域，所述第一显示区域是显示装置所显示的显示画面中的从俯视时相当于所述作业机械的本机基准位置观察到的周向的一部分作为缺口区域而被切除了的形状的区域；以及

使特定图像的至少一部分显示于第二显示区域，所述第二显示区域是所述显示画面中的配置于所述缺口区域内的区域。

2.根据权利要求1所述的作业机械的控制方法，其特征在于，

所述第二显示区域在所述显示画面中配置于所述第一显示区域的上方。

3.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

在所述显示画面中，在所述第一显示区域与所述第二显示区域之间配置有间隙。

4.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

在所述显示画面中，所述第二显示区域的周缘的至少一部分沿着所述第一显示区域的周缘的一部分配置。

5.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述特定图像是与构成所述俯瞰图像的一部分的所述拍摄图像相关的图像。

6.根据权利要求5所述的作业机械的控制方法，其特征在于，

所述特定图像是与所述作业机械的后方侧的所述拍摄图像相关的图像。

7.根据权利要求5所述的作业机械的控制方法，其特征在于，

所述特定图像是从所述拍摄图像的变换方式与所述俯瞰图像不同的图像。

8.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述缺口区域配置于所述俯瞰图像中相当于所述作业机械的前方的位置。

9.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

所述显示画面包含：表示从所述作业机械观察到的所述俯瞰图像的拍摄范围的位置关系的目标。

10.根据权利要求1或2所述的作业机械的控制方法，其特征在于，

对于所述第一显示区域而言，在所述显示画面中，从相当于所述作业机械的后方的后方基准位置至以所述本机基准位置为中心的周向的所述缺口区域为止的距离在绕顺时针方向时和绕逆时针方向时不同。

11.一种作业机械用控制程序，其特征在于，

用于使一个以上的处理器执行权利要求1或2所述的作业机械的控制方法。

12.一种作业机械用控制系统，其特征在于，具备：

图像取得部，其取得作业机械的周围的监视区域的拍摄图像；

第一显示处理部，其使基于所述拍摄图像的俯瞰图像显示于第一显示区域，所述第一显示区域是显示装置所显示的显示画面中的从俯视时相当于所述作业机械的本机基准位置观察到的周向的一部分作为缺口区域而被切除了的形状的区域；以及

第二显示处理部，其使特定图像的至少一部分显示于第二显示区域，所述第二显示区域是所述显示画面中的配置于所述缺口区域内的区域。

13.一种作业机械，其特征在于，具备：

权利要求12所述的作业机械用控制系统；和

机体，其供所述显示装置搭载。