CN107075840B

CN107075840B - 作业机械的周边监视装置以及作业机械的周边监视方法

Info

Publication number: CN107075840B
Application number: CN201680002543.4A
Authority: CN
Inventors: 町田正臣; 栗原毅
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2015-04-28
Filing date: 2016-03-16
Publication date: 2020-03-17
Anticipated expiration: 2036-03-16
Also published as: AU2016255874A1; CN107075840A; US10717200B2; WO2015125979A1; CA2959480C; JPWO2015125979A1; CA2959480A1; JP6427597B2; JPWO2016174953A1; US20170305018A1; WO2016174953A1; AU2016255874B2

Abstract

本发明具备：周边监视器(15)；获取作业机械的周围状况的多个相机；基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像(61)的图像处理部；用于检测所述作业机械的动作的作业机械动作检测部；以及使周边监视器(15)显示所述多个相机中的一个或多个相机的图像即单相机图像(62)、及/或俯瞰图像(61)、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示的显示控制部，在检测到所述作业机械的动作的情况下，所述显示控制部进行如下控制：使俯瞰图像(61)上的作业机械的周围与检测作业机械的动作之前的俯瞰图像(61)上的作业机械的周围相比放大。由此，能够减少给操作员带来的显示画面操作的麻烦。

Description

作业机械的周边监视装置以及作业机械的周边监视方法

技术领域

本发明涉及在进行使作业机械动作的操作的情况下，能够减少给操作员带来的显示画面操作的麻烦的作业机械的周边监视装置以及作业机械的周边监视方法。

背景技术

在液压挖掘机等作业机械的领域中，除了后视镜之外，有时在车身后方、车身侧方设置有多台相机，以便操作员(驾驶者)能够视认存在于车身的周边的障碍物。而且，将相机拍摄到的图像作为单相机图像而映出在作业机械的驾驶室内的监视器上。

另外，有时通过将各相机的图像转变为上方视点后再合成各相机的图像，从而生成俯瞰图像并显示于监视器，以使得能够同时监视车身的周围360度。而且，除了俯瞰图像之外，有时将操作员选择的相机所拍摄到的单相机图像显示于监视器(参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2012-74929号公报

发明内容

发明要解决的课题

然而，由于液压挖掘机的工作装置在整周上回转，因此，在液压挖掘机的周围存在障碍物的情况下，在使上部回转体回转时，工作装置有可能碰撞到障碍物。为了防止这样的碰撞，将以俯瞰显示液压挖掘机的周围360度的图像提供给操作员尤为重要。但是，俯瞰图像是通过合成将单相机图像转换为上方视点后的图像组而得到的，不适合对映在该图像内的对象物进一步详细地进行确认。因此，如上所述，也有时在同一监视器上与俯瞰图像一同显示单相机图像。在这样的监视器中，在同时显示俯瞰图像和单相机图像的情况下，由于监视器画面的大小存在制约，因此，与仅显示俯瞰图像的情况相比，俯瞰图像的画面尺寸变小。由于俯瞰图像通过合成多个相机图像而成为一个图像，因此，当俯瞰图像较小时，存在难以判别映在该图像中的对象物这一问题。

另外，在液压挖掘机的周围存在障碍物的情况下，在进行了行驶、回转等动作时，与障碍物发生碰撞的可能性变高。因此，在操作了行驶杆、回转杆时，优选将能够显示液压挖掘机的周围状况的俯瞰图像显示得更大。

本发明是鉴于上述情况而完成的，其目的在于，提供一种在进行了使作业机械动作的操作的情况下能够增大俯瞰图像的显示区域、从而使操作员容易视认作业机械的周围状况的作业机械的周边监视装置以及作业机械的周边监视方法。

用于解决上述课题的方案

为了解决上述课题，实现目的，本发明的作业机械的周边监视装置的特征在于，具备：显示部；多个相机，其获取作业机械的周围状况；图像处理部，其基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像；作业机械动作检测部，其用于检测所述作业机械的动作；以及显示控制部，其使显示部显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或所述俯瞰图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示，在检测到所述作业机械的动作的情况下，所述显示控制部进行如下控制：使所述俯瞰图像上的作业机械的周围与检测作业机械的动作之前的俯瞰图像上的作业机械的周围相比放大。

另外，在上述发明的基础上，本发明的作业机械的周边监视装置的特征在于，所述作业机械动作检测部对操作杆及/或行驶杆的操作进行检测。

另外，在上述发明的基础上，本发明的作业机械的周边监视装置的特征在于，包括多个雷达，该多个雷达检测所述作业机械的周围的障碍物，所述显示控制部基于所述多个雷达获取到的信息来检测障碍物，在存在该障碍物的情况下，使所述显示部显示障碍物信息。

另外，在上述发明的基础上，本发明的作业机械的周边监视装置的特征在于，具备异常判断部，该异常判断部用于判断所述作业机械是否发生了异常，在所述异常判断部判断为作业机械发生了某种异常的情况下，即便检测到所述作业机械的动作，所述显示控制部也不放大所述显示部中的所述俯瞰图像。

另外，本发明的作业机械的周边监视装置的特征在于，具备：显示部；多个相机，其获取作业机械的周围状况；图像处理部，其基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像；显示控制部，其使所述显示部除了显示所述俯瞰图像之外，还显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示；以及指示部，其对所述俯瞰图像上的作业机械的周围的放大进行指示，所述显示控制部根据所述指示部的操作，进行所述俯瞰图像上的作业机械的周围的放大处理。

另外，在上述发明的基础上，本发明的作业机械的周边监视装置的特征在于，所述显示部设置于远程操作席、管制室或者便携终端。

另外，本发明的作业机械的周边监视装置的特征在于，具备：显示部；多个相机，其获取作业机械的周围状况；图像处理部，其基于所述多个相机拍摄到的图像，生成俯瞰图像；作业机械动作检测部，其用于检测所述作业机械的动作；以及显示控制部，其使显示部显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或所述俯瞰图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示，在检测到所述作业机械的回转动作的情况下，所述显示控制部进行如下控制：使所述显示部中的所述俯瞰图像的显示区域与检测作业机械的回转动作之前的俯瞰图像的显示区域相比放大。

另外，本发明的作业机械的周边监视方法的特征在于，通过设置于作业机械的周围的多个相机来获取周围的状况；基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像；检测所述作业机械的动作；使显示部显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或所述俯瞰图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示，在检测到所述作业机械的动作的情况下，进行如下控制：使所述俯瞰图像上的作业机械的周围与检测作业机械的动作之前的俯瞰图像上的作业机械的周围相比放大。

根据本发明，在检测到作业机械的动作的情况下进行使俯瞰图像上的作业机械的周围与检测作业机械的动作之前的俯瞰图像上的作业机械的周围相比放大的控制，因此，能够减少给操作员带来的显示画面操作的麻烦。

附图说明

图1是表示搭载有作为本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。

图2是表示驾驶室的内部配置的图。

图3是表示液压挖掘机的控制系统的整体构成的框图。

图4是说明由俯瞰图像生成部进行的俯瞰图像的生成处理的说明图。

图5是表示相机的配置的侧视图。

图6是示意性地表示相机的配置的俯视图。

图7是表示雷达的配置的侧视图。

图8是示意性地表示雷达的配置的俯视图。

图9是说明周边监视器的手动图像切换处理的说明图。

图10是表示由控制器进行的周边监视器的自动图像切换处理顺序的流程图。

图11是表示将周边监视器设于远程操作席的一例的图。

图12是表示将周边监视器设于便携终端的一例的图。

具体实施方式

以下，参照附图对用于实施本发明的方式进行说明。

[液压挖掘机的整体构成]

首先，图1是表示搭载有作为本发明的实施方式的作业机械的周边监视装置的液压挖掘机的整体结构的侧视图。该液压挖掘机1是作为作业机械的一例而示出的、在矿山等中使用的矿业挖掘机等的大型液压挖掘机。液压挖掘机1具有：能够自主行驶的下部行驶体2；以回转自如的方式设置在下部行驶体2上的上部回转体3；以及在上部回转体3的前部中央处弯曲起伏自如地动作的工作装置4。

工作装置4具有动臂4a、斗杆4b、铲斗4c、动臂缸4d、斗杆缸4e以及铲斗缸4f。动臂4a的基端部以能够旋转的方式与上部回转体3连结。动臂4a的前端部以能够旋转的方式与斗杆4b的基端部连结。斗杆4b的前端部以能够旋转的方式与铲斗4c连结。动臂缸4d、斗杆缸4e以及铲斗缸4f是由从未图示的液压泵排出的工作油驱动的液压缸。动臂缸4d使动臂4a动作。斗杆缸4e使斗杆4b动作。铲斗缸4f经由连杆构件而与铲斗4c连结，且使铲斗4c动作。通过铲斗缸4f的活塞杆进行伸缩动作而使铲斗4c动作。需要说明的是，在图1中，作为铲斗4c的开口朝向回转中心的反铲挖掘机发挥功能，但也可以作为使铲斗4c的开口从回转中心朝向外侧的正铲挖掘机发挥功能。

在上部回转体3的前部左侧部分经由驾驶室基体5而设置有驾驶室6。在上部回转体3的后部搭载有动力集装箱7。在动力集装箱7内收容有发动机、液压泵、散热器以及油冷却器等。在上部回转体3的后端部装配有配重8。在上部回转体3的左侧部，以位于驾驶室基体5的后方的方式配置有升降梯9。升降梯9支援驾驶者、维修作业者相对于上部回转体3的升降。

[驾驶席]

图2是表示驾驶室6的内部配置的图。如图2所示，操作杆11、12配置在驾驶室6内的操作员座椅10的左右。操作杆11配置在操作员落座于操作员座椅10时的左手侧。操作杆12配置在操作员落座于操作员座椅10时的右手侧。操作杆11对应于上部回转体3的回转动作和斗杆4b的动作，在将操作杆11沿左右操作时，上部回转体3沿左右回转，在将操作杆11沿上下操作时，斗杆4b沿前后方向转动。操作杆12对应于动臂4a的动作和铲斗4c的动作，在将操作杆12沿左右操作时，铲斗4c沿挖掘、排土方向转动，在将操作杆12沿上下操作时，动臂4a沿上下方向转动。需要说明的是，关于在对操作杆11、12进行操作时哪个工作装置进行动作的组合，不局限于本实施方式。

行驶杆13能够根据操作来进行下部行驶体2的左侧的履带的前进后退。另外，行驶杆14能够根据操作来进行下部行驶体2的右履带的前进后退。例如，当仅对行驶杆13进行操作而使左履带前进时，仅左履带前进，而右履带保持停止状态，因此，成为向右转行驶的回转操作。另外，当仅对行驶杆14进行操作而使右履带前进时，仅右履带前进，而左履带保持停止状态，因此，成为向左转行驶的回转操作。而且，若同时操作行驶杆13、14，则左右的履带同时驱动，从而使液压挖掘机整体前进后退。

另外，在驾驶室6的左前的框架上配置有周边监视器15、监视器16以及蜂鸣器17。周边监视器15是由触摸面板形成的输入输出装置，至少能够将由多个相机获取到的液压挖掘机1的周围状况显示为俯瞰图像以及单相机图像。监视器16是具有液晶显示部和按键输入部的输入输出装置。监视器16能够显示包括发动机、液压泵等的状态在内的各种信息。例如，监视器16能够显示发动机水温、油温、燃料的余量等机械仪表显示、表示液压挖掘机的各种设备发生了何种异常这样的信息或与过去发生的异常相关的信息等的故障信息(包括用于警告异常发生的图标等)显示、用于供操作员进行各种设定的菜单显示等。另外，也可以将机械仪表显示、故障信息显示、菜单显示中的多个显示项目显示在一个画面中。

蜂鸣器17在由后述的多个雷达的任一个检测到障碍物的情况下发出警报。需要说明的是，在检测到障碍物的情况下，该障碍物的信息也显示在上述的周边监视器15的图像上。

[控制系统的整体构成]

图3是表示液压挖掘机1的控制系统整体的构成的框图。如图3所示，周边监视控制器40与作为车内网络之一的CAN41连接。在CAN41上连接有通信控制器42、监视器控制器43、发动机控制器44、泵控制器45、操作杆11、12以及行驶杆13、14等。另外，在周边监视控制器40上连接有由多个相机C1～C7构成的相机组C、由多个雷达R1～R8构成的雷达组R、周边监视器15以及蜂鸣器17。

周边监视控制器40进行周边监视控制。周边监视控制器40具有图像处理部51、障碍物处理部52、显示控制部53。此外，图像处理部51具有俯瞰图像生成部54以及图像合成部55。

俯瞰图像生成部54基于由各相机C1～C7获得的图像来生成俯瞰图像61。如图4所示，俯瞰图像生成部54将由各相机C1～C7获得的图像P1～P7转换成上方视点图像。即，俯瞰图像生成部54转换成从位于液压挖掘机1的上方的规定的假想视点观察到的图像。具体地说，俯瞰图像生成部54进行从液压挖掘机1的上方的假想视点向与地表面水平GL对应的规定的假想投影面投影的图像转换。然后，俯瞰图像生成部54将与显示俯瞰图像的框架的各区域E1～E7对应的转换图像P11～P17切出，并在框架内合成各转换图像P11～P17。在俯瞰图像生成部54生成的俯瞰图像61中预先粘贴有与液压挖掘机1的俯视图对应的图像P。

另一方面，障碍物处理部52基于雷达R1～R8的信息来检测障碍物。障碍物处理部52在检测到障碍物的情况下，使蜂鸣器17鸣动报警，并且将检测到的障碍物的大小、位置等与障碍物相关的信息向图像合成部55输出。在向图像合成部55输入上述的俯瞰图像61和各相机C1～C7拍摄到的相机图像并且从障碍物处理部52输入了与障碍物相关的信息的情况下，生成在上述的俯瞰图像以及相机图像上合成了障碍物信息的图像。障碍物信息例如可以为图4的区域E4中的点A1那样的构成，在将该点A1合成于俯瞰图像61之后将俯瞰图像显示于周边监视器15。通过这种方式，操作员能够容易地把握障碍物的位置、距液压挖掘机的距离。

作为障碍物信息的其他方式，例如可以为，在检测到障碍物的情况下，使存在障碍物的俯瞰图像61的区域E1～E7的外框或者存在障碍物的单相机图像62的外框进行闪烁显示(框线进行闪烁显示)。通过该闪烁显示，操作员能够容易地把握存在障碍物的情况。需要说明的是，也可以代替闪烁显示而采用其他的强调显示。例如，也可以改变框的粗细度或者改变框的颜色。上述障碍物信息可以是图4所记载的点A1，也可以采用蜂鸣器鸣动、闪烁显示、只要是向操作员强调地通知其他障碍物的存在的构成，可以为任意的构成。

显示控制部53进行如下控制：将从图像合成部55输出的俯瞰图像作为俯瞰图像61显示于周边监视器15，将从相机C1～C7拍摄到的图像中选择出的相机图像作为单相机图像62显示于周边监视器15。另外，为了进行向周边监视器15的显示控制，向显示控制部53输入来自操作杆11、12、行驶杆13、14等的操作信号。

监视器控制器43与监视器16连接。监视器控制器43进行经由CAN41从各种传感器发送来的信息、经由监视器16输入的信息这样的各种信息的输入输出控制。如上所述，监视器16例如能够显示发动机水温、油温、燃料的余量、表示设备的异常等的警告信息等。

泵控制器45接收从发动机控制器44、监视器控制器43、操作杆11、12、行驶杆13、14等发送来的信号，生成用于调整从未图示的液压泵排出的工作油的排出量的控制指令信号。

根据操作杆11、12的操作，通过控制阀80来控制将液压泵与动臂缸4d、斗杆缸4e、铲斗缸4f、回转液压马达73、液压行驶马达71、72之间连接的主阀的开口，由此对动臂缸4d、斗杆缸4e、铲斗缸4f、回转液压马达73进行驱动。另外，根据行驶杆13、14的操作，通过控制阀80来驱动液压行驶马达71、72。需要说明的是，由操作量检测部70检测操作杆11、12、行驶杆13、14的操作量，并作为电信号向泵控制器45输出。

[相机的构成和配置]

接着，参照图5以及图6，对各相机C1～C7的构成和配置进行说明。图5示出液压挖掘机的侧视图，图6示出液压挖掘机上部回转体的简化后的俯视图。在图6中的上部回转体的左右的端部区域应该显示履带，但为了方便说明，不显示左右的履带而仅显示上部回转体。全部的相机C1～C7也可以安装于上部回转体3。例如，各相机C1～C7在左右方向上具有120度(左右各60度)的视野范围，在高度方向上具有96度的视野范围。作为相机，也可以使用CCD(Charge-Coupled Device)相机。

如图5以及图6所示，具体地说，相机C1设置于上部回转体3的驾驶室6的下部即驾驶室基体5的前面，用于拍摄上部回转体3的前方。相机C2设置于上部回转体3的右侧前方下部，用于拍摄上部回转体3的右前方。相机C3设置于上部回转体3的右侧侧面下部，用于拍摄上部回转体3的右后方。相机C4设置于在上部回转体3的后方配置的配重8的后方下部中央，用于拍摄上部回转体3的后方。相机C5设置于上部回转体3的左侧侧面下部，并拍摄上部回转体3的左后方。相机C6设置于驾驶室基体5的上部左侧面，用于拍摄上部回转体3的左前方。相机C7设置于动力集装箱7的下部，用于拍摄动力集装箱7以及配重8的下部区域。由于相邻的相机C1～C7的拍摄范围交叠，因此，能够拍摄液压挖掘机的接近位置的外周360度。

[雷达的构成和配置]

接着，参照图7以及图8对各雷达R1～R8的构成和配置进行说明。全部的雷达R1～R8也可以设置于上部回转体3。各雷达R1～R8对液压挖掘机1的周围所存在的障碍物与液压挖掘机1之间的相对的位置(相对位置)和方向进行检测。例如，如图7以及图8所示，雷达R1～R8安装在液压挖掘机1的外周部分。另外，例如，各雷达R1～R8是具有方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)的检测角度、且检测距离最大为15m以上的UWB(Ultra Wide Band：超宽频带)雷达。

如图7以及图8所示，具体地说，雷达R1设置于上部回转体3的前部下方左端，用于检测上部回转体3的左前方的障碍物。雷达R2设置于上部回转体3的前部下方右端，用于检测上部回转体3的右前方的障碍物。另外，雷达R1、R2的设置朝向被调整为不检测铲斗4c等工作装置4，雷达R1、R2的检测区域未交叠。雷达R3设置于上部回转体3的右侧方下部，用于检测上部回转体3的右后方的障碍物。雷达R4设置于上部回转体3的右侧侧方下部，用于检测上部回转体3的右前方的障碍物。在此，雷达R3与雷达R4相邻，并且相对于雷达R4的位置而配置于前方。而且，雷达R3、R4通过相互交叉地照射雷达信号，来检测上部回转体3的右侧方整个范围的障碍物。另外，雷达R5设置于上部回转体3的配重8的下部，用于检测上部回转体3的左后方的障碍物。雷达R6设置于配重8的下部，用于检测上部回转体3的右后方的障碍物。在此，雷达R5与雷达R6相邻，并且相对于雷达R6的位置而配置于右侧。而且，雷达R5、R6通过相互交叉地照射雷达信号，来检测上部回转体3的后方整个范围的障碍物。另外，雷达R8设置于上部回转体3的左侧方下部，用于检测上部回转体3的左前方的障碍物。雷达R7设置于上部回转体3的左侧侧方下部，用于检测上部回转体3的左后方的障碍物。在此，雷达R8与雷达R7相邻，并且相对于雷达R7的位置而配置于后方。而且，雷达R8、R7通过相互交叉地照射雷达信号，来检测上部回转体3的左侧方整个范围的障碍物。

[周边监视器的手动图像切换处理]

图9(a)所示的周边监视器15是接通时最初显示的初始画面的一例。在图9(a)中，在周边监视器15的显示部的上部区域显示有俯瞰图像61，在下部区域显示有单相机图像62。俯瞰图像61的区域设定得比单相机图像62的区域小。另外，在周边监视器15的右下方显示有图标I1。所显示的单相机图像62是由相机C4拍摄到的上部回转体3的后方图像。图标I1是表示周边监视器15所显示的单相机图像62是由相机C1～C7内的哪个相机拍摄到的图像。图9(a)所示的单相机图像62是后方图像，因此，与上部回转体3的后方位置对应的图标I1的下侧区域被涂满显示。需要说明的是，在图9(a)所示的俯瞰图像61以及单相机图像62中，在上部回转体3的后方存在自卸车TR。在图9(a)中，可知自卸车TR位于从配置工作装置4的前方朝向180度的位置、即朝向外侧停车。需要说明的是，周边监视器15由触摸面板构成。

为了使操作员容易判别俯瞰图像61与液压挖掘机的位置、方向关系，在俯瞰图像61的中心位置显示有液压挖掘机的俯视图。将该液压挖掘机的一部分区域设为E11(指示部56)。在周边监视器15的画面为图9(a)的状态下由操作员触摸区域E11时，显示控制部53如图9(b)那样将俯瞰图像61放大显示，并且将单相机图像62缩小显示。另外，在图9(b)的放大后的俯瞰图像61内的区域E11被触摸时，如图9(a)那样，将俯瞰图像61缩小显示，并且将单相机图像62放大显示。即，操作员能够将区域E11作为开关，来手动切换图9(a)和图9(b)的周边监视器15的整体图像。

同样地，在将单相机图像62的区域定义为E10(指示部56)时，在周边监视器15的画面为图9(a)的状态下由操作员触摸区域E10时，显示控制部53如图9(b)那样将单相机图像62缩小显示，并且将俯瞰图像61放大显示。另外，在图9(b)的缩小后的单相机图像62的区域E10被触摸时，如图9(a)那样将单相机图像62放大显示，并且将俯瞰图像61缩小显示。图9(b)中的俯瞰图像61与图9(a)中的俯瞰图像61相比，周边监视器15中的显示区域被放大。此外，图9(b)中的俯瞰图像61与图9(a)中的俯瞰图像61相比，在俯瞰图像61的中心部显示的液压挖掘机的俯视图以及在液压挖掘机的后方停止的自卸车TR被放大显示。即，存在于液压挖掘机的周围且显示在俯瞰图像61上的对象物被放大显示。

在本实施例中，作为区域E10和E11使用了俯瞰图像61和单相机图像62的区域，但也可以通过触摸另外设置的图标或切换物理开关，来手动地切换图9(a)和图9(b)。需要说明的是，物理开关也可以设置于周边监视器、控制台、操作杆等。

需要说明的是，通过以下说明的周边监视器的自动图像切换处理，能够基于规定条件自动地对俯瞰图像61以及单相机图像62的大小、内容进行切换处理。

[周边监视器的自动图像切换处理]

图10是表示由周边监视控制器40进行的周边监视器15的自动图像切换处理顺序的流程图。图10中的周边监视器15的初始画面是接通时的画面即图9(a)的画面。由于成为从行驶杆13、14向显示控制部53输入操作信号的构成，由此，显示控制部53基于输入的信号来判断是否由行驶杆13、14进行了行驶操作(步骤S101)。在进行了行驶操作的情况下(步骤S101、是)，进一步判断障碍物处理部52是否检测到障碍物(步骤S102)。在检测到障碍物的情况下(步骤S102、是)，将周边监视器15的画面中的单相机图像62切换为在拍摄范围内包含障碍物的单相机图像62(步骤S103)，并返回步骤S101。

另一方面，在未检测到障碍物的情况下(步骤S102、否)，放大俯瞰图像61(步骤S104)。需要说明的是，在该情况下，单相机图像62伴随着俯瞰图像61的放大而缩小。需要说明的是，在本实施例中，以俯瞰图像61较小的状态作为初始画面进行了说明，但在作为初始画面而俯瞰图像61成为最大的情况下，维持俯瞰图像61成为最大的显示状态。

这样，根据行驶杆的操作来放大俯瞰图像61，从而操作员能够在液压挖掘机的行驶时容易地识别周围的障碍物。

然后，判断行驶杆13、14进行的行驶回转操作向右还是向左，还是未进行行驶回转操作(步骤S105)。行驶回转操作是指，通过仅使右履带或者左履带的一方前进或后退，在不使上部回转体3回转的状态下使液压挖掘机1整体回转的操作。在该行驶回转操作为右(即，仅左履带前进或者仅右履带后退)的情况下(步骤S105、右)，将单相机图像62切换为由相机C5拍摄的左后方的图像(步骤S106)，并返回步骤S101。这是因为，在右回转时上部回转体3的后部(动力集装箱7、配重8等)朝左方向回转，因此，操作员能够容易识别上部回转体3的左后方的状况。另外，在行驶回转操作为左(即，仅右履带前进或者仅左履带后退)的情况下(步骤S105、左)，将单相机图像62切换为由相机C3拍摄的右后方的图像(步骤S107)，并返回步骤S101。此外，在不存在行驶回转操作(即，右履带以及左履带均前进或后退)情况下(步骤S105、无)，将单相机图像62保持后方的图像不变，返回步骤S101。

另一方面，在未进行行驶操作的情况下(步骤S101、否)，由于采用也从操作杆11、12向显示控制部53输入操作信号的构成，因此，显示控制部53基于输入的信号来判断是否由操作杆11、12进行了上部回转体3的回转操作(步骤S108)。在进行了回转操作的情况下(步骤S108、是)，进一步判断障碍物处理部52是否检测到障碍物(步骤S109)。在检测到障碍物的情况下(步骤S109、是)，将周边监视器15的画面中的单相机图像62切换为在拍摄范围内包含障碍物的单相机图像62(步骤S110)，并返回步骤S101。

在未检测到障碍物的情况下(步骤S109、否)，放大俯瞰图像61(步骤S111)。需要说明的是，在该情况下，单相机图像62伴随着俯瞰图像61的放大而缩小。另外，在作为初始画面而俯瞰图像61成为最大的情况下，维持俯瞰图像61成为最大的显示状态。

然后，判断回转操作是否为右回转操作(步骤S112)。在为右回转操作的情况下(步骤S112、是)，将单相机图像62切换为由相机C5拍摄的左后方的图像(步骤S113)，并返回步骤S101。另一方面，在不为右回转操作的情况下(步骤S112、否)，即，在为左回转操作的情况下，将单相机图像62切换为由相机C3拍摄的右后方的图像(步骤S114)，并返回步骤S101。另一方面，在未进行上部回转体的回转操作的情况下(步骤S108、否)，将单相机图像62保持后方的图像不变，返回步骤S101。需要说明的是，在本实施例中，在右回转操作的情况下切换为左后方图像，在左回转操作的情况下切换为右后方图像，但也可以适当设定在回转操作时切换的单相机图像的位置。例如，也可以在右回转操作时切换显示右前方图像、右后方图像，在左回转操作时切换显示左前方图像、左后方图像，以使得能够在回转时预先判别工作装置与障碍物发生碰撞的情况。另外，在图10的流程图中，将是否存在行驶操作(步骤S101)、是否存在障碍物(步骤S102)、行驶回转操作为右、左还是不存在行驶回转操作(步骤S105)、是否存在上部回转体的回转操作(步骤S108)、是否为右回转(步骤S112)这样的分支组入一个流程图而进行了说明，但也可以在单独的流程图中进行各个分支，还可以适当组合这些分支。

在本实施方式的周边监视器15的自动图像切换处理中，在使用操作杆11、12、行驶杆13、14进行了使液压挖掘机1动作的操作的情况下，使俯瞰图像61放大，因此，在液压挖掘机1的操作开始时，能够监视整周的俯瞰图像61成为适当的大小，能够减少操作员的手动操作。另外，根据液压挖掘机1的操作进行将单相机图像切换为适当的相机图像的控制，因此，能够减少操作员的手动操作。

需要说明的是，也可以为，在锁定杆(切断工作装置、回转、行驶的所有液压电路的流路的杆)工作或设定了回转锁定等的停车时，也维持周边监视器15的显示画面，但即便由雷达R1～R8检测到障碍物，也不进行蜂鸣器17的鸣动或障碍物信息向周边监视器15的显示。这是因为，在停车时在液压挖掘机的周围存在人、车辆的情况下，若将蜂鸣器17的鸣动、或障碍物信息显示于周边监视器，则对操作员来说是麻烦的。

另外，在上述的实施方式中，以俯瞰图像61和单相机图像62均被显示的状态为前提进行了说明。但是，并不局限于该实施方式，也可以采用仅将俯瞰图像61或单相机图像62显示于周边监视器15的实施方式。例如，在仅显示了单相机图像62的情况下，步骤S104、S111中的俯瞰图像放大处理也包含从未显示俯瞰图像61的状态显示俯瞰图像61的处理。在该情况下，也可以显示俯瞰图像61和单相机图像62这两方，还可以仅显示俯瞰图像61。在显示俯瞰图像61和单相机图像62这两方的情况下，俯瞰图像61可以比单相机图像62大，也可以比单相机图像62小。需要说明的是，俯瞰图像61与目前的俯瞰图像61相比放大即可，并不需要成为最大显示区域。

另外，也可以使上述的实施方式中的周边监视器15显示机械仪表显示、菜单显示、故障信息显示等。具体地说，可以代替俯瞰图像61或单相机图像62而显示机械仪表显示、菜单显示、故障信息显示，也可以除了俯瞰图像61、单相机图像62之外还显示上述信息(可以单独显示各个信息，也可以同时显示机械仪表显示和故障信息显示这样的多个显示项目)。在此基础上也可以应用上述实施方式中的俯瞰图像61放大处理。

例如，在机械仪表显示、菜单显示、故障信息显示中的任一者显示于周边监视器15的情况下，由于在操作了操作杆11、12、行驶杆13、14时显示俯瞰图像，因此，在杆操作前无论显示何种画面，都能够可靠地确认周围的状况。另外，例如，在除了俯瞰图像之外还显示单相机图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示的情况下，由于在操作了操作杆等时将俯瞰图像放大显示，因此，能够更加详细地确认周围的状况。上述两个例子起到与手动切换处理的情况同样的效果。

需要说明的是，在自动切换处理的情况下，电可以通过步骤S104、S111的俯瞰图像放大处理，使俯瞰图像61比单相机图像、机械仪表显示、菜单显示、故障信息显示大或小。

需要说明的是，通信控制器42、监视器控制器43、发动机控制器44，泵控制器45与各种传感器连接，基于该传感器检测结果，判断在液压挖掘机的各组件中是否发生了异常。然后，在各组件的任一组件发生了异常的情况下，根据异常的内容，不优选液压挖掘机继续进行进一步的运转。因此，在判断为液压挖掘机发生了某种异常的情况下，即便操作了操作杆等，也可以不放大显示俯瞰图像。

此外，在上述的实施方式中，以行驶操作、回转操作的情况进行了说明，但在操作了工作装置的情况下，也可以进行同样的放大处理。这是因为，在液压挖掘机的周边存在障碍物的情况下，操作员需要确认液压挖掘机的周围的状况。

因此，技术方案中所记载的“作业机械的动作”至少包括行驶操作、回转操作、工作装置操作中的任一操作。另外，作为检测作业机械的动作的方法，不局限于各种操作杆的操作检测，例如也可以对伴随着操作杆的操作的致动器(各缸或各液压马达)的液压变化进行检测等。

需要说明的是，本发明不局限于上述的实施方式，本发明也包含能够实现本发明的目的的范围内的变形、改善等。

在所述实施方式中，将图9(a)的画面作为周边监视器15的初始画面进行了说明，但也可以将图9(b)的画面设定为初始画面。另外，与监视器16分开设置了周边监视器15，但本发明不局限于此，也可以构成为在监视器16上显示俯瞰图像61、单相机图像62。另外，将周边监视器15构成为触摸面板显示器，但也可以使用没有内置触摸传感器的通常的显示器。

在所述实施方式中，构成为在周边监视器15上同时显示俯瞰图像61和单相机图像62，但本发明不局限于此，也可以构成为仅将俯瞰图像或单相机图像显示在周边监视器15上。

另外，在所述实施方式中，构成为在触摸面板显示器60中的显示由相机C1～C7拍摄到的图像的区域内，只显示由相机C1～C7内的任一相机拍摄到的图像，但也可以构成为能够同时显示两个以上的图像。另外，在上述的实施方式中，在上部回转体3的外周设置有七台相机，但也可以由比七台少的相机台数构成周边监视装置，还可以由比七台多的相机台数构成周边监视装置。

此外，在上述的实施方式中，周边监视装置以雷达和相机配合的方式构成，但不局限于此，也可以由相机单独构成周边监视装置。

另外，基于在矿山等中使用的矿业用液压挖掘机进行了说明，但也可以在用于建设现场的液压挖掘机中应用本发明。

需要说明的是，在上述实施方式中使用液压挖掘机进行了说明，但只要是作业机械，也可以对自卸车(操作杆也包括方向盘、油门)、推土机、轮式装载机(操作杆也包括方向盘、油门)等作业机械应用本发明。

另外，在上述的实施方式中，以在作业机械的驾驶席6设置了周边监视器15、蜂鸣器17的构成进行了说明，但也可以设置在其他的场所、例如用于进行作业机械的远程操作的图11所示的远程操作席300、位于矿山内的、对多个作业机械整体上进行统一管理的管制室内。另外，也可以将图11所示的远程操作用监视器301用作周边监视器。此外，如图12所示，还可以将周边监视器15、蜂鸣器17设置于便携终端302，使操作员观察便携终端302所显示的俯瞰图像等。在此，在远程操作席300、管制室内的周边监视器15显示俯瞰图像的情况下、或将便携终端302用作周边监视器15、蜂鸣器17的情况下，也可以构成为，在作业机械和远程操作席300、管制室、便携终端302等中分别设置某种通信单元，来进行俯瞰图像等信息的收发。

附图标记说明

1 液压挖掘机；

2 下部行驶体；

3 上部回转体；

4a 动臂；

4b 斗杆；

4c 铲斗；

4d 动臂缸；

4e 斗杆缸；

4f 铲斗缸；

4 工作装置；

5 驾驶室基体；

6 驾驶室；

7 动力集装箱；

8 配重；

9 升降梯；

10 操作员座椅；

11、12 操作杆；

13、14 行驶杆；

15 周边监视器；

16 监视器；

17 蜂鸣器；

40 周边监视控制器；

42 通信控制器；

43 监视器控制器；

44 发动机控制器；

45 泵控制器；

51 图像处理部；

52 障碍物处理部；

53 显示控制部；

54 俯瞰图像生成部；

55 图像合成部；

56 指示部；

61 俯瞰图像；

62 单相机图像；

63 区域；

70 操作量检测部；

71、72 液压行驶马达；

73 回转液压马达；

80 控制阀；

300 远程操作席；

301 远程操作用监视器；

302 便携终端；

C 相机组

C1～C7 相机；

CT 回转中心；

E1～E7、E10、E11 区域；

GL 地表面水平；

I1 图标；

P、P1～P7 图像；

P11～P17 转换图像；

R 雷达组；

R1～R8 雷达；

TR 自卸车。

Claims

1.一种作业机械的周边监视装置，其特征在于，

所述作业机械的周边监视装置具备：

显示部；

多个相机，其获取作业机械的周围状况；

图像处理部，其基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像；

作业机械动作检测部，其用于检测所述作业机械的动作；以及

显示控制部，其使显示部显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或所述俯瞰图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示，

在检测到所述作业机械的动作的情况下，所述显示控制部进行如下控制：使包含所述俯瞰图像上的所述作业机械及在所述作业机械的周围显示的对象物的俯瞰图像整体与检测作业机械的动作之前的俯瞰图像整体相比放大。

2.根据权利要求1所述的作业机械的周边监视装置，其特征在于，

所述作业机械动作检测部对操作杆及/或行驶杆的操作进行检测。

3.根据权利要求1所述的作业机械的周边监视装置，其特征在于，

所述作业机械的周边监视装置包括多个雷达，该多个雷达检测所述作业机械的周围的障碍物，

所述显示控制部基于所述多个雷达获取到的信息来检测障碍物，在存在该障碍物的情况下，使所述显示部显示障碍物信息。

4.根据权利要求1所述的作业机械的周边监视装置，其特征在于，

所述作业机械的周边监视装置具备异常判断部，该异常判断部用于判断所述作业机械是否发生了异常，

在所述异常判断部判断为作业机械发生了某种异常的情况下，即便检测到所述作业机械的动作，所述显示控制部也不放大所述显示部中的所述俯瞰图像。

5.根据权利要求1所述的作业机械的周边监视装置，其特征在于，

所述显示部设置于远程操作席、管制室或者便携终端。

6.一种作业机械的周边监视装置，其特征在于，

所述作业机械的周边监视装置具备：

显示部；

多个相机，其获取作业机械的周围状况；

显示控制部，其使所述显示部除了显示所述俯瞰图像之外，还显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示；以及

指示部，其对包含所述俯瞰图像上的所述作业机械及在所述作业机械的周围显示的对象物的俯瞰图像整体的放大进行指示，

所述显示控制部根据所述指示部的操作，进行所述俯瞰图像整体的放大处理。

7.一种作业机械的周边监视装置，其特征在于，

所述作业机械的周边监视装置具备：

显示部；

多个相机，其获取作业机械的周围状况；

图像处理部，其基于所述多个相机拍摄到的图像，生成俯瞰图像；

在检测到所述作业机械的回转动作的情况下，所述显示控制部进行如下控制：使所述显示部中的包含所述俯瞰图像的显示区域显示的所述作业机械及在所述作业机械的周围显示的对象物的俯瞰图像整体与检测作业机械的回转动作之前的俯瞰图像的显示区域显示的俯瞰图像整体相比放大。

8.一种作业机械的周边监视方法，其特征在于，

通过设置于作业机械的周围的多个相机来获取周围的状况；

基于所述多个相机拍摄到的图像，生成表示所述作业机械的周围状况的俯瞰图像；

检测所述作业机械的动作；

使显示部显示所述多个相机中的一个或多个相机的图像即单相机图像、及/或所述俯瞰图像、及/或机械仪表显示、及/或菜单显示、及/或故障信息显示，

在检测到所述作业机械的动作的情况下，进行如下控制：使包含所述俯瞰图像上的所述作业机械及在所述作业机械的周围显示的对象物的俯瞰图像整体与检测作业机械的动作之前的俯瞰图像整体相比放大。