CN103141090A - 作业机械的周围监视装置 - Google Patents

Abstract

在上部旋转体(3)上设有后方摄像机(13B )、左右的侧方摄像机(13L、13R)、和前方摄像机(13F)，对摄像机(13B、13L、13R)的拍摄图像进行视点转换而生成单独俯瞰图像，并合成为以显示图形(21)为中心的监视用全景图像，与作为前方摄像机(13F)的图像的拍摄图像一起显示在监控器(20)的图像显示部(20a)上，通过对设置在操作面板部(20b)上的开关(SW1～SW5)进行适当操作，能够以放大状态显示生成任一单独俯瞰图像前的拍摄图像。

Description

作业机械的周围监视装置

技术领域

本发明涉及在由液压挖掘机等构成的作业机械中为了确保基于机械进行的作业的安全等而设置的作业机械的周围监视装置。

背景技术

作为作业机械的一例，例如液压挖掘机为自行式作业机械，包括具有履带式或轮式的行驶机构的下部行驶体，在该下部行驶体上经由旋转装置而设置有上部旋转体。在上部旋转体上设有进行沙土的挖掘等作业的作业机构。作业机构具有能够俯仰动作地连结在上部旋转体上的动臂、和能够沿上下方向转动地连结在该动臂前端的斗杆，进行沙土的挖掘等作业的铲斗作为前附属装置，经由连接机构连结在斗杆的前端，由这些部件构成了多关节作业机械。

以往公知有如下情况：在液压挖掘机等自行式作业机械中，为了确保作业安全、且为了谋求提高作业机械的操作性，设有对上部旋转体的周围进行监视的周围监视装置。该周围监视装置通过在上部旋转体上安装摄像机(camera)，并且在驾驶室中、在操作员就座的驾驶席的前方位置设置监控器而构成，并将用摄像机所拍摄到的图像作为动画状态的影像显示在监控器上。

然而，摄像机固定地保持在上部旋转体上，其视野范围被限制。当然需要作为作业对象的前方位置的视野，但为了确保行驶的安全性等，也需要上部旋转体的后方及左右的两侧方的视野，为了在作业机械的周围获取尽可能大范围的视野，一直以来使用在上部旋转体上安装多个摄像机的结构。由此，能够在上部旋转体的大致整周的范围内消除死角，因此能够谋求确保作业的安全及提高作业机械的操作性。

通过多个摄像机而获取的作业机械周围的图像、即拍摄图像通常不是一并显示在监控器上，而是选择性地显示某一需要的拍摄图像。基于操作员的操作来选择向该监控器的显示。为了显示来自各摄像机的图像中的所期望的图像，一般形成为如下结构：将切换开关附设在监控器上、或设置在遥控装置等上，操作员手动操作该切换开关来显示作为目标的图像。

只是，由于设置有多个摄像机，所以存在在显示作为目标的图像之前必须多次切换切换开关的情况，也存在操作员在图像切换操作上耗费工夫的情况。而且，在操作作业机械期间也需要切换监控器，在该图像切换操作的操作性方面存在难点。

考虑以上方面，在专利文献1中公开有如下结构：以使拍摄图像依次切换的方式进行设定，由此，无需按每一副图像进行切换操作。在该专利文献1中，不仅能够依次显示所有拍摄图像，也能够进行切换顺序的变更以及以不显示一部分拍摄图像的方式进行的跳过设定。

然而，存在难以通过拍摄图像准确地掌握距离感的情况。例如，在进行使上部旋转体旋转的操作时，存在如下情况：虽然确认了周围的安全，但在作业机械附近有作业者等进入、或在作业机械附近存在建筑物等障碍物的状态下，仅根据拍摄图像无法准确地判断上部旋转体旋转时是否会与它们接触。另外，在使下部行驶体后退时，也存在无法准确地掌握作业机械与作业者或障碍物等接近至何种程度、以及沟等凹处的存在及位置的情况。存在如下情况：在作业机械的旋转时或后退时，在周围具有作为应当避免碰撞或应当执行进入停止的要回避对象的物体时，若仅将拍摄图像作为用于监视周围的唯一手段，则虽然能够确认这种要回避对象的存在的有无及形状或大小，但无法识别从作业机械到要回避对象的准确距离。

另外，若使摄像机从某高度将视野朝向斜下方进行拍摄，并对该拍摄图像进行图像变换处理，则能够转换成从虚拟视点观察的图像。作为虚拟视点图像，视点处于上方位置的上方视点图像成为俯瞰状态的图像，当在监控器上显示该俯瞰图像时，能够准确地掌握至要回避对象的距离。在例如专利文献2中公开有在作业机械中通过显示俯瞰图像来进行周围监视的装置。在该专利文献2中，在作为作业机械的液压挖掘机的后方和左侧方的规定位置安装摄像机，使这些摄像机的光轴朝向斜下方，获取在后方及侧方具有宽阔视野的图像并将以成为上方视点的方式进行视点转换而得到的俯瞰图像显示在监控器上，由此，获取周边监视画面。

当像这样将俯瞰图像显示在监控器上时，能够准确地掌握从上部旋转体到要回避对象的距离。因此，在使作业机械后退或旋转时，能够通过该监控器的影像确认周围的安全。另外，在作为作业机械的液压挖掘机上，在上部旋转体的驾驶室的右侧设置有进行沙土的挖掘等的作业机构。因此，驾驶室内的操作员的基于肉眼的视野被该作业机构阻挡，所以在该方向也需要视野。出于这个原因，在专利文献2中，不仅在上部旋转体的后方位置设有摄像机，还在右方的侧部设有摄像机。

在先技术文献

专利文献

专利文献1：日本特开2008-114814号公报

专利文献2：国际公开WO2006/106685号小册子

发明内容

基于上方视点的俯瞰图像是经过图像处理而生成的图像，而并非实体像。因此，俯瞰图像在用于距离测定方面是有益的信息，但不一定容易准确地掌握显示在该俯瞰图像中的像的实际形状以及大小。例如，根据要回避对象是可动物体还是固定物体来改变应对方法。在要回避物体可动的情况下，发出警报并仅使作业机械待机规定时间，由此，能够使对方从危险区域退避。另一方面，若要回避对象为固定物体，则需要使作业机械迂回行驶。另外，即使是障碍物，也存在由于其高度等的关系而能够越过的情况和若不迂回则无法通过的情况。根据俯瞰图像进行这种判断是不确切的。而且，也存在如下情况：当在地面存在凹凸或地面倾斜时，无法在俯瞰图像中反映出这些情况。

通过摄像机进行拍摄，并根据这些拍摄图像生成俯瞰图像。根据该拍摄图像，能够获取拍摄物的形状以及大小、高度等各种信息。因此，若作为该拍摄图像而显示在监控器上，则能够识别要回避对象的实体像，从周围监视这一目的的观点出发是理想的。只是，监控器设置于作业机械的驾驶室这一受限的空间，而且在操作员从前窗凭借肉眼对前方进行视觉辨认时，前方存在监控器，若该监控器的尺寸过大时，则前方视野受到限制。因此，不期望同时并列地显示俯瞰图像和拍摄图像。

本发明是鉴于以上方面而研发的，其目的在于，当对作业机械的周围进行监视时，能够通过操作周围监视装置的人的简单的操作准确地获取监视所需要的信息。

为了实现上述目的，本发明为一种作业机械的周围监视装置，在作业机械上设置多个摄像机，根据通过这些各摄像机而获取的拍摄图像进行信号处理，以成为上方视点的方式进行视点转换，并作为俯瞰图像而显示在监控器上，该作业机械的周围监视装置的特征在于，包括：图像合成机构，其在上述监控器上显示将由上述各摄像机拍摄到的各单独俯瞰图像合成而得到的合成俯瞰图像；和切换机构，其用于对于上述合成俯瞰图像，将构成该合成俯瞰图像的上述各单独俯瞰图像中的至少一个图像转换成视点转换前的拍摄图像进行显示。

为了监视作业机械的周围，至少需要后方的视野，另外在作业机械为液压挖掘机或液压起重机等的情况下，由于作业机构一般配置在驾驶室的右侧，所以右侧方向的视野也成为周围监视的对象。而且，驾驶室的左侧的至少斜后方也难以凭借操作员的肉眼来获取视野。因此，例如，能够由对作业机械的后方视野进行拍摄的后方摄像机、和对左右两侧的侧方视野进行拍摄的两个侧方摄像机构成。而且，将通过这些后方摄像机及侧方摄像机而在各个部位获取的拍摄图像转换成各区域的俯瞰图像。此外，由于驾驶室与作业机构的位置关系等，还存在对于就座于驾驶室内的操作员来说成为其他死角的部位不同的情况。因此，关于设置的摄像机的数量及它们的设置位置，也能够在上述范围以外设置，这些配置是对于操作员来说成为死角的部位，为了确保安全，以需要视野的部位为基准进行适当设定。

由于驾驶室的前方能够凭借操作员的肉眼来获取视野，所以不是一定需要获取前方的俯瞰图像，但也可以在前方侧获取俯瞰图像。另外，虽说操作员能够直接获取前方视野，但不是不存在成为死角的方向。例如，在前方凹陷的情况下，难以凭借操作员的肉眼确认该凹坑的底部。另外，也存在难以确认作业机械的上方状况的情况。因此，也在驾驶室的前方设置摄像机，从而能够通过该摄像机确保辅助视野。此外，在该情况下，前方摄像机的图像不进行视点转换，而是直接显示拍摄图像。

使通过各摄像机而获取的拍摄图像为单独俯瞰图像，并合成这些单独俯瞰图像而生成合成俯瞰图像，因此，使所有摄像机的高度位置及光轴相对于水平面的角度一致。另外，即使在左右两侧的侧方的单独俯瞰图像与后方的单独俯瞰图像之间的过渡部中多少存在欠缺部分，只要该欠缺部分很小就没有影响，但期望使端部对齐而成为连续的图像。为此，例如只要使后方俯瞰图像的两端与各侧方俯瞰图像的端部局部重合来进行图像的复合结合处理即可。

在监控器上显示合成俯瞰图像，但在监控器的中央前方的部位形成空白区域。因此，也在作业机械的前方设置摄像机，从而也能够将来自该摄像机的图像显示在该空白部分。若形成这样的结构，则在为了进行针对作业机械的后方或侧方的作业而视觉辨认监控器时，能够进行包含前方视野在内的作业机械的整周的安全确认。

将作业机械的俯视图图形化，并将其作为显示图形而显示在监控器上，另外作为通过图像合成机构而合成的合成俯瞰图像，以显示图形为中心，将在后方位置显示的基于来自后方摄像机的拍摄图像的后方俯瞰图像、和在左右的两侧位置显示的分别基于来自左右的侧方摄像机的拍摄图像的左右的侧方俯瞰图像合成来进行显示，由此，能够将以作业机械为中心的监视用全景图像显示在监控器上。另外，也能够在该全景图像中设定危险区域、注意区域等合适的区域。

通过切换机构将一部分的俯瞰图像转换成拍摄图像，但为了识别显示的是哪个区域的拍摄图像，以使拍摄图像和对其进行视点转换而得到的俯瞰图像的大半部分重叠的方式进行显示，则能够防止操作员产生混乱。该情况下，以将俯瞰图像切换成拍摄图像的方式进行显示，但也可以例如以透视拍摄图像而能够视觉辨认俯视图像的方式进行显示。

作为用于使单独俯瞰图像转换成拍摄图像来显示的切换机构，通常是由操作员手动操作的切换机构，但也能够是自动切换机构，另外也可以并用这两种切换机构。作为基于手动的切换机构，主要是切换用的开关，但能够使监控器由图像显示部和操作面板部构成，且将开关设置在操作面板部上。另外，能够使操作面板部构成为单独的遥控装置。而且，还能够使监控器为触屏式监控器。而且，也能够均通过手动进行从俯瞰图像向拍摄图像的切换、以及从拍摄图像向俯瞰图像的切换，另外，也可以构成为通过开关操作进行从俯瞰图像向拍摄图像的切换，并当经过规定时间时，从拍摄图像恢复至俯瞰图像。

也能够使图像的切换与操作杆等操作机构连动。例如，也能够在上部旋转体向左右任一方向旋转时，切换来自位于旋转时的前方侧的侧方摄像机的图像，在作业机械后退时，切换来自后方摄像机的图像。而且，也能够设定为，在操作结束后，当经过规定时间时，恢复至原俯瞰图像。此外，在形成为像这样与操作杆等连动地自动切换的结构的情况下，更为优选的是期望形成为也能够进行基于手动的切换的结构。

发明效果

当对作业机械的周围进行监视时，能够切换拍摄图像和根据这些拍摄图像进行视点转换而得到的俯瞰图像来进行显示，由此，取得操作作业机械的操作者能够通过简单的操作准确地获取监视周围所需要的信息等的效果。

附图说明

图1是作为作业机械的一例的液压挖掘机的主视图。

图2是图1的俯视图。

图3是表示本发明的第1实施方式的监控器的结构说明图。

图4是图像处理装置的回路结构图。

图5是表示图3的监控器的其他显示方式的结构说明图。

图6是表示图3的监控器的第3显示方式的结构说明图。

图7是表示图3的监控器的第4显示方式的结构说明图。

图8是表示本发明的第2实施方式的监控器的结构说明图。

图9是表示本发明的第3实施方式的监控器的结构说明图。

图10是表示图9的切换开关的工作状态的说明图。

图11是表示本发明的第4实施方式的监控器的结构说明图。

图12是表示本发明的第5实施方式的图像处理装置的回路构成图。

图13是表示本发明的第5实施方式的监控器的设定画面的结构说明图。

具体实施方式

以下，基于附图来说明本发明的实施方式。首先，图1及图2表示作为作业机械的一例的液压挖掘机的结构。图中，附图标记1是由履带式行驶体构成的下部行驶体，在下部行驶体1上经由旋转装置2而设有上部旋转体3。

在上部旋转体3上，设置有用于供操作员搭乘并操作机械的驾驶室4，另外，还设有进行沙土的挖掘等作业的作业机构5。作业机构5在驾驶室4的右边设置在与驾驶室4大致并排那样的位置。而且，在上部旋转体3上，在驾驶室4及作业机构5的后方位置设有构造室(machine housing)6等，并在最后端部设置有配重(counter weight)7。

作业机构5是由动臂10、斗杆11及作为前附属装置的铲斗12构成的沙土的挖掘作业机构。动臂10的基端部通过连结销而被轴支承在上部旋转体3的机架3a上并能够俯仰动作。斗杆11以能够沿上下方向转动的方式连结于动臂10的前端，而且在斗杆11的前端能够转动地连结有铲斗12。动臂10的俯仰动作通过驱动动臂液压缸10a来进行。斗杆11通过斗杆液压缸11a而被驱动，另外，铲斗12通过铲斗液压缸12a而被驱动。

在具有上述结构的液压挖掘机中，该液压挖掘机的操作者即操作员在驾驶室4内以面向前方的状态进行操作，从而能够在上部旋转体3的前方确保足够宽阔的视野。另外，也能够确保驾驶室4的左侧斜前方的视野。但是，即使是左侧，对于斜后方，若操作员不回头也无法直接视觉辨认。另外，在驾驶室4的右侧设置有作业机构5，相当一部分视野被动臂10阻挡，无法凭借肉眼实际进行确认。而且，对于上部旋转体3的后方，构造室6及配重7位于此处，操作员在驾驶室4的内部若不回头则无法获取视野，并且构造室6及配重7的上表面处于较高位置，因此，即使操作员在驾驶室4内采取回头姿势，也仅获取较远位置的视野，无法视觉辨认靠近上部旋转体3的位置。

根据以上内容，为了能够监视上部旋转体3的后方及左右的侧方，分别设置摄像机13B、13R、13L来辅助确保视野。即，在配重7的上表面的左右的大致中间位置设置有后方摄像机13B。另外，在构造室6的左方向的上表面设有左侧摄像机13L，并在上部旋转体3的右侧位置、在构造室6或油箱的上表面设有右侧摄像机13R。在此，后方摄像机13B获取上部旋转体3的后方的大范围的图像，通过该后方摄像机13B和左右的两侧摄像机13R、13L，能够在上部旋转体3的驾驶室4内、在除操作员以简单的姿势所获取的前方视野以外的大致整周的范围内获取视野。

为此，对于上述各摄像机13B、13R、13L的透镜的视野角和他们的配置位置，以至少使各透镜的水平视野角的一部分重叠的方式进行设定。由此，在上部旋转体3的周围不存在成为盲区的部分。对于上部旋转体3的前方，凭借操作员的肉眼获取视野，但如图1所示，在上部旋转体3的机架上设置前方摄像机13F，通过该前方摄像机13F，能够获取上部旋转体3的前方的视野。

如图3所示，在驾驶室4内设置有监控器20，使从上述各摄像机13R～13F获取的图像以动画状态显示在该监控器20上。在此，若是前方摄像机13F则直接显示拍摄图像，但不直接显示通过后方摄像机13B、左右的两侧摄像机13R、13L而获取的拍摄图像，而是进行视点转换以使其成为上方视点。

即，如图1所示，后方摄像机13B使物镜的光轴朝向相对于上部旋转体3的后方具有角度θ的斜下方。此时，如该图所示，当使液压挖掘机的下部行驶体1的接地面为L时，根据相对于该接地面L具有角度θ的拍摄图像，以使光轴从虚拟视点VF相对于接地面L垂直的方式制作坐标转换后的图像。由此，能够将从具有角度θ的斜上方拍摄的拍摄图像转换成俯瞰图像。该俯瞰图像能够显示在监控器20上。另外，左右的两侧摄像机13R、13L也与后方摄像机13B同样地，使光轴相对于接地面L的倾斜角为角度θ。不过，前方摄像机13F是用于针对由驾驶室4内的操作员难以观察到的部位来获取辅助视野的装置，在本实施方式中，前方摄像机13F的光轴朝向斜上方。

根据以上内容，摄像机13B、13R、13L是用于获取周围监视用的图像的摄像机，前方摄像机13F对于操作机械的操作员来说是用于获取辅助视野的摄像机。而且，由对来自这些摄像机13B、13R、13R的图像进行坐标转换而得到的俯瞰图像构成的周围监视用的图像、和来自作为辅助视野而发挥作用的前方摄像机13F的拍摄图像显示在监控器20上。

图3所示的监控器20由显示图像的图像显示部20a和设有操作按钮等的操作面板部20b构成。在图像显示部20a上，在其中央位置图形化(character)显示有液压挖掘机的俯视图，在该显示图形21的周围，根据由摄像机13B、13R、13L获取的图像而分别作为单独俯瞰图像进行图像化处理后得到的、后方俯瞰图像22B和左右的侧方俯瞰图像22L、22R分别显示在对应的位置，并成为合成俯瞰图像。由此，显示以显示图形21为中心的全景图像。另外，在显示图形21的前方位置显示通过摄像机13F而获取的前方视野的图像。该前方图像是未进行俯瞰图像化处理的前方拍摄图像22F。

图4示出了图像处理装置30的电路结构。在图中，由摄像机13B、13R、13L拍摄到的拍摄图像、和由摄像机13F拍摄到的拍摄图像被调入到图像修正部31中。在该图像修正部31中，根据摄像机光学系统参数等，对调入的拍摄图像进行像差修正、对比度修正、色调修正等图像修正，由此，提高所获取的图像的画质。

在图像修正部31的输出侧，并联地连接设置有图像转换部32和障碍物检测部33，在图像转换部32中，根据各个拍摄图像以变为上方视点的方式进行视点转换。其结果为，生成后方及左右的侧方的单独俯瞰图像22B、22L、22R。而且，这些单独俯瞰图像22B、22L、22R与作为拍摄图像的前方拍摄图像22F一起以借助图像合成部33而贴附在监控器20的图像显示部20a的各个规定区域的方式被处理。在此，使俯瞰图像22B与左右的侧方俯瞰图像22L、22R的边界部局部重叠而获取图像。而且，在图像合成部34中，该重叠的部位通过复合(blending)结合而合成，转换成合成俯瞰图像。由此，合成俯瞰图像以使显示图形21为中心而环绕周围的方式显示，并成为整体没有间断的全景图像。

前方拍摄图像22F直接显示拍摄图像。在俯瞰图像22B、22L、22R中，由于图像被进行信号处理而不是实体像，所以存在虽然能够识别图像中显示有物体这一内容，但成为已变形的物体像而无法准确掌握其实际外形的情况。在图像修正部31上，与图像转换部32并联地连接有障碍物检测部33。因此，根据从图像修正部31输出的来自各摄像机13B、13R、13L的拍摄图像来检测有无障碍物(人、车辆、建筑物等)，在存在障碍物的情况下，获取该障碍物为何物、其形状以及大小等信息。进行该处理的是障碍物检测部33。

在图像处理装置30的输出侧设有显示图像生成部35。在该显示图像生成部35上连接有图形产生部36，从该图形产生部36输出显示图形21。该情况下的显示图形21是作为作业机械的液压挖掘机，显示作为俯视图而图像化后的图形。另外，由通过图像合成部34处理后的合成俯瞰图像构成的全景图像在显示图形21上合成。在此，显示图形21和全景图像为相同的缩尺尺寸。另一方面，前方拍摄图像22F显示在显示图形21的前方位置。而且，在该合成图像中，进一步合成显示通过障碍物检测部33而检测出的障碍物的图像、即障碍物图像S。在此，使障碍物图像S与显示图形21为实质相同的缩尺尺寸，另外从合成俯瞰图像中判断其位置，并在该判断位置显示障碍物图像S。

以上图像数据从图像处理装置30输送至监控器20，并在构成该监控器20的图像显示部20a上，在作业机械运行的场所，作为该作业机械的周围监视用的全景图像而显示。因此，只要观察监控器20，则在作为要回避对象的作业者进入周围的情况下、或存在建筑物等的情况下，操作员能够同时准确地掌握其位置以及大小，从而能够进行安全确保所必需的操作。

关于作业机械，其上部旋转体3具有旋转中心，作业机械具有以该旋转中心为中心的旋转半径，通常情况下，能够在360度的范围内旋转。因此，在监控器20的图像显示部20a上描绘合成在监视用全景图像中并以旋转半径为基准的圆，例如，将上部旋转体3在圆的内部旋转时，可能与作为应当避免碰撞的对象的要回避对象接触的区域设定为危险区域Z1，另外，作为确保安全所需要的范围，在该圆的外侧描绘规定半径的圆，并将这两个圆之间的区域设定为注意区域Z2。对于该注意区域Z2的外侧，不需要特别监视，以在监控器20上使直至注意区域Z2处完全成为图像的范围的方式，确定摄像机13R～13L的透镜的视野角及光轴相对于接地面L的倾斜角θ。与之相对，操作员的前方能够用肉眼确认，且前方摄像机13F是用于确保辅助视野而设置的，因此使视野的朝向与其他摄像机不同。在本实施方式中，为了使前方摄像机13F在构成作业机构5的铲斗12位于高处时也能够确认该铲斗12的状态，以将斜上方纳入视野的方式进行设定。

障碍物图像S合成在监视用全景图像中并显示在监控器20上，操作员通过在驾驶室4内注视监控器20，在确认该障碍物图像S进入到注意区域Z2中这一情况时，进行考虑了要回避对象的慎重的操作，由此，能够安全且顺利地进行作业。另外，当在监控器20上检测到障碍物图像S位于危险区域Z1的范围内时，停止作业机械的工作，在要回避对象可动的情况下，能够采取发出警告而使其从该位置移动等有效避免碰撞的对策。

作业机械的前方凭借操作员的肉眼来确保视野，另外，通过监控器20获取从侧方到后方的范围内的视野，而且能够从监控器20大致准确地识别与要回避对象之间的距离，因此，即使在使作业机械运行的期间，也能够监视包括操作员无法直接视觉辨认的区域在内的大致整个作业区域，安全确认自不必说，对于用于在使作业机构5工作来进行沙土的挖掘等作业时识别铲斗12的到达范围等也很方便，使用作业机构5的作业的作业性也提高。

然而，上述由合成单独俯瞰图像22B、22L、22R而得到的合成俯瞰图像构成的监视用全景图像是根据拍摄图像进行坐标转换并合成的图像，不一定准确地表示了周围状况的实质。虽然在监控器20上显示有障碍物图像S，但该障碍物图像S不是物体像，是进行信号处理而得到的图形。因此，对于操作员来说，认知要回避对象的实像这一内容在安全确认方面及作业效率性等方面是有利的。

单独俯瞰图像22B、22L、22R基于摄像机13B、13R、13L的拍摄图像而生成，能够通过拍摄图像获取要回避对象的实体像。因此，构成为能够使摄像机13B、13R、13L中的任一个的拍摄图像与显示在监控器20上的监视用全景图像重叠地显示。

为此，在监控器20上，在图像显示部20a的周围、即在作为边框的部位设有操作面板部20b。在该操作面板部20b上设有选择开关SW1～SW5。开关SW1用于放大显示图像显示部20a中的来自前方摄像机13F的前方拍摄图像22F。如图5所示，开关SW2用于使右侧摄像机13L的右侧拍摄图像23R与右侧方俯瞰图像22R的显示部位及其附近部位重叠并放大显示。如图6所示，开关SW3用于使后方摄像机13B的后方拍摄图像23B与后方俯瞰图像22B的放大显示的部位及其附近部位重叠并放大显示，如图7所示，开关SW4用于使左方摄像机13R的左侧拍摄图像23L与左方俯瞰图像22L的显示部位及其附近部位重叠而显示。而且，位于开关SW1～SW4的中央的开关SW5是用于从任一拍摄图像显示状态恢复至图3的显示监视用全景图像的状态的恢复开关。

因此，例如当为了使作业机械向后方行驶而操作设置在驾驶室4内的行驶杆(未图示)时，首先在使监视用全景图像显示在监控器20中的状态下进行后方的安全确认。在后方显示有障碍物图像S的情况下，采取回避措施。接下来，若需要确认后方状况，即是否为平坦地、地面是否存在凹凸、是否为上坡路或下坡路、左右是否存在倾斜等，则操作监控器20中的操作面板部20b的开关SW3。

由此，如图6所示，由于后方的拍摄图像显示得较大，所以操作员能够进行车辆后方的安全确认和状况掌握。然后，在进行后方状况确认后，通过操作开关SW5，使原监视用全景图像显示在监控器20中的图像显示部20a上。另外，在作业机械的行驶中，当存在作业者或其他车辆等要横穿前方道路的情况时，操作员能够对此进行识别，并通过停止行驶、发出警报等进行处理。

在此，在上述实施方式中，形成为通过开关操作来进行图像的切换的结构，但能够使监控器20为触屏式监控器。由此，通过作业者触摸监视用全景图像中的显示图形21周围的任一处，显示该部位的拍摄图像。在此，由于操作作业机械的操作者通常戴着手套，所以作为监控器需要选择使用即使用戴着手套的手也能够操作的监控器。

另外，如图8所示，也存在在监控器120的图像显示部120a的周围形成有宽度大致均等的边框120b的装置。在该情况下，也能够在该边框120b的各边的中间位置配置开关SW1～SW4。而且，通过操作任一开关来显示拍摄图像。也能够设定成当按动操作开关一次时，显示各部分的拍摄图像，当第2次按动操作时，恢复至显示原监视用全景图像的状态。此外，关于图像显示部120a内的显示，由于与图3所示相同，所以标注与图3中相同的附图标记并省略其说明。

而且，如图9及图10所示，还能够形成为在监控器220的操作面板部220b上设置能够通过手指按动的杆LV的结构，并且构成为在使该杆LV如图9那样直立的状态下显示监视用全景图像。此外，关于图像显示部220a内的显示，由于与图3所示相同，所以标注与图3中相同的附图标记并省略其说明。

而且，当使杆LV如图10的(a)所示那样向上方倾转时，在监控器220的图像显示部220a中放大显示前方拍摄图像，另外，当使杆LV如图10的(b)所示那样向右方倾转时，与图5相同的右侧拍摄图像显示得较大，当使杆LV如图10的(c)所示那样向下侧倾转时，与图6相同的后方拍摄图像显示得较大，当使杆LV如图10的(d)所示那样向左方倾转时，与图7相同的左侧拍摄图像显示得较大。这些图像显示部220a的显示内容的切换方式与图3的切换显示方式即图5～图7等相同。

当从显示有监视用全景图像的状态显示摄像机13B、13R、13L中的任一个的拍摄图像时，期望拍摄图像尽可能显示得较大。因此，也能够取代监视用全景图像而在监控器的整个画面上显示拍摄图像。该情况下，为了使操作员容易识别正在显示哪个方向的拍摄图像，只要使用图8所示的监控器120即可。在此，对设置在边框120b的各边上的开关SW1～SW4进行操作，当选择了后方或左右任一侧方的拍摄图像的显示时，只要使所操作的开关部分发光，就能够使操作员识别目前显示的拍摄图像是哪个方向的拍摄图像。

另外，在使拍摄图像与监视用全景图像重合来进行显示时，使重叠显示的部位仅显示拍摄图像，但也可以透视拍摄图像来显示监视用全景图像。

而且，示出了前方摄像机13F形成为以在作业机械的前方使光轴朝向斜上方的方式设置的结构，但除此以外，只要设置在例如使基于铲斗12的挖掘状态纳入视野等的、需要辅助视野的适当位置即可。另外，前方摄像机不限定于一处，也能够在多处设置，例如能够设置朝向前方并具有斜上方的视野、且当抬升动臂10时将铲斗12纳入视野的前方摄像机、和对斗杆11进行拍摄的摄像机这两台前方摄像机。在该情况下，如图11所示，期望在监控器320的图像显示部320a上并列地配置前方拍摄图像322F1和322F2。在该情况下，由于设有两台前方摄像机，所以为了能够放大显示前方拍摄图像322F1、322F2中的任一图像，在操作面板部320b上设置开关SW1a、SW1b和开关SW2～SW5这六个开关。

在上述的各实施方式中，通过手动操作进行图像的切换，但也可以与操作杆的操作连动地进行图像的切换。为此，如图12所示，在图4所示的图像处理装置30上连接设置车身控制器40，从该车身控制器40将由各种传感器等得到的信息中的、自动切换所需要的信息调入到图像处理装置30中，从而进行该图像处理装置30中的显示图像生成部35等的动作控制。

众所周知，车身控制器40输入来自操作杆的操作信号。例如，如图12所示，在驾驶室4内设有供操作员操作的多个操作杆。在图中，对这些操作杆统一称呼并标注附图标记41。当对操作杆41中的任一个进行操作时，由液压缸或液压马达构成且用附图标记42表示的执行机构中的任一个开始工作。而且，构成为通过用附图标记43表示的各角度检测器来检测动臂10、斗杆11及铲斗12的角度、以及旋转装置2的旋转角，并且通过用附图标记44表示的速度检测器来检测行驶速度及旋转速度。此外，关于它们的结构及作用，由于一直以来为公众所知，所以省略详细的图示及说明。

关于进行自动切换，构成为能够在监控器20的画面上设定在何种条件下、将哪个部位的俯瞰图像转换成拍摄图像。该设定画面可以是例如图13所示的画面。即，能够在监控器20的图像显示部20a上读取菜单画面，并显示在操作哪个操作杆时画面自动切换这一条件、和监视用全景图像中的哪个部位的图像进行切换、即切换的画面。

当前，如图13所示那样进行设定。在该状态下，以如下方式进行切换：当操作右旋转杆时，从监视用全景图像切换至显示右侧摄像机13R的拍摄图像，当操作左旋转杆时，从监视用全景图像切换至显示左侧摄像机13L的拍摄图像。而且，在操作行驶杆时，无论是自动操作还是手动操作，无论显示有何种图像，都能够进行切换来显示监视用全景图像。另外，在显示拍摄图像后，当使操作杆恢复至中立位置时，从拍摄图像切换至原监视用全景图像。

附图标记说明

1  下部行驶体

3  上部旋转体

4  驾驶室

5  作业机构

6  构造室

7  配重

10  动臂

11  斗杆

12  铲斗

13B  后方摄像机

13L  左方摄像机

13R  右方摄像机

13F  前方摄像机

20、120、220、320  监控器

20a、120a、220a、320a  图像显示部

20b、220b、320b  操作面板部

21  显示图形

22B  后方俯瞰图像

22L、22R  侧方俯瞰图像

22F  前方俯瞰图像

23B、23L、23R  拍摄图像

30  图像处理装置

31  图像修正部

32  图像转换部

33  障碍物检测部

34  图像合成部

35  显示图像生成部

36  图形产生部

40  车身控制器

Claims (7)

1.一种作业机械的周围监视装置，在作业机械上设置多个摄像机，根据通过这些各摄像机获取的拍摄图像进行信号处理，以成为上方视点的方式进行视点转换，并作为俯瞰图像而显示在监控器上，所述作业机械的周围监视装置的特征在于，包括：

图像合成机构，其在所述监控器上显示将由所述各摄像机拍摄到的各单独俯瞰图像合成而得到的合成俯瞰图像；和

切换机构，其用于对于所述合成俯瞰图像，将构成该合成俯瞰图像的所述各单独俯瞰图像中的至少一个图像转换成视点转换前的拍摄图像进行显示。

2.如权利要求1所述的作业机械的周围监视装置，其特征在于，所述多个摄像机由对所述作业机械的后方视野进行拍摄的后方摄像机、和对左右两侧的侧方视野进行拍摄的两个侧方摄像机构成，在所述监控器中，显示将作业机械的俯视图图像化后的显示图形，通过所述图像合成机构而合成的合成俯瞰图像以所述显示图形为中心显示监视用全景图像，所述监视用全景图像包括：在后方位置显示的基于来自所述后方摄像机的拍摄图像的后方俯瞰图像、和在左右的两侧位置显示的分别基于来自左右的侧方摄像机的拍摄图像的左右的侧方俯瞰图像。

3.如权利要求2所述的作业机械的周围监视装置，其特征在于，还设有将所述作业机械的前方作为视野范围的前方摄像机，该前方摄像机形成为不通过所述图像合成机构进行合成，而是作为拍摄图像显示在所述监控器上。

4.如权利要求1所述的作业机械的周围监视装置，其特征在于，形成为当通过所述切换机构从被指定转换的任一单独俯瞰图像向拍摄图像转换时，至少与该单独俯瞰图像局部重叠来进行显示。

5.如权利要求1至权利要求4中的任一项所述的作业机械的周围监视装置，其特征在于，形成为在所述监控器上具有图像显示部和操作面板部的结构，所述切换机构由设置在所述操作面板部上的开关构成。

6.如权利要求1至权利要求4中的任一项所述的作业机械的周围监视装置，其特征在于，使所述监控器为触屏式监控器，所述切换机构设置在所述监控器的显示画面的显示部上。

7.如权利要求1至权利要求4中的任一项所述的作业机械的周围监视装置，其特征在于，所述切换机构形成为与所述作业机械的操作机构连动地进行切换的结构。

Images