CN103563358A - 作业机械的周围监视装置 - Google Patents

Abstract

本发明提供周围监视装置，其设于在进行规定的作业的自行式作业机械上设置并用于监视该作业机械的周围，该自行式作业机械设有作业单元并在旋转体的驾驶座的附近位置设有操作单元，周围监视装置具备：多台照相机，其在旋转体上设有多台，各两台相互以视野范围一部分重合的方式设置；图像变换单元，其基于由各照相机取得的照相机图像而做成视点变换成为上方视点的虚拟视点图像；图像合成单元，其设定监视器上的各照相机所拍摄的虚拟视点图像的显示区域，并在各个显示区域显示各虚拟视点图像；以及显示状态变化单元，其使各虚拟视点图像的显示区域的边界位置变化。

Description

作业机械的周围监视装置

技术领域

本发明涉及在由液压挖掘机等构成的作业机械中为了确保机械的作业的安全等而设置的作业机械的周围监视装置。

背景技术

作为作业机械的一个例子，例如液压挖掘机是自行式作业机械，具备具有履带式或者车轮式行驶单元的行驶体。在行驶体上借助于旋转装置而设置有旋转体。在旋转体上设置有进行砂土的挖掘等作业的作业单元，作业单元具备能够仰俯动作地与旋转体连结的起重臂、和能够向上下方向转动地与该起重臂的前端连结的臂，进行砂土的挖掘等作业的铲斗作为附属装置，并借助于联杆机构而与臂的前端连结，由这些部件构成多关节作业机构。

液压挖掘机等自行式作业机械中，为了确保作业的安全、并且实现作业机械的操作性的提高，自以往公知有设有监视旋转体的周围的状况的周围监视装置的作业机械。该周围监视装置构成为，在旋转体上安装照相机，并且在驾驶室中在操作人员落座的驾驶座的前方位置设置监视器，从而由照相机拍摄的图像作为动画状态的影像而显示于监视器。

然而，照相机固定地保持于旋转体，其视野范围有限。作为作业对象的前方位置的视野当然是必须的，并且，为了确保行驶的安全性等，也需要旋转体的后方以及左右的两侧的视野，在作业机械的周围，为了获得尽可能较大的范围的视野，自以往使用了在旋转体上安装多个照相机的结构。由此，能够在旋转体的大致全周消除死角，进而实现确保作业的安全以及提高作业机械的操作性。

由多个照相机取得的作业机械的周围的图像、即照相机图像通常不是一并地显示于监视器，而选择地显示任一个需要的照相机图像。该监视器上的显示的选择由操作人员的操作来进行。为了显示来自各照相机的图像中的所希望的图像，一般是如下结构，即，将切换开关附设于监视器上，或设于遥控装置等上，操作人员手动操作该切换开关来显示作为目标的图像。

但是，由于设置多个照相机，所以直到显示作为目标的图像为止，还有必须多次切换切换开关的情况，从而操作人员进行图像切换操作需要劳力和时间。并且，在操作作业机械的期间还需要切换监视器，从而该图像切换操作的操作性存在难点。

考虑以上的方面，专利文献1中公开了：将照相机图像设定成依次进行切换，来消除对每个图像进行切换操作的必要性。该专利文献1中，不仅能够依次显示全部的照相机图像，还能够进行切换顺序的变更、以及以不显示一部分的照相机图像的方式进行跳过设定。

然而，照相机图像中有难以准确地把握距离感的情况。例如，在使旋转体旋转的操作时，确认周围的安全，但在作业者等进入作业机械的附近、或在作业机械的附近存在建筑物等障碍物的状态下，当使旋转体旋转时，仅通过照相机图像有无法准确地判断是否与上述作业者或建筑物接触的情况。另外，当使行驶体后退时，还有无法把握作业机械与作业者、障碍物等接近至何种程度的情况。当作业机械的旋转时、后退时，作业者或车辆等动态的对象等、建筑物其它的固定的对象成为动作的障碍，但若存在这些动态的、固定的障碍，则需要避免碰撞。然而，照相机图像是用于监视周围的唯一的线索，虽然能够确认这种动态的、固定的障碍的存在的有无以及形状、大小，但是有无法识别距离作业机械的准确的距离的情况。

若使照相机从某高度向斜下方朝向视野进行拍摄，并对该照相机图像进行坐标变换的处理，则能够变换为来自虚拟视点的图像、即虚拟视点图像。作为虚拟视点图像，例如视点位于上方的上方视点图像成为俯瞰状态的图像。若在监视器显示该虚拟视点图像，则能够准确地把握到达动态的、固定的障碍的距离。作业机械中，例如专利文献2中公开了通过显示虚拟视点图像来进行周围的监视的装置。该专利文献2中，在作为作业机械的液压挖掘机的后方和左侧的规定的位置安装照相机，使这些照相机的光轴朝向斜下方，取得在后方以及侧方具有较大的视野的图像并将视点变换成为上方视点的虚拟视点图像作为周边监视画面而显示于监视器。

若像这样在监视器显示虚拟视点图像，则能够准确地把握从旋转体至动态的、固定的障碍的距离。因此，在作业机械的后退时、旋转时，通过该监视器的显示能够确认周围的安全。另外，在作为作业机械的液压挖掘机上且在旋转体的驾驶室的右侧设置有进行砂土的挖掘等的作业单元。因此，驾驶室内的操作人员的肉眼得到的视野被该作业单元妨碍，从而在该方向也需要视野。专利文献2中，不仅在旋转体的后方的位置设置照相机，在右方的侧部也设置照相机，就是因为这个原因。

现有技术文献

专利文献

专利文献1：日本特开2008-114814号公报

专利文献2：国际公开WO2006/106685号小册子

发明内容

发明所要解决的课题

由于作为虚拟视点的来自上方视点的虚拟视点图像平面地显示，所以当将其显示于监视器时，在监视器的中央显示作业机械其自身的平面状态、或者作为其图形化后的显示的作业机械图像，并在该作业机械图像的周围显示虚拟视点图像。作业机械的前方的视野由操作人员的肉眼获得，从而为了监视周边，暂且不论前方视野，还将后方视野以及左右的侧方视野显示在监视器。因此，在作业机械中，至少在后部位置设置一处照相机，在左右两侧部位置分别设置一处照相机，通过对由这些照相机获得的照相机图像进行坐标变换，来做成虚拟视点图像，并将这些多个虚拟视点图像在监视器合成地进行显示。

然而，由于在监视器显示有多个虚拟视点图像，所以在这些各虚拟视点图像的显示区域之间产生边界部分。例如，在合成地显示由后方的照相机取得的虚拟视点图像和由侧方的照相机取得的虚拟视点图像的情况下，在两个显示区域之间存在边界部。各个照相机的位置和视野方向不同，具体而言，后方的照相机和侧方的照相机中光轴有大致90度的不同，从而当在监视器合成显示后方的虚拟视点图像和侧方的虚拟视点图像时，它们没有成为连续的图像，在两图像之间产生边界部。

如上所述，在位置和视野方向不同的后方的照相机与侧方的照相机之间的边界位置存在可能成为动态的、固定的障碍的像的情况下，该像成为关心对象像，该关心对象像由这两个照相机取得。在作为虚拟视点图像而显示于监视器的情况下，有不显示关心对象像的整体而以对象像的一部分出现在后方的虚拟视点图像、另一部分出现在侧方的虚拟视点图像的方式而成为分离的像的情况。因此，关心对象像成为局部缺少的显示，并且也有在一侧的虚拟视点图像中局部地显示而在另一侧的虚拟视点图像中完全不显示的情况。因此，当操作人员目视观察监视器时，有无法判定在边界部显示的像是否成为动态的、固定的障碍的情况，并且也有看漏动态的、固定的障碍本身的担忧。

本发明是鉴于以上的方面而完成的，其目的在于，能够将在合成显示于监视器的多个虚拟视点图像的边界部存在而显示的像作为能够通过目视确认的像来进行显示，进而能够更加可靠地进行作业机械周围的监视。

用于解决课题的方案

为了实现上述的目的，本发明是作业机械的周围监视装置，其设置在作业机械上，用于监视周围，该作业机械在能够旋转地设置于行驶体的旋转体上安装有作业单元，并在设于该旋转体的驾驶座的邻近位置设有操作单元，上述作业机械的周围监视装置的特征在于，由如下部件构成：多台照相机，其在上述旋转体设有多台，各两台相互以视野范围一部分重合的方式设置；图像变换单元，其基于由上述各照相机取得的照相机图像，做成视点变换成为上方视点的虚拟视点图像；图像合成单元，其设定上述监视器上的用上述各照相机拍摄的上述虚拟视点图像的显示区域，并在各个显示区域显示上述各虚拟视点图像；以及显示状态变化单元，其使上述各虚拟视点图像的显示区域的边界位置变化。

在将由设于旋转体的多个照相机取得的照相机图像视点变换成为上方视点从而做成虚拟视点图像时，由照相机图像显示的像的高度被变换为对应于透镜的光轴与规定的虚拟平面之间的角度的该虚拟平面上的长度来进行显示。设于旋转体的各个位置的各照相机的位置以及方向不同。基于由这些多个照相机取得的照相机图像生成虚拟视点图像并合成地显示于监视器时，若有可能成为动态的、固定的障碍的关心对象像来自单一的照相机，则在监视器显示其整体。另一方面，在关心对象像由两个照相机拍摄、且图像合成时图像位于相互重合的位置时，在各虚拟视点图像中，关心对象像的位置和方向不同。

在旋转体中，来自将位置和视野范围局部重合地配置的两台照相机的虚拟视点图像在监视器上显示区域被限定，在将由各照相机取得的各个虚拟视点图像进行合成显示时，显示相互重合的图像中的一方或者双方的一部分，其它的部分作为不显示。其结果，在虚拟视点图像形成边界部，在该边界部有一个关心对象像在两个位置分离、或者缺少一部分的情况。然而，在至少一个照相机中取得关心对象像的整体或者能够确定该关心对象像的程度的范围，若使监视器上的显示边界部的位置移动，则由于移动方向而以能够识别关心对象像的整体的方式进行显示。

在作业机械的旋转体中，前方的视野由操作该作业机械的操作人员通过目视观察的视野获得，但旋转体的后方的视野从驾驶座无法获得。另外，左右的侧方的视野也能够局部地目视观察到，但在操作人员在驾驶座朝向前方的状态下，有无法直接目视的部位。因此，对于照相机而言，优选在旋转体的后部位置配置一个或者多个照相机，并且在左右两侧部的位置也分别配置一个或者多个照相机。

监视器在旋转体的驾驶座的附近配置在操作人员能够容易目视观察的位置。作为该监视器的显示，在中央部分显示作业机械的平面或者由其图形构成的作业机械图像。而且，在该作业机械图像的周围合成显示基于由各照相机取得的照相机图像的各个虚拟视点图像。

在旋转体的后方、且在左右的侧方分别配置一台照相机时，显示于监视器的合成图像是虚拟视点后方图像、虚拟视点左方图像以及虚拟视点右方图像构成，而且在虚拟视点后方图像与虚拟视点左方图像之间、在虚拟视点后方图像与虚拟视点右方图像之间形成边界部。作为监视器的显示的方式，虚拟视点图像的合成图像中，将各图像中的重叠的各自的一部分作为非显示，优选有在大致中间位置放置边界部的显示状态，将其为标准图像显示。而且，显示状态变化单元能够相对于该标准图像显示切换改变为放大表示虚拟视点后方图像的后方放大图像显示、和放大表示虚拟视点左侧视野图像以及虚拟视点右方图像的侧方放大图像显示进行切换变化。

变化为标准图像显示、后方放大图像显示以及侧方放大图像显示的单元通过操作人员的手动操作来进行。为此，能够构成为具备作为显示状态变化单元的显示切换单元。显示切换单元也能够为触摸面板式，但为了操作的可靠性，优选采用在监视器上设置图像显示部和构成作为显示切换单元的输入部的多个开关的结构。

不仅利用上述的显示切换单元的手动操作来进行切换，也能够自动切换，作为切换模式，也能够具有手动切换模式和自动切换模式。此处，在自动切换模式下，与状况的变化对应地进行显示的切换。首先，设定成能够与作业机械的动作状态对应地自动切换显示。例如，在作业机械的后退时，构成为后方放大视野显示。另外，在旋转体的旋转时，也能够进行侧方放大图像显示。在自动切换模式下，还检测对于作业机械的动态的障碍，而能够与该动态的障碍的位置对应地自动改变由显示状态变化单元进行的显示边界位置。尤其检测作为人的障碍的作业者的位置，优选以追随该作业者的移动的方式进行显示的切换。为此，例如能够检测照相机图像的动作、或对安全帽等进行图像识别。另外，能够寻求使作业者持有电的、磁的发送器等的措施。

发明的效果如下。

能够将在多个虚拟视点图像的边界部存在而显示的像作为能够通过目视确认的像而进行显示，进而能够更加可靠地进行作业机械周围的监视，其中多个虚拟视点图像基于来自设置于作业机械的旋转体的多个照相机的照相机图像而合成显示于监视器。

附图说明

图1是作为作业机械的一个例子的液压挖掘机的主视图。

图2是图1的俯视图。

图3是表示本发明的第一实施方式的监视器的结构的说明图。

图4是图像处理装置的电路结构图。

图5是关于监视器的图像显示部的能够显示虚拟视点图像的区域的说明图。

图6是表示图3的监视器的标准图像的显示图形A的说明图。

图7是表示图3的监视器的后方放大图像的显示图形B的说明图。

图8是表示图3的监视器的放大了虚拟视点右方图像22R、虚拟视点左方图像22L的侧方放大图像的显示图形C的说明图。

图9是表示手动切换模式的处理顺序的流程图。

图10是表示自动切换模式的处理顺序的流程图。

图11是表示在自动切换模式下行驶体的行驶时与旋转体的旋转状态对应的显示状态的变化的说明图。

图12是表示在自动切换模式下动态的障碍移动时的显示状态的变化的说明图。

具体实施方式

以下，基于附图对本发明的实施方式进行说明。首先，图1以及图2中表示作为作业机械的一个例子的液压挖掘机的结构。这些图中，1是具有履带式行驶单元的行驶体，在行驶体1上借助于旋转装置2设有旋转体3。

在旋转体3上设置供操作人员搭乘用于操作机械的驾驶室4，并且设有进行砂土的挖掘等作业的作业单元5。作业单元5在驾驶室4的右手边且设置在大致并列的位置。并且，在旋转体3上且在驾驶室4以及作业单元5的后方位置设有收纳室（建屋）6等，并在最后端部设置有配重7。

作业单元5在图示中是由起重臂10、臂11以及作为附属装置的铲斗12构成的砂土的挖掘作业单元。起重臂10的基端部通过连结销以轴支撑于旋转体3的框架3a而能够进行俯仰动作。在起重臂10的前端以能够向上下方向转动的方式连结有臂11，在臂11的前端以能够转动的方式连结有铲斗12。起重臂10的俯仰动作通过驱动起重臂缸体10a来进行。臂11由臂缸体11a驱动，并且铲斗12由铲斗缸体12a驱动。

在具有上述的结构的液压挖掘机中，作为该液压挖掘机的操作者的操作人员在驾驶室4内以朝向前方的状态进行操作，确保在旋转体3的前方具有足够宽广的视野。另外，也确保驾驶室4的左侧的斜前方的视野。但是，即使在左侧，操作人员若不回头则无法直接目视斜后方。另外，在驾驶室4的右侧设置有作业单元5，视野的大部分被起重臂10妨碍，从而实际上无法由肉眼进行确认。并且，在旋转体3的后方存在收纳室6以及配重7，从而操作人员在驾驶室4的内部若不回头则无法获得视野，而且收纳室6以及配重7的上表面为较高的位置，因此操作人员即使在驾驶室4内取得回头姿势，获得视野的也是较远的位置，进而无法目视离旋转体3较近的位置。

如上所述，为了能够进行旋转体3的后方以及左右的侧方的监视，分别设置监视用的照相机13B、13R、13L来辅助地确保视野。即，在配重7的上表面且在左右的大致中间位置设置有后方照相机13B。另外，在收纳室6的左方的上表面设有左侧照相机13L，并且在旋转体3的右侧的位置且在收纳室6或者箱的上表面设有右侧照相机13R。此处，后方照相机13B取得旋转体3的后方宽广范围的图像，利用该后方照相机13B和左右的侧方照相机13R、13L，在旋转体3的驾驶室4内，除了操作人员以合理的姿势获得的前方视野之外，可在大致整周范围内由这些照相机13B、13R、13L获得视野。

为此，由各照相机13B、13R、13L的透镜的视场角和它们的配设位置设定成，至少各透镜的视野范围的一部分重叠。具体而言，后方照相机13的视场角的左右的两侧部分与左右的侧方照相机13R、13L的视场角重合。由此，在旋转体3的周围，不会消除成为盲区的部位。而且，如图3所示，在驾驶室4内设置有监视器20，由上述的各照相机13B、13R、13L取得的图像以动画状态显示于该监视器20。但是，由这些各照相机13B、13R、13L取得的照相机图像不是保持原样地被显示，而是被视点变换成为上方视点，作为虚拟视点图像被显示。

此处，以后方照相机13B为例，如图1所示，后方照相机13B使物镜的光轴朝向与旋转体3的后方成角度θ的斜下方。此时，当将液压挖掘机的行驶体1的接地面设为L时，获得与该接地面L成角度θ的照相机图像。作成了以该接地面L为假想平面的假想视点VF的光轴成为垂直的方式坐标变换后的假想视点图像。由此，来自以角度θ的斜上方的照相机图像变换为虚拟视点图像乃至俯瞰图像，并显示于监视器20。另外，左右的两侧照相机13R、13L也与后方照相机13B相同，光轴与接地面L的倾斜角是与后方照相机13B的相同的角度θ。后方照相机13B朝向旋转体3的后方，相对于此，左右的两侧照相机13R、13L朝向侧方。即，后方照相机13B相对于作为虚拟平面的接地面L的方向与左侧方照相机13L以及右侧方照相机13R的方向相比有大致90度的不同。

图3所示的监视器20由显示图像的图像显示部20a和设有开关的输入部20b构成。在图像显示部20a中，在其中央的位置显示有将液压挖掘机的俯视图图形化后的作业机械图像21。此处，作业机械图像21由旋转体部21a和行驶体部21b构成。在该作业机械图像21的周围显示基于由照相机13B、13R、13L取得的照相机图像而变换了视点的虚拟视点图像22。虚拟视点图像22包括：基于照相机13B的照相机图像的虚拟视点图像亦即虚拟视点后方图像22B；以及分别基于照相机13R、13L的照相机图像的虚拟视点图像亦即虚拟视点右方图像22R、虚拟视点左方图像22L。而且，在虚拟视点后方图像22B与虚拟视点右方图像22R之间存在作为显示区域的边界位置的边界线23R、虚拟视点后方图像22B与虚拟视点左方图像22L的边界线23L。

这样，在监视器20的图像显示部20a上显示有作业机械图像21以及在其周围的三个位置显示的虚拟视点视野图像22B、22R、22L，能够监视液压挖掘机的周围，但为此需具备监视控制器30，基于图4对该监视控制器30的结构进行说明。

附图中，由照相机13B、13R、13L拍摄的照相机图像导入图像修正部31。该图像修正部31中，基于照相机光学系统参数等，对导入的照相机图像进行像差修正、对比度修正、色调修正等图像修正，从而提高取得的图像的画质。

在图像修正部31的输出侧并列地连接设有图像变换部32和动态的障碍检测部33。在图像变换部32中，由各个照相机图像进行视点变换以成为上方视点。其结果，该图像变换部32中，生成由后方以及左右的侧方的虚拟视点后方图像22B、虚拟视点右方图像22R、虚拟视点左方图像22L构成的虚拟视点图像22。在监视器20的图像显示部20a上显示这三个方向的虚拟视点图像22，但在图像显示部20a上给与各虚拟视点图像22B、22R、22L的显示区域。为此，具备图像合成部34，从图像变换部32输出的虚拟视点图像22B、22R、22L由该图像合成部34分别分配至规定的区域，并且显示划分形成虚拟视点后方图像22B与虚拟视点右方图像22R及虚拟视点左方图像22L的显示区域的边界线23R、23L。此处，边界线23R、23L不是固定的，如后述那样其位置可变。

监视控制器30具备存储保持部35，在该存储保持部35存储各种照相机光学系统参数等，对导入图像修正部31的由照相机13B、13R、13L拍摄的照相机图像进行图像修正。另外，在该存储保持部35还存储有与由旋转体部21a和行驶体部21b构成的作业机械图像21相关的数据，该数据经由显示状态变化部36导入图像合成部34。而且，经由显示图像生成部37向监视器20输出显示图像的数据，在该监视器20的图像显示部20a显示图3所示的监视图像。

而且，图3中，另外将有与作为应避免碰撞的对象的动态的、固定的障碍接触的担忧的区域设定为危险区域Z1，并且作为为了确保安全而必须的范围，在该圆的外侧描绘规定半径的圆，并将这两个圆之间的区域设定为注意区域Z2。这些危险区域Z1以及注意区域Z2和与作业机械图像21所相关的数据相同地均存储于存储保持部35。另外，图3中，在虚拟视点后方图像22B的显示区域，作为成为动态的、固定的障碍的关心对象像的一个例子，显示作业员像M。图示的状态下，该作业员像M位于危险区域Z1内。

如上所述，后方照相机13B的视野中的左右两侧的部分与左右的侧方照相机13L、13R局部重合。而且，当在监视器20的图像显示部20a显示虚拟视点图像22时，虚拟视点后方图像22B、虚拟视点右方图像22R以及虚拟视点左方图像22L中的至少一个虚拟视点图像的一部分成为非显示状态。

即，如图5所示，由照相机13B、13L、13R取得的虚拟视点图像22中的、以斜线表示的部位在虚拟视点后方图像22B、并且在虚拟视点右方图像22R、虚拟视点左方图像22L中均是能够显示的重叠部。因此，该重叠部分中，会显示任一个图像。根据在何种程度的范围显示何种图像，能够选择三种显示图形。其中，图6所示的是标准图像的显示图形A，图7所示的是放大显示虚拟视点后方图像22B的后方放大图像的显示图形B，图8所示的是放大了虚拟视点右方图像22R、虚拟视点左方图像22L的侧方放大图像的显示图形C。

然而，照相机13B、13L、13R各自的配设位置不同，光轴方向也不同。因此，在虚拟视点后方图像22B与虚拟视点右方图像22R、虚拟视点左方图像22L的边界线23R、23L的位置以及其附近位置显示有关心对象像的情况下，当关心对象像横跨两个虚拟视点图像显示时，有像的位置不同、并且关心对象像的一部分缺少而显示的情况。另一方面，若关心对象像在单一的虚拟视点图像显示，则能够容易指定该关心对象像是否是动态的障碍。因此，若使显示图6的标准图像显示图形A的图像显示部20a的边界线23R、23L移动，则如图7所示的成为放大显示虚拟视点后方图像22B的后方放大图像的显示图形B、或者如图8所示的成为侧方放大图像的显示C。

在监视器20设有输入部20b是为了像这样使显示状态变化，在输入部20b设有四个切换用的开关24a、24b、24c以及24d。开关24a是自动切换模式的开关，开关24b、24c以及24d是手动切换用开关。若在手动切换用开关24b、24c以及24d中，选择各个显示状态，则如图6至图8中涂黑所示，所选择的开关24b～24d的中央部分点亮。

于是，图像的切换处理的顺序如图9所示。该图中，步骤1中判断是否操作了开关24a，若操作开关24a，则作为步骤2的自动切换模式进行动作。另一方面，当没有选择自动切换模式时，保持为能够手动切换的状态，从而成为能够操作设于监视器20的输入部20b的开关24b～24d的状态。

步骤3之后是手动切换模式的处理，步骤3中，判断是否操作了开关24b，若操作开关24b，则在监视器20显示显示图形A（步骤4），并且若如步骤5地操作开关24c，则在监视器20显示显示图形B（步骤6），另外若如步骤7所示地操作开关24d，则在监视器20显示显示图形C（步骤8）。另一方面，在没有操作任一个开关的情况下，在监视器20上没有任何显示，或者保持原样地继续显示当前显示的图像（步骤9），成为待机状态。

步骤2中，当选择了自动切换模式时，开始图10的处理顺序。此处，在本实施方式中，自动切换模式下的处理设定为，放大显示行驶体1的行驶时和动态的、固定的障碍的检测时所需要的虚拟视点图像。但是，自动切换模式下的处理不限定于该两个方式，并且不是必须包括这两个方式。

为了能够进行自动切换模式下的处理，监视控制器30中，需要检测液压挖掘机的动作。如图4所示，监视控制器30能够取得来自车身控制器40的车身信息。此处，车身控制器40具有车身控制部41。

在液压挖掘机设有起重臂10、臂11以及铲斗12的各液压缸10a～12a，并且设有用于驱动构成行驶体1的左右的行驶单元的液压马达和驱动旋转体3使之旋转的旋转马达，这些液压缸以及液压马达总称为液压传动装置，图4中表示为液压传动装置组42。为了驱动液压传动装置组42，在驾驶室4的内部设有由多个操作杆构成的操作杆组43，若操作人员操作构成操作杆组43的任一个操作杆，则该信息导入车身控制部41，通过来自该车身控制部41的指令驱动构成液压传动装置组42的各个液压传动装置。此外虽然做成来自操作杆组43的指令以电信号直接传递至液压传动装置组42的结构，但还可以构成为指令为液压信号而只是与操作杆的操作量相关的信号导入车身控制部41。

另外，在车身控制部41上，为了也检测起重臂10、臂11以及铲斗12的相对角度以及旋转体3相对于行驶体1的旋转角度而在这些各个位置设有角度检测器，这些角度检测器在图4中也总称而表示为角度检测器组44。并且，为了也能够识别行驶速度以及旋转速度，在车身控制部41上还连接有速度检测器组45。

如上所述，液压挖掘机的行驶、旋转、作业单元5的动作以及姿势状态由车身控制部41识别。车身控制部41所取得的这些各种数据中，自动切换模式时所需要的数据导入监视控制器30。如上所述，在本实施方式中，自动切换模式下，在行驶体1的行驶时，根据需要改变监视器20的显示。因此，与行驶体1的行驶方向和其行驶速度相关的数据会导入到监视控制器30。另外，旋转体3的旋转角度以及旋转速度也导入到监视控制器30。具体而言，这些数据输入到显示状态变化部36，而在行驶体1的行驶时，在与旋转体3的旋转角度的关系中，自动地改变监视器20的显示状态。另外，自动切换模式中，通过动态的障碍的位置、移动方向及其速度来使监视器20的显示状态变化。

另外，在动态的障碍的检测时，会自动地切换监视器20的显示。为此，在图像修正部31的输出侧与图像变换部32并列地连接并设置有动态的障碍检测部33，基于由图像变换部32变换为虚拟视点图像前的照相机图像进行动作检测。而且，若动态的障碍、例如作业者或各种车辆位于离液压挖掘机较近的位置，而且有动作，则根据该动作控制监视器20的显示以便自动地切换。

即，在接通开关24a而成为自动切换模式的状态下，若进行操作杆的操作，检测行驶体1的行驶，则在其行驶方向从驾驶室4观察时是前方时，操作人员通过目视观察获得前方视野，从而不需要特别注视监视器20。而且，当欲确认周围的任一个部位而目视观察监视器20时，作为手动切换模式，使需要的部位放大显示即可。但是，操作人员的视野无法获得车辆的后方，从而需要监视器20的辅助的视野。此时，在监视器20上，如图11（a）所示地显示放大显示了虚拟视点后方图像22B的显示图形B。

然而，旋转体3相对于行驶体1能够旋转，其旋转角度实际上是360度。监视器20中，在旋转时也固定地显示设有驾驶室4的旋转体3，行驶体1在画面上以旋转的方式显示。若操作旋转用的操作杆，则其信号作为车身信息而导入监视控制器30，在显示状态变化部36中，作业机械图像21中的行驶体部21b的图像与旋转角对应地旋转。因此，显示状态变化部36为了放大显示监视器20的显示的虚拟视点图像22中的需要的部位，而进行使边界线23R、23L移动的处理，并且也使作业机械图像21的状态变化。

例如，从图11（a）的状态向箭头方向旋转。如图11（b）所示，在45度以下的旋转角的情况下，维持显示图形B的显示。然而，若旋转角成为45度，则如图11（c）所示，会切换为将虚拟视点右方图像22R以及虚拟视点左方图像22L放大显示后的显示图形C。并且，如图11（d）所示，即使旋转角成为90度，也维持显示图形C。而且，图11（a）、图11（b）、图11（c）以及图11（d）中，以箭头表示行驶方向，箭头F是前进方向，箭头B是后退方向。

此处，当从图11（a）的旋转角0度侧向图11（b）所示的方向旋转时，不是在旋转角45度的位置切换显示图形，直到旋转角50度维持显示图形B，并且在旋转中途的状态下停止液压挖掘机，选择了自动切换模式时，若保持原样地开始行驶，则成为显示图形B或显示图形C，但是在旋转角在作为比45度小的角度的旋转角40度以下时选择显示图形B，当超过40度时切换为显示图形C。即，旋转角为40度至50度设定为显示图形因状况而不同的范围。并且，图11（d）的旋转角为90度至140度的期间成为显示图形C，并且旋转角为130度至180度以及180度至230度成为显示图形B。并且，旋转角为220度至270度、270度至320度成为显示图形C，旋转角为310度至360度、即0度成为显示图形B。

这样，当选择了自动切换模式的期间，在行驶体1的行驶时切换显示图形，但主要会放大显示从旋转体3的驾驶室4观察时后方的虚拟视点图像。另外，由自动切换模式切换监视器20的显示图形不仅在行驶时进行，在动态的障碍的检测时也会切换显示图形。

即，如图12（a）所示，在监视器20显示有标准图像的显示图形A的状态下，作业员像M1、M2以及M3三个人出现在虚拟视点后方图像22B。若这三个作业员在不是边界线23R、23L的位置静止，则继续显示图形A的显示。若作业员像M1～M3位于任一个边界线23R或者23L上，则从显示图形A向离开边界线23R、23L的位置的其它的显示图形切换。另外，作业员像M1和M3向离开作业员像M2的方向动作，作业员像M1以及M3接近边界线23R、23L。此时，为了使作业员像M1、M2以及M3可靠地位于显示的范围内，如图12（b）所示，向放大虚拟视点后方图像22B的显示图形B切换。

若作业员像M1以及M3照旧继续移动，则从显示图形B向显示图形C切换，作业员像M1显示于虚拟视点左方图像22L，作业员像M3显示于虚拟视点右方图像22R，并且作业员像M2显示于虚拟视点后方图像22B。但是，从图12（b）的位置开始，作业员像M3停止，另一方面，作业员像M1进一步继续移动。这样，如图12（c）所示，切换为虚拟视点左方图像22L放大、虚拟视点右方图像22R保持缩小的状态不变的图像。

通过如上那样与动态的障碍的移动相符地切换监视器20的图像的显示，从而能够消除移动的关心对象像到达边界线23R或者23L的位置而成为在两个虚拟视点图像之间分离的像、或者像成为局部地缺失的显示、以及在一个虚拟视点图像存在局部的显示而在另一个虚拟视点图像完全不显示像的情况。因此，能够可靠地在监视器20显示移动的动态的障碍。

然而，当选择了自动切换模式时，进行行驶体1的行驶，而且有动态的障碍也移动的情况。该情况下，根据图10所示的处理顺序，若通过接通开关24a，选择了自动切换模式，则首先进行是否进行了行驶操作的检测，当进行了行驶操作时，进行与基于图11说明的旋转角对应的行驶时的显示图形的切换处理（步骤11）。

另外，在未进行行驶操作时，如步骤12所示，判断是否检测到动态的障碍，在监视器20显示动态的障碍，而且若动态的障碍位于边界线23R或者23L上，并且动态的障碍移动至边界线23R或者23L的位置时，则进行基于图12说明的与动态的障碍的位置以及移动方向对应的边界线23R、23L的动态的变更处理（步骤13）。另外，当没有检测到动态的障碍时，如步骤14所示，进行作为基准图像的显示图形A的显示。

此处，如上所述，在基于由照相机13B、13R、13L取得的照相机图像判定是动态的障碍还是固定物的情况下，对于是否是障碍的指定，能够根据对象物的形状识别、动作检测来进行。另外，能够使作为对象的作业者、车辆等成为动态的障碍的物体持有发送器。并且，当液压挖掘机行驶、而且检测到动态的障碍时，优先进行行驶时的切换处理。即，操作人员把握驾驶室4的后方位置的状况更加重要，进行与动态的障碍的位置以及移动方向对应的边界线23R、23L的动态的变更处理包括旋转体3的旋转时，而限定于未行驶时。

符号的说明

1—行驶体，3—旋转体，4—驾驶室，5—作业单元，6—收纳室，7—配重，10—起重臂，11—臂，12—铲斗，13B—后方照相机，13L—左方照相机，13R—右方照相机，13F—前方照相机，20、120、220、320—监视器，20a、120a、220a、320a—图像显示部，20b、220b、320b—操作面板部，21—显示记号，22B—后方俯瞰图像，22L、22R—侧方俯瞰图像，22F—前方照相机图像，23B、23L、23R—照相机图像，30—图像处理装置，31—图像修正部，32—图像变换部，33—障碍物检测部，34—图像合成部，35—显示图像生成部，36—记号产生部，40—车身控制器。

Claims (8)

1.一种作业机械的周围监视装置，其设置在作业机械上，用于监视周围，该作业机械在能够旋转地设置于行驶体的旋转体上安装有作业单元，并在设于该旋转体的驾驶座的邻近位置设有操作单元，上述作业机械的周围监视装置的特征在于，由如下部件构成：

多台照相机，其在上述旋转体设有多台，各两台相互以视野范围局部重合的方式设置；

图像变换单元，其基于由上述各照相机取得的照相机图像，做成视点变换成为上方视点的虚拟视点图像；

图像合成单元，其设定上述监视器上的用上述各照相机拍摄的上述虚拟视点图像的显示区域，并在各个显示区域显示上述各虚拟视点图像；以及

显示状态变化单元，其使上述各虚拟视点图像的显示区域的边界位置变化。

2.根据权利要求1所述的作业机械的周围监视装置，其特征在于，

上述照相机配置在上述旋转体的后部位置和左右两侧部的位置，在上述监视器显示上述作业机械的平面像或者将上述作业机械的平面像图形化后的作业机械图像，在该作业机械图像的周围显示基于由上述各照相机取得的照相机图像的上述各虚拟视点图像的合成图像。

3.根据权利要求2所述的作业机械的周围监视装置，其特征在于，

在上述监视器显示的构成合成图像的用上述旋转体的后部位置的照相机获得的虚拟视点后方图像和由左右的侧部位置的照相机获得的虚拟视点左方图像以及虚拟视点右方图像由上述显示状态变化单元改变显示区域的边界位置，并切换变化为：将这些各图像中的、重叠的各自的一部分作为非显示的标准图像显示；放大表示上述虚拟视点后方图像的后方放大图像显示；以及放大表示上述虚拟视点左侧视野图像以及上述虚拟视点右方图像中的一方或者双方的侧方放大图像显示。

4.根据权利要求3所述的作业机械的周围监视装置，其特征在于，

变化为上述标准图像显示、上述后方放大图像显示以及上述侧方放大图像显示变化的单元通过手动操作来进行，为此具备显示切换单元。

5.根据权利要求4所述的作业机械的周围监视装置，其特征在于，

上述显示切换单元安装于上述监视器，上述监视器具有图像显示区域和构成上述显示切换单元的多个开关。

6.根据权利要求4所述的作业机械的周围监视装置，其特征在于，

上述显示切换单元成为能够切换手动切换模式和自动切换模式的结构，在上述自动切换模式下，与上述作业机械的状况的变化对应地进行显示的切换。

7.根据权利要求6所述的作业机械的周围监视装置，其特征在于，

在上述自动切换模式下，在上述作业机械的后退时成为上述后方放大视野显示。

8.根据权利要求6所述的作业机械的周围监视装置，其特征在于，

在上述自动切换模式下，根据显示于上述监视器的图像检测动态的障碍，与该动态的障碍的位置对应地由上述显示状态变化单元使显示边界位置变化。

Images