CN112012269A - 操纵辅助系统及方法、维护辅助方法以及建筑机械 - Google Patents

Abstract

本发明鉴于进行操纵以不接触障碍物这一课题，目的在于提供一种能够减轻操纵者的负担的作业机械的操纵辅助系统、作业机械的操纵辅助方法、操纵辅助系统的维护辅助方法以及建筑机械。操纵辅助系统(1)具备获取部(10)和动作控制部(20)。获取部(10)获取与作业机械(100)的移动部(40)的移动范围有关的图像信息。动作控制部(20)基于由获取部(10)获取到的图像信息使移动部(40)进行回避与障碍物接触的动作。

Description

操纵辅助系统及方法、维护辅助方法以及建筑机械

技术领域

本发明涉及一种作业机械的操纵辅助系统、作业机械的操纵辅助方法、操纵辅助系统的维护辅助方法以及建筑机械。

背景技术

已知一种具备将周围的作业人员等作为障碍物进行探测的传感器的建筑机械。例如，专利文献1记载了一种具备下部行走体、上部回转体、监视区域设定单元、障碍物探测传感器、计算单元、时刻信息获取单元以及存储单元的建筑机械。该建筑机械基于下部行走体与上部回转体之间的相对角度来设定监视区域，计算该区域内的障碍物的位置坐标，并将其计算结果与时刻信息相关联地存储。

现有技术文献

专利文献

专利文献1：日本特开2017-201114号公报

发明内容

发明要解决的问题

本发明人们对具备由液压等动力进行驱动的动臂、斗杆以及附属构件(attachment)等的建筑机械得出以下认识。

某建筑机械利用动力来对动臂、斗杆等臂机构进行驱动，从而使安装于臂机构的铲斗等附属构件动作来进行规定的作业。该机械的操纵者在使附属构件移动时需要谨慎地进行操纵，以使附属构件和臂机构不触碰到作业人员等障碍物。这对于操纵者而言是大的负担，成为作业效率降低的主要原因。

为了弥补可视性，考虑将利用安装于建筑机械的摄像机拍摄到的影像显示于操纵室的显示器。但是，在该情况下，要一边同时确认显示器的影像和作业内容一边进行操纵，操纵者的负担反而增大，不能说改善了操纵性。

从减轻操纵者的负担的观点出发，不能说专利文献1所记载的建筑机械充分地被进行了应对。这种问题不仅在建筑机械中发生，在其它种类的作业机械中也可能发生。

本发明是鉴于这样的问题而完成的，目的之一在于提供一种能够减轻操纵者的负担的作业机械的操纵辅助系统。

用于解决问题的方案

为了解决上述问题，本发明的某个方式的作业机械的操纵辅助系统具备：获取部，其获取与作业机械的移动部的移动范围有关的图像信息；以及动作控制部，其基于图像信息使移动部进行回避与障碍物接触的动作。

此外，以上的任意的组合、将本发明的结构要素或表现在方法、装置、程序、记录有程序的暂时性或非暂时性的存储介质以及系统等之间相互置换而得到的方案，作为本发明的方式也是有效的。

发明的效果

根据本发明，能够提供一种能够减轻操纵者的负担的作业机械的操纵辅助系统。

附图说明

图1是概要性地示出第一实施方式所涉及的作业机械的操纵辅助系统的侧视图。

图2是概要性地示出图1的操纵辅助系统的框图。

图3是示出图1的操纵辅助系统的俯视图。

图4是示意性地示出图1的操纵辅助系统的操纵者的前方视野的图。

图5是用于说明图1的操纵辅助系统的人识别部的图。

图6是用于说明图1的操纵辅助系统的移动部识别部的图。

图7是用于说明图1的操纵辅助系统的距离确定部的图。

图8是用于说明图1的操纵辅助系统的回避控制部的图。

图9是用于说明图1的操纵辅助系统的接触估计部的图。

图10是示出图1的操纵辅助系统的回避处理的流程图。

附图标记说明

1：操纵辅助系统；8：人；8b：脚下；10：获取部；12：图像传感器；20：动作控制部；20c：障碍物识别部；20d：距离确定部；20e：信息输出部；20f：回避控制部；20g：阀控制部；20h：人识别部；20j：移动部识别部；30：操纵辅助装置；32：操纵座；40：移动部；100：作业机械。

具体实施方式

以下，基于优选的实施方式，参照各附图来说明本发明。在实施方式及变形例中，对相同或等同的结构要素、构件标注相同的附图标记，并适当地省略重复的说明。另外，为了易于理解，将各附图中的构件的尺寸适当地放大、缩小地示出。另外，在各附图中，对在说明实施方式上不重要的一部分构件进行了省略表示。

另外，包括第一、第二等序数的用语是为了说明多种结构要素而使用的，该用语仅用于将一个结构要素与其它结构要素相区分的目的，结构要素不受该用语限定。

[第一实施方式]

参照附图来对本发明的第一实施方式所涉及的作业机械的操纵辅助系统1的结构进行说明。图1是概要性地示出第一实施方式所涉及的作业机械的操纵辅助系统1的侧视图。图2是概要性地示出操纵辅助系统1的框图。图3是概要性地示出操纵辅助系统1的俯视图。

如图1、图2所示，操纵辅助系统1包括作业机械100、获取部10以及动作控制部20。获取部10和动作控制部20构成操纵辅助装置30。本实施方式的作业机械100是使铲斗46移动来进行建筑作业的建筑机械1000。作业机械100具有下部行走部36、上部车体部34、臂机构48以及铲斗46。下部行走部36构成为能够通过履带等沿规定方向行走。上部车体部34搭载于下部行走部36。上部车体部34构成为能够通过回转驱动部60、相对于下部行走部36绕铅垂轴回转。回转驱动部60例如能够由回转电动机(未图示)和回转齿轮(未图示)构成。在上部车体部34设置有操纵室38。

为了便于说明，将从后方观察操纵室38时的右侧称为“右”，将左侧称为“左”。另外，将操纵室38的前侧称为“前方”，将其相反方向称为“后方”。

臂机构48的基端部在上部车体部34中被设置在操纵室38的右侧。臂机构48包括从上部车体部34向前方延伸的动臂42和斗杆44。在臂机构48的前端侧安装有铲斗46。动臂42构成为能够以上部车体部34侧的基端部为中心使前端部上下地转动。斗杆44构成为能够以动臂42侧的基端部为中心使前端部前后地转动。

铲斗46构成为能够以斗杆44侧的基端部为中心使前端部前后或上下地转动。能够通过多个液压缸56使关节部的弯曲角度变化，来使动臂42、斗杆44和铲斗46发生变形。能够通过使动臂42、斗杆44和铲斗46发生变形，来使铲斗46移动。以下，将动臂42、斗杆44以及铲斗46总称时称为移动部40。此外，动臂42、斗杆44以及铲斗46有时被称为前部。

在操纵室38的内部设置有操纵座32。在操纵室38的侧面设置有包围操纵座32的前窗38f、右窗38g、左窗38h以及后窗38j。在操纵室38，在操纵座32的附近设置有利用多个杆等操纵移动部40的操作输入部54。操纵者在操纵座32上一边从各窗38f～38j观察周围，一边对操作输入部54进行操作来操纵移动部40。

当利用操作输入部54输入操作时，根据该操作，多个液压阀58进行开闭。与液压阀58的开闭相应地，向多个液压缸56送出从液压泵(未图示)供给来的工作油。多个液压缸56根据工作油的送出量进行伸缩，来使移动部40发生变形，从而使动臂42、斗杆44以及铲斗46移动。另外，当利用操作输入部54输入与回转有关的操作时，根据该操作，回转驱动部60使上部车体部34和移动部40一体地回转。像这样，动臂42、斗杆44以及铲斗46根据操纵者的操纵进行变形和回转，由此能够使移动范围三维地移动。

在本实施方式中，如图3所示，将对操作输入部54进行了操作时、移动部40所能够移动的立体的范围定义为移动范围Rm。

图4是示意性地示出操纵者的前方视野的图。如该图所示，前方视野的右侧被臂机构48遮挡。为了确保铲斗46的前端部的视野，靠上部车体部34的左侧配置操纵室38和操纵座32。在该情况下，虽然能够确保铲斗46的前端部周边的视野，但铲斗46的右侧的视野还是不充分。

像这样，操纵者的前方视野被臂机构48遮挡。也就是说，如图3所示，移动部40使从操纵座32观察的移动范围Rm形成了大的死角区域Az。因此，在死角区域Az内使铲斗46移动时，操纵者需要一边大幅度地改变姿势、例如从操纵座探出身体等，一边进行操纵，给操纵者带来很大的负担。另外，操纵者也有可能看漏障碍物。

为了弥补前方视野，考虑在配置于操纵座32的附近的显示器上显示拍摄死角区域Az得到的影像。但是，在该情况下，要一边同时确认显示器的影像和作业内容一边进行操纵，操纵者的负担反而增大。

因此，本实施方式的操纵辅助系统1具备获取部10和动作控制部20，以减轻操纵者的负担。获取部10获取与移动部40的移动范围Rm有关的第一图像信息Gp。动作控制部20基于第一图像信息Gp使移动部40进行回避与障碍物接触的回避动作。由于移动部40自动地进行回避动作，因此能够减轻操纵者的负担。

对获取部10进行说明。获取部10包括能够拍摄图像以获取第一图像信息Gp的图像传感器12。图像传感器12使用图像传感器等来拍摄移动范围Rm的一部分或全部。也能够仅设置一个图像传感器12，但在该情况下，不易消除由移动部40产生的死角。因此，获取部10也可以具备从互不相同的位置或方向拍摄移动部40的多个图像传感器12。在图3的例子中，设置有隔着移动部40左右分开地配置的2个图像传感器12-A、12-B。在该图中，附图标记Ad-A、Ad-B表示图像传感器12-A、12-B的摄像范围。

由于2个图像传感器12配置在移动部40的左右两侧，因此能够相互弥补摄像范围Ad从而大幅地减少死角。也就是说，2个图像传感器12能够配置为对于一方成为死角的区域对于另一方不会成为死角。在图3的例子中，摄像范围Ad-A、Ad-B是在移动部40的附近有一部分重叠、并从此处向右和向左扩展的扇形的区域。

2个图像传感器12-A、12-B可以隔着移动部40左右对称地配置。在该情况下，容易将2个传感器的摄像结果合成来形成一体。此外，2个图像传感器12-A、12-B也可以不对称地配置。2个图像传感器12-A、12-B的沿着摄像范围Ad的中心的方向(以下称为“视野方向”)可以是平行的，也可以是不平行的。在图3的例子中，图像传感器12-A的视野方向相对于前后方向向右倾斜，图像传感器12-B的视野方向相对于前后方向向左倾斜。在该情况下，与视野方向平行的情况相比，能够使可摄像范围向左右扩展。

此外，通过具备2个图像传感器12-A、12-B，能够计算2个传感器的摄像结果之差，而根据其结果高精度地确定出移动部40与人8的位置及距离。除此以外，通过使图像传感器为2台，测量视野被扩大，因此即使在进行高速回转时有物体突然侵入回转范围内的情况下或者有人侵入移动部40的背侧的情况下，也能够迅速地进行回避动作。另外，由于能够获得视差，因此能够获取立体的图像信息。

对获取部10的配置高度没有限定，但期望是能够减小死角的位置。在图1的例子中，获取部10被配置在比操纵室38的室顶高的位置。在该情况下，易于拍摄铲斗46进行作业的地面。多个图像传感器12的配置高度可以彼此相同，也可以互不相同。

在第一图像信息Gp中，也能够不包括与移动部40有关的图像信息，但在该情况下，不易确定出移动部40与障碍物之间的距离。因此，本实施方式的获取部10中，构成为使第一图像信息Gp包括与移动部40有关的图像信息。具体而言，配置为使2个图像传感器12中的一方对包括移动部40的左侧面的区域进行拍摄，另一方对包括移动部40的右侧面的区域进行拍摄。由此，在移动部40的左右任一侧存在障碍物的情况下，均能够根据2个图像传感器12中的一方的图像传感器12的摄像结果，确定出移动部40与障碍物之间的距离。

参照图2来说明动作控制部20。图2所示的各功能块在硬件上能够利用以计算机的CPU为代表的电子元件、机械部件等来实现，在软件上利用计算机程序等来实现，但在此描述了通过硬件与软件的协作来实现的功能块。因而，这些功能块能够通过硬件和软件的组合来以各种形式实现，这是本领域技术人员所能理解的。

如图2所示，动作控制部20具有图像信息生成部20a、识别部20b、距离确定部20d、存储部20m、回避控制部20f、阀控制部20g、接触估计部20p以及信息输出部20e。图像信息生成部20a对获取部10的多个图像传感器12的第一图像信息Gp进行整合来生成第二图像信息Gs。阀控制部20g能够基于回避控制部20f的控制来控制液压阀58的开闭。

识别部20b依次识别人等障碍物、移动部40以及作业机械主体。例如，能够根据与过去生成的第二图像信息Gs之差，来区分发生变化的区域和没有发生变化的区域，根据没有发生变化的区域识别出作业机械主体。另外，能够根据发生变化的区域的变化图案的差异来区分识别出障碍物和移动部40。能够通过依次进行这样的识别处理，来学习障碍物、移动部40以及作业机械主体的变化图案，从而提高识别精度。

识别部20b包括障碍物识别部20c、人识别部20h、移动部识别部20j以及特征DB20k。特征DB20k是预先存储有与障碍物有关的特征信息Fi的数据库。障碍物识别部20c基于由图像信息生成部20a生成的第二图像信息Gs和特征DB20k中预先存储的特征信息Fi，来识别障碍物的种类。以下，作为一例，说明障碍物是人的情况，该说明对人以外的障碍物也能够同样地适用。

对人识别部20h进行说明。图5是用于说明人识别部20h的图。如果细致地识别人的各部位，则运算时间变长。如果为了缩短运算时间而具备高速的运算元件，则在成本上是不利的。因此，在本实施方式中，提取人的特征点，并将基于该特征点的规定的范围确定为人的范围。

在图5的例子中，将人8的脚下8b作为特征点。根据与地面的对比度及形状的特征，易于确定出人8的脚下8b。特别地，本实施方式的人识别部20h在障碍物为人8时确定出该人8的脚下8b，并将从脚下8b起到规定的高度Hh为止的范围识别为人8的范围。另外，人识别部20h也可以将以脚下8b为中心的规定直径Dh的圆筒状的范围设为人8的范围。作为一例，高度Hh可以设为2m，直径Dh可以设为1m。在该情况下，能够使用廉价的运算元件来在实用的运算时间内确定出人的范围。

此外，人8的范围既可以基于包括脚下8b的图像信息来计算，也可以基于人8的除脚下8b以外的图像信息来计算。例如，人8的范围也可以基于人8的除脚下8b以外的骨骼信息(除人的脚下以外的信息等)来计算。

对移动部识别部20j进行说明。图6是用于说明移动部识别部20j的图。移动部识别部20j对移动部40和作业机械主体进行识别。特别是，移动部识别部20j使用预先存储的移动部40的与规定部分有关的坐标信息，来识别移动部40的范围。

对坐标信息进行说明。在移动部40的动臂42、斗杆44以及铲斗46上分别预先设定测量点14a、14b以及14c。测量点14a～14c可以设定在螺栓、孔等已有的具有特定形状的部分。在图6的例子中，测量点14a～14c使用设置在动臂42、斗杆44以及铲斗46上的标记。

移动部识别部20j基于基准坐标信息Zp和获取坐标信息Zs来确定作业机械100的范围。基准坐标信息Zp是根据过去生成的第二图像信息Gs确定的坐标信息。获取坐标信息Zs是根据随时获取的当前时刻的第二图像信息Gs确定的坐标信息。例如，基准坐标信息Zp能够根据在使作业机械100为标准姿势的状态下生成的第二图像信息Gs来确定。确定出的基准坐标信息Zp被存储到存储部20m中。

另外，为了确定作业机械100的范围，在存储部20m中存储外形信息Ei，该外形信息Ei是根据作业机械100的设计信息生成的、与作业机械100的外形坐标有关的信息。能够根据外形信息Ei和获取坐标信息Zs来确定作业机械100的获取时(当前)的范围。另外，移动部识别部20j能够基于获取坐标信息Zs、根据测量点14a～14c的相对位置和相对角度，随时通过运算确定出移动部40的姿势、位置以及范围。例如，能够通过使用获取坐标信息Zs与基准坐标信息Zp之差，来进行该运算。

对距离确定部20d进行说明。图7是用于说明距离确定部20d的图。距离确定部20d通过运算来确定障碍物与移动部40的相对的最短距离。例如，距离确定部20d能够根据由人识别部20h确定出的人8的范围和由移动部识别部20j确定出的移动部40的范围，来确定从人8到移动部40的最短的相对距离Ds。在图7的例子中，根据测量点14a～14c和人8各自的平面坐标和相对于图像传感器12的角度，来确定从人8到移动部40的相对距离Ds。

对回避控制部20f进行说明。图8是用于说明回避控制部20f的图。在确定了相对距离Ds的情况下，能够采用各种方法来回避人8与移动部40的接触。作为一例，在本实施方式中，回避控制部20f根据人8与移动部40之间的相对距离Ds来使移动部40的移动方式变化，使得进行多个回避动作。

在本实施方式中，当移动部40接近到与人8相距规定的第一距离D1以内时，回避控制部20f进行控制，以降低移动部40的移动速度(回避动作1)。例如，可以是，在相对距离Ds为第一距离D1以下的情况下施加制动，以使移动部40的移动速度为规定的速度以下。回避控制部20f能够控制回转驱动部60来降低上部车体部34的回转速度。另外，回避控制部20f通过经由阀控制部20g控制液压阀58，能够降低移动部40的动臂42、斗杆44以及铲斗46的回转速度。通过使移动部40减速到缓行速度，能够在变为危险状态时立即停止。

此外，也可以是，在阀控制部20g的控制与操作输入部54的控制冲突的情况下，使阀控制部20g对液压阀58的控制优先。对于以下的控制也是同样的。

在本实施方式中，当移动部40接近到与人8相距规定的第二距离D2以内时，回避控制部20f进行控制，以使移动部40停止移动(回避动作2)。例如，可以是，在相对距离Ds为第二距离D2以下的情况下，使移动部40停止移动。在该情况下，可以是，回避控制部20f使上部车体部34停止回转，并且使移动部40的动臂42、斗杆44以及铲斗46停止转动。

即使对回转和转动施加制动力，也存在由于上部车体部34、移动部40的惯性而导致它们不能立即停止、从而没能回避与人8接触的情况。因此，在本实施方式中，当移动部40接近到与人8相距规定的第三距离D3以内时，回避控制部20f进行控制，以改变移动部40的移动路线(回避动作3)。例如，在相对距离Ds为第三距离D3以下的情况下，也可以使移动部40、特别是铲斗46上升来改变移动路线。在该情况下，可以是，回避控制部20f对上部车体部34的回转驱动部60施加制动，并且通过经由阀控制部20g控制液压阀58，来使动臂42、斗杆44以及铲斗46上升。

此外，第三距离D3可以比第二距离D2小，第二距离D2可以比第一距离D1小。也就是说，它们可以具有D3<D2<D1的关系。这些距离能够通过实验、模拟等来设定。

对接触估计部20p进行说明。图9是用于说明接触估计部20p的图。接触估计部20p根据移动部40和人8的坐标、移动方向以及移动速度，来通过运算模拟它们的移动路线，从而求出估计移动路线。图9的(a)示意性地示出移动部40和人8的估计移动路线。该图示出左右方向和前后方向的坐标上的各自的估计移动路线。接触估计部20p基于移动部40与人8的估计移动路线，来求出每个时间的移动部40与人8的估计相距距离Dq。图9的(b)示出估计相距距离Dq相对于时间的变化。

回避控制部20f根据估计相距距离Dq，来进行预防移动部40与人8的接触的接触预防动作。例如，回避控制部20f在预测为估计相距距离Dq将变为规定的阈值D4以下时，执行接触预防动作。该接触预防动作可以是使移动部40减速的动作、使移动部40停止移动的动作、变更移动部40的移动路线的动作。另外，可以设定多个阈值D4，基于估计相距距离Dq和多个阈值D4来变更接触预防动作的内容。

信息输出部20e将同障碍物与移动部40之间的距离有关的信息输出到内部或外部。作为一例，信息输出部20e可以将有无障碍物、移动部40与人8之间的相对距离Ds、估计相距距离Dq等信息或与回避动作有关的信息输出到信息终端50。信息终端50可以通过文字或图形来显示这些信息。信息终端50可以设置于操纵室38。另外，信息输出部20e也可以基于这些信息来以声音或光的形式输出规定的警报。

接着，参照图10的流程图来说明与由获取部10和动作控制部20进行的回避控制有关的处理S70。在此，对障碍物是人的例子进行说明。

当开始进行处理S70时，获取部10获取与移动部40的移动范围Rm有关的图像信息(步骤S71)。

接着，动作控制部20根据由获取部10获取到的图像信息来识别障碍物(步骤S72)。

在没有障碍物的情况下(步骤S72为“否”)，动作控制部20使处理返回到步骤S71，重复进行从步骤S71起的处理。在存在障碍物的情况下(步骤S72为“是”)，动作控制部20使处理进入步骤S73。

接着，动作控制部20通过障碍物识别部20c识别障碍物的种类(步骤S73)。

接着，在障碍物为人的情况下，动作控制部20通过人识别部20h确定人的范围(步骤S74)。

接着，动作控制部20通过移动部识别部20j识别移动部40的范围(步骤S75)。

接着，动作控制部20通过距离确定部20d确定人与移动部40之间的相对的最短距离Ds(步骤S76)。

接着，动作控制部20通过回避控制部20f，根据距离Ds的大小使移动部40进行回避动作(步骤S77)。

在距离Ds大于第一距离D1的情况下(步骤S77的“A”)，动作控制部20使处理返回到步骤S71，重复进行从步骤S71起的处理。

在距离Ds为第一距离D1以下的情况下(步骤S77的“B”)，动作控制部20降低移动部40的移动速度(步骤S78)。

在距离Ds为第二距离D2以下的情况下(步骤S77的“C”)，动作控制部20使移动部40停止移动(步骤S79)。

在距离Ds为第三距离D3以下的情况下(步骤S77的“D”)，动作控制部20改变移动部40的移动路线。(步骤S80)。

当步骤S78、S79、S80结束时，动作控制部20使处理返回到步骤S71，重复进行从步骤S71起的处理。处理S70只是一例，也可以追加其它步骤，或者变更或删除一部分的步骤，或者调换步骤的顺序。

接着，对本发明的第一实施方式所涉及的作业机械的操纵辅助系统1的特征进行说明。操纵辅助系统1具备：获取部(10)，其获取与作业机械100的移动部40的移动范围Rm有关的图像信息Gp；以及动作控制部20，其基于图像信息Gp使移动部40进行回避与障碍物接触的动作。

根据该结构，移动部40自动地进行回避动作以回避与障碍物接触，因此操纵变得容易，能够减轻操纵者的负担。另外，由于确保了安全性，因此能够提高移动部40的移动速度，来实现作业效率的提高。

也可以是，获取部10构成为使图像信息Gp包括与移动部40有关的图像信息。在该情况下，由于在图像信息Gp中能够一体地捕捉到移动部40和障碍物，因此易于高精度地掌握相距距离。

也可以是，获取部10包括从互不相同的位置拍摄移动部40的多个图像传感器12。在该情况下，由于使用多个图像传感器12，因此能够减少图像传感器12的死角。另外，能够立体地捕捉移动部40和障碍物的位置和范围，实现防止障碍物的漏探测。另外，通过使图像传感器12为多个，测量视野被扩大，因此即使在进行高速回转时有物体突然侵入回转范围内或者有人突然侵入移动部40的背侧的情况下，也能够迅速地进行回避动作。

也可以是，当移动部40接近到与障碍物相距第一距离D1以内时，动作控制部20进行控制，以降低移动部40的移动速度。在该情况下，由于移动速度降低，因此易于回避与障碍物的接触。

也可以是，当移动部40接近到与障碍物相距第二距离D2以内时，动作控制部20进行控制，以使移动部40停止移动。在该情况下，由于使移动部40停止移动，因此进一步易于回避与障碍物的接触。

也可以是，当移动部40接近到与障碍物相距第三距离D3以内时，动作控制部20进行控制，以改变移动部40的移动路线。在该情况下，即使在由于惯性而不能紧急停止的情况下，也能够改变移动部40的移动路线来实现回避接触。

也可以是，动作控制部20具有障碍物识别部20c，该障碍物识别部20c使用预先存储的与障碍物有关的特征信息，来识别障碍物的种类。在该情况下，能够根据估计出种类的障碍物的种类来选择回避方法和范围。

也可以是，具备人识别部20h，当障碍物是人时，该人识别部20h确定出该人8的脚下8b，并将从该脚下8b起到规定的高度为止的范围识别为人8的范围。在该情况下，易于根据与地面的对比度以及形状的特征来确定出脚下8b，因此能够通过将从脚下8b起到相当于身高的高度为止的范围设为人的范围，来选择适当的回避方法和范围。动作控制部20也可以包括人识别部20h。在该情况下，与将人识别部20h与动作控制部20分开地设置的情况相比，能够使结构紧凑。

也可以是，具备移动部识别部20j，该移动部识别部20j使用移动部40的被预先存储的与规定部分有关的坐标信息，来识别移动部40的范围。在该情况下，通过将特征点设为预先设定的部分，使识别变得容易，能够高速或高精度地估计移动部40的范围。能够减少回避动作的延迟。动作控制部20也可以包括移动部识别部20j。在该情况下，与将移动部识别部20j与动作控制部20分开地设置的情况相比，能够使结构紧凑。

也可以是，移动部40构成为根据操纵者的操纵进行移动，移动部40使从作业机械100的操纵座32观察的移动范围Rm形成了死角区域。在该情况下，由于作业机械100自主地回避与障碍物的接触，因此即使在移动范围Rm内存在死角区域的情况下，操纵者也能够不探出身体地进行操纵。

也可以是，具备信息输出部20e，该信息输出部20e输出同障碍物与移动部40之间的距离有关的信息。在该情况下，能够向内部或外部通知与距离有关的信息。

接着，对本发明的第二实施方式～第四实施方式进行说明。在第二实施方式～第四实施方式的附图及说明中，对与第一实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与第一实施方式重复的说明，重点说明与第一实施方式不同的结构。

[第二实施方式]

本发明的第二实施方式是一种作业机械的操纵辅助方法。该操纵辅助方法包括以下步骤：步骤S71，获取与具有移动部40的作业机械100的移动部40的移动范围Rm有关的图像信息Gp；以及步骤S72～S80，基于图像信息Gp使移动部40进行回避与障碍物接触的动作。

根据第二实施方式的结构，起到与第一实施方式同样的作用效果。

[第三实施方式]

本发明的第三实施方式是一种作业机械100的操纵辅助系统1的维护辅助方法。该维护辅助方法S90包括步骤S91，在该步骤S91中，基于获取到的图像信息与预先存储的基准图像信息的比较结果，来判定是否需要维护操纵辅助系统1。

基准图像信息可以是第二图像信息Gs(以下，称为图像信息Gs-A)，该第二图像信息Gs是在过去例如引进作业机械100时等、动臂42、斗杆44以及铲斗46被配置在原点位置的状态下获取到的。获取到的图像信息可以是第二图像信息Gs(以下，称为图像信息Gs-B)，该第二图像信息Gs是在当前时刻、动臂42、斗杆44以及铲斗46被配置在原点位置的状态下获取到的。

也可以是，在步骤S91中，根据图像信息Gs-A、Gs-B来确定测量点14a～14c的过去和当前的坐标，在其差超过阈值的情况下，判定为操纵辅助系统1需要维护，在不超过阈值的情况下，判定为不需要维护操纵辅助系统1。

也可以是，在判定为需要维护的情况下，动作控制部20的信息输出部20e将判定结果输出到信息终端50。另外，也可以是，信息输出部20e基于判定结果来以声音或光的形式输出规定的警报。

根据第三实施方式，能够准确地掌握操纵辅助系统1是否需要维护。另外，能够高精度地校准动臂42、斗杆44以及铲斗46的原点位置。

[第四实施方式]

本发明的第四实施方式是建筑机械1000。该建筑机械1000具备：移动部40；获取部10，其获取与移动部40的移动范围Rm有关的图像信息Gp；以及动作控制部20，其基于图像信息Gp使移动部40进行回避与障碍物接触的动作。建筑机械1000例如可以是使铲斗46移动来进行建筑作业的机械。建筑机械1000的移动部40可以具备叉子、锤子、破碎机等多种附属构件来代替铲斗。根据第四实施方式的结构，起到与第一实施方式同样的作用效果。

以上，详细地说明了本发明的实施方式的例子。上述的实施方式均只是用于示出实施本发明时的具体例。实施方式的内容并不用于限定本发明的技术范围，在不脱离权利要求书所规定的发明的思想的范围内，能够进行结构要素的变更、追加、删除等多种设计变更。在上述的实施方式中，关于能够进行这种设计变更的内容，标注“实施方式的”、“在实施方式中”等表述进行说明，但并不是不允许对没有这样的表述的内容进行设计变更。

[变形例]

以下，对变形例进行说明。在变形例的附图及说明中，对与实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与实施方式重复的说明，重点说明与第一实施方式不同的结构。

在第一实施方式的说明中，示出了作业机械是使铲斗46移动来进行建筑作业的建筑机械的例子，但本发明不限定于此，也能够应用于建筑机械以外的作业机械。

在第一实施方式的说明中，示出了障碍物为人的例子，但本发明不限定于此。第一实施方式的说明也能够应用于人以外的障碍物。

在第一实施方式的说明中，示出了图像传感器12由2个图像传感器构成的例子，但本发明不限定于此。图像传感器12既可以由单个图像传感器构成，也可以由3个以上的图像传感器构成。

在第一实施方式的说明中，示出了图像传感器12设置于操纵室38的室顶的例子，但本发明不限定于此。例如，图像传感器12也可以包括从远离作业机械100的位置进行拍摄的外部图像传感器。例如，外部图像传感器既可以搭载于飞行器，也可以吊在张设在上空的线等上。在该情况下，由于使用远离作业机械设置的图像传感器，因此能够实现防止障碍物的漏探测。

在第一实施方式的说明中，示出了第一距离～第三距离D1～D3固定而与障碍物的种类无关的例子，但本发明不限定于此。例如，第一距离～第三距离D1～D3也可以根据障碍物的种类进行变更。在障碍物是人的情况下，相比于除此以外的情况，可以增大第一距离～第三距离D1～D3。

在第一实施方式的说明中，示出了信息终端50设置于操纵室38的例子，但本发明不限定于此。例如，信息终端50也可以是位于作业机械100的外部的作业人员所持有的平板终端等便携式终端。

在第一实施方式的说明中，示出了作业机械100由就座于操纵座32的操纵者进行操纵的例子，但本发明不限定于此。例如，作业机械也可以是进行自动操纵或被遥控操纵的机械。

上述的变形例起到与第一实施方式同样的作用和效果。

上述的实施方式和变形例的任意的组合，作为本发明的实施方式也是有用的。通过组合而产生的新的实施方式兼具有所组合的实施方式和变形例各自的效果。

Claims (16)

1.一种作业机械的操纵辅助系统，具备：

获取部，其获取与作业机械的移动部的移动范围有关的图像信息；以及

动作控制部，其基于所述图像信息使所述移动部进行回避与障碍物接触的动作。

2.根据权利要求1所述的作业机械的操纵辅助系统，其特征在于，

所述获取部构成为使所述图像信息包括与所述移动部有关的图像信息。

3.根据权利要求1或2所述的作业机械的操纵辅助系统，其特征在于，

所述获取部包括从互不相同的位置拍摄所述移动部的多个图像传感器。

4.根据权利要求1至3中的任一项所述的作业机械的操纵辅助系统，其特征在于，

当所述移动部接近到与所述障碍物相距第一距离以内时，所述动作控制部进行控制，以降低所述移动部的移动速度。

5.根据权利要求1至4中的任一项所述的作业机械的操纵辅助系统，其特征在于，

当所述移动部接近到与所述障碍物相距第二距离以内时，所述动作控制部进行控制，以使所述移动部停止移动。

6.根据权利要求1至5中的任一项所述的作业机械的操纵辅助系统，其特征在于，

当所述移动部接近到与所述障碍物相距第三距离以内时，所述动作控制部进行控制，以改变所述移动部的移动路线。

7.根据权利要求1至6中的任一项所述的作业机械的操纵辅助系统，其特征在于，

所述动作控制部具有障碍物识别部，所述障碍物识别部使用预先存储的与障碍物有关的特征信息，来识别所述障碍物的种类。

8.根据权利要求7所述的作业机械的操纵辅助系统，其特征在于，

还具备人识别部，当所述障碍物是人时，所述人识别部确定出该人的脚下，并将从该脚下起到规定的高度为止的范围识别为该人的范围。

9.根据权利要求8所述的作业机械的操纵辅助系统，其特征在于，

所述动作控制部包括所述人识别部。

10.根据权利要求1至9中的任一项所述的作业机械的操纵辅助系统，其特征在于，

还具备移动部识别部，所述移动部识别部使用所述移动部的被预先存储的与规定部分有关的坐标信息，来识别所述移动部的范围。

11.根据权利要求10所述的作业机械的操纵辅助系统，其特征在于，

所述动作控制部包括所述移动部识别部。

12.根据权利要求1至10中的任一项所述的作业机械的操纵辅助系统，其特征在于，

所述移动部构成为根据操纵者的操纵进行移动，

所述移动部使从所述作业机械的操纵座观察的所述移动范围形成了死角区域。

13.根据权利要求1至12中的任一项所述的作业机械的操纵辅助系统，其特征在于，

还具备信息输出部，所述信息输出部输出同所述障碍物与所述移动部之间的距离有关的信息。

14.一种作业机械的操纵辅助方法，包括以下步骤：

获取与作业机械的移动部的移动范围有关的图像信息；以及

基于所述图像信息使所述移动部进行回避与障碍物接触的动作。

15.一种操纵辅助系统的维护辅助方法，包括以下步骤：

基于获取到的所述图像信息与预先存储的基准图像信息的比较结果，来判定是否需要维护根据权利要求1所述的作业机械的操纵辅助系统。

16.一种建筑机械，具备：

移动部；

获取部，其获取与所述移动部的移动范围有关的图像信息；以及

动作控制部，其基于所述图像信息使所述移动部进行回避与障碍物接触的动作。

Images