CN111903122B - 工程机械操纵装置 - Google Patents

Abstract

工程机械操纵装置(40)具备拍摄作为下部行走体(10)的一部分的特定部位来获取拍摄图像的摄像机(27)和控制器(60)，控制器(60)具备：设定上部回转体(20)相对于下部行走体(10)的目标回转角度的设定部(61)；以及使显示画面显示于显示部(50)的显示控制部(62)，其中，该显示画面是将表示特定部位的目标位置的目标图像重叠显示于当上部回转体(20)相对于下部行走体(10)的回转角度达到目标回转角度时特定部位被显示在拍摄图像上的位置的画面。

Description

工程机械操纵装置

技术领域

本发明涉及一种能够对工程机械进行远程操纵的工程机械操纵装置。

背景技术

近年，正在开发操作人员从远隔地对工程机械进行远程操纵的远程操纵系统的技术。在远程操纵工程机械时，操作人员通过设置在工程机械的摄像机拍摄的图像目视确认工程机械周围的状况。因此，在进行远程操纵的情况下，与在驾驶室内操纵的情况相比，操作人员能够获得的视觉信息有限。其结果，操作人员不能直接目视下部行走体，存在难以使上部回转体相对于下部行走体的回转角度与作为目标的回转角度一致的问题。

例如，在专利文献1公开了在显示器上显示上部回转体相对于下部行走体的回转位置关系，并且，当使下部行走体行走的操作被输入时将以坐在驾驶席的操作人员为基准表示工程机械的行走方向的图像显示于显示器的工程机械。

但是，在专利文献1中只不过是通过显示器向操作人员提示工程机械的行走方向，因此存在即使将专利文献1的技术适用于远程操纵，操作人员也不能将上部回转体的回转角度容易地与作为目标的回转角度一致的问题。

此外，专利文献1是以操作人员在驾驶室内操纵工程机械为前提的技术。因此，在专利文献1中，由于操作人员能够直接目视下部行走体，所以不会发生难以使上部回转体的回转角度与作为目标的回转角度一致的所述的远程操纵特有的问题。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2007-198040号

发明内容

对此，本发明的目的在于提供一种能够容易地将上部回转体相对于下部行走体的回转角度与作为目标的回转角度一致的工程机械操纵装置。

本发明一个方面所涉及的工程机械操纵装置对具备下部行走体和相对于所述下部行走体可回转的上部回转体的工程机械进行远程操纵，其包括：

显示部；

摄像机，被配置在所述上部回转体，拍摄作为所述下部行走体的一部分的特定部位并获取拍摄图像；以及，

控制器，其中，

所述控制器包括：

设定部，用于设定所述上部回转体相对于所述下部行走体的目标回转角度；以及，

显示控制部，使显示画面显示于所述显示部，其中，所述显示画面是将表示所述特定部位的目标位置的目标图像重叠显示于当所述上部回转体相对于所述下部行走体的回转角度达到所述目标回转角度时所述特定部位被显示在所述拍摄图像上的位置的画面。

根据所述构成，能够容易地将上部回转体相对于下部行走体的回转角度与作为目标的回转角度一致。

附图说明

图1是表示工程机械1以及工程机械操纵装置40的框图。

图2是从上方观察图1所示的工程机械1的图。

图3是表示上部回转体20相对于下部行走体10回转的状态的图。

图4是表示由驾驶室内摄像机27a拍摄的拍摄图像的图。

图5是表示由右侧方摄像机27c拍摄的拍摄图像的图。

图6是表示工程机械1的变形例的图。

图7是表示拍摄图像的变形例的图。

具体实施方式

参照图1及图5说明图1所示的工程机械操纵装置40以及使用工程机械操纵装置40的工程机械1。

工程机械1例如由进行建筑作业的建筑机械构成。工程机械1例如是液压挖掘机等。尤其在本实施方式中，工程机械1采用能够远程操纵的远程挖掘机。工程机械1具备下部行走体10、上部回转体20、附属装置31、摄像机27以及机械侧控制器35。

下部行走体10被设置在工程机械1的下部，使工程机械1行走。如图2所示，下部行走体10具备下部框架11和左右一对履带13。履带13使工程机械1行走。履带13被安装在下部框架11的左右。左右一对履带13分别沿下部行走体10的前后方向延伸。设下部行走体10的前后方向的其中一侧为前侧X10。前侧X10是下部行走体10前进的方向。

上部回转体20被设置在下部行走体10上，相对于下部行走体10回转。上部回转体20具备驾驶室21、防护罩23、配重25以及摄像机27。在上部回转体20安装附属装置31。在此，设上部回转体20相对于下部行走体10回转的中心为回转中心O。设从配重25朝向附属装置31的一侧为上部回转体20的前后方向的前侧X20。驾驶室21是用于操作人员操纵工程机械1的驾驶室。在本实施方式中，由于操作人员远程操纵工程机械1，因此无需在驾驶室21操纵工程机械1。防护罩23覆盖发动机以及泵等设备。配重25是被配置在上部回转体20的后侧部分的重物。

摄像机27为了让远程操纵工程机械1的操作人员获得视觉信息而被设置。摄像机27拍摄工程机械1的周围。摄像机27拍摄下部行走体10的特定部位S。摄像机27可以只设置1个，也可以设置多个。例如，摄像机27包含驾驶室内摄像机27a、左侧方摄像机27b、右侧方摄像机27c以及后方摄像机27d。驾驶室内摄像机27a被配置在驾驶室21的内部，拍摄驾驶室21以及上部回转体20的前方。左侧方摄像机27b拍摄上部回转体20的左侧方。右侧方摄像机27c拍摄上部回转体20的右侧方。左侧方摄像机27b和右侧方摄像机27c分别被配置在例如上部回转体20的左端以及右端等，安装在防护罩23的上面等。后方摄像机27d拍摄上部回转体20的后方。后方摄像机27d例如被配置在上部回转体20的后部，安装在配重25的上面等。另外，摄像机27例如可以是拍摄上部回转体20的斜前方的摄像机27，也可以是拍摄上部回转体20的斜后方的摄像机27。

附属装置31由多关节机械构成。具体而言，附属装置31具备：能够转动地安装在上部回转体20的动臂；能够转动地安装在动臂的斗杆；以及能够转动地安装在斗杆的远端附属件。远端附属件例如是铲斗、液压剪(nibbler)以及破碎机(breaker)。附属装置31安装在上部回转体20，从上部回转体20向前侧X20突出。

返回参照图1。机械侧控制器35进行包含各种信息的各种信号的输入输出等。机械侧控制器35搭载于工程机械1。在工程机械1被远程操纵的情况下，机械侧控制器35根据从工程机械操纵装置40输入的指令使工程机械1工作。

工程机械操纵装置40是被设置在工程机械1的外部，对工程机械1进行远程操纵的装置。工程机械操纵装置40是辅助操作人员的回转操作的装置。工程机械操纵装置40具备座席41、回转操作杆43、控制器60以及通知部70。

座席41用于操作人员就坐。回转操作杆43是用于对工程机械1进行远程操纵的操作杆，由操作人员输入使上部回转体20相对于下部行走体10回转的操作。回转操作杆43被配置在座席41的旁边。在回转操作杆43的操作量大于规定的第一阈值的情况下，上部回转体20相对于下部行走体10回转，在第一阈值以下的情况下，上部回转体20相对于下部行走体10的回转停止。

通知部70包含显示部50和扬声器71，向操作人员通知回转角度θ与目标回转角度的一致度。显示部50由显示图像以及各种信息的液晶显示器等显示装置构成。显示部50被配置在座席41的正面。如图4所示，显示部50在控制器60的控制下显示目标图像53被重叠显示于拍摄图像51的显示画面。扬声器71在控制器60的控制下如后所述地输出对应回转角度θ与目标回转角度的一致度的声音。由显示部50和扬声器71构成通知部70。

拍摄图像51是例如以规定的帧率由摄像机27拍摄工程机械1的周围而获得的图像。拍摄图像51中例如包含履带13。另外，根据回转角度θ，有时履带13可以不被照到拍摄图像51中。例如图4所示，驾驶室内摄像机27a拍摄的拍摄图像51包含驾驶室21内部的图像以及从驾驶室21的内部看到的驾驶室21外部的图像。例如图5所示，右侧方摄像机27c拍摄的拍摄图像51包含表示防护罩23的右侧方的图像。后方摄像机27d拍摄的拍摄图像51可以包含例如表示配重25的后方的图像。在摄像机27设置有多个的情况下，拍摄图像51向显示部50的显示可以按驾驶室内摄像机27a、左侧方摄像机27b、右侧方摄像机27c以及后方摄像机27d的每一个而被切换。

如图4所示，目标图像53是表示下部行走体10的目标位置的图像。目标图像53的详细内容将在后面说明。目标图像53可以显示在显示部50，有时也可以不显示在显示部50。

返回参照图1。控制器60例如由包含CPU等处理器以及非易失性存储器的计算机构成。控制器60进行各种信号的输入输出以及运算。控制器60控制显示部50的显示。控制器60中被输入表示回转操作杆43的操作量的信号。控制器60具备通信电路(图略)，与机械侧控制器35之间通过无线进行信息的发送和接收。控制器60将表示用于使工程机械1工作的指令的信号发送到机械侧控制器35。控制器60从机械侧控制器35以规定的帧率接收摄像机27以规定的帧率拍摄的拍摄图像51。控制器60具备设定部61、显示控制部62、判断部63、通知控制部64以及显示切换部65。这些构成要素可以由控制器60通过执行控制程序来实现，也可以由专用的电气电路构成。

设定部61设定操作人员输入的上部回转体20相对于下部行走体10的目标回转角度。在此，设定部61在回转操作杆43的操作量达到规定量以上时将预先规定的角度设定为目标回转角度即可。或者，设定部61将由操作人员利用设置在工程机械操纵装置40的图略的操作键输入的角度设定为目标回转角度即可。

显示控制部62使在上部回转体20相对于下部行走体10的回转角度θ达到设定部61设定的目标回转角度时特定部位被显示的拍摄图像51上的位置重叠显示目标图像的显示画面显示于显示部50。另外，判断部63、通知控制部64以及显示切换部65的详细内容将在后面说明。

(工作)

工程机械操纵装置40辅助用于使图3所示的回转角度θ成为目标回转角度的由操作人员进行的回转操作。

回转角度θ是上部回转体20相对于下部行走体10的角度。详细而言，回转角度θ是从上方观察工程机械1时以回转中心O为中心、以下部行走体10的前侧X10为基准时的上部回转体20的前侧X20的例如向右的角度。以下，参照图2、图3说明回转角度θ。

目标回转角度可以被设定为任意的角度。例如，目标回转角度是0°、90°、180°以及270°中的至少其中之一。如上所述，目标回转角度由操作人员输入。但这是一例，目标回转角度也可以是由控制器60设定的角度。另外，控制器60设定的目标回转角度与操作人员设定的目标回转角度不同的情况下，例如优先操作人员设定的目标回转角度即可。

在此，如图4所示，设摄像机27拍摄的下部行走体10的一部分为特定部位S。即，特定部位S是指出现于拍摄图像51的下部行走体10的部位，此处为履带13。在图4的例子中，在拍摄图像51只出现左侧的履带13的前端部分，剩下的部位没有出现。而且，右侧的履带13完全没有出现。此时，出现在拍摄图像51的左侧的履带13的前端部分成为特定部位S。在此，采用出现于拍摄图像51的下部行走体10的部位作为特定部位S，但是本发明并不限定于此。特定部位S例如可以是图7所示的排土板115。

(目标图像53)

如图4所示，目标图像53重叠显示于拍摄图像51。目标图像53是表示特定部位S的目标位置的图像。操作人员以使显示于拍摄图像51的特定部位S与目标图像53一致的方式进行回转操作。这样，回转角度θ与目标回转角度一致或大致一致。

在拍摄图像51，目标图像53被显示在当回转角度θ达到目标回转角度时显示于拍摄图像51的特定部位S的显示位置。特定部位S的显示位置采用根据目标回转角度预先计算出的位置。具体而言，对应目标回转角度的特定部位S的显示位置采用考虑在上部回转体20上的摄像机27的位置、上部回转体20的尺寸以及下部行走体10的尺寸而预先计算出的拍摄图像51上的位置。或者，对应目标回转角度的特定部位S的显示位置也可以通过将上部回转体20的回转角度θ定位于目标回转角度，并让摄像机27进行拍摄图像51的摄像，从被拍摄的拍摄图像51确定表示特定部位S的位置的作业而计算出。该作业可以手动进行，也可以通过图像处理来进行。

目标图像53的形状例如可以采用表示特定部位S的形状。例如，目标图像53的形状可以是特定部位S的影子形状，也可以是特定部位S的轮廓形状。目标图像53的形状也可以是表示能够显示特定部位S的范围的形状，也可以是该范围的轮廓形状。

另外，显示控制部62具备将多个目标回转角度和与各回转角度对应的目标图像53的显示位置及形状相互对应的表，通过参照该表，将目标图像53重叠显示于拍摄图像51。

(回转角度θ的一致度的判断、判断部63)

图1所示的控制器60判断回转角度θ与目标回转角度的一致度(以下称为“一致度”)。为了该判断，判断部63利用图像识别处理从拍摄图像51识别出表示特定部位S的图像，并基于识别出的表示特定部位S的图像和目标图像53在拍摄图像51上的位置关系判断一致度。一致度越高，则表示回转角度θ越位于目标回转角度附近。作为图像识别处理，例如可以采用利用将履带13的图像作为模板的模板匹配来识别表示特定部位S的图像的处理。判断部63例如如下地判断一致度。

参照图4。判断部63识别特定部位S中容易进行图像识别的特征性部位即可。作为特征性部位例如可以采用特定部位S的轮廓、特定部位S的轮廓的角(顶点)以及特定部位S的轮廓的一个边。

判断部63可以判断为识别出的表示特定部位S的图像与目标图像53重叠的区域的面积越广，则一致度越高。或者，判断部63也可以判断为表示特定部位S的图像的轮廓与目标图像53的轮廓越处于接近的位置，则一致度越高。此时，判断部63例如根据表示特定部位S的图像的轮廓求出表示特定部位S的图像的重心，并且，根据目标图像53的轮廓求出目标图像53的重心，两个重心的距离越短则判断为一致度越高。

或者，判断部63也可以判断为表示特定部位S的图像的轮廓的一部分和与该一部分相对应的目标图像53的轮廓的一部分的距离越近，则一致度越高。作为轮廓的一部分可以采用轮廓的顶点或直线部分。在此，如果设表示特定部位S的图像的轮廓的一部分为左上的顶点，则与该顶点相对应的是目标图像53的轮廓的左上的顶点。此外，如果设表示特定部位S的图像的轮廓的一部分为左边，则与该左边相对应的是目标图像53的左边。

或者，判断部63也可以判断为表示特定部位S的图像的轮廓的长度方向的直线部分的方向和与该直线部分相对应的目标图像53的轮廓的长度方向的直线部分的方向越近则一致度越高。具体而言，判断部63可以判断为表示特定部位S的图像的轮廓的长度方向的直线部分和目标图像53的轮廓的长度方向的直线部分所成的角度越小则一致度越高。例如，如果设表示特定部位S的图像的轮廓的长度方向的直线部分为表示特定部位S的图像的轮廓的左边，则与该左边相对应的是目标图像53的轮廓的左边。

(对应于回转角度θ的一致度的通知、通知控制部64)

图1所示的通知控制部64根据一致度变更使通知部70通知的通知内容。通知控制部64例如使通知部70进行利用包含映像的光、声音以及振动的至少其中之一的通知。通知控制部64根据一致度切换是否从通知部70输出通知。通知控制部64根据一致度使通知内容如下地变化。

[例A]例A是利用包含映像的光的通知的例子。具体而言如下所述。

[例A1]例A1是通知控制部64让显示部50显示对应于一致度的通知的例子。例A1还有下述的例A1-1、例A1-2两个例子。

[例A1-1]例A1-1是根据一致度使显示于显示部50的目标图像53的显示方式变化的例子。例如，通知控制部64可以根据一致度使目标图像53的形状、色彩以及明亮度的至少其中之一变化。此时，操作人员在回转操作时即使不将视线从目标图像53的显示位置移动到其他位置，也能确认一致度。

作为使目标图像53的形状变化的方式，例如可以采用一致度越高则使目标图像53的尺寸越增大的方式。作为使目标图像53的色彩变化的方式，例如可以采用一致度越高则使目标图像53的彩度越增大的方式。作为使目标图像53的明亮度变化的方式，例如可以采用一致度越高则使目标图像53的明亮度越增大的方式。

[例A1-2]例A1-2是根据一致度使与目标图像53独立地显示于显示部50的显示对象的显示方式变化的例子。该显示对象例如可以采用规定的图标。此外，该显示对象的显示方式的变化的种类可以采用在所述的例A1-1所示的方式，也就是使形状、色彩以及明亮度的至少其中之一变化的方式。

[例A2]例A2是从独立于显示部50而设置的显示器输出通知的方式。此时，通知控制部64可以使例A1-2所示的显示对象从该显示器显示。此外，该显示对象的显示方式的变化的种类可以采用在所述的例A1-1所示的方式。另外，通知控制都64也可以不采用独立于显示部50的显示器而使用发动体来进行通知。此时，通知控制部64例如也可以一致度越高则使从发光体输出的光的强度越增大或越减小。

[例B]例B是通过声音进行通知的例子。具体而言如下所述。通知控制部64根据一致度使扬声器71输出声音。例如，通知控制部64根据一致度使扬声器71输出的声音的大小或种类变化。详细而言，通知控制部64可以随着一致度变高而增大从扬声器71输出的声音即可。或者，通知控制部64可以随着一致度变高而使从扬声器71输出的声音的频率变高或变低。

[例C]例C是利用振动的通知的例子。具体而言如下所述。

[例C1]例C1是根据一致度使回转操作杆43振动的例子。此时，在回转操作杆43配置振动器。并且，通知控制部64可以根据回转角度θ和目标回转角度的一致度使回转操作杆43的振动器的振动强度或振动模式变化即可。例如，通知控制部64可以随着一致度增大而使振动器的振动强度增大或减小。或者，通知控制部64可以随着一致度增大而使振动器的振动模式变化。作为振动模式的变化，例如可以采用随着一致度增大而使振动的频率增大或减小的方式。或者，如果采用使振动器间歇驱动的方式作为振动模式，则可以采用使振动器的间歇驱动的体止时间变化的方式。此外，回转操作杆43的振动可以是向不易影响回转操作杆43的操作的方向的振动。例如，如果回转操作杆43是向前后方向被操作的杆，则可以向回转操作杆43赋予左右方向或上下方向的振动。

[例C2]例C2是根据一致度使座席41振动的例子。此时，在座席41配置振动器。并且，通知控制部64根据一致度使座席41的振动器的振动强度或振动模式变化即可。另外，在例C2赋予座席41的振动器的振动种类可以采用在例C1所示的例子。

另外，在工程机械1设置检测回转角度θ的回转角度传感器的情况下，通知控制部64可以基于回转角度传感器检测出的回转角度θ与目标回转角度的一致度，使从通知部70输出的通知内容变化。作为回转角度传感器例如可以采用解析器(resolver)或编码器。此时，通知控制部64可以判断为回转角度传感器检测出的回转角度θ与目标回转角度的差越接近零则一致度越高即可。在采用该方式的情况下，由于无需进行图像识别处理，所以控制器60的处理负荷减轻。

(目标图像53的显示切换、显示切换部65)

例如，在无需使回转角度θ与目标回转角度一致的情况下，操作人员无需看目标图像53。在此种情况下，如果目标图像53显示在拍摄图像51上，则由于目标图像53的妨碍而操作人员对拍摄图像51的视认性有可能恶化。对此，显示切换部65切换目标图像53向显示部50的显示和非显示。

具体而言，显示切换部65例如在回转操作杆43的操作量为第二阈值(规定量的一例)以上的情况下，以使目标图像53显示于显示部50的方式指示显示控制部62。另一方面，显示切换部65在回转操作杆43的操作量小于第二阈值的情况下，以使目标图像53不显示于显示部50的方式指示显示控制部62。

第二阈值可以采用与第一阈值相同的值。在此，如上所述，第一阈值是用于判断是否实际上开始上部回转体20相对于下部行走体10的回转的阈值。在第二阈值和第一阈值相同的情况下，在上部回转体20实际上开始回转的时机，目标图像53显示于显示部50。此外，在第二阈值不同于第一阈值的情况下，第二阈值可以采用大于表示中立位置的0且小于第一阈值的值。此时，自操作人员开始回转操作杆43的操作起至上部回转体20实际开始回转为止的期间，目标图像53也显示于显示部50。

另外，显示切换部65可以基于与回转操作杆43的操作量成为第二阈值以上的条件不同的另外的条件切换目标图像53向显示部50的显示和非显示。另外的条件例如可以采用操作人员操作设置在工程机械操纵装置40的图略的开关或按钮的条件。

(处理的概要)

接着，说明本发明的实施方式所涉及的工程机械操纵装置40的处理概要。首先，控制器60获取从机械侧控制器35发送来的拍摄图像51。接着，控制器60获取回转操作杆43的操作量。接着，显示切换部65判断所获取的操作量是否为第二阈值以上。在操作量为第二阈值以上的情况下，显示切换部65向设定部61通知操作量达到了第二阈值以上的情况。

接着，设定部61设定目标回转角度。接着，显示控制部62生成在对应于由设定部61设定的目标回转角度的拍摄图像51上的位置重叠显示目标图像53的显示画面，并使其显示于显示部50。接着，判断部63从拍摄图像51识别出表示特定部位S的图像，并基于识别出的表示特定部位的图像与目标图像53的位置关系计算出一致度。

接着，通知控制部64使对应于计算出的一致度的通知从通知部70输出。据此，根据一致度而目标图像53的显示方式被变更，或者从扬声器71输出对应于一致度的声音。

另一方面，在操作量小于第二阈值的情况下，显示切换部65以将显示于显示部50的目标图像53设为非显示的方式指示显示控制部62。接着，显示控制部62将目标图像53设为非显示。通过以上的处理以规定的运算周期反复进行，从而控制目标图像53的显示和非显示。

(远程操纵时的问题的例子)

如图2所示，在使工程机械1直行的情况下，通常如果没有特别的限制，则工程机械1向上部回转体20的前侧X20行走。此时，设回转角度θ为0°，使下部行走体10向前侧X10直行。此外，也可以设回转角度θ为180°，下部行走体10向后侧(前侧X10的相反侧)直行。此外，如图3所示，在使工程机械1向上部回转体20的左右方向行走并进行作业的情况下，有时将回转角度θ设为90°或270°，下部行走体10向前侧X10或后侧直行。

在此，在工程机械1的驾驶室21内操作人员操纵工程机械1的情况下，操作人员可以一边直接目视周围的状况一边使回转角度θ与目标回转角度一致。例如，在作为目标的回转角度θ为0°、90°、180°或270°的情况下，操作人员一边确认驾驶室21的下部框架11的直线状部分和下部行走体10的直线状部分(履带13的轮廓、板等)的平行度或直角度，一边进行回转操作。此时，操作人员可以从各种角度确认驾驶室21和下部行走体10的平行度和直角度。另外，作为目标的回转角度θ可以不是0°、90°、180°、270°。

另一方面，在操作人员对工程机械1进行远程操纵的情况下，与驾驶室21内的操作人员操纵工程机械1的情况相比，操作人员可以获得的视觉信息有限。因此，例如，操作人员难以高精度地掌握所述的平行度和直角度。例如，如果驾驶室内摄像机27a被固定在驾驶室21内，不能从各种角度确认所述的平行度和直角度。这样，由于操作人员可以获得的视觉信息有限，所以存在使实际的回转角度θ与作为目标的回转角度θ一致需要时间和劳力的问题(问题的例1)。此外，由于操作人员可以获得的视觉信息有限，所以存在即使实际的回转角度θ相对于作为目标的回转角度θ略有偏离，操作人员也难以觉察到该偏离的问题(问题的例2)。因此，工程机械1有可能朝向与操作人员想要的方向不同的方向行走。

另一方面，在本实施方式的工程机械操纵装置40中，由于目标图像53重叠显示于拍摄图像51，因此，操作人员能够容易使回转角度θ与目标回转角度一致。另外，在工程机械操纵装置40中，也可以只解决所述的问题的一部分。

(效果)

图1所示的工程机械操纵装置40的效果如下所述。

(第一发明效果)

工程机械操纵装置40能够对工程机械1进行远程操纵。工程机械1具备下部行走体10和相对于下部行走体10回转的上部回转体20。工程机械操纵装置40具备配置在上部回转体20并拍摄作为下部行走体10的一部分的特定部位S来获取拍摄图像51的摄像机27、显示部50以及控制器60。

[构成1]控制器60具备：设定上部回转体20相对于下部行走体10的目标回转角度的设定部61；以及使显示画面显示于显示部50的显示控制部62，其中，该显示画面是将表示特定部位的目标位置的目标图像重叠显示于当上部回转体20相对于下部行走体10的回转角度达到目标回转角度时特定部位被显示在拍摄图像51上的位置的画面。

在所述[构成1]，如果操作人员以在显示有目标图像53的位置上显示特定部位S的方式进行回转操作，则回转角度θ与目标回转角度一致。据此，操作人员尽管对工程机械1进行远程操纵，也能容易使回转角度θ与目标回转角度一致。

(第二发明效果)

[构成2]工程机械操纵装置40还具备通知上部回转体20的回转角度θ与目标回转角度的一致度的通知部70。控制器60还具备根据一致度变更使通知部70通知的通知内容的通知控制部64。

根据所述[构成2]，操作人员可以根据从通知部70输出的通知内容掌握回转角度θ与目标回转角度的一致度。其结果，操作人员能够更容易地使回转角度θ与目标回转角度一致。

(第三发明效果)

[构成3]控制器60还具备利用图像识别处理从拍摄图像51识别出表示特定部位S的图像，基于识别出的表示特定部位S的图像和目标图像53在拍摄图像51上的位置关系判断一致度的判断部63。

根据所述[构成3]，由判断部63基于在拍摄图像51上的表示特定部位S的图像和目标图像的位置关系判断回转角度θ与目标回转角度的一致度。据此，即使不使用检测回转角度θ的回转角度传感器检测上部回转体20的回转角度θ，也能求出回转角度θ与目标回转角度的一致度，可以消除在工程机械1设置回转角度传感器的必要性。

(第四发明效果)

[构成4]控制器60还具备切换目标图像53向显示部50的显示和非显示的显示切换部65。

根据所述[构成4]，切换目标图像53向显示部50的显示和非显示。据此，在操作人员无需看目标图像53的情况下，能够将目标图像53设为非显示于显示部50，能够防止在拍摄图像51中目标图像53成为妨碍。

(第五发明效果)

如图1所示，工程机械操纵装置40具备远程操纵上部回转体20相对于下部行走体10的回转的回转操作杆43。

[构成5]显示切换部65当回转操作杆43的操作量为规定量以上时，使目标图像53显示于显示部50，当回转操作杆43的操作量小于规定量时，不让图4所示的目标图像53显示于显示部50。

根据所述[构成5]，能够根据操作人员是否进行想要使回转角度θ与目标回转角度一致的操作来切换目标图像53向显示部50的显示和非显示。更详细而言，当操作人员想要使回转角度θ与目标回转角度一致时，回转操作杆43被操作。对此，在所述[构成5]，当回转操作杆43的操作量为规定量以上时，使目标图像53显示于显示部50。据此，当操作人员想要使回转角度θ与目标回转角度一致时，能够使目标图像53显示于显示部50。此外，当操作人员没有进行想要使回转角度θ与目标回转角度一致的操作时，回转操作杆43处于中立位置。对此，在所述[构成5]，当回转操作杆43的操作量小于规定量时，不让目标图像53显示于显示部50。据此，当操作人员没有进行想要使回转角度θ与目标回转角度一致的操作时，不让目标图像53显示于显示部50。

(第六发明效果)

[构成6]目标回转角度是以所述下部行走体的规定方向为基准，为0°、90°、180°及270°中的至少其中之一。

根据所述[构成6]，获得如下的效果。在目标回转角度以前侧X10为基准0°的情况下，操作人员能够容易地使回转角度θ与0°一致。其结果，操作人员在使下部行走体10前进的情况下，能够使工程机械1准确地向上部回转体20的前侧X10行走。此外，在使下部行走体10后退的情况下，能够使工程机械1准确地向上部回转体20的后侧行走。

此外，在目标回转角度例如以前侧X10为基准向顺时针方向90°的情况下，操作人员能够容易地使回转角度θ与90°一致。其结果，操作人员在使下部行走体10前进的情况下，能够使工程机械1准确地向上部回转体20的左例行走。此外，操作人员在使下部行走体10后退的情况下，能够使工程机械1准确地向上部回转体20的右侧行走。

同样，在目标回转角度例如以前侧X10为基准向顺时针方向180°时使下部行走体10前进的情况下，操作人员能够使工程机械1准确地向上部回转体20的后侧行走。此外，操作人员在目标回转角度例如以前侧X10为基准向顺时针方向180°时使下部行走体10后退的情况下，能够使工程机械1准确地向上部回转体20的前侧X20行走。

此外，在目标回转角度例如以前侧X10为基准向顺时针方向270°时使下部行走体10前进的情况下，能够使工程机械1准确地向上部回转体20的右侧行走。此外，在目标回转角度例如以前侧X10为基准向顺时针方向270°时使下部行走体10后退的情况下，能够使工程机械1准确地向上部回转体的左侧行走。

(变形例)

参照图6及图7，说明工程机械操纵装置40(参照图1)的变形例。如图6所示，下部行走体10也可以具备排土板115(推土铲)。排土板115能够沿上下方向移动地安装在下部框架11。排土板115不能相对于下部框架11沿左右方向(下部行走体10的左右方向)移动。例如，排土板115与履带13相比配置在下部行走体10的前侧X10。排土板115是在下部行走体10的左右方向上长的大致板状。

特定部位S在图4所示的例子中是履带13，但也可以如图7所示是排土板115。在特定部位S为履带13的情况下，在拍摄图像51中对应于目标回转角度的履带13的显示位置决定于一处。另一方面，图7所示的排土板115能够沿上下方向移动。因此，在特定部位S为排土板115的情况下，在拍摄图像51，对应于目标回转角度的排土板115的显示位置不决定于一处而成为规定范围内的位置。所述“规定范围”是以回转角度θ为目标回转角度并使排土板115从上下方向的可动范围的上端移动至下端时的拍摄图像51中的排土板115的显示范围。

此时，目标图像153在回转角度θ被设定为目标回转角度的情况下，由使排土板115从上下方向的可动范围的上端移动至下端时显示于拍摄图像51中的排土板115的整个显示范围的形状形成。目标图像153也可以例如由表示该整个显示范围的影子的形状形成。或者，目标图像153也可以由该整个显示范围的轮廓的形状形成。或者，目标图像153还可以由该整个显示范围中例如左右方向的端部那样表示整个显示范围的一部分的形状形成。

在采用该变形例的情况下，显示控制部62具备将多个目标回转角度和各目标回转角度下的目标图像53的显示位置及形状相互对应的表，参照该表而在拍摄图像51显示对应于目标回转角度的目标图像153即可。

此外，在采用该变形例的情况下，判断部63与所述实施方式同样，从拍摄图像51识别表示排土板115的图像，并判断该图像与目标图像153的一致度即可。但是，该一致度的判断优选考虑排土板115能够沿上下方向移动的情况而进行。例如，判断部63优选不将目标图像153的轮廓相对于拍摄图像51中显示的排土板115的轮廓在上下方向的接近程度用于一致度的判断。

(其他变形例)

所述实施方式和变形例可以进行各种变形。可以将所述实施方式的构成要素的至少一部分和所述变形例的构成要素的至少一部分组合。例如，各构成要素的配置以及形状可以变更。

例如，特定部位S在图4所示的例子中为履带13，在图7所示的例子中为排土板115，但也可是履带13和排土板115双方。

Claims (6)

1.一种工程机械操纵装置，对具备下部行走体和相对于所述下部行走体可回转的上部回转体的工程机械进行远程操纵，其特征在于包括：

显示部；

摄像机，被配置在所述上部回转体，拍摄作为所述下部行走体的一部分的特定部位并获取拍摄图像；以及，

控制器，其中，

所述控制器包括：

设定部，用于设定所述上部回转体相对于所述下部行走体的目标回转角度；以及，

显示控制部，使显示画面显示于所述显示部，其中，所述显示画面是将表示所述特定部位的目标位置的目标图像重叠显示于当所述上部回转体相对于所述下部行走体的回转角度达到所述目标回转角度时所述特定部位被显示在所述拍摄图像上的位置的画面，

作为与所述目标回转角度对应的所述特定部位的显示位置，采用考虑所述上部回转体上的所述摄像机的位置、所述上部回转体的尺寸、以及所述下部行走体的尺寸而预先计算出的所述拍摄图像上的位置。

2.根据权利要求1所述的工程机械操纵装置，其特征在于还包括：

通知部，通知所述回转角度与所述目标回转角度的一致度，其中，

所述控制器还包括根据所述一致度变更让所述通知部通知的通知内容的通知控制部。

3.根据权利要求2所述的工程机械操纵装置，其特征在于，

所述控制器还包括判断部，所述判断部利用图像识别处理从所述拍摄图像识别出表示所述特定部位的图像，基于识别出的表示所述特定部位的图像和所述目标图像在所述拍摄图像上的位置关系判断所述一致度。

4.根据权利要求1至3中任一项所述的工程机械操纵装置，其特征在于，

所述控制器还包括切换所述目标图像向所述显示部的显示和非显示的显示切换部。

5.根据权利要求4所述的工程机械操纵装置，其特征在于还包括：

回转操作杆，被输入用于使所述上部回转体回转的操作，其中，

所述显示切换部，当所述回转操作杆的操作量为规定量以上时使所述目标图像显示于所述显示部，当所述回转操作杆的操作量小于所述规定量时不让所述目标图像显示于所述显示部。

6.根据权利要求1至3、5中任一项所述的工程机械操纵装置，其特征在于，

所述目标回转角度是以所述下部行走体的规定方向为基准，为0°、90°、180°及270°中的至少其中之一。

Images