CN117881851A - 远程操作系统以及远程操作复合系统 - Google Patents

Abstract

本发明提供一种远程操作系统，能减轻处理负荷,以简易的构成示出作业机械的下部行驶体的前后方向。远程操作系统具有分别与作业机械(40)和远程操作装置(20)通信的相互通信功能,作业机械(40)具有下部行驶体(430)和能够相对于下部行驶体(430)回转的上部回转体(450),远程操作装置(20)用于对作业机械(40)进行远程操作。远程操作系统具有支援处理要素(101)，支援处理要素(101)将基于通过配置于作业机械周围的拍摄装置而取得的拍摄图像中下部行驶体(430)的映入状态、和在下部行驶体(430)的前后方向上偏在地配置的指定构成要素的映入状态而生成的、表示下部行驶体(430)的前后方向的至少一方的指标图像至少部分地重叠于拍摄图像中作业机械(40)或其周围而得到的合成图像发送至远程操作装置(20)。

Description

远程操作系统以及远程操作复合系统

技术领域

本发明涉及具有分别与作业机械和用于对该作业机械进行远程操作的远程操作装置进行通信的相互通信功能的远程操作系统。

背景技术

以往,设置多个对作业机械的周围进行拍摄的摄像头、或者能够以相互不同的角度拍摄该作业机械的摄像头,使用由该多个摄像头拍摄到的多个拍摄图像来生成作业机械的俯视图像。

作为这样的作业机械的一例,例如在专利文献1中公开了一种液压挖掘机,其具备:拍摄液压挖掘机的周围的多个摄像头、和基于由多个摄像头拍摄到的图像来生成俯瞰图像的俯瞰图像生成部。

另外,例如,液压挖掘机等作业机械具备下部行驶体、和能够相对于该下部行驶体回转的上部回转体。另外,在上部回转体设置有构成司机室的驾驶室。

在这样的作业机械中,通过上部回转体相对于下部行驶体回转,驾驶室的正面方向与作业机械的前进方向或后退方向有可能成为相互不同的方向。因此,存在操作员难以知道在进行了行驶操作时作业机械向哪个方向行进的问题。

因此,在设置于驾驶室内的监控器上用箭头表示作业机械的行进方向。例如,在专利文献2中公开了一种工程机械的监控装置，其上部回转体能够相对于下部行驶体回转,并且具备对机械周边进行拍摄的摄像头,在配置于驾驶室内的监控画面上显示所述摄像头拍摄到的图像。

现有技术文献

专利文献

专利文献1：日本特开2020-112030号公报

专利文献2：日本专利第5473870号公报

发明内容

发明要解决的技术问题

然而,操作员难以仅通过观察该俯瞰图像来识别下部行驶体的前后方向。因此,存在操作员为了识别下部行驶体的前后方向而不得不使下部行驶体前进或后退的问题。

另外,在专利文献2的监控装置中,根据显示于监控画面的图像的时间变化,推定下部行驶体相对于上部回转体的相对角度。因此,存在需要复杂的图像处理以推定相对角度、处理负荷变高的问题。

本发明是鉴于上述问题而完成的发明,其目的在于提供一种能够实现处理负荷的减轻且能够以简易的构成表示作业机械的前进方向或后退方向的远程操作系统以及包含该远程操作系统的远程操作复合系统。

用于解决上述技术问题的方案

为了达成该目的,本发明的远程操作系统具有分别与作业机械和远程操作装置进行通信的相互通信功能,所述作业机械具有下部行驶体和能够相对于所述下部行驶体回转的上部回转体,所述远程操作装置用于对所述作业机械进行远程操作,所述远程操作系统具有支援处理要素,所述支援处理要素将基于通过配置于所述作业机械周围的拍摄装置而取得的拍摄图像中的所述下部行驶体的映入状态、和在所述下部行驶体的前后方向上偏在地配置的指定构成要素的映入状态而生成的、表示所述下部行驶体的前后方向的至少一方的指标图像至少部分地重叠于所述拍摄图像中的所述作业机械或其周围而得到的合成图像发送至所述远程操作装置。

另外,本发明的远程操作复合系统由所述远程操作系统、和所述远程操作装置以及所述作业机械中的至少一方构成。

根据本发明的远程操作系统以及远程操作复合系统,生成在拍摄图像上重叠有表示作业机械的下部行驶体的前后方向的指标图像的合成图像,该合成图像被发送至远程操作装置,由此操作员能够通过目视该合成图像容易地掌握作业机械的下部行驶体的前后方向。

附图说明

图1是作为本发明的一个实施方式的作业支援系统的构成说明图。

图2是关于图1的远程操作装置的构成的说明图。

图3是关于图1的作业机械的构成的说明图。

图4是关于图1的作业机械的周围的环境的说明图。

图5是表示作业支援系统的作业支援处理的流程图。

图6是表示图2的远程操作装置的图像输出装置的显示方式的说明图。

图7是图5的合成图像生成处理的说明图。

图8是表示图2的远程操作装置的图像输出装置的其他显示方式的说明图。

图9是表示作业支援系统的其他作业支援处理的流程图。

图10是表示第1拍摄图像的第1显示方式的说明图。

图11是表示第1拍摄图像的第2显示方式的说明图。

图12是表示第1拍摄图像的第3显示方式的说明图。

图13是作为本发明的一个实施方式的作业支援系统的构成说明图。

图14是关于图13的远程操作装置的构成的说明图。

图15是关于图13的作业机械的构成的说明图。

图16是表示作业支援服务器的作业支援处理的例子的流程图。

图17是表示图16的前进后退方向计算处理的例子的流程图。

图18是表示拍摄装置拍摄的图像的例子的说明图。

图19是表示拍摄装置拍摄的图像的例子的说明图。

图20是表示拍摄装置拍摄的图像的例子的说明图。

图21是表示拍摄装置拍摄的图像的例子的说明图。

图22是表示拍摄装置拍摄的图像的例子的说明图。

图23是表示作业支援服务器的作业支援处理的另一例子的流程图。

具体实施方式

实施例

(实施例1)

(远程操作系统的构成)

图1所示的作为本发明的一个实施方式的作业支援系统由用于支援远程操作装置20对多个作业机械40的远程操作的作业支援服务器10构成。作业支援服务器10、远程操作装置20、多个作业机械40、第1拍摄装置50以及第2拍摄装置60分别构成为能够经由共通或者个别的网络相互通信。另外,在本图中,作业支援服务器10能够与多个作业机械40连接,但作业支援服务器10只要能够与1台以上的作业机械40连接即可,其连接台数没有限制。另外,在本图中,第1拍摄装置50和第2拍摄装置60经由网络以能够相互通信的方式连接,但与该网络连接的拍摄装置可以是2台以上,也可以是仅1台。

实施例1是具有使作业支援服务器10分别与多个作业机械40和远程操作装置20相互通信的功能的远程操作系统，所述远程操作装置20用于对该多个作业机械40中成为远程操作对象的一个作业机械40进行远程操作。

本发明的构成要素(硬件)"取得"各种信息是指接收该信息、从内部存储装置(例如存储器)和/或外部存储装置(例如外部的数据库服务器)读取或检索该信息、以接收、读取、检索等方式获取的信息为对象执行运算处理从而计算、推定、预测、鉴定等信息等，是包含用于在后续的运算处理中以能够利用的方式准备各种信息的所有运算处理的概念。

(作业支援服务器的构成)

作业支援服务器10具备包含支援处理要素101的远程操作支援装置100、数据库110以及服务器无线通信机器122。

支援处理要素101由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据和软件,以该数据为对象执行依据该软件的后述的运算处理。

数据库110存储保持由第1拍摄装置50以及第2拍摄装置60等拍摄装置拍摄到的拍摄图像数据等。数据库110也可以由与作业支援服务器10不同的数据库服务器构成。

(远程操作装置的构成)

远程操作装置20具备远程控制装置200、远程输入接口210以及远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据和软件,以该数据为对象执行依据该软件的运算处理。

远程输入接口210具备远程操作机构211。

远程操作机构211包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置以及切换操作者的操作的受理状态的遮断杆。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)，以使作业机械40的具备左右一对履带的下部行驶体430动作。行驶杆也可以兼作行驶踏板。例如,也可以设置有固定于行驶杆的基部或下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)，以使构成作业机械40的回转机构440的液压式的回转电机动作。操作动臂用操作装置的操作杆(动臂杆)，以使作业机械40的动臂油缸462动作。操作斗杆用操作装置的操作杆(斗杆杆)，以使作业机械40的斗杆油缸464动作。操作铲斗用操作装置的操作杆(铲斗杆)，以使作业机械40的铲斗油缸466动作。

构成远程操作机构211的各操作杆例如如图2所示,配置在供操作员OP1就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态,但也可以是没有头枕的低背椅那样的形态、或者是没有靠背的椅子那样的形态等操作员OP1能够就座的任意形态的就座部。

在座椅St的前方左右并排地配置有与左右的履带相对应的左右一对行驶杆2110。一个操作杆也可以兼作多个操作杆。例如,在图2所示的设置于座椅St的左侧框架的前方的左侧操作杆2111也可以在沿前后方向操作的情况下作为斗杆杆发挥功能,并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地,在图2所示的设置于座椅St的右侧框架的前方的右侧操作杆2112也可以在沿前后方向操作的情况下作为动臂杆发挥功能,并且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式也可以根据操作员OP1的操作指示而任意变更。

省略图示的遮断杆设置于座椅St的左侧框架的前方处左侧操作杆2111的下方，作为操作杆发挥功能，用于在被抬起(处于OFF)时锁定成即使操作各操作杆2110、2111、2112作业机械40也不动作,另一方面,在被放下(处于ON)时解除该锁定。

远程输出接口220具备图像输出装置221和远程无线通信机器222。

图像输出装置221例如如图2所示,由具有分别配置在座椅St的前方、左斜前方以及右斜前方的大致矩形的画面的中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及具有配置在中央图像输出装置2210的下方的大致矩形的画面的下侧图像输出装置2213构成。中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及下侧图像输出装置2213各自的画面(图像显示区域)的形状以及尺寸可以相同也可以不同。

中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及下侧图像输出装置2213各自的画面可以相对于铅垂方向平行,也可以相对于铅垂方向倾斜。中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212以及下侧图像输出装置2213中的至少一个图像输出装置也可以由分割为多个的图像输出装置构成。例如,中央图像输出装置2210也可以由具有大致矩形的画面的上下相邻的一对图像输出装置构成。

(作业机械的构成)

如图1所示,作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420以及工作机构460。

实机控制装置400由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据和软件,以该数据为对象执行依据该软件的运算处理。

作业机械40例如是液压式、电动式或液压式及电动式组合而成的混合驱动式履带挖掘机(工程机械),如图3所示,具备下部行驶体430和经由回转机构440能够回转地搭载于下部行驶体430的上部回转体450。在上部回转体450的前方左侧部设置有驾驶室454(司机室)。在上部回转体450的前方中央部设置有工作机构460。

如图4所示,下部行驶体430具备左右一对履带430a、430b。另外,如图3所示,下部行驶体430具备用于驱动右侧履带430a的驱动部件431以及用于驱动左侧履带430b的驱动部件431。驱动部件431是偏向配置于下部行驶体430的前后方向上后方侧的指定构成要素之一。作为驱动部件431,例如可举出驱动电机、与驱动电机卡合的齿轮等。

实机输入接口410具备实机操作机构411、实机拍摄装置412a、附属拍摄装置412b、后方拍摄装置412c。实机操作机构411具备多个操作杆，以与远程操作机构211同样的方式配置在驾驶室454的内部所配置的座椅的周围。

在驾驶室454中设置有驱动机构或机器人,该驱动机构或机器人接收与远程操作杆的操作状态相应的信号,并基于该接收信号使实机操作杆动作。

实机拍摄装置412a(以下也称为主摄像头)例如设置在驾驶室454的内部,隔着前窗以及左右一对侧窗对包含工作机构460的至少一部分的环境进行拍摄。在该拍摄图像中,也可以省略前窗(或窗框)和侧窗中的一部分或全部。

附属拍摄装置412b(以下也称为附属摄像头)例如设置于斗杆463,对包含作为附件的铲斗465的至少一部分的环境进行拍摄。

后方拍摄装置412c(以下也称为后方摄像头)例如在上部回转体450中,在从驾驶室454的座椅观察时将设置有前窗的方向设为前方的情况下,以能够拍摄驾驶室454的后方的方式设置于发动机罩(未图示)、配重(未图示)或驾驶室454。

实机输入接口410包括实机状态传感器组(未图示)。实机状态传感器组(未图示)由用于分别测定动臂461相对于上部回转体450的转动角度(起落角度)、斗杆463相对于动臂461的转动角度以及铲斗465相对于斗杆463的转动角度的角度传感器、用于测定上部回转体450相对于下部行驶体430的回转角度的回转角度传感器、用于测定作用于铲斗465的外力的外力传感器、用于测定作用于上部回转体450的3轴加速度的3轴加速度传感器、GNSS(GlobalNavigationSatelliteSystem)等位置信息取得传感器等构成。

实机输出接口420具备实机无线通信机器422。

作为工作机构的工作机构460具备:动臂461，可起落地安装于上部回转体450；斗杆463，可转动地连结于动臂461的前端；铲斗465，可转动地连结于斗杆463的前端。在工作机构460上安装有由可伸缩的液压油缸构成的动臂油缸462、斗杆油缸464以及铲斗油缸466。作为作业部,除了铲斗465以外,也可以使用液压剪、切割器、磁性工具等各种附件。

动臂油缸462介于该动臂461与上部回转体450之间，以通过接受工作油的供给而伸缩，从而使动臂461在起落方向上转动。斗杆油缸464介于该斗杆463与该动臂461之间，以通过接受工作油的供给而伸缩，使斗杆463相对于动臂461绕水平轴转动。铲斗油缸466介于该铲斗465与该斗杆463之间，以通过接受工作油的供给而伸缩，使铲斗465相对于斗杆463绕水平轴转动。

如图4所示,第1拍摄装置50以及第2拍摄装置60例如安装在设置于作业机械40外部的支柱，以使作业机械40的外观包含在拍摄区域AR1、AR2中。第1拍摄装置50以及第2拍摄装置60设置为以相互不同的光轴方向AX1、AX2拍摄作业机械40的外观。另外,第1拍摄装置50以及第2拍摄装置60例如也可以安装在能够根据来自作业支援服务器10的指令自由地变更光轴方向AX1、AX2的云台上。另外,第1拍摄装置50以及第2拍摄装置60的光轴方向AX1、AX2的变更例如也可以通过第1拍摄装置50以及第2拍摄装置60所具备的光学系统的调整机构来进行。例如,第1拍摄装置50以及第2拍摄装置60的光轴方向AX1、AX2可以朝向水平面进行调整,以能够拍摄履带430a、430b。另外,在本图中,以第1拍摄装置50以及第2拍摄装置60的光轴方向AX1、AX2在俯视时正交的方式配置第1拍摄装置50以及第2拍摄装置60。但是,第1拍摄装置50以及第2拍摄装置60可任意配置,可以以俯视时其光轴方向AX1、AX2不正交的关系配置。

例如,如图4所示,第1拍摄装置50配置于作业机械40的下部行驶体430的前后方向的前方,第2拍摄装置60配置于作业机械40的下部行驶体430的左右方向的左方(左履带430b侧)。通过这样配置第1拍摄装置50以及第2拍摄装置60,使得即使作业机械40的下部行驶体430回转,第1拍摄装置50以及第2拍摄装置60的至少一方也能够在其拍摄区域内包含有一对履带430a、430b的侧面。即,第1拍摄装置50以及第2拍摄装置60中的至少一方能够对设置于下部行驶体430的作为指定构成要素的驱动部件431进行拍摄。

另外,第1拍摄装置50以及第2拍摄装置60只要设置为在相互不同的光轴方向上拍摄作业机械40的外观即可,例如也可以是搭载于其他作业机械40的实机拍摄装置412。

另外,第1拍摄装置50以及第2拍摄装置60也可以根据实施方式适当增设。例如,在假定作业机械40移动的情况下,在作业机械40的移动目的地,可以适当地设置第1拍摄装置50和第2拍摄装置60,以使得第1拍摄装置50和第2拍摄装置60中的至少一方能够在其拍摄区域内包含一对履带430a、430b的侧面。

图5是表示通过上述作业支援服务器10、远程操作装置20、作业机械40、第1拍摄装置50以及第2拍摄装置60的协作而发挥的作业支援系统的作业支援处理的流程图。

作业支援系统以远程操作装置20的启动为触发,开始作业支援处理。例如当操作员使遮断杆处于OFF时,远程操作装置20将操作信号发送至作业支援服务器10(STEP201)。

作业支援服务器10若接收到操作信号,则对第1拍摄装置50以及第2拍摄装置60发送图像发送请求(STEP101)。

第1拍摄装置50若接收到图像发送请求,则将拍摄到的图像发送至作业支援服务器10(STEP501)。

第2拍摄装置60若接收到图像发送请求,则将拍摄到的图像发送至作业支援服务器10(STEP601)。

作业支援服务器10的支援处理要素101在接收到由第1拍摄装置50拍摄到的图像(第1拍摄图像)及由第2拍摄装置60拍摄到的图像(第2拍摄图像)时,基于由第1拍摄装置50拍摄到的第1拍摄图像或由第2拍摄装置50拍摄到的第2拍摄图像中下部行驶体的映入状态、以及在一对履带430a、430b各自的前后方向上分别偏在地配置的指定构成要素的映入状态,来推定映入有该一对履带430a、430b的第1拍摄图像或第2拍摄图像中的下部行驶体430的前进方向或后退方向(STEP102)。

支援处理要素101在STEP102的处理中,例如在下部行驶体430的指定构成要素即驱动部件431映现于第1拍摄图像的情况下,在从侧方观察履带430a、430b时该履带430a、430b的前后方向上,将该驱动部件431所处的一侧推定为第1拍摄图像中的履带430a、430b的后退方向。

例如,支援处理要素101能够使用存储在数据库110中的预先通过机器学习(例如监督学习)构建的学习模型,推定为履带430a、430b的后退方向。具体而言,使用从各种角度拍摄作业机械40的外观而得到的多个拍摄图像,针对映现有履带430a、430b的侧方的各个拍摄图像,学习从侧方观察履带430a、430b时该履带430a、430b的前后方向上该履带430a、430b的后退方向。

支援处理要素101向该学习模型输入第1拍摄图像或第2拍摄图像,识别履带430a、430b在实际空间中的前后方向、即下部行驶体430的履带430a、430b的前进方向或后退方向的矢量。支援处理要素101推定第1拍摄图像或第2拍摄图像中下部行驶体430的前进方向或后退方向。

支援处理要素101在STEP102的处理中,例如在下部行驶体430的指定构成要素即驱动部件431未映现在第1拍摄图像中、且下部行驶体430的驱动部件431映现在第2拍摄图像中的情况下,将从侧方观察履带430a、430b时该履带430a、430b的前后方向上该驱动部件431所在的一侧推定为第2拍摄图像中下部行驶体430的履带430a、430b的后退方向。由此,即使因第1拍摄装置50的光轴方向和履带430a、430b的前后方向的平衡而在第1拍摄图像中未映现出驱动部件431的情况下,也能够根据第2拍摄图像推定该前后方向。

另外,支援处理要素101中,作业支援服务器10的支援处理要素101生成将在STEP102中推定的第1拍摄图像或第2拍摄图像中表示下部行驶体430的前进方向或后退方向的指标图像至少部分地重叠于第1拍摄图像、第2拍摄图像及主图像的至少一个图像中的作业机械40或其周围而得到的合成图像(STEP103),并发送至远程操作装置20(STEP104)。

例如,支援处理要素101生成在由第1拍摄装置50拍摄到的图6的右侧图像输出装置2212所显示的第1拍摄图像上重叠了指标图像I1的合成图像。例如,在图6中,指标图像I1表示第1拍摄图像中下部行驶体430的前进方向。

例如,在下部行驶体430的驱动部件431映现于第1拍摄图像以及第2拍摄图像的情况下,支援处理要素101能够基于通过上述的STEP102的前后方向推定处理推定出的方向,生成重叠了指标图像I1、I2的合成图像。

另外,例如,在通过一个拍摄装置即第1拍摄装置50取得的第1拍摄图像中未映现出下部行驶体430的驱动部件431的情况下,支援处理要素101也可以将基于通过其他拍摄装置即第2拍摄装置60取得的第2拍摄图像中下部行驶体430的映入状态和驱动部件431的映入状态而生成的、表示下部行驶体430的前后方向的指标图像I1、I2重叠于第1拍摄图像。

即,支援处理要素101与通过STEP102的前后方向推定处理推定出的下部行驶体430的前后方向对应地生成将指标图像I1、I2以及I3至少部分地重叠于第1拍摄图像、第2拍摄图像以及主图像中的至少一个拍摄图像中的作业机械40或其周围而得到的合成图像。

具体而言,支援处理要素101例如生成在由第2拍摄装置60拍摄的图6的左侧图像输出装置2211所显示的第2拍摄图像上重叠了指标图像I2的合成图像。进而,支援处理要素101生成在由主摄像头412拍摄的图6的下侧图像输出装置2213所显示的主图像上重叠了指标图像I3的合成图像。

例如,在使表示基于第2拍摄图像识别出的下部行驶体430的前后方向的指标图像重叠于第1拍摄图像的情况中,可以如下所述进行。如图7所示,支援处理要素101通过上述STEP102的处理,得到实际空间中履带430b的前进方向的矢量B1。

例如,支援处理要素101通过对该矢量B1进行坐标变换,能够求出第1拍摄图像坐标系中的矢量B2。

具体而言,基于表示从第2拍摄图像坐标系向第1拍摄图像坐标系的坐标变换的旋转矩阵R以及并行矩阵T,计算以实际空间坐标系为基准的履带430b的前进方向的矢量B＝RB+T。旋转矩阵R以及并行矩阵T预先保存在数据库110中。旋转矩阵R和并行矩阵T可以由数学上与此等价的四元数定义。

求出作为实际空间中的矢量B1的起点在第1拍摄图像坐标系中坐标变换后的结果的点位置S1'。

以第1拍摄图像坐标系为基准的矢量B1的起点由矢量^p1'＝DS1'^e'(S1')表示。"^"表示矢量(以下相同。)。"^e'(S1')"是表示通过第1拍摄图像坐标系的像素位置S1'的第1拍摄装置50的视线方向的单位矢量。

同样地,求出作为实际空间中矢量B1的终点在第1拍摄图像坐标系中坐标变换后的结果的点位置S2'。

以第1拍摄图像坐标系为基准的矢量B1的终点由矢量^p2'＝DS2'^e'(S2')表示。"^"表示矢量(以下相同。)。"^e'(S2')"是表示通过第1拍摄图像坐标系的像素位置S2'的第1拍摄装置50的视线方向的单位矢量。

同样,支援处理要素101通过对该矢量B1进行坐标变换,能够求出第2拍摄图像坐标系中的矢量B3。

求出作为实际空间中的矢量B1的起点在第2拍摄图像坐标系中坐标变换后的结果的点位置S1"。

以第2拍摄图像坐标系为基准的矢量B1的起点由矢量^p1"＝DS1"^e'(S1")表示。"^"表示矢量(以下相同。)。"^e"(S1")"是表示通过第1拍摄图像坐标系的像素位置S1"的第2拍摄装置60的视线方向的单位矢量。

同样地,求出作为实际空间中矢量B1的终点在第2拍摄图像坐标系中坐标变换后的结果的点位置S2"。

以第1拍摄图像坐标系为基准的矢量B1的终点由矢量^p2"＝DS2"^e"(S2")表示。"^"表示矢量(以下相同。)。"^e"(S2")"是表示通过第1拍摄图像坐标系的像素位置S2"的第2拍摄装置60的视线方向的单位矢量。

在第1拍摄图像坐标系中,该坐标位置S1'以及S2'(参照图7白圈)一般与像素位置S0'(参照图7黑圈)不一致。因此,根据最近邻插值法、双线性插值法或双三次插值法等公知的插值方法,对基准图像坐标系的各像素位置S0'分配基于与坐标位置S0"对应的距离ZS"而确定的距离(实际点距离)Zs。

这样,求出作为实际空间坐标系的矢量B1在第1拍摄图像坐标系中坐标变换后的结果的矢量B2。另外,同样地，这样的合成图像的生成能够使表示下部行驶体430的前后方向的指标图像与主图像重叠。

远程操作装置20将接收到的合成图像显示于图像输出装置221(STEP202)上。另外,合成图像能够显示于图像输出装置221的任意的图像输出装置上,例如,也可以显示于中央图像输出装置2210、左侧图像输出装置2211、右侧图像输出装置2212、下侧图像输出装置2213中的任一个图像输出装置上。

例如,在图6所示的显示例中,中央图像输出装置2210具有分割为左右两部分的画面区域,在左侧的画面区域显示有由附属摄像头412b拍摄到的铲斗465的放大图像。另外,在中央图像输出装置2210的右侧的画面区域显示有由后方摄像头412c拍摄到的后方图像。

在右侧图像输出装置2212中显示有在由第1拍摄装置50拍摄到的第1拍摄图像上重叠有指标图像I1的合成图像。

在左侧图像输出装置2211中显示有在由第2拍摄图像60拍摄到的第2拍摄图像上重叠有指标图像I2的合成图像。

在下侧图像输出装置2213中显示有在由主摄像头412a拍摄到的主图像上重叠有指标图像I3的合成图像。

另外,指标图像I1、I2、I3的显示方式不限于表示下部行驶体430的前方方向,例如也可以表示下部行驶体430的后退方向。另外,指标图像I1、I2、I3也可以由表示下部行驶体430的前进方向以及后退方向的双箭头表示。这样,在用双箭头表示指标图像I1、I2、I3的情况下,以能够相互识别的方式表示前进方向以及后退方向即可。例如,在用双箭头表示指标图像I1、I2、I3的情况下,表示前进方向,用虚线表示后退方向即可。

另外,合成图像中的指标图像可以根据映入重叠的图像中的履带430a、430b的位置、大小等来适当调整尺寸等。例如,如图8所示,在左侧图像输出装置2211的第2拍摄图像中映现的作业机械40比右侧图像输出装置2212的第1拍摄图像中映现的作业机械40小的情况下,可以根据第2拍摄图像的履带430a、430b的大小、宽度将指标图像I2的尺寸调整为比指标图像I1小并重叠。

这样,支援处理要素101可以根据合成图像中履带430a、430b的尺寸以及合成图像中履带430a、430b的位置来生成指标图像I1、I2、I3。

另外,在多个作业机械40相互接近地配置的情况下,可以在确定了成为操作对象的作业机械40的基础上进行上述的作业支援处理。

例如,如图9所示,作业支援系统以远程操作装置20的启动为触发,开始作业支援处理。例如当操作员使遮断杆处于OFF时,远程操作装置20将操作信号发送至作业支援服务器10(STEP211)。

作业支援服务器10若接收到操作信号,则向成为操作对象的作业机械40请求发送实际空间的位置信息(STEP111)。

作业机械40若接收到实际空间的位置信息发送请求,则通过GNSS(GlobalNavigationSatelliteSystem)取得实际空间的位置信息(STEP411),与实际空间的位置信息以及自身的作业机械的识别信息即号机信息(例如A号机等的识别记号、制造编号等识别编号等)一起发送至作业支援服务器10(STEP412)。

作业支援服务器10若接收到实际空间的位置信息,则参照配置于作业机械40周围的拍摄装置的实际空间的位置信息，来选择能够拍摄作业机械40的拍摄装置,向通过该选择而选择出的1个拍摄装置即例如第1拍摄装置50发送图像发送请求(STEP112)。

第1拍摄装置50在接收到图像发送请求时,将拍摄到的第1拍摄图像发送至作业支援服务器10(STEP511)。

作业支援服务器10的支援处理要素101若接收到第1拍摄图像,则基于预先登记在数据库110中的第1拍摄装置50的实际空间的设置位置以及映入到第1拍摄图像中的作业机械40的位置,来推定作业机械40的实际空间的位置(STEP113)。

作业支援服务器10的支援处理要素101判定从作业机械40发送的实际空间的位置信息与在STEP113中推定出的作业机械40的实际空间的位置(位置信息)是否一致(STEP114)。

在STEP114的判定中,例如,支援处理要素101取得第1拍摄装置50的实际空间的位置信息和第1拍摄装置50的光轴方向。支援处理要素101基于第1拍摄装置50的光轴方向,推定从第1拍摄装置50的设置位置观察到的作业机械40所配置的方向。支援处理要素101在规定的范围内(例如,距第1拍摄装置50为200m以内、且距该方向的中心为半径20m以内)计算该推定出的作业机械40的方向上实际空间的位置信息。支援处理要素101通过在该计算出的多个实际空间的位置信息中是否包含与从作业机械40发送的实际空间的位置信息一致的位置信息来进行判定。

支援处理要素101在STEP114中判定为两个位置信息一致的情况下(STEP114:YES),将该作业机械40识别为成为操作对象的作业机械40(STEP115),将合成图像发送至远程操作装置20(STEP116)。

即,支援处理要素101取得成为操作对象的候补的作业机械40的实际空间的位置信息,并且在从第1拍摄图像计算出的作业机械40的位置以及成为操作对象的候补的作业机械40的实际空间的位置信息一致的情况下,将成为操作对象的候补的作业机械40识别为成为操作对象的作业机械40。

远程操作装置20将接收到的合成图像显示于图像输出装置221(STEP212)上。

另外,支援处理要素101在STEP114中判定为两个实际空间的位置信息不一致的情况下(STEP114:NO),返回到STEP112,在STEP114中反复进行处理直到两个实际空间的位置信息一致为止。

在以上的实施例1的说明中,说明了由作业支援服务器10执行作业支援处理。但是,作业支援处理既可以由远程操作装置20进行,也可以由作业机械40进行。

在以上实施例1的说明中,支援处理要素101在STEP102的处理中,在第1拍摄图像中未映现出下部行驶体430的指定构成要素即驱动部件431的情况下,根据第2拍摄图像推定前后方向,但不限于此。例如,在第1拍摄图像中,也可以将从侧方观察履带430a、430b时的在该履带430a、430b的前后方向上未配置指定构成要素的一侧推定为前方。具体而言,在第1拍摄图像中映现出下部行驶体430的前后方向上偏在的部位(在履带430a、430b的前后方向上未配置指定构成要素的一侧的端部)、且未映现出下部行驶体430的指定构成要素即驱动部件431的情况下,支援处理要素101也可以将从侧方观察履带430a、430b时该履带430a、430b的前后方向上该偏在的部位所在的一侧(没有驱动部件431的一侧)推定为第1拍摄图像中下部行驶体430的履带430a、430b的前进方向。由此,即使在由于驱动部件431等指定构成要素被障碍物等隐藏而未映现在第1拍摄图像中的情况下,也能够推定该前后方向。

另外,说明了支援处理要素101能够使用数据库110中存储的预先通过机器学习(例如监督学习)构建的学习模型,推定为履带430a、430b的后退方向。履带430a、430b的前后方向的推定不限于这样的方式,例如,支援处理要素101也可以基于从侧方观察履带430a、430b时该履带430a、430b的外观上的形状，来识别下部行驶体430的前进方向或后退方向的矢量的倾斜。

具体而言,如图10所示,支援处理要素101在第1拍摄图像中仅映入履带430a、430b中的任一方的侧方的情况下,识别为该矢量在相对于第1拍摄装置50的光轴AX1垂直的方向上存在倾斜。

另外,如图11所示,在第1拍摄图像中,在识别履带430a、430b双方并以重叠于履带430a的一端侧的方式映入(一方的履带430a的外侧的侧面和另一方的履带430b的内侧的侧面映入)的情况下,第1支援处理要素1011识别为是相对于第1拍摄装置50的光轴AX1存在倾斜的矢量。

具体而言,在图11所示的例子中,第1支援处理要素1011识别为以从第1拍摄装置50的光轴AX1方向观察,履带430a与履带430b重叠的一端侧(图11第1拍摄图像中的右侧、履带430a和履带430b的延伸方向的一端侧)相对于第1拍摄装置50的光轴AX1位于较前侧(图11第1拍摄图像中的下侧)、履带430a的一端侧的相反侧即另一端侧(图11第1拍摄图像中的左侧、履带430a和履带430b的延伸方向的另一端侧)相对于第1拍摄装置50的光轴位于较里侧(图11的第1拍摄图像中的上侧)的方式，存在该矢量的倾斜。

如图12所示,在第1拍摄图像中第1支援处理要素1011识别履带430a、430b双方且履带430a、430b以不重叠的方式映入的情况(映入履带430a、430b的正面方向或背面方向的情况)下,第1支援处理要素1011识别为在沿着第1拍摄装置50的光轴AX1的方向或沿着与该光轴AX1相反的方向的方向上存在该矢量的倾斜。

第1支援处理要素1011通过进行以上那样的处理,能够推定为履带430a、430b的后退方向。

(实施例2)

(远程操作系统的构成)

图13所示的作为本发明的一个实施方式的作业支援系统由用于支援远程操作装置20对多个作业机械40的远程操作的作业支援服务器10构成。作业支援服务器10与远程操作装置20、多个作业机械40分别构成为能够经由共通或者个别的网络相互通信。另外,在本图中,作业支援服务器10能够与多个作业机械40连接,但作业支援服务器10只要能够与1台以上的作业机械40连接即可,其连接台数没有限制。

实施例2是具有使作业支援服务器10分别与多个作业机械40和远程操作装置20的相互通信功能的远程操作系统，所述远程操作装置20用于对该多个作业机械40中成为远程操作对象的一个作业机械40进行远程操作的。

本发明的构成要素(硬件)"取得"各种信息是指接收该信息、从内部存储装置(例如存储器)和/或外部存储装置(例如外部的数据库服务器)读取或检索该信息、以接收、读取、检索等的信息为对象执行运算处理从而计算、推定、预测、鉴定等信息等，是包含用于在后续的运算处理中以能够利用的方式准备各种信息的所有运算处理的概念。

(作业支援服务器的构成)

作业支援服务器10具备包含第1支援处理要素1011以及第1支援处理要素1012的远程操作支援装置100、数据库110以及服务器无线通信机器122。

第1支援处理要素1011及第1支援处理要素1012由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据及软件,以该数据为对象执行依据该软件的后述的运算处理。

数据库110存储保持拍摄图像数据等。数据库110也可以由与作业支援服务器10不同的数据库服务器构成。

(远程操作装置的构成)

远程操作装置20具备远程控制装置200、远程输入接口210以及远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据和软件,以该数据为对象执行依据该软件的运算处理。

远程输入接口210具备远程操作机构211以及第6拍摄装置212。

远程操作机构211包括行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置、铲斗用操作装置以及切换操作者的操作的受理状态的液压锁定杆(遮断杆)。各操作装置具有接受转动操作的操作杆。操作行驶用操作装置的操作杆(行驶杆)，以使作业机械40的具备左右一对履带的下部行驶体430动作。行驶杆也可以兼作行驶踏板。例如,也可以设置有固定于行驶杆的基部或下端部的行驶踏板。操作回转用操作装置的操作杆(回转杆)，以使构成作业机械40的回转机构440的液压式的回转电机动作。操作动臂用操作装置的操作杆(动臂杆)，以使作业机械40的动臂油缸462动作。操作斗杆用操作装置的操作杆(斗杆杆)，以使作业机械40的斗杆油缸464动作。操作铲斗用操作装置的操作杆(铲斗杆)，以使作业机械40的铲斗油缸466动作。操作遮断杆，以切换作业机械40的先导压力阀的状态。

构成远程操作机构211的各操作杆例如如图14所示,配置在供操作员OP1就座的座椅St的周围。座椅St是带扶手的高背椅那样的形态,但也可以是没有头枕的低背椅那样的形态、或者没有靠背的椅子那样的形态等操作员OP1能够就座的任意形态的就座部。

在座椅St的前方左右并排地配置有与左右的履带对应的左右一对行驶杆2110。一个操作杆也可以兼作多个操作杆。例如,在图14所示的设置于座椅St的左侧框架的前方的左侧操作杆2111也可以在沿前后方向操作的情况下作为斗杆杆发挥功能,并且在沿左右方向操作的情况下作为回转杆发挥功能。同样地,在图14所示的设置于座椅St的右侧框架的前方的右侧操作杆2112也可以在沿前后方向操作的情况下作为动臂杆发挥功能,并且在沿左右方向操作的情况下作为铲斗杆发挥功能。杆模式也可以根据操作员OP1的操作指示而任意变更。

设置于在座椅St的左侧框架的前方处左侧操作杆2111的下方的遮断杆2113作为操作杆发挥功能，用于在被抬起(处于OFF)时锁定成即使操作各操作杆2110、2111、2112作业机械40也不动作,另一方面,在被放下(处于ON)时解除该锁定。

远程输出接口220具备远程图像输出装置221和远程无线通信机器222。

远程图像输出装置221例如如图14所示,由具有分别配置在座椅St的前方、左斜前方以及右斜前方的大致矩形的画面的中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212构成。中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212各自的画面(图像显示区域)的形状以及尺寸可以相同也可以不同。

中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212各自的画面可以相对于铅垂方向平行,也可以相对于铅垂方向倾斜。中央远程图像输出装置2210、左侧远程图像输出装置2211以及右侧远程图像输出装置2212中的至少一个图像输出装置也可以由分割为多个的图像输出装置构成。例如,中央远程图像输出装置2210也可以由具有大致矩形的画面的上下相邻的一对图像输出装置构成。

远程音响输出装置222由一个或多个扬声器构成,例如如图14所示,由分别配置在座椅St的后方、左扶手后部以及右扶手后部的中央远程音响输出装置2220、左侧远程音响输出装置2221以及右侧远程音响输出装置2222构成。中央远程音响输出装置2220、左侧远程音响输出装置2221以及右侧远程音响输出装置2222各自的规格可以相同也可以不同。

第6拍摄装置212例如设置为能够拍摄座椅St以及远程操作机构211。在本实施例2中,如图14所示,第6拍摄装置212在中央远程图像输出装置2210的上端侧,使光轴朝向座椅St而设置。即,第6拍摄装置212设置为在操作员OP1就座于座椅St时能够拍摄用于操作远程操作机构211的操作员OP1的动作。

(作业机械的构成)

如图13所示,作业机械40具备实机控制装置400、实机输入接口410以及实机输出接口420。实机控制装置400由运算处理装置(单核处理器或多核处理器或构成其的处理器核)构成,从存储器等存储装置读取必要的数据和软件,以该数据为对象执行依据该软件的运算处理。

作业机械40例如是液压式、电动式或液压式及电动式组合而成的混合驱动式履带挖掘机(工程机械),如图15所示,具备:下部行驶体430,其具备左右一对履带；以及上部回转体450,其经由回转机构440能够回转地搭载于下部行驶体430。在上部回转体450的前方左侧部设置有驾驶室454(司机室)。在上部回转体450的前方中央部设置有工作机构460。

也如图18B所示,在作业机械40的一对履带430a、430b各自的前方设置有作为指定构成要素的第1标记M1。另外,也如图22C所示,在作业机械40的一对履带430a、430b各自的后方设置有作为指定构成要素的第2标记M2。

第1标记M1以及第2标记M2只要是能够相互识别的标记即可,例如也可以是保持有前后信息的二维码、○、△等图形、记号等。另外,第1标记M1以及第2标记M2只要是能够相互识别的标记即可,例如也可以是从履带向外方突出而形成的台阶(操作员乘坐驾驶室454时用于放脚的台阶)、凸部等、或者从履带凹陷而形成的凹部等立体形状。例如,在第1标记M1以及第2标记M2被泥等覆盖的情况下,难以图像识别记号、图形等,但如果是立体的形状,若表现出与该立体形状对应的形态,则能够对其进行图像识别。

即,第1标记M1以及第2标记M2在一对履带430a、430b各自的前后方向上分别偏在地配置,形态互不相同。另外,第1标记M1和第2标记M2作为图像数据存储在数据库110中。

实机输入接口41具备实机操作机构411、第4拍摄装置412d、412e和第5拍摄装置412f。实机操作机构411具备在配置于驾驶室454的内部的座椅的周围与远程操作机构211同样地配置的多个操作杆。

在驾驶室454中设置有驱动机构或机器人,该驱动机构或机器人接收与远程操作杆的操作状态相对应的信号,并基于该接收信号使实机操作杆动作。

如图15所示,第4拍摄装置(以下也称为脚下摄像头)412d设置于上部回转体450上，且设置为下部行驶体430的至少一个履带包含在拍摄区域内。在本实施例2中,脚下摄像头412d设置于上部回转体450的驾驶室454的底面(外壁面)。具体而言,脚下摄像头412d使受光元件(拍摄方向)朝向设置有驾驶室454的前窗的正面方向而设置于驾驶室454的底面(外壁面)。另外,脚下摄像头412d例如也可以设置在动臂脚的基端侧等。

第4拍摄装置优选为在上部回转体450相对于下部行驶体430的回转方向上朝向相互不同的方向配置多个。在本实施例2中,除脚下摄像头412d外，还另设有第4拍摄装置(以下也称为左摄像头)412e。脚下摄像头412d和左摄像头412e设置在光轴互不相同的方向上。左摄像头412e进一步优选为将不进入脚下摄像头412d的拍摄区域的区域作为拍摄区域。

换言之,无论脚下摄像头412d和左摄像头412e中的至少一方相对于上部回转体450的下部行驶体430的角度是哪个角度,都以第1标记M1和第2标记M2中的至少一方包含于拍摄区域内的方式设置有脚下摄像头412d和左摄像头412e。例如,脚下摄像头412d和左摄像头412e优选为彼此的光轴方向所成的角度约为90°。在本实施例2中,左摄像头412e使受光元件(拍摄方向)朝向设置有驾驶室454的左侧的侧窗的方向而设置于驾驶室454的外壁面。

另外,左摄像头412e例如也可以使受光元件(拍摄方向)朝向设置有驾驶室454的右侧的侧窗的方向而设置于驾驶室454的外壁面。另外,左摄像头412e可以设置于驾驶室454的车顶,也可以设置为能够从驾驶室454的室内拍摄外部(例如右侧方、左侧方)。

除脚下摄像头412d以及左摄像头412e外，在上部回转体450上还另设有第5拍摄装置412f(以下也称为主摄像头)。主摄像头412f例如设置于驾驶室454的内部,隔着前窗及左右一对侧窗拍摄包含工作机构460的至少一部分的环境。在该拍摄图像中,也可以省略前窗(或窗框)以及侧窗中的一部分或全部。

实机状态传感器组414由用于分别测定动臂461相对于上部回转体450的转动角度(起落角度)、斗杆463相对于动臂461的转动角度以及铲斗465相对于斗杆463的转动角度的角度传感器、用于测定上部回转体450相对于下部行驶体430的回转角度的回转角度传感器、用于测定作用于铲斗465的外力的外力传感器、用于测定作用于上部回转体450的3轴加速度的3轴加速度传感器等构成。

实机输出接口42具备实机图像输出装置421和实机无线通信机器422。实机图像输出装置421例如配置于驾驶室454的内部且在前窗的附近。实机图像输出装置421也可以省略。另外,实机无线通信机器422在与作业支援服务器10以及作业机械40之间执行无线通信。

作为工作机构的工作机构460具备:动臂461，可起落地安装于上部回转体450；斗杆463，可转动地连结于动臂461的前端；以及铲斗465，可转动地连结于斗杆463的前端。在工作机构460上安装有由可伸缩的液压油缸构成的动臂油缸462、斗杆油缸464以及铲斗油缸466。作为作业部,除了铲斗465以外,也可以使用液压剪、切割器、磁性工具等各种附件。

动臂油缸462介于该动臂461与上部回转体450之间，以通过接受工作油的供给而伸缩，使动臂461在起落方向上转动。斗杆油缸464介于该斗杆463与该动臂461之间，以通过接受工作油的供给而伸缩，使斗杆463相对于动臂461绕水平轴转动。铲斗油缸466介于该铲斗465与该斗杆463之间，以通过接受工作油的供给而伸缩，使铲斗465相对于斗杆463绕水平轴转动。

图16是表示通过上述作业支援服务器10、远程操作装置20、作业机械40的协作而发挥的作业支援系统的作业支援处理的流程图。

作业支援系统以远程操作装置20的启动为触发,开始作业支援处理。例如,当操作员使遮断杆2113处于OFF时,远程操作装置20将操作信号发送至作业支援服务器10(STEP221)。

作业支援服务器10若接收到操作信号,则对作为远程操作装置20的操作对象的作业机械40请求图像的发送(STEP121)。

作业机械40若接收到图像发送请求,则将由第4拍摄装置412d、412e、第5拍摄装置412f拍摄到的图像(第4拍摄图像、第5拍摄图像)发送至作业支援服务器10(STEP421)。

作业支援服务器10的第1支援处理要素1011若接收到由第4拍摄装置412d、412e、第5拍摄装置412f拍摄到的图像(第4拍摄图像、第5拍摄图像),则基于由第4拍摄装置412d、412e拍摄到的第4拍摄图像中的一对履带430a、430b各自的前后方向上分别偏在配置的、形态相互不同且设置于一对履带的前方的第1标记M1以及设置于一对履带430a、430b后方的第2标记M2各自的映入状态,来识别下部行驶体430的前进方向或者后退方向(前后方向推定处理)(STEP122)。

第1支援处理要素1012生成表示由第1支援处理要素1011识别出的下部行驶体430的前进方向或后退方向的指标图像(STEP123)。

另外,第1支援处理要素1012生成将指标图像至少部分地重叠于第4拍摄图像的作业机械40或其周围的合成图像(STEP124),并发送至远程操作装置20(STEP125)。

例如,第1支援处理要素1012生成在由脚下摄像头412d拍摄到的图18B～10B的第4拍摄图像(以下也称为脚下图像)上重叠了指标图像I1的合成图像。另外,第1支援处理要素1012例如生成由左摄像头412e拍摄到的图22C的第4拍摄图像(以下也称为左图像)上重叠了指标图像I1的合成图像。进一步,第1支援处理要素1012生成由主摄像头412f拍摄到的图18C～9C、图22D的第5拍摄图像(以下也称为主图像)上重叠了指标图像I2的合成图像。

即,第1支援处理要素1012以与由第1支援处理要素1011识别出的上部回转体450相对于下部行驶体430的回转角度相对应的角度,生成将指标图像I1、I2在第4拍摄图像(脚下图像、左图像)以及主图像中的至少一个拍摄图像上至少部分地重叠于作业机械40或其周围的合成图像。

具体而言,第1支援处理要素1011根据左右履带430a、430b相对于第4拍摄装置(脚下摄像头、左摄像头)412d、412e的拍摄方向的倾斜角度等、以及映现在第4拍摄图像(脚下图像、左图像)中的第1标记M1和第2标记M2之别,来识别上部回转体450相对于下部行驶体430的回转角度。第2支援处理要素例如能够对应左右履带430a、430b相对于第4拍摄装置(脚下摄像头、左摄像头)412d、412e的拍摄方向的倾斜角度而重叠指标图像I1、I2来生成合成图像。

远程操作装置20将接收到的合成图像例如显示于中央远程图像输出装置2210(STEP222)上。另外,合成图像也可以显示于中央远程图像输出装置2210以外,例如也可以显示于左侧远程图像输出装置2211、右侧远程图像输出装置2212等图像输出装置上。

对基于STEP122的第4拍摄图像中的第1标记或第2标记的映入状态来识别下部行驶体430的前进方向或后退方向的前后方向推定处理进行说明。

如图17所示,第1支援处理要素1011判定脚下图像中是否映现有第1标记M1或第2标记M2(STEP231)。

例如参照预先记录在数据库110中第1标记M1的图像数据(外观设计的数据)以及第2标记M2的图像数据(外观设计的数据),基于脚下图像中是否包含与该第1标记M1的图像数据(外观设计的数据)或者第2标记M2的图像数据(外观设计的数据)一致的外观设计，来进行STEP231的判定。

具体而言,第1支援处理要素1011在使用纵横比对映入脚下图像的第1标记M1的设计(或第2标记M2的设计)进行了校正之后,计算与记录在数据库110中的第1标记M1(或第2标记M2)的图像数据的类似度。第1支援处理要素1011将该相似度为规定值以上的情况判定为第1标记M1(或者第2标记M2)包含在脚下图像内。

STEP231的判定不限于这样的判定手法,例如,预先将与上部回转体450相对于下部行驶体430的角度相对应的脚下图像的第1标记M1和第2标记M2的多个图像数据、以及左图像的第1标记M1和第2标记M2的多个图像数据记录在数据库110中。第1支援处理要素1011也可以通过将该多个图像数据与从作业机械40发送的脚下图像以及左图像的图像数据进行比较,来判定第1标记M1以及第2标记M2是否包含在脚下图像或者左图像内。

在STEP231的判定中,若判定为脚下图像中映现有第1标记M1或第2标记M2(STEP231:YES),则第1支援处理要素1011判定该标记是否是第1标记M1(STEP232)。

例如基于第1支援处理要素1011在STEP231的判定中判定为一致的图像，来进行STEP232的判定。

在STEP232的判定中，若判定为映现在脚下图像中的标记是第1标记M1(STEP232:YES),则第1支援处理要素1011判定映现在脚下图像中的第1标记M1的数量是否是一个(STEP233)。

例如基于第1支援处理要素1011在STEP231的判定中判定为一致的图像的数量，来进行STEP233的判定。

当判定为映现在脚下图像中的第1标记M1的数量不是一个时(STEP233:NO),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为0±α°(STEP234)。换言之,第1支援处理要素1011判定为驾驶室454的设置有前窗的正面方向与下部行驶体430的前进方向一致。

这里,α是以0°为中心、在脚下图像中两个第1标记M1映现出的角度的范围。角度α可以根据第4拍摄装置412d所使用的镜头的视角(广角镜头、鱼眼镜头等)、下部行驶体430的一对履带430a、430b的间隔距离等适当设定。另外,关于下部行驶体430的后退方向,第1支援处理要素1011将与前进方向相反的一侧的方向识别为后退方向。

例如,如图18A所示,在作业机械40的下部行驶体430的前进方向与上部回转体450的正面方向一致的情况下,在图18B所示的脚下图像中映现出左右一对履带430a、430b和设置于各个履带430a、430b的两个第1标记M1。因此,在脚下图像中映入有两个第1标记M1的情况下,第1支援处理要素1011判定为驾驶室454的设置有前窗的正面方向与下部行驶体430的前进方向一致。另外,第1支援处理要素1012如上述STEP124的合成图像生成理中说明的那样,如图18B所示,将该角度对应的指标图像I1与脚下图像重叠,并且如图18C所示,将指标图像I2与主图像重叠。

即,第1支援处理要素1011识别基于与上部回转体450相对于下部行驶体430的回转相应地变化的一对履带430a、430b在脚下图像中的映入状态、和第1标记M1以及第2标记M2各自的脚下图像中的映入状态的、上部回转体450相对于下部行驶体430的回转角度。另外,第1支援处理要素1011也可以参照由实机状态传感器组414的回转角度传感器取得的回转数据来识别该回转角度。

若判定为映现在脚下图像中的第1标记的数量是1个(STEP233:YES),则第1支援处理要素1011判定附有映现在脚下图像中的第1标记的履带是否是右履带430a(STEP235)。

例如,第1支援处理要素1011将与上部回转体450相对于下部行驶体430的角度相对应的脚下图像的右履带430a和左履带430b的多个图像数据、以及左图像的右履带430a和左履带430b的多个图像数据预先记录在数据库110中。第1支援处理要素1011通过将从作业机械40发送的脚下图像以及左图像的图像数据和该多个图像数据进行比较,来判定右履带430a是否包含于脚下图像或者左图像中。

若判定为映现在脚下图像中的履带是右履带430a(STEP235:YES),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为45±α°(STEP236)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为45±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向为45°的方向识别为下部行驶体的前进方向。

例如,如图19A所示,当上部回转体450的正面方向相对于下部行驶体430的前进方向成45±α°的角度时,在图19B所示的脚下图像中例如映现右履带430a和设置于右履带430a的一个第1标记M1。因此,在第1支援处理要素1011在脚下图像中映入有右履带430a及一个第1标记M1的情况下,判定为驾驶室454的设置有前窗的正面方向相对于下部行驶体430的前进方向成45±α°的角度。另外,第1支援处理要素1012如上述STEP124的合成图像生成理中说明的那样,如图19B所示,将该角度对应的指标图像I1与脚下图像重叠,并且如图19C所示,将指标图像I2与主图像重叠。

若判定为映现在脚下图像中的履带是左履带430b(STEP235:NO),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为315±α°(STEP237)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为315±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向成315±α°的方向识别为下部行驶体430的前进方向。

例如,如图20A所示,在上部回转体450的正面方向相对于下部行驶体430的前进方向成315±α°的角度的情况下,在图20B所示的脚下图像中例如映现左履带430b和设置于左履带430b的一个第1标记M1。因此,在脚下图像中映入左履带430b和一个第1标记M1这样的情况下,第1支援处理要素1011判定为驾驶室454的设置有前窗的正面方向相对于下部行驶体430的前进方向成315°的角度。另外,第1支援处理要素1012如上述STEP124的合成图像生成理中说明的那样,如图20B所示,将该角度对应的指标图像I1与脚下图像重叠,并且如图20C所示,将指标图像I2与主图像重叠。

在STEP232的判定中，若判定为映现在脚下图像中的标记是第2标记(STEP232:NO),则第1支援处理要素1011判定映现在脚下图像中的第2标记M2的数量是否是一个(STEP238)。

当判定为映现在脚下图像中的第2标记M2的数量不是一个时(STEP238:NO),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为180±α°(STEP239)。换言之,第1支援处理要素1011判定为驾驶室454的设置有前窗的正面方向与下部行驶体430的前进方向处于相反的关系。

若判定为映现在脚下图像中的第2标记M2的数量是一个(STEP238:YES),则第1支援处理要素1011判定附有映现在脚下图像中的第2标记M2的履带是否是右履带430a(STEP240)。

若判定为映现在脚下图像中的履带是右履带430a(STEP240:YES),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为135±α°(STEP241)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为135±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向成135±α°的方向识别为下部行驶体430的前进方向。

若判定为映现在脚下图像中的履带是左履带430b(STEP240:NO),则第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为225±α°(STEP242)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为225±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向成225±α°的方向识别为下部行驶体430的前进方向。

例如,如图21A所示,在上部回转体450的正面方向相对于下部行驶体430的前进方向成225±α°的角度的情况下,在图21B所示的脚下图像中例如映现左履带430b和设置于左履带430b的一个第2标记M2。因此,在脚下图像中映入左履带430b以及一个第2标记M2这样的情况下,第1支援处理要素1011判定为驾驶室454的设置有前窗的正面方向相对于下部行驶体430的前进方向成225±α°的角度。另外,第1支援处理要素1012如上述STEP124的合成图像生成理中说明的那样,如图21B所示,将该角度对应的指标图像I1与脚下图像重叠,并且如图21C所示,将指标图像I2与主图像重叠。

在STEP231的判定中,当判定为脚部图像中未映现有第1标记M1或第2标记M2时(STEP231:NO),因如上所述那样，脚部图像或左图像的任一个中映现有第1标记M1或第2标记M2,则第1支援处理要素1011参照左图像,判定映现在左图像中的标记是否为第1标记M1(STEP243)。

在判定为映现在左图像中的标记是第1标记M1的情况下(STEP243:YES),第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为90±α°(STEP244)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为90±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向成90±α°的方向识别为下部行驶体430的前进方向。

在判定为映现在左图像中的标记是第2标记M2的情况下(STEP243:NO),第1支援处理要素1011将上部回转体450相对于下部行驶体430的回转角度识别为270±α°(STEP245)。换言之,第1支援处理要素1011判定为驾驶室454的正面方向相对于下部行驶体430的前进方向所成的角度为270±α°。即,第1支援处理要素1011将相对于驾驶室454的正面方向成270±α°的方向识别为下部行驶体430的前进方向。

例如,如图22A所示,当上部回转体450的正面方向相对于下部行驶体430的前进方向成270±α°的角度时,在图22B所示的脚下图像中例如仅映现左履带430b。因此,第1支援处理要素1011参照图22C所示的左图像,例如识别映现有左右一对履带430a、430b和设置于各个履带430a、430b上的两个第1标记M1。因此,第1支援处理要素1011在左图像中映入有两个第1标记M1的情况下,判定为驾驶室454的设置有前窗的正面方向相对于下部行驶体430的前进方向的角度为270±α°。另外,第1支援处理要素1012如上述STEP124的合成图像生成理中说明的那样,如图22C所示,将该角度对应的指标图像I1与左图像重叠,并且如图22D所示,将指标图像I2与主图像重叠。

因此,第1支援处理要素1011基于通过多个第4拍摄装置412d、412e取得的多个第4拍摄图像(脚下图像、左图像)中第1标记M1以及第2标记M2各自的映入状态,识别下部行驶体430的前进方向或者后退方向。

另外,在上述的说明中,脚下图像、左图像中映入的第1标记M1以及第2标记M2的类别的判定以及脚下图像、左图像中映入的第1标记M1以及第2标记M2的个数的判定在STEP231～213、STEP238以及STEP243中分别进行判定。但是,这些判定也可以通过上述的图像处理在一个步骤中进行。

另外,在上述说明中,考虑映入到第4拍摄图像(脚下图像、左图像)的履带430a、430b之别，来识别上部回转体450相对于下部行驶体430的回转角度,但不限于此。

例如,第1支援处理要素1011也可以基于映入到第4拍摄图像(脚下图像、左图像)的第1标记M1和第2标记M2之别、以及映入第4拍摄图像(脚下图像、左图像)的第1标记M1和第2标记M2的个数,识别上部回转体450相对于下部行驶体430的回转角度。

具体而言,第1支援处理要素1011识别映入到第4拍摄图像中的标记是第1标记M1还是第2标记,并且识别该识别到的第1标记M1或者第2标记映入到第4拍摄图像中的个数。

例如,在将驾驶室454的正面方向与下部行驶体430的前进方向一致的角度设为0±α°时,在2个第1标记M1或2个第2标记M2映入到第4拍摄图像(脚下图像)的情况下,第1支援处理要素1011识别上部回转体450相对于下部行驶体430的回转角度是特定的角度,例如是接近0°或180°的角度(0±α°或180±α°)。

另外,第1支援处理要素1011例如在1个第1标记M1或1个第2标记M2映入到第4拍摄图像(脚下图像)中的情况下,识别上部回转体450相对于下部行驶体430的回转角度是特定的角度、例如45°或接近135°的角度(45±α°或135±α°)。

并且,第1支援处理要素1011能够根据映入到第4拍摄图像(脚下图像)中的标记之别(第1标记M1或第2标记M2)来识别一对履带430a、430b的前后方向。另外,在第1标记M1以及第2标记M2未映入第4拍摄图像(脚下图像)的情况下,识别上部回转体450相对于下部行驶体430的回转角度是特定的角度、例如接近90°的角度(90±α°)。因此,不使用第4拍摄图像(脚下图像、左图像)中的一对履带430a、430b的映入状态,就能够识别上部回转体450相对于下部行驶体430的回转角度以及一对履带430a、430b的前后方向。因此,不需要一对履带430a、430b的映入状态所必须的图像解析处理,由此能够实现第1支援处理要素1012处理负荷的降低。

另外,第1支援处理要素1011也可以识别基于作为第4拍摄图像(脚下图像、左图像)中所包含的第1标记M1以及第2标记M2的映入状态的、第1标记M1以及第2标记M2在第4拍摄图像(脚下图像、左图像)中左右方向的位置的上部回转体450相对于下部行驶体430的回转角度。

根据这样的方式,例如在将驾驶室454的正面方向与下部行驶体430的前进方向一致的角度设为0°时,在两个第1标记M1(或者两个第2标记M2)中的一方的第1标记M1(或者第2标记M2)位于比第4拍摄图像(脚下图像、左图像)的中央更靠右端侧的位置,另一方的第1标记M1(或者第2标记)位于比第4拍摄图像(脚下图像)的中央更靠左端侧的位置的情况下,第1支援处理要素1011识别上部回转体450相对于下部行驶体430的角度为特定的角度,例如接近0°或180°的角度(0±α°或180±α°)。

另外,第1支援处理要素1011例如也可以在连结第1标记M1彼此的线的中点的位置进行更详细的角度判定。例如,在上部回转体450相对于下部行驶体430的角度为3°的情况下,与该角度为0°的情况相比,连结第1标记M1彼此的线的中点的位置位于脚下图像的左右方向的右侧。将连接与这样的各种各样的该角度对应的第1标记M1彼此的线的中点的位置作为图像数据预先记录在数据库110中。第1支援处理要素1011也可以参照该中点的位置,计算脚下图像的中点的位置的一致度来进行详细的该角度的判定。

另外,例如,在第4拍摄图像(脚下图像)中,当右侧的履带430a的第1标记M1位于左右方向的中央附近时,识别上部回转体450相对于下部行驶体430的回转角度为特定的角度、例如接近45°的角度(45±α°)。另外,例如,在第4拍摄图像(脚下图像)中,当左侧的履带430b的第1标记M1位于左右方向的中央附近时,识别上部回转体450相对于下部行驶体430的回转角度为特定的角度、例如接近135°的角度(135±α°)。

这样,第4拍摄图像所包含的第1标记M1以及第2标记M2的映入状态根据上部回转体450相对于下部行驶体430的回转角度而变化。具体而言,第1标记M1以及第2标记M2在第4拍摄图像中左右方向的位置根据该回转角度的变化而变化。因此,第1支援处理要素1011通过识别第4拍摄图像(脚下图像)中第1标记M1以及第2标记M2的左右方向的位置,能够识别上部回转体450相对于下部行驶体430的回转角度。

第1支援处理要素1012可以基于规定的时机进行合成图像的显示或隐藏。以下,说明第1支援处理要素1012对合成图像的显示或隐藏的控制。

如图23所示,远程操作装置20以远程操作装置20的启动为触发,开始作业支援处理。例如当操作员OP1使遮断杆2113处于OFF时(STEP251:YES),远程操作装置20将操作信号发送至作业支援服务器10(STEP252)。

作业支援服务器10的第1支援处理要素1011若接收到操作信号,则识别出遮断杆2113处于OFF(STEP151:YES),第1支援处理要素1011以及第1支援处理要素1012进行合成图像的显示处理(STEP152)。

因此,第1支援处理要素1011取得表示可否受理远程操作装置20对作业机械40的操作的信息即操作受理信息作为操作信号。在STEP152的显示处理中,进行STEP122的前后方向推定处理到STEP125的合成图像发送处理。因此,第1支援处理要素1012在操作受理信息是可受理对作业机械40的操作的情况下,将合成图像发送至远程操作装置20。

作业支援服务器10的第1支援处理要素1011判定是否从进行STEP152的合成图像的显示处理起经过了规定时间(例如60秒)或者进行了预先指定的指定操作(例如,动臂用操作装置、斗杆用操作装置、铲斗用操作装置的操作、或后述的行驶动作)(STEP153)。

若作业支援服务器10的第1支援处理要素1011在STEP153的判定中判定为从进行合成图像的显示处理起经过了规定时间或者进行了预先指定的指定操作(STEP153:YES),则第1支援处理要素1011以及第1支援处理要素1012进行合成图像的隐藏处理(STEP154)。即,第1支援处理要素1011以及第1支援处理要素1012停止STEP124的合成图像生成处理以及STEP125的合成图像发送处理。

若作业支援服务器10的第1支援处理要素1011在STEP153的判定中判定为从进行合成图像的显示处理起未经过规定时间或者未进行预先指定的指定操作(STEP153:NO),则进入后述STEP159的判定。

远程操作装置20若在STEP252中将操作信号发送至作业支援服务器10,则接着,将由第6拍摄装置212拍摄到的第6拍摄图像发送至作业支援服务器10(STEP253)。

作业支援服务器10的第1支援处理要素1011在STEP154中进行了合成图像的隐藏处理之后,参照所取得的第6拍摄图像,判定操作者OP1是否进行了用于使作业机械40行驶的动作即行驶动作(STEP155)。

行驶动作是操作员OP1的动作，用于操作远程操作机构211的行驶用操作装置。行驶动作例如可以举出行驶用操作装置的操作杆(行驶杆)的操作、用于进行行驶踏板的操作的动作。

STEP155的判定例如通过操作员OP1与行驶杆2110的状态从非相互作用状态迁移到相互作用状态来判定。这里,非相互作用状态是指例如操作员OP1未握住或未接触行驶杆2110的状态。另外,相互作用状态例如是指操作者OP1握住或接触行驶杆2110的状态。另外,也可以采用操作员OP1的脚不位于行驶踏板上的状态作为非相互作用状态、操作员OP1的脚位于行驶踏板上的状态作为相互作用状态。由此,在操作员OP1有意使下部行驶体430动作的可能性高的状况下,在下部行驶体430尚未开始动作的操作初期阶段,就能够判定是否进行了行驶动作。

因此,第1支援处理要素1011取得表示远程操作装置20中作业机械40的前进或后退的操作输入的意思的动作即准备动作的行驶操作信息作为行驶动作。

第1支援处理要素1011在STEP155的判定中判定为操作者OP1未进行用于使作业机械40行驶的动作即行驶动作的情况下(STEP155:NO),返回STEP153的判定。

第1支援处理要素1011在STEP155的判定中判定为操作者OP1进行了用于使作业机械40行驶的动作即行驶动作的情况下(STEP155:YES),判断前进操作、后退操作的类别,使指标图像与前进方向或后退方向一致并生成合成图像,进行该合成图像的显示处理(STEP156)。在STEP156的合成图像的显示处理中,进行与STEP152的合成图像的显示处理相同的处理。

因此,第1支援处理要素1012在准备动作所表示的意思是前进的操作输入的情况下,将使用表示下部行驶体430的前进方向的指标图像而生成的合成图像发送至远程操作装置20。另外,第1支援处理要素1012在准备动作所表示的意思是后退的操作输入的情况下,将使用表示下部行驶体430的后退方向的指标图像而生成的合成图像发送至远程操作装置20。

远程操作装置20若在STEP253中将第6拍摄图像发送至作业支援服务器10,则接着,将与操作员OP1的用于使作业机械40动作的操作对应的操作信号发送至作业支援服务器10(STEP254)。

第1支援处理要素1011基于从远程操作装置20发送的操作信号,判定是否进行了行驶操作(STEP157)。第1支援处理要素1011例如根据操作信号中是否包含与行驶操作相关的信号来进行STEP157的判定。

第1支援处理要素1011在STEP157的判定中若判定为未进行行驶操作(STEP157:NO),则返回STEP153的判定。

第1支援处理要素1011在STEP157的判定中若判定为进行了行驶操作(STEP157:YES),则第1支援处理要素1011以及第1支援处理要素1012进行合成图像的隐藏处理(STEP158)。在STEP158的合成图像的隐藏处理中,进行与STEP154相同的处理。

第1支援处理要素1011判定遮断杆2113是否处于ON(STEP159)。

第1支援处理要素1011在STEP159的判定中若判定为遮断杆2113处于ON(STEP159:YES),则结束处理。

第1支援处理要素1011在STEP159的判定中若判定为遮断杆2113处于OFF(STEP159:NO),则返回STEP153的判定。

在以上的实施例2的说明中,说明了由作业支援服务器10执行作业支援处理。但是,作业支援处理既可以由远程操作装置20进行,也可以由作业机械40进行。

另外,在上述的实施例2中,说明了第1支援处理要素1011以及第1支援处理要素1012作为相互不同的处理要素,但也可以用1个"支援处理要素"来处理各个支援处理要素。

另外,在上述的实施例2中,说明了通过参照由第6拍摄装置212取得的第6拍摄图像来进行判定操作员OP1是否进行了行驶动作,但并不限定于此。例如,也可以将检测操作员把持行驶杆2110的把持传感器配置在该操作员OP1把持行驶杆2110的部分,第1支援处理要素1011通过取得该把持传感器的检测，来判定是否进行了行驶动作。把持传感器例如可以包括配置于行驶杆2110的传感器电极和测定该把持传感器与人体(操作者OP1)之间的静电电容值的测定部,也可以包括测定操作者OP1接触行驶杆2110时产生的压力的压电元件等测定部。

在上述实施例2中,在判定为进行了指定操作的情况下(STEP153:YES),进行隐藏合成图像的处理(STEP154)。但是,STEP154也可以不立即执行。例如,即使在判定为进行了指定操作或行驶动作的情况下(STEP153:YES),也可以在进行了STEP152中的合成图像的显示处理起经过规定时间(例如60秒)之后执行STEP154。该情况下的规定时间能够任意地设定,也可以设定为比60秒短。由此,能够使操作员OP1可靠地识别下部行驶体430的前进方向或后退方向。

上述的实施例2若判定为进行了行驶操作(STEP157:YES),则进行合成图像的隐藏处理(STEP158)。但是,STEP158的处理是任意执行的处理,例如,也可以在进行行驶操作的期间,继续合成图像的显示处理。

在上述实施例2中,在第4拍摄图像(脚下图像、左图像)上重叠有指标图像。但是,在第4拍摄图像(脚下图像、左图像)上也可以不一定重叠指标图像。例如,也可以仅在第5拍摄图像(主图像)上重叠指标图像。换言之,第1支援处理要素1012也可以将表示由第1支援处理要素1011识别出的下部行驶体430的前进方向或后退方向的指标图像，至少部分重叠于通过与第4拍摄装置412d、412e分开设置于上部回转体430的第5拍摄装置412f取得的第5拍摄图像的作业机械40或其周围而得到的合成图像发送至远程操作装置20。

在本发明的远程操作系统中,优选的是,所述支援处理要素基于根据所述上部回转体相对于所述下部行驶体的回转而变化的所述下部行驶体的映入状态、和所述指定构成要素的映入状态,以与所述上部回转体相对于所述下部行驶体的所述回转角度相对应的角度,将所述指标图像至少部分地重叠于所述拍摄图像的所述作业机械或其周围。

根据这样的方式,支援处理要素例如能够根据拍摄图像中下部行驶体的映入状态、即拍摄图像中映现出的下部行驶体的左右之别(一方或双方)、下部行驶体的左右相对于拍摄装置的拍摄方向的倾斜角度等以及拍摄图像中映现出的多个指定构成要素之别,来识别上部回转体相对于下部行驶体的回转角度。因此,例如,支援处理要素能够与下部行驶体的左右相对于拍摄装置的拍摄方向的倾斜角度对应地重叠指标图像而生成合成图像,能够将该合成图像发送至远程操作装置。因此,操作者仅通过目视合成图像就能够容易地识别下部行驶体的前进方向或后退方向。

在本发明的远程操作系统中,优选的是，所述拍摄装置在从所述作业机械观察的方位角相互不同的位置配置有多个,所述支援处理要素在通过一个所述拍摄装置取得的一个所述拍摄图像中未映现下部行驶体的指定构成要素的情况下,将基于通过其他所述拍摄装置取得的其他所述拍摄图像中所述下部行驶体的映入状态和所述指定构成要素的映入状态而生成的、表示所述下部行驶体的前后方向的指标图像重叠于所述拍摄图像。

根据这样的方式,即使在一个拍摄图像中未映现出作业机械的下部行驶体的指定构成要素的情况下,支援处理要素也能够基于其他拍摄图像,将重叠有表示作业机械的下部行驶体的前后方向的指标图像的合成图像发送至远程操作装置。

另外,在本发明的远程操作系统中,优选的是，所述支援处理要素识别基于作为一个所述拍摄图像所包含的所述指定构成要素的映入状态的、所述指定构成要素在一个所述拍摄图像中左右方向的位置的所述上部回转体相对于所述下部行驶体的回转角度。

根据这样的方式,一个拍摄图像所包含的多个指定构成要素的映入状态根据上部回转体相对于下部行驶体的回转角度而变化。具体而言,多个指定构成要素在一个拍摄图像中左右方向的位置根据该回转角度的变化而变化。因此,支援处理要素通过识别一个拍摄图像中多个指定构成要素的左右方向的位置,能够识别上部回转体相对于下部行驶体的回转角度。

另外,在本发明的远程操作系统中,优选的是,所述第1支援处理要素取得包含从所述下部行驶体突出形成的立体状的所述指定构成要素的所述拍摄图像。

根据这样的方式,即使在多个指定构成要素附着有泥、土等的情况下,支援处理要素也能够容易地识别多个指定构成要素。

另外,在本发明的远程操作系统中,优选的是,所述支援处理要素基于所述其他拍摄图像的图像坐标、所述一个拍摄装置配置的位置以及所述一个拍摄图像的一部分区域,将所述指标图像重叠于所述一个拍摄图像而得到的所述合成图像发送至所述远程操作装置。

根据这样的方式,支援处理要素例如能够生成对从未映现指定构成要素的作业机械的一个拍摄方向(例如正面方向)或者其他拍摄方向(例如背面方向)拍摄到的拍摄图像合成了指标图像的合成图像。因此,操作员能够不进行视线移动地识别作业机械的下部行驶体的前后方向。

另外,在本发明的远程操作系统中,优选的是,所述作业机械的所述下部行驶体具有左右一对履带,所述支援处理要素根据所述合成图像中所述履带的尺寸以及所述合成图像中所述履带的位置来生成所述指标图像。

根据这样的方式,例如,支援处理要素能够生成在履带上重叠了指标图像的合成图像,因此能够提高指标图像的视觉辨认性。因此,能够实现操作员作业效率的提高。

另外,在本发明的远程操作系统中,优选的是,所述支援处理要素取得操作受理信息,所述操作受理信息是表示能否受理所述远程操作装置对所述作业机械的操作的信息,在所述操作受理信息是能受理对所述作业机械的操作的情况下,将所述合成图像发送至所述远程操作装置。

根据这样的方式,可以仅在操作员对作业机械进行操作的情况下显示下部行驶体的前进方向或后退方向，可以减轻操作员会感到的麻烦。

另外,在本发明的远程操作系统中,优选的是，所述支援处理要素取得表示所述远程操作装置中所述作业机械的前进或后退的操作输入的意思的动作即准备动作的行驶操作信息,在由所述准备动作表示的所述意思是前进的所述操作输入的情况下,将使用表示所述下部行驶体的前进方向的所述指标图像生成的所述合成图像发送至所述远程操作装置,在由所述准备动作表示的所述意思是后退的所述操作输入的情况下，将使用表示所述下部行驶体的后退方向的所述指标图像生成的所述合成图像发送至所述远程操作装置。

根据这样的方式,可以仅在操作员进行作业机械的前进或后退的操作的情况下,显示重叠有指标图像的合成图像,可以减轻始终显示重叠有指标图像的合成图像的麻烦。

另外,在本发明的远程操作系统中,优选的是，所述作业机械相互接近地配置多台,所述支援处理要素取得成为操作对象的候补的所述作业机械的实际空间的位置信息,并且在由所述拍摄图像计算出的所述作业机械的实际空间位置以及成为所述操作对象的候补的所述作业机械的实际空间的所述位置信息一致的情况下,将成为所述操作对象的候补的所述作业机械识别为成为操作对象的所述作业机械。

根据这样的方式,即使在多台作业机械相互接近地配置的情况下,支援处理要素也能够判别成为操作对象的作业机械。因此,即使在难以根据外观判别多台作业机械中成为操作对象的一台作业机械的情况下,支援处理要素也能够判别该一台作业机械,对操作员所希望的作业机械生成所述合成图像。

附图标记说明

10 作业支援服务器

101 支援处理要素

1011 第1支援处理要素

1012 第2支援处理要素

20 远程操作装置

200 远程控制装置

210 远程输入接口

211 远程操作机构

212 第6拍摄装置

220 远程输出接口

221 图像输出装置

222 远程无线通信机器

40 作业机械

400 实机控制装置

410 实机输入接口

411 实机操作机构

412a 实机拍摄装置

412b 附属拍摄装置

412c 后方拍摄装置

412d、412e 第4拍摄装置

412f 第5拍摄装置

420 实机输出接口

422 实机无线通信机器

460 工作机构(作业附件)

430 下部行驶体

430a、430b 履带

431 驱动部件

440 回转机构

450 上部回转体

454 驾驶室(司机室)

460 工作机构

50 第1拍摄装置

60 第2拍摄装置。

Claims (12)

1.一种远程操作系统，具有分别与作业机械和远程操作装置进行通信的相互通信功能,所述作业机械具有下部行驶体和能够相对于所述下部行驶体回转的上部回转体，所述远程操作装置用于对所述作业机械进行远程操作，所述远程操作系统的特征在于，

具有支援处理要素,所述支援处理要素将基于通过配置于所述作业机械周围的拍摄装置而取得的拍摄图像中所述下部行驶体的映入状态、和在所述下部行驶体的前后方向上偏在地配置的指定构成要素的映入状态而生成的、表示所述下部行驶体的前后方向的至少一方的指标图像至少部分地重叠于所述拍摄图像中所述作业机械或其周围而得到的合成图像发送至所述远程操作装置。

2.如权利要求1所述的远程操作系统，其特征在于，

所述支援处理要素基于根据所述上部回转体相对于所述下部行驶体的回转而变化的所述下部行驶体的映入状态、和所述指定构成要素的映入状态,以与所述上部回转体相对于所述下部行驶体的所述回转角度相对应的角度,将所述指标图像至少部分地重叠于所述拍摄图像的所述作业机械或其周围。

3.如权利要求1或2所述的远程操作系统，

所述拍摄装置在从所述作业机械观察的方位角相互不同的位置配置有多个,

所述支援处理要素在通过一个所述拍摄装置取得的一个所述拍摄图像中未映现有下部行驶体的指定构成要素的情况下,将基于通过其他所述拍摄装置取得的其他所述拍摄图像中所述下部行驶体的映入状态和所述指定构成要素的映入状态而生成的、表示所述下部行驶体的前后方向的指标图像重叠于所述拍摄图像。

4.如权利要求3所述的远程操作系统，其特征在于，

所述支援处理要素基于映入一个所述拍摄图像的所述指定构成要素的个数以及映入其他所述拍摄图像的所述指定构成要素的个数,识别所述上部回转体相对于所述下部行驶体的回转角度。

5.如权利要求2～4的任一项所述的远程操作系统，

所述支援处理要素识别基于作为一个所述拍摄图像所包含的所述指定构成要素的映入状态的、所述指定构成要素在一个所述拍摄图像中左右方向的位置的所述上部回转体相对于所述下部行驶体的回转角度。

6.如权利要求1～5的任一项所述的远程操作系统，

所述支援处理要素取得包含从所述下部行驶体突出形成的立体状的所述指定构成要素的所述拍摄图像。

7.如权利要求1～6的任一项所述的远程操作系统，

所述支援处理要素基于所述其他拍摄图像的图像坐标、配置有所述一个拍摄装置的位置以及所述一个拍摄图像的拍摄区域,将在所述一个拍摄图像上重叠了所述指标图像的所述合成图像发送至所述远程操作装置。

8.如权利要求1～7的任一项所述的远程操作系统，

所述作业机械的所述下部行驶体具有左右一对履带，

所述支援处理要素根据所述合成图像中的所述履带的尺寸以及所述合成图像中的所述履带的位置来生成所述指标图像。

9.如权利要求1～8的任一项所述的远程操作系统，

所述支援处理要素取得表示可否受理所述远程操作装置对所述作业机械的操作的信息即操作受理信息,在所述操作受理信息是可受理对所述作业机械的操作的情况下,将所述合成图像发送至所述远程操作装置。

10.如权利要求1～9的任一项所述的远程操作系统，

所述支援处理要素取得表示所述远程操作装置中所述作业机械的前进或后退的操作输入的意思的动作即准备动作的行驶操作信息,在所述准备动作所表示的所述意思是前进的所述操作输入的情况下,将使用表示所述下部行驶体的前进方向的所述指标图像而生成的所述合成图像发送至所述远程操作装置,在所述准备动作所表示的所述意思是后退的所述操作输入的情况下，将使用表示所述下部行驶体的后退方向的所述指标图像而生成的所述合成图像发送至所述远程操作装置。

11.如权利要求1～10的任一项所述的远程操作系统，

所述作业机械相互接近地配置多台,

所述支援处理要素取得成为操作对象的候补的所述作业机械的实际空间的位置信息,并且在由所述拍摄图像计算出的所述作业机械的位置以及成为所述操作对象的候补的所述作业机械的实际空间的所述位置信息一致的情况下,将成为所述操作对象的候补的所述作业机械识别为成为操作对象的所述作业机械。

12.一种远程操作复合系统,其由权利要求1～11的任一项所述的远程操作系统、和所述远程操作装置及所述作业机械中的至少一方构成。