CN111788361A - 包括作业机械的系统、由计算机执行的方法、学习完成的位置推定模型的制造方法、以及学习用数据 - Google Patents

Abstract

求出工作装置的位置。提供一种包括作业机械的系统，其具备作业机械主体、安装于作业机械主体的工作装置、对工作装置进行拍摄的拍摄装置(50)、以及计算机(102A)。计算机(102A)具有学习完成的位置推定模型(80)。计算机(102A)如下进行编程：取得由拍摄装置(50)拍摄的工作装置的拍摄图像，使用学习完成的位置推定模型(80)，根据拍摄图像(50)而求出推定出工作装置的位置的推定位置。

Description

包括作业机械的系统、由计算机执行的方法、学习完成的位置 推定模型的制造方法、以及学习用数据

技术领域

本发明涉及包括作业机械的系统、由计算机执行的方法、学习完成的位置推定模型的制造方法、以及学习用数据。

背景技术

关于液压挖掘机，在日本特开2017-71982号公报(专利文献1)中公开了如下技术：在动臂销安装有动臂角度传感器，在斗杆销安装有斗杆角度传感器，在铲斗连杆安装有铲斗角度传感器，基于由这些角度传感器检测出的值来计算铲斗的铲尖的位置。

在先技术文献

专利文献

专利文献1：日本特开2017-71982号公报

发明内容

发明要解决的课题

在上述文献所记载的结构中，为了取得工作装置的姿态，需要在动臂、斗杆以及铲斗各自的轴安装角度传感器，部件数量增加。

在本发明中，提供一种用于求出工作装置的位置的、包括作业机械的系统、由计算机执行的方法、学习完成的位置推定模型的制造方法、以及学习用数据。

用于解决课题的手段

根据本发明的某一方面，提供一种包括作业机械的系统，其具备作业机械主体、安装于作业机械主体的工作装置、对工作装置进行拍摄的拍摄装置、以及计算机。计算机具有用于求出工作装置的位置的学习完成位置推定模型。计算机如下进行编程：取得由拍摄装置拍摄的工作装置的拍摄图像，使用学习完成位置推定模型，根据拍摄图像而求出推定出工作装置的位置的推定位置。

根据本发明的某一方面，提供一种由计算机执行的方法。该方法包括以下的处理。在第一处理中，取得包含设置于作业机械主体的工作装置的图像。在第二处理中，使用用于求出工作装置的位置的学习完成位置推定模型，根据所取得的图像而求出推定出工作装置的位置的推定位置。

根据本发明的某一方面，提供一种学习完成的位置推定模型的制造方法。制造方法包括以下的处理。在第一处理中，取得学习用数据。学习用数据包含安装于作业机械主体的工作装置的拍摄图像、以及对拍摄到拍摄图像的时刻的工作装置的位置进行计测而得的计测位置。在第二处理中，通过学习用数据使位置推定模型进行学习。

根据本发明的某一方面，提供一种用于供求出工作装置的位置的位置推定模型的学习用数据。学习用数据包括由拍摄装置拍摄而得的工作装置的拍摄图像、以及对拍摄到拍摄图像的时刻的工作装置的位置进行计测而得的计测位置。

根据本发明的某一方面，提供一种学习完成的位置推定模型的制造方法。制造方法包括以下的处理。在第一处理中，取得安装于作业机械主体的工作装置的拍摄图像。在第二处理中，使用学习完成的第一位置推定模型，根据拍摄图像而求出推定出工作装置的位置的推定位置。在第三处理中，通过包含拍摄图像和推定位置的学习用数据，使第二位置推定模型进行学习。

发明效果

根据本发明，能够高精度地取得工作装置的位置。

附图说明

图1是基于实施方式的液压挖掘机的外观图。

图2是针对动臂角度、斗杆角度以及铲斗角度进行说明的工作装置的侧视图。

图3是图1所示的液压挖掘机的示意性俯视图。

图4是示出包括作业机械的系统中所包含的计算机的结构的示意图。

图5是示出出厂前的液压挖掘机的系统结构的框图。

图6是示出学习完成的位置推定模型的制造方法的流程图。

图7是示出用于使位置推定模型进行学习的处理的概略图。

图8是示出拍摄图像的一例的示意图。

图9是示出出厂的液压挖掘机的系统结构的框图。

图10是示出在出厂后为了推定工作装置的相对位置而由计算机执行的处理的流程图。

图11是示出使用了学习完成的位置推定模型的、根据拍摄图像来推定工作装置的相对位置的处理的示意图。

图12是示出与位置推定模型的学习相关的变形例的概略图。

图13是示出用于生成蒸馏模型的处理的流程图。

具体实施方式

以下，基于附图对实施方式进行说明。在以下的说明中，对于相同部件标注相同的附图标记。它们的名称以及功能均相同。因此，不重复对它们的详细说明。

在实施方式中，首先，对能够应用本发明的思想的作业机械的一例即液压挖掘机的结构进行说明。图1是基于实施方式的液压挖掘机100的外观图。

如图1所示，液压挖掘机100具有主体1以及在液压的作用下工作的工作装置2。主体1具有回转体3以及行驶装置5。行驶装置5具有一对履带5Cr。液压挖掘机100能够通过履带5Cr的旋转来进行行驶。需要说明的是，行驶装置5也可以具有车轮(轮胎)。

回转体3配置于行驶装置5上，并由行驶装置5支承。回转体3能够以回转轴RX为中心而相对于行驶装置5回转。回转体3具有驾驶室4。液压挖掘机100的乘员(操作员)搭乘于该驾驶室4以对液压挖掘机100进行操纵。在驾驶室4设置有供操作员就座的驾驶席4S。操作员能够在驾驶室4内操作液压挖掘机100。操作员在驾驶室4内，能够进行工作装置2的操作、能够进行回转体3相对于行驶装置5的回转操作、还能够进行基于行驶装置5的液压挖掘机100的行驶操作。

回转体3具有收容发动机的发动机室9、以及设置于回转体3的后部的配重。在发动机室9配置有未图示的发动机以及液压泵等。

在回转体3中，在发动机室9的前方设置有扶手29。在扶手29设置有天线21。天线21例如是GNSS(Global Navigation Satellite Systems：全球导航卫星系统)用的天线。天线21具有以沿车宽方向彼此分开的方式设置于回转体3的第一天线21A以及第二天线21B。

工作装置2支承于回转体3。工作装置2具有动臂6、斗杆7、以及铲斗8。动臂6以能够转动的方式连结于回转体3。斗杆7以能够转动的方式连结于动臂6。铲斗8以能够转动的方式连结于斗杆7。铲斗8具有多个斗齿。将铲斗8的前端部称作铲尖8a。

动臂6的基端部经由动臂销13连结于回转体3。斗杆7的基端部经由斗杆销14连结于动臂6的前端部。铲斗8经由铲斗销15连结于斗杆7的前端部。铲斗8是以能够装卸的方式装配于工作装置2的前端的附属装置(attachmen)的一例。根据作业的种类，附属装置替换为破碎机、抓钩或起重磁铁等。

需要说明的是，在本实施方式中，以工作装置2为基准来对液压挖掘机100的各部分的位置关系进行说明。

工作装置2的动臂6相对于回转体3以设置于动臂6的基端部的动臂销13为中心进行转动。相对于回转体3转动的动臂6的特定部分、例如动臂6的前端部移动的轨迹呈圆弧状。包含该圆弧的平面被确定为图1所示的动作平面P。在俯视观察液压挖掘机100的情况下，动作平面P作为直线来表示。该直线的延伸方向为液压挖掘机100的主体1的前后方向、或回转体3的前后方向，在以下的说明中也被简称为前后方向。液压挖掘机100的主体1的左右方向(车宽方向)、或回转体3的左右方向是俯视下与前后方向正交的方向，在以下的说明中也被简称为左右方向。

在前后方向上，工作装置2从液压挖掘机100的主体1突出的一侧为前方向，与前方向相反的方向为后方向。观察前方向时的左右方向的右侧、左侧分别为右方向、左方向。

前后方向是就座于驾驶室4内的驾驶席的操作员的前后方向。与就座于驾驶席的操作员正对的方向为前方向，就座于驾驶席的操作员的背后方向为后方向。左右方向是就座于驾驶席的操作员的左右方向。就座于驾驶席的操作员正对于正面时的右侧、左侧分别为右方向、左方向。

动臂6能够以动臂销13为中心进行转动。斗杆7能够以斗杆销14为中心进行转动。铲斗8能够以铲斗销15为中心进行转动。斗杆7以及铲斗8分别是能够在动臂6的前端侧移动的可动构件。动臂销13、斗杆销14以及铲斗销15沿与动作平面P正交的方向、即左右方向延伸。动作平面P与成为动臂6、斗杆7以及铲斗8各自的转动中心的轴线中的至少一个(实施方式的情况下全部为三个)正交。

如上所述，动臂6在动作平面P上相对于回转体3进行转动动作。同样地，斗杆7在动作平面P上相对于动臂6进行转动动作，铲斗8在动作平面P上相对于斗杆7进行转动动作。实施方式的工作装置2整体在动作平面P上进行动作。铲斗8的铲尖8a在动作平面P上移动。动作平面P是包含工作装置2的可动范围的垂直的平面。动作平面P与动臂6、斗杆7以及铲斗8分别交叉。动作平面P能够在动臂6、斗杆7以及铲斗8的左右方向的中心设定。

如图1所示，在本说明书中，将X轴设定于动作平面P上的水平方向，将Y轴设定于动作平面P上的垂直朝上方向。X轴与Y轴彼此正交。

工作装置2具有动臂缸10、斗杆缸11、以及铲斗缸12。动臂缸10驱动动臂6。斗杆缸11驱动斗杆7。铲斗缸12驱动铲斗8。动臂缸10、斗杆缸11、以及铲斗缸12分别是通过工作油驱动的液压缸。

工作装置2具有铲斗连杆。铲斗连杆具有第一连杆构件16及第二连杆构件17。第一连杆构件16的前端与第二连杆构件17的前端经由铲斗缸项销19以能够相对旋转的方式连结。铲斗缸顶销19与铲斗缸12的前端连结。因此，第一连杆构件16以及第二连杆构件17与铲斗缸12销连结。

第一连杆构件16的基端在斗杆7的前端部的铲斗销15的附近经由第一连杆销18以能够旋转的方式与斗杆7连结。第一连杆构件16与斗杆7销连结。第二连杆构件17的基端经由第二连杆销20以能够旋转的方式与铲斗8的根部部分的托架连结。第二连杆构件17与铲斗8销连结。

液压挖掘机100具有拍摄装置50。实施方式的拍摄装置50是单眼相机。

拍摄装置50安装于回转体3。拍摄装置50安装于驾驶室4。拍摄装置50安装于驾驶室4的内部。拍摄装置50安装于驾驶室4的左前柱的上端附近。拍摄装置50配置于驾驶室4的内部空间中的、在左右方向上更远离工作装置2的位置即左前柱的附近。拍摄装置50以在左右方向上远离工作装置2的动作平面P的方式配置。拍摄装置50配置于比动作平面P靠左方的位置。

图2是针对动臂角度θb、斗杆角度θa、以及铲斗角度θk进行说明的工作装置2的侧视图。

如图2所示，将在侧视下通过动臂销13和斗杆销14的直线与沿上下方向延伸的直线所成的角度设为动臂角度θb。动臂角度θb表示动臂6相对于回转体3的角度。

将在侧视下通过动臂销13和斗杆销14的直线与通过斗杆销14和铲斗销15的直线所成的角度设为斗杆角度θa。斗杆角度θa表示斗杆7相对于动臂6的角度。

将在侧视下通过斗杆销14和铲斗销15的直线与通过铲斗销15和铲尖8a的直线所成的角度设为铲斗角度θk。铲斗角度θk表示铲斗8相对于斗杆7的角度。

动作平面P上的工作装置2的姿态由动臂角度θb、斗杆角度θa以及铲斗角度θk的组合确定。例如，设定于斗杆7的前端部的第一连杆销18的特征点A在动作平面P上的位置、即XY坐标由动臂角度θb以及斗杆角度θa的组合确定。设定于追随铲斗8的动作而位移的铲斗缸顶销19的特征点B在动作平面P上的位置、即XY坐标由动臂角度θb、斗杆角度θa以及铲斗角度θk的组合确定。

图3是图1所示的液压挖掘机100的示意性俯视图。在图3中示意地图示出了参照图1所说明过的工作装置2，、回转体3、驾驶室4、以及拍摄装置50。动作平面P在图3中是沿图中的上下方向延伸的直线，由双点划线图示。图3中由单点划线图示的光轴AX是拍摄装置50的光轴。光轴AX的延伸方向与动作平面P的延伸方向不平行。光轴AX的延伸方向相对于动作平面P的延伸方向倾斜。光轴AX与动作平面P交叉。

拍摄装置50装配于从倾斜方向观察工作装置2的动作平面的位置。拍摄装置50以相对于动作平面P呈比0°大的角度对工作装置2进行拍摄。由于工作装置2和拍摄装置50双方安装于回转体3，因此即使液压挖掘机100行驶或者回转，拍摄装置50相对于动作平面P的位置关系也不会变化。拍摄装置50相对于动作平面P的安装位置根据液压挖掘机100的每种机种而预先决定。

拍摄装置50对工作装置2进行拍摄。拍摄装置50对工作装置2的动作平面P进行拍摄。拍摄装置50对在动作平面P上移动的工作装置2进行拍摄。拍摄装置50拍摄而得的拍摄图像包含工作装置2的至少一部分。

图4是示出包括作业机械的系统所包括的计算机102A的结构的示意图。实施方式的系统是用于求出工作装置2相对于作业机械主体(主体1)的相对位置的系统。实施方式的系统包括参照图1～3所说明的作为作业机械的一例的液压挖掘机100、以及图4所示的计算机102A。

计算机102A可以是专用于实施方式的系统而设计的计算机，或者也可以是通用的PC(Personal Computer)。计算机102A具有处理器103、存储装置104、通信接口105、以及I/O接口106。处理器103例如是CPU(Central Processing Unit)。

存储装置104包括将所存储的程序以及数据等信息以处理器103能够读取的方式进行存储的介质。存储装置104包括RAM(Random Access Memory)或ROM(Read OnlyMemory)等系统存储器、以及辅助存储装置。辅助存储装置例如可以是硬盘等磁记录介质、CD(Compact Disc)、DVD(Digital Versatile Disc)等光学记录介质、或者闪存存储器等半导体存储器。存储装置104可以内置于计算机102A。存储装置104也可以包括以能够装卸的方式连接于计算机102A的外部记录介质109。外部记录介质109可以是CD-ROM。

通信接口105例如是有线LAN(Local Area Network)模块或无线LAN模块等，且是用于进行经由通信网络的通信的接口。I/O接口106例如是USB(Universal Serial Bus)端口等，且是用于与外部装置连接的接口。

计算机102A经由I/O接口106与输入装置107以及输出装置108连接。输入装置107是用于由用户进行向计算机102A的输入的装置。输入装置107例如包括鼠标或轨迹球等指示设备。输入装置107也可以包括键盘等用于文字输入的装置。输出装置108例如包括显示器。

图5是示出出厂前的液压挖掘机100的系统结构的框图。图5所示的处理器103以及存储装置104构成图4所示的计算机102A的一部分结构。处理器103具有图像处理部61以及工作装置位置推定部65。在存储装置104中保存有学习完成的位置推定模型80。

图像处理部61从拍摄装置(相机)50接受由拍摄装置50拍摄而得的拍摄图像的输入。图像处理部61对所输入的拍摄图像进行图像处理。

位置推定模型80是用于求出工作装置2相对于主体1的相对位置的人工智能模型。位置推定模型80构成为根据拍摄图像来求出工作装置2的相对位置。计算机102A通过使用人工智能的位置推定模型来推定工作装置2的相对位置。工作装置位置推定部65使用位置推定模型80，根据拍摄图像而求出推定出工作装置2的相对位置的推定位置。更具体而言，工作装置位置推定部65从存储装置104读取位置推定模型80，并向位置推定模型80输入拍摄图像，从而能够输出动臂角度θb、斗杆角度θa以及铲斗角度θk的推定结果。

位置推定模型80包括神经网络。位置推定模型80例如包括卷积神经网络(CNN)等深度神经网络。

实施方式中的模型可以安装于硬件、能够在硬件上执行的软件、固件、或它们的组合。模型可以包括由处理器103执行的程序、算法、以及数据。模型的功能可以由单一的模块执行，或者也可以分散给多个模块来执行。模型可以分散地配置于多个计算机。

出厂前的液压挖掘机100还具备编码器161。编码器161是安装于动臂销13的动臂角度传感器、安装于斗杆销的斗杆角度传感器以及安装于铲斗连杆的铲斗角度传感器的总称。也可以取代编码器161而在工作装置2装配电位计来计测角度。另外，也可以装配检测液压缸的行程的行程传感器，并将液压缸的移动量转换为角度。

处理器103具有角度转换部162、误差检测部66、以及位置推定模型更新部67。角度转换部162从编码器161接受电信号的输入，并将该电信号转换为动臂角度θb、斗杆角度θa以及铲斗角度θk。编码器161在拍摄装置50拍摄到拍摄图像的时刻取得电信号，并将该电信号向角度转换部162输出。角度转换部162与拍摄图像相关联地取得在拍摄到拍摄图像的时刻所计测到的动臂角度θb、斗杆角度θa以及铲斗角度θk。

误差检测部66对由工作装置位置推定部65推定出的动臂角度θb、斗杆角度θa以及铲斗角度θk的推定结果、与由角度转换部162转换后的基于编码器161的检测结果的动臂角度θb、斗杆角度θa以及铲斗角度θk的计测结果进行比较。误差检测部66计算推定结果相对于动臂角度θb、斗杆角度θa以及铲斗角度θk的真值的误差。

位置推定模型更新部67基于误差检测部66所计算出的动臂角度θb、斗杆角度θa以及铲斗角度θk的误差，对位置推定模型80进行更新。这样，位置推定模型80进行学习。拍摄装置50拍摄到的工作装置2的拍摄图像、与由角度转换部162计算的拍摄到拍摄图像的时刻的动臂角度θb、斗杆角度θa以及铲斗角度θk构成用于使位置推定模型80学习的学习用数据。位置推定模型80的学习在液压挖掘机100的出厂前在工厂进行。

图6是示出学习完成的位置推定模型80的制造方法的流程图。图7是示出用于使位置推定模型80学习的处理的概略图。虽然一部分内容与针对图5所说明过的内容重复，但以下参照图6以及图7对用于使推定工作装置2相对于主体1的相对位置的位置推定模型80学习的处理进行说明。

如图6所示，首先，在步骤S101中，取得拍摄图像。计算机102A、更详细而言图像处理部61从拍摄装置50取得由拍摄装置(相机)50拍摄而得的拍摄图像。在拍摄图像中标有时间戳，并设定为能够判别进行了拍摄的时刻。图像处理部61可以实时地取得拍摄装置50拍摄到的拍摄图像。图像处理部61也可以在规定时刻或每隔规定时间从拍摄装置50取得拍摄图像。图像处理部61对拍摄图像进行图像处理并将其保存于存储装置104。

接下来，在步骤S102中，取得角度计测数据。计算机102A、更详细而言角度转换部162从编码器161取得由编码器161检测到的动臂角度θb、斗杆角度θa以及铲斗角度θk的计测数据。这些计测数据被分配给拍摄图像。在某一时刻拍摄到的拍摄图像与在该时刻检测到的计测数据建立关联。如图7所示，制作包含拍摄图像、以及在拍摄到该拍摄图像的时刻计测工作装置2的角度而得的计测位置的学习用数据61A、61B、61C、…。

学习用数据包含图7所示那样的工作装置2的姿态不同的多个拍摄图像。学习用数据也可以包含在例如正午、逆光时、夜晚等不同的环境下对相同的姿态的工作装置2拍摄而得的多个拍摄图像。

接下来，在步骤S103中，输出工作装置2的相对位置。计算机102A、更详细而言工作装置位置推定部65从存储装置104读取位置推定模型80。位置推定模型80包含图7所示的神经网络。神经网络包含输入层81、中间层(隐藏层)82、以及输出层83。各层81、82、83具有一个或多个神经元。各层81、82、83的神经元的数量能够适当设定。

相互邻接的层的神经元彼此结合，并对各结合设定有权重(结合负载)。神经元的结合数可以适当设定。对各神经元设定有阈值，根据向各神经元输入的输入值与权重的积的和是否超过阈值来决定各神经元的输出值。

位置推定模型80进行学习以使得从拍摄图像输出工作装置2的相对位置。通过学习而得到的位置推定模型80的参数存储于存储装置104。位置推定模型80的参数例如包含神经网络的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元间的结合的权重、以及各神经元的阈值。

工作装置位置推定部65将拍摄装置50拍摄到的拍摄图像输入输入层81。从输出层83输出工作装置2相对于主体1的相对位置、具体而言表示动臂角度θb、斗杆角度θa以及铲斗角度θk的输出值。例如，计算机102A将拍摄图像用作输入层81的输入，并进行位置推定模型80的神经网络的正向传播的运算处理。由此，计算机102A作为从神经网络的输出层83输出的输出值而得到推定出工作装置2的相对位置的推定位置。

关于步骤S102的处理与步骤S103的处理，也可以不在步骤S102的处理之后进行步骤S103的处理。步骤S102的处理与步骤S103的处理可以同时进行，也可以在步骤S103的处理之后进行步骤S102的处理。

接下来，在步骤S104中，计算在步骤S103中输出的工作装置2的推定位置、与在步骤S102取得的工作装置2的角度的计测数据之差。计算机102A、更详细而言误差检测部66对从位置推定模型80的输出层83输出的根据拍摄图像而推定出工作装置2的相对位置的推定位置、与由角度转换部162得到的工作装置2的相对位置的计测位置进行比较，从而计算工作装置2的相对位置的推定值相对于真值的误差。

计算机102A将拍摄图像作为输入数据，并将在拍摄到拍摄图像的时刻对工作装置2的相对位置进行计测而得的计测位置作为教师数据，进行位置推定模型80的学习。计算机102A根据所计算出的输出值的误差，通过反向传播来计算各神经元间的结合的权重、以及各神经元的阈值的各自的误差。

接下来，在步骤S105中，对位置推定模型80进行更新。计算机102A、更详细而言位置推定模型更新部67基于由误差检测部66计算出的工作装置2的相对位置的推定值相对于真值的误差，对各神经元间的结合的权重、以及各神经元的阈值等位置推定模型80的参数进行更新。并且，使得向输入层81输入相同的拍摄图像的话则能够输出接近于真值的输出值。更新后的位置推定模型80的参数存储于存储装置104。

在下次推定工作装置2的相对位置时，向更新后的位置推定模型80输入拍摄图像，从而得到工作装置2的相对位置的推定结果的输出。计算机102A重复进行从步骤S101至步骤S105为止的处理，直至位置推定模型80输出的工作装置2的相对位置的推定结果与计测工作装置2的相对位置而得的计测位置一致为止。这样，位置推定模型80的参数最适当化，进行位置推定模型80的学习。

在位置推定模型80经过充分的学习而得到足够高精度的推定结果的输出时，计算机102A结束位置推定模型80的学习。这样，制作学习完成的位置推定模型80。接着，结束处理(结束)。

需要说明的是，位置推定模型80的各种的参数的初始值也可以通过模板来赋予。或者，参数的初始值也可以通过人类的输入而手动地赋予。在进行位置推定模型80的再学习时，计算机102A也可以基于作为进行再学习的对象的位置推定模型80的参数而存储于存储装置104的值，来准备参数的初始值。

图8是示出拍摄图像的一例的示意图。如图8所示，由拍摄装置50拍摄的拍摄图像也可以是工作装置2的动态图像MV1。在图8中，仅例示了动态图像MV1所包含的多个图像中的一部分即图像F11～F14。在各个图像F11～F14中标有时间戳。计算机102A(图像处理部61)从动态图像MV1提取例如图像F11。此时，计算机102取得图像F11中标有的时间戳以及在该时刻检测到的工作装置2的相对位置的计测数据，并将该计测数据分配给拍摄图像。

图9是示出出厂的液压挖掘机100的系统结构的框图。编码器161处于在出厂前使位置推定模型80进行学习的目的而临时安装于工作装置2，并在位置推定模型80的学习完成时从工作装置2拆下。出厂的液压挖掘机100不具备编码器161。出厂的液压挖掘机100仅具备图5所示的系统结构中的拍摄装置50以及计算机102B(处理器103、以及存储装置104)。

图10是示出在出厂后为了推定工作装置2的相对位置而由计算机102B执行的处理的流程图。图11是示出使用了以根据拍摄图像求出工作装置2的相对位置的方式完成学习后的位置推定模型80的、根据拍摄图像推定工作装置2的相对位置的处理的示意图。以下参照图9～11，对在出厂后根据在作业现场拍摄而得的拍摄图像推定工作装置2的相对位置的处理进行说明。

首先，在步骤S201中，取得拍摄图像。计算机102B、更详细而言图像处理部61从拍摄装置50取得由拍摄装置(相机)50拍摄而得的拍摄图像71(图11)。

接下来，在步骤S202中，输出工作装置2的相对位置。计算机102B、更详细而言工作装置位置推定部65从存储装置104读取位置推定模型80以及学习完成的参数的最佳值，从而取得学习完成的位置推定模型80。工作装置位置推定部65将拍摄装置50拍摄到的拍摄图像71用作向位置推定模型80输入的输入数据。工作装置位置推定部65将拍摄图像71向学习完成的位置推定模型80的输入层81所包含的各神经元输入。从学习完成的位置推定模型80的输出层83输出推定出工作装置2相对于主体1的相对位置的推定位置、具体而言表示动臂角度θb、斗杆角度θa以及铲斗角度θk的角度输出值77(图11)。

最后，在步骤S203中，计算机102B生成包含工作装置2相对于主体1的相对位置的管理数据。计算机102B将管理数据记录于存储装置104。接着，结束处理(结束)。

如以上所说明的，在实施方式的系统中，计算机102B具有用于求出工作装置2相对于主体1的相对位置的学习完成的位置推定模型80。如图9～11所示，计算机102B如下进行编程：取得由拍摄装置50拍摄的工作装置2的拍摄图像71，使用学习完成的位置推定模型80，根据拍摄图像71而求出推定出工作装置2的相对位置的推定位置。

因此，能够利用适于工作装置2相对于主体1的相对位置的推定的人工智能的位置推定模型80来推定工作装置2的姿态。由此，能够使用人工智能通过计算机102B容易且高精度地判断工作装置2的姿态。

由于能够根据工作装置2的拍摄图像来推定工作装置的姿态，因此能够不需要用于检测动臂角度θb、斗杆角度θa以及铲斗角度θk的传感器。不会由于角度传感器的耐老化性而对液压挖掘机100的作业造成影响。因此，能够以简单、低价且可靠性高的结构与以往的液压挖掘机100同样地取得工作装置2的当前姿态。

如图5所示，计算机102A如下进行编程：基于根据拍摄图像而推定出工作装置2的相对位置的推定位置、与在拍摄到该拍摄图像的时刻计测工作装置2的相对位置而得的计测位置的误差，对位置推定模型80进行更新。这样，在出厂前使位置推定模型80充分学习，从而能够制作精度高的位置推定模型80。

在出厂的液压挖掘机100具备编码器161等用于检测动臂角度θb、斗杆角度θa以及铲斗角度θk的传感器的情况下，也可以在出厂后使位置推定模型80追加学习。

如图7所示，工作装置2的相对位置的计测数据可以包含动臂角度θb、斗杆角度θa以及铲斗角度θk。能够使用预先相关联地存储的拍摄图像的信息以及工作装置2相对于主体1的角度，根据由拍摄装置50拍摄而得的拍摄图像，求出动臂角度θb、斗杆角度θa以及铲斗角度θk。

如图8所示，由拍摄装置50拍摄的拍摄图像可以是工作装置2的动态图像MV1。通过拍摄动态图像MV1而连续地制作标有时间戳的多个图像，并分别对该多个图像分配在拍摄到图像的时刻对工作装置2的相对位置进行计测而得的计测位置来作为学习用数据，从而能够使位置推定模型80高效地学习。

如图3所示，拍摄装置50的光轴AX与工作装置2的动作平面P交叉。这样的话，拍摄装置50能够从与动作平面P交叉的方向拍摄工作装置2，能够将拍摄图像内的工作装置2的位置与动作平面P上的工作装置2的位置一对一地建立关联。因此，能够基于拍摄图像高精度地取得工作装置2的当前姿态。

图12是示出与位置推定模型80的学习相关的变形例的概略图。在图5～7的说明中，对在液压挖掘机100的出厂前使位置推定模型80进行学习的例子进行了说明。用于使位置推定模型80进行学习的学习用数据可以从多个液压挖掘机100收集。

图12所示的第一液压挖掘机100(液压挖掘机100A)、第二液压挖掘机100(液压挖掘机100B)、第三液压挖掘机100(液压挖掘机100C)、以及第四液压挖掘机100(液压挖掘机100D)为相同的机种。液压挖掘机100A、100B、100C具备拍摄装置50和编码器161。液压挖掘机100A、100B、100C为出厂后的状态且处于作业现场。

计算机102A从各液压挖掘机100A、100B、100C取得拍摄装置50拍摄到的拍摄图像。另外，计算机102A从各液压挖掘机100A、100B、100C，将在拍摄到拍摄图像的时刻计测到的动臂角度θb、斗杆角度θa以及铲斗角度θk与拍摄图像建立关联而取得。计算机102A使位置推定模型80如下那样进行学习：能够使用在同一时刻取得的拍摄图像和工作装置2的角度，根据拍摄图像而求出推定出工作装置2的相对位置的推定位置。

计算机102A可以经由通信接口105(图4)从各液压挖掘机100A、100B、100C取得拍摄图像和工作装置2的角度的计测数据。或者，计算机102A也可以经由外部记录介质109从各液压挖掘机100A、100B、100C取得拍摄图像和工作装置2的角度的计测数据。

计算机102A可以配置于与液压挖掘机100A、100B、100C相同的作业现场。或者，计算机102A也可以配置于远离作业现场的远程位置、例如管理中心。液压挖掘机100A、100B、100C可以处于相同的作业现场，也可以处于不同的作业现场。

学习完成的位置推定模型80经由通信接口105或者外部记录介质109等向各液压挖掘机100A、100B、100C提供。这样，各液压挖掘机100A、100B、100C具备学习完成的位置推定模型80。

在各液压挖掘机100A、100B、100C中已保存有位置推定模型80的情况下，所保存的位置推定模型80被改写。也可以通过定期地执行上述的学习用数据的收集以及位置推定模型80的学习，来定期地进行位置推定模型80的改写。位置推定模型80的参数的最新的更新值在每次更新时存储于存储装置104。

学习完成的位置推定模型80也提供给液压挖掘机100D。向提供学习用数据的液压挖掘机100A、100B、100C与不提供学习用数据的液压挖掘机100D这两方提供位置推定模型80。液压挖掘机100D可以处于与液压挖掘机100A、100B、100C中的任一方相同的作业现场，也可以处于与液压挖掘机100A、100B、100C不同的作业现场。液压挖掘机100D也可以是出厂前的状态。

上述的位置推定模型80不局限于使用学习用数据61A、61B、61C、…通过机械学习进行学习而得的模型，也可以是利用该学习而得的模型而生成的模型。例如，位置推定模型80也可以是使学习完成模型以重复数据的输入输出而得的结果为基础进行学习而得的另一学习完成模型(蒸馏模型)。图13是示出用于生成蒸馏模型的处理的流程图。

如图13所示，首先，在步骤S301中，取得拍摄图像。计算机102A、更详细而言图像处理部61从拍摄装置50取得由拍摄装置(相机)50拍摄而得的拍摄图像71(图11)。

接下来，在步骤S302中，计算机102A使用学习完成的第一位置推定模型，求出推定出工作装置2相对于主体1的相对位置的推定位置。在步骤S303中，计算机102A输出所推定出的工作装置2的相对位置。

计算机102A、更详细而言工作装置位置推定部65从存储装置104读取学习完成的第一位置推定模型。工作装置位置推定部65将拍摄装置50拍摄到的拍摄图像71向学习完成的第一位置推定模型的输入层81输入。从学习完成的第一位置推定模型的输出层83，输出工作装置2相对于主体1的相对位置、具体而言表示动臂角度θb、斗杆角度θa以及铲斗角度θk的角度输出值77(图11)的推定结果。

接下来，在步骤S304中，计算机102A将在步骤S301中取得的拍摄图像、以及在步骤S303中输出的工作装置2的相对位置的推定结果作为学习数据保存于存储装置104。

接下来，在步骤S305中，计算机102A通过学习模型进行第二位置推定模型的学习。计算机102A将拍摄图像输入第二位置推定模型的输入层。计算机102A从第二位置推定模型的输出层，输出工作装置2相对于主体1的相对位置、具体而言表示动臂角度θb、斗杆角度θa以及铲斗角度θk的推定结果的输出值。对从第二位置推定模型输出的工作装置2的相对位置、与在步骤S303中输出的从第一位置推定模型输出的工作装置2的相对位置之差进行计算。基于该差值，计算机102A对第二位置推定模型的参数进行更新。这样，进行第二位置推定模型的学习。

最后，在步骤S306中，将更新后的第二位置推定模型的参数作为学习完成参数保存于存储装置104。接着，结束处理(结束)。

如上所述，将工作装置2的拍摄图像以及使用第一位置推定模型而推定出工作装置2的相对位置的推定位置作为学习用数据，使第二位置推定模型(蒸馏模型)进行学习，由此，计算机102A能够使用相比于第一位置推定模型更简单的第二位置推定模型来推定工作装置2相对于主体1的相对位置。由此，能够减轻用于推定工作装置2的相对位置的计算机102A的负载。需要说明的是，计算机102A也可以通过由其他计算机生成的学习数据来进行第二位置推定模型的学习。

在上述实施方式中，位置推定模型80包含神经网络。并不局限于此，位置推定模型80也可以是例如支持向量机等、能够使用机械学习根据工作装置2的拍摄图像而高精度地推定工作装置2相对于主体1的相对位置的模型。

能够应用本发明的思想的作业机械不局限于液压挖掘机，也可以是推土机、机动平地机、或轮式装载机等具有工作装置的作业机械。

本次公开的实施方式应当被认为在所有方面均为例示而不是限制性的。本发明的范围不由上述说明而是由技术方案来表示，且包含与技术方案均等的意思及范围内的所有变更。

附图标记说明：

1主体，2工作装置，3回转体，6动臂，7斗杆，8铲斗，50拍摄装置，61图像处理部，61A、61B、61C学习用数据，65工作装置位置推定部，66误差检测部，67位置推定模型更新部，71拍摄图像，77角度输出值，80位置推定模型，81输入层，82中间层，83输出层，100、100A、100B、100C、100D液压挖掘机，102A、102B计算机，103处理器，104存储装置，105通信接口，106I/O接口，107输入装置，108输出装置，109外部记录介质，161编码器，162角度转换部，AX光轴，MV1动态图像，P动作平面。

Claims (14)

1.一种包括作业机械的系统，其中，

所述包括作业机械的系统具备：

作业机械主体；

工作装置，其安装于所述作业机械主体；

拍摄装置，其对所述工作装置进行拍摄；以及

计算机，

所述计算机具有用于求出所述工作装置的位置的学习完成位置推定模型，

所述计算机如下进行编程：取得由所述拍摄装置拍摄的所述工作装置的拍摄图像，使用所述学习完成位置推定模型，根据所述拍摄图像而求出推定出所述工作装置的位置的推定位置。

2.根据权利要求1所述的包括作业机械的系统，其中，

所述工作装置的位置是所述工作装置相对于所述作业机械主体的相对位置。

3.根据权利要求2所述的包括作业机械的系统，其中，

所述工作装置具有连结于所述作业机械主体的动臂、连结于所述动臂的斗杆、以及连结于所述斗杆的铲斗，

所述推定位置包含所述动臂相对于所述作业机械主体的角度、所述斗杆相对于所述动臂的角度、以及所述铲斗相对于所述斗杆的角度。

4.根据权利要求1至3中任一项所述的包括作业机械的系统，其中，

所述拍摄图像是从所述工作装置的动态图像得到的帧图像。

5.根据权利要求1至4中任一项所述的包括作业机械的系统，其中，

所述拍摄装置安装于所述作业机械主体，

所述工作装置在规定的动作平面上进行动作，

所述拍摄装置的光轴与所述动作平面交叉。

6.根据权利要求1至5中任一项所述的包括作业机械的系统，其中，

所述计算机如下进行编程：基于所述推定位置与在拍摄到所述拍摄图像的时刻对所述相对位置进行计测而得的计测位置的误差，对所述学习完成位置推定模型进行更新。

7.根据权利要求1所述的包括作业机械的系统，其中，

所述工作装置具有附属装置，

所述工作装置的位置是所述附属装置的位置。

8.一种由计算机执行的方法，其中，

所述由计算机执行的方法包括如下工序：

取得包含设置于作业机械主体的工作装置的图像；以及

使用用于求出所述工作装置的位置的学习完成位置推定模型，根据所述图像而求出推定出所述工作装置的位置的推定位置。

9.一种学习完成的位置推定模型的制造方法，其中，

所述学习完成的位置推定模型的制造方法包括：

取得包含安装于作业机械主体的工作装置的拍摄图像、以及对拍摄到所述拍摄图像的时刻的所述工作装置的位置进行计测而得的计测位置的学习用数据；

通过所述学习用数据使所述位置推定模型进行学习。

10.根据权利要求9所述的学习完成的位置推定模型的制造方法，其中，

所述学习包括：

使用所述位置推定模型，根据所述拍摄图像而求出推定出所述工作装置的位置的推定位置；

计算所述推定位置相对于所述计测位置的误差；以及

基于所述误差对所述位置推定模型进行更新。

11.一种学习用数据，其用于供求出工作装置的位置的位置推定模型进行学习，其中，

所述学习用数据包含：

由拍摄装置拍摄而得的所述工作装置的拍摄图像；以及

对拍摄到所述拍摄图像的时刻的工作装置的位置进行计测而得的计测位置。

12.根据权利要求11所述的学习用数据，其中，

所述工作装置的位置是所述工作装置相对于作业机械主体的相对位置。

13.根据权利要求12所述的学习用数据，其中，

所述工作装置具有连结于所述作业机械主体的动臂、连结于所述动臂的斗杆、以及连结于所述斗杆的铲斗，

所述计测位置包含所述动臂相对于所述作业机械主体的角度、所述斗杆相对于所述动臂的角度、以及所述铲斗相对于所述斗杆的角度。

14.一种学习完成的位置推定模型的制造方法，其中，

所述学习完成的位置推定模型的制造方法包括：

取得安装于作业机械主体的工作装置的拍摄图像；

使用学习完成的第一位置推定模型，根据所述拍摄图像而求出推定出所述工作装置的位置的推定位置；以及

通过包含所述拍摄图像和所述推定位置的学习用数据，使第二位置推定模型进行学习。

Images