CN112414299A - 信息处理系统、信息处理方法以及建筑机械 - Google Patents

Abstract

本发明是鉴于现有的作业机械的课题而完成的，其目的之一在于提供一种能够用简单的结构来估计作业部的姿势的作业机械的信息处理系统、信息处理方法以及建筑机械。信息处理系统(10)具备存储部(30)和图像信息获取部(12)。存储部(30)将作业机械(100)的作业部(40)的参照图像的数据(Gs)和作业机械(100)的作业部(40)的姿势的数据(Ks)相对应地存储。图像信息获取部(12)获取作业部(40)的图像的数据(Gj)。

Description

信息处理系统、信息处理方法以及建筑机械

技术领域

本发明涉及一种信息处理系统、信息处理方法以及建筑机械。

背景技术

已知一种具备用于拍摄作业装置的摄像机以确定作业装置的姿势的建筑机械。例如，专利文献1中记载了一种建筑机械，该建筑机械具备：摄像机，其设置在回转体上来拍摄作业装置；角度检测部，其用于检测相对角度；以及姿势确定部，其用于确定姿势。该建筑机械根据基于摄像机的图像提取出的各连杆的边缘来检测连杆之间的相对角度，并基于该相对角度来确定作业装置相对于回转体的姿势。

现有技术文献

专利文献

专利文献1：日本特开2017-053627号公报

发明内容

发明要解决的问题

本发明人们对具备由液压等动力进行驱动的动臂、斗杆以及附属构件(attachment)的建筑机械得出以下认识。

某建筑机械利用动力对由动臂和斗杆等构成的臂机构进行驱动，从而使安装于臂机构的铲斗等附属构件动作来进行规定的作业。为了避免臂机构和附属构件(下面称为“作业部”)的碰撞或者对作业部的位置等进行反馈来控制作业部的动作，考虑确定并使用动臂、斗杆、铲斗等作业部的各部分之间的连杆角、或各气缸的行程长度等作业部的各部分的立体位置(下面称为“作业部的姿势”或仅称为“姿势”)的信息。

为了确定作业部的姿势，考虑对用于驱动各部分的各缸设置行程传感器，根据该传感器的探测结果计算并求出作业部的姿势。在该情况下，由于对各部分分别设置行程传感器，在该行程传感器与控制装置之间设置布线，因此结构复杂化，在成本上是不利的。

基于用简单的结构来估计作业部的姿势的观点，不能说专利文献1中记载的建筑机械充分地进行了应对。这种课题不限于在建筑机械中会产生，在其它种类的作业机械中也会产生。

本发明是鉴于这样的课题而完成的，其目的之一在于提供一种能够用简单的结构来估计作业部的姿势的作业机械的信息处理系统。

用于解决问题的方案

为了解决上述课题，本发明的某个方式的信息处理系统具备：存储部，其将作业机械的作业部的参照图像的数据和作业机械的作业部的姿势的数据相对应地存储；以及获取部，其获取作业机械的作业部的图像的数据，以与参照图像的数据进行比较。

此外，以上的任意的组合、将本发明的结构要素或表现在方法、装置、程序、记录有程序的瞬态性或非瞬态性的存储介质以及系统等之间相互置换而得到的方式，作为本发明的方式也是有效的。

发明的效果

根据本发明，能够提供一种能够用简单的结构来估计作业部的姿势的作业机械的信息处理系统。

附图说明

图1是概要性地示出具备第一实施方式的信息处理系统的作业机械的侧视图。

图2是概要性地示出图1的信息处理系统的框图。

图3是说明图1的作业机械的作业部的姿势的说明图。

图4是示出图1的信息处理系统的学习数据的图。

图5是说明图1的信息处理系统的姿势估计处理的说明图。

图6是示出图1的信息处理系统的动作的流程图。

图7是示出图1的信息处理系统的动作的流程图。

附图标记说明

10：信息处理系统；20d：模型生成部；20e：姿势估计部；20k：背景信息去除部；20n：颜色信息去除部；30：存储部；32：模型存储部；40：作业部；42：动臂；44：斗杆；46：铲斗；100：作业机械；1000：建筑机械。

具体实施方式

本发明人们对根据摄像机的图像信息来估计作业部的姿势的方法进行研究，得出以下见解。在建筑机械中，考虑以下结构：从用于拍摄作业部的摄像机的图像信息中提取各部分的边缘，根据该边缘来检测各部分的相对角度，根据该相对角度来确定姿势。但是，在该结构中，要逐次连续地执行多阶段的信息处理，因此需要使用高价的高性能CPU，以进行大量的信息处理。如果使用处理能力低的CPU，则处理跟不上，估计精度降低，碰撞避免和动作控制不会适当地发挥作用。另外，该信息处理还存在以下问题：需要针对建筑机械的各种形状的每种形状开发对应的信息处理程序，因此花费大量的开发工时。

根据这样的背景，本发明人们开发了一种使用摄像机的图像信息、作业部的参照图像数据及姿势数据的数据库来估计作业部的姿势的技术。根据该技术，能够在抑制估计精度的降低的同时，用简单的结构来估计姿势。下面，基于实施方式对该技术的一例进行说明。

下面，基于优选的实施方式，参照各附图来说明本发明。在实施方式及变形例中，对相同或等同的结构要素、构件标注相同的附图标记，并适当地省略重复的说明。另外，为了易于理解，将各附图中的构件的尺寸适当地放大、缩小地示出。另外，在各附图中，省略对在说明实施方式上不重要的一部分构件地进行表示。

另外，包括第一、第二等序数的用语是为了说明多种结构要素而使用的，该用语仅用于将一个结构要素与其它结构要素相区分的目的，结构要素不受该用语限定。

[第一实施方式]

参照附图来对本发明的第一实施方式的作业机械的信息处理系统10的结构进行说明。图1是概要性地示出具备第一实施方式的信息处理系统10的作业机械100的侧视图。图2是概要性地示出信息处理系统10的框图。

信息处理系统10具备图像信息获取部12、环境信息获取部14、姿势信息获取部16、控制部20以及存储部30。信息处理系统10具有机器学习时和非机器学习时的通常的动作时(下面称为“非学习动作时”)。信息处理系统10在机器学习时，能够基于作业机械100的作业部40的各部的学习图像信息和学习姿势信息来生成姿势估计模型。信息处理系统10在非学习动作时，能够基于实时的图像信息和姿势估计模型来估计作业部40的姿势。作业机械100能够基于由信息处理系统10估计出的作业部40的姿势来控制作业部40的动作。

图像信息获取部12获取作业部40的图像的数据。环境信息获取部14获取与作业机械100的周围环境有关的信息。姿势信息获取部16获取与作业部40的姿势有关的数据(下面称为“姿势的数据”)。控制部20执行与姿势估计模型的生成和作业部40的姿势估计有关的各种数据处理。存储部30用于存储由控制部20参照或更新的数据。首先，对作业机械100的结构进行说明，其它结构在后面叙述。

本实施方式的作业机械100是使铲斗46移动来进行作业的建筑机械，作为所谓的动力铲(Power shovel)发挥功能。作业机械100具有下部行驶部36、上部车体部34、臂机构48以及铲斗46。在本实施方式中，臂机构48和铲斗46构成作业部40。下部行驶部36构成为能够通过无限轨道等沿规定方向行驶。上部车体部34搭载于下部行驶部36。上部车体部34和作业部40构成为能够通过回转驱动部60相对于下部行驶部36绕回转轴La回转。回转驱动部60例如能够由回转电动机(未图示)和回转齿轮(未图示)构成。在上部车体部34上设置有操纵室38。

在操纵室38中设置有用于操纵作业部40的操作部54。当从操作部54输入操作时，多个液压阀58与该操作相应地进行打开关闭。与液压阀58的打开关闭相应地，向多个液压缸56送出由液压泵(未图示)供给的工作油。液压缸56包括从臂机构48的基端侧起向前端侧依次配置的液压缸56a、56b、56c。液压缸56a、56b、56c与工作油的送出量相应地进行伸缩。

作为一例，臂机构48的基端部在上部车体部34中设置在操纵室38的右侧。臂机构48例如包括从上部车体部34向前方延伸的动臂42和斗杆44。在臂机构48的前端侧安装有铲斗46。这样，作业机械100能够与操纵者的操纵相应地使作业部40的姿势变化，由此驱动铲斗46来进行目的作业。另外，作业机械100能够使上部车体部34和作业部40回转，由此使铲斗46三维地移动。

图3是说明作业部40的姿势的说明图。液压缸56a、56b、56c能够与液压相应地改变其伸缩长度L1、L2、L3。动臂42构成为通过液压缸56a的伸缩来使前端部以上部车体部34侧的基端部为中心上下地转动。斗杆44构成为通过液压缸56b的伸缩来使前端部以动臂42侧的基端部为中心前后地转动。铲斗46构成为通过液压缸56c的伸缩来使前端部以斗杆44侧的基端部为中心前后或上下地转动。

对于作业部40，能够通过使液压缸56a、56b、56c的伸缩长度L1、L2、L3变化，来使将动臂42、斗杆44以及铲斗46连接的关节部的弯曲角度θ1、θ2、θ3变化。作为一例，角度θ1是动臂42相对于水平面的角度，角度θ2是将动臂42与斗杆44连接的关节部的弯曲角度，角度θ3是将斗杆44与铲斗46连接的关节部的弯曲角度。

作业部40的姿势能够通过动臂42、斗杆44以及铲斗46的位置和相对角度来定义。动臂42、斗杆44以及铲斗46的形状设为固定，能够基于动臂42、斗杆44及铲斗46的各部的大小以及液压缸56a、56b、56c的伸缩长度L1、L2、L3或者弯曲角度θ1、θ2、θ3，通过几何学运算来确定作业部40的姿势。

返回到图2。图2所示的各块在硬件上能够通过以计算机的处理器、CPU、存储器为代表的元件、电子电路、机械装置来实现，在软件上通过计算机程序等来实现，但在此描绘了通过它们的协作来实现的功能块。因而，本领域技术人员能够理解的是，这些功能块能够通过硬件、软件的组合以各种形式来实现。

对图像信息获取部12进行说明。本实施方式的图像信息获取部12具有用于拍摄作业部40的图像传感器。在后述的机器学习时，图像信息获取部12将拍摄作业部40得到的拍摄结果作为图像的数据提供给控制部20。下面，将在机器学习时获取到的图像的数据称为“参照图像的数据Gs”。在非学习动作时，图像信息获取部12也将拍摄作业部40得到的拍摄结果作为图像的数据提供给控制部20。下面，将非学习动作时获取到的图像的数据仅称为“图像的数据Gj”。图像的数据Gj可以是实时的图像的数据。

图像信息获取部12构成为与作业部40一体地回转。具体地说，图像信息获取部12以能够拍摄作业部40的方式配置于操纵室38的室顶。在作业部40进行回转时，图像信息获取部12与作业部40一体地移动，因此即使进行回转，与作业部40之间的相对的位置关系也不会变化。

对姿势信息获取部16进行说明。包括获取本实施方式的液压缸56a、56b、56c的伸缩长度L1、L2、L3的行程传感器16a、16b、16c。姿势信息获取部16在机器学习时被安装，在非学习动作时被卸下。在机器学习时，姿势信息获取部16将伸缩长度L1、L2、L3的数据提供给控制部20。

对环境信息获取部14进行说明。在获取图像的数据时，如果天气等周围环境不同，则图像的明亮度和色温也不同，由此成为姿势估计的误差增加的主要原因。因此，在本实施方式中，由环境信息获取部14获取与周围环境有关的信息，根据该获取结果来校正图像的数据。本实施方式的环境信息获取部14包括用于获取周围的明亮度的照度传感器和用于获取色温的色温传感器。环境信息获取部14将获取结果作为环境信息Mp提供给控制部20。在该例中，环境信息获取部14配置于操纵室38的室顶。

对存储部30进行说明。存储部30包括模型存储部32。模型存储部32存储用于估计作业部40的姿势的姿势估计模型，该姿势估计模型是基于参照图像的数据Gs和姿势的数据、通过公知的机器学习生成的模型。姿势估计模型也可以说是输入和输出的数据形式被预先决定的函数。向实施方式的姿势估计模型输入图像的数据Gj。另外，实施方式的姿势估计模型输出同与该图像数据对应的估计姿势有关的信息。此外，姿势估计模型的生成方法在后面叙述。

对控制部20进行说明。控制部20包括图像信息接受部20a、姿势信息接受部20b、模型生成部20d、姿势估计部20e、估计姿势呈现部20f、个体信息保持部20h、环境信息接受部20g、图像信息校正部20j、背景信息去除部20k以及颜色信息去除部20n。可以将安装有与这些多个功能块对应的多个模块的应用程序安装到信息处理系统10的存储装置(例如存储部30)中。信息处理系统10的处理器(例如，CPU)可以通过将该应用程序读出到主存储器中并执行该应用程序来发挥各功能块的功能。

图像信息接受部20a从图像信息获取部12接受作业部40的摄像结果的输入。特别是，在机器学习时，图像信息接受部20a从图像信息获取部12接收学习用的参照图像的数据Gs。另外，在非学习动作时，图像信息接受部20a从图像信息获取部12接收图像的数据Gj。

姿势信息接受部20b从姿势信息获取部16接受作业部40的姿势信息的输入。具体地说，在机器学习时，姿势信息接受部20b接收行程传感器16a、16b、16c的伸缩长度L1、L2、L3的数据。在对伸缩长度L1、L2、L3的数据进行统称时，称为姿势的数据Ks。

图4是示出信息处理系统10的学习数据的图。在该图中，为了易于理解，将来自图像信息获取部12的参照图像的数据Gs与姿势的数据Ks一起置换为平面上的图来进行说明。在机器学习时，控制部20将接收到的参照图像的数据Gs和姿势的数据Ks相对应地存储到存储部30中。在机器学习时，控制部20使作业部40的姿势在可动范围内大幅地变化，每当其变化时，将参照图像的数据Gs和姿势的数据Ks相对应地存储到存储部30中。将存储到存储部30中的参照图像的数据Gs和姿势的数据Ks称为学习数据Sd。期望学习数据Sd覆盖作业部40所能采取的姿势。因而，如图4所示，学习数据Sd包含大量的相互对应的参照图像的数据Gs和姿势的数据Ks。

模型生成部20d将学习数据Sd的相互对应的参照图像的数据Gs和姿势的数据Ks用作教师数据，来生成姿势估计模型。本实施方式的模型生成部20d将参照图像的数据Gs和姿势的数据Ks作为教师数据、通过机器学习(监督学习)来生成姿势估计模型。模型生成部20d可以使用如支持向量机、神经网络(包括深度学习)以及随机森林等公知的机器学习方法来生成姿势估计模型。模型生成部20d将所生成的姿势估计模型保存到模型存储部32中。

在非学习动作时，姿势估计部20e基于图像的数据Gj和存储部30的存储信息来估计作业部40的姿势。作为一例，姿势估计部20e可以将图像的数据Gj与学习数据Sd的参照图像的数据Gs进行比较，将其相似程度最高的参照图像的数据Gs所对应的姿势的数据Ks作为估计结果。在该情况下，由于参照大量的参照图像的数据Gs，因此得到结果有可能会花费时间。因此，本实施方式的姿势估计部20e使用由模型生成部20d生成的姿势估计模型，根据图像的数据Gj来导出估计姿势。

图5是对由模型生成部20d生成的姿势估计模型的姿势估计处理进行说明的说明图。该姿势估计模型当被输入图像的数据Gj时，输出与该图像数据对应的估计姿势信息Ke。本实施方式的估计姿势信息Ke包含作业部40的动臂42、斗杆44以及铲斗46的各关节的弯曲角度θ1、θ2、θ3。

估计姿势呈现部20f将由姿势估计部20e估计出的估计姿势信息Ke发送到信息处理系统10的外部。在本实施方式中，估计姿势呈现部20f将估计姿势信息Ke发送到作业机械控制部62。作业机械控制部62控制作业机械100的动作。例如，作业机械控制部62控制液压阀58的打开关闭来使液压缸56a、56b、56c伸缩，由此控制动臂42、斗杆44以及铲斗46的动作。

本实施方式的图像信息校正部20j根据与获取图像的数据Gj时的周围环境有关的信息、作业机械的经过年数或作业机械的个体差异来校正图像的数据Gj。另外，环境信息接受部20g和个体信息保持部20h向图像信息校正部20j提供校正信息。

环境信息接受部20g从环境信息获取部14接受获取结果的输入。特别是，环境信息接受部20g从环境信息获取部14接收环境信息Mp。图像信息校正部20j基于环境信息Mp来校正图像的数据Gj的明亮度和色温。图像信息校正部20j对图像的数据Gj的明亮度进行校正，使得与参照图像的数据Gs的明亮度相同。图像信息校正部20j对图像的数据Gj的色温进行校正，使得与参照图像的数据Gs的色温相同。根据该结构，能够减少由周围环境引起的估计误差。

作业部40的外观根据各个作业机械100而具有个体差异。该个体差异有可能成为姿势估计中的误差主要原因。因此，本实施方式的个体信息保持部20h保持各个体的个体信息Me。个体信息Me包含与作业机械100的经过年数、作业部40的损伤、附着物、由变形等引起的外观的个体差异有关的信息。图像信息校正部20j根据个体信息Me来校正图像的数据Gj。根据该结构，能够减少由个体差异引起的估计误差。

图像的数据Gj包含按作业机械100工作的每个现场而不同的背景图像。因此，图像的数据Gj中包含的背景图像有可能成为姿势估计中的误差主要原因。因此，本实施方式的背景信息去除部20k从图像的数据Gj中去除与背景图像有关的信息。根据该结构，能够减少由背景图像引起的估计误差。

当将参照图像的数据Gs和图像的数据Gj设为全彩色的图像数据进行存储而进行处理时，处理的数据量变大，在处理速度和存储容量方面是不利的。因此，本实施方式的颜色信息去除部20n从参照图像的数据Gs和图像的数据Gj中去除颜色信息，来设为灰度(grayscale)的图像数据。根据该结构，处理的数据量变小，在处理速度和存储容量方面是有利的。

对如上述那样构成的信息处理系统10的动作进行说明。图6是示出信息处理系统10的动作的流程图。该图示出在机器学习时通过机器学习来生成姿势估计模型的动作S70。事先对作业机械100安装姿势信息获取部16，在由管理者输入了模型制作的指示的定时开始进行动作S70。

如果到了模型生成定时(步骤S71为“是”)，则信息处理系统10的控制部20从图像信息获取部12和姿势信息获取部16接收参照图像的数据Gs和姿势的数据Ks(步骤S72)。在该步骤中，控制部20使作业部40的姿势在可动范围内大幅地变化，每当其变化时，接收参照图像的数据Gs和姿势的数据Ks并存储到存储部30中。

背景信息去除部20k从参照图像的数据Gs中去除与背景图像有关的信息(步骤S73)。颜色信息去除部20n从参照图像的数据Gs中去除颜色信息(步骤S74)。既可以每次对接收到的参照图像的数据Gs执行背景图像的去除、颜色信息的去除，也可以对存储部30中存储的参照图像的数据Gs执行背景图像的去除、颜色信息的去除。

模型生成部20d根据被去除背景图像和颜色信息后的参照图像的数据Gs和姿势的数据Ks、通过机器学习来生成姿势估计模型，并保存到模型存储部32中(步骤S75)。如果姿势估计模型被保存，则结束动作S70。在动作S70结束后，可以从作业机械100卸下姿势信息获取部16。

如果没有到模型生成定时(步骤S71为“否”)，则跳过S72～S75。该动作S70只不过是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。

图7也是示出信息处理系统10的动作的流程图。该图示出使用姿势估计模型、根据图像的数据Gj来估计作业部40的姿势的动作S80。在非学习动作时，在由管理者输入了姿势估计的指示的定时开始进行动作S80。

如果到了姿势估计的定时(步骤S81为“是”)，则信息处理系统10的控制部20从图像信息获取部12接收图像的数据Gj(步骤S82)。在该步骤中，接收到的图像的数据Gj被存储到存储部30中。

背景信息去除部20k从图像的数据Gj中去除与背景图像有关的信息(步骤S83)。颜色信息去除部20n从图像的数据Gj中去除颜色信息(步骤S84)。

图像信息校正部20j根据保持在个体信息保持部20h中的个体信息Me来对图像的数据Gj进行校正(步骤S85)。对存储部30中存储的图像的数据Gj执行背景图像的去除、颜色信息的去除以及图像的校正。

姿势估计部20e根据被进行了背景图像的去除、颜色信息的去除以及图像的校正后的图像的数据Gj、基于姿势估计模型来估计作业部40的姿势(步骤S86)。在该步骤中，从姿势估计模型输出估计姿势信息Ke。

估计姿势呈现部20f将从姿势估计模型输出的估计姿势信息Ke发送到信息处理系统10的外部(步骤S87)。例如，估计姿势呈现部20f将估计姿势信息Ke发送到作业机械控制部62。如果发送了估计姿势信息Ke，则结束动作S80。重复执行动作S80，直到姿势估计的指示没有为止。

如果没有到姿势估计的定时(步骤S81为“否”)，则跳过S82～S87。该动作S80只不过是一例，也可以调换步骤的顺序，或者追加、删除、变更一部分步骤。

对如以上那样构成的本实施方式的信息处理系统10的特征进行说明。该信息处理系统10具备：存储部30，其将作业机械100的作业部40的参照图像的数据Gs和作业机械100的作业部40的姿势的数据Ks相对应地存储；以及图像信息获取部12，其获取作业机械100的作业部40的图像的数据Gj，以与参照图像的数据Gs进行比较。根据该结构，能够根据由图像信息获取部12获取到的图像的数据Gj、参照图像的数据Gs以及姿势的数据Ks，来估计作业部40的姿势。

也可以为，图像信息获取部12构成为与作业机械100的作业部40一体地回转。在该情况下，能够容易地确定作业机械100的作业部40的动作。

也可以为，信息处理系统10具有姿势估计部20e，该姿势估计部20e基于图像的数据Gj和存储部30的存储信息来估计作业部40的姿势。在该情况下，能够根据图像的数据Gj来估计作业部40的姿势。

也可以为，存储部30存储姿势估计模型，该姿势估计模型是根据参照图像的数据Gs和姿势的数据Ks、通过机器学习来生成的。在该情况下，能够通过机器学习来生成姿势估计模型。

也可以为，信息处理系统10还具有图像信息校正部20j，该图像信息校正部20j根据与获取图像的数据Gj时的周围环境有关的信息、作业机械100的经过年数以及作业机械100的个体差异中的至少任一个来对图像的数据Gj进行校正。在该情况下，能够对图像的数据Gj进行校正来改善姿势的估计精度。

也可以为，姿势估计部20e根据与获取图像的数据Gj时的周围环境有关的信息、作业机械的经过年数以及作业机械的个体差异中的至少任一个来估计作业部40的姿势。在该情况下，能够对图像的数据Gj进行校正来改善姿势的估计精度。

也可以为，信息处理系统10还具有颜色信息去除部20n，该颜色信息去除部20n用于压缩或去除参照图像的数据Gs的颜色信息。在该情况下，在存储部30的存储容量和处理速度方面是有利的。

也可以为，信息处理系统10还具有背景信息去除部20k，该背景信息去除部20k用于去除参照图像的数据Gs的背景图像。在该情况下，能够抑制由背景图像引起的估计精度的降低。

接着，对本发明的第二～第四实施方式进行说明。在第二～第四实施方式的附图及说明中，对与第一实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与第一实施方式重复的说明，重点说明与第一实施方式不同的结构。

[第二实施方式]

本发明的第二实施方式是一种作业机械的信息处理方法。该信息处理方法包括以下步骤：将作业机械100的作业部40的参照图像的数据Gs和作业机械100的作业部40的姿势的数据Ks相对应地存储到存储部30中(S72～S75)；获取作业部40的图像的数据Gj，以与参照图像的数据Gs进行比较(S82)；以及基于图像的数据Gj和存储部30的存储信息来估计作业机械100的作业部40的姿势(S86)。

也可以为，上述的估计的步骤(S86)包括参照姿势估计模型的步骤，该姿势估计模型是根据参照图像的数据Gs和姿势的数据Ks、通过机器学习来生成的。根据第二实施方式的结构，起到与第一实施方式同样的作用效果。

[第三实施方式]

本发明的第三实施方式是一种建筑机械1000。该建筑机械1000具备：作业部40；存储部30，其将作业部40的参照图像的数据Gs和作业机械100的作业部40的姿势的数据Ks相对应地存储；图像信息获取部12，其获取作业部40的图像的数据Gj，以与参照图像的数据Gs进行比较；以及姿势估计部20e，其基于图像的数据Gj和存储部30的存储信息来估计作业机械100的作业部40的姿势。

也可以为，建筑机械1000例如是使安装于臂机构48的铲斗46移动来进行建筑作业的机械。也可以在建筑机械1000的臂机构48上安装叉子、锤子、破碎机等各种附属构件来代替铲斗。根据第三实施方式的结构，起到与第一实施方式同样的作用效果。

[第四实施方式]

本发明的第四实施方式是计算机程序P100。该计算机程序P100用于使计算机实现以下功能：将作业机械100的作业部40的参照图像的数据Gs和作业机械100的作业部40的姿势的数据Ks相对应地存储到存储部30中；获取作业机械100的作业部40的图像的数据Gj，以与参照图像的数据Gs进行比较；以及基于图像的数据Gj和存储部的存储信息来估计作业机械100的作业部40的姿势。

计算机程序P100可以设为安装了与控制部20的功能块对应的多个模块的应用程序，安装于信息处理系统10的存储装置(例如存储部30)中。计算机程序P100可以是被读出到信息处理系统10的处理器(例如CPU)的主存储器中来执行。根据第四实施方式的结构，起到与第一实施方式同样的作用效果。

以上，详细地说明了本发明的实施方式的例子。上述的实施方式均只是用于示出实施本发明时的具体例。实施方式的内容并不用于限定本发明的技术范围，能够在不脱离权利要求书所规定的发明的思想的范围内进行结构要素的变更、追加、删除等多种设计变更。在上述的实施方式中，关于能够进行这种设计变更的内容，标注“实施方式的”、“在实施方式中”等表述进行说明，但并不是不允许对没有这样的表述的内容进行设计变更。

[变形例]

下面，对变形例进行说明。在变形例的附图及说明中，对与实施方式相同或等同的结构要素、构件标注相同的附图标记。适当地省略与实施方式重复的说明，重点说明与第一实施方式不同的结构。

在第一实施方式中示出了以下例子：姿势估计模型由各个作业机械100生成并被存储到该作业机械100的模型存储部32中，但本发明不限定于此。也可以为，姿势估计模型由作为基准的作业机械来生成，并预先保存到各个作业机械100的模型存储部32中。另外，也可以在适当的定时更新姿势估计模型。

在第一实施方式中示出了以下例子：颜色信息去除部20n从参照图像的数据Gs和图像的数据Gj中完全去除颜色信息，但本发明不限定于此。也可以为，颜色信息去除部20n通过减色等将参照图像的数据Gs和图像的数据Gj的颜色信息进行压缩。

在第一实施方式的说明中示出了图像信息获取部12由一个图像传感器构成的例子，但本发明不限定于此。也可以为，图像信息获取部12由多个图像传感器构成。例如，也可以为，图像信息获取部12包括所谓的立体摄像机。

在第一实施方式的说明中，示出了图像信息获取部12设置于操纵室38的室顶的例子，但本发明不限定于此。例如，也可以为，图像信息获取部12配置在操纵室38的侧面或上部车体部34的盖上。另外，还可以为，图像信息获取部12配置在作业部40上。

在第一实施方式的说明中，示出了作业机械100是使铲斗46移动来进行建筑作业的建筑机械的例子，但本发明不限定于此，也能够应用于建筑机械以外的作业机械。

在第一实施方式的说明中，示出了将臂机构48设置在操纵室38的右侧的例子，但本发明不限定于此。例如，也可以为，臂机构设置在操纵室的左侧或操纵室的前方。

在第一实施方式的说明中，示出了由操纵者从操纵室38对作业机械100进行操纵的例子，但本发明不限定于此。例如，也可以为，作业机械是被进行自动操纵或远程操纵的机械。

上述的变形例起到与第一实施方式同样的作用和效果。

上述的实施方式和变形例的任意的组合，作为本发明的实施方式也是有用的。通过组合而产生的新的实施方式兼具有所组合的实施方式和变形例各自的效果。

Claims (13)

1.一种信息处理系统，具备：

存储部，其将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应地存储；以及

获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较。

2.根据权利要求1所述的信息处理系统，其特征在于，

所述获取部构成为与所述作业机械的作业部一体地回转。

3.根据权利要求1或2所述的信息处理系统，其特征在于，

还具有估计部，所述估计部基于所述图像的数据和所述存储部的存储信息来估计所述作业机械的作业部的姿势。

4.根据权利要求1至3中的任一项所述的信息处理系统，其特征在于，

所述存储部存储姿势估计模型，所述姿势估计模型是根据所述参照图像的数据和所述姿势的数据、通过机器学习来生成的。

5.根据权利要求1至3中的任一项所述的信息处理系统，其特征在于，

还具有校正部，所述校正部根据与获取所述图像的数据时的周围环境有关的信息、所述作业机械的经过年数以及所述作业机械的个体差异中的至少任一个来对所述图像的数据进行校正。

6.根据权利要求3所述的信息处理系统，其特征在于，

所述估计部根据与获取所述图像的数据时的周围环境有关的信息、所述作业机械的经过年数以及所述作业机械的个体差异中的至少任一个来进行估计。

7.根据权利要求1至6中的任一项所述的信息处理系统，其特征在于，

还具有颜色信息去除部，所述颜色信息去除部用于压缩或去除所述参照图像的数据的颜色信息。

8.根据权利要求1至7中的任一项所述的信息处理系统，其特征在于，

还具有背景信息去除部，所述背景信息去除部用于去除所述参照图像的数据的背景图像。

9.一种信息处理系统，具备：

存储部，其将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应地存储；

获取部，其构成为与所述作业机械的作业部一体地回转，并且获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及

估计部，其基于所述图像的数据和所述存储部的存储信息来估计所述作业机械的作业部的姿势。

10.一种信息处理方法，包括以下步骤：

将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应地存储到存储部中；

获取所述作业部的图像的数据，以与所述参照图像的数据进行比较；以及

基于所述图像的数据和所述存储部的存储信息来估计所述作业机械的作业部的姿势。

11.根据权利要求10所述的信息处理方法，其特征在于，

所述估计的步骤包括参照姿势估计模型的步骤，所述姿势估计模型是根据所述参照图像的数据和所述姿势的数据、通过机器学习来生成的。

12.一种计算机程序，用于使计算机实现以下功能：

将作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应地存储到存储部中；

获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及

基于所述图像的数据和所述存储部的存储信息来估计所述作业机械的作业部的姿势。

13.一种建筑机械，具备：

作业机械的作业部；

存储部，其将所述作业机械的作业部的参照图像的数据和所述作业机械的作业部的姿势的数据相对应地存储；

获取部，其获取所述作业机械的作业部的图像的数据，以与所述参照图像的数据进行比较；以及

估计部，其基于所述图像的数据和所述存储部的存储信息来估计所述作业机械的作业部的姿势。

Images