CN114175108A - 工程机械的作业内容判断系统以及作业判断方法 - Google Patents

Abstract

作业内容判断系统（20）对工程机械（100）在作业现场的作业内容进行判断。该作业内容判断系统（20）具备：用于获取包含所述工程机械（100）在所述作业现场的图像的摄像装置（30）；以及，基于通过所述摄像装置（30）获取到的所述图像的时间序列的变化，判断所述工程机械（100）的所述作业内容并输出该作业内容的图像处理装置（40）。

Description

工程机械的作业内容判断系统以及作业判断方法

技术领域

本发明涉及一种用于判断工程机械的作业内容的作业内容判断系统。

背景技术

作为判断工程机械的作业内容的方法，专利文献1公开了一种挖掘机的处理装置以及作业内容判断方法。该专利文献1的装置以及方法，让搭载在工程机械上的多个传感器测量依赖于工程机械的工作状态的多个运转变量，处理装置基于上述运转变量的时间变化判断检测到运转变量时的作业内容。

然而，在工程机械进行作业的作业现场，由于使用各种制造商的工程机械以及各种类型的工程机械，作为判断作业内容的对象的工程机械有时并不具备可以测量上述运转变量的传感器。在这种情况下，需要将用于判断作业内容的传感器重新搭载在上述工程机械上。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2018-159268号。

发明内容

本发明是为了解决上述的问题而进行的发明，其目的在于提供一种作业内容判断系统，在不需要将用于判断工程机械的作业内容的传感器重新搭载到该工程机械上或者将需要重新搭载到上述工程机械上的传感器抑制在最小限度的情况下，该作业内容判断系统也可以判断工程机械的作业内容。

本发明的一实施方式涉及的作业内容判断系统，是用于判断工程机械在作业现场的作业内容的作业内容判断系统，包括：摄像装置，用于获取包含所述工程机械在所述作业现场的图像；以及，图像处理装置，基于通过所述摄像装置获取到的所述图像的时间序列的变化，判断所述工程机械的所述作业内容并输出该作业内容。

附图说明

图1是表示本发明的实施方式涉及的作业内容判断系统的概要的示意图。

图2是表示作为上述作业内容判断系统进行的作业内容的判断对象的工程机械的一个例子的液压挖掘机的立体图。

图3是表示上述作业内容判断系统的构成的方框图。

图4是用于说明在上述作业内容判断系统、推测上述工程机械的姿势的处理的示意图。

图5是表示在上述作业内容判断系统、上述工程机械的姿势的时间序列变化的数据的示意图。

图6是用于说明附属装置的角度的定义的示意图。

图7是用于说明在上述作业内容判断系统、根据上述工程机械的姿势的时间序列变化的数据判断上述作业内容的处理的示意图。

图8是表示基于在上述作业内容判断系统所判断的作业内容而汇总的作业分类结果的示意图。

图9是表示被存储在上述作业内容判断系统的作业履历存储部的作业履历的一个例子的示意图。

图10是表示被存储在上述作业内容判断系统的作业履历存储部的作业履历的其它的例子的示意图。

图11是表示上述作业内容判断系统的图像处理装置进行的运算处理的流程图。

图12是用于说明在上述实施方式的变形例涉及的作业内容判断系统、被安装在上述工程机械的机械主体的相机的示意图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式只是具体化本发明的一个例子而已，并不用于限定本发明的技术保护范围。

图1是表示本实施方式涉及的作业内容判断系统20的概要的示意图。图2是表示作为上述作业内容判断系统20进行的作业内容的判断对象的工程机械100的立体图。图3是表示上述作业内容判断系统20的构成的方框图。

上述作业内容判断系统20是用于判断工程机械100在作业现场的作业内容的系统。在图1所示的具体例子，上述作业内容判断系统20判断多个液压挖掘机（第一液压挖掘机100A以及第二液压挖掘机100B）各自在作业现场的作业内容。这些液压挖掘机100A、100B分别是上述工程机械100的一个例子。

如图2所示，上述液压挖掘机100A、100B分别具备履带式的下部行走体101、以可绕与该行走面垂直的回转中心轴回转的方式搭载在下部行走体101上的上部回转体102、搭载于该上部回转体102的附属装置103。该附属装置103包含被上述上部回转体102可起伏地支撑的动臂104、可转动地连结于该动臂104的远端的斗杆105、可转动地连结于该斗杆105的远端的远端附属装置106。

在本实施方式，该远端附属装置106是铲斗。上述下部行走体101是基体的一个例子，上述下部行走体101以及上述上部回转体102是机械主体的一个例子。上述上部回转体102具有构成作为上述机械主体的前部即主体前部的驾驶室102A、构成作为上述机械主体的后部即主体后部的配重102B。

上述液压挖掘机100A、100B分别具备使上述动臂104相对于上述上部回转体102进行起伏动作的动臂液压缸107、使上述斗杆105相对于该动臂104进行转动动作的斗杆液压缸108、使上述远端附属装置106相对于该斗杆105进行转动动作的远端附属装置液压缸109。

在上述工程机械100是液压挖掘机的情况下，在上述作业现场的作业包含例如挖掘作业、整地作业、坡面整形作业、装载作业、行走（行走作业）、停车等。如图1所示，上述第一液压挖掘机100A进行挖掘地面G的砂土的作业即挖掘作业和将保存在上述远端附属装置106（铲斗）中的被挖掘的砂土装载到翻斗车110的装载台110A上的作业即装载作业。上述第二液压挖掘机100B进行对通过挖土或填土而形成的人工的斜面即坡面进行整形的作业即坡面整形作业。上述行走作业是在上述作业现场使上述工程机械100移动到下一个作业场所的作业。上述停车是指不进行上述挖掘作业、整地作业、坡面整形作业、装载作业、行走作业等的实际的作业而使上述工程机械100处于停止的状态。

上述作业内容判断系统20具备多个相机30、图像处理装置40、时间戳部50、服务器60。

上述多个相机30包括被配置在可以获取包含上述第一液压挖掘机100A在上述作业现场的图像的位置的第一相机30A和被配置在可以获取包含上述第二液压挖掘机100B在上述作业现场的图像的位置的第二相机30B。第一以及第二相机30A、30B分别是摄像装置的一个例子。各相机30以规定的时间间隔周期性地进行摄像，与利用各相机30获取到的图像相关的数据（图像信号）通过无线通信手段或有线通信手段被依次地输入到上述图像处理装置40。

上述时间戳部50具有将时间信息（时刻信息）输入到后述的作业内容判断部42的功能。该时间戳部50既可以被包含在上述图像处理装置40中，也可以被包含在构成上述摄像装置的各相机30中，还可以是独立于上述图像处理装置40以及上述摄像装置的其它的装置。

上述图像处理装置40，判断上述第一液压挖掘机100A的作业内容并判断上述第二液压挖掘机100B的作业内容，并且输出这些作业内容。上述图像处理装置40由具备CPU等的处理器、存储器、通信部43的计算机构成。该图像处理装置40功能性地具备姿势推测部41和作业内容判断部42。

上述姿势推测部41基于通过上述第一相机30A获取到的上述图像推测上述第一液压挖掘机100A的姿势。同样，上述姿势推测部41基于通过上述第二相机30B获取到的上述图像推测上述第二液压挖掘机100B的姿势。即，上述姿势推测部41推测与通过各相机30获取到的各图像对应的上述姿势。具体而言，在本实施方式，上述姿势推测部41，基于通过上述第一相机30A、30B分别获取到的上述图像，推测上述动臂104的姿势、上述斗杆105的姿势、上述远端附属装置106的姿势、上述下部行走体101的姿势以及上述上部回转体102的姿势。与通过上述姿势推测部41推测出的姿势相关的数据（姿势信息）被输入到上述作业内容判断部42。

具体而言，上述姿势推测部41，例如，通过将上述图像输入到通过深度学习而进行了机器学习的多层构造的神经网络（例如，卷积神经网络），提取该图像中包含的工程机械100的多个特征点。即，上述神经网络是利用与工程机械100的特征点相关的数据预先进行了学习的姿势推测算法。上述姿势推测部41所参照的上述神经网络，例如，通过表示上述工程机械100（液压挖掘机）的图像与上述特征点在该图像中的坐标之间的对应关系的教师数据的学习处理进行学习。

图2表示该工程机械100的多个特征点的一个例子。在该实施方式的上述神经网络，上述工程机械100（液压挖掘机）的多个特征点包含附属装置远端（1）、附属装置底部（2）、附属装置关节（3）、斗杆关节（4）、动臂关节1（5）、动臂关节2（6）、主体前部（7）、主体右侧部（8）、主体后部（9）、主体左侧部（10）、履带右前（11）、履带右后（12）、履带左前（13）以及履带左后（14）。另外，上述附属装置远端（1）、上述附属装置底部（2）以及上述附属装置关节（3）分别表示上述铲斗106的远端、上述铲斗106的底部以及上述铲斗106的关节。而且，在图2中，上述主体左侧部（10）没有进行图示。

图4是用于说明在上述作业内容判断系统20推测上述工程机械100的姿势的处理的示意图。如图４所示，上述神经网络（姿势推测算法）基于所输入的上述工程机械100的图像提取并输出上述多个特征点的各自的坐标。而且，上述姿势推测部41，基于从上述神经网络输出的上述多个特征点的坐标，推测上述工程机械100的姿势，具体而言，上述动臂104的姿势、上述斗杆105的姿势、上述远端附属装置106的姿势、上述下部行走体101的姿势以及上述上部回转体102的姿势。

上述动臂104的姿势例如通过上述动臂104相对于上述上部回转体102的角度（动臂角度）来确定。上述斗杆105的姿势例如通过上述斗杆105相对于上述动臂104的角度（斗杆角度）来确定。上述远端附属装置106的姿势例如通过上述铲斗106相对于上述斗杆105的角度（铲斗角度）来确定。上述下部行走体101的姿势以及上述上部回转体102的姿势例如通过上述上部回转体102相对于上述下部行走体101的角度（回转角度）来确定。与通过上述姿势推测部41推测出的姿势相关的数据（姿势信息）被输入到上述作业内容判断部42。

另外，上述姿势推测部41也可以例如利用Openpose（注册商标）等的技术，基于通过上述摄像装置获取到的上述图像来推测上述工程机械的姿势。

上述作业内容判断部42，基于与各图像对应的上述姿势信息和从上述时间戳部50输入的时刻信息，对与各图像对应的上述姿势信息赋予时刻信息。上述作业内容判断部42可以对基于与各相机30以规定的时间间隔周期性地获取到的图像相关的数据而推测出的姿势信息，即，以规定的时间间隔获取到的周期性的姿势信息分别赋予时刻信息。由此，上述作业内容判断部42可以创建上述姿势的时间序列数据。另外，各相机30进行摄像的时间间隔例如被设定为1／60秒、1／30秒、1／10秒、1秒等。

上述作业内容判断部42，基于通过上述姿势推测部41推测出的上述第一液压挖掘机100A的上述姿势的时间序列的变化（上述姿势的时间序列数据），判断该第一液压挖掘机100A进行的作业内容。同样，上述作业内容判断部42，基于通过上述姿势推测部41推测出的上述第二液压挖掘机100B的上述姿势的时间序列的变化（上述姿势的时间序列数据），判断该第二液压挖掘机100B进行的作业内容。上述图像处理装置40将在上述作业内容判断部42判断的作业内容输入到上述服务器60。

具体而言，上述作业内容判断部42，例如，通过将上述姿势的时间序列数据输入到通过深度学习进行了机器学习的多层构造的神经网络（例如，递归神经网络(recurrentneural network)），提取该姿势的时间序列数据所包含的特征。即，上述神经网络是利用与上述工程机械100的特征点的活动相关的时间序列数据预先进行了学习的作业分类算法。上述作业内容判断部42参照的上述神经网络通过基于教师数据的学习处理进行学习，所述教师数据表示例如被预先定义的多个作业内容候补与上述工程机械100的被赋予了标签的上述姿势的时间序列数据之间的对应关系。上述被预先定义的上述多个作业内容候补例如包含挖掘作业、整地作业、坡面整形作业以及（参照图7）。

图5是表示在上述作业内容判断系统20、上述工程机械100的姿势的时间序列的变化（上述姿势的时间序列数据）的示意图。图5所示的具体例示意了与动臂角度、斗杆角度、铲斗角度以及回转角度相关的时间序列数据（姿势的时间序列数据）。

图6是用于说明附属装置103的角度的定义的示意图。如图6所示，上述动臂角度例如是与上述上部回转体102的回转中心正交的平面与沿着上述动臂104的长度方向延伸的直线之间形成的角度。上述斗杆角度例如是沿着上述动臂104的上述长度方向延伸的上述直线与沿着上述斗杆105的长度方向延伸的直线之间形成的角度。沿着上述斗杆105的长度方向延伸的上述直线例如是连接上述动臂104的远端部与上述斗杆105的基端部之间的上述连结部分的转动中心（连结销的中心）和上述斗杆105的远端部与上述铲斗106的基端部之间的连结部分的转动中心（连结销的中心）的直线。上述铲斗角度例如是沿着上述斗杆105的长度方向延伸的直线与规定上述铲斗106的方向的预先设定的直线之间形成的角度。规定上述铲斗106的方向的上述直线例如是连接上述斗杆105的远端部与上述铲斗的基端部之间的上述连结部分的转动中心（连结销的中心）和上述铲斗的远端部（例如，上述铲斗的爪尖部分）的直线。上述回转角度例如将上述下部行走体101的前进方向与上述上部回转体102的前方（上述附属装置103延伸的方向）一致的位置（相位）作为基准而被规定。

图5所示的具体例示意了上述工程机械100在进行上述挖掘作业时的姿势的时间序列的变化（上述姿势的时间序列数据）和工程机械100在该挖掘作业之后进行装载作业时的姿势的时间序列的变化（上述姿势的时间序列数据）。在该工程机械100的姿势这一方面，这些作业中的每一个作业都是伴随着特有的时间序列的变化而进行。因此，上述工程机械100的姿势的时间序列的变化与上述工程机械100的上述作业内容之间具有关联性，能够成为判断该作业内容的指标。具体如下所述。

因为上述挖掘作业不伴随有回转动作，所以在上述挖掘作业，回转角度如图5所示为恒定。上述动臂角度以及上述斗杆角度随着从开始该挖掘作业起到结束该挖掘作业而逐渐地增加。上述铲斗角度随着从开始该挖掘作业起到该挖掘作业的中途而逐渐地增加，并在快要结束该挖掘作业时大幅地增加。

因为上述装载作业伴随有回转动作，所以在从上述挖掘作业切换到上述装载作业时，上述回转角度开始增加。上述回转角度以及上述动臂角度从开始该装载作业起到该装载作业的中途逐渐地增加，上述斗杆角度以及上述铲斗角度从开始该装载作业起到该装载作业的中途维持恒定。另一方面，上述回转角度以及上述动臂角度在快要结束该装载作业时恒定，上述斗杆角度以及上述铲斗角度在快要结束该装载作业时逐渐地减少。

图7是用于说明在上述作业内容判断系统20、根据上述工程机械100的姿势的时间序列数据判断上述作业内容的处理的示意图。如图7所示，上述神经网络（作业分类算法）的输出层例如执行基于归一化函数（Softmax Function）的运算，输出针对上述多个作业内容候补的每个作业内容候补的得分。上述作业内容判断部42，基于从上述神经网络的输出层输出的针对上述多个作业内容候补的每个作业内容候补的得分，将得分最高的上述作业内容候补决定为上述作业内容。在图7的具体例子，上述作业内容判断部42将上述多个作业内容候补之中得分最高的“挖掘作业”判断为上述作业内容。

图8是表示基于判断出的作业内容汇总的作业分类结果的示意图。如图8所示，上述作业内容判断部42，例如，判断每个工程机械100一天的作业内容并生成如图8所示的作业分类。图8所示的作业分类是针对一天的每个时间段的作业内容进行的汇总。上述图像处理装置40将包含上述作业分类的作业内容的数据发送到上述服务器60。

如图3所示，上述服务器60是具有将从上述图像处理装置40输出的上述作业内容的数据作为履历进行存储的功能和允许使与上述服务器60连接的省略图示的终端显示上述履历的可视化功能的装置（存储可视化装置）。上述终端是上述作业相关人员使用的终端，例如，由个人计算机等计算机构成。

上述服务器60经由通信路NT与图像处理装置40可通信地连接。上述通信路NT由例如因特网、移动电话通信网等的远程信息通信网构成。而且，上述通信路NT也可以由例如特定省电无线、蓝牙（注册商标）、无线LAN（Wireless Local Area Network）等可以使上述图像处理装置40和上述服务器60以数十m至数百m左右的距离进行无线通信的通信网构成。但是，这些通信路只是一个例子而已，上述通信路NT也可以是例如有线通信网。

上述服务器60由具备CPU等的处理器、作业履历存储部61以及通信部62的计算机构成。上述服务器60用上述通信部62接收与从上述图像处理装置40的上述通信部43发送来的上述作业内容相关的数据。

上述作业履历存储部61存储与接收到的上述作业内容相关的数据。

上述服务器60受理例如从上述作业相关人员使用的上述终端请求阅览上述履历的请求。该请求包含上述作业相关人员的访问代码。上述服务器60，如果上述作业相关人员的访问代码与预先存储在该服务器60的存储器中的访问代码一致，就向上述终端发送上述履历。由此，上述履历被显示在上述终端。

图9是表示存储在上述作业内容判断系统20的作业履历存储部61中的作业履历的一个例子的示意图，表示某个工程机械100的一天的作业成果。图10是表示存储上述作业内容判断系统20的作业履历存储部61中的作业履历的其它的例子的示意图，例如，表示某个操作人员的过去的作业成果（累计时间）。上述服务器60向上述终端发送例如图9或图10所示的履历数据，上述终端显示接收到的上述履历数据。

其次，对本实施方式的作业内容判断系统20的动作进行说明。图10是表示上述作业内容判断系统20的图像处理装置40进行的运算处理的流程图。

如图11所示，上述图像处理装置40的上述姿势推测部41获取与从各相机30输出的上述图像相关的数据。而且，上述图像处理装置40的上述作业内容判断部42获取从上述时间戳部50输出的时刻信息（步骤S1）。

其次，上述姿势推测部41，如图4所示，将与上述图像相关的数据输入到上述神经网络（姿势推测算法），该神经网络基于所输入的上述图像提取并输出上述多个特征点的各自的坐标。上述姿势推测部41，基于所输出的多个特征点的坐标，推测上述动臂104的姿势（动臂角度）、斗杆105的姿势（斗杆角度）、上述铲斗106的姿势（铲斗角度）、上述下部行走体101以及上述上部回转体102的姿势（回转角度）（步骤S2）。与通过上述姿势推测部41推测出的姿势相关的数据（姿势信息）被输入到上述作业内容判断部42。

其次，上述作业内容判断部42，基于与各图像对应的上述姿势信息和从上述时间戳部50输入的时刻信息，对与各图像对应的上述姿势信息赋予时刻信息。该时刻信息的赋予针对以规定的时间间隔获取的周期性的姿势信息中的每个姿势信息而进行。由此，上述作业内容判断部42创建如图5所示的上述姿势的时间序列数据（步骤S3）。

其次，上述作业内容判断部42，如图7所示，将上述姿势的时间序列数据输入到上述神经网络（作业分类算法），该神经网络的输出层输出针对上述多个作业内容候选的每个作业内容候选的得分。上述作业内容判断部42，基于所输出的上述多个作业内容候选的每个作业内容候选的得分，将得分最高的上述作业内容候选决定为上述作业内容（步骤S4）。该作业内容的判断针对上述姿势的时间序列数据的全部而进行。由此，判断各工程机械100在一定时间（例如，一天）内进行的各种作业内容。

其次，作业内容判断部42生成与在一定时间内进行的各种作业内容相关的如图8所示的作业分类。上述图像处理装置40将包含上述作业分类的作业内容的数据发送到上述服务器60（步骤S5）。

另外，从上述工程机械100的电源被接通起到被断开为止进行步骤S1至步骤S5的处理。

变形例

本发明并不局限于以上说明的实施方式。本发明例如可以包含如下所述的实施方式。

（A）关于摄像装置

在上述实施方式，上述摄像装置（相机30）被配置在可以获取包含工程机械100在上述作业现场的图像的位置，虽然没有被安装在该工程机械100上，但是本发明并不局限于此。在本发明，上述摄像装置也可以安装在工程机械100上。具体如下所述。

图12是用于说明在上述实施方式的变形例涉及的作业内容判断系统20、相机30被安装在上述工程机械100的机械主体上的示意图。在该变形例，上述相机30被安装在上部回转体102的驾驶室102A，并且被配置在可以获取包含上述动臂104、上述斗杆105以及上述铲斗106的图像的位置。

而且，在该变形例，如图12所示，上述作业内容判断系统20还具备被安装在上述工程机械100的上述机械主体上的回转角度传感器70和回转体姿态判断部71，所述回转角度传感器70检测上述上部回转体相对于上述基体的回转角度，所述回转体姿态判断部71基于通过该回转角度传感器70检测到的上述回转角度判断上述上部回转体102的姿势。作为该回转角度传感器70，例如，可以使用陀螺传感器(gyro sensor)、编码器(encoder)、解析器(resolver)等的传感器，但是并不局限于这些。上述回转体姿势判断部71既可以是上述工程机械100的省略图示的计算机所具备的功能，也可以是上述图像处理装置40的上述计算机所具备的功能，还可以是独立于这些计算机而另外设置的计算机所具备的功能。

在该变形例，在上述工程机械100的作业中最容易受到冲击的动臂104或斗杆105的姿势，与上述的实施方式同样，基于上述图像进行推测。另一方面，在上述工程机械100的作业中与上述动臂104或上述斗杆105相比不容易受到冲击的机械主体的姿势、具体而言是上述上部回转体102相对于上述下部行走体101的姿势（回转角度），基于通过被安装在上述上部回转体102的上述回转角度传感器70检测到的上述回转角度进行判断。这种实施方式，与基于上述图像判断上述上部回转体102的姿势的情况相比，通过上述回转角度传感器70能更准确地判断上述上部回转体102的姿势，而且，用于判断上述工程机械100的作业内容的传感器需要被搭载在该工程机械100的情况可以抑制在最小限度。

（B）关于服务器

上述服务器60具有的上述的功能也可以让上述图像处理装置40具备，在这种情况下，可以省略上述服务器60。

（C）关于工程机械

上述远端附属装置并不局限于铲斗，例如，也可以是抓斗、压碎机、破碎机、叉子等其它的远端附属装置。而且，上述工程机械并不局限于上述液压挖掘机，也可以是其它的工程机械。而且，在上述实施方式，虽然基体是下部行走体101，但是，上述基体并不局限于可以如下部行走体101那样为可行走的基体，也可以是设置在特定的场所并支撑上部回转体102的基台。

（D）关于作业内容的判断

在上述实施方式，姿势推测部41基于通过上述摄像装置30获取到的上述图像推测出上述工程机械100的姿势，作业内容判断部42基于通过上述姿势推测部41推测出的上述姿势的时间序列的变化判断上述作业内容，但是，本发明并不局限于此。在本发明，也可以省略上述姿势推测部41，由作业内容判断部42基于通过上述摄像装置30获取到的上述图像的时间序列的变化来判断上述作业内容。

而且，在上述实施方式，上述作业内容的判断利用预先机器学习过的神经网络（姿势推测算法以及作业分类算法）进行，但是，本发明并不局限于此。在本发明，上述工程机械的上述作业内容的判断，只要能基于通过上述摄像装置获取到的上述图像的时间序列的变化来进行即可，也可以通过利用上述神经网络的方法以外的其它的方法来进行。作为上述其它的方法例如可以例举出利用了上述神经网络的方法以外的机器学习的方法、时间序列算法等。

上述的实施方式的特征总结如下。

本发明的一实施方式涉及的作业内容判断系统，是用于判断工程机械在作业现场的作业内容的作业内容判断系统，包括：摄像装置，用于获取包含所述工程机械在所述作业现场的图像；以及，图像处理装置，基于通过所述摄像装置获取到的所述图像的时间序列的变化，判断所述工程机械的所述作业内容并输出该作业内容。

在该实施方式，所述图像处理装置基于通过所述摄像装置获取到的所述图像的时间序列的变化判断所述工程机械的作业内容并输出该作业内容。这使得在不需要将用于判断所述工程机械的作业内容的传感器重新搭载到该工程机械或者将需要重新搭载到所述工程机械上的传感器抑制在最小限度的情况下，该作业内容判断系统也可以判断所述工程机械的作业内容。

在上述实施方式，优选，所述作业内容判断系统还包括将从所述图像处理装置输出的所述作业内容作为履历进行存储的作业履历存储部。

在该实施方式，委托所述作业现场的作业的委托人员、管理所述作业现场的作业的管理人员、进行所述作业现场的作业的操作人员等作业相关人员，可以基于作为履历存储在所述作业履历存储部的所述作业内容，来掌握、分析该作业内容。

在上述实施方式，优选，所述图像处理装置具备：姿势推测部，基于通过所述摄像装置获取到的所述图像，推测所述工程机械的姿势；和，作业内容判断部，基于通过所述姿势推测部推测出的所述姿势的时间序列的变化，判断所述作业内容。

在该实施方式，可以基于所述工程机械的姿势的动态变化判断所述工程机械的所述作业内容。具体而言，所述工程机械的作业包含例如挖掘作业、整地作业、坡面整形作业、装载作业等，这些作业中的每一个作业在该工程机械的姿势这一方面都是伴随着特有的时间序列的变化而进行。因此，所述工程机械的姿势的时间序列的变化与所述工程机械的所述作业内容之间具有关联性，能够成为判断该作业内容的指标。

在上述实施方式，优选，所述工程机械包含机械主体、被该机械主体可起伏地支撑的动臂、可转动地连结于该动臂的远端部的斗杆，所述姿势推测部，基于通过所述摄像装置获取到的所述图像，推测所述动臂的姿势以及所述斗杆的姿势。

在该实施方式，对于在所述工程机械的作业中最容易受到冲击的动臂或斗杆的姿势，不用安装用于判断作业内容的传感器，基于所述图像就可以对所述动臂的姿势以及所述斗杆的姿势进行推测，可以基于这些姿势的时间序列的变化判断所述作业内容。

在上述实施方式，优选，所述摄像装置包含被安装在所述机械主体的相机，该相机被配置在可以获取包含所述动臂以及所述斗杆的图像的位置。

在该实施方式，因为所述相机被安装在工程机械的机械主体，可以让所述相机不受该工程机械在作业现场的位置、朝向、姿势的限制，获取包含该工程机械的所述动臂以及所述斗杆的图像。由此，可以抑制所述作业内容的判断精度因工程机械的位置、朝向、姿势而产生的不一致。

在上述实施方式，也可以是，所述机械主体包含基体、被该基体可回转地支承的上部回转体，所述作业内容判断系统还包括：回转角度传感器，被安装在所述机械主体上，用于检测所述上部回转体相对于所述基体的回转角度；以及，回转体姿势判断部，基于通过该回转角度传感器检测到的所述回转角度，判断所述上部回转体的姿势。

在该实施方式，对于在所述工程机械的作业中最容易受到冲击的动臂或斗杆的姿势基于所述图像进行推测，而另一方面，在上述工程机械的作业中与上述动臂或上述斗杆相比不容易受到冲击的机械主体的姿势、具体而言是上述上部回转体相对于上述基体的姿势，基于通过被安装在上述机械主体的上述回转角度传感器检测到的上述回转角度进行判断。这种实施方式，与基于上述图像判断上述上部回转体的姿势的情况相比，通过上述回转角度传感器能更准确地判断上述上部回转体的姿势，而且，用于判断上述工程机械的作业内容的传感器需要被搭载在该工程机械的情况可以抑制在最小限度。

在上述实施方式，优选，所述图像处理装置，存储被预先定义的多个作业内容候选，并基于通过所述摄像装置获取到的所述图像的时间序列的变化，从所述多个作业内容候选之中将某个作业内容候选作为所述作业内容进行选择。

所述工程机械的作业内容限于例如挖掘作业、整地作业、坡面整形作业、装载作业等数种类的作业的情况比较多。而且，这些作业中的每一个作业在该工程机械的动作这一方面都是伴随着特有的时间序列的变化而进行。由此，在该实施方式，因为可以基于与各作业内容特有的动作对应的图像随时间序列的变化，从有限的选择范围即被预先定义的所述多个作业内容候选判断所述作业内容，所以容易构建所述作业内容判断系统。

本发明的另一实施方式涉及的作业判断方法，是用于判断工程机械在作业现场的作业内容的方法，包括以下步骤：获取包含所述工程机械在所述作业现场的图像；基于所获取到的所述图像的时间序列的变化，判断所述工程机械的所述作业内容；输出该作业内容。

在该实施方式，基于所获取到的所述图像的时间序列的变化判断所述工程机械的作业内容并输出该作业内容。这使得在不需要将用于判断所述工程机械的作业内容的传感器重新搭载到该工程机械或者将需要重新搭载到所述工程机械上的传感器抑制在最小限度的情况下，该作业内容判断系统也可以判断所述工程机械的作业内容。

Claims (8)

1.一种作业内容判断系统，是用于判断工程机械在作业现场的作业内容的作业内容判断系统，其特征在于包括：

摄像装置，用于获取包含所述工程机械在所述作业现场的图像；以及，

图像处理装置，基于通过所述摄像装置获取到的所述图像的时间序列的变化，判断所述工程机械的所述作业内容并输出该作业内容。

2.根据权利要求1所述的作业内容判断系统，其特征在于还包括：

作业履历存储部，将从所述图像处理装置输出的所述作业内容作为履历进行存储。

3.根据权利要求1或2所述的作业内容判断系统，其特征在于，

所述图像处理装置具备：

姿势推测部，基于通过所述摄像装置获取到的所述图像，推测所述工程机械的姿势；和，

作业内容判断部，基于通过所述姿势推测部推测出的所述姿势的时间序列的变化，判断所述作业内容。

4.根据权利要求3所述的作业内容判断系统，其特征在于，

所述工程机械包含机械主体、被该机械主体可起伏地支撑的动臂、可转动地连结于该动臂的远端部的斗杆，

所述姿势推测部，基于通过所述摄像装置获取到的所述图像，推测所述动臂的姿势以及所述斗杆的姿势。

5.根据权利要求4所述的作业内容判断系统，其特征在于，

所述摄像装置包含被安装在所述机械主体的相机，该相机被配置在可以获取包含所述动臂以及所述斗杆的图像的位置。

6.根据权利要求4或5所述的作业内容判断系统，其特征在于，

所述机械主体包含基体、被该基体可回转地支撑的上部回转体，

所述作业内容判断系统还包括：

回转角度传感器，被安装在所述机械主体，用于检测所述上部回转体相对于所述基体的回转角度；以及，

回转体姿势判断部，基于通过该回转角度传感器检测到的所述回转角度，判断所述上部回转体的姿势。

7.根据权利要求1至6中任一项所述的作业内容判断系统，其特征在于，

所述图像处理装置，存储被预先定义的多个作业内容候选，并基于通过所述摄像装置获取到的所述图像的时间序列的变化，从所述多个作业内容候选之中将某个作业内容候选作为所述作业内容进行选择。

8.一种作业判断方法，是用于判断工程机械在作业现场的作业内容的作业判断方法，其特征在于包括以下步骤：

获取包含所述工程机械在所述作业现场的图像；

基于所获取到的所述图像的时间序列的变化，判断所述工程机械的所述作业内容；

输出该作业内容。

Images