CN114127745A - 工程机械的作业信息生成系统以及作业信息生成方法 - Google Patents

Abstract

作业信息生成系统具备：获取用于判断工程机械（100）进行的作业内容的时间序列的作业数据和附带状况数据的数据获取部（40），所述附带状况数据表示包含在进行该作业时所述工程机械（100）的状况以及所述工程机械（100）的周围的状况的至少其中之一的附带状况；基于所述时间序列的作业数据判断所述作业内容的作业内容判断部（73）；以及，基于所述作业内容和所述附带状况数据生成作为对于该作业内容反映了所述附带状况的信息的反映信息的反映信息生成部（76）。

Description

工程机械的作业信息生成系统以及作业信息生成方法

技术领域

本发明涉及一种用于生成与工程机械在作业现场的作业内容相关的信息的作业信息生成系统。

背景技术

作为生成与工程机械的作业内容相关的信息的技术，专利文献1公开了一种挖掘机的处理装置。该处理装置，基于从作业设备（挖掘机）接收到的运转变量的时间变化，判断检测到运转变量时的作业内容（专利文献1的0012段落）。通过上述处理装置判断的上述作业内容包含例如单纯的挖掘作业、回转找平作业、装载作业等（专利文献1的0015段落）。

然而，与工程机械的作业内容相关的信息在其作业中或作业后可以运用于各种目的。因此，委托上述作业现场的作业的委托方、管理上述作业现场的作业的管理人员、在上述作业现场操作工程机械的操作人员、在上述作业现场进行现场作业的作业人员等作业相关人员，如果可以获得与上述工程机械的作业内容相关的详细的信息，就能容易地及将该详细的信息有效地运用于上述各种目的。

然而，由于通过专利文献1的上述处理装置判断的上述作业内容仅仅是单纯的挖掘作业、回转找平作业、装载作业等大致的作业内容，上述作业相关人员并不一定能够有效地运用所获得的作业内容。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2018-159268号。

发明内容

本发明是为了解决上述问题而完成的发明，其目的在于提供一种让上述作业相关人员可以获得有关工程机械在作业现场的作业内容的详细信息的作业信息生成系统以及作业信息生成方法。

本发明的一实施方式涉及的作业信息生成系统，用于生成工程机械在作业现场的作业信息，包括：数据获取部，获取用于判断所述工程机械进行的作业内容的时间序列的作业数据和附带状况数据，所述附带状况数据表示包含在进行该作业时所述工程机械的状况以及所述工程机械的周围的状况的至少其中之一的附带状况；作业内容判断部，基于所述时间序列的作业数据判断所述作业内容；以及，反映信息生成部，基于所述作业内容和所述附带状况数据，生成作为对于该作业内容反映了所述附带状况的信息的反映信息。

附图说明

图1是表示实施方式涉及的作业信息生成系统的构成的方框图。

图2是表示工程机械的一个例子的侧视图。

图3是表示上述工程机械的多个特征点的一个例子的立体图。

图4是用于说明在上述作业信息生成系统推测上述工程机械的姿势的处理的示意图。

图5是用于说明在上述作业信息生成系统提取上述多个物体中的每个物体的处理的示意图。

图6是表示在上述作业信息生成系统、上述工程机械的姿势的时间序列的变化（上述姿势的时间序列数据）的示意图。

图7是用于说明在上述作业信息生成系统根据上述工程机械的姿势的时间序列数据判断上述作业内容的处理的示意图。

图8是表示上述作业信息生成系统的运算处理的流程图。

图9是上述工程机械在上述作业现场的俯视图。

图10是表示上述工程机械和建筑材料以及作业人员在上述作业现场的位置关系的示意图。

图11是上述工程机械在上述作业现场的俯视图。

图12是表示多个装载作业和待机时间的图表。

图13是用于说明上述工程机械的目标动作和实际动作的侧视图。

图14是比较了上述工程机械的作业效率的图表。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。另外，以下的实施方式只是具体化本发明的一个例子而已，并不用于限定本发明的技术保护范围。

图1是表示本实施方式涉及的作业信息生成系统20的构成的方框图。图2是表示作为该作业信息生成系统20的作业信息的生成对象的工程机械100的侧视图。上述作业信息生成系统20是用于生成工程机械100在作业现场的作业信息的系统。在图1所示的具体例子，多台工程机械100被配置在作业现场，上述作业信息生成系统20生成上述多台工程机械100的至少其中一台工程机械100的作业信息。

在图1所示的具体例子，被配置在上述作业现场的上述多台工程机械100包括第一液压挖掘机100A和第二液压挖掘机100B。如图2所示，上述液压挖掘机100A、100B分别具备履带式的下部行走体101、以可绕与该行走面垂直的回转中心轴回转的方式搭载在下部行走体101上的上部回转体102、可起伏地搭载于该上部回转体102的附属装置103。

上述上部回转体102具有构成该上部回转体102的前部（主体前部）的驾驶室102A和构成上述上部回转体102的后部（主体后部）的配重102B。该附属装置103包含被上述上部回转体102可起伏地支撑的动臂104、可转动地连结于该动臂104的远端的斗杆105、可转动地连结于该斗杆105的远端的铲斗106（远端附属装置）。

上述液压挖掘机100A、100B分别具备使上述动臂104相对于上述上部回转体102进行起伏动作的动臂液压缸107、使上述斗杆105相对于该动臂104进行转动动作的斗杆液压缸108、使上述远端附属装置106相对于该斗杆105进行转动动作的远端附属装置液压缸109。

上述工程机械100在上述作业现场的作业包含例如装载作业、吊起作业、挖掘作业、整地作业、坡面整形作业、行走（行走作业）、停车等。上述装载作业是用于将被上述铲斗106保持的砂土等保持对象物装载到其它的场所的作业。上述吊起作业是用于吊起被上述铲斗106支撑的建筑材料（例如管道）等的支撑对象物的作业。上述挖掘作业是利用上述铲斗106挖掘地面的砂土的作业。上述整地作业是利用上述铲斗106对地面进行整地的作业。上述坡面整形作业是对通过砌土或者填土而形成的人工斜面即坡面进行整形的作业。上述行走作业是在上述作业现场用于使上述工程机械100移动到下一个作业场所的作业。上述停车是指不进行上述装载作业、上述吊起作业、上述挖掘作业、上述整地作业、上述坡面整形作业、上述行走作业等实际的作业，而使上述工程机械100处于停止的状态。

如图1所示，上述工程机械100还具备显示装置56。该显示设备56例如被配置在上述工程机械100的驾驶室102A内能让坐在驾驶席上的操作人员可以视觉识别被显示在该显示设备56的信息的位置。上述显示装置56显示后述的反映信息生成部76输出的上述工程机械100的作业内容的反映信息。由此，上述操作人员可以从视觉上得到反映了上述工程机械100在上述作业现场的上述作业内容的附带状况的反映信息。

本实施方式涉及的作业信息生成方法包含以下步骤，获取用于判断上述工程机械100进行的作业的作业内容的时间序列的作业数据和表示上述工程机械100在进行该作业时的附带状况的附带状况数据，其中，所述附带状况包含上述工程机械100的状况以及上述工程机械100的周围的状况的至少其中之一，基于上述时间序列的作业数据判断上述作业内容，并基于上述作业内容和上述附带状况数据生成反映信息，该反映信息是反映了相对于该作业内容的上述附带状况的信息。

上述附带状况之中上述工程机械100的状况包含例如在进行上述作业内容涉及的作业的同时还进行有别于该作业的其它作业（附带作业）的状况、作用于上述工程机械100的附属装置103的负荷的状况、装载于上述工程机械100的上述铲斗106的装载物的状况、有关上述工程机械100进行作业时的实际动作与目标动作之间的差异的状况等，所述目标动作是作为该工程机械100的动作目标而预先设定的目标动作，所述实际动作是该工程机械100实际上进行上述作业时的工程机械100的动作。而且，上述附带状况之中的上述工程机械100的周围的状况包含例如在上述作业现场存在于上述工程机械100的周围的物体的状况等。

作为上述物体的具体例可以列举出:在上述作业现场与上述工程机械100不同的其它的工程机械、在上述作业现场的翻斗车等的车辆、在上述作业现场进行现场作业的作业人员等的作业相关人员、在上述作业现场的管道等的建筑材料、在上述作业现场的建筑物等的构造物等。

上述作业内容的上述反映信息可以利用以下的各种指标，例如，用于判断该作业的效率的指标、用于判断进行了该作业的操作人员的技能的指标、用于评价该作业的安全性的指标等。上述作业相关人员可以基于所获得的上述反映信息更准确地进行上述作业效率的判断、上述技能的判断、上述安全性的评价等。

如图1所示，上述作业信息生成系统20具备数据获取部40、工程机械控制器50、相机控制器60、服务器70。上述工程机械控制器50、相机控制器60以及服务器70分别由具备CPU等的处理器和存储器的计算机构成。

上述工程机械控制器50具有工程机械侧通信部52，上述相机控制器60具有相机侧通信部62，上述服务器70具有服务器侧通信部80。该服务器70的上述服务器侧通信部80，以可经由网络与上述工程机械侧通信部52之间发送接收数据的方式，与相应的工程机械侧通信部52连接。而且，上述服务器70的上述服务器侧通信部80，以可经由网络与上述相机侧通信部62之间发送接收数据的方式，与相应的相机侧通信部62连接。而且，上述服务器70的上述服务器侧通信部80，以可经由网络与终端91之间发送接收数据的方式，与相应的终端91连接。该终端91例如，如图1所示，由上述管理人员90等作业相关人员使用的便携式终端设备等的计算机构成。

上述网络例如可以由因特网、移动电话通信网等的远程信息通信网构成。而且，上述网络也可以由例如特定省电无线、蓝牙（注册商标）、无线LAN（Wireless Local AreaNetwork）等可以使上述通信部之间在数十米至数百米左右的距离进行无线通信的通信网构成。而且，上述网络例如也可以是有线通信网。

上述数据获取部40获取时间序列的作业数据和附带状况数据。上述时间序列的作业数据是用于判断上述工程机械100进行的作业的作业内容的数据。上述附带状况数据是表示包含在进行该作业时的上述工程机械100的状况以及上述工程机械100周围的状况的至少其中一个的附带状况的数据。

在本实施方式，上述数据获取部40包含摄像装置41和多个传感器42、43、44。

上述摄像装置41以时间序列获取作为上述作业现场的图像的现场图像。该现场图像包含作为上述作业信息的生成对象的上述工程机械100（例如，一台工程机械100A）的图像和多个物体的图像。上述多个物体分别是存在于上述作业现场的物体之中与上述工程机械100不同的物体。在图1所示的具体例子，上述多个物体由与作为上述作业信息的生成对象的上述工程机械100A不同的工程机械100B和车辆（翻斗车）92以及作业人员93构成，但是也可以包含例如在上述作业现场的建筑材料和在上述作业现场的构造物等。

上述时间序列的作业数据由上述摄像装置41以时间序列获取的上述现场图像构成。上述附带状况数据的至少一部分由包含上述多个物体的图像的上述现场图像构成。

在上述工程机械100设有上述多个传感器42、43、44。多个传感器由压力传感器42、压力传感器43、压力传感器44构成。

上述压力传感器42是用于获取表示被设置在上述工程机械100的行走操作装置55接受到行走操作的压力数据的传感器。上述行走操作装置55具有接受上述行走操作的行走操作杆55A、遥控阀55B。该遥控阀55B，以使省略图示的行走马达向与上述行走操作杆55A接受到的上述行走操作对应的方向以与该行走操作对应的速度旋转的方式，使省略图示的控制阀工作。上述遥控阀55B具有一对输出端口，上述控制阀具有一对先导端口。上述遥控阀55B在上述操作杆55A被配置在中立位置时不输出先导压。由此，上述控制阀被保持在中立位置。另一方面，如果上述操作杆55A被从中立位置向左右的任意一个方向操作，上述遥控器阀55B将与该操作杆55A的操作量对应大小的先导压从与该被操作方向对应的输出端口供给到上述控制阀的对应的先导端口。由此，该控制阀从中立位置移动相当于上述先导压的行程。上述压力传感器42，检测从上述遥控器阀55B输出的上述先导压，并输出相当于该先导压的电信号即检测结果。所输出的检测结果被输入到上述工程机械控制器50。

上述压力传感器43是用于检测施加到上述附属装置103的负荷的传感器。虽然该压力传感器43的具体的构成没有特别地限定，但是，压力传感器43也可以例如由用于检测上述动臂液压缸107的压力的压力传感器、用于检测上述斗杆液压缸108的压力的压力传感器以及用于检测上述铲斗液压缸109的压力的压力传感器的至少其中之一构成。上述压力传感器43输出相当于施加到上述附属装置103的负荷的电信号即检测结果。所输出的检测结果被输入到上述工程机械控制器50。

上述压力传感器44是用于检测被装载在上述铲斗106的装载物的装载量的传感器。虽然该压力传感器44的具体的构成没有特别地限定，但是，压力传感器43也可以例如由用于检测铲斗液压缸109的压力的压力传感器构成。上述压力传感器44输出相当于装载到上述铲斗106的装载物的装载量的电信号即检测结果。所输出的检测结果被输入到上述工程机械控制器50。

上述工程机械控制器50包含时间戳部51、工程机械侧通信部52、省略图示的工程机械控制部。该工程机械控制部控制上述工程机械100的整体的动作。上述时间戳部51对分别从上述多个传感器42、43、44输入的上述检测结果赋予与所输入的时刻对应的时刻信息。上述工程机械侧通信部52将被赋予了上述时刻信息的上述检测结果发送到上述服务器70。而且，上述工程机械侧通信部52接收从上述服务器70发送来的上述工程机械100的作业内容的反映信息，上述工程机械控制器50的上述工程机械控制部使上述显示装置56显示上述反映信息。

上述相机控制器60包含时间戳部61、相机侧通信部62、省略图示的相机控制部。该相机控制部控制上述摄像装置41的整体的动作。上述时间戳部61对从上述摄像装置41输入的上述现场图像赋予与所输入的时刻对应的时刻信息。上述相机侧通信部62将被赋予了上述时刻信息的上述现场图像发送到上述服务器70。

上述服务器70包含图像处理部、作业内容判断部73、距离运算部74、坐标运算部75、反映信息生成部76、反映信息存储部77、数据库以及服务器侧通信部80。

上述图像处理部，通过对上述摄像装置41获取到的上述现场图像进行图像处理，基于被包含在该现场图像中的上述工程机械100的图像（工程机械图像）推测上述工程机械100的姿势，并基于被包含在上述现场图像中的上述多个物体的图像提取上述多个物体。具体内容如下所述。

上述图像处理部包含工程机械姿势推测部71和物体提取部72。

上述工程机械姿势推测部71基于被包含在上述现场图像中的上述工程机械图像推测上述工程机械100的姿势。在本实施方式，上述工程机械姿势推测部71基于上述工程机械图像推测上述动臂104的姿势、上述斗杆105的姿势、上述远端附属装置106（上述铲斗106）的姿势、上述下部行走体101的姿势以及上述上部回转体102的姿势。与通过上述工程机械姿势推测部71推测出的姿势相关的数据（姿势信息）被输入到上述作业内容判断部73。

具体而言，上述工程机械姿势推测部71，例如，通过将上述现场图像输入到通过深度学习而进行了机器学习的多层构造的神经网络（例如，卷积神经网络），提取被包含在该现场图像中的上述工程机械图像的上述工程机械100的多个特征点。即，上述神经网络是利用与工程机械100的特征点相关的数据预先进行了学习的姿势推测算法。上述工程机械姿势推测部71所参照的上述神经网络，例如，通过表示上述工程机械100（液压挖掘机）的图像与在该图像中的上述特征点的坐标之间的对应关系的教师数据的学习处理进行学习。

图3表示该工程机械100的多个特征点的一个例子。在该实施方式的上述神经网络，上述工程机械100（液压挖掘机）的多个特征点包含附属装置远端（1）、附属装置底部（2）、附属装置关节（3）、斗杆关节（4）、动臂关节1（5）、动臂关节2（6）、主体前部（7）、主体右侧部（8）、主体后部（9）、主体左侧部（10）、履带右前（11）、履带右后（12）、履带左前（13）以及履带左后（14）。另外，上述附属装置远端（1）、上述附属装置底部（2）以及上述附属装置关节（3）分别表示上述铲斗106的远端、上述铲斗106的底部以及上述铲斗106的关节。而且，在图3中，上述主体左侧部（10）没有进行图示。

图４是用于说明在上述作业信息生成系统20推测上述工程机械100的姿势的处理的示意图。如图４所示，上述神经网络（姿势推测算法）基于所输入的上述工程机械100的图像提取并输出上述多个特征点的各自的坐标。而且，上述工程机械姿势推测部71，基于从上述神经网络输出的上述多个特征点的坐标，推测上述工程机械100的姿势，具体而言，上述动臂104的姿势、上述斗杆105的姿势、上述远端附属装置106的姿势、上述下部行走体101的姿势以及上述上部回转体102的姿势。

上述动臂104的姿势，例如图2所示，通过上述动臂104相对于上述上部回转体102的角度（动臂角度）来确定。上述斗杆105的姿势例如通过上述斗杆105相对于上述动臂104的角度（斗杆角度）来确定。上述远端附属装置106的姿势例如通过上述铲斗106相对于上述斗杆105的角度（铲斗角度）来确定。上述下部行走体101的姿势以及上述上部回转体102的姿势例如通过上述上部回转体102相对于上述下部行走体101的角度（回转角度）来确定。与通过上述工程机械姿势推测部71推测出的姿势相关的数据（姿势信息）被输入到上述作业内容判断部73。

另外，上述工程机械姿势推测部71也可以利用例如Openpose（注册商标）等的技术，基于通过上述摄像装置获取到的上述图像来推测上述工程机械的姿势。

上述物体提取部72基于上述现场图像提取多个物体中的每个物体。具体而言，上述物体提取部72，例如，通过将上述现场图像输入到通过深度学习进行了机器学习的多层结构的神经网络（例如，卷积神经网络），提取被包含在该现场图像中的多个物体中的每个物体的图像（物体图像）的相应物体的多个特征点。即，上述神经网络是利用与上述多个物体的各自的特征点相关的数据预先进行了学习的物体提取算法。上述物体提取部72所参照的神经网络，例如，通过表示上述多个物体中的每个物体的图像与相应图像中的上述特征点的坐标之间的对应关系的教师数据的学习处理进行学习。

图5是用于说明在上述作业信息生成系统20提取上述多个物体中的每个物体的处理的示意图。如图5所示，上述神经网络（物体提取算法），基于所输入的包含上述多个物体的现场图像，提取上述多个物体中的每个物体。上述物体提取部72用矩形框包围所提取的上述多个物体中的每个物体。

另外，上述物体提取部72也可以利用例如Openpose（注册商标）等技术，基于通过上述摄像装置获取到的上述现场图像，提取上述多个物体中的每个物体。

上述作业内容判断部73，基于通过上述工程机械姿势推测部71推测出的上述工程机械100的上述姿势的时间序列的变化（上述姿势的时间序列数据），判断上述作业内容。

具体而言，上述作业内容判断部73，例如，通过将上述姿势的时间序列数据输入到通过深度学习进行了机器学习的多层构造的神经网络（例如，递归神经网络(recurrentneural network)），提取该姿势的时间序列数据所包含的特征。即，上述神经网络是利用与上述工程机械100的特征点的活动(movement)相关的时间序列数据预先进行了学习的作业分类算法。上述作业内容判断部73参照的上述神经网络例如通过基于教师数据的学习处理进行学习，所述教师数据表示预先被定义的多个作业内容候补与上述工程机械100的标签所赋的上述姿势的时间序列数据之间的对应关系。上述预先被定义的上述多个作业内容候补包含例如挖掘作业、整地作业、坡面整形作业、装载作业以及吊起作业等。

图6是表示在上述作业信息生成系统20、上述工程机械100的姿势的时间序列的变化（上述姿势的时间序列数据）的示意图。图6所示的具体例子示意了与动臂角度、斗杆角度、铲斗角度以及回转角度相关的时间序列数据（姿势的时间序列数据）。

图6所示的具体例子示意了上述工程机械100在进行上述挖掘作业时的姿势的时间序列的变化（上述姿势的时间序列数据）和工程机械100在该挖掘作业之后进行装载作业时的姿势的时间序列的变化（上述姿势的时间序列数据）。这些作业中的每一个作业，在该工程机械100的姿势这一方面，都是伴随着特有的时间序列的变化而进行。因此，上述工程机械100的姿势的时间序列的变化与上述工程机械100的上述作业内容之间具有关联性，能够成为判断该作业内容的指标。具体如下所述。

因为上述挖掘作业不伴随有回转动作，所以在上述挖掘作业，回转角度如图6所示为恒定。上述动臂角度以及上述斗杆角度随着从开始该挖掘作业起到结束该挖掘作业而逐渐地增加。上述铲斗角度随着从开始该挖掘作业起到该挖掘作业的中途而逐渐地增加，并在快要结束该挖掘作业时大幅地增加。

因为上述装载作业伴随有回转动作，所以在从上述挖掘作业切换到上述装载作业时，上述回转角度开始增加。上述回转角度以及上述动臂角度从开始该装载作业起到该装载作业的中途逐渐地增加，上述斗杆角度以及上述铲斗角度从开始该装载作业起到该装载作业的中途维持恒定。另一方面，上述回转角度以及上述动臂角度在快要结束该装载作业时恒定，上述斗杆角度以及上述铲斗角度在快要结束该装载作业时逐渐地减少。

图7是用于说明在上述作业信息生成系统20、根据上述工程机械100的姿势的时间序列数据判断上述作业内容的处理的示意图。如图7所示，上述神经网络（作业分类算法）的输出层例如执行基于归一化函数（Softmax Function）的运算，输出针对上述多个作业内容候补的每个作业内容候补的得分。上述作业内容判断部73，基于从上述神经网络的输出层输出的针对上述多个作业内容候补的每个作业内容候补的得分，将得分最高的上述作业内容候补决定为上述作业内容。在图7的具体例子，上述作业内容判断部73将上述多个作业内容候补之中得分最高的“挖掘作业”判断为上述作业内容。通过上述作业内容判断部73判断的上述作业内容被输入到上述反映信息生成部76。

上述距离运算部74，基于被包含在上述现场图像中的上述工程机械图像以及上述物体图像，运算上述工程机械100与上述多个物体中的每个物体之间的相对距离。

上述坐标运算部75运算上述工程机械100的预先设定的特定的部位的坐标。上述特定的部位例如可以设定在上述铲斗106的远端部，但是并不局限于此。

上述反映信息生成部76，基于上述作业内容和上述附带状况数据，生成对于该作业内容反映了上述附带状况的信息即上述作业内容的反映信息。

上述反映信息存储部77将上述反映信息作为履历进行存储。存储在该反映信息存储部77中的上述反映信息，例如，通过上述管理人员90等作业相关人员从上述终端91向上述服务器70发出咨询上述反映信息的咨询请求，被发送到上述终端91。由此，上述管理人员90可以对在上述作业现场的操作人员或作业人员传达作业的指示或改善。在这种情况下，上述终端91最好为可经由上述网络与在上述作业现场的上述工程机械100的工程机械控制器30或上述作业人员携带的省略图示的便携式终端进行通信的构成。

上述数据库预先存储上述反映信息生成部76生成上述工程机械100的上述反映信息时所需要的各种数据。上述数据库包含禁止作业存储部78和目标动作存储部79。

上述禁止作业存储部78存储上述工程机械100的上述作业与附带作业的组合，所述附带作业为在该工程机械100进行该作业的同时被预先禁止进行的其它的作业。具体而言，上述禁止作业存储部78例如将上述挖掘作业和上述行走作业的组合作为禁止作业进行存储。

上述目标动作存储部79存储上述工程机械进行上述作业时作为该工程机械的动作的目标而预先设定的目标动作。具体而言，上述目标动作存储部79例如存储上述铲斗106的远端部在上述挖掘作业中的目标轨迹。

图8是表示上述作业信息生成系统20的运算处理的流程图。如图8所示，上述服务器70的服务器侧通信部80接收上述时间序列的作业数据以及附带状况数据（步骤S1）。上述时间序列的作业数据由通过上述摄像装置41以时间序列获取的上述现场图像构成。上述附带状况数据由通过上述摄像装置41获取的上述现场图像和由作业上述传感器42、43、44获取的数据构成。

其次，上述作业内容判断部73，基于上述时间序列的作业数据，判断上述作业内容（步骤S2），上述反映信息生成部76，基于上述作业内容和上述附带状况数据，生成反映了对于该作业内容的上述附带状况的信息即反映信息（步骤S3）。从上述反映信息生成部76输出的上述反映信息被存储在上述反映信息存储部77（步骤S4）。

其次，作为上述作业内容和上述附带状况数据的组合，以如下所示的第一至第九组合为例对生成上述反映信息进行说明。

（1） 第一组合

在第一组合，上述作业内容被设定为上述装载作业，上述附带状况数据被设定为上述工程机械100与存在于其周围的翻斗车92之间的距离。

图9是上述工程机械100在上述作业现场的俯视图。如图9所示，上述工程机械100的上部回转体102可相对于上述下部行走体101绕回转中心轴C回转。因此，上述铲斗106的远端部在上述上部回转体102回转时描绘的轨迹通过图9中的双点划线S1表示。图9中的双点划线S2是直径比上述双点划线S1大的圆。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述距离运算部74输入的距离即上述工程机械100与上述翻斗车92之间的距离，生成上述作业内容的反映信息。该反映信息是上述工程机械100的上述作业内容为向上述翻斗车92装载装载物（砂土等）的装载作业的信息。

上述反映信息生成部76，例如，将对上述翻斗车92预先设定的基准位置和预先设定的基准范围进行比较，在上述基准位置被包含在上述基准范围内的情况下，生成上述工程机械100的上述作业内容为向上述翻斗车92装载装载物的装载作业的反映信息，并输出该反映信息。所输出的上述反映信息被存储在上述反映信息存储部77。

上述翻斗车92的上述基准位置没有特别地限定，可以任意地设定。具体而言，上述基准位置例如可以设定在上述翻斗车92的装卸台的后端且位于车辆宽度方向的中央的位置。上述基准范围只要是可以确定上述装载作业是向上述翻斗车92的装载作业的范围即可，没有特别地限定。具体而言，上述基准范围例如可以设定在比用图9所示的双点划线S1表示的上述铲斗106的远端部所描绘的圆的轨迹位于内侧。而且，上述基准范围例如也可以设定在比用图9所示的双点划线S2表示的圆位于内侧。另外，上述基准范围可以将上述铲斗106的远端部在上述反映信息生成部76进行上述基准位置与上述基准范围的比较时的位置设定为基准，或者，也可以将上述铲斗106的远端部离开上述回转中心轴C最远时的位置设定为基准。

（2）第二组合

在第二组合，上述作业内容被设定为上述吊起作业，上述附带状况数据被设定为上述工程机械100与存在于其周围的管道等的建筑材料94以及作业人员93之间的距离。

图10是表示上述工程机械100和上述建筑材料94以及上述作业人员93在上述作业现场的位置关系的示意图。如图10所示，在该吊起作业中，在上述工程机械100的周围存在上述建筑材料94和上述作业人员93。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述距离运算部74输入的距离即上述工程机械100与上述建筑材料94之间的距离以及上述工程机械100与上述作业人员93之间的距离，生成上述作业内容的反映信息。该反映信息是上述工程机械100的上述作业内容为吊起上述管道的吊起作业的信息。

上述反映信息生成部76，例如，将对上述建筑材料94以及上述作业人员93分别预先设定的基准位置与预先设定的基准范围进行比较，在上述基准位置被包含在上述基准范围内的情况下，生成上述工程机械100的上述作业内容为吊起上述管道的吊起作业的反映信息，并输出该反映信息。所输出的上述反映信息被存储在上述反映信息存储部77。

上述建筑材料94以及上述作业人员93各自的上述基准位置没有特别地限定，可以任意地设定。具体而言，上述基准位置例如可以设定在上述建筑材料94的中央位置以及上述作业人员93的中央位置（例如腹部附近的位置）。上述基准范围例如可以设定在比用图9所示的双点划线S1表示的上述铲斗106的远端部描绘的圆的轨迹位于内侧。

（3）第三组合

在第三组合，上述作业内容被设定为上述挖掘作业，上述附带状况数据被设定为上述工程机械100和存在于其周围的作业人员93之间的距离。

图11是上述工程机械100在上述作业现场的俯视图。在图11中，描绘有与在图9中说明的双点划线相同的两个双点划线S1、S2。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述距离运算部74输入的距离即上述工程机械100和上述作业人员93之间的距离，生成上述作业内容的反映信息。该反映信息是在上述工程机械100的作业范围内存在作业人员93的不合乎常规的挖掘作业的信息。

上述反映信息生成部76，例如，将对上述作业人员93预先设定的基准位置与预先设定的基准范围进行比较，在上述基准位置被包含在上述基准范围的情况下，生成上述工程机械100的上述作业内容是上述不合乎常规的挖掘作业的反映信息，并输出该反映信息。所输出的上述反映信息被上述反映信息被存储在存储部77。

上述作业人员93的上述基准位置没有特别地限定，可以任意地设定。具体而言，上述基准位置例如可以设定在上述作业人员93的中央位置（例如，腹部附近的位置）。上述基准范围，例如，可以设定在比上述铲斗106的远端部描绘的如图11的双点划线S1所示的圆的轨迹位于内侧。而且，上述基准范围例如也可以设定在比图11的双点划线S2所示的圆位于内侧。另外，上述基准范围既可以将上述铲斗106的远端部在上述反映信息生成部76进行上述基准位置与上述基准范围的比较时的位置设定为基准，也可以将上述铲斗106的远端部离开上述回转中心轴C最远时的位置设定为基准。

（4）第四组合

在第四组合，上述作业内容被设定为上述挖掘作业，上述附带状况数据被设定为表示上述行走操作装置55接受了上述行走操作的压力数据。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述压力传感器42输出的检测结果，生成上述作业内容的反映信息并输出该反映信息。该反映信息是禁止同时进行上述挖掘作业和上述行走作业（附带作业）的禁止作业的信息。上述挖掘作业和上述行走作业的组合被预先存储在上述禁止作业存储部。所输出的上述反映信息被存储在上述反映信息存储部77。

（5）第五组合

在第五组合，上述作业内容被设定为上述装载作业，上述附带状况数据是将多个装载作业各自所需的时间和装载作业与下一个装载作业之间的待机时间进行比较的数据。

图12是表示上述多个装载作业和上述待机时间的图表。上述反映信息生成部76，如在上述的第一组合的说明所述生成上述多个装载作业的反映信息，上述反映信息存储部77存储上述多个装载作业各自的反映信息以及每个装载作业所需的时间。而且，上述反映信息生成部76，测量装载作业和下一个装载作业之间的上述待机时间，上述反映信息存储部77存储从上述反映信息生成部76输出的上述待机时间。上述反映信息生成部76将存储在上述反映信息存储部77中的上述装载作业所需的时间与上述待机时间进行比较，进行有关这些作业的效率的判断，并输出该判断结果。在图12所示的具体例子中，因为上述待机时间比上述装载时间长，所以从上述反映信息生成部76输出的上述反映信息是效率低的装载作业的信息。所输出的上述反映信息被存储在上述反映信息存储部77。

（6）第六组合

在第六组合，上述作业内容被设定为上述挖掘作业以及上述整地作业，上述附带状况数据被设定为表示施加到上述附属装置103的负荷的压力数据。因为上述挖掘作业和上述整地作业都是上述铲斗106在地面附近进行类似的动作，所以上述作业内容判断部73有时会做出上述工程机械100的作业内容是上述挖掘作业以及上述整地作业之中的任意一方的不确定的判断。

在这种情况下，上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述压力传感器43输出的检测结果，生成上述作业内容的反映信息并输出该反映信息。在上述检测结果为预先设定的阈值以上的情况下，该反映信息是上述挖掘作业以及上述整地作业之中的上述挖掘作业的信息（确定信息）。另一方面，在上述检测结果小于预先设定的阈值的情况下，该反映信息是上述挖掘作业以及上述整地作业之中的上述整地作业的信息（确定信息）。所输出的上述反映信息被存储在上述反映信息存储部77。

（7）第七组合

在第七组合，上述作业内容被设定为上述装载作业，上述附带状况数据被设定为表示被装载在上述铲斗106的装载物的装载量的压力数据。在上述装载作业，进行装载回转动作和复位回转动作，所述装载回转动作是在砂土等装载物被装载到上述铲斗106的状态下上述上部回转体102进行的回转动作，所述复位回转动作是在该装载物被从上述铲斗106转移到上述翻斗车92的装卸台之后，进行复位到挖掘位置的动作。因为上述装载回转动作和上述复位回转动作都是上述铲斗106以上述回转中心轴C为中心描绘圆弧轨道的动作，无论是处于哪一个动作，上述作业内容判断部73都判断上述工程机械100的作业内容为上述装载作业。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述压力传感器44输出的检测结果，生成上述作业内容的反映信息并输出该反映信息。在上述检测结果为预先设定的阈值以上的情况下，该反映信息是上述装载作业的上述装载回转动作的信息。另一方面，在上述检测结果小于预先设定的阈值的情况下，该反映信息是上述装载作业的上述复位回转动作的信息。所输出的上述反映信息被存储在上述反映信息存储部77。

（8）第八组合

在第八组合，上述作业内容被设定为上述挖掘作业，上述附带状况数据被设定为与上述目标动作和上述工程机械实际进行上述作业时该工程机械的动作即实际动作之间的差相关的数据。

图13是用于说明上述目标动作和上述实际动作的侧视图。在图13所示的具体例子中，上述目标动作是由熟练的操作人员进行上述挖掘作业时上述铲斗106的远端部的轨迹，该轨迹被预先存储在上述数据库的上述目标动作存储部79。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述坐标运算部75输入的上述铲斗106的远端部的坐标的时间序列数据，生成上述作业内容的反映信息并输出该反映信息。上述反映信息生成部76例如以上述目标动作与上述实际动作的差距越大则挖掘作业的效率就越低的方式生成反映信息。而且，上述反映信息生成部76也可以例如，以上述实际动作的轨迹越不是如上述目标动作的轨迹所示的那样的平滑曲线而是如图13所示的直线动作的组合则挖掘作业的效率就越低的方式，生成反映信息。从上述反映信息生成部76输出的上述反映信息被存储在上述反映信息存储部77。

（9）第九组合

在第九组合，上述作业内容被设定为上述挖掘作业，上述附带状况数据被设定为表示被装载在上述铲斗106的装载物的装载量的压力数据。

上述反映信息生成部76，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述压力传感器44输出的检测结果，生成上述作业内容的反映信息并输出该反映信息。

图14是比较上述工程机械100的上述挖掘作业的作业效率的图表。上述目标动作存储部79预先存储由熟练的操作人员进行上述挖掘作业时的土方量，作为在一次挖掘作业中装载到上述铲斗106的土方量的目标值。

上述反映信息生成部76，以上述目标值为基准，生成包含评价了作业效率和操作人员的技能的结果的反映信息并输出该反映信息。所输出的上述反映信息被存储在上述反映信息存储部77。

另外，作为上述作业内容和上述附带状况数据的组合，例举了上述的第一至第九组合，但是，并不局限于此，也可以基于其它的各种组合生成上述反映信息。例如，上述反映信息生成部76也可以，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容（例如，挖掘作业）和从检测到上述附属装置103的液压缸（例如，动臂液压缸）进行了到达行程末端的动作的传感器输出的检测结果，生成上述作业内容的反映信息。在这种情况下，该反映信息是上述液压缸到达了行程末端的挖掘作业的信息。

变形例

本发明并不局限于以上说明的实施方式。本发明例如还可以包含如下所述的实施方式。

（A）关于数据获取部

上述数据获取部包含上述摄像装置41作为获取用于判断上述作业内容的上述时间序列的作业数据的手段，但是并不局限于此。上述数据获取部也可以包含例如用于检测构成上述附属装置的动臂、斗杆以及铲斗各自的角度的角度传感器，作为获取上述时间序列的作业数据的手段。而且，上述数据获取部还可以包含例如用于检测构成上述附属装置的动臂、斗杆以及铲斗的各自的位置的GPS传感器、GNSS传感器等的测位传感器，作为获取上述时间序列的作业数据的手段。

（B）关于传感器

也可以省略上述实施方式中的多个传感器42、43、44的至少其中之一。

（C）关于摄像装置

在上述实施方式，上述摄像装置41由一台相机构成，但是上述摄像装置也可以由例如包含第一相机和第二相机的立体相机构成。在这种情况下，上述距离运算部74可以基于通过上述立体相机获取的立体图像来运算更准确的距离，而且，上述坐标运算部75可以基于上述立体图像来运算更准确的坐标。而且，上述数据获取部也可以由上述摄像装置和距离相机的组合来构成。而且，上述摄像装置41也可以由三台以上的多个相机构成。

（D）关于相机控制器以及服务器

上述服务器70的功能也可以设置在上述相机控制器60中。在这种情况下，可以省略上述服务器70。

（E）关于工程机械

上述远端附属装置并不局限于铲斗，也可以是例如抓钩、压碎机、破碎机、叉铲等其它的远端附属装置。而且，上述工程机械并不局限于上述液压挖掘机，也可以是其它的工程机械。而且，在上述实施方式，上述工程机械具备可行走的下部行走体101，但是本发明并不局限于此。在本发明，上述工程机械也可以是上部回转体102被设置在特定的场所的基座支撑的结构的工程机械。

（F）关于距离运算部

上述距离运算部74并不是必须的构成而且可以省略。在省略了上述距离运算部74的情况下，为了让上述反映信息生成部76生成向上述翻斗车92装载装载物的装载作业的反映信息，上述摄像装置41，在上述作业现场，以包含上述工程机械100和上述翻斗车92的比较小范围的视野获取上述现场图像。由此，上述反映信息生成部76可以，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容和从上述物体提取部72输入的与上述物体相关的信息，生成上述反映信息。

而且，在省略了上述距离运算部74的情况下，为了让上述反映信息生成部76生成吊起上述管道等的建筑材料94的吊起作业的反映信息，上述摄像装置41，在上述作业现场，以包含上述工程机械100和上述建筑材料94以及上述作业人员93的比较小范围的视野获取上述现场图像。由此，上述反映信息生成部76可以，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容（上述吊起作业）和从上述物体提取部72输入的与上述物体相关的信息，生成上述反映信息。

而且，在省略了上述距离运算部74的情况下，为了让上述反映信息生成部76生成在上述工程机械100的作业范围内存在作业人员93的不合乎常规的挖掘作业的反映信息，上述摄像装置41，在上述作业现场，以包含上述工程机械100和上述作业人员93的比较小范围的视野获取上述现场图像。由此，上述反映信息生成部76可以，基于从上述作业内容判断部73输入的上述工程机械100的上述作业内容（上述挖掘作业）和从上述物体提取部72输入的与上述物体相关的信息，生成上述反映信息。

（G）关于坐标运算部

上述坐标运算部75并不是必须的构成而且可以省略。

（H）关于基于图像推测工程机械的姿势

在上述实施方式，上述姿势推测器71基于上述现场图像对上述工程机械100的姿势的推测利用预先进行了机器学习的神经网络（姿势推测算法）来进行，但是本发明并不局限于此。在本发明，上述工程机械的姿势的推测也可以通过利用上述神经网络的方法以外的其它的方法来进行。作为上述其它的方法例如可以例举出利用了上述神经网络的方法以外的机器学习的方法、时间序列算法等。

上述的实施方式的特征总结如下。

本发明的一实施方式涉及的作业信息生成系统，用于生成工程机械在作业现场的作业信息，包括：数据获取部，获取用于判断所述工程机械进行的作业内容的时间序列的作业数据和附带状况数据，所述附带状况数据表示包含在进行该作业时所述工程机械的状况以及所述工程机械的周围的状况的至少其中之一的附带状况；作业内容判断部，基于所述时间序列的作业数据判断所述作业内容；以及，反映信息生成部，基于所述作业内容和所述附带状况数据，生成作为对于该作业内容反映了所述附带状况的信息的反映信息。

在该实施方式，上述作业相关人员可以获得所述工程机械在所述作业现场的所述作业内容中反映了所述附带状况的反映信息，所以可以将所获得的所述反映信息有效地运用于上述各种目的。

在此，用于判断上述作业内容的上述时间序列的作业数据可以通过例如用于检测构成上述附属装置的动臂、斗杆以及铲斗各自的角度的角度传感器来获取。而且，上述时间序列的作业数据还可以通过例如用于检测构成上述附属装置的动臂、斗杆以及铲斗的各自的位置的GPS传感器、GNSS传感器等的测位传感器来获取。但是，在这些实施方式，需要将多个角度传感器或多个测位传感器搭载到所述工程机械上。另一方面，在上述时间序列的作业数据由包含所述工程机械的时间序列的图像构成的情况下，则不需要将所述多个角度传感器或所述多个测位传感器搭载到所述工程机械上。具体情况如下所示。

在上述实施方式，优选，所述数据获取部具备摄像装置，所述摄像装置获取包含所述工程机械在所述作业现场的图像的现场图像，所述时间序列的作业数据由所述摄像装置以时间序列获取的所述现场图像构成。

在该实施方式，基于通过所述摄像装置获取到的时间序列的所述现场图像判断所述作业内容。由此，即使不将用于判断所述工程机械的作业内容的所述多个角度传感器或所述多个测位传感器搭载到该工程机械，也可以判断所述工程机械的作业内容。

在上述实施方式，优选，所述的作业信息生成系统还包括工程机械姿势推测部，该工程机械姿势推测部基于所述现场图像推测所述工程机械的姿势，其中，所述作业内容判断部，基于通过所述工程机械姿势推测部推测出的所述姿势的时间序列的变化，判断所述作业内容。

在该实施方式，可以基于所述工程机械的姿势的动态的变化判断所述工程机械的所述作业内容。具体而言，所述工程机械的作业包含例如如上所述的所述装载作业、所述吊起作业、所述挖掘作业、所述整地作业等，这些作业在该工程机械的姿势这一方面，都是伴随着特有的时间序列的变化而进行的。因此，所述工程机械的所述姿势的时间序列的变化与所述工程机械的所述作业内容之间具有关联性，能够成为判断该作业内容的指标。

在上述实施方式，优选，所述现场图像还包含存在于所述作业现场的物体之中与所述工程机械不同的物体的图像，所述附带状况数据的至少一部分由包含所述物体的图像的所述现场图像构成，所述作业信息生成系统还包括物体提取部，该物体提取部基于包含所述物体的图像的所述现场图像提取所述物体，其中，所述反映信息生成部，基于根据所述现场图像判断的所述作业内容和通过所述物体提取部提取的与所述物体相关的信息，生成所述反映信息。

在该实施方式，即使在所述作业现场不设置用于检测所述物体的传感器，基于根据所述现场图像判断的所述作业内容和通过所述物体提取部提取的与所述物体相关的信息，也可以生成所述反映信息。

在上述实施方式，优选，所述的作业信息生成系统还包括距离运算部，该距离运算部基于所述现场图像运算所述工程机械与所述物体之间的相对距离，其中，与所述物体相关的信息包含所述工程机械与所述物体之间的相对距离。

所述工程机械与所述物体之间在所述作业现场的所述相对距离是表示它们在该作业现场的相互关联的程度的重要指标。因此，在该实施方式，即使在所述作业现场不设置用于确定所述工程机械与所述物体之间的所述相对距离的传感器，基于通过所述距离运算部运算出的所述相对距离和所述作业内容，也可以生成更准确的所述反映信息。

在上述实施方式，也可以是，所述工程机械是第一工程机械，所述现场图像包含所述第一工程机械的图像和与该第一工程机械不同的第二工程机械的图像，所述作业内容判断部，基于所述摄像装置以时间序列获取的所述现场图像，判断所述第一工程机械以及所述第二工程机械各自的作业内容。

在该实施方式，可以基于通过所述摄像装置获取的所述现场图像判断多个工程机械的作业内容。

在上述实施方式，也可以是，所述的作业信息生成系统还包括禁止作业存储部，该禁止作业存储部，存储所述工程机械的所述作业与附带作业的组合，所述附带作业是在该工程机械进行该作业的同时被预先禁止进行的其它的作业，其中，所述数据获取部，可以获取构成所述附带状况数据的至少一部分的与所述附带作业相关的数据，所述反映信息生成部，基于所述作业内容和与所述附带作业相关的数据，生成包含是否可以同时进行所述作业和所述附带作业的信息的所述反映信息。在该实施方式，上述作业相关人员可以基于包含是否可以同时进行所述作业和所述附带作业的信息(禁止作业信息)的所述反映信息，更准确地进行所述作业内容的评价、所述操作人员的评价等。

在上述实施方式，也可以是，所述工程机械具备接受用于进行所述附带作业的操作的操作装置，所述数据获取部包含压力传感器，该压力传感器将表示所述操作装置接受了所述操作的压力数据作为与所述附带作业相关的数据进行获取。

在该实施方式，可以基于表示所述操作装置接受了所述操作的所述压力数据正确地检测进行了所述附带作业。由此，上述作业相关人员可以获得更准确的所述禁止作业信息。

在上述实施方式，也可以是，所述的作业信息生成系统还包括目标动作存储部，该目标动作存储部存储所述工程机械进行所述作业时作为该工程机械的动作的目标而预先设定的目标动作，其中，所述数据获取部，可以获取构成所述附带状况数据的至少一部分的数据即与所述目标动作和实际动作之间的差相关的数据，所述实际动作是所述工程机械实际地进行所述作业时该工程机械的动作，所述反映信息生成部，基于所述作业内容和与所述差相关的数据，生成包含有关所述工程机械的所述作业水平的信息的所述反映信息。

在该实施方式，上述作业相关人员可以基于包含有关所述作业的水平的信息(作业水平信息)的所述反映信息，更准确地进行所述作业内容的评价、所述操作人员的评价等。

在上述实施方式，优选，所述的作业信息生成系统还包括反映信息存储部，该反映信息存储部将所述反映信息作为履历进行存储。

在该实施方式，上述作业相关人员可以在任意的时刻确认作为履历被存储在所述反映信息存储部的反映信息。

在上述实施方式，优选，所述反映信息存储部被设置在服务器上，所述服务器经由网络与终端可通信地连接，对于来自该终端的咨询所述反映信息的咨询请求，向所述终端发送所述反映信息。

在该实施方式，上述作业相关人员可以利用经由所述网络与所述服务器可通信地连接的终端确认所述反映信息。

本发明的一实施方式涉及的作业信息生成方法，用于生成工程机械在作业现场的作业信息，该方法包括以下步骤：获取用于判断所述工程机械进行的作业内容的时间序列的作业数据和附带状况数据，所述附带状况数据表示包含在进行该作业时所述工程机械的状况以及所述工程机械的周围的状况的至少其中之一的附带状况；基于所述时间序列的作业数据判断所述作业内容；以及，基于所述作业内容和所述附带状况数据，生成作为对于该作业内容反映了所述附带状况的信息的反映信息。

在该实施方式，上述作业相关人员可以获得所述工程机械在所述作业现场的所述作业内容中反映了所述附带状况的反映信息，所以可以将所获得的所述反映信息有效地运用于上述各种目的。

Claims (12)

1.一种作业信息生成系统，用于生成工程机械在作业现场的作业信息，其特征在于包括：

数据获取部，获取用于判断所述工程机械进行的作业内容的时间序列的作业数据和附带状况数据，所述附带状况数据表示包含在进行该作业时所述工程机械的状况以及所述工程机械的周围的状况的至少其中之一的附带状况；

作业内容判断部，基于所述时间序列的作业数据判断所述作业内容；以及，

反映信息生成部，基于所述作业内容和所述附带状况数据，生成作为对于该作业内容反映了所述附带状况的信息的反映信息。

2.根据权利要求1所述的作业信息生成系统，其特征在于，

所述数据获取部具备摄像装置，所述摄像装置获取包含所述工程机械在所述作业现场的图像的现场图像，

所述时间序列的作业数据由所述摄像装置以时间序列获取的所述现场图像构成。

3.根据权利要求2所述的作业信息生成系统，其特征在于还包括：

工程机械姿势推测部，基于所述现场图像推测所述工程机械的姿势，其中，

所述作业内容判断部，基于通过所述工程机械姿势推测部推测出的所述姿势的时间序列的变化，判断所述作业内容。

4.根据权利要求2或3所述的作业信息生成系统，其特征在于，

所述现场图像还包含存在于所述作业现场的物体之中与所述工程机械不同的物体的图像，

所述附带状况数据的至少一部分由包含所述物体的图像的所述现场图像构成，

所述作业信息生成系统还包括：

物体提取部，基于包含所述物体的图像的所述现场图像提取所述物体，其中，

所述反映信息生成部，基于根据所述现场图像判断的所述作业内容和通过所述物体提取部提取的与所述物体相关的信息，生成所述反映信息。

5.根据权利要求4所述的作业信息生成系统，其特征在于还包括：

距离运算部，基于所述现场图像运算所述工程机械与所述物体之间的相对距离，其中，

与所述物体相关的信息包含所述工程机械与所述物体之间的相对距离。

6.根据权利要求2至5中任一项所述的作业信息生成系统，其特征在于，

所述工程机械是第一工程机械，

所述现场图像包含所述第一工程机械的图像和与该第一工程机械不同的第二工程机械的图像，

所述作业内容判断部，基于所述摄像装置以时间序列获取的所述现场图像，判断所述第一工程机械以及所述第二工程机械各自的作业内容。

7.根据权利要求1至6中任一项所述的作业信息生成系统，其特征在于还包括：

禁止作业存储部，存储所述工程机械的所述作业与附带作业的组合，所述附带作业是在该工程机械进行该作业的同时被预先禁止进行的其它的作业，其中，

所述数据获取部，可以获取构成所述附带状况数据的至少一部分的与所述附带作业相关的数据，

所述反映信息生成部，基于所述作业内容和与所述附带作业相关的数据，生成包含是否可以同时进行所述作业和所述附带作业的信息的所述反映信息。

8.根据权利要求7所述的作业信息生成系统，其特征在于，

所述工程机械具备接受用于进行所述附带作业的操作的操作装置，

所述数据获取部包含压力传感器，该压力传感器将表示所述操作装置接受了所述操作的压力数据作为与所述附带作业相关的数据进行获取。

9.根据权利要求1至8中任一项所述的作业信息生成系统，其特征在于还包括：

目标动作存储部，存储所述工程机械进行所述作业时作为该工程机械的动作的目标而预先设定的目标动作，其中，

所述数据获取部，可以获取构成所述附带状况数据的至少一部分的数据即与所述目标动作和实际动作之间的差相关的数据，所述实际动作是所述工程机械实际地进行所述作业时该工程机械的动作，

所述反映信息生成部，基于所述作业内容和与所述差相关的数据，生成包含有关所述工程机械的所述作业水平的信息的所述反映信息。

10.根据权利要求1至9中任一项所述的作业信息生成系统，其特征在于还包括：

反映信息存储部，将所述反映信息作为履历进行存储。

11.根据权利要求10所述的作业信息生成系统，其特征在于，

所述反映信息存储部被设置在服务器上，

所述服务器经由网络与终端可通信地连接，对于来自该终端的咨询所述反映信息的咨询请求，向所述终端发送所述反映信息。

12.一种作业信息生成方法，用于生成工程机械在作业现场的作业信息，其特征在于包括以下步骤：

获取用于判断所述工程机械进行的作业内容的时间序列的作业数据和附带状况数据，所述附带状况数据表示包含在进行该作业时所述工程机械的状况以及所述工程机械的周围的状况的至少其中之一的附带状况；

基于所述时间序列的作业数据判断所述作业内容；以及，

基于所述作业内容和所述附带状况数据，生成作为对于该作业内容反映了所述附带状况的信息的反映信息。

Images