CN111656412B - 用于判定作业车辆所进行的作业的系统、方法以及已学习模型的制造方法 - Google Patents

Abstract

系统具备相机与处理器。相机安装于车辆主体，从车辆主体朝向工作装置的作业位置地配置。相机生成表示以时间序列拍摄作业位置而得的图像的图像数据。处理器具有已学习模型。将已学习模型图像数据作为输入数据，输出图像数据所对应的作业的分类。处理器取得图像数据，通过使用了已学习模型的图像分析，根据图像数据决定作业的分类。

Description

用于判定作业车辆所进行的作业的系统、方法以及已学习模 型的制造方法

技术领域

本发明涉及用于判定作业车辆所进行的作业的系统、方法以及已学习模型的制造方法。

背景技术

以往，已知有通过计算机推断作业车辆所进行的作业的技术。例如液压挖掘机进行挖掘、旋转、或者排土等动作。在专利文献1中，由控制器基于来自液压挖掘机所具备的传感器的检测值，判定液压挖掘机的这些作业。例如液压挖掘机具备旋转速度传感器、压力传感器以及多个角度传感器。旋转速度传感器检测发动机的旋转速度。压力传感器检测液压泵的排出压。多个角度传感器检测动臂角度、臂部角度以及铲斗角度。控制器基于来自这些传感器的检测值，判定液压挖掘机正在执行的作业。

现有技术文献

专利文献

专利文献1：日本特开2016－103301号公报

发明内容

发明将要解决的课题

但是，在上述的技术中，不能判定没有传感器的作业车辆的作业。另外，在为了管理配置于作业现场的多个作业车辆而判定各作业车辆的动作的情况下，不一定所有作业车辆都具备作业的判定所需的传感器。因而，为了管理配置于作业现场的多个作业车辆而判定各作业车辆的作业并不容易。

另一方面，近年来，研究了如下技术：计算机通过人工智能分析拍摄到人、物的动作的运动图像，从而判定正在进行何种动作。例如作为处理运动图像的人工智能的模型，研究了递归型神经网络(RNN)等。只要能够使用这种人工智能技术分析拍摄到作业车辆的动作的运动图像，就能够利用计算机判定作业车辆的作业。

但是，在利用配置于作业车辆的外部的相机拍摄作业车辆的情况下，即使是相同的作业，所取得的运动图像也会根据作业车辆的朝向而不同。因而，为了使人工智能的模型学习，需要使作业车辆的朝向变化的膨大量的运动图像。因此，不易构建判定精度高的已学习模型。

本发明的目的在于，使用人工智能容易并且高精度地判定作业车辆所进行的作业。

用于解决课题的手段

第一方式是用于判定作业车辆正在执行的作业的系统。作业车辆包含车辆主体和可动地安装于车辆主体的工作装置。本方式的系统具备相机与处理器。相机安装于车辆主体，从车辆主体朝向工作装置的作业位置地配置。相机生成表示以时间序列拍摄作业位置而得的图像的图像数据。处理器具有已学习模型。已学习模型将图像数据作为输入数据，输出图像数据所对应的作业的分类。处理器取得图像数据，通过使用了已学习模型的图像分析，根据图像数据决定作业的分类。

第二方式是为了判定作业车辆正在执行的作业而由计算机执行的方法。作业车辆包含车辆主体和可动地安装于车辆主体的工作装置。本方式的方法具备以下的处理。第一处理为，从朝向工作装置的作业位置地固定配置在车辆主体中的相机取得表示以时间序列拍摄作业位置而得的图像的图像数据。第二处理为，通过使用了已学习模型的图像分析，根据图像数据决定作业的分类。已学习模型将图像数据作为输入数据，输出图像数据所对应的作业的分类。

第三方式为用于判定作业车辆正在执行的作业的已学习模型的制造方法。作业车辆包含车辆主体和可动地安装于车辆主体的工作装置。本方式的已学习模型的制造方法具备以下的处理。第一处理为，取得表示从车辆主体朝向工作装置的作业位置地以时间序列拍摄作业位置而得的图像的图像数据。第二处理为，生成包含图像中的时刻和按照每个时刻分配的作业的分类的作业数据。第三处理为，以图像数据与作业数据作为学习数据，使用来进行图像分析的模型进行学习，从而构建已学习模型。

发明效果

在本发明中，从朝向工作装置的作业位置地配置于车辆主体的相机取得图像数据。因而，即使作业车辆的朝向变化，图像中的作业位置与相机的位置关系的变化也较少。因此，能够容易地构建判定精度高的已学习模型。由此，能够使用人工智能容易并且高精度地判定作业车辆所进行的作业。

附图说明

图1是表示实施方式的系统的示意图。

图2是表示系统的计算机的构成的示意图。

图3是表示安装于计算机的系统的构成的示意图。

图4是表示神经网络的构成的示意图。

图5是表示用于推断作业车辆的作业的处理的流程图。

图6是表示挖掘的图像数据的一个例子的图。

图7是表示提升旋转的图像数据的一个例子的图。

图8是表示排土的图像数据的一个例子的图。

图9是表示空载旋转的图像数据的一个例子的图。

图10是表示学习系统的构成的示意图。

图11是表示作业数据的一个例子的图。

具体实施方式

以下，参照附图对实施方式进行说明。图1是表示实施方式的分类系统100的示意图。分类系统100是用于判定作业车辆1正在进行的作业的系统。在本实施方式中，作业车辆1是液压挖掘机。作业车辆1包含车辆主体2与工作装置3。

车辆主体2包含行驶体4与旋转体5。行驶体4包含履带6。履带6被驱动，从而作业车辆1行驶。旋转体5可旋转地安装于行驶体4。工作装置3可动地安装于车辆主体2。详细地说，工作装置3能够旋转地安装于旋转体5。工作装置3包含动臂7、臂部8、以及铲斗9。动臂7能够旋转地安装于旋转体5。臂部8能够旋转地安装于动臂7。铲斗9能够旋转地安装于臂部8。

分类系统100包含相机101与计算机102。相机101安装于车辆主体2。详细地说，相机101安装于旋转体5。相机101从车辆主体2朝向工作装置3的作业位置P1地配置。相机101相对于车辆主体2的朝向被固定。作业位置P1是包含工作装置3的至少一部分及其周围的规定范围。

详细地说，作业位置P1包含铲斗9及其周围。因而，图像数据包含铲斗9的动作的影像。另外，图像数据包含铲斗9的背景的影像。作业位置P1也可以还包含臂部8的至少一部分。相机101生成表示以时间序列拍摄了作业位置P1的多个图像的图像数据。详细地说，相机101生成拍摄到作业位置P1的运动图像数据。

计算机102通过无线或者有线与相机101进行通信。相机101向计算机102发送图像数据。计算机102也可以经由通信网络从相机101接收图像数据。计算机102也可以经由记录介质从相机101接收图像数据。

计算机102也可以配置于作业车辆1所存在的作业现场。或者，计算机102也可以配置于离开作业现场的管理中心。计算机102可以专为分类系统100用而设计，或者，也可以是通用的PC(Personal Computer)。计算机102从相机101接收图像数据。计算机102通过使用人工智能的已学习模型，根据图像数据决定作业车辆1的作业的分类。

图2是表示计算机102的构成的示意图。如图2所示，计算机102包含处理器103、存储装置104、通信接口105、以及I/O接口106。处理器103例如是CPU(Central ProcessingUnit)。存储装置104包含将所记录的程序以及数据等信息以能够由处理器103读取的方式记录的介质。存储装置104包含RAM(Random Access Memory)、或者ROM(Read Only Memory)等系统存储器、以及辅助存储装置。辅助存储装置例如也可以是硬盘等磁性记录介质、CD、DVD等光学记录介质、或者闪存等半导体存储器。存储装置104也可以内置于计算机102。存储装置104也可以包含能够装卸地连接于计算机102的外部记录介质。

通信接口105例如是有线LAN(Local Area Network)模块、或者无线LAN模块等，并且是用于进行经由通信网络的通信的接口。I/O接口106例如是USB(Universal SerialBus)端口等，并且是用于与外部装置连接的接口。

计算机102经由I/O接口106而与输入装置107以及输出装置108连接。输入装置107是用于进行用户向计算机102的输入的装置。输入装置107例如包含鼠标或者跟踪球等指向器件。输入装置107也可以包含键盘等用于文字输入的装置。输出装置108例如包含显示器。

图3是表示分类系统100的构成的一部分的图。如图3所示，分类系统100包含已学习的分类模型111。已学习的分类模型111安装于计算机102。已学习的分类模型111也可以保存于计算机102的存储装置104。

在本实施方式中，模块以及模型也可以安装于硬件、能够在硬件上执行的软件、固件、或者它们的组合。模块以及模型也可以包含由处理器执行的程序、算法以及数据。模块以及模型的功能可以由单一的模块执行，或者也可以分散在多个模块中来执行。模块以及模型也可以分散地配置在多个计算机中。

分类模型111是用于图像分析的人工智能模型。详细地说，分类模型111是用于运动图像分析的人工智能模型。分类模型111分析所输入的图像数据D11，输出图像数据D11中的运动图像所对应的分类。计算机102通过对于图像数据D11执行使用了人工智能的分类模型111的运动图像分析，决定作业车辆1的作业的分类。分类模型111输出表示决定的作业的分类的输出数据D12。

分类模型111包含图4所示的神经网络120。例如分类模型111包含卷积神经网络(CNN)等深度神经网络。

如图4所示，神经网络120包含输入层121、中间层122(隐藏层)以及输出层123。各层121、122、123具备一个或者多个神经元。例如输入层121的神经元的数量能够根据图像数据D11的像素数而设定。中间层122的神经元的数量能够适当设定。输出层123能够根据作业车辆1的作业的分类数而设定。

相互邻接的层的神经元彼此结合，在各结合中设定有权重(连接权)。神经元的结合数也可以适当设定。在各神经元中设定有阈值，根据向各神经元的输入值与权重的乘积的和是否超过阈值来决定各神经元的输出值。

作业车辆1的图像数据D11被输入到输入层121。表示分类后的各动作的概率的输出值被输出到输出层123。分类模型111在图像数据D11输入后，以输出表示已分类的各作业的概率的输出值的方式完成学习。通过学习而获得的分类模型111的已学习参数被存储于存储装置104。已学习参数例如包含神经网络120的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元间的结合的权重以及各神经元的阈值。

图5是表示为了判定作业车辆1的作业而由计算机102(处理器103)执行的处理的流程图。如图5所示，在步骤S101中，计算机102取得相机101拍摄到的作业车辆1的图像数据D11。计算机102也可以实时地取得相机101拍摄到的图像数据D11。或者，计算机102也可以在规定时刻或者每隔规定时间取得相机101拍摄到的图像数据D11。计算机102将图像数据D11保存于存储装置104。

在步骤S102中，计算机102执行使用了已学习的分类模型111的运动图像分析。计算机102将在步骤S101中取得的图像数据D11所示的运动图像用作对分类模型111的输入数据，执行基于上述神经网络120的图像分析。

例如计算机102将图像数据D11所含的像素值输入到神经网络120的输入层121所含的各神经元。计算机102获得作业车辆1的作业的各分类的概率作为输出数据D12。在本实施方式中，作业的分类包含“挖掘”、“提升旋转”、“排土”以及“空载旋转”。因而，计算机102获得表示“挖掘”、“提升旋转”、“排土”以及“空载旋转”的各分类的概率的输出值。

图6是表示相机101拍摄到的“挖掘”的图像数据的一个例子的图。如图6所示，挖掘的图像以运动图像示出数据铲斗9向挖掘方向旋转、铲斗9接触土然后离开为止的动作。图7是表示相机101拍摄到的“提升旋转”的图像数据的一个例子的图。如图7所示，提升旋转的图像数据以运动图像示出在旋转体5的旋转下，铲斗9的背景开始连续地变化，然后到变化停止为止的动作。

图8是表示相机101拍摄到的“排土”的图像数据的一个例子的图。如图8所示，排土的图像数据以运动图像示出铲斗9向排土方向旋转、铲斗9开始敞开然后从铲斗9将所有土卸落为止的动作。图9是表示相机101拍摄到的“空载旋转”的图像数据的一个例子的图。如图9所示，空载旋转的图像数据以运动图像示出在旋转体5的旋转下，铲斗9的背景开始连续地变化，然后到变化停止为止的动作。但是，在空载旋转的图像数据中，与提升旋转的图像数据相比，铲斗9的姿势不同。

分类模型111以相对于图6所示那样的表示挖掘的图像数据提高“挖掘”的分类的输出值的方式完成学习。分类模型111以相对于图7所示那样的表示提升旋转的图像数据提高“提升旋转”的分类的输出值的方式完成学习。分类模型111以相对于图8所示那样的表示排土的图像数据提高“排土”的分类的输出值的方式完成学习。分类模型111以相对于图9所示那样的表示空载旋转的图像数据提高“空载旋转”的分类的输出值的方式完成学习。

在步骤S103中，计算机102决定作业车辆1的作业的分类。计算机102基于输出数据D12所示的各分类的概率，决定作业车辆1的作业的分类。计算机102将具有最高概率的分类决定为作业车辆1的作业。由此，计算机102推断作业车辆1正在执行的作业。

在步骤S104中，计算机102记录在步骤S103中决定出的分类下的作业车辆1的作业时间。例如在作业车辆1进行挖掘时，计算机102将作业的分类决定为“挖掘”，并且记录挖掘的作业时间。

在步骤S105中，计算机102生成包含作业的分类以及作业时间的管理数据。计算机102将管理数据记录于存储装置104。另外，上述步骤S101至S105的处理也可以分别在作业车辆1的作业中实时地执行。或者，步骤S101至S105的处理也可以在作业车辆1的作业结束后执行。

在以上说明的本实施方式的分类系统100中，从朝向工作装置3的作业位置P1地配置于车辆主体2的相机101取得图像数据。作业位置P1与相机的位置关系已固定。因而，即使作业车辆1的朝向变化，运动图像中的作业位置P1与相机101的位置关系也不会变化。因此，能够容易地构建判定精度高的已学习模型。由此，能够使用人工智能容易并且高精度地判定作业车辆1所进行的作业。

在分类系统100中，计算机102能够从安装于作业车辆1的车辆主体2的相机101取得拍摄到作业车辆1的图像数据D11来判定作业车辆1的作业。因而，即使对于不具备特定的传感器等作业判定用的装备的作业车辆1，也能够通过安装相机101而容易并且高精度地判定作业。

在分类系统100中，根据作业车辆1的图像决定作业的分类，并且记录该分类的作业时间作为管理数据。因而，通过以时间序列拍摄作业车辆1的图像，能够利用计算机102容易且自动地进行作业车辆1的作业的时间研究。另外，通过分别拍摄作业现场中的多个作业车辆1的时间序列的图像，并利用分类系统100生成管理数据，能够利用计算机102容易且自动地进行作业现场中的多个作业车辆1的作业的时间研究。

接下来，对实施方式的分类模型111的学习方法进行说明。图10是表示进行分类模型111的学习的学习系统200的图。学习系统200由与上述计算机102相同地包含处理器与存储装置的计算机构成。

学习系统200包含学习数据生成模块211与学习模块212。学习数据生成模块211根据作业车辆1的图像数据D21与作业数据D22生成学习数据D23。图像数据D21与上述图像数据D11相同地从安装于车辆主体2的相机101取得。

图11是表示作业数据D22的一个例子的图。如图11所示，作业数据D22包含图像数据D21中的图像中的时刻和按照每个该时刻分配的作业的分类。分类的分配也可以由人进行。

在学习系统200中准备有用于图像分析的分类模型111。学习模块212使分类模型111通过学习数据D23进行学习，优化分类模型111的参数。学习系统200取得优化后的参数作为已学习参数D24。

另外，分类模型111的各种参数的初始值也可以由模板赋予。或者，参数的初始值也可以由人的输入通过手动赋予。学习系统200也可以进行分类模型111的再次学习。在进行分类模型111的再次学习时，学习系统200也可以基于成为进行再次学习的对象的分类模型111的已学习参数D24来准备参数的初始值。

学习系统200也可以通过定期地执行上述分类模型111的学习来更新已学习参数D24。学习系统200也可以将更新后的已学习参数D24传送到分类系统100的计算机102。计算机102也可以通过所传送的已学习参数D24更新分类模型111的参数。

以上，说明了本发明的一实施方式，但本发明并不限定于上述实施方式，能够在不脱离发明的主旨的范围内进行各种变更。

也可以变更分类系统100以及/或者学习系统200的构成。例如分类系统100也可以包含多个计算机。上述分类系统100的处理也可以分散在多个计算机中来执行。

学习系统200也可以包含多个计算机。上述学习系统200的处理也可以分散在多个计算机中来执行。例如学习数据的生成和分类模型111的学习也可以由不同的计算机执行。即，学习数据生成模块211与学习模块212也可以安装于不同的计算机。

计算机102也可以包含多个处理器。上述处理的至少一部分也可以不局限于CPU，而是由GPU(Graphics Processing Unit)等其他处理器执行。上述处理也可以分散在多个处理器中来执行。

在上述实施方式中，分类模型111包含神经网络120。但是，分类模型111并不局限于神经网络，例如也可以是支持向量机等可高精度地进行图像分析的模型。

作业车辆1并不局限于液压挖掘机，也可以是推土机、轮式装载机、平地机、或者自卸车辆等其他车辆。分类系统100也可以判定多个作业车辆的作业。分类模型111、已学习参数D24、以及/或者学习数据D23也可以按照每个作业车辆1的种类来准备。或者，分类模型111、已学习参数D24、以及/或者学习数据D23也可以在多个种类的作业车辆1中共用。在该情况下，分类模型111也可以与作业车辆1的作业一同推断作业车辆1的种类。

分类系统100也可以具有多个相机101。也可以是多个相机101拍摄多个作业车辆1的图像。计算机102也可以从多个相机101的各个接收图像数据D11。相机101也可以取得时间序列的静止图像。即，图像数据D11也可以是表示时间序列的多个静止图像的数据。

也可以变更或者省略作业的分类的一部分。或者，作业的分类也可以还包含其他分类。例如作业的分类也可以包含“装载”或者“槽挖掘”等分类。在“装载”与“槽挖掘”中，工作装置3的动作类似。因此，在上述传感器所进行的判定中，难以高精度地判定作业。但是，通过由分类模型111根据包含工作装置3的背景的图像数据判定作业，能够高精度地判定作业。

也可以省略或者变更上述处理的一部分。例如也可以省略记录作业时间的处理。也可以省略生成管理数据的处理。

上述分类模型111并不局限于使用学习数据通过机器学习来学习的模型，也可以是利用该学习的模型生成的模型。例如分类模型111也可以使已学习模型使用新的数据进一步学习、从而使参数变化并进一步提高了精度的另一已学习模型(派生模型)。或者，分类模型111也可以是使已学习模型基于重复数据的输入输出而得的结果来学习的另一已学习模型(蒸馏模型)。

工业上的可利用性

根据本发明，能够使用人工智能而容易并且高精度地判定作业车辆所进行的作业。

附图标记说明

2 车辆主体

3 工作装置

4 行驶体

5 旋转体

8 臂部

9 铲斗

100 分类系统

101 相机

103 处理器

P1 作业位置

Claims (3)

1. 一种用于判定作业车辆所进行的作业的系统，其用于判定作业车辆正在执行的至少包括挖掘或者排土的作业，该作业车辆包含车辆主体和可动地安装于所述车辆主体的工作装置，其中，所述系统具备：

相机，其安装于所述车辆主体，从所述车辆主体朝向所述工作装置的作业位置地配置，并生成表示以时间序列拍摄所述作业位置而得的图像的图像数据；以及

处理器，其具有将包含铲斗和通过旋转体的旋转而变化的所述铲斗的背景的影像的所述图像数据作为输入数据而输出与包含所述铲斗和通过所述旋转体的旋转而变化的所述铲斗的背景的影像的所述图像数据对应的所述至少包括挖掘或者排土的作业的分类的已学习模型；

所述处理器取得所述图像数据，并通过使用了所述已学习模型的图像分析，根据所述图像数据决定所述至少包括挖掘或者排土的作业的分类，

所述工作装置包含臂部和能够旋转地安装于所述臂部的铲斗，

所述图像数据包含所述铲斗的动作的影像，

所述车辆主体包含行驶体和能够旋转地安装于所述行驶体的旋转体，

所述相机安装于所述旋转体，

所述作业的分类包含提升旋转或空载旋转。

2.根据权利要求1所述的系统，其中，

所述图像数据表示拍摄到所述作业位置的运动图像。

3. 一种用于判定作业车辆所进行的作业的方法，其为了判定作业车辆正在执行的至少包括挖掘或者排土的作业而由计算机执行该作业车辆包含车辆主体和可动地安装于所述车辆主体的工作装置，其中，所述方法具备：

从朝向所述工作装置的作业位置地固定配置在所述车辆主体中的相机取得表示以时间序列拍摄所述作业位置而得的图像的图像数据；以及

通过使用了将包含铲斗和通过旋转体的旋转而变化的所述铲斗的背景的影像的所述图像数据作为输入数据而输出与包含所述铲斗和通过所述旋转体的旋转而变化的所述铲斗的背景的影像的所述图像数据对应的所述至少包括挖掘或者排土的作业的分类的已学习模型的图像分析，根据所述图像数据决定所述至少包括挖掘或者排土的作业的分类，

所述工作装置包含臂部和能够旋转地安装于所述臂部的铲斗，

所述图像数据包含所述铲斗的动作的影像，

所述车辆主体包含行驶体和能够旋转地安装于所述行驶体的旋转体，

所述相机安装于所述旋转体，

所述作业的分类包含提升旋转或空载旋转。