CN118355416A - 作业分析装置 - Google Patents

Abstract

以少量的计算量从图像中识别物体来进行作业的分类。作业分析装置是对作业员的作业进行分析的作业分析装置，其具备：关节位置推定部，其从包含所述作业员的作业的影像数据，推定所述作业员的关节位置信息；动作推定部，其基于由所述关节位置推定部推定出的所述关节位置信息，推定所述作业员的动作信息；图像截取部，其基于由所述动作推定部推定出的所述动作信息，从所述影像数据中截取与所述动作信息相关联的物体所涉及的影像数据的范围；物体识别部，其在由所述图像截取部截取出的所述影像数据的范围中进行所述物体的识别；作业确定部，其基于由所述物体识别部识别出的所述物体，确定所述作业员的作业。

Description

作业分析装置

技术领域

本发明涉及作业分析装置。

背景技术

在工厂中能够取得机床等的运转数据，但无法取得作业员的作业的数据。因此，在作业的改善、机器人导入研究、工厂的数字孪生等的实现中需要将作业员的作业可视化，从作业员的作业的影像中自动识别正在做什么的技术是重要的。

关于这一点，已知有如下技术：使用由拍摄作业员的作业而得到的图像的输入数据和该图像所示的作业员的作业的标签数据构成的学习对象数据进行机器学习，生成用于根据图像确定作业的学习完毕模型，并利用学习完毕模型来确定分析对象的图像是正在进行哪个作业的图像。例如，参照专利文献1。

另外，已知有如下技术：根据由深度传感器拍摄到的带深度图像数据来确定作业者的手的位置，并且根据由数字摄像机拍摄到的图像数据来确定对象物的位置，确定作业者在作业中进行的动作的内容。例如，参照专利文献2。

现有技术文献

专利文献

专利文献1：日本特开2021-67981号公报

专利文献2：国际公开第2017/222070号

发明内容

发明所要解决的课题

然而，专利文献1的学习完毕模型那样的分类模型存在复杂且解释性低的问题。

另外，如专利文献2那样在为了进行作业分类而从图像内检测所使用的道具(物体)时，由于扫描整个图像从而需要大量的计算量。

因此，希望以少量的计算量从图像中识别物体来进行作业的分类。

用于解决课题的手段

本公开的作业分析装置的一个方式是对作业员的作业进行分析的作业分析装置，其具备：关节位置推定部，其从包含所述作业员的作业的影像数据，推定所述作业员的关节位置信息；动作推定部，其基于由所述关节位置推定部推定出的所述关节位置信息，推定所述作业员的动作信息；图像截取部，其基于由所述动作推定部推定出的所述动作信息，从所述影像数据截取与所述动作信息相关联的物体所涉及的影像数据的范围；物体识别部，其在由所述图像截取部截取出的所述影像数据的范围中进行所述物体的识别；作业确定部，其基于由所述物体识别部识别出的所述物体，确定所述作业员的作业。

本公开的作业分析装置的一个方式是对作业员的作业进行分析的作业分析装置，其具备：物体检测部，其从包含所述作业员的作业的影像数据检测物体；关节位置推定部，其从所述影像数据推定所述作业员的关节位置信息；物体区域进出检测部，其基于由所述关节位置推定部推定出的所述关节位置信息，检测在包含由所述物体检测部检测出的所述物体的图像区域中是否进出了包含所述作业员的关节位置的图像区域；图像截取部，其基于所述物体区域进出检测部的检测结果，从所述影像数据中截取由所述物体检测部检测出的所述物体所涉及的影像数据的范围；物体识别部，其对所述图像截取部截取出的所述影像数据的范围进行物体识别；物体检测激活部，其在所述物体识别部无法在所述影像数据的范围内识别出所述物体的情况下，定期地执行所述物体检测部对所述物体的检测；作业推定部，其基于所述影像数据中的由所述物体检测部检测出的所述物体的坐标的变化来确定作业。

发明效果

根据一个方式，能够以少量的计算量从图像中识别物体来进行作业的分类。

附图说明

图1是表示第一实施方式的作业分析系统的功能性结构例的功能框图。

图2A是表示与作业员的动作信息和工具(物体)对应的影像数据上的范围的一例的图。

图2B是表示与作业员的动作信息和工具(物体)对应的影像数据上的范围的一例的图。

图3是表示作业表的一例的图。

图4A是表示握住螺丝刀的手的形状的一例的图。

图4B是表示以与图4A类似的手的形状握住游标卡尺的手的形状的一例的图。

图5A是表示在图2B所示的影像数据中作业员的手的形状为使用螺丝刀的手的情况下截取的影像数据的一例的图。

图5B是表示在图2B所示的影像数据中作业员的手的形状为使用游标卡尺的手的情况下截取的影像数据的一例的图。

图6是对作业分析装置的分析处理进行说明的流程图。

图7是表示第二实施方式的作业分析系统的功能结构例的功能框图。

图8是表示包含作业员的作业的影像数据的一例的图。

图9是表示包含作业员的作业的影像数据的一例的图。

图10是表示包含作业员的作业的影像数据的一例的图。

图11是表示包含作业员的作业的影像数据的一例的图。

图12是对作业分析装置的分析处理进行说明的流程图。

具体实施方式

参照附图对作业分析装置的第一实施方式和第二实施方式进行详细说明。

在此，各实施方式的共通点在于，从摄像机拍摄到的作业员与物体(工具)的图像中确定作业员的作业这样的结构。

其中，在确定作业员的作业时，在第一实施方式中从包含作业员的作业的影像数据推定作业员的关节位置信息，根据推定出的作业员的关节位置信息来推定作业员的动作信息，根据推定出的作业员的动作信息从影像数据中截取与动作信息关联的物体所涉及的影像数据的范围，从所截取的影像数据的范围识别物体，根据识别出的物体确定所述作业员的作业。与此相对，在第二实施方式中，与第一实施方式的不同点在于，从包含作业员的作业的影像数据中检测物体，并且推定作业员的关节位置信息，基于推定出的作业员的关节位置信息来检测在包含检测出的物体的图像区域中是否进出了作业员的关节位置，基于该检测结果，从影像数据中截取检测出的物体所涉及的影像数据的范围，对截取出的影像数据的范围进行物体识别，在影像数据的范围内无法识别出物体的情况下，定期地执行该物体的检测，由此基于物体的坐标的变化来判定作业员的作业。

以下，首先对第一实施方式进行详细说明，接着在第二实施方式中以与第一实施方式不同的部分为中心进行说明。

<第一实施方式>

图1是表示第一实施方式的作业分析系统的功能结构例的功能框图。

如图1所示，作业分析系统100具有作业分析装置1和摄像机2。

作业分析装置1以及摄像机2可以经由LAN(Local Area Network：局域网)、因特网等未图示的网络相互连接。在该情况下，作业分析装置1以及摄像机2具备用于通过该连接相互进行通信的未图示的通信部。此外，作业分析装置1以及摄像机2也可以经由未图示的连接接口相互通过有线或无线直接连接。

另外，在图1中，作业分析装置1与一个摄像机2连接，但也可以与两个以上的多个摄像机2连接。

摄像机2是数字摄像机等，以预定的帧频(例如30fps等)拍摄将未图示的作业员以及工具等物体投影到与摄像机2的光轴垂直的平面上的二维的帧图像。摄像机2将拍摄到的帧图像作为影像数据输出到作业分析装置1。此外，由摄像机2拍摄的影像数据也可以是RGB彩色图像、灰度图像、深度图像等可见光图像。

<作业分析装置1>

作业分析装置1是本领域技术人员公知的计算机，如图1所示，具有控制部10和存储部20。另外，控制部10具有关节位置推定部101、动作推定部102、图像截取部103、物体识别部104以及作业确定部105。另外，作业确定部105具有作业推定部1051。

存储部20是ROM(Read Only Memory：只读存储器)、HDD(Hard Disk Drive：硬盘驱动器)等存储装置。在存储部20中存储后述的控制部10执行的操作系统以及应用程序等。另外，存储部20包含影像数据存储部201、动作存储部202、物体位置关系存储部203以及作业存储部204。

在影像数据存储部201中存储由摄像机2拍摄到的作业员以及工具等物体的影像数据。

在动作存储部202中存储规则库或学习完毕模型，该规则库或学习完毕模型输出后述的动作推定部102推定的与作业员的关节位置信息对应的作业员的动作信息。具体而言，例如，可以在动作存储部202中存储使用将关节位置信息作为输入数据，将作业作为标签数据的训练数据通过公知的机器学习而预先生成的神经网络等学习完毕模型，其中，上述关节位置信息包含由摄像机2拍摄到的正在进行想要确定的各作业(例如“用游标卡尺测定”、“拧螺丝”等)的作业员的影像数据中的作业员的手等的关节位置。或者，也可以在动作存储部202中存储规则库，该规则库基于公知的方法将摄像机2拍摄到的正在进行想要确定的各作业的作业员的影像数据中的作业员的关节位置信息与该作业关联起来。

物体位置关系存储部203基于后述的动作推定部102推定出的作业员的动作信息，预先存储包含与该动作信息关联的工具(物体)的影像数据上的范围。

图2A及图2B表示与作业员的动作信息和工具(物体)对应的影像数据上的范围的一例。图2A表示作为动作信息，作业员用游标卡尺正在进行测定时的图像。图2B表示作为动作信息，作业员用螺丝刀正在拧螺丝时的图像。

如图2A所示，在作业员用游标卡尺正在进行测定的情况下，作为以后述的关节位置推定部101推定出的关节位置信息所表示的作业员的手的关节位置(虚线的矩形)为基准而存在游标卡尺(物体)的影像数据上的范围，在物体位置关系存储部203中预先存储例如由单点划线所示的在水平方向上长的矩形的图像坐标系中的相对位置坐标。

另外，如图2B所示，在作业员正在拧螺丝的情况下，作为以后述的关节位置推定部101推定出的关节位置信息所表示的作业员的手的关节位置(虚线的矩形)为基准而存在螺丝刀(物体)的影像数据上的范围，在物体位置关系存储部203中预先存储例如由单点划线表示的在垂直方向上长的矩形的图像坐标系中的相对位置坐标。

作业存储部204存储将后述的物体识别部104识别出的工具(物体)与对应的作业员的作业关联起来的作业表。

图3表示作业表的一例。

如图3所示，作业表具有“物体”以及“作业”的存储区域。

在作业表内的“物体”的存储区域中，例如存储有“螺丝刀”、“游标卡尺”等工具名。

在作业表内的“作业”的存储区域中，例如存储有“拧螺丝”、“用游标卡尺测定”等作业。

此外，在作业表内的“物体”以及“作业”的存储区域中，也可以由作业员等用户使用作业分析装置1所包含的键盘或触摸面板等输入装置预先登记。

控制部10具有CPU、ROM、RAM(Random Access Memory：随机存取存储器)、CMOS存储器等，它们构成为经由总线能够相互通信，对于本领域技术人员而言是公知的。

CPU是整体控制作业分析装置1的处理器。CPU经由总线读出存储在ROM的系统程序以及应用程序，按照系统程序以及应用程序来控制整个作业分析装置1。由此，如图1所示，控制部10构成为实现关节位置推定部101、动作推定部102、图像截取部103、物体识别部104以及作业确定部105的功能。另外，作业确定部105构成为实现作业推定部1051的功能。在RAM中存储临时的计算数据、显示数据等各种数据。CMOS存储器构成为由未图示的电池备份，即使作业分析装置1的电源被断开也保持存储状态的非易失性存储器。

关节位置推定部101从包含作业员的作业的影像数据，推定作业员的关节位置信息。

具体而言，关节位置推定部101使用公知的方法(例如，菅野滉介，奥健太，川越恭二，“根据多维时间序列数据的运动检测和分类方法”，DEIM Forum2016G4-5，或者上園翔平，小野智司，“使用LSTM Autoencoder的多模态序列数据的特征提取”，人工智能学会研究会资料，SIG-KBS-B802-01，2018)，根据在影像数据存储部201中存储的附加了时刻信息的影像数据，将作业员的手等的关节的坐标、角度(手的形状)的时序数据推定为关节位置信息。

此外，以下，对关节位置推定部101将作业员的手的关节位置推定为关节位置信息的情况进行说明。但是，关节位置推定部101对于作业员的手以外的部位的关节位置，也能够与手的关节位置的情况同样地进行推定。

动作推定部102基于由关节位置推定部101推定出的关节位置信息来推定作业员的动作信息。

此外，以下对于动作推定部102推定图2A所示的“用游标卡尺测定”和图2B所示的“拧螺丝”的动作信息，来作为作业员的动作的情况进行说明。但是，动作推定部102对于“用游标卡尺测定”以及“拧螺丝”以外的动作信息，也与“用游标卡尺测定”、“拧螺丝”的情况同样地进行推定。

具体而言，动作推定部102例如将关节位置推定部101推定出的表示手的形状的关节位置信息作为输入数据，输入至存储在动作存储部202的学习完毕模型，推定影像数据中的作业员的动作(即，“用游标卡尺测定”或“拧螺丝”)。或者，动作推定部102也可以基于关节位置推定部101推定出的表示手的形状的关节位置信息和存储在动作存储部202的规则库，推定影像数据中的作业员的动作。另外，在动作推定部102，还可以与推定出的作业员的动作信息一起计算表示进行该动作信息所示的动作的手的形状(手的关节位置)的确定度的概率等。

此外，如图4A以及图4B所示，动作推定部102也可以在由关节位置推定部101推定出的手的形状模糊且类似于握持两个以上的不同的物体(工具)的关节位置的情况下，将多个动作推定为动作信息。图4A表示握住螺丝刀的手的形状的一例。图4B表示以与图4A类似的手的形状握住游标卡尺的手的形状的一例。

图像截取部103基于由动作推定部102推定出的动作信息，从影像数据截取与动作信息相关联的物体(工具)所涉及的影像数据的范围。

具体而言，图像截取部103例如从物体位置关系存储部203取得与动作推定部102推定出的动作信息对应的要截取的影像数据上的范围即图像坐标系中的相对位置坐标。如图2A或图2B所示，图像截取部103基于以作业员的手的关节位置(虚线的矩形)为基准而取得的相对位置坐标，截取由单点划线所示的矩形的范围的影像数据。

此外，在由动作推定部102推定出的动作信息中包含多个动作的情况下，图像截取部103取得与动作信息所示的多个动作分别对应的图像坐标系的相对位置坐标，基于以作业员的手的关节位置为基准而取得的各个动作的相对位置坐标来截取矩形的范围的影像数据。

图5A和图5B表示在动作信息中包含多个动作的情况下的截取出的影像数据的一例。

图5A表示在图2B所示的影像数据中作业员的手的形状为使用螺丝刀的手的情况下截取出的影像数据的一例。图5B表示在图2B所示的影像数据中作业员的手的形状为使用游标卡尺的手的情况下截取的影像数据的一例。

物体识别部104在由图像截取部103截取出的影像数据的范围内进行物体(工具)的识别。

具体而言，物体识别部104例如使用公知的方法，对截取出的影像数据提取边缘量等图像特征量。物体识别部104进行提取出的图像特征量与预先存储在存储部20的每个工具(物体)的图像特征量的匹配处理，识别截取出的影像数据中的工具(物体)。另外，物体识别部104也可以计算表示识别出的工具(物体)的确定度的概率。

例如，在动作推定部102推定出的动作信息中包含多个动作的情况下，物体识别部104从图5A的截取出的影像数据的范围识别出螺丝刀(物体)，可以将螺丝刀(物体)的概率计算为90％。另外，物体识别部104无法从图5B的截取出的影像数据的范围识别游标卡尺(工具)，可以将游标卡尺(物体)的概率计算为3％。

作业确定部105基于由物体识别部104识别出的物体(工具)，确定作业员的作业。

具体而言，作业确定部105例如基于由物体识别部104识别出的工具(物体)和存储在作业存储部204的作业表来确定作业员的作业。作业确定部105可以将确定出的作业显示在作业分析装置1所包含的液晶显示器等显示装置(未图示)。

另外，作业确定部105也可以在作业存储部204中存储的作业表中未登记由物体识别部104识别出的工具(物体)的情况下，将“无法确定作业”等消息显示在作业分析装置1的显示装置(未图示)。

作业推定部1051在由动作推定部102推定出的动作信息中包含多个动作的情况下，基于分别进行由动作推定部102推定出的多个动作的手的形状(手的关节位置)的概率和由物体识别部104对于截取出的多个影像数据的每个范围识别出的物体的概率，来推定概率最高的作业。

例如，在图5A所示的影像数据中，在进行由动作推定部102推定出的“拧螺丝”的动作的手的形状(手的关节位置)的概率为60％，由物体识别部104识别出的“螺丝刀”的概率为90％的情况下，作业推定部1051将“拧螺丝”的作业的概率计算为0.5(＝0.6×0.9)。另外，在图5B所示的影像数据中，在进行由动作推定部102推定出的“用游标卡尺测定”的动作的手的形状(手的关节位置)的概率为40％，由物体识别部104识别出的“游标卡尺”的概率为3％的情况下，作业推定部1051将“用游标卡尺测定”的作业的概率计算为0.01(＝0.4×0.03)。然后，作业推定部1051将概率为0.5从而概率最高的“拧螺丝”确定为作业员的作业。

<作业分析装置1的分析处理>

接着，对第一实施方式的作业分析装置1的分析处理的动作进行说明。

图6是对作业分析装置1的分析处理进行说明的流程图。在从摄像机2输入影像数据的期间反复执行在此所示的流程。

在步骤S1中，关节位置推定部101根据包含作业员的作业的影像数据推定作业员的手的关节位置信息。

在步骤S2中，动作推定部102基于在步骤S1中推定出的关节位置信息来推定作业员的动作信息。

在步骤S3中，图像截取部103截取与在步骤S2中推定出的动作信息中包含的动作相关联的物体(工具)所涉及的影像数据的范围。此外，图像截取部103在步骤S2中推定出的动作信息中包含多个动作的情况下，截取与每个动作相关联的物体(工具)所涉及的影像数据的范围。

在步骤S4中，物体识别部104在步骤S3中截取出的影像数据的范围内识别物体(工具)。此外，物体识别部104在步骤S3中截取出的影像数据有多个的情况下，在多个影像数据各自的范围内识别物体(工具)。

在步骤S5中，作业确定部105基于在步骤S4中识别出的工具(物体)和存储在作业存储部204的作业表，确定作业员的作业。此外，在步骤S2中由动作推定部102推定出多个动作的情况下，作业推定部1051基于分别进行在步骤S2中推定出的多个动作的手的形状(手的关节位置)的概率和针对在步骤S3中截取出的多个影像数据中的每一个影像数据在步骤S4中识别出的物体的概率，将概率最高的作业确定为作业员的作业。

在步骤S6中，作业确定部105将在步骤S5中确定出的作业显示在作业分析装置1的显示装置(未图示)。此外，作业确定部105在存储在作业存储部204的作业表中没有登记在步骤S4中识别出的工具(物体)的情况下，将“无法确定作业”等消息显示在作业分析装置1的显示装置(未图示)。

根据以上内容，第一实施方式的作业分析装置1从包含作业员的作业的影像数据推定作业员的关节位置信息，基于推定出的作业员的关节位置信息推定作业员的动作信息，基于推定出的作业员的动作信息从影像数据中截取与动作信息关联的物体所涉及的影像数据的范围，从所截取的影像数据的范围中识别物体，根据识别出的物体来确定作业员的作业。由此，作业分析装置1能够以少量的计算量从图像中识别物体来进行作业的分类。

另外，作业分析装置1不需要高价的GPU等，即使是廉价的设备也能够实施。

另外，作业分析装置1的作业分类的模型容易解释，用户能够认可并使用。另外，例如，在作业分类的精度存在问题的情况下，能够区分为物体识别的精度低、或特征性的手的关节位置的检测精度低这样的问题，容易对分类模型进行扩展、改进。

以上对第一实施方式进行了说明。

接着，对第二实施方式进行说明。在第一实施方式中，从包含作业员的作业的影像数据推定作业员的关节位置信息，基于推定出的作业员的关节位置信息推定作业员的动作信息，基于推定出的作业员的动作信息从影像数据中截取与动作信息关联的物体所涉及的影像数据的范围，从所截取的影像数据的范围中识别物体，根据识别出的物体确定所述作业员的作业。与此相对，在第二实施方式中，与第一实施方式的不同点在于，从包含作业员的作业的影像数据中检测物体，并且推定作业员的关节位置信息，基于推定出的作业员的关节位置信息来检测作业员的关节位置是否在包含检测到的物体的图像区域中进出，基于该检测结果，从影像数据中截取检测出的物体所涉及的影像数据的范围，对截取出的影像数据的范围进行物体识别，在影像数据的范围内无法识别物体的情况下，定期地执行该物体的检测，由此基于物体的坐标的变化来判定作业员的作业。

由此，第二实施方式的作业分析装置1A能够以少量的计算量从图像中识别物体来进行作业的分类。

以下，对第二实施方式进行说明。

<第二实施方式>

图7是表示第二实施方式的作业分析系统的功能结构例的功能框图。此外，对具有与图1的作业分析系统100的要素相同的功能的要素标注相同的附图标记，并省略详细的说明。

如图7所示，作业分析系统100具有作业分析装置1A以及摄像机2。

摄像机2具有与第一实施方式中的摄像机2同等的功能。

<作业分析装置1A>

如图7所示，作业分析装置1A包含控制部10a和存储部20a。另外，控制部10a具有关节位置推定部101、动作推定部102、图像截取部103a、物体识别部104a、作业确定部105、物体检测部106、物体区域进出检测部107、以及物体检测激活部108。另外，作业确定部105具有作业推定部1051a。

存储部20a是ROM、HDD等存储装置。在存储部20a中存储后述的控制部10a执行的操作系统以及应用程序等。另外，存储部20a包含影像数据存储部201、动作存储部202、物体位置关系存储部203、作业存储部204以及物体坐标存储部205。

影像数据存储部201、动作存储部202、物体位置关系存储部203以及作业存储部204存储与第一实施方式中的影像数据存储部201、动作存储部202、物体位置关系存储部203以及作业存储部204同等的数据。

在物体坐标存储部205中存储由后述的物体检测部106从影像数据中检测出的工具(物体)在图像坐标系中的坐标。

控制部10a具有CPU、ROM、RAM、CMOS存储器等，它们构成为能够经由总线相互通信，对于本领域技术人员来说是公知的。

CPU是整体控制作业分析装置1A的处理器。CPU经由总线读出存储在ROM的系统程序以及应用程序，按照系统程序以及应用程序来控制整个作业分析装置1A。由此，如图7所示，控制部10a构成为实现关节位置推定部101、动作推定部102、图像截取部103a、物体识别部104a、作业确定部105、物体检测部106、物体区域进出检测部107以及物体检测激活部108的功能。另外，作业确定部105构成为实现作业推定部1051a的功能。

关节位置推定部101、动作推定部102以及作业确定部105具有与第一实施方式中的关节位置推定部101、动作推定部102以及作业确定部105相同的功能。

图像截取部103a与第一实施方式的图像截取部103同样地，基于由动作推定部102推定出的动作信息，从影像数据截取与动作信息相关联的物体(工具)所涉及的影像数据的范围。另外，图像截取部103a基于后述的物体区域进出检测部107的检测结果，从影像数据中截取由后述的物体检测部106检测出的物体(工具)所涉及的影像数据的范围。

物体识别部104a与第一实施方式的物体识别部104同样地，在由图像截取部103a截取出的影像数据的范围内进行物体(工具)的识别。另外，物体识别部104a基于后述的物体区域进出检测部107的检测结果，在由图像截取部103a截取出的影像数据的范围内进行物体(工具)的识别。

作业推定部1051a基于由后述的物体检测部106检测出的工具(物体)的坐标的变化来确定作业。此外，在后面叙述作业推定部1051a的动作。

物体检测部106从包含作业员的作业的影像数据中检测工具(物体)。

图8表示包含作业员的作业的影像数据的一例。

在图8所示的影像数据中，游标卡尺放置在桌子上，但未由作业员使用。物体检测部106使用公知的方法对图8所示的影像数据的整个图像提取边缘量等图像特征量。物体检测部106进行提取出的图像特征量与预先存储在存储部20的每个工具(物体)的图像特征量的匹配处理，检测影像数据中的工具(物体)，取得包含检测出的工具(物体)的图像区域(单点划线的矩形)的图像坐标系的坐标。物体检测部106将所取得的图像区域(单点划线的矩形)的图像坐标系的坐标存储在物体坐标存储部205。

此外，物体检测部106的检测处理也可以仅进行最初的一次。

物体区域进出检测部107基于由关节位置推定部101推定出的作业者的关节位置信息，检测作业员的关节位置是否在包含物体检测部106检测出的工具(物体)的图像区域中进出。

具体而言，物体区域进出检测部107例如基于由关节位置推定部101推定出的关节位置信息，在图8的影像数据中检测包含作业员的手的关节位置的图像区域(虚线的矩形)的位置。物体区域进出检测部107判定包含作业员的手的关节位置的图像区域(虚线的矩形)的位置是否在包含由物体检测部106检测到的工具(物体)的图像区域(单点划线的矩形)的位置进出(即，重叠后分离)。例如，物体区域进出检测部107在图8的情况下，由于作业员的手的关节位置的图像区域(虚线的矩形)与包含工具(物体)的图像区域(单点划线的矩形)的位置分离，因此判定为作业员的关节位置未进出工具(物体)的图像区域。

另一方面，物体区域进出检测部107在如图9及图10所示的情况下，判定为作业员的手的关节位置的图像区域(虚线的矩形)在包含工具(物体)的图像区域(单点划线的矩形)进出。在该情况下，图像截取部103a从影像数据中截取图10所示的物体的图像区域(单点划线的矩形)，物体识别部104a在由图像截取部103a截取出的影像数据的范围内进行物体(工具)的识别。

在物体识别部104a无法识别由物体检测部106检测出的工具(物体)的情况下，物体检测激活部108使物体检测部106定期地执行工具(物体)的检测。

具体而言，例如在物体识别部104a在图10的单点划线的矩形所示的图像区域中无法识别由物体检测部106检测出的工具(物体)的情况下，物体检测激活部108判定为作业员使用该工具(物体)开始了作业。然后，物体检测激活部108使物体检测部106定期(例如每隔1秒等)地从图10的全体影像数据检测工具(物体)。在该情况下，如图11所示，在检测出的工具(物体)的图像区域(双点划线的矩形)的位置发生了变化的情况下，作业推定部1051a确定为作业员正在使用工具(物体)进行由作业确定部105确定出的作业。

另一方面，作业推定部1051a在工具(物体)的图像区域(双点划线的矩形)的位置未变化(或者无法检测到工具(物体))且离开了作业员的手的图像区域(虚线的矩形)，作业员的手的图像区域(虚线的矩形)进行移动的情况下，确定为作业员结束了工具(物体)的使用。在该情况下，物体检测激活部108结束由物体检测部106定期执行的物体检测。

由此，由于物体检测部106进行的物体检测处理繁重，因此作业分析装置1A使用物体检测和关节位置信息仅在作业员正在使用工具(物体)的情况下进行物体检测处理，由此能够减少执行次数。

另外，作业分析装置1A能够判别所确定的作业员的作业是否是使用了工具(物体)的作业。

<作业分析装置1A的分析处理>

接着，对第二实施方式的作业分析装置1A的分析处理的动作进行说明。

图12是对作业分析装置1的分析处理进行说明的流程图。在从摄像机2输入影像数据的期间反复执行此处所示的流程。

在步骤S11中，物体检测部106从包含作业员的作业的全体影像数据检测物体(工具)。

在步骤S12中，关节位置推定部101从影像数据推定作业员的手的关节位置信息。

在步骤S13中，在物体区域进出检测部107判定为作业员的手的关节位置的图像区域在包含物体(工具)的图像区域进出的情况下，图像截取部103a截取与在步骤S11中检测出的物体(工具)相关的影像数据的范围。

在步骤S14中，物体识别部104a在步骤S13中截取出的影像数据的范围内识别物体(工具)。

在步骤S15中，物体检测激活部108判定在步骤S14中物体识别部104a是否能够识别出在步骤S11中检测到的物体(工具)。在物体识别部104a能够识别出检测到的物体(工具)的情况下，由此物体(工具)处于最初的位置(未使用)，因此处理停留在步骤S15。另一方面，在物体识别部104a未能识别出检测到的物体(工具)的情况下，处理进入步骤S16。

在步骤S16中，物体检测激活部108使物体检测部106定期地执行物体(工具)的检测处理。

在步骤S17中，作业推定部1051a判定在步骤S16中检测出的物体(工具)的图像区域的位置是否变化。在检测出的物体(工具)的图像区域的位置发生变化的情况下，处理进入步骤S18。另一方面，在检测出的物体(工具)的图像区域的位置没有变化的情况下，处理进入步骤S19。

在步骤S18中，作业推定部1051a确定为作业员正在使用工具(物体)进行作业。

在步骤S19中，作业推定部1051a在物体(工具)的图像区域与作业员的手的图像区域分离且作业员的手的图像区域进行移动的情况下，确定为作业员不使用物体(工具)而进行作业。

在步骤S20中，物体检测激活部108结束物体检测部106对物体(工具)的检测处理。然后，作业分析装置1A结束分析处理。

根据以上内容，第二实施方式的作业分析装置1A从包含作业员的作业的影像数据中检测物体，并且推定作业员的关节位置信息，基于推定出的作业员的关节位置信息来检测作业员的关节位置是否在包含检测出的物体的图像区域中进出，基于该检测结果从影像数据中截取检测出的物体所涉及的影像数据的范围，对截取出的影像数据的范围进行物体识别，在影像数据的范围内无法识别出物体的情况下，定期地执行该物体的检测，由此基于物体的坐标的变化来判定作业员的作业。由此，作业分析装置1A能够以少量的计算量从图像中识别物体来进行作业的分类。

另外，作业分析装置1A不需要高价的GPU等，即使是廉价的设备也能够实施。

另外，作业分析装置1A的作业分类的模型容易解释，用户能够认可并使用。另外，例如，在作业分类的精度存在问题的情况下，能够区分为物体识别的精度低、或特征性的手的关节位置的检测精度低这样的问题，容易对分类模型进行扩展、改进。

另外，由于物体检测处理繁重，因此作业分析装置1A使用物体检测和关节位置信息仅在作业员正在使用物体的情况下进行物体检测处理，由此能够减少执行次数。

另外，作业分析装置1A能够判别所确定的作业员的作业是否是使用了物体的作业。

以上对第二实施方式进行了说明。

以上，对第一实施方式以及第二实施方式进行了说明，但作业分析装置1、1A并不限于上述的实施方式，包括能够实现目的的范围内的变形、改良等。

<变形例1>

在第一实施方式以及第二实施方式中，作业分析装置1、1A与一个摄像机2连接，但并不限于此。例如，作业分析装置1、1A也可以与两个以上的多个摄像机2连接。

<变形例2>

另外，例如，在上述实施方式中，作业分析装置1、1A具有全部的功能，但并不限于此。例如，也可以使服务器具备作业分析装置1的关节位置推定部101、动作推定部102、图像截取部103、物体识别部104、作业确定部105以及作业推定部1051的一部分或者全部、或者作业分析装置1A的关节位置推定部101、动作推定部102、图像截取部103a、物体识别部104a、作业确定部105、作业推定部1051a、物体检测部106、物体区域进出检测部107以及物体检测激活部108的一部分或者全部。另外，也可以在云上利用虚拟服务器功能等来实现作业分析装置1、1A的各功能。

并且，作业分析装置1、1A可以设为将作业分析装置1、1A的各功能适当地分散到多个服务器的分散处理系统。

此外，第一实施方式以及第二实施方式的作业分析装置1、1A所包含的各功能能够通过硬件、软件或者它们的组合来分别实现。在此，通过软件实现是指通过计算机读入并执行程序来实现。

程序可以使用各种类型的非暂时性计算机可读介质(Non-transitory computerreadable medium)来存储，并提供给计算机。非临时性计算机可读介质包含各种类型的实体记录介质(Tangible storage medium)。作为非暂时性计算机可读介质的例子，包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、CD-ROM(Read OnlyMemory：只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩模ROM、PROM(ProgrammableROM：可编程ROM)、EPROM(Erasable PROM：可擦除PROM)、闪存ROM、RAM)。另外，程序也可以通过各种类型的暂时性计算机可读介质(Transitory computer readable medium)提供给计算机。作为暂时性计算机可读介质的例子，包含电信号、光信号和电磁波。暂时性计算机可读介质能够经由电线及光纤等有线通信路径或无线通信路径将程序供给至计算机。

此外，记述了在记录介质中记录的程序的步骤当然包含按照其顺序在时间序列上进行的处理，也包含不必按照时间序列进行处理，而是并行或个别地执行的处理。

换言之，本公开的作业分析装置能够采取具有如下结构的各种实施方式。

(1)本公开的作业分析装置1是对作业员的作业进行分析的作业分析装置，其具备：关节位置推定部101，其从包含作业员的作业的影像数据来推定作业员的关节位置信息；动作推定部102，其基于由关节位置推定部101推定出的关节位置信息来推定作业员的动作信息；图像截取部103，其基于由动作推定部102推定出的动作信息，从影像数据中截取与动作信息相关联的物体所涉及的影像数据的范围；物体识别部104，其在由图像截取部103截取出的影像数据的范围中进行物体的识别；作业确定部105，其基于由物体识别部104识别出的物体，来确定作业员的作业。

根据该作业分析装置1，能够以少量的计算量从图像中识别物体来进行作业的分类。

(2)在(1)所述的作业分析装置1中，可以在动作推定部102基于关节位置信息推定出包含多个动作的作业员的动作信息的情况下，图像截取部103针对推定出的多个动作中的每个动作截取多个影像数据的范围，物体识别部104针对多个影像数据的每个范围进行物体的识别，作业确定部105具备作业推定部1051，该作业推定部1051基于由动作推定部102推定出的多个动作各自的概率和由物体识别部104针对多个影像数据的每个范围识别出的物体的概率，来推定概率最高的作业。

由此，作业分析装置1即使在手的形状模糊的情况下也能够高精度地确定作业员的作业。

(3)在(1)或(2)所述的作业分析装置1中，可以具备：动作存储部202，其存储规则库或学习完毕模型，其中，规则库或学习完毕模型输出与关节位置推定部101推定出的关节位置信息对应的作业员的动作信息；物体位置关系存储部202，其基于作业员的动作信息，预先存储包含与该动作信息关联的物体的影像数据上的范围；作业存储部204，其存储将物体识别部104识别出的物体与作业员的作业预先对应起来的作业表。

由此，作业分析装置1的作业分类的模型容易解释。

(4)本公开的作业分析装置1A是对作业员的作业进行分析的作业分析装置，其具备：物体检测部106，其从包含作业员的作业的影像数据检测物体；关节位置推定部101，其从影像数据推定作业员的关节位置信息；物体区域进出检测部107，其基于由关节位置推定部101推定出的关节位置信息，检测在包含由物体检测部106检测出的物体的图像区域中是否进出了包含作业员的关节位置的图像区域；图像截取部103a，其基于物体区域进出检测部107的检测结果，从影像数据截取由物体检测部106检测出的物体所涉及的影像数据的范围；物体识别部104a，其对图像截取部103a截取出的影像数据的范围进行物体识别；物体检测激活部108，其在物体识别部104a无法在影像数据的范围内识别出物体的情况下，定期地执行物体检测部106对物体的检测；作业推定部1051a，其基于影像数据中的由物体检测部106检测出的物体的坐标的变化来确定作业。

该作业分析装置1A能够起到与(1)相同的效果。

附图标记说明

1、1A作业分析装置

10、10a控制部

101关节位置推定部

102动作推定部

103、103a图像截取部

104、104a物体识别部

105作业确定部

1051、1051a作业推定部

106物体检测部

107物体区域进出检测部

108物体检测激活部

20、20a存储部

201影像数据存储部

202动作存储部

203物体位置关系存储部

204作业存储部

205物体坐标存储部

2摄像机

100作业分析系统。

Claims (4)

1.一种对作业员的作业进行分析的作业分析装置，其特征在于，

所述作业分析装置具备：

关节位置推定部，其从包含所述作业员的作业的影像数据，推定所述作业员的关节位置信息；

动作推定部，其基于由所述关节位置推定部推定出的所述关节位置信息，推定所述作业员的动作信息；

图像截取部，其基于由所述动作推定部推定出的所述动作信息，从所述影像数据中截取与所述动作信息关联的物体所涉及的影像数据的范围；

物体识别部，其在由所述图像截取部截取出的所述影像数据的范围中进行所述物体的识别；以及

作业确定部，其基于由所述物体识别部识别出的所述物体，确定所述作业员的作业。

2.根据权利要求1所述的作业分析装置，其特征在于，

在所述动作推定部基于所述关节位置信息来推定包含多个动作的所述作业员的动作信息的情况下，所述图像截取部针对推定出的所述多个动作中的每个动作截取多个所述影像数据的范围，

所述物体识别部针对多个所述影像数据的每个范围进行所述物体的识别，

所述作业确定部具备作业推定部，该作业推定部基于由所述动作推定部推定出的所述多个动作各自的概率和由所述物体识别部针对多个所述影像数据的每个范围识别出的物体的概率，推定概率最高的作业。

3.根据权利要求1或2所述的作业分析装置，其特征在于，

所述作业分析装置具备：

动作存储部，其存储规则库或学习完毕模型，其中，所述规则库或学习完毕模型输出与所述关节位置推定部推定出的关节位置信息对应的所述作业员的动作信息；

物体位置关系存储部，其基于所述作业员的动作信息，预先存储包含与该动作信息关联的所述物体的所述影像数据上的范围；

作业存储部，其存储将所述物体识别部识别出的所述物体与所述作业员的作业预先对应起来的作业表。

4.一种对作业员的作业进行分析的作业分析装置，其特征在于，

所述作业分析装置具备：

物体检测部，其从包含所述作业员的作业的影像数据来检测物体；

关节位置推定部，其从所述影像数据推定所述作业员的关节位置信息；

物体区域进出检测部，其基于由所述关节位置推定部推定出的所述关节位置信息，检测在包含所述物体检测部检测出的所述物体的图像区域中是否进出了包含所述作业员的关节位置的图像区域；

图像截取部，其基于所述物体区域进出检测部的检测结果，从所述影像数据中截取由所述物体检测部检测出的所述物体所涉及的影像数据的范围；

物体识别部，其对由所述图像截取部截取出的所述影像数据的范围进行物体识别；

物体检测激活部，其在所述物体识别部无法在所述影像数据的范围内识别出所述物体的情况下，定期地执行所述物体检测部对所述物体的检测；

作业推定部，其基于所述影像数据中的由所述物体检测部检测出的所述物体的坐标的变化来确定作业。