CN111198544B - 作业熟习辅助装置和作业熟习辅助系统 - Google Patents

Abstract

本发明的目的在于提供更加高效地辅助作业人员的熟习的技术。作业熟习辅助装置具备：存储部，其存储包含基准外作业的条件的基准外作业模型信息、包含表示作业内容的信息和表示作业所使用的部件的信息的作业顺序信息、拍摄到作业地点内部的作业地点内部图像；骨格时间序列信息获取部，其从上述作业地点内部图像获取一个或多个作业人员的骨格时间序列信息；基准外作业提取部，其判定上述骨格时间序列信息是否符合上述条件；部件确定部，其针对判定为符合上述条件的基准外作业，使用上述作业地点内部图像，确定作业对象的上述部件；以及作业内容确定部，其使用被上述部件确定部确定的上述部件，参照上述作业顺序信息，确定基准外作业的上述作业内容。

Description

作业熟习辅助装置和作业熟习辅助系统

技术领域

本发明涉及作业熟习辅助装置和作业熟习辅助系统。

背景技术

存在用于辅助产品的生产作业的各种技术。

在专利文献1的[0050]段中，记载了“在本实施方式中，通过照相机150拍摄作业人员140的作业的样子，将根据该作业的作业时间的长短的观点选择出的前三个作业的动画与后三个作业的动画记录于服务器101内。前三个作业的动画被保存为高效地进行作业的情况下的样本动画，后三个作业的动画被保存为未高效地进行作业的情况下的样本动画。”。此外，在[0049]段中，记载了“在进行了最差三个作业的情况下，将该意思通知给管理者和其他的相关者。”。

现有技术文献

专利文献

专利文献1：日本特开2011－134224号公报

为了辅助生产作业，期望促使作业人员的熟习的系统。若能够确定熟习程度较低的作业，则能够对熟习进行适当的辅助。

在专利文献1所公开的技术中，作业时间较长的动画被判定为是未高效地进行作业的情况下的动画。然而，为了进行最终判定，需要针对每个作业单位，以能够生成动画的方式进行调整，从而较繁琐。

发明内容

本发明是鉴于上述的点而完成的，目的在于，提供更加高效地辅助作业人员的熟习的技术。

本申请包含多个解决上述课题的至少一部分的手段，但如果列举其例，则如以下那样。

为了解决上述课题，本发明的作业熟习辅助装置的特征在于，具备：存储部，其存储包含基准外作业的条件的基准外作业模型信息、包含表示作业内容的信息和表示作业所使用的部件的信息的作业顺序信息、拍摄到作业地点内部的作业地点内部图像；骨格时间序列信息获取部，其从上述作业地点内部图像获取一个或者多个作业人员的骨格时间序列信息；基准外作业提取部，其判定上述骨格时间序列信息是否符合上述条件；部件确定部，其针对判定为符合上述条件的基准外作业，使用上述作业地点内部图像确定作业对象的上述部件；以及作业内容确定部，其使用被上述部件确定部确定的上述部件，参照上述作业顺序信息，来确定基准外作业的上述作业内容。

本发明的效果如下。

根据本发明，能够提供更加高效地辅助作业人员的熟习的技术。

上述以外的课题、结构以及效果根据以下的实施方式的说明变得清楚。

附图说明

图1是表示作业熟习辅助系统的功能帧图的一个例子的图。

图2是表示作业熟习辅助装置的硬件结构的一个例子的图。

图3是表示作业实际成绩信息的数据构造的一个例子的图。

图4是表示作业顺序信息的数据构造的一个例子的图。

图5是表示基准外作业模型信息的数据构造的一个例子的图。

图6是表示基准外作业提取设定信息的数据构造的一个例子的图。

图7是表示基准外作业输出处理的一个例子的流程图。

图8是表示骨格时间序列信息生成处理的一个例子的流程图。

图9是表示骨格时间序列信息的数据构造的一个例子的图。

图10是表示基准外作业提取处理的一个例子的流程图。

图11是表示基准外作业提取结果信息的数据构造的一个例子的图。

图12是表示基准外作业图像生成处理的一个例子的流程图。

图13是表示部件确定处理的一个例子的流程图。

图14是用于对作业区域和准备区域进行说明的图。图14A是作业区域和准备区域的示意图。图14B是确定作业区域的信息的一个例子。图14C是确定准备区域的信息的一个例子。

图15是表示存储于存储部的作业区域的一部分的信息的数据构造的一个例子的图。图15A是包含计算出的相似性的相似性信息的数据构造的一个例子。图15B是作业顺序参照信息的数据构造的一个例子。

图16是表示基准外作业一览画面的一个例子的图。

图17是表示基准外作业图像显示画面的一个例子的图。

图18是表示作业顺序信息显示画面的一个例子的图。

图19是表示基准外作业确认画面的一个例子的图。

图20是表示作业人员信息显示画面的一个例子的图。

附图标记说明：

1：作业熟习辅助系统，100：作业熟习辅助装置，110·210：控制部，111：骨格时间序列信息获取部，112：基准外作业提取部，113：部件确定部，114：作业内容确定部，115：图像生成部，116：显示信息生成部，120：存储部，121：作业实际成绩信息存储部，122：作业相关信息存储部，123：作业顺序信息存储部，124：基准外作业模型信息存储部，125：基准外作业提取设定信息存储部，126：作业地点内部图像存储部，127：设计信息存储部，128：骨格时间序列信息存储部，129：区域信息存储部，130：基准外作业提取结果信息存储部，140·220：输入部，150·230：输出部，160·240：通信部，161：输入装置，162：输出装置，163：外部存储装置，164：运算装置，165：主存储装置，166：通信装置，200：用户终端装置，211：基准外作业请求部，300：作业实际成绩信息，400：作业相关信息，500：基准外作业模型信息，600：基准外作业提取设定信息，700：骨格时间序列信息，800：基准外作业提取结果信息，900：相似性信息，1000：作业顺序参照信息，2100：基准外作业一览画面，2110：基准外作业一览显示区域，2120·2220·2320：确认按钮，2200：基准外作业图像显示画面，2210：基准外作业图像显示区域，2211：再生按钮，2212：停止按钮，2213：再生位置，2300：作业顺序信息显示画面，2310：作业顺序信息显示区域，2400：基准外作业确认画面，2410：显示条件设定区域，2420：作业名显示区域，2430：产生时间推移显示区域，2440：作业人员对应显示区域，2500：作业人员信息显示画面，2510：作业人员名显示区域，2520：作业人员产生时间推移显示区域，2530：作业人员基准外作业一览显示区域，N：网络。

具体实施方式

以下，基于附图，对本发明的实施方式的例子进行说明。图1是表示作业熟习辅助系统1的功能帧图的一个例子的图。作业熟习辅助系统1具有作业熟习辅助装置100和用户终端装置200。作业熟习辅助装置100连接为能够与一个或者多个用户终端装置200经由网络N进行通信。

作业熟习辅助装置100是PC(Personal Computer)或者服务器计算机等的终端装置。用户终端装置200是PC或者智能手机等终端装置。图1示出了相对于一个作业熟习辅助装置100连接有一个用户终端装置200的状态，但装置数量不限定于此。

在本实施方式中，作业熟习辅助装置100提取基准外作业，由此辅助作业人员的作业的熟习。此外，基准外作业是指，不满足预先设定的基准的作业或者超出基准的作业。在本实施方式中，在判定为基准外作业的情况下，处理为需要作业人员的熟习。

作为一个例子，用户终端装置200由作业人员进行操作。此时，作业熟习辅助装置100根据来自用户终端装置200的请求，发送表示基准外作业的信息。作为其他的例子，用户终端装置200由作业的监督者进行操作。此时，作业熟习辅助装置100根据来自用户终端装置200的请求，发送表示基准外作业的信息、表示作业人员的确认状况的信息。

作业熟习辅助装置100具备控制部110、存储部120、输入部140、输出部150、通信部160。控制部110统一地控制作业熟习辅助装置100整体。存储部120存储输入作业熟习辅助装置100的信息、在作业熟习辅助装置100的处理过程中生成的信息。

输入部140使用后述的输入装置161接受来自用户的输入操作。输出部150相对于显示器等输出装置输出信息。通信部160在与用户终端装置200之间发送和接收信息。

控制部110具备骨格时间序列信息获取部111、基准外作业提取部112、部件确定部113、作业内容确定部114、图像生成部115、显示信息生成部116。骨格时间序列信息获取部111根据拍摄到作业地点的内部的作业地点内部图像，获取一个或者多个作业人员的骨格时间序列信息。骨格时间序列信息获取部111使用学习了推断骨格的算法，检测在作业地点内部图像映现出的人物，获取骨格时间序列信息。该算法例如通过CNN(ConvolutionalNeural Network)等学习模型而生成，以HDF(Hierarchical Data Format)5形式等的格式预先存储于作业熟习辅助装置100。将该算法作为骨格提取用模型进行说明。

基准外作业提取部112参照骨格时间序列信息，判定作业人员的作业是否为基准外作业。基准外作业提取部112使用骨格时间序列信息来计算作业的特征量，并判定该作业是否满足预先决定的基准外作业的条件。

另外，基准外作业提取部112使用作业地点内部图像通过预定的方法获取能够缩短的时间，并且计算相对于相同的基准外作业的作业内容累积了所获取的能够缩短的时间的累积能够缩短的时间。此外，能够缩短的时间是指，在没有基准外作业的情况下不需要的时间，与基准外作业提取结果信息所含的能够缩短的时间对应。

部件确定部113确定在基准外作业中使用的部件。部件确定部113确定作业地点内部图像所含的部件。更具体而言，部件确定部113计算作业地点内部图像所含的部件的图像与部件的设计信息所含的图像的相似性，由此确定成为基准外作业的作业对象的部件。

作业内容确定部114使用由部件确定部113确定的部件，参照后述的作业顺序信息，由此确定基准外作业的作业内容。图像生成部115使用作业地点内部图像，生成拍摄到基准外作业的基准外作业图像。

显示信息生成部116生成从用户终端装置200被请求的图像的显示信息。例如，显示信息生成部116生成显示基准外作业的作业内容的一览的基准外作业一览画面与包含基准外作业图像、作业顺序信息的确认次数的基准外作业确认画面中的至少一方的显示信息。另外，例如，显示信息生成部116生成包含针对基准外作业而生成的基准外作业图像、基准外作业的作业顺序信息的画面的显示信息。

存储部120具备：作业实际成绩信息存储部121、作业相关信息存储部122、作业顺序信息存储部123、基准外作业模型信息存储部124、基准外作业提取设定信息存储部125、作业地点内部图像存储部126、设计信息存储部127、骨格时间序列信息存储部128、区域信息存储部129、基准外作业提取结果信息存储部130。

作业实际成绩信息存储部121存储表示作业实际成绩的作业实际成绩信息。作业相关信息存储部122存储作为与作业相关的信息的作业相关信息。作业顺序信息存储部123存储包含表示作业内容的信息和表示作业地点使用的部件的信息的作业顺序信息。在作业顺序信息包含有通常被使用为作业顺序的手册的作业顺序书。

基准外作业模型信息存储部124存储包含基准外作业的条件的基准外作业模型信息。基准外作业模型信息例如包含用于基于作业人员的骨格的位置，判定作业人员执行的作业是否为基准外作业的条件。基准外作业提取设定信息存储部125存储包含基准外作业的提取所使用的设定信息的基准外作业提取设定信息。

设计信息存储部127存储多个部件的设计信息。设计信息包含有作为产品的名称的产品名、产品的描绘信息(即、三维模型信息)、作为构成产品的部件的名称的部件名、部件的描绘信息、部件相对于产品的相对的位置信息。设计信息例如是CAD等设计辅助软件的信息。

作业地点内部图像存储部126存储拍摄到作业地点的内部的一个或者多个作业地点内部图像。在作业地点内部图像存储部126针对每个作业地点内部图像，存储有拍摄到作业地点内部图像时的照相机的设置位置、焦距、视场角、失真率等的照相机设定信息。骨格时间序列信息存储部128使用存储作业地点内部图像被提取的作业人员的骨格时间序列信息。骨格时间序列信息通过后述的骨格时间序列信息生成处理而被生成。

区域信息存储部129存储在作业地点内部图像中确定作为进行作业的区域的作业区域的作业区域信息和作为确定进行作业的准备的区域的准备区域的准备区域信息。基准外作业提取结果信息存储部130存储包含与通过后述的基准外作业提取处理而被提取的基准外作业有关的信息的基准外作业提取结果信息。

用户终端装置200具备控制部210、输入部220、输出部230、通信部240。控制部210统一地控制用户终端装置200整体。输入部220经由输入装置接受来自用户的输入操作。输出部230相对于显示器等的输出装置输出信息。例如，输出部230使用从作业熟习辅助装置100被发送的显示信息，在输出装置显示基准外作业一览画面、基准外作业确认画面。通信部240在与作业熟习辅助装置100之间发送和接收信息。

控制部210具备基准外作业请求部211。基准外作业请求部211根据作业人员或者监督者的输入操作，相对于作业熟习辅助装置100请求表示基准外作业的信息。

图2是表示作业熟习辅助装置100的硬件结构的一个例子的图。作业熟习辅助装置100具备输入装置161、输出装置162、外部存储装置163、运算装置164、主存储装置165、通信装置166，各构成要素被总线167连接。

输入装置161是接受来自用户的输入操作的装置，例如是触摸面板、键盘、鼠标、话筒等。输出装置162是进行储存于作业熟习辅助装置100的数据的输出处理的装置，例如是LCD(Liquid Crystal Display)等显示装置或者打印机等。输入部140能够使用输入装置161，输出部150能够使用输出装置162。

外部存储装置163例如是HDD(Hard Disk Drive)等能够写入和读出的存储媒介。运算装置164是CPU等中央运算装置，根据记录于主存储装置165或者外部存储装置163的程序而执行处理。构成控制部110的各处理部通过运算装置164执行程序而实现各个功能。

主存储装置165是RAM(Random Access Memory)等存储装置，作为暂时读出程序、数据的存储区域而发挥功能。通信装置166是用于将作业熟习辅助装置100连接于网络N的装置，例如是NIC(Network Interface Card)等通信器件。

存储部120通过主存储装置165或者外部存储装置163来实现其功能。另外，存储部120也可以通过网络N上的存储装置来实现其功能。

此外，作业熟习辅助装置100的各构成要素的处理可以由一个硬件执行，也可以由多个硬件执行。另外，作业熟习辅助装置100的各构成要素的处理可以由一个程序实现，也可以由多个程序实现。

用户终端装置200具有与作业熟习辅助装置100相同的硬件结构。因此，省略对用户终端装置200的硬件结构的说明。

图3是表示作业实际成绩信息300的数据构造的一个例子的图。作业实际成绩信息300具有：作业实际成绩标识符301、工序名302、作业地点名303、作业人员304、作业着手时期305、作业结束时期306、动画文件307、产品名308、骨格309。

作业实际成绩标识符301是确定作业实际成绩信息300的记录的识别信息。工序名302是表示作业的工序的名称的信息。作业地点名303是表示进行作业的场所的信息。作业人员304是表示进行由作业实际成绩标识符301确定的作业的作业人员的信息。作业着手时期305和作业结束时期306是表示作业人员着手于作业的时刻和作业结束的时刻的信息。作为一个例子，作业着手时期305和作业结束时期306也可以是作业地点内部图像的拍摄开始时刻和拍摄结束时刻。

动画文件307是表示拍摄到由作业实际成绩标识符301确定的作业的作业地点内部图像的储存位置的信息。即，参照动画文件307，由此能够确定执行作业时的作业地点内部的图像。产品名308是确定通过作业生成的产品的信息。

骨格309是表示基于动画文件307生成的骨格信息的记录用文件(例如CSV(Comma-Separated Values)文件)的储存位置的信息。基于记录用文件，生成骨格时间序列信息。此外，图3所示的作业实际成绩信息300是执行后述的骨格时间序列信息生成处理前的信息，因此未生成记录用文件。因此，在骨格309储存有表示不存在数据的“Null”。

图4是表示作业相关信息400的数据构造的一个例子的图。作业相关信息400具有产品名401、工序名402、作业顺序信息标识符403、设计信息名404。产品名401是表示成为作业的对象的产品的信息。

工序名402是表示作业的工序的信息，与图3的作业实际成绩信息300的工序名302对应。此外，产品经由一个或者多个工序而被生成。本实施方式的作业相关信息400例如相对于产品名401与工序名402的组合，唯一地设定作业顺序信息标识符403。该点，工序名402也称为是作业顺序的名称。此外，一个作业工序由一个或者多个作业内容构成。

作业顺序信息标识符403是确定作业顺序信息的识别信息。如图4所示，作业顺序信息标识符403也可以是表示作业顺序信息的储存位置的信息。设计信息名404是确定产品的设计信息的信息。

图5是表示基准外作业模型信息500的数据构造的一个例子的图。基准外作业模型信息500具有标识符501、名称502、上限503、下限504、说明505。标识符501是确定基准外作业模型信息500的记录的识别信息。名称502是表示基准外作业的条件的名称的信息。

上限503是表示与基准外作业相应的情况下的预定的特征量的上限的值。下限504是表示与基准外作业相应的情况下的预定的特征量的下限的值。说明505是用于对基准外作业的条件进行说明的信息。参照说明505，由此能够确定上限503和下限504所含的特征量的种类。

此外，在图5所示的基准外作业模型信息500中，相对于由说明505确定的特征量的种类的上限503和下限504被处理为是基准外作业的条件。换言之，基准外作业模型信息500中的基准外作业的条件不限定于特征量的上限值和下限值。基准外作业模型信息500只要包含使用特征量而能够判定是否是基准外作业的信息即可。以下，为了方便，使用基准外作业模型信息500所含的基准外作业的条件能够与图5所示的基准外作业模型信息500相同地通过上限值和下限值进行确定的例子进行说明。

在图5所示的基准外作业模型信息500的最上位的记录的说明505中，记载了“对帧之间的右手坐标xy的差的绝对值进行帧累积而得的值”。即，该记录能够考虑为表示与“对帧之间的右手坐标xy的差的绝对值进行帧累积而得的值”的种类的特征量有关的基准外作业的条件。在对右手坐标xy的差的绝对值进行帧累积而得的值(特征量)是作为上限503的“10”以下，并且是作为下限504的“0”以上的情况下，被处理为是基准外信息。

另外，在从上数第2个记录的说明505中，记载了“将右手的xy坐标的和除以帧数而得的值”。即，该记录表示与“将右手的xy坐标的和除以帧数而得的值”的种类的特征量有关的基准外作业的条件。如以上那样，参照说明505，能够确定成为基准外作业的判断基准的特征量的种类，但特征量的种类也可以与基准外作业模型信息500不同，作为特征量提取库存储于存储部120。

图6是表示基准外作业提取设定信息600的数据构造的一个例子的图。基准外作业提取设定信息600包含标识符601、名称602、设定值603、说明604。标识符601是确定基准外作业提取设定信息600的记录的识别信息。

名称602是表示后述的设定值603的种类的信息。设定值603是相对于由名称602确定的种类而被设定的值。说明604是用于对被设定的值的性质进行说明的信息。

图7是表示基准外作业输出处理的一个例子的流程图。例如，若作业熟习辅助装置100从用户终端装置200的基准外作业请求部211接受基准外作业的请求，则开始本处理。此外，基准外作业请求部211在向作业熟习辅助装置100请求后述的基准外作业一览画面的显示信息、基准外作业确认画面的显示信息的情况下，被处理为发送基准外作业的请求。

首先，基准外作业提取部112读入作业地点内部图像、作业顺序信息、设计信息、基准外作业模型信息(步骤S101)。具体而言，基准外作业提取部112参照作业实际成绩信息300，确定成为基准外作业输出处理的对象的记录。作为一个例子，基准外作业提取部112参照表示来自用户终端装置200的基准外作业的请求的信息，由此确定成为对象的作业实际成绩信息300的记录。例如，在被请求预定的日期的基准外作业的情况下，基准外作业提取部112提取作业着手时期305与该日期对应的作业实际成绩信息300的记录，针对提取的记录，分别执行以下的处理。

另外，基准外作业提取部112参照确定的记录的动画文件307，由此确定作业地点内部图像，并读入存储部120的作业区域。另外，基准外作业提取部112使用确定的记录的工序名302与产品名308的组合，参照作业相关信息400，来确定包含与该组合对应的工序名402和产品名401的记录。基准外作业提取部112使用确定的作业相关信息400的记录所含的作业顺序信息标识符403，参照作业顺序信息存储部123，将相应的作业顺序信息读入存储部120的作业区域。

另外，基准外作业提取部112使用确定的作业相关信息400的记录所含的设计信息名404，参照设计信息存储部127，将相应的设计信息读入存储部120的作业区域。另外，基准外作业提取部112将基准外作业模型信息500读入存储部120的作业区域。

接下来，骨格时间序列信息获取部111根据作业地点内部图像生成骨格时间序列信息(步骤S102)。

图8是表示骨格时间序列信息生成处理的一个例子的流程图。本图对在图7的步骤S102中进行的处理更加详细地进行说明。

首先，骨格时间序列信息获取部111读入骨格提取用模型(步骤S1021)。具体而言，骨格时间序列信息获取部111为了根据作业地点内部图像推断骨格，而将预先生成的骨格提取用模型读入存储部120的作业区域。此外，骨格时间序列信息获取部111针对图7的步骤S101中读入的作业地点内部图像，执行以下的处理。

接下来，骨格时间序列信息获取部111更新作业实际成绩信息300(步骤S1022)。具体而言，骨格时间序列信息获取部111向与包含读入的作业地点内部图像的作业实际成绩信息300的记录中的骨格309对应的位置，输入表示后述的骨格信息的储存位置的信息，更新作业实际成绩信息300。

接下来，骨格时间序列信息获取部111将作业地点内部图像的总帧数设为M，将表示执行处理的帧编号的变量m形成0(步骤S1023)。

接下来，骨格时间序列信息获取部111输出第m帧的骨格位置(步骤S1024)。具体而言，骨格时间序列信息获取部111将第m帧的作业地点内部图像输入在步骤S1021中读入的骨格提取用模型，获得第m帧的骨格信息。所得的骨格信息作为记录用文件(例如CSV文件)储存于存储部120。此外，储存位置是在步骤S1022中输入作业实际成绩信息300的储存位置。

接下来，骨格时间序列信息获取部111生成第m帧的骨格时间序列信息(步骤S1025)。具体而言，骨格时间序列信息获取部111使用在步骤S1024中输出的骨格信息，生成使第m帧的拍摄时刻与作业人员的骨格的位置相关的骨格时间序列信息。对骨格时间序列信息之后详述。

接下来，骨格时间序列信息获取部111对m加1(步骤S1026)。

接下来，骨格时间序列信息获取部111判定是否是m≥M(步骤S1027)。骨格时间序列信息获取部111在判定为是m≥M的情况下(在步骤S1027中为“是”的情况下)，结束本流程图的处理。之后，处理移至图7的步骤S103。

在骨格时间序列信息获取部111判定为不是m≥M的情况下(在步骤S1027中判定为“否”的情况下)，骨格时间序列信息获取部111使处理移至步骤S1024。即，针对与生成骨格信息和骨格时间序列信息的帧连续的其他的帧，执行步骤S1024以后的处理。

图9是表示骨格时间序列信息700的数据构造的一个例子的图。骨格时间序列信息700具有标识符701、时刻702、骨格位置703。标识符701是确定骨格时间序列信息700的记录的识别信息。时刻702是表示时刻的信息。

此外，如上所述，骨格时间序列信息获取部111根据作业地点内部图像的预定帧生成骨格信息，根据骨格生成信息骨格时间序列信息700，但拍摄到该预定帧的时刻成为时刻702。例如，骨格时间序列信息获取部111在包含确定作业地点内部图像的动画文件307的作业实际成绩信息300的作业着手时期，将每1帧的时间与乘以帧编号而得的值相加，由此计算时刻702。

骨格位置703是表示时刻702的作业人员的骨格的位置的信息。例如如图9所示，骨格位置703是相对于表示头703a、颈703b、右肩703c等的作业人员的关节的信息，相关关节的位置的信息。例如如图9所示，关节的位置由相对于作业地点内部图像的二维坐标表示。此外，骨格位置703例如也可以由三维坐标表示作业地点等的实际空间中的关节位置。只要是能够确定骨格的位置的信息即可。

换言之，图9所示的骨格时间序列信息700包含1名作业人员的骨格位置。然而，例如在多人包含于作业地点内部图像的情况下，也可以相对于各作业人员生成骨格信息和骨格时间序列信息700。

在以上的骨格时间序列信息生成处理中，基于相对于作业地点内部图像的各帧生成的骨格信息，针对每1帧生成骨格时间序列信息700。然而，根据作业地点内部图像生成骨格信息的间隔和根据骨格信息生成骨格时间序列信息700的间隔不限定于此。例如，也可以隔开作业地点内部图像的连续的帧中的预定量的帧而生成骨格信息。另外，例如，也可以隔开连续的多个骨格信息的记录中的预定量的记录而生成骨格时间序列信息700。

另外，骨格时间序列信息700的生成时机不限定于图8所示的例子。例如，也可以在相对于作业地点内部图像的全部帧(或者隔开预定量的帧)生成骨格信息后，生成骨格时间序列信息700。

使说明返回图7。接下来，基准外作业提取部112和图像生成部115使用骨格时间序列信息700与基准外作业模型信息500，进行基准外作业的提取与图像的生成(步骤S103)。

图10是表示基准外作业提取处理的一个例子的流程图。本流程图对在图7的步骤S103中进行的处理更加详细地进行说明。

首先，基准外作业提取部112将在图8所示的步骤S1025中生成的骨格时间序列信息700的总记录数设为N，将表示执行处理的帧编号的变量n设为0(步骤S1031)。

接下来，基准外作业提取部112读入第n～n+h行的骨格时间序列信息700(步骤S1032)。变量h是预先设定的探索帧宽度，基准外作业提取部112参照基准外作业提取设定信息600，由此将名称602为“探索帧宽度”的记录所含的设定值603代入变量h。基准外作业提取部112获取n帧的拍摄时刻与n+h帧的拍摄时刻，确定将n帧的时刻设为始期并将n+h帧设为终期的期间。基准外作业提取部112参照骨格时间序列信息700的时刻702，将与确定的期间对应的记录读入存储部120的作业区域。

接下来，基准外作业提取部112提取与基准外作业模型信息500的种类对应的特征量(步骤S1033)。具体而言，基准外作业提取部112参照基准外作业模型信息500，确定一个提取特征量的记录。例如，以确定图5所示的基准外模型信息的最上位的记录的方式进行说明。在该记录的说明505中，作为特征量的种类，记载了“对帧之间的右手坐标xy的差的绝对值进行帧累积而得的值”。

基准外作业提取部112作为与基准外作业模型信息500的种类对应的特征量，使用在步骤S1032中读入的骨格时间序列信息700，求得“对帧之间的右手坐标xy的差的绝对值进行帧累积而得的”值。基准外作业提取部112针对基准外模型信息具有的各记录，使用骨格时间序列信息700提取特征量。作为其结果，提取基准外作业模型信息500的记录的数量的特征量。

此外，基准外作业提取部112也可以参照与基准外作业模型信息500不同地生成的特征量库，由此确定特征量的种类，来计算对应的特征量。

接下来，基准外作业提取部112将基准外作业模型信息500的总记录数设为P，将表示执行处理的基准外作业模型信息500的记录编号的变量p设为0(步骤S1034)。

接下来，基准外作业提取部112读入基准外作业模型信息500的第p个记录的上限值与下限值(步骤S1035)。具体而言，基准外作业提取部112将基准外作业模型信息500的第p个记录所含的上限503与下限504读入存储部120的作业区域。

接下来，基准外作业提取部112判定是否是上限值≥第p个特征量≥下限值(步骤S1036)。具体而言，基准外作业提取部112从在步骤S1033中提取到的特征量中，确定与基准外作业模型信息500的第p个记录的种类对应的特征量。基准外作业提取部112将在步骤S1035中读入的上限值和下限值与确定出的特征量进行比较，判定第p个特征量是否为上限值以下并且为下限值以上。

在基准外作业提取部112判定为第p个特征量超过上限值或者小于下限值的情况下(在步骤S1036中为“否”的情况下)，基准外作业提取部112使处理移至步骤S1040。

在基准外作业提取部112判定为第p个特征量为上限值以下并且为下限值以上的情况下(在步骤S1036中为“是”的情况下)，该特征量的作业满足基准外作业的条件，因此被处理为该作业是基准外作业。在该情况下，基准外作业提取部112将n的时刻确定为基准外作业产生时刻(步骤S1037)。具体而言，基准外作业提取部112参照骨格时间序列信息700，将第n个记录所含的时刻702确定为基准外作业产生时刻。

接下来，基准外作业提取部112使用工序名、作业人员、分析源动画、以及基准外作业产生时刻，生成基准外作业提取结果信息(步骤S1038)。具体而言，基准外作业提取部112使在图7的步骤S101中确定为基准外作业输出处理的对象的作业实际成绩信息300的记录所含的工序名302、作业地点名303、动画文件307、以及在步骤S1037中确定出的基准外作业产生时刻相关联，生成基准外作业提取结果信息的记录。

图11是表示基准外作业提取结果信息800的数据构造的一个例子的图。基准外作业提取结果信息800具有：标识符801、工序名802、作业名803、作业人员804、分析源动画805、基准外作业产生时刻806、能够缩短的时间807、图像808、骨格信息809、作业顺序信息相应位置810。

标识符801是确定基准外作业提取结果信息800的记录的识别信息。工序名802是表示基准外作业的工序的名称的信息。作业名803是表示基准外作业的作业内容的信息。作业人员804是表示基准外作业的作业人员的信息。分析源动画805是确定提取了基准外作业的作业地点内部图像的信息。

基准外作业产生时刻806是表示基准外作业产生的时刻的信息。能够缩短的时间807是表示在基准外作业中能够缩短的时间的信息。图像808是确定在后述的基准外作业图像生成处理中生成的基准外作业图像的识别信息。骨格信息809是确定基准外作业的骨格信息的识别信息。

作业顺序信息相应位置810是表示记载有基准外作业的作业顺序的作业顺序信息的相应位置的信息。

如上述那样，在图10所示的步骤S1038中，基准外作业提取部112使用工序名、作业人员、分析源动画、基准外作业产生时刻，生成基准外作业提取结果信息800的记录。若使用图11进行说明，则基准外作业提取部112使工序名802、作业人员804、分析源动画805、基准外作业产生时刻806相关联，并标记标识符801，生成基准外作业提取结果信息800的记录。此外，在步骤S1038的结束时刻，在生成的记录的作业名803、能够缩短的时间807、图像808、骨格信息809、作业顺序信息相应位置810不包含具体的信息。

使说明返回图10。接下来，图像生成部115生成基准外作业的图像(步骤S1039)。

图12是表示基准外作业图像生成处理的一个例子的流程图。本图对在图10的步骤S1039中进行的处理更加详细地进行说明。

首先，图像生成部115将n－w的时刻设定为保存开始时刻，将n+h+w的时刻设定为保存结束时刻(步骤S10391)。具体而言，图像生成部115参照基准外作业提取设定信息600，将名称602为“保存的图像的期间”的记录的设定值603设为变量w，从在图10的基准外作业提取处理中当前执行的变量n减去变量w，形成保存开始时刻。

另外，图像生成部115计算对变量n加变量h(探索帧宽度)和变量w而得的值，形成保存结束时刻。将保存开始时刻设为始期，将保存结束时刻设为终期的期间被处理为基准外作业的提取期间。

接下来，图像生成部115形成总帧数N＝(保存结束时刻－保存开始时刻)×fps1，使用从保存开始时刻至保存结束时刻的作业地点内部图像生成基准外作业的图像(步骤S10392)。具体而言，图像生成部115参照基准外作业提取设定信息600，将名称602与“保存FPS”相关的设定值603代入变量fps1。图像生成部115对在步骤S10391中获得的从保存结束时刻减去保存开始时刻而得的值乘以变量fps1，由此获得总帧数N。

图像生成部115使用构成作业地点内部图像的帧图像，生成将保存开始时刻设为始期并将保存结束时刻设为终期的图像，即以变量fps1的帧间隔拍摄到的图像。将生成的图像设为基准外作业图像。此外，基准外作业图像的总帧数为N。图像生成部115将确定生成的基准外作业图像的信息(也可以是表示基准外作业图像的保存位置的信息)，记入在上述的图10的步骤S1038中生成的基准外作业提取结果信息800的记录的图像808。

接下来，图像生成部115生成从保存开始时刻至保存结束时刻的骨格信息，记入基准外作业提取结果信息800(步骤S10393)。具体而言，图像生成部115参照在图7的步骤S101中确定出的作业实际成绩信息300的记录所含的骨格309，确定在步骤S101中读入的作业地点内部图像的骨格信息。图像生成部115参照与骨格信息所含的时刻有关的信息，由此生成提取期间的骨格信息。

图像生成部115将确定生成的骨格信息的信息(也可以是表示骨格信息的保存位置的信息)，记入在上述的图10的步骤S1038中生成的基准外作业提取结果信息800的记录的骨格信息809。之后，图像生成部115结束本流程图的处理。基准外作业提取部112将处理移至图10的步骤S1040。

使说明返回图10。接下来，基准外作业提取部112对p加1(步骤S1040)。

接下来，基准外作业提取部112判定是否是P≥p(步骤S1041)。在基准外作业提取部112没有判定为是P≥p的情况下(在步骤S1041中为“否”的情况下)，基准外作业提取部112使处理移至步骤S1035。即，针对与作为从步骤S1035至步骤S1039的处理的对象的基准外作业模型信息500的记录连续地被记录的其他的记录，执行基准外作业的提取处理。

在基准外作业提取部112判定为是P≥p的情况下(在步骤S1041中为“是”的情况下)，基准外作业提取部112对n加fps1(步骤S1042)。此外，如上所述，fps1是在基准外作业提取设定信息600中，与名称602的“保存FPS”相关的设定值603。

接下来，基准外作业提取部112判定是否是N≥n(步骤S1043)。在基准外作业提取部112判定为不是N≥n的情况下(在步骤S1043中为“否”的情况下)，基准外作业提取部112使处理移至步骤S1032。

在基准外作业提取部112判定为是N≥n的情况下(在步骤S1043中为“是”的情况下)，基准外作业提取部112结束本流程图的处理，使处理移至图7的步骤S105。

通过本实施方式，提取在步骤S101中被确定的作业地点内部图像所含的一个或者多个基准外作业，针对各个基准外作业，生成基准外作业图像和骨格信息。另外，基准外作业提取部112判定骨格时间序列信息700是否满足基准外作业模型信息500所含的基准外作业的条件，由此决定基准外作业的提取期间。

此外，基准外作业模型信息500也可以包含表示使作业停止的条件。例如，缩窄成为“对右手坐标xy的差的绝对值进行帧累积而得的值的”种类的特征量的条件的数值范围，由此能够形成作业停止的条件。基准外作业提取部112判定为与该条件相应，由此能够将使作业停止的状况提取为基准外作业。

使说明返回图7。接下来，部件确定部113和作业内容确定部114根据基准外作业图像，检测作业人员保持的部件和设置位置，确定基准外作业的作业内容(步骤S105)。

图13是表示部件确定处理的一个例子的流程图。本图是用于对图7的步骤S105的处理更加详细地进行说明的图。

首先，部件确定部113设为Q＝基准外作业图像总数，设定为q＝0(步骤S1051)。具体而言，部件确定部113将在图10所示的步骤S1039中生成的一个或者多个基准外图像的总数设为Q，将表示执行部件确定处理的基准外作业图像的编号的变量q设定为0。

接下来，部件确定部113读入第q个基准外作业图像与骨格时间序列信息700(步骤S1052)。具体而言，部件确定部113将第q个基准外作业图像与和该基准外作业图像对应的骨格信息读入存储部120的作业区域。此外，部件确定部113也可以代替骨格信息，读入与基准外作业图像对应的骨格时间序列信息700。

接下来，部件确定部113设定为r＝0(步骤S1053)。此外，r是在基准外作业图像中表示执行作业的帧编号的变量。部件确定部113将变量r设定为0。

接下来，部件确定部113判定r～r+h处的右手或者左手是否从准备区域向作业区域移动(步骤S1054)。此外，如上所述，变量h是在基准外作业提取设定信息600中，与名称602的“探索帧宽度”相关的设定值603。部件确定部113确定构成基准外作业图像的帧中的、与第r个帧对应的时刻和与第r+h个帧对应的时刻。部件确定部113参照骨格信息，提取将r的时刻设为始期并将r+h的时刻设为终期的期间内的右手和左手的关节的位置。

图14是用于对作业区域和准备区域进行说明的图。图14A是作业区域和准备区域的示意图。图14B是确定作业区域的信息的一个例子。图14C是确定准备区域的信息的一个例子。确定作业区域的信息和确定准备区域的信息储存于存储部120的区域信息存储部129。

图14A是作业地点内部图像的一个例子，除了作业人员之外，显示2个作业台。作业人员在显示于图14A所示的准备区域的作业台进行作业的准备，在显示于作业区域的作业台进行作业。准备区域通常显示部件。作业区域通常显示产品或部件或者其双方。

图14B是确定作业地点内部图像中的作业区域的信息。在作业地点内部图像中的与作业区域对应的位置记载了“1”。在除此以外的位置记载了“0”。部件确定部113在右手或者左手的骨格位置位于“1”的位置的情况下，判定为右手或者左手处于作业区域。

图14C是确定作业地点内部图像中的准备区域的信息。在作业地点内部图像中的与准备区域对应的位置记载了“1”。在除此以外的位置记载了“0”。部件确定部113在右手或者左手的骨格位置位于“1”的位置的情况下，判定为右手或者左手处于准备区域。

即，在图13的步骤S1054中，部件确定部113参照区域信息存储部129，判定在r～r+h的时间内，右手或者左手的骨格位置是否从准备区域向作业区域移动。

此外，确定图14B所示的作业区域的信息和确定图14C所示的准备区域的信息，通过确定相对于作业地点内部图像的二维平面上的位置而被生成。但是，确定作业区域的信息和确定准备区域的信息不限定于二维的信息。例如，也可以是表示作业地点内部等的实际空间中的三维上的空间位置的信息。

另外，部件确定部113将右手或者左手的关节作为使用于部件确定处理的判定基准的基准位置进行处理。然而，基准位置不限定于右手或者左手的关节，只要是作业人员的身体的至少一部分即可。

部件确定部113在判定为右手或者左手的骨格位置未从准备区域向作业区域移动的情况下(在步骤S1054在为“否”的情况下)，部件确定部113形成r＝r+fps2(步骤S1055)。具体而言，部件确定部113参照基准外作业提取设定信息600，将名称602与“处理FPS”相关的设定值603设为“fps2”。部件确定部113对处理时刻的r加fps2而形成新的r，使处理返回步骤S1054。

部件确定部113在判定为右手或者左手的骨格位置从准备区域向作业区域移动的情况下(在步骤S1054中为“是”的情况下)，部件确定部113将r设定于部件安装帧PAF(步骤S1056)。部件安装帧PAF储存于存储部120的作业区域。此外，设定于PAF的第r个帧的时机被处理为基准时机。

接下来，部件确定部113提取r～r+h的双手附近的图像(步骤S1057)。具体而言，部件确定部113参照在步骤S1054中提取的、r～r+h中的右手和左手的关节的位置，在步骤S1052中读入的基准外作业图像中，提取与r～r+h的右手和左手的关节的位置对应的图像。

此外，此时，部件确定部113在基准外作业提取设定信息600中，确定与名称602的“提取范围”对应的设定值603。部件确定部113作为双手附近的图像提取基准外作业图像中的与r～r+h对应的图像，即以右手和左手的关节的位置为中心，位于“提取范围”的设定值的范围内的图像。将提取到的图像设为“#1”。

此外，提取到的图像可以是右手的位置的动画与左手的位置的动画这两个图像，也可以是在r～r+h处右手和左手位于附近的情况下与右手和左手的位置对应的一个动画。另外，也可以是包含右手的位置的静止图像的不同的时间序列的图像组与左手的位置的不同的时间序列的图像组的图像的集合。

接下来，部件确定部113判定构成r～r+h处的骨格的全部的关节是否从作业区域分离(步骤S1058)。具体而言，部件确定部113参照在步骤S1052中读入的骨格信息，提取r～r+h中的作业人员的骨格位置，判定全部的骨格位置是否不位于作业区域内。此外，部件确定部113也可以代替以作业人员的全部的骨格为对象，而判定骨格中的基准位置的位置是否不位于作业区域内。在成为判定对象的骨格位置的任一个位于作业区域内的情况下，部件确定部113判定为全部的关节不从作业区域分离(在步骤S1058中为“否”)。

在部件确定部113判定为全部的关节不从作业区域分离的情况下(在步骤S1058中为“否”的情况下)，部件确定部113对r加fps2(步骤S1059)。之后，部件确定部113使处理移至步骤S1058。即，在步骤S1058中，在将与对r加fps2而得的值对应的时刻设为始期，将与对该r加h而得的值对应的时刻设为终期的期间内，判定作业人员的骨格是否从作业区域分离。其结果是，在比基准时机靠后的时期内，作业人员的骨格向作业区域外移动的时机被获取为新的r。

在部件确定部113判定为全部的关节从作业区域分离的情况下(在步骤S1058中为“是”的情况下)，部件确定部113获取作业区域与准备区域的图像作为部件安装后的图像(步骤S1060)。具体而言，部件确定部113在将在步骤S1052中读入的基准外作业图像中的与r对应的时刻设为始期并将与对r加h而得的值对应的时刻设为终期的期间内，获取与作业区域对应的部分的图像和与准备区域对应的图像。获取的图像作为部件安装后的图像，存储于存储部120的作业区域。

即，在比基准时机靠后的时期，获取作业人员的骨格向作业区域外移动的时机内的作业地点内部图像。

此外，部件确定部113使与r对应的时刻作为基准外作业结束时刻，并将其存储于存储部120的未图示的区域。

接下来，部件确定部113将r设定为PAF的值(步骤S1061)。具体而言，部件确定部113相对于变量r而代入在步骤S1056中设定的PAF的值。

接下来，部件确定部113从r减去fps2(步骤S1062)。

在步骤S1063中进行的处理与在步骤S1058中进行的处理相同，因此省略说明。此外，成为判定的基准的r是在步骤S1062中减去了fps2而得的值。

在部件确定部113判定为形成r～r+h处的骨格的任一个关节位于作业区域内的情况下(在步骤S1063中为“否”的情况下)，部件确定部113使处理返回步骤S1062。

在部件确定部113判定为形成r～r+h处的骨格的全部的关节从作业区域分离的情况下(在步骤S1063中为“是”的情况下)，部件确定部113作为部件安装前的图像，获取作业区域与准备区域的图像(步骤S1064)。具体而言，部件确定部113在将在步骤S1052中读入的基准外作业图像中的与r对应的时刻设为始期并将与对该r加h而得的值对应的时刻设为终期的期间内，获取与作业区域对应的部分的图像和与准备区域对应的图像。获取的图像作为部件安装前的图像，存储于存储部120的作业区域。

即，在比基准时机靠前的时期，获取作业人员的骨格不位于作业区域的时机内的作业地点内部图像。

此外，部件确定部113将与r+h对应的时刻作为基准外作业开始时刻，并将其存储于存储部120的未图示的区域。

接下来，部件确定部113在作业区域，检测部件安装前的图像与部件安装后的图像的差分较大的区域(步骤S1065)。具体而言，部件确定部113将在步骤S1060中获取的部件安装后的作业区域的图像与在步骤S1064中获取的部件安装前的作业区域的图像进行比较，检测在作业区域中差分也较大的区域。此外，为了将图像进行比较而确定差分较大的区域，使用公知的技术，因此省略对详细的处理内容的说明。

接下来，部件确定部113提取检测出的区域的安装后的图像(步骤S1066)。具体而言，部件确定部113提取在步骤S1060中获取的部件安装后的图像中的在步骤S1065中检测出的区域的图像。此外，将提取到的图像作为“#2”进行说明。提取到的图像可以是一个或者多个动画，也可以是静止图像的图像组，也可以是一个静止图像。

接下来，部件确定部113在准备区域，检测部件安装前的图像与部件安装后的图像的差分较大的区域(步骤S1067)。具体而言，部件确定部113将在步骤S1060中获取的部件安装后的准备区域的图像与在步骤S1064中获取的部件安装前的准备区域的图像进行比较，检测在作业区域中差分也较大的区域。检测到的区域被处理为部件安装位置。

接下来，部件确定部113提取检测出的区域的安装前的图像(步骤S1068)。具体而言，部件确定部113提取在步骤S1064中获取的部件安装前的图像中的在步骤S1067中检测出的区域的图像。此外，将提取到的图像作为“#3”进行说明。提取到的图像可以是一个或者多个动画，也可以是静止图像的图像组，也可以是一个静止图像，这点与部件安装后的图像(“#2”)相同。

接下来，部件确定部113确定照相机设定信息(步骤S1069)。部件确定部113参照作业地点内部图像存储部126确定拍摄到在骤S101中读入的作业地点内部图像的照相机的照相机设定信息。

接下来，部件确定部113使3D数据上的假想照相机与确定出的照相机设定信息对应(步骤S1070)。具体而言，部件确定部113参照在步骤S101中读入作业区域的设计信息。部件确定部113使拍摄显示产品的设计信息的假想区域的假想的照相机设定与在步骤S1069中确定出的照相机设定信息对应。其结果是，在拍摄到设计信息的假想区域的图像中，在与作为部件的安装位置的作业区域对应的区域内，显示成为作业对象的部件。

接下来，部件确定部113将与部件安装位置对应的位置的部件提取为对象候补部件(步骤S1071)。具体而言，部件确定部113将显示于写入在步骤S1070中设定的照相机的假想空间的图像中的在步骤S1065中检测出的区域，即显示于被检测为部件安装位置的区域的一个或者多个部件，提取为对象候补部件。

接下来，部件确定部113使用假想照相机，获取对象候补部件的各个图像(步骤S1072)。具体而言，部件确定部113针对在步骤S1071中提取的一个或者多个对象候补部件的每一个，使用在步骤S1070中设定的假想照相机获取图像。将获取的一个或者多个图像设为“#4”。

接下来，部件确定部113计算“#1”的图像、“#2”的图像、“#3”的图像、“#4”的图像的相似性(步骤S1073)。此外，“#1”的图像、“#2”的图像、“#3”的图像考虑为拍摄作业地点内部图像所含的部件而得，“#4”的图像考虑为拍摄设计信息所含的部件而得。部件确定部113针对在步骤S1072中获取的“#4”的图像的每一个，计算相对于“#1”的图像、“#2”的图像、“#3”的图像的组合的相似性。

此外，针对图像的相似性的计算方法，使用公知的方法，因此省略说明。此外，针对相似性的计算所使用“#1”的图像、“#2”的图像、“#3”的图像、“#4”的图像均可以是动画，也可以是静止图像。

其结果是，计算与在步骤S1072中获取的“#4”的图像的数量相同的数量的相似性。

此外，针对“#1”的图像、“#2”的图像、“#3”的图像，可以从相同的提取期间的作业地点内部图像获取，也可以从不同的提取期间的作业地点内部图像获取。

图15是表示存储于存储部120的作业区域的一部分的信息的数据构造的一个例子的图。图15A是包含计算出的相似性的相似性信息900的数据构造的一个例子。图15B是作业顺序参照信息1000的数据构造的一个例子。对图15B进行后述。

相似性信息900具有标识符901、部件名902、相似性903。标识符901是确定相似性信息900的记录的识别信息。部件名902是表示对象候补部件的部件名的信息。相似性903是针对部件名902的部件计算出的相似性。

部件确定部113将针对提取的对象候补部件的每一个计算出的相似性记入相似性903。

使说明返回图13。接下来，部件确定部113确定相似性最高的对象候补部件的部件名(步骤S1074)。具体而言，部件确定部113确定计算在步骤S1073中计算出的相似性中的最高的相似性的“#4”的图像。部件确定部113参照设计信息，由此确定成为确定的“#4”的图像的拍摄对象的部件的部件名。即，部件确定部113计算作业地点内部图像所含的部件与设计信息所含的部件的相似性，由此确定在基准外作业中使用的部件。

接下来，作业内容确定部114使用部件名参照作业顺序信息，确定相应位置与作业内容(步骤S1075)。具体而言，作业内容确定部114使用在步骤S1074中确定的部件名的字符串，检索在步骤S101中读入作业区域的作业顺序信息。作业内容确定部114将与部件名最相关的记载位置和记载于该记载位置的作业内容，获取为相应位置与作业内容的检索结果。

此外，作业内容确定部114也可以使用使部件名与作业顺序信息的显示对象位置相关的作业顺序参照信息1000，确定显示对象位置。

使用图15B进行说明。作业顺序参照信息1000具有标识符1001、部件名1002、页码1003。标识符1001是确定作业顺序信息的记录的识别信息。部件名1002是成为作业的对象的部件的名称。页码1003是表示由部件名1002确定的部件为基准外作业的对象的情况下的作业顺序信息的参照位置的信息。

作业内容确定部114参照作业顺序参照信息1000，确定与在步骤S1074中确定的部件名相关的页码1003，由此确定显示对象位置。

接下来，作业内容确定部114使用表示相应位置与作业内容的信息，更新基准外作业检测结果信息(步骤S1076)。具体而言，作业内容确定部114参照基准外作业提取结果信息800，确定在图像808包含执行当前处理的第q个基准外作业图像的记录。作业内容确定部114在确定出的记录的作业名803记入表示在步骤S1075中获取的作业内容的信息，在该记录的作业顺序信息相应位置810记入表示在该步骤中获取的相应位置的信息。

接下来，部件确定部113对变量q加1(步骤S1077)。

接下来，部件确定部113判定是否是q＞Q(步骤S1078)。在部件确定部113判定为不是q＞Q的情况下(在步骤S1078中为“否”的情况下)，部件确定部113使处理返回步骤S1052。即，针对与进行从步骤S1052至步骤S1076的处理的基准外作业图像连续地被记录的其他的基准外作业图像，执行步骤S1052以后的处理。

在部件确定部113判定为是q＞Q的情况下(在步骤S1078中为“是”的情况下)，部件确定部113使本流程图的处理结束，使处理移至图7所示的步骤S108。

使说明返回图7。接下来，基准外作业提取部112计算能够缩短的时间(步骤S108)。具体而言，基准外作业提取部112在作业地点内部图像中，将以基准外作业开始时刻为始期并以基准外作业结束时刻为终期的期间计算为能够缩短的时间。

基准外作业提取部112确定基准外作业提取结果信息800的记录，在生成该记录时，使用在图13所示的部件确定处理的步骤S1064中存储于存储部120的基准外作业开始时刻与在步骤S1060中存储的基准外作业结束时刻，计算能够缩短的时间。基准外作业提取部112在确定的基准外作业提取结果信息800的记录的能够缩短的时间807记入计算出的能够缩短的时间。基准外作业提取部112针对基准外作业提取结果信息800的记录的每一个，计算能够缩短的时间，更新基准外作业提取结果信息800。

此外，如上所述，基准外作业提取部使用作业地点内部图像，通过预定方法获取能够缩短的时间。在本实施方式中，将从判定为开始了作业地点内部图像中的基准外作业的时刻至判定为结束了基准外作业的时刻的时间获取为能够缩短的时间。然而，用于提取为能够缩短的时间的方法不限定于此。例如，也可以预先设定相对于作业内容的标准的作业时间，减去基准外作业地点需的时间，由此获取能够缩短的时间。

接下来，显示信息生成部116生成根据请求的画面的显示信息，并发送给用户终端装置200(步骤S109)。之后，控制部110结束本流程图的处理。此外，作为相对于基准外作业请求部211的请求的响应接收了显示信息的用户终端装置200的输出部230使用接收到的显示信息，输出画面。

例如，在作业熟习辅助装置100从用户终端装置200接受基准外作业一览画面的请求的情况下，作业熟习辅助装置100的显示信息生成部116生成基准外作业一览画面的显示信息，并发送给用户终端装置200。

图16是表示基准外作业一览画面2100的一个例子的图。基准外作业一览画面2100具有基准外作业一览显示区域2110与确认按钮2120。此外，在本实施方式中，在用户终端装置200的画面显示有基准外作业一览标签2000A、图像标签2000B、作业顺序信息标签2000C。若选择基准外作业一览标签2000A，则显示基准外作业一览画面2100。

基准外作业一览显示区域2110是显示某作业人员进行的基准外作业的一览的区域。确认按钮2120是在作业人员确认基准外作业一览画面2100的显示内容的情况下接受输入的按钮。

此外，在本实施方式中，用户向用户终端装置200输入登录信息，在认证了用户的情况下，作业熟习辅助装置100发送基准外作业一览画面2100的显示信息。此时，显示信息生成部116使用登录信息并参照基准外作业提取结果信息800，使用在作业人员804具有被认证的用户的记录所含的信息，生成基准外作业一览画面2100的显示信息。

基准外作业一览显示区域2110具有工序名2111、对象作业2112、作业人员2113、产生时2114、能够缩短的时间2115。工序名2111是表示被认证的作业人员进行的作业的工序的信息，与基准外作业提取结果信息800的工序名802对应。对象作业2112是表示作业内容的信息，与基准外作业提取结果信息800的作业名803对应。

作业人员2113是表示基准外作业的作业人员的信息，与基准外作业提取结果信息800的作业人员804对应。此外，在作业人员2113包含有被认证的作业人员。产生时2114是表示基准外作业的产生时刻的信息，与基准外作业提取结果信息800的基准外作业产生时刻806对应。能够缩短的时间2115是表示在没有基准外作业的情况下被缩短的时间的信息，与基准外作业提取结果信息800的能够缩短的时间807对应。

在选择确认按钮2120的情况下，基准外作业提取部112从基准外作业提取结果信息800提取与显示于基准外作业一览显示区域2110的基准外作业对应的记录。在存储部120的未图示的区域存储有针对基准外作业提取结果信息800的每个记录而记录确认次数的确认次数信息。此外，确认次数与确认按钮2120的输入次数相同意思。基准外作业提取部112参照与提取的记录对应的确认次数信息，使确认次数递增。

选择显示于基准外作业一览显示区域2110的基准外作业的一个，在选择图像标签2000B的情况下，显示画面向基准外作业图像显示画面迁移。

图17是表示基准外作业图像显示画面2200的一个例子的图。基准外作业图像显示画面2200具有基准外作业图像显示区域2210、再生按钮2211、停止按钮2212、再生位置2213、确认按钮2220。基准外作业图像显示区域2210是显示基准外作业图像的区域。显示信息生成部116参照基准外作业提取结果信息800的图像808，确定针对在基准外作业一览显示区域2110中被选择的基准外作业而生成的基准外作业图像，显示于基准外作业图像显示区域2210。

再生按钮2211是接受基准外作业图像的再生开始指示的输入操作的按钮。停止按钮2212是接受基准外作业图像的再生结束指示的输入操作的按钮。再生位置2213显示基准外作业图像的再生状况。确认按钮2220是在作业人员确认基准外作业图像显示画面2200的显示内容的情况下接受输入的按钮。

在选择确认按钮2220的情况下，基准外作业提取部112参照与显示于基准外作业图像显示区域2210的基准外作业对应的确认次数信息，使确认次数递增。

此外，选择显示于图16的基准外作业一览显示区域2110的基准外作业的一个，在选择作业顺序信息标签2000C的情况下，显示画面向作业顺序信息显示画面迁移。

图18是表示作业顺序信息显示画面2300的一个例子的图。作业顺序信息显示画面2300具有作业顺序信息显示区域2310和确认按钮2320。作业顺序信息显示区域2310是显示与在基准外作业一览显示区域2110被选择的基准外作业有关的作业顺序信息的区域。确认按钮2320是在作业人员确认作业顺序信息显示画面2300的显示内容的情况下接受输入的按钮。

显示信息生成部参照基准外作业提取结果信息800，使用被选择的基准外作业的记录所含的作业顺序信息相应位置810，确定作业顺序信息的相应位置，并将其显示于作业顺序信息显示区域2310。

此外，在选择确认按钮2320的情况下，基准外作业提取部112参照与在作业顺序信息显示区域2310显示作业顺序信息的基准外作业对应的确认次数信息，使确认次数递增。

此外，在作业顺序信息显示区域2310可以以动画显示作业顺序，也可以以静止图像显示作业顺序。另外，如图18所示，在作业顺序信息显示区域2310也可以以字符串显示作业顺序信息所含的信息。

参照基准外作业一览画面2100，由此进行基准外作业的作业人员能够作为一览识别自己进行的基准外作业的总量。另外，参照基准外作业图像显示画面2200，由此能够掌握基准外作业的状况。另外，参照基准外作业的作业顺序信息，由此能够识别改善方法。由此，能够促进作业人员的作业熟习。

另外，在图7的基准外作业输出处理的开始时，在作业熟习辅助装置100从用户终端装置200接受了基准外作业确认画面的请求的情况下，作业熟习辅助装置100的显示信息生成部116生成基准外作业确认画面的显示信息，并发送给用户终端装置200。

图19是表示基准外作业确认画面2400的一个例子的图。基准外作业确认画面2400具有显示条件设定区域2410、作业名显示区域2420、产生时间推移显示区域2430、作业人员对应显示区域2440。

显示条件设定区域2410是接受用于显示基准外作业确认画面2400的显示条件的输入的区域。显示条件设定区域2410例如具有开始时间设定区域、结束时间设定区域、工序名设定区域、作业人员数量显示区域、平均能够缩短的时间显示区域。

开始时间设定区域是接受提取显示于基准外作业确认画面2400的基准外作业的期间的始期的输入的区域。结束时间设定区域是接受提取显示于基准外作业确认画面2400的基准外作业的期间的终期的输入的区域。工序名设定区域是接受显示的基准外作业的工序名的输入的区域。作业熟习辅助装置100的显示信息生成部116使用基准外作业提取结果信息800提取在基于输入开始时间设定区域与结束时间设定区域的信息而决定的期间内被执行的基准外作业，即针对输入工序名设定区域的工序进行的基准外作业。

作业人员数量显示区域是显示显示于基准外作业确认画面2400的基准外作业的作业人员数量的累计的区域。平均能够缩短的时间显示区域是针对显示于基准外作业确认画面2400的基准外作业，显示每一个作业的能够缩短的时间的平均值的区域。

作业名显示区域2420是针对与向显示条件设定区域2410输入的输入内容对应的基准外作业的每个作业内容，显示平均基准外作业时间与累积基准外作业时间的区域。为了生成作业名显示区域2420的显示信息，显示信息生成部116与提取到的基准外作业相关，将相同的作业内容的基准外作业的能够缩短的时间进行合计，由此获得累积基准外作业时间。

另外，显示信息生成部116将累积基准外作业时间除以基准外作业的数量，由此获得平均基准外作业时间。此外，显示信息生成部116参照基准外作业提取结果信息800的能够缩短的时间807，由此能够确定提取到的基准外作业的能够缩短的时间。此外，在作业名显示区域2420以能够选择的方式显示作业名(作业内容)。

产生时间推移显示区域2430是显示在作业名显示区域2420被选择的作业内容中的基准外作业的能够缩短的时间的推移的区域。显示信息生成部116针对被选择的作业内容，就预先设定的每个期间，将能够缩短的时间进行合计，由此获得能够缩短的时间的推移。

作业人员对应显示区域2440是针对进行在作业名显示区域2420被选择的作业内容的基准外作业的每个作业人员，显示平均基准外作业时间、累积基准外作业时间、确认次数的区域。显示信息生成部116针对具有参照基准外作业提取结果信息800被选择的作业内容的作业名803的记录，就每个作业人员804，将能够缩短的时间进行合计，获得累积基准外作业时间。另外，显示信息生成部116将累积基准外作业时间除以对能够缩短的时间进行了合计的基准外作业提取结果信息800的记录数量，由此获得相对于作业人员的平均基准外作业时间。

另外，显示信息生成部116参照与基准外作业提取结果信息800的记录中的具有被选择的作业内容的作业名803的记录对应的确认次数信息，由此确定作业人员相对于作业内容进行的确认次数。显示信息生成部116将确定出的确认次数与作业人员关联地显示于作业人员对应显示区域2440。

此外，作业名显示区域2420与产生时间推移显示区域2430是针对每个作业内容显示与能够缩短的时间相关的信息的区域。因此，在针对不同的作业人员提取相同的作业内容的基准外作业的情况下，对能够缩短的时间进行合计。确认作业名显示区域2420，由此能够识别容易产生基准外作业的作业内容。

另外，参照产生时间推移显示区域2430，由此能够确认基准外作业的产生状况的时期带来的不同。另外，参照作业人员对应显示区域2440，由此能够相对于某作业，掌握熟习程度较低(或者较高)的作业人员，并且参照平均基准外作业时间、累积基准外作业时间，由此能够识别作业人员的熟习程度。

此外，在作业人员对应显示区域2440以能够选择的方式显示作业人员。在作业人员对应显示区域2440中，在选择某作业人员的情况下，显示画面向作业人员信息显示画面推移。

图20是表示作业人员信息显示画面2500的一个例子的图。作业人员信息显示画面2500具有作业人员名显示区域2510、作业人员产生时间推移显示区域2520、作业人员基准外作业一览显示区域2530。作业人员名显示区域2510显示在基准外作业确认画面2400的作业人员对应显示区域2440被选择的作业人员的姓名。

作业人员产生时间推移显示区域2520是显示作业人员的基准外时间的产生时间的推移的区域。显示信息生成部116针对显示于作业人员对应显示区域2440的作业人员进行的基准外作业中的、在基准外作业确认画面2400的作业名显示区域2420被选择的作业内容，就预先设定的每个期间，将能够缩短的时间进行合计，由此获得显示于作业人员产生时间推移显示区域2520的能够缩短的时间的推移。

作业人员基准外作业一览显示区域2530是显示显示于作业人员名显示区域2510的作业人员进行的基准外作业的一览的区域。作为一个例子，在作业人员基准外作业一览显示区域2530显示基准外作业的产生时刻、能够缩短的时间、确认次数。显示信息生成部116确定与作业人员进行的基准外作业中的、在基准外作业确认画面2400的作业名显示区域2420被选择的作业内容有关的基准外作业提取结果信息800的记录，在作业人员基准外作业一览显示区域2530显示该记录所含的基准外作业产生时刻806与能够缩短的时间807。另外，显示信息生成部116参照确认次数信息，与作业内容相关地使确认次数显示于作业人员基准外作业一览显示区域2530。

以上，参照作业人员信息显示区域，由此能够获得作业人员进行的基准外作业的详细的信息。另外，若参照确认次数，则作业人员能够参照基准外作业一览画面2100、基准外作业图像或者作业顺序信息，识别是否获得熟习的机会。

此外，作业熟习辅助装置100能够监视确认次数信息，相对于确认次数在基准外作业的产生后恒定期间内为预定次数以下的作业人员，通过邮件等促使确认。由此，作业熟习装置能够高效地促进作业人员的熟习。

以上，根据本实施方式，能够高效地提取熟习所需的作业人员、作业内容。另外，向作业人员适当地提供基准外作业的状况、改善方法，并且管理者能够掌握作业人员的熟习程度、改善方法的确认状况，从而能够高效且适当地促使作业人员的熟习。

以上，对本发明的各实施方式和变形例进行了说明，但本发明不限定于上述的实施方式的一个例子，包含有各种变形例。例如，上述的实施方式的一个例子为了使本发明易懂而详细地进行了说明，本发明不限定于具备这里说明的全部的结构。另外，能够将某实施方式的一个例子的结构的一部分置换为其他的一个例子的结构。另外，也能够在某实施方式的一个例子的结构中添加其他的一个例子的结构。另外，针对各实施方式的一个例子的结构的一部分，也能够进行其他的结构的追加·删除·置换。另外，上述的各结构、功能、处理部、处理手段等例如也可以通过在集成电路设计它们的一部分或者全部等，而通过硬件实现。另外，图中的控制线、信息线考虑为在说明上是必要的，不限定示出全部。也可以考虑为几乎全部的结构被相互连接。

另外，为了容易理解，上述的作业熟习辅助装置100和用户终端装置200的功能构成根据主要的处理内容进行了分类。本申请发明不被构成要素的分类的方法、名称限制。如上所示，作业熟习辅助装置100和用户终端装置200也能够根据处理内容，分类为更多的构成要素。另外，也能够分类为一个构成要素执行更多的处理。

Claims (9)

1.一种作业熟习辅助装置，其特征在于，

所述作业熟习辅助装置具备：

存储部，其存储包含基准外作业的条件的基准外作业模型信息、包含表示作业内容的信息和表示作业所使用的部件的信息的作业顺序信息、以及拍摄到作业地点内部的作业地点内部图像；

骨格时间序列信息获取部，其从所述作业地点内部图像获取一个或者多个作业人员的骨格时间序列信息；

基准外作业提取部，其判定所述骨格时间序列信息是否符合所述条件；

部件确定部，其针对判定为符合所述条件的基准外作业，使用所述作业地点内部图像来确定作业对象的所述部件；以及

作业内容确定部，其使用所述部件确定部所确定的所述部件，参照所述作业顺序信息，来确定基准外作业的所述作业内容，

所述基准外作业提取部使用所述作业地点内部图像并通过预定的方法获取能够缩短的时间，并且计算在相对于相同的所述基准外作业的作业内容获取多个所述能够缩短的时间的情况下将该能够缩短的时间进行累积的累积能够缩短的时间。

2.根据权利要求1所述的作业熟习辅助装置，其特征在于，

所述存储部存储多个所述部件的设计信息，

所述部件确定部计算所述作业地点内部图像所含的所述部件与所述设计信息所含的所述部件的相似性，由此确定在所述基准外作业中使用的所述部件。

3.根据权利要求1所述的作业熟习辅助装置，其特征在于，

所述作业熟习辅助装置具备显示信息生成部，该显示信息生成部生成基准外作业一览画面的显示信息，该基准外作业一览画面显示由所述作业内容确定部确定的所述基准外作业的作业内容的一览。

4.根据权利要求3所述的作业熟习辅助装置，其特征在于，

所述作业熟习辅助装置具备图像生成部，该图像生成部使用所述作业地点内部图像来生成拍摄到所述基准外作业的基准外作业图像，

所述显示信息生成部显示在所述基准外作业一览画面被选择的所述基准外作业的所述基准外作业图像以及与所述基准外作业对应的所述作业顺序信息中的至少一方。

5.根据权利要求4所述的作业熟习辅助装置，其特征在于，

所述显示信息生成部相对于所述基准外作业图像的显示画面或者所述作业顺序信息的显示画面而显示确认按钮，并且生成包含所述确认按钮的输入次数的基准外作业确认画面的显示信息。

6.根据权利要求1所述的作业熟习辅助装置，其特征在于，

所述基准外作业模型信息包含表示使作业停止的所述条件，

所述基准外作业提取部判定是否符合所述条件，由此将使作业停止的状况提取为所述基准外作业。

7.根据权利要求1所述的作业熟习辅助装置，其特征在于，

所述存储部存储确定作业区域的作业区域信息与确定准备区域的准备区域信息，

所述部件确定部使用在所述作业地点内部图像中显示于所述作业区域的信息和显示于所述准备区域的信息来确定所述部件。

8.根据权利要求7所述的作业熟习辅助装置，其特征在于，

所述部件确定部参照所述骨格时间序列信息，使用作为所述作业人员的身体的至少一部分的基准位置从所述准备区域向所述作业区域移动的基准时机内的所述作业地点内部图像、比所述基准时机靠前的时期内的所述作业人员的身体中的至少所述基准位置不位于所述作业区域的时机内的所述作业地点内部图像、以及在比所述基准时机靠后的时期内的所述作业人员的身体中的至少所述基准位置向所述作业区域外移动的时机内的所述作业地点内部图像，来确定所述部件。

9.一种作业熟习辅助系统，该作业熟习辅助系统具备连接为能够通信的作业熟习辅助装置与用户终端装置，

其特征在于，

所述作业熟习辅助装置具备：

存储部，其存储包含基准外作业的条件的基准外作业模型信息、包含表示作业内容的信息和表示作业所使用的部件的信息的作业顺序信息、以及拍摄到作业地点内部的作业地点内部图像；

骨格时间序列信息获取部，其从所述作业地点内部图像获取一个或者多个作业人员的骨格时间序列信息；

基准外作业提取部，其判定所述骨格时间序列信息是否符合所述条件；

部件确定部，其针对判定为符合所述条件的基准外作业，使用所述作业地点内部图像来确定所述部件；以及

作业内容确定部，其使用所述部件确定部所确定的所述部件，参照所述作业顺序信息，来确定基准外作业的所述作业内容，

所述用户终端装置具备：

基准外作业请求部，其相对于所述作业熟习辅助装置请求所述基准外作业的作业内容并接受响应；以及

输出部，其输出所述基准外作业的作业内容，

所述基准外作业提取部使用所述作业地点内部图像并通过预定的方法获取能够缩短的时间，并且计算在相对于相同的所述基准外作业的作业内容获取多个所述能够缩短的时间的情况下将该能够缩短的时间进行累积的累积能够缩短的时间。

Images