CN114365161A - 作业要素分析装置和作业要素分析方法 - Google Patents

Abstract

已知如下技术：在生产工厂中，推断构成作业者的一系列作业的作业要素并分析作业的遗漏或作业时间。此时，当仅使用作业者进行作业的位置信息来推断作业要素时，有时会推断出与实际的作业要素不同的作业要素。根据本发明，预先取得作业中的作业要素的产生概率，在根据作业信息推断出作业要素时使用产生概率进行纠正，因此能够得到精度更好的作业要素并进行分析。

Description

作业要素分析装置和作业要素分析方法

技术领域

本发明涉及对作业者的作业要素进行分析的作业要素分析装置和作业要素分析方法。

背景技术

在生产工厂中，为了掌握作业的遗漏或每个作业者的作业时间，已知有一种使用作业者进行作业的影像或作业者的位置信息来分析构成作业的作业要素的技术。在专利文献1中，根据某个时刻的作业者的身体的部位或物体的位置信息，来推断作业者的作业要素。

现有技术文献

专利文献

专利文献1：国际公开第2018/087844号

发明内容

发明要解决的问题

但是，在如专利文献1那样仅根据在某个时刻取得的身体或物体的位置信息来推断作业要素时，例如在位置信息中出现了噪声的情况下，有时会推断出与实际的作业要素不同的作业要素。

本发明是为了解决上述问题而完成的，其目的在于，得到一种精度更好的作业要素分析装置。

用于解决问题的手段

本发明的作业要素分析装置具备：作业信息取得部，其取得随着作业者进行的作业而产生的作业信息；作业要素推断部，其根据由作业信息取得部取得的作业信息来推断构成作业的作业要素；产生概率取得部，其取得作业中的作业要素的产生概率；以及纠正部，其基于由产生概率取得部取得的产生概率对作业要素推断部推断出的作业要素进行纠正。

发明的效果

根据本发明，还考虑作业中的作业要素的产生概率来纠正根据作业信息推断出的作业要素，因此，能够更高精度地分析作业要素。

附图说明

图1是示出本实施方式1的作业要素分析装置200的结构的结构图。

图2是示出本实施方式1的作业要素分析装置200的作业要素输出概率计算部241对作业要素进行了合计的例子的说明图。

图3是示出本实施方式1的作业要素分析装置200的作业要素输出概率计算部241将合计值加上调整值的例子的说明图。

图4是示出本实施方式1的作业要素分析装置200的产生概率取得部240计算出作业要素产生概率的例子的说明图。

图5是示出本实施方式1的作业要素分析装置200的作业要素转变概率计算部243对作业要素进行了合计的例子的说明图。

图6是示出本实施方式1的作业要素分析装置200的作业要素转变概率计算部243加上调整值的例子的说明图。

图7是示出本实施方式1的作业要素分析装置200的产生概率取得部240计算出作业要素转变概率的例子的说明图。

图8是示出本实施方式1的作业要素分析装置200的动作的流程图。

图9是示出本实施方式2的作业要素分析装置200的动作的流程图。

图10是本实施方式2的作业要素分析装置200的纠正部250计算各节点的似然度的流程图。

图11是示出本实施方式2的作业要素分析装置200的动作的流程图

图12是示出本实施方式2的作业要素分析装置200的纠正部250计算似然度的动作的流程图。

图13是示出本实施方式2的作业要素分析装置200的纠正部250计算似然度时的具体的处理代码的例子的说明图。

图14是示出本实施方式2的作业要素分析装置200的纠正部250提取最大似然作业历史的动作的流程图。

图15是本实施方式的作业要素分析装置200的硬件结构图。

具体实施方式

实施方式1

以下，对本实施方式1的作业要素分析装置进行说明。实施方式1的作业要素分析装置200对作业者在作为生产工厂的制造现场等进行的一系列作业进行分析，并检测构成该一系列作业的要素即“作业要素”。

例如，在进行组装某个物品这样的作业的制造现场中，在作业者进行配置部件、螺钉紧固、确认是否被固定这样的行为的情况下，“组装”为“作业”，“部件配置”、“螺钉固定”、“确认”成为“作业要素”。这里，虽然将“部件配置”、“螺钉紧固”、“确认”等行为设为作业要素，但也能够对这些行为进一步进行细分，根据用户考虑的总结方法由用户决定将哪种行为的集合定义为作业要素即可。在本实施方式中，将作业要素分为4个，作为区分所划分的作业要素的记号而标注作业要素编号“0”、“1”、“2”、“3”来进行说明。

图1是示出本实施方式1的作业要素分析装置200的结构的结构图。作业要素分析装置200基于来自照相机101、麦克风102、生产设备103的信号来分析作业者所进行的作业要素，向分析结果存储部300输出分析结果。本实施方式的作业要素分析装置200构成为具有：作业信息取得部210，其取得随着作业者进行的作业而产生的作业信息；作业要素推断部220，其根据作业信息取得部210所取得的作业信息来推断构成作业的作业要素；产生概率取得部240，其取得作业中的作业要素的产生概率；以及纠正部250，其基于产生概率取得部240所取得的产生概率，来纠正由作业要素推断部220推断出的作业要素。

在这种结构的作业要素分析装置200中，首先，作业要素推断部220根据作业信息取得部210所取得的作业信息来推断构成作业的作业要素。一直以来具有多种该推断方法。本实施方式的作业要素分析装置200设置有产生概率取得部240和纠正部250，使得在由于在作业信息取得部210所取得的作业信息中存在噪声、或者作业者偶然地进行了与其他作业要素同样的动作而导致作业要素推断部220推断出与恰当的作业要素编号不同的作业要素编号的情况下，对该错误进行纠正，能够进行精度更好的作业要素的分析。在该作业要素分析装置200中，产生概率取得部240取得在作业中可能产生的各作业要素的产生概率，基于该产生概率，纠正部250对作业要素推断部220推断出的作业要素进行纠正。由此，例如在推断出在某个作业中产生的可能性低的作业要素的情况下，该推断是错误的推断的可能性高，因此被纠正，能够进行精度更好的作业要素的分析。

以下，详细说明各部的结构。

照相机101拍摄进行作业的作业者及其周边，转换成影像信号并输出。麦克风102被设置于作业者进行作业的作业场所或作业者，将在作业者进行作业时产生的声音或作业者的声音等声音转换成电信号，输出声音信号。生产设备103例如是电动驱动器等作业者在进行作业时使用的生产设备，输出表示电动马达的驱动、停止、转矩等的状态信号。照相机101、麦克风102、生产设备103分别输出的影像信号、声音信号、状态信号被输入到作业要素分析装置200的作业信息取得部210。

向作业信息取得部210输入的信号具有1个以上的包含与作业者进行的作业相关的信息的信号即可，不限于照相机101、麦克风102、生产设备103，也可以为包含由加速度传感器或深度传感器等检测到的信息的信号。此外，关于向作业信息取得部210输入的信号，也可以输入预先存储在记录器等外部记录装置中的信号。

在作业信息取得部210中，利用骨骼信息提取部211、图像特征量提取部212、声音特征量提取部213以及生产设备特征量提取部214从自照相机101、麦克风102、生产设备103输入的信号中提取随着作业者进行的作业而产生的作业信息，由作业信息综合部215按照每个帧对提取出的各个作业信息进行综合并向作业要素推断部输出。

从照相机101输入到作业要素分析装置200的作业信息取得部210的影像信号被输入到作业信息取得部210的骨骼信息提取部211和图像特征量提取部212。

在骨骼信息提取部211中，针对从照相机101取得的影像信号，例如进行针对每个帧的图像来提取作为作业信息的作业者的骨骼信息的处理。这里，骨骼信息是表示图像坐标系中的作业者的肩、肘、手腕等人体的代表性的关节位置的坐标的信息，是表示作业者的作业姿势的信息。作为从影像中提取作业者的骨骼信息的方法，除了从安装于作业者的标记位置提取关节位置的方法之外，还具有使用事先学习完毕的Convolutional-Neural-Network(CNN)来提取关节位置的方法等。由骨骼信息提取部211提取出的骨骼信息被输入到作业信息综合部215。

在图像特征量提取部212中，进行从自照相机101取得的影像信号中按照每个帧来提取例如Histograms-of-Oriented-Gradients(HOG)特征量等与图像相关的特征量的处理。由图像特征量提取部212提取出的图像特征量信息被输入到作业信息综合部215。

从麦克风102输入到作业要素分析装置200的作业信息取得部210的声音信号被输入到作业信息取得部210的声音特征量提取部213。

在声音特征量提取部213中，针对从麦克风102取得的声音信号的声音，进行例如通过进行频谱分析来提取作为作业信息的声音特征量的处理。由声音特征量提取部213提取出的声音特征量信息被输入到作业信息综合部215。

从生产设备103输入到作业要素分析装置200的作业信息取得部210的状态信号被输入到作业信息取得部210的生产设备特征量提取部214。

生产设备特征量提取部214针对从生产设备103取得的状态信号，进行例如提取作业者打开电动驱动器的开关所产生的运行状态的信息、条码阅读器读入了标签的信息等作为生产设备的特征量的处理。由生产设备特征量提取部214提取出的生产设备特征量信息被输入到作业信息综合部215。

在作业信息综合部215中，将作为作业信息的骨骼信息、图像特征量信息、声音特征量信息、生产设备特征量信息与时刻信息一起，按照每个相同时刻的帧而综合为1个作业信息。由作业信息综合部215综合的作业信息被输入到作业要素推断部220。

作业要素推断部220具备作为学习部的学习完毕模型生成部221、学习完毕模型存储部222、以及推断部223。在作业要素推断部220中，将由学习完毕模型生成部221生成的学习完毕模型预先存储于学习完毕模型存储部222，由此，根据由作业信息取得部210取得的作业信息并利用学习完毕模型存储部222的学习完毕模型，按照每个帧来推断构成作业的作业要素。

另外，关于作业要素推断部220对作业要素进行推断的方法，一直以来具有各种方法，不限于上述的方法，可以根据统计数据进行推断，也可以由用户对作业信息的特征量等信息设置设定值来对作业要素进行推断。

作业要素示教部230通过用户的输入而得到作为与作业信息对应的真实作业要素的信息的示教数据，将示教数据向作业要素推断部220的学习完毕模型生成部221输出。真实作业要素是指本作业要素分析装置200应该根据作业信息得到的作业要素，示教数据例如是用户通过作业要素示教部230来判定针对过去的作业信息的作业要素编号而得到的。

此外，作业要素示教部230也向产生概率取得部240的作业要素输出概率计算部241和作业要素转变概率计算部243输出示教数据。

学习完毕模型生成部221基于从作业信息取得部210输入的作业信息和从作业要素示教部230输入的示教数据，生成为了根据作业信息来推断构成作业的过程的作业要素而对作业要素与作业信息的关联性进行了机器学习的学习完毕模型，并向学习完毕模型存储部222输出。通过使用学习完毕模型，推断部针对每个帧的作业信息来推断作业要素编号。

另外，虽然通过学习完毕模型生成部221生成了学习完毕模型，但并非必须从作业信息取得部210取得作业信息而生成学习完毕模型，也可以直接输入到学习完毕模型存储部222。在该情况下，学习完毕模型生成部221将输入到作业要素示教部230的学习完毕模型直接向学习完毕模型存储部222输出。

此外，也可以构成为在作业要素分析装置200的外部生成并存储学习完毕模型，在推断部223进行推断时使用网络等手段来取得学习完毕模型。

学习完毕模型存储部222存储从学习完毕模型生成部221输出的学习完毕模型。通过事先将学习完毕模型存储于学习完毕模型存储部222，能够由推断部223利用学习完毕模型并根据作业信息对作业要素进行推断。学习完毕模型存储部222向推断部223输出学习完毕模型。

推断部223在被输入由作业信息取得部210取得的作业信息后，通过利用从学习完毕模型存储部222输出的学习完毕模型对作业要素进行推断。作业要素针对1帧的作业信息来推断每个作业要素的概率值，将概率最高的作业要素作为作业要素推断信息向产生概率取得部240和纠正部250输出。

产生概率取得部240具备作业要素输出概率计算部241、作业要素输出概率信息存储部242、作业要素转变概率计算部243、作业要素转变概率信息存储部244。在产生概率取得部240中，取得作为作业中的作业要素的产生概率的作业要素输出概率和作业要素转变概率，并向纠正部250输出。在本实施方式中，根据针对过去的作业信息的真实作业要素来计算作业中的作业要素的产生概率，但只要是与作业要素相关的产生概率即可，不限于此。

作业要素输出概率计算部241计算作业要素输出概率，该作业要素输出概率是根据针对过去的作业信息的真实作业要素和由作业要素推断部220根据相同的过去的作业信息推断出的作业要素的统计而计算的。针对过去的作业信息的真实作业要素的信息是根据从作业要素示教部230输出的示教数据而得到的。作业要素输出概率计算部241在计算作业要素输出概率时，进行对作业要素的编号加上调整值的调整，使得作业要素输出概率不成为0。之后叙述具体的调整方法。通过像这样进行作业要素产生概率的调整，能够考虑以下情况进行纠正，该情况为，产生了在计算作业要素输出概率时使用的过去的作业信息中没有发生的、基于作业要素推断部220的异常的作业要素的推断。作业要素输出概率计算部241将作业要素输出概率的信息存储于作业要素输出概率信息存储部242。作业要素输出概率信息存储部242向纠正部250输出作业要素输出概率的信息。

作业要素转变概率计算部243计算作业要素转变概率，该作业要素转变概率是根据过去从作业要素编号转变到下一个作业要素编号的统计而计算的。过去从作业要素编号转变到下一个作业要素编号的信息是根据从作业要素示教部230输出的示教数据而得到的。作业要素转变概率计算部243在计算作业要素转变概率时，进行对作业要素的概率加上调整值的调整，使得作业要素转变概率不成为0。之后叙述具体的调整方法。通过像这样进行作业要素转变概率的调整，能够考虑以下情况进行纠正，该情况为，产生了在计算作业要素转变概率时使用的过去的作业要素中没有转变的作业要素的转变。作业要素转变概率计算部243将作业要素转变概率的信息存储于作业要素转变概率信息存储部244。作业要素转变概率信息存储部244向纠正部250输出作业要素转变概率的信息。

另外，作业要素推断部220的学习完毕模型生成部221生成学习完毕模型时的作业信息的时刻也可以分别不同产生概率取得部240的作业要素输出概率计算部241计算概率时和作业要素转变概率计算部243计算概率时的过去的作业要素推断信息的时刻。

此外，例如也可以构成为在用户掌握与作业要素相关的趋势并对从统计结果得到的产生概率进行校正的情况下，能够对从统计结果得到的产生概率进行校正。在该情况下，在本实施方式中，改写存储在作业要素输出概率信息存储部242和作业要素转变概率信息存储部244中的作业要素输出概率信息或作业要素转变概率信息。

纠正部250在从作业要素推断部220取得作业要素推断信息后，从作业要素输出概率信息存储部242和作业要素转变概率信息存储部244取得作业要素输出概率的信息和作业要素转变概率的信息。然后，基于产生概率取得部240取得的作为产生概率的作业要素输出概率和作业要素转变概率，使用维特比算法对从作业要素推断部220取得的作业要素进行纠正，将纠正后的作业要素纠正信息向分析部260输出。

纠正部250通过使用作业要素输出概率进行纠正能够考虑作业要素推断部220推断作业要素的性能，通过使用作业要素转变概率进行纠正能够考虑在作业信息前进了1帧时作业要素转变的概率。通过像这样使用作业要素推断部220推断出的作业要素的产生率对作业要素进行纠正，能够得到精度更好的作业要素并进行分析。

在本实施方式中，在产生概率取得部240中取得了2个概率，但产生概率取得部240所取得的概率也可以为1个，在该情况下，通过纠正部250基于1个概率进行纠正。

分析部260针对从纠正部250输出的作业要素纠正信息，将相同的作业要素连续的区间作为实施该作业要素所需的时间来计入，分析重复进行的作业的1个周期所耗费的时间。此时，除了进行通过评价作业要素的产生顺序来检测作业遗漏或作业的错序的分析之外，还进行基于作业要素时间的上限值提取异常信息的分析，将分析结果向分析结果存储部300输出。用户参照分析结果存储部300，掌握每个作业者的作业时间或作业失误的产生状况。

另外，分析部260和作业要素示教部230并非必须包含在作业要素分析装置200中，作业要素分析装置200只要根据作业信息对作业要素进行推断并纠正即可。

接着，对本实施方式1的作业要素分析装置200的动作进行说明。

以下，说明重复进行的作业的1个周期的作业过程由4个作业要素构成的例子。对各作业要素分别赋予0～3的作业要素编号。

首先，预先将对作业要素与作业信息的关联性进行了机器学习的学习完毕模型存储于学习完毕模型存储部222，使得作业要素推断部220能够根据从作业信息取得部210取得的作业信息来推断作业要素。学习完毕模型是学习完毕模型生成部221基于从作业信息取得部210输入到学习完毕模型生成部221的过去的作业信息和从作业要素示教部230输入的针对相同的过去的作业信息的真实作业要素的信息而生成后输出的，并存储在学习完毕模型存储部222中。

此外，预先将校正后的作业要素输出概率和作业要素转变概率存储于产生概率取得部240的作业要素输出概率信息存储部242和作业要素转变概率信息存储部244，使得纠正部250能够基于产生概率来纠正作业要素推断部220推断出的作业要素。以下对作业要素输出概率和作业要素转变概率的计算方法进行说明。

作业要素输出概率b_ik由作业要素输出概率计算部241如以下那样计算出并存储在作业要素输出概率信息存储部242中。

首先，向作业要素输出概率计算部241输入作业要素推断部220根据过去的作业信息而推断出的作业要素的信息、以及用户输入到作业要素示教部230的针对过去的作业信息的真实作业要素的信息。然后，分别合计针对同一帧的作业信息中的真实作业要素的编号i而成为由作业要素推断部220推断出的作业要素编号k的件数(以下，为合计值c_{b_ik})。图2示出作为实施方式1的作业要素分析装置200的作业要素输出概率计算部241对作业要素进行了合计的例子的说明图。在这里所示的例子中，例如示出如下状态，当真实作业要素编号为0时，被推断为作业要素编号0的合计值成为43，被推断为作业要素编号1的合计值成为8，被推断为作业要素编号2的合计值成为3，被推断为作业要素编号3的合计值成为6，在仅根据作业信息进行了推断时被推断为不是实际的作业要素的作业要素的件数具有17件。

接着，作业要素输出概率计算部241针对合计值c_{b_ik}，如以下所示的数式1那样将与作业要素编号i的总件数相应的调整值与合计值c_{b_ik}相加，由此计算校正值c'_{b_ik}。

[数式1]

c′_{b_ik}＝c_{b_ik}+w_b∑_mc_{b_im}

图3是示出实施方式1的作业要素分析装置200的作业要素输出概率计算部241将调整值与合计值相加的例子的说明图。在图3中，将作业要素推断部220针对真实作业要素编号i推断出的件数的合计值的10％(W_b)作为调整值而相加。例如，关于真实作业要素编号0的合计值全部为60，因此，将作为其10％的调整值6与作业要素推断部推断出的各个作业要素编号相加。通过像这样加上调整值，防止作业要素输出概率b_ik成为0，由此，在纠正部250进行纠正时能够考虑以下情况进行纠正，该情况为，产生了在求出作业要素输出概率时使用的作业信息中没有发生的异常的作业要素的推断。

最后，使用通过以下所示的数式2进行了调整后的值来计算真实作业要素编号i中的作业要素推断部220的作业要素编号k的作业要素输出概率b_ik。

[数式2]

图4是示出实施方式1的作业要素分析装置200的产生概率取得部240计算出作业要素输出概率b_ik的例子的说明图。例如，针对真实作业要素编号0由作业要素推断部判定为作业要素编号0的概率是用图3所记载的真实作业要素编号为0的校正值49除以真实作业要素编号为0的整体的校正值84而得到的58.3％。像这样计算出的作业要素输出概率b_ik被存储在作业要素输出概率存储部242中。

作业要素转变概率a_ij由作业要素转变概率计算部243如以下那样计算出并存储在作业要素转变概率信息存储部244中。

首先，用户从作业要素示教部230输入的连续的帧的真实作业要素的信息被输入到作业要素转变概率计算部243。分别合计真实作业要素的编号为i的帧的下一个帧的作业要素编号成为j的件数(以下，为合计值c_{a_ij})。图5示出作为实施方式1的作业要素分析装置200的作业要素转变概率计算部243对作业要素进行了合计的例子的说明图。在这里所示的例子中，例如在转变源的作业要素编号为0时，转变目标的作业要素编号为0的合计值成为78件，作业要素编号为1的合计值成为3件，作业要素编号为2的合计值成为0件，作业要素编号为3的合计值成为0件，成为过去不存在作业要素编号从0转变到2和3的数据的状态。

接着，作业要素转变概率计算部243针对合计值c_{a_ij}，如以下所示的数式3那样将与作业要素编号i的总件数相应的调整值与合计值c_{a_ij}相加，由此计算校正值c'_{a_ij}。

[数式3]

图6是示出实施方式1的作业要素分析装置200的作业要素转变概率计算部243加上调整值的例子的说明图。在图6中，将作业要素推断部220针对真实作业要素编号i推断出的件数的合计值的1％(W_a)作为调整值而相加。例如，在图5中，转变源的作业要素编号为0的合计值全部为81，因此，加上了作为其1％的调整值0.81。通过像这样加上调整值，在图5的合计表中为0的合计值c_{a_ij}在图6中由于加上调整值而不再为0。这样，通过防止作业要素转变概率a_ij成为0，能够在纠正部250进行纠正时考虑以下情况进行纠正，该情况为，产生了在求出作业要素转变概率时使用的作业信息中没有发生的异常的作业要素的转变。

最后，使用通过以下所示的数式4进行了调整后的值来计算从真实作业要素编号i转变的作业要素编号j的作业要素转变概率a_ij。

[数式4]

图7是示出实施方式1的作业要素分析装置200的产生概率取得部240计算出作业要素转变概率的例子的说明图。例如，从转变源的作业要素编号为0到转变目标的作业要素编号为0的概率是用图6所记载的转变源的作业要素编号为0的校正值78.81件除以转变源的作业要素编号为0的整体的校正值84.24而得到的93.6％。这样计算出的作业要素转变概率a_ij被存储在作业要素转变概率存储部244中。

这样，作业要素分析装置200以在学习完毕模型存储部222、作业要素输出概率信息存储部242、作业要素转变概率信息存储部244中存储有学习完毕模型、作业要素输出概率、作业要素转变概率的状态被使用。

接着，说明作业要素分析装置200对作业要素进行分析时的动作。图8是示出本实施方式1的作业要素分析装置200的动作的流程图。

在步骤S001中，作业信息取得部210取得作业信息。具体而言，当从照相机101、麦克风102、生产设备103输入信息时，通过骨骼信息提取部211、图像特征量提取部212、声音特征量提取部213、生产设备特征量提取部214来提取随着作业者进行的作业而产生的作业信息，即骨骼信息、图像特征量信息、声音特征量信息、生产设备特征量信息。然后，通过作业信息综合部215按照每个时刻将这些作业信息综合为1帧，将综合后的作业信息向作业要素推断部220输出。

在步骤S002中，作业要素推断部220根据从作业信息取得部210输出的作业信息来推断构成作业的作业要素。具体而言，当从作业信息取得部210向作业要素推断部220的推断部223输入了作业信息时，推断部223通过使用学习完毕模型存储部222，针对1帧的作业信息而推断每个作业要素的概率值，将概率最高的作业要素作为作业要素推断信息按照时间序列顺序向纠正部250输出。

在步骤S003中，纠正部250基于由产生概率取得部240取得的产生概率，对作业要素推断部220推断出的作业要素进行纠正。具体而言，纠正部250在从作业要素推断部220取得了作业要素推断信息时，使用产生概率取得部240的作业要素输出概率信息存储部242所存储的作业要素输出概率和作业要素转变概率信息存储部244所存储的作业要素转变概率，应用维特比算法，对作业要素推断部220推断出的作业要素进行纠正。纠正后的作业要素被输出到分析部260。

这里，使用作业要素转变概率的具体例来说明由产生概率取得部240进行了对产生概率的值为0的作业要素的产生概率加上调整值的调整的情况下的效果。

例如，设作业者在15帧的时间内进行各帧的作业要素编号分别为000002222223333的作业，作业要素推断部220基于与这些作业对应的作业信息进行推断，作为推断结果，输出了000002222223133作为15帧的作业要素编号。在该情况下，在第13帧的定时，在作业信息中出现噪声或者作业者偶然地进行与作业要素编号1同样的动作，因此，通过推断部223将第13帧的作业要素编号推断为1。在纠正部250中基于该作业要素转变概率对这样的推断错误进行纠正。这里，假设在如图5所示那样作业要素编号从0向2转变的合计值保持0不变而没有进行调整的情况下，在纠正部250中不允许从作业要素编号0向2的转变，例如将作业要素编号纠正为000012222223333，使得在作业要素编号0与2的边界部分强制地出现作业要素编号1。当像这样被纠正后，作业要素编号的顺序按照0、1、2、3进行转变，因此，分析部260无法进行检测作业遗漏的分析。通过如本实施方式那样进行对产生概率的值为0的作业要素的产生概率加上调整值的调整，纠正部250能够得到000002222223333这样的结果作为作业要素编号，能够通过下一个步骤的分析部进行检测作业要素编号1遗漏的分析。

在步骤S004中，分析部260对从纠正部250输出的纠正后的作业要素进行分析。具体而言，将相同的作业要素连续的区间作为实施该作业要素所需的时间来计入，对作为1个周期量的1～4的作业要素所耗费的时间进行分析，或者进行根据作业要素的转变来检测作业遗漏的分析。分析部260向分析结果存储部300输出分析结果。

如以上那样，实施方式1的作业要素分析装置200不仅基于作业信息，还基于作业中的作业要素的产生概率，对作业要素推断部220推断出的作业要素进行纠正，因此，能够分析精度更好的作业要素。

接着，对实施方式2的作业要素分析装置200进行说明。与实施方式1的不同之处在于，从作业要素推断部220的推断部223输出的作业要素推断信息和纠正部250的处理方法，但其他与实施方式1是同样的。

作业要素推断部220的推断部223在被输入了由作业信息取得部210取得的作业信息时，通过使用从学习完毕模型存储部222输出的学习完毕模型，针对1帧的作业信息而得到每个作业要素的概率值p^t _i(0.0≦p^t _i≦1.0，Σ_ip^t _i＝1.0，i＝0，1，…，N-1，N，N：作业要素的总数，t＝0，1，…，T-1，T，T：总帧数)。然后，推断所得到的概率值p^t _i中的概率最高的概率值p^t _i的作业要素作为该帧的作业要素。作业要素推断部220将每个作业要素的概率值p^t _i和推断出的作业要素作为作业要素推断信息向纠正部250输出。

纠正部250基于产生概率取得部240取得的产生概率和每个作业要素的概率值p^t _i，对作业要素推断部220推断出的作业要素进行纠正。然后，将概率最高的作业要素作为作业要素纠正信息向分析部260输出。

以下，对纠正部250基于产生概率取得部240取得的产生概率和每个作业要素的概率值p^t _i来计算概率最高的作业要素的动作进行说明。为了说明，按照以下所示的数式5定义变量V、layer、node、bestPath。

[数式5]

V＝{layer^t}(t＝0，1，...，T-1)、(T：总帧数)

layer^t＝{node^t _ik}(i＝0，1，..，N-1、k＝0，1，..，N-1)

node^t _ik＝{likelihood^t _ik，prvIdx^t _ik，nxtIdx^t _ik}

bestPath＝{bestPath_t}(t＝0，1，...，T-1)

这里，prvIdx^t _ik是最多能够存储1个指示layer^t-1所包含的节点node^t-1 _IK的索引(I，K)(I≠i，K≠k，I＝0，1，…N-1，K＝0，1，…，N-1)的变量。

nxtIdx^t _ik是最多能够存储1个指示layer^t+1所包含的节点node^t+1 _IK的索引(I，K)的变量。

likehood^t _ik是在时刻t对索引(i，k)的节点node^t _ik赋予的既定值为0的标量，是指从时刻0到时刻t为止跟踪了最大似然的作业历史时的似然度。

bestPath是存储从时刻0到时刻T-1的似然度成为最大的作业历史的变量，是纠正部250最终输出的信息。

根据上述的变量的定义对纠正部250的动作进行说明。图9是示出实施方式2的作业要素分析装置200的动作的流程图。

在步骤S101中，纠正部250计算与时刻0的帧对应的各节点的似然度likehood⁰ _ik。图10示出实施方式的作业要素分析装置200的纠正部250计算likehood⁰ _ik的流程图。以下的数式6示出计算式。

[数式6]

likelihood⁰ _ik＝p^t _i×b_ik

在步骤S102中，纠正部250针对时刻t＝{0，1，…，T-1}，提取成为node^t-1 _IK的最佳转变目标的节点。图11是示出实施方式2的作业要素分析装置200的动作的流程图。以下的数式7示出提取条件。

[数式7]

在步骤S103中，纠正部250针对时刻t＝{0，1，…，T-1}的node^t _ik，提取最佳的转变源节点并计算似然度。图12是实施方式2的作业要素分析装置200的纠正部250计算似然度的流程图。此外，图13示出具体的处理代码。

在步骤S104中，提取最大似然作业历史bestPath＝{bestPath_t}。图14是实施方式2的作业要素分析装置200的纠正部250提取最大似然作业历史的详细流程图。首先，在步骤S301中，提取似然度likehood^T-1 _ik成为最大的node^t _ik，保持其索引信息(i_tmp，k_tmp)，向bestPath_T-1登记i_tmp。接着在步骤S302中，从t＝T-1到t＝1为止进行以下所示的数式8的处理，由此，概率地得到最大似然的作业历史bestPath。

[数式8]

(i，k)＝(i_tmp，k_tmp)

(i_tmp，k_tmp)＝prxIdx^t _ik

bestPath_t-1＝i_tmp

如以上那样，实施方式2的作业要素分析装置200基于作业中的作业要素的产生概率和每个作业要素的概率值，对作业要素推断部220推断出的作业要素进行纠正，因此，能够进行更高精度的纠正。

另外，在实施方式2中，从作业要素推断部220输出了每个作业要素的概率值p^t _i和由作业要素推断部220推断出的作业要素作为作业要素推断信息，但作业要素推断信息也可以仅为每个作业要素的概率值p^t _i。在该情况下，通过纠正部使用作业中的作业要素的产生概率对每个作业要素的概率值p^t _i进行纠正，将概率最高的作业要素编号设为作业要素纠正信息。

图15是本实施方式的作业要素分析装置200的硬件结构图。在本实施方式中，从照相机101、麦克风102、生产设备103经由作业要素分析装置200的第1接口201、第2接口202、第3接口203输入信号。运算装置204是CPU或DSP等电路，进行骨骼信息提取部211、图像特征量提取部212、声音特征量提取部213、生产设备特征量提取部214、作业信息综合部215、学习完毕模型生成部221、推断部223、作业要素示教部230、作业要素输出概率计算部241、作业要素转变概率计算部243、纠正部250、分析部260的处理。主存储装置205是在由运算装置204执行程序时暂时存储程序和数据的易失性存储器。辅助存储装置是长期进行存储的非易失性存储器，存储学习完毕模型、作业要素输出概率信息、作业要素转变概率信息。

附图标记说明

101.照相机

102.麦克风

103.生产设备

200.作业要素分析装置

201.第1接口

202.第2接口

203.第3接口

204.运算装置

205.主存储装置

206.辅助存储装置

210.作业信息取得部

211.骨骼信息提取部

212.图像特征量提取部

213.声音特征量提取部

214.生产设备特征量提取部

215.作业信息综合部

220.作业要素推断部

221.学习完毕模型生成部

222.学习完毕模型存储部

223.推断部

230.作业要素示教部

240.产生概率取得部

241.作业要素输出概率计算部

242.作业要素输出概率信息存储部

243.作业要素转变概率计算部

244.作业要素转变概率信息存储部

250.纠正部

260.分析部

300.分析结果存储部

Claims (7)

1.一种作业要素分析装置，其中，

所述作业要素分析装置具备：

作业信息取得部，其取得随着作业者进行的作业而产生的作业信息；

作业要素推断部，其根据由所述作业信息取得部取得的所述作业信息来推断构成所述作业的作业要素；

产生概率取得部，其取得所述作业中的所述作业要素的产生概率；以及

纠正部，其基于由所述产生概率取得部取得的所述产生概率对所述作业要素推断部推断出的作业要素进行纠正。

2.根据权利要求1所述的作业要素分析装置，其特征在于，

所述作业要素推断部向学习部输入由所述作业信息取得部取得的所述作业信息，通过使用学习部来推断所述作业要素，其中，该学习部为了根据所述作业信息推断构成所述作业的过程的作业要素而对所述作业要素与所述作业信息之间的关联性进行了机器学习。

3.根据权利要求1或2所述的作业要素分析装置，其特征在于，

所述产生概率取得部进行对所述产生概率的值为0的所述作业要素的产生概率加上调整值的调整。

4.根据权利要求1至3中的任意一项所述的作业要素分析装置，其特征在于，

所述产生概率取得部取得的产生概率是根据针对过去的作业信息的所述作业要素和所述作业要素推断部根据所述过去的作业信息推断出的作业要素的统计而计算的概率。

5.根据权利要求1至4中的任意一项所述的作业要素分析装置，其特征在于，

所述产生概率取得部取得的产生概率是根据过去所述作业要素转变后的作业要素的统计而计算的概率。

6.根据权利要求1至5中的任意一项所述的作业要素分析装置，其特征在于，

所述作业要素推断部输出根据所述作业信息取得部取得的所述作业信息而求出的每个所述作业要素的概率值，

所述纠正部基于所述作业要素推断部的推断结果即每个所述作业要素的概率值，对所述作业要素推断部推断出的作业要素进行纠正。

7.一种作业要素分析方法，其中，

所述作业要素分析方法具备：

作业信息取得步骤，取得随着作业者进行的作业而产生的作业信息；

作业要素推断步骤，根据在所述作业信息取得步骤中取得的所述作业信息来推断构成所述作业的作业要素；

产生概率取得步骤，取得所述作业中的所述作业要素的产生概率；以及

纠正步骤，基于在所述产生概率取得步骤中取得的所述产生概率，对在所述作业要素推断步骤中推断出的作业要素进行纠正。

Images