CN115457656A - 操作时长的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种操作时长的确定方法、装置、设备及存储介质，涉及生产制造技术领域，可以提高得到的操作时长的可靠性及确定操作时长的效率。该方法包括：获取AR设备传输的标注视频；标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据，并根据至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

Description

操作时长的确定方法、装置、设备及存储介质

技术领域

本申请涉及生产制造技术领域，尤其涉及一种操作时长的确定方法、装置、设备及存储介质。

背景技术

在家用电器的生产过程中，很多生产工序仍依赖人工操作。比例，在洗衣机的生产过程中，需要工作人员使用螺钉将洗衣机盖板与机体安装为一体。而为了预测生产交付周期或为了提高生产效率，目前需要得到工作人员完成各生产工序的操作时长。现有的，一般可以通过人工观察等方式得到工作人员完成各生产工序的操作时长。

然而，通过人工观察等方式得到的工作人员的操作时长，受人为主观因素影响较大，得到的操作时长的可靠性较差，并且效率也很低。

发明内容

本申请提供一种操作时长的确定方法、装置、设备及存储介质，可以提高得到的操作时长的可靠性及确定操作时长的效率。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种操作时长的确定方法，包括：获取AR设备传输的标注视频；标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据，并根据至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组；基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

本申请提供的技术方案中，可以通过AR设备得到标注有生产场景中的各工位区域的标注视频，并且各工位区域还标注有对应生产工序的工序标识。然后，可以根据标注视频中标注的工位区域得到该工位区域的工作人员在完成对应的生产工序时的操作姿态数据，并且可以根据该工位区域的工序标识，从事先确定好的候选操作姿态组中得到该工位区域对应的生产工序的目标操作姿态组，目标操作姿态组中包含有完成该工位区域对应的生产工序的一系列标准操作姿态。之后，可以将得到的操作姿态数据与目标操作姿态组进行匹配，得到该工位区域的工作人员完成对应的生产工序的操作时长。可以看出，本申请中，可以通过对AR设备传输的标注视频进行处理，自动确定出工作人员完成对应生产工序的操作时长，由于确定过程是将事先确定好的候选操作姿态组作为标准参照进行自动匹配，所以相比现有人工观察的方式，得到的操作时长的可靠性更高，且效率更高。

可选的，在一种可能的设计方式中，标注视频为AR设备通过如下方式得到：调用预设标注算法对采集的生产作业视频进行识别处理，确定出生产作业视频中的至少一个工位区域及至少一个工位区域的工序标识；采用预设包围框对至少一个工位区域进行标注处理，并在预设包围框的预设位置处对至少一个工位区域的工序标识进行标注处理；预设标注算法根据样本生产作业视频和样本标注视频训练得到。

可选的，在另一种可能的设计方式中，上述“基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据”可以包括：

调用预设人体姿态识别算法对标注视频中每个工位区域进行姿态识别处理，得到至少一组操作姿态数据；预设人体姿态识别算法根据样本标注视频和样本操作姿态数据训练得到。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态包括起始作业姿态和结束作业姿态，上述“基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长”可以包括：

基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻；第一操作姿态数据为至少一组操作姿态数据中，与第一工位区域对应的一组操作姿态数据；第一目标操作姿态组为至少一个目标操作姿态组中，与第一工位区域的工序标识对应的一个目标操作姿态组；第一工位区域为至少一个工位区域中的任意一个工位区域；第一生产工序为第一工位区域的工序标识对应的生产工序；基于第一操作姿态数据和第一目标操作姿态组的结束作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个结束时刻；结束时刻与起始时刻对应；基于起始时刻和结束时刻，确定第一工位区域的工作人员完成一次第一生产工序的操作时长。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态还包括至少一个中间作业姿态；

基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻，包括：从第一操作姿态数据的预设起始帧开始，将第一操作姿态数据与第一目标操作姿态组的起始作业姿态进行匹配；在确定第一帧与第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设条件的情况下，将第一帧对应的时刻确定为一个起始时刻；

基于第一操作姿态数据和第一目标操作姿态组的结束作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个结束时刻，包括：从第一帧开始，基于第一目标操作姿态组的至少一个中间作业姿态的时序，将第一操作姿态数据与第一目标操作姿态组的至少一个中间作业姿态进行匹配；在确定至少一个中间帧与第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第二预设条件的情况下，从至少一个中间帧的最后一帧开始，将第一操作姿态数据与第一目标操作姿态组的结束作业姿态进行匹配；在确定第二帧与第一目标操作姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下，将第二帧对应的时刻确定为与起始时刻对应的结束时刻。

可选的，在另一种可能的设计方式中，本申请提供的操作时长的确定方法还可以包括：根据第一匹配度、至少一个第二匹配度以及第三匹配度，确定第一工位区域的工作人员完成第一生产工序过程中的不合规操作。

可选的，在另一种可能的设计方式中，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后，本申请提供的操作时长的确定方法还可以包括：

对至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可视化展示。

第二方面，本申请提供一种操作时长的确定装置，包括：获取模块和确定模块；

获取模块，用于获取增强现实AR设备传输的标注视频；标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；

确定模块，用于基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据，并根据至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组；

确定模块，还用于基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

可选的，在一种可能的设计方式中，标注视频为AR设备通过如下方式得到：调用预设标注算法对采集的生产作业视频进行识别处理，确定出生产作业视频中的至少一个工位区域及至少一个工位区域的工序标识；采用预设包围框对至少一个工位区域进行标注处理，并在预设包围框的预设位置处对至少一个工位区域的工序标识进行标注处理；预设标注算法根据样本生产作业视频和样本标注视频训练得到。

可选的，在另一种可能的设计方式中，确定模块具体用于：

调用预设人体姿态识别算法对标注视频中每个工位区域进行姿态识别处理，得到至少一组操作姿态数据；预设人体姿态识别算法根据样本标注视频和样本操作姿态数据训练得到。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态包括起始作业姿态和结束作业姿态，确定模块具体用于：

基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻；第一操作姿态数据为至少一组操作姿态数据中，与第一工位区域对应的一组操作姿态数据；第一目标操作姿态组为至少一个目标操作姿态组中，与第一工位区域的工序标识对应的一个目标操作姿态组；第一工位区域为至少一个工位区域中的任意一个工位区域；第一生产工序为第一工位区域的工序标识对应的生产工序；基于第一操作姿态数据和第一目标操作姿态组的结束作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个结束时刻；结束时刻与起始时刻对应；基于起始时刻和结束时刻，确定第一工位区域的工作人员完成一次第一生产工序的操作时长。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态还包括至少一个中间作业姿态；确定模块具体用于：

从第一操作姿态数据的预设起始帧开始，将第一操作姿态数据与第一目标操作姿态组的起始作业姿态进行匹配；在确定第一帧与第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设条件的情况下，将第一帧对应的时刻确定为一个起始时刻；

从第一帧开始，基于第一目标操作姿态组的至少一个中间作业姿态的时序，将第一操作姿态数据与第一目标操作姿态组的至少一个中间作业姿态进行匹配；在确定至少一个中间帧与第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第二预设条件的情况下，从至少一个中间帧的最后一帧开始，将第一操作姿态数据与第一目标操作姿态组的结束作业姿态进行匹配；在确定第二帧与第一目标操作姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下，将第二帧对应的时刻确定为与起始时刻对应的结束时刻。

可选的，在另一种可能的设计方式中，确定模块还用于：根据第一匹配度、至少一个第二匹配度以及第三匹配度，确定第一工位区域的工作人员完成第一生产工序过程中的不合规操作。

可选的，在另一种可能的设计方式中，本申请提供的操作时长的确定装置还可以包括展示模块；展示模块用于在确定模块确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后，对至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可视化展示。

第三方面，本申请提供一种操作时长的确定设备，包括存储器、处理器、总线和通信接口；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当操作时长的确定设备运行时，处理器执行存储器存储的计算机执行指令，以使操作时长的确定设备执行如上述第一方面提供的操作时长的确定方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行指令时，使得计算机执行如第一方面提供的操作时长的确定方法。

第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面提供的操作时长的确定方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中，计算机可读存储介质可以与操作时长的确定设备的处理器封装在一起的，也可以与操作时长的确定设备的处理器单独封装，本申请对此不做限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

在本申请中，对于上述涉及到的设备或功能模块的名称不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，均属于本申请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种操作时长的确定方法的流程示意图；

图2为本申请实施例提供的一种对样本生产作业视频中的一帧图像进行标注的示意图；

图3为本申请实施例提供的一种标准操作姿态的示意图；

图4为本申请实施例提供的一种确定操作姿态数据的示意图；

图5为本申请实施例提供的一种操作时长的确定装置的结构示意图；

图6为本申请实施例提供的一种操作时长的确定设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的操作时长的确定方法、装置、设备及存储介质进行详细地描述。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括其他没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

另外，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

现有通过人工观察等方式得到的工作人员的操作时长，受人为主观因素影响较大，得到的操作时长的可靠性较差，并且效率也很低。针对上述现有技术中存在的问题，本申请实施例提供了一种操作时长的确定方法，通过对AR设备传输的标注视频进行处理，自动确定出工作人员完成对应生产工序的操作时长，相比现有人工观察的方式，得到的操作时长的可靠性更高，且效率更高。

本申请实施例提供的操作时长的确定方法可以由本申请实施例提供的操作时长的确定装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的操作时长的确定设备中。示例性的，操作时长的确定设备可以是多接入边缘计算(Multi-access Edge Computing，MEC)服务器或云服务器。

本申请实施例提供的操作时长的确定方法可以应用于本申请实施例提供的操作时长的确定系统，该操作时长的确定系统可以包括操作时长的确定设备和增强现实(Augmented Reality，AR)设备。比如，AR设备可以为AR眼镜。

下面结合附图对本申请实施例提供的操作时长的确定方法进行详细说明。

参照图1，本申请实施例提供的操作时长的确定方法包括S101-S103：

S101、获取AR设备传输的标注视频。

在一种可能的实现方式中，可以由应用场景中的工作人员穿戴AR设备获取标注视频，然后将获取的标注视频实时传输给操作时长的确定设备，或者AR设备可以将获取的标注视频进行存储，定期传输给操作时长的确定设备。

在另一种可能的实现方式中，可以在应用场景中部署机器人，由机器人穿戴AR设备获取标注视频，然后实时传输给操作时长的确定设备，或者定期传输给操作时长的确定设备。

其中，标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序。在家电设备的生产场景中，会按照生产流程划分多个生产工序，可以在生产车间中划分不同的工位区域，供不同的工作人员操作对应的生产工序。

可选的，本申请实施例中，标注视频可以是AR设备通过如下方式得到的视频：调用预设标注算法对采集的生产作业视频进行识别处理，确定出生产作业视频中的至少一个工位区域及至少一个工位区域的工序标识；采用预设包围框对至少一个工位区域进行标注处理，并在预设包围框的预设位置处对至少一个工位区域的工序标识进行标注处理。

其中，预设标注算法可以是事先根据样本生产作业视频和样本标注视频训练得到的算法。预设包围框可以是事先确定的特定形状的包围框，比如可以是矩形包围框或圆形包围框等。预设位置可以是事先确定的在预设包围框的周围区域的位置，比如可以是预设包围框的右上角或左下角。

示例性的，参照图2，提供了一种对样本生产作业视频中的一帧图像进行标注的示意图。如图2中的(a)所示，提供了一种样本生产作业视频中的一帧图像的示意图，该帧图像中共有三个不同的生产工序，包括生产工序A、生产工序B和生产工序C，生产工序A中的工作人员在对应的工位区域内对工件A进行操作，生产工序B中的工作人员在对应的工位区域内对工件B进行操作，生产工序C中的工作人员在对应的工位区域内对工件C进行操作。如图2中的(b)所示，可以采用预设包围框将每个工位区域标注出来，然后将每个工位区域的生产工序的工序标识对应标注在预设包围框的左下角。类似的，可以对样本生产作业视频中的多帧图像进行处理，得到该样本生产作业视频的多个标注后图像，当标注后图像的数量达到事先确定的数量，且各帧图像之间的时差小于预先设定的时差时，可以将多个标注后图像进行视频合成处理，并将处理后的视频作为该样本生产作业视频对应的样本标注视频。在得到一定数量的样本生产作业视频和样本标注视频后，可以根据机器学习算法中的分类器等对样本生产作业视频和样本标注视频进行训练，得到预设标注算法。

可选的，在另一种可能的实现方式中，可以通过摄像机等采集设备采集不同角度的生产场景的实景图像，操作时长的确定设备可以根据采集设备采集的实景图像创建一个该生产场景的数字孪生工厂，在数字孪生工厂中对工位区域及对应的工序标识进行标注。之后，操作时长的确定设备可以将该数字孪生工厂传输给AR设备。生产场景中的工作人员或机器人穿戴AR设备后，AR设备可以将数字孪生工厂与实景视频叠加，生成本申请实施例中的标注视频，并且可以将生成的标注视频实时回传给操作时长的确定设备。

S102、基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据，并根据至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组。

各候选操作姿态组分别包括对应的至少两个标准操作姿态，一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组。示例性的，操作时长的确定设备中存储有标准姿态库，标准姿态库中包括各候选操作姿态组与各工序标识的对应关系，本申请实施例中，可以确定出标注视频中的所有工序标识，然后基于这些工序标识在标准姿态库中进行查找，得到所有工序标识分别对应的目标操作姿态组。

示例性的，以生产洗衣机的场景为例，若其中的一个生产工序为使用螺钉将洗衣机盖板与机体安装为一体，则该生产工序的工序标识对应的候选操作姿态组可以包括三个标准操作姿态：第一个是拿起盖板的操作姿态，第二个是将盖板放到洗衣机上的操作姿态，第三个是安装螺钉的操作姿态。

本申请实施例中的标准操作姿态，可以是基于先进骨骼(Skeleton)算法确定的人体姿态。示例性的，如图3所示，为本申请实施例提供的一种标准操作姿态的示意图。在具体实施时，可以通过右上肢、左上肢、右下肢或者左下肢的姿态的不同来得到不同的标准操作姿态。

可选的，基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据可以包括：调用预设人体姿态识别算法对标注视频中每个工位区域进行姿态识别处理，得到至少一组操作姿态数据。

其中，预设人体姿态识别算法可以根据样本标注视频和样本操作姿态数据训练得到。示例性的，可以基于先进骨骼算法对样本标注视频和样本操作姿态数据进行训练，得到预设人体姿态识别算法。

参照图4，提供了一种确定标注视频中的一帧图像的其中一个工件区域的工作人员的操作姿态数据的示意图。如图4中的(a)所示，提供了一种标注视频中一帧图像的一个工件区域的示意图，本申请实施例可以基于预设人体姿态识别算法对该工件区域的工作人员的姿态特征进行提取，得到如图4中的(b)所示的操作姿态数据。类似的，可以对连续帧该工件区域进行姿态特征提取，得到该工件区域的工作人员的一组操作姿态数据。

S103、基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

可选的，至少两个标准操作姿态可以包括起始作业姿态和结束作业姿态，本申请实施例可以通过如下方式确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长：基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻；基于第一操作姿态数据和第一目标操作姿态组的结束作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个结束时刻；基于起始时刻和结束时刻，确定第一工位区域的工作人员完成一次第一生产工序的操作时长。

需要说明的是，本申请实施例中的结束时刻是与起始时刻对应的时刻。

其中，第一操作姿态数据为至少一组操作姿态数据中，与第一工位区域对应的一组操作姿态数据；第一目标操作姿态组为至少一个目标操作姿态组中，与第一工位区域的工序标识对应的一个目标操作姿态组；第一工位区域为至少一个工位区域中的任意一个工位区域；第一生产工序为第一工位区域的工序标识对应的生产工序。

由于工作人员在操作不同的生产工序时，起始作业姿态和结束作业姿态可能不同，所以，本申请实施例中可以基于起始作业姿态与第一操作姿态数据进行匹配，确定出工作人员开始进行一次操作的起始时刻，并且可以基于结束作业姿态与第一操作姿态数据进行匹配，确定出工作人员完成一次操作的结束时刻。之后，可以根据结束时刻与起始时刻的时间差确定出工作人员完成一次该生产工序的操作时长。

可选的，至少两个标准操作姿态还包括至少一个中间作业姿态；本申请实施例中，可以从第一操作姿态数据的预设起始帧开始，将第一操作姿态数据与第一目标操作姿态组的起始作业姿态进行匹配；在确定第一帧与第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设条件的情况下，将第一帧对应的时刻确定为一个起始时刻；然后，从第一帧开始，基于第一目标操作姿态组的至少一个中间作业姿态的时序，将第一操作姿态数据与第一目标操作姿态组的至少一个中间作业姿态进行匹配；在确定至少一个中间帧与第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第二预设条件的情况下，从至少一个中间帧的最后一帧开始，将第一操作姿态数据与第一目标操作姿态组的结束作业姿态进行匹配；之后，在确定第二帧与第一目标操作姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下，将第二帧对应的时刻确定为与起始时刻对应的结束时刻。

其中，第一预设条件、第二预设条件和第三预设条件可以是事先确定的条件。示例性的，第一预设条件可以是第一匹配度大于事先确定的匹配度，第二预设条件可以是第二匹配度大于事先确定的匹配度，第三预设条件可以是第三匹配度大于事先确定的匹配度。

本申请实施例中，至少两个标准操作姿态中不仅可以包括起始作业姿态和结束作业姿态，还可以包括多个在起始作业姿态和结束作业姿态之间的姿态，即中间作业姿态。这样，在将至少一组操作姿态数据和至少一个目标操作姿态组进行匹配确定操作时长时，可以进一步提高确定出的操作时长的准确度。

可选的，本申请实施例提供的操作时长的确定方法还可以包括：根据第一匹配度、至少一个第二匹配度以及第三匹配度，确定第一工位区域的工作人员完成第一生产工序过程中的不合规操作。

在一种可能的实现方式中，若第一匹配度、至少一个第二匹配度以及第三匹配度中，某个匹配度低于预设值，则可以将该匹配度对应的作业姿态确定为完成第一生产工序过程中的不合规操作。其中，预设值可以是事先确定的百分比，比如可以是70％。

示例性的，以生产工序是使用螺钉将洗衣机盖板与机体安装为一体为例，则第一目标操作姿态组的起始作业姿态可以是拿起盖板对应的姿态，中间作业姿态可以是将盖板放到洗衣机上对应的姿态，结束作业姿态可以是安装螺钉对应的姿态。若第一操作姿态数据的第一帧与第一目标操作姿态组的起始作业姿态的第一匹配度为80％，第一操作姿态数据的某个中间帧与第一目标操作姿态组的中间作业姿态的第二匹配度为85％，第一操作姿态数据的第二帧与第一目标操作姿态组的结束作业姿态的第二匹配度为60％，则可以确定第一工位区域的工作人员完成第一生产工序过程中的不合规操作为结束作业姿态。

本申请实施例中，可以确定出工作人员完成生产工序过程中的不合规操作，然后可以对确定出的不合规操作进行预警提示，以便于工作人员规范完成生产工序的操作。

可选的，本申请实施例中，在确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后，还可以包括：对至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可视化展示。

示例性的，若标注视频中包括有工位区域A、工位区域B和工位区域C，分别对应工序标识A、工序标识B和工序标识C。则操作时长的确定设备可以确定出工位区域A的工作人员累计完成工序标识A对应的生产工序的次数，以及每次的操作时长、起始时刻及结束时刻等；还可以确定出工位区域B的工作人员累计完成工序标识B对应的生产工序的次数，以及每次的操作时长、起始时刻及结束时刻等；还可以确定出工位区域C的工作人员累计完成工序标识C对应的生产工序的次数，以及每次的操作时长、起始时刻及结束时刻等，然后可以将这些信息以列表等形式通过显示设备进行呈现。

综合以上描述，本申请实施例提供的操作时长的确定方法中，可以通过AR设备得到标注有生产场景中的各工位区域的标注视频，并且各工位区域还标注有对应生产工序的工序标识。然后，可以根据标注视频中标注的工位区域得到该工位区域的工作人员在完成对应的生产工序时的操作姿态数据，并且可以根据该工位区域的工序标识，从事先确定好的候选操作姿态组中得到该工位区域对应的生产工序的目标操作姿态组，目标操作姿态组中包含有完成该工位区域对应的生产工序的一系列标准操作姿态。之后，可以将得到的操作姿态数据与目标操作姿态组进行匹配，得到该工位区域的工作人员完成对应的生产工序的操作时长。可以看出，本申请实施例中，可以通过对AR设备传输的标注视频进行处理，自动确定出工作人员完成对应生产工序的操作时长，由于确定过程是将事先确定好的候选操作姿态组作为标准参照进行自动匹配，所以相比现有人工观察的方式，得到的操作时长的可靠性更高，且效率更高。

如图5所示，本申请实施例还提供了一种操作时长的确定装置，该装置可以包括：获取模块11和确定模块21。

其中，获取模块11执行上述方法实施例中的S101，确定模块21执行上述方法实施例中的S102和S103。

具体地，获取模块11，用于获取增强现实AR设备传输的标注视频；标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；

确定模块21，用于基于标注视频，确定至少一个工位区域的工作人员的至少一组操作姿态数据，并根据至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组；

确定模块21，还用于基于至少一组操作姿态数据和至少一个目标操作姿态组，确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

可选的，在一种可能的设计方式中，标注视频为AR设备通过如下方式得到：调用预设标注算法对采集的生产作业视频进行识别处理，确定出生产作业视频中的至少一个工位区域及至少一个工位区域的工序标识；采用预设包围框对至少一个工位区域进行标注处理，并在预设包围框的预设位置处对至少一个工位区域的工序标识进行标注处理；预设标注算法根据样本生产作业视频和样本标注视频训练得到。

可选的，在另一种可能的设计方式中，确定模块21具体用于：

调用预设人体姿态识别算法对标注视频中每个工位区域进行姿态识别处理，得到至少一组操作姿态数据；预设人体姿态识别算法根据样本标注视频和样本操作姿态数据训练得到。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态包括起始作业姿态和结束作业姿态，确定模块21具体用于：

基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻；第一操作姿态数据为至少一组操作姿态数据中，与第一工位区域对应的一组操作姿态数据；第一目标操作姿态组为至少一个目标操作姿态组中，与第一工位区域的工序标识对应的一个目标操作姿态组；第一工位区域为至少一个工位区域中的任意一个工位区域；第一生产工序为第一工位区域的工序标识对应的生产工序；基于第一操作姿态数据和第一目标操作姿态组的结束作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个结束时刻；结束时刻与起始时刻对应；基于起始时刻和结束时刻，确定第一工位区域的工作人员完成一次第一生产工序的操作时长。

可选的，在另一种可能的设计方式中，至少两个标准操作姿态还包括至少一个中间作业姿态；确定模块21具体用于：

从第一操作姿态数据的预设起始帧开始，将第一操作姿态数据与第一目标操作姿态组的起始作业姿态进行匹配；在确定第一帧与第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设条件的情况下，将第一帧对应的时刻确定为一个起始时刻；

从第一帧开始，基于第一目标操作姿态组的至少一个中间作业姿态的时序，将第一操作姿态数据与第一目标操作姿态组的至少一个中间作业姿态进行匹配；在确定至少一个中间帧与第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第二预设条件的情况下，从至少一个中间帧的最后一帧开始，将第一操作姿态数据与第一目标操作姿态组的结束作业姿态进行匹配；在确定第二帧与第一目标操作姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下，将第二帧对应的时刻确定为与起始时刻对应的结束时刻。

可选的，在另一种可能的设计方式中，确定模块21还用于：根据第一匹配度、至少一个第二匹配度以及第三匹配度，确定第一工位区域的工作人员完成第一生产工序过程中的不合规操作。

可选的，在另一种可能的设计方式中，本申请提供的操作时长的确定装置还可以包括展示模块；展示模块用于在确定模块21确定至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后，对至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可视化展示。

可选的，操作时长的确定装置还可以包括存储模块，存储模块用于存储该操作时长的确定装置的程序代码等。

如图6所示，本申请实施例还提供一种操作时长的确定设备，包括存储器41、处理器42(42-1和42-2)、总线43和通信接口44；存储器41用于存储计算机执行指令，处理器42与存储器41通过总线43连接；当操作时长的确定设备运行时，处理器42执行存储器41存储的计算机执行指令，以使操作时长的确定设备执行如上述实施例提供的操作时长的确定方法。

在具体的实现中，作为一种实施例，处理器42可以包括一个或多个中央处理器(central processing unit，CPU)，例如图6中所示的CPU0和CPU1。且作为一种实施例，操作时长的确定设备可以包括多个处理器42，例如图6中所示的处理器42-1和处理器42-2。这些处理器42中的每一个CPU可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器42可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器41可以是只读存储器41(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器41可以是独立存在，通过总线43与处理器42相连接。存储器41也可以和处理器42集成在一起。

在具体的实现中，存储器41，用于存储本申请中的数据和执行本申请的软件程序对应的计算机执行指令。处理器42可以通过运行或执行存储在存储器41内的软件程序，以及调用存储在存储器41内的数据，操作时长的确定设备的各种功能。

通信接口44，使用任何收发器一类的设备，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口44可以包括接收单元实现接收功能，以及发送单元实现发送功能。

总线43，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该总线43可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

作为一个示例，结合图5，操作时长的确定装置中的获取模块实现的功能与图6中的接收单元实现的功能相同，操作时长的确定装置中的确定模块实现的功能与图6中的处理器实现的功能相同。当操作时长的确定装置包括有存储模块时，存储模块实现的功能与图6中的存储器实现的功能相同。

本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，使得计算机执行上述实施例提供的操作时长的确定方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasable programmable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种操作时长的确定方法，其特征在于，包括：

获取增强现实AR设备传输的标注视频；所述标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；

基于所述标注视频，确定所述至少一个工位区域的工作人员的至少一组操作姿态数据，并根据所述至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组；

基于所述至少一组操作姿态数据和所述至少一个目标操作姿态组，确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

2.根据权利要求1所述的操作时长的确定方法，其特征在于，所述标注视频为所述AR设备通过如下方式得到：

调用预设标注算法对采集的生产作业视频进行识别处理，确定出所述生产作业视频中的所述至少一个工位区域及所述至少一个工位区域的工序标识；

采用预设包围框对所述至少一个工位区域进行标注处理，并在所述预设包围框的预设位置处对所述至少一个工位区域的工序标识进行标注处理；所述预设标注算法根据样本生产作业视频和样本标注视频训练得到。

3.根据权利要求1所述的操作时长的确定方法，其特征在于，所述基于所述标注视频，确定所述至少一个工位区域的工作人员的至少一组操作姿态数据，包括：

调用预设人体姿态识别算法对所述标注视频中每个工位区域进行姿态识别

处理，得到所述至少一组操作姿态数据；所述预设人体姿态识别算法根据样本标注视频和样本操作姿态数据训练得到。

4.根据权利要求1所述的操作时长的确定方法，其特征在于，所述至少两个标准操作姿态包括起始作业姿态和结束作业姿态，所述基于所述至少一组操作姿态数据和所述至少一个目标操作姿态组，确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长，包括：

基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻；所述第一操作姿态数据为所述至少一组操作姿态数据中，与所述第一工位区域对应的一组操作姿态数据；所述第一目标操作姿态组为所述至少一个目标操作姿态组中，与所述第一工位区域的工序标识对应的一个目标操作姿态组；所述第一工位区域为所述至少一个工位区域中的任意一个工位区域；所述第一生产工序为所述第一工位区域的工序标识对应的生产工序；

基于所述第一操作姿态数据和所述第一目标操作姿态组的结束作业姿态，确定所述第一工位区域的工作人员操作所述第一生产工序的一个结束时刻；所述结束时刻与所述起始时刻对应；

基于所述起始时刻和所述结束时刻，确定所述第一工位区域的工作人员完成一次所述第一生产工序的操作时长。

5.根据权利要求4所述的操作时长的确定方法，其特征在于，所述至少两个标准操作姿态还包括至少一个中间作业姿态；

所述基于第一操作姿态数据和第一目标操作姿态组的起始作业姿态，确定第一工位区域的工作人员操作第一生产工序的一个起始时刻，包括：从所述第一操作姿态数据的预设起始帧开始，将所述第一操作姿态数据与所述第一目标操作姿态组的起始作业姿态进行匹配；在确定第一帧与所述第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设条件的情况下，将所述第一帧对应的时刻确定为一个所述起始时刻；

所述基于所述第一操作姿态数据和所述第一目标操作姿态组的结束作业姿态，确定所述第一工位区域的工作人员操作所述第一生产工序的一个结束时刻，包括：从所述第一帧开始，基于所述第一目标操作姿态组的至少一个中间作业姿态的时序，将所述第一操作姿态数据与所述第一目标操作姿态组的至少一个中间作业姿态进行匹配；在确定至少一个中间帧与所述第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第二预设条件的情况下，从所述至少一个中间帧的最后一帧开始，将所述第一操作姿态数据与所述第一目标操作姿态组的结束作业姿态进行匹配；在确定第二帧与所述第一目标操作姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下，将所述第二帧对应的时刻确定为与所述起始时刻对应的所述结束时刻。

6.根据权利要求5所述的操作时长的确定方法，其特征在于，所述方法还包括：

根据所述第一匹配度、所述至少一个第二匹配度以及所述第三匹配度，确定所述第一工位区域的工作人员完成所述第一生产工序过程中的不合规操作。

7.根据权利要求1-6任意一项所述的操作时长的确定方法，其特征在于，所述确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后，所述方法还包括：

对所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可视化展示。

8.一种操作时长的确定装置，其特征在于，包括：

获取模块，用于获取增强现实AR设备传输的标注视频；所述标注视频中标注有至少一个工位区域，各工位区域对应标注有不同的工序标识，各工序标识用于表示不同的生产工序；

确定模块，用于基于所述标注视频，确定所述至少一个工位区域的工作人员的至少一组操作姿态数据，并根据所述至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目标操作姿态组；各候选操作姿态组包括对应的至少两个标准操作姿态；一个工位区域对应一组操作姿态数据，且一个工序标识对应一个目标操作姿态组；

所述确定模块，还用于基于所述至少一组操作姿态数据和所述至少一个目标操作姿态组，确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长。

9.一种操作时长的确定设备，其特征在于，包括存储器、处理器、总线和通信接口；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；

当所述操作时长的确定设备运行时，处理器执行所述存储器存储的所述计算机执行指令，以使所述操作时长的确定设备执行如权利要求1-7任意一项所述的操作时长的确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当计算机执行所述指令时，使得所述计算机执行如权利要求1-7任意一项所述的操作时长的确定方法。

Images