CN112418137B - 一种目标对象的操作识别方法和系统 - Google Patents

Abstract

本申请实施例公开了一种目标对象的操作识别方法及其系统，所述方法包括：基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上；基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹；获取与所述目标任务对应的标准操作轨迹；将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果；基于所述对比结果，确定与所述操作相关的提示信息。本申请基于AR设备实现了对目标对象执行目标任务时的操作的获取，进而实现了目标对象实际操作轨迹与标准操作轨迹的对比，实现了对实际操作轨迹的实时评判。

Description

一种目标对象的操作识别方法和系统

技术领域

本说明书涉及人体姿态估计领域，特别涉及一种目标对象的操作识别方法和系统。

背景技术

目前，增强现实(Augmented Reality，AR)被广泛应用于电子商务、旅游展览、游戏、教育、医疗康复等领域，可以给用户更加直观的显示和体验。例如，在电子商务领域中可以使用增强现实技术在用户面前展示线上产品(如虚拟试装、虚拟穿戴等)，使用户在未购买产品的情况下逼真地感受产品。然而，目前AR设备无法基于连续的图片或者视频识别目标对象的操作是否满足预设要求 (如操作准确性、操作顺序要求等)。

因此，有必要提出一种目标对象的操作识别方法和系统。

发明内容

本说明书实施例之一提供一种目标对象的操作识别方法，其特征在于，所述方法包括:基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上；基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹；获取与所述目标任务对应的标准操作轨迹；将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果；基于所述对比结果，确定与所述操作相关的提示信息。

本说明书实施例之一提供一种目标对象的操作识别的系统，其特征在于，所述系统包括:操作图像信息获取模块,用于基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上；实际操作轨迹确定模块，用于基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹；标准操作轨迹获取模块，用于获取与所述目标任务对应的标准操作轨迹；轨迹对比模块，用于将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果；提示信息确定模块，用于基于所述对比结果，确定与所述操作相关的提示信息。

本说明书实施例之一提供一种目标对象的操作识别的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现目标对象操作识别的方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行目标对象操作识别的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的目标对象操作识别系统的应用场景示意图；

图2是根据本说明书一些实施例所示的目标对象操作识别方法的示例性流程图；

图3是根据本说明书一些实施例所示的获取实际操作轨迹的示例性流程图；

图4是根据本说明书一些实施例所示的两帧静态图像中特征点匹配的示意图；

图5是根据本说明书另一些实施例所示的目标对象操作识别方法的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

AR(Augmented Reality)设备是一种具有显示、拍照、视频通话、处理文字信息、电子邮件、游戏娱乐等多样化功能的硬件设备。在一些实施例中，AR设备被广泛应用于电子商务、旅游展览、游戏、教育、医疗康复等领域，可以给用户更加直观的显示和体验。例如，在电子商务领域中，可以使用AR技术在用户面前展示线上产品(如虚拟试装、虚拟穿戴等)，使用户在未购买产品的情况下逼真地感受产品。

在一些实施例中，AR设备也被用于增强现实的场景中。例如，AR设备被广泛应用于增强现实装配、增强现实焊接等领域，以实现对员工进行培训。以增强现实装配为例，AR设备可以针对目标任务显示标准的操作视频，操作者可以学习操作视频以熟悉操作。然而，这种方式虽然实现了操作者的培训，但是无法判断操作者的操作是否符合标准。

在本说明书涉及的一些实施例中，带有AR设备的目标对象操作识别系统可以被用于操作考核、操作打分等应用场景中，以实现对操作者的操作过程的评估。具体地，AR设备可以采集并获取目标对象执行目标任务时的操作图像信息，目标对象操作识别系统基于获得的操作图像信息获取实际操作轨迹。进一步地，目标对象操作识别系统可以将所获得的实际操作轨迹与标准操作轨迹进行比对，从而得到两轨迹的对比结果，进而基于对比结果得到实际操作轨迹的评分。在本申请的一些具体实施例中，带有AR设备的目标对象操作识别系统可以用于操作培训的实施场景。例如，目标对象操作识别系统可以将实际操作轨迹与标准操作轨迹的对比结果反馈给目标对象，使其知悉自身的操作有哪些不足，从而对自身的操作进行更正。在本申请的另一些具体实施例中，带有AR设备的目标对象操作识别系统也可以用于操作考核的实施场景。例如，可以将实际操作轨迹与标准操作轨迹的对比结果反馈给企业管理人员，使其知悉操作工的操作标准程度。

图1是根据本说明书一些实施例所示的目标对象操作识别系统的应用场景示意图。

在一些实施例中，目标对象操作识别系统100可以包括服务器110和AR 设备120。

如图1所示，AR设备120可以用以获取目标对象执行目标任务时的操作图像130。在一些实施例中，AR设备120设置在目标对象身上，如佩戴在目标对象身上。在一些实施例中，AR设备120可以是带有数据获取、存储和/或发送功能的设备。在一些实施例中，AR设备120可以包含任何类型的照相机，包括但不限于静止照相机、摄像机、高速摄像机、3D深度摄像机、红外摄像机等。例如，AR设备120可以带有摄像机，摄像机可以用于获取目标对象操作时的视频/图片。

根据目标任务的不同，目标对象执行目标任务所用的身体部位是不尽相同的。在一些实施例中，AR设备120可以基于执行目标任务不同，采集目标对象对应的身体部位。在一些实施场景中(如打字、设备操作等场景)，AR设备 120可以获取目标对象的手部操作运动。在另一些实施场景中(如脚踏板开关控制等场景中)，AR设备120可以获取目标对象脚部操作运动。在又一些实施场景中(如大型零件转运等场景)，AR设备120还可以获得目标对象全身的运动图像(目标对象的操作图像可以理解为目标对象全身各个部位的协同运动)。

在一些实施例中，AR设备120可以仅有一个，从一个方向获取操作图像 130。在一些实施例中，AR设备120可以有多个，用于从多个角度获取操作图像130。

在一些实施例中，AR设备120可以将采集到的数据/信息通过网络(图中未示出)传输至处理设备110-1以进行后续步骤。在一些实施例中，AR设备120 还可以将采集到的数据/信息存储至自身的存储器中，或通过网络(图中未示出) 传输至存储设备110-2进行存储。在一些实施例中，多个AR设备120可以通过网络或其他方式相互连接，共同采集各类数据，并由一个或者多个处理设备110- 1对这些数据进行处理。

服务器110可以是带有数据获取、存储和/或发送功能的设备，可以包括处理设备110-1和存储设备110-2。在一些实施例中，服务器110可以包括但不限于移动设备、平板电脑、笔记本电脑、台式电脑等或其任意组合。在一些实施例中，服务器110可以接收来自AR设备120的相关数据。例如，服务器110可以接收来自AR设备120采集的操作图像130。

在一些实施例中，处理设备110-1可以用于将AR设备120获得的操作图像130转化为特征点图像140。特征点图像可示例性地如图1中140所示。在本申请的实施例中，人体特征点优选地可以设置为人体关节点，因此，特征点图像也可以被称为人体关节点图像。

下面，以手部关节为例进行示例性说明。如图1所示，手部上的特征点通常对应于手部的各个关节点，如拇指关节、食指第一关节、第二关节等。在一些实施例中，处理设备110-1可以通过预设算法和经过训练的模型在手部图片中使用寻找出手部轮廓，再细化到手部关节，最终得到各个手部关节在图片中的位置。例如，预设算法(如OpenPose、Hourglass Network、Mask RCNN等)可以通过对手部图像进行灰度处理、图像增强、特征点捕捉等方式估计各个手部关节在图片中的位置和坐标。

在一些实施例中，AR设备120还可以获取目标对象执行目标任务时的操作图像130。在一些实施例中，操作图像130可以是多帧静态图像。在一些实施例中，操作图像130可以是连续的操作视频。在该场景的实施例中，服务器110 获取到目标对象的操作图像130后，还可以将获取的操作视频分解为按时间排列的静态图像(如将获取的影像分解为多帧静态图像)。进一步地，服务器110 可以基于目标对象各个关节在多帧静态图像中的位置(例如，坐标)，根据线性拟合的方式，生成目标对象的实际操作轨迹150。更进一步地，服务器110还可以将获得的实际操作轨迹150与标准操作轨迹160进行对比，获取对比结果。有关服务器获取对比结果的更多说明可参见图2、5的相关说明，此处不再赘述。

服务器110的存储设备110-2可以存储处理设备110-1执行使用的数据和 /或指令，处理设备110-1可以通过执行或使用所述数据和/或指令以实现本说明书中的示例性方法。例如，存储设备110-2可以用于存储将操作图像130转化为人体关节点图像140操作的相关指令。又例如，存储设备110-2还可以存储操作图像130以及处理设备110-1处理后的人体关节点图像140。在一些实施例中，存储设备110-2可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。

在一些实施例中，服务器110可以是一个单个的服务器或者一个服务器群。服务器群可以是集中式的或分布式的(例如，服务器110可以是一分布式的系统)。在一些实施例中，服务器110可以是本地的或远程的。在一些实施例中，服务器110可以在一个云端平台上实现，或者以虚拟方式提供。仅仅作为示例，云端平台可以包括私有云、公共云、混合云、社区云、分布云、跨云、多云等或上述举例的任意组合。在一些实施例中，服务器110可以在一个计算设备上实现，该计算设备可以包括一个或多个部件。

在一些实施例中，目标对象操作识别系统100还可以包括网络(图中未示出)。网络可以促进信息和/或数据的交换。在一些实施例中，服务器110可以通过网络与AR设备120相连，通过网络获取操作图像130。网络可以包括但不限于局域网、广域网、公用网络、专用网络、无线局域网、虚拟网络、都市城域网、公用交换电话网络等中的一种或几种的组合。网络可以包括多种网络接入点，如有线或无线接入点、基站或网络交换点，通过以上接入点使数据源连接网络并通过网络发送信息。

在一些实施例中，在以服务器110为执行主体的系统中，所述目标对象操作识别系统100可以包括操作图像信息获取模块、实际操作轨迹确定模块、标准操作轨迹获取模块、轨迹对比模块、提示信息确定模块。上述模块均在应用场景所介绍的计算系统中执行，各模块包括各自的指令，指令可存储在存储介质上，指令可在处理器中执行。不同的模块可以位于相同的设备上，也可以位于不同的设备上。它们之间可以通过程序接口、网络等进行数据的传输，可以从内存中读取数据或者将数据写入到内存中。

操作图像信息获取模块,用于基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上。

实际操作轨迹确定模块，用于基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹。

标准操作轨迹获取模块，用于获取与所述目标任务对应的标准操作轨迹。

轨迹对比模块，用于将所述实际操作轨迹与所述标准操作轨迹进行对比，确定多个子对比结果；基于所述多个子对比结果，确定所述对比结果。

提示信息确定模块，用于基于所述对比结果，确定与所述操作相关的提示信息。

在一些实施例中，所述提示信息包括任务合格率，所述提示信息模块还可以用于，基于所述对比结果，统计所述多个子任务对应的目标任务合格率。

在一些实施例中，所述提示信息模块还可以用于，当所述目标任务合格率大于预设阈值时，基于所述多个实际操作子轨迹对所述标准运动轨迹进行修正。

在一些实施例中，所述提示信息模块还可以用于，基于所述对比结果，确定所述实际操作轨迹与所述标准运动轨迹之间的偏离程度；基于所述偏离程度以及偏离阈值确定与所述操作相关的评价信息。

在一些实施例中，实际操作轨迹确定模块还用于，基于所述操作图像信息及其获取的时间，确定多帧按时间顺序排列的静态图像；提取多帧静态图像中特征点的位置坐标；基于多帧静态图像中所述特征点的位置坐标以及所述多帧静态图像的排列顺序，确定所述目标对象的实际操作轨迹。

在一些实施例中，所述目标任务包括多个子任务。在该场景的实施例中，所述轨迹对比模块还用于：将获得的所述实际操作轨迹按时间顺序拆分为多个实际操作子轨迹；其中，每个实际操作子轨迹为目标对象按时间顺序执行目标任务中子任务时的实际操作轨迹；按时间顺序将所述多个实际操作子轨迹与所述标准操作轨迹进行对比，确定对比结果。

在一些实施例中，所述轨迹对比模块还用于：按时间顺序基于所述标准操作轨迹，确定多个标准操作子轨迹；将所述多个实际操作子轨迹按时间顺序与多个所述标准操作子轨迹进行对比，确定多个对比子结果；基于所述多个对比子结果，确定所述对比结果。

应当理解，本说明书一个或多个实施中的所述系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM 的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于处理设备及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。

图2是根据本说明书一些实施例所示的目标对象操作识别方法的示例性流程图。如图2所示，目标对象操作识别流程200可以在具有处理能力的设备 (如服务器110)中执行，具体的，流程200可以包括：

步骤210，基于AR设备获取目标对象执行目标任务时的操作图像信息。

具体地，步骤210可以由操作图像信息获取模块执行。

在一些实施例中，操作图像信息获取模块可以基于AR设备(如图1中的 AR设备120)上的摄像装置获取目标对象执行任务时的操作图像信息。在一些实施例中，操作图像信息是指由AR设备所获得的目标对象执行目标任务的操作图像。在一些实施例中，操作图像可以包括视频图像；也可以包括静态图像。在一些实施例中，操作图像信息可以是由AR设备实时获得的。在一些实施例中，操作图像信息还可以是历史图像信息。历史图像信息是指在一段时间以前 (如一周前)由AR设备获取到的目标对象的操作图像，其可以在获取后被存储在AR设备的内存或者存储设备110-2中，在需要时被调用。

以工厂环境的实施场景为例，工人(即目标对象)在制造某一类型的产品 (即执行目标任务)时，需要由工人执行一步或者多步工序的操作。在该场景的实施例中，AR设备佩戴在工人身上，并由AR设备上的摄像装置获取产品制造过程中工人操作的静态图像或者视频图像。

在一些实施例中，AR设备上可以带有光学摄像装置。此时，操作图像信息获取模块所获得的操作图像信息为光学图像。在一些实施例中，AR设备上也可以带有红外摄像装置。此时，操作图像信息获取模块所获得的操作图像信息为相对应的红外图像。红外摄像装置可以通过工人的体表温度识别工人的运动。与光学摄像装置相比，红外摄像装置受到拍摄背景、拍摄光线等因素的影响较小，因此具有较高的精度。

在一些实施例中，AR设备获得的操作图像信息可以是多帧静态图像。在该场景的实施例中，操作图像信息获取模块直接获取多帧静态图像。在一些实施例中，AR设备获得的操作图像信息也可以是视频图像。在该场景的实施例中，操作图像信息获取模块可以基于获得的视频图像分解得到的多帧静态图像。

在一些实施例中，多帧静态图像可以基于一致的时间间隔进行获取。例如，任意相邻两帧静态图像之间的时间间隔可以示例性地设置为1/24s(也可称1秒内等时间间隔地获得24帧图像)。在一些实施例中，任意相邻两帧静态图像之间的时间间隔也可以根据实际需要具体地设置，例如，可以具体地设置为 1/25s,1/48s，1/60s等数值，分别表示1秒内等时间间隔地获得25帧、48帧、60 帧图像。将视频图像按照自定义的间隔进行设置可以排除掉一些图像质量较差的图像(如过度曝光、存在残影的图像)，使得获得的多帧静态图像保持较高的图片质量，从而使得后续步骤中基于图像提取到的特征点坐标更加准确。

在一些实施例中，操作图像信息获取模块所获得的多帧静态图像中至少包括一个相同的特征点(如服务器110获取的多帧静态图像均包含工人A手部相同的拇指关节、食指第二关节等)，以便后续步骤中可以基于相同的特征点在多帧静态图像中的坐标位置进行拟合，进而确定目标对象的实际操作轨迹。

步骤220，基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹。具体地，步骤220由实际操作轨迹确定模块执行。

在一些实施例中，实际操作轨迹确定模块可以基于步骤210中获取的多帧静态图像获取各个特征点在图片中的位置坐标。具体地，可以使用如OpenPose、 HourglassNetwork、Mask RCNN等算法实现从图片中提取特征点的位置坐标。以目标对象的手部操作为例，在捕捉操作图像中的手部特征点时，手部特征点通常可以设置为手部的各个关节(如图1中140所示)，可以使用上述算法获取手部各个关节在各幅静态图像中的位置坐标。

需要说明的是，根据目标任务的不同，目标对象执行目标任务所用的身体部位是不尽相同的。AR设备120可以基于执行目标任务不同，采集相对应的身体部位，从而得到相对应的关节坐标位置。在一些实施场景中(如打字、设备操作等场景)，AR设备120可以获取目标对象的手部操作运动。在另一些实施场景中(如脚踏板开关控制等场景中)，AR设备120可以获取目标对象脚部操作运动。在又一些实施场景中(如零件搬运等场景)，AR设备120还可以获得目标对象全身的运动图像(目标对象的操作图像可以理解为目标对象全身各个部位的协同运动)。

进一步地，实际操作轨迹确定模块可以基于多帧静态图像中相同关节的坐标确定该关节的轨迹，进而可以确定目标对象的实际操作轨迹。实际操作轨迹是指目标对象实际进行目标任务时的操作图像信息对应的操作轨迹。例如，在打字、设备操作等场景中，实际操作轨迹可以是目标对象手部关节点的操作轨迹。又例如，在脚踏板开关控制等场景中，实际操作轨迹可以是目标对象脚踩开关的操作轨迹。

在一些实施例中，目标任务的实现可以仅由某一关节运动实现。此时，目标对象的实际操作轨迹仅包括一个关节的运动轨迹。例如，目标对象执行脚踏板开关控制的实施场景中，其实际操作轨迹仅有脚踝关节的运动轨迹。

在一些实施例中，目标任务的实现可以由多个关节的协同运动实现。此时，目标对象的实际操作轨迹包括多个关节的运动轨迹。例如，目标对象进行打字操作时，其实际运动轨迹为多个手指关节的相对独立运动构成的运动轨迹。具体地，目标对象的实际操作轨迹可以包括多个关节的轨迹，进而基于多个关节的轨迹获得目标对象的操作轨迹。

在一些实施例中，为简化计算，可在确定目标对象的实际操作轨迹时，由参与目标任务实现的部分关节的运动轨迹表征目标对象的实际操作轨迹。例如，在工人进行搬运时，食指始终与无名指、中指、小拇指保持相对不动，此时，可以仅用拇指和食指的关节运动表示工人是否进行搬运。当拇指和食指弯曲合拢时，说明工人在进行搬运；当拇指和食指处于伸直状态时，说明没有进行搬运。进一步地，由于工人在搬运时各手指的相对位置保持不动，其搬运的行程、轨迹也可由拇指和食指的关节点获取。换言之，在该场景的实施例中，无需获得工人的无名指、中指和小拇指的运动也可以获取目标对象的实际操作轨迹(搬运轨迹)。采用部分关节的运动轨迹表征目标对象的实际操作轨迹可以大大减少节点轨迹获取的计算量，提高运算效率。

有关基于目标对象的操作图像信息，确定目标对象的实际操作轨迹的更多描述可参见图3的相关说明，此处不再赘述。

步骤230，获取与所述目标任务对应的标准操作轨迹。

具体地，步骤230由标准操作轨迹获取模块执行。

目标任务对应的标准操作轨迹指的是目标任务对应的预设好的标准操作轨迹。标准操作轨迹用于表示执行目标任务的标准操作所对应的操作轨迹。在一些实施例中，标准操作轨迹可以包括多个关节的标准运动轨迹。在一些实施例中，标准操作轨迹可以是模拟仿真得到的。具体的，以焊接某块钢板为目标任务进行示例性说明。可以通过建模的方式获得钢板的焊接轨迹及人体手部的数学模型。进一步地，将钢板的焊接轨迹离散成不同的轨迹点，所得的轨迹点对应不同的时刻。更进一步地，将离散的轨迹点与人体手部的数学模型进行一一匹配，即可获得人体手部的数学模型在各个时刻的位置，进而得到数学模型上特征点(如无名指关节、食指关节等)在各个时刻的坐标值。而后，将每个特征点(如无名指关节)的各个时刻的坐标值拟合成线，所得的坐标随时间的变化曲线即为焊接该钢板的标准操作轨迹。在一些其他实施例中，标准操作轨迹也可以是预先设置好的 (如将某工人执行该钢板焊接的运动轨迹规定为标准运动轨迹)。在一些实施例中，标准操作轨迹可以存储在存储器中(如存储设备110-2中)，在需要时被调用。

步骤240，将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果。

具体地，步骤240由轨迹对比模块执行。在一些实施例中，轨迹对比模块可以基于预设好的算法对比实际操作轨迹与标准操作轨迹之间的偏差，从而确定对应的对比结果。

在一些实施例中，两轨迹的对比结果可以用多种方式进行表征，例如，可以用轨迹的偏差程度进行表示。又例如，可以用轨迹的相似程度进行表示。具体地，对比结果可以反映实际操作轨迹与标准操作轨迹之间的偏差程度。偏差程度可以用多种方式进行衡量，例如，可以由两条轨迹之间各坐标的偏差值以及坐标偏差值的统计的偏离数值(如坐标平均偏差等)进行衡量。又例如，对比结果可以是反映偏离等级，如偏离等级可以共有1,2,3三级，偏离等级越高，偏离程度越大。

在一些实施例中，对比结果也可以反映实际操作轨迹与标准操作轨迹之间的相似程度。相似程度可以用多种方式进行表征。例如，两轨迹之间的相似程度为80％、70％、35％等。可以理解，当两轨迹之间的相似程度为80％时，可以代表实际操作轨迹与标准操作轨迹之间有80％的轨迹是类似的。

在一些实施例中，轨迹对比模块可以将实际操作轨迹与标准操作轨迹统一在同一坐标系后，计算两条轨迹数据间两两相对应轨迹点之间的距离，从而确定两条轨迹的偏差。但是这种算法需要穷尽两条轨迹数据间两两轨迹点之间的距离，因此该种计算方式计算量较大。

在一些实施例中，为降低实际操作轨迹与标准操作轨迹对比时的计算量，轨迹对比模块还可以抽样选择部分相同坐标点的偏差，以此来代替两条轨迹之间的偏差。这种方式虽然降低了计算量，但导致计算结果的随机性较大。

在一些实施例中，轨迹对比模块还可以将实际操作轨迹与标准操作轨迹离散为若干点，采用网格划分的方式统计落入相同网格内相同轨迹点的数量。落入相同网格内的相同轨迹点的数量越多，则说明两轨迹越接近。采用这种方式虽然减少了计算量，但牺牲了轨迹对比的计算精度。

在一些实施例中，预设好的算法还可以包括机器学习模型。轨迹对比模块可以采用机器学习模型的方式对比实际操作轨迹与标准操作轨迹。具体地，机器学习模型可以是卷积神经网络。在卷积神经网络中，输入的实际操作轨迹与标准操作轨迹可以用图片矩阵来表示，输出可以是两轨迹的相似程度。例如，图片矩阵的行可以对应操作轨迹的纵坐标长度，图片矩阵的列可以对应操作轨迹的横坐标长度，图片矩阵的元素可以对应轨迹行经的像素(或坐标值)。在本申请的一些实施例中，卷积神经网络的输入是两条操作轨迹的图片矩阵，卷积神经网络的输出是预测操作轨迹的偏差度或者是相似程度。通过卷积神经网络可以构建两条操作轨迹与偏差度之间的映射关系，得到更加准确的对比结果。

需要说明的是，以上对于预设算法的说明仅作为示例，本领域技术人员可以在本申请的基础上对本申请技术方案做出各种合理的变换。在一些实施例中，可以通过机器学习模型获取实际操作轨迹与标准操作轨迹的特征向量，基于两轨迹对应特征向量之间的相似度获取两轨迹的相似程度。例如，可以通过两轨迹对应特征向量的向量距离判断两轨迹的相似程度。又例如，可以通过两轨迹对应特征向量的相似系数判断两轨迹的相似程度。再例如，相似系数可以包括但不限于简单匹配相似系数、Jaccard相似系数、余弦相似度、调整余弦相似度、皮尔森相关系数等。类似这样的变化，依然在本申请的保护范围内。

步骤250，基于所述对比结果，确定与所述操作相关的提示信息。

具体地，步骤250可以由提示信息确定模块执行。

提示信息确定模块可以基于实际操作轨迹与标准操作轨迹的对比结果，确定与操作相关的提示信息。在一些实施例中，与操作相关的提示信息可以是实际操作轨迹的评价。具体地，可以基于实际操作轨迹与标准操作轨迹之间的偏离程度或相似程度，对实际操作轨迹进行评分，即对目标对象执行目标任务时的实际操作进行评分。具体地，偏离程度可以由偏离数值(如坐标平均偏差等)、偏离等级(1,2,3三级)等方式进行衡量。例如，对比结果显示偏离程度为1级偏离时，实际操作轨迹得分为95分。再例如，当坐标值平均偏差为15mm时，实际操作轨迹得分为85分。又例如，当对比结果显示相似程度为87％时，实际操作轨迹得分为87分。

在一些实施例中，与操作相关的提示信息可以应用于操作培训等应用场景。在该场景的实施例中，与操作相关的提示信息可以反馈给操作者。例如，可以告知操作者实际操作轨迹中哪些地方与标准操作轨迹差距较大、实际操作轨迹与标准操作轨迹的差距，并可以将标准操作的视频给操作者以供其学习参考。

在一些实施例中，与操作相关的提示信息可以应用于操作考核、操作监督等应用场景。在该场景的实施例中，与操作相关的提示信息可以反馈给评分机构 (如输出给企业培训管理部门)，用以对操作者的操作进行考核或监督。提示信息确定模块可以提供与操作相关的评价信息(如评分、评价等级等)，作为操作考核的佐证材料。

应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。例如，步骤250可以用于不限于操作评分、操作纠正的其他应用场景。然而，这些修正和改变仍在本说明书的范围之内。

图3是根据本说明书一些实施例所示的获取实际操作轨迹的示例性流程图。如图3所示，实际操作轨迹的获取流程300可以在具有处理能力的设备(如服务器110)中执行，具体的，流程300可以在实际操作轨迹确定模块执行，其可以包括：

步骤310，基于所述操作图像信息及其获取的时间，确定多帧按时间顺序排列的静态图像。

在一些实施例中，可以基于操作图像信息及其获取的时间先后顺序，确定按时间顺序排列的静态图像。有关多帧静态图像的更多描述可参见步骤210，在此不再赘述。

在一些实施例中，可以依据操作图像信息及其获取的时间对每帧静态图像进行排序，从而获得各个静态图像的序号。例如，通过操作视频所获得的第一帧、第二帧、第三帧静态图像的序号可以分别为1、2、3。其中，时间最靠前的为第一帧静态图像，时间最靠后的为第三帧静态图像。

在本说明书的一个或多个实施例中，所述各个静态图像的序号可以是由自然数1为开始进行顺序标号的，例如，1、2、3、4…。在一些其他实施例中，所述各个静态图像序号也可以采用非连续的自然数以及英文字母来进行标记。。例如，按照等差数列方式设置序号(如等差数列1、3、5、…)；再例如，按照字母顺序a，b，c，d等进行标记；又例如，序号可以为字母与数字的任意组合。本领域的技术人员可以在理解本说明书的基础上进行变化，但依然在本说明书保护的范围内。

步骤320，提取多帧静态图像中特征点的位置坐标。

在本申请的实施例中，静态图像中捕捉的人体特征点可以优选地设置为人体关节点(如手部、脚部、全身关节点)。因此，在本申请的一个或多个实施例中，静态图像中特征点的位置坐标可以理解为人体关节点的位置坐标。

在一些实施例中，可以通过预设算法在步骤310获取的多幅静态图像中获取特征点的位置坐标。例如，可以使用如OpenPose、Hourglass Network、Mask RCNN等预设算法实现从多帧静态图像中提取特征点(如人体关节点)的位置坐标。

需要说明的是，特征点的位置坐标在系统中可以有多种表现形式。例如，特征点的位置坐标可以是在三维空间中直角坐标系的位置信息，如 X＝100,Y＝200,Z＝300。又例如，特征点的位置坐标可以是用空间极坐标系进行的表征。再例如，特征点的位置坐标可以是二维的，也可以是三维的，类似这样的变化，仍处于本申请的保护范围之内。

由于获取到的静态图像会受到光源、拍摄背景、灯光等因素的干扰，获取到的关节点位置坐标常常存在一定的噪声。静态图像的噪声包括但不限于高斯噪声、非高斯噪声、系统性噪声等一种或几种。在一些实施例中，还可以对特征点的位置坐标进行去噪处理，获取各个特征点的去噪后的位置坐标。具体地，可以采用卡尔曼滤波的方式实现对静态图像噪声的过滤。卡尔曼滤波是一种利用系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。在一些实施例中，卡尔曼滤波方式包括但不限于线性卡尔曼滤波方法、扩展卡尔曼滤波、渐进扩展卡尔曼滤波、无迹卡尔曼滤波等滤波估计方法中的一种或几种。

步骤330，基于多帧静态图像中所述特征点的位置坐标以及所述多帧静态图像的排列顺序，确定所述目标对象的实际操作轨迹。

在一些实施例中，当多帧静态图像中的特征点仅有一个时，可以基于该特征点在多帧静态图像的时间排列顺序，采用线性拟合的方式获得目标对象的实际操作轨迹。例如，获取各帧静态图像的时间，并获取对应的该特征点的坐标位置，基于位置-时间进行线性拟合，得到特征点位置-时间的拟合曲线(即为实际操作轨迹)。

在一些实施例中，当多帧静态图像中的特征点有多个时，需要先区分不同静态图像中相同的特征点，再基于相同特征点的在不同图像中的坐标进行拟合，以生成多个特征点对应位置-时间的拟合曲线。进一步地，可以基于多条拟合曲线，确定实际操作轨迹。在一些实施场景中，目标任务是由多个关节点协同运动实现的，其对应的实际操作轨迹也应该包括多个关节点的拟合曲线。例如，在一些如打字、设备界面操作等场景中，每个关节点的运动均不一致。此时，实际操作轨迹包括多个运动关节点的拟合曲线。在一些实施场景中(如搬运等场景中)，多个关节的实际操作轨迹可以是类似的，此时，可以将多个关节点的多条拟合曲线拟合为一条拟合曲线，并将此拟合曲线作为实际操作轨迹。具体地，人体各手指关节在搬运时抓紧物体，此时关节直接没有相对运动，因此，搬运过程中各手指关节的拟合曲线是相似的，可以将多个手指关节点的拟合曲线进一步拟合为一条拟合曲线以作为实际操作轨迹。

在一些实施例中，由于相同特征点在序号相近的两帧静态图像中的运动位移很小，可以依此对特征点进行一一关联的匹配，从而确定两帧静态图像中的相同特征点。序号相近的两帧静态图像可以是指序号之差小于预设阈值的两帧静态图像。例如，所述预设阈值可以为±3，则序号2和序号4的图像即为序号相近的两帧静态图像。具体地，由于两帧静态图像之间时间间隔较小，特征点在短时间内的位移是十分微小的，因此，可以据此确定相同特征点。

优选地，还可以基于序号相邻的两帧静态图像确定两帧静态图像中的相同特征点。序号相邻的两帧静态图像中的各特征点的运动位移更小，能更加容易地基于两帧静态图像中的各特征点运动位移确定同一特征点。

图4为两帧静态图像中特征点匹配的示意图。

图中，特征点a1，a2，a3是静态图像A中的三个特征点；特征点b1，b2， b3是静态图像B中的三个特征点；静态图像A和静态图像B是序号相近的两帧静态图像；图4中4100表示的是图像A和图像B是基于静态图像获得的特征点图像；图4中4200表示的是进行特征点匹配后获得的示意图。

在不规定规则的前提下，图像A与图像B之间各个特征点之间匹配的形式可以是多样的。如图4中的4100所示，特征点之间的匹配可以示例性地设置为(a1，b2)、(a2，b1)、(a3，b3)，其中，“()”表示了两个特征点匹配为一组。基于各个特征点的位置坐标，计算上述每个特征点匹配对中特征点之间的距离。仅作为示例，如图4所示，s1、s2、s3分别表示(a1，b2)、(a2， b1)、(a3，b3)这种特征点匹配方式下，各个特征点匹配组中特征点之间的距离。又例如，如图4所示，可以用s4、s5、s6表示(a1，b1)、(a2，b2)、 (a3，b3)这种特征点匹配方式下，特征点匹配对中特征点之间的距离。

如图4所示，在一些实施例中，可以基于最近邻匹配的方法确定图像A 和图像B中的同一特征点。其具体可以包含以下步骤：A)将图A中的a1特征点分别计算与图B中b1,b2,b3三个特征点的距离，获取a1与这3个特征点的距离最小值，确定a1与b1是同一特征点；B)计算a2与图B中b2,b3两个特征点的距离，获取a2与这2个特征点的距离最小值，确定a2与b2是同一特征点；C)最后确定a3与b3是同一特征点。按照最近邻匹配的方式确定图像A和图像B中的同一特征点运算效率快。

当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图5是根据本说明书另一些实施例所示的目标对象操作识别方法的示例性流程图。如图5所示，目标对象操作识别流程500可以在具有处理能力的设备(如服务器110)中执行，具体的，流程500可以包括：

步骤510，将获得的所述实际操作轨迹按时间顺序拆分为多个实际操作子轨迹。

具体地，步骤510可以由轨迹对比模块执行。

在一些实施例中，目标任务涉及多个子任务。具体地，一个目标任务可以由多个可分解的子任务构成。

在一些实施例中，目标任务所涉及的多个子任务可以是不同的子任务。例如，目标任务为完成某一零件的制造，其包含的子任务可以是指完成该零件制造所涉及的多个工序或者是工步。例如，目标任务为制造某零件时，目标对象需要执行的操作可以包括下料、打磨、拼装、成型等多个工序。下料、打磨、拼装、成型等多个工序对应的步骤520，按时间顺序将所述多个实际操作子轨迹与所述标准操作轨迹进行对比，确定多个子对比结果。

具体地，步骤520可以由轨迹对比模块执行。

在一些实施例中，当在一些实施例中，当目标任务所涉及的多个子任务是不相同的子任务时，标准操作轨迹可以被理解为是由多个可拆的子轨迹所构成。在该场景的实施例中，与实际操作轨迹类似，标准操作轨迹也可以按时间顺序拆分为多个标准操作子轨迹。其中，所得的多个标准操作子轨迹与前述所得的多个实际操作子轨迹一一对应。例如，当实际操作轨迹拆分为下料、打磨、拼装、成型等多个实际操作子轨迹时，标准操作轨迹也被拆分为下料、打磨、拼装、成型等对应设置的标准操作子轨迹。进一步地，将相对应的标准操作子轨迹与实际操作子轨迹一一对比(如下料对应的实际操作子轨迹与下料对应的标准操作子轨迹对比，成型对应的实际操作子轨迹与成型对应的标准操作子轨迹对比)，以生成多个子对比结果。有关轨迹对比的相关说明可参见步骤240的相应描述，在此不再赘述。步骤530，基于所述多个对比子结果，确定所述对比结果。

具体地，步骤530可以由轨迹对比模块执行。

对比结果可以反映实际操作轨迹与标准操作轨迹之间的偏差程度，其可以是用具体的坐标偏差进行衡量，也可以用偏差程度进行衡量。在一些实施例中，可以基于步骤520所得的多个对比子结果，得到反映对比子结果的统计数据的对比结果。例如，对比结果可以是多个子任务的平均偏离程度、偏离程度的方差值等。

步骤540，基于所述对比结果，确定与所述操作相关的提示信息。

具体地，步骤540可以由提示信息确定模块执行。

在一些实施例中，提示信息确定模块可以基于实际操作轨迹与标准操作轨迹的对比结果，确定两轨迹之间的偏离程度，并基于所述偏离程度以及预设偏离阈值确定与所述操作相关的评价信息。与操作相关的评价信息可以是如评分等方式对操作者的实际操作进行评分。

在一些实施例中，提示信息可以包括与操作相关的任务合格率。在该场景的实施例中，可以基于对比结果，统计多个子任务对应的任务合格率。任务合格率指的是多个子任务的达标情况的统计值。具体的，子任务是否达标可以基于子任务对应的实际操作子轨迹与标准轨迹的偏离程度或者相似程度进行确定。例如，当子任务对应的实际操作子轨迹与标准轨迹相似度高于90％时，则可判定子任务达标。

进一步地，可以基于达标子任务在全部任务中的占比，确定多个子任务对应的任务合格率。例如，当目标任务涉及多个重复子任务时(比如重复装配某零件1000次)，可以获得达标子任务的总数(如960次)，则可以获得目标任务对应的任务合格率96％。

在一些实施例中，提示信息还可以包括不同对比子结果的统计值。例如，对比子结果可以是工人各时间段对应任务的评分。提示信息确定模块可以基于对比子结果以及其完成的时间生成工人任务评分-时间的变化曲线，进而可以判断操作者的实际工作状态。

在一些实施例中，当提示信息包括任务合格率时，流程500还可以包括步骤550。具体地，当所述目标任务合格率大于预设阈值时，可以基于多个实际操作子轨迹对所述子标准运动轨迹进行修正。具体地，以某零件的装配成功率进行示例性说明。可以假定预设阈值可以设置为99％，当目标对象重复装配该零件1000次的成功件数为996件时(成功装配率为99.6％)时，可以基于该目标对象的实际子轨迹对标准运动轨迹进行修正。采用这种方式，可以使得标准运动轨迹可以随着目标对象的经验不断更新优化，从而得到更好的标准运动轨迹。

本申请实施例可能带来的有益效果包括但不限于：(1)基于AR设备实现了对目标对象执行目标任务时的视频/连续图像的获取，实现了目标对象实际操作轨迹的获取；(2)将实际操作轨迹与标准操作轨迹进行了对比，基于此实现了对实际操作轨迹的评价；(3)基于目标对象的实际子轨迹对标准运动轨迹进行修正，可以实时更新标准运动轨迹，以得到更好的标准运动轨迹。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本申请中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、 C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、 Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby 和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网 (WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (13)

1.一种用于工厂作业的目标任务的合格率的确定方法，其特征在于，所述方法包括：

基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上；

基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹；

获取与所述目标任务对应的标准操作轨迹；

将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果；

基于所述对比结果，确定与所述工厂作业操作相关的提示信息；所述提示信息包括目标任务的合格率以及目标对象的任务评分随操作时间的变化曲线；

当所述目标任务的合格率大于预设阈值时，基于所述实际操作轨迹中的多个实际操作子轨迹对所述标准操作轨迹进行修正。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹，包括：

从多个关节中确定在参与实现所述目标任务的过程中存在轨迹变化的部分关节；

在所述目标对象的操作图像信息中确定所述部分关节的运动轨迹，并将所述部分关节的运动轨迹作为所述目标对象的实际操作轨迹。

3.根据权利要求1所述的方法，其特征在于，所述操作图像信息包括光学图像或红外图像。

4.根据权利要求1所述的方法，其特征在于，所述操作图像信息包括视频图像或多帧静态图像。

5.根据权利要求4所述的方法，其特征在于，当所述操作图像信息包括视频图像时；所述方法还包括：

将所述视频图像按时间顺序进行拆分，确定多帧静态图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的操作图像信息，确定所述目标对象的实际操作轨迹，包括：

基于所述操作图像信息及其获取的时间，确定多帧按时间顺序排列的静态图像；

提取多帧静态图像中特征点的位置坐标，所述特征点包括参与实现所述目标任务的部分关节；

基于多帧静态图像中所述特征点的位置坐标以及所述多帧静态图像的排列顺序，确定所述目标对象的实际操作轨迹。

7.根据权利要求1所述的方法，其特征在于，所述目标任务包括多个子任务；

所述将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果，包括：

将获得的所述实际操作轨迹按时间顺序拆分为多个实际操作子轨迹；其中，每个实际操作子轨迹为目标对象按时间顺序执行目标任务中子任务时的实际操作轨迹；

按时间顺序将所述多个实际操作子轨迹与所述标准操作轨迹进行对比，确定多个对比子结果；

基于所述多个对比子结果，确定所述对比结果。

8.根据权利要求7所述的方法，其特征在于，所述按时间顺序将所述多个实际操作子轨迹与所述标准操作轨迹进行对比，确定多个对比子结果，包括：

按时间顺序基于所述标准操作轨迹，确定多个标准操作子轨迹；

将所述多个实际操作子轨迹按时间顺序与多个所述标准操作子轨迹进行对比，确定多个对比子结果。

9.根据权利要求7所述的方法，所述基于所述对比结果，确定与所述工厂作业操作相关的提示信息还包括：

基于所述对比结果，统计所述多个子任务对应的目标任务的合格率。

10.根据权利要求1所述的方法，其特征在于，所述提示信息还包括与所述工厂作业操作相关的评价信息；所述基于所述对比结果，确定与所述工厂作业操作相关的提示信息，包括：

基于所述对比结果，确定所述实际操作轨迹与所述标准操作轨迹之间的偏离程度；

基于所述偏离程度以及偏离阈值确定与所述工厂作业操作相关的评价信息。

11.一种用于工厂作业的目标任务的合格率确定的系统，其特征在于，所述系统包括：

操作图像信息获取模块，用于基于AR设备获取目标对象执行目标任务时的操作图像信息；其中，所述AR设备设置在所述目标对象身上；

实际操作轨迹确定模块，用于基于所述目标对象的操作图像信息以及参与实现所述目标任务的部分关节，确定所述目标对象的实际操作轨迹；其中，所述部分关节为参与实现所述目标任务的多个关节中存在轨迹变化的关节；

标准操作轨迹获取模块，用于获取与所述目标任务对应的标准操作轨迹；

轨迹对比模块，用于将所述实际操作轨迹与所述标准操作轨迹进行对比，确定对比结果；

提示信息确定模块，用于基于所述对比结果，确定与所述工厂作业操作相关的提示信息；所述提示信息包括目标任务的合格率以及目标对象的任务评分随操作时间的变化曲线；当所述目标任务的合格率大于预设阈值时，基于所述实际操作轨迹中的多个实际操作子轨迹对所述标准操作轨迹进行修正。

12.一种用于工厂作业的目标任务的合格率确定的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1~10任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如权利要求1~10任意一项所述用于工厂作业的目标任务的合格率确定的方法。

Images