CN111738180B - 关键点的标注方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种关键点的标注方法、装置、存储介质及电子装置，其中，该方法包括：利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个目标位置为第一视频中包括的目标物品图像中的多个预定关键点的位置，第一视频为对安装有标记设备的目标物品进行红外拍摄所得到的红外图像视频；基于多个目标位置在第二视频中对第二视频中包括的目标物体图像中的多个预定关键点进行标记，其中，第二视频为对安装有标记设备的目标物品进行拍摄所得到的彩色图像视频。通过本发明，解决了相关技术中存在的标注效率低的问题，实现了自动标注关键点，提高了关键点标注的准确率及效率。

Description

关键点的标注方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种关键点的标注方法、装置、存储介质及电子装置。

背景技术

在关键点检测技术中，关键点标注是至关重要的，下面以人体关键点检测为例进行说明：

人体关键点检测技术用于准确地估计出图像或视频中的人体n个主要关键点，例如，左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌等人体主要关键点。人体关键点检测技术可应用于判断人体的状态，人体的姿势等。在人体关键点检测技术中，人体关键点采集技术是至关重要的，人体关键点采集技术用于获取人体关键点位于图像或视频中的绝对位置。

在相关技术中，通常采用手工标注、半自动标注等方式进行人体关键点采集。然而，手动标注人体关键点的标注效率低，准确率低，并且，不同工人标注标准不一致，在后续使用数据时，容易出现歧义；半自动标注人体关键点使用了参数学习的策略，从而使得该方法整体的鲁棒性变差，无法保证得到的关键点信息是统一标准的，此外，半自动标注人体关键点还掺杂了手工修正，仍然存在手工标准无法统一的问题。

由此可知，相关技术中存在标注效率低的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种关键点的标注方法、装置、存储介质及电子装置，以至少解决相关技术中存在的标注效率低的问题。

根据本发明的一个实施例，提供了一种关键点的标注方法，包括：利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

根据本发明的另一个实施例，提供了一种关键点的标注装置，包括：确定模块，用于利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；标记模块，用于基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，将标记设备分别安装在目标物品的多个预定关键点上，对安装有标记设备的目标物品进行拍摄得到红外图像视频和彩色图像视频，根据标记设备在红外图像视频中的位置确定红外图像视频中的多个目标位置，并根据多个目标位置对彩色图像视频中包括的目标物体图像中的多个预定关键点进行标记，因此，可以解决相关技术中存在的标注效率低的问题，实现了自动标注关键点，提高了关键点标注的准确率及效率。

附图说明

图1是本发明实施例的一种关键点的标注方法的移动终端的硬件结构框图；

图2是根据本发明实施例的关键点的标注方法的流程图；

图3是根据本发明示例性实施例的部分有效编码位示意图；

图4是根据本发明具体实施例的关键点的标注方法流程图；

图5是根据本发明实施例的关键点的标注装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种关键点的标注方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的关键点的标注方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种关键点的标注方法，图2是根据本发明实施例的关键点的标注方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；

步骤S204，基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

在上述实施例中，目标物品可以是人、动物或者物品，当目标对象是人时，预定关键点的位置可以是左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌等。标记设备可以是LED灯或其他的具备频闪能力的设备等，当目标物品为人、标记设备为LED灯时，可以将LED分别安装在人的左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌等关键位置，对人分别拍摄红外图像视频和彩色图像视频，根据LED确定红外图像视频中的多个目标位置，基于多个目标位置对彩色视频中的预定关键点进行标记。其中，拍摄红外图像视频和彩色图像视频的设备可以是同一摄像设备，例如，RGB-红外双目相机，还可以是不同的摄像设备，红外图像视频有红外相机拍摄，彩色图像视频由彩色相机拍摄。

示例性的，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。

通过本发明，将标记设备安装在目标物品的多个预定关键点上，对安装有标记设备的目标物品进行拍摄得到红外图像视频和彩色图像视频，根据标记设备在红外图像视频中的位置确定红外图像视频中的多个目标位置，并根据多个目标位置对彩色图像视频中包括的目标物体图像中的多个预定关键点进行标记，因此，可以解决相关技术中存在的标注效率低的问题，实现了自动标注关键点，提高了关键点标注的准确率及效率。

在一个示例性实施例中，利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置包括：获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息，其中，所述编码信息为标记设备按照预定的编码方式循环闪烁后所产生的编码信息，不同关键点上的标记设备按照不同的编码方式循环闪烁；基于预先设置的预定关键点和编码信息之间的对应关系以及产生编码信息的位置信息，确定出所述第一视频中包括的帧图像中的与获取的各编码信息对应的预定关键点以及预设关键点的坐标信息。在本实施例中，标记设备可以采用多编码LED灯电路设计制作的成品PCB(PrintedCircuit Board，印刷电路板)。不同的关键点具有不同的编码信息。多编码思路如下：LED灯按照不同的编码方式循环闪烁，信号位为高时LED灯亮，信号位为低位时LED灯暗。部分有效编码位示意图可参见附图3，如图3所示，不同的编码信息可以对应不同的关键点。可以使用3个(该取值仅是一种示例性的实施方式，例如，还可以设置为2个，4个等)连续的有效位来表征一个编码位，即利用连续的三个电平来表征一个编码位，例如，高低高、高高高、高低低、低低低等，使得整体的解码鲁棒性更强。其中，使用四大位编码方式可以表征16个不同的关键点，需要说明的是，采用四大位编码方式仅是一种示例性实施例，具体可以根据关键点的个数确定编码方式，三大位编码方式可以表征8个不同的关键点，五大位编码方式可以表征32个不同的关键点。

在上述实施例中，当目标物品为人，标记设备为LED灯时，对LED灯编码后，确定不同的编码信息所对应的关键点位置，例如，1111表示左手腕，1110表示右手腕，1010表示右脚踝，0010表示左脚踝等，将对应编码的灯按照对应关系安装到所需要解析关键点的人体的对应关节上，然后在第一视频中获取LED的编码信息，根据编码信息与关键点的对应关系以及编码信息的位置信息确定出关键点以及关键点的坐标信息。

在一个示例性实施例中，基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记包括：对所述第一视频中包括的第一图像与所述第二视频中包括的第二图像执行以下操作，以对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第一图像为所述第一视频中包括的任一帧图像，所述第一图像和所述第二图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像：基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配；在匹配完成后，标注出所述第二图像中与所述第一图像中的与获取的各编码信息对应的预定关键点所对应的关键点以及所对应的关键点的坐标信息。在本实施例中，可选地，可以对RGB视频(彩色图像视频)进行分解，将视频分解为RGB图片帧(对应于上述第二图像)，对红外图像视频进行分解，将视频分解为红外图片帧(对应于上述第一图像)，利用相位位置误差对同一时刻同一位置的RGB图片帧和红外图片帧进行位置匹配，在匹配完成后，根据红外图片帧中关键点以及关键点的坐标信息标注出RGB图片中对红外图片帧中的关键点对应的关键点及其坐标信息。

在一个示例性实施例中，在基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配之前，所述方法还包括：基于第一目标图像中包括的位于目标关键点的位置上的标记设备所发出的光斑，确定出所述第一目标图像中包括的所述目标关键点的第一位置坐标，其中，所述第一目标图像为所述第一视频中包括的帧图像；利用关键点模型获取第二目标图像中包括的所述目标关键点的第二位置坐标，其中，所述第二目标图像为所述第二视频中包括的帧图像，且所述第一目标图像和所述第二目标图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像；将所述第一位置坐标和所述第二位置坐标的差值确定为所述相对位置误差。在本实施例中，当目标物品为人，拍摄设备为RGB-红外相机时，可以先获取RGB-红外相机出厂时候的内部参数，并利用该参数根据已知的红外关键点位置信息，计算得到对应的RGB关键点位置信息。由于利用内参进行像素匹配存在固有的系统误差，因此，可以利用现有的效果很好的人体关键点模型对RGB图像中的人体进行左右肩的关键点获取(由于人体左右肩特征最明显，且关键点定位最准，当然也可以利用其他关键点来确定相对误差)，然后在RGB-红外像素点匹配时，先通过左右肩获取相对误差在之后其他关键点的自动获取时，利用该相对误差消除固有的系统误差，即先通过彩色图像左肩相对红外图像左肩、彩色图像右肩相对红外图像右肩确定相对误差，该相对误差实际上是系统的固有误差，其他关键点的误差也按照该固有误差进行消除，最终获得准确的RGB人体关键点坐信息。

在一个示例性实施例中，在获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息之前，所述方法还包括：确定所述标记设备的有效信号位，其中，所述有效信号位包括用于指示所述标记设备亮灯的高位以及用于指示所述标记设备灭灯的低位；通过将预定数量的连续有效信号位表征一个编码位的方式为所述标记设备配置编码信息。在本实施例中，可以利用连续多个有效信号位来表征一个编码位的方式为标记设备配置编码信息，其中，有效信号位的个数，即预定数量可以为3个(该取值仅是一种可实现方式，本发明对预定数量不做限制，预定数量可以自定义设置，例如，还可以设置为2个，4个等)，当连续多个有效信号位为3个时，有效信号位可以为高低高、高高高、高低低、低低低等，当有效信号位中高位的数量大于或等于低位数量时，可以将编码位定义为1，当有效信号位中高位数量小于低位数量时，可以将编码位定义为0，或者，当有效信号位中有高位时，将编码位定义为1，当有效信号位中均为低位时，将编码位定义为0，本发明对利用多个有效信号位来表征一个编码位的方式不做限制。

在一个示例性实施例中，在利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置之前，所述方法还包括：获取利用RGB-红外双目相机对所述目标物品进行拍摄后所得到的所述第一视频和所述第二视频。在本实施例中，拍摄红外图像视频和彩色图像视频的设备可以是同一摄像设备，例如，RGB-红外双目相机。用传统的RGB视频进行LED灯闪烁的获取很困难，无法直接获取，由于需要通过获取LED灯的闪烁编码来实现人体关键点的自动标注，因此可以使用RGB-红外双目相机获取RGB视频和红外视频，借助红外相机来获取LED灯在红外相机下的闪烁编码。最终人体关键点信息的使用是在RGB场景下的，因此，需要将红外视频中获取的关键点信息转移到RGB视频中。

下面结合具体实施方式对如何进行关键点标注进行说明：

图4是根据本发明具体实施例的关键点的标注方法流程图，如图4所示，该流程包括：

步骤1，制作多编码LED灯电路。多编码思路如下：LED灯按照不同的编码方式循环闪烁。信号位为高时LED灯亮，信号位为低位时LED灯暗。使用3个连续的有效位来表征一个编码位，使得整体的解码鲁棒性更强。其余不同的身体部位有不同的编码方式，使用四大位编码方式可以表征16个不同的关键点。

步骤2：将对应编码的灯按照编码信息与关键点对应关系安装到所需要解析关键点的人体的对应关节上。

步骤3：利用RGB-红外双目相机获取佩戴有闪烁LED灯的人体红外视频(对应于上述第一视频)以及人体RGB视频(对应于上述第二视频)。

步骤4：利用RGB-红外双目相机获取RGB视频。

步骤4.1：对RGB视频进行分解，将视频分解为RGB图片帧。

步骤5：利用RGB-红外相机获取红外视频。

步骤5.1：对红外视频进行分解，将视频分解为红外图片帧。

步骤5.2：由于LED灯的闪烁在红外图像中直观的显示为光斑，因此利用红外图像光斑检测算法，对上述得到的视频帧获取LED光斑信号。并利用IOU(Intersection overunion，匹配跟踪算法)获取连续帧光斑位置信息，获取多帧的光斑信息实现多帧LED光斑检测。

步骤5.3：利用步骤5.2得到的多帧LED光斑信息，通过闪烁为高位信号；通过非闪烁为低位信号这一预先定义的规则，解析得到光斑编码信息。

步骤5.4：利用步骤5.3得到的光斑编码信息，和先验规定的编码-关节位置对进行解析得到对应的关键点类型。

步骤5.5：基于步骤5.4得到的信息，得到各个关键点在红外图像中的类别以及对应关键点在红外图像中的坐标信息。

步骤6：基于步骤5.5得到的红外图像中关键点的坐标信息，以及步骤4.1得到的对应的RGB图像帧。利用RGB-红外像素匹配策略获取RGB图像中关键点的类型及其坐标。该红外-RGB像素匹配方案，需要先获取RGB-红外相机出厂时候的内部参数，并利用该参数根据已知的红外关键点位置信息，计算得到对应的RGB关键点位置信息。由于利用内参进行像素匹配存在固有的系统误差，因此，提出了相对RGB-红外像素匹配策略。该策略首先利用现有的效果很好的人体关键点模型对RGB图像中的人体进行左右肩的关键点获取(由于人体左右肩特征最明显，且关键点定位最准)。然后在RGB-红外像素点匹配时，先通过左右肩获取相对误差，在之后其他关键点的自动获取时，利用该相对误差消除固有的系统误差。最终获得准确的RGB人体关键点坐信息。

步骤7：通过相对RGB-红外像素匹配策略，获取准确的RGB人体关键点信息。

在前述实施例中，RGB-红外双目相机获取双通道图像，获取准确的红外关键点信息结合相对RGB-红外像素匹配策略，自动获取RGB关键点信息。利用图像解析的手段结合LED不同编码的周期闪烁，解析得到对应LED灯的编码。通过先验的LED编码-关键点类型匹配对，自动获取人体关键点类型。实现了自动对人体关键点进行标注，从而解决了由于人工标注，存在的标注效率低，不准确高以及不同工人标注标准不一致而导致的后续使用数据出现歧义等问题。利用图像分析的算法，通过在红外图像中解析光斑的方式来获取编码，并结合多位有效位合成一个大编码位的方式，大大的提高了检测的准确性和鲁棒性。解决了由于参数学习方法的使用而导致的鲁棒性低的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种关键点的标注装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的关键点的标注装置的结构框图，如图5所示，该装置包括：

确定模块52，用于利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；

标记模块54，用于基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

在一个示例性实施例中，所述确定模块52包括：获取单元，用于获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息，其中，所述编码信息为标记设备按照预定的编码方式循环闪烁后所产生的编码信息，不同关键点上的标记设备按照不同的编码方式循环闪烁；确定单元，用于基于预先设置的预定关键点和编码信息之间的对应关系以及产生编码信息的位置信息，确定出所述第一视频中包括的帧图像中的与获取的各编码信息对应的预定关键点以及预设关键点的坐标信息。

在一个示例性实施例中，所述标记模块54可以通过如下方式实现基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记：对所述第一视频中包括的第一图像与所述第二视频中包括的第二图像执行以下操作，以对所述第二视频中包括的所述目标物体图像中的多个所述预定关键点进行标记，其中，所述第一图像为所述第一视频中包括的任一帧图像，所述第一图像和所述第二图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像：基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配；在匹配完成后，标注出所述第二图像中与所述第一图像中的与获取的各编码信息对应的预定关键点所对应的关键点以及所对应的关键点的坐标信息。

在一个示例性实施例中，所述装置可以用于在基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配之前，基于第一目标图像中包括的位于目标关键点的位置上的标记设备所发出的光斑，确定出所述第一目标图像中包括的所述目标关键点的第一位置坐标，其中，所述第一目标图像为所述第一视频中包括的帧图像；利用关键点模型获取第二目标图像中包括的所述目标关键点的第二位置坐标，其中，所述第二目标图像为所述第二视频中包括的帧图像，且所述第一目标图像和所述第二目标图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像；将所述第一位置坐标和所述第二位置坐标的差值确定为所述相对位置误差。

在一个示例性实施例中，所述装置还可以用于在获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息之前，确定所述标记设备的有效信号位，其中，所述有效信号位包括用于指示所述标记设备亮灯的高位以及用于指示所述标记设备灭灯的低位；通过将预定数量的连续有效信号位表征一个编码位的方式为所述标记设备配置编码信息。

在一个示例性实施例中，所述装置还可以用于在利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置之前，获取利用RGB-红外双目相机对所述目标物品进行拍摄后所得到的所述第一视频和所述第二视频。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种关键点的标注方法，其特征在于，包括：

利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；

基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物品 图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

2.根据权利要求1所述的方法，其特征在于，利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置包括：

获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息，其中，所述编码信息为标记设备按照预定的编码方式循环闪烁后所产生的编码信息，不同关键点上的标记设备按照不同的编码方式循环闪烁；

基于预先设置的预定关键点和编码信息之间的对应关系以及产生编码信息的位置信息，确定出所述第一视频中包括的帧图像中的与获取的各编码信息对应的预定关键点以及预设关键点的坐标信息。

3.根据权利要求2所述的方法，其特征在于，基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物品 图像中的多个所述预定关键点进行标记包括：

对所述第一视频中包括的第一图像与所述第二视频中包括的第二图像执行以下操作，以对所述第二视频中包括的所述目标物品 图像中的多个所述预定关键点进行标记，其中，所述第一图像为所述第一视频中包括的任一帧图像，所述第一图像和所述第二图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像：

基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配；

在匹配完成后，标注出所述第二图像中与所述第一图像中的与获取的各编码信息对应的预定关键点所对应的关键点以及所对应的关键点的坐标信息。

4.根据权利要求3所述的方法，其特征在于，在基于预先确定的相对位置误差对所述第一图像和所述第二图像进行位置匹配之前，所述方法还包括：

基于第一目标图像中包括的位于目标关键点的位置上的标记设备所发出的光斑，确定出所述第一目标图像中包括的所述目标关键点的第一位置坐标，其中，所述第一目标图像为所述第一视频中包括的帧图像；

利用关键点模型获取第二目标图像中包括的所述目标关键点的第二位置坐标，其中，所述第二目标图像为所述第二视频中包括的帧图像，且所述第一目标图像和所述第二目标图像为在同一时刻同一位置对所述目标物品进行拍摄后所得到的图像；

将所述第一位置坐标和所述第二位置坐标的差值确定为所述相对位置误差。

5.根据权利要求2所述的方法，其特征在于，在获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息之前，所述方法还包括：

确定所述标记设备的有效信号位，其中，所述有效信号位包括用于指示所述标记设备亮灯的高位以及用于指示所述标记设备灭灯的低位；

通过将预定数量的连续有效信号位表征一个编码位的方式为所述标记设备配置编码信息。

6.根据权利要求1所述的方法，其特征在于，在利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置之前，所述方法还包括：

获取利用RGB-红外双目相机对所述目标物品进行拍摄后所得到的所述第一视频和所述第二视频。

7.一种关键点的标注装置，其特征在于，包括：

确定模块，用于利用分别安装在目标物品的多个预定关键点上的标记设备确定第一视频中的多个目标位置，其中，多个所述目标位置为所述第一视频中包括的所述目标物品图像中的多个所述预定关键点的位置，所述第一视频为对安装有所述标记设备的所述目标物品进行红外拍摄所得到的红外图像视频；

标记模块，用于基于多个所述目标位置在第二视频中对所述第二视频中包括的所述目标物品 图像中的多个所述预定关键点进行标记，其中，所述第二视频为对安装有所述标记设备的所述目标物品进行拍摄所得到的彩色图像视频。

8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

获取单元，用于获取分别安装在目标物品的多个预定关键点上的标记设备的编码信息，其中，所述编码信息为标记设备按照预定的编码方式循环闪烁后所产生的编码信息，不同关键点上的标记设备按照不同的编码方式循环闪烁；

确定单元，用于基于预先设置的预定关键点和编码信息之间的对应关系以及产生编码信息的位置信息，确定出所述第一视频中包括的帧图像中的与获取的各编码信息对应的预定关键点以及预设关键点的坐标信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images