CN115375570A - 补全遮挡信息的方法及相关设备 - Google Patents

Abstract

本申请提供一种补全遮挡信息的方法及相关设备。所述方法包括：获取未遮挡图像和当前时刻的遮挡图像；根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；根据第一状态模型和第二状态模型确定动态遮挡模型；根据动态遮挡模型和遮挡图像以确定当前时刻的标注图像；将标注图像和未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。本申请实施例通过动态遮挡模型对遮挡图像进行处理，并将处理后得到的标注图像送入预训练的遮挡补全模型中，最终得到了当前时刻的补全图像，通过结合多个时刻的机械臂的状态模型，使得补全的图像信息更加准确。

Description

补全遮挡信息的方法及相关设备

技术领域

本申请涉及计算机及通信技术领域，尤其涉及一种补全遮挡信息的方法及相关设备。

背景技术

相关技术中通常通过在不同位置增加多个视角相机，来实现全方位的无遮挡建模，但是这种方式无疑会大大的增加设备成本。另外多个相机之间的位姿标定与数据同步，也大大增加了相关任务的复杂程度，给设备维护和使用者造成了严重的不便。

因此现在一般对被遮挡的部分进行补全以满足需要，但在一般的遮挡图像中，运动物体都会存在一定的边缘模糊问题，而相关技术中的方法仅利用当前时刻的遮挡图像实现补全，无法精确的找到遮挡边缘，进而无法准确的对模糊的边缘进行补全，存在着补全图像信息时准确度较低的问题。

发明内容

有鉴于此，本申请的目的在于提出一种补全遮挡信息的方法及相关设备。

基于上述目的，本申请提供了一种补全遮挡信息的方法，包括：一种补全遮挡信息的方法，其特征在于，包括：

获取未遮挡图像和当前时刻的遮挡图像；

根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；

根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；

根据所述第一状态模型和所述第二状态模型确定动态遮挡模型；

根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像；

将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

在一种可能的实现方式中，所述根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，包括：

获取所述当前时刻的机械臂每个关节的数据信息；其中，所述当前时刻的数据信息，包括：第一角度信息；

根据所述第一角度信息确定所述当前时刻的机械臂的位姿；

根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型。

在一种可能的实现方式中，所述根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型，还包括：

根据当前时刻的机械臂的位姿确定机械臂的第一简易模型；其中，所述第一简易模型包括至少一个第一机械臂模块；

分别匹配每个所述第一机械臂模块对应的机械臂物理模型以确定至少一个第一待组合物理模型；

根据所述至少一个第一待组合物理模型确定所述机械臂的第一状态模型。

在一种可能的实现方式中，所述参考时刻，包括：历史时刻；所述第二状态模型包括历史状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型。

在一种可能的实现方式中，所述根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型，还包括：

根据所述历史时刻的机械臂的位姿确定机械臂的第二简易模型；其中，所述第二简易模型包括至少一个第二机械臂模块；

分别匹配每个所述第二机械臂模块对应的机械臂物理模型以确定至少一个第二待组合物理模型；

根据至少一个第二待组合物理模型确定所述机械臂的历史状态模型。

在一种可能的实现方式中，所述参考时刻，包括：未来时刻；所述第二状态模型，包括：未来状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型。

在一种可能的实现方式中，所述根据未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型，还包括：

根据未来时刻的机械臂的位姿确定机械臂简易模型；其中，所述简易模型包括至少一个机械臂模块；

分别匹配每个所述第三机械臂模块对应的机械臂物理模型以确定至少一个第三待组合物理模型；

根据至少一个所述第三待组合物理模型确定所述机械臂的未来状态模型。

在一种可能的实现方式中，所述参考时刻，包括：历史时刻和未来时刻；所述第二状态模型，包括：历史状态模型和未来状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型；

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型；

根据所述历史状态模型和所述未来状态模型确定所述第二状态模型。

在一种可能的实现方式中，所述根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像，还包括：

根据所述动态遮挡模型模拟得到所述当前时刻的机械臂图像和所述参考时刻的机械臂图像；其中，所述参考时刻包括：历史时刻和/或未来时刻；

将所述当前时刻的机械臂图像、所述参考时刻的机械臂图像和所述当前时刻的遮挡图像叠加以确定待标注图像；

根据所述待标注图像，提取当前时刻的机械臂位置和参考时刻的机械臂位置；

对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，以确定标注图像。

在一种可能的实现方式中，所述对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，还包括：

将所述待标注图像中的所述当前时刻的机械臂位置的置信度标注为第一置信度；

将所述待标注图像中的所述参考时刻的机械臂位置的置信度标注为第二置信度；其中，所述第一置信度小于所述第二置信度。

基于同一发明构思，本说明书一个或多个实施例还提供了一种补全遮挡信息的装置，包括：

获取模块，被配置为获取未遮挡图像和当前时刻的遮挡图像；

确定模块，被配置为根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；

确定模块，被配置为根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；

合并模块，被配置为根据所述第一状态模型和所述第二状态模型确定动态遮挡模型；

标注模块，被配置为根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像；

遮挡补全模块，被配置为将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的补全遮挡信息的方法。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述任一所述的补全遮挡信息的方法。

从上面所述可以看出，本申请实施例提供的补全遮挡信息的方法及相关设备，通过获取未遮挡图像和当前时刻的遮挡图像，根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，将所述第一状态模型和所述第二状态模型合并得到动态遮挡模型，根据动态遮挡模型和遮挡图像确定当前时刻的标注图像，将标注图像和未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。对于待补全的遮挡图像来说，通过获取当前时刻以及参考时刻的机械臂的状态模型，并利用状态模型对遮挡图像进行置信度标注，有效减轻了遮挡图像中的遮挡边缘的模糊部分对图像补全的影响，进而提升了后续在预训练的遮挡补全模型中得到的补全后的图像质量，且在此过程中只需使用一个视角相机，有效降低了任务的复杂程度，便于后期的使用以及设备维护，并且通过结合多个时刻的机械臂的状态模型，使得补全的图像信息更加准确。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的补全遮挡信息的方法的应用场景示意图。

图2为本申请实施例的补全遮挡信息的流程图。

图3为本申请实施例的所述根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型的流程图。

图4为本申请实施例的所述根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型的流程图。

图5为本申请实施例的所述根据获取到的参考时刻的机械臂关节数据确定机械臂的未来状态模型的流程图。

图6为本申请实施例的所述根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像的流程图。

图7为本申请实施例的补全遮挡信息的装置结构示意图。

图8为本申请实施例的电子设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，相关技术中对机械臂对相机的遮挡问题一般采用设置多个视角相机的方法来实现全方位的无遮挡建模，通过设置多个视角相机可以获得多个角度的人体图像，实现无遮挡建模，但是多个相机的设置会增添大量的设备成本，且设置多个相机，在数据处理时需要位姿标定与数据同步，也大大增添了数据处理的复杂程度，给使用过程和后续的设备维护造成了严重的不便。

同时，现有技术还采用对相机获取的机械臂的遮挡图像进行补全的方法来获取未遮挡的人体图像，但是申请人通过研究发现由于相机获取图像时会有延迟，因此相机获取的遮挡图像中的机械臂周围会存在模糊边缘，然而在对遮挡图像进行补全时，现有技术仅通过最初的未遮挡图像对遮挡图像进行补全，由于相机延迟以及模糊边缘的存在，会影响最终的补全结果，造成补全图像信息时准确度较低的问题。

综合上述考虑，本申请实施例提供的补全遮挡信息的方法及相关设备，通过获取未遮挡图像和当前时刻的遮挡图像，根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，将所述第一状态模型和所述第二状态模型合并得到动态遮挡模型，根据动态遮挡模型和遮挡图像确定当前时刻的标注图像，将标注图像和未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。对于待补全的遮挡图像来说，通过获取当前时刻以及参考时刻的机械臂的状态模型，并利用状态模型对遮挡图像进行置信度标注，有效减轻了遮挡图像中的遮挡边缘的模糊部分对图像补全的影响，进而提升了后续在预训练的遮挡补全模型中得到的补全后的图像质量，且在此过程中只需使用一个视角相机，有效降低了任务的复杂程度，便于后期的使用以及设备维护，并且通过结合多个时刻的机械臂的状态模型，使得补全的图像信息更加准确。

参考图1，其为本申请实施例提供的补全遮挡信息的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

服务器102用于向终端设备101的用户提供补全遮挡信息服务，终端设备101中安装有与服务器102通信的客户端，用户可通过该客户端输入未遮挡图像和当前时刻的遮挡图像，点击补全按钮后，客户端将未遮挡图像和当前时刻的遮挡图像发送给服务器102，服务器102对当前时刻和参考时刻的机械臂关节数据进行获取并确定动态遮挡模型，根据动态遮挡模型和当前时刻的遮挡图像确定当前时刻的标注图像，将标注图像和未遮挡图像输入已训练的遮挡补全模型，获得遮挡补全模型输出的当前时刻的遮挡图像对应的补全后图像，将补全后图像发送给客户端，客户端向用户展示补全后图像，以帮助用户进行遮挡图像的补全。

数据存储系统103中存储有大量训练数据，每个训练数据包括一个当前时刻的遮挡图像、遮挡图像对应的动态遮挡模型以及未遮挡图像，服务器102可基于大量训练数据对遮挡补全模型进行训练，使得遮挡补全模型能够对输入的遮挡图像进行补全，训练数据的来源包括但不限于已有的数据库、从互联网爬取的数据或者在用户使用客户端时上传的数据。当遮挡补全模型输出的准确率达到一定要求时，服务器102可基于遮挡补全模型向用户提供遮挡补全服务，同时，服务器102还可以基于新增的训练数据不断优化遮挡补全模型。

下面结合图1的应用场景，来描述根据本申请示例性实施方式的遮挡补全模型的训练方法以及补全遮挡信息的方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

下面通过具体的实施例来对本申请实施例所提供的补全遮挡信息的方法进行具体说明。

参考图2，本申请实施例的补全遮挡信息的方法，包括以下步骤：

步骤S201，获取未遮挡图像和当前时刻的遮挡图像。

步骤S202，根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型。

步骤S203，根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型。

步骤S204，根据所述第一状态模型和所述第二状态模型确定动态遮挡模型。

步骤S205，根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像。

步骤S206将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

在一些实施例中，未遮挡图像可以是在机械臂未运行状态下，视角相机获取到的没有机械臂遮挡状态下的人体图像。获取未遮挡图像的目的是为遮挡图像后续补全时提供真值。当前时刻的遮挡图像可以是在机械臂运行状态下，在任一时刻下，视角相机获取到的有机械臂遮挡的人体图像，此图像为待补全图像。

需要说明的是，在本申请的实施例中虽然以人体图像为例，但是，本申请中对于遮挡图像的复原针对的是机械臂遮挡的物体，而本领域技术人员可以无疑义的理解该物体可以为人体也可以为其他物品，补全的原理是相同的因此，本领域技术人员应当可以无疑义的将本申请适应性的应用于被遮挡物为非人体的应用场景下。

在视角相机获取当前时刻的遮挡图像的同时，获取同一当前时刻下机械臂关节数据，并根据该关节数据确定机械臂的第一状态模型。

参考图3，本申请实施例根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，包括以下步骤：

步骤S301，获取所述当前时刻的机械臂每个关节的数据信息；其中，所述当前时刻的数据信息，包括：第一角度信息。

步骤S302，根据所述第一角度信息确定所述当前时刻的机械臂的位姿。

步骤S303，根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型。

在一些实施例中，机械臂可以存在至少一个关节，通过获取机械臂的当前时刻的手臂的长度、各个关节的坐标信息以及关节的角度信息——上述信息可以通过机械臂的控制系统实时获取，可以获取机械臂的每个关节的坐标值以及手臂在空间中的长度和角度，进而求得当前时刻机械臂的位姿。

也即，例如当前时刻的机械臂可以有一个小臂和一个大臂，其中，获取当前时刻小臂关节与大臂关节的夹角呈90°，且获取到小臂的坐标信息结果为其延伸方向与地面垂直，则当前时刻的机械臂的位姿可以为弯曲大臂，小臂垂直地面向上，呈现举手的姿势。

需要说明的是，上述实施例虽然以位姿为举手为例，但是，本领域技术人员可以无疑义的理解，上述机械臂可以不仅只有一个小臂和一个大臂，位姿可以不仅只有上述实施例示出的举手的一种，且，上述的机械臂的当前时刻的手臂的长度、各个关节的坐标信息以及关机额的角度信息可以存在多种情况，即，最终求得的当前时刻机械臂的位姿也可以存在多种结果。同理，下述的求得历史时刻、未来时刻、历史时刻和未来时刻的位姿，与上述求得当前时刻机械臂的位姿相似，均可以存在多种结果。

在获取当前时刻机械臂的位姿后，将位姿对应的匹配机械臂的物理模型，得到第一状态模型。

具体的，参考图4，本申请实施例的所述根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型，包括以下步骤：

步骤S401，根据当前时刻的机械臂的位姿确定机械臂的第一简易模型；其中，所述第一简易模型包括至少一个第一机械臂模块。

步骤S402，分别匹配每个所述第一机械臂模块对应的机械臂物理模型以确定至少一个第一待组合物理模型。

步骤S403，根据所述至少一个第一待组合物理模型确定所述机械臂的第一状态模型。

在一些实施例中，为简化运算过程，可以将机械臂简化为点杆结构，将机械臂的关节视做点，将机械臂的手臂视做杆，根据上述步骤中计算出的当前时刻的机械臂的位姿，将位姿中机械臂关节的角度、手臂的长度和角度映射于第一简化模型中，可以得到一个反映出机械臂位姿的第一简易模型，但因在实际使用过程中遮挡人体的并非第一简易模型，因此需将第一简易模型匹配对应的机械臂物理模型。具体的，搜寻机械臂数据库中与第一简易模型点的角度相对应的关节以及与第一简易模型中杆的角度和长度相对应的手臂，之后将第一简易模型中的点替换为该对应的关节，将杆替换为该对应的手臂，之后将前述的关节以及手臂组合起来，得到机械臂的第一状态模型。

在一些实施例中，可以在计算出当前时刻机械臂的位姿后，同样的将机械臂简化为点杆结构，并对应的确定第一简易模型。在确定第一简易模型后，将第一简易模型视作一个整体，搜寻机械臂数据库中与该简易模型中的点的角度相对应且杆的长度和角度相对应的机械臂，之后将第一简易模型整体替换为机械臂，得到机械臂的第一状态模型。

在一些实施例中，可以事先设置仿真机械臂，与现实中遮挡人体的机械臂的尺寸一致，在步骤S301获取到当前时刻机械臂每个关节的数据信息后，将当前时刻的关节数据输入控制仿真机械臂的系统中，仿真机械臂可以自动模拟出当前时刻机械臂的位姿，又因仿真机械臂与现实机械臂比例相同，直接将模拟后得到的仿真结果作为第一状态模型。

在一些实施例中，可以在获取当前时刻的机械臂每个关节的数据信息的同时，获取参考时刻的机械臂每个关节的数据信息。参考时刻为历史时刻和/或未来时刻。

进一步地，当参考时刻为历史时刻时，第二状态模型可以包括历史状态模型。可以获取历史时刻的机械臂每个关节的数据信息——历史时刻的数据信息可以从机械臂控制系统的历史数据中直接获取，历史时刻的数据信息具体有手臂的长度、各个关节的坐标信息以及关节的角度信息，可以获取机械臂的每个关节的坐标值以及手臂在空间中的长度和角度，进而求得历史时刻机械臂的位姿。在获取历史时刻机械臂的位姿后，将位姿对应的匹配机械臂的物理模型，得到历史状态模型。

在一些实施例中，为简化运算过程，可以将机械臂简化为点杆结构，将机械臂的关节视做点，将机械臂的手臂视做杆，根据上述步骤中计算出的历史时刻的机械臂的位姿，将位姿中机械臂关节的角度、手臂的长度和角度映射于简化模型中，可以得到一个反映出机械臂位姿的第二简易模型，但因在实际使用过程中遮挡人体的并非第二简易模型，因此需将第二简易模型匹配对应的机械臂物理模型。具体的，搜寻机械臂数据库中与简易模型点的角度相对应的关节以及与简易模型中杆的角度和长度相对应的手臂，之后将简易模型中的点替换为该对应的关节，将杆替换为该对应的手臂，之后将前述的关节以及手臂组合起来，得到机械臂的历史状态模型。

在一些实施例中，可以在计算出历史时刻机械臂的位姿后，同样的将机械臂简化为点杆结构，并对应的确定第二简易模型。在确定该简易模型后，将该简易模型视作一个整体，搜寻机械臂数据库中与该简易模型中的点的角度相对应且杆的长度和角度相对应的机械臂，之后将第二简易模型整体替换为机械臂，得到机械臂的历史状态模型。

在一些实施例中，可以事先设置仿真机械臂，与现实中遮挡人体的机械臂的尺寸一致，在获取到历史时刻机械臂每个关节的数据信息后，将历史时刻的关节数据输入控制仿真机械臂的系统中，仿真机械臂可以自动模拟出历史时刻机械臂的位姿，又因仿真机械臂与现实机械臂比例相同，直接将模拟后得到的仿真结果作为历史状态模型。

在一些实施例中，当参考时刻为未来时刻时，第二状态模型可以包括未来状态模型，具体地，可以获取未来时刻的机械臂关节数据确定机械臂的第二状态模型。

具体的，参考图5，本申请实施例的所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，包括以下步骤：

步骤S501，解析获取到的所述机械臂的控制指令以确定移动数据。

步骤S502，根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息。

步骤S503，根据所述第三角度信息确定所述未来时刻的机械臂的位姿。

步骤S504，根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型。

在一些实施例中，未来时刻的机械臂每个关节的数据信息可以从机械臂的控制指令中获取。在机械臂运行前，可以事先设定机械臂的控制指令。

需要说明的是，机械臂的控制指令可以为控制机械臂上的某一点，从某一坐标点移动到另一坐标点，或者机械臂上的某一点，从某一角度，移动到另一角度。因此，从机械臂的控制指令中可以获取到机械臂未来的坐标点或角度的运动状态，即步骤S501中提到的移动数据。

进一步地，当获取到移动数据后，可以根据移动数据，根据现有技术中的相关算法，可以准确的计算出机械臂在某一确定的未来时刻的数据信息，具体有未来时刻的手臂的长度、各个关节的坐标信息以及关节的角度信息，进而可以获取机械臂的每个关节的坐标值以及手臂在空间中的长度和角度，进而求得未来时刻机械臂的位姿。在获取未来时刻机械臂的位姿后，将位姿对应的匹配机械臂的物理模型，得到未来状态模型。

在一些实施例中，为简化运算过程，可以将机械臂简化为点杆结构，将机械臂的关节视做点，将机械臂的手臂视做杆，根据上述步骤中计算出的未来时刻的机械臂的位姿，将位姿中机械臂关节的角度、手臂的长度和角度映射于第三简化模型中，可以得到一个反映出机械臂位姿的第三简易模型，但因在实际使用过程中遮挡人体的并非第三简易模型，因此需将第三简易模型匹配对应的机械臂物理模型。具体的，搜寻机械臂数据库中与第三简易模型点的角度相对应的关节以及与简易模型中杆的角度和长度相对应的手臂，之后将第三简易模型中的点替换为该对应的关节，将杆替换为该对应的手臂，之后将前述的关节以及手臂组合起来，得到机械臂的未来状态模型。

在一些实施例中，可以在计算出未来时刻机械臂的位姿后，同样的将机械臂简化为点杆结构，并对应的确定第三简易模型。在确定第三简易模型后，将第三简易模型视作一个整体，搜寻机械臂数据库中与该简易模型中的点的角度相对应且杆的长度和角度相对应的机械臂，之后将第三简易模型整体替换为机械臂，得到机械臂的未来状态模型。

在一些实施例中，可以事先设置仿真机械臂，与现实中遮挡人体的机械臂的尺寸一致，在获取到未来时刻机械臂每个关节的数据信息后，将未来时刻的关节数据输入控制仿真机械臂的系统中，仿真机械臂可以自动模拟出未来时刻机械臂的位姿，又因仿真机械臂与现实机械臂比例相同，直接将模拟后得到的仿真结果作为未来状态模型。

在一些实施例中，当参考时刻包括历史时刻和未来时刻时，第二状态模型可以包括历史状态模型和未来状态模型，具体地，可以获取历史时刻的机械臂每个关节的数据信息——历史时刻的数据信息可以从机械臂控制系统的历史数据中直接获取，历史时刻的数据信息具体有手臂的长度、各个关节的坐标信息以及关节的角度信息，可以获取机械臂的每个关节的坐标值以及手臂在空间中的长度和角度，进而求得历史时刻机械臂的位姿。

在获取历史时刻机械臂的位姿后，将位姿对应的匹配机械臂的物理模型，得到历史状态模型。

在一些实施例中，为简化运算过程，将机械臂简化为点杆结构，将机械臂的关节视做点，将机械臂的手臂视做杆，根据上述步骤中计算出的历史时刻的机械臂的位姿，将位姿中机械臂关节的角度、手臂的长度和角度映射于简化模型中，可以得到一个反映出机械臂位姿的简易模型，但因在实际使用过程中遮挡人体的并非简易模型，因此需将简易模型匹配对应的机械臂物理模型。具体的，搜寻机械臂数据库中与简易模型点的角度相对应的关节以及与简易模型中杆的角度和长度相对应的手臂，之后将简易模型中的点替换为该对应的关节，将杆替换为该对应的手臂，之后将前述的关节以及手臂组合起来，得到机械臂的历史状态模型。

在一些实施例中，计算出历史时刻机械臂的位姿后，同样的将机械臂简化为点杆结构，并对应的确定简易模型。在确定简易模型后，将简易模型视作一个整体，搜寻机械臂数据库中与该简易模型中的点的角度相对应且杆的长度和角度相对应的机械臂，之后将简易模型整体替换为机械臂，得到机械臂的历史状态模型。

在一些实施例中，事先设置仿真机械臂，与现实中遮挡人体的机械臂的尺寸一致，在获取到历史时刻机械臂每个关节的数据信息后，将历史时刻的关节数据输入控制仿真机械臂的系统中，仿真机械臂可以自动模拟出历史时刻机械臂的位姿，又因仿真机械臂与现实机械臂比例相同，直接将模拟后得到的仿真结果作为历史状态模型。

在一些实施例中，未来时刻的机械臂每个关节的数据信息从机械臂的控制指令中获取。在机械臂运行前，会事先设定机械臂的控制指令。

机械臂的控制指令为控制机械臂上的某一点，从某一坐标点移动到另一坐标点，或者机械臂上的某一点，从某一角度，移动到另一角度。因此，从机械臂的控制指令中可以获取到机械臂未来的坐标点或角度的运动状态，即移动数据。

当获取到移动数据后，根据移动数据，根据现有技术中的相关算法，可以准确的计算出机械臂在某一确定的未来时刻的数据信息，具体有未来时刻的手臂的长度、各个关节的坐标信息以及关节的角度信息，进而可以获取机械臂的每个关节的坐标值以及手臂在空间中的长度和角度，进而求得未来时刻机械臂的位姿。

在获取未来时刻机械臂的位姿后，将位姿对应的匹配机械臂的物理模型，得到未来状态模型。

在一些实施例中，为简化运算过程，将机械臂简化为点杆结构，将机械臂的关节视做点，将机械臂的手臂视做杆，根据上述步骤中计算出的未来时刻的机械臂的位姿，将位姿中机械臂关节的角度、手臂的长度和角度映射于简化模型中，可以得到一个反映出机械臂位姿的简易模型，但因在实际使用过程中遮挡人体的并非简易模型，因此需将简易模型匹配对应的机械臂物理模型。具体的，搜寻机械臂数据库中与简易模型点的角度相对应的关节以及与简易模型中杆的角度和长度相对应的手臂，之后将简易模型中的点替换为该对应的关节，将杆替换为该对应的手臂，之后将前述的关节以及手臂组合起来，得到机械臂的未来状态模型。

在一些实施例中，计算出未来时刻机械臂的位姿后，同样的将机械臂简化为点杆结构，并对应的确定简易模型。在确定简易模型后，将简易模型视作一个整体，搜寻机械臂数据库中与该简易模型中的点的角度相对应且杆的长度和角度相对应的机械臂，之后将简易模型整体替换为机械臂，得到机械臂的未来状态模型。

在一些实施例中，事先设置仿真机械臂，与现实中遮挡人体的机械臂的尺寸一致，在获取到未来时刻机械臂每个关节的数据信息后，将未来时刻的关节数据输入控制仿真机械臂的系统中，仿真机械臂可以自动模拟出未来时刻机械臂的位姿，又因仿真机械臂与现实机械臂比例相同，直接将模拟后得到的仿真结果作为未来状态模型。

再进一步地，可以将上述步骤中的历史状态模型和未来状态模型合并作为所述第二状态模型。

需要注意的是，上述步骤中提到的历史时刻和参考时刻的个数并不限定为一个，可以为多个，相应的，第二状态模型中的状态模型的个数也可以为多个。

经过上述步骤确定第一状态模型和第二状态模型后，将第一状态模型和第二状态模型中的数据做汇总，以确定动态遮挡模型。进一步地，可以利用该动态遮挡模型和遮挡图像确定当前时刻的标注图像。

具体的，参考图6，本申请实施例的所述根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像，包括以下步骤：

步骤S601，根据所述动态遮挡模型模拟得到所述当前时刻的机械臂图像和所述参考时刻的机械臂图像；其中，所述参考时刻包括：历史时刻和/或未来时刻。

步骤S602，将所述当前时刻的机械臂图像、所述参考时刻的机械臂图像和所述当前时刻的遮挡图像叠加以确定待标注图像。

步骤S603，根据所述待标注图像，提取当前时刻的机械臂位置和参考时刻的机械臂位置。

步骤S604，对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，以确定标注图像。

在一些实施例中，可以利用仿真系统来模拟与现实中视角相机的相同视角，在该视角下，使用仿真环境中同视角的相机对该仿真环境中的动态遮挡模型进行成像，得到当前时刻的机械臂图像和参考时刻的机械臂图像。

进一步地，将当前时刻的机械臂图像和参考时刻的机械臂图像叠加至当前时刻的遮挡图像上，得到待标注图像。其中，待标注图像上可以包括参考时刻的机械臂图像以及当前时刻的机械臂图像，整体图像可以以当前时刻的机械臂图像为基底图像，在当前时刻的机械臂图像上描绘出参考时刻的机械臂图像在基底图像上的位置。

需要说明的是，参考时刻的机械臂图像可以包括历史时刻的机械臂图像和/或未来时刻的机械臂图像，也即在基底图像上可以仅包括与历史时刻的机械臂图像中机械臂对应的机械臂位置或未来时刻的机械臂图像中机械臂对应的机械臂位置，或同时包括历史时刻和未来时刻的机械臂图像中机械臂对应的机械臂位置。

再进一步地，在待标注图像中提取当前时刻的机械臂位置和参考时刻的机械臂位置，之后对当前时刻的机械臂位置和参考时刻的机械臂位置进行置信度的标注，需要注意的是，当参考时刻的机械臂位置与当前时刻的机械臂位置有重合部分时，先标注当前时刻的机械臂位置的置信度，之后再从参考时刻的置信度位置中将其与当前时刻的机械臂位置重合的部分去除，对剩余部分再进行置信度的标注。

在一些实施例中，在进行置信度标注时，当前时刻的机械臂位置的置信度小于参考时刻的机械臂位置的置信度。另外，若存在多个参考时刻时，参考时刻距离当前时刻的时间间距越长，该参考时刻对应的机械臂位置的置信度越大。也即，例如当前时刻为0毫秒，其中一个参考时刻A为-1毫秒，另一个参考时刻B为-5毫秒，则参考时刻A对应的机械臂位置的置信度小于参考时刻B对应的机械臂位置的置信度。或者，例如当前时刻为0毫秒，其中一个参考时刻C为-2毫秒，另一个参考时刻D为10毫秒，则参考时刻C对应的机械臂位置的置信度小于参考时刻D对应的机械臂位置的置信度。

在一些实施例中，可以将当前时刻的机械臂位置的置信度标注为零。

对遮挡图像进行置信度标注后得到标注图像，之后将标注图像和未遮挡图像输入预训练的遮挡补全模型中，最终得到了当前时刻的补全图像。

在一些实施例中，该预训练的遮挡补全模型以样本的初始未遮挡图像、当前时刻的样本的被遮挡图像、当前时刻的样本的未遮挡图像以及样本的动态遮挡模型作为训练集，在训练过程中，利用样本的动态遮挡模型对被遮挡图像进行置信度标注，得到样本的标注图像，之后利用机器学习方法，以样本的标注图像和样本的初始未遮挡图像作为输入，以遮挡补全的图像作为输出，以遮挡补全的图像和当前时刻的样本的未遮挡图像计算损失，迭代训练得到遮挡补全模型。

在一些实施例中，该预训练的遮挡补全模型的训练集是在仿真环境中获取的，该训练集由真实的未遮挡图像、仿真环境中的当前时刻的被遮挡图像、仿真环境中的动态遮挡模型以及仿真环境中的当前时刻的未遮挡图像，在训练过程中，利用仿真环境中的动态遮挡模型对仿真环境中的当前时刻的被遮挡图像进行置信度标注，得到仿真环境中的标注图像，之后利用机器学习方法，以仿真环境中的标注图像和真实的未遮挡图像作为输入，得到仿真的遮挡补全图像，以仿真的遮挡补全图像和仿真环境中的当前时刻的未遮挡图像计算损失，迭代训练得到遮挡补全模型。

通过上述实施例可以看出本申请实施例所述的补全遮挡信息的方法，通过获取未遮挡图像和当前时刻的遮挡图像，根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，根据所述第一状态模型和所述第二状态模型确定动态遮挡模型，根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像，将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。对于待补全的遮挡图像来说，通过获取当前时刻以及参考时刻的机械臂的状态模型，并利用状态模型对遮挡图像进行置信度标注，可以忽略因视角相机的延迟在遮挡图像上产生的边缘模糊现象，进一步的，有效减轻了遮挡图像中的遮挡边缘的模糊部分对图像补全的影响，进而提升了后续在预训练的遮挡补全模型中得到的补全后的图像质量，且在此过程中只需使用一个视角相机，有效降低了任务的复杂程度，便于后期的使用以及设备维护，并且通过结合多个时刻的机械臂的状态模型，使得补全的图像信息更加准确。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种补全遮挡信息的装置。

参考图7，所述补全遮挡信息的装置，包括：

获取模块，被配置为获取未遮挡图像和当前时刻的遮挡图像；

确定模块，被配置为根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；

确定模块，被配置为根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；

合并模块，被配置为根据所述第一状态模型和所述第二状态模型确定动态遮挡模型；

标注模块，被配置为根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像；

遮挡补全模块，被配置为将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

在一种可能的实现方式中，所述确定模块进一步被配置为：

获取所述当前时刻的机械臂每个关节的数据信息；其中，所述当前时刻的数据信息，包括：第一角度信息；

根据所述第一角度信息确定所述当前时刻的机械臂的位姿；

根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型。

在一种可能的实现方式中，所述装置，还包括：匹配模块；

所述匹配模块进一步被配置为：

根据当前时刻的机械臂的位姿确定机械臂的第一简易模型；其中，所述第一简易模型包括至少一个第一机械臂模块；

分别匹配每个所述第一机械臂模块对应的机械臂物理模型以确定至少一个第一待组合物理模型；

根据所述至少一个第一待组合物理模型确定所述机械臂的第一状态模型。

在一种可能的实现方式中，所述参考时刻，包括：历史时刻；所述第二状态模型包括历史状态模型；

其中，所述确定模块进一步被配置为：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型。

在一种可能的实现方式中，所述确定模块进一步被配置为：

根据所述历史时刻的机械臂的位姿确定机械臂的第二简易模型；其中，所述第二简易模型包括至少一个第二机械臂模块；

分别匹配每个所述第二机械臂模块对应的机械臂物理模型以确定至少一个第二待组合物理模型；

根据至少一个所述第二待组合物理模型确定所述机械臂的历史状态模型。

在一种可能的实现方式中，所述参考时刻，包括：未来时刻；所述第二状态模型，包括：未来状态模型；

其中，所述确定模块进一步被配置为：

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型。

在一种可能的实现方式中，所述确定模块进一步被配置为：

根据未来时刻的机械臂的位姿确定机械臂的第三简易模型；其中，所述第三简易模型包括至少一个第三机械臂模块；

分别匹配每个所述第三机械臂模块对应的机械臂物理模型以确定至少一个第三待组合物理模型；

根据至少一个第三待组合物理模型确定所述机械臂的未来状态模型。

在一种可能的实现方式中，所述参考时刻，包括：历史时刻和未来时刻；所述第二状态模型，包括：历史状态模型和未来状态模型；

其中，所述确定模块进一步被配置为：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型；

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型；

根据所述历史状态模型和所述未来状态模型确定所述第二状态模型。

在一种可能的实现方式中，所述标注模块进一步被配置为：

根据所述动态遮挡模型模拟得到所述当前时刻的机械臂图像和所述参考时刻的机械臂图像；其中，所述参考时刻包括：历史时刻和/或未来时刻；

将所述当前时刻的机械臂图像、所述参考时刻的机械臂图像和所述当前时刻的遮挡图像叠加以确定待标注图像；

根据所述待标注图像，提取当前时刻的机械臂位置和参考时刻的机械臂位置；

对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，以确定标注图像。

在一种可能的实现方式中，所述标注模块进一步被配置为：

将所述待标注图像中的所述当前时刻的机械臂位置的置信度标注为第一置信度；

将所述待标注图像中的所述参考时刻的机械臂位置的置信度标注为第二置信度；其中，所述第一置信度小于所述第二置信度。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的补全遮挡信息的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的补全遮挡信息的方法。

图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的补全遮挡信息的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的补全遮挡信息的方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的补全遮挡信息的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种补全遮挡信息的方法，其特征在于，包括：

获取未遮挡图像和当前时刻的遮挡图像；

根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；

根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；

根据所述第一状态模型和所述第二状态模型确定动态遮挡模型；

根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像；

将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

2.根据权利要求1所述的方法，其特征在于，所述根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型，包括：

获取所述当前时刻的机械臂每个关节的数据信息；其中，所述当前时刻的数据信息，包括：第一角度信息；

根据所述第一角度信息确定所述当前时刻的机械臂的位姿；

根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型。

3.根据权利要求2所述的方法，其特征在于，所述根据当前时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的第一状态模型，还包括：

根据当前时刻的机械臂的位姿确定机械臂的第一简易模型；其中，所述第一简易模型包括至少一个第一机械臂模块；

分别匹配每个所述第一机械臂模块对应的机械臂物理模型以确定至少一个第一待组合物理模型；

根据所述至少一个第一待组合物理模型确定所述机械臂的第一状态模型。

4.根据权利要求1所述的方法，其特征在于，所述参考时刻，包括：历史时刻；所述第二状态模型包括历史状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型，还包括：

根据所述历史时刻的机械臂的位姿确定机械臂的第二简易模型；其中，所述第二简易模型包括至少一个第二机械臂模块；

分别匹配每个所述第二机械臂模块对应的机械臂物理模型以确定至少一个第二待组合物理模型；

根据至少一个第二待组合物理模型确定所述机械臂的历史状态模型。

6.根据权利要求1所述的方法，其特征在于，所述参考时刻，包括：未来时刻；所述第二状态模型，包括：未来状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型。

7.根据权利要求6所述的方法，其特征在于，所述根据未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型，还包括：

根据未来时刻的机械臂的位姿确定机械臂的第三简易模型；其中，所述第三简易模型包括至少一个第三机械臂模块；

分别匹配每个所述第三机械臂模块对应的机械臂物理模型以确定至少一个第三待组合物理模型；

根据至少一个第三待组合物理模型确定所述机械臂的未来状态模型。

8.根据权利要求1所述的方法，其特征在于，所述参考时刻，包括：历史时刻和未来时刻；所述第二状态模型，包括：历史状态模型和未来状态模型；

其中，所述根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型，还包括：

获取所述历史时刻的机械臂每个关节的数据信息；其中，所述历史时刻的数据信息，包括：第二角度信息；

根据所述第二角度信息确定历史时刻的机械臂的位姿；

根据所述历史时刻的机械臂的位姿匹配机械臂的物理模型以确定所述机械臂的历史状态模型；

解析获取到的所述机械臂的控制指令以确定移动数据；

根据所述移动数据确定所述未来时刻的机械臂每个关节的数据信息；其中，所述未来时刻的数据信息，包括：第三角度信息；

根据所述第三角度信息确定所述未来时刻的机械臂的位姿；

根据所述未来时刻的机械臂的位姿匹配所述机械臂的物理模型以确定所述机械臂的未来状态模型；

根据所述历史状态模型和所述未来状态模型确定所述第二状态模型。

9.根据权利要求1所述的方法，其特征在于，所述根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像，还包括：

根据所述动态遮挡模型模拟得到所述当前时刻的机械臂图像和所述参考时刻的机械臂图像；其中，所述参考时刻包括：历史时刻和/或未来时刻；

将所述当前时刻的机械臂图像、所述参考时刻的机械臂图像和所述当前时刻的遮挡图像叠加以确定待标注图像；

根据所述待标注图像，提取当前时刻的机械臂位置和参考时刻的机械臂位置；

对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，以确定标注图像。

10.根据权利要求9所述的方法，其特征在于，所述对所述待标注图像中的所述当前时刻的机械臂位置和所述参考时刻的机械臂位置进行置信度标注，还包括：

将所述待标注图像中的所述当前时刻的机械臂位置的置信度标注为第一置信度；

将所述待标注图像中的所述参考时刻的机械臂位置的置信度标注为第二置信度；其中，所述第一置信度小于所述第二置信度。

11.一种补全遮挡信息的装置，其特征在于，包括：

获取模块，被配置为获取未遮挡图像和当前时刻的遮挡图像；

确定模块，被配置为根据获取到的当前时刻的机械臂关节数据确定机械臂的第一状态模型；

确定模块，被配置为根据获取到的参考时刻的机械臂关节数据确定机械臂的第二状态模型；

合并模块，被配置为根据所述第一状态模型和所述第二状态模型确定动态遮挡模型；

标注模块，被配置为根据所述动态遮挡模型和所述遮挡图像以确定当前时刻的标注图像；

遮挡补全模块，被配置为将所述标注图像和所述未遮挡图像输入预训练的遮挡补全模型以确定当前时刻的补全图像。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任意一项所述的方法。

13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求1至10任一所述方法。

Images