CN116071527A - 一种对象处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种对象处理方法、装置、存储介质及电子设备，其中，方法包括：从实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，基于关键点的不确定性参数从多个关键点中确定多个基础关键点以及多个第一参考关键点，基于虚拟对象对应的虚拟对象图像和实体对象图像对多个第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。

Description

一种对象处理方法、装置、存储介质及电子设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种对象处理方法、装置、存储介质及电子设备。

背景技术

诸如元宇宙、数字孪生等虚拟场景在近年来得到了广泛的关注入，在元宇宙、数字孪生等场景下最为关键的进行虚拟对象的驱动，使得虚拟对象在诸如元宇宙等虚拟场景中可以如实体对象在真实物理世界中一样自然地运动和交流。

发明内容

本说明书提供了一种对象处理方法、装置、存储介质及电子设备，所述技术方案如下：

第一方面，本说明书提供了一种对象处理方法，所述方法包括：

获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

第二方面，本说明书提供了一种对象处理装置，所述装置包括：

图像获取模块，用于获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

关键点确定模块，用于基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数

搜索调整模块，用于获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

驱动处理模块，用于基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本说明书一些实施例提供的技术方案带来的有益效果至少包括：

在本说明书一个或多个实施例中，电子设备通过从获取的实体对象图像中确定针对虚拟对象的多个关键点以及关键点的不确定性参数，以区分多个基础关键点以及多个第一参考关键点，然后基于虚拟对象对应的虚拟对象图像和实体对象图像对多个不确定性程度高的第一参考关键点进行区域搜索调整，可以得到针对第一参考关键点的第二参考关键点，从而就可以基于基础关键点和第二参考关键点对虚拟对象进行对象驱动处理。整个对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。

附图说明

为了更清楚地说明本说明书或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书提供的一种对象处理系统的场景示意图；

图2是本说明书提供的一种对象处理方法的流程示意图；

图3是本说明书提供的另一种对象处理方法的流程示意图；

图4是本说明书提供的一种用户关系图谱确定过程的流程示意图；

图5是本说明书提供的一种对象处理装置的结构示意图；

图6是本说明书提供的一种关键点确定模块的结构示意图；

图7是本说明书提供的一种电子设备的结构示意图；

图8是本说明书提供的操作系统和用户空间的结构示意图；

图9是图8中安卓操作系统的架构图；

图10是图8中IOS操作系统的架构图。

具体实施方式

下面将结合本说明书中的附图，对本说明书中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本说明书的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义。此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在相关技术中，虚拟对象驱动可以是通过高精度的传感监测器件(如高精度传感器)采集实体对象的关键点数据进行关键点驱动，需要成本较高的传感监测装置，虚拟对象的驱动精度依赖于传感器的采集精度(例如需要驱动面部动作时，就需要用相应的高精度设备进行稠密的关键点采集)，传感器的采集精度若精度不高就会造成虚拟对象驱动的动作连续性和自然性较差，与实体对象的动作有明显的不一致，且这种驱动方式手受限于器件限制，对象驱动不便捷。

下面结合具体的实施例对本说明书进行详细说明。

本说明书一个或多个实施例可提供的一种对象处理系统，所述对象处理系统至少可以包括客户端集群，在一些实施例中也可以包括客户端集群和服务平台100。

请参见图1，为本说明书提供的一种对象处理系统的场景示意图。如图1所示，所述对象处理系统至少可以包括客户端集群，在一些实施例中也可以包括客户端集群和服务平台100。

所述客户端集群可以包括至少一个客户端，如图1所示，具体包括实体对象1对应的客户端1、实体对象2对应的客户端2、…、体对象n对应的客户端n，n为大于0的整数。

客户端集群中的各客户端可以是具备采集真实世界下实体对象的对象数据(如图像数据、视频数据、姿态数据等数据)功能的电子设备，该电子设备包括但不限于：可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personaldigital assistant，PDA)、5G网络或未来演进网络中的电子设备等。

所述服务平台100可以是单独的服务器设备，例如：机架式、刀片、塔式、或者机柜式的服务器设备，或采用工作站、大型计算机等具备较强计算能力硬件设备；也可以是采用多个服务器组成的服务器集群，所述服务集群中的各服务器可以是以对称方式组成的，其中每台服务器在事务链路中功能等价、地位等价，各服务器均可单独对外提供服务，所述单独提供服务可以理解为无需另外的服务器的辅助。

本说明书一个或多个实施例的对象处理方法可应用的应用场景包括但不限于元宇宙场景、增强现实场景、虚拟现实场景、视觉特效场景等一种或多种的拟合，在前述场景可采用所述对象处理方法基于真实物理世界的实体对象实现对虚拟对象的驱动控制。例如可通过客户端1基于实体对象1实现驱动控制虚拟对象1、可通过客户端2基于实体对象2实现驱动控制虚拟对象2、...可通过客户端n基于实体对象n实现驱动控制虚拟对象n等等。

示意性的，以客户端1为例进行释义，客户端1可执行本说明书一个或多个实施例的对象处理方法，如获取针对实体对象1的实体对象图像，从实体对象图像确定针对虚拟对象1的多个关键点以及所述关键点的不确定性参数，虚拟对象为客户端1基于实体对象驱动的对象，通过基于关键点的不确定性参数从多个关键点中确定多个基础关键点以及多个第一参考关键点，通常第一参考关键点的不确定性参数小于基础关键点的不确定性参数，然后获取虚拟对象对应的虚拟对象图像，基于虚拟对象图像和实体对象图像对多个第一参考关键点进行区域搜索调整，得到针对多个第一参考关键点的多个第二参考关键点，从而基于多个基础关键点和多个第二参考关键点对虚拟对象进行对象驱动处理。

示意性的，参考图1，服务平台100可以用于向客户端1、客户端2、客户端3、……、客户端n的实体对象1、实体对象2、实体对象3、……、实体对象n提供各种虚拟场景，例如各种虚拟运动场景、虚拟游戏场景。实体对象1、实体对象2、实体对象3、...实体对象n可以选择同一虚拟游戏场景，例如通过建立同一虚拟游戏场景的场景链接、场景应用等媒介使得实体对象1、实体对象2、实体对象3、实体对象n分别通过各自的客户端1、客户端2、客户端3、客户端n进入同一虚拟场景，以实现实体对象1、实体对象2、实体对象3、实体对象n在该虚拟场景中的运动游戏过程。例如图2中，实体对象1、实体对象2、实体对象n均为虚拟游戏场景下的游戏玩家，实体对象1、实体对象2、实体对象3与实体对象n可以位于不同的地理位置，分别通过客户端1、客户端2、客户端3、客户端n与服务平台100进行通信，进入元宇宙中的一虚拟游戏场景，如某个日常对战游戏虚拟场景。那么，实体对象1、实体对象2、实体对象3、实体对象n可以经由服务平台100在该对战游戏虚拟场景中建立各自对应的虚拟对象1、虚拟对象2、虚拟对象3(图1中未示出)、虚拟对象n，实体对象1、实体对象2、实体对象n做出各种肢体动作，各自的客户端1、客户端2、客户端n通过采集包含这些肢体动作的数据(如实体对象图像)并执行所述对象处理方法得到若干关键点(如基础关键点、第二参考关键点等)，客户端可以基于这些关键点对虚拟对象进行对象驱动处理，将处理后的驱动数据发送至服务平台将其转换为虚拟场景中对应的虚拟动作数据；客户端也可以将包含这些肢体动作的数据(如实体对象图像)发送至服务平台100，服务平台100接收到这些数据执行所述对象处理方法将其转换为虚拟场景中对应的虚拟动作数据。

在本说明书的一个或多个实施例中，服务平台100与客户端集群中的至少一个客户端可建立通信连接，基于该通信连接完成对象处理过程中数据的交互，诸如线上事务数据交互，如服务平台100可基于本说明书的对象处理方法得到的目标神经网络模型可实现向客户端进行内容推荐；又如，服务平台100可从客户端上获取训练数据，如第一训练数据。

需要说明的是，服务平台100与客户端集群中的至少一个客户端通过网络建立通信连接进行交互通信，其中，网络可以是无线网络，也可以是有线网络，无线网络包括但不限于蜂窝网络、无线局域网、红外网络或蓝牙网络，有线网络包括但不限于以太网、通用串行总线(universal serial bus，USB)或控制器局域网络。在说明书一个或多个实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据(如目标压缩包)。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

本说明书所提供的对象处理系统实施例与一个或多个实施例中的所述对象处理方法属于同一构思，在说明书一个或多个实施例涉及的所述对象处理方法对应的执行主体可以是上述服务平台100；在说明书一个或多个实施例涉及的所述对象处理方法对应的执行主体也可以是客户端所对应的电子设备，具体基于实际应用环境确定。对象处理系统实施例其体现实现过程可详见下述的方法实施例，这里不再赘述。

基于图1所示的场景示意图，下面对本说明书一个或多个实施例提供的对象处理方法进行详细介绍。

请参见图2，为本说明书一个或多个实施例提供了一种对象处理方法的流程示意图，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的对象处理装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。所述对象处理装置可以为电子设备。

具体的，该对象处理方法包括：

S102：获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

所述实体对象可以理解为真实物理世界空间下的对象，如可以是真实物理世界空间下的用户、动物、植物等对象；

所述实体对象图像可以理解为针对实体对象所采集的图像；

所述不确定性参数可以理解为用于表征某个关键点的不确定程度，不确定性参数可以是以确定某个像素点为关键点的不确定度、置信度等参数中的一种或多种的拟合来表征。

可以理解的，基于实体对象的虚拟对象驱动，通过采集实体对象的变化进行驱动，在本说明书，可以通过图像采集部分采集真实世界空间下实体对象的实体对象图像，可以是以采集实体对象视频、实体对象图片等形式，然后通过实体对象图像识别出若干的关键点的关键点信息(如关键点标识、关键点坐标)，例如在基于实体对象对虚拟对象的面部驱动场景中可以设置256个关键点、512个关键点等，通过确定实体对象的这些关键点即可根据关键点进行虚拟对象的驱动处理，如在确定每一采样时刻实体对象n个关键点，基于这n个关键点对应的关键点信息即可实现虚拟对象的驱动。

在相关技术中，通过采集实体对象的数据进行关键点驱动，需要成本较高的监测装置，虚拟对象的驱动精度依赖于传感器的采集精度(例如需要驱动面部动作时，就需要用相应的高精度设备进行稠密的关键点采集)，驱动方式不不便捷。通过执行本说明书一个或多个实施例的对象处理方法，在不依赖高成本传感器的情况下，完成高精度的真人驱动、实现设备缩小化应用。

在本说明书一个或多个实施例中，可以对实体对象图像进行关键点识别，识别出用于表征实体对象变化的若干关键点，关键点携带关键点信息(如关键点标识、关键点坐标)，同时在关键点识别阶段还输出针对关键点的不确定性参数，通过不确定性参数实现对每个关键点的不确定性以及置信程度的度量。通过引入不确定性参数除了识别关键点以及其对应的关键点信息之外可以表征预测的关键点的准确程度。

在本说明书一个或多个实施例中，可以采用图像识别算法对实体对象图像进行关键点识别，从而可以识别出用于表征实体对象变化的若干关键点，然后在图像识别算法中引入用于衡量关键点的不确定程度的部分，从而可以在进行关键点识别环节可以输出每个关键点的不确定性。

S104：基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

可选的，可以设置不确定性参数的数值范围，对于落入数值范围内的关键点作为第一参考关键点，而未落入数值范围内的关键点可以作为基础关键点，基础关键点的不确定性参数小于所述基础关键点的不确定性参数

可选的，可以预先设置关键点回归阈值，关键点回归阈值用于区分不确定性较高的关键点。

示意性的，可以获取关键点回归阈值；关键点回归阈值可以预先保存，或实时向维护端获取；

示意性的，将不确定性参数大于所述关键点回归阈值的关键点作为第一参考关键点；

示意性的，将所述不确定性参数小于或等于所述关键点回归阈值的关键点作为基础关键点。

S106：获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

所述虚拟对象图像为虚拟对象对应的图像，虚拟对象图像为设备基于实体对象驱动后得到的。例如虚拟对象图像可以是元宇宙场景中设备驱动的图像。

在本说明书一个或多个实施例中，基于不确定性参数确定不确定性高的若干第一参考关键点，通常若干第一参考关键点可以用于表征不确定性高的区域，通过引入虚拟对象图像采用区域搜索的方式对这些第一参考关键点对应的关键点信息进行调整(如更新第一参考关键点的关键点坐标)，区域搜索调整的过程中可以抛弃不确定性高的关键点，区域搜索调整通过图像区域是否相似为评价标准搜索实体对象图像和虚拟对象图像中多个第一参考关键点指示的相似区域，然后结合虚拟对象图像中所匹配搜索到的相似度高的区域，相似度高的区域中若干关键点的关键点信息可以用于对第一参考关键点进行调整更新，从而得到每个调整更新后的第二参考关键点，经搜索调整后的第二参考关键点其不确定性大幅降低，可以辅助提高后续对象驱动处理的准确性。

S108：基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

可以理解的，在得到多个基础关键点和经不确定性校准后的第二参考关键点后，这些关键点可以实现对虚拟对象的准确确定，电子设备可以基于这些基础关键点以及第二参考关键点对虚拟对象进行对象驱动处理，将处理后的驱动数据转换为虚拟场景中对应的虚拟动作数据。

在本说明书一个或多个实施例中，基于若干关键点对虚拟对象进行对象驱动可采用相关技术中关键点驱动方法，此处不作赘述。

在本说明书一个或多个实施例中，对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。

请参见图3，图3是本说明书一个或多个实施例提出的一种对象处理方法的另一种实施例的流程示意图。具体的：

S202：获取针对实体对象的实体对象图像；

S204：将所述实体对象图像输入至关键点预测模型进行关键点预测处理，以输出针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

所述关键点预测模型用于基于输入的实体对象图像进行关键点预测，在关键点预测的过程中确定用于驱动虚拟对象的若干关键点，并预测每个关键点的不确定性程度以生成不确定性参数，从而输出针对虚拟对象的多个关键点以及每个关键点的不确定性参数。

可以理解的通过关键点预测模型可以实现对每个关键点的不确定性程度的量化，可以辅助后续对不确定性高的关键点进行调整，对于不确定性参数指示的不准确的关键点，实现了额外的关注。在一些实施例中，关键点预测模型可以是基于关键点回归模型实现的

可选的，不确定性参数可以是以百分比、数值等形式进行表征，在一些实施例中，不确定性参数可以是置信度、不确定度等参数中的一种或多种的拟合。

进一步的，可采用相关技术中的模型训练手段预先可创建初始关键点预测模型采用第一样本实体对象对初始关键点预测模型进行模型训练，直至初始关键点预测模型满足模型结束训练条件，可以得到训练后的关键点预测模型。

示意性的，以下示出一种关键点预测模型的模型训练过程：

A2：获取第一样本实体图像，确定所述第一样本实体图像的关键点标签以及不确定性参数标签，所述不确定性参数标签为基于所述关键点标签对所述第一样本实体图像扰动后得到的不确定性参数；

所述第一样本实体图像为初始关键点预测模型在模型训练阶段的样本图像，通常是采集真实物理世界空间下的实体用户的RGB图像。

模型训练阶段预先可获取大量的样本数据也即第一样本实体图像，然后对第一样本实体图像进行关键点标签标注，也即从第一样本实体图像中确定若干准确的关键点作为关键点标签，例如可以采用专家端服务或精准的传感器对第一样本实体图像中的全部或部分进行关键点标签标注；

示意性的，在确定第一样本实体图像中的全部或部分图像的关键点标签之后，对确定关键点标签的第一样本实体图像进行针对关键点标签的图像扰动处理，并将关键点标签指示关键点信息与扰动后关键点标签的实际关键点信息之间的差异参数作为不确定性参数。

可选的，可以是在确定第一样本实体图像的关键点标签后，关键点标签对应关键点坐标，对关键点标签对应关键点坐标进行随机扰动，此时生成扰动后的第一样本实体图像，并将扰动后的关键点坐标与原始关键点坐标之间的坐标差参数，作为不确定性参数，来训练模型关键点预测能量。可以理解的，关键点坐标与原始关键点坐标之间的差越大，对应不确定性越大，也即可满足不确定性越大，关键点预测越不准确的期望；

A4：采用所述第一样本实体图像对初始关键点预测模型进行至少一轮模型训练；

所述初始关键点预测模型可以是基于机器学习网络中的一种或多种的拟合实现的，机器学习网络包括但不限于卷积神经网络(Convolutional Neural Network，CNN)模型，深度神经网络(Deep Neural Network，DNN)模型、循环神经网络(Recurrent NeuralNetworks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient BoostingDecision Tree，GBDT)模型、逻辑回归(Logistic Regression，LR)模型等机器学习模型中的一种或多种的拟合创建的。

A6：在每轮模型训练过程中，输出针对所述第一样本实体图像的样本关键点以及所述样本关键点的样本不确定性参数，基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，基于所述第一模型损失对所述初始关键点预测模型进行模型参数调整，直至所述初始关键点预测模型满足模型结束训练条件，得到关键点预测模型。

示意性的，在每轮模型训练过程中，初始关键点预测模型通常会对输入第一样本实体图像进行特征处理，提取关键点图像特征，实际事务应用中，期望模型所提取出的关键点图像特征可呈现较高质量、较强的泛化性、可适应复杂实体对象环境、具备跨域能力等；提取出的关键点图像特征的用于初始关键点预测模型关键点识别，以得到每一轮关键点识别后的样本关键点和样本关键点对应的样本不确定性参数；

所述样本关键点为初始关键点预测模型在模型训练阶段的输出关键点；

所述样本不确定性参数为初始关键点预测模型在模型训练阶段的针对样本关键点的进行预测的表征不确定程度的参数。

所述第一模型损失为初始关键点预测模型的模型训练阶段的损失，用于在反向传播过程中对初始关键点预测模型进行模型参数调整。

在本说明书一个或多个实施例中，其中模型结束训练条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。具体模型结束训练条件可基于实际情况确定，此处不作具体限定。

在一种可行的实施方式，所述基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，可以是：

具体的，基于所述样本关键点与所述关键点标签采用第一损失计算式确定关键点回归损失，基于所述样本不确定性参数与所述不确定性参数标签采用第二损失计算式确定不确定性预测损失；

所述关键点回归损失用于表征样本关键点与关键点标签之间的关键点预测误差；

所述不确定性预测损失用于表征样本不确定性参数和表征的不确定性参数标签之间的不确定性预测误差；

具体的，基于所述关键点回归损失和所述不确定性预测损失得到第一模型损失；

所述第一损失计算式满足以下公式：

所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述样本关键点，所述ld_gt为所述关键点标签；

所述第二损失计算式满足以下公式：

所述Loss_uncertainty为所述不确定性预测损失，所述u_pred为所述样本不确定性参数，所述u_gt为所述不确定性参数标签。

S206：基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

S208：获取所述虚拟对象对应的虚拟对象图像，将所述虚拟对象图像、所述实体对象图像以及所述多个第一参考关键点输入至强化学习搜索模型；

S210：通过所述强化学习搜索模型的搜索动作控制在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到所述虚拟对象图像中的目标关键点区域，并基于所述目标关键点区域的目标关键点对所述多个第一参考关键点进行关键点更新得到多个第二参考关键点，输出所述多个第二参考关键点。

可以理解的，强化学习搜索模型中常涉及到模型载体(Agent)、环境(Environment)、状态(State)、动作(Action)和奖励(Reward)。强化学习的目标是学习一个策略，使得强化学习搜索模型在合适的时候做出合适的动作，以获得最大的奖励。

所述目标关键点区域为经区域匹配搜索由强化学习模型所确定的不确定性关键点区域(若干第一参考关键点对应的不确定性区域)在虚拟对象图像中所匹配搭配的区域。

所述第二参考关键点是基于目标关键点区域的若干目标关键点对相应第一参考关键点进行关键点信息更新得到，例如可以是获取指定关键点标识的目标关键点的目标关键点坐标，然后基于目标关键点坐标对同一关键点标识的第一参考关键点进行坐标更新处理。

示意性的，坐标更新处理可以是将目标关键点坐标赋值给第一参考关键点，以更新第一参考关键点的关键点坐标。坐标更新处理可以是基于目标关键点坐标和第一参考关键点的原关键点坐标进行坐标拟合，得到一个拟合后的拟合坐标并基于拟合坐标更新第一参考关键点的关键点坐标。

示意性的，关键点标识可以是以编号来表征相应关键点的额，例如面部驱动通常取相应位置编号类型处n个关键点，每个关键点可以对应一个关键点编号。

在一种可行的实施方式中，所述通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理得到所述虚拟对象图像中的目标关键点区域，可以是：

B2：通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到每轮区域匹配搜索处理后的所述实体对象图像中的第一局部区域以及所述虚拟对象图像中的第二局部区域，所述不确定性区域与所述多个第一参考关键点对应的区域相关联；

可以理解的，强化学习搜索模型的动作(Action)也即为在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，也可称之为搜索动作；

可选的，每轮搜索动作可以是实体对象图像中的第一局部区域向第一参考方向移动第一参考个像素，和/或，虚拟对象图像中的第二局部区域向第二参考方向移动第二参考个像素；

可选的，每轮第一参考方向以及第二参考方向可以是采用随机方式确定的，也可以是设置轮询方向和轮询次数，基于轮询方向和轮询次数来确定每一轮的第一参考方法和第二参考方向；

可选的，每轮第一参考个像素和第二参考个像素可以是随机的，也可以是每一轮固定的像素单位，如每一轮移动2个像素。

可以理解的，强化学习搜索模型的奖励(Reward)可以是最大化区域相似度、区域相似度达到某一相似度阈值；

可选的，所述不确定性区域可以是基于多个第一参考关键点对应的区域所确定的区域，以不确定性区域至少可以包含“多个第一参考关键点对应的区域”即可满足需求，在一些实施例中，不确定性区域至少可以包含“多个第一参考关键点对应的区域”且不含基础关键点。

B4：基于所述第一局部区域以及所述第二局部区域确定区域相似度，并将所述区域相似度作为每轮区域匹配搜索处理后的搜索奖励参数；

所述区域相似度可以理解为基于第一局部区域和第二局部区域进行区别匹配，得到区域相似度。

所述搜索奖励参数为“奖励(Reward)”对应的参数值。

在本说明书一个或多个实施例中，可以通过对第一局部区域和第二局部区域进行区域比对，可以得到一个区域相似度。进一步的，区域比对可以是基于关键像素点的比对，可以是基于区域图像语义的图像语义比对。

B6：基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，基于当前的所述第一局部区域以及所述第二局部区域确定所述虚拟对象图像中的目标关键点区域。

所述“奖励(Reward)”目标可以是最大化区域相似度、区域相似度达到某一相似度阈值；

可选的，所述基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，可以是：

采用相似度最大化奖励函数基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作。

可以理解的，最大化奖励函数可以是最大化“奖励(Reward)”的奖励参数值，也即区域相似度达到最大值。

在一种可行的实施方式中，所述基于所述第一局部区域以及所述第二局部区域确定区域相似度，可以是：

将所述第一局部区域以及所述第二局部区域输入跨域表观相似度模型，输出区域相似度。

所述跨域表观相似度模型用于基于计算所述第一局部区域以及所述第二局部区域的区域相似度。第一局部区域通常为RGB不确定性局部区域图像，第二局部区域为不确定性局部区域对应在虚拟对象图像中的局部区域。

所述跨域表观相似度模型的输入为所述第一局部区域以及所述第二局部区域；

所述跨域表观相似度模型的输出为区域相似度；

可选的，所述跨域表观相似度模型可以是基于机器学习网络中的一种或多种的拟合实现的，机器学习网络包括但不限于卷积神经网络(Convolutional Neural Network，CNN)模型，深度神经网络(Deep Neural Network，DNN)模型、循环神经网络(RecurrentNeural Networks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(GradientBoosting Decision Tree，GBDT)模型、逻辑回归(Logistic Regression，LR)模型等机器学习模型中的一种或多种的拟合创建的。

例如，跨域表观相似度模型可以是基于机器学习网络中的Siamese Network的模型结构；

可以理解的，通过获取大量样本数据，创建初始跨域表观相似度模型并采用样本数据进行模型训练，直至初始跨域表观相似度模型满足模型训练条件，可以得到训练后的跨域表观相似度模型；

可选的，跨域表观相似度模型的模型训练过程如下：

C2:获取多组样本对象图像对，所述样本对象图像对包括经关键点标注处理的第二样本实体图像和第二样本虚拟图像；

C4:对所述样本对象图像对进行关键区域采样，得到第二样本实体区域图像和第二样本虚拟区域图像；

C6:采用各组所述第二样本实体区域图像和第二样本虚拟区域图像对初始跨域表观相似度模型进行至少一轮模型训练；

C8:在每轮模型训练过程中，输出针对所述第二样本实体区域图像和第二样本虚拟区域图像的样本区域相似度，并基于所述样本区域相似度和回归目标损失参数得到第二模型损失，采用对所述初始跨域表观相似度模型进行模型参数调整，直至所述初始跨域表观相似度模型满足模型结束训练条件，得到跨域表观相似度模型

在初始跨域表观相似度模型的训练阶段：将会使用一批标注过的对齐状态良好的同一对象的真实物体世界空间的实体对象数据和相对应的虚拟世界空间的虚拟对象数据作为样本对象图像对，例如“RGB图像数据-元宇宙图像数据”成对数据作为样本对象图像对。

然后并采样关键点区域的局部图像进行关键点标注处理后(例如关键点区域16*16的邻域局部图像)进行相似度训练，也即可得到第二样本实体图像和第二样本虚拟图像。

示意性的，同一关键点类型不同图像(第二样本实体图像和第二样本虚拟图)中的标注关键点对应区域的标注相似度为1，不同的标注关键点对应区域则为标注相似度为0；

可选的，可以采样关键点区域偏移参考像素值(如一个或多个像素值)的区域作为难样本加入对模型的训练中(例如RGB图像关键点区域16*16的邻域局部图像与对应关键点x方向向左偏移8个像素的元宇宙图像16*16的邻域局部图像，这两者有一定的相似度，回归的目标targe可以设置为固定值，如0.5)；

可选的，跨域表观相似度模型的损失函数：

其中，Loss_app表示跨域表观相似度模型的相似度模型损失；

其中，f₁表示第二样本实体图像的局部区域对应图像特征，f2表示第二样本虚拟图像的局部区域对应图像特征，通过计算“第二样本实体图像的局部区域对应图像特征”和“第二样本虚拟图像的局部区域对应图像特征”的余弦相似度和目标target保持一致，从而在每一轮模型训练过程基于上述损失函数计算相似度模型损失，基于相似度模型损失对初始跨域表观相似度模型进行模型参数调整，直至所述初始跨域表观相似度模型满足模型结束训练条件，得到跨域表观相似度模型。

在本说明一个或多个实施例，对象处理过程中对关键点引入不确定程度的概念，采用在模型训练阶段通过标记关键点扰动再对模型训练实现了不确定性量化，基于不确定性进行基础关键点模型训练，然后结合区域相似度对不确定性高的关键点进行校准微调，并用后续基于表观相似度预测的结果来进行关键点信息拟合，将虚拟世界空间的局部稠密关键点引入赋值给真实物理世界，可达到不借助高精度传感器而是基于诸如摄像头等基础图像采集部分可完成虚拟对象的驱动。

S212：基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

具体可参考本说明一个或多个实施例的其他方法步骤的释义，此处不再赘述。

在本说明书一个或多个实施例中，对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。

示例性的，在本说明书一个或多个实施例中，图4涉及一种示例性的用户关系图谱确定过程的流程示意图。可选的，基于上述一个或多个实施例，上述在执行所述基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理之前还可以包括以下方案：

S302：基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值；

具体的，在得到针对多个第一参考关键点的多个第二参考关键点之后，可以基于真实物理世界下图像的稠密关键点实现整体误差纠偏，基于整体的实体对象图像为关键点预测环节添加额外的先验形状约束，以对基础关键点以及第二参考关键点进行全局精准误差纠偏，可以得到精准的关键点。

所述第一关键点全局补偿值为从真实物理世界下图像整体的维度针对第一关键点的补偿值Offset；

所述第二关键点全局补偿值为从真实物理世界下图像整体的维度针对第二关键点的补偿值Offset；

可选的，每个第一参考关键点以及第二参考关键点的全局补偿值可以不同，也可以相同。

在一种可行的实施方式中，可以预先训练全局误差预测模型，采用全局误差预测模型实现基于整体实体对象图像的全局误差预测处理。

可选的，全局误差预测模型可以是基于机器学习模型中的一种或多种的拟合所得到的，例如全局误差预测模型可以是MTCNN、PSPNet等模型经模型训练得到。

具体的，可以将所述实体对象图像、所述多个基础关键点和所述多个第二参考关键点输入全局误差预测模型进行全局误差预测处理，输出到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值。

进一步的，所述全局误差预测模型的模型训练过程，如下：

具体的，可以获取多个第三样本实体图像，确定所述第三样本实体图像对应的至少一个关键点标签和至少一个预测关键点；

所述第三样本实体图像为初始全局误差预测模型在模型训练阶段的训练样本，第三样本实体图像为在真实物理世界对相应样本对象所采集的训练图像；

所述预测关键点为对所述第三样本实体图像进行预测得到的预测关键点；

例如可以是从第三样本实体图像确定针对虚拟对象的多个样本关键点以及样本关键点的样本不确定性参数，基于样本关键点的样本不确定性参数从所述多个样本关键点中确定多个样本基础关键点以及多个第一样本参考关键点，然后获取样本虚拟对象对应的样本虚拟对象图像，基于样本虚拟对象图像和第三样本实体图像对所述多个第一样本参考关键点进行区域搜索调整，得到针对所述多个第一样本参考关键点的多个第二样本参考关键点，第二样本参考关键点和/或样本关键点可以作为前述预测关键点；

示意性的，可以是将第三样本实体图像输入至关键点预测模型进行关键点预测处理，以输出针对样本虚拟对象的多个样本关键点以及样本关键点的样本不确定性参数，然后基于样本关键点的样本不确定性参数从多个样本关键点中确定多个样本基础关键点以及多个第一参样本考关键点，将样本虚拟对象图像、第三样本实体图像以及所述多个第一第三样本实体图像参考关键点输入至强化学习搜索模型，输出多个第二样本参考关键点作为预测关键点。

所述关键点标签为预先对所述第三样本实体图像进行标注得到的标注关键点；

具体的，然后采用各第三样本实体图像和第三样本实体图像对应的至少一个预测关键点对初始全局误差预测模型进行至少一轮模型训练，并基于预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，采用第三模型损失对所述初始全局误差预测模型进行模型调整，直至所述全局误差预测模型满足模型结束训练条件，得到全局误差预测模型；

其中，所述预测关键点图为所述至少一个预测关键点对应的图，所述关键点标签图为所述至少一个关键点标签对应的图。

在一种可行的实施方式中，执行所述基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，可以是：

基于所述预测关键点和所述关键点标签采用第三损失计算式确定关键点回归损失，以及基于所述预测关键点图以及所述关键点标签图确定关键图先验损失，基于所述关键点回归损失和所述关键图先验损失采用第四损失计算式得到第三模型损失；

所述第三损失计算式满足以下公式：

其中，所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述预测关键点，所述ld_gt为所述关键点标签；例如预测的关键点和标记的真实关键点之间的欧式距离(L2距离)；

所述第四损失计算式满足以下公式：

其中，所述Loss_prior-shape为所述关键图先验损失，所述ldshape_pred为所述预测关键点图，所述ldshape_gt为所述关键点标签图。即预测的关键点组成的图和标记的真实关键点组成的图之间的L2距离(例如，N个关键点组成的图为N*N的矩阵，每个元素表示两个关键点之间的距离)

S304：基于所述第一关键点全局补偿值对所述基础关键点进行参数补偿处理，得到参数补偿处理后的所述基础关键点，以及，基于所述第二关键点全局补偿值对所述第二参考关键点进行参数补偿处理，得到参数补偿处理后的所述第二参考关键点。

可选的，参数补偿处理可以是叠加或累积补偿值，如：针对基础关键点的关键点信息参数(如关键点坐标)叠加或累积第一关键点全局补偿值，叠加或累积后的值作为基础关键点的关键点信息参数，也即完成对为基础关键点的关键点信息更新。同理，针对第二参考关键点的关键点信息参数(如关键点坐标)叠加或累积第二关键点全局补偿值，叠加或累积后的值作为第二参考关键点的关键点信息参数，也即完成对为第二参考关键点的关键点信息更新。

在本说明书一个或多个实施例中，对象处理过程可以摆脱高精度传感监测器件的依赖仅需基于易获取的实体对象图像和虚拟对象图像实现，通过区分不确定性程度不同的基础关键点和第一关键点，对于不确定性程度高的第一参考关键点基于虚拟对象图像来进行不确定性调整，可得到精度较高的关键点辅助虚拟对象驱动，优化了虚拟对象驱动的流程，极大的提升了对象驱动的便捷性。

下面将结合图5，对本说明书提供的对象处理装置进行详细介绍。需要说明的是，图5所示的对象处理装置，用于执行本说明书图1～图4所示实施例的方法，为了便于说明，仅示出了与本说明书相关的部分，具体技术细节未揭示的，请参照本说明书图1～图4所示的实施例。

请参见图5，其示出本说明书的对象处理装置的结构示意图。该对象处理装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例，该对象处理装置1包括图像获取模块11、关键点确定模块12、搜索调整模块13和驱动处理模块14，具体用于：

图像获取模块11，用于获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

关键点确定模块12，用于基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数

搜索调整模块13，用于获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

驱动处理模块14，用于基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

可选的，所述图像获取模块11，用于：

将所述实体对象图像输入至关键点预测模型进行关键点预测处理，以输出针对虚拟对象的多个关键点以及所述关键点的不确定性参数。

可选的，所述图像获取模块11，用于：

获取第一样本实体图像，确定所述第一样本实体图像的关键点标签以及不确定性参数标签，所述不确定性参数标签为基于所述关键点标签对所述第一样本实体图像扰动后得到的不确定性参数；

采用所述第一样本实体图像对初始关键点预测模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第一样本实体图像的样本关键点以及所述样本关键点的样本不确定性参数，基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，基于所述第一模型损失对所述初始关键点预测模型进行模型参数调整，直至所述初始关键点预测模型满足模型结束训练条件，得到关键点预测模型。

可选的，所述图像获取模块11，用于：

基于所述样本关键点与所述关键点标签采用第一损失计算式确定关键点回归损失，基于所述样本不确定性参数与所述不确定性参数标签采用第二损失计算式确定不确定性预测损失；

基于所述关键点回归损失和所述不确定性预测损失得到第一模型损失；

所述第一损失计算式满足以下公式：

所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述样本关键点，所述ld_gt为所述关键点标签；

所述第二损失计算式满足以下公式：

所述Loss_uncertainty为所述不确定性预测损失，所述u_pred为所述样本不确定性参数，所述u_gt为所述不确定性参数标签。

可选的，如图6所示，所述关键点确定模块12，包括：

阈值获取单元121，用于获取关键点回归阈值；

关键点确定单元122，用于将所述不确定性参数大于所述关键点回归阈值的关键点作为第一参考关键点；

所述关键点确定单元122，用于将所述不确定性参数小于或等于所述关键点回归阈值的关键点作为基础关键点。

可选的，所述搜索调整模块13，用于：

将所述虚拟对象图像、所述实体对象图像以及所述多个第一参考关键点输入至强化学习搜索模型；

通过所述强化学习搜索模型的搜索动作控制在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到所述虚拟对象图像中的目标关键点区域，并基于所述目标关键点区域的目标关键点对所述多个第一参考关键点进行关键点更新得到多个第二参考关键点，输出所述多个第二参考关键点。

可选的，所述搜索调整模块13，用于：

通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到每轮区域匹配搜索处理后的所述实体对象图像中的第一局部区域以及所述虚拟对象图像中的第二局部区域，所述不确定性区域与所述多个第一参考关键点对应的区域相关联；

基于所述第一局部区域以及所述第二局部区域确定区域相似度，并将所述区域相似度作为每轮区域匹配搜索处理后的搜索奖励参数；

基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，基于当前的所述第一局部区域以及所述第二局部区域确定所述虚拟对象图像中的目标关键点区域。

可选的，所述搜索调整模块13，用于：

采用相似度最大化奖励函数基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作。

可选的，所述搜索调整模块13，用于：

将所述第一局部区域以及所述第二局部区域输入跨域表观相似度模型，输出区域相似度。

可选的，所述搜索调整模块13，用于：

获取多组样本对象图像对，所述样本对象图像对包括经关键点标注处理的第二样本实体图像和第二样本虚拟图像；

对所述样本对象图像对进行关键区域采样，得到第二样本实体区域图像和第二样本虚拟区域图像；

采用各组所述第二样本实体区域图像和第二样本虚拟区域图像对初始跨域表观相似度模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第二样本实体区域图像和第二样本虚拟区域图像的样本区域相似度，并基于所述样本区域相似度和回归目标损失参数得到第二模型损失，采用对所述初始跨域表观相似度模型进行模型参数调整，直至所述初始跨域表观相似度模型满足模型结束训练条件，得到跨域表观相似度模型。

可选的，所述装置1，还用于：

基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值；

基于所述第一关键点全局补偿值对所述基础关键点进行参数补偿处理，得到参数补偿处理后的所述基础关键点，以及，基于所述第二关键点全局补偿值对所述第二参考关键点进行参数补偿处理，得到参数补偿处理后的所述第二参考关键点。

可选的，所述装置1，还用于：

将所述实体对象图像、所述多个基础关键点和所述多个第二参考关键点输入全局误差预测模型进行全局误差预测处理，输出到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值。

可选的，所述装置1，还用于：

获取多个第三样本实体图像，确定所述第三样本实体图像对应的至少一个关键点标签和至少一个预测关键点；所述预测关键点为对所述第三样本实体图像进行预测得到的预测关键点，所述关键点标签为对所述第三样本实体图像进行标注得到的标注关键点；

采用各所述第三样本实体图像和所述第三样本实体图像对应的至少一个预测关键点对初始全局误差预测模型进行至少一轮模型训练，并基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，采用第三模型损失对所述初始全局误差预测模型进行模型调整，直至所述全局误差预测模型满足模型结束训练条件，得到全局误差预测模型；

其中，所述预测关键点图为所述至少一个预测关键点对应的图，所述关键点标签图为所述至少一个关键点标签对应的图。

可选的，所述装置1，还用于：

基于所述预测关键点和所述关键点标签采用第三损失计算式确定关键点回归损失，以及基于所述预测关键点图以及所述关键点标签图确定关键图先验损失，基于所述关键点回归损失和所述关键图先验损失采用第四损失计算式得到第三模型损失；

所述第三损失计算式满足以下公式：

其中，所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述预测关键点，所述ld_gt为所述关键点标签；

所述第四损失计算式满足以下公式：

其中，所述Loss_prior-shape为所述关键图先验损失，所述ldshape_pred为所述预测关键点图，所述ldshape_gt为所述关键点标签图。

需要说明的是，上述实施例提供的对象处理装置在执行对象处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的对象处理装置与对象处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本说明书序号仅仅为了描述，不代表实施例的优劣。

本说明书还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1～图4所示实施例的所述对象处理方法，具体执行过程可以参见图1～图4所示实施例的具体说明，在此不进行赘述。

本说明书还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1～图4所示实施例的所述对象处理方法，具体执行过程可以参见图1～图4所示实施例的具体说明，在此不进行赘述。

请参考图7，其示出了本说明书一个示例性实施例提供的电子设备的结构方框图。本说明书中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。

处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)、可编程逻辑阵列(programmable logicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中心处理器(centralprocessing unit，CPU)、图像处理器(graphics processing unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(random Access Memory，RAM)，也可以包括只读存储器(read-only memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统，包括基于Android系统深度开发的系统、苹果公司开发的IOS系统，包括基于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据，等。

参见图8所示，存储器120可分为操作系统空间和用户空间，操作系统即运行于操作系统空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。然而，同一第三方应用程序中不同应用场景对系统资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立，操作系统往往不能及时感知第三方应用程序当前的应用场景，导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。

为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。

以操作系统为Android系统为例，存储器120中存储的程序和数据如图9所示，存储器120中可存储有Linux内核层320、系统运行时库层340、应用框架层360和应用层380，其中，Linux内核层320、系统运行库层340和应用框架层360属于操作系统空间，应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。系统运行库层340通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(Android runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，比如联系人程序、短信程序、时钟程序、相机应用等；也可以是第三方开发者所开发的第三方应用程序，比如游戏类应用程序、即时通信程序、相片美化程序等。

以操作系统为IOS系统为例，存储器120中存储的程序和数据如图9所示，IOS系统包括：核心操作系统层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架，这些底层程序框架提供更接近硬件的功能，以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架，比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口，如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface，UI)框架、用户界面UIKit框架、地图框架等等。

在图10所示出的框架中，与大部分应用程序有关的框架包括但不限于：核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型，为所有应用程序提供最基本的系统服务，和UI无关。而UIKit框架提供的类是基础的UI类库，用于创建基于触摸的用户界面，iOS应用程序可以基于UIKit框架来提供UI，所以它提供了应用程序的基础架构，用于构建用户界面，绘图、处理和用户交互事件，响应手势等等。

其中，在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考Android系统，本说明书在此不再赘述。

其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏，该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本说明书对此不加以限定。

除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。

在本说明书中，各步骤的执行主体可以是上文介绍的电子设备。可选地，各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统，也可以是IOS系统，或者其它操作系统，本说明书对此不作限定。

本说明书的电子设备，其上还可以安装有显示设备，显示设备可以是各种能实现显示功能的设备，例如：阴极射线管显示器(cathode ray tubedisplay，简称CR)、发光二极管显示器(light-emitting diode display，简称LED)、电子墨水屏、液晶显示屏(liquidcrystal display，简称LCD)、等离子显示面板(plasma display panel，简称PDP)等。用户可以利用电子设备101上的显示设备，来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。

在图7所示的电子设备中，处理器110可以用于调用存储器120中存储的应用程序，并具体执行以下操作：

获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

在一个实施例中，所述处理器110在执行所述从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数时，执行以下操作：

将所述实体对象图像输入至关键点预测模型进行关键点预测处理，以输出针对虚拟对象的多个关键点以及所述关键点的不确定性参数。

在一个实施例中，所述处理器110在执行对象处理方法时，执行以下操作：

获取第一样本实体图像，确定所述第一样本实体图像的关键点标签以及不确定性参数标签，所述不确定性参数标签为基于所述关键点标签对所述第一样本实体图像扰动后得到的不确定性参数；

采用所述第一样本实体图像对初始关键点预测模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第一样本实体图像的样本关键点以及所述样本关键点的样本不确定性参数，基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，基于所述第一模型损失对所述初始关键点预测模型进行模型参数调整，直至所述初始关键点预测模型满足模型结束训练条件，得到关键点预测模型。

在一个实施例中，所述处理器110在执行所述基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失时，还执行以下步骤：

基于所述样本关键点与所述关键点标签采用第一损失计算式确定关键点回归损失，基于所述样本不确定性参数与所述不确定性参数标签采用第二损失计算式确定不确定性预测损失；

基于所述关键点回归损失和所述不确定性预测损失得到第一模型损失；

所述第一损失计算式满足以下公式：

所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述样本关键点，所述ld_gt为所述关键点标签；

所述第二损失计算式满足以下公式：

所述Loss_uncertainty为所述不确定性预测损失，所述u_pred为所述样本不确定性参数，所述u_gt为所述不确定性参数标签。

在一个实施例中，所述处理器110在执行所述基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点时，还执行以下步骤：

获取关键点回归阈值；

将所述不确定性参数大于所述关键点回归阈值的关键点作为第一参考关键点；

将所述不确定性参数小于或等于所述关键点回归阈值的关键点作为基础关键点。

在一个实施例中，所述处理器110在执行所述基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点时，还执行以下步骤：

将所述虚拟对象图像、所述实体对象图像以及所述多个第一参考关键点输入至强化学习搜索模型；

通过所述强化学习搜索模型的搜索动作控制在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到所述虚拟对象图像中的目标关键点区域，并基于所述目标关键点区域的目标关键点对所述多个第一参考关键点进行关键点更新得到多个第二参考关键点，输出所述多个第二参考关键点。

在一个实施例中，所述处理器110在执行所述通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理得到所述虚拟对象图像中的目标关键点区域时，还执行以下步骤：

通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到每轮区域匹配搜索处理后的所述实体对象图像中的第一局部区域以及所述虚拟对象图像中的第二局部区域，所述不确定性区域与所述多个第一参考关键点对应的区域相关联；

基于所述第一局部区域以及所述第二局部区域确定区域相似度，并将所述区域相似度作为每轮区域匹配搜索处理后的搜索奖励参数；

基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，基于当前的所述第一局部区域以及所述第二局部区域确定所述虚拟对象图像中的目标关键点区域。

在一个实施例中，所述处理器110在执行所述基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作时，还执行以下步骤：

采用相似度最大化奖励函数基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作。

在一个实施例中，所述处理器110在执行所述基于所述第一局部区域以及所述第二局部区域确定区域相似度时，还执行以下步骤：

将所述第一局部区域以及所述第二局部区域输入跨域表观相似度模型，输出区域相似度。

在一个实施例中，所述处理器110在执行所述对象处理方法时，还执行以下步骤：

获取多组样本对象图像对，所述样本对象图像对包括经关键点标注处理的第二样本实体图像和第二样本虚拟图像；

对所述样本对象图像对进行关键区域采样，得到第二样本实体区域图像和第二样本虚拟区域图像；

采用各组所述第二样本实体区域图像和第二样本虚拟区域图像对初始跨域表观相似度模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第二样本实体区域图像和第二样本虚拟区域图像的样本区域相似度，并基于所述样本区域相似度和回归目标损失参数得到第二模型损失，采用对所述初始跨域表观相似度模型进行模型参数调整，直至所述初始跨域表观相似度模型满足模型结束训练条件，得到跨域表观相似度模型。

在一个实施例中，所述处理器110在执行所述基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理之前，还包括：

基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值；

基于所述第一关键点全局补偿值对所述基础关键点进行参数补偿处理，得到参数补偿处理后的所述基础关键点，以及，基于所述第二关键点全局补偿值对所述第二参考关键点进行参数补偿处理，得到参数补偿处理后的所述第二参考关键点。

在一个实施例中，所述处理器110在执行所述基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值时，执行以下步骤：

将所述实体对象图像、所述多个基础关键点和所述多个第二参考关键点输入全局误差预测模型进行全局误差预测处理，输出到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值。

在一个实施例中，所述处理器110在执行所述对象处理方法还包括：

获取多个第三样本实体图像，确定所述第三样本实体图像对应的至少一个关键点标签和至少一个预测关键点；所述预测关键点为对所述第三样本实体图像进行预测得到的预测关键点，所述关键点标签为对所述第三样本实体图像进行标注得到的标注关键点；

采用各所述第三样本实体图像和所述第三样本实体图像对应的至少一个预测关键点对初始全局误差预测模型进行至少一轮模型训练，并基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，采用第三模型损失对所述初始全局误差预测模型进行模型调整，直至所述全局误差预测模型满足模型结束训练条件，得到全局误差预测模型；

其中，所述预测关键点图为所述至少一个预测关键点对应的图，所述关键点标签图为所述至少一个关键点标签对应的图。

在一个实施例中，所述处理器110在执行所述基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失时，执行以下步骤：

基于所述预测关键点和所述关键点标签采用第三损失计算式确定关键点回归损失，以及基于所述预测关键点图以及所述关键点标签图确定关键图先验损失，基于所述关键点回归损失和所述关键图先验损失采用第四损失计算式得到第三模型损失；

所述第三损失计算式满足以下公式：

其中，所述Loss_landmark为所述关键点回归损失，所述ld_pred为所述预测关键点，所述ld_gt为所述关键点标签；

所述第四损失计算式满足以下公式：

其中，所述Loss_prior-shape为所述关键图先验损失，所述ldshape_pred为所述预测关键点图，所述ldshape_gt为所述关键点标签图。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

需要说明的是，本说明书实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本说明书中涉及的实体对象图、虚拟对象图像等数据都是在充分授权的情况下获取的。

以上所揭露的仅为本说明书较佳实施例而已，当然不能以此来限定本说明书之权利范围，因此依本说明书权利要求所作的等同变化，仍属本说明书所涵盖的范围。

Claims (18)

1.一种对象处理方法，所述方法包括：

获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

2.根据权利要求1所述的方法，所述从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，包括：

将所述实体对象图像输入至关键点预测模型进行关键点预测处理，以输出针对虚拟对象的多个关键点以及所述关键点的不确定性参数。

3.根据权利要求2所述的方法，所述方法还包括：

获取第一样本实体图像，确定所述第一样本实体图像的关键点标签以及不确定性参数标签，所述不确定性参数标签为基于所述关键点标签对所述第一样本实体图像扰动后得到的不确定性参数；

采用所述第一样本实体图像对初始关键点预测模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第一样本实体图像的样本关键点以及所述样本关键点的样本不确定性参数，基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，基于所述第一模型损失对所述初始关键点预测模型进行模型参数调整，直至所述初始关键点预测模型满足模型结束训练条件，得到关键点预测模型。

4.根据权利要求3所述的方法，所述基于所述样本关键点、所述样本不确定性参数、所述关键点标签以及所述不确定性参数标签得到第一模型损失，包括：

基于所述样本关键点与所述关键点标签采用第一损失计算式确定关键点回归损失，基于所述样本不确定性参数与所述不确定性参数标签采用第二损失计算式确定不确定性预测损失；

基于所述关键点回归损失和所述不确定性预测损失得到第一模型损失；

所述第一损失计算式满足以下公式：

所述^L _osslandmark为所述关键点回归损失，所述^ld _pred为所述样本关键点，所述ld_gt为所述关键点标签；

所述第二损失计算式满足以下公式：

所述^L _{ossuncertainty}为所述不确定性预测损失，所述_upred为所述样本不确定性参数，所述_ugt为所述不确定性参数标签。

5.根据权利要求1所述的方法，所述基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，包括：

获取关键点回归阈值；

将所述不确定性参数大于所述关键点回归阈值的关键点作为第一参考关键点；

将所述不确定性参数小于或等于所述关键点回归阈值的关键点作为基础关键点。

6.根据权利要求1所述的方法，所述基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点，包括：

将所述虚拟对象图像、所述实体对象图像以及所述多个第一参考关键点输入至强化学习搜索模型；

通过所述强化学习搜索模型的搜索动作控制在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到所述虚拟对象图像中的目标关键点区域，并基于所述目标关键点区域的目标关键点对所述多个第一参考关键点进行关键点更新得到多个第二参考关键点，输出所述多个第二参考关键点。

7.根据权利要求6所述的方法，所述通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理得到所述虚拟对象图像中的目标关键点区域，包括：

通过所述强化学习搜索模型在所述虚拟对象图像和所述实体对象图像中对不确定性区域进行至少一轮区域匹配搜索处理，得到每轮区域匹配搜索处理后的所述实体对象图像中的第一局部区域以及所述虚拟对象图像中的第二局部区域，所述不确定性区域与所述多个第一参考关键点对应的区域相关联；

基于所述第一局部区域以及所述第二局部区域确定区域相似度，并将所述区域相似度作为每轮区域匹配搜索处理后的搜索奖励参数；

基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，基于当前的所述第一局部区域以及所述第二局部区域确定所述虚拟对象图像中的目标关键点区域。

8.根据权利要求7所述的方法，所述基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作，包括：

采用相似度最大化奖励函数基于各所述搜索奖励参数控制所述强化学习搜索模型停止所述搜索动作。

9.根据权利要求7所述的方法，所述基于所述第一局部区域以及所述第二局部区域确定区域相似度，包括：

将所述第一局部区域以及所述第二局部区域输入跨域表观相似度模型，输出区域相似度。

10.根据权利要求9所述的方法，所述方法还包括：

获取多组样本对象图像对，所述样本对象图像对包括经关键点标注处理的第二样本实体图像和第二样本虚拟图像；

对所述样本对象图像对进行关键区域采样，得到第二样本实体区域图像和第二样本虚拟区域图像；

采用各组所述第二样本实体区域图像和第二样本虚拟区域图像对初始跨域表观相似度模型进行至少一轮模型训练；

在每轮模型训练过程中，输出针对所述第二样本实体区域图像和第二样本虚拟区域图像的样本区域相似度，并基于所述样本区域相似度和回归目标损失参数得到第二模型损失，采用对所述初始跨域表观相似度模型进行模型参数调整，直至所述初始跨域表观相似度模型满足模型结束训练条件，得到跨域表观相似度模型。

11.根据权利要求1所述的方法，所述基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理之前，还包括：

基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值；

基于所述第一关键点全局补偿值对所述基础关键点进行参数补偿处理，得到参数补偿处理后的所述基础关键点，以及，基于所述第二关键点全局补偿值对所述第二参考关键点进行参数补偿处理，得到参数补偿处理后的所述第二参考关键点。

12.根据权利要求11所述的方法，所述基于所述实体对象图像对所述多个基础关键点和所述多个第二参考关键点进行全局误差预测处理，得到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值，包括：

将所述实体对象图像、所述多个基础关键点和所述多个第二参考关键点输入全局误差预测模型进行全局误差预测处理，输出到每个所述基础关键点的第一关键点全局补偿值和每个所述第二参考关键点的第二关键点全局补偿值。

13.根据权利要求12所述的方法，所述方法还包括：

获取多个第三样本实体图像，确定所述第三样本实体图像对应的至少一个关键点标签和至少一个预测关键点；所述预测关键点为对所述第三样本实体图像进行预测得到的预测关键点，所述关键点标签为对所述第三样本实体图像进行标注得到的标注关键点；

采用各所述第三样本实体图像和所述第三样本实体图像对应的至少一个预测关键点对初始全局误差预测模型进行至少一轮模型训练，并基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，采用第三模型损失对所述初始全局误差预测模型进行模型调整，直至所述全局误差预测模型满足模型结束训练条件，得到全局误差预测模型；

其中，所述预测关键点图为所述至少一个预测关键点对应的图，所述关键点标签图为所述至少一个关键点标签对应的图。

14.根据权利要求13所述的方法，所述基于所述预测关键点、所述关键点标签、预测关键点图以及关键点标签图得到第三模型损失，包括：

基于所述预测关键点和所述关键点标签采用第三损失计算式确定关键点回归损失，以及基于所述预测关键点图以及所述关键点标签图确定关键图先验损失，基于所述关键点回归损失和所述关键图先验损失采用第四损失计算式得到第三模型损失；

所述第三损失计算式满足以下公式：

其中，所述^L _osslandmark为所述关键点回归损失，所述^ld _pred为所述预测关键点，所述^ld _gt为所述关键点标签；

所述第四损失计算式满足以下公式：

其中，所述^L _{ossprior-shape}为所述关键图先验损失，所述^ld _sh_pred为所述预测关键点图，所述^ld _sh_apegt为所述关键点标签图。

15.一种对象处理装置，所述装置包括：

图像获取模块，用于获取针对实体对象的实体对象图像，从所述实体对象图像确定针对虚拟对象的多个关键点以及所述关键点的不确定性参数，所述虚拟对象为基于所述实体对象驱动的对象；

关键点确定模块，用于基于所述关键点的不确定性参数从所述多个关键点中确定多个基础关键点以及多个第一参考关键点，所述第一参考关键点的不确定性参数大于所述基础关键点的不确定性参数；

搜索调整模块，用于获取所述虚拟对象对应的虚拟对象图像，基于所述虚拟对象图像和所述实体对象图像对所述多个第一参考关键点进行区域搜索调整，得到针对所述多个第一参考关键点的多个第二参考关键点；

驱动处理模块，用于基于所述多个基础关键点和所述多个第二参考关键点对所述虚拟对象进行对象驱动处理。

16.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～15任意一项的方法步骤。

17.一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行如权利要求1～15任意一项的方法步骤。

18.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～15任意一项的方法步骤。

Images