CN115063565B - 一种可穿戴物品的试戴方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种可穿戴物品的试戴方法、装置及电子设备。该方法包括：获取用户的目标身体部位的视频流，该目标身体部位用于试戴所述可穿戴物品。通过光照模型获取目标身体部位的光照信息，并通过深度模型获取目标身体部位的深度信息。根据深度信息和视频流构建目标身体部位的身体模型，以及根据光照信息和深度信息在该身体模型上渲染可穿戴物品的虚拟模型。可以根据所获取到的视频流，确定光照信息和深度信息，而无需额外配置传感器。并且，根据光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高虚拟模型与身体模型的匹配度，从而提高用户通过电子设备试戴可穿戴物品的真实性。

Description

一种可穿戴物品的试戴方法、装置及电子设备

技术领域

本申请实施例涉及电子设备技术领域，尤其涉及一种可穿戴物品的试戴方法、装置及电子设备。

背景技术

用户通过电子设备上的购物网站购买可穿戴物品时，无法接触到可穿戴物品的实物，用户可以通过增强现实（Augmented Reality，AR）技术试戴该可穿戴物品对应的虚拟模型，以起到试戴可穿戴物品的实物的效果。电子设备显示用户所要试戴的可穿戴物品的虚拟模型，并由电子设备采集用户用于穿戴该可穿戴物品的身体部位的图像。电子设备通过合成虚拟模型和采集到的身体部位的图像，得到合成后的图像。在该合成后的图像中，可穿戴物品的虚拟模型显示于用户对应的身体部位上，由此实现用户试戴可穿戴物品的实物的效果。

但是，合成后的图像可能会出现可穿戴物品的虚拟模型与身体部位之间匹配度较低的问题，例如可穿戴物品的虚拟模型与身体部位之间存在位置偏差、尺寸偏差、亮度偏差等。由此会严重降低用户试戴可穿戴物品的真实感。

发明内容

本申请实施例提供了一种可穿戴物品的试戴方法、装置及电子设备，用户在使用AR技术试戴可穿戴物品时，可以有效提高可穿戴物品的虚拟模型与对应身体部位之间的匹配度，从而有效提高试戴效果的真实感。

第一方面，本申请实施例提供了一种可穿戴物品的试戴方法，该方法包括：获取用户的目标身体部位的视频流，目标身体部位用于试戴可穿戴物品。通过光照模型获取该视频流中目标身体部位的光照信息，并通过深度模型获取该视频流中目标身体部位的深度信息。根据深度信息和视频流构建目标身体部位的身体模型。根据光照信息和深度信息在该身体模型上渲染可穿戴物品的虚拟模型。

根据上述方法，用户试戴可穿戴物品的过程中，可以根据所获取到的目标身体部位的视频流，确定该目标身体部位的光照信息和深度信息。这样，无需额外配置专用于采集光照信息和深度信息的传感器，从而可以有效缩减的生产成本，以及有效控制的体积。并且，根据用户的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高渲染得到的虚拟模型与目标身体部位的匹配度，从而提高用户试戴可穿戴物品的真实感。

在一种实现方式中，获取用户的目标身体部位的视频流，包括：通过单目摄像头实时获取目标身体部位的视频流。根据上述方法，可以通过自身原有的单目摄像头获取目标身体部位的视频流，而无需额外配置传感器等其他部件。并且，实时获取目标身体部位的视频流，可以保证所获取视频流的真实性，进而保证根据该实时获取的视频流所渲染的可穿戴物品的虚拟模型可以更加贴近用户的目标身体部位的实际特征，从而提高用户试戴可穿戴物品的真实感。

在一种实现方式中，通过光照模型获取视频流中目标身体部位的光照信息之前，还包括：获取第一样本视频流。通过光照模型获取第一样本视频流中每一帧图像的像素特征，该像素特征用于表征每一帧图像的光强信息。根据每一帧图像的像素特征，获取每一帧图像对应的估计光照强度和估计光源方向。根据每一帧图像对应的估计光照强度与每一帧图像对应的真实光照强度之间的损失距离，以及每一帧图像对应的估计光源方向和每一帧图像对应的真实光源方向之间的损失距离训练光照模型，以使得光照模型收敛。根据上述方法，预先构建用于估计光照信息的光照模型，以在获取到视频流之后，可以直接使用该光照模型估计目标身体部位的光照信息，提高获取光照信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，光照信息包括：光照强度和光源方向。根据上述方法，可以准确估计目标身体部位所处的光环境，并根据该光照信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以贴近目标身体部位所处的光环境，以提高用户试戴可穿戴物品的真实感。

在一种实现方式中，通过深度模型获取该视频流中目标身体部位的深度信息之前，还包括：获取第二样本视频流。通过深度模型获取第二样本视频流中每一帧图像的空间特征，以及获取第二样本视频流中各帧图像之间的时间相关性。根据第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像。根据每一帧图像的估计深度图像和每一帧图像对应的真实深度图像之间的损失距离训练该深度模型，以使得该深度模型收敛。根据上述方法，预先构建用于估计深度信息的深度模型，以在获取到视频流之后，可以直接使用该深度模型估计目标身体部位的深度信息，提高获取深度信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，根据深度信息和视频流构建目标身体部位的身体模型，包括：获取与目标身体部位对应的预先构建的身体模型。根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型。根据上述方法，通过调整已有的身体模型构建目标身体部位的身体模型，不仅可以保证所构建的身体模型与用户的目标身体部位相匹配，还可以有效提高构建身体模型的效率。

在一种实现方式中，深度信息包括：目标身体部位的尺寸信息和目标身体部位在三维空间中的位置信息。根据上述方法，可以准确估计目标身体部位的物理信息，并根据该深度信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以匹配目标身体部位的物理信息，提高用户试戴可穿戴物品的真实感。

在一种实现方式中，根据光照信息和深度信息在身体模型上渲染可穿戴物品的虚拟模型，包括：获取可穿戴物品的预设虚拟模型。根据光照信息调整该预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整该预设虚拟模型的尺寸和该预设虚拟模型在三维空间中的位置。根据上述方法，根据目标身体部位的光照信息和深度信息调整可穿戴物品已有的虚拟模型，不仅可以保证渲染得到的可穿戴物品的虚拟模型与身体模型相匹配，还可以有效提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型之后，还包括：通过深度模型获取目标身体部位的运动信息。根据运动信息调整身体模型的深度信息，得到调整后的深度信息，并根据视频流在身体模型的外部覆盖目标身体部位的图像，得到调整后的身体模型。根据上述方法，根据目标身体部位的运动信息，并行调整身体模型，以令调整后的身体模型与目标身体部位的真实运动相匹配。

在一种实现方式中，根据光照信息调整预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置之后，还包括：根据调整后的深度信息，在调整后的身体模型上渲染可穿戴物品的虚拟模型。根据上述方法，根据调整后的深度信息重新渲染可穿戴物品的虚拟模型，以令重新渲染得到的虚拟模型与调整后的身体模型相匹配，从而实现用户在移动目标身体部位时试戴可穿戴物品的效果。

第二方面，本申请实施例提供了一种可穿戴物品的试戴装置。该装置包括：采集单元，用于获取用户的目标身体部位的视频流，该目标身体部位用于试戴可穿戴物品。信息估计单元，用于通过光照模型获取该视频流中目标身体部位的光照信息，并通过深度模型获取该视频流中目标身体部位的深度信息。身体模型构建单元，用于根据深度信息和视频流构建目标身体部位的身体模型。渲染单元，用于根据光照信息和深度信息在该身体模型上渲染可穿戴物品的虚拟模型。

根据本申请实施例提供的可穿戴物品的试戴装置，用户试戴可穿戴物品的过程中，该试戴装置可以根据所获取到的目标身体部位的视频流，确定该目标身体部位的光照信息和深度信息。这样，该试戴装置无需额外配置专用于采集光照信息和深度信息的传感器，从而可以有效缩减该试戴装置的生产成本，以及有效控制该试戴装置的体积。并且，该试戴装置根据用户的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高渲染得到的虚拟模型与目标身体部位的匹配度，从而提高用户试戴可穿戴物品的真实感。

在一种实现方式中，采集单元用于通过单目摄像头实时获取目标身体部位的视频流。这样，该试戴装置可以通过自身原有的单目摄像头获取目标身体部位的视频流，而无需额外配置传感器等其他部件。并且，该试戴装置实时获取目标身体部位的视频流，可以保证所获取视频流的真实性，进而保证该试戴装置根据该实时获取的视频流所渲染的可穿戴物品的虚拟模型可以更加贴近用户的目标身体部位的实际特征，从而提高用户试戴可穿戴物品的真实感。

在一种实现方式中，该试戴装置还包括：光照模型训练单元。在信息估计单元通过光照模型获取该视频流中目标身体部位的光照信息之前，该光照模型训练单元用于获取第一样本视频流。该光照模型训练单元还用于通过光照模型获取第一样本视频流中每一帧图像的像素特征，该像素特征用于表征每一帧图像的光强信息。该光照模型训练单元还用于根据每一帧图像的像素特征，获取每一帧图像对应的估计光照强度和估计光源方向。该光照模型训练单元还用于根据每一帧图像对应的估计光照强度与每一帧图像对应的真实光照强度之间的损失距离，以及每一帧图像对应的估计光源方向和每一帧图像对应的真实光源方向之间的损失距离训练光照模型，以使得光照模型收敛。这样，该试戴装置预先构建用于估计光照信息的光照模型，以在获取到视频流之后，可以直接使用该光照模型估计目标身体部位的光照信息，提高获取光照信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，光照信息包括：光照强度和光源方向。这样，电子设备可以准确估计目标身体部位所处的光环境，并根据该光照信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以贴近目标身体部位所处的光环境，以提高用户试戴可穿戴物品的真实感。

在一种实现方式中，该试戴装置还包括：深度模型训练单元。在信息估计单元通过深度模型获取该视频流中目标身体部位的深度信息之前，该深度模型训练单元用于获取第二样本图像。该深度模型训练单元还用于通过深度模型获取第二样本视频流中每一帧图像的空间特征，以及获取第二样本视频流中各帧图像之间的时间相关性。该深度模型训练单元还用于根据第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像。该深度模型训练单元还用于根据每一帧图像的估计深度图像和每一帧图像对应的真实深度图像之间的损失距离训练该深度模型，以使得该深度模型收敛。这样，该试戴装置预先构建用于估计深度信息的深度模型，以在获取到视频流之后，可以直接使用该深度模型估计目标身体部位的深度信息，提高获取深度信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，身体模型构建单元根据深度信息和视频流构建目标身体部位的身体模型，包括：获取与身体模型对应的预先构建的身体模型。根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在该预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型。这样，该试戴装置通过调整已有的身体模型构建目标身体部位的身体模型，不仅可以保证所构建的身体模型与用户的目标身体部位相匹配，还可以有效提高构建身体模型的效率。

在一种实现方式中，深度信息包括：目标身体部位的尺寸信息和目标身体部位在三维空间中的位置信息。这样，该试戴装置可以准确估计目标身体部位的物理信息，并根据该深度信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以匹配目标身体部位的物理信息，提高用户试戴可穿戴物品的真实感。

在一种实现方式中，渲染单元根据光照信息和深度信息在身体模型上渲染可穿戴物品的虚拟模型，包括：获取可穿戴物品的预设虚拟模型。根据光照信息调整该预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整该预设虚拟模型的尺寸和该预设虚拟模型在三维空间中的位置。这样，该试戴装置根据目标身体部位的光照信息和深度信息调整可穿戴物品已有的虚拟模型，不仅可以保证渲染得到的可穿戴物品的虚拟模型与身体模型相匹配，还可以有效提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，渲染单元根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型之后，身体模型构建单元还用于通过深度模型获取目标身体部位的运动信息。根据运动信息调整身体模型的深度信息，得到调整后的深度信息，并根据视频流在身体模型的外部覆盖目标身体部位的图像，得到调整后的身体模型。这样，该试戴装置根据目标身体部位的运动信息，并行调整身体模型，以令调整后的身体模型与目标身体部位的真实运动相匹配。

在一种实现方式中，身体模型构建单元根据光照信息调整预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置之后，渲染单元还用于根据调整后的深度信息，在调整后的身体模型上渲染可穿戴物品的虚拟模型。这样，该试戴装置根据调整后的深度信息重新渲染可穿戴物品的虚拟模型，以令重新渲染得到的虚拟模型与调整后的身体模型相匹配，从而实现用户在移动目标身体部位时试戴可穿戴物品的效果。

第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；存储器存储有程序指令，当程序指令被处理器执行时，使得电子设备执行上述各方面及其各个实现方式中的方法。

第四方面，本申请实施例还提供了一种芯片系统，该芯片系统包括处理器和存储器，存储器存储有程序指令，当程序指令被处理器执行时，使得芯片系统执行上述各方面及其各个实现方式中的方法。例如，生成或处理上述方法中所涉及的信息。

第五方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有程序指令，当程序指令在计算机上运行时，使得计算机执行上述各方面及其各个实现方式中的方法。

附图说明

图1是本申请实施例提供的电子设备的结构示意图；

图2是本申请实施例提供的用户通过手机试戴智能手表的场景示意图；

图3是本申请实施例提供的用户通过手机试戴智能手表的试戴效果示意图；

图4是本申请实施例提供的用户通过手机试戴智能手表的另一种试戴效果示意图；

图5是本申请第一实施例提供的可穿戴物品的试戴方法500的流程图；

图6是本申请第一实施例提供的可穿戴物品的试戴方法500中训练光照模型的方法600的流程图；

图7是本申请第一实施例提供的可穿戴物品的试戴方法500中光源方向计算方式示意图；

图8是本申请第一实施例提供的可穿戴物品的试戴方法500中训练深度模型的方法800的流程图；

图9是本申请第一实施例提供的可穿戴物品的试戴方法500中构建身体模型的方法900的流程图；

图10是本申请第一实施例提供的可穿戴物品的试戴方法500中渲染可穿戴物品的虚拟模型的方法1000的流程图；

图11是本申请第一实施例提供的可穿戴物品的试戴方法500的一个示例图；

图12是本申请第一实施例提供的可穿戴物品的试戴方法500的一个示例中的试戴场景示意图；

图13是本申请第二实施例提供的可穿戴物品的试戴方法1300的流程图；

图14是本申请第二实施例提供的可穿戴物品的试戴方法1300的一个示例图；

图15是本申请第二实施例提供的可穿戴物品的试戴方法1300的一个示例中的试戴场景示意图；

图16是本申请实施例提供的一种可穿戴物品的试戴装置的结构示意图；

图17是本申请实施例提供的另一种可穿戴物品的试戴装置的结构示意图。

具体实施方式

本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作示例、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请，下面将结合附图对本申请的实施例进行详细描述。

用户在线试戴可穿戴物品，是指将用户所要试戴的可穿戴物品的虚拟模型，渲染在用户试戴可穿戴物品时的目标身体部位的身体模型上的过程。通过身体模型模拟用户真实的目标身体部位，通过可穿戴物品的虚拟模型模拟真实的可穿戴物品，由此，通过将可穿戴物品的虚拟模型展示于身体模型上，模拟用户试戴可穿戴物品的效果。

在一种实现方式中，用户可以通过预先配置在电子设备中的第三方软件试戴可穿戴物品，如通过预先配置在电子设备中的购物软件试戴可穿戴物品，并由该购物软件提供试戴功能。例如：由该购物软件提供构建用户的身体模型，以及在该身体模型上渲染可穿戴物品的虚拟模型的功能。在一种实现方式中，用户可以通过电子设备本身配置的试戴功能试戴可穿戴物品，此时，由电子设备提供构建用户的身体模型，以及在该身体模型上渲染可穿戴物品的虚拟模型的功能。

在本申请实施例中，电子设备可穿戴物品可以是手机、摄像机等。图1为本申请实施例的电子设备的硬件结构示意图。如图1所示，电子设备可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线（universal serial bus，USB）接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及SIM卡接口195等。传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。

可以理解的是，图1所示意的结构并不构成对电子设备的具体限定。在本申请的另一实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括应用处理器（Application Processor，AP）、调制解调器（Modem）、图形处理器（Graphics ProcessingUnit，GPU）、图像信号处理器（Image Signal Processor，ISP）、控制器、视频编解码器、数字信号处理器（Digital Signal Processor，DSP）、基带处理器、和/或神经网络处理器（Neural-network Processing Unit，NPU）等。不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

充电管理模块140用于从充电器接收充电输入。充电器可以是无线充电器，也可以是有线充电器。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、显示屏194、摄像头193和无线通信模块160等供电。

电子设备的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块160可以提供应用在电子设备上的包括WLAN（如Wi-Fi网络）、BT、全球导航卫星系统（Global Navigation Satellite System，GNSS）、调频（FrequencyModulation，FM）、近距离无线通信技术（Near Field Communication，NFC）、红外技术等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频、放大，经天线2转为电磁波辐射出去。

在一些实施例中，在无线通信模块160提供蓝牙通信的示例中，无线通信模块160具体可以是蓝牙芯片。该蓝牙芯片可以包括一个或多个存储器、以及一个或多个处理器等。该蓝牙芯片中的处理器可以对经由天线2所接收的电磁波进行调频、滤波、运算、判断等操作，并将处理后的信号经由天线2转为电磁波辐射出去，即无需处理器110进行处理。

电子设备通过GPU、显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。

显示屏194用于显示图像或者视频等。电子设备的显示屏194上可以显示一系列图形用户界面（Graphical User Interface，GUI）。

电子设备可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，以实现扩展电子设备的存储能力。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。

电子设备可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D以及应用处理器等实现音频功能，例如音乐播放、录音等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，以实现和电子设备的接触和分离。电子设备可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时插入多张卡。SIM卡接口195也可以兼容外部存储卡。电子设备通过SIM卡和网络交互，实现通话以及数据通信等功能。

在上述部件之上，运行有操作系统，例如iOS操作系统、安卓操作系统、视窗（windows）操作系统等。在该操作系统上可以安装并且运行应用程序。在另一些实施例中，电子设备内运行的操作系统可以有多个。

在本申请实施例中，可穿戴物品可以是智能可穿戴物品，例如：智能手表、智能手环、虚拟显示VR眼镜、智能头戴设备等。可穿戴物品也可以是普通可穿戴物品，例如：手链、戒指、耳环、项链等。

在本申请实施例中，用于试戴可穿戴物品的身体部位为目标身体部位，该目标身体部位与可穿戴物品的穿戴属性相关联。例如：可穿戴物品为智能手表，智能手表的穿戴属性为穿戴于手腕上，由此，用于试穿智能手表的目标身体部位为手腕。

以电子设备为手机、可穿戴物品为智能手表、试戴可穿戴物品的目标身体部位为手腕，以电子设备提供试戴功能为例进行说明。如图2所示，用户将手腕201置于电子设备202的摄像头的下方，电子设备202根据用户的手腕201生成对应的身体模型203，并在该身体模型203上渲染智能手表的虚拟模型204，由此实现用户在手腕201上试戴智能手表的效果。

通常，可穿戴物品的虚拟模型为固定模型，即可穿戴物品的虚拟模型具有固定的光效和尺寸，由此，用户通过电子设备试戴可穿戴物品时，可穿戴物品的虚拟模型的光效很难与用户的目标身体部位的真实光效相匹配。以电子设备为手机、可穿戴物品为智能手表、试戴可穿戴物品的目标身体部位为手腕为例进行说明，如图3所示，智能手表的虚拟模型301各处的光照强度相同，且光照强度较低，但是手腕302的真实光效是较高的光照强度，因此，手腕302对应的身体模型303的光效也是较高的光照强度（以灰色表示低的光照强度），这将导致在手腕302的身体模型303上直接添加虚拟模型301之后，虚拟模型301的光照强度明显低于身体模型303的光照强度（以灰色表示低的光照强度），即虚拟模型301的光效与身体模型303的光效不匹配，导致用户试戴智能手表的效果不真实。

用户还需要通过不断调整目标身体部位与电子设备的摄像头之间的距离，以匹配目标身体部位的身体模型与可穿戴物品的虚拟模型的尺寸。用户的试戴操作比较麻烦，而且尺寸匹配的精度较低。以电子设备为手机、可穿戴物品为智能手表、试戴可穿戴物品的目标身体部位为手腕为例进行说明，如图4所示，用户调整手腕401与手机402的摄像头之间的距离之后，智能手表的虚拟模型404与手腕的身体模型403的尺寸仍然不能准确匹配，导致智能手表的虚拟模型404悬浮在手腕的身体模型403上的效果，不能真实反映智能手表的虚拟模型404与手腕的身体模型403之间的尺寸关系，导致用户在手腕401上试戴智能手表的效果不真实。

为了解决上述用户在手腕上试戴可穿戴物品的效果不真实的问题，本申请实施例提供了一种可穿戴物品的试戴方法。当用户通过电子设备试戴可穿戴物品时，电子设备可以通过估计目标身体部位的光照信息和深度信息，并使用估计获得的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，以令可穿戴物品的虚拟模型的光效与目标身体部位的真实光效一致，并且令可穿戴物品的虚拟模型与目标身体部位的身体模型良好贴合。

下面是本申请的第一实施例。

本申请的第一实施例提供了一种可穿戴物品的试戴方法。在第一实施例中，用户的目标身体部位处于静止状态，例如：用户的目标身体部位与电子设备的摄像头相对静止，或者用户的目标身体部位与电子设备的摄像头之间的相对位移量小于位移量阈值。图5是本申请第一实施例提供的方法500的流程图。如图5所示，方法500包括以下步骤S501-步骤S504：

步骤S501，电子设备获取用户的目标身体部位的视频流，目标身体部位用于试戴可穿戴物品。

电子设备通过摄像功能获取用户的目标身体部位的视频流。该视频流包括至少一帧包含目标身体部位的图像。在一种实现方式中，电子设备通过单目摄像头实时获取目标身体部位的视频流。例如：如果可穿戴物品为智能手表，目标身体部位为手腕，电子设备通过后置摄像头获取手腕的视频流。又如：如果可穿戴物品为项链，目标身体部位为颈部，电子设备通过前置摄像头获取颈部的视频流。

在一些实施例中，电子设备获取到用户的目标身体部位的视频流之后，对所获取到的视频流进行筛选，并保留该视频流中的有效图像。例如：电子设备在获取用户的目标身体部位的视频流时，该视频流的前N（N为大于或者等于0的正整数）帧图像为无效图像，其中，无效图像不包括目标身体部位，或者仅包括部分目标身体部位，又或者目标身体部位不在图像中的指定范围内。如用户首先开启电子设备的摄像功能，并在开启摄像功能之后，将目标身体部位逐渐移动至摄像头的摄像范围内，电子设备获取与目标身体部位移动至摄像头的摄像范围内的过程对应的图像，即为无效图像。这些无效图像很难准确反映目标身体部位的特征（如光效特征、尺寸特征、位置特征等），如果根据这些无效图像进行后续试戴过程，将降低试戴可穿戴物品的效果。由此，电子设备在获取到目标身体部位的视频流之后，从该视频流中剔除这些无效图像，得到有效图像，并根据这些有效图像进行后续试戴过程，可以有效提高试戴可穿戴物品的效果。

步骤S502，电子设备通过光照模型获取视频流中目标身体部位的光照信息，并通过深度模型获取视频流中目标身体部位的深度信息。

光照信息用于反映目标身体部位所处的光环境，即目标身体部位对应的真实光效。在一些实施例中，光照信息包括目标身体部位的光照强度和光源方向。其中，光照强度可以反映目标身体部位所处的光环境中光线的光照度。光源方向可以反映目标身体部位所处的光环境中光线的投射方向。例如：晴天在室外的光照度约为30000-300000lux，晴天在室内的光照度约为100-1000lux，阴天在室外的光照度约为50-500lux，阴天在室内的光照度约为5-50lux，室内日光灯的光照度约为100lux，餐厅的光照度约为10-30lux等。光线的光照度越高，光照强度越高，目标身体部位呈现的亮度越高。比如，用户在晴天的室内进行试戴时，相较于在阴天的室内进行试戴时，目标身体部位呈现的亮度较高。光源方向可以反映目标身体部位所处的光环境中光线的投射方向，其中，目标身体部位中距离光源近的位置亮度较高。例如：用户在室内进行试戴，用户以窗外的光线作为光源，且窗户位于目标身体部位的左侧，光源方向即为左侧，光线的投射方向为从左至右，目标身体部位从左至右的亮度逐渐降低。电子设备根据光照强度可以确定目标身体部位上的遮挡区域。该遮挡区域内的光照强度相较于目标身体部位上的其它区域的光照强度骤然减小，且该遮挡区域具有较为清晰的轮廓。例如：电子设备通过目标身体部位上各处光照强度的分布，识别光照强度明显降低的区域，即为目标身体部位上的遮挡区域。

深度信息用于反映目标身体部位在三维空间中真实的空间信息。在一些实施例中，深度信息包括目标身体部位的尺寸信息以及目标身体部位在三维空间中的位置信息。在一种实现方式中，目标身体部位的尺寸信息和目标身体部位在三维空间中的位置信息可以通过三维坐标表示。

电子设备可以通过光照模型获取视频流中目标身体部位的光照信息。

该光照模型可以为预先构建的光照模型，电子设备在获取到视频流之后，可以将该视频流直接输入预先构建的光照模型，以通过该光照模型获取视频流中目标身体部位的光照信息，从而可以有效提高获取光照信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。在一些实施例中，光照模型可以为卷积神经网络模型，如光照估计卷积神经网络（Illumination Estimation Long Short-Term Memory）。图6是本申请实施例提供的构建光照模型的方法600的流程图。如图6所示，方法600包括以下步骤S601-步骤S604：

步骤S601，电子设备通过光照模型获取第一样本视频流。

第一样本视频流用于训练光照模型。电子设备通过n（n为大于0的正整数）个第一样本视频流构建光照模型，其中，每一个第一样本视频流包括至少一帧图像，且该至少一帧图像具有对应的真实光照信息，如真实光源方向、真实光照强度等。

步骤S602，电子设备获取第一样本视频流中每一帧图像的像素特征，该像素特征用于表征每一帧图像的光强信息。

电子设备获取第一样本视频流中每一帧图像的像素特征的过程包括编码过程和解码过程。其中，电子设备在编码过程中，通过轻量级卷积神经网络，如Mobile Net V2，对每一帧图像的像素特征进行压缩，得到单列像素特征向量。电子设备在解码过程中，通过多个放大卷积神经网络，将该单列像素特征向量进行放大处理，得到放大后的像素特征向量。该放大后的像素特征向量用于表征每一帧图像的像素特征。

步骤S603，电子设备根据每一帧图像的像素特征，获取每一帧图像对应的估计光照强度和估计光源方向。

在一种实现方式中，可以通过两个卷积神经网络模型分别获得每一帧图像对应的估计光照强度和估计光源方向。

在另一种实现方式中，电子设备可以根据放大后的像素特征向量生成对应的估计HDR图像，该估计HDR图像是光照模型根据图像的像素特征预测得到的HDR图像，该HDR图像包括估计光照强度。电子设备可以根据每一帧图像对应的估计HDR图像和光源，获取光源的估计光源方向。例如：电子设备可以参考图7所示的光源与估计HDR图像的位置关系，获取光源的估计光源方向。

步骤S604，电子设备根据每一帧图像对应的估计光照强度与每一帧图像对应的真实光照强度之间的损失距离，以及每一帧图像对应的估计光源方向和每一帧图像对应的真实光源方向之间的损失距离训练光照模型，以使得光照模型收敛。

在一种实现方式中，电子设备在通过两个卷积神经网络模型直接获得估计光照强度和估计光源方向之后，可以直接与相应帧图像的真实光照估计强度和真实光源方向计算损失距离，并根据计算得到的损失距离训练光照模型，即根据估计光照强度与真实光照强度之间的损失距离训练用于获取光照强度的卷积神经网络模型，根据估计光源方向与真实光源方向之间的损失距离训练用于获取光源方向的卷积神经网络模型。

在另一种实现方式只能够，电子设备在获得估计HDR图像之后，直接与每一帧图像对应的HDR图像计算损失距离，并利用该损失距离训练光照模型。

通过训练后的光照模型得到的估计光照强度和估计光源方向将更加贴近真实光照强度和真实光源方向。

电子设备通过光照模型获取视频流中目标身体部位的光照信息时，可以首先通过该光照模型提取视频流中的目标身体部位的局部图像。视频流包括目标身体部位对应的局部图像和目标身体部位周围的图像，其中，由于目标身体部位是试戴可穿戴物品的部位，因此目标身体部位的局部图像处的光照信息具有更高的参考价值，反之，目标身体部位周围的图像的光照信息具有较低的参考价值。电子设备可以仅针对目标身体部位的局部图像进行光照估计，这样，可以有效缩减参与光照估计的像素数量，从而提高光照信息的获取效率这样。而且，可以避免目标身体部位周围的图像中的噪点对获取目标身体部位的局部图像的光照信息产生干扰，从而可以提高所获取的光照信息的准确性。

电子设备可以通过深度模型获取视频流中目标身体部位的深度信息。

该深度模型可以为预先构建的深度模型，电子设备在获取到视频流之后，可以将该视频流直接输入预先构建的深度模型，以通过该深度模型获取视频流中目标身体部位的深度信息，从而可以有效提高获取深度信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。在一些实施例中，深度模型可以为卷积神经网络模型，如空间特征-时间特征相关的卷积神经网络（Spatial and Temporal-Conv Long Short-Term Memory，ST-CLSTM）。图8是本申请实施例提供的构建深度模型的方法800的流程图。如图8所示，方法800包括以下步骤S801-步骤S804：

步骤S801，电子设备通过深度模型获取第二样本视频流。

第二样本视频流用于训练深度模型。电子设备通过m（m为大于0的正整数）个第二样本视频流构建深度模型，其中，每一个第二样本视频流包括至少一帧图像，且该至少一帧图像中包括至少一个物体，该至少一个物体具有对应的真实深度信息，如物体真实的尺寸，以及物体在三维空间中真实的位置等。第二样本视频流中的每一帧图像均具有对应的真实深度图像，该真实深度图像用于反映相应帧图像中各物体的真实深度信息，即各物体真实的尺寸，以及各物体在三维空间中真实的位置等。

步骤S802，电子设备获取第二样本视频流中每一帧图像的空间特征，以及获取第二样本视频流中各帧图像之间的时间相关性。

电子设备根据第二样本视频流中的每一帧图像，获取每一帧图像的空间特征，即获取每一帧图像中各物体的空间特征，如尺寸、比例、位置关系、距离关系等。这些空间特征均与各物体的深度信息相关联。

电子设备根据第二样本视频流中各帧图像的前后关系，获取各帧图像之间的时间相关性。该时间相关性用于反映各帧图像的前后关系。

步骤S803，电子设备根据第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像。

将每一帧图像的空间特征和各帧图像之间的时间相关性相结合，可以将各物体在空间特征和时间维度相关联。例如，电子设备根据每一帧图像的空间特征和各帧图像之间的时间相关性，确定每一帧图像中各物体随着时间的位移变化，如位移方向、位移距离等。由此，电子设备可以根据各物体的位移变化，估计当前帧图像中各物体在下一帧图像中对应的空间特征，并根据估计得到的下一帧图像中各物体的空间特征，得到下一帧图像的估计深度图像。由于估计深度图像是通过深度模型估计得到的各物体的空间特征获得，且各物体的空间特征与深度信息相关联，因此，可以说估计深度图像包括通过深度模型估计得到的相应帧图像中各物体的深度信息。

步骤S804，电子设备根据每一帧图像的估计深度图像和每一帧图像对应的真实深度图像之间的损失距离训练深度模型，以使得深度模型收敛。

估计深度图像与真实深度图像之间的损失距离包括：空间特征对应的损失距离和时间相关性对应的损失距离，根据上述两种损失距离训练深度模型，以令训练后的深度模型收敛，即通过训练后的深度模型得到的估计深度图像包括的深度信息更加贴近真实深度图像包括的深度信息。

电子设备通过深度模型获取视频流中目标身体部位的深度信息，而无需额外配置用于采集深度图像的深度传感器，从而可以有效缩减电子设备的生产成本，以及有效控制电子设备的体积。

步骤S503，电子设备根据深度信息和视频流构建目标身体部位的身体模型。

电子设备根据视频流和目标身体部位的深度信息，构建目标身体部位对应的身体模型。该身体模型为目标身体部位对应的虚拟模型，用于试戴可穿戴物品的虚拟模型。该身体模型可以准确反映目标身体部位的深度信息，即反映目标身体部位的尺寸、在三维空间中的位置等。同时，该身体模型可以准确反映目标身体部位的光效。

图9是本申请实施例提供的构建身体模型的方法900的流程图。如图9所示，方法900包括以下步骤S901-步骤S902：

步骤S901，电子设备获取与目标身体部位对应的预先构建的身体模型。

预先构建的身体模型是一种通用身体模型，该预先构建的身体模型可以代表大部分用户的身体特征，如尺寸、形状等。该预先构建的身体模型可以按照身体部位、性别（男性、女性）、年龄（儿童、成年、老年等）、身材（胖、瘦、匀称等）等进行分类。例如：预先构建的身体模型为手部模型，该手部模型分为男性成年的手部模型和女性成年的手部模型，该手部模型包括手指、手掌、手腕和一定长度的上臂。

电子设备根据用户的个人信息和目标身体部位获取预先构建的身体模型。

电子设备获取用户的个人信息，用户的个人信息可以包括：性别、年龄、身材等与预先构建的身体模型的类型相关的信息。在一种实现方式中，用户的个人信息可以预先存储于电子设备，电子设备可以直接从存储器中获取个人信息并使用。在一种实现方式中，用户的个人信息与用户账号或者设备账号绑定，电子设备可以根据个人信息所绑定的账号，获取用户的个人信息。在一种实现方式中，用户的个人信息可以由用户在本次试戴过程中配置。例如：电子设备提供个人信息界面，以供用户输入/选择对应的个人信息。

电子设备获取用户的目标身体部位。在一种实现方式中，电子设备可以根据所获取的视频流，分析目标身体部位。例如：将位于每一帧图像的中心区域/聚焦区域/试戴区域的身体部位确定为目标身体部位。在一种实现方式中，电子设备可以根据用户在本次试戴过程中的配置确定目标身体部位。例如：电子设备提供功能界面，以供用户输入/选择对应的目标身体部位。在一种实现方式中，电子设备可以根据用户所要试戴的可穿戴物品确定目标身体部位。例如：电子设备提供物品界面，以供用户输入/选择所要试戴的可穿戴物品，电子设备基于用户所选择的可穿戴物品，确定目标身体部位。

电子设备结合用户的个人信息和目标身体部位，获取预先构建的身体模型。该预先构建的身体模型与用户的目标身体部位的真实参数（如尺寸、身材、年龄等）相近。

步骤S902，电子设备根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型。

电子设备通过调整目标身体部位对应的预先构建的身体模型，得到目标身体部位的身体模型。其中，电子设备根据目标身体部位的深度信息调整预先构建的身体模型的深度信息，以令调整后的身体模型与目标身体部位的深度信息一致，即令调整后的身体模型与目标身体部位的尺寸、在三维空间内的位置一致。电子设备根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，该过程相当于在预先构建的身体模型的外部进行蒙皮操作。视频流中目标身体部位的图像可以反映目标身体部位真实的外部特征，如皮肤、毛发、光效等。

电子设备所构建的目标身体部位的身体模型，可以准确反映目标身体部位对应的深度信息、光照信息等，从而可以有效模拟真实的目标身体部位，以保证在该身体模型上试戴可穿戴物品的真实性。

步骤S504，电子设备根据光照信息和深度信息在身体模型上渲染可穿戴物品的虚拟模型。

电子设备根据目标身体部位的光照信息和深度信息，在身体模型上渲染可穿戴物品的虚拟模型，可以令渲染得到的可穿戴物品的虚拟模型的光效与目标身体部位的光效一致，令渲染得到的可穿戴物品的虚拟模型的深度信息与目标身体部位的深度信息相匹配。这样，可以令可穿戴物品的虚拟模型和目标身体部位的身体模型准确匹配，以有效提高用户通过电子设备试戴可穿戴物品的真实感。

图10是本申请实施例提供的渲染可穿戴物品的虚拟模型的方法1000的流程图。如图10所示，方法1000包括以下步骤S1001-步骤S1002：

步骤S1001，电子设备获取可穿戴物品的预设虚拟模型。

电子设备预先存储有各可穿戴物品对应的虚拟模型，即预设虚拟模型。这些预设虚拟模型是通用虚拟模型，该预设虚拟模型可以代表可穿戴物品在大部分使用场景中的光效、尺寸等。例如：智能手表对应的预设虚拟模型，该预设虚拟模型上各处亮度一致。

步骤S1002，电子设备根据光照信息调整预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置。

电子设备通过调整可穿戴物品的预设虚拟模型，以令调整后的虚拟模型可以与目标身体部位的身体模型相匹配。

其中，电子设备根据目标身体部位的光照信息调整预设虚拟模型的光照强度和遮挡信息，以令调整后的预设虚拟模型的光效与目标身体部位的光效一致。例如：目标身体部位的光照信息为光源在左侧，从左至右光照强度逐渐降低，且不存在遮挡。电子设备根据目标身体部位的光照信息调整得到的可穿戴物品的预设虚拟模型的光效为：从左至右光照强度逐渐降低，光照强度与目标身体部位上可穿戴物品所在位置的光照强度一致，且不存在遮挡。

电子设备根据目标身体部位的深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置，以令调整后的预设虚拟模型的尺寸与目标身体部位的尺寸相匹配，令调整后的预设虚拟模型的位置与目标身体部位的位置相匹配。

下面结合一个示例对本申请第一实施例提供的可穿戴物品的试戴方法进行进一步说明。

图11是本申请第一实施例提供的方法500的一个示例图。

下面结合图12所示的试戴场景，以电子设备为手机1201，可穿戴物品为智能手表，目标身体部位为手腕1203为例，对电子设备执行方法500的各个步骤示例性说明。如图11所示，该示例包括步骤S1101-步骤S1104，分别对应图5所示的方法500中的步骤S501-步骤S504。

在步骤S1101中，手机1201获取手腕1203的视频流。如图12所示，用户将手腕1203置于手机1201的摄像头的拍摄范围内。用户开启手机1201的试戴功能之后，手机1201开始拍摄手腕1203，得到手腕1203的视频流。该视频流包括N（N为大于0的正整数）帧包含手腕1203的图像。

在步骤S1102中，手机1201通过光照模型获取视频流中手腕1203的光照信息，并通过深度模型获取视频流中手腕1203的深度信息。手机1201存储有预先构建的光照模型，手机1201将视频流输入该光照估计卷积神经网络，如果该光照估计卷积神经网络包括一个Mobile Net V2和多个放大卷积神经网络，首先通过该Mobile Net V2将视频流中每一帧图像的像素特征转换为像素特征向量，然后通过该多个放大卷积神经网络逐步该像素特征向量，得到放大后的像素特征向量，并根据该放大后的像素特征向量生成每一帧图像对应的估计HDR图像，该估计HDR图像包括手腕1203的光照强度。手机1201根据该估计HDR图像和光源计算光源方向。例如：手机1201估计得到的手腕1203的光照强度为500lux，估计得到的光源方向为手腕1203的正上方，即光线均匀投射在手腕1203上。手机1201存储有预先构建的深度模型，如ST-CLSTM，手机1201将视频流输入该深度模型，通过该深度模型得到视频流中每一帧图像对应的深度图像，该深度图像包括手腕1203的深度信息。

在步骤1103中，手机1201根据手腕1203的深度信息和视频流构建手腕1203的身体模型1204。手机1201存储有预先构建的身体模型，手机1201根据用户的个人信息从这些预先构建的身体模型中确定与手腕1203对应的预先构建的手部模型。例如：用户在手机1201提供的个人信息页面输入男性、成年、身材匀称。用户在手机1201提供的物品页面选择所要试戴的可穿戴物品为智能手表。手机1201根据智能手表确定使用手部模型，并进一步根据个人信息从预先构建的各手部模型中选取成年男性且身材匀称的手部模型。手机1201根据手腕1203的深度信息调整该预先构建的手部模型，以令调整后的预先构建的手部模型的尺寸以及在三维空间内的位置与手腕1203一致。手机1201根据视频流在该预先构建的手部模型的外部覆盖手腕1203的图像，以令调整后的预先构建的手部模型的外部特征与手腕1203一致。由此，得到的身体模型1204可以反映手腕1203的真实特征。

在步骤1104中，手机1201根据手腕1203的光照信息和深度信息在身体模型1204上渲染智能手表的虚拟模型1202。手机1201预先存储有智能手表对应的虚拟模型1202。手机1201根据手腕1203的光照信息（如光照强度500lux，光源方向为正上方）调整虚拟模型1202的光照强度和遮挡信息，以令调整后的虚拟模型1202的光效与手腕1203的光效一致。手机1201根据手腕1203的深度信息调整虚拟模型1202的尺寸和虚拟模型1202在三维空间中的位置，以令调整后的虚拟模型1202的尺寸与手腕1203的尺寸相匹配，令调整后的虚拟模型1202的位置与手腕1203的位置相匹配。如图12所示，虚拟模型1202的尺寸与身体模型1204的尺寸相匹配，虚拟模型1202的位置与身体模型1204相匹配，虚拟模型1202的光效与身体模型1204一致。

在申请实施例中，用户试戴可穿戴物品的过程中，电子设备可以根据所获取到的目标身体部位的视频流，确定该目标身体部位的光照信息和深度信息。这样，电子设备无需额外配置专用于采集光照信息和深度信息的传感器，从而可以有效缩减电子设备的生产成本，以及有效控制电子设备的体积。并且，电子设备根据用户的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高渲染得到的虚拟模型与目标身体部位的匹配度，从而提高用户试戴可穿戴物品的真实感。而且，用户无需通过移动目标身体部位来适应可穿戴物品的虚拟模型，用户可以将目标身体部位至于电子设备的摄像头的拍摄范围内的任意位置，电子设备可以通过调整可穿戴物品的虚拟模型的深度信息，以令可穿戴物品的虚拟模型适应用户的目标身体部位的身体模型，令用户的试戴过程更加灵活随意。

下面是本申请的第二实施例。

本申请的第二实施例提供了一种可穿戴物品的试戴方法。与第一实施例的区别在于，用户的目标身体部位处于运动状态。图13是本申请第二实施例提供的方法1300的流程图。如图13所示，方法1300包括步骤S1301-步骤S1307，其中，步骤S1301-步骤S1304与图5所示的方法500中的步骤S501-步骤S504类似，此处不再赘述。以下对步骤S1305-步骤S1307做出说明：

步骤S1305，电子设备通过深度模型获取目标身体部位的运动信息。

目标身体部位的运动信息可以包括目标身体部位的位移方向、位移量、位移速度、翻转角度等。例如：如果目标身体部位为上臂，电子设备通过深度模型获取上臂在6个自由度上的运动信息。

深度模型为ST-CLSTM，根据第一实施例中步骤S803中对ST-CLSTM的描述，可以估计当前帧图像中各物体在下一帧图像中对应的空间特征，并根据估计得到的下一帧图像中各物体的空间特征，得到下一帧图像的估计深度图像。其中，用于估计下一帧图像中各物体的空间特征的信息即为各物体的运行信息。

步骤S1306，电子设备根据运动信息调整身体模型的深度信息，得到调整后的深度信息，并根据视频流在身体模型的外部覆盖目标身体部位的图像，得到调整后的身体模型。

电子设备根据运动信息调整身体模型的深度信息的过程，实际上是一种预测目标身体部位在运动过程中，其在下一帧图像中的深度信息的过程。例如：电子设备通过深度模型获得目标身体部位从左至右以1mm/ms的速度匀速运动，如果帧间隔为2ms，可以预测到目标身体部位在下一帧图像中的位置将向右移动2mm。相应的，电子设备将身体模型向右移动2mm。

电子设备根据实时视频流在身体模型的外部覆盖目标身体部位的图像的过程，与第一实施例中的步骤S902相类似，此处不再赘述。调整后的身体模型与运动后的目标身体部位的外部特征（如光效）和深度信息均保持一致。

步骤S1307，电子设备根据调整后的深度信息，在调整后的身体模型上渲染可穿戴物品的虚拟模型。

电子设备根据调整后的深度信息再次渲染可穿戴物品的虚拟模型，以令可穿戴物品的虚拟模型的深度信息与调整后的身体模型的深度信息一致，即令可穿戴物品的虚拟模型的位置、尺寸等信息可以与调整后的身体模型相匹配。

在本申请实施例中，电子设备通过深度模型估计目标身体部位的运动信息，并根据该运动信息调整身体模型，而不是根据目标身体部位在某一个位置上的真实图像确定调整后的深度信息，再调整身体模型。这样，电子设备调整身体模型的过程可以与目标身体部位的真实运动过程高度并行，从而可以缩短目标身体部位的位置发生变化之后重新渲染可穿戴物品的虚拟模型的时间间隔，以提高可穿戴物品的虚拟模型与身体模型之间的跟随性。避免出现身体模型已经变化，但是可穿戴物品的虚拟模型还做出适应性变化的情况。可以有效提高用户在运动过程中试戴可穿戴物品的真实性。

在上述过程中，电子设备会始终根据视频流获取目标身体部位的光照信息，并在每一次渲染可穿戴物品的虚拟模型的过程中，使用最新的光照信息，以保证渲染得到的可穿戴物品的虚拟模型的光效与目标身体部位的真实光效高度一致。

下面结合一个示例对本申请第二实施例提供的可穿戴物品的试戴方法进行进一步说明。

图14是本申请第二实施例提供的方法1300的一个示例图。

下面结合图15所示的试戴场景，以电子设备为手机1501，可穿戴物品为智能手表，目标身体部位为手腕1503为例，对电子设备执行方法1300的各个步骤示例性说明。如图14所示，该示例包括步骤S1401-步骤S1407，分别对应图13所示的方法1300中的步骤S1301-步骤S1307。本示例中步骤S1401-步骤S1404与图11所示示例中的步骤S1101-步骤S1104类似，此处不再赘述。以下对步骤S1405-步骤S1407做出说明：

在步骤S1405中，手机1501通过深度模型获取手腕1503的运动信息。例如：手腕1503的运动信息是从左至右以1mm/ms的速度匀速运动，在图15中以虚线表示手腕1503运动前的位置，以实线表示手腕1503运动后的位置。

在步骤S1406中，手机1501根据运动信息调整身体模型1504的深度信息，得到调整后的深度信息。例如：如果帧间隔为2ms，手机1501在每一帧将身体模型1504向右匀速移动2mm。手机1501根据视频流在身体模型1504的外部覆盖手腕1503的图像，得到调整后的身体模型1504。在图15中以虚线表示身体模型1504运动前的位置，以实线表示身体模型1504运动后的位置。

在步骤S1407中，手机1501根据调整后的深度信息，在调整后的身体模型1504上渲染智能手表的虚拟模型1502。手机1501根据运动信息调整身体模型1504的深度信息，得到的调整后的深度信息是预测的深度信息，手机1501根据该调整后的深度信息快速渲染智能手表的虚拟模型1502，可以保证虚拟模型1502显示出来的效率，并且通过深度模型得到的运动信息具有高精度，从而保证根据运动信息得到的调整后的深度信息也具有高精度，进而保证根据该调整后的深度信息渲染得到的虚拟模型1502可以与运动后的身体模型1504（即调整后的身体）相匹配。

在本实施例中，用户试戴可穿戴物品的过程中，用户可以在电子设备的摄像头的摄像范围内随意移动目标身体部位，电子设备可以通过深度模型预测目标身体部位的运动信息，以及时调整目标身体部位的身体模型，并使用预测到的深度信息重新渲染可穿戴物品的虚拟模型。不仅可以提高开始渲染可穿戴物品的虚拟模型的启动效率，还可以保证重新渲染得到可穿戴物品的虚拟模型与调整后的身体模型准确匹配，从而提高用户在运动中试戴可穿戴物品的真实感。

图16是本申请实施例提供的一种可穿戴物品的试戴装置的结构示意图。

在一些实施例中，电子设备可以通过图16所示的硬件装置实现相应的功能。如图16所示，该可穿戴物品的试戴装置可以包括：采集器1601、存储器1602和处理器1603。

在一种实现方式中，处理器1603可以包括一个或多个处理单元，例如：处理器1603可以包括应用处理器，调制解调处理器，图形处理器，图像信号处理器，控制器，视频编解码器，数字信号处理器，基带处理器，和/或神经网络处理器等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。存储器1602与处理器1603耦合，用于存储各种软件程序和/或多组指令。在一些实施例中，存储器1602可包括易失性存储器和/或非易失性存储器。采集器1601可以包括摄像头，如单目摄像头等，采集器1601与处理器1603耦合，用于实现电子设备的摄像功能。

在一个实施例中，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备用于执行如下方法步骤：获取用户的目标身体部位的视频流，该目标身体部位用于试戴可穿戴物品。通过光照模型获取该视频流中目标身体部位的光照信息，并通过深度模型获取该视频流中目标身体部位的深度信息。根据深度信息和视频流构建目标身体部位的身体模型。根据光照信息和深度信息在该身体模型上渲染可穿戴物品的虚拟模型。

这样，用户试戴可穿戴物品的过程中，电子设备可以根据所获取到的目标身体部位的视频流，确定该目标身体部位的光照信息和深度信息。电子设备无需额外配置专用于采集光照信息和深度信息的传感器，从而可以有效缩减电子设备的生产成本，以及有效控制电子设备的体积。并且，电子设备根据用户的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高渲染得到的虚拟模型与目标身体部位的匹配度，从而提高用户试戴可穿戴物品的真实感。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备用于执行如下方法步骤：通过单目摄像头实时获取目标身体部位的视频流。这样，电子设备可以通过自身原有的单目摄像头获取目标身体部位的视频流，而无需额外配置传感器等其他部件。并且，电子设备实时获取目标身体部位的视频流，可以保证所获取视频流的真实性，进而保证电子设备根据该实时获取的视频流所渲染的可穿戴物品的虚拟模型可以更加贴近用户的目标身体部位的实际特征，从而提高用户试戴可穿戴物品的真实感。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备在通过光照模型获取该视频流中目标身体部位的光照信息之前，还用于执行如下方法步骤：获取第一样本视频流。通过光照模型获取第一样本视频流中每一帧图像的像素特征，该像素特征用于表征每一帧图像的光强信息。根据每一帧图像的像素特征，获取每一帧图像对应的估计光照强度和估计光源方向。根据每一帧图像对应的估计光照强度与每一帧图像对应的真实光照强度之间的损失距离，以及每一帧图像对应的估计光源方向和每一帧图像对应的真实光源方向之间的损失距离训练光照模型，以使得光照模型收敛。这样，电子设备预先构建用于估计光照信息的光照模型，以在获取到视频流之后，可以直接使用该光照模型估计目标身体部位的光照信息，提高获取光照信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

可选的，光照信息包括：光照强度和光源方向。这样，电子设备可以准确估计目标身体部位所处的光环境，并根据该光照信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以贴近目标身体部位所处的光环境，以提高用户试戴可穿戴物品的真实感。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备在通过深度模型获取视频流中目标身体部位的深度信息之前，还用于执行如下方法步骤：获取第二样本图像。通过深度模型获取第二样本视频流中每一帧图像的空间特征，以及获取第二样本视频流中各帧图像之间的时间相关性。根据第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像。根据每一帧图像的估计深度图像和每一帧图像对应的真实深度图像之间的损失距离训练该深度模型，以使得该深度模型收敛。这样，电子设备预先构建用于估计深度信息的深度模型，以在获取到视频流之后，可以直接使用该深度模型估计目标身体部位的深度信息，提高获取深度信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备用于执行如下方法步骤：获取与身体模型对应的预先构建的身体模型。根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在该预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型。这样，电子设备通过调整已有的身体模型构建目标身体部位的身体模型，不仅可以保证所构建的身体模型与用户的目标身体部位相匹配，还可以有效提高构建身体模型的效率。

可选的，深度信息包括：目标身体部位的尺寸信息和目标身体部位在三维空间中的位置信息。这样，电子设备可以准确估计目标身体部位的物理信息，并根据该深度信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以匹配目标身体部位的物理信息，提高用户试戴可穿戴物品的真实感。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备用于执行如下方法步骤：获取可穿戴物品的预设虚拟模型。根据光照信息调整该预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整该预设虚拟模型的尺寸和该预设虚拟模型在三维空间中的位置。这样，电子设备根据目标身体部位的光照信息和深度信息调整可穿戴物品已有的虚拟模型，不仅可以保证渲染得到的可穿戴物品的虚拟模型与身体模型相匹配，还可以有效提高渲染可穿戴物品的虚拟模型的效率。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备在根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型之后，还用于执行如下方法步骤：获取目标身体部位的运动信息。根据运动信息调整身体模型的深度信息，得到调整后的深度信息，并根据视频流在身体模型的外部覆盖目标身体部位的图像，得到调整后的身体模型。这样，电子设备根据目标身体部位的运动信息，并行调整身体模型，以令调整后的身体模型与目标身体部位的真实运动相匹配。

可选的，当存储器1602中的软件程序和/或多组指令被处理器1603运行时，使得电子设备在根据光照信息调整预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置之后，还用于执行如下方法步骤：根据调整后的深度信息，在调整后的身体模型上渲染可穿戴物品的虚拟模型。这样，电子设备根据调整后的深度信息重新渲染可穿戴物品的虚拟模型，以令重新渲染得到的虚拟模型与调整后的身体模型相匹配，从而实现用户在移动目标身体部位时试戴可穿戴物品的效果。

另外，在一些实施例中，电子设备可以通过软件模块来实现相应的功能。如图17所示，用于实现上述电子设备行为的功能的可穿戴物品的试戴装置包括：采集单元1701、信息估计单元1702、身体模型构建单元1703和渲染单元1704。

其中，采集单元1701，用于获取用户的目标身体部位的视频流，该目标身体部位用于试戴可穿戴物品。信息估计单元1702，用于通过光照模型获取该视频流中目标身体部位的光照信息，并通过深度模型获取该视频流中目标身体部位的深度信息。身体模型构建单元1703，用于根据深度信息和视频流构建目标身体部位的身体模型。渲染单元1704，用于根据光照信息和深度信息在该身体模型上渲染可穿戴物品的虚拟模型。

这样，用户试戴可穿戴物品的过程中，电子设备可以根据所获取到的目标身体部位的视频流，确定该目标身体部位的光照信息和深度信息。电子设备无需额外配置专用于采集光照信息和深度信息的传感器，从而可以有效缩减电子设备的生产成本，以及有效控制电子设备的体积。并且，电子设备根据用户的目标身体部位的光照信息和深度信息渲染可穿戴物品的虚拟模型，可以提高渲染得到的虚拟模型与目标身体部位的匹配度，从而提高用户试戴可穿戴物品的真实感。

可选的，采集单元1701用于通过单目摄像头实时获取目标身体部位的视频流。这样，电子设备可以通过自身原有的单目摄像头获取目标身体部位的视频流，而无需额外配置传感器等其他部件。并且，电子设备实时获取目标身体部位的视频流，可以保证所获取视频流的真实性，进而保证电子设备根据该实时获取的视频流所渲染的可穿戴物品的虚拟模型可以更加贴近用户的目标身体部位的实际特征，从而提高用户试戴可穿戴物品的真实感。

可选的，该电子设备还包括：光照模型训练单元1705。在信息估计单元1702通过光照模型获取该视频流中目标身体部位的光照信息之前，该光照模型训练单元1705用于获取第一样本视频流。该光照模型训练单元1705还用于通过光照模型获取第一样本视频流中每一帧图像的像素特征，该像素特征用于表征每一帧图像的光强信息。该光照模型训练单元1705还用于根据每一帧图像的像素特征，获取每一帧图像对应的估计光照强度和估计光源方向。该光照模型训练单元1705还用于根据每一帧图像对应的估计光照强度与每一帧图像对应的真实光照强度之间的损失距离，以及每一帧图像对应的估计光源方向和每一帧图像对应的真实光源方向之间的损失距离训练光照模型，以使得光照模型收敛。这样，电子设备预先构建用于估计光照信息的光照模型，以在获取到视频流之后，可以直接使用该光照模型估计目标身体部位的光照信息，提高获取光照信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，光照信息包括：光照强度和光源方向。这样，电子设备可以准确估计目标身体部位所处的光环境，并根据该光照信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以贴近目标身体部位所处的光环境，以提高用户试戴可穿戴物品的真实感。

在一种实现方式中，该电子设备还包括：深度模型训练单元1706。在信息估计单元1702通过深度模型获取该视频流中目标身体部位的深度信息之前，该深度模型训练单元1706用于获取第二样本图像。该深度模型训练单元1706还用于通过深度模型获取第二样本视频流中每一帧图像的空间特征，以及获取第二样本视频流中各帧图像之间的时间相关性。该深度模型训练单元1706还用于根据第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像。该深度模型训练单元1706还用于根据每一帧图像的估计深度图像和每一帧图像对应的真实深度图像之间的损失距离训练该深度模型，以使得该深度模型收敛。这样，电子设备预先构建用于估计深度信息的深度模型，以在获取到视频流之后，可以直接使用该深度模型估计目标身体部位的深度信息，提高获取深度信息的效率，进而提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，身体模型构建单元1703根据深度信息和视频流构建目标身体部位的身体模型，包括：获取与身体模型对应的预先构建的身体模型。根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在该预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型。这样，电子设备通过调整已有的身体模型构建目标身体部位的身体模型，不仅可以保证所构建的身体模型与用户的目标身体部位相匹配，还可以有效提高构建身体模型的效率。

在一种实现方式中，深度信息包括：目标身体部位的尺寸信息和目标身体部位在三维空间中的位置信息。这样，电子设备可以准确估计目标身体部位的物理信息，并根据该深度信息渲染可穿戴物品的虚拟模型，以令渲染得到的可穿戴物品的虚拟模型可以匹配目标身体部位的物理信息，提高用户试戴可穿戴物品的真实感。

在一种实现方式中，渲染单元1704根据光照信息和深度信息在身体模型上渲染可穿戴物品的虚拟模型，包括：获取可穿戴物品的预设虚拟模型。根据光照信息调整该预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整该预设虚拟模型的尺寸和该预设虚拟模型在三维空间中的位置。这样，电子设备根据目标身体部位的光照信息和深度信息调整可穿戴物品已有的虚拟模型，不仅可以保证渲染得到的可穿戴物品的虚拟模型与身体模型相匹配，还可以有效提高渲染可穿戴物品的虚拟模型的效率。

在一种实现方式中，渲染单元1704根据深度信息调整预先构建的身体模型的深度信息，以及根据视频流在预先构建的身体模型的外部覆盖目标身体部位的图像，得到身体模型之后，身体模型构建单元1703还用于通过深度模型获取目标身体部位的运动信息。根据运动信息调整身体模型的深度信息，得到调整后的深度信息，并根据视频流在身体模型的外部覆盖目标身体部位的图像，得到调整后的身体模型。这样，电子设备根据目标身体部位的运动信息，并行调整身体模型，以令调整后的身体模型与目标身体部位的真实运动相匹配。

在一种实现方式中，身体模型构建单元1703根据光照信息调整预设虚拟模型的光照强度和遮挡信息，以及根据深度信息调整预设虚拟模型的尺寸和预设虚拟模型在三维空间中的位置之后，渲染单元1704还用于根据调整后的深度信息，在调整后的身体模型上渲染可穿戴物品的虚拟模型。这样，电子设备根据调整后的深度信息重新渲染可穿戴物品的虚拟模型，以令重新渲染得到的虚拟模型与调整后的身体模型相匹配，从而实现用户在移动目标身体部位时试戴可穿戴物品的效果。

本申请实施例还提供一种计算机存储介质，计算机可读存储介质中存储有程序指令，当程序指令在计算机上运行时，使得计算机执行上述各方面及其各个实现方式中的方法。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式中的方法。

本申请还提供了一种芯片系统。该芯片系统包括处理器，用于支持上述装置或设备实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。在一种可能的设计中，芯片系统还包括存储器，用于保存上述装置或设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (13)

1.一种可穿戴物品的试戴方法，其特征在于，所述方法包括：

获取用户的目标身体部位的视频流，所述目标身体部位用于试戴所述可穿戴物品，其中，所述视频流由至少一帧RGB图像组成；

通过光照模型获取所述视频流中所述目标身体部位的光照信息，并通过深度模型获取所述视频流中所述目标身体部位的深度信息，其中，所述深度模型为卷积神经网络模型，所述深度模型具有预测所述目标身体部位的深度信息的功能，所述目标身体部位的深度信息包括：所述目标身体部位的尺寸信息和所述目标身体部位的三维坐标；

根据所述深度信息和所述视频流构建所述目标身体部位的身体模型；

根据所述光照信息和所述深度信息在所述身体模型上渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型满足条件：所述可穿戴物品的虚拟模型的光效与所述目标身体部位的光效一致，所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位的尺寸相匹配，以及所述可穿戴物品的虚拟模型的位置与所述目标身体部位的位置相匹配；

其中，在所述目标身体部位处于运动状态时，通过所述深度模型获取所述目标身体部位在下一帧图像中的深度信息，以及根据所述下一帧图像中的深度信息重新渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位在所述下一帧图像中的尺寸相匹配，以及令所述可穿戴物品的虚拟模型的位置与所述目标身体部位在所述下一帧图像中的位置相匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取用户的目标身体部位的视频流，包括：

通过单目摄像头实时获取所述目标身体部位的视频流。

3.根据权利要求1所述的方法，其特征在于，所述通过光照模型获取所述视频流中所述目标身体部位的光照信息之前，还包括：

获取第一样本视频流；

通过所述光照模型获取所述第一样本视频流中每一帧图像的像素特征，所述像素特征用于表征所述每一帧图像的光强信息；

根据所述每一帧图像的像素特征，获取所述每一帧图像对应的估计光照强度和估计光源方向；

根据所述每一帧图像对应的估计光照强度与所述每一帧图像对应的真实光照强度之间的损失距离，以及所述每一帧图像对应的估计光源方向和所述每一帧图像对应的真实光源方向之间的损失距离训练所述光照模型，以使得所述光照模型收敛。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述光照信息包括：光照强度和光源方向。

5.根据权利要求1所述的方法，其特征在于，所述通过深度模型获取所述视频流中所述目标身体部位的深度信息之前，还包括：

获取第二样本视频流；

通过所述深度模型获取所述第二样本视频流中每一帧图像的空间特征，以及获取所述第二样本视频流中各帧图像之间的时间相关性；

根据所述第二样本视频流中每一帧图像的空间特征和各帧图像之间的时间相关性，生成每一帧图像的估计深度图像；

根据所述每一帧图像的估计深度图像和所述每一帧图像对应的真实深度图像之间的损失距离训练所述深度模型，以使得所述深度模型收敛。

6.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息和所述视频流构建所述目标身体部位的身体模型，包括：

获取与所述目标身体部位对应的预先构建的身体模型；

根据所述深度信息调整所述预先构建的身体模型的深度信息，以及根据所述视频流在所述预先构建的身体模型的外部覆盖所述目标身体部位的图像，得到所述身体模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述光照信息和所述深度信息在所述身体模型上渲染所述可穿戴物品的虚拟模型，包括：

获取所述可穿戴物品的预设虚拟模型；

根据所述光照信息调整所述预设虚拟模型的光照强度和遮挡信息，以及根据所述深度信息调整所述预设虚拟模型的尺寸和所述预设虚拟模型在三维空间中的位置。

8.根据权利要求6所述的方法，其特征在于，所述根据所述深度信息调整所述预先构建的身体模型的深度信息，以及根据所述视频流在所述预先构建的身体模型的外部覆盖所述目标身体部位的图像，得到所述身体模型之后，还包括：

通过所述深度模型获取所述目标身体部位的运动信息；

根据所述运动信息调整所述身体模型的深度信息，得到调整后的深度信息，并根据所述视频流在所述身体模型的外部覆盖所述目标身体部位的图像，得到调整后的身体模型。

9.根据权利要求8所述的方法，其特征在于，所述根据所述运动信息调整所述身体模型的深度信息，得到调整后的深度信息，并根据所述视频流在所述身体模型的外部覆盖所述目标身体部位的图像，得到调整后的身体模型之后，还包括：

根据所述调整后的深度信息，在所述调整后的身体模型上渲染所述可穿戴物品的虚拟模型。

10.一种可穿戴物品的试戴装置，其特征在于，所述装置包括：

采集单元，用于获取用户的目标身体部位的视频流，所述目标身体部位用于试戴所述可穿戴物品，其中，所述视频流由至少一帧RGB图像组成；

信息估计单元，用于通过光照模型获取所述视频流中所述目标身体部位的光照信息，并通过深度模型获取所述视频流中所述目标身体部位的深度信息，其中，所述深度模型为卷积神经网络模型，所述深度模型具有预测所述目标身体部位的深度信息的功能，所述目标身体部位的深度信息包括：所述目标身体部位的尺寸信息和所述目标身体部位的三维坐标；

身体模型构建单元，用于根据所述深度信息和所述视频流构建所述目标身体部位的身体模型；

渲染单元，用于根据所述光照信息和所述深度信息在所述身体模型上渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型满足条件：所述可穿戴物品的虚拟模型的光效与所述目标身体部位的光效一致，所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位的尺寸相匹配，以及所述可穿戴物品的虚拟模型的位置与所述目标身体部位的位置相匹配；

其中，在所述目标身体部位处于运动状态时，通过所述深度模型获取所述目标身体部位在下一帧图像中的深度信息，以及根据所述下一帧图像中的深度信息重新渲染所述可穿戴物品的虚拟模型，以令所述可穿戴物品的虚拟模型的尺寸与所述目标身体部位在所述下一帧图像中的尺寸相匹配，以及令所述可穿戴物品的虚拟模型的位置与所述目标身体部位在所述下一帧图像中的位置相匹配。

11.一种电子设备，其特征在于，包括：处理器和存储器；所述存储器存储有程序指令，当所述程序指令被所述处理器执行时，使得所述电子设备执行权利要求1-9中任一项所述的方法。

12.一种芯片系统，其特征在于，包括：存储器和处理器；所述存储器存储有程序指令，当所述程序指令被所述处理器执行时，使得所述芯片系统执行权利要求1-9中任一项所述的方法。

13.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令在计算机上运行时，使得计算机执行权利要求1-9中任一项所述的方法。

Images