CN116524088A - 珠宝虚拟试戴方法、装置、计算机设备和存储介质 - Google Patents
珠宝虚拟试戴方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116524088A CN116524088A CN202310800586.9A CN202310800586A CN116524088A CN 116524088 A CN116524088 A CN 116524088A CN 202310800586 A CN202310800586 A CN 202310800586A CN 116524088 A CN116524088 A CN 116524088A
- Authority
- CN
- China
- Prior art keywords
- try
- jewelry
- information
- fitting
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 103
- 238000009877 rendering Methods 0.000 claims abstract description 33
- 238000009499 grossing Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003221 ear drop Substances 0.000 description 1
- 229940047652 ear drops Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本申请涉及一种珠宝虚拟试戴方法、装置、计算机设备和存储介质。所述方法包括：确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息；确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息；根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息；根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画；根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。采用本方法能够提高珠宝的虚拟试戴效果。
Description
技术领域
本申请涉及增强现实技术领域，特别是涉及一种珠宝虚拟试戴方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着增强现实技术的不断发展，让珠宝虚拟试戴逐渐应用于珠宝行业，为线上购买珠宝饰品的用户提供了新的交互体验。
传统技术中，需要用户先在拍摄的图片上手动定位试戴部位，然后移动终端自动将珠宝饰品的图像展示在试戴部位上，这种先手动定位后贴图的虚拟试戴方式具有处理方便、贴图速度快的优势，但是珠宝饰品的图像无法随着试戴部位的动作进行动态展示，甚至只能显示平面的效果，因而这种先手动定位后贴图的虚拟试戴方式存在试戴展示效果较差的技术缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高珠宝的虚拟试戴效果的珠宝虚拟试戴方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种珠宝虚拟试戴方法。所述方法包括：
确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
在其中一个实施例中，根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画，包括：
根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息；所述待处理视频包含有多帧图像；所述珠宝三维模型在每帧图像中的展示位置通过所述试戴关键点的三维位置确定得到；
根据所述珠宝三维模型在所述当前帧图像的受力信息，得到所述珠宝三维模型在所述当前帧图像的摆动姿态；
根据所述每帧图像的摆动姿态，对所述珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画。
在其中一个实施例中，在根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息之前，还包括：
根据接收到的珠宝款码信息，从珠宝三维模型库中，获取所述珠宝款码信息对应的初始珠宝三维模型；
根据所述试戴关键点的三维位置，确定所述初始珠宝三维模型的展示位置；
根据所述展示位置，对所述初始珠宝三维模型的尺寸进行调整，得到所述试戴部位对应的珠宝三维模型。
在其中一个实施例中，确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息，包括：
根据所述试戴关键点在所述待处理视频中的二维坐标，确定所述试戴关键点的初始三维位置；
根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计，得到所述试戴部位的初始姿态信息；
对所述初始姿态信息和所述初始三维位置进行平滑处理，得到所述初始姿态信息对应的姿态信息和所述初始三维位置对应的三维位置。
在其中一个实施例中，根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息，包括：
根据所述试戴关键点的三维位置，确定所述试戴部位的速度；
根据所述速度和所述试戴部位的姿态信息，确定所述试戴部位的加速度；
将所述速度和所述加速度，作为所述试戴部位的运动状态信息。
在其中一个实施例中，确定试戴部位的待处理视频中的试戴关键点，包括：
识别所述试戴部位的部位类型；
将所述待处理视频，输入所述部位类型对应的关键点检测模型中，得到所述待处理视频中的试戴关键点。
在其中一个实施例中，在确定试戴部位的待处理视频中的试戴关键点之前，还包括：
展示珠宝候选页面；所述珠宝候选页面中展示有多个珠宝的缩略图和所述多个珠宝的珠宝信息；
获取所述珠宝候选页面中目标珠宝的珠宝款码信息，并展示所述珠宝款码信息对应的珠宝预览页面；
响应于对所述珠宝预览页面中试戴按键的触发操作，获取所述试戴部位的待处理视频。
第二方面，本申请还提供了一种珠宝虚拟试戴装置。所述装置包括：
关键点识别模块，用于确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
三维位置获取模块，用于确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
运动状态获取模块，用于根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
试戴动画渲染模块，用于根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
试戴视频生成模块，用于根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息和所述试戴关键点的三维位置；
根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
上述珠宝虚拟试戴方法、装置、计算机设备、存储介质和计算机程序产品，确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息；确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息和试戴关键点的三维位置；根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息；根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画；根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。采用本方法，能够通过试戴部位的姿态信息和三维位置来分析出试戴部位的运动状态信息，从而基于试戴部位的运动状态信息来渲染得到珠宝三维模型的试戴动画，而非生硬的将珠宝三维模型直接贴到试戴关键点，使得目标试戴视频中珠宝三维模型的运动轨迹更自然，珠宝三维模型与试戴部位的结合效果更合理，进而大大提高了珠宝的虚拟试戴效果。
附图说明
图1为一个实施例中珠宝虚拟试戴方法的流程示意图；
图2为一个实施例中得到珠宝三维模型的试戴动画步骤的流程示意图；
图3为另一个实施例中珠宝虚拟试戴方法的流程示意图；
图4为一个实施例中珠宝虚拟试戴装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种珠宝虚拟试戴方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现，例如，终端将获取到的试戴部位的待处理视频转发至服务器，以供服务器基于接收到的待处理视频处理得到目标试戴视频，进而服务器将目标试戴视频发送至终端上展示。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
步骤S101，确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息。
其中，试戴部位是指需要虚拟试戴珠宝的人体部位。例如，试戴部位可以是脸部、颈部和手部等。待处理视频是指用于进行珠宝虚拟试戴处理的原生视频。试戴关键点是指针对试戴部位识别得到的关键点。深度信息用于描述像素点在三维世界中与摄像机之间的距离。
具体地，终端获取试戴部位的待处理视频，例如，可以是通过终端录制得到的，也可以是上传到终端的。然后终端根据部位类型，对待处理视频进行关键点检测，则终端得到待处理视频中每帧图像的试戴关键点，并确定试戴关键点的深度信息，深度信息可以是根据试戴关键点的二维坐标计算得到的，也可以是根据相机参数得到的。
步骤S102，确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息。
其中，姿态信息是指试戴部位的运动或移位信息或旋转信息。
具体地，终端根据试戴关键点的二维坐标，得到试戴关键点的初始三维位置；终端根据深度信息对试戴部位进行姿态估计处理，得到试戴部位的初始姿态信息；进而分别对初始姿态信息和初始三维位置进行姿态平滑处理，得到试戴部位的姿态信息和试戴关键点的三维位置，以去除异常的初始姿态信息和异常的初始三维位置。
步骤S103，根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息。
其中，运动状态用于描述试戴部位进行机械运动时相关的状态。
具体地，终端根据试戴部位的姿态信息和试戴关键点的三维位置，确定试戴部位的运动轨迹，进而根据运动轨迹来估计得到试戴部位的运动状态信息，可以是根据运动轨迹中的运动距离来确定速度，同时根据运动轨迹中的运动方向、运动距离来确定加速度。
步骤S104，根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。
其中，珠宝三维模型是指针对珠宝饰品构建得到的三维模型。
具体地，终端先根据用户想试戴的珠宝的珠宝款码信息，获取到初始珠宝三维模型；然后根据试戴关键点的三维位置确定出初始珠宝三维模型的展示位置，从而调整初始珠宝三维模型的尺寸大小，以得到适配于试戴部位的珠宝三维模型。根据试戴部位的运动状态信息和姿态信息，以及试戴关键点的三维位置，对珠宝三维模型进行受力评估，则终端得到珠宝三维模型的受力信息。进而终端根据受力信息来对珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。可以理解的是，由于试戴动画是基于受力信息来针对珠宝三维模型渲染得到的，所以试戴动画中没有试戴部位，因而还需执行步骤S105进一步生成得到目标试戴视频。
步骤S105，根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。
其中，目标试戴视频是指融合有期望试戴的珠宝的试戴动画的视频数据。
具体地，终端将试戴动画和待处理视频进行融合，可以是将试戴动画和待处理视频进行叠加，还可以是通过三维引擎将试戴动画与待处理视频融合，则终端生成得到试戴部位的目标试戴视频。
上述珠宝虚拟试戴方法中，确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息；确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息和试戴关键点的三维位置；根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息；根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画；根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。采用本方法，能够通过试戴部位的姿态信息和三维位置来分析出试戴部位的运动状态信息，从而基于试戴部位的运动状态信息来渲染得到珠宝三维模型的试戴动画，而非生硬的将珠宝三维模型直接贴到试戴关键点，使得得到的目标试戴视频中珠宝三维模型的运动轨迹更自然，珠宝三维模型与试戴部位的结合效果更合理，进而大大提高了珠宝的虚拟试戴效果。
在一个实施例中，如图2所示，上述步骤S104，根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画，具体包括如下内容：
步骤S201，根据珠宝三维模型在上一帧图像中的展示位置，试戴部位在上一帧图像的姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息；待处理视频包含有多帧图像；珠宝三维模型在每帧图像中的展示位置通过试戴关键点的三维位置确定得到。
具体地，待处理视频中包含有多帧图像，终端可以根据每帧图像中试戴关键点的三维位置，来分别确定珠宝三维模型在每帧图像中的展示位置。终端根据珠宝三维模型在上一帧图像中的展示位置、试戴部位在上一帧图像的运动姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息，可以是根据珠宝三维模型在上一帧图像的展示位置和上一帧图像的运动姿态信息，确定珠宝三维模型在当前帧图像的受力点，进而根据试戴部位在当前帧图像的运动状态信息确定出珠宝三维模型在当前帧图像的受力方向和受力大小，则终端可以将受力点、受力方向和受力大小作为珠宝三维模型在当前帧图像的受力信息。
步骤S202，根据珠宝三维模型在当前帧图像的受力信息，得到珠宝三维模型在当前帧图像的摆动姿态。
其中，摆动姿态是指珠宝三维模型随着试戴部位进行摆动的信息。
具体地，在当前帧图像是待处理视频的首帧图像的情况下，终端根据珠宝三维模型在当前帧图像的展示位置和试戴部位在当前帧的姿态信息，得到珠宝三维模型的起始姿态。在当前帧图像不是待处理视频的首帧图像的情况下，终端根据珠宝三维模型在当前帧图像的受力信息，对珠宝三维模型在上一帧图像的摆动姿态（或起始姿态）进行受力分析，得到珠宝三维模型在当前帧图像的摆动姿态。
步骤S203，根据每帧图像的摆动姿态，对珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。
具体地，终端根据珠宝三维模型在每帧图像中的摆动姿态（或起始姿态），对珠宝三维模型的摆动动作进行动画渲染，则终端得到珠宝三维模型的试戴动画。
本实施例中，首先通过根据珠宝三维模型在上一帧图像中的展示位置，试戴部位在上一帧图像的姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息；进而根据珠宝三维模型在当前帧图像的受力信息，得到珠宝三维模型在当前帧图像的摆动姿态；最后根据每帧图像的摆动姿态，对珠宝三维模型进行摆动渲染，实现了珠宝三维模型的试戴动画的合理获取，通过受力信息来摆动姿态，能够使渲染得到的试戴动画的运动轨迹更真实、更自然，有利于提高目标试戴视频中珠宝的虚拟试戴效果。
在一个实施例中，在上述步骤S201，根据珠宝三维模型在上一帧图像中的展示位置，试戴部位在上一帧图像的姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息之前，还包括：根据接收到的珠宝款码信息，从珠宝三维模型库中，获取珠宝款码信息对应的初始珠宝三维模型；根据试戴关键点的三维位置，确定初始珠宝三维模型的展示位置；根据展示位置，对初始珠宝三维模型的尺寸进行调整，得到试戴部位对应的珠宝三维模型。
其中，珠宝三维模型库中存储有多个珠宝首饰的三维模型，且每个三维模型均与唯一的珠宝款码信息相关联。
具体地，在响应试戴按键的触发操作同时，终端会接收到该触发操作对应的珠宝款码信息，进而终端可以通过珠宝款码信息去珠宝三维模型库中搜索得到与该珠宝款码信息对应的初始珠宝三维模型。终端根据试戴关键点的三维位置来得到初始珠宝三维模型的展示位置；根据展示位置计算得到模型展示尺寸；根据模型展示尺寸，对初始珠宝三维模型的尺寸进行调整，则终端得到与试戴部位尺寸相匹配的珠宝三维模型。
可以理解的是，由于受到试戴部位的大小、拍摄角度、拍摄远近等因素的影响，所以不同待处理视频中试戴部位适配的珠宝三维模型的大小是不同的，所以需要根据展示位置来调整珠宝三维模型的尺寸。然而，试戴部位在运动过程中，会导致珠宝三维模型的受力信息也发生变化，简单的将珠宝三维模型贴图在展示位置上所呈现的虚拟试戴效果比较生硬，并不符合物体的自然运动规律，而且部分珠宝饰品受到质量和形状的影响，在试戴过程中其摆动姿态也会发生变化，如手镯、耳坠，因而本方法还通过上述步骤S201至步骤S203，来根据展示位置、姿态信息和运动状态进一步分析出受力信息，从而基于受力信息得到珠宝三维模型的试戴动画，以提升虚拟试戴珠宝饰品的真实感。
在本实施例中，通过接收到的珠宝款码信息，从珠宝三维模型库中获取相对应的初始珠宝三维模型；然后根据试戴关键点的三维位置，确定初始珠宝三维模型的展示位置；进而根据展示位置，调整尺寸得到试戴部位对应的珠宝三维模型，使得调整得到的珠宝三维模型与试戴部位相匹配，进而后续步骤中可以将该珠宝三维模型作为处理依据，来执行后续的试戴动画渲染步骤。
在一个实施例中，上述步骤S102，确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息和试戴关键点的三维位置，具体包括如下内容：根据试戴关键点在待处理视频中的二维坐标，确定试戴关键点的初始三维位置；根据试戴关键点的深度信息，对试戴部位进行姿态估计，得到试戴部位的初始姿态信息；对初始姿态信息和初始三维位置进行平滑处理，得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置。
具体地，由于试戴关键点是以单帧图像中的像素为单位标记得到的，因而终端可以直接获取待处理视频的每帧图像中试戴关键点的二维坐标；进而终端利用空间三维坐标系，将试戴关键点的二维坐标转换为初始三维位置。终端将试戴关键点的深度信息，或者每帧图像对应的深度图像，输入至姿态估计网络中，通过姿态估计网络预测得到每帧图像中试戴部位的初始姿态信息。终端对每帧图像的初始姿态信息和初始三维位置进行平滑预测处理，可以是对每帧图像的初始姿态信息和初始三维位置进行移动平均，还可以是对每帧图像的初始姿态信息和初始三维位置进行指数平滑，也可以是对每帧图像的初始姿态信息和初始三维位置进行时间序列预测，则终端得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置。
在本实施例中，通过根据试戴关键点的二维坐标和深度信息，分别确定试戴关键点的初始三维位置和试戴部位的初始姿态信息；进而通过对初始姿态信息和初始三维位置进行平滑处理，得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置，能够修正初始姿态信息和初始三维位置中的异常值，使得获取得到的三维位置和姿态信息更平稳，以及更能反映时间序列上的变化趋势，有助于准确的分析出珠宝三维模型的受力信息。
在一个实施例中，上述步骤S103，根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息，具体包括如下内容：根据试戴关键点的三维位置，确定试戴部位的速度；根据速度和试戴部位的姿态信息，确定试戴部位的加速度；将速度和加速度，作为试戴部位的运动状态信息。
其中，运动状态可以包括速度、加速度，还可以包括速度的方向、加速度的方向、动量和位移等。
具体地，终端根据试戴关键点在上一帧图像的三维位置和在当前帧图像的三维位置，以及上一帧图像与当前帧图像之间的时间间隔，计算得到试戴部位在当前帧图像的速度。终端根据上一帧图像的速度、当前帧图像的速度和试戴部位在当前帧图像的姿态信息，计算得到试戴部位在当前帧图像的加速度；此外，终端还可以根据姿态信息和三维位置，确定加速度的方向。终端可以将速度、加速度和加速度方向，作为试戴部位的运动状态信息。
在本实施例中，首先根据试戴关键点的三维位置，确定试戴部位的速度；然后根据速度和试戴部位的姿态信息，确定试戴部位的加速度；进而将速度和加速度，作为试戴部位的运动状态信息，实现了试戴部位的运动状态信息的科学获取，使得后续步骤能够基于试戴部位的运动状态信息来处理得到珠宝三维模型的受力信息。
在一个实施例中，上述步骤S101，确定试戴部位的待处理视频中的试戴关键点，具体包括如下内容：识别试戴部位的部位类型；将待处理视频，输入部位类型对应的关键点检测模型中，得到待处理视频中的试戴关键点。
具体地，终端可以将待处理视频的每帧图像输入到试戴部位识别模型中，通过试戴部位识别模型对每帧图像进行特征识别处理，从而输出得到试戴部位的部位类型。终端将每帧图像，输入到与部位类型相对应的关键点检测模型中，通过关键点检测模型对每帧图像中的试戴部位进行关键点检测，则终端得到每帧图像的试戴关键点，以及试戴关键点的二维坐标。
在本实施例中，通过将待处理视频，输入部位类型对应的关键点识别模型中，得到待处理视频中的试戴关键点，能够快速、准确的识别待处理视频的每帧图像中的试戴关键点。
在一个实施例中，在上述步骤S101，确定试戴部位的待处理视频中的试戴关键点之前，还包括：展示珠宝候选页面；珠宝候选页面中展示有多个珠宝的缩略图和多个珠宝的珠宝信息；获取珠宝候选页面中目标珠宝的珠宝款码信息，并展示珠宝款码信息对应的珠宝预览页面；响应于对珠宝预览页面中试戴按键的触发操作，获取试戴部位的待处理视频。
其中，珠宝候选页面是指供用户浏览、选择心仪的珠宝饰品的页面。珠宝预览页面是指供用户浏览关于目标珠宝的相关信息的页面。
具体地，用户通过终端登录目标平台，然后终端在目标平台上展示珠宝候选页面；其中，目标平台是指用于浏览、展示珠宝等饰品的平台；例如目标平台可以是星坊智链平台。响应于用户对珠宝候选页面中目标珠宝的缩略图或珠宝信息的点击操作，接收目标珠宝的珠宝款码信息，并展示珠宝款码信息对应的珠宝预览页面；其中，珠宝预览页面中展示有针对目标珠宝的试戴按键，还展示有目标珠宝的详细信息和图像。响应于用户对珠宝预览页面中试戴按键的触发操作，终端生成视频录制提示信息并展示；在接收到根据视频录制提示信息返回的确认信息之后，终端录制试戴部位的待处理视频，或者连续拍摄多张试戴部位的图像。可以理解的是，终端当然也可以仅拍摄试戴部位的一张图像，但是一张图像无需进行受力信息的分析和运动状态的分析，可以在得到试戴关键点后，根据试戴关键点的三维位置，确定初始珠宝三维模型的展示位置，根据展示位置调整初始珠宝三维模型的尺寸，得到珠宝三维模型，并将珠宝三维模型叠加在图像上，从而得到了目标试戴图像。
在本实施例中，通过获取展示的珠宝候选页面中目标珠宝的珠宝款码信息，来展示珠宝款码信息对应的珠宝预览页面；进而响应于对珠宝预览页面中试戴按键的触发操作，获取试戴部位的待处理视频，实现了待处理视频的获取，降低了对终端拍摄能力的要求，在无需对待处理视频进行预处理的情况下，也能够有效的提升珠宝的虚拟试戴效果。
在一个实施例中，如图3所示，提供了另一种珠宝虚拟试戴方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S301，展示珠宝候选页面；获取珠宝候选页面中目标珠宝的珠宝款码信息，并展示珠宝款码信息对应的珠宝预览页面。
步骤S302，响应于对珠宝预览页面中试戴按键的触发操作，获取试戴部位的待处理视频。
步骤S303，识别试戴部位的部位类型；将待处理视频，输入部位类型对应的关键点检测模型中，得到待处理视频中的试戴关键点；确定试戴关键点的深度信息。
步骤S304，根据试戴关键点在待处理视频中的二维坐标，确定试戴关键点的初始三维位置；根据试戴关键点的深度信息，对试戴部位进行姿态估计，得到试戴部位的初始姿态信息。
步骤S305，对初始姿态信息和初始三维位置进行平滑处理，得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置。
步骤S306，根据试戴关键点的三维位置，确定试戴部位的速度；根据速度和试戴部位的姿态信息，确定试戴部位的加速度；将速度和加速度，作为试戴部位的运动状态信息。
步骤S307，根据珠宝三维模型在上一帧图像中的展示位置，试戴部位在上一帧图像的姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息。
步骤S308，根据珠宝三维模型在当前帧图像的受力信息，得到珠宝三维模型在当前帧图像的摆动姿态。
步骤S309，根据每帧图像的摆动姿态，对珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。
步骤S310，根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。
上述珠宝虚拟试戴方法，能够实现以下有益效果：通过试戴部位的姿态信息和三维位置来分析出试戴部位的运动状态信息，从而基于试戴部位的运动状态信息来渲染得到珠宝三维模型的试戴动画，而非生硬的将珠宝三维模型直接贴到试戴关键点，使得得到的目标试戴视频中珠宝三维模型的运动轨迹更自然，珠宝三维模型与试戴部位的结合效果更合理，进而大大提高了珠宝的虚拟试戴效果。
为了更清晰阐明本公开实施例提供的珠宝虚拟试戴方法，以下以一个具体的实施例对上述珠宝虚拟试戴方法进行具体说明。提供了又一种珠宝虚拟试戴方法，可以应用于终端，具体包括如下内容：
（1）数据获取
用户在终端（如移动智能终端）上登录星坊智链平台，浏览并选择心仪的目标珠宝，终端展示目标珠宝对应的珠宝预览页面。用户确定要试戴目标珠宝后，可以触发珠宝预览页面中的试戴按键，然后通过终端拍摄用户的试戴部位的图像，或者录制试戴部位的待处理视频。
（2）逐帧操作
终端确定待处理视频的每帧图像中试戴部位的试戴关键点，以及试戴关键点的深度信息。然后根据试戴关键点和深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的初始姿态信息和试戴关键点的初始三维位置。
（3）帧间操作
终端对初始姿态信息和初始三维位置进行平滑处理，得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置。根据每帧图像的试戴关键点的三维位置和姿态信息，得到试戴部位的运动状态信息。
（4）模型渲染
终端根据试戴关键点的三维位置，确定初始珠宝三维模型的展示位置；根据展示位置，对初始珠宝三维模型的尺寸进行调整，得到试戴部位对应的珠宝三维模型。进而根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，从而得到珠宝三维模型的试戴动画。
（5）试戴展示
终端将试戴动画与待处理视频融合，则终端生成得到试戴部位的目标试戴视频，并展示目标试戴视频以供用户进行查看。此外，终端还可以同步收集和上传用户挑选、试戴和购买目标珠宝的数据，以供服务器分析不同用户的挑选偏好、时兴热销款式以及各品类珠宝的销售占比或成交率等相关信息，从而为用户提供实时的珠宝推荐。
在本实施例中，通过试戴部位的运动状态信息和珠宝三维模型的受力分析来渲染得到珠宝三维模型的试戴动画，使得珠宝三维模型与试戴部位的结合效果更合理、更自然，而非传统技术中将珠宝三维模型直接贴图到试戴关键点，解决了传统技术中珠宝饰品虚拟试戴展示效果较差的技术缺陷，进而大大提高了目标试戴视频中珠宝的虚拟试戴效果。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的珠宝虚拟试戴方法的珠宝虚拟试戴装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个珠宝虚拟试戴装置实施例中的具体限定可以参见上文中对于珠宝虚拟试戴方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种珠宝虚拟试戴装置400，包括：关键点识别模块401、三维位置获取模块402、运动状态获取模块403、试戴动画渲染模块404和试戴视频生成模块405，其中：
关键点识别模块401，用于确定试戴部位的待处理视频中的试戴关键点，以及试戴关键点的深度信息。
三维位置获取模块402，用于确定试戴关键点的三维位置，并根据试戴关键点的深度信息，对试戴部位进行姿态估计和姿态平滑，得到试戴部位的姿态信息和试戴关键点的三维位置。
运动状态获取模块403，用于根据试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位进行运动状态估计，得到试戴部位的运动状态信息。
试戴动画渲染模块404，用于根据试戴部位的运动状态信息、试戴部位的姿态信息和试戴关键点的三维位置，对试戴部位对应的珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。
试戴视频生成模块405，用于根据试戴动画和待处理视频，生成试戴部位的目标试戴视频。
在一个实施例中，试戴动画渲染模块404，还用于根据珠宝三维模型在上一帧图像中的展示位置，试戴部位在上一帧图像的姿态信息，以及试戴部位在当前帧图像的运动状态信息，确定珠宝三维模型在当前帧图像的受力信息；待处理视频包含有多帧图像；珠宝三维模型在每帧图像中的展示位置通过试戴关键点的三维位置确定得到；根据珠宝三维模型在当前帧图像的受力信息，得到珠宝三维模型在当前帧图像的摆动姿态；根据每帧图像的摆动姿态，对珠宝三维模型进行摆动渲染，得到珠宝三维模型的试戴动画。
在一个实施例中，珠宝虚拟试戴装置400还包括三维模型调整模块，用于根据接收到的珠宝款码信息，从珠宝三维模型库中，获取珠宝款码信息对应的初始珠宝三维模型；根据试戴关键点的三维位置，确定初始珠宝三维模型的展示位置；根据展示位置，对初始珠宝三维模型的尺寸进行调整，得到试戴部位对应的珠宝三维模型。
在一个实施例中，三维位置获取模块402，还用于根据试戴关键点在待处理视频中的二维坐标，确定试戴关键点的初始三维位置；根据试戴关键点的深度信息，对试戴部位进行姿态估计，得到试戴部位的初始姿态信息；对初始姿态信息和初始三维位置进行平滑处理，得到初始姿态信息对应的姿态信息和初始三维位置对应的三维位置。
在一个实施例中，运动状态获取模块403，还用于根据试戴关键点的三维位置，确定试戴部位的速度；根据速度和试戴部位的姿态信息，确定试戴部位的加速度；将速度和加速度，作为试戴部位的运动状态信息。
在一个实施例中，关键点识别模块401，还用于识别试戴部位的部位类型；将待处理视频，输入部位类型对应的关键点检测模型中，得到待处理视频中的试戴关键点。
在一个实施例中，珠宝虚拟试戴装置400还包括试戴按键触发模块，用于展示珠宝候选页面；珠宝候选页面中展示有多个珠宝的缩略图和多个珠宝的珠宝信息；获取珠宝候选页面中目标珠宝的珠宝款码信息，并展示珠宝款码信息对应的珠宝预览页面；响应于对珠宝预览页面中试戴按键的触发操作，获取试戴部位的待处理视频。
上述珠宝虚拟试戴装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种珠宝虚拟试戴方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种珠宝虚拟试戴方法，其特征在于，所述方法包括：
确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
2.根据权利要求1所述的方法，其特征在于，所述根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画，包括：
根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息；所述待处理视频包含有多帧图像；所述珠宝三维模型在每帧图像中的展示位置通过所述试戴关键点的三维位置确定得到；
根据所述珠宝三维模型在所述当前帧图像的受力信息，得到所述珠宝三维模型在所述当前帧图像的摆动姿态；
根据所述每帧图像的摆动姿态，对所述珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画。
3.根据权利要求2所述的方法，其特征在于，在根据所述珠宝三维模型在上一帧图像中的展示位置，所述试戴部位在所述上一帧图像的姿态信息，以及所述试戴部位在当前帧图像的运动状态信息，确定所述珠宝三维模型在所述当前帧图像的受力信息之前，还包括：
根据接收到的珠宝款码信息，从珠宝三维模型库中，获取所述珠宝款码信息对应的初始珠宝三维模型；
根据所述试戴关键点的三维位置，确定所述初始珠宝三维模型的展示位置；
根据所述展示位置，对所述初始珠宝三维模型的尺寸进行调整，得到所述试戴部位对应的珠宝三维模型。
4.根据权利要求1所述的方法，其特征在于，所述确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息，包括：
根据所述试戴关键点在所述待处理视频中的二维坐标，确定所述试戴关键点的初始三维位置；
根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计，得到所述试戴部位的初始姿态信息；
对所述初始姿态信息和所述初始三维位置进行平滑处理，得到所述初始姿态信息对应的姿态信息和所述初始三维位置对应的三维位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息，包括：
根据所述试戴关键点的三维位置，确定所述试戴部位的速度；
根据所述速度和所述试戴部位的姿态信息，确定所述试戴部位的加速度；
将所述速度和所述加速度，作为所述试戴部位的运动状态信息。
6.根据权利要求1所述的方法，其特征在于，所述确定试戴部位的待处理视频中的试戴关键点，包括：
识别所述试戴部位的部位类型；
将所述待处理视频，输入所述部位类型对应的关键点检测模型中，得到所述待处理视频中的试戴关键点。
7.根据权利要求1至6任意一项所述的方法，其特征在于，在确定试戴部位的待处理视频中的试戴关键点之前，还包括：
展示珠宝候选页面；所述珠宝候选页面中展示有多个珠宝的缩略图和所述多个珠宝的珠宝信息；
获取所述珠宝候选页面中目标珠宝的珠宝款码信息，并展示所述珠宝款码信息对应的珠宝预览页面；
响应于对所述珠宝预览页面中试戴按键的触发操作，获取所述试戴部位的待处理视频。
8.一种珠宝虚拟试戴装置，其特征在于，所述装置包括：
关键点识别模块，用于确定试戴部位的待处理视频中的试戴关键点，以及所述试戴关键点的深度信息；
三维位置获取模块，用于确定所述试戴关键点的三维位置，并根据所述试戴关键点的深度信息，对所述试戴部位进行姿态估计和姿态平滑，得到所述试戴部位的姿态信息；
运动状态获取模块，用于根据所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位进行运动状态估计，得到所述试戴部位的运动状态信息；
试戴动画渲染模块，用于根据所述试戴部位的运动状态信息、所述试戴部位的姿态信息和所述试戴关键点的三维位置，对所述试戴部位对应的珠宝三维模型进行摆动渲染，得到所述珠宝三维模型的试戴动画；
试戴视频生成模块，用于根据所述试戴动画和所述待处理视频，生成所述试戴部位的目标试戴视频。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310800586.9A CN116524088B (zh) | 2023-07-03 | 2023-07-03 | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310800586.9A CN116524088B (zh) | 2023-07-03 | 2023-07-03 | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524088A true CN116524088A (zh) | 2023-08-01 |
| CN116524088B CN116524088B (zh) | 2023-09-19 |
Family
ID=87399776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310800586.9A Active CN116524088B (zh) | 2023-07-03 | 2023-07-03 | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524088B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880948A (zh) * | 2023-09-07 | 2023-10-13 | 深圳星坊科技有限公司 | 珠宝虚拟试戴展示方法、装置、计算机设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715493A (zh) * | 2015-03-23 | 2015-06-17 | 北京工业大学 | 一种运动人体姿态估计的方法 |
| CN104851004A (zh) * | 2015-05-12 | 2015-08-19 | 杨淑琪 | 一种饰品试戴的展示装置和展示方法 |
| WO2016123769A1 (zh) * | 2015-02-05 | 2016-08-11 | 周谆 | 虚拟饰品试戴的人机交互方法和系统 |
| US20180278879A1 (en) * | 2016-06-29 | 2018-09-27 | EyesMatch Ltd. | System and method for digital makeup mirror |
| CN110288715A (zh) * | 2019-07-04 | 2019-09-27 | 厦门美图之家科技有限公司 | 虚拟项链试戴方法、装置、电子设备及存储介质 |
| CN113240819A (zh) * | 2021-05-24 | 2021-08-10 | 中国农业银行股份有限公司 | 穿戴效果的确定方法、装置和电子设备 |
| CN113869968A (zh) * | 2021-09-01 | 2021-12-31 | 阿里巴巴（中国）有限公司 | 三维模型处理方法、装置、设备及存储介质 |
| CN114693414A (zh) * | 2022-06-02 | 2022-07-01 | 深圳星坊科技有限公司 | 门店物品推荐方法、装置、计算机设备和存储介质 |
| CN114722913A (zh) * | 2022-03-16 | 2022-07-08 | 北京奕斯伟计算技术有限公司 | 姿态检测方法、装置、电子设备及计算机可读存储介质 |
| CN114758213A (zh) * | 2020-12-28 | 2022-07-15 | 北京陌陌信息技术有限公司 | 一种服装模型的布料解算方法、设备和存储介质 |
-
2023
- 2023-07-03 CN CN202310800586.9A patent/CN116524088B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016123769A1 (zh) * | 2015-02-05 | 2016-08-11 | 周谆 | 虚拟饰品试戴的人机交互方法和系统 |
| CN104715493A (zh) * | 2015-03-23 | 2015-06-17 | 北京工业大学 | 一种运动人体姿态估计的方法 |
| CN104851004A (zh) * | 2015-05-12 | 2015-08-19 | 杨淑琪 | 一种饰品试戴的展示装置和展示方法 |
| US20180278879A1 (en) * | 2016-06-29 | 2018-09-27 | EyesMatch Ltd. | System and method for digital makeup mirror |
| CN110288715A (zh) * | 2019-07-04 | 2019-09-27 | 厦门美图之家科技有限公司 | 虚拟项链试戴方法、装置、电子设备及存储介质 |
| CN114758213A (zh) * | 2020-12-28 | 2022-07-15 | 北京陌陌信息技术有限公司 | 一种服装模型的布料解算方法、设备和存储介质 |
| CN113240819A (zh) * | 2021-05-24 | 2021-08-10 | 中国农业银行股份有限公司 | 穿戴效果的确定方法、装置和电子设备 |
| CN113869968A (zh) * | 2021-09-01 | 2021-12-31 | 阿里巴巴（中国）有限公司 | 三维模型处理方法、装置、设备及存储介质 |
| CN114722913A (zh) * | 2022-03-16 | 2022-07-08 | 北京奕斯伟计算技术有限公司 | 姿态检测方法、装置、电子设备及计算机可读存储介质 |
| CN114693414A (zh) * | 2022-06-02 | 2022-07-01 | 深圳星坊科技有限公司 | 门店物品推荐方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 吴帆;张亮;: "增强现实技术发展及应用综述", 电脑知识与技术, no. 34, pages 8319 - 8324 * |
| 唐亚丽;: "珠宝虚拟试戴技术的应用前景及其影响", 科技创新导报, vol. 15, no. 15, pages 134 - 135 * |
| 朱红强;程恺;陈智;李灵杰;童晶;江超群;: "个性化三维虚拟试衣系统研究", 计算机与现代化, no. 04, pages 52 - 58 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116880948A (zh) * | 2023-09-07 | 2023-10-13 | 深圳星坊科技有限公司 | 珠宝虚拟试戴展示方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524088B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11258944B2 (en) | Automatic guided capturing and presentation of images | |
| WO2018196738A1 (zh) | 信息展示方法、终端及存储介质 | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| Wu et al. | Deep portrait image completion and extrapolation | |
| CN109740571A (zh) | 图像采集的方法、图像处理的方法、装置和电子设备 | |
| US20220301295A1 (en) | Recurrent multi-task convolutional neural network architecture | |
| US11430142B2 (en) | Photometric-based 3D object modeling | |
| US20230291702A1 (en) | Post-capture processing in a messaging system | |
| US20230377233A1 (en) | Layering of post-capture processing in a messaging system | |
| US11750546B2 (en) | Providing post-capture media overlays for post-capture processing in a messaging system | |
| CN116524088B (zh) | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 | |
| CN113255713A (zh) | 用于跨对象变化的数字图像选择的机器学习 | |
| CN114782661B (zh) | 下半身姿态预测模型的训练方法及装置 | |
| CN113269895A (zh) | 图像处理方法、装置及电子设备 | |
| US20160042233A1 (en) | Method and system for facilitating evaluation of visual appeal of two or more objects | |
| KR20230162971A (ko) | 오버레이된 증강 현실 콘텐츠에서의 얼굴 합성 | |
| CN110246110A (zh) | 图像评估方法、装置及存储介质 | |
| CN116452745A (zh) | 手部建模、手部模型处理方法、设备和介质 | |
| CN108629824B (zh) | 图像生成方法、装置、电子设备及计算机可读介质 | |
| KR20190023486A (ko) | 3차원 피팅 방법 및 장치 | |
| CN116880948A (zh) | 珠宝虚拟试戴展示方法、装置、计算机设备和存储介质 | |
| CN115796991A (zh) | 商品图确定方法及电子设备 | |
| CN116228514A (zh) | 渲染数据处理方法、装置、计算机设备、介质和程序产品 | |
| CN117544829A (zh) | 视频生成方法及装置 | |
| CN112418980A (zh) | 基于ar的商品展示系统、方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |