CN116452745A - 手部建模、手部模型处理方法、设备和介质 - Google Patents
手部建模、手部模型处理方法、设备和介质 Download PDFInfo
- Publication number
- CN116452745A CN116452745A CN202310439229.4A CN202310439229A CN116452745A CN 116452745 A CN116452745 A CN 116452745A CN 202310439229 A CN202310439229 A CN 202310439229A CN 116452745 A CN116452745 A CN 116452745A
- Authority
- CN
- China
- Prior art keywords
- hand
- image data
- model
- try
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims abstract description 50
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 8
- 235000002245 Penicillium camembertii Nutrition 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 210000003811 finger Anatomy 0.000 description 11
- 230000036544 posture Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种手部建模、手部模型处理方法、设备和介质。所述方法包括：获取用户拍摄的手部图像数据；基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；对所述手部图像数据进行分析，确定手部白模；采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。于人手的纹理和样式构建手部模型，精确度更高，不同用户的手部模型不同。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种手部建模方法、一种基于手部模型的处理方法、一种电子设备和一种存储介质。
背景技术
随着计算机图形学和计算机视觉领域技术的进步，三维人体建模的研究增多，研究领域已经应用于影视制作、游戏制作、数字艺术等各种领域。
目前，对于三维人体建模多用于人体数字化即数字人的建模，可将数字人应用于直播等场景。在数字人的建模中，手部的建模一直是难点，因为人手的姿势非常灵活，因此手部建模一般是关注手部姿态，对于手部的皮肤通过是基于默认的皮肤进行构建。
但是，上述这种手部建模都是针对虚拟的数字人构建的，手部模型的精确度不高。
发明内容
本申请实施例提供了一种手部建模方法，提高手部模型的精确度。
相应的，本申请实施例还提供了一种基于手部模型的处理方法、一种电子设备和一种存储介质，用以保证上述系统的实现及应用。
为了解决上述问题，本申请实施例公开了一种手部建模方法，所述方法包括：
获取用户拍摄的手部图像数据；
基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；
对所述手部图像数据进行分析，确定手部白模；
采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。
可选的，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；
所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：
将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
可选的，所述对所述手部图像数据进行分析，确定手部白模，包括：
对所述手部图像数据进行分析，确定所述手部的外观参数；
基于所述外观参数进行分析，确定对应的手部白模。
可选的，所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：
将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
可选的，所述基于所述外观参数进行分析，确定对应的手部白模，包括：
对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；
基于所述多个顶点坐标，确定对应的手部白模。
可选的，还包括：
基于对所述姿态参数的调整，调整手部模型的姿态；和/或
基于对所述轮廓参数的调整，调整手部模型的尺寸。
申请实施例还公开了一种基于手部模型的处理方法，所述方法包括：
提供商品对象页面，所述商品对象页面包括试戴控件；
接收试戴请求，所述试戴请求包括：拍摄的手部图像数据和商品对象标识；
依据所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像；
基于所述拍摄的手部图像数据确定手部模型；
采用商品对象图像和手部模型，生成试戴图像；
反馈所述试戴图像；
其中，所述基于所述拍摄的手部图像数据确定手部模型，包括：
基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；
对所述手部图像数据进行分析，确定手部白模；
采用所述纹理贴图对所述手部白模进行纹理映射，确定所述手部模型。
可选的，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；
所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：
将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出所述手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
可选的，还包括：
调整手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态；
基于多种手部姿态的手部模型和商品对象图像，生成试戴视频。
可选的，还包括：
接收调整信息，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；
基于所述调整信息调整手部模型，基于调整的手部模型调整试戴图像。
申请实施例还公开了一种基于手部模型的处理方法，所述方法包括：
显示商品对象页面，所述商品对象页面包括试戴控件；
响应于对试戴控件的触发，拍摄手部图像数据；
生成试戴请求并发送，所述试戴请求包括拍摄的手部图像数据和商品对象标识，以基于所述试戴请求生成所述用户的手部模型试戴商品对象的试戴图像，所述用户手部模型基于纹理贴图对手部白模进行纹理映射生成，所述纹理贴图和手部白模依据对所述手部图像数据的分析确定；
接收试戴图像并显示。
可选的，所述商品对象页面还包括：调整控件；所述的方法还包括：
响应于对所述调整控件的触发，客户端获取调整信息，其中，所述调整控件包括以下至少一种：姿态调整控件、轮廓调整控件、亮度调整控件、颜色调整控件，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；
发送所述调整信息，以获取调整的试戴图像。
本申请实施例还公开了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请实施例所述的方法。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例所述的方法。
与现有技术相比，本申请实施例包括以下优点：
本申请实施例中，获取用户拍摄的手部图像数据，基于所述手部图像数据进行纹理分析，确定该用户手部的纹理贴图，还对所述手部图像数据进行分析，确定该用户的手部白模，然后采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型，基于人手的纹理和样式构建手部模型，精确度更高，不同用户的手部模型不同。
附图说明
图1是本申请的一种手部建模方法实施例的步骤流程图；
图2是本申请实施例的一种手部图像数据的示例的示意图；
图3是本申请实施例的一种纹理贴图确定示例的示意图；
图4是本申请实施例的一种手部白模确定示例的示意图；
图5是本申请实施例的一种手部模型构建示例的示意图；
图6是本申请的另一种手部建模方法实施例的步骤流程图；
图7是本申请实施例的一种手部建模示例的示意图；
图8是本申请实施例的一种基于手部模型的处理方法的交互示意图；
图9是本申请的一种基于手部模型的处理方法实施例服务端的步骤流程图；
图10是本申请的一种基于手部模型的处理方法实施例客户端的步骤流程图；
图11是本申请实施例的另一种基于手部模型的处理方法的交互示意图；
图12是本申请一个实施例提供的示例性装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可以应用于三维模型的构建及应用场景。以电子商务领域为例，用户在电子商务网站中选购首饰、美甲、指甲油等与手部装饰相关的商品对象时，通常都是基于商品对象的图像选购，有一些虽然提供的在首饰佩戴、涂抹的效果，但是，没有用户的手部均不同，因此难以确定自己佩戴、涂抹的效果。
本申请实施例提供了一种手部建模方法，能够基于用户的手部图像数据构建该用户的手部模型，从而能够基于该手部模型进行与手部装饰相关的商品对象的试戴，如试戴首饰、试戴美甲片、试戴手套、试涂指甲油等均可称为试戴。
参照图1，示出了本申请的一种手部建模方法实施例的步骤流程图。
步骤102，获取用户拍摄的手部图像数据。
可以每个用户的手部分别构建手部模型。因此可以获取需要构建手部模型的用户的手部图像数据。其中，用户可通过手机等设备拍摄手部正面和手部背面的图像数据，如图2所示，然后上传到服务端。相应服务端可以获取手部正面的图像数据和手部背面的图像数据。
步骤104，基于所述手部图像数据进行纹理分析，确定手部的纹理贴图。
可以基于该手部图像数据进行纹理分析，提取手部的纹理信息，并生成相应手部的纹理贴图。其中，针对手部正面的图像数据和手部背面的图像数据可分别进行分析，确定手部正面的纹理贴图和手部背面的纹理贴图。
本申请实施例中，可预先训练纹理贴图生成模型，该纹理贴图生成模型用于提取图片的纹理信息并生成纹理贴图。其中，纹理贴图生成模型可基于多种方法构建模型并训练得到。例如可以基于参数化估计的方法构建纹理贴图生成模型，如基于分形模型、自回归模型、滑动平均模型等构建纹理贴图生成模型。还可基于深度学习等机器学习方法构建纹理贴图生成模型。一个可选实施例中，将手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出对应的手部正面纹理贴图和手部背面纹理贴图，如图3所示。
一个示例中，可以将手部正面的图像数据输入到纹理贴图生成模型进行纹理分析，通过纹理贴图生成模型提取手部正面的纹理特征并生成手部正面纹理贴图。将手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，通过纹理贴图生成模型提取手部背面的纹理特征并生成手部背面纹理贴图。另一个示例中，可以将手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，提取手部正面的纹理特征，以及手部背面的纹理特征，手部的纹理贴图包括手部正面纹理的手部背面纹理的纹理贴图。
从而能够得到用户手部正面、背面的纹理贴图，为后续构建手部的模型提供纹理的数据基础。
步骤106，对所述手部图像数据进行分析，确定手部白模。
手部图像数据一方面用于提取纹理信息，另一方面用于构建手部的模型，其中，手部白模指的是不包括纹理特征的手部模型。可以对该手部图像数据进行建模分析，即分析手部的特征，包括轮廓、姿态等，生成相应的手部白膜。手部白膜为与用户手部外形匹配的白膜。
所述对所述手部图像数据进行建模分析，确定手部白模，包括：对所述手部图像数据进行分析，确定所述手部的外观参数；基于所述外观参数进行分析，确定对应的手部白模。可以对手部图像数据进行参数化分析，确定手部的外观轮廓，得到手部的外观参数。其中，外观参数指的是手部外观样式的参数，包括手部的轮廓、姿态等特征。然后基于该外观参数建模，生成手部白模。
一个可选实施例中，所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。可预先训练手部参数化模型，其中参数化模型基于参数化估计的方法构建，如基于分形模型、自回归模型、滑动平均模型等构建。一个示例中，基于MANO(hand Model withArticulated and Non-rigid defOrmations，具有铰接和非刚性定义功能的手部模型)构建手部参数化模型。收集训练数据，并基于训练数据对手部参数化模型进行训练，得到完成训练的手部参数化模型。可将手部图像数据输入到手部参数化模型中，通过该手部参数化模型的参数估计，得到手部的轮廓(shape)参数和姿态(pose)参数。其中，轮廓(shape)参数指的是手部轮廓形状的数据，轮廓参数影响手部的尺寸。姿态(pose)参数指的是手部姿态的数据。
所述基于所述外观参数进行分析，确定对应的手部白模，包括：对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；基于所述多个顶点坐标，确定对应的手部白模。可以基于该手部的轮廓参数和姿态参数进行计算，确定出手部多个关键点的顶点坐标，例如各手指、手指关节等关键点的坐标数据，然后基于该多个顶点坐标，生成手部白模，如图4所示。
从而通过对用户的手部图像数据进行参数化分析，确定该用户的手部白模，该手部白模与用户的手部尺寸匹配，且与手部图像数据中手部姿态一致。
本申请实施例中，为了提高手部模型构建的准确性，用户可以在拍摄手部图像数据时设置参照物，如硬币、银行卡、A4等尺寸标准的参照物。但是，在实际使用过程中，用户可能并未在拍摄手部时添加参照，此种情况下，可基于相机参数提供参照数据，保证手部尺寸的准确性。可获取所述手部图像数据对应的相机参数，基于所述相机参数分析所述手部图像数据中手部的尺寸信息。在相机拍摄图像的过程中，图像数据可携带相机参数，此外基于用户所使用设备信息等也可确定相机参数，然后可基于该相机参数确定手部图像数据中手部的尺寸信息。该尺寸信息可在手部确定外观参数时提供辅助。也可在基于外观参数确定手部的多个顶点坐标时，对所述手部的多个顶点坐标进行修正调整。
步骤108，采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。
在获取到手部的纹理贴图和手部白模后，可以采用纹理贴图对所述手部白模进行纹理映射，将纹理贴图中各像素点映射到手部白模上，完成纹理贴图处理，其中，采用所述手部正面纹理贴图和手部背面纹理贴图对所述手部白模进行纹理映射，从而能够对用户手部模型的正面和背面均进行纹理映射，得到该用户的手部模型，该手部模型为手部立体模型，如图5所示。
综上，获取用户拍摄的手部图像数据，基于所述手部图像数据进行纹理分析，确定该用户手部的纹理贴图，还对所述手部图像数据进行分析，确定该用户的手部白模，然后采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型，基于人手的纹理和样式构建手部模型，精确度更高，不同用户的手部模型不同。
在上述实施例的基础上，本申请实施例还提供了一种手部建模方法，能够构建皮肤纹理、手部尺寸与用户匹配的手部模型，从而针对不同用户构建与其匹配的手部模型。
参照图6，示出了本申请的另一种手部建模方法实施例的步骤流程图。
步骤602，获取用户拍摄的手部图像数据。所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据。
步骤604，将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出对应的手部正面纹理贴图和手部背面纹理贴图。
步骤606，将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
步骤608，对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标。
步骤610，基于所述多个顶点坐标，确定对应的手部白模。
步骤612，采用所述手部正面纹理贴图和手部背面纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。
本申请实施例中，姿态参数影响手部的姿态，轮廓参数影响手部的尺寸，因此，可基于对所述姿态参数的调整，调整手部模型的姿态；和/或，基于对所述轮廓参数的调整，调整手部模型的尺寸。可以基于需求调整姿态参数，基于调整后的姿态参数调整手部对应的一个或多个顶点坐标，完成对手部模型的手部姿态的调整，实现对手部模型的驱动。例如，将手部从五指张开调整为握拳，又如从握拳调整为比大拇指等。也可基于需求调整轮廓参数，从而基于调整的轮廓参数调整手部对应的一个或多个顶点坐标，完成对手部模型的手部尺寸的调整。如图7所示，将手部从五指张开调整的姿势为手部微曲的姿势。
通过上述方式能够得到符合拍摄手部图像的用户手部的模型，从而为该用户提供基于手部模型的各项服务。例如在电子商务网站中可以基于该手部模型与商品对象的图像进行匹配，如试戴戒指等首饰，试戴美甲等饰物，试涂指甲油等商品对象。
参照图8，示出了本申请实施例的一种基于手部模型的处理方法的交互示意图。
步骤802，服务端提供商品对象页面，所述商品对象页面包括试戴控件。
服务端提供商品对象页面，该商品对象页面可为电子商务网站中显示商品对象信息的各种页面，如首页、类目页、推荐页、搜索页、详情页等。在商品对象页面中设置试戴控件，该试戴控件用于调用试戴接口，为用户提供手部的试戴服务，该手部的试戴服务包括：试戴戒指等首饰，试戴美甲等饰物，试涂指甲油等。
步骤804，响应于对试戴控件的触发，客户端拍摄手部图像数据，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据。
客户端从服务端获取商品对象页面的页面数据，可以解析该页面数据显示商品对象页面。用户看到感兴趣的戒指、美甲、指甲油等手部佩戴、涂抹的商品对象，可以触发试戴控件进行试戴，以便判断佩戴、涂抹效果。响应于对试戴控件的触发，客户端调用摄像头拍摄手部图像数据，其中，分别拍摄手部正面的图像数据和手部背面的图像数据。
步骤806，客户端生成试戴请求并发送，所述试戴请求包括手部图像数据和商品对象标识。
确定需要试戴的商品对象标识，采用手部图像数据和商品对象标识作为携带参数，生成试戴请求，发送所述试戴请求给服务端。
步骤808，服务端基于所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像。
服务端从试戴请求获取手部图像数据和商品对象标识，基于商品对象标识查询数据库获取商品对象信息，其中获取商品对象图像。针对美甲、戒指等需要佩戴的商品对象，还可获取尺寸等信息。
步骤810，服务端基于所述拍摄的手部图像数据确定手部模型。
其中，所述基于所述拍摄的手部图像数据确定手部模型，包括：基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；基于所述手部图像数据进行建模分析，确定手部白模；采用所述纹理贴图对所述手部白模进行纹理映射，确定手部模型。
所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
所述对所述手部图像数据进行分析，确定手部白模，包括：对所述手部图像数据进行分析，确定所述手部的外观参数；基于所述外观参数进行分析，确定对应的手部白模。
所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
所述基于所述外观参数进行分析，确定对应的手部白模，包括：对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；基于所述多个顶点坐标，确定对应的手部白模。
手部建模方法与上述实施例类似，因此不再赘述。
步骤812，服务端采用商品对象图像和手部模型，生成试戴图像并反馈。
在获取到手部模型后，采用商品对象图像和手部模型，生成试戴图像。其中，针对美甲、戒指等需要佩戴的商品对象，可基于手部的轮廓参数、顶点坐标等确定尺寸信息，如指甲的尺寸信息，手指的指围(即手指指定位置一圈的周长)等，基于尺寸信息调整商品对象图像，然后生成试戴图像。
本申请实施例中，商品对象图像可为用于试穿戴的商品对象图像，即只包括该商品对象的图像，也可为商家拍摄的商品对象的图像，如整体图像，或某个角度的图像等，针对商家拍摄的商品对象图像，可以提取商品对象之后生成试穿戴图像。
还可将符合用户手部的尺寸信息反馈给客户端，便于用户确认购买、收藏时提供辅助，提高效率。
步骤814，客户端在商品对象页面中显示试戴图像，所述商品对象页面还包括：调整控件。
客户端在商品对象页面中显示试戴图像，其中，可以在请求的商品对象页面中启动一个视图来显示该试戴图像，也可跳转到另一个商品对象页面来显示试戴图像。
该显示试戴图像的商品对象页面包括调整控件，该调整控件用于调整手部模型的样式，从而便于用户从各种角度查看试戴效果。
步骤816，响应于对所述调整控件的触发，客户端获取调整信息，所述调整信息包括姿态调整信息和/或轮廓调整信息。
调整控件包括：轮廓控件包括轮廓调整控件、姿态调整控件。对于手部模型的调整包括针对姿态的调整和针对轮廓的调整，其中，姿态参数可调整手部的姿势，轮廓调整可调整手部的尺寸。调整控件还包括亮度调整控件、颜色调整控件。其中，亮度调整控件可以模拟在不同光照条件下的试戴图像，便于用户了解不同光照下的佩戴效果。颜色调整控件用于调整手部模型的皮肤颜色，使得用户了解在不同皮肤颜色下的佩戴效果。
步骤818，客户端发送所述调整信息。
步骤820，服务端基于所述调整信息调整手部模型，基于调整的手部模型调整试戴图像。
服务端可基于姿态调整信息调整手部模型的姿势，也可基于轮廓调整信息调整手部模型的尺寸，基于亮度调整信息调整试戴图像的光照效果，基于颜色调整信息调整手部模型的皮肤颜色。相应调整在手部模型上佩戴商品对象的试戴图像。
其中，对于轮廓、姿态的调整可对应调整手部模型的顶点坐标，进而调整手部模型中手部的尺寸、姿势。
步骤822，服务端反馈调整的试戴图像。
步骤824，客户端显示在商品对象页面中显示调整的试戴图像。
从而用户可以从各种角度查看试戴图像，确定佩戴效果。
本申请一个可选实施例中，由于调整手部姿态能够调整手部的姿态，基于多种姿态可以展示各种角度的试戴结果，因此反馈试戴图像包括：反馈试戴视频。因此调整手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态；基于多种手部姿态的手部模型和商品对象图像，生成试戴视频。可调整姿态参数以调整手部的姿态，得到多种手部姿态的手部模型，可以采用多种手部姿态的手部模型和商品对象图像，生成试戴视频，从而反馈该视频数据给用户，使得用户能够直观的看到自己手部佩戴的效果。
综上，可以基于用户拍摄的手部视频数据和商品对象标识生成并发送试戴请求，然后依据商品对象标识确定商品对象的商品对象图片，基于拍摄的手部图像数据确定手部模型，该手部模型的纹理以及样式与用户手部匹配，因此采用商品对象图像和手部模型，生成试戴图像，能够直观显示用户手部佩戴商品对象的效果，给用户挑选商品对象提供准确的依据，提高用户体验。
在上述实施例的基础上，本申请实施例还提供了一种基于手部模型的处理方法。服务端执行步骤如图9所示：
步骤902，提供商品对象页面，所述商品对象页面包括试戴控件。
步骤904，接收试戴请求，所述试戴请求包括：拍摄的手部图像数据和商品对象标识。
步骤906，依据所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像。
步骤908，基于所述手部图像数据进行纹理分析，确定手部的纹理贴图。
其中，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
步骤910，对所述手部图像数据进行分析，确定手部白模。
所述对所述手部图像数据进行分析，确定手部白模，包括：对所述手部图像数据进行分析，确定所述手部的外观参数；基于所述外观参数进行分析，确定对应的手部白模。
所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
所述基于所述外观参数进行分析，确定对应的手部白模，包括：对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；基于所述多个顶点坐标，确定对应的手部白模。
还可基于对所述姿态参数的调整，调整手部模型的姿态；和/或，基于对所述轮廓参数的调整，调整手部模型的尺寸。
步骤912，采用所述纹理贴图对所述手部白模进行纹理映射，确定手部模型。
步骤914，采用商品对象图像和手部模型，生成试戴图像。
步骤916，反馈所述试戴图像。
还可调整手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态；基于多种手部姿态的手部模型和商品对象图像，生成试戴视频。则反馈试戴图像包括反馈试戴视频。
一个可选实施例中，接收调整信息，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；基于所述调整信息调整手部模型，基于调整的手部模型调整试戴图像。
客户端执行步骤如图10所示：
步骤1002，显示商品对象页面，所述商品对象页面包括试戴控件。
步骤1004，响应于对试戴控件的触发，拍摄手部图像数据。
步骤1006，生成试戴请求并发送，所述试戴请求包括手部图像数据和商品对象标识，以基于所述试戴请求生成所述用户的手部模型试戴商品对象的试戴图像，所述用户手部模型基于纹理贴图对所述手部白模进行纹理映射生成，所述纹理贴图和手部白模依据对所述手部图像数据的分析确定。
步骤1008，接收试戴图像并显示。
所述商品对象页面还包括：调整控件；所述的方法还包括：响应于对所述调整控件的触发，客户端获取调整信息，其中，所述调整控件包括以下至少一种：姿态调整控件、轮廓调整控件、亮度调整控件、颜色调整控件，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；发送所述调整信息，以获取调整的试戴图像。
通过上述方式能够得到符合拍摄手部图像的用户手部的模型，从而为该用户提供基于手部模型的各项服务。例如在电子商务网站中可以基于该手部模型与商品对象的图像进行匹配，如试戴戒指等首饰，试戴美甲等饰物，试涂指甲油等商品对象。并且可以反馈试戴视频给用户，使得用户可以通过多种角度观看自己试戴商品对象的效果。
参照图11，示出了本申请实施例的另一种基于手部模型的处理方法的交互示意图。
步骤1102，服务端提供商品对象页面，所述商品对象页面包括试戴控件。
服务端提供商品对象页面，该商品对象页面可为电子商务网站中显示商品对象信息的各种页面，如首页、类目页、推荐页、搜索页、详情页等。在商品对象页面中设置试戴控件，该试戴控件用于调用试戴接口，为用户提供手部的试戴服务，该手部的试戴服务包括：试戴戒指等首饰，试戴美甲等饰物，试涂指甲油等。
步骤1104，响应于对试戴控件的触发，客户端拍摄手部图像数据，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据。
客户端从服务端获取商品对象页面的页面数据，可以解析该页面数据显示商品对象页面。用户看到感兴趣的戒指、美甲、指甲油等手部佩戴、涂抹的商品对象，可以触发试戴控件进行试戴，以便判断佩戴、涂抹效果。响应于对试戴控件的触发，客户端调用摄像头拍摄手部图像数据，其中，分别拍摄手部正面的图像数据和手部背面的图像数据。
步骤1106，客户端生成试戴请求并发送，所述试戴请求包括手部图像数据和商品对象标识。
确定需要试戴的商品对象标识，采用手部图像数据和商品对象标识作为携带参数，生成试戴请求，发送所述试戴请求给服务端。
步骤1108，服务端基于所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像。
服务端从试戴请求获取手部图像数据和商品对象标识，基于商品对象标识查询数据库获取商品对象信息，其中获取商品对象图像。针对美甲、戒指等需要佩戴的商品对象，还可获取尺寸等信息。
步骤1110，服务端基于拍摄的手部图像数据确定手部模型。
其中，所述基于拍摄的手部图像数据确定手部模型，包括：基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；基于所述手部图像数据进行建模分析，确定手部白模；采用所述纹理贴图对所述手部白模进行纹理映射，确定手部模型。
所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
所述对所述手部图像数据进行分析，确定手部白模，包括：对所述手部图像数据进行分析，确定所述手部的外观参数；基于所述外观参数进行分析，确定对应的手部白模。
所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
所述基于所述外观参数进行分析，确定对应的手部白模，包括：对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；基于所述多个顶点坐标，确定对应的手部白模。
手部建模方法与上述实施例类似，因此不再赘述。
步骤1112，服务端调整手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态。
步骤1114，基于多种手部姿态的手部模型和商品对象图像，生成试戴视频并反馈。
在获取到手部模型后，采用商品对象图像和手部模型，生成试戴图像。其中，针对美甲、戒指等需要佩戴的商品对象，可基于手部的轮廓参数、顶点坐标等确定尺寸信息，如指甲的尺寸信息，手指的指围(即手指指定位置一圈的周长)等，基于尺寸信息调整商品对象图像，然后生成试戴图像。
本申请实施例中，商品对象图像可为用于试穿戴的商品对象图像，即只包括该商品对象的图像，也可为商家拍摄的商品对象的图像，如整体图像，或某个角度的图像等，针对商家拍摄的商品对象图像，可以提取商品对象之后生成试穿戴图像。
还可将符合用户手部的尺寸信息反馈给客户端，便于用户确认购买、收藏时提供辅助，提高效率。
步骤1116，客户端在商品对象页面中显示试戴视频。
可调整姿态参数以调整手部的姿态，得到多种手部姿态的手部模型，可以采用多种手部姿态的手部模型和商品对象图像，生成试戴视频，从而反馈该视频数据给用户，使得用户能够直观的看到自己手部佩戴的效果。
需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上，本实施例还提供了一种手部建模装置，应用于服务端设备等电子设备中，所述装置包括：
图像获取模块，用于获取用户拍摄的手部图像数据；
纹理分析模块，用于基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；
白模生成模块，用于对所述手部图像数据进行分析，确定手部白模；
手模生成模块，用于采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。
综上，获取用户拍摄的手部图像数据，基于所述手部图像数据进行纹理分析，确定该用户手部的纹理贴图，还对所述手部图像数据进行分析，确定该用户的手部白模，然后采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型，基于人手的纹理和样式构建手部模型，精确度更高，不同用户的手部模型不同。
其中，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；所述纹理分析模块，用于将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
所述白模生成模块，用于对所述手部图像数据进行分析，确定所述手部的外观参数；基于所述外观参数进行分析，确定对应的手部白模。
所述白模生成模块，用于将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
所述白模生成模块，用于对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；基于所述多个顶点坐标，确定对应的手部白模。
还包括：调整模块，用于基于对所述姿态参数的调整，调整手部模型的姿态；和/或，基于对所述轮廓参数的调整，调整手部模型的尺寸。
在上述实施例的基础上，本实施例还提供了一种基于手部模型的处理装置，应用于服务端设备等电子设备中，所述装置包括：
页面提供模块，用于提供商品对象页面，所述商品对象页面包括试戴控件；
试戴请求模块，用于接收试戴请求，所述试戴请求包括：拍摄的手部图像数据和商品对象标识；
商品确定模块，用于依据所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像；
手模确定模块，用于基于拍摄的手部图像数据确定手部模型；
试戴图像生成模块，用于采用商品对象图像和手部模型，生成试戴图像；
反馈模块，用于反馈所述试戴图像；
其中，所述手模确定模块，用于基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；对所述手部图像数据进行分析，确定手部白模；采用所述纹理贴图对所述手部白模进行纹理映射，确定手部模型。
所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；所述手模确定模块，用于将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
还包括：视频生成模块，用于调整手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态；基于多种手部姿态的手部模型和商品对象图像，生成试戴视频。
试戴调整模块，用于接收调整信息，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；基于所述调整信息调整手部模型，基于调整的手部模型调整试戴图像。
在上述实施例的基础上，本实施例还提供了一种基于手部模型的处理装置，应用于用户端设备等电子设备中，所述装置包括：
页面显示模块，用于显示商品对象页面，所述商品对象页面包括试戴控件；
拍摄模块，用于响应于对试戴控件的触发，拍摄手部图像数据；
请求模块，用于生成试戴请求并发送，所述试戴请求包括手部图像数据和商品对象标识，以基于所述试戴请求生成所述用户的手部模型试戴商品对象的试戴图像，所述用户手部模型基于纹理贴图对所述手部白模进行纹理映射生成，所述纹理贴图和手部白模依据对所述手部图像数据的分析确定；
图像接收模块，用于接收试戴图像并显示。
其中，所述商品对象页面还包括：调整控件；还包括：
显示调整模块，用于响应于对所述调整控件的触发，客户端获取调整信息，其中，所述调整控件包括以下至少一种：姿态调整控件、轮廓调整控件、亮度调整控件、颜色调整控件，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；发送所述调整信息，以获取调整的试戴图像。
可以基于用户拍摄的手部视频数据和商品对象标识生成并发送试戴请求，然后依据商品对象标识确定商品对象的商品对象图片，基于拍摄的手部图像数据确定手部模型，该手部模型的纹理以及样式与用户手部匹配，因此采用商品对象图像和手部模型，生成试戴图像，能够直观显示用户手部佩戴商品对象的效果，给用户挑选商品对象提供准确的依据，提高用户体验。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请实施例所述的方法。
本申请实施例还提供了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请实施例所述的方法。本申请实施例中，所述电子设备包括服务器、终端设备等设备。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端等电子设备。图12示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1200。
对于一个实施例，图12示出了示例性装置1200，该装置具有一个或多个处理器1202、被耦合到(一个或多个)处理器1202中的至少一个的控制模块(芯片组)1204、被耦合到控制模块1204的存储器1206、被耦合到控制模块1204的非易失性存储器(NVM)/存储设备1208、被耦合到控制模块1204的一个或多个输入/输出设备1210，以及被耦合到控制模块1204的网络接口1212。
处理器1202可包括一个或多个单核或多核处理器，处理器1202可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1200能够作为本申请实施例中所述服务端、终端等设备。
在一些实施例中，装置1200可包括具有指令1214的一个或多个计算机可读介质(例如，存储器1206或NVM/存储设备1208)以及与该一个或多个计算机可读介质相合并被配置为执行指令1214以实现模块从而执行本公开中所述的动作的一个或多个处理器1202。
对于一个实施例，控制模块1204可包括任意适当的接口控制器，以向(一个或多个)处理器1202中的至少一个和/或与控制模块1204通信的任意适当的设备或组件提供任意适当的接口。
控制模块1204可包括存储器控制器模块，以向存储器1206提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1206可被用于例如为装置1200加载和存储数据和/或指令1214。对于一个实施例，存储器1206可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1206可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块1204可包括一个或多个输入/输出控制器，以向NVM/存储设备1208及(一个或多个)输入/输出设备1210提供接口。
例如，NVM/存储设备1208可被用于存储数据和/或指令1214。NVM/存储设备1208可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1208可包括作为装置1200被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1208可通过网络经由(一个或多个)输入/输出设备1210进行访问。
(一个或多个)输入/输出设备1210可为装置1200提供接口以与任意其他适当的设备通信，输入/输出设备1210可以包括通信组件、音频组件、传感器组件等。网络接口1212可为装置1200提供接口以通过一个或多个网络通信，装置1200可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如蓝牙、WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1202中的至少一个可与控制模块1204的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置1200可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1200可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1200包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
本申请实施例还提供了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。本申请实施例中存储器中可存储各种数据，如目标文件、文件与应用关联数据等各种数据，还可包括用户行为数据等，从而为各种处理提供数据基础。
本申请实施例还提供了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种手部建模方法、一种基于手部模型的处理方法、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种手部建模方法，其特征在于，所述方法包括：
获取用户拍摄的手部图像数据；
基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；
对所述手部图像数据进行分析，确定手部白模；
采用所述纹理贴图对所述手部白模进行纹理映射，生成所述用户的手部模型。
2.根据权利要求1所述的方法，其特征在于，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；
所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：
将所述手部正面的图像数据和手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
3.根据权利要求1所述的方法，其特征在于，所述对所述手部图像数据进行分析，确定手部白模，包括：
对所述手部图像数据进行分析，确定所述手部的外观参数；
基于所述外观参数进行分析，确定对应的手部白模。
4.根据权利要求3所述的方法，其特征在于，所述对所述手部图像数据进行分析，确定所述手部的外观参数，包括：
将所述手部图像数据输入到手部参数化模型中，得到手部的轮廓参数和姿态参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述外观参数进行分析，确定对应的手部白模，包括：
对所述手部的轮廓参数和姿态参数进行分析，确定手部的多个顶点坐标；
基于所述多个顶点坐标，确定对应的手部白模。
6.根据权利要求5所述的方法，其特征在于，还包括：
基于对所述姿态参数的调整，调整手部模型的姿态；和/或
基于对所述轮廓参数的调整，调整手部模型的尺寸。
7.一种基于手部模型的处理方法，其特征在于，所述方法包括：
提供商品对象页面，所述商品对象页面包括试戴控件；
接收试戴请求，所述试戴请求包括：拍摄的手部图像数据和商品对象标识；
依据所述商品对象标识确定商品对象的商品对象信息，所述商品对象信息包括商品对象图像；
基于所述拍摄的手部图像数据确定手部模型；
采用商品对象图像和手部模型，生成试戴图像；
反馈所述试戴图像；
其中，所述基于所述拍摄的手部图像数据确定手部模型，包括：
基于所述手部图像数据进行纹理分析，确定手部的纹理贴图；
对所述手部图像数据进行分析，确定手部白模；
采用所述纹理贴图对所述手部白模进行纹理映射，确定所述手部模型。
8.根据权利要求7所述的方法，其特征在于，所述手部图像数据包括：手部正面的图像数据和手部背面的图像数据；
所述基于所述手部图像数据进行纹理分析，确定手部的纹理贴图，包括：
将所述手部正面的图像数据和所述手部背面的图像数据输入到纹理贴图生成模型进行纹理分析，输出所述手部的纹理贴图，所述手部的纹理贴图包括手部正面纹理贴图和手部背面纹理贴图。
9.根据权利要求7所述的方法，其特征在于，还包括：
调整所述手部的姿态参数，基于调整的姿态参数调整所述手部模型的手部姿态；
基于多种手部姿态的手部模型和商品对象图像，生成试戴视频。
10.根据权利要求7所述的方法，其特征在于，还包括：
接收调整信息，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；
基于所述调整信息调整手部模型，基于调整的手部模型调整试戴图像。
11.一种基于手部模型的处理方法，其特征在于，所述方法包括：
显示商品对象页面，所述商品对象页面包括试戴控件；
响应于对试戴控件的触发，拍摄手部图像数据；
生成试戴请求并发送，所述试戴请求包括拍摄的手部图像数据和商品对象标识，以基于所述试戴请求生成所述用户的手部模型试戴商品对象的试戴图像，所述用户手部模型基于纹理贴图对手部白模进行纹理映射生成，所述纹理贴图和手部白模依据对所述手部图像数据的分析确定；
接收试戴图像并显示。
12.根据权利要求10所述的方法，其特征在于，所述商品对象页面还包括：调整控件；所述的方法还包括：
响应于对所述调整控件的触发，获取调整信息，其中，所述调整控件包括以下至少一种：姿态调整控件、轮廓调整控件、亮度调整控件、颜色调整控件，所述调整信息包括以下至少一种：姿态调整信息、轮廓调整信息、亮度调整信息、颜色调整信息；
发送所述调整信息，以获取调整的试戴图像。
13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-12中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310439229.4A CN116452745A (zh) | 2023-04-13 | 2023-04-13 | 手部建模、手部模型处理方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310439229.4A CN116452745A (zh) | 2023-04-13 | 2023-04-13 | 手部建模、手部模型处理方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116452745A true CN116452745A (zh) | 2023-07-18 |
Family
ID=87135471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310439229.4A Pending CN116452745A (zh) | 2023-04-13 | 2023-04-13 | 手部建模、手部模型处理方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452745A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704140A (zh) * | 2023-08-08 | 2023-09-05 | 江西求是高等研究院 | 一种人体三维重建方法、系统、计算机及存储介质 |
-
2023
- 2023-04-13 CN CN202310439229.4A patent/CN116452745A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704140A (zh) * | 2023-08-08 | 2023-09-05 | 江西求是高等研究院 | 一种人体三维重建方法、系统、计算机及存储介质 |
| CN116704140B (zh) * | 2023-08-08 | 2023-10-20 | 江西求是高等研究院 | 一种人体三维重建方法、系统、计算机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875633B (zh) | 表情检测与表情驱动方法、装置和系统及存储介质 | |
| WO2020010979A1 (zh) | 手部关键点的识别模型训练方法、识别方法及设备 | |
| CN110363867B (zh) | 虚拟装扮系统、方法、设备及介质 | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| US11237702B2 (en) | Carousel interface for post-capture processing in a messaging system | |
| US20120223956A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| WO2016078296A1 (zh) | 服装试穿方法及装置 | |
| CN106127552B (zh) | 一种虚拟场景显示方法、装置及系统 | |
| US11756249B2 (en) | Layering of post-capture processing in a messaging system | |
| US11695718B2 (en) | Post-capture processing in a messaging system | |
| US11750546B2 (en) | Providing post-capture media overlays for post-capture processing in a messaging system | |
| WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
| CN112348937A (zh) | 人脸图像处理方法及电子设备 | |
| WO2021039856A1 (ja) | 情報処理装置、表示制御方法および表示制御プログラム | |
| CN109582122A (zh) | 增强现实信息提供方法、装置及电子设备 | |
| CN113298956A (zh) | 图像处理方法、美甲方法、美妆方法和装置、终端设备 | |
| CN116452745A (zh) | 手部建模、手部模型处理方法、设备和介质 | |
| EP4315260A1 (en) | Facial synthesis for head turns in augmented reality content | |
| WO2016184285A1 (zh) | 物品图像处理方法、装置和系统 | |
| CN116523579A (zh) | 一种显示设备、虚拟试衣系统及方法 | |
| CN114782661A (zh) | 下半身姿态预测模型的训练方法及装置 | |
| CN116524088B (zh) | 珠宝虚拟试戴方法、装置、计算机设备和存储介质 | |
| KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
| US11604904B2 (en) | Method and system for space design | |
| CN110177216A (zh) | 图像处理方法、装置、移动终端以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |