CN117392330B - 一种元宇宙虚拟数字人制作方法及系统 - Google Patents
一种元宇宙虚拟数字人制作方法及系统 Download PDFInfo
- Publication number
- CN117392330B CN117392330B CN202311692804.8A CN202311692804A CN117392330B CN 117392330 B CN117392330 B CN 117392330B CN 202311692804 A CN202311692804 A CN 202311692804A CN 117392330 B CN117392330 B CN 117392330B
- Authority
- CN
- China
- Prior art keywords
- face
- model
- clothing
- facial feature
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 22
- 230000001815 facial effect Effects 0.000 claims abstract description 109
- 230000037237 body shape Effects 0.000 claims abstract description 6
- 210000003128 head Anatomy 0.000 claims description 103
- 238000013507 mapping Methods 0.000 claims description 20
- 210000000697 sensory organ Anatomy 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 claims description 8
- 208000002874 Acne Vulgaris Diseases 0.000 claims description 7
- 206010000496 acne Diseases 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 231100000241 scar Toxicity 0.000 claims description 7
- 208000032544 Cicatrix Diseases 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 6
- 230000037387 scars Effects 0.000 claims description 6
- 208000007256 Nevus Diseases 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用于人物建模技术领域，提供了一种元宇宙虚拟数字人制作方法及系统，所述方法包括以下步骤：采集面部扫描图像，根据面部扫描图像确定人物模型的头型；接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；对初步人物模型进行自动捏脸，得到中间人物模型；接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人。本发明能够自动确定头型和体型，将体型和头型进行组合得到初步人物模型；并对初步人物模型进行自动捏脸，得到中间人物模型，能够保证中间人物模型与预期外貌高度相似。
Description
技术领域
本发明涉及人物建模技术领域，具体是涉及一种元宇宙虚拟数字人制作方法及系统。
背景技术
元宇宙本质上是对现实世界的虚拟化和数字化过程，元宇宙需要包含形式各样的虚拟数字人，虚拟数字人指存在于物理世界中，具有数字化外形的虚拟人物。现有的虚拟数字人的制作方法主要有捏脸建模，人为捏脸建模的方法制作虚拟数字人时，制作周期较长，难以快速得到特征唯一且达到预期外貌的虚拟数字人。
因此，需要提供一种元宇宙虚拟数字人制作方法及系统，旨在解决上述问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种元宇宙虚拟数字人制作方法及系统，以解决上述背景技术中存在的问题。
本发明是这样实现的，一种元宇宙虚拟数字人制作方法，所述方法包括以下步骤：
采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
对初步人物模型进行自动捏脸，得到中间人物模型；
接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人。
作为本发明进一步的方案：所述根据面部扫描图像确定人物模型的头型的步骤，具体包括：
对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓。
作为本发明进一步的方案：所述根据性别、身高和体重确定人物模型的体型的步骤，具体包括：
根据性别确定体态动态模型；
将身高和体重输入至体态动态模型中得到人物模型的体型；
接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面。
作为本发明进一步的方案：所述对初步人物模型进行自动捏脸，得到中间人物模型的步骤，具体包括：
依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
每个调整参数后，根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型。
作为本发明进一步的方案：所述接收面部特征信息，将面部特征信息加入至中间人物模型中的步骤，具体包括：
接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
本发明的另一目的在于提供一种元宇宙虚拟数字人制作系统，所述系统包括：
面部扫描图像采集模块，用于采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
初步人物模型确定模块，用于接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
中间人物模型确定模块，用于对初步人物模型进行自动捏脸，得到中间人物模型；
面部特征添加模块，用于接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人。
作为本发明进一步的方案：所述面部扫描图像采集模块包括：
头部轮廓确定单元，用于对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
头型确定单元，用于将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓。
作为本发明进一步的方案：所述初步人物模型确定模块包括：
体态动态模型确定单元，用于根据性别确定体态动态模型；
体型确定单元，用于将身高和体重输入至体态动态模型中得到人物模型的体型；
服装设置单元，用于接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面。
作为本发明进一步的方案：所述中间人物模型确定模块包括：
五官参数调整单元，用于依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
调整匹配单元，每个调整参数后，用于根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
人物发型确定单元，用于接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
发色肤色确定单元，用于吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型。
作为本发明进一步的方案：所述面部特征添加模块包括：
面部特征接收单元，用于接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
面部特征添加单元，用于接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
面部特征调整单元，用于接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
与现有技术相比，本发明的有益效果是：
本发明能够自动确定头型和体型，将体型和头型进行组合得到初步人物模型；并对初步人物模型进行自动捏脸，得到中间人物模型，能够保证中间人物模型与预期外貌高度相似，效率高，此外，用户还能够输入面部特征信息，将面部特征信息加入至中间人物模型中，得到的虚拟数字人更加逼真。
附图说明
图1为一种元宇宙虚拟数字人制作方法的流程图。
图2为一种元宇宙虚拟数字人制作方法中根据面部扫描图像确定人物模型的头型的流程图。
图3为一种元宇宙虚拟数字人制作方法中根据性别、身高和体重确定人物模型的体型的流程图。
图4为一种元宇宙虚拟数字人制作方法中对初步人物模型进行自动捏脸，得到中间人物模型的流程图。
图5为一种元宇宙虚拟数字人制作方法中接收面部特征信息，将面部特征信息加入至中间人物模型中的流程图。
图6为一种元宇宙虚拟数字人制作系统的结构示意图。
图7为一种元宇宙虚拟数字人制作系统中面部扫描图像采集模块的结构示意图。
图8为一种元宇宙虚拟数字人制作系统中初步人物模型确定模块的结构示意图。
图9为一种元宇宙虚拟数字人制作系统中中间人物模型确定模块的结构示意图。
图10为一种元宇宙虚拟数字人制作系统中面部特征添加模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示，本发明实施例提供了一种元宇宙虚拟数字人制作方法，所述方法包括以下步骤：
S100，采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
S200，接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
S300，对初步人物模型进行自动捏脸，得到中间人物模型；
S400，接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人。
本发明实施例中，首先需要提供预期外貌的图片、模型或者人物本体，采集得到面部扫描图像，根据面部扫描图像确定人物模型的头型，这里的头型只是初步的头型，后期会进一步进行调整，接着需要用户输入性别、身高和体重，本发明实施例自动根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；接着对初步人物模型进行自动捏脸，得到中间人物模型。需要说明的是，目前的捏脸都是在初步人物模型的基础上，人为拉动各种参数的进度条，使得人物模型与预期外貌相像，不仅建模较慢，且得到的人物模型与预期外貌往往存在较大差异，效果不理想。本发明实施例中，会自动调整各种参数，每次调整后，自动与预期外貌进行匹配，保证了中间人物模型与预期外貌高度相似，此外，用户还能够输入面部特征信息，将面部特征信息加入至中间人物模型中，例如在人物模型的脸上添加痣，得到的虚拟数字人更加逼真。
如图2所示，作为本发明一个优选的实施例，所述根据面部扫描图像确定人物模型的头型的步骤，具体包括：
S101，对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
S102，将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓。
本发明实施例中，事先建立有头型轮廓库，所述头型轮廓库包含各式各样的头型，每种头型对应有头型轮廓，本发明实施例会自动对面部扫描图像进行头部的轮廓扫描，得到头部轮廓，然后将头部轮廓输入至头型轮廓库中，使得头部轮廓与头型轮廓库中的所有头型轮廓依次进行匹配，输出匹配度最高的头型。
如图3所示，作为本发明一个优选的实施例，所述根据性别、身高和体重确定人物模型的体型的步骤，具体包括：
S201，根据性别确定体态动态模型；
S202，将身高和体重输入至体态动态模型中得到人物模型的体型；
在步骤S202中，具体包括如下子步骤：
步骤S2021，根据身高在预设身高映射表中查找确认对应的身高映射系数，根据体重在预设体重映射表中查找确认对应的体重映射系数；
步骤S2022，根据身高映射系数以及体重映射系数计算得到一当前人物体型参数；
在本步骤中，当前人物体型参数的计算公式表示为：
；
其中，表示当前人物体型参数，/>表示性别为男性时人物体型参数的基准值，表示性别为女性时人物体型参数的基准值，/>表示身高项的权重因子，/>表示身高映射系数，/>表示体重项的权重因子，/>表示体重映射系数。
步骤S2023，将所述当前人物体型参数，输入至对应的体态动态模型中进行计算以确认得到人物模型的体型。
在本实施例中，体态动态模型的公式表示为：
；
其中，表示在时间/>对应的实际体态动态模型得分，/>表示在时间/>对应的当前人物体型参数的校正因子，/>表示在时间/>对应的当前人物体型参数，/>表示体态动态模型的最大建模时长。
可以理解的，在计算得到了实际体态动态模型得分后，根据实际体态动态模型得分在对应的体态动态模型中进行查找确定，便可得到对应的人物模型的体型。其中，体态动态模型包括男性的体态动态模型以及女性的体态动态模型。
S203，接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面。
在步骤S203中，具体包括如下子步骤：
步骤S2031，接收服装选择指令，根据所述服装选择指令获取服装属性信息，其中所述服装属性信息包括服装尺码属性、服装颜色属性以及服装风格属性；
步骤S2032，根据服装尺码属性、服装颜色属性以及服装风格属性计算得到对应的服装属性指数；
在本步骤中，服装属性指数的计算公式表示为：
；
其中，表示服装属性指数，/>表示服装属性指数的基准值，/>表示服装尺码属性项的权重因子，/>表示当前所选择的服装的尺码项所对应的属性指数得分，/>表示服装颜色属性项的权重因子，/>表示当前所选择的服装的颜色项所对应的属性指数得分，/>表示服装风格属性项的权重因子，/>表示当前所选择的服装的风格项所对应的属性指数得分。
步骤S2033，根据服装属性指数在预设第一映射表中查找得到对应理想体态动态模型得分，其中所述预设第一映射表用于表示服装属性指数与体态动态模型得分之间的映射关系；
步骤S2034，根据理想体态动态模型得分与实际体态动态模型得分计算得到一模型得分差值，并判断所述模型得分差值是否在预设差值范围内；
步骤S2035，当判断到所述模型得分差值在预设差值范围内，则将服装穿在人物模型体型的外面；
步骤S2036，当判断到所述模型得分差值超出预设差值范围，则生成一服装选择提示信息，所述服装选择提示信息用于提示用户当前选择的服装与人物模型体型不匹配。
本发明实施例中，事先建立两种体态动态模型，分别对应男性和女性。首先会根据性别确定体态动态模型，将身高和体重输入至体态动态模型中就可以直接得到人物模型的体型；进一步的，用户还可以从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面，更加多样化。
如图4所示，作为本发明一个优选的实施例，所述对初步人物模型进行自动捏脸，得到中间人物模型的步骤，具体包括：
S301，依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
S302，每个调整参数后，根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
其中，在步骤S302中，面部扫描图像上对应的特征区域的生成方法具体包括如下步骤：
步骤S3021a，对输入的面部扫描图像进行预处理，其中所述预处理包括灰度化、噪声去除以及对比度增强操作；
步骤S3022a，利用人脸检测算法，对预处理后的面部扫描图像进行检测，以得到检测后的人脸图像；
其中，上述的人脸检测算法具体包括Haar级联分类器与深度学习，用于检测出图像中的人脸位置和姿态，也即得到检测后的人脸图像。
步骤S3023a，对检测后的人脸图像进行特征提取，以得到人脸纹理特征、人脸形状特征以及人脸几何特征；
步骤S3024a，基于人脸纹理特征、人脸形状特征以及人脸几何特征进行特征描述，以得到人脸的特征区域。
进一步的，在步骤S302中，将调整后的匹配特征与特征区域进行相似度匹配的方法包括如下步骤：
步骤S3021b，获取调整后的匹配特征的属性类别信息以及每个特征区域的属性类别信息，并判断匹配特征的属性类别信息与特征区域的属性类别信息是否相同；
需要说明的是，属性类别信息包括嘴唇、眼睛、耳朵、眉毛、鼻子、下巴以及脸颊，也即每种属性类别均对应人体的一个器官或部件。
步骤S3022b，若是，则基于调整后的匹配特征的轮廓图形与特征区域的轮廓图形，确认得到轮廓图形相似度；
步骤S3022c，当判断到所述轮廓图形相似度在预设轮廓图形相似度范围内，则获取调整后的匹配特征的轮廓面积以及特征区域的轮廓面积，并基于匹配特征的轮廓面积与特征区域的轮廓面积计算得到轮廓面积差值；
步骤S3022d，当判断到轮廓面积差值在预设轮廓面积差值范围内，则判定调整后的匹配特征与特征区域之间满足相似度匹配条件。
S303，接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
S304，吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型。
本发明实施例中，人物模型设置有五官参数进行调整，每个五官参数后面设置有若干个小项目，例如眼睛参数包括上眼皮、下眼皮、内眼角和外眼角，每个参数对应有匹配特征，每个调整参数后，根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整，例如调整内眼角时，内眼角对应的匹配特征就有内眼角的局部区域，根据匹配特征识别面部扫描图像上对应的特征区域，特征区域也就是面部扫描图像上内眼角区域，然后内眼角参数自动从0开始依次往上加1，每次加1后，将调整后的匹配特征与特征区域进行相似度匹配，相似度大于设定值后，视为匹配合格，内眼角调整完成，否则内眼角参数继续加一进行调整，直至合格为止，等到所有的参数调整完成后，人物模型的五官已经与预期外貌基本相同。进一步的，还可以根据发型选择指令从发型库中选择发型，并自动吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行自动调整，得到最终的中间人物模型。
如图5所示，作为本发明一个优选的实施例，所述接收面部特征信息，将面部特征信息加入至中间人物模型中的步骤，具体包括：
S401，接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
S402，接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
S403，接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
本发明实施例中，为了使得虚拟数字人更加逼真，事先建立有面部特征库，面部特征库包含各种痘印、疤痕、痣等等面部特征，用户可以选择面部特征库中的面部特征，然后使用鼠标将选择的面部特征拖拽至中间人物模型的脸部中，并输入面部特征调整指令，就可以对面部特征的颜色进行编辑、尺寸进行编辑和方向进行编辑。
如图6所示，本发明实施例还提供了一种元宇宙虚拟数字人制作系统，所述系统包括：
面部扫描图像采集模块100，用于采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
初步人物模型确定模块200，用于接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
中间人物模型确定模块300，用于对初步人物模型进行自动捏脸，得到中间人物模型；
面部特征添加模块400，用于接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人。
本发明实施例中，首先需要提供预期外貌的图片、模型或者人物本体，采集得到面部扫描图像，根据面部扫描图像确定人物模型的头型，这里的头型只是初步的头型，后期会进一步进行调整，接着需要用户输入性别、身高和体重，本发明实施例自动根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；接着对初步人物模型进行自动捏脸，得到中间人物模型，需要说明的是，目前的捏脸都是在初步人物模型的基础上，人为拉动各种参数的进度条，使得人物模型与预期外貌相像，不仅建模较慢，且得到的人物模型与预期外貌往往存在较大差异，效果不理想，本发明实施例中，会自动调整各种参数，每次调整后，自动与预期外貌进行匹配，保证了中间人物模型与预期外貌高度相似，此外，用户还能够输入面部特征信息，将面部特征信息加入至中间人物模型中，例如在人物模型的脸上添加痣，得到的虚拟数字人更加逼真。
如图7所示，作为本发明一个优选的实施例，所述面部扫描图像采集模块100包括：
头部轮廓确定单元101，用于对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
头型确定单元102，用于将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓。
如图8所示，作为本发明一个优选的实施例，所述初步人物模型确定模块200包括：
体态动态模型确定单元201，用于根据性别确定体态动态模型；
体型确定单元202，用于将身高和体重输入至体态动态模型中得到人物模型的体型；
服装设置单元203，用于接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面。
如图9所示，作为本发明一个优选的实施例，所述中间人物模型确定模块300包括：
五官参数调整单元301，用于依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
调整匹配单元302，每个调整参数后，用于根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
人物发型确定单元303，用于接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
发色肤色确定单元304，用于吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型。
如图10所示，作为本发明一个优选的实施例，所述面部特征添加模块400包括：
面部特征接收单元401，用于接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
面部特征添加单元402，用于接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
面部特征调整单元403，用于接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
Claims (9)
1.一种元宇宙虚拟数字人制作方法，其特征在于，所述方法包括以下步骤：
采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
对初步人物模型进行自动捏脸，得到中间人物模型；
接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人；
所述根据性别、身高和体重确定人物模型的体型的步骤，具体包括：
根据性别确定体态动态模型；
将身高和体重输入至体态动态模型中得到人物模型的体型；
接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面；
将身高和体重输入至体态动态模型中得到人物模型的体型的方法包括如下步骤：
根据身高在预设身高映射表中查找确认对应的身高映射系数，根据体重在预设体重映射表中查找确认对应的体重映射系数；
根据身高映射系数以及体重映射系数计算得到一当前人物体型参数；
将所述当前人物体型参数，输入至对应的体态动态模型中进行计算以确认得到人物模型的体型；
其中，所述对初步人物模型进行自动捏脸，得到中间人物模型的步骤，具体包括：
依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
每个调整参数后，根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型。
2.根据权利要求1所述的一种元宇宙虚拟数字人制作方法，其特征在于，所述根据面部扫描图像确定人物模型的头型的步骤，具体包括：
对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓。
3.根据权利要求2所述的一种元宇宙虚拟数字人制作方法，其特征在于，当前人物体型参数的计算公式表示为：
；
其中，表示当前人物体型参数，/>表示性别为男性时人物体型参数的基准值，/>表示性别为女性时人物体型参数的基准值，/>表示身高项的权重因子，/>表示身高映射系数，/>表示体重项的权重因子，/>表示体重映射系数。
4.根据权利要求3所述的一种元宇宙虚拟数字人制作方法，其特征在于，体态动态模型的公式表示为：
；
其中，表示在时间/>对应的实际体态动态模型得分，/>表示在时间/>对应的当前人物体型参数的校正因子，/>表示在时间/>对应的当前人物体型参数，/>表示体态动态模型的最大建模时长。
5.根据权利要求4所述的一种元宇宙虚拟数字人制作方法，其特征在于，接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面的方法具体包括如下步骤：
接收服装选择指令，根据所述服装选择指令获取服装属性信息，其中所述服装属性信息包括服装尺码属性、服装颜色属性以及服装风格属性；
根据服装尺码属性、服装颜色属性以及服装风格属性计算得到对应的服装属性指数；
根据服装属性指数在预设第一映射表中查找得到对应理想体态动态模型得分，其中所述预设第一映射表用于表示服装属性指数与理想体态动态模型得分之间的映射关系；
根据理想体态动态模型得分与实际体态动态模型得分计算得到一模型得分差值，并判断所述模型得分差值是否在预设差值范围内；
当判断到所述模型得分差值在预设差值范围内，则将服装穿在人物模型体型的外面；
当判断到所述模型得分差值超出预设差值范围，则生成一服装选择提示信息，所述服装选择提示信息用于提示用户当前选择的服装与人物模型体型不匹配。
6.根据权利要求5所述的一种元宇宙虚拟数字人制作方法，其特征在于，服装属性指数的计算公式表示为：
；
其中，表示服装属性指数，/>表示服装属性指数的基准值，/>表示服装尺码属性项的权重因子，/>表示当前所选择的服装的尺码项所对应的属性指数得分，/>表示服装颜色属性项的权重因子，/>表示当前所选择的服装的颜色项所对应的属性指数得分，/>表示服装风格属性项的权重因子，/>表示当前所选择的服装的风格项所对应的属性指数得分。
7.根据权利要求1所述的一种元宇宙虚拟数字人制作方法，其特征在于，在根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配的方法中；
其中，面部扫描图像上对应的特征区域的生成方法具体包括如下步骤：
对输入的面部扫描图像进行预处理，其中所述预处理包括灰度化、噪声去除以及对比度增强操作；
利用人脸检测算法，对预处理后的面部扫描图像进行检测，以得到检测后的人脸图像；
对检测后的人脸图像进行特征提取，以得到人脸纹理特征、人脸形状特征以及人脸几何特征；
基于人脸纹理特征、人脸形状特征以及人脸几何特征进行特征描述，以得到人脸的特征区域；
将调整后的匹配特征与特征区域进行相似度匹配的方法包括如下步骤：
获取调整后的匹配特征的属性类别信息以及每个特征区域的属性类别信息，并判断匹配特征的属性类别信息与特征区域的属性类别信息是否相同；
若是，则基于调整后的匹配特征的轮廓图形与特征区域的轮廓图形，确认得到轮廓图形相似度；
当判断到所述轮廓图形相似度在预设轮廓图形相似度范围内，则获取调整后的匹配特征的轮廓面积以及特征区域的轮廓面积，并基于匹配特征的轮廓面积与特征区域的轮廓面积计算得到轮廓面积差值；
当判断到轮廓面积差值在预设轮廓面积差值范围内，则判定调整后的匹配特征与特征区域之间满足相似度匹配条件。
8.根据权利要求7所述的一种元宇宙虚拟数字人制作方法，其特征在于，所述接收面部特征信息，将面部特征信息加入至中间人物模型中的步骤，具体包括：
接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
9.一种元宇宙虚拟数字人制作系统，其特征在于，应用权利要求1至8任一项所述的元宇宙虚拟数字人制作方法，所述系统包括：
面部扫描图像采集模块，用于采集面部扫描图像，根据面部扫描图像确定人物模型的头型；
初步人物模型确定模块，用于接收用户输入的性别、身高和体重，根据性别、身高和体重确定人物模型的体型，将体型和头型进行组合得到初步人物模型；
中间人物模型确定模块，用于对初步人物模型进行自动捏脸，得到中间人物模型；
面部特征添加模块，用于接收面部特征信息，将面部特征信息加入至中间人物模型中，得到虚拟数字人；
所述面部扫描图像采集模块包括：
头部轮廓确定单元，用于对面部扫描图像进行头部的轮廓扫描，得到头部轮廓；
头型确定单元，用于将头部轮廓输入至头型轮廓库中进行匹配，输出匹配度最高的头型，所述头型轮廓库包含数种头型，每种头型对应有头型轮廓；
所述初步人物模型确定模块包括：
体态动态模型确定单元，用于根据性别确定体态动态模型；
体型确定单元，用于将身高和体重输入至体态动态模型中得到人物模型的体型；
服装设置单元，用于接收服装选择指令，从服装饰品库中选择对应的服装，将服装穿在人物模型体型的外面；
所述中间人物模型确定模块包括：
五官参数调整单元，用于依次调整五官参数，所述五官参数包括嘴唇参数、眼睛参数、耳朵参数、眉毛参数、鼻子参数、下巴参数和脸颊参数，每个参数对应有匹配特征；
调整匹配单元，每个调整参数后，用于根据匹配特征识别面部扫描图像上对应的特征区域，将调整后的匹配特征与特征区域进行相似度匹配，匹配合格时，调整完成，否则继续进行调整；
人物发型确定单元，用于接收发型选择指令，根据发型选择指令为初步人物模型添加发型；
发色肤色确定单元，用于吸取面部扫描图像上的发色和脸部肤色，对初步人物模型的发色和脸部肤色进行调整，得到中间人物模型；
所述面部特征添加模块包括：
面部特征接收单元，用于接收用户选择的面部特征信息，所述面部特征信息为痘印、疤痕或者痣；
面部特征添加单元，用于接收用户输入的面部特征拖拽命令，根据面部特征拖拽命令将面部特征信息拖拽至中间人物模型的头型中；
面部特征调整单元，用于接收面部特征调整指令，所述面部特征调整指令包括颜色编辑、尺寸编辑和方向编辑，对面部特征信息进行调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311692804.8A CN117392330B (zh) | 2023-12-11 | 2023-12-11 | 一种元宇宙虚拟数字人制作方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311692804.8A CN117392330B (zh) | 2023-12-11 | 2023-12-11 | 一种元宇宙虚拟数字人制作方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392330A CN117392330A (zh) | 2024-01-12 |
| CN117392330B true CN117392330B (zh) | 2024-03-08 |
Family
ID=89441382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311692804.8A Active CN117392330B (zh) | 2023-12-11 | 2023-12-11 | 一种元宇宙虚拟数字人制作方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392330B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010088702A (ko) * | 2001-08-22 | 2001-09-28 | 김지신 | 3차원 신체모형 생성시스템 및 생성방법 |
| CN102402641A (zh) * | 2010-09-14 | 2012-04-04 | 盛乐信息技术（上海）有限公司 | 一种基于网络的三维虚拟试衣系统及方法 |
| KR20120070985A (ko) * | 2010-12-22 | 2012-07-02 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
| CN103310478A (zh) * | 2013-06-04 | 2013-09-18 | 合肥工业大学 | 一种多样化虚拟人群生成的方法 |
| CN108345385A (zh) * | 2018-02-08 | 2018-07-31 | 必革发明（深圳）科技有限公司 | 虚拟陪跑人物建立与交互的方法及装置 |
| CN108596091A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物形象卡通化还原方法、系统及介质 |
| CN109345328A (zh) * | 2018-08-17 | 2019-02-15 | 深圳市赛亿科技开发有限公司 | 衣物搭配的方法、智能试衣镜及计算机可读存储介质 |
| CN114255099A (zh) * | 2021-12-01 | 2022-03-29 | 安徽朗月芽知识产权运营有限公司 | 一种基于虚拟模型的电商试装系统 |
| CN114663581A (zh) * | 2022-03-03 | 2022-06-24 | 知服科技(福建)有限公司 | 一种基于大数据及人工智能的人体三维数据获取方法及系统 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
| CN116342765A (zh) * | 2023-03-21 | 2023-06-27 | 平安科技（深圳）有限公司 | 基于照片的虚拟人模型生成方法、装置、设备及存储介质 |
| KR20230134832A (ko) * | 2022-03-15 | 2023-09-22 | 주식회사 인터포 | 실감형 형상 모델링 생성 방법 |
| CN116883099A (zh) * | 2023-06-09 | 2023-10-13 | 米衫(广东)数字科技有限公司 | 一种基于元宇宙生态的沉浸式购物系统及方法 |
-
2023
- 2023-12-11 CN CN202311692804.8A patent/CN117392330B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010088702A (ko) * | 2001-08-22 | 2001-09-28 | 김지신 | 3차원 신체모형 생성시스템 및 생성방법 |
| CN102402641A (zh) * | 2010-09-14 | 2012-04-04 | 盛乐信息技术（上海）有限公司 | 一种基于网络的三维虚拟试衣系统及方法 |
| KR20120070985A (ko) * | 2010-12-22 | 2012-07-02 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
| CN103310478A (zh) * | 2013-06-04 | 2013-09-18 | 合肥工业大学 | 一种多样化虚拟人群生成的方法 |
| CN108345385A (zh) * | 2018-02-08 | 2018-07-31 | 必革发明（深圳）科技有限公司 | 虚拟陪跑人物建立与交互的方法及装置 |
| CN108596091A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物形象卡通化还原方法、系统及介质 |
| CN109345328A (zh) * | 2018-08-17 | 2019-02-15 | 深圳市赛亿科技开发有限公司 | 衣物搭配的方法、智能试衣镜及计算机可读存储介质 |
| CN114255099A (zh) * | 2021-12-01 | 2022-03-29 | 安徽朗月芽知识产权运营有限公司 | 一种基于虚拟模型的电商试装系统 |
| CN114663581A (zh) * | 2022-03-03 | 2022-06-24 | 知服科技(福建)有限公司 | 一种基于大数据及人工智能的人体三维数据获取方法及系统 |
| KR20230134832A (ko) * | 2022-03-15 | 2023-09-22 | 주식회사 인터포 | 실감형 형상 모델링 생성 방법 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
| CN116342765A (zh) * | 2023-03-21 | 2023-06-27 | 平安科技（深圳）有限公司 | 基于照片的虚拟人模型生成方法、装置、设备及存储介质 |
| CN116883099A (zh) * | 2023-06-09 | 2023-10-13 | 米衫(广东)数字科技有限公司 | 一种基于元宇宙生态的沉浸式购物系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| Minglan Su et al..3D human Reconstruction Combined with Facial Features.《IEEE Xplore》.2023,全文. * |
| 吕海清 ; 朱欣娟 ; 赵雪青 ; 石美红 ; .基于三维人脸特征的服装个性化推荐及虚拟展示.纺织高校基础科学学报.2018,(第03期),全文. * |
| 吕海清.个性化三维人脸及其在服装虚拟展示中的应用研究.《万方数据库》.2020,全文. * |
| 周利琴.虚拟试衣系统中面部特征识别和三维人脸构建.《万方数据库》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392330A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105513125B (zh) | 合成图像生成装置及方法、用于执行该方法的记录介质 | |
| US11625878B2 (en) | Method, apparatus, and system generating 3D avatar from 2D image | |
| KR101259662B1 (ko) | 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체 | |
| CN110390632B (zh) | 基于妆容模板的图像处理方法、装置、存储介质及终端 | |
| JP6744905B2 (ja) | 改善された年齢モデル化方法 | |
| CN110782528A (zh) | 自由形变的人脸整形模拟方法、系统及存储介质 | |
| JP6566373B1 (ja) | 施術支援システム | |
| CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
| CN114037802A (zh) | 三维人脸模型重建方法、装置、存储介质及计算机设备 | |
| JP2020177620A (ja) | アバター用の３ｄ顔モデルを生成する方法及び関連デバイス | |
| WO2017040615A1 (en) | Methods, systems and instruments for creating partial model of a head for use in hair transplantation | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
| CN116128814A (zh) | 舌诊图像的标准化采集方法及相关装置 | |
| JP2000151985A (ja) | 画像処理方法及び記録媒体 | |
| CN117392330B (zh) | 一种元宇宙虚拟数字人制作方法及系统 | |
| CN110598719A (zh) | 一种依据视觉属性描述自动生成人脸图像的方法 | |
| CN107895154B (zh) | 面部表情强度计算模型的形成方法及系统 | |
| US11354844B2 (en) | Digital character blending and generation system and method | |
| Bastanfard et al. | Toward E-appearance of human face and hair by age, expression and rejuvenation | |
| CN114219920B (zh) | 三维人脸模型的构建方法及装置、存储介质、终端 | |
| CN113744129A (zh) | 一种基于语义神经渲染的人脸图像生成方法及系统 | |
| CN116228518A (zh) | 基于数字化建模的化妆辅助方法与系统 | |
| CN112800819A (zh) | 一种人脸识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |