CN116977515B - 一种虚拟人物表情驱动方法 - Google Patents
一种虚拟人物表情驱动方法 Download PDFInfo
- Publication number
- CN116977515B CN116977515B CN202310997836.2A CN202310997836A CN116977515B CN 116977515 B CN116977515 B CN 116977515B CN 202310997836 A CN202310997836 A CN 202310997836A CN 116977515 B CN116977515 B CN 116977515B
- Authority
- CN
- China
- Prior art keywords
- expression
- muscle group
- subordinate
- muscle
- fluctuation range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000003205 muscle Anatomy 0.000 claims abstract description 285
- 230000001815 facial effect Effects 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims abstract description 33
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 3
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 3
- OIGNJSKKLXVSLS-VWUMJDOOSA-N prednisolone Chemical compound O=C1C=C[C@]2(C)[C@H]3[C@@H](O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 OIGNJSKKLXVSLS-VWUMJDOOSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及人脸识别与驱动技术领域，尤其涉及一种虚拟人物表情驱动方法,步骤S1，获取放松状态下的面部图像，对面部肌群进行定位；步骤S2，获取任一表情的主肌群、第一从属肌群和第二从属肌群；步骤S3，获取该表情变化过程中的若干面部图像，并对面部图像的面部肌群进行定位；步骤S4，中控模块根据表情终态的主肌群中各肌肉组织的平均变动幅度确定表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情；步骤S5，所述中控模块在达到预设条件时对第一从属肌群和第二从属肌群进行调用。本发明提高了对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
Description
技术领域
本发明涉及人脸识别与驱动技术领域，尤其涉及一种虚拟人物表情驱动方法。
背景技术
随着数字技术的发展，动漫行业已经成为多元化、综合化的产业，涵盖电影、电视、游戏、广告等多个领域。目前，动漫行业已经成为世界上最具活力和竞争力的产业之一，市场规模和影响力不断扩大。
未来动漫行业的发展趋势不仅要求动画内容更加丰富和深入，而且为了满足不同观众的需要，也要求动画的技术水平更高，虚拟人物的表情变化更加真实细腻。
中国专利公开号：CN115601484B公开了一种虚拟人物面部驱动方法、装置、终端设备和可读存储介质，其中方法包括获取用户的面部图像，对面部图像进行人脸关键点检测，得到用户人脸关键点；对用户人脸关键点进行平滑处理；对平滑处理后的用户人脸关键点与标准人脸关键点采用最小二乘法进行对齐处理，得到对齐后的人脸关键点矩阵；对对齐后的人脸关键点矩阵按照人脸部位进行划分，得到各部位关键点矩阵；对各表情基按照人脸部位进行划分，得到各部位表情基矩阵；将各部位表情基矩阵输入到对应的部位关键点矩阵进行稀疏编码，计算出各编码系数；采用各编码系数来驱动虚拟人物面部。
然而，现有技术中，虚拟人物的表情变化较为僵硬，精细化程度不足。
发明内容
为此，本发明提供一种虚拟人物表情驱动方法，用以克服现有技术中虚拟人物的表情变化较为僵硬，精细化程度不足的问题。
为实现上述目的，本发明提供一种虚拟人物表情驱动方法，包括：
步骤S1，获取单个人物的放松状态下的面部图像，对所述面部图像进行归一化处理，在坐标图中对单个人物的放松状态下的面部图像的面部肌群进行定位；
步骤S2，获取所述单个人物任一表情的表情终态的面部图像，中控模块基于表情终态的面部图像与放松状态下的面部图像的面部肌群变化状态确定该表情的主肌群、第一从属肌群和第二从属肌群；
步骤S3，获取该表情变化过程中的若干面部图像，并对面部图像的面部肌群进行定位；
步骤S4，中控模块根据表情终态的主肌群中各肌肉组织的平均变动幅度确定表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情；
步骤S5，所述中控模块在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用，并在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，且对第一从属肌群的调用系数进行修正。
进一步地，在所述步骤S1中，对所述面部图像进行归一化处理的方法包括，将面部图像中的鼻子、左眼和右眼进行连线形成三角区域，以该三角区域的几何中心作为坐标原点，对该三角区域进行缩放处理使处理后的面部图像的三角区域面积与归一化标准面积相同。
进一步地，在所述步骤S2中，对于任一表情的表情终态，所述中控模块将表情终态的面部图像与放松状态下的面部图像进行对比，计算表情终态的面部肌群中各肌肉组织的变化部分占比B，设定B＝A1/A0，其中，A1为任一肌肉组织坐标发生变化的部分面积，A0为对应的肌肉组织原坐标面积；
对存在变化的肌肉组织中，将变化部分占比B进行降序排列，取排列顺序的前1/3对应的肌肉组织作为该表情的主肌群，取排列顺序的中间1/3对应的肌肉组织作为该表情的第一从属肌群，将排列顺序的最后1/3对应的肌肉组织作为该表情的第二从属肌群。
进一步地，在所述步骤S3中，包括：
步骤S31，针对所述单个人物，获取该人物任一表情的面部变化视频信息；
步骤S32，对所述视频信息按照预设间隔进行切片处理，获取若干视频帧，将最后一个视频帧中的面部表情做为所述表情的表情终态；
步骤S33，识别所述若干视频帧中的面部图像并进行归一化处理，分别在坐标图中对所述若干视频帧中的面部图像的面部肌群进行定位。
进一步地，在所述步骤S32中，在若干所述视频帧中，若存在任一相邻的视频帧中面部图像的主肌群中任一肌肉组织的坐标的变动幅度超过预设变动幅度，所述中控模块根据超出预设变动幅度的大小将预设间隔调小，以提高获取的视频帧中肌群变化的精细程度。
进一步地，在所述步骤S4中，表情中间态的确定方法为，所述中控模块计算表情终态中主肌群中各肌肉组织的变动幅度，并根据以下公式计算主肌群中的各肌肉组织的平均变动幅度，设定
其中，Fi为主肌群中第i个肌肉组织的变动幅度，n为主肌群中包含的肌肉组织的数量。
进一步地，所述中控模块中设有预设分界变动幅度Ff，所述中控模块计算所述平均变动幅度Fp与预设分界变动幅度Ff的比值D，设定D＝Fp/Ff，若D≥1，所述中控模块判定将该表情分为若干表情中间态，其中，若D为正整数，则将表情中间态的数量设置为D，若D不为正整数，则将表情中间态的数量设置为小于D的最大正整数，并将任一视频帧中面部图像的主肌群中的各肌肉组织的平均变动幅度达到预设分界变动幅度Ff的倍数时对应的视频帧中的面部图像做为一个表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情。
进一步地，在所述步骤S5中，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第一预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用；
所述第一从属肌群调用系数按照以下公式计算，设定
其中，m为第一从属肌群中肌肉组织的数量，n为主肌群中包含的肌肉组织的数量，Fc为表情终态的第一从属肌群中各肌肉组织的平均变动幅度，Fp为表情终态的主肌群中各肌肉组织的平均变动幅度。
进一步地，所述中控模块计算第一从属肌群的单位变动幅度，则在首次出现表情中间态的平均变动幅度大于第一预设变动幅度时调用第一从属肌群，第一从属肌群的变动幅度为第一从属肌群的单位变动幅度×第一从属肌群调用系数，在首次出现表情中间态之后的第r个表情中间态时第一从属肌群的变动幅度为单位变动幅度×第一从属肌群调用系数×r。
进一步地，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第二预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，并对第一从属肌群的调用系数进行修正，所述第二预设变动幅度＝2×第一预设变动幅度。
与现有技术相比，本发明的有益效果在于，本发明通过将面部肌群划分为主肌群、第一从属肌群和第二从属肌群，根据主肌群的变动幅度确定表情中间态，并在不同的表情中间态调用第一从属肌群和第二从属肌群，通过上述技术方案，提高了对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
进一步地，任一表情的面部变化视频信息动态展示了一个表情从放松状态到表情出现时的肌群变化过程，通过将视频信息进行切片处理，可连续静止的展现处肌群的每一个变化状态，然后根据肌群的变化状态对虚拟人物的表情进行驱动，提高了对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
进一步地，在若干视频帧中，若存在任一相邻的视频帧中的主肌群变动幅度超过预设变动幅度，所述中控模块根据超出预设变动幅度的大小将预设间隔调小，以提高获取的视频帧中肌群变化的精细程度，从而进一步提高对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
进一步地，本发明设定预设分界变动幅度，以计算表情中间态的数量，若平均变动幅度小于预设分界变动幅度，说明该表情的肌群变化程度较小，此时，无需设定表情中间态，从而提高了对虚拟人物表情的驱动效率，若平均变动幅度大于预设分界变动幅度，此时至少可存在一个表情中间态，表情中间态将一个表情分为若干的表示形态，根据肌群的变动程度进行划分，使虚拟人物表达表情时更加精细化，本发明通过设定若干表情中间态，增加了虚拟人物表情的精细程度，从而使虚拟人物的表情更加生动逼真。
进一步地，本发明通过对第一从属肌群的调用和第二从属肌群的调用，并在调用第二从属肌群时对第一从属肌群的调用系数进行修正，丰富了虚拟人物的表情细节，增加了虚拟人物表情的精细程度，从而使虚拟人物的表情更加生动逼真。
附图说明
图1为本发明实施例虚拟人物表情驱动方法的流程图；
图2为本发明实施例虚拟人物表情驱动方法中步骤S3的流程图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例虚拟人物表情驱动方法的流程图，本发明所述虚拟人物表情驱动方法包括：
步骤S1，获取单个人物的放松状态下的面部图像，对所述面部图像进行归一化处理，在坐标图中对单个人物的放松状态下的面部图像的面部肌群进行定位；
步骤S2，获取所述单个人物任一表情的表情终态的面部图像，中控模块基于表情终态的面部图像与放松状态下的面部图像的面部肌群变化状态确定该表情的主肌群、第一从属肌群和第二从属肌群；
步骤S3，获取该表情变化过程中的若干面部图像，并对面部图像的面部肌群进行定位；
步骤S4，中控模块根据表情终态的主肌群中各肌肉组织的平均变动幅度确定表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情；
步骤S5，所述中控模块在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用，并在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，且对第一从属肌群的调用系数进行修正。
本发明首选获取主肌群，并获取第一从属肌群和第二从属肌群，通过主肌群确定基本表情，通过第一从属肌群和第二从属肌群对表情进行精细化处理，提高了虚拟人物表情的精细化程度。
本发明通过将面部肌群划分为主肌群、第一从属肌群和第二从属肌群，根据主肌群的变动幅度确定表情中间态，并在不同的表情中间态调用第一从属肌群和第二从属肌群，通过上述技术方案，提高了对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
具体而言，在所述步骤S1中，对所述面部图像进行归一化处理的方法包括，将面部图像中的鼻子、左眼和右眼进行连线形成三角区域，以该三角区域的几何中心作为坐标原点，对该三角区域进行缩放处理使处理后的面部图像的三角区域面积与归一化标准面积相同。
具体而言，在所述步骤S2中，对于任一表情的表情终态，所述中控模块将表情终态的面部图像与放松状态下的面部图像进行对比，计算表情终态的面部肌群中各肌肉组织的变化部分占比B，设定B＝A1/A0，其中，A1为任一肌肉组织坐标发生变化的部分面积，A0为对应的肌肉组织原坐标面积；
对存在变化的肌肉组织中，将变化部分占比B进行降序排列，取排列顺序的前1/3对应的肌肉组织作为该表情的主肌群，取排列顺序的中间1/3对应的肌肉组织作为该表情的第一从属肌群，将排列顺序的最后1/3对应的肌肉组织作为该表情的第二从属肌群。
具体而言，请参阅图2所示，在所述步骤S3中，包括：
步骤S31，针对所述单个人物，获取该人物任一表情的面部变化视频信息；
步骤S32，对所述视频信息按照预设间隔进行切片处理，获取若干视频帧，将最后一个视频帧中的面部表情做为所述表情的表情终态；
步骤S33，识别所述若干视频帧中的面部图像并进行归一化处理，分别在坐标图中对所述若干视频帧中的面部图像的面部肌群进行定位。
任一表情的面部变化视频信息动态展示了一个表情从放松状态到表情出现时的肌群变化过程，通过将视频信息进行切片处理，可连续静止的展现处肌群的每一个变化状态，然后根据肌群的变化状态对虚拟人物的表情进行驱动，提高了对虚拟人物表情的精细化处理，从而使虚拟人物的表情更加生动逼真。
具体而言，在所述步骤S32中，在若干视频帧中，若存在任一相邻的视频帧中面部图像的主肌群中任一肌肉组织的坐标的变动幅度超过预设变动幅度，所述中控模块根据超出预设变动幅度的大小将预设间隔调小，以提高获取的视频帧中肌群变化的精细程度。
具体而言，所述中控模块设有预设变动幅度，中控模块将任一相邻的视频帧中的主肌群中任一肌肉组织的坐标的变动幅度与预设变动幅度进行比对，若存在主肌群中任一肌肉组织的坐标的变动幅度大于预设变动幅度，所述中控模块判定所述预设间隔过大，计算该变动幅度与预设变动幅度的差值，所述中控模块中设有第一预设差值和第二预设差值，中控模块将所述差值分别与第一预设差值和第二预设差值进行比对，所述中控模块根据比对结果将预设间隔调节至对应值。
具体而言，所述中控模块设有预设变动幅度F0，中控模块将任一相邻的视频帧中的主肌群中任一肌肉组织的坐标的变动幅度F与F0进行比对，若存在F＞F0，所述中控模块判定所述预设间隔过大，计算F与F0的差值ΔF，设定ΔF＝F-F0，所述中控模块中设有第一预设差值ΔF1和第二预设差值ΔF2，ΔF1＜ΔF2，中控模块将ΔF分别与ΔF1和ΔF2进行比对，其中，
若ΔF≥ΔF2，所述中控模块使用第一预设间隔调节系数α1将所述预设间隔调节至T1，设定T1＝T0×α1；
若ΔF1≤ΔF＜ΔF2，所述中控模块使用第二预设间隔调节系数α2将所述预设间隔调节至T2，设定T2＝T0×α2；
若ΔF＜ΔF1，所述中控模块使用第三预设间隔调节系数α3将所述预设间隔调节至T3，设定T3＝T0×α3；
其中，T0为预设间隔，本实施例优选预设间隔T0为0.1s，0.6＜α1＜α2＜α3＜1，优选α1＝0.7，α2＝0.8，α3＝0.9，优选预设变动幅度F0为10％，第一预设差值ΔF1＝3％，第二预设差值ΔF2＝7％。
具体而言，在所述步骤S4中，表情中间态的确定方法为，所述中控模块计算表情终态中主肌群中各肌肉组织的变动幅度，并根据以下公式计算主肌群中的各肌肉组织的平均变动幅度，设定
其中，Fi为主肌群中第i个肌肉组织的变动幅度，n为主肌群中包含的肌肉组织的数量。
具体而言，所述中控模块中设有预设分界变动幅度Ff，所述中控模块计算所述平均变动幅度Fp与预设分界变动幅度Ff的比值D，设定D＝Fp/Ff，若D≥1，所述中控模块判定将该表情分为若干表情中间态，其中，若D为正整数，则将表情中间态的数量设置为D，若D不为正整数，则将表情中间态的数量设置为小于D的最大正整数，并将任一视频帧中面部图像的主肌群中的各肌肉组织的平均变动幅度达到预设分界变动幅度Ff的倍数时对应的视频帧中的面部图像做为一个表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情。
在确定主肌群后，中控模块根据表情终态中主肌群中各肌肉组织的平均变动幅度确定若干表情中间态，并将表情中间态作为虚拟人物表情变化的主肌群调用表情，对主肌群进行模拟控制，从而形成对应的表情，使虚拟人物的表情更加的精细和生动。
本发明设定预设分界变动幅度，以计算表情中间态的数量，若平均变动幅度小于预设分界变动幅度，说明该表情的肌群变化程度较小，此时，无需设定表情中间态，从而提高了对虚拟人物表情的驱动效率，若平均变动幅度大于预设分界变动幅度，此时至少可存在一个表情中间态，表情中间态将一个表情分为若干的表示形态，根据肌群的变动程度进行划分，使虚拟人物表达表情时更加精细化，本发明通过设定若干表情中间态，增加了虚拟人物表情的精细程度，从而使虚拟人物的表情更加生动逼真。
具体而言，在所述步骤S5中，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第一预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用；
所述第一从属肌群调用系数按照以下公式计算，设定
其中，m为第一从属肌群中肌肉组织的数量，n为主肌群中包含的肌肉组织的数量，Fc为表情终态的第一从属肌群中各肌肉组织的平均变动幅度，Fp为表情终态的主肌群中各肌肉组织的平均变动幅度。
具体而言，所述中控模块计算第一从属肌群的单位变动幅度，则在首次出现表情中间态的平均变动幅度大于第一预设变动幅度时调用第一从属肌群，第一从属肌群的变动幅度为第一从属肌群的单位变动幅度×第一从属肌群调用系数，在首次出现表情中间态之后的第r个表情中间态时第一从属肌群的变动幅度为单位变动幅度×第一从属肌群调用系数×r。
第一从属肌群的单位变动幅度的计算方法为，按照表情终态的主肌群中的各肌肉组织的平均变动幅度的计算公式，计算表情终态的第一从属肌群中各肌肉组织的平均变动幅度，则第一从属肌群的单位变动幅度＝表情终态中第一从属肌群中各肌肉组织的平均变动幅度/视频帧的数量。
具体而言，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第二预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，并对第一从属肌群的调用系数进行修正，所述第二预设变动幅度＝2×第一预设变动幅度。
第二从属肌群调用系数＝第一从属肌群调用系数×1/2。
所述中控模块计算第二从属肌群的单位变动幅度，则在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第二预设变动幅度时调用第二从属肌群，第二从属肌群的变动幅度为第二从属肌群的单位变动幅度×第二从属肌群调用系数，在首次出现表情中间态之后的第j个表情中间态时第二从属肌群的变动幅度为第二从属肌群的单位变动幅度×第二从属肌群调用系数×j。
第二从属肌群的单位变动幅度的计算方法为，按照表情终态的主肌群中的各肌肉组织的平均变动幅度的计算公式，计算表情终态的第二从属肌群中各肌肉组织的平均变动幅度，则第二从属肌群的单位变动幅度＝表情终态中第二从属肌群中各肌肉组织的平均变动幅度/视频帧的数量。
具体而言，所述中控模块中设有第一修正系数e1、第二修正系数e2和第三修正系数e3，1.01＜e3＜e2＜e1＜1.03，在对第一从属肌群的调用系数进行修正时，所述中控模块计算表情中间态的主肌群中的各肌肉组织的平均变动幅度与第二预设变动幅度的差值σ，设定σ＝表情中间态的主肌群中的各肌肉组织的平均变动幅度-第二预设变动幅度，所述中控模块将所述差值σ分别与第一预设变动幅度差值σ1和第二预设变动幅度差值σ2进行比对，σ1＜σ2，其中，
若σ≥σ2，所述中控模块使用第一修正系数e1将所述第一从属肌群的调用系数调节至Qe1，设定Qe1＝Qe×e1；
若σ1≤σ＜σ2，所述中控模块使用第二修正系数e2将所述第一从属肌群的调用系数调节至Qe2，设定Qe2＝Qe×e2；
若σ＜σ1，所述中控模块使用第三修正系数e3将所述第一从属肌群的调用系数调节至Qe3，设定Qe3＝Qe×e3；
本发明在主肌群超过第一变动幅度时对第一从属肌群进行修正，在主肌群超过第二变动幅度时对第二从属肌群进行修正。且通过设定若干表情中间态，增加了虚拟人物表情的精细程度，从而使虚拟人物的表情更加生动逼真。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种虚拟人物表情驱动方法，其特征在于，包括：
步骤S1，获取单个人物的放松状态下的面部图像，对所述面部图像进行归一化处理，在坐标图中对单个人物的放松状态下的面部图像的面部肌群进行定位；
步骤S2，获取所述单个人物任一表情的表情终态的面部图像，中控模块基于表情终态的面部图像与放松状态下的面部图像的面部肌群变化状态确定该表情的主肌群、第一从属肌群和第二从属肌群；
步骤S3，获取该表情变化过程中的若干面部图像，并对面部图像的面部肌群进行定位；
步骤S4，中控模块根据表情终态的主肌群中各肌肉组织的平均变动幅度确定表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情；
步骤S5，所述中控模块在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用，并在首次出现表情中间态的主肌群中的各肌肉组织的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，且对第一从属肌群的调用系数进行修正；
在所述步骤S1中，对所述面部图像进行归一化处理的方法包括，将面部图像中的鼻子、左眼和右眼进行连线形成三角区域，以该三角区域的几何中心作为坐标原点，对该三角区域进行缩放处理使处理后的面部图像的三角区域面积与归一化标准面积相同；
在所述步骤S2中，对于任一表情的表情终态，所述中控模块将表情终态的面部图像与放松状态下的面部图像进行对比，计算表情终态的面部肌群中各肌肉组织的变化部分占比B，设定B＝A1/A0，其中，A1为任一肌肉组织坐标发生变化的部分面积，A0为对应的肌肉组织原坐标面积；
对存在变化的肌肉组织中，将变化部分占比B进行降序排列，取排列顺序的前1/3对应的肌肉组织作为该表情的主肌群，取排列顺序的中间1/3对应的肌肉组织作为该表情的第一从属肌群，将排列顺序的最后1/3对应的肌肉组织作为该表情的第二从属肌群。
2.根据权利要求1所述的虚拟人物表情驱动方法，其特征在于，在所述步骤S3中，包括：
步骤S31，针对所述单个人物，获取该人物任一表情的面部变化视频信息；
步骤S32，对所述视频信息按照预设间隔进行切片处理，获取若干视频帧，将最后一个视频帧中的面部表情做为所述表情的表情终态；
步骤S33，识别所述若干视频帧中的面部图像并进行归一化处理，分别在坐标图中对所述若干视频帧中的面部图像的面部肌群进行定位。
3.根据权利要求2所述的虚拟人物表情驱动方法，其特征在于，在所述步骤S32中，在若干所述视频帧中，若存在任一相邻的视频帧中面部图像的主肌群中任一肌肉组织的坐标的变动幅度超过预设变动幅度，所述中控模块根据超出预设变动幅度的大小将预设间隔调小，以提高获取的视频帧中肌群变化的精细程度。
4.根据权利要求3所述的虚拟人物表情驱动方法，其特征在于，在所述步骤S4中，表情中间态的确定方法为，所述中控模块计算表情终态中主肌群中各肌肉组织的变动幅度，并根据以下公式计算主肌群中的各肌肉组织的平均变动幅度，设定
其中，Fi为主肌群中第i个肌肉组织的变动幅度，n为主肌群中包含的肌肉组织的数量。
5.根据权利要求4所述的虚拟人物表情驱动方法，其特征在于，所述中控模块中设有预设分界变动幅度Ff，所述中控模块计算所述平均变动幅度Fp与预设分界变动幅度Ff的比值D，设定D＝Fp/Ff，若D≥1，所述中控模块判定将该表情分为若干表情中间态，其中，若D为正整数，则将表情中间态的数量设置为D，若D不为正整数，则将表情中间态的数量设置为小于D的最大正整数，并将任一视频帧中面部图像的主肌群中的各肌肉组织的平均变动幅度达到预设分界变动幅度Ff的倍数时对应的视频帧中的面部图像做为一个表情中间态，将表情中间态作为虚拟人物表情变化的主肌群调用表情。
6.根据权利要求5所述的虚拟人物表情驱动方法，其特征在于，在所述步骤S5中，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第一预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第一预设变动幅度时，使用第一从属肌群调用系数对第一从属肌群进行调用；
所述第一从属肌群调用系数按照以下公式计算，设定
其中，m为第一从属肌群中肌肉组织的数量，n为主肌群中包含的肌肉组织的数量，Fc为表情终态的第一从属肌群中各肌肉组织的平均变动幅度，Fp为表情终态的主肌群中各肌肉组织的平均变动幅度。
7.根据权利要求6所述的虚拟人物表情驱动方法，其特征在于，所述中控模块计算第一从属肌群的单位变动幅度，则在首次出现表情中间态的平均变动幅度大于第一预设变动幅度时调用第一从属肌群，第一从属肌群的变动幅度为第一从属肌群的单位变动幅度×第一从属肌群调用系数，在首次出现表情中间态之后的第r个表情中间态时第一从属肌群的变动幅度为单位变动幅度×第一从属肌群调用系数×r。
8.根据权利要求7所述的虚拟人物表情驱动方法，其特征在于，所述中控模块顺次将表情中间态的主肌群中的各肌肉组织的平均变动幅度与第二预设变动幅度进行比对，当首次出现表情中间态的平均变动幅度大于第二预设变动幅度时，使用第二从属肌群调用系数对第二从属肌群进行调用，并对第一从属肌群的调用系数进行修正，所述第二预设变动幅度＝2×第一预设变动幅度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310997836.2A CN116977515B (zh) | 2023-08-08 | 2023-08-08 | 一种虚拟人物表情驱动方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310997836.2A CN116977515B (zh) | 2023-08-08 | 2023-08-08 | 一种虚拟人物表情驱动方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977515A CN116977515A (zh) | 2023-10-31 |
| CN116977515B true CN116977515B (zh) | 2024-03-15 |
Family
ID=88479501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310997836.2A Active CN116977515B (zh) | 2023-08-08 | 2023-08-08 | 一种虚拟人物表情驱动方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977515B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739709A (zh) * | 2009-12-24 | 2010-06-16 | 四川大学 | 一种三维人脸动画的控制方法 |
| CN111597926A (zh) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN112560786A (zh) * | 2020-12-28 | 2021-03-26 | 苏州源睿尼科技有限公司 | 基于人脸肌肉特征的表情数据库的使用方法、计算处理设备 |
| US11270487B1 (en) * | 2018-09-17 | 2022-03-08 | Facebook Technologies, Llc | Systems and methods for improving animation of computer-generated avatars |
| CN114422832A (zh) * | 2022-01-17 | 2022-04-29 | 上海哔哩哔哩科技有限公司 | 主播虚拟形象生成方法及装置 |
| CN114724681A (zh) * | 2022-04-24 | 2022-07-08 | 福州大学 | 基于Opensim的颈椎康复训练生物力学仿真分析方法 |
| CN114821734A (zh) * | 2022-05-13 | 2022-07-29 | 北京沃东天骏信息技术有限公司 | 一种驱动虚拟人物表情的方法和装置 |
| CN115601484A (zh) * | 2022-11-07 | 2023-01-13 | 广州趣丸网络科技有限公司（Cn） | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019209431A1 (en) * | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| CN113766168A (zh) * | 2021-05-31 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种互动处理方法、装置、终端及介质 |
-
2023
- 2023-08-08 CN CN202310997836.2A patent/CN116977515B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739709A (zh) * | 2009-12-24 | 2010-06-16 | 四川大学 | 一种三维人脸动画的控制方法 |
| US11270487B1 (en) * | 2018-09-17 | 2022-03-08 | Facebook Technologies, Llc | Systems and methods for improving animation of computer-generated avatars |
| CN111597926A (zh) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN112560786A (zh) * | 2020-12-28 | 2021-03-26 | 苏州源睿尼科技有限公司 | 基于人脸肌肉特征的表情数据库的使用方法、计算处理设备 |
| CN114422832A (zh) * | 2022-01-17 | 2022-04-29 | 上海哔哩哔哩科技有限公司 | 主播虚拟形象生成方法及装置 |
| CN114724681A (zh) * | 2022-04-24 | 2022-07-08 | 福州大学 | 基于Opensim的颈椎康复训练生物力学仿真分析方法 |
| CN114821734A (zh) * | 2022-05-13 | 2022-07-29 | 北京沃东天骏信息技术有限公司 | 一种驱动虚拟人物表情的方法和装置 |
| CN115601484A (zh) * | 2022-11-07 | 2023-01-13 | 广州趣丸网络科技有限公司（Cn） | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Radoslaw Niewiadomski,et al..Computational Models of Expressive Behaviors for a Virtual Agent.《researchgate》.2013,全文. * |
| 三维人脸表情合成研究;常江龙;《中国博士学位论文全文数据库 信息科技辑》;全文 * |
| 特定人脸的快速定制和肌肉驱动的表情动画;梅丽 等;《计算机辅助设计与图形学学报》;全文 * |
| 虚拟特定人脸的表情合成技术;姜昱明, 李军锋;计算机工程(14);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977515A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296576B (zh) | 图像处理方法和图像处理装置 | |
| CN105303586B (zh) | 获取直方图的方法、亮度动态调整的方法及图像处理装置 | |
| CN112102153B (zh) | 图像的卡通化处理方法、装置、电子设备和存储介质 | |
| CN106358029A (zh) | 一种视频图像处理方法和装置 | |
| CN106251298B (zh) | 处理图像的方法和装置 | |
| CN116977515B (zh) | 一种虚拟人物表情驱动方法 | |
| EP3271866A1 (en) | Method for correction of the eyes image using machine learning and method for machine learning | |
| CN111679877B (zh) | 一种变更终端设备背景的方法、装置和电子设备 | |
| CN109660748A (zh) | 用于眼球视线校正的图像处理方法及其系统 | |
| CN113556544A (zh) | 基于场景自适应的视频编码方法和装置、设备及存储介质 | |
| CN106097261A (zh) | 图像处理方法和装置 | |
| CN113284229B (zh) | 三维人脸模型生成方法、装置、设备及存储介质 | |
| CN108765551A (zh) | 一种实现3d模型捏脸的方法及终端 | |
| TWI309947B (en) | Image processing apparatus and method of the same | |
| CN111836044A (zh) | 决定量化参数的方法 | |
| CN113407939B (zh) | 面向黑盒攻击的替代模型自动选取方法、存储介质及终端 | |
| CN115345788A (zh) | 提高色觉异常者视觉下图像颜色对比度的方法与装置 | |
| CN110458754A (zh) | 图像生成方法及终端设备 | |
| JP2010273764A (ja) | 画像処理装置及び方法 | |
| US20220207667A1 (en) | Gaze direction correction method | |
| CN108712642B (zh) | 一种适用于立体视频的立体字幕添加位置自动选择方法 | |
| CN112711984A (zh) | 注视点定位方法、装置和电子设备 | |
| CN113963392B (zh) | 一种基于动态调节阈值的人脸识别方法 | |
| CN110278438A (zh) | 视频中嵌入隐藏编码的方法及装置 | |
| CN111695573B (zh) | 一种基于显著目标深度动态调节的视疲劳缓解系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |