CN108229239A - 一种图像处理的方法及装置 - Google Patents

一种图像处理的方法及装置 Download PDF

Info

Publication number
CN108229239A
CN108229239A CN201611129431.3A CN201611129431A CN108229239A CN 108229239 A CN108229239 A CN 108229239A CN 201611129431 A CN201611129431 A CN 201611129431A CN 108229239 A CN108229239 A CN 108229239A
Authority
CN
China
Prior art keywords
face
user
threedimensional model
key point
personalizes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611129431.3A
Other languages
English (en)
Other versions
CN108229239B (zh
Inventor
张威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Haiyi Interactive Entertainment Technology Co ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201611129431.3A priority Critical patent/CN108229239B/zh
Priority to PCT/CN2017/075742 priority patent/WO2018103220A1/zh
Publication of CN108229239A publication Critical patent/CN108229239A/zh
Application granted granted Critical
Publication of CN108229239B publication Critical patent/CN108229239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例公开了一种图像处理的方法及装置，用于图像处理技术领域。本发明实施例方法包括：在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；获取视频直播场景中预设的拟人化三维模型的面部表情；根据用户面部表情数据调整拟人化三维模型的面部表情，以使得拟人化三维模型的面部表情跟随所述用户面部表情而变化。本发明实施例中利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。

Description

一种图像处理的方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理的方法及装置。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。
虽然随着人脸识别技术的发展，越来越多的应用到人们生活的方方面面，但是在某些领域的应用仍有待开发。
发明内容
本发明实施例提供了一种图像处理的方法及装置，利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。
第一方面，本申请提供一种图像处理的方法，该方法包括：
在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；
获取所述视频直播场景中预设的拟人化三维模型的面部表情；
根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
优选的，所述利用人脸识别算法获取用户面部表情数据的步骤，具体包括：
利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；
利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
优选的，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；
所述根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态的步骤，具体包括：
根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
根据所述眉毛关键点计算用户眉毛挑动幅度；
根据所述嘴巴关键点计算用户嘴巴开合大小。
优选的，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体包括：
将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；
将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
优选的，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体还包括：
在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
第二方面，本申请提供一种图像处理的装置，所述装置包括：
用户表情获取模块，用于在视频直播或视频录制场景中，利用人脸识别 算法获取用户面部表情数据；
模型表情获取模块，用于获取所述视频直播场景中预设的拟人化三维模型的面部表情；
调整模块，用于根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
优选的，所述用户表情获取模块具体包括：
标记单元，用于利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
检测单元，用于根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；
获取单元，用于利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
优选的，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；
所述检测单元具体用于：
根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
根据所述眉毛关键点计算用户眉毛挑动幅度；
根据所述嘴巴关键点计算用户嘴巴开合大小。
优选的，所述调整模块具体用于：
将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；
将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
优选的，所述调整模块具体还用于：
在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；获取视频直播场景中预设的拟人化三维模型的面部表情；根据用户面部表情数据调整拟人化三维模型的面部表情，以使得拟人化三维模型的面部表情跟随所述用户面部表情而变化。本发明实施例中利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。
附图说明
图1是本发明实施例中图像处理的方法的一个实施例示意图；
图2是图1所示实施例中步骤S102的一个实施例示意图；
图3是OpenFace人脸识别算法标记的68个脸部关键点示意图；
图4是本发明实施例中根据人脸在三维空间的朝向信息构建的虚拟三维方块的一个实施例示意图；
图5是本发明实施例中根据人脸识别算法识别用户眼睛的凝视方向的一个实施例示意图；
图6是图3所示实施例中步骤S1022的一个实施例示意图；
图7是图1所示实施例中步骤S103的一个实施例示意图；
图8是处理拟人化三维模型眼部纹理及嘴部纹理的一个实施例示意图；
图9是本发明实施例中图像处理的装置的一个实施例示意图；
图10是本发明实施例中图像处理的装置的另一个实施例示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面首先本发明实施例中图像处理的方法，该图像处理的方法应用于图像处理的装置中，该装置可以位于固定终端中，例如桌面电脑，服务器等，也可以位于移动终端中，例如手机、平板电脑等。
请参阅图1，本发明实施例中图像处理的方法一个实施例包括：
S101、在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；
本发明实施例中，人脸识别算法可以是OpenFace人脸识别算法。OpenFace人脸识别算法是一种开源人脸识别及人脸关键点追踪算法，主要用来检测人脸区域，然后标记脸部特征关键点位置，OpenFace标记了脸部68个特征关键点，并且能够追踪眼球朝向和脸部朝向。
S102、获取所述视频直播场景中预设的拟人化三维模型的面部表情；
本发明实施例中，拟人化三维模型不限于虚拟动物、虚拟宠物，也可以是自然物件，如可以是一颗拟人化的白菜，也可以是一张拟人化的桌子，也可以是动漫中的虚拟三维人物或虚拟三维动物，具体此处不做限定。
获取所述视频直播场景中预设的拟人化三维模型的面部表情，可以是直接获取当前拟人化三维模型的面部表情的图像帧，该图像帧中包括拟人化三 维模型的面部表情。
S103、根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
需要说明的是，本发明实施例中获取用户表情数据及拟人化三维模型的表情数据可以是以帧为单位获取的，后续调整也可以是以帧为单位对应调整的。
本发明实施例在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；获取视频直播场景中预设的拟人化三维模型的面部表情；根据用户面部表情数据调整拟人化三维模型的面部表情，以使得拟人化三维模型的面部表情跟随所述用户面部表情而变化。本发明实施例中利用人脸识别算法实现拟人化三维模型面部表情跟随用户面部表情变化而变化，增强视频直播/视频录制过程中展示效果的趣味性，提升了用户体验。
优选的，如图2所示，所述步骤S102具体可以包括：
S1021、利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
本发明实施例中以OpenFace人脸识别算法为例说明，运用OpenFace人脸识别技术检测人脸之后，标记追踪人脸关键点位置。从这些点中记录下需要用到的特征点，以眼睛、眉毛、嘴巴三个五官特征举例说明。如图3是OpenFace标记的68个脸部关键点。
其中，图3中标记了脸部68个特征点，以1～68为编号说明，以眼睛、眉毛、嘴巴三个五官特征举例，需要用到的关键点编号如下：
眼睛(左)：37、38、39、40、41、42
眼睛(右)：43、44、45、46、47、48
眉毛(左)：18、19、20、21、22
眉毛(右)：23、24、25、26、27
嘴巴：49、55、61、62、63、64、65、66、67、68
本发明实施例中，利用OpenFace人脸识别算法能返回脸部68个关键点在像素坐标。
S1022、根据所述特定关键点位置，检测所述特定关键点位置在预设时间 的状态；
根据上述特定关键点位置，可以计算分别计算特定关键点位置在预设时间的状态，例如眼睛睁开/闭合状态、眼睛大小、眉毛挑动幅度、嘴巴开合大小等。
S1023、利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
本发明实施例中，使用OpenFace人脸识别算法获取用户人脸在三维空间中的朝向信息，朝向信息包括三个转向角信息：偏航角(Yaw)、俯仰角(Pitch)、侧偏角(Roll)，根据三个转向角构建一个虚拟的三维方块来指示朝向信息，具体如图4所示的矩形三维方块。同时，如图5所示，通过OpenFace人脸识别算法可以直接识别获取用户眼睛的凝视方向，图5中眼睛上的白色线条表示识别的眼睛凝视方向。
优选的，本发明实施例中，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点，其中，上述眼睛关键点、眉毛关键点和嘴巴关键点每项包括一个或多个关键点。
如图6所示，所述步骤S1022具体可以包括：
S10221、根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
该计算中需要用到的距离计算公式如下：
a＝(x1，y1)
b＝(x2，y2)
公式含义：
a：关键点a，对应的像素坐标为(x1，y1)；
b：关键点b，对应的像素坐标为(x2，y2)；
d：表示关键点a到关键点b的距离长度；
具体计算眼睛睁开/闭合状态细节如下：
以左眼为例，计算如图3中关键点38与关键点42之间的像素距离a，计算39与41之间的像素距离b，取a、b的平均值c＝(a+b)/2，c即为眼睛的高度；计算37与40之间的像素距离d，d即为眼睛的宽度。当a/d<0.15(0.15 为经验值)时判断眼睛为闭合状态。用同样的方法计算右眼的张开闭合状态。
计算眼睛大小具体细节如下：
使用步骤上述计算结果c(眼睛的高度)和d(眼睛的宽度)，得到眼睛矩形区域的高度和宽度。眼睛矩形区域即用于表示眼睛大小。
S10222、根据所述眉毛关键点计算用户眉毛挑动幅度；
本发明实施例中，计算眉毛挑动幅度具体细节如下：
以左眼为例，计算眉弓最高处关键点20与眼睛关键点38之间的像素距离值e。由于抬头、俯视、左右摆动会影响此值，因此要以脸部宽度为基准计算，脸部宽度值计算关键点3至关键点15之间的距离f，眉毛挑动幅度的值为e/f。眉毛挑动时e/f的值会随之发生变化，因此以e/f的最小值为基准计算眉毛的挑动幅度值，以最小值为基准能迅速有效的判定挑眉动作。
S10223、根据所述嘴巴关键点计算用户嘴巴开合大小。
本发明实施例中，计算用户嘴巴开合大小具体细节如下：
计算关键点63与关键点67之间的像素距离g，计算关键点61到关键点65之间的像素距离h。用户嘴巴开合大小值为：g/h。
优选的，如图7所示，所述步骤S103具体可以包括：
S1031、将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
S1032、利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
设之前获取的用户人脸三维空间中的朝向信息：航角(Yaw)、俯仰角(Pitch)、侧偏角(Roll)分别为：θ，ψ。那么利用欧拉角进行旋转对应的旋转变换矩阵M为：
通过将改旋转变换矩阵应用到三维物体上，可以改变三维物体的朝向。
S1033、获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
其中，预设的眼部纹理和嘴部纹理可以是预设的所述拟人化三维模型的 基准眼部纹理和基准嘴部纹理。
所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部可以是：将OpenFace人脸识别算法识别的面部关键点与拟人化三维模型的眼睛开何处和嘴巴的开合处对齐贴图处理，
S1034、根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理，根据所述嘴巴开合大小调整所述嘴部纹理；
具体，根据所述用户眼睛睁开/闭合状态以及眼睛大小拉伸眼睛开合口、嘴巴开合口附近的贴图纹理，然后根据眼睛大小和嘴巴开合大小分别限制眼睛开合处、嘴巴开合处矩形的长宽比。如图8所示，根据所述用户眼睛凝视方向计算眼部纹理贴图位置来处理拟人化三维模型眼球的转动和朝向信息，眼球朝向只改变眼部纹理的位置，不影响眼部纹理的大小。
S1035、将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
以OpenGL 2.0GPU编程为例，此变换矩阵M应用到三维模型的代码如下：
顶点着色器代码：
其中，posion为3DS MAX三维建模软件创建的三维模型的顶点的坐标；inputTextureCoordinate为3DS MAX三维建模软件创建的三维模型顶点坐标对 应的贴图纹理坐标；textureCoordinate为将要传递给片元着色器的坐标；matrixM为变换矩阵M，用来处理模型的旋转；gl_Position为输出给OpenGL处理的顶点坐标。matrixM*postion的作用是对顶点坐标做旋转变换。再将matrixM*postion赋值给gl_Position得到最终模型转动之后的坐标，最终gl_Position交给OpenGL内部自动处理，得到模型头部转动的画面。
优选的，为了使三维动物模拟的动作自然，需要随机产生小幅度的小动作和细微表情，此处的动作使用3DS MAX等3D建模软件预先制作好的几组骨骼动画，在这里随机套用这几组动画。如：耳朵自然摆动、头部轻微幅度自然摇动。因此，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体还可以包括：
在3D建模软件(例如3DS MAX)中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
在本发明方法应用在视频直播场景中时，在主播或者视频录制者露脸时，在直播或视频录制画面的一个角落开一个小窗口画面，用来展示虚拟的拟人化三维模型，主播或者视频录制者不愿露脸时，仅在小窗口画面展示拟人化三维模型来模拟主播、视频录制者的表情动作，做到音画同步。
下面介绍本发明实施例中图像处理的装置的实施例。
请参阅图9，为本发明实施例中图像处理的装置的一个实施例示意图，该装置包括：
用户表情获取模块901，用于在视频直播或视频录制场景中，获取用户面部表情数据；
模型表情获取模块902，用于利用人脸识别算法获取所述视频直播场景中预设的拟人化三维模型的面部表情；
调整模块903，用于根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
优选的，如图10所示，所述用户表情获取模块901具体可以包括：
标记单元9011，用于利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
检测单元9012，用于根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；
获取单元9013，用于利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
优选的，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；
所述检测单元9012具体用于：
根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
根据所述眉毛关键点计算用户眉毛挑动幅度；
根据所述嘴巴关键点计算用户嘴巴开合大小。
优选的，所述调整模块903具体用于：
将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；
将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
优选的，所述调整模块903具体还用于：
在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理的方法，其特征在于，所述方法包括：
在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；
获取所述视频直播场景中预设的拟人化三维模型的面部表情；
根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
2.根据权利要求1所述的方法，其特征在于，所述利用人脸识别算法获取用户面部表情数据的步骤，具体包括：
利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；
利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
3.根据权利要求2所述的方法，其特征在于，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；
所述根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态的步骤，具体包括：
根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
根据所述眉毛关键点计算用户眉毛挑动幅度；
根据所述嘴巴关键点计算用户嘴巴开合大小。
4.根据权利要求3所述的方法，其特征在于，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体包括：
将所述拟人化三维模型的眼睛部分处理成透明；将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；
将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
5.根据权利要求1至4中任一所述的方法，其特征在于，所述根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化的步骤，具体还包括：
在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
6.一种图像处理的装置，其特征在于，所述装置包括：
用户表情获取模块，用于在视频直播或视频录制场景中，利用人脸识别算法获取用户面部表情数据；
模型表情获取模块，用于获取所述视频直播场景中预设的拟人化三维模型的面部表情；
调整模块，用于根据所述用户面部表情数据调整所述拟人化三维模型的面部表情，以使得所述拟人化三维模型的面部表情跟随所述用户面部表情而变化。
7.根据权利要求6所述的装置，其特征在于，所述用户表情获取模块具体包括：
标记单元，用于利用人脸识别算法识别用户人脸后，标记用户人脸特定关键点位置；
检测单元，用于根据所述特定关键点位置，检测所述特定关键点位置在预设时间的状态；
获取单元，用于利用人脸识别算法获取用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向；
其中，所述用户面部表情数据包括所述特定关键点位置在预设时间内的状态、所述用户人脸在三维空间中的朝向信息以及用户眼睛的凝视方向。
8.根据权利要求7所述的装置，其特征在于，所述特定关键点包括眼睛关键点、眉毛关键点和嘴巴关键点；
所述检测单元具体用于：
根据所述眼睛关键点计算用户眼睛睁开/闭合状态以及眼睛大小；
根据所述眉毛关键点计算用户眉毛挑动幅度；
根据所述嘴巴关键点计算用户嘴巴开合大小。
9.根据权利要求8所述的装置，其特征在于，所述调整模块具体用于：
将所述拟人化三维模型的眼睛部分处理成透明，将所述拟人化三维模型嘴部的上下唇之间处理处一条透明的缝隙，以处理绘制牙齿；
利用欧拉角进行旋转所述用户人脸在三维空间中的朝向信息得到旋转变化矩阵；
获取预先制作的眼部纹理和嘴部纹理，并将所述眼部纹理和嘴部纹理贴合到所述拟人化三维模型面部；
根据所述用户眼睛睁开/闭合状态以及眼睛大小和所述用户眼睛的凝视方调整所述眼部纹理；根据所述嘴巴开合大小调整所述嘴部纹理；
将所述旋转变换矩阵应用到所述拟人化三维模型，用来改变所述拟人化三维模型的朝向，使得所述拟人化三维模型的面部表情跟随所述用户面部表情变化。
10.根据权利要求6至9中任一所述的装置，其特征在于，所述调整模块具体还用于：
在3D建模软件中，根据预设的预先制作好的骨骼动画随机套用生成小幅度的小动作和细微表情，并应用在所述拟人化三维模型的面部。
CN201611129431.3A 2016-12-09 2016-12-09 一种图像处理的方法及装置 Active CN108229239B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611129431.3A CN108229239B (zh) 2016-12-09 2016-12-09 一种图像处理的方法及装置
PCT/CN2017/075742 WO2018103220A1 (zh) 2016-12-09 2017-03-06 一种图像处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611129431.3A CN108229239B (zh) 2016-12-09 2016-12-09 一种图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN108229239A true CN108229239A (zh) 2018-06-29
CN108229239B CN108229239B (zh) 2020-07-10

Family

ID=62490579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611129431.3A Active CN108229239B (zh) 2016-12-09 2016-12-09 一种图像处理的方法及装置

Country Status (2)

Country Link
CN (1) CN108229239B (zh)
WO (1) WO2018103220A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109064548A (zh) * 2018-07-03 2018-12-21 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN109147024A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置
CN109165578A (zh) * 2018-08-08 2019-01-08 盎锐（上海）信息科技有限公司 基于拍摄装置的表情检测装置及数据处理方法
CN109509242A (zh) * 2018-11-05 2019-03-22 网易（杭州）网络有限公司 虚拟对象面部表情生成方法及装置、存储介质、电子设备
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN110035271A (zh) * 2019-03-21 2019-07-19 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
CN111144169A (zh) * 2018-11-02 2020-05-12 深圳比亚迪微电子有限公司 人脸识别方法、装置和电子设备
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质
CN111200747A (zh) * 2018-10-31 2020-05-26 百度在线网络技术（北京）有限公司 基于虚拟形象的直播方法和装置
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
WO2020147794A1 (zh) * 2019-01-18 2020-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111507143A (zh) * 2019-01-31 2020-08-07 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN111986301A (zh) * 2020-09-04 2020-11-24 网易（杭州）网络有限公司 直播中数据处理的方法及装置、电子设备、存储介质
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统
CN112528835A (zh) * 2020-12-08 2021-03-19 北京百度网讯科技有限公司 表情预测模型的训练方法、识别方法、装置及电子设备
US11468612B2 (en) 2019-01-18 2022-10-11 Beijing Sensetime Technology Development Co., Ltd. Controlling display of a model based on captured images and determined information
CN115334325A (zh) * 2022-06-23 2022-11-11 联通沃音乐文化有限公司 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN115797523A (zh) * 2023-01-05 2023-03-14 武汉创研时代科技有限公司 一种基于人脸动作捕捉技术的虚拟角色处理系统及方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610546B (zh) * 2018-06-15 2023-03-28 Oppo广东移动通信有限公司 视频画面显示方法、装置、终端及存储介质
CN109308731B (zh) * 2018-08-24 2023-04-25 浙江大学 级联卷积lstm的语音驱动唇形同步人脸视频合成算法
CN110969673B (zh) * 2018-09-30 2023-12-15 西藏博今文化传媒有限公司 一种直播换脸交互实现方法、存储介质、设备及系统
CN111444743A (zh) * 2018-12-27 2020-07-24 北京奇虎科技有限公司 一种视频人像替换方法及装置
CN110335194B (zh) * 2019-06-28 2023-11-10 广州久邦世纪科技有限公司 一种人脸变老图像处理方法
CN110458751B (zh) * 2019-06-28 2023-03-24 广东智媒云图科技股份有限公司 一种基于粤剧图片的面部替换方法、设备及介质
CN110782529B (zh) * 2019-10-24 2024-04-05 重庆灵翎互娱科技有限公司 一种基于三维人脸实现眼球转动效果的方法和设备
CN111161418B (zh) * 2019-11-25 2023-04-25 西安夏光网络科技有限责任公司 面部美容整形仿真模拟方法
CN113436301B (zh) * 2020-03-20 2024-04-09 华为技术有限公司 拟人化3d模型生成的方法和装置
CN111540055B (zh) * 2020-04-16 2024-03-08 广州虎牙科技有限公司 三维模型驱动方法、装置、电子设备及存储介质
CN111563465B (zh) * 2020-05-12 2023-02-07 淮北师范大学 一种动物行为学自动分析系统
CN111638784B (zh) * 2020-05-26 2023-07-18 浙江商汤科技开发有限公司 人脸表情互动方法、互动装置以及计算机存储介质
CN112862859B (zh) * 2020-08-21 2023-10-31 海信视像科技股份有限公司 一种人脸特征值创建方法、人物锁定追踪方法及显示设备
CN112434578B (zh) * 2020-11-13 2023-07-25 浙江大华技术股份有限公司 口罩佩戴规范性检测方法、装置、计算机设备和存储介质
CN112614213B (zh) * 2020-12-14 2024-01-23 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
CN112652041B (zh) * 2020-12-18 2024-04-02 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备
CN112906494B (zh) * 2021-01-27 2022-03-08 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN103389798A (zh) * 2013-07-23 2013-11-13 深圳市欧珀通信软件有限公司 一种操作移动终端的方法及装置
WO2016070354A1 (en) * 2014-11-05 2016-05-12 Intel Corporation Avatar video apparatus and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9251405B2 (en) * 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
CN106060572A (zh) * 2016-06-08 2016-10-26 乐视控股（北京）有限公司 视频播放方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN103389798A (zh) * 2013-07-23 2013-11-13 深圳市欧珀通信软件有限公司 一种操作移动终端的方法及装置
WO2016070354A1 (en) * 2014-11-05 2016-05-12 Intel Corporation Avatar video apparatus and method
CN107004287A (zh) * 2014-11-05 2017-08-01 英特尔公司 化身视频装置和方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064548B (zh) * 2018-07-03 2023-11-03 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN109064548A (zh) * 2018-07-03 2018-12-21 百度在线网络技术（北京）有限公司 视频生成方法、装置、设备及存储介质
CN108985241A (zh) * 2018-07-23 2018-12-11 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109165578A (zh) * 2018-08-08 2019-01-08 盎锐（上海）信息科技有限公司 基于拍摄装置的表情检测装置及数据处理方法
CN109147024A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置
US11069151B2 (en) 2018-08-16 2021-07-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods and devices for replacing expression, and computer readable storage media
CN111200747A (zh) * 2018-10-31 2020-05-26 百度在线网络技术（北京）有限公司 基于虚拟形象的直播方法和装置
CN111144169A (zh) * 2018-11-02 2020-05-12 深圳比亚迪微电子有限公司 人脸识别方法、装置和电子设备
CN109509242A (zh) * 2018-11-05 2019-03-22 网易（杭州）网络有限公司 虚拟对象面部表情生成方法及装置、存储介质、电子设备
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
WO2020147794A1 (zh) * 2019-01-18 2020-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
US11468612B2 (en) 2019-01-18 2022-10-11 Beijing Sensetime Technology Development Co., Ltd. Controlling display of a model based on captured images and determined information
US11741629B2 (en) 2019-01-18 2023-08-29 Beijing Sensetime Technology Development Co., Ltd. Controlling display of model derived from captured image
US11538207B2 (en) 2019-01-18 2022-12-27 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, image device, and storage medium
CN111507143B (zh) * 2019-01-31 2023-06-02 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN111507143A (zh) * 2019-01-31 2020-08-07 北京字节跳动网络技术有限公司 表情图像效果生成方法、装置和电子设备
CN110035271B (zh) * 2019-03-21 2020-06-02 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
CN110035271A (zh) * 2019-03-21 2019-07-19 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质
CN111986301A (zh) * 2020-09-04 2020-11-24 网易（杭州）网络有限公司 直播中数据处理的方法及装置、电子设备、存储介质
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统
CN112528835B (zh) * 2020-12-08 2023-07-04 北京百度网讯科技有限公司 表情预测模型的训练方法、识别方法、装置及电子设备
CN112528835A (zh) * 2020-12-08 2021-03-19 北京百度网讯科技有限公司 表情预测模型的训练方法、识别方法、装置及电子设备
CN115334325A (zh) * 2022-06-23 2022-11-11 联通沃音乐文化有限公司 基于可编辑三维虚拟形象生成直播视频流的方法和系统
CN115797523A (zh) * 2023-01-05 2023-03-14 武汉创研时代科技有限公司 一种基于人脸动作捕捉技术的虚拟角色处理系统及方法

Also Published As

Publication number Publication date
CN108229239B (zh) 2020-07-10
WO2018103220A1 (zh) 2018-06-14

Similar Documents

Publication Publication Date Title
CN108229239A (zh) 一种图像处理的方法及装置
US11087521B1 (en) Systems and methods for rendering avatars with deep appearance models
KR102045695B1 (ko) 안면 이미지 처리 방법 및 장치, 및 저장 매체
CN100468463C (zh) 用于处理图像的方法、装置
CN106575450B (zh) 通过反照率模型、系统和方法的增强现实内容渲染
US20180350123A1 (en) Generating a layered animatable puppet using a content stream
US8933928B2 (en) Multiview face content creation
CN108335345B (zh) 面部动画模型的控制方法及装置、计算设备
US11386633B2 (en) Image augmentation for analytics
CN107341435A (zh) 视频图像的处理方法、装置和终端设备
CA2667526A1 (fr) Procede et dispositif de simulation virtuelle d&#39;une sequence d&#39;images video.
CN107944420A (zh) 人脸图像的光照处理方法和装置
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
Joshi OpenCV with Python by example
CN114332374A (zh) 一种虚拟显示方法、设备以及存储介质
CN114283052A (zh) 妆容迁移及妆容迁移网络的训练方法和装置
CN111243051A (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
Zheng et al. P $^{2} $-GAN: Efficient Stroke Style Transfer using Single Style Image
Sun et al. Local facial makeup transfer via disentangled representation
CN115393471A (zh) 图像处理方法、装置及电子设备
US11354860B1 (en) Object reconstruction using media data
CN114494556A (zh) 一种特效渲染方法、装置、设备及存储介质
CN113223103A (zh) 素描画生成的方法、装置、电子设备及介质
KR20200071008A (ko) 2차원 이미지 처리 방법 및 이 방법을 실행하는 디바이스
Hackl et al. Diminishing reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: 610000 China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan, 17th floor, building 2-2, Tianfu Haichuang Park, No. 619, Jicui street, Xinglong Street, Tianfu new area, Chengdu

Patentee after: Chengdu Haiyi Interactive Entertainment Technology Co.,Ltd.

Country or region after: China

Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building

Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd.

Country or region before: China