CN110969673B - 一种直播换脸交互实现方法、存储介质、设备及系统 - Google Patents
一种直播换脸交互实现方法、存储介质、设备及系统 Download PDFInfo
- Publication number
- CN110969673B CN110969673B CN201811163244.6A CN201811163244A CN110969673B CN 110969673 B CN110969673 B CN 110969673B CN 201811163244 A CN201811163244 A CN 201811163244A CN 110969673 B CN110969673 B CN 110969673B
- Authority
- CN
- China
- Prior art keywords
- face
- anchor
- triangle
- target
- faces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003993 interaction Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 26
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 22
- 210000000887 face Anatomy 0.000 claims description 72
- 241001465754 Metazoa Species 0.000 claims description 14
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 5
- 230000008859 change Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 241000282693 Cercopithecidae Species 0.000 description 9
- 241000282575 Gorilla Species 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000510093 Quadrula metanevra Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种直播换脸交互实现方法、存储介质、设备及系统，涉及互联网直播领域，包括基于弹幕投票方式，对多个待选脸部进行投票；选取投票数最多的待选脸部作为目标脸部；基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。本发明能够有效增加主播和观众间的互动感。
Description
技术领域
本发明涉及互联网直播领域，具体涉及一种直播换脸交互实现方法、存储介质、设备及系统。
背景技术
随着移动互联网的飞速发展，直播行业也呈现出蓬勃发展之势，越来越多的年轻人喜欢通过观看直播的方式来打发业余时间。
主播在直播的过程中，为了提升自身直播内容的趣味性，增加直播间的人气值，主播一般会与观众进行互动，但在现有的交互方式中，仅仅限于主播通过语言或肢体动作、观众发送弹幕的方式，主播和观众间进行交互，交互方式较为单一。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种直播换脸交互实现方法，能够有效增加主播和观众间的互动感。
为达到以上目的，本发明采取的技术方案是，包括：
基于弹幕投票方式，对多个待选脸部进行投票；
选取投票数最多的待选脸部作为目标脸部；
基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；
对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
在上述技术方案的基础上，所述进行脸部关键点检测中，检测的关键点包括额头、眉毛、眼睛、鼻子、嘴巴和脸颊。
在上述技术方案的基础上，所述基于弹幕投票方式，对多个待选脸部进行投票，具体步骤为：
S101：选取设定数目的脸部图像作为待选脸部，且每个待选脸部的样式均不相同；
S102：按照选取的先后顺序，依次对待选脸部进行数字编号；
S103：观众在待选脸部中进行选择，并以弹幕形式发送所选待选脸部对应的数字编号；
S104：弹幕服务器对观众发送的数字编号进行统计，将发送次数最多的数字编号对应的待选脸部作为目标脸部。
在上述技术方案的基础上，所述待选脸部包括动物脸部类别、明星人物脸部类别和卡通人物脸部类别，且每个类别中包括多个样式。
在上述技术方案的基础上，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，用户以弹幕形式发送分数，对直播画面中主播的图像进行打分，弹幕服务器对观众发送的分数进行统计，并取平均分数，若平均分数少于预设平均分，则按照由高至低顺序，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部。
在上述技术方案的基础上，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，还包括以下步骤：
S501：弹幕服务器对实时统计单位时间内的弹幕数量，若单位时间内的弹幕数量大于预设弹幕数，则转到S502，若单位时间内的弹幕数量不大于预设弹幕数，则转到S503；
S502：目标脸部三角形区域的像素继续覆盖于主播脸部三角形区域之上；
S503：撤销主播脸部三角形区域上目标脸部三角形区域像素的覆盖。
在上述技术方案的基础上，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，所述融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于弹幕投票方式，对多个待选脸部进行投票；
选取投票数最多的待选脸部作为目标脸部；
基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；
对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
本发明还提供一种电子设备，所述电子设备包括：
投票单元，其用于基于弹幕投票方式，对多个待选脸部进行投票；
选取单元，其用于选取投票数最多的待选脸部作为目标脸部；
第一确定单元，其用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；
第二确定单元，其用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
换脸执行单元，其用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
本发明还提供一种直播换脸交互实现系统，包括：
投票模块，其用于基于弹幕投票方式，对多个待选脸部进行投票；
选取模块，其用于选取投票数最多的待选脸部作为目标脸部；
第一确定模块，其用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；
第二确定模块，其用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
换脸执行模块，其用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
与现有技术相比，本发明的优点在于：通过弹幕投票的方式，由观众来选择确定目标脸部，然后基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，对主播脸部进行脸部关键点检测，确定目标脸部的三角形区域，确定主播脸部的三角形区域，最后通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域，通过换脸，实现直播趣味性的同时，带动观众进行弹幕投票，增加主播和观众之间的交互感。
附图说明
图1为本发明实施例中一种直播换脸交互实现方法的流程图；
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
实施例1
参见图1所示，本发明实施例提供一种直播换脸交互实现方法，用于在主播直播过程中，实现对主播换脸的自动处理，有效提升直播内容的趣味性，同时保证主播和观众间的交互性。本发明实施例的直播换脸交互实现方法，具体包括以下步骤：
S1：基于弹幕投票方式，观众对多个待选脸部进行投票。观众在直播的观看过程中，一般通过发送弹幕文字的方式，与主播或其他观众进行交流，发送的弹幕会经过弹幕服务器，然后在直播画面上进行显示，通过弹幕投票的方式，即能很好地表达观众的意愿，同时也能方便观众的操作，避免复杂的投票方式给观众带来繁琐的使用体验。基于弹幕投票方式，观众对多个待选脸部进行投票，具体步骤为：
S101：选取设定数目的脸部图像作为待选脸部，且每个待选脸部的样式均不相同。待选脸部包括动物脸部类别、明星人物脸部类别和卡通人物脸部类别，且每个类别中包括多个样式。如动物脸部类别可以包括猴子的脸部、大猩猩的脸部等，明星人物脸部类别为各个明星人物的脸部，卡通人物脸部类别为卡通动画人物的脸部、卡通动物的脸部等，为保证后续换脸后画面的融洽以及和谐，所选择的脸部图像中动物类的脸部应与人的脸部类似，如猴子、猩猩此类动物，避免换脸后呈现的直播画面过于丑陋或低俗，即避免低级趣味的产生，增加直播趣味性的同时，还能保证直播的质量。为进一步保证待选脸部的质量，可以在后台服务器中预先对待选脸部的脸部图像进行过滤，将过滤后的脸部图像作为待选脸部的候选项。
S102：按照选取的先后顺序，依次对待选脸部进行数字编号。如依次选取猴子脸部、狗的脸部和某位明星的脸部作为待选脸部，则将猴子脸部标号为1，狗的脸部标号为2，明星的脸部标号为3.
S103：观众在待选脸部中进行选择，并以弹幕形式发送所选待选脸部对应的数字编号。观众在投票时，以弹幕形式发送数字“1”、“2”或“3”，其中，1代表的就是猴子脸部，2代表的是狗的脸部，3代表的是明星的脸部，将选择权交由观众，由观众来决定将主播的脸部换成什么样式的脸部。
S104：弹幕服务器对观众发送的数字编号进行统计，后续将发送次数最多的数字编号对应的待选脸部作为目标脸部。例如，统计的结果中，1的发送次数是3万，2的发送次数是1.5万，3的发送次数是2万，则将猴子脸部作为目标脸部，后续主播的脸部和猴子脸部进行更换。
S2：选取投票数最多的待选脸部作为目标脸部，通过对弹幕统计的方式，对用户发送的弹幕内容进行统计，以此来知道用户的选择，将选取投票数最多的待选脸部作为目标脸部。
S3：基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域。在数学几何中，三角剖分的定义为：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段,E为e的集合。那么该点集V的一个三角剖分T＝(V，E)是一个平面图G，同时平面图G满足：1.除了端点，平面图中的边不包含点集中的任何点；2.没有相交边；3.平面图中所有的面都是三角面，且所有三角面的合集是散点集V的凸包。本发明实施例中，通过三角剖分的方式，确定目标脸部的三角形区域，脸部的三角形通常指的是两侧口角至鼻根连线所形成的三角形区域。进行脸部关键点检测中，检测的关键点包括额头、眉毛、眼睛、鼻子、嘴巴和脸颊。
S4：对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域。同样的对主播脸部进行关键点检测，以确定主播脸部的三角形区域。
S5：通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。具体的，通过仿射变换算法，实现目标脸部三角形区域的像素在主播脸部三角形区域的覆盖，对于仿射变换算法，具体的为：一个任意的仿射变换都能表示为乘以一个矩阵(线性变换)接着再加上一个向量(平移)，如：
其中，矩阵A为线性变换矩阵，矩阵B为非线性变换矩阵，即平移矩阵，M矩阵为仿射变换矩阵；
使用矩阵A和矩阵B对二维向量做变换，便可以表示为下列形式：
上述即为仿射变换的过程，通过三角形的仿射变换将目标脸部三角形区域的像素覆盖到主播脸部三角形区域，此时便完成了将目标脸部变换到主播脸部的过程，实现对主播的换脸。
进一步的，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，使目标脸部三角形区域边界附近像素和主播脸部三角形区域边界附近像素融合的更加自然，避免出现不协调的感觉，融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高，这样在融合的过程中，越是靠近主播脸部三角形区域边界，原主播脸部上的像素所占比重就越大，有效保证换脸后画面的协调性。
在一种实施方式中，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，用户以弹幕形式发送分数，对直播画面中主播的图像进行打分，弹幕服务器对观众发送的分数进行统计，并取平均分数，若平均分数少于预设平均分，则按照由高至低顺序，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部。因为互动性是评判直播间人气的重要指标之一，当直播间中主播和观众互动的越多，该直播的人气值越高，越能吸引更多的观众到该直播间进行观看，从而该直播间的人气值继续增高，故通过观众打分的方式，以此种方式带动观众参与到直播中来，增加观众和主播之间的互动性。通过采用评分的机制，若平均分数少于预设平均分，则也可以说明观众对主播的当前换脸不是很满意，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部，实现换脸操作，相当于在观众层面进行了更多考虑。
进一步的，当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，还包括以下步骤：
S501：弹幕服务器对实时统计单位时间内的弹幕数量，若单位时间内的弹幕数量大于预设弹幕数，则转到S502，若单位时间内的弹幕数量不大于预设弹幕数，则转到S503；弹幕数量可以作为评判当前直播间人气是否活跃的一项指标，若单位时间内的弹幕数量大于预设弹幕数，则说明当前直播间较为活跃，主播通过换脸的方式很好地带动了观众的参与热情，即直播和观众之间进行了很好地互动，若单位时间内的弹幕数量不大于预设弹幕数，则说明通过换脸的方式，并没有带动观众的参与热情，也可能是观众对主播当前的换脸操作不是很满意，采用统计弹幕的方式，间接的也知道了观众的心理。
S502：目标脸部三角形区域的像素继续覆盖于主播脸部三角形区域之上；
S503：撤销主播脸部三角形区域上目标脸部三角形区域像素的覆盖，因为弹幕数量少，表明观众可能对主播当前的换脸操作不是很满意，故也没有必要继续维持当前的换脸操作。
本发明实施例的直播换脸交互实现方法，通过弹幕投票的方式，由观众来选择确定目标脸部，然后基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，对主播脸部进行脸部关键点检测，确定目标脸部的三角形区域，确定主播脸部的三角形区域，最后通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域，通过换脸，实现直播趣味性的同时，带动观众进行弹幕投票，增加主播和观众之间的交互感。
实施例2
本发明实施例提供一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
基于弹幕投票方式，对多个待选脸部进行投票；
选取投票数最多的待选脸部作为目标脸部；
基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；
对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
本发明实施例的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例3
参见图2所示，本发明实施例提供一种电子设备，电子设备包括投票单元、选取单元、第一确定单元、第二确定单元和换脸执行单元。
投票单元用于基于弹幕投票方式，对多个待选脸部进行投票；选取单元用于选取投票数最多的待选脸部作为目标脸部；第一确定单元用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；第二确定单元用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；换脸执行单元用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
进行脸部关键点检测中，检测的关键点包括额头、眉毛、眼睛、鼻子、嘴巴和脸颊。待选脸部包括动物脸部类别、明星人物脸部类别和卡通人物脸部类别，且每个类别中包括多个样式。当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，用户以弹幕形式发送分数，对直播画面中主播的图像进行打分，弹幕服务器对观众发送的分数进行统计，并取平均分数，若平均分数少于预设平均分，则按照由高至低顺序，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部。
动物脸部类别可以包括猴子的脸部、大猩猩的脸部等，明星人物脸部类别为各个明星人物的脸部，卡通人物脸部类别为卡通动画人物的脸部、卡通动物的脸部等，为保证后续换脸后画面的融洽以及和谐，所选择的脸部图像中动物类的脸部应于人的脸部类似，如猴子、猩猩此类动物，避免换脸后呈现的直播画面过于丑陋或低俗，即避免低级趣味的产生，增加直播趣味性的同时，还能保证直播的质量。
实施例4
本发明实施例提供一种基于实施例1的直播换脸交互实现系统，包括投票模块、选取模块、第一确定模块、第二确定模块和换脸执行模块。
投票模块用于基于弹幕投票方式，对多个待选脸部进行投票；选取模块用于选取投票数最多的待选脸部作为目标脸部；第一确定模块用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；第二确定模块用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；换脸执行模块用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。
进行脸部关键点检测中，检测的关键点包括额头、眉毛、眼睛、鼻子、嘴巴和脸颊。待选脸部包括动物脸部类别、明星人物脸部类别和卡通人物脸部类别，且每个类别中包括多个样式。当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，用户以弹幕形式发送分数，对直播画面中主播的图像进行打分，弹幕服务器对观众发送的分数进行统计，并取平均分数，若平均分数少于预设平均分，则按照由高至低顺序，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部。动物脸部类别可以包括猴子的脸部、大猩猩的脸部等，明星人物脸部类别为各个明星人物的脸部，卡通人物脸部类别为卡通动画人物的脸部、卡通动物的脸部等，为保证后续换脸后画面的融洽以及和谐，所选择的脸部图像中动物类的脸部应于人的脸部类似，如猴子、猩猩此类动物，避免换脸后呈现的直播画面过于丑陋或低俗，即避免低级趣味的产生，增加直播趣味性的同时，还能保证直播的质量。
本发明实施例的直播换脸交互实现系统，通过弹幕投票的方式，由观众来选择确定目标脸部，然后基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，对主播脸部进行脸部关键点检测，确定目标脸部的三角形区域，确定主播脸部的三角形区域，最后通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域，通过换脸，实现直播趣味性的同时，带动观众进行弹幕投票，增加主播和观众之间的交互感。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (9)
1.一种直播换脸交互实现方法，其特征在于，包括以下步骤：
基于弹幕投票方式，对多个待选脸部进行投票；
选取投票数最多的待选脸部作为目标脸部；
基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域，其中，一个三角剖分是一个平面图，一个平面图中所有的面都是三角面；
对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域，其中，脸部的三角形指两侧口角至鼻根连线所形成的三角形区域；
通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域；
当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，所述融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高。
2.如权利要求1所述的一种直播换脸交互实现方法，其特征在于：所述进行脸部关键点检测中，检测的关键点包括额头、眉毛、眼睛、鼻子、嘴巴和脸颊。
3.如权利要求1所述的一种直播换脸交互实现方法，其特征在于：所述基于弹幕投票方式，对多个待选脸部进行投票，具体步骤为：
S101：选取设定数目的脸部图像作为待选脸部，且每个待选脸部的样式均不相同；
S102：按照选取的先后顺序，依次对待选脸部进行数字编号；
S103：观众在待选脸部中进行选择，并以弹幕形式发送所选待选脸部对应的数字编号；
S104：弹幕服务器对观众发送的数字编号进行统计，将发送次数最多的数字编号对应的待选脸部作为目标脸部。
4.如权利要求3所述的一种直播换脸交互实现方法，其特征在于：所述待选脸部包括动物脸部类别、明星人物脸部类别和卡通人物脸部类别，且每个类别中包括多个样式。
5.如权利要求3所述的一种直播换脸交互实现方法，其特征在于：当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，用户以弹幕形式发送分数，对直播画面中主播的图像进行打分，弹幕服务器对观众发送的分数进行统计，并取平均分数，若平均分数少于预设平均分，则按照由高至低顺序，选取发送次数排名第二的数字编号对应的待选脸部作为目标脸部。
6.如权利要求1所述的一种直播换脸交互实现方法，其特征在于：当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，还包括以下步骤：
S501：弹幕服务器对实时统计单位时间内的弹幕数量，若单位时间内的弹幕数量大于预设弹幕数，则转到S502，若单位时间内的弹幕数量不大于预设弹幕数，则转到S503；
S502：目标脸部三角形区域的像素继续覆盖于主播脸部三角形区域之上；
S503：撤销主播脸部三角形区域上目标脸部三角形区域像素的覆盖。
7.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
基于弹幕投票方式，对多个待选脸部进行投票；
选取投票数最多的待选脸部作为目标脸部；
基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域，其中，一个三角剖分是一个平面图，一个平面图中所有的面都是三角面，其中，脸部的三角形指两侧口角至鼻根连线所形成的三角形区域；
对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域；
当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，所述融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高。
8.一种电子设备，其特征在于，所述电子设备包括：
投票单元，其用于基于弹幕投票方式，对多个待选脸部进行投票；
选取单元，其用于选取投票数最多的待选脸部作为目标脸部；
第一确定单元，其用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域，其中，一个三角剖分是一个平面图，一个平面图中所有的面都是三角面，其中，脸部的三角形指两侧口角至鼻根连线所形成的三角形区域；
第二确定单元，其用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
换脸执行单元，其用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域；当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，所述融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高。
9.一种直播换脸交互实现系统，其特征在于，包括：
投票模块，其用于基于弹幕投票方式，对多个待选脸部进行投票；
选取模块，其用于选取投票数最多的待选脸部作为目标脸部；
第一确定模块，其用于基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域，其中，一个三角剖分是一个平面图，一个平面图中所有的面都是三角面，其中，脸部的三角形指两侧口角至鼻根连线所形成的三角形区域；
第二确定模块，其用于对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；
换脸执行模块，其用于通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域；当将目标脸部三角形区域的像素覆盖到主播脸部三角形区域之后，对主播脸部三角形区域的边界进行融合处理，所述融合处理的具体步骤为：更改主播脸部三角形区域边界附近新覆盖的目标脸部三角形区域像素的透明度，且离主播脸部三角形区域边界越近，像素的透明度越高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811163244.6A CN110969673B (zh) | 2018-09-30 | 2018-09-30 | 一种直播换脸交互实现方法、存储介质、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811163244.6A CN110969673B (zh) | 2018-09-30 | 2018-09-30 | 一种直播换脸交互实现方法、存储介质、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969673A CN110969673A (zh) | 2020-04-07 |
| CN110969673B true CN110969673B (zh) | 2023-12-15 |
Family
ID=70029527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811163244.6A Active CN110969673B (zh) | 2018-09-30 | 2018-09-30 | 一种直播换脸交互实现方法、存储介质、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969673B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111614925B (zh) * | 2020-05-20 | 2022-04-26 | 广州视源电子科技股份有限公司 | 人物图像处理方法、装置、相应终端及存储介质 |
| CN111338744B (zh) | 2020-05-22 | 2020-08-14 | 北京小米移动软件有限公司 | 图像显示方法及装置、电子设备、存储介质 |
| CN111541942B (zh) * | 2020-05-28 | 2022-09-16 | 广州方硅信息技术有限公司 | 连麦方法、装置、设备及存储介质 |
| CN111915479B (zh) * | 2020-07-15 | 2024-04-26 | 抖音视界有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN113658035B (zh) * | 2021-08-17 | 2023-08-08 | 北京百度网讯科技有限公司 | 脸部变换方法、装置、设备、存储介质以及产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1405272A1 (en) * | 2001-07-03 | 2004-04-07 | Koninklijke Philips Electronics N.V. | Method and apparatus for interleaving a user image in an original image |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
| CN106231415A (zh) * | 2016-08-18 | 2016-12-14 | 北京奇虎科技有限公司 | 一种在视频直播中互动添加脸部特效的方法及装置 |
| WO2017071523A1 (zh) * | 2015-10-27 | 2017-05-04 | 中兴通讯股份有限公司 | 弹幕处理方法、系统及终端 |
| CN106792229A (zh) * | 2016-12-19 | 2017-05-31 | 广州虎牙信息科技有限公司 | 基于直播间视频流弹幕的投票交互方法及其装置 |
| CN106998505A (zh) * | 2017-03-31 | 2017-08-01 | 武汉斗鱼网络科技有限公司 | 一种在直播中实现弹幕快捷键投票的系统及方法 |
| CN107105310A (zh) * | 2017-05-05 | 2017-08-29 | 广州盈可视电子科技有限公司 | 一种视频直播中人物形象替换方法、装置和一种录播系统 |
| CN108076392A (zh) * | 2017-03-31 | 2018-05-25 | 北京市商汤科技开发有限公司 | 直播互动方法、装置和电子设备 |
| WO2018103220A1 (zh) * | 2016-12-09 | 2018-06-14 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10419505B2 (en) * | 2016-12-28 | 2019-09-17 | Facebook, Inc. | Systems and methods for interactive broadcasting |
-
2018
- 2018-09-30 CN CN201811163244.6A patent/CN110969673B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1405272A1 (en) * | 2001-07-03 | 2004-04-07 | Koninklijke Philips Electronics N.V. | Method and apparatus for interleaving a user image in an original image |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
| WO2017071523A1 (zh) * | 2015-10-27 | 2017-05-04 | 中兴通讯股份有限公司 | 弹幕处理方法、系统及终端 |
| CN106231415A (zh) * | 2016-08-18 | 2016-12-14 | 北京奇虎科技有限公司 | 一种在视频直播中互动添加脸部特效的方法及装置 |
| WO2018103220A1 (zh) * | 2016-12-09 | 2018-06-14 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| CN106792229A (zh) * | 2016-12-19 | 2017-05-31 | 广州虎牙信息科技有限公司 | 基于直播间视频流弹幕的投票交互方法及其装置 |
| CN106998505A (zh) * | 2017-03-31 | 2017-08-01 | 武汉斗鱼网络科技有限公司 | 一种在直播中实现弹幕快捷键投票的系统及方法 |
| CN108076392A (zh) * | 2017-03-31 | 2018-05-25 | 北京市商汤科技开发有限公司 | 直播互动方法、装置和电子设备 |
| CN107105310A (zh) * | 2017-05-05 | 2017-08-29 | 广州盈可视电子科技有限公司 | 一种视频直播中人物形象替换方法、装置和一种录播系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969673A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969673B (zh) | 一种直播换脸交互实现方法、存储介质、设备及系统 | |
| CN108322788B (zh) | 一种视频直播中的广告展示方法及装置 | |
| CN104066003B (zh) | 视频中广告的播放方法和装置 | |
| CN107347166B (zh) | 视频图像的处理方法、装置和终端设备 | |
| US10368123B2 (en) | Information pushing method, terminal and server | |
| US20100095326A1 (en) | Program content tagging system | |
| US20160050465A1 (en) | Dynamically targeted ad augmentation in video | |
| US20110292051A1 (en) | Automatic Avatar Creation | |
| US10936877B2 (en) | Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere | |
| CN114025219B (zh) | 增强现实特效的渲染方法、装置、介质及设备 | |
| CN111988670B (zh) | 视频播放方法及装置、电子设备和计算机可读存储介质 | |
| WO2021134178A1 (zh) | 一种视频流处理方法、装置、设备及介质 | |
| US9872056B1 (en) | Methods, systems, and media for detecting abusive stereoscopic videos by generating fingerprints for multiple portions of a video frame | |
| US10939143B2 (en) | System and method for dynamically creating and inserting immersive promotional content in a multimedia | |
| CN109874054A (zh) | 一种广告推荐方法及装置 | |
| CN115022726A (zh) | 环绕信息生成和弹幕显示方法、装置、设备及存储介质 | |
| CN110971924B (zh) | 一种直播过程中美颜的方法、设备、存储介质及系统 | |
| CN114449355B (zh) | 一种直播互动的方法、装置、设备及存储介质 | |
| CN113505672B (zh) | 虹膜采集装置、虹膜采集方法、电子设备和可读介质 | |
| EP4283566A2 (en) | Single image 3d photography with soft-layering and depth-aware inpainting | |
| TWI790560B (zh) | 並排影像偵測方法與使用該方法的電子裝置 | |
| US11224801B2 (en) | Enhanced split-screen display via augmented reality | |
| CN116601661A (zh) | 生成用于多因素认证的评估掩码 | |
| CN108805951B (zh) | 一种投影图像处理方法、装置、终端和存储介质 | |
| CN112749614B (zh) | 一种多媒体内容的识别方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231116 Address after: Room 101, Unit 1, Building 4, Xiangbala Haoting, Chengguan District, Lhasa, Xizang Autonomous Region, 850000 Applicant after: Xizang Bojin Culture Media Co.,Ltd. Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Applicant before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |