CN110418146A - 应用于直播场景的换脸方法、存储介质、电子设备及系统 - Google Patents

应用于直播场景的换脸方法、存储介质、电子设备及系统 Download PDF

Info

Publication number
CN110418146A
CN110418146A CN201810395702.2A CN201810395702A CN110418146A CN 110418146 A CN110418146 A CN 110418146A CN 201810395702 A CN201810395702 A CN 201810395702A CN 110418146 A CN110418146 A CN 110418146A
Authority
CN
China
Prior art keywords
face
spectators
main broadcaster
key point
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810395702.2A
Other languages
English (en)
Other versions
CN110418146B (zh
Inventor
李亮
张文明
陈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201810395702.2A priority Critical patent/CN110418146B/zh
Publication of CN110418146A publication Critical patent/CN110418146A/zh
Application granted granted Critical
Publication of CN110418146B publication Critical patent/CN110418146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种应用于直播场景的换脸方法、存储介质、电子设备及系统，涉及图像处理领域，该方法包括基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)；计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)；将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。本发明能够实现主播和观众的换脸处理，有效增加主播和观众间的互动。

Description

应用于直播场景的换脸方法、存储介质、电子设备及系统
技术领域
本发明涉及图像处理领域，具体涉及一种应用于直播场景的换脸方法、存储介质、电子设备及系统。
背景技术
随着互联网技术的发展，越来越多的人喜欢通过观看直播来丰富自己的业务生活，且直播在当代越发受到年轻人的欢迎。
主播在直播的过程中，为了提高直播间的人气，通常会与直播间观众进行互动，但现有的互动方式中，主播仅能通过弹幕与观众互动，或者通过连麦与观众聊天的方式来与观众进行互动，互动方式较为单一。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种应用于直播场景的换脸方法，能够实现主播和观众的换脸处理，有效增加主播和观众间的互动。
为达到以上目的，本发明采取的技术方案是，包括：
基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
在上述技术方案的基础上，
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；
基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
在上述技术方案的基础上，
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
在上述技术方案的基础上，
当将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，同时将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素后，完成直播和观众人脸的换脸处理；
当完成直播和观众人脸的换脸处理后，对换脸后主播的人脸边缘区域附近的像素点进行融合处理以使换脸后直播的人脸边缘区域平滑过渡。
在上述技术方案的基础上，对换脸后主播的人脸边缘区域附近的像素点进行融合处理，具体公式为：
L＝sqr((A1.x–B1.x)*(A1.x–B1.x)+(A1.y–B1.y)*(A1.y–B1.y))
L1＝sqr((H.x-G.x)*(H.x-G.x)+(H.y-G.y)*(H.y-G.y))
W＝L1/L
D＝S1*W+S2*(1.0-W)
其中，L为换脸后主播人脸左眼中心关键点A1(x,y)和右眼中心关键点B1(x,y)间的距离，L1为换脸后主播人脸下巴关键点H(x,y)和H(x,y)附件坐标点G(x,y)间的距离，且满足L1*α≥L，α为距离阈值参数，取值范围为[3，7]，sqr是开方函数，A1.x为A1(x,y)的横坐标值，A1.y为A1(x,y)的纵坐标值，B1.x为B1(x,y)的横坐标值，B1.y为B1(x,y)的纵坐标值，H.x为H(x,y)的横坐标值，H.y为H(x,y)的纵坐标值，G.x为G(x,y)的横坐标值，G.y为G(x,y)的纵坐标值，W为融合处理权重，D为最终得到的换脸后主播的人脸的融合处理结果，S1为原观众的脸部像素，S2为原主播的脸部像素。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
本发明还提供一种电子设备，所述电子设备包括：
第一单元，所述第一单元用于基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
第二单元，所述第二单元用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
第三单元，所述第三单元用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
第四单元，所述第四单元用于计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
第五单元，所述第五单元用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
本发明还提供一种应用于直播场景的换脸系统，包括：
获取模块，其用于基于人脸关键点定位技术，获取主播和观众的人脸轮廓的关键点AABB包围盒；
比例计算模块，其用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
坐标计算模块，其用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)以及计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
换脸执行模块，其用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
在上述技术方案的基础上，
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；
基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
在上述技术方案的基础上，
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
与现有技术相比，本发明的优点在于：基于人脸关键点定位技术获取主播和观众人脸轮廓的关键点AABB包围盒，然后计算得出主播和观众人脸大小的比例，进一步得到主播人脸和观众人脸上像素点间的映射关系，完后像素的更换，实现主播和观众的换脸处理，有效增加主播和观众间的互动，增强直播间的趣味性。
附图说明
图1为本发明实施例中一种应用于直播场景的换脸方法的流程图；
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明实施例提供一种应用于直播场景的换脸方法，适用于直播中主播和观众连麦互动时的场景。本发明实施例的应用于直播场景的换脸方法具体包括以下步骤：
S1：基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒。本发明实施例中的关键点AABB包围盒是指人脸关键点在坐标轴横轴和纵轴上的最大值及最小值，观众特指与直播连麦的那个观众，本发明实施例的人脸关键点定位技术使用当今比较成熟的人脸32关键点定位技术，且本发明实施例中人脸的眼睛、鼻子、下巴等均通过人脸关键点定位技术定位出。
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；
基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
对于获取主播和观众人脸轮廓的关键点AABB包围盒，相关代码为：
在直播连麦的过程中，主播和观众的人脸图像均会出现在直播画面上，因此可以很方便的通过人脸关键点定位技术获取主播和观众人脸的关键点，并进一步得到主播和观众人脸的关键点AABB包围盒。
S2：计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y。相当于求解主播和观众人脸间的比例大小，因为主播的人脸区域大小和观众的人脸区域大小不一定相同，因此需要进行相应计算，以确定换脸时主播和观众人脸间大小的改变比例。
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
S3：计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值。
即根据比例关系计算得出当换脸后，原主播人脸的像素对应在原观众人脸上的位置坐标，计算出两者间的映射关系。为避免表述的歧义，本发明实施例中，对于主播或观众身份的表述，换脸并不改变主播或观众的身份，例如对于主播和原主播的表述，均是指拥有该直播间开播权的主播，对于观众和原观众的表述，均是指进入直播间观看直播的观众。
S4：计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值。
即根据比例关系计算得出当换脸后，原观众人脸的像素对应在原主播人脸上的位置坐标，计算出两者间的映射关系。
S5：将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素，根据映射关系，完成主播和观众人脸上像素的更换，即完成主播和观众间人脸的互换，图像是由多个像素点组成的，更换像素点即相当于更换了图像。通过更换像素，相当于把主播人脸图像整个扣出，观众人脸图像整个扣出，将主播的人脸图像显示在观众人脸图像区域，观众的人脸图像显示在主播人脸图像区域。
在一种实时方式中，当将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，同时将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素后，完成直播和观众人脸的换脸处理；且当完成直播和观众人脸的换脸处理后，对换脸后主播的人脸边缘区域附近的像素点进行融合处理以使换脸后直播的人脸边缘区域平滑过渡，使换脸后人脸看起来更加自然。对换脸后主播的人脸边缘区域附近的像素点进行融合处理，具体公式为：
L＝sqr((A1.x–B1.x)*(A1.x–B1.x)+(A1.y–B1.y)*(A1.y–B1.y))
L1＝sqr((H.x-G.x)*(H.x-G.x)+(H.y-G.y)*(H.y-G.y))
W＝L1/L
D＝S1*W+S2*(1.0-W)
其中，L为换脸后主播人脸左眼中心关键点A1(x,y)和右眼中心关键点B1(x,y)间的距离，L1为换脸后主播人脸下巴关键点H(x,y)和H(x,y)附件坐标点G(x,y)间的距离，且满足L1*α≥L，α为距离阈值参数，取值范围为[3，7]，α越小，则点H(x,y)附近需要融合的像素点越多，α越大，点H(x,y)附近需要融合的像素点越少，考虑到人脸的实际情况，α的取值优选为5，sqr是开方函数，A1.x为A1(x,y)的横坐标值，A1.y为A1(x,y)的纵坐标值，B1.x为B1(x,y)的横坐标值，B1.y为B1(x,y)的纵坐标值，H.x为H(x,y)的横坐标值，H.y为H(x,y)的纵坐标值，G.x为G(x,y)的横坐标值，G.y为G(x,y)的纵坐标值，W为融合处理权重，D为最终得到的换脸后主播的人脸的融合处理结果，S1为原观众的脸部像素，S2为原主播的脸部像素。
本发明实施例的直播场景的换脸方法，基于人脸关键点定位技术获取主播和观众人脸轮廓的关键点AABB包围盒，然后计算得出主播和观众人脸大小的比例，进一步得到主播人脸和观众人脸上像素点间的映射关系，完后像素的更换，实现主播和观众的换脸处理，有效增加主播和观众间的互动，增强直播间的趣味性。
另外，对应上述应用于直播场景的换脸方法，本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
需要说明的是，所述存储介质包括U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
参见图2所示，对应应用于直播场景的换脸方法，本发明还提供一种电子设备，包括：
第一单元，所述第一单元用于基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
第二单元，所述第二单元用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
第三单元，所述第三单元用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
第四单元，所述第四单元用于计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
第五单元，所述第五单元用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
本发明还提供一种基于上述应用于直播场景的换脸方法的应用于直播场景的换脸系统，包括获取模块、比例计算模块、坐标计算模块和换脸执行模块。
获取模块用于基于人脸关键点定位技术，获取主播和观众的人脸轮廓的关键点AABB包围盒；比例计算模块用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；坐标计算模块用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)以及计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
换脸执行模块用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
本发明实施例的应用于直播场景的换脸系统，基于人脸关键点定位技术获取主播和观众人脸轮廓的关键点AABB包围盒，然后计算得出主播和观众人脸大小的比例，进一步得到主播人脸和观众人脸上像素点间的映射关系，完后像素的更换，实现主播和观众的换脸处理，有效增加主播和观众间的互动，增强直播间的趣味性。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种应用于直播场景的换脸方法，其特征在于，包括以下步骤：
基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
2.如权利要求1所述的一种应用于直播场景的换脸方法，其特征在于：
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；
基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
3.如权利要求2所述的一种应用于直播场景的换脸方法，其特征在于：
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
4.如权利要求1所述的一种应用于直播场景的换脸方法，其特征在于：
当将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，同时将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素后，完成直播和观众人脸的换脸处理；
当完成直播和观众人脸的换脸处理后，对换脸后主播的人脸边缘区域附近的像素点进行融合处理以使换脸后直播的人脸边缘区域平滑过渡。
5.如权利要求4所述的一种应用于直播场景的换脸方法，其特征在于，对换脸后主播的人脸边缘区域附近的像素点进行融合处理，具体公式为：
L＝sqr((A1.x–B1.x)*(A1.x–B1.x)+(A1.y–B1.y)*(A1.y–B1.y))
L1＝sqr((H.x-G.x)*(H.x-G.x)+(H.y-G.y)*(H.y-G.y))
W＝L1/L
D＝S1*W+S2*(1.0-W)
其中，L为换脸后主播人脸左眼中心关键点A1(x,y)和右眼中心关键点B1(x,y)间的距离，L1为换脸后主播人脸下巴关键点H(x,y)和H(x,y)附件坐标点G(x,y)间的距离，且满足L1*α≥L，α为距离阈值参数，取值范围为[3，7]，sqr是开方函数，A1.x为A1(x,y)的横坐标值，A1.y为A1(x,y)的纵坐标值，B1.x为B1(x,y)的横坐标值，B1.y为B1(x,y)的纵坐标值，H.x为H(x,y)的横坐标值，H.y为H(x,y)的纵坐标值，G.x为G(x,y)的横坐标值，G.y为G(x,y)的纵坐标值，W为融合处理权重，D为最终得到的换脸后主播的人脸的融合处理结果，S1为原观众的脸部像素，S2为原主播的脸部像素。
6.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
7.一种电子设备，其特征在于，所述电子设备包括：
第一单元，所述第一单元用于基于人脸关键点定位技术，获取主播和观众人脸轮廓的关键点AABB包围盒；
第二单元，所述第二单元用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
第三单元，所述第三单元用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
第四单元，所述第四单元用于计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
第五单元，所述第五单元用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
8.一种应用于直播场景的换脸系统，其特征在于，包括：
获取模块，其用于基于人脸关键点定位技术，获取主播和观众的人脸轮廓的关键点AABB包围盒；
比例计算模块，其用于计算主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x和纵轴上的比例r_y；
坐标计算模块，其用于计算换脸处理后主播人脸上坐标点M(x,y)在观众人脸上的位置坐标N(x,y)以及计算换脸处理后观众人脸上坐标点E(x,y)在主播人脸上的位置坐标F(x,y)：
N.x＝D.x+(M.x–C.x)/r_x
N.y＝D.y+(M.y–C.y)/r_y
其中，N.x为N(x,y)的横坐标值，N.y为N(x,y)的纵坐标值，M.x为M(x,y)的横坐标值，M.y为M(x,y)的纵坐标值，C(x,y)为主播鼻子中心关键点坐标，C.x为C(x,y)的横坐标值，C.y为C(x,y)的纵坐标值，D(x,y)为观众鼻子中心关键点坐标，D.x为D(x,y)的横坐标值，D.y为D(x,y)的纵坐标值；
F.x＝C.x+(E.x–D.x)*r_x
F.y＝C.y+(E.y–D.y)*r_y
其中，F.x为F(x,y)的横坐标值，F.y为F(x,y)的纵坐标值，E.x为E(x,y)的横坐标值，E.y为E(x,y)的纵坐标值；
换脸执行模块，其用于将观众人脸上N(x,y)处的像素换为主播人脸上M(x,y)处的像素并删除原观众人脸上所有像素，将主播人脸上F(x,y)处的像素换为观众人脸上E(x,y)处的像素并删除原主播人脸上所有像素。
9.如权利要求8所述的一种应用于直播场景的换脸系统，其特征在于：
基于人脸关键点定位技术，获取主播的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取主播的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值A_X_max、横轴上的最小值A_X_min、纵轴上的最大值A_Y_max和纵轴上的最小值A_Y_min；
基于人脸关键点定位技术，获取观众的人脸关键点和人脸轮廓的关键点AABB包围盒，并获取观众的人脸轮廓的关键点AABB包围盒在坐标轴横轴上的最大值B_X_max、横轴上的最小值B_X_min、纵轴上的最大值B_Y_max和纵轴上的最小值B_Y_min。
10.如权利要求9所述的一种应用于直播场景的换脸系统，其特征在于：
主播和观众的关键点AABB包围盒间在坐标轴横轴上的比例r_x，计算公式为：
r_x＝(A_X_max-A_X_min)/(B_X_max-B_X_min)；
主播和观众的关键点AABB包围盒间在坐标轴纵轴上的比例r_y，计算公式为：
r_y＝(A_Y_max-A_Y_min)/(B_Y_max-B_Y_min)。
CN201810395702.2A 2018-04-27 2018-04-27 应用于直播场景的换脸方法、存储介质、电子设备及系统 Active CN110418146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810395702.2A CN110418146B (zh) 2018-04-27 2018-04-27 应用于直播场景的换脸方法、存储介质、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810395702.2A CN110418146B (zh) 2018-04-27 2018-04-27 应用于直播场景的换脸方法、存储介质、电子设备及系统

Publications (2)

Publication Number Publication Date
CN110418146A true CN110418146A (zh) 2019-11-05
CN110418146B CN110418146B (zh) 2022-02-08

Family

ID=68346956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810395702.2A Active CN110418146B (zh) 2018-04-27 2018-04-27 应用于直播场景的换脸方法、存储介质、电子设备及系统

Country Status (1)

Country Link
CN (1) CN110418146B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868554A (zh) * 2019-11-18 2020-03-06 广州华多网络科技有限公司 直播中实时换脸的方法、装置、设备及存储介质
CN111083513A (zh) * 2019-12-25 2020-04-28 广州酷狗计算机科技有限公司 直播画面处理方法、装置、终端及计算机可读存储介质
CN111541942A (zh) * 2020-05-28 2020-08-14 广州华多网络科技有限公司 连麦方法、装置、设备及存储介质
CN111640058A (zh) * 2020-06-03 2020-09-08 恒信东方文化股份有限公司 一种图像融合处理方法及装置
CN113269006A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种目标追踪方法及装置
WO2021180114A1 (zh) * 2020-03-11 2021-09-16 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
WO2022095516A1 (zh) * 2020-11-09 2022-05-12 北京达佳互联信息技术有限公司 直播互动方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技（上海）有限公司 一种图像处理方法及装置
CN105118024A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 人脸交换方法
CN106331569A (zh) * 2016-08-23 2017-01-11 广州华多网络科技有限公司 即时视频画面中人物脸部变换方法以及系统
CN106534757A (zh) * 2016-11-22 2017-03-22 北京金山安全软件有限公司 人脸交换方法、装置、主播终端及观众终端
CN106875329A (zh) * 2016-12-20 2017-06-20 北京光年无限科技有限公司 一种人脸替换方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657974A (zh) * 2013-11-25 2015-05-27 腾讯科技（上海）有限公司 一种图像处理方法及装置
CN105118024A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 人脸交换方法
CN106331569A (zh) * 2016-08-23 2017-01-11 广州华多网络科技有限公司 即时视频画面中人物脸部变换方法以及系统
CN106534757A (zh) * 2016-11-22 2017-03-22 北京金山安全软件有限公司 人脸交换方法、装置、主播终端及观众终端
CN106875329A (zh) * 2016-12-20 2017-06-20 北京光年无限科技有限公司 一种人脸替换方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868554A (zh) * 2019-11-18 2020-03-06 广州华多网络科技有限公司 直播中实时换脸的方法、装置、设备及存储介质
CN110868554B (zh) * 2019-11-18 2022-03-08 广州方硅信息技术有限公司 直播中实时换脸的方法、装置、设备及存储介质
CN111083513A (zh) * 2019-12-25 2020-04-28 广州酷狗计算机科技有限公司 直播画面处理方法、装置、终端及计算机可读存储介质
CN111083513B (zh) * 2019-12-25 2022-02-22 广州酷狗计算机科技有限公司 直播画面处理方法、装置、终端及计算机可读存储介质
CN113269006A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种目标追踪方法及装置
WO2021180114A1 (zh) * 2020-03-11 2021-09-16 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN111541942A (zh) * 2020-05-28 2020-08-14 广州华多网络科技有限公司 连麦方法、装置、设备及存储介质
CN111541942B (zh) * 2020-05-28 2022-09-16 广州方硅信息技术有限公司 连麦方法、装置、设备及存储介质
CN111640058A (zh) * 2020-06-03 2020-09-08 恒信东方文化股份有限公司 一种图像融合处理方法及装置
CN111640058B (zh) * 2020-06-03 2023-05-09 恒信东方文化股份有限公司 一种图像融合处理方法及装置
WO2022095516A1 (zh) * 2020-11-09 2022-05-12 北京达佳互联信息技术有限公司 直播互动方法及装置

Also Published As

Publication number Publication date
CN110418146B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN110418146A (zh) 应用于直播场景的换脸方法、存储介质、电子设备及系统
CN110147744B (zh) 一种人脸图像质量评估方法、装置及终端
WO2018177237A1 (zh) 图像处理方法、装置和存储介质
CN108492247A (zh) 一种基于网格变形的眼妆贴图方法
CN111652123B (zh) 图像处理和图像合成方法、装置和存储介质
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
CN107343225B (zh) 在视频图像中展示业务对象的方法、装置和终端设备
CN102905136B (zh) 一种视频编解码方法、系统
CN111008935A (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN106934351A (zh) 手势识别方法、装置及电子设备
CN112348937A (zh) 人脸图像处理方法及电子设备
CN111815768B (zh) 三维人脸重建方法和装置
CN110910308B (zh) 图像处理方法、装置、设备和介质
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
Zhang Application of intelligent virtual reality technology in college art creation and design teaching
CN111209811A (zh) 一种实时检测眼球注意力位置的方法及系统
CN111652795A (zh) 脸型的调整、直播方法、装置、电子设备和存储介质
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
CN112507766B (zh) 人脸图像提取方法、存储介质及终端设备
CN110415164A (zh) 人脸变形处理方法、存储介质、电子设备及系统
CN111652023B (zh) 嘴型的调整、直播方法、装置、电子设备和存储介质
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
CN111080667B (zh) 一种快速人像照片的自动构图裁剪方法及系统
CN116208733A (zh) 视频会议交互的方法和装置
CN109949400B (zh) 适于ar虚拟软装合成的光影估计和重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant