CN113329252B - 一种基于直播的人脸处理方法、装置、设备和存储介质 - Google Patents

一种基于直播的人脸处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113329252B
CN113329252B CN202110213455.1A CN202110213455A CN113329252B CN 113329252 B CN113329252 B CN 113329252B CN 202110213455 A CN202110213455 A CN 202110213455A CN 113329252 B CN113329252 B CN 113329252B
Authority
CN
China
Prior art keywords
target
face
eye
data
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110213455.1A
Other languages
English (en)
Other versions
CN113329252A (zh
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110213455.1A priority Critical patent/CN113329252B/zh
Publication of CN113329252A publication Critical patent/CN113329252A/zh
Application granted granted Critical
Publication of CN113329252B publication Critical patent/CN113329252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于直播的人脸处理方法、装置、设备和存储介质。该方法包括：当启动直播间时，采集图像数据；在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。通过该方法解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题。

Description

一种基于直播的人脸处理方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种基于直播的人脸处理方法、装置、设备和存储介质，系申请号为201811241860.9的分案申请。
背景技术
随着直播这种娱乐方式的广泛流行。为了能直播出满意的效果，通常主播会需要使用具有修饰视频功能的直播软件。随着手机视频直播软件的普及率也越来越高，大家对直播软件的美颜功能的要求也越来越高。尤其是要求美颜的效果与真实的自己贴近，但又要很好的修饰自身的缺陷。用户尤其对如美肤、磨皮、瘦脸等常见效果提出了更高的要求。
现有的针对人脸图像的美化方法，针对不同人脸采用一套相同的美化模版，比如对不同的人脸图像在识别出人脸后均采用固定相同的一套美白、磨皮等化妆模版进行处理，而无法根据人脸图像中不同的人脸特征提供相应的美化效果，美化效果单一。如果需要更全面的美颜优化需要使用者人工调节，存在使用者入门时间久、步骤麻烦、参数复杂、程序运行效率低和过度不自然等不足。
发明内容
本发明提供一种基于直播的人脸处理方法、装置、设备和存储介质，解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题。
第一方面，本发明实施例提供了一种基于直播的人脸处理方法，包括：
当启动直播间时，采集图像数据；
在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
第二方面，本发明实施例还提供了一种基于直播的人脸处理装置，包括：
图像采集模块，用于当启动直播间时，采集图像数据；
特征提取模块，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
特征比对模块，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
数据流生成模块，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括中央处理器与图形处理器；所述中央处理器包括图像采集模块、特征提取模块和数据流生成模块，所述图形处理器包括特征比对模块；
所述图像采集模块，用于当启动直播间时，采集图像数据；
所述特征提取模块，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
所述特征比对模块，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
所述数据流生成模块，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
第四方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的基于直播的人脸处理方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的一种基于直播的人脸处理方法。
本发明通过获得目标人脸数据，确定目标人脸特征；将目标人脸特征与标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，最后生成直播数据流。解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题，实现了在视频直播中根据人物脸部轮廓，眼部大小、间距等信息自动对人脸进行优化美颜操作。在原有的基础上减小了用户花在参数处理上的时间，实现了程序运行效率高，功耗低，响应快，最终达到提升用户体验的效果。
附图说明
图1为本发明实施例一提供的一种基于直播的人脸处理方法的流程图；
图2A为本发明实施例二提供的一种基于直播的人脸处理方法的流程图；
图2B为本发明实施例二提供的通过图像数据获得目标图像数据的示意图；
图3为本发明实施例三提供的一种人脸处理装置的机构图；
图4为本发明实施例四提供的一种电子设备的结构示意图；
图5为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于直播的人脸处理方法的流程图。本实施例中的技术方案，可选的是适用于主播在直播时，通过摄像设备生成视频信息的场景。可以理解的是，本技术方案也可以适用于其他应用场景中，只要存在需要对视频信息进行美化的问题即可。该方法由一种基于直播的人脸处理装置来执行，该装置可以由软件和/或软件的方式实现，通常配置于电子设备中。通常需要电子设备同时具备CPU(Central ProcessingUnit，中央处理器)与GPU(Graphics Processing Unit，图形处理器)，但只具备CPU的电子设备也可执行本操作。
由于本方案主要适用于直播平台的主播通过摄像设备进行直播的场景。直播平台包括多个直播房间，直播房间包括：统一资源定位符(URL)、房间号、房间当前状态(使用中或空闲)和房间直播内容等信息。直播平台会根据直播房间的直播内容对房间进行聚类处理。直播平台的用户群体可分为观众用户和主播用户两大类，两类用户在直播平台的角色不同，因此有不同的权限和数据处理方式。当主播进行直播时，同时需要直播软件和硬件设备的配合，可通过计算机与摄像设备、移动终端等方式进行直播。
参考图1，该方法包括：
S101、当启动直播间时，采集图像数据。
其中，启动直播间为主播启动直播相关的软件。图像数据是指用数值表示的各像素(pixel)的灰度值的集合。采集图像数据是指通过摄像设备采集主播直播的画面。应当理解的是，由于本实施例适用于主播进行直播的场景，因此在采集图像数据的同时，应当采集音频数据。
具体的，当主播启动直播间时，人脸处理装置通过摄像设备采集主播直播的画面，此时获得的图像数据针对于每一帧画面而言。
S102、在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征。
其中，进行人脸检测是指通过人脸检测方法检测出图像数据中是否有人脸图像，以及人脸图像的具体位置等信息。目标人脸数据是指从图像数据中获得的人脸数据。目标人脸特征是指目标人脸数据中的某些特定部分，如可以是目标脸部轮廓特征，也可以是目标眼部轮廓特征。
具体的，人脸处理装置通过CPU对图像数据进行人脸检测，检测到人脸图形后将其抽象为目标人脸数据，对目标人脸数据进行处理，获得目标人脸特征。
S103、将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理。
其中，标准人脸是美化的目标，可以是基于大数据得到的公认最好看的人脸，也可以是用户设置的好看的人脸。预设的标准人脸特征是对标准人脸进行处理后获得的特征。
具体的，人脸处理装置通过GPU将获得的目标人脸特征与根据标准人脸获得的标准人脸特征进行比较，根据比较结果调整目标人脸数据，使得目标人脸数据拟合标准人脸数据。也可以是CPU进行目标人脸特征的提取，将特征交由GPU进行比较，还可以是直接通过CPU进行比较。
S104、根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
其中，直播数据流包括用于本地回显的数据流和用于传递到观众用户客户端的数据流。同时，将音视频打包为视频文件，采用流的方式上传给直播服务器，直播服务器可提供给观众。
具体的，人脸处理装置通过CPU将经过图像处理之后(据比较结果调整目标人脸数据，使得目标人脸数据拟合标准人脸数据)的目标人脸数据生成直播间的直播数据流，该数据可用于视频回显和数据发放(通过内容分发网络等方式进行数据流传输)。
本发明实施例通过获得目标人脸数据，确定目标人脸特征；将目标人脸特征与标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，最后生成直播数据流。解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题，实现了在视频直播中根据人物脸部轮廓，眼部大小、间距等信息自动对人脸进行优化美颜操作。在原有的基础上减小了用户花在参数处理上的时间，实现了程序运行效率高，功耗低，响应快，最终达到提升用户体验的效果。
实施例二
图2A为本发明实施例二提供的一种基于直播的人脸处理方法的流程图。本实施例是在实施例一的基础上进行的细化，主要描述了当目标人脸特征分别为目标脸部轮廓特征和目标眼部轮廓特征时，如何与标准人脸特征进行拟合。
参考图2A，本实施例具体包括如下步骤：
S201、当启动直播间时，采集图像数据。
具体的，当主播启动直播间时，人脸处理装置通过摄像设备采集主播直播的画面，此时获得的图像数据针对于每一帧画面而言。
S202、在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征。
具体的，人脸处理装置通过CPU对图像数据进行人脸检测，检测到人脸图形后将其抽象为目标人脸数据，对目标人脸数据进行处理，获得目标人脸特征。
S203、将所述目标脸部轮廓特征与所述标准脸部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的脸部轮廓进行图像处理。
其中，目标脸部轮廓特征是目标人脸特征中的脸部轮廓部分。标准脸部轮廓特征是指标准人脸特征中的脸部轮廓部分。
具体的，人脸处理装置将目标人脸特征中的脸部轮廓部分与标准人脸中的脸部轮廓部分进行比较，以标准脸部轮廓特征为拟合目标，在适当范围内对目标脸部轮廓特征进行调整，使得目标人脸数据拟合标准人脸数据。
可选的，步骤S203可以细化为以下步骤：
通过目标脸部轮廓特征的第一梯度值与标准脸部轮廓特征的第二梯度值之间的梯度差异，确定第一目标弯曲拉伸系数；
在所述目标人脸数据中的脸部轮廓的基础上按照所述第一目标弯曲拉伸系数进行图像处理。
具体的，计算所述目标脸部轮廓特征的第一梯度值；由于标准脸部轮廓特征预先存储于服务器，因此标准脸部轮廓特征的第二梯度值可以直接从服务器中获取；计算所述第一梯度值与所述第二梯度值之间的梯度差异；将梯度差异通过第一弯曲拉伸函数进行计算，获得第一目标弯曲拉伸系数；在所述目标人脸数据中的脸部轮廓的基础上按照所述第一目标弯曲拉伸系数进行图像处理。
其中，在所述目标人脸数据中的脸部轮廓的基础上按照所述第一目标弯曲拉伸系数进行图像处理具体包括：
确定调整基准值；
从目标人脸数据中的脸部轮廓中选取待调整点，确定所述待调整点对应的调整系数；其中，待调整点个数为两个及以上；
以所述待调整点为圆心，所述调整基准值与所述调整系数的乘积为半径，确定调整范围；
将所述调整范围内目标人脸数据中的脸部轮廓照所述第一目标弯曲拉伸系数进行图像处理，获得中间脸部轮廓；
将每个待调整点对应的中间脸部轮廓进行混合处理，获得经过图像处理之后的脸部轮廓。
其中，调整基准值是用于确定调整调整范围半径的一个参数，优选的可以设置为目标人脸数据中从鼻尖到下巴的距离。待调整点是目标人脸数据中的脸部轮廓中的点，选取越多的点作为待调整点会获得越精细的脸部轮廓，由于本方法主要适用于直播领域，为了保证实时性的要求，优选人脸的颧骨和脸颊部位共四个点作为待调整点。调整系数用于对调整范围半径进行修正的点，可选为0.8～1.2，针对不同待调整点有不同的调整系数。混合处理包括多种处理方式，优选的，可以是将四张中间脸部轮廓进行叠加，如有重叠部分，取最靠近鼻尖的点，然后对线条进行柔滑处理。
其中，所述将所述调整范围内目标人脸数据中的脸部轮廓照所述第一目标弯曲拉伸系数进行图像处理，获得中间脸部轮廓的公式包括：
Figure GDA0003796096280000091
其中，
Image-face′表示某一待调整点对应的中间脸部轮廓，α为某一待调整点对应的调整系数，R为调整基准值，(α×R)为以待调整点为圆心的半径值，即调整范围，σ为第一梯度值，σ′为第二梯度值，
Figure GDA0003796096280000095
表示将梯度差异代入第一弯曲拉伸函数进行计算，⊙表示以待调整点为圆心，在调整范围(α×R)内按照
Figure GDA0003796096280000093
进行图像处理，mage-face表示目标脸部轮廓特征，*表示
Figure GDA0003796096280000094
过程是Image_face的基础上进行的处理。
S204、在所述图像数据中，将图像处理之后的目标人脸数据覆盖图像处理之前的目标人脸数据，作为目标图像数据。
其中，覆盖是指将图像处理之前的目标人脸数据中的目标人脸特征部分进行纯色填充，填充完毕后将图像处理之后的目标人脸数据加载于该纯色填充部分。目标图像数据是指经过美图之后的用于生成数据流的图像数据。
具体的，确定目标人脸特征后(脸部轮廓特征和/或眼部轮廓特征)，在图像数据中将该目标人脸特征部分剪切或用纯色进行填充，将图像处理之后的目标人脸数据覆盖图像处理之前的目标人脸数据，并将此时获得的图像数据作为目标图像数据。这样可以实现目标人脸特征部位的精准美化，不会造成其他背景的扭曲。
S205、基于所述目标图像数据生成所述直播间的直播数据流。
具体的，人脸处理装置通过CPU将目标图像数据生成直播间的直播数据流，该数据可用于视频回显和数据发放(通过内容分发网络等方式进行数据流传输)。在上述实施例的基础上，步骤S203描述了目标人脸特征为目标脸部轮廓特征的情况。步骤S203可以替换为目标人脸特征为目标眼部轮廓特征的情况，记为步骤S206。步骤S203与步骤S206可以择一进行也可以同时进行，优选的是先进行脸部轮廓处理，再进行眼部轮廓处理。
步骤S206为将所述目标眼部轮廓特征与所述标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理，。
其中，目标眼部轮廓特征是目标人脸特征中的眼部轮廓部分。标准眼部轮廓特征是指标准人脸特征中的眼部轮廓部分。
具体的，人脸处理装置将目标人脸特征中的眼部轮廓部分与标准人脸中的眼部轮廓部分进行比较，以标准眼部轮廓特征为拟合目标，在适当范围内对目标眼部轮廓特征进行调整，使得目标人脸数据拟合标准人脸数据。
可选的，步骤S206可以细化为以下步骤：
步骤一、计算所述目标眼部轮廓特征之间的距离，获得所述目标人脸数据中的目标眼睛大小和目标眼睛间距；
步骤二、获得所述标准人脸数据中的标准眼睛大小和标准眼睛间距；
步骤三、计算所述目标眼睛大小与所述标准眼睛大小之间的大小差异；
步骤四、计算所述目标眼睛间距与所述标准眼睛间距之间的距离差异；
步骤五、将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数；
步骤六、将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数；
步骤七、在所述目标人脸数据中的眼部轮廓的基础上同时按照所述目标放大缩小系数与所述第二目标弯曲拉伸系数进行图像处理。
可选的，步骤S206可以细化为如下公式：
Figure GDA0003796096280000111
其中，
Image′eye表示图像处理之后的眼部轮廓，
Figure GDA0003796096280000112
表示所述目标眼睛与所述标准眼睛大小差异，
Figure GDA0003796096280000113
表示所述目标眼睛与所述标准眼睛距离差异，
Figure GDA0003796096280000114
表示将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数，
Figure GDA0003796096280000115
表示将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数，
Figure GDA0003796096280000116
表示
Figure GDA0003796096280000117
与
Figure GDA0003796096280000118
同时进行，Image_eye表示目标眼部轮廓，*表示
Figure GDA0003796096280000121
过程是在Image_eye基础上进行。
图2B为本发明实施例二提供的通过图像数据获得目标图像数据的示意图。参考图2B，图像数据20中的目标脸部轮廓特征23经过步骤S203的处理，获得图像处理之后的脸部轮廓24；图像数据20中的目标眼部轮廓特征21经过步骤S206的处理，获得图像处理之后的眼部轮廓22；图像处理之后的眼部轮廓22和脸部轮廓24组合获得目标图像数据25。
本发明实施例通过获得目标人脸数据，确定目标人脸特征；将目标人脸特征与标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，最后生成直播数据流。本实施例还公开了当目标人脸特征分别为目标脸部轮廓特征和目标眼部轮廓特征时，如何与标准人脸特征进行拟合。解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题，实现了在视频直播中根据人物脸部轮廓，眼部大小、间距等信息自动对人脸进行优化美颜操作。在原有的基础上减小了用户花在参数处理上的时间，实现了程序运行效率高，功耗低，响应快，最终达到提升用户体验的效果。
实施例三
图3为本发明实施例三提供的一种人脸处理装置的机构图。该装置包括：图像采集模块31、特征提取模块32、特征比对模块33和数据流生成模块34。
其中：
图像采集模块31，用于当启动直播间时，采集图像数据；
特征提取模块32，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
特征比对模块33，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
数据流生成模块34，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
本发明实施例通过获得目标人脸数据，确定目标人脸特征；将目标人脸特征与标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，最后生成直播数据流。解决了现有视频直播技术中，自动美颜过度不自然，手动美颜需要使用者花大量时间、调试步骤麻烦和参数复杂的问题，实现了在视频直播中根据人物脸部轮廓，眼部大小、间距等信息自动对人脸进行优化美颜操作。在原有的基础上减小了用户花在参数处理上的时间，实现了程序运行效率高，功耗低，响应快，最终达到提升用户体验的效果。
在上述实施例的基础上，所述目标人脸特征包括目标脸部轮廓特征，所述标准人脸特征包括标准人脸数据中的标准脸部轮廓特征；此时特征比对模块用于：
将所述目标脸部轮廓特征与所述标准脸部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的脸部轮廓进行图像处理。
在上述实施例的基础上，所述将所述目标脸部轮廓特征与所述标准脸部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的脸部轮廓进行图像处理，包括：
通过目标脸部轮廓特征的第一梯度值与标准脸部轮廓特征的第二梯度值之间的梯度差异，确定第一目标弯曲拉伸系数；
在所述目标人脸数据中的脸部轮廓的基础上按照所述第一目标弯曲拉伸系数进行图像处理。
在上述实施的基础上，在所述目标人脸数据中的脸部轮廓的基础上按照所述第一目标弯曲拉伸系数进行图像处理，具体包括：
确定调整基准值；
从目标人脸数据中的脸部轮廓中选取待调整点，确定所述待调整点对应的调整系数；其中，待调整点个数为两个及以上；
以所述待调整点为圆心，所述调整基准值与所述调整系数的乘积为半径，确定调整范围；
将所述调整范围内目标人脸数据中的脸部轮廓照所述第一目标弯曲拉伸系数进行图像处理，获得中间脸部轮廓；
将每个待调整点对应的中间脸部轮廓进行混合处理，获得经过图像处理之后的脸部轮廓。
在上述实施的基础上，所述目标人脸特征包括目标眼部轮廓特征，所述标准人脸特征包括标准人脸的标准眼部轮廓特征；此时特征比对模块用于：
将所述目标眼部轮廓特征与所述标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理。
在上述实施的基础上，将所述目标眼部轮廓特征与所述标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理，以拟合标准人脸数据中的眼部轮廓，包括：
计算所述目标眼部轮廓特征之间的距离，获得所述目标人脸数据中的目标眼睛大小和目标眼睛间距；
获得所述标准人脸数据中的标准眼睛大小和标准眼睛间距；
计算所述目标眼睛大小与所述标准眼睛大小之间的大小差异；
计算所述目标眼睛间距与所述标准眼睛间距之间的距离差异；
将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数；
将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数；
在所述目标人脸数据中的眼部轮廓的基础上同时按照所述目标放大缩小系数与所述第二目标弯曲拉伸系数进行图像处理。
在上述实施的基础上，数据流生成模块具体用于：
在所述图像数据中，将图像处理之后的目标人脸数据覆盖图像处理之前的目标人脸数据，作为目标图像数据；
基于所述目标图像数据生成所述直播间的直播数据流。
本实施例提供的一种基于直播的人脸处理装置可用于执行上述任一实施例提供的基于直播的人脸处理方法，具有相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种电子设备的结构示意图。如图4所示，该电子设备包括处理器40、存储器41、通信模块42、输入装置43和输出装置44；电子设备中处理器40的数量可以是一个或多个，一般可设置为包括中央处理器与图形处理器；所述中央处理器包括图像采集模块31、特征提取模块32和数据流生成模块33，所述图形处理器52包括特征比对模块33；图4中以一个处理器40为例；电子设备中的处理器40、存储器41、通信模块42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种基于直播的人脸处理方法对应的模块(例如，一种基于直播的人脸处理装置中的图像采集模块31、特征提取模块32、特征比对模块33和数据流生成模块34)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的一种基于直播的人脸处理方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块42，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置43可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种电子设备，可执行本发明任一实施例提供的基于直播的人脸处理方法，具体相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种电子设备。如图5所示，所述电子设备包括中央处理器51与图形处理器52；所述中央处理器51包括图像采集模块31、特征提取模块32和数据流生成模块33，所述图形处理器52包括特征比对模块33；
所述图像采集模块，用于当启动直播间时，采集图像数据；
所述特征提取模块，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
所述特征比对模块，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
所述数据流生成模块，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
本实施例提供的一种电子设备，可执行本发明任一实施例提供的基于直播的人脸处理方法，具体相应的功能和有益效果。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于直播的人脸处理方法，该方法包括：
当启动直播间时，采集图像数据；
在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的基于直播的人脸处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种基于直播的人脸处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于直播的人脸处理方法，其特征在于，包括：
当启动直播间时，采集图像数据；
在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，其中，所述目标人脸特征包括目标眼部轮廓特征；所述标准人脸特征包括标准人脸的标准眼部轮廓特征，所述图像处理包括：将目标眼部轮廓特征与标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理，以拟合标准人脸数据中的眼部轮廓，具体包括：
Figure FDA0003796096270000011
其中，Image′eye表示图像处理之后的眼部轮廓，
Figure FDA0003796096270000012
表示目标眼睛和标准眼睛大小差异，
Figure FDA0003796096270000013
表示目标眼睛和标准眼睛距离差异，
Figure FDA0003796096270000014
表示将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数，
Figure FDA0003796096270000015
表示将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数，
Figure FDA0003796096270000016
表示
Figure FDA0003796096270000017
与
Figure FDA0003796096270000018
同时进行，Image_eye表示目标眼部轮廓，*表示
Figure FDA0003796096270000019
过程是在Image_eye基础上进行；
根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
2.根据权利要求1所述的方法，其特征在于，所述目标人脸特征还包括目标脸部轮廓特征，所述标准人脸特征还包括标准人脸数据中的标准脸部轮廓特征；
所述将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理，包括：
将所述目标脸部轮廓特征与所述标准脸部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的脸部轮廓进行图像处理。
3.根据权利要求1所述的方法，其特征在于，所述根据图像处理之后的目标人脸数据生成所述直播间的直播数据流，具体包括：
在所述图像数据中，将图像处理之后的目标人脸数据覆盖图像处理之前的目标人脸数据，作为目标图像数据；
基于所述目标图像数据生成所述直播间的直播数据流。
4.一种基于直播的人脸处理装置，其特征在于，包括：
图像采集模块，用于当启动直播间时，采集图像数据；
特征提取模块，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
特征比对模块，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
其中，所述目标人脸特征包括目标眼部轮廓特征；所述标准人脸特征包括标准人脸的标准眼部轮廓特征，所述图像处理包括：将目标眼部轮廓特征与标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理，以拟合标准人脸数据中的眼部轮廓，具体包括：
Figure FDA0003796096270000031
其中，Image′eye表示图像处理之后的眼部轮廓，
Figure FDA0003796096270000032
表示目标眼睛和标准眼睛大小差异，
Figure FDA0003796096270000033
表示目标眼睛和标准眼睛距离差异，
Figure FDA0003796096270000034
表示将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数，
Figure FDA0003796096270000035
表示将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数，
Figure FDA0003796096270000036
表示
Figure FDA0003796096270000037
与
Figure FDA0003796096270000038
同时进行，Image_eye表示目标眼部轮廓，*表示
Figure FDA0003796096270000039
过程是在Image_eye基础上进行；
数据流生成模块，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
5.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3任一所述的一种基于直播的人脸处理方法。
6.一种电子设备，其特征在于，所述电子设备包括中央处理器与图形处理器；所述中央处理器包括图像采集模块、特征提取模块和数据流生成模块，所述图形处理器包括特征比对模块；
所述图像采集模块，用于当启动直播间时，采集图像数据；
所述特征提取模块，用于在所述图像数据中进行人脸检测，获得目标人脸数据及所述目标人脸数据中的目标人脸特征；
所述特征比对模块，用于将所述目标人脸特征与预设的标准人脸特征进行比较，并根据比较的结果对所述目标人脸数据进行图像处理；
其中，所述目标人脸特征包括目标眼部轮廓特征；所述标准人脸特征包括标准人脸的标准眼部轮廓特征，所述图像处理包括：将目标眼部轮廓特征与标准眼部轮廓特征进行比较，并根据比较的结果对所述目标人脸数据中的眼部轮廓进行图像处理，以拟合标准人脸数据中的眼部轮廓，具体包括：
Figure FDA0003796096270000041
其中，Image′eye表示图像处理之后的眼部轮廓，
Figure FDA0003796096270000042
表示目标眼睛和标准眼睛大小差异，
Figure FDA0003796096270000043
表示目标眼睛和标准眼睛距离差异，
Figure FDA0003796096270000044
表示将大小差异通过放大缩小伸函数进行计算，获得目标放大缩小系数，
Figure FDA0003796096270000045
表示将距离差异通过第二弯曲拉伸函数进行计算，获得第二目标弯曲拉伸系数，
Figure FDA0003796096270000046
表示
Figure FDA0003796096270000047
与
Figure FDA0003796096270000048
同时进行，Image_eye表示目标眼部轮廓，*表示
Figure FDA0003796096270000049
过程是在Image_eye基础上进行；
所述数据流生成模块，用于根据图像处理之后的目标人脸数据生成所述直播间的直播数据流。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一所述的一种基于直播的人脸处理方法。
CN202110213455.1A 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质 Active CN113329252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213455.1A CN113329252B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110213455.1A CN113329252B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质
CN201811241860.9A CN109302628B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811241860.9A Division CN109302628B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113329252A CN113329252A (zh) 2021-08-31
CN113329252B true CN113329252B (zh) 2023-01-06

Family

ID=65158666

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811241860.9A Active CN109302628B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质
CN202110213455.1A Active CN113329252B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811241860.9A Active CN109302628B (zh) 2018-10-24 2018-10-24 一种基于直播的人脸处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (2) CN109302628B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188234B (zh) * 2019-07-03 2023-01-06 广州虎牙科技有限公司 一种图像处理、直播方法及相关装置
CN110490828B (zh) * 2019-09-10 2022-07-08 广州方硅信息技术有限公司 视频直播中的图像处理方法和系统
CN110706169A (zh) * 2019-09-26 2020-01-17 深圳市半冬科技有限公司 一种明星人像优化方法、装置以及存储装置
CN111402352B (zh) * 2020-03-11 2024-03-05 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN111797754A (zh) * 2020-06-30 2020-10-20 上海掌门科技有限公司 图像检测的方法、装置、电子设备及介质
CN114760492B (zh) * 2022-04-22 2023-10-20 咪咕视讯科技有限公司 直播特效生成方法、装置、系统与计算机可读存储介质
CN116109479B (zh) * 2023-04-17 2023-07-18 广州趣丸网络科技有限公司 虚拟形象的面部调整方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605975A (zh) * 2013-11-28 2014-02-26 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN107835367A (zh) * 2017-11-14 2018-03-23 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
WO2018076622A1 (zh) * 2016-10-28 2018-05-03 中兴通讯股份有限公司 图像处理方法、装置及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057665A1 (en) * 2010-10-28 2012-05-03 Telefonaktiebolaget L M Ericsson (Publ) A face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
CN108205795A (zh) * 2016-12-16 2018-06-26 北京酷我科技有限公司 一种直播过程中人脸图像处理方法及系统
CN107680033B (zh) * 2017-09-08 2021-02-19 北京小米移动软件有限公司 图片处理方法及装置
CN107818543B (zh) * 2017-11-09 2021-03-30 北京小米移动软件有限公司 图像处理方法及装置
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605975A (zh) * 2013-11-28 2014-02-26 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
WO2018076622A1 (zh) * 2016-10-28 2018-05-03 中兴通讯股份有限公司 图像处理方法、装置及终端
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN107835367A (zh) * 2017-11-14 2018-03-23 维沃移动通信有限公司 一种图像处理方法、装置及移动终端

Also Published As

Publication number Publication date
CN109302628A (zh) 2019-02-01
CN113329252A (zh) 2021-08-31
CN109302628B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN113329252B (zh) 一种基于直播的人脸处理方法、装置、设备和存储介质
CN110536151B (zh) 虚拟礼物特效的合成方法和装置、直播系统
CN110475150B (zh) 虚拟礼物特效的渲染方法和装置、直播系统
CN110493630B (zh) 虚拟礼物特效的处理方法和装置、直播系统
US20220007083A1 (en) Method and stream-pushing client for processing live stream in webrtc
US10728510B2 (en) Dynamic chroma key for video background replacement
CN106817596B (zh) 作用于媒体采集装置的特效处理方法及装置
CN105898395A (zh) 一种网络视频播放方法、装置及系统
CN111583415B (zh) 信息处理方法、装置和电子设备
CN111405339B (zh) 一种分屏显示方法、电子设备及存储介质
CN112532882B (zh) 图像显示方法和装置
CN113132696A (zh) 图像色调映射方法、装置、电子设备和存储介质
CN105100870A (zh) 一种截屏方法及终端设备
CN113676692A (zh) 视频会议中视频的处理方法、装置、电子设备及存储介质
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN113542909A (zh) 视频处理方法、装置、电子设备及计算机存储介质
CN111652792A (zh) 图像的局部处理、直播方法、装置、设备和存储介质
CN116962744A (zh) 网络直播的连麦互动方法、装置及直播系统
CN110378973B (zh) 图像信息处理方法、装置以及电子设备
CN113382276A (zh) 一种图片处理方法及系统
CN112860941A (zh) 一种封面推荐方法、装置、设备及介质
EP3806026A1 (en) Method and apparatus for enhancing video image quality
CN113486693A (zh) 一种视频处理的方法及设备
CN111586492A (zh) 视频播放方法、装置、客户端设备及存储介质
CN110620961A (zh) 视频水印添加方法、装置以及视频编辑终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant