CN106921840B - 一种即时视频中的人脸美化方法、设备及系统 - Google Patents

一种即时视频中的人脸美化方法、设备及系统 Download PDF

Info

Publication number
CN106921840B
CN106921840B CN201510995997.3A CN201510995997A CN106921840B CN 106921840 B CN106921840 B CN 106921840B CN 201510995997 A CN201510995997 A CN 201510995997A CN 106921840 B CN106921840 B CN 106921840B
Authority
CN
China
Prior art keywords
video frame
instant video
current instant
important
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510995997.3A
Other languages
English (en)
Other versions
CN106921840A (zh
Inventor
武俊敏
冯加伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiao Feng
Original Assignee
Win-Win Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Win-Win Information Technology (shanghai) Co Ltd filed Critical Win-Win Information Technology (shanghai) Co Ltd
Priority to CN201510995997.3A priority Critical patent/CN106921840B/zh
Publication of CN106921840A publication Critical patent/CN106921840A/zh
Application granted granted Critical
Publication of CN106921840B publication Critical patent/CN106921840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种即时视频中的人脸美化方法、设备及系统，属于图像处理领域。所述方法包括：发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码；发送方获取所述当前即时视频帧的亮度和/或色度调节参数；向接收方发送编码后的当前即时视频帧以及亮度和/或色度调节参数；接收方解码编码后的当前即时视频帧；接收方根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节。通过根据重要性矩阵对平滑后的当前即时视频帧进行编码，提高了计算效率，同时，接收方对解码后的当前即时视频帧进行亮度和/或色度调节，有利于解决对视频帧平滑的同时进行亮度和/或色度调节导致的码率升高的问题。

Description

一种即时视频中的人脸美化方法、设备及系统
技术领域
本发明涉及图像处理领域，特别涉及一种即时视频中的人脸美化方法、设备及系统。
背景技术
现在，随着即时视频应用在移动终端上的普及以及人们审美的提高，使得越来越多的用户通过即时视频应用来实现与他人之间的交互，并且在交互过程中用户更加愿意通过人脸美化后的视频图像进行交互。
人脸美化一般包括皮肤的光滑和亮度的调节，现有技术中视频交互过程中的发送方，通过获取即时视频帧以及对该视频进行平滑处理和亮度调节，将该经过平滑处理和亮度调节后的即时视频帧进行编码，并将该编码后的即时视频帧发送至接收方，接收方进行解码并显示该视频帧。
在使用现有技术所提供的方法时，因为人脸美化的过程中对皮肤进行光滑处理，同时进行亮度和/或色度调节过程会使得码率升高，导致相同带宽下传输的视频变模糊或者会使得传输的码率增加，降低了用户通过美化后的视频图像进行交互的体验。
发明内容
为了提高计算效率，提高即时视频的美化效率，解决即时视频交互过程中对视频帧平滑的同时进行亮度和/或色度调节导致的码率升高的问题，本发明实施例提供了一种即时视频中的人脸美化方法、设备及系统。所述技术方案如下：
第一方面，提供了一种即时视频中的人脸美化方法，所述方法包括：
发送方获取当前即时视频帧，根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；
所述发送方根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理，以及对所述平滑后的当前即时视频帧进行编码；
所述发送方获取所述当前即时视频帧的亮度和/或色度调节参数；
所述发送方向接收方发送所述编码后的所述当前即时视频帧以及所述亮度和/或色度调节参数；
所述接收方解码所述编码后的所述当前即时视频帧；
所述接收方根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；以及
所述接收方显示所述调节后的所述当前即时视频帧。
结合第一方面，在第一种可能的实现方式中，所述方法还包括：
所述发送方根据所述亮度和/或色度调节参数，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
结合第一方面，在第二种可能的实现方式中，所述生成所述当前即时视频帧的重要性矩阵包括：
将所述当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述获取每个宏块中标记为重要像素的数量包括：
计算所述每个宏块的方差；
根据所述方差的计算结果，确定重要宏块和非重要宏块；
标记所述重要宏块中的每个像素为所述重要像素；
标记所述非重要宏块中的每个像素为非重要像素；
统计所述每个宏块中所述重要像素的数量。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在所述标记和统计步骤之间，所述方法还包括：
对所述重要宏块进行皮肤颜色检测；
根据检测结果，将所述重要宏块中的不符合的像素标记为所述非重要像素。
结合第一方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中，在所述标记和统计步骤之间，所述方法还包括：
对所述重要宏块进行模糊处理。
结合第一方面的第二种至第四种任意一项可能的实现方式，在第六种可能的实现方式中，所述发送方根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理包括：
所述发送方根据所述重要性矩阵，对所述当前即时视频帧中的所述标记的重要像素进行平滑处理。
结合第一方面的第二种至第四种任意一项可能的实现方式，在第七种可能的实现方式中，所述对所述平滑后的当前即时视频帧进行编码包括：
所述发送方根据所述每个宏块中所述标记为重要像素的数量为所述平滑后的当前即时视频帧的所述每个宏块分配码率；
根据所述分配的码率，对所述平滑后的当前即时视频帧进行编码。
结合第一方面或第一方面的第一种可能的实现方式，在第八种可能的实现方式中，
所述接收方使用拉格朗日差值法，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；或者
所述发送方使用拉格朗日差值法，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
第二方面，提供了一种电子设备，所述设备包括：
获取模块，用于获取当前即时视频帧；
生成模块，用于根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；
平滑处理模块，用于根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理；
编码模块，用于对所述平滑后的当前即时视频帧进行编码；
所述获取模块，还用于获取所述当前即时视频帧的亮度和/或色度调节参数；
发送模块，用于发送所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数。
结合第二方面，在第一种可能的实现方式中，
所述设备还包括调节模块，用于根据所述亮度和/或色度调节参数，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节；
所述设备还包括显示模块，用于显示所述调节后的所述当前即时视频帧。
结合第二方面，在第二种可能的实现方式中，所述生成模块具体用于：
将所述当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述生成模块还包括计算模块、确定模块、标记模块和统计模块；
所述计算模块用于计算所述每个宏块的方差；
所述确定模块用于根据所述方差的计算结果，确定重要宏块和非重要宏块；
所述标记模块用于标记所述重要宏块中的每个像素为所述重要像素；
所述标记模块还用于标记所述非重要宏块中的每个像素为非重要像素；
统计模块用于统计所述每个宏块中所述重要像素的数量。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，
所述生成模块还包括检测模块；
所述检测模块用于对所述重要宏块进行皮肤颜色检测；
所述标记模块用于根据检测结果，将所述重要宏块中的不符合的像素标记为非重要像素。
结合第二方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中，
所述生成模块还包括模糊处理模块，用于对所述重要宏块进行模糊处理。
结合第二方面的第二种至第四种任意一项可能的实现方式，在第六种可能的实现方式中，
所述平滑处理模块具体用于根据所述重要性矩阵，对所述当前即时视频帧中的所述标记的重要像素进行平滑处理。
结合第二方面的第二种至第四种任意一项可能的实现方式，在第七种可能的实现方式中，
根据所述每个宏块中所述标记为重要像素的数量为所述平滑后的当前即时视频帧的所述每个宏块分配码率；
根据所述分配的码率，对所述平滑后的当前即时视频帧进行编码。
结合第二方面的第一种可能的实现方式，在第八种可能的实现方式中，
所述调节模块具体用于使用拉格朗日差值法，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
第三方面，提供了一种电子设备，所述设备包括：
接收模块，用于接收交互的设备发送的编码后的当前即时视频帧和亮度和/或色度调节参数。
解码模块，用于解码所述编码后的所述当前即时视频帧；
调节模块，用于根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；
显示模块，用于显示所述调节后的所述当前即时视频帧。
结合第三方面，在第一种可能的实现方式中，
所述调节模块具体用于使用拉格朗日差值法，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节。
第四方面，提供了一种电子设备，所述电子设备包括显示屏、摄像头、发送/接收模块、存储器以及与所述显示屏、所述摄像头、所述发送/接收模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
获取当前即时视频帧，根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；
根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理，以及对所述平滑后的当前即时视频帧进行编码；
获取所述当前即时视频帧的亮度和/或色度调节参数；
发送所述编码后的所述当前即时视频帧以及所述亮度和/或色度调节参数。
结合第四方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述亮度和/或色度调节参数，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
结合第四方面，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
将所述当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
计算所述每个宏块的方差；
根据所述方差的计算结果，确定重要宏块和非重要宏块；
标记所述重要宏块中的每个像素为所述重要像素；
标记所述非重要宏块中的每个像素为非重要像素；
统计所述每个宏块中所述重要像素的数量。
结合第四方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述重要宏块进行皮肤颜色检测；
根据检测结果，将所述重要宏块中的不符合的像素标记为所述非重要像素。
结合第四方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述重要宏块进行模糊处理。
结合第四方面的第二种至第四种任意一项可能的实现方式，在第六种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述重要性矩阵，对所述当前即时视频帧中的所述标记的重要像素进行平滑处理。
结合第四方面的第二种至第四种任意一项可能的实现方式，在第七种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述每个宏块中所述标记为重要像素的数量为所述平滑后的当前即时视频帧的所述每个宏块分配码率；
根据所述分配的码率，对所述平滑后的当前即时视频帧进行编码。
结合第四方面的第一种可能的实现方式，在第八种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
使用拉格朗日差值法，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
第五方面，提供了一种电子设备，所述电子设备包括显示屏、发送/接收模块、存储器以及与所述显示屏、所述发送/接收模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
接收交互的设备发送的编码后的当前即时视频帧和亮度和/或色度调节参数；
解码所述编码后的所述当前即时视频帧；
根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；以及
显示所述调节后的所述当前即时视频帧。
结合第五方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
使用拉格朗日差值法，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节。
第六方面，提供了一种即时视频中的人脸美化系统，所述系统包括第一电子设备和第二电子设备，其中，
所述第一电子设备包括：
获取模块，用于获取当前即时视频帧；
生成模块，用于根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；
平滑处理模块，用于根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理；
编码模块，用于对所述平滑后的当前即时视频帧进行编码；
所述获取模块，还用于获取所述当前即时视频帧的亮度和/或色度调节参数；
发送模块，用于发送所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数。
所述第二电子设备包括：
接收模块，用于接收所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数；
解码模块，用于解码所述编码后的所述当前即时视频帧；
第一调节模块，用于根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；
第一显示模块，用于显示所述调节后的所述当前即时视频帧。
结合第六方面，在第一种可能的实现方式中，
所述第一电子设备还包括第二调节模块，用于根据所述亮度和/或色度调节参数，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节；
所述第一电子设备还包括第二显示模块，用于显示所述调节后的所述当前即时视频帧。
结合第六方面，在第二种可能的实现方式中，
所述生成模块具体用于：
将所述当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
结合第六方面的第二种可能的实现方式，在第三种可能的实现方式中，
所述生成模块还包括计算模块、确定模块、标记模块和统计模块；
所述计算模块用于计算所述每个宏块的方差；
所述确定模块用于根据所述方差的计算结果，确定重要宏块和非重要宏块；
所述标记模块用于标记所述重要宏块中的每个像素为所述重要像素；
所述标记模块还用于标记所述非重要宏块中的每个像素为非重要像素；
统计模块用于统计所述每个宏块中所述重要像素的数量。
结合第六方面的第三种可能的实现方式，在第四种可能的实现方式中，
所述生成模块还包括检测模块；
所述检测模块用于对所述重要宏块进行皮肤颜色检测；
所述标记模块用于根据检测结果，将所述重要宏块中的不符合的像素标记为非重要像素。
结合第六方面的第三种或第四种可能的实现方式，在第五种可能的实现方式中，
所述生成模块还包括模糊处理模块，用于对所述重要宏块进行模糊处理。
结合第六方面的第二种至第四种任意一项可能的实现方式，在第六种可能的实现方式中，
所述平滑处理模块具体用于根据所述重要性矩阵，对所述当前即时视频帧中的所述标记的重要像素进行平滑处理。
结合第六方面的第二种至第四种任意一项可能的实现方式，在第七种可能的实现方式中，
所述编码模块具体用于：
根据所述每个宏块中所述标记为重要像素的数量为所述平滑后的当前即时视频帧的所述每个宏块分配码率；
根据所述分配的码率，对所述平滑后的当前即时视频帧进行编码。
结合第六方面的第一种可能的实现方式，在第八种可能的实现方式中，
所述第二调节模块具体用于使用拉格朗日差值法，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
结合第六方面，在第九种可能实现的方式中，
所述第一调节模块具体用于使用拉格朗日差值法，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种即时视频中的人脸美化方法、设备及系统。该方法包括：发送方获取当前即时视频帧，根据当前即时视频帧生成当前即时视频帧的重要性矩阵；发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码；发送方获取当前即时视频帧的亮度和/或色度调节参数；发送方向接收方发送编码后的当前即时视频帧以及亮度和/或色度调节参数；接收方解码编码后的当前即时视频帧；接收方根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节；以及接收方显示调节后的当前即时视频帧。本发明通过发送方根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率；另外，接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种即时视频中的人脸美化方法流程图；
图2是本发明实施例提供的一种即时视频中的人脸美化方法流程图；
图3是本发明实施例提供的一种即时视频中的人脸美化方法流程图；
图4是本发明实施例提供的一种即时视频中的人脸美化方法流程图；
图5是本发明实施例提供的电子设备结构示意图；
图6是本发明实施例提供的电子设备结构示意图；
图7是本发明实施例提供的电子设备结构示意图；
图8是本发明实施例提供的电子设备结构示意图；
图9是本发明实施例提供的一种即时视频中的人脸美化系统示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种即时视频中的人脸美化方法，该方法用于一种至少包括两个电子设备的交互系统，其中，在该交互系统中，该至少两个电子设备通过运行自身所存储的应用程序实现即时视频的交互，电子设备至少包括发送/接收模块、视频输入模块以及具有触控功能的显示模块，该视频输入模块包括摄像头，显示模块可以包括显示屏，电子设备通过发送/接收模块实现即时视频以及其他数据的发送与接收，通过视频输入模块实现即时视频的获取，通过具有触控功能的显示模块实现即时视频的显示以及获取用户触发的指令。
该电子设备可以是智能手机、平板电脑或可穿戴设备，本发明实施例对具体的电子设备不加以限定；另外，在即时视频交互过程中，包括即时视频在内的数据传输可以是通过点对点的方式实现的，也可以是通过服务器中转的方式实现的，本发明实施例对具体的数据传输方式不加以限定。
值得注意的是，上述交互系统仅仅是示例性的，是为了进一步说明本发明实施例所提供的方法，并非特指，本发明实施例对具体的交互系统不加以限定。
实施例一
本发明实施例提供了一种即时视频中的人脸美化方法，参照图1所示，该方法流程包括：
101、发送方获取当前即时视频帧，根据当前即时视频帧生成当前即时视频帧的重要性矩阵。
具体的，生成当前即时视频帧的重要性矩阵包括：
将当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据每个宏块中重要像素的数量，生成当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
可选的，获取每个宏块中标记为重要像素的数量包括：
计算每个宏块的方差；
根据方差的计算结果，确定重要宏块和非重要宏块；
标记重要宏块中的每个像素为重要像素；
标记非重要宏块中的每个像素为非重要像素；
统计每个宏块中重要像素的数量。
可选的，在标记和统计步骤之间，该方法还包括：
对重要宏块进行皮肤颜色检测；
根据检测结果，将重要宏块中的不符合的像素标记为非重要像素。
可选的，在标记和统计步骤之间，该方法还包括：
对重要宏块进行模糊处理。
102、发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码。
具体的，发送方根据重要性矩阵，对当前即时视频帧进行平滑处理包括：
发送方根据重要性矩阵，对当前即时视频帧中的标记的重要像素进行平滑处理。
对平滑后的当前即时视频帧进行编码包括：
发送方根据每个宏块中标记为重要像素的数量为平滑后的当前即时视频帧的每个宏块分配码率；
根据分配的码率，对平滑后的当前即时视频帧进行编码。
103、发送方获取当前即时视频帧的亮度和/或色度调节参数。
104、发送方向接收方发送编码后的当前即时视频帧以及亮度和/或色度调节参数。
105、接收方解码编码后的当前即时视频帧。
106、接收方根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节。
具体的，接收方使用拉格朗日差值法，对解码后的当前即时视频帧进行亮度和/或色度调节。
107、接收方显示调节后的当前即时视频帧。
可选的，方法还包括：
发送方根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节。
具体的，发送方使用拉格朗日差值法，对平滑后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种即时视频中的人脸美化方法，通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率；另外，接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
实施例二
本发明实施例提供了一种即时视频中的人脸美化方法，在本发明实施例中，方法的执行主体为即时视频过程中的即时视频的发送方，参照图2所示，该方法流程包括：
201、发送方获取当前即时视频帧。
其中，发送方包括发送方电子设备。
具体的，该发送方电子设备可以根据预设的视频帧获取指令，通过摄像头获取当前视频帧，本发明实施例对具体的获取指令与获取方式不加以限定。
202、根据当前即时视频帧生成当前即时视频帧的重要性矩阵。
具体的，生成当前即时视频帧的重要性矩阵的过程可以包括：
A、将当前即时视频帧划分为N乘以N个的宏块。
示例性的，将当前即时视频帧划分为4乘以4个的宏块，或8乘以8个的宏块，或16乘以16个的宏块，还可以是其他，此处不再一一进行列举，具体划分方式根据实际应用具体设置。
可选的，该将当前即时视频帧划分为N乘以N个的宏块的过程还可以通过一下方式进行替换，该能够替换的方法包括：
检测当前即时视频帧中的人脸所在的矩形区域；
将该矩形区域划分为K乘以K个的宏块。
通过检测当前即时视频帧中的人脸所在的矩形区域，将该矩形区域划分为K乘以K个的宏块，从而无需将整个即时视频帧进行划分，从而提高了计算的效率。
需要说明的是，上述N与K可以相同，也可以不同，本发明实施例对N与K的具体数值设置不加以限定。
B、获取每个宏块中标记为重要像素的数量。
具体的，该过程可以包括：
a、计算每个宏块的方差。
方差可以用s2表示，计算公式如下：
Figure BDA0000890938920000161
其中，该公式中(i,j)表示宏块中像素的坐标，pixel(i,j)表示坐标处的像素值，0≤i≤m，0≤j≤n，M表示宏块的像素平均值。
b、根据方差的计算结果，确定重要宏块和非重要宏块。
具体的，当计算结果小于第一预设阈值或大于第二预设阈值时，为非重要宏块，计算结果大于等于该第一预设阈值且小于等于该第二预设阈值，为重要宏块。
第一预设阈值可以用δ1表示，第二预设阈值可以用δ2表示，则当：
s2＜δ1时或s2＞δ1时，表示该宏块为非重要宏块；
δ1≤s2≤δ2时，表示该宏块为重要宏块。
δ1与δ2根据实际经验进行获取，本发明实施例对具体的δ1与δ2数值不加以限定。
示例性的，第一预设阈值δ1可以为5300，第二预设阈值δ2可以为61000。
c、标记重要宏块中的每个像素为重要像素。
d、标记非重要宏块中的每个像素为非重要像素。
示例性的，将重要宏块中的每个像素标记为1，将非重要宏块中的每个像素标记为0。
可选的，在标记和统计步骤之间，该方法还包括：
对重要宏块进行皮肤颜色检测；
具体的，该过程可以包括：
在RGB颜色空间下，检测每个重要宏块中的每个像素的R值和B值。
根据检测结果，将重要宏块中的不符合的像素标记为非重要像素；
具体的，不符合的像素可以是R值小于等于B值的像素，将重要宏块中的R值小于等于B值的像素标记为非重要像素，除此之外，还可以通过其他方式将重要宏块中的不符合的像素标记为非重要像素，本发明实施例对该方式不加以限定。
可选的，在标记和统计步骤之间，该方法还包括：
对重要宏块进行模糊处理。
其中，模糊处理可以是高斯模糊处理。
具体的，根据预设的模糊半径，对重要宏块进行高斯模糊处理，该过程可以包括：
根据预设的模糊半径，生成高斯核函数，该高斯核函数的公式可以参照以下所示：
Figure BDA0000890938920000181
其中，r表示模糊半径，σ表示正态分布的标准差。
根据该高斯核函数，对该当前即时视频帧的人脸图像进行卷积操作。
示例性的，模糊半径为可以为3或5或7。
值得注意的是，模糊半径可以根据实际应用具体设置，本发明实施例对具体的模糊半径不加以限定。
需要说明的是，此处也可以选择其他的方式对重要宏块进行模糊处理，本发明实施例对具体的模糊处理的方式不加以限定。
通过对标记的重要像素进行高斯模糊处理，能够去除边界影响，提高平滑处理的效率和质量，从而进一步提高人脸美化的美化效率，提高视频质量。
d、统计每个宏块中重要像素的数量。
示例性的，统计每个宏块中标记为1的像素的数量。
C、根据每个宏块中重要像素的数量，生成当前即时视频帧的重要性矩阵。
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
示例性的，根据每个宏块中标记为1的像素的数量和标记为0的像素的数量，生成当前即时视频帧的重要性矩阵，其中，如下所示为生成的与某个宏块对应的重要性矩阵：
1111111111111
1111000001111
1111100001111
1111111111111
1111111111111
需要说明的是，上述由1和0生成的某个宏块的重要性矩阵只是示例性的，生成当前即时视频帧的重要性矩阵根据即时视频帧具体生成。
203、发送方根据重要性矩阵，对当前即时视频帧进行平滑处理。
具体的，发送方根据重要性矩阵，对当前即时视频帧中的标记的重要像素进行平滑处理。
其中，可以使用双边滤波进行平滑处理，也可以使用非线性滤波进行平滑处理，还可以通过其他方式进行平滑滤波，本发明实施例对具体的平滑滤波的方式不加以限定。
通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，而无需对重要性矩阵区域外的区域进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验。
204、对平滑后的当前即时视频帧进行编码。
具体的，该过程包括：
发送方根据每个宏块中标记为重要像素的数量为平滑后的当前即时视频帧的每个宏块分配码率；
具体的，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要，为平滑后的对应的宏块分配的码率越多，相反的，每个宏块中标记为重要像素的数量越少，为平滑后的对应的宏块分配的码率越少。
示例性的，根据线性权重分配每个宏块的码率。
根据分配的码率，对平滑后的当前即时视频帧进行编码；
具体的，根据视频帧中每个宏块分配的码率，对平滑后的当前即时视频中对应的宏块的编码参数进行调节，该调节的编码参数可以是编码过程中的量化参数。
根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率。
205、发送方获取当前即时视频帧的亮度和/或色度调节参数。
具体的，根据用户触发的获取指令进行获取，也可以即时视频过程中进行人脸美化的默认设置进行获取，还可以通过其他方式进行获取，本发明实施实施例对具体的获取方式不加以限定。
其中，该亮度和/或色度调节参数可以是插值曲线，例如二次函数曲线。
示例性的，该二次函数曲线可以是由[0，0]，[100，110]和[255，255]确定的二次曲线。还示例的，亮度和/或色度调节参数可以是确定该二次曲线的三个点，例如[0，0]，[100，110]和[255，255]。
需要说明的是，该步骤可以是在204步骤之后执行，也可以是在执行步骤201的同时执行，还可以是在201步骤至204步骤的过程中执行，本发明实施例对具体的步骤205的执行顺序不加以限定。
206、发送方发送编码后的当前即时视频帧以及亮度和/或色度调节参数。
本发明实施例对具体的发送方式不加以限定。
207、发送方根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节。
具体的，发送方使用拉格朗日插值法，对平滑后的当前即时视频帧进行亮度和/或色度调节，调节方式可以如下：
计算每个像素点在插值曲线上的值，获取对应的亮度和/或色度值。
示例性的，若该二次曲线是由[0，0]，[100，110]和[255，255]确定的曲线，则计算每个像素点在该曲线上对应的值，获取亮度和/或色度调节值。还示例的，亮度和/或色度调节参数可以是确定该二次曲线的三个点，例如[0，0]，[100，110]和[255，255]，根据亮度和/或色度调节参数，确定该二次曲线，然后计算每个像素点在该二次曲线上对应的值，获取对应的亮度和/或色度调节值。
需要说明的是，步骤206和步骤207可以是按照上述顺序执行，也可以是同时执行步骤206和步骤207，还可以是其他执行顺序，本发明实施例对具体的步骤206和步骤207的执行顺序不加以限定。
208、发送方显示调节后的当前即时视频帧。
本发明实施例对具体的显示方式不加以限定。
本发明实施例提供了一种即时视频中的人脸美化方法，通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率。
实施例三
本发明实施例提供了一种即时视频中的人脸美化方法，在本发明实施例中，方法的执行主体为即时视频过程中的即时视频的接收方，参照图3所示，该方法流程包括：
301、接收方接收来自发送方的编码后的当前即时视频帧以及亮度和/或色度调节参数。
本发明实施例对具体的显示方式不加以限定。
302、接收方解码编码后的当前即时视频帧。
具体的，该接收方根据当前即时视频帧的每个宏块对应的量化参数进行解码。
303、接收方根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节。
具体的，接收方使用拉格朗日插值法，对解码后的当前即时视频帧进行亮度和/或色度调节。
其中，具体的调节方式与实施例二中步骤207中所述的调节方式相同，此处不再加以赘述。
304、接收方显示调节后的当前即时视频帧。
本发明实施例对具体的显示方式不加以限定。
本发明实施例提供了一种即时视频中的人脸美化方法，接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
实施例四
本发明实施例提供了一种即时视频中的人脸美化方法，在本发明实施例中，对应的方法为即时视频过程中的即时视频的发送方和接收方的交互过程，参照图4所示，该方法流程包括：
401、发送方获取当前即时视频帧。
具体的，该步骤与实施例二中的步骤201相同，此处不再加以赘述。
402、发送方根据当前即时视频帧生成当前即时视频帧的重要性矩阵。
具体的，该步骤与实施例二中的步骤202相同，此处不再加以赘述。
403、发送方根据重要性矩阵，对当前即时视频帧进行平滑处理。
具体的，该步骤与实施例二中的步骤203相同，此处不再加以赘述。
404、发送方对平滑后的当前即时视频帧进行编码。
具体的，该步骤与实施例二中的步骤204相同，此处不再加以赘述。
405、发送方获取当前即时视频帧的亮度和/或色度调节参数。
具体的，该步骤与实施例二中的步骤205相同，此处不再加以赘述。
需要说明的是，该步骤可以是在404步骤之后执行，也可以时在执行步骤401的同时执行，还可以是在401步骤至404步骤的过程中执行，本发明实施例对具体的步骤405的执行顺序不加以限定。
406、发送方向接收方发送编码后的当前即时视频帧以及亮度和/或色度调节参数。
具体的，该步骤与实施例二中的步骤206相同，此处不再加以赘述。
407、发送方根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节。
具体的，该步骤与实施例二中的步骤207相同，此处不再加以赘述。
需要说明的是，步骤406和步骤47可以是按照上述顺序执行，也可以是同时执行步骤406和步骤407，还可以是其他执行顺序，本发明实施例对具体的步骤406和步骤407的执行顺序不加以限定。
可选的，方法还包括：
发送方显示调节后的当前即时视频帧。
408、接收方接收发送方发送的编码后的当前即时视频帧以及亮度和/或色度调节参数。
具体的，该步骤与实施例三中的步骤301相同，此处不再加以赘述。
409、接收方解码编码后的当前即时视频帧。
具体的，该步骤与实施例三中的步骤302相同，此处不再加以赘述。
4010、接收方根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节。
具体的，该步骤与实施例三中的步骤303相同，此处不再加以赘述。
4011、接收方显示调节后的当前即时视频帧。
具体的，该步骤与实施例三中的步骤304相同，此处不再加以赘述。
本发明实施例提供了一种即时视频中的人脸美化方法，通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率；另外，接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
实施例五
本发明实施例提供了一种电子设备，参照图5所示，该电子设备5包括：
获取模块51，用于获取当前即时视频帧；
生成模块52，用于根据当前即时视频帧生成当前即时视频帧的重要性矩阵；
平滑处理模块53，用于根据重要性矩阵，对当前即时视频帧进行平滑处理；
编码模块54，用于对平滑后的当前即时视频帧进行编码；
获取模块51，还用于获取当前即时视频帧的亮度和/或色度调节参数；
发送模块55，用于发送编码后的当前即时视频帧和亮度和/或色度调节参数。
可选的，设备还包括调节模块56，用于根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节；
设备还包括显示模块57，用于显示调节后的当前即时视频帧。
可选的，生成模块52具体用于：
将当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据每个宏块中重要像素的数量，生成当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
可选的，生成模块52还包括计算模块521、确定模块522、标记模块523和统计模块524；
计算模块521用于计算每个宏块的方差；
确定模块522用于根据方差的计算结果，确定重要宏块和非重要宏块；
标记模块523用于标记重要宏块中的每个像素为重要像素；
标记模块523还用于标记非重要宏块中的每个像素为非重要像素；
统计模块524用于统计每个宏块中重要像素的数量。
可选的，生成模块52还包括检测模块525；
检测模块525用于对重要宏块进行皮肤颜色检测；
标记模块523用于根据检测结果，将重要宏块中的不符合的像素标记为非重要像素。
可选的，生成模块52还包括模糊处理模块526，用于对重要宏块进行模糊处理。
可选的，平滑处理模块53具体用于根据重要性矩阵，对当前即时视频帧中的标记的重要像素进行平滑处理。
可选的，编码模块54具体用于：
根据每个宏块中标记为重要像素的数量为平滑后的当前即时视频帧的每个宏块分配码率；
根据分配的码率，对平滑后的当前即时视频帧进行编码。
可选的，调节模块56具体用于使用拉格朗日差值法，对平滑后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种电子设备，该电子设备通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率。
实施例六
本发明实施例提供了一种电子设备，参照图6所示，该电子设备6包括：
接收模块61，用于接收交互的设备发送的编码后的当前即时视频帧和亮度和/或色度调节参数。
解码模块62，用于解码编码后的当前即时视频帧；
调节模块63，用于根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节；
显示模块64，用于显示调节后的当前即时视频帧。
可选的，调节模块63具体用于使用拉格朗日差值法，对解码后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种电子设备，该电子设备通过接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
实施例七
本发明实施例提供了一种电子设备，参照图7所示，电子设备包括显示屏71、摄像头72、发送/接收模块73、存储器74以及与显示屏71、摄像头72、发送/接收模块73、存储器74连接的处理器75，其中，存储器74用于存储一组程序代码，处理器75调用存储器74所存储的程序代码用于执行以下操作：
获取当前即时视频帧，根据当前即时视频帧生成当前即时视频帧的重要性矩阵；
根据重要性矩阵，对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码；
获取当前即时视频帧的亮度和/或色度调节参数；
发送编码后的当前即时视频帧以及亮度和/或色度调节参数。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
将当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据每个宏块中重要像素的数量，生成当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
计算每个宏块的方差；
根据方差的计算结果，确定重要宏块和非重要宏块；
标记重要宏块中的每个像素为重要像素；
标记非重要宏块中的每个像素为非重要像素；
统计每个宏块中重要像素的数量。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
对重要宏块进行皮肤颜色检测；
根据检测结果，将重要宏块中的不符合的像素标记为非重要像素。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
对重要宏块进行模糊处理。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
根据重要性矩阵，对当前即时视频帧中的标记的重要像素进行平滑处理。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
根据每个宏块中标记为重要像素的数量为平滑后的当前即时视频帧的每个宏块分配码率；
根据分配的码率，对平滑后的当前即时视频帧进行编码。
可选的，处理器75调用存储器74所存储的程序代码用于执行以下操作：
使用拉格朗日差值法，对平滑后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种电子设备，该电子设备通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率。
实施例八
本发明实施例提供了一种电子设备，参照图8所示，电子设备包括显示屏81、发送/接收模块82、存储器83以及与显示屏81、发送/接收模块82、存储器83连接的处理器84，其中，存储器83用于存储一组程序代码，处理器84调用存储器83所存储的程序代码用于执行以下操作：
接收交互的设备发送的编码后的当前即时视频帧和亮度和/或色度调节参数；
解码编码后的当前即时视频帧；
根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节；
显示调节后的当前即时视频帧。
可选的，处理器84调用存储器83所存储的程序代码用于执行以下操作：
使用拉格朗日差值法，对解码后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种电子设备，该电子设备通过接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
实施例九
本发明实施例提供了一种在即时视频中的人脸美化系统，参照图9所示，系统9包括第一电子设备91和第二电子设备92，其中，
第一电子设备91包括：
获取模块911，用于获取当前即时视频帧；
生成模块912，用于根据当前即时视频帧生成当前即时视频帧的重要性矩阵；
平滑处理模块913，用于根据重要性矩阵，对当前即时视频帧进行平滑处理；
编码模块914，用于对平滑后的当前即时视频帧进行编码；
获取模块911，还用于获取当前即时视频帧的亮度和/或色度调节参数；
发送模块915，用于发送编码后的当前即时视频帧和亮度和/或色度调节参数。
第二电子设备92包括：
接收模块921，用于接收编码后的当前即时视频帧和亮度和/或色度调节参数；
解码模块922，用于解码编码后的当前即时视频帧；
第一调节模块923，用于根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节；
第一显示模块924，用于显示调节后的当前即时视频帧。
可选的，
第一电子设备91还包括第二调节模块916，用于根据亮度和/或色度调节参数，对平滑后的当前即时视频帧进行亮度和/或色度调节；
第一电子设备91还包括第二显示模块917，用于显示调节后的当前即时视频帧。
可选的，
生成模块912具体用于：
将当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据每个宏块中重要像素的数量，生成当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
可选的，
生成模块912还包括计算模块、确定模块、标记模块和统计模块；
计算模块用于计算每个宏块的方差；
确定模块用于根据方差的计算结果，确定重要宏块和非重要宏块；
标记模块用于标记重要宏块中的每个像素为重要像素；
标记模块还用于标记非重要宏块中的每个像素为非重要像素；
统计模块用于统计每个宏块中重要像素的数量。
可选的，
生成模块912还包括检测模块；
检测模块用于对重要宏块进行皮肤颜色检测；
标记模块用于根据检测结果，将重要宏块中的不符合的像素标记为非重要像素。
可选的，
生成模块912还包括模糊处理模块，用于对重要宏块进行模糊处理。
可选的，
平滑处理模块913具体用于根据重要性矩阵，对当前即时视频帧中的标记的重要像素进行平滑处理。
可选的，
编码模块914具体用于：
根据每个宏块中标记为重要像素的数量为平滑后的当前即时视频帧的每个宏块分配码率；
根据分配的码率，对平滑后的当前即时视频帧进行编码。
可选的，
第二调节模块916具体用于使用拉格朗日差值法，对平滑后的当前即时视频帧进行亮度和/或色度调节。
可选的，
第一调节模块923具体用于使用拉格朗日差值法，对解码后的当前即时视频帧进行亮度和/或色度调节。
本发明实施例提供了一种在即时视频中的人脸美化系统，该系统通过发送方根据重要性矩阵，对当前即时视频帧进行平滑处理，因为通过重要性矩阵对当前即时视频帧进行平滑处理，这样提高了视频帧平滑处理的效率，从而提高了即时视频的美化效率，提高了用户体验；同时，根据重要性矩阵对当前即时视频帧进行平滑处理，以及对平滑后的当前即时视频帧进行编码，这样能够根据平滑后的当前即时视频帧中不同区域的重要性分配码率以编码，这样使得人脸美化与视频编码公用一套重要性矩阵，提高了计算效率，进一步提高了视频的美化效率，同时因为编码是根据重要性矩阵进行分配码率，使得即时视频帧中的重要区域多分配码率，而非重要区域分配较少的码率，这样避免了传输码率的升高，同时保证了视频传输质量，从而提高了用户体验，提高了即时视频中进行美化的效率；另外，接收方解码编码后的当前即时视频帧，并根据亮度和/或色度调节参数，对解码后的当前即时视频帧进行亮度和/或色度调节，以及接收方显示调节后的当前即时视频帧，这样使得亮度和/或色度调节在解码端完成，有利于解决对视频帧平滑处理的同时进行亮度和/或色度调节导致的码率升高的问题，从而进一步提高了即时视频过程中美化的效率，同时避免了由于亮度调节对带宽的占用，无需根据亮度调节对即时视频帧进行编码，提高了视频传输速度和质量，提高了用户体验。
本发明实施例提供了一种在即时视频中的人脸美化系统，
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
值得注意的是，上述实施例中的“第一”、“第二”仅仅是示例性的，并非特指。
需要说明的是：上述实施例提供的电子设备在执行即时视频中的人脸美化方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与执行即时视频中的人脸美化方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种即时视频中的人脸美化方法，其特征在于，所述方法包括：
发送方获取当前即时视频帧，根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；
所述发送方根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理，以及对所述平滑后的当前即时视频帧进行编码；
所述发送方获取所述当前即时视频帧的亮度和/或色度调节参数；
所述发送方向接收方发送所述编码后的所述当前即时视频帧以及所述亮度和/或色度调节参数；
所述接收方解码所述编码后的所述当前即时视频帧；
所述接收方根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；以及
所述接收方显示所述调节后的所述当前即时视频帧；
其中，所述生成所述当前即时视频帧的重要性矩阵包括：
将所述当前即时视频帧划分为N乘以N个的宏块；
获取每个宏块中标记为重要像素的数量；
根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵；
其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述发送方根据所述亮度和/或色度调节参数，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
3.根据权利要求1所述的方法，其特征在于，所述获取每个宏块中标记为重要像素的数量包括：
计算所述每个宏块的方差；
根据所述方差的计算结果，确定重要宏块和非重要宏块；
标记所述重要宏块中的每个像素为所述重要像素；
标记所述非重要宏块中的每个像素为非重要像素；
统计所述每个宏块中所述重要像素的数量。
4.根据权利要求3所述的方法，其特征在于，在所述标记和统计步骤之间，所述方法还包括：
对所述重要宏块进行皮肤颜色检测；
根据检测结果，将所述重要宏块中的不符合的像素标记为所述非重要像素。
5.根据权利要求3或4所述的方法，其特征在于，在所述标记和统计步骤之间，所述方法还包括：
对所述重要宏块进行模糊处理。
6.根据权利要求1所述的方法，其特征在于，所述发送方根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理包括：
所述发送方根据所述重要性矩阵，对所述当前即时视频帧中的所述标记的重要像素进行平滑处理。
7.根据权利要求1所述的方法，其特征在于，所述对所述平滑后的当前即时视频帧进行编码包括：
所述发送方根据所述每个宏块中所述标记为重要像素的数量为所述平滑后的当前即时视频帧的所述每个宏块分配码率；
根据所述分配的码率，对所述平滑后的当前即时视频帧进行编码。
8.根据权利要求1或2所述的方法，其特征在于，
所述接收方使用拉格朗日差值法，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；或者
所述发送方使用拉格朗日差值法，对所述平滑后的所述当前即时视频帧进行亮度和/或色度调节。
9.一种电子设备，其特征在于，所述设备包括：
获取模块，用于获取当前即时视频帧；
生成模块，用于根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；其中，所述生成模块将所述当前即时视频帧划分为N乘以N个的宏块，获取每个宏块中标记为重要像素的数量，根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵，其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要；
平滑处理模块，用于根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理；
编码模块，用于对所述平滑后的当前即时视频帧进行编码；
所述获取模块，还用于获取所述当前即时视频帧的亮度和/或色度调节参数；
发送模块，用于发送所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数。
10.一种电子设备，其特征在于，所述设备包括：
接收模块，用于接收如权利要求9所述的电子设备发送的编码后的当前即时视频帧和亮度和/或色度调节参数；
解码模块，用于解码所述编码后的所述当前即时视频帧；
调节模块，用于根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；
显示模块，用于显示所述调节后的所述当前即时视频帧。
11.一种即时视频中的人脸美化系统，其特征在于，所述系统包括第一电子设备和第二电子设备，其中，
所述第一电子设备包括：
获取模块，用于获取当前即时视频帧；
生成模块，用于根据所述当前即时视频帧生成所述当前即时视频帧的重要性矩阵；其中，所述生成模块将所述当前即时视频帧划分为N乘以N个的宏块，获取每个宏块中标记为重要像素的数量，根据所述每个宏块中重要像素的数量，生成所述当前即时视频帧的重要性矩阵，其中，每个宏块中标记为重要像素的数量越多，表示对应的宏块越重要；
平滑处理模块，用于根据所述重要性矩阵，对所述当前即时视频帧进行平滑处理；
编码模块，用于对所述平滑后的当前即时视频帧进行编码；
所述获取模块，还用于获取所述当前即时视频帧的亮度和/或色度调节参数；
发送模块，用于发送所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数；
所述第二电子设备包括：
接收模块，用于接收所述编码后的所述当前即时视频帧和所述亮度和/或色度调节参数；
解码模块，用于解码所述编码后的所述当前即时视频帧；
第一调节模块，用于根据所述亮度和/或色度调节参数，对所述解码后的所述当前即时视频帧进行亮度和/或色度调节；
第一显示模块，用于显示所述调节后的所述当前即时视频帧。
CN201510995997.3A 2015-12-25 2015-12-25 一种即时视频中的人脸美化方法、设备及系统 Active CN106921840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510995997.3A CN106921840B (zh) 2015-12-25 2015-12-25 一种即时视频中的人脸美化方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510995997.3A CN106921840B (zh) 2015-12-25 2015-12-25 一种即时视频中的人脸美化方法、设备及系统

Publications (2)

Publication Number Publication Date
CN106921840A CN106921840A (zh) 2017-07-04
CN106921840B true CN106921840B (zh) 2020-01-07

Family

ID=59454819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510995997.3A Active CN106921840B (zh) 2015-12-25 2015-12-25 一种即时视频中的人脸美化方法、设备及系统

Country Status (1)

Country Link
CN (1) CN106921840B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182351A (zh) * 2020-03-17 2020-05-19 惠州Tcl移动通信有限公司 一种视频播放处理方法、装置、存储介质及终端
CN111861868B (zh) * 2020-07-15 2023-10-27 广州光锥元信息科技有限公司 用于视频中人像美化的图像处理方法及装置
CN114598902B (zh) * 2022-03-09 2023-12-22 安徽文香科技股份有限公司 一种视频帧处理方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012088403A3 (en) * 2010-12-22 2012-10-11 Seyyer, Inc. Video transmission and sharing over ultra-low bitrate wireless communication channel
CN104486606A (zh) * 2014-12-30 2015-04-01 广州博冠信息科技有限公司 调整图像亮度和对比度的方法及其装置
CN104574306A (zh) * 2014-12-24 2015-04-29 掌赢信息科技（上海）有限公司 一种即时视频中的人脸美化方法和电子设备
CN104754276A (zh) * 2013-12-26 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104967914A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备
CN104967917A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012088403A3 (en) * 2010-12-22 2012-10-11 Seyyer, Inc. Video transmission and sharing over ultra-low bitrate wireless communication channel
CN104754276A (zh) * 2013-12-26 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104574306A (zh) * 2014-12-24 2015-04-29 掌赢信息科技（上海）有限公司 一种即时视频中的人脸美化方法和电子设备
CN104486606A (zh) * 2014-12-30 2015-04-01 广州博冠信息科技有限公司 调整图像亮度和对比度的方法及其装置
CN104967914A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备
CN104967917A (zh) * 2015-06-19 2015-10-07 美国掌赢信息科技有限公司 一种即时视频的编码方法和电子设备

Also Published As

Publication number Publication date
CN106921840A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
EP3171596B1 (en) Image compression with adaptive quantization of regions of interest (roi)
CN110876060B (zh) 一种编码过程中的码率调整方法及装置
WO2016110188A1 (zh) 一种即时视频中的人脸美化方法和电子设备
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
WO2017041551A1 (zh) 基于spice协议的图像传输方法及装置
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
WO2012138568A1 (en) System and method for encoding and decoding anti-aliased video data
KR20180072548A (ko) 이미지 데이터의 인코딩 및 디코딩
GB2568326A (en) Video image processing
CN102783153A (zh) 信号处理装置以及动态图像拍摄装置
CN107027030B (zh) 一种码率分配方法及其设备
US20170118489A1 (en) High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus
CN105049949A (zh) 一种即时视频的编码方法和电子设备
CN110740316A (zh) 数据编码方法及装置
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及系统
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN107409223B (zh) 视频编解码方法和视频编解码器
CN114786040B (zh) 数据通信方法、系统、电子设备和存储介质
CN105163195A (zh) 一种即时视频的编码方法和电子设备
CN114466228A (zh) 一种提高投屏显示流畅度的方法、设备及存储介质
CN114531615B (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN105049947A (zh) 一种即时视频的传输方法和电子设备
CN104994405A (zh) 一种即时视频的传输方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200715

Address after: 603a, block a, Xinghe world, No.1 Yabao Road, Longgang District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Weiwu Technology Co., Ltd

Address before: 200063, Shanghai, Putuo District, home on the first floor of the cross road, No. 28

Patentee before: Palmwin Information Technology (Shanghai) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210129

Address after: 518051 2503, building 15, Longhai homeland, 5246 Yihai Avenue, baonanshan District, Shenzhen City, Guangdong Province

Patentee after: Xiao Feng

Address before: 603a, block a, Xinghe world, No.1, Yabao Road, Longgang District, Shenzhen, Guangdong 518035

Patentee before: Shenzhen Weiwu Technology Co., Ltd

TR01 Transfer of patent right