CN112132764A - 脸型处理方法、装置、用户终端和计算机可读存储介质 - Google Patents

脸型处理方法、装置、用户终端和计算机可读存储介质 Download PDF

Info

Publication number
CN112132764A
CN112132764A CN202011035768.4A CN202011035768A CN112132764A CN 112132764 A CN112132764 A CN 112132764A CN 202011035768 A CN202011035768 A CN 202011035768A CN 112132764 A CN112132764 A CN 112132764A
Authority
CN
China
Prior art keywords
face
information
image
offset
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011035768.4A
Other languages
English (en)
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202011035768.4A priority Critical patent/CN112132764A/zh
Publication of CN112132764A publication Critical patent/CN112132764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种脸型处理方法、装置、用户终端和计算机可读存储介质，涉及图像处理领域。该方法应用于用户终端，该方法包括：获取目标对象的当前人脸姿态角信息和当前人脸姿态角信息对应直播图像；响应用户的操作，确定脸型修正基准；根据当前人脸姿态角信息将人脸点信息投影至人脸坐标系，得到目标对象的脸部轮廓点集；根据脸部轮廓点集，确定目标对象的脸型偏移信息；脸型偏移信息包括脸部轮廓点集中的每个脸部轮廓点与X轴之间的距离；根据脸型修正基准和脸型偏移信息对脸部轮廓进行修正，得到目标图像；脸部轮廓由人脸点信息确定。根据目标对象的当前人脸姿态角信息对目标对象的脸部轮廓进行修正，实现对目标对象的美颜。

Description

脸型处理方法、装置、用户终端和计算机可读存储介质
技术领域
本申请涉及图像处理领域，具体而言，涉及一种脸型处理方法、装置、用户终端和计算机可读存储介质。
背景技术
随着互联网技术的发展和通信功能的提高，图像不仅用于展示，还用于提供更多的信息给图像的查看者，而人脸图像处理占据了当前的大部分图像处理场景。
网络直播在进行照片拍摄时，由于人脸存在一些天然的不对称情况，所以从视觉上看起来不够自然；而目前的人脸处理仅有瘦脸、削脸等，其无法达到对脸部轮廓进行对称修正。因此，如何对人脸图像进行处理，实现人脸脸型的修正是目前亟需解决的问题。
发明内容
本申请的目的包括，例如，提供了一种脸型处理方法、装置、用户终端和计算机可读存储介质，其能够根据目标对象的当前人脸姿态角信息对目标对象的脸部轮廓进行修正，实现对目标对象的美颜。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种脸型处理方法，应用于用户终端，所述方法包括：
获取目标对象的当前人脸姿态角信息和所述当前人脸姿态角信息对应直播图像；所述直播图像包括所述目标对象的人脸点信息；
响应用户的操作，确定脸型修正基准；
根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集；所述人脸坐标系为以所述目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；
根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息；所述脸型偏移信息包括所述脸部轮廓点集中的每个脸部轮廓点与所述X轴之间的距离；
根据所述脸型修正基准和所述脸型偏移信息对所述脸部轮廓进行修正，得到目标图像；所述脸部轮廓由所述人脸点信息确定。
在可选的实施例中，所述根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集，包括：
根据所述当前人脸姿态角信息获取坐标转换矩阵；所述坐标转换矩阵表征所述直播图像的每个图像坐标与所述人脸坐标系的坐标的对应关系；
根据所述坐标转换矩阵，确定所述人脸点信息在所述人脸坐标系中的三维坐标信息；
将所述三维坐标信息进行角度转换，得到所述人脸点信息对应的正脸坐标信息；
将所述正脸坐标信息中的边缘点信息作为所述脸部轮廓点集；所述脸部轮廓点集表征所述目标对象的正脸轮廓。
在可选的实施例中，根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息，包括：
以所述X轴为中心线，将所述脸部轮廓点集分为左脸轮廓点集和右脸轮廓点集；
将所述左脸轮廓点集中的每个轮廓点均与所述X轴做差，得到左脸偏移量；
将所述右脸轮廓点集中的每个轮廓点均与所述X轴做差，得到右脸偏移量；
获得所述脸型偏移信息；所述脸型偏移信息包括所述左脸偏移量和所述右脸偏移量。
在可选的实施例中，根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，得到目标图像，包括：
按照所述脸型偏移信息，将所述正脸坐标信息向所述脸型修正基准进行移位，得到对齐坐标信息；所述对齐坐标信息表征修正后的所述目标对象的正脸图像三维坐标信息；
根据所述坐标转换矩阵对所述对齐坐标信息进行处理，得到所述人脸点信息对应的待显示图像二维坐标信息；
解析所述待显示图像二维坐标信息，得到所述直播图像对应的目标图像。
在可选的实施例中，所述用户终端的交互界面显示有多个脸型对齐图形，所述多个脸型对齐图形与多种脸型对齐方式一一对应；
所述响应用户的操作，确定脸型修正基准，包括：
响应所述用户的操作，从所述多个脸型对齐图形中获取所述操作对应的目标脸型对齐图形；
将所述目标脸型对齐图形对应的目标脸型对齐方式作为所述脸型修正基准。
在可选的实施例中，所述多种脸型对齐方式包括中间对齐，所述脸型偏移信息包括左脸偏移量和右脸偏移量；
所述根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，得到目标图像，包括：
在所述目标脸型对齐方式为所述中间对齐的情况下，获取所述左脸偏移量和所述右脸偏移量的平均偏移量；
获得第一图像与第二图像；
其中，所述第一图像表征调整所述直播图像的左脸信息得到的图像信息，所述第一图像的左脸偏移量与所述平均偏移量一致；所述第二图像表征调整所述直播图像的右脸信息得到的图像信息，所述第二图像的右脸偏移量与所述平均偏移量一致；
将所述第一图像与所述第二图像融合，得到所述目标图像。
在可选的实施例中，所述多种脸型对齐方式还包括第一侧脸对齐；所述脸型偏移信息包括第一侧脸偏移量和第二侧脸偏移量，第一侧脸偏移量表征所述脸部轮廓点集中，位于所述X轴第一侧的每个脸部轮廓点与所述X轴之间的距离，第二侧脸偏移量表征所述脸部轮廓点集中，位于所述X轴第二侧的每个脸部轮廓点与所述X轴之间的距离；
所述根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，获取目标图像，包括：
在所述目标脸型对齐方式为所述第一侧脸对齐的情况下，保持所述第一侧脸偏移量不变并调整所述直播图像中的第二侧脸信息，得到所述目标图像；
其中，所述第二侧脸信息为所述人脸点信息中位于所述X轴第二侧的信息，所述第一侧脸偏移量与所述目标图像的第二侧脸偏移量一致。
第二方面，本申请实施例提供一种脸型处理装置，应用于用户终端，所述装置包括：
获取模块，用于获取目标对象的当前人脸姿态角信息和所述当前人脸姿态角信息对应直播图像；所述直播图像包括所述目标对象的人脸点信息；
处理模块，用于响应用户的操作，确定脸型修正基准；
投影模块，用于根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集；所述人脸坐标系为以所述目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；
确定模块，用于根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息；所述脸型偏移信息包括所述脸部轮廓点集中的每个脸部轮廓点与所述X轴之间的距离；
所述处理模块，还用于根据所述脸型修正基准和所述脸型偏移信息对所述脸部轮廓进行修正，得到目标图像；所述脸部轮廓由所述人脸点信息确定。
第三方面，本申请实施例提供一种用户终端，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现前述实施例中任意一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例中任意一项所述的方法。
相较于现有技术，本申请提供一种脸型处理方法、装置、用户终端和计算机可读存储介质，涉及图像处理领域。所述脸型处理方法应用于用户终端，所述方法包括：获取目标对象的当前人脸姿态角信息和所述当前人脸姿态角信息对应直播图像；所述直播图像包括所述目标对象的人脸点信息；响应用户的操作，确定脸型修正基准；根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集；所述人脸坐标系为以所述目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息；所述脸型偏移信息包括所述脸部轮廓点集中的每个脸部轮廓点与所述X轴之间的距离；根据所述脸型修正基准和所述脸型偏移信息对所述脸部轮廓进行修正，得到目标图像；所述脸部轮廓由所述人脸点信息确定。根据目标对象的当前人脸姿态角信息对目标对象的脸部轮廓进行修正，实现对目标对象的美颜。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种用户终端的方框示意图；
图2为本申请实施例提供的一种脸型处理方法的流程示意图；
图3为本申请实施例提供的一种人脸图像的示意图；
图4为本申请实施例提供的一种人脸坐标系的示意图；
图5为本申请实施例提供的另一种脸型处理方法的流程示意图；
图6为本申请实施例提供的另一种脸型处理方法的流程示意图；
图7为本申请实施例提供的另一种脸型处理方法的流程示意图；
图8为本申请实施例提供的一种用户终端的显示示意图；
图9为本申请实施例提供另一种脸型处理方法的流程示意图；
图10为本申请实施例提供另一种脸型处理方法的流程示意图；
图11为本申请实施例提供的一种脸型处理装置的方框示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
随着互联网技术的发展和通信功能的提高，图像不仅用于展示，还用于提供更多的信息给图像的查看者，而人脸图像处理占据了当前的大部分图像处理场景。网络直播在进行照片拍摄时，由于人脸存在一些天然的不对称情况，所以从视觉上看起来不够自然；而目前的人脸处理仅有瘦脸、削脸等，其无法达到对脸部轮廓进行对称修正。因此，如何对人脸图像进行处理，实现人脸脸型的修正是目前亟需解决的问题。
为了解决上述的问题，本申请实施例提供一种脸型处理方法，应用于用户终端，请参见图1，图1为本申请实施例提供的一种用户终端的方框示意图，该用户终端300可以包括处理器310，内部存储器321，摄像头393，显示屏394，以及用户标识模块(SubscriberIdentification Module，SIM)卡接口等。
本申请实施例提供的脸型处理方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)等终端上，本申请实施例对用户终端的具体类型不作任何限制。
可以理解的是，本申请实施例示意的结构并不构成对用户终端300的具体限定。在本申请另一些实施例中，用户终端300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(Application Processor，AP)，调制解调处理器，图形处理器(Graphics ProcessingUnit，GPU)，图像信号处理器(Image Signal Processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(Digital Signal Processor，DSP)，基带处理器，和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。处理器310中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器310的等待时间，因而提高了系统的效率。
在一些实施例中，处理器310可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口，集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口，脉冲编码调制(Pulse Code Modulation，PCM)接口，通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口，移动产业处理器接口(Mobile Industry Processor Interface，MIPI)，通用输入输出(General-PurposeInput/Output，GPIO)接口，用户标识模块(Subscriber Identity Module，SIM)接口，和/或通用串行总线(Universal Serial Bus，USB)接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对用户终端300的结构限定。在本申请另一些实施例中，用户终端300也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
用户终端300的无线通信功能可以通过天线，移动通信模块，无线通信模块，调制解调处理器以及基带处理器等实现。
用户终端300通过GPU，显示屏394，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏394和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏394用于显示图像，视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display，LCD)，有机发光二极管(Organic Light-EmittingDiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的，AMOLED)，柔性发光二极管(Flex Light-EmittingDiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(Quantum Dot LightEmitting Diodes，QLED)等。在一些实施例中，用户终端300可以包括1个或N个显示屏394，N为大于1的正整数。
用户终端300可以通过图像信号处理器(Image Signal Processor，ISP)，摄像头393，视频编解码器，GPU，显示屏394以及应用处理器等实现网络直播和视频拍摄功能。
摄像头393用于捕获静态图像或动态视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB、YUV等格式的图像信号。在一些实施例中，用户终端300可以包括1个或N个摄像头393，N为大于1的正整数。
内部存储器321可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令，从而执行用户终端300的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储用户终端300使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器321可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
用户终端300的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。
下面在图1示出的用户终端300的基础上，为了解决上述问题和背景技术提出的不足，本申请实施例提供一种脸型处理方法，如图2，图2为本申请实施例提供的一种脸型处理方法的流程示意图，该脸型处理方法应用于用户终端300，该脸型处理方法可以包括以下步骤：
S410，获取目标对象的当前人脸姿态角信息和当前人脸姿态角信息对应直播图像。
该直播图像包括目标对象的人脸点信息。该当前人脸姿态角信息可以通过用户终端300的摄像头393进行获取，该人脸点信息其可以是使用“68人脸关键点”或“49人脸关键点”等人脸关键点提取方法，对待处理图像进行人脸点信息提取后得到的。例如，若使用“68人脸关键点”对待处理图像进行人脸点信息提取，请参见图3，图3为本申请实施例提供的一种人脸图像的示意图，则该待处理图像的人脸点内轮廓信息即为标号28～68对应的人脸关键点，该待处理图像的人脸点外轮廓信息即为标号1～27对应的人脸关键点。
S420，响应用户的操作，确定脸型修正基准。
例如，若用户终端300为平板电脑或手机等具有触摸屏的移动终端，操作可以是用户通过与移动终端连接的输入设备输入的，如鼠标、键盘等，也可以是用户通过点击触摸屏生成的，还可以是用户在触摸屏上，通过指关节滑动预设的手势操作(如，指关节在触摸屏上按照“L”型的手势操作)生成的，该触摸屏可以与上述图1示出的显示屏394集成在一起，也可以与显示屏394分离设置。在另一种可能的情况下，移动终端可以具有隔空识别用户手势的传感器，用户可以隔空(即，用户与移动终端不直接接触)进行手势操作，以便移动终端确定操作对应的脸型修正基准。
S430，根据当前人脸姿态角信息将人脸点信息投影至人脸坐标系，得到目标对象的脸部轮廓点集。
该人脸坐标系为以目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系，该脸部轮廓点集表征目标对象的正脸轮廓。如图4，图4为本申请实施例提供的一种人脸坐标系的示意图，以目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系，该人脸坐标系的Y轴可以与地平线平行，该人脸坐标系的X-Y平面与目标图像的正面图像平行，该人脸坐标系的Z轴为与目标图像的正面图像垂直的直线。
S440，根据脸部轮廓点集，确定目标对象的脸型偏移信息。
该脸型偏移信息包括脸部轮廓点集中的每个脸部轮廓点与X轴之间的距离。例如，请继续参见图4，图4中对目标对象的部分脸部轮廓点进行了着重标记，以便显示脸部轮廓点与X轴之间的关系，该目标对象还具有其他的脸部轮廓点。
S450，根据脸型修正基准和脸型偏移信息对脸部轮廓进行修正，得到目标图像。
该脸部轮廓由人脸点信息确定；如，将人脸点信息的边缘点信息作为直播图像中目标对象的脸部轮廓。
例如，针对于上述的脸型修正基准，其可以包括，但不限于中间对齐，左脸对齐和右脸对齐等；左脸对齐为目标对象的左右脸投影到X轴上，计算左右脸投影的偏移量，以左脸为基准，将右脸移至于与左脸对齐；右脸对齐为目标对象的左右脸投影到X轴上，计算左右脸投影的偏移量，以右脸为基准，将左脸移至于与右脸对齐；中间对齐为目标对象的左右脸投影到X轴上，计算左右脸投影的中间值，并以其为基准，将左右脸都移至中间值对齐。
应理解，使用本申请实施例提供的脸型处理方法，可以根据目标对象的当前人脸姿态角信息对目标对象的人脸点信息进行处理，将目标对象的脸部轮廓进行修正，实现对目标对象的脸型修正，提高直播应用程序(Application，APP)的美颜效果。
若仅根据直播图像中的人脸点信息获取目标对象的脸部轮廓，其作为二维信息，在目标对象进行移动时，若直播图像中的人脸为侧脸，则难以准确的对目标对象的脸部进行修正，在可选的实施例中，为了解决上述问题，在图2的基础上，给出一种可能的实现方式，请参见图5，图5为本申请实施例提供的另一种脸型处理方法的流程示意图，针对于上述的S430：根据当前人脸姿态角信息将人脸点信息投影至人脸坐标系，得到目标对象的脸部轮廓点集，其可以包括：
S4301，根据当前人脸姿态角信息获取坐标转换矩阵。
该坐标转换矩阵表征直播图像的每个图像坐标与人脸坐标系的坐标的对应关系。
S4302，根据坐标转换矩阵，确定人脸点信息在人脸坐标系中的三维坐标信息。
例如，可以使用该坐标旋转矩阵将直播图像的每个图像坐标(二维坐标信息)与人脸坐标系的坐标(三维坐标信息)进行转换，以便提高脸型修正的准确度。
S4303，将三维坐标信息进行角度转换，得到人脸点信息对应的正脸坐标信息。
应理解，上述的三维坐标信息可以是目标对象相对于用户终端的图像获取单元(如图1示出的摄像头393)处于侧脸状态，将三维坐标信息进行角度转换，得到目标对象相对于图像获取单元(如图1示出的摄像头393)处于正脸状态下的正脸坐标信息，可以提高脸型修正的准确度。
S4304，将正脸坐标信息中的边缘点信息作为脸部轮廓点集。
该脸部轮廓点集表征目标对象的正脸轮廓。也就是说，对正脸坐标信息围成的区域获取边缘点，将边缘点信息作为脸部轮廓点集，即可根据脸部轮廓点集得到目标对象的脸部轮廓，进而实现对直播图像中脸部轮廓的修正。
在可选的实施例中，为了获取脸型偏移信息，在图5的基础上，给出一种可能的实现方式，请参见图6，图6为本申请实施例提供的另一种脸型处理方法的流程示意图，针对于上述的S440：根据脸部轮廓点集，确定目标对象的脸型偏移信息，其可以包括：
S4401，以X轴为中心线，将脸部轮廓点集分为左脸轮廓点集和右脸轮廓点集。
请继续参见图4，以人脸坐标系的X轴为中心线，左侧的多个脸部轮廓点划分为左脸轮廓点集，右侧的多个脸部轮廓点划分为右脸轮廓点集。
S4402，将左脸轮廓点集中的每个轮廓点均与X轴做差，得到左脸偏移量。
请继续参见图4，左侧的4根横线表示将左脸轮廓点集中的每个轮廓点均与X轴做差，得到的左脸偏移量。
S4403，将右脸轮廓点集中的每个轮廓点均与X轴做差，得到右脸偏移量。
请继续参见图4，右侧的4根横线表示将右脸轮廓点集中的每个轮廓点均与X轴做差，得到的右脸偏移量。
S4404，获得脸型偏移信息。
该脸型偏移信息包括左脸偏移量和右脸偏移量。亦即是说，脸部偏移信息包括了脸部轮廓点集中的每个脸部轮廓点与X轴之间的距离。
可以理解的，脸部偏移信息在人脸坐标系中进行表示，并利用脸部偏移信息对目标对象的脸部轮廓进行修正，并根据当前人脸姿态角信息对应的坐标旋转矩阵进行坐标转换，获取的目标图像脸型修正效果更为自然。
在可选的实施例中，为了使得到的目标图像的脸型修正效果更为自然，在图5的基础上，给出一种可能的实现方式，请参见图7，图7为本申请实施例提供的另一种脸型处理方法的流程示意图，针对于上述的S450：根据脸型修正基准和脸型偏移信息对目标对象的脸部轮廓进行修正，得到目标图像，其可以包括：
S4501，按照脸型偏移信息，将正脸坐标信息向脸型修正基准进行移位，得到对齐坐标信息。
该对齐坐标信息表征修正后的目标对象的正脸图像三维坐标信息。例如，若脸型修正基准为左脸，即按照目标对象的左脸进行脸型修正对齐，则以目标对象的左脸为基准，将右脸移至于与左脸对齐。
S4502，根据坐标转换矩阵对对齐坐标信息进行处理，得到人脸点信息对应的待显示图像二维坐标信息。
应理解，使用坐标转换矩阵对对齐坐标信息进行处理时，实质上使用的为坐标转换矩阵对应的逆矩阵，以便实现三维坐标信息向二维坐标信息的转换。
S4503，解析待显示图像二维坐标信息，得到直播图像对应的目标图像。
应理解，待显示图像二维坐标信息为目标对象的像素点坐标信息，而每个像素点坐标对应的RGB值可以根据直播图像得到，继而获取直播图像对应的目标图像，实现对目标对象的脸部轮廓修正。
在可选的实施例中，脸型修正基准可以是默认的，如，默认脸型修正基准为中间对齐，即将左右脸部偏移量对齐两者的平均偏移量进行脸型修正，为了丰富脸型修正的方式，提升脸型修正的对称效果，在图1的基础上，以用户终端300是手机为例，请参见图8，图8为本申请实施例提供的一种用户终端的显示示意图，该用户终端300的交互界面显示有多个脸型对齐图形，多个脸型对齐图形与多种脸型对齐方式一一对应。多种脸型对齐方式可以包括，但不限于：左脸对齐、右脸对齐和中间对齐。
下面以图8示出的用户终端300为例，为了丰富脸型修正的方式，提升脸型修正的对称效果，在图2的基础上，给出一种可能的实现方式，请参见图9，图9为本申请实施例提供另一种脸型处理方法的流程示意图，针对于上述的S420：响应用户的操作，确定脸型修正基准，其可以包括：
S4201，响应用户的操作，从多个脸型对齐图形中获取操作对应的目标脸型对齐图形。
该操作可以是用户通过点击触摸屏生成的，也可以是用户在触摸屏上，通过指关节滑动预设的手势操作(如，指关节在触摸屏上按照“L”型的手势操作)生成的，该触摸屏可以与上述图1示出的显示屏394集成在一起，也可以与显示屏394分离设置。
S4202，将目标脸型对齐图形对应的目标脸型对齐方式作为脸型修正基准。
例如，请继续参见图8，触发图8中标记为“人脸对齐”的脸型对齐图形，则可以将脸型修正基准设置为中间对齐。触发脸型对齐图形的方式可以通过触摸屏点击实现的，还可以隔空的手势操作实现的。
也就是说，通过操作确定目标脸型对齐图形，进而将目标脸型对齐图形对应的目标脸型对齐方式作为脸型修正基准，并根据当前人脸姿态角信息对目标对象的人脸点信息进行处理，将目标对象的脸部轮廓进行修正，实现对目标对象的脸型修正，提高直播APP的美颜效果。
在对目标对象的脸部轮廓进行对称修正的过程中，在图9的基础上，以多种脸型对齐方式包括中间对齐，脸型偏移信息包括左脸偏移量和右脸偏移量为例，给出一种可能的实现方式，请参见图10，图10为本申请实施例提供另一种脸型处理方法的流程示意图，针对于S450：根据脸型修正基准和脸型偏移信息对目标对象的脸部轮廓进行修正，得到目标图像，包括：
S450a，在目标脸型对齐方式为中间对齐的情况下，获取左脸偏移量和右脸偏移量的平均偏移量。
S450b，获得第一图像与第二图像。
其中，该第一图像表征调整直播图像的左脸信息得到的图像信息，第一图像的左脸偏移量与平均偏移量一致；该第二图像表征调整直播图像的右脸信息得到的图像信息，第二图像的右脸偏移量与平均偏移量一致。
S450c，将第一图像与第二图像融合，得到目标图像。
例如，将第一图像中的左脸部分与第二图像中的右脸部分融合，得到目标图像，实现目标图像中的左右脸对称修正。
在可选的实施例中，多种脸型对齐方式还包括第一侧脸对齐。脸型偏移信息包括第一侧脸偏移量和第二侧脸偏移量，第一侧脸偏移量表征脸部轮廓点集中，位于X轴第一侧的每个脸部轮廓点与X轴之间的距离，第二侧脸偏移量表征脸部轮廓点集中，位于X轴第二侧的每个脸部轮廓点与X轴之间的距离。
例如，该第一侧脸对齐可以是左脸对齐或右脸对齐：若第一侧脸对齐为左脸对齐，则第一侧脸偏移量为左脸偏移量，第二侧脸偏移量为右脸偏移量；若第一侧脸对齐为右脸对齐，则第一侧脸偏移量为右脸偏移量，第二侧脸偏移量为左脸偏移量。
针对于上述的S450：根据脸型修正基准和脸型偏移信息对目标对象的脸部轮廓进行修正，获取目标图像，其可以包括：在目标脸型对齐方式为第一侧脸对齐的情况下，保持第一侧脸偏移量不变并调整直播图像中的第二侧脸信息，得到目标图像。其中，第二侧脸信息为人脸点信息中位于X轴第二侧的信息，第一侧脸偏移量与目标图像的第二侧脸偏移量一致。
也就是说，在对目标对象的脸部轮廓进行对称修正时，可以将单侧的脸部信息作为脸型修正基准，将另一侧的脸部信息对齐该单侧的脸部信息，完成对目标的脸部轮廓修正。
为了实现上述任意一个实施例提供的脸型处理方法，本申请实施例提供一种脸型处理装置，应用于用户终端，请参见图11，图11为本申请实施例提供的一种脸型处理装置的方框示意图，该脸型处理装置50包括：获取模块51、处理模块52、投影模块53和确定模块54。
获取模块51用于获取目标对象的当前人脸姿态角信息和当前人脸姿态角信息对应直播图像。直播图像包括目标对象的人脸点信息。
处理模块52用于响应用户的操作，确定脸型修正基准。
投影模块53用于根据当前人脸姿态角信息将人脸点信息投影至人脸坐标系，得到目标对象的脸部轮廓点集。人脸坐标系为以目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系。
确定模块54用于根据脸部轮廓点集，确定目标对象的脸型偏移信息。脸型偏移信息包括脸部轮廓点集中的每个脸部轮廓点与X轴之间的距离。
处理模块52还用于根据脸型修正基准和脸型偏移信息对脸部轮廓进行修正，得到目标图像。脸部轮廓由人脸点信息确定。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施例中任一项的脸型处理方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上，本申请提供一种脸型处理方法、装置、用户终端和计算机可读存储介质，涉及图像处理领域。脸型处理方法应用于用户终端，该方法包括：获取目标对象的当前人脸姿态角信息和当前人脸姿态角信息对应直播图像；直播图像包括目标对象的人脸点信息；响应用户的操作，确定脸型修正基准；根据当前人脸姿态角信息将人脸点信息投影至人脸坐标系，得到目标对象的脸部轮廓点集；人脸坐标系为以目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；根据脸部轮廓点集，确定目标对象的脸型偏移信息；脸型偏移信息包括脸部轮廓点集中的每个脸部轮廓点与X轴之间的距离；根据脸型修正基准和脸型偏移信息对脸部轮廓进行修正，得到目标图像；脸部轮廓由人脸点信息确定。根据目标对象的当前人脸姿态角信息对目标对象的脸部轮廓进行修正，实现对目标对象的美颜。
以上所述，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种脸型处理方法，其特征在于，应用于用户终端，所述方法包括：
获取目标对象的当前人脸姿态角信息和所述当前人脸姿态角信息对应直播图像；所述直播图像包括所述目标对象的人脸点信息；
响应用户的操作，确定脸型修正基准；
根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集；所述人脸坐标系为以所述目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；
根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息；所述脸型偏移信息包括所述脸部轮廓点集中的每个脸部轮廓点与所述X轴之间的距离；
根据所述脸型修正基准和所述脸型偏移信息对所述脸部轮廓进行修正，得到目标图像；所述脸部轮廓由所述人脸点信息确定。
2.根据权利要求1所述的方法，其特征在于，所述根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集，包括：
根据所述当前人脸姿态角信息获取坐标转换矩阵；所述坐标转换矩阵表征所述直播图像的每个图像坐标与所述人脸坐标系的坐标的对应关系；
根据所述坐标转换矩阵，确定所述人脸点信息在所述人脸坐标系中的三维坐标信息；
将所述三维坐标信息进行角度转换，得到所述人脸点信息对应的正脸坐标信息；
将所述正脸坐标信息中的边缘点信息作为所述脸部轮廓点集；所述脸部轮廓点集表征所述目标对象的正脸轮廓。
3.根据权利要求2所述的方法，其特征在于，根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息，包括：
以所述X轴为中心线，将所述脸部轮廓点集分为左脸轮廓点集和右脸轮廓点集；
将所述左脸轮廓点集中的每个轮廓点均与所述X轴做差，得到左脸偏移量；
将所述右脸轮廓点集中的每个轮廓点均与所述X轴做差，得到右脸偏移量；
获得所述脸型偏移信息；所述脸型偏移信息包括所述左脸偏移量和所述右脸偏移量。
4.根据权利要求2所述的方法，其特征在于，根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，得到目标图像，包括：
按照所述脸型偏移信息，将所述正脸坐标信息向所述脸型修正基准进行移位，得到对齐坐标信息；所述对齐坐标信息表征修正后的所述目标对象的正脸图像三维坐标信息；
根据所述坐标转换矩阵对所述对齐坐标信息进行处理，得到所述人脸点信息对应的待显示图像二维坐标信息；
解析所述待显示图像二维坐标信息，得到所述直播图像对应的目标图像。
5.根据权利要求1所述的方法，其特征在于，所述用户终端的交互界面显示有多个脸型对齐图形，所述多个脸型对齐图形与多种脸型对齐方式一一对应；
所述响应用户的操作，确定脸型修正基准，包括：
响应所述用户的操作，从所述多个脸型对齐图形中获取所述操作对应的目标脸型对齐图形；
将所述目标脸型对齐图形对应的目标脸型对齐方式作为所述脸型修正基准。
6.根据权利要求5所述的方法，其特征在于，所述多种脸型对齐方式包括中间对齐，所述脸型偏移信息包括左脸偏移量和右脸偏移量；
所述根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，得到目标图像，包括：
在所述目标脸型对齐方式为所述中间对齐的情况下，获取所述左脸偏移量和所述右脸偏移量的平均偏移量；
获得第一图像与第二图像；
其中，所述第一图像表征调整所述直播图像的左脸信息得到的图像信息，所述第一图像的左脸偏移量与所述平均偏移量一致；所述第二图像表征调整所述直播图像的右脸信息得到的图像信息，所述第二图像的右脸偏移量与所述平均偏移量一致；
将所述第一图像与所述第二图像融合，得到所述目标图像。
7.根据权利要求5所述的方法，其特征在于，所述多种脸型对齐方式还包括第一侧脸对齐；所述脸型偏移信息包括第一侧脸偏移量和第二侧脸偏移量，第一侧脸偏移量表征所述脸部轮廓点集中，位于所述X轴第一侧的每个脸部轮廓点与所述X轴之间的距离，第二侧脸偏移量表征所述脸部轮廓点集中，位于所述X轴第二侧的每个脸部轮廓点与所述X轴之间的距离；
所述根据所述脸型修正基准和所述脸型偏移信息对所述目标对象的脸部轮廓进行修正，获取目标图像，包括：
在所述目标脸型对齐方式为所述第一侧脸对齐的情况下，保持所述第一侧脸偏移量不变并调整所述直播图像中的第二侧脸信息，得到所述目标图像；
其中，所述第二侧脸信息为所述人脸点信息中位于所述X轴第二侧的信息，所述第一侧脸偏移量与所述目标图像的第二侧脸偏移量一致。
8.一种脸型处理装置，其特征在于，应用于用户终端，所述装置包括：
获取模块，用于获取目标对象的当前人脸姿态角信息和所述当前人脸姿态角信息对应直播图像；所述直播图像包括所述目标对象的人脸点信息；
处理模块，用于响应用户的操作，确定脸型修正基准；
投影模块，用于根据所述当前人脸姿态角信息将所述人脸点信息投影至人脸坐标系，得到所述目标对象的脸部轮廓点集；所述人脸坐标系为以所述目标对象的下巴点为原点，以下巴点到鼻尖点对应的直线为X轴建立的三维坐标系；
确定模块，用于根据所述脸部轮廓点集，确定所述目标对象的脸型偏移信息；所述脸型偏移信息包括所述脸部轮廓点集中的每个脸部轮廓点与所述X轴之间的距离；
所述处理模块，还用于根据所述脸型修正基准和所述脸型偏移信息对所述脸部轮廓进行修正，得到目标图像；所述脸部轮廓由所述人脸点信息确定。
9.一种用户终端，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的方法。
CN202011035768.4A 2020-09-27 2020-09-27 脸型处理方法、装置、用户终端和计算机可读存储介质 Pending CN112132764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011035768.4A CN112132764A (zh) 2020-09-27 2020-09-27 脸型处理方法、装置、用户终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011035768.4A CN112132764A (zh) 2020-09-27 2020-09-27 脸型处理方法、装置、用户终端和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112132764A true CN112132764A (zh) 2020-12-25

Family

ID=73840587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011035768.4A Pending CN112132764A (zh) 2020-09-27 2020-09-27 脸型处理方法、装置、用户终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112132764A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343906A (zh) * 2021-06-28 2021-09-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114373033A (zh) * 2022-01-10 2022-04-19 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343906A (zh) * 2021-06-28 2021-09-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114373033A (zh) * 2022-01-10 2022-04-19 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序
WO2023130819A1 (zh) * 2022-01-10 2023-07-13 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序

Similar Documents

Publication Publication Date Title
US11195307B2 (en) Image processing apparatus, image processing method, and program
CN111225150B (zh) 插帧处理方法及相关产品
EP3547218B1 (en) File processing device and method, and graphical user interface
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
KR20140110584A (ko) 증강 현실 제공 방법, 저장 매체 및 휴대 단말
CN110795019B (zh) 软键盘的按键识别方法、装置及存储介质
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
CN112132764A (zh) 脸型处理方法、装置、用户终端和计算机可读存储介质
CN113126937A (zh) 一种显示终端调整方法及显示终端
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN114494073A (zh) 图像处理方法、装置、设备及存储介质
CN113570609A (zh) 图像展示方法、装置及电子设备
CN116341586B (zh) 扫码方法、电子设备及存储介质
CN114529926A (zh) 一种弯曲文本的字符选择方法、装置和终端设备
CN108027646A (zh) 一种终端显示防抖方法及装置
CN112150351A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP4703744B2 (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
JP4550460B2 (ja) コンテンツ表現制御装置およびコンテンツ表現制御プログラム
US20160035062A1 (en) Electronic apparatus and method
US20140375689A1 (en) Image processing device and computer readable medium
CN114257755A (zh) 图像处理方法、装置、设备及存储介质
CN111766947A (zh) 一种显示方法、装置、可穿戴设备及介质
CN111833403B (zh) 用于空间定位的方法和装置
CN113709372B (zh) 图像生成方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination