CN111091083B - 基于图像的人脸尺度计算方法、装置及电子设备 - Google Patents

基于图像的人脸尺度计算方法、装置及电子设备 Download PDF

Info

Publication number
CN111091083B
CN111091083B CN201911253778.2A CN201911253778A CN111091083B CN 111091083 B CN111091083 B CN 111091083B CN 201911253778 A CN201911253778 A CN 201911253778A CN 111091083 B CN111091083 B CN 111091083B
Authority
CN
China
Prior art keywords
face
image data
scale
image
change information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911253778.2A
Other languages
English (en)
Other versions
CN111091083A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911253778.2A priority Critical patent/CN111091083B/zh
Publication of CN111091083A publication Critical patent/CN111091083A/zh
Application granted granted Critical
Publication of CN111091083B publication Critical patent/CN111091083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种基于图像的人脸尺度计算方法、装置及电子设备,该方法包括检测输入图像中人脸图像的初始图像数据;确定人脸图像基于球极平面投影的新图像数据;根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正。通过本申请能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。

Description

基于图像的人脸尺度计算方法、装置及电子设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种基于图像的人脸尺度计算方法、装置及电子设备。
背景技术
随着电子设备的普及,电子设备上的摄像机可以是广角相机,采用广角相机拍照可以获得视场范围更大的图像,但是由于广角相机的特性会造成越接近图像边缘的区域存在越严重的畸变,当图像中存在人像且处于图像边缘,会使人像产生较大畸变,即呈现在图像中的是非真实的人像,由此,通常会采用人脸畸变校正方法对非真实的人像进行畸变校正。
相关技术中,在进行人脸畸变校正的处理逻辑时,通常是仅仅确定人脸图像处于整体图像中的位置,以及人脸图像占据整个图像的比例作为人脸尺度,从而辅助后续的人脸畸变校正的处理逻辑。
这种方式下,人脸尺度的参考价值不高,可能会导致人脸畸变校正效果的异常。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请在于提出一种基于图像的人脸尺度计算方法、装置及电子设备,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
本申请第一方面实施例提出的基于图像的人脸尺度计算方法,包括:检测输入图像中人脸图像的初始图像数据;确定所述人脸图像基于球极平面投影的新图像数据;根据所述新图像数据和所述初始图像数据计算人脸尺度,所述人脸尺度被用于人脸畸变校正。
本申请第一方面实施例提出的基于图像的人脸尺度计算方法,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
本申请第二方面实施例提出的基于图像的人脸尺度计算装置,包括:检测模块,用于检测输入图像中人脸图像的初始图像数据;确定模块,用于确定所述人脸图像基于球极平面投影的新图像数据;计算模块,用于根据所述新图像数据和所述初始图像数据计算人脸尺度,所述人脸尺度被用于人脸畸变校正。
本申请第二方面实施例提出的基于图像的人脸尺度计算装置,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
本申请第三方面实施例提出的计算机可读存储介质,该程序被处理器执行时,使得终端能够执行一种基于图像的人脸尺度计算方法,所述方法包括:本申请第一方面实施例提出的基于图像的人脸尺度计算方法。
本申请第三方面实施例提出的计算机可读存储介质,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
本申请第四方面实施例提出的电子设备,包括处理器、存储器、电路板和电源电路,其中所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行本申请第一方面实施例提出的基于图像的人脸尺度计算方法。
本申请第四方面实施例提出的电子设备,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请一实施例提出的基于图像的人脸尺度计算方法的流程示意图;
图2为本申请实施例中人脸图像示意图;
图3是本申请另一实施例提出的基于图像的人脸尺度计算方法的流程示意图;
图4是本申请另一实施例提出的基于图像的人脸尺度计算方法的流程示意图;
图5是本申请一实施例提出的基于图像的人脸尺度计算装置的结构示意图;
图6是本申请另一实施例提出的基于图像的人脸尺度计算装置的结构示意图;
图7是本申请一实施例提出的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。相反,本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
为了解决相关技术中仅仅确定人脸图像处于整体图像中的位置,以及人脸图像占据整个图像的比例作为人脸尺度,这种根据人脸图像相对于整体图像的情况确定得到的人脸尺度,并不能够有效地反映出人脸畸变程度,由此,采用相关技术中的人脸尺度进行畸变校正的参考价值不高,可能会导致人脸畸变校正效果的异常。
本申请实施例提供一种基于图像的人脸尺度计算方法,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
图1是本申请一实施例提出的基于图像的人脸尺度计算方法的流程示意图。
本实施例以该基于图像的人脸尺度计算方法被配置为基于图像的人脸尺度计算装置中来举例说明。
本实施例中基于图像的人脸尺度计算方法可以被配置在基于图像的人脸尺度计算装置中,基于图像的人脸尺度计算装置可以设置在服务器中,或者也可以设置在电子设备中,本申请实施例对此不作限制。
本实施例以基于图像的人脸尺度计算方法被配置在电子设备中为例。
其中,电子设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。
需要说明的是,本申请实施例的执行主体,在硬件上可以例如为电子设备中的中央处理器(Central Processing Unit,CPU),在软件上可以例如为电子设备中的图像处理相关的服务,对此不作限制。
参见图1,该方法包括:
S101:检测输入图像中人脸图像的初始图像数据。
其中,输入图像为当前待确定人脸尺度的图像。
其中,输入图像中人脸区域对应的部分图像,可以被称为人脸图像。
参见图2,图2为本申请实施例中人脸图像示意图,其中的整体的图像即为输入图像,其中人像中人脸占据的区域图像即为人脸图像。
其中,初始图像数据用于描述人脸图像相关的特征,初始图像数据例如为人脸图像中所包含的像素个数,亮度值等,对此不作限制。
在具体执行的过程中,可以采用相关技术中的人工智能图像检测算法,检测输入图像中人脸图像的初始图像数据,对此不作限制。
本申请实施例中,初始图像数据可以具体是人脸图像中人脸框的各图像边对应的数据,例如,人脸框的各图像边的长度值、角度、或者,也可以为人脸框在初始坐标系下对应的坐标,初始坐标系可以为二维平面坐标。
S102:确定人脸图像基于球极平面投影的新图像数据。
其中,球极平面投影(射影)是一种将一个圆球面射影至一个平面的映射。
本申请实施例中在检测输入图像中人脸图像的初始图像数据后,确定人脸图像基于球极平面投影的新图像数据,即可以是确定人脸图像中人脸框基于球极平面投影下的新的坐标,并将该新的坐标作为新图像数据,也可以是确定人脸框的各图像边基于球极平面投影下的新的长度值、角度等作为新图像数据,对此不作限制。
上述确定的初始图像数据和新图像数据被用于后续确定人脸尺度,具体参见下述实施例。
S103:根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正。
本申请实施例中,可以是确定新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的参数变化信息;确定新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的面积变化信息;根据参数变化信息结合面积变化信息计算人脸尺度,由此实现根据人脸图像变换前后的形状变化来计算人脸尺度,为后续进行人脸畸变校正提供更为合理的人脸尺度,有效地保障人脸畸变校正的效果。
其中的参数变化信息,指示新图像数据中人脸图像的各图像边,和初始图像数据中人脸图像的对应图像边之间的形状变化情况。
其中的面积变化信息,指示新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的变化情况。
本实施例中,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
图3是本申请另一实施例提出的基于图像的人脸尺度计算方法的流程示意图。
参见图3,该方法包括:
S301:检测输入图像中人脸图像的初始图像数据。
S302:确定人脸图像基于球极平面投影的新图像数据。
S303:确定新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的参数变化信息。
其中,参数变化信息为长度变化信息和角度变化信息。
可选地,长度变化信息,为新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的长度比例值,角度变化信息,为新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的角度差绝对值。
当然,长度变化信息也可以为其它任意能够描述长度变化情况的信息,角度变化信息也可以为其它任意能够描述角度变化情况的信息,长度变化信息也可以为长度差值,角度变化信息也可以为角度比例值,对此不作限制。
本实施例中由于是采用长度比例值和角度差绝对值作为参数变化信息,实现简便,并不占用过多的运算资源消耗,有效地保障了运算处理效率。
S304:确定新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的面积变化信息。
可选地,面积变化信息,为新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的比例值。
当然,面积变化信息也可以为其它任意能够描述面积变化情况的信息,面积变化信息也可以为面积差值,对此不作限制。
S305:根据长度变化信息确定对应的第一尺度因子。
其中,第一尺度因子可以用于描述长度变化信息在人脸畸变校正处理逻辑中的参考权重,在具体执行的过程中,可以将多个长度比例值的平均值作为第一尺度因子。
当然,也可以采用其它任意可能的计算方法,从而实现根据长度变化信息确定对应的第一尺度因子,例如,将多个长度比例值的方差作为第一尺度因子,对此不作限制。
S306:根据角度变化信息确定对应的第二尺度因子。
其中,第二尺度因子可以用于描述角度变化信息在人脸畸变校正处理逻辑中的参考权重,在具体执行的过程中,可以将多个角度差绝对值的平均值,与设定数值的加和值作为第二尺度因子。
例如,设定数值例如为1,则可以将多个角度差绝对值的平均值+1得到的加和值,作为第二尺度因子。
当然,也可以采用其它任意可能的计算方法,从而实现根据角度变化信息确定对应的第二尺度因子,例如,将多个角度差绝对值的方差作为第二尺度因子,对此不作限制。
S307:直接将面积变化信息作为对应的第三尺度因子。
其中,第三尺度因子可以用于描述面积变化信息在人脸畸变校正处理逻辑中的参考权重,在具体执行的过程中,当面积变化信息,为新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的比例值时,可以直接将面积变化信息作为对应的第三尺度因子。
S308:将第一尺度因子、第二尺度因子以及第三尺度因子的乘积值作为人脸尺度。
通过将第一尺度因子、第二尺度因子以及第三尺度因子的乘积值作为人脸尺度,能够实现灵活地根据参数变化和面积变化的情况,确定人脸畸变校正的处理逻辑所需要的人脸尺度,实现高度地自适应,提升人脸尺度的合理性和参考价值。
本实施例中,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。由于是采用长度比例值和角度差绝对值作为参数变化信息,从而辅助确定人脸尺度,实现简便,并不占用过多的运算资源消耗,有效地保障了运算处理效率。通过将第一尺度因子、第二尺度因子以及第三尺度因子的乘积值作为人脸尺度,能够实现灵活地根据参数变化和面积变化的情况,确定人脸畸变校正的处理逻辑所需要的人脸尺度,实现高度地自适应,提升人脸尺度的合理性和参考价值。
图4是本申请另一实施例提出的基于图像的人脸尺度计算方法的流程示意图。
参见图4,该方法包括:
S401:采用第一分辨率的网格描述人脸图像,得到目标网格。
本申请实施例在上述确定了人脸尺度后,可以采用第一分辨率的网格,并参考所确定的人脸尺度描述人脸图像,得到目标网格。
通过上述根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,采用第一分辨率的网格,并参考所确定的人脸尺度描述人脸图像,得到目标网格,使得参考了人脸尺度的人脸畸变校正处理逻辑效果更佳。
在具体执行的过程中,上述的第一分辨率的网格可以具体是低分辨率的网格,通过在初始处理的阶段,采用低分辨率的网格描述人脸图像,得到目标网格,能够不占用过多的运算资源消耗,并且执行对目标网格进行优化处理的步骤,能够在保障畸变校正效果的同时,有效提升方法处理的效率。
S402:对目标网格进行优化处理。
可选地,可以采用透视投影和球极平面投影对目标网格进行优化处理。
当然,也可以采用其它任意可能的投影方式,对目标网格进行优化处理,对此不作限制。
S403:采用优化处理后的目标网格对输入图像进行插值处理,从而进行人脸畸变校正。
在具体执行的过程中,由于上述进行优化的目标网格,为采用第一分辨率的网格,并参考了所确定的人脸尺度描述人脸图像得到的网格,并对该目标网格进行了相应的优化,因此,可以采用优化处理后的目标网格对输入图像进行插值处理,从而进行人脸畸变校正,实现简便,通过对畸变校正逻辑进行了局部的优化,即可较好地提升畸变校正效果,使得方法更为适用,提升用户使用体验度。
本实施例中,通过采用第一分辨率的网格描述人脸图像,得到目标网格,并对目标网格进行优化处理,以及采用优化处理后的目标网格对输入图像进行插值处理,从而进行人脸畸变校正,由于是直接对描述了人脸图像的目标网格进行了优化处理,由此,能够不占用过多的运算资源消耗,并且执行对目标网格进行优化处理的步骤,能够在保障畸变校正效果的同时,有效提升方法处理的效率,由此优化人脸畸变校正的处理逻辑。
图5是本申请一实施例提出的基于图像的人脸尺度计算装置的结构示意图。
参见图5,该装置500包括:
检测模块501,用于检测输入图像中人脸图像的初始图像数据;
确定模块502,用于确定人脸图像基于球极平面投影的新图像数据;
计算模块503,用于根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正。
可选地,一些实施例中,参见图6,计算模块503,包括:
第一确定子模块5031,用于确定新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的参数变化信息;
第二确定子模块5032,用于确定新图像数据所描述人脸图像的面积,和初始图像数据所描述的面积之间的面积变化信息;
计算子模块5033,用于根据参数变化信息结合面积变化信息计算人脸尺度。
可选地,一些实施例中,参数变化信息为长度变化信息和角度变化信息,计算子模块5033,具体用于:
根据长度变化信息确定对应的第一尺度因子,第一尺度因子用于描述长度变化信息在人脸畸变校正处理逻辑中的参考权重;
根据角度变化信息确定对应的第二尺度因子,第二尺度因子用于描述角度变化信息在人脸畸变校正处理逻辑中的参考权重;
直接将面积变化信息作为对应的第三尺度因子,第三尺度因子用于描述面积变化信息在人脸畸变校正处理逻辑中的参考权重;
将第一尺度因子、第二尺度因子以及第三尺度因子的乘积值作为人脸尺度。
可选地,一些实施例中,长度变化信息,为新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的长度比例值;角度变化信息,为新图像数据所描述人脸图像的各图像边,和初始图像数据所描述的对应图像边之间的角度差绝对值。
可选地,一些实施例中,计算子模块5033,具体用于:
将多个长度比例值的平均值作为第一尺度因子。
可选地,一些实施例中,计算子模块5033,具体用于:
将多个角度差绝对值的平均值,与设定数值的加和值作为第二尺度因子。
可选地,一些实施例中,参见图6,该装置500还包括:
网格描述模块504,用于采用第一分辨率的网格描述人脸图像,得到目标网格;
网格优化模块505,用于对目标网格进行优化处理;
插值处理模块506,用于采用优化处理后的目标网格对输入图像进行插值处理,从而进行人脸畸变校正。
可选地,一些实施例中,对目标网格进行优化处理,网格优化模块505,具体用于:
采用透视投影和球极平面投影对目标网格进行优化处理。
可选地,一些实施例中,网格描述模块504,具体用于:
采用第一分辨率的网格,并参考所确定的人脸尺度描述人脸图像,得到目标网格。
需要说明的是,前述图1-图4实施例中对基于图像的人脸尺度计算方法的实施例的解释说明也适用于该实施例的基于图像的人脸尺度计算装置500,其实现原理类似,对此不在赘述。
本实施例中,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
图7是本申请一实施例提出的电子设备的结构示意图。
参见图7,本实施例的电子设备70包括:壳体701、处理器702、存储器703、电路板704、电源电路705,电路板704安置在壳体701围成的空间内部,处理器702、存储器703设置在电路板704上;电源电路705,用于为电子设备70各个电路或器件供电;存储器703用于存储可执行程序代码;其中,处理器702通过读取存储器703中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:
检测输入图像中人脸图像的初始图像数据;
确定人脸图像基于球极平面投影的新图像数据;
根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正。
需要说明的是,前述图1-图4实施例中对基于图像的人脸尺度计算方法实施例的解释说明也适用于该实施例的电子设备70,其实现原理类似,对此不在赘述。
本实施例中,通过检测输入图像中人脸图像的初始图像数据,并确定人脸图像基于球极平面投影的新图像数据,以及根据新图像数据和初始图像数据计算人脸尺度,人脸尺度被用于人脸畸变校正,能够结合新图像数据和初始图像数据之间的情况计算人脸尺度,实现自适应的确定人脸尺度,有效提升人脸尺度的参考合理性,提升参考价值。
为实现上述实施例,本申请实施例提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述方法实施例的基于图像的人脸尺度计算方法。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于图像的人脸尺度计算方法,其特征在于,所述方法包括:
检测输入图像中人脸图像的初始图像数据;
确定所述人脸图像基于球极平面投影的新图像数据;
根据所述新图像数据和所述初始图像数据计算人脸尺度,所述人脸尺度被用于人脸畸变校正;
所述根据所述新图像数据和所述初始图像数据计算人脸尺度,包括:
确定所述新图像数据所描述人脸图像的各图像边,和所述初始图像数据所描述的对应图像边之间的参数变化信息;
确定所述新图像数据所描述人脸图像的面积,和所述初始图像数据所描述的面积之间的面积变化信息;
根据所述参数变化信息结合所述面积变化信息计算所述人脸尺度;
所述参数变化信息为长度变化信息和角度变化信息,所述根据所述参数变化信息结合所述面积变化信息计算所述人脸尺度,包括:
根据所述长度变化信息确定对应的第一尺度因子,所述第一尺度因子用于描述所述长度变化信息在人脸畸变校正处理逻辑中的参考权重;
根据所述角度变化信息确定对应的第二尺度因子,所述第二尺度因子用于描述所述角度变化信息在人脸畸变校正处理逻辑中的参考权重;
直接将所述面积变化信息作为对应的第三尺度因子,所述第三尺度因子用于描述所述面积变化信息在人脸畸变校正处理逻辑中的参考权重;
将所述第一尺度因子、所述第二尺度因子以及所述第三尺度因子的乘积值作为所述人脸尺度。
2.如权利要求1所述的基于图像的人脸尺度计算方法,其特征在于,所述长度变化信息,为所述新图像数据所描述人脸图像的各图像边,和所述初始图像数据所描述的对应图像边之间的长度比例值;所述角度变化信息,为所述新图像数据所描述人脸图像的各图像边,和所述初始图像数据所描述的对应图像边之间的角度差绝对值。
3.如权利要求2所述的基于图像的人脸尺度计算方法,其特征在于,所述根据所述长度变化信息确定对应的第一尺度因子,包括:
将多个长度比例值的平均值作为所述第一尺度因子。
4.如权利要求2所述的基于图像的人脸尺度计算方法,其特征在于,所述根据所述角度变化信息确定对应的第二尺度因子,包括:
将多个角度差绝对值的平均值,与设定数值的加和值作为所述第二尺度因子。
5.如权利要求1所述的基于图像的人脸尺度计算方法,其特征在于,还包括:
采用第一分辨率的网格描述所述人脸图像,得到目标网格;
对所述目标网格进行优化处理;
采用优化处理后的目标网格对所述输入图像进行插值处理,从而进行所述人脸畸变校正。
6.如权利要求5所述的基于图像的人脸尺度计算方法,其特征在于,所述对所述目标网格进行优化处理,包括:
采用透视投影和所述球极平面投影对所述目标网格进行优化处理。
7.如权利要求5所述的基于图像的人脸尺度计算方法,其特征在于,所述采用第一分辨率的网格描述所述人脸图像,得到目标网格,包括:
采用第一分辨率的网格,并参考所确定的人脸尺度描述所述人脸图像,得到所述目标网格。
8.一种基于图像的人脸尺度计算装置,其特征在于,所述装置包括:
检测模块,用于检测输入图像中人脸图像的初始图像数据;
确定模块,用于确定所述人脸图像基于球极平面投影的新图像数据;
计算模块,用于根据所述新图像数据和所述初始图像数据计算人脸尺度,所述人脸尺度被用于人脸畸变校正;
所述计算模块还用于确定所述新图像数据所描述人脸图像的各图像边,和所述初始图像数据所描述的对应图像边之间的参数变化信息;确定所述新图像数据所描述人脸图像的面积,和所述初始图像数据所描述的面积之间的面积变化信息;根据所述参数变化信息结合所述面积变化信息计算所述人脸尺度;
所述参数变化信息为长度变化信息和角度变化信息,所述计算模块还用于根据所述长度变化信息确定对应的第一尺度因子,所述第一尺度因子用于描述所述长度变化信息在人脸畸变校正处理逻辑中的参考权重;根据所述角度变化信息确定对应的第二尺度因子,所述第二尺度因子用于描述所述角度变化信息在人脸畸变校正处理逻辑中的参考权重;直接将所述面积变化信息作为对应的第三尺度因子,所述第三尺度因子用于描述所述面积变化信息在人脸畸变校正处理逻辑中的参考权重;将所述第一尺度因子、所述第二尺度因子以及所述第三尺度因子的乘积值作为所述人脸尺度。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的基于图像的人脸尺度计算方法。
10.一种电子设备,包括处理器、存储器、电路板和电源电路,其中所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:
检测输入图像中人脸图像的初始图像数据;
确定所述人脸图像基于球极平面投影的新图像数据;
根据所述新图像数据和所述初始图像数据计算人脸尺度,所述人脸尺度被用于人脸畸变校正;
所述根据所述新图像数据和所述初始图像数据计算人脸尺度,包括:
确定所述新图像数据所描述人脸图像的各图像边,和所述初始图像数据所描述的对应图像边之间的参数变化信息;
确定所述新图像数据所描述人脸图像的面积,和所述初始图像数据所描述的面积之间的面积变化信息;
根据所述参数变化信息结合所述面积变化信息计算所述人脸尺度;
所述参数变化信息为长度变化信息和角度变化信息,所述根据所述参数变化信息结合所述面积变化信息计算所述人脸尺度,包括:
根据所述长度变化信息确定对应的第一尺度因子,所述第一尺度因子用于描述所述长度变化信息在人脸畸变校正处理逻辑中的参考权重;
根据所述角度变化信息确定对应的第二尺度因子,所述第二尺度因子用于描述所述角度变化信息在人脸畸变校正处理逻辑中的参考权重;
直接将所述面积变化信息作为对应的第三尺度因子,所述第三尺度因子用于描述所述面积变化信息在人脸畸变校正处理逻辑中的参考权重;
将所述第一尺度因子、所述第二尺度因子以及所述第三尺度因子的乘积值作为所述人脸尺度。
CN201911253778.2A 2019-12-09 2019-12-09 基于图像的人脸尺度计算方法、装置及电子设备 Active CN111091083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911253778.2A CN111091083B (zh) 2019-12-09 2019-12-09 基于图像的人脸尺度计算方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911253778.2A CN111091083B (zh) 2019-12-09 2019-12-09 基于图像的人脸尺度计算方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111091083A CN111091083A (zh) 2020-05-01
CN111091083B true CN111091083B (zh) 2023-08-08

Family

ID=70394985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911253778.2A Active CN111091083B (zh) 2019-12-09 2019-12-09 基于图像的人脸尺度计算方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111091083B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147286A (zh) * 2021-03-30 2022-10-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003066A2 (en) * 2004-06-30 2006-01-12 Sony Ericsson Mobile Communications Ab Face image correction
CN107506693A (zh) * 2017-07-24 2017-12-22 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109657607A (zh) * 2018-12-17 2019-04-19 中新智擎科技有限公司 一种基于人脸识别的人脸目标测距方法、装置及存储介质
CN109993137A (zh) * 2019-04-09 2019-07-09 安徽大学 一种基于卷积神经网络的快速人脸矫正方法
CN110059602A (zh) * 2019-04-10 2019-07-26 武汉大学 一种基于正投影特征变换的俯视人脸矫正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006003066A2 (en) * 2004-06-30 2006-01-12 Sony Ericsson Mobile Communications Ab Face image correction
CN107506693A (zh) * 2017-07-24 2017-12-22 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质
CN108830810A (zh) * 2018-06-07 2018-11-16 辽宁工业大学 一种基于正交投影的鱼眼镜头图像畸变矫正方法
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109657607A (zh) * 2018-12-17 2019-04-19 中新智擎科技有限公司 一种基于人脸识别的人脸目标测距方法、装置及存储介质
CN109993137A (zh) * 2019-04-09 2019-07-09 安徽大学 一种基于卷积神经网络的快速人脸矫正方法
CN110059602A (zh) * 2019-04-10 2019-07-26 武汉大学 一种基于正投影特征变换的俯视人脸矫正方法

Also Published As

Publication number Publication date
CN111091083A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111080544B (zh) 基于图像的人脸畸变校正方法、装置及电子设备
EP3048555A1 (en) Image processing device, image processing method, and image processing program
CN105141827A (zh) 一种畸变校正方法及终端
CN108228057B (zh) 一种触控拐点的修正方法、装置及触控屏
CN105430331A (zh) 调整监控图像显示方向的方法和装置
KR20160031328A (ko) 렌더링 방법 및 장치
CN109690611B (zh) 一种图像校正方法及装置
US20160073035A1 (en) Electronic apparatus and notification control method
CN107357422B (zh) 摄像机-投影交互触控方法、装置及计算机可读存储介质
CN111091083B (zh) 基于图像的人脸尺度计算方法、装置及电子设备
CN113838134B (zh) 图像关键点检测方法、装置、终端和存储介质
CN110989880B (zh) 一种界面元素处理方法、装置及可读存储介质
Hong et al. 3 channel dependency-based power model for mobile AMOLED displays
US20180052536A1 (en) Method for detecting input device and detection device
CN115660941B (zh) 图像搬移方法、装置、电子设备和计算机可读存储介质
WO2022193988A1 (zh) 触控事件上报方法、装置、终端及存储介质
KR101688435B1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
CN113703653A (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN115471403B (zh) 图像处理方法、装置及存储介质
US20230259245A1 (en) Method and apparatus for adjusting perspective of direction indicator, electronic device, and storage medium
CN111149130A (zh) 电子设备及电子设备的对象感测方法
WO2024020858A1 (zh) 表面构建方法、装置、电子设备及介质
CN113284584B (zh) 一种dicom标准曲线的核验方法和装置及设备
US11935175B2 (en) Apparatus, method, and computer-readable medium for image processing using variable-precision shading
CN109324797B (zh) 一种桌面图标生成方法、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant