CN113612932A - 曝光参数的调节方法、设备和存储介质 - Google Patents

曝光参数的调节方法、设备和存储介质 Download PDF

Info

Publication number
CN113612932A
CN113612932A CN202110909669.2A CN202110909669A CN113612932A CN 113612932 A CN113612932 A CN 113612932A CN 202110909669 A CN202110909669 A CN 202110909669A CN 113612932 A CN113612932 A CN 113612932A
Authority
CN
China
Prior art keywords
frame
image
face
frame image
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110909669.2A
Other languages
English (en)
Other versions
CN113612932B (zh
Inventor
曹合浦
李经纬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211151124.0A priority Critical patent/CN115706862A/zh
Priority to CN202110909669.2A priority patent/CN113612932B/zh
Publication of CN113612932A publication Critical patent/CN113612932A/zh
Priority to EP22854986.1A priority patent/EP4195680A4/en
Priority to US18/023,502 priority patent/US20230319393A1/en
Priority to PCT/CN2022/091957 priority patent/WO2023015992A1/zh
Application granted granted Critical
Publication of CN113612932B publication Critical patent/CN113612932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种曝光参数的调节方法、设备和存储介质,方法包括获得第一帧图像的脸部框和第二帧图像;第一帧图像的脸部框用于指示第一帧图像中脸部的区域;第二帧图像为第一帧图像的后一帧图像;修正第一帧图像的脸部框,得到修正后脸部框;基于修正后脸部框裁剪第二帧图像,得到第二帧图像的脸部图像;根据第二帧图像的脸部图像调节曝光参数。本方案先对前一帧图像的脸部框进行修正,再用修正后脸部框裁剪脸部图像,使得裁剪得到的脸部图像和被裁剪的图像中真实的脸部区域,有助于根据脸部图像获得更准确的脸部亮度,并基于脸部亮度调整得到更准确的曝光参数。

Description

曝光参数的调节方法、设备和存储介质
技术领域
本申请涉及摄像技术领域,尤其涉及一种曝光参数的调节方法、设备和存储介质。
背景技术
为了拍摄出的图像符合亮度要求的图像,电子设备在拍照时往往需要调节摄像头的曝光参数,曝光参数可以包括曝光时长和增益。例如,在拍摄人脸图像时,需要调节曝光参数来获得脸部区域的亮度在特定亮度范围内的人脸图像。
目前拍摄人脸图像调节曝光参数的一种方法是,用人脸检测算法检测出前一帧图像的脸部框,然后用前一帧图像的脸部框在当前帧图像中裁剪出当前帧图像的脸部图像,根据当前帧图像的脸部图像,调节得到后一帧的曝光参数,用后一帧的曝光参数拍摄后一帧图像,以此类推,直至获得脸部区域的亮度在特定亮度范围内的图像为止。
当后一帧图像中脸部的位置相对于前一帧图像中脸部的位置发生移动时,这样裁剪出的当前帧图像的脸部图像往往和当前帧图像中实际的脸部图像有较大偏差,因此按上述方法调节得到的曝光参数的准确性较差。
发明内容
本申请提供了一种曝光参数的调节方法、设备和存储介质,目的在于获得更准确的曝光参数。
为了实现上述目的,本申请提供了以下技术方案:
本申请第一方面提供一种曝光参数的调节方法,包括:
获得第一帧图像的脸部框和第二帧图像;第一帧图像的脸部框用于指示第一帧图像中脸部的区域;第二帧图像为第一帧图像的后一帧图像;
修正第一帧图像的脸部框,得到修正后脸部框;
基于修正后脸部框裁剪第二帧图像,得到第二帧图像的脸部图像;
根据第二帧图像的脸部图像调节曝光参数。
由上述内容可以看出,本方案先对前一帧图像的脸部框进行修正,再用修正后脸部框裁剪脸部图像,使得裁剪得到的脸部图像和被裁剪的图像中真实的脸部区域,有助于根据脸部图像获得更准确的脸部亮度,并基于脸部亮度调整得到更准确的曝光参数。
在一些可选的实施例中,用修正后脸部框裁剪得到的脸部图像中背景部分的比例,小于直接用第一帧图像的脸部框裁剪得到的脸部图像中背景部分的比例。
在一些可选的实施例中,修正第一帧图像的脸部框,可以是减小第一帧图像的脸部框的尺寸,得到修正后脸部框,可以看出,这样获得的修正后脸部框的尺寸比第一帧图像的脸部框的尺寸小。
由上述内容可以看出,缩小脸部框的尺寸,有助于减少裁剪得到的脸部图像中背景部分的像素的占比,从而削弱背景部分的像素对计算得到的脸部亮度的干扰,确保在后续调节曝光参数时能准确的获得当前帧图像的脸部亮度,进而获得更准确的曝光参数调整值。
在一些可选的实施例中,在缩小第一帧图像的脸部框的尺寸时,可以按预设的比例系数缩小,使得修正后脸部框的尺寸和第一帧图像的脸部框的尺寸的比值为比例系数。
在一些可选的实施例中,在缩小第一帧图像的脸部框的尺寸时,可以保持第一帧图像的脸部框中心点的位置固定不变,使得修正后脸部框中心点的位置,和第一帧图像的脸部框中心点的位置相同。
在一些可选的实施例中,比例系数可以利用预先拍摄的多帧图像确定。
在一些可选的实施例中,用于确定比例系数的多帧图像,可以是在第二帧图像之前拍摄得到的连续几帧图像。例如,若第二帧图像为拍摄得到的第N+1帧图像,则用于确定比例系数的多帧图像可以是在这之前拍摄到的第N-1帧图像和第N帧图像。
由上述内容可以看出,每次修正一帧图像的脸部框之前,可以用最近拍摄的几帧图像确定出一个比例系数,实现对比例系数的动态更新。这样做的好处在于,在每次修正脸部框时获得和相邻的两帧图像,例如前述第一帧图像和第二帧图像之间脸部区域的变化程度匹配的比例系数,从而尽可能保留更多位于脸部的像素,有助于提高计算出的脸部亮度的准确性。
在一些可选的实施例中,在用第二帧图像之前拍摄的连续几帧图像确定比例系数之前,先判断第一帧图像相对于前述连续几帧图像中每一帧图像(除第一帧图像以外)的姿态变化幅度是否都小于或等于预设的变化幅度阈值;
在第一帧图像相对于前述连续几帧图像中每一帧图像(除第一帧图像以外)的姿态变化幅度都小于或等于预设的变化幅度阈值时,再利用第二帧图像之前拍摄的连续几帧图像确定比例系数;
第一帧图像相对于连续几帧图像中每一帧图像的姿态变化幅度,由拍摄第一帧图像时摄像设备的姿态数据,和拍摄前N帧图像中一帧图像时摄像设备的姿态数据计算得到。
由上述内容可以看出,对比例系数的动态更新,只有在拍摄之前的连续几帧图像时摄像设备姿态变化不大时才执行。这样做的好处在于,可以避免使用电子设备的姿态变化幅度过大的两帧图像的脸部框来确定比例系数,防止在动态更新的过程中产生过小的比例系数。
在一些可选的实施例中,在利用预先拍摄的多帧图像确定比例系数时,具体可以利用这些图像的脸部框,每一帧图像的脸部框均用于指示对应图像中脸部的区域。
在一些可选的实施例中,利用多帧图像的脸部框确定比例系数的方法可以是,将多帧图像的脸部框重合,得到多帧图像的脸部框的重合区域,再根据重合区域和多帧图像中任意一帧图像的脸部框确定比例系数。
在一些可选的实施例中,根据重合区域和多帧图像中任意一帧图像的脸部框确定比例系数,具体可以是,确定重合区域的尺寸,和多帧图像中任意一帧图像的脸部框的尺寸,用重合区域的尺寸除以多帧图像中任意一帧图像的脸部框的尺寸,将得到的比值确定为比例系数。
在一些可选的实施例中,对第一帧图像的脸部框的修正,具体可以利用第二帧图像的前二帧图像的脸部框进行,也就是说,可以利用第一帧图像的脸部框,和第一帧图像的前一帧图像的脸部框进行脸部框的修正。
在一些可选的实施例中,第一帧图像相对于前一帧图像的姿态变化幅度小于预设的变化幅度阈值;第一帧图像相对于前一帧图像的姿态变化幅度根据拍摄第一帧图像时摄像设备的姿态数据,和拍摄前一帧图像时摄像设备的姿态数据计算得到。
由上述内容可以看出,利用第二帧图像的前二帧图像的脸部框修正脸部框,只有在前二帧图像之间的姿态变化幅度较小时才进行,这样做的好处在于,可以避免使用电子设备的姿态变化幅度过大的两帧图像的脸部框来确定修正后脸部框,防止获得的修正后脸部框过小。
在一些可选的实施例中,利用第一帧图像的脸部框,和第一帧图像的前一帧图像的脸部框修正脸部框,具体可以是:将第一帧图像的脸部框和第一帧图像的前一帧图像的脸部框重合,将两者的重合区域确定为修正后脸部框。
由上述内容可以看出,缩小脸部框的尺寸,有助于减少裁剪得到的脸部图像中背景部分的像素的占比,从而削弱背景部分的像素对计算得到的脸部亮度的干扰,确保在后续调节曝光参数时能准确的获得当前帧图像的脸部亮度,进而获得更准确的曝光参数调整值
在一些可选的实施例中,修正第一帧图像的脸部框,具体可以是,按预先获得的运动矢量对第一帧图像的脸部框进行平移,平移后的脸部框就是修正后脸部框。这样获得的修正后脸部框的位置和第一帧图像的脸部框的位置的偏差,与前述运动矢量相匹配。
由上述内容可以看出,一方面,根据运动矢量平移脸部框,可以适用于包括矩形在内的任意形状的脸部框,因此采用这种方法修正脸部框具有更广泛的适用范围。另一方面,根据运动矢量对脸部框进行修正,可以获得和第二帧图像中脸部的位置相匹配的修正后脸部框,在不缩小脸部框的同时减少裁剪后的脸部图像中背景部分的占比,既能获得更大面积的脸部图像,又能够避免脸部图像包含背景部分的像素,使得根据脸部图像计算得到的脸部亮度更准确,进而在根据脸部亮度调节曝光参数时获得更准确的曝光参数。
在一些可选的实施例中,在对第一帧图像的脸部框进行平移之前,可以利用第二帧图像的前二帧图像,也就是利用第一帧图像,以及第一帧图像的前一帧图像确定运动矢量。
在一些可选的实施例中,在利用第一帧图像,以及第一帧图像的前一帧图像确定运动矢量之前,先判断第一帧图像相对于前一帧图像的姿态变化幅度是否小于预设的变化幅度阈值,在判断出第一帧图像相对于前一帧图像的姿态变化幅度小于预设的变化幅度阈值之后,再利用第一帧图像,以及第一帧图像的前一帧图像确定运动矢量。
其中,第一帧图像相对于前一帧图像的姿态变化幅度根据拍摄第一帧图像时摄像设备的姿态数据,和拍摄前一帧图像时摄像设备的姿态数据计算得到。
增加上述判断步骤的好处在于,可以避免计算出偏差过大的运动矢量,防止修正后脸部框和被裁减的第二帧图像中实际的脸部之间出现过大的偏差。
在一些可选的实施例中,利用第一帧图像,以及第一帧图像的前一帧图像确定运动矢量的方法,具体可以是:将第一帧图像的前一帧图像划分为多个图像块,选取第一帧图像的前一帧图像的某个图像块为查询块;将第一帧图像划分为多个图像块,然后选择第一帧图像的多个图像块中,和查询块相匹配的图像块作为目标块,最后根据查询块和目标块确定运动矢量。
在一些可选的实施例中,根据查询块和目标块确定运动矢量的方法可以是,将查询块的中心点确定为运动矢量的起点,将目标块的中心点确定为运动矢量的终点,由此获得一个运动矢量。
在一些可选的实施例中,在选取查询块时,可以选取第一帧图像的前一帧图像中,位于前一帧图像的脸部框中央的图像块作为查询块。划分得到的多个图像块中,位于前一帧图像的脸部框中央的图像块;前一帧图像的脸部框用于指示第一帧图像的前一帧图像中脸部的区域。
在一些可选的实施例中,在选取目标块时,可以选取第一帧图像的多个图像块中,和查询块的偏差值小于预设的偏差阈值的图像块作为目标块;图像块和查询块的偏差值,表征图像块和查询块的差异程度。
在一些可选的实施例中,两个图像块之间的偏差值具体可以是两个图像块之间平均绝对差值或者平均平方误差。
在一些可选的实施例中,根据第二帧图像的脸部图像调节曝光参数具体可以包括:
首先根据第二帧图像的脸部图像确定第二帧图像的脸部亮度;
然后基于第二帧图像的脸部亮度调节曝光参数。
在一些可选的实施例中,基于第二帧图像的脸部亮度调节曝光参数具体可以包括:
若第二帧图像的脸部亮度和预设的标准亮度之间的差值在预设范围外,基于第二帧图像的脸部亮度和标准亮度之间的差值调节曝光参数。
在一些可选的实施例中,根据第二帧图像的脸部图像调节曝光参数之后,还包括:
对第二帧图像进行人脸检测,得到第二帧图像的脸部框;第二帧图像的脸部框用于指示第二帧图像中脸部的区域。
在一些可选的实施例中,在拍摄第一帧图像和第二帧图像的这段时间内,被拍摄的用户的脸部发生移动,也就是说,第一帧图像中脸部的区域,和第二帧图像中脸部的区域不同。
本申请第二方面提供一种电子设备,电子设备包括:一个或多个处理器、存储器和摄像头;
存储器用于存储一个或多个程序;
一个或多个处理器用于执行一个或多个程序,使得电子设备执行本申请第一方面任意一项提供的曝光参数的调节方法。
本申请第三方面提供一种计算机存储介质,用于存储计算机程序,计算机程序被执行时,具体用于实现本申请第一方面任意一项提供的曝光参数的调节方法。
本申请提供一种曝光参数的调节方法、设备和存储介质,方法包括获得第一帧图像的脸部框和第二帧图像;第一帧图像的脸部框用于指示第一帧图像中脸部的区域;第二帧图像为第一帧图像的后一帧图像;修正第一帧图像的脸部框,得到修正后脸部框;基于修正后脸部框裁剪第二帧图像,得到第二帧图像的脸部图像;根据第二帧图像的脸部图像调节曝光参数。本方案先对前一帧图像的脸部框进行修正,再用修正后脸部框裁剪脸部图像,使得裁剪得到的脸部图像和被裁剪的图像中真实的脸部区域,有助于根据脸部图像获得更准确的脸部亮度,并基于脸部亮度调整得到更准确的曝光参数。
附图说明
图1a为本申请实施例公开的一种电子设备的结构示意图;
图1b为本申请实施例公开的一种用户使用电子设备查阅网页的场景示意图;
图2a为本申请实施例公开的一种电子设备的软件架构示意图;
图2b为本申请实施例公开的一种AO模块和自动曝光模块的运行方式的示意图;
图3a为本申请实施例公开的一种自动曝光模块调节曝光参数的实现方式示意图;
图3b为本申请实施例公开的一种图像帧的脸部框示意图;
图4为本申请实施例公开的一种曝光参数的调节方法的流程图;
图5为本申请实施例公开的一种曝光参数的调节方法的示例图;
图6为本申请实施例公开的一种确定比例系数的方法的流程图;
图7为本申请实施例公开的一种确定比例系数的方法的示例图;
图8为本申请实施例公开的另一种曝光参数的调节方法的流程图;
图9为本申请实施例公开的另一种曝光参数的调节方法的示例图;
图10为本申请实施例公开的再一种曝光参数的调节方法的流程图;
图11为本申请实施例公开的再一种曝光参数的调节方法的示例图;
图12为本申请实施例公开的一种计算运动矢量的方法的流程图;
图13为本申请实施例公开的一种计算运动矢量的方法的示例图;
图14为本申请实施例公开的又一种曝光参数的调节方法的流程图。
具体实施方式
本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于限定特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供了一种电子设备100,请参见图1a,电子设备100可以包括:处理器110,内部存储器(也称“内存”)120,外部存储器121,传感器模块130,摄像头140,显示屏150等。其中传感器模块130可以包括陀螺仪传感器130A等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
内部存储器120,也可以称为“内存”,可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器120的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
外部存储器121一般指外存储器,在本申请实施例中,外部存储器是指除电子设备的内存及处理器的高速缓存以外的储存器,该储存器一般为非易失性存储器。常见的外部存储器有硬盘、软盘、光盘、U盘、Micro SD卡等,用于实现扩展电子设备100的存储能力。外部存储器可以通过外部存储器接口或者总线与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储器中。
传感器模块130具体可以包括陀螺仪传感器130A。陀螺仪传感器130A可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器130A确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器130A可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器130A检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器130A还可以用于导航,体感游戏场景。
电子设备100可以通过ISP,摄像头140,视频编解码器,GPU,显示屏150以及应用处理器等实现拍摄功能。
ISP用于处理摄像头140反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头140中。
摄像头140用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头140,N为大于1的正整数。
电子设备100通过GPU,显示屏150,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏150和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏150用于显示图像,视频等。显示屏150包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏150,N为大于1的正整数。
以上是以电子设备100为例对本申请实施例作出的具体说明。应该理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件.软件.或硬件和软件的组合中实现。
在一些可能的实施例中,上述内部存储器120可以用于存储一个或多个程序;
处理器110用于执行内部存储器存储的一个或多个程序,使得电子设备执行本申请任一实施例提供的曝光参数的调节方法。
在一些可能的实施例中,外部存储器121可以作为一种计算机存储介质,用于存储计算机程序,存储的计算机程序被执行时,具体用于实现本申请任一实施例所提供的曝光参数的调节方法。
用户可以通过图1a所示的电子设备查阅网页、新闻、文章等,也可以通过电子设备玩游戏,看视频。用户通过电子设备查阅网页、新闻、文章,玩游戏或看视频时,用户会长时间注视电子设备的显示屏,为配合用户长时间注视显示屏,电子设备在检测到用户长时间注视显示屏后会执行对应事件,例如显示屏不息屏、铃声音量降低等。
上述电子设备可以是手机,平板电脑等设备。
图1b展示了用户通过电子设备查阅网页的场景,以下以该场景为例对电子设备检测用户长时间注视显示屏,执行对应事件的方案进行介绍。
参见图2a,最简图像前端(Image Front End lit,IFE lit)单元,是图像信号处理器中的集成单元,摄像头输出的图像会到达IFE lit集成单元,由其将摄像头输出的图像存储于内存的安全buffer。
自动曝光模块属于控制器的一个逻辑单元,由控制器运行自动曝光(automaticexposure,AE)算法得到。
AO(always on)模块也属于控制器的一个逻辑单元,由控制器运行AO(always on)方案得到。AO方案,是指基于AO camera(always on camera)实现的智慧感知的解决方案,通常包含人眼注视识别、机主识别、手势识别等功能,典型特征为长时间低功耗运行。
摄像头驱动也属于控制器的一个逻辑单元,用于对摄像头配置参数,打开或关闭摄像头。
电子设备的显示屏显示网页,用户注视电子设备的显示屏查阅网页。如图2a所示,电子设备的前置摄像头运行,执行步骤S1、拍摄用户的人脸图像。最简图像前端单元执行步骤S2读取人脸图像,基于安全机制将人脸图像存储于内存的安全buffer。AO模块执行步骤S3-1、获取内存的安全buffer存储的人脸图像的图像数据,通过分析图像数据,确定用户人眼是否注视显示屏。在AO模块确定用户人眼注视显示屏时,执行步骤S4、控制电子设备的显示屏不熄屏。
摄像头拍摄的人脸图像的图像质量高低,制约着AO模块确定用户人眼是否注视显示屏的准确性。尤其是摄像头拍摄的人脸图像的图像亮度较高或者较低时,AO模块确定用户人眼是否注视显示屏的误差较大。为此,图2a中,自动曝光模块按照步骤S3-2所示,获取内存存储的人脸图像的图像数据;利用图像数据,计算人脸图像的图像亮度,将计算得到的图像亮度与标准亮度做比对,得到比对结果;依据比对结果调整摄像头的曝光参数,一般为曝光时长和增益,得到曝光时长调整值和增益调整值。自动曝光模块还执行步骤S4、将计算得到的曝光时长调整值和增益调整值,传输至AO模块,AO模块再按照图2a中步骤S5所示,将曝光时长调整值和增益调整值发送值摄像头驱动,摄像头驱动按照图2a中步骤S7所示,配置摄像头以曝光时长调整值和增益调整值运行。
上述标准亮度可以预先配置在AO模块中。标准亮度,可以配置为AO模块确定用户人眼是否注视显示屏的误差最小时的人脸图像的亮度,或者配置为AO模块确定用户人眼是否注视显示屏的误差最小时的人脸图像的脸部区域的亮度。示例性的,标准亮度可以设定为522。
以下结合图2b,对AO模块分析图像数据,确定用户人眼是否注视显示屏,以及自动曝光模块调整摄像头的曝光参数的具体方式进行说明。
自动曝光模块每获得一帧图像的图像数据,就利用这一帧图像的图像数据,执行一次曝光参数调节过程,曝光参数包括前述曝光时长和增益。下面以第一帧人脸图像(也可以称为图像帧1)为例对曝光参数调节过程进行说明:
参见图2b,图像序列包括摄像头拍摄的多帧图像,比如图像帧1,2,3,4…n,其中,摄像头开始以通用的曝光时长和增益运行。通常来讲,通用的曝光时长和增益可以是预先设定的。自动曝光模块按照图像的存储顺序,依次获取图像序列的每一帧图像的图像数据。针对第一帧图像(也称图像帧1),自动曝光模块利用图像帧1的图像数据,计算图像帧1的图像亮度,将图像帧1的图像亮度与标准亮度做比对,得到比对结果。若比对结果反映出图像帧1的图像亮度与标准亮度的差值小于预设值(如±10%),自动曝光模块则不执行操作,摄像头还是以原始曝光时长和增益运行,该原始曝光时长和增益是指预先设定的通用的曝光时长和增益。若比对结果反映出图像帧1的图像亮度与标准亮度的差值不小于预设值,自动曝光模块依据比对结果调整摄像头的曝光时长和增益,得到曝光时长1调值和增益1调值。自动曝光模块将曝光时长1调值和增益1调值,经AO模块向摄像头驱动传输。摄像头驱动配置摄像头以曝光时长1调值和增益1调值运行拍摄图像。
受自动曝光模块和摄像头驱动执行一次流程,滞后摄像头的拍摄一张图像的影响,假设图像帧2和图像帧3,是摄像头以原始曝光时长和增益运行拍摄得到,自动曝光模块按照上述处理方式,利用图像帧2和图像帧3的图像数据,计算得到曝光时长1调值和增益1调值;摄像头驱动配置摄像头同样以曝光时长1调值和增益1调值运行拍摄图像。图像帧4为摄像头被配置以曝光时长1调值和增益1调值拍摄得到。自动曝光模块也采样上述处理方式,利用图像帧4的图像数据,计算得到曝光时长2调值和增益2调值;摄像头驱动配置摄像头以曝光时长2调值和增益2调值运行拍摄图像。如此反复,直到自动曝光模块比对出图像帧的图像亮度和标准亮度的差值小于预设值,如±10%停止。
AO模块也按照图像的存储顺序,依次获取图像序列的每一帧图像的图像数据。针对AO模块获取的每一帧图像的图像数据,AO模块均执行下述流程,得到每一帧图像中人眼注视显示屏的判断结果。以下以AO模块处理图像帧1的图像数据为例说明。
AO模块比对图像帧1的图像数据和样本特征库,根据图像帧1的图像数据和样本特征库的比对结果,对图像帧1配置置信度,该置信度用于表征图像帧1中的人眼注视显示屏的概率。AO模块判断图像帧1的置信度是否小于门限值,图像帧1的置信度不小于门限值,则确定图像帧1中的人眼注视显示屏,图像帧1的置信度小于门限值,则确定图像帧1中的人眼未注视显示屏。
一些实施例中,样本特征库中包括人眼注视显示屏图像的特征数据。该特征数据的确定方式为:获取大量的样本图像,样本图像包括人眼注视显示屏的样本图像和人眼未注视显示屏的样本图像,利用每一个样本图像的图像数据进行学习,得到表征人眼注视显示屏图像的特征数据。人眼注视显示屏的样本图像和人眼未注视显示屏的样本图像,均指代电子设备的前置摄像头拍摄人脸图像。
AO模块确定一定时长内的图像存在一帧图像的人眼注视显示屏,则执行控制电子设备的显示屏不熄屏、铃声音量降低等对应事件。
一帧人脸图像可以划分为脸部和背景两部分,其中背景的图像质量对注视检测结果的准确性的影响较弱,而脸部的图像质量对注视检测结果的准确性则有较显著的影响。
所以,为了减小计算量和更快的获得合适的曝光参数,自动曝光模块可以根据图像帧的脸部亮度调节曝光参数,并且在比对出图像帧的脸部亮度和标准亮度的差值小于预设值时停止调节曝光参数。
请参见图3a,根据脸部的图像亮度调节曝光参数的方法可以包括如下步骤:
自动曝光模块获得图像帧1后,针对图像帧1执行如下步骤S301至S303。
S301,比对图像亮度和标准亮度。
图像亮度根据图像帧1的图像数据计算得到。图像帧1可以是摄像头拍摄得到的第一帧图像。
其中,某一图像帧的图像亮度,可以等于这一图像帧的所有像素的亮度值的平均值。图像帧中每个像素的亮度值Bri,可以将这个像素的红色像素值R,绿色像素值G和蓝色像素值B,也就是这个像素的RGB像素值代入下述公式计算得到:
Bri=0.3×R+0.6×G+0.1×B
若图像亮度和标准亮度的差值小于预设值,则本方法结束,若图像亮度和标准亮度的差值不小于预设值,则执行步骤S302。
图3a中,图像帧1的图像亮度和标准亮度的差值不小于预设值,所以执行步骤S302。
S302,调整曝光参数。
在步骤S302中,自动曝光模块根据图像帧1的图像亮度和标准亮度的差值调整曝光参数,获得曝光参数调整值。步骤S302的具体执行过程可以参考前述曝光参数调节过程,不再赘述。执行步骤S302后获得的曝光参数调整值会被传输至摄像头驱动,使摄像头驱动配置摄像头以曝光参数调整值运行拍摄图像。
曝光参数调整值可以包括曝光时长调整值和增益调整值。自动曝光模块每次利用一帧图像获得曝光参数调整值后,可以将该曝光参数调整值发送给摄像头驱动,摄像头驱动按配置摄像头按曝光参数调整值拍摄得到一个或多个图像帧。
示例性的,自动曝光模块执行步骤S302后,将获得的曝光参数调整值发送给摄像头驱动,此时摄像头准备拍摄图像帧4,于是摄像头驱动配置摄像头按步骤S302获得的曝光参数调整值拍摄得到图像帧4。
S303,人脸检测。
对图像帧1进行人脸检测后,获得图像帧1的脸部框。图像帧1的脸部框可以保存在电子设备的内存中。对于一个图像帧,若这个图像帧中存在人脸,则人脸检测可以获得这个图像帧的脸部框,这个图像帧的脸部框用于指示这个图像帧中脸部所在的区域。
在电子设备中,一帧人脸图像的脸部框,可以以多个顶点的坐标数据的形式保存在电子设备的内存中,每一个坐标数据对应于人脸图像中的特定像素点,将这些坐标数据对应的像素点用线段连接可以得到一个多边形框,这个多边形框就是这一帧人脸图像的脸部框。因此,在本申请任一实施例中,获得一帧图像的脸部框,相当于,读取脸部框各个顶点的坐标数据。
以图3b为例,图3b-1表示摄像头拍摄得到的图像帧1,图3b-1由人脸检测模块进行人脸检测后,获得坐标数据:P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2)。在图像帧1中确定出前述坐标数据对应的像素点并连接对应的像素点,就可以获得如图3b-2所示的脸部框1。
在一些可能的实施例中,步骤S303可以由人脸检测模块实现。人脸检测模块是属于控制器的一个逻辑单元,由控制器运行人脸检测算法得到。人脸检测模块可以是配置在自动曝光模块内的一个子模块,也可以是一个独立的模块。
人脸检测技术是指从一幅图像或一段视频中确定其是否含有人脸,并对人脸位置与尺度进行定位的过程。实现人脸检测的前提是构建人脸检测器。在本申请中,人脸检测器可以通过多种方式来构建。示例性的,人脸检测模块可以采用如下方式预先构建一个人脸检测器,并利用人脸检测器实现人脸检测:
通过Haar-Like特征与Adaboost算法实现人脸检测。该方法中,采用Haar-Like特征表示人脸,对各Haar-Like特征进行训练得到弱分类器,通过Adaboost算法选择多个最能代表人脸的弱分类器构造成强分类器,将若干个强分类器串联组成一个级联结构的层叠分类器,即人脸检测器。
自动曝光模块获得图像帧2后,针对图像帧2依次执行步骤S304,S305,S306和S307。
S304,裁剪脸部图像。
自动曝光模块利用图像帧1的脸部框对图像帧2裁剪脸部图像。
请参见图3b中的图3b-3,获得图像帧1的脸部框和图像帧2之后,自动曝光模块可以在图像帧2中确定出图像帧1的脸部框。
之后,自动曝光模块根据图像帧1的脸部框,计算图像帧2的每一个像素是否位于对图像帧1检测得到的脸部框1内,由此可以读取出图像帧2的每一个位于图像帧1的脸部框内的像素,由这些图像帧2中位于脸部框1内的像素构成的图像,就是利用脸部框1从图像帧2裁剪得到的脸部图像,请参见图3b,其中图3b-4就是利用脸部框1从图像帧2裁剪得到的脸部图像。
S305,比对脸部亮度和标准亮度。
针对图像帧2执行步骤S305时,用于比对的脸部亮度,就是图像帧2的脸部亮度。图像帧2的脸部亮度,可以利用裁剪得到的图像帧2的脸部图像的图像数据计算得到,具体的计算方法可以参考前述根据图像帧1的图像数据计算图像亮度的方式,不再赘述。
示例性的,图像帧2的脸部亮度,可以等于图像帧2的脸部图像中所有像素的亮度的平均值。
执行步骤S305之后,若脸部亮度和标准亮度的差值小于预设值,则本方法结束,若脸部亮度和标准亮度的差值不小于预设值,则执行步骤S306。
在本实施例中,图像帧2的脸部亮度和标准亮度的差值不小于预设值,因此执行步骤306。
306,调整曝光参数。
在步骤S306中,自动曝光模块根据图像帧2的脸部亮度和标准亮度的差值调整曝光参数,获得曝光参数调整值。步骤S306的具体执行过程可以参考前述曝光参数调节过程。
与步骤S302类似的,S306中获得的曝光参数调整值被发送给摄像头驱动,摄像头驱动按配置摄像头按S306中获得的曝光参数调整值拍摄得到一个或多个图像帧。
示例性的,S306中获得的曝光参数调整值被发送给摄像头驱动时,摄像头准备拍摄图像帧5,于是摄像头驱动配置摄像头按步骤S306获得的曝光参数调整值拍摄得到图像帧5。
S307,人脸检测。
步骤S307的具体实施方式和步骤S303一致,即利用人脸检测模块对特定图像帧进行人脸检测,得到特定图像帧的脸部框。步骤S307和步骤S303的区别在于,步骤S303中被检测的图像帧为图像帧1,步骤S307中被检测的图像帧为图像帧2。
如图3a所示,从图像帧2开始,自动曝光模块每获得一个图像帧,就利用前一个图像帧的脸部框对这个图像帧进行裁剪,获得这个图像帧的脸部图像,进而根据这个图像帧的脸部图像确定这个图像帧的脸部亮度,之后,若比对出这个图像帧的脸部亮度和标准亮度的差值小于预设值,则本方法结束,若比对出这个图像帧的脸部亮度和标准亮度的差值不小于预设值,则利用这个图像帧的脸部图像调整曝光参数,并在调整曝光参数后对这个图像帧进行人脸检测,获得这个图像帧的脸部框,以此类推,直至比对出某个图像帧的脸部亮度和标准亮度的差值小于预设值为止。
上述根据脸部的图像亮度调节曝光参数的方式,存在如下的问题:
请参见图3b,在图3b-1至图3b-4所示的例子中,拍摄过程中用户的脸部处于静止状态,图像帧1中脸部的位置和图像帧2中脸部的位置基本一致,因此利用图像帧1的脸部框可以较准确的裁剪得到图像帧2的脸部图像。
然而在一些拍摄场景中,拍摄过程中用户的脸部(或者用于拍摄的电子设备)可能处于运动状态,导致拍摄出的相邻的前后两帧图像中脸部的位置不一致。继续参见图3b,图3b中图3b-5至图3b-8为运动状态下拍摄得到的图像的示例,其中图3b-5表示图像帧1,图3b-6表示对图像帧1人脸检测得到的图像帧1的脸部框,图3b-7表示图像帧2。
参见图3b-7,在图像帧2中确定出图像帧1的脸部框之后,可以看出图像帧2中脸部实际所在的区域和图像帧1的脸部框内的区域存在偏差。
参见图3b-8,图3b-8为基于图3b-7所示的图像帧1的脸部框和图像帧2裁剪得到的脸部图像。可以看出,在运动状态下,利用图像帧1的脸部框对图像帧2进行裁剪而获得的脸部图像,并不能准确的匹配图像帧2中实际的脸部,而是会包含图像帧2中脸部的一部分和背景的一部分,所以根据裁剪得到的脸部图像的图像数据计算出的脸部亮度就不准确,最终导致根据脸部亮度调节出的曝光参数的准确度较差。
进一步的,在图1所示的电子设备检测用户长时间注视显示屏的场景中,为了降低电子设备的功耗,AO模块一般会为摄像头驱动配置一个极低的帧率,因此相邻的前后两帧图像的拍摄时间间隔较长,拍摄得到的相邻两帧图像中脸部的位置的偏差更大,导致最后根据脸部亮度和标准亮度的差值计算出的曝光参数调整值更不准确。
示例性的,AO模块配置的帧率可以是5帧每秒,在该帧率下,摄像头每经过200毫秒(ms)才拍摄一帧人脸图像。
为了解决上述根据脸部的图像亮度调节曝光参数的方法存在的问题,本申请提供了一种调节曝光参数的方法。下面结合实施例对本申请提供的调节曝光参数的方法做具体说明。
实施例一
请参见图4,本实施例提供的一种曝光参数的调节方法可以包括如下步骤。
S401,自动曝光模块获得前一帧图像的脸部框和当前帧图像。
自动曝光模块具体可以从内存中读取前一帧图像的脸部框和当前帧图像。
当前帧图像,是指,自动曝光模块当前用于调节曝光参数的一帧图像。例如,自动曝光模块需要利用摄像头拍摄的第N+1帧图像调节曝光参数时,第N+1帧图像就是当前帧图像。
前一帧图像,是指摄像头在当前帧图像之前拍摄到的一帧图像。例如,若当前帧图像是第N+1帧图像,则前一帧图像为第N帧图像。
请参见图5,图5为自动曝光模块利用第N+1帧图像调节曝光参数的示例,图5a表示上述第N帧图像,图5b表示对第N帧图像人脸检测得到的第N帧图像的脸部框,图5d表示第N+1帧图像。
其中,第N帧图像的脸部框在执行步骤S401之前,也就是在获得第N帧图像的脸部框和第N+1帧图像之前,由人脸检测模块对第N帧图像进行人脸检测得到。
对比图5a和图5d可以看出,第N帧图像和第N+1帧图像之间脸部的区域存在偏差。
S402,自动曝光模块利用比例系数和原始尺寸,计算得到修正后尺寸。
原始尺寸,是指步骤S401中前一帧图像的脸部框的尺寸,具体包括前一帧图像的脸部框的长度L1和宽度W1。
修正后尺寸,包括修正后的长度和修正后的宽度。
当前一帧图像的脸部框仅包括顶点的坐标数据,不包括长度数据和宽度数据时,自动曝光模块利用脸部框包含的坐标数据可以计算出脸部框的长度L1和宽度W1。
示例性的,前一帧图像的脸部框包括四个顶点P1,P2,P3和P4的坐标数据,各个顶点的坐标数据为:P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2)。自动曝光模块用纵坐标相同的两个坐标数据的横坐标相减,得到宽度W1,在本示例中,W1就等于X1和X2的差的绝对值;自动曝光模块用横坐标相同的两个坐标数据的纵坐标相减,得到长度L1,在本示例中,L1就等于Y1和Y2的差的绝对值。
示例性的,一帧图像中横坐标和纵坐标的原点,可以是图像左下角顶点位置的像素点,横坐标和纵坐标的数值,表示对应的像素点是图像中第几列,第几行的像素点。例如,P1(X1,Y1),表示,P1为图像中第X1列,第Y1行的像素点。
请参见图5b,自动曝光模块获得第N帧图像的脸部框之后,可以按上述方法计算出第N帧图像的脸部框的长度L1和宽度W1。
获得前一帧图像的脸部框对应的长度L1和宽度W1后,自动曝光模块用长度L1乘以第一比例系数Sy,得到修正后的长度L2,即L2等于L1乘以Sy,然后自动曝光模块用宽度W1乘以第二比例系数Sx,得到修正后的宽度W2,即W2等于W1乘以Sx。第一比例系数和第二比例系数统称比例系数,比例系数可以由自动曝光模块在执行本实施例的修正脸部框的方法的过程中动态地确定,或者可以被预先配置在自动曝光模块中,或者可以被预先配置在AO模块中,由AO模块提供给自动曝光模块。
S403,自动曝光模块根据修正后尺寸和原始尺寸确定修正后脸部框。
获得修正后的宽度W2和修正后的长度L2后,自动曝光模块用W1减去W2,得到宽度变化ΔW,用L1减去L2,得到长度变化ΔL,然后,自动曝光模块根据宽度变化ΔW和长度变化ΔL,以及前一帧图像的脸部框中四个顶点的坐标数据计算得到修正后脸部框,修正后脸部框对应的脸部框称为修正后脸部框。
在一些可能的实施方式中,自动曝光模块根据宽度变化ΔW和长度变化ΔL,以及前一帧图像的脸部框中四个顶点的坐标数据确定修正后脸部框的方式如下:
对于前一帧图像的脸部框P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2),假设X1大于X2,Y1大于Y2。自动曝光模块获得宽度变化ΔW和长度变化ΔL后,按下述公式计算修正后坐标:
X10=X1-ΔW÷2
X20=X2+ΔW÷2
Y10=Y1-ΔL÷2
Y20=Y2+ΔL÷2
X10,X20,Y10,Y20表示修正后坐标,最后用修正后坐标替换前一帧图像的脸部框中对应的坐标,即用X10替换X1,用X20替换X2,用Y10替换Y1,用Y20替换Y2,从而获得如下的修正后脸部框,其中P5至P8表示修正后脸部框对应的顶点:
P5(X10,Y10),P6(X20,Y10),P7(X20,Y20),P8(X10,Y20)。
上述根据宽度变化和长度变化修正脸部框的方式,相当于是固定修正前的脸部框的中心点,然后按宽度变化和长度变化减小脸部框的宽度和长度,获得修正后的脸部框。
步骤S402和S步骤403,相当于按比例系数Sx,Sy修正前一帧图像的脸部框的过程。
请参见图5b和图5c,根据修正后尺寸和原始尺寸确定了宽度变化ΔW和长度变化ΔL之后,自动曝光模块保持第N帧图像的脸部框的中心点的坐标不变,根据宽度变化ΔW和长度变化ΔL移动图5b所示的第N帧图像的脸部框的顶点P1至P4,获得图5c所示的移动后的顶点P5至P8,图5c中由移动后的顶点确定的多边形框,就是步骤S403获得的修正后脸部框。
在本申请其他可能的实施方式中,自动曝光模块也可以固定修正前的脸部框的任意一点,例如固定修正前的脸部框左上角的顶点,然后按宽度变化和长度变化减小脸部框的宽度和长度,获得修正后的脸部框。
对比图5b和图5c可以看出,与第N帧图像的脸部框相比,通过步骤S401和步骤S403,可以获得一个长度L2,宽度W2,中心点和第N帧图像的脸部框一致的修正后脸部框。
S404,自动曝光模块用修正后脸部框裁剪当前帧图像,得到当前帧图像的脸部图像。
获得修正后脸部框后,自动曝光模块在当前帧图像中确定出修正后脸部框,然后提取出当前帧图像中位于修正后脸部框内的像素,由这些像素构成的图像,就是裁剪得到的当前帧图像的脸部图像。
请参见图5d和图5e,在第N+1帧图像中确定出修正后脸部框后,可以从第N+1帧图像中提取出位于修正后脸部框内的像素,这些位于修正后脸部框内的像素构成的图像,就是图5e所示的裁剪得到的第N+1帧图像的脸部图像。
从图5e可以看出,利用修正后脸部框裁剪得到的脸部图像,仅包含图5a所示的第N+1帧图像的脸部的一部分,几乎不包含图5a的背景。
S405,自动曝光模块根据当前帧图像的脸部图像调节曝光参数。
步骤S405的具体执行过程可以参见图3a所示的实施例中的步骤S305和步骤S302,不再赘述。
本实施例提供的修正脸部框的方法具有如下的有益效果:
当基于前一帧图像的脸部框对当前帧图像进行裁剪时,缩小脸部框的尺寸,有助于减少裁剪得到的脸部图像中背景部分的像素的占比,从而削弱背景部分的像素对计算得到的脸部亮度的干扰,确保在后续调节曝光参数时能准确的获得当前帧图像的脸部亮度。
实施例一所用的比例系数可以按如下的方法确定。
请参考图6,本申请实施例提供的一种确定比例系数的方法可以包括以下步骤:
本实施例提供的确定比例系数的方法,可以由图2a所示的具有智慧感知功能的电子设备中的自动曝光模块或AO模块执行,或者可以由不同于图2a所示的电子设备的另一电子设备执行,另一电子设备在确定出比例系数后可以将比例系数传递给图2a所示的电子设备,使得图2a所示的电子设备中的自动曝光模块能够基于比例系数执行前述实施例提供的修正方法。
S601、获得多帧图像的脸部框。
在一些可能的实施例中,上述确定比例系数的方法可以利用两帧图像进行。
请参见图7,图7为利用两帧图像确定比例系数的示例图。
图7中,图7a和图7b表示拍摄得到的两帧图像,图7c和图7d为步骤S601中获得的两帧图像的脸部框,其中图7c为对图7a进行人脸检测后获得的脸部框Q1,图7d为对图7d进行人脸检测后获得的脸部框Q2,其中脸部框Q1包括如下坐标数据:
P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2)。
脸部框Q2包括如下坐标数据:
P5(X3,Y3),P6(X4,Y3),P7(X4,Y4),P8(X3,Y4)。
S602、确定多帧图像的脸部框的重合区域。
重合区域,是指多帧图像的脸部框交叉的区域。与脸部框类似的,重合区域同样可以用顶点的坐标数据表示。
对于任意两个矩形的脸部框,这两个脸部框的重合区域可以按如下方式确定:
分别确定两个脸部框的左上角顶点和右下角顶点,获得两个左上角顶点和两个右下角顶点。然后,选取两个左上角顶点的横坐标的最大值作为第一横坐标,选取两个左上角顶点的纵坐标的最小值作为第一纵坐标,选取两个右下角顶点的横坐标的最小值作为第二横坐标,选取两个右下角顶点的纵坐标的最大值作为第二纵坐标。利用第一横坐标,第一纵坐标,第二横坐标和第二纵坐标可以确定出四个坐标数据,这四个坐标数据对应的顶点就是两个脸部框的重合区域的顶点。
确定脸部框的左上角顶点的方法是:
在该脸部框的坐标数据所包含的两个横坐标中选取较小的横坐标,在该脸部框的坐标数据所包含的两个纵坐标中选取较大的纵坐标,由较小的横坐标和较大的纵坐标确定的顶点就是该脸部框的左上角顶点。
确定脸部框的右下角顶点的方法是:
在该脸部框的坐标数据所包含的两个横坐标中选取较大的横坐标,在该脸部框的坐标数据所包含的两个纵坐标中选取较小的纵坐标,由较大的横坐标和较小的纵坐标确定的顶点就是该脸部框的右下角顶点。
请参见图7e,在获得图7c所示的脸部框Q1和图7d所示的脸部框Q2后,确定出P1为脸部框Q1的左上角顶点,P3为脸部框Q1的右下角顶点,并确定出P5为脸部框Q2的左上角顶点,P7为脸部框Q2的右下角顶点。
然后,比对P1和P5的横坐标X1和X3,选取其中的最大值max(X1,X3),记为Xc1;比对P1和P5的纵坐标Y1和Y3,选取其中的最小值min(Y1,Y3),记为Yc1;比对P3和P7的横坐标X2和X4,选取其中的最小值min(X2,X4),记为Xc2;比对P3和P7的纵坐标Y2和Y4,选取其中的最大值max(Y2,Y4),记为Yc2。
从图7e可以看出,由Xc1,Xc2,Yc1和Yc2对应的直线围成的矩形,脸部框Q1和脸部框Q2的重合区域Q3,在电子设备中,该重合区域可以用如下的坐标数据表示:
Pc1(Xc1,Yc1),Pc2(Xc2,Yc1),Pc3(Xc2,Yc2),Pc4(Xc1,Yc2)。
S603、计算重合区域对应尺寸和上述任一帧的脸部框对应的尺寸之比,得到比例系数。
将多个矩形的脸部框叠放得到的重合区域,同样为矩形区域,在步骤S603中,用重合区域的长度除以叠放的任意一个脸部框的长度,获得的比值就是第一比例系数Sy,用重合区域的宽度除以叠放的任意一个脸部框的宽度,获得的比值就是第二比例系数Sx。
请参见图7,确定出脸部框Q1和脸部框Q2的重合区域Q3后,利用上述表示重合区域的坐标数据可以计算出重合区域Q3的长度Lc=Yc1-Yc2,宽度Wc=Xc2-Xc1。最后,用重合区域Q3的长度Lc除以脸部框Q2的长度L2,得到第一比例系数Sy,用重合区域的宽度Wc除以脸部框Q2的宽度W2,就可以得到第二比例系数Sx。
可以理解的,图6所示的确定两个脸部框的重合区域的方法,可以用于确定包括脸部框在内的任意两个矩形框的重合区域,具体过程参见图6所述的实施例,不再赘述。
虽然图7的示例以两帧图像的脸部框为例,但本实施例提供的确定比例系数的方法也可以利用三帧以及三帧以上图像的脸部框确定比例系数。
以图像1,图像2和图像3共三帧图像为示例,可以按前述方法,用图像1的脸部框和图像2的脸部框确定第一重合区域,由于第一重合区域对应的也是一个矩形框,可以继续按图6所示的方法,用第一重合区域和图像3的脸部框,确定出第二重合区域。由此获得的第二重合区域,就是图像1的脸部框,图像2的脸部框和图像3的脸部框的重合区域。以此类推,三帧以上的图像也可以按上述示例的方法计算,不再赘述。
在一些可能的实施方式中,图2a所示的电子设备的自动曝光模块,或者图2b所示的电子设备的AO模块,或者和图2a所示的电子设备不同的其他电子设备,可以预先获得获得多帧图像的脸部框,然后按图6所示的方法计算得到比例系数并将比例系数预存在自动曝光模块中,此后自动曝光模块每次按上述实施例修正脸部框时都利用预存的比例系数进行修正。
在另一些可能的实施方式中,自动曝光模块还可以在每次修正脸部框之前,利用之前拍摄到的S帧图像的脸部框计算得到本次修正所用的比例系数,从而实现比例系数的动态更新。S为预设的大于或等于2的整数。
为了实现比例系数的动态更新,自动曝光模块在内存中设置一块用于缓存S帧图像的脸部框的数据缓存区。从摄像头拍摄第1帧图像开始,自动曝光模块每次利用人脸检测模块识别出一帧图像的脸部框后,就将这一帧图像的脸部框存入数据缓存区,若存入前自动曝光模块发现数据缓存区已存满,则删除其中最早存入的脸部框,再将当前这一帧的脸部框存入。这样,自动曝光模块对第N帧图像进行曝光参数调节(N大于S)时,数据缓存区中都存有第N-S帧至第N-1帧的脸部框。
基于上述数据缓存区,自动曝光模块对第N帧图像进行曝光参数调节(N大于S)前,从数据缓存区读取其中S帧的脸部框,基于这S帧的脸部框执行图6所示的确定比例系数的方法,从而获得适用于第N帧图像的比例系数,然后利用这个适用于第N帧图像的比例系数,对第N-1帧的脸部框进行修正,获得修正后脸部框。
可选的,在比例系数的动态更新方案中,若数据缓存区尚未存储到S帧的脸部框,则自动曝光模块调节曝光参数时,可以利用预存的比例系数修正脸部框。
在上述实施例所提供的修正方法中,对比例系数进行动态更新的好处在于:
在摄像头连续拍摄的多帧图像中,每相邻的两帧图像之间脸部位置的变化是不固定。上述动态更新的方法,可以在每次修正脸部框时获得和相邻的两帧图像之间脸部位置的变化程度匹配的比例系数,从而在减少裁剪得到的图像数据中背景部分的占比的前提下,尽可能保留更多位于脸部的像素,有助于提高计算出的脸部亮度的准确性。
进一步的,在比例系数的动态更新方案中,自动曝光模块可以根据手机姿态的变化幅度清理上述数据缓存区内的数据。自动曝光模块每次向数据缓存区存入一帧图像的脸部框之前,可以获取拍摄这一帧图像时电子设备的姿态数据,然后用拍摄这一帧图像时的姿态数据和电子设备拍摄目标图像时的姿态数据计算出这一帧图像相对于目标图像的姿态变化幅度,若姿态变化幅度不大于预设的变化幅度阈值,则直接存入这一帧图像的脸部框,若姿态变化幅度大于预设的变化幅度阈值,则删除当前数据缓存区存的所有脸部框,然后再存入这一帧图像的脸部框。
拍摄一帧图像时电子设备的姿态数据可以由前述陀螺仪传感器130A采集并写入内存。电子设备的姿态数据可以包括电子设备的倾斜角度,相应的,姿态变化幅度可以是两个姿态数据包括的倾斜角度的角度差。
在一些可选的实施例中,目标图像,包括当前存储在数据缓存区中的每一个脸部框对应的一帧图像。
在另一些可选的实施例中,目标图像也可以只包括当前存储在数据缓存区中的任意一个脸部框对应的一帧图像。例如,目标图像可以是数据缓存区中最早存入的一个脸部框对应的一帧图像。
示例性的,假设数据缓存区存有图像帧1至图像帧3的脸部框,当自动曝光模块要存入图像帧4的脸部框时,自动曝光模块分别确定图像帧4相对于图像帧1的姿态变化幅度,图像帧4相对于图像帧2的姿态变化幅度,图像帧4相对于图像帧3的姿态变化幅度,若每一个姿态变化幅度均不大于变化幅度阈值,则自动曝光模块向数据缓存区存入这一帧图像的脸部框,若其中任意一个姿态变化幅度大于变化幅度阈值,则自动曝光模块删除当前数据缓存区存的图像帧1至图像帧3的脸部框,然后再存入图像帧4的脸部框。
某两帧图像之间电子设备的姿态变化幅度过大,则这两帧图像中脸部框的重合区域显然也较小,进而导致利用这两帧图像的脸部框确定出的比例系数过小。而根据电子设备的姿态变化幅度清理数据缓存区内的数据,则可以避免使用电子设备的姿态变化幅度过大的两帧图像的脸部框来确定比例系数,防止在动态更新的过程中产生过小的比例系数。
实施例二
本申请实施例二还提供了一种曝光参数的调节方法。请参见图8,本实施例提供的曝光参数的调节方法包括如下步骤。
S801,自动曝光模块获得前二帧图像的脸部框和当前帧图像。
前二帧图像为当前帧图像之前拍摄的两帧图像。当前帧图像由摄像头拍摄后存在内存中,前二帧图像的脸部框由人脸检测模块检测得到并存在内存中,在步骤S801中,自动曝光模块可以从内存读取上述数据。
请参见图9,图9为本实施例提供的曝光参数的调节方法的示例。其中图9a和图9b表示步骤S801中的前二帧图像,图9c表示当前帧图像,图9d为经过人脸检测得到的图9a的脸部框Q1,图9e表示经过人脸检测得到的图b的脸部框Q2。
示例性的,若图9c所示的当前帧图像为第N帧图像,N大于或等于3,那么图9a为第N-2帧图像,图9b为第N-1帧图像。
S802,自动曝光模块将前二帧图像的脸部框的重合区域确定为修正后脸部框。
自动曝光模块确定前二帧图像的脸部框的重合区域的方法可以参见图6所示的实施例的步骤S602所述的方法。
请参见图9f和图9g,自动曝光模块在获得前二帧图像的脸部框后,基于步骤S602所述的方法,确定出如图9f所示脸部框Q1和脸部框Q2的重合区域,并将重合区域确定为图9g所示的修正后脸部框Q3。
S803,自动曝光模块利用修正后脸部框裁剪当前帧图像,获得当前帧图像的脸部图像。
请参见图9h,图9h为自动曝光模块利用图9g所示的修正后脸部框对图9c的当前帧图像裁剪得到的脸部图像。
S804,自动曝光模块根据当前帧图像的脸部图像调节曝光参数。
步骤S803和S804的具体执行过程可以参见图4所示的实施例的步骤S404和S405,此处不再赘述。
本实施例提供的修正脸部框的方法,和前述实施例提供的按特定的比例系数对脸部框进行修正的方法具有一致的有益效果。
在一些可能的实施例中,自动曝光模块利用前二帧的脸部框计算重合区域前,先获取拍摄前二帧图像时电子设备的姿态数据,根据前二帧图像对应的姿态数据,计算出前二帧图像过程中电子设备的姿态变化幅度,若姿态变化幅度小于或等于预设的变化幅度阈值,则继续利用前二帧的脸部框计算重合区域,若姿态变化幅度大于变化幅度阈值,则不计算重合区域。在姿态变化幅度大于变化幅度阈值的情况下,自动曝光模块可以直接用前一帧的脸部框对当前帧进行裁剪,或者可以按预设的比例系数对前一帧的脸部框进行修正,再用按比例系数修正后的脸部框对当前帧进行裁剪。
续接图9所示的示例,自动曝光模块在利用图9d和图9e所示的脸部框计算重合区域之前,先按前述计算姿态变化幅度的方法,计算出拍摄图9a所示的图像的时刻到拍摄图9b所示的图像的时刻这一时间段内,电子设备的姿态变化幅度,若姿态变化幅度小于或等于预设的变化幅度阈值,则自动曝光模块根据图9d和图9e所示的脸部框确定出图9h所示的修正后脸部框,若姿态变化幅度大于变化幅度阈值,则自动曝光模块直接利用图9e所示的脸部框对图9c所示的图像进行裁剪,或者可以按预设的比例系数对图9e所示的脸部框,再用按比例系数修正后的脸部框对图9c所示的图像进行裁剪。
实施例三
本申请又一个实施例提供了一种曝光参数的调节方法。请参考图10,本实施例提供的曝光参数的调节方法可以包括如下步骤。
S1001,自动曝光模块获得前一帧图像的脸部框,前二帧图像和当前帧图像。
在一种具体的实施方式中,自动曝光模块在摄像头开始拍摄图像后,从内存读取第一帧图像,根据第一帧图像进行一次曝光参数调节,最后再利用人脸检测模块识别得到第一帧图像的脸部框。
自动曝光模块从内存读取第二帧图像,按预设的比例系数修正第一帧的脸部框,得到第一帧的修正后脸部框,利用第一帧的修正后脸部框对第二帧图像进行裁剪,得到第二帧图像的脸部图像,根据第二帧图像的脸部图像进行一次曝光参数调节,最后再利用人脸检测模块识别得到第二帧图像的脸部框。
此后,从第三帧开始,自动曝光模块每次从内存读取一帧图像之后,接着从内存读取前二帧图像,以及从内存读取前一帧图像的脸部框。
请参见图11,其中图11a和图11b表示前二帧图像,图11c表示当前帧图像,图11d表示通过人脸检测得到的图11b的脸部框Q1,脸部框Q1的顶点包括P1至P4,脸部框Q1可以用下述坐标数据表示:
P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2)。
示例性的,图11c可以是第K+1帧图像,图11a为第K-1帧图像,图11b为第K帧图像,图11d表示通过人脸检测得到的第K帧图像的脸部框,K大于或等于2。
S1002,自动曝光模块利用前二帧图像,计算得到运动矢量。
利用前二帧图像计算得到运动矢量的具体实现方式可以参见下文图12所示的实施例。
请参见图11,图11为本实施例的曝光参数的调节方法的示例。自动曝光模块获得图11a和图11b所示的两帧图像后,利用图11a和图11b计算得到图11所示的运动矢量V1。
S1003,自动曝光模块依据运动矢量修正前一帧图像的脸部框,得到修正后脸部框。
在执行步骤S1003时,针对前一帧图像的脸部框所对应的每一个坐标数据,自动曝光模块可以将这个坐标数据和前述运动矢量相加,得到一个更新后坐标数据,在前一帧图像的脸部框的每一个坐标数据均被更新后,获得的各个更新后坐标数据所表示的多边形框,就是依据运动矢量修正得到的修正后脸部框。
请参见图11。基于图11d所示的脸部框的坐标数据:P1(X1,Y1),P2(X2,Y1),P3(X2,Y2),P4(X1,Y2),自动曝光模块将P1和运动矢量V1相加,得到更新后坐标数据P10,自动曝光模块将P2和运动矢量V1相加,得到更新后坐标数据P20,自动曝光模块将P3和运动矢量V1相加,得到更新后坐标数据P30,自动曝光模块将P4和运动矢量V1相加,得到更新后坐标数据P40。基于更新后坐标数据P10至P40,可以确定出图11e所示的修正后脸部框Q10。
示例性的,若将运动矢量V1记为V1(Vx1,Vy1),则更新后坐标数据为:
P10(X1+Vx1,Y1+Vy1),P20(X2+Vx1,Y1+Vy1),P30(X2+Vx1,Y2+Vy1),P40(X1+Vx1,Y2+Vy1)。
从图11e可以看出,步骤S1003相当于按照计算得到的运动矢量平移前一帧图像的脸部框,平移的方向为运动矢量的方向,平移的距离为运动矢量的长度,平移后获得的脸部框,就是修正后脸部框。
S1004,自动曝光模块利用修正后脸部框裁剪当前帧图像,获得当前帧图像的脸部图像。
续接前述示例,自动曝光模块获得图11e所示的修正后脸部框Q10后,利用修正后脸部框Q10对图11c所示的当前帧图像进行裁剪,从而获得图11f所示的当前帧图像的脸部图像。
S1005,自动曝光模块根据当前帧图像的脸部图像调节曝光参数。
步骤S1004和S1005的具体执行过程可以参见图4所示的实施例的步骤S404和S405,此处不再赘述。
本实施例提供的曝光参数的调节方法具有如下的好处:
一方面,自动曝光模块可以根据运动矢量分别对脸部框包含的各个坐标数据进行调整,实施例三中修正脸部框的方法既可以修正对应脸部框为矩形的脸部框,也可以修正对应脸部框为除矩形外其他形状的脸部框,因此实施例三所提供的曝光参数的调节方法,可以利用任意形状的脸部框进行曝光参数的调节,具有更广泛的适用范围。
另一方面,由于运动矢量反映了当前帧图像中脸部相对于前一帧图像中脸部的移动方向和距离,根据运动矢量对脸部框进行修正,可以获得和当前帧图像中脸部的位置相匹配的修正后脸部框,在不缩小脸部框的同时减少裁剪后的脸部图像中背景部分的占比,既能获得更大面积的脸部图像,又能够避免脸部图像包含背景部分的像素,使得根据脸部图像计算得到的脸部亮度更准确,进而在根据脸部亮度调节曝光参数时获得更准确的曝光参数。
在一些可能的实施方式中,自动曝光模块在根据运动估计对脸部框进行修正时,可以不限于利用前二帧图像计算运动矢量,而是可以使用更早拍摄到的图像计算运动矢量。
续接前述示例,在需要修正第K帧的脸部框时,自动曝光模块也可以利用第K帧图像和第K-2帧图像计算运动矢量。
在一些可能的实施方式中,自动曝光模块可以根据电子设备的姿态变化幅度选择是否计算运动矢量。每次利用前二帧图像计算运动矢量之前,自动曝光模块先利用拍摄前二帧图像时电子设备的姿态数据,计算得到拍摄前二帧图像的这段时间内电子设备的姿态变化幅度,若姿态变化幅度大于变化幅度阈值,则自动曝光模块不计算运动矢量,若姿态变化幅度小于或等于变化幅度阈值,则自动曝光模块按前述实施例的方法继续计算运动矢量。
其中,当自动曝光模块因姿态变化幅度大于变化幅度阈值而不计算运动矢量时,自动曝光模块可以预设的比例系数对前一帧的脸部框进行修正,再利用按比例系数修正得到的修正后脸部框对当前帧图像进行裁剪。
根据姿态变化幅度选择是否计算运动矢量的好处在于:
某两帧图像之间电子设备的姿态变化幅度过大,则这两帧图像之间脸部的位置会发生大幅度的变化,相应的用这两帧图像计算出的运动矢量就不能准确的反映图像中脸部的移动方向和距离。而根据姿态变化幅度选择是否计算运动矢量,则可以避免计算出偏差过大的运动矢量,防止修正后脸部框和被裁减的图像中实际的脸部之间出现过大的偏差。
请参见图12,一种利用两帧图像计算运动矢量的方法,可以包括如下步骤:
S1201、在参考帧图像中确定出一个查询块。
参考帧图像的拍摄时间早于目标帧图像的拍摄时间。在本实施例中,参考帧图像为用于计算运动矢量的二帧图像中较早拍摄的一帧图像,目标帧图像为用于计算运动矢量的二帧图像中较晚拍摄的一帧图像。
在S1201中,参考帧图像可以按一定的划分方式被划分为多个图像块,然后自动曝光模块在多个图像块中指定一个图像块作为查询块。
示例性的,自动曝光模块可以将参考帧图像划分为多个10×10的图像块,然后选取其中位于参考帧图像的脸部框中央的图像块作为查询块。
请参见图13,其中,图13a表示参考帧图像,图13b表示目标帧图像。示例性的,图13a可以是第K-1帧图像,图13b可以是第K帧图像为目标帧图像。
自动曝光模块获得图13a所示的一帧图像后,从内存读取这一帧图像的脸部框Q2,根据脸部框Q2,选取图13a所示的图像中位于脸部框Q2中央的图像块B1作为查询块。
S1202、在目标帧图像中查找和查询块匹配的目标块。
与S1201类似,在S1202中,目标帧图像也可以被划分为多个图像块,然后自动曝光模块在目标帧图像的多个图像块中查找一个图像块作为目标块。一般的,目标帧图像和参考帧图像划分出的图像块的尺寸一致。结合上述示例,目标帧图像可以被划分为多个10×10的图像块。
S1202的一种具体的实施方式如下:
首先选取目标帧图像中和查询块位置相同的图像块,用选取的图像块内像素数据和查询块内像素数据计算得到选取的图像块和查询块的偏差值,若偏差值小于或等于预设的偏差阈值,就将当前选取的图像块确定为和查询块匹配的目标块,若偏差值大于预设的偏差阈值,在和当前选取的这个图像块相邻的多个图像块中,选取一个之前未被选取过的新图像块,计算选取的新图像块和查询块的偏差值,以此类推,直至选取出目标块为止。
在另一些可选的实施方式中,目标块也可以定义为目标帧图像中,和查询块的偏差值最小的图像块。
除上述从查询块的位置开始的查找方式外,执行步骤S1202时还可以有其他的搜索方式,例如可以从目标帧图像的左上角的图像块开始逐一查找目标帧图像的每个图像块,此处不再赘述。
两个图像块的偏差值,反映的是这两个图像块的内容的差异程度,偏差值越小,说明这两个图像块的内容越接近。
两个图像块之间的偏差值可以是这两个图像块的平均绝对差值(Mean AbsoluteDifference,MAD),或者可以是这两个图像块的平均平方误差(Mean Squared Difference,MSD)。
两个图像块的MAD的计算公式如下:
Figure BDA0003203248600000221
两个图像块的MSD的计算公式如下:
Figure BDA0003203248600000222
上述公式中,Cij表示一个图像块中第i行,第j列的像素的灰度值,Rij表示另一个图像块中第i行,第j列的像素的灰度值。M表示两个图像块的行数,N表示两个图像块的列数。
请参见图13b,自动曝光模块在图13a所示的参考帧图像确定出查询块之后,逐一计算图13b所示的目标帧图像中每个图像块和查询块的偏差值,经过计算发现图13b所示的图像块B2和查询块的偏差值小于或等于偏差阈值,因此将B2确定为目标块。
S1203、根据第一位置数据和第二位置数据计算得到运动矢量。
第一位置数据,是指参考帧图像中查询块内某一点的坐标数据。示例性的,第一位置数据可以是,参考帧图像中,查询块中心点的坐标数据。
第二位置数据是指目标帧图像中目标块内某一点的坐标数据。示例性的,第二位置数据可以是,目标帧图像中,目标块中心点的坐标数据。
在平面图像中,运动矢量可以用矢量的起点和终点的横坐标差值和纵坐标差值来表示。在步骤S1203中,运动矢量的起点为第一位置数据对应的点,终点为第二位置数据对应的点。
请参见图13c,确定出查询块B1和目标块B2后,自动曝光模块将查询块B1的中心点的坐标数据(Bx1,By1)确定为第一位置数据,将目标块B2的中心点的坐标数据(Bx2,By2)确定为第二位置数据,然后根据坐标数据(Bx1,By1)和(Bx2,By2)计算得到运动矢量V1(Vx1,Vy1),其中:
Vx1=Bx2-Bx1;Vy1=By2-By1。
可以理解的,图12所示的实施例是本申请实施例中一种可选的利用两帧图像计算得到运动矢量的方法。在本申请其他可能的实施例中,自动曝光模块也可以基于区域匹配法(region-matching method),光流法(optical-flow method)等运动估计方法计算得到运动矢量,本申请实施例对计算运动矢量的方法不做限定。
需要说明的是,上述实施例一至实施例三均以用户脸部处于运动状态时拍摄得到的图像为例说明本申请提供的曝光参数的调节方法,但是,本申请实施例提供的曝光参数的调节方法,还可以根据用户脸部处于静止状态时拍摄得到的图像调节曝光参数,本申请实施例提供的曝光参数的调节方法对拍摄图像时脸部是静止还是运动不做限定。
实施例四
本实施例提供一种曝光参数的调节方法,请参见图14,该调节方法可以包括如下步骤。
摄像头启动后,按一定的间隔连续的拍摄图像,并将拍摄到的每一帧图像保存在内存中。
自动曝光模块获得图像帧1后,针对图像帧1执行如下步骤S1401至S1403。
S1401,比对图像亮度和标准亮度。
若比对发现图像帧1的图像亮度和标准亮度的差值小于预设值,则本实施例的方法结束,若比对发现图像帧1的图像亮度和标准亮度的差值不小于预设值,则自动曝光模块执行步骤S1402和S1403。
S1402,调整曝光参数。
S1403,人脸检测。
对图像帧1进行人脸检测后,获得图像帧1的脸部框。图像帧1的脸部框可以保存在电子设备的内存中。
步骤S1401至步骤S1403的具体执行过程请参见图3a所示实施例的步骤301至303。
自动曝光模块将图像帧1的脸部框存入内存后,从内存读取图像帧2后,针对图像帧2依次执行步骤S1404,S1405,S1406,S1407和S1408。
S1404,修正脸部框。
步骤S1404中修正的,是当前读取的这一帧图像的前一帧图像的脸部框,当针对图像帧2执行步骤S1404时,修正的就是前述图像帧1的脸部框。经过修正后,自动曝光模块获得修正后脸部框。
步骤S1404的具体实现方式,可以参照实施例一至三中获得修正后脸部框的相关步骤,此处不再赘述。
S1405,裁剪脸部图像。
本实施例中,自动曝光模块利用步骤S1404中获得的修正后脸部框来裁剪脸部图像。
S1406,比对脸部亮度和标准亮度。
步骤S1405和S1406的具体执行过程,可以参见图3a所示实施例的步骤304和305,此处不再赘述。
执行步骤S1406之后,若脸部亮度和标准亮度的差值小于预设值,则本方法结束,若脸部亮度和标准亮度的差值不小于预设值,则执行步骤S1407。
在本实施例中,图像帧2的脸部亮度和标准亮度的差值不小于预设值,因此执行步骤S1407。
S1407、调整曝光参数。
在步骤S1407中,自动曝光模块根据图像帧2的脸部亮度和标准亮度的差值调整曝光参数,获得曝光参数调整值。步骤S1407的具体执行过程可以参考前述曝光参数调节过程。
与步骤S1402类似的,S1407中获得的曝光参数调整值被发送给摄像头驱动,摄像头驱动按配置摄像头按S1407中获得的曝光参数调整值拍摄得到一个或多个图像帧。
示例性的,S1407中获得的曝光参数调整值被发送给摄像头驱动时,摄像头准备拍摄图像帧5,于是摄像头驱动配置摄像头按步骤S1407获得的曝光参数调整值拍摄得到图像帧5。
S1408、人脸检测。
如图14所示,从图像帧2开始,自动曝光模块每获得一个图像帧,就对前一个图像帧的脸部框进行修正,获得修正后脸部框,然后用修正后脸部框对这个图像帧进行裁剪,获得这个图像帧的脸部图像,进而根据这个图像帧的脸部图像确定这个图像帧的脸部亮度,之后,若比对出这个图像帧的脸部亮度和标准亮度的差值小于预设值,则本方法结束,若比对出这个图像帧的脸部亮度和标准亮度的差值不小于预设值,则利用这个图像帧的脸部图像调整曝光参数,并在调整曝光参数后对这个图像帧进行人脸检测,获得这个图像帧的脸部框,以此类推,直至比对出某个图像帧的脸部亮度和标准亮度的差值小于预设值为止。
在比对出某个图像帧的脸部亮度和标准亮度的差值小于预设值之后,自动曝光模块可以将拍摄这个图像帧时摄像头使用的曝光参数发送给摄像头驱动,使得摄像头驱动配置摄像头按拍摄这个图像帧时的曝光参数继续拍摄图像。
在图像帧N之后,若自动曝光模块发现某一图像帧的脸部亮度和标准亮度的差值不大于预设值,则自动曝光模块重复上述过程,继续进行曝光参数的调节。
图14所示的图像帧1,包括但不限于摄像头启动后拍摄得到的第一帧图像。
在一些可能的实施例中,若某一帧图像经过人脸检测模块后未获得对应的脸部框,则自动曝光模块可以将这一帧图像之后的第一帧图像视为图像帧1,继续图14所示的过程。某一帧图像经过人脸检测模块后未获得对应的脸部框,原因可能是,这一帧图像中未包含脸部,或者脸部的图像较模糊而无法检测,或者脸部的图像不完整(比如仅拍摄到侧脸)等。
示例性的,若第X帧图像经过人脸检测模块后未获得对应的脸部框,则自动曝光模块可以将之后的第X+1帧图像视为图像帧1,继续图14所示的过程。
在一些可能的实施例中,自动曝光模块在结束图14所示的流程后,若确定出某一帧图像的图像亮度和标准亮度的差值不小于预设值后,可以将这一帧图像确定为图像帧1,并再次开始执行图14所示的流程。
本实施例提供的调节曝光参数的方法,具有如下的有益效果:
通过修正前一帧的脸部框,可以获得更接近当前帧的图像脸部的修正后脸部框,减小裁剪得到的脸部图像数据中背景部分的比例,提高计算得到的脸部亮度的准确性,使得基于脸部亮度确定的曝光参数调整值更准确。
需要说明的是,本申请实施例一所提供的调节曝光参数的方法,除了可以适用于上述电子设备检测用户长时间注视显示屏的场景,还可以适用于其他需要调节曝光参数的场景。本申请实施例对调节曝光参数的场景不做限定。
本申请实施例还提供一种计算机存储介质,用于存储计算机程序,计算机程序被执行时,具体用于实现本申请任一实施例提供的曝光参数的调节方法。
本申请实施例还提供一种计算机程序产品,包括多条可执行的计算机命令,该产品的计算机命令被执行时,具体用于实现本申请任一实施例提供的曝光参数的调节方法。

Claims (28)

1.一种曝光参数的调节方法,其特征在于,包括:
获得第一帧图像的脸部框和第二帧图像;所述第一帧图像的脸部框用于指示所述第一帧图像中脸部的区域;所述第二帧图像为所述第一帧图像的后一帧图像;
修正所述第一帧图像的脸部框,得到修正后脸部框;
基于所述修正后脸部框裁剪所述第二帧图像,得到所述第二帧图像的脸部图像;
根据所述第二帧图像的脸部图像调节曝光参数。
2.根据权利要求1所述的调节方法,其特征在于,所述第二帧图像的脸部图像中背景部分的比例,小于对比脸部图像中背景部分的比例;所述对比脸部图像为基于所述第一帧图像的脸部框裁剪所述第二帧图像得到的图像。
3.根据权利要求1或2所述的调节方法,其特征在于,所述修正后脸部框的尺寸小于所述第一帧图像的脸部框的尺寸。
4.根据权利要求3所述的调节方法,其特征在于,所述修正后脸部框的尺寸和所述第一帧图像的脸部框的尺寸的比值为预设的比例系数。
5.根据权利要求3或4所述的调节方法,其特征在于,所述修正后脸部框中心点的位置,和所述第一帧图像的脸部框中心点的位置相同。
6.根据权利要求4所述的调节方法,其特征在于,所述比例系数根据N帧图像确定;所述N大于或等于2。
7.根据权利要求6所述的调节方法,其特征在于,所述N帧图像为,在所述第二帧图像之前拍摄得到的连续的N帧图像。
8.根据权利要求7所述的调节方法,其特征在于,所述第一帧图像相对于所述N帧图像中每一帧图像的姿态变化幅度均小于或等于预设的变化幅度阈值;所述第一帧图像相对于所述前N帧图像中一帧图像的姿态变化幅度,由拍摄所述第一帧图像时摄像设备的姿态数据,和拍摄所述前N帧图像中一帧图像时所述摄像设备的姿态数据计算得到。
9.根据权利要求6至8任意一项所述的调节方法,其特征在于,所述比例系数根据所述前N帧图像的脸部框确定;所述前N帧图像的脸部框用于指示所述前N帧图像中脸部的区域。
10.根据权利要求9所述的调节方法,其特征在于,所述比例系数根据所述前N帧图像的脸部框的重合区域,和所述前N帧图像中任意一帧图像的脸部框确定。
11.根据权利要求10所述的调节方法,其特征在于,所述比例系数为第一尺寸和第二尺寸的比值;所述第一尺寸为所述重合区域的尺寸;所述第二尺寸为所述前N帧图像中任意一帧图像的脸部框的尺寸。
12.根据权利要求3所述的调节方法,其特征在于,所述修正后脸部框根据所述第一帧图像的脸部框,和前一帧图像的脸部框确定;所述前一帧图像的脸部框用于指示所述前一帧图像中脸部的区域;所述前一帧图像为所述第一帧图像的前一帧图像。
13.根据权利要求12所述的调节方法,其特征在于,所述第一帧图像相对于所述前一帧图像的姿态变化幅度小于预设的变化幅度阈值;所述第一帧图像相对于所述前一帧图像的姿态变化幅度根据拍摄所述第一帧图像时摄像设备的姿态数据,和拍摄所述前一帧图像时所述摄像设备的姿态数据计算得到。
14.根据权利要求12或13所述的调节方法,其特征在于,所述修正后脸部框为所述第一帧图像的脸部框和所述前一帧图像的脸部框的重合区域。
15.根据权利要求1或2所述的调节方法,其特征在于,所述第一帧图像的脸部框的位置和所述修正后脸部框的位置的偏差,与预先获得的运动矢量相匹配。
16.根据权利要求15所述的调节方法,其特征在于,所述运动矢量根据所述第一帧图像和前一帧图像确定;所述前一帧图像为所述第一帧图像的前一帧图像。
17.根据权利要求16所述的调节方法,其特征在于,所述第一帧图像相对于所述前一帧图像的姿态变化幅度小于预设的变化幅度阈值;所述第一帧图像相对于所述前一帧图像的姿态变化幅度根据拍摄所述第一帧图像时摄像设备的姿态数据,和拍摄所述前一帧图像时所述摄像设备的姿态数据计算得到。
18.根据权利要求16或17所述的调节方法,其特征在于,所述运动矢量根据查询块和目标块确定;所述查询块为所述前一帧图像划分得到的任意一个图像块;所述目标块为所述第一帧图像划分得到的,并且与所述查询块匹配的图像块。
19.根据权利要求18所述的调节方法,其特征在于,所述运动矢量的起点为所述查询块的中心点;所述运动矢量的终点为所述目标块的中心点。
20.根据权利要求18或19所述的调节方法,其特征在于,所述查询块为所述前一帧图像划分得到的多个图像块中,位于所述前一帧图像的脸部框中央的图像块;所述前一帧图像的脸部框用于指示所述前一帧图像中脸部的区域。
21.根据权利要求18至20任意一项所述的调节方法,其特征在于,所述目标块为所述第一帧图像划分得到的多个图像块中,和所述查询块的偏差值小于预设的偏差阈值的图像块;所述图像块和所述查询块的偏差值,表征所述图像块和所述查询块的差异程度。
22.根据权利要求21所述的调节方法,其特征在于,所述偏差值为平均绝对差值或者平均平方误差。
23.根据权利要求1至22任意一项所述的调节方法,其特征在于,所述根据所述第二帧图像的脸部图像调节曝光参数,包括:
根据所述第二帧图像的脸部图像确定所述第二帧图像的脸部亮度;
基于所述第二帧图像的脸部亮度调节曝光参数。
24.根据权利要求23所述的调节方法,其特征在于,所述基于所述第二帧图像的脸部亮度调节曝光参数,包括:
若所述第二帧图像的脸部亮度和预设的标准亮度之间的差值在预设范围外,基于所述第二帧图像的脸部亮度和所述标准亮度之间的差值调节曝光参数。
25.根据权利要求1至24任意一项所述的调节方法,其特征在于,所述根据所述第二帧图像的脸部图像调节曝光参数之后,还包括:
对所述第二帧图像进行人脸检测,得到所述第二帧图像的脸部框;所述第二帧图像的脸部框用于指示所述第二帧图像中脸部的区域。
26.根据权利要求1至25任意一项所述的调节方法,其特征在于,所述第一帧图像中脸部的区域,和所述第二帧图像中脸部的区域不同。
27.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器和摄像头;
所述存储器用于存储一个或多个程序;
所述一个或多个处理器用于执行所述一个或多个程序,使得电子设备执行如权利要求1至26任意一项所述的曝光参数的调节方法。
28.一种计算机存储介质,其特征在于,用于存储计算机程序,所述计算机程序被执行时,具体用于实现如权利要求1至26任意一项所述的曝光参数的调节方法。
CN202110909669.2A 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质 Active CN113612932B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202211151124.0A CN115706862A (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质
CN202110909669.2A CN113612932B (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质
EP22854986.1A EP4195680A4 (en) 2021-08-09 2022-05-10 EXPOSURE PARAMETER ADJUSTMENT METHOD AND DEVICE AND STORAGE MEDIUM
US18/023,502 US20230319393A1 (en) 2021-08-09 2022-05-10 Exposure parameter adjustment method, device and storage medium
PCT/CN2022/091957 WO2023015992A1 (zh) 2021-08-09 2022-05-10 曝光参数的调节方法、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110909669.2A CN113612932B (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211151124.0A Division CN115706862A (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113612932A true CN113612932A (zh) 2021-11-05
CN113612932B CN113612932B (zh) 2022-10-04

Family

ID=78340035

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110909669.2A Active CN113612932B (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质
CN202211151124.0A Pending CN115706862A (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211151124.0A Pending CN115706862A (zh) 2021-08-09 2021-08-09 曝光参数的调节方法、设备和存储介质

Country Status (4)

Country Link
US (1) US20230319393A1 (zh)
EP (1) EP4195680A4 (zh)
CN (2) CN113612932B (zh)
WO (1) WO2023015992A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015992A1 (zh) * 2021-08-09 2023-02-16 荣耀终端有限公司 曝光参数的调节方法、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033275B (zh) * 2023-03-29 2023-08-15 荣耀终端有限公司 一种自动曝光方法、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691199A (zh) * 2019-10-10 2020-01-14 厦门美图之家科技有限公司 人脸自动曝光方法、装置、拍摄设备及存储介质
WO2020179174A1 (ja) * 2019-03-05 2020-09-10 株式会社Jvcケンウッド 映像処理装置、映像処理方法および映像処理プログラム
CN111860154A (zh) * 2020-06-12 2020-10-30 歌尔股份有限公司 一种基于视觉的额头检测方法、装置和电子设备
WO2021026848A1 (zh) * 2019-08-14 2021-02-18 深圳市大疆创新科技有限公司 图像处理方法、设备、拍摄装置、可移动平台及存储介质
CN112911146A (zh) * 2021-01-27 2021-06-04 杭州寰宇微视科技有限公司 基于人脸的智能调光方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249526A (ja) * 2006-03-15 2007-09-27 Fujifilm Corp 撮像装置及びその顔領域抽出方法
JP2009123081A (ja) * 2007-11-16 2009-06-04 Fujifilm Corp 顔検出方法及び撮影装置
CN104994306B (zh) * 2015-06-29 2019-05-03 厦门美图之家科技有限公司 一种基于脸部亮度自动调整曝光度的摄像方法和摄像装置
CN105516589B (zh) * 2015-12-07 2018-07-03 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
CN110610176A (zh) * 2019-08-08 2019-12-24 宁波中国科学院信息技术应用研究院 一种基于人脸亮度的曝光自适应调节方法
CN112584089B (zh) * 2020-12-10 2021-05-07 浙江华创视讯科技有限公司 人脸亮度调节方法、装置、计算机设备和存储介质
CN113612932B (zh) * 2021-08-09 2022-10-04 荣耀终端有限公司 曝光参数的调节方法、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179174A1 (ja) * 2019-03-05 2020-09-10 株式会社Jvcケンウッド 映像処理装置、映像処理方法および映像処理プログラム
WO2021026848A1 (zh) * 2019-08-14 2021-02-18 深圳市大疆创新科技有限公司 图像处理方法、设备、拍摄装置、可移动平台及存储介质
CN110691199A (zh) * 2019-10-10 2020-01-14 厦门美图之家科技有限公司 人脸自动曝光方法、装置、拍摄设备及存储介质
CN111860154A (zh) * 2020-06-12 2020-10-30 歌尔股份有限公司 一种基于视觉的额头检测方法、装置和电子设备
CN112911146A (zh) * 2021-01-27 2021-06-04 杭州寰宇微视科技有限公司 基于人脸的智能调光方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023015992A1 (zh) * 2021-08-09 2023-02-16 荣耀终端有限公司 曝光参数的调节方法、设备和存储介质

Also Published As

Publication number Publication date
CN113612932B (zh) 2022-10-04
WO2023015992A1 (zh) 2023-02-16
EP4195680A4 (en) 2024-05-22
EP4195680A1 (en) 2023-06-14
CN115706862A (zh) 2023-02-17
US20230319393A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US10924677B2 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2020192483A1 (zh) 图像显示方法和设备
US9811910B1 (en) Cloud-based image improvement
EP2693394B1 (en) Information processor, information processing method, computer program and storage medium
US12069369B2 (en) Electronic device for stabilizing image and method for operating same
CN113612932B (zh) 曝光参数的调节方法、设备和存储介质
KR102677285B1 (ko) 슬로 모션 영상 생성 방법 및 장치
EP4135310A1 (en) Photographing method and device
WO2021218694A1 (zh) 一种视频处理方法及移动终端
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
US11381743B1 (en) Region of interest capture for electronic devices
US20230353864A1 (en) Photographing method and apparatus for intelligent framing recommendation
WO2023005355A1 (zh) 图像防抖方法与电子设备
KR20220017298A (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
US20220201203A1 (en) Electronic device with camera and method thereof
WO2022083325A1 (zh) 拍照预览方法、电子设备以及存储介质
WO2021185374A1 (zh) 一种拍摄图像的方法及电子设备
WO2023165535A1 (zh) 图像处理方法、装置及设备
US11917295B2 (en) Method for correcting shaking at high magnification and electronic device therefor
CN115914860A (zh) 一种拍摄方法及电子设备
CN117710697B (zh) 对象检测方法、电子设备、存储介质及程序产品
US20230215018A1 (en) Electronic device including camera and method for generating video recording of a moving object
KR102706932B1 (ko) 이미지의 생성 방법 및 그 전자 장치
CN117714842B (zh) 图像曝光控制方法、装置、系统、电子设备及介质
US20230298302A1 (en) Single read of keypoint descriptors of image from system memory for efficient header matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant