CN108259754B - 图像处理方法及装置、计算机可读存储介质和计算机设备 - Google Patents

图像处理方法及装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN108259754B
CN108259754B CN201810182927.XA CN201810182927A CN108259754B CN 108259754 B CN108259754 B CN 108259754B CN 201810182927 A CN201810182927 A CN 201810182927A CN 108259754 B CN108259754 B CN 108259754B
Authority
CN
China
Prior art keywords
light ratio
value
brightness
average
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810182927.XA
Other languages
English (en)
Other versions
CN108259754A (zh
Inventor
黄杰文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810182927.XA priority Critical patent/CN108259754B/zh
Publication of CN108259754A publication Critical patent/CN108259754A/zh
Application granted granted Critical
Publication of CN108259754B publication Critical patent/CN108259754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种图像处理方法。包括:定位预览图像中所有人脸;计算人脸在预览图像中的面积占比以得到面积占比最大的人脸所在的最大人脸区域;计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,其中,光比FP为第一平均亮度值FL与第二平均亮度值PL的比值;和根据第一平均亮度值FL和光比FP调节所有人脸所在区域的亮度值。本发明还公开一种图像处理装置、非易失性计算机可读存储介质和计算机设备。本发明的图像处理方法、图像处理装置、非易失性计算机可读存储介质和计算机设备在光比FP较小且人脸平均亮度较低时提高所有人脸的亮度值,从而改善拍照时人脸亮度不够的问题,提高拍摄效果。

Description

图像处理方法及装置、计算机可读存储介质和计算机设备
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理装置、非易失性计算机可读存储介质和计算机设备。
背景技术
在进行自拍时,当场景亮度和人脸亮度差异较大时(例如:逆光),往往只能得到场景拍摄效果较好或人脸拍摄效果较好的图像,相关技术利用3HDR技术,通过对4合一的sensor进行长、中、短的曝光,得到不同曝光时间下的图像后合成输出,将场景拍摄效果好的图像和人脸拍摄效果好的图像进行合成,从而得到人脸和场景效果都较好的图像。但是在人脸亮度与场景亮度差异特别大的场景下,虽然能同时看清楚人脸和背景,不过人脸往往会不够亮,显得不够美观。
发明内容
本发明的实施例提供了一种图像处理方法、图像处理装置、计算机设备和非易失性计算机可读存储介质。
本发明实施方式的图像处理方法包括以下步骤:
定位预览图像中的所有人脸;
计算所述所有人脸在所述预览图像中的面积占比以得到所述面积占比最大的人脸所在的最大人脸区域;
计算所述最大人脸区域的第一平均亮度值FL、所述预览图像的第二平均亮度值PL和光比FP,其中,所述光比FP为所述第一平均亮度值FL与所述第二平均亮度值PL的比值;和
根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值。
本发明实施方式的图像处理装置包括定位模块、第一计算模块、第二计算模块和调节模块。所述定位模块用于定位预览图像中的所有人脸。所述第一计算模块用于计算所述所有人脸在所述预览图像中的面积占比以得到所述面积占比最大的人脸所在的最大人脸区域。所述第二计算模块用于计算所述最大人脸区域的第一平均亮度值FL、所述预览图像的第二平均亮度值PL和光比FP,其中,所述光比FP为所述第一平均亮度值FL与所述第二平均亮度值PL的比值。所述调节模块用于根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值。
本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行所述图像处理方法。
本发明实施方式的一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行所述图像处理方法。
本发明实施方式的图像处理方法及装置、非易失性计算机可读存储介质和计算机设备通过定位预览图像中的所有人脸,然后计算最大人脸区域的平均亮度、预览图像的平均亮度和光比,通过光比和最大人脸的平均亮度对预览图像中的所有人脸进行亮度调节,在人脸亮度较低且人脸亮度与场景亮度差异特别大的场景下提高所有人脸的亮度,改善人脸亮度不够的问题,从而提高拍摄效果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明某些实施方式的图像处理方法的流程示意图。
图2是本发明某些实施方式的图像处理装置的模块示意图。
图3是本发明某些实施方式的计算机设备的平面示意图。
图4是本发明某些实施方式的图像处理方法的场景示意图。
图5是本发明某些实施方式的图像处理方法的流程示意图。
图6是本发明某些实施方式的调节模块的模块示意图。
图7是本发明某些实施方式的图像处理方法的场景示意图。
图8是本发明某些实施方式的图像处理方法的流程示意图。
图9是本发明某些实施方式的调节模块的模块示意图。
图10是本发明某些实施方式的图像处理方法的流程示意图。
图11是本发明某些实施方式的调节模块的模块示意图。
图12是本发明某些实施方式的图像处理方法的场景示意图。
图13是本发明某些实施方式的图像处理方法的流程示意图。
图14是本发明某些实施方式的调节模块的模块示意图。
图15是本发明某些实施方式的计算机设备的模块示意图。
图16是本发明某些实施方式的图像处理电路的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明实施方式的图像处理方法包括以下步骤:
012:定位预览图像中的所有人脸;
014:计算所有人脸在预览图像中的面积占比以得到面积占比最大的人脸所在的最大人脸区域;和
016:计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,其中,光比FP为第一平均亮度值FL与第二平均亮度值PL的比值;和
018:根据第一平均亮度值FL和光比FP调节所有人脸所在区域的亮度值。
请参阅图2,本发明实施方式的图像处理装置10包括定位模块12、第一计算模块14、第二计算模块16和调节模块18。定位模块12用于定位预览图像中的所有人脸。第一计算模块14用于计算所有人脸在预览图像中的面积占比以得到面积占比最大的人脸所在的最大人脸区域。第二计算模块16用于计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,其中,光比FP为第一平均亮度值FL与第二平均亮度值PL的比值。调节模块18用于根据第一平均亮度值FL和光比FP调节所有人脸所在区域的亮度值。
即,本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置10实现,其中,步骤012可以由定位模块12实现,步骤014可以由第一计算模块14实现,步骤016可以由第二计算模块16实现,步骤018可以由调节模块18实现。
请参阅图3,本发明实施方式的图像处理装置10可以应用于本发明实施方式的计算机设备100中,也即是说,本发明实施方式的计算机设备100可以包括本发明实施方式的图像处理装置10。
在某些实施方式中,计算机设备100包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。
本发明在某些实施方式中,所述预览图像是经过3HDR技术处理过后的合成图像。3HDR技术在sensor端实现长、中、短曝光并合成,再经过Local Tone Mapping(LTM)将合成后的raw数据压缩成10bit输出。LTM实际上就是一条更加复杂的输入-输出映射曲线,对于每个像素而言,其输出不但跟自身的像素值有关,还跟邻域内的像素值有关。但不管如何复杂,由于输入-输出曲线并非线性,通常会为了表现更多暗处细节和亮部细节,将映射曲线设置成如图4所示。在人脸亮度和场景亮度差异特别大时,人脸亮度往往容易落在曲线中段变化较为平坦的区域,这样得到的人脸亮度往往是不够亮的。本发明实施方式的图像处理方法、图像处理装置10、非易失性计算机可读存储介质和计算机设备100通过定位预览图像中的所有人脸,然后计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,通过光比FP和第一平均亮度值FL对预览图像中的所有人脸进行亮度调节,在人脸亮度较低且人脸亮度与场景亮度差异特别大的场景下提高所有人脸的亮度,改善人脸亮度不够的问题,提高拍摄效果。
具体应用时,可以是:通过3HDR技术处理后得到的合成图像作为预览图像,此时再利用本发明所述的图像处理方法进行处理,以改善人脸亮度不够的问题,提高拍摄效果;还可以是:预览图像为普通的预览图像(非经过3HDR技术处理),预览图像经过本发明所述的图像处理方式进行处理得到多帧,再将采用本发明的图像处理方式进行处理过的多帧预览图像进行3HDR合成技术得到高动态范围图像,此时的高动态范围图像的人脸亮度与场景亮度差较小,品质较佳。
在某些实施方式中,通过预览图像的灰度值分布及预设人脸模型定位预览图像中的所有人脸并计算所有人脸在预览图像中的面积占比,进一步得到面积占比最大的人脸区域所在的最大人脸区域。如此,可以准确的定位预览图像中的人脸并得到最大人脸区域。
在某些实施方式中,通过最大人脸区域的像素值分布计算最大人脸区域的第一平均亮度值FL,通过预览图像的像素值分布计算预览图像的第二平均亮度值PL。
具体的,像素值分布为基色通道值即颜色通道值的分布,例如基色通道包括R(红色)通道、Gr(绿红)通道、Gb(绿蓝)通道、B(蓝色)通道中,在某些实施方式中,可以通过Gr通道的像素值和Gb通道的像素值获得G(绿色)通道的像素值。然后计算图像中R(红色)通道的像素值的平均值、G(绿色)通道的像素值平均值和B(蓝色)通道的像素值平均值,可以通过将RGB色彩空间转化为YUV色彩空间,从而通过根据R通道的像素值平均值R(d),G通道的像素值平均值G(d)和B通道的像素值平均值B(d)获取图像的平均亮度值Y,其中,Y=(77*R(d)/256)+(150*G(d)/256)+(29*B(d)/256)。
如此,可以快速得到最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP。
在某些实施方式中,根据所有人脸区域的像素值分布计算得到所有人脸平均亮度值DL。光比FP根据所有人脸平均亮度值DL和预览图像的第二平均亮度值PL的比值得到。如此,可以更准确的对所有人脸进行亮度调整,而不是仅仅针对最大人脸进行亮度调整。
请参阅图5,在某些实施方式中,步骤018包括以下步骤:
0182:判断第一平均亮度值FL是否小于预定亮度阈值;
0184:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否小于第一预定光比阈值;和
0186:在光比FP小于第一预定光比阈值时按照第一预设增益值提高所有人脸区域的亮度值。
请参阅图6,在某些实施方式中,调节模块18包括第一判断单元182、第二判断单元184和第一增益单元186。第一判断单元182用于判断第一平均亮度值FL是否小于预定亮度阈值。第二判断单元184用于在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否小于第一预定光比阈值。第一增益单元186用于在光比FP小于第一预定光比阈值时按照第一预设增益值提高所有人脸区域的亮度值。
也即是说,步骤0182可以由第一判断单元182实现,步骤0184可以由第二判断单元184实现,步骤0186可以由第一增益单元186实现。
具体的,如图7,在第一平均亮度值FL小于预定亮度阈值(例如:第一平均亮度值FL小于160)时,判断人脸的亮度不够,然后进行光比FP的判断,在光比FP小于第一预定光比阈值(例如:为0.5,此时第一平均亮度值FL远小于第二平均亮度值PL即人脸很暗)时根据图7中的映射曲线A进行第一预设增益值的确定,其中,增益值为百分比,例如第一预设增益值最大为60即增益为将所有人脸区域的亮度提高60%,最后根据第一预设增益值对所有人脸所在区域进行亮度增益。
如此,当人脸亮度和预览图像亮度差异较大时人脸一般很暗,此时根据预设的映射曲线A进行亮度增益,可获得较高的亮度增益,改善人脸亮度与场景亮度差异特别大的场景下人脸亮度不够的问题,提高拍摄效果。
请参阅图8,在某些实施方式中,步骤018还包括以下步骤:
0188:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第一预定光比阈值及小于第二预定光比阈值;和
0181:在光比FP大于或等于第一预定光比阈值及小于第二预定光比阈值时按照第二预设增益值提高所有人脸区域的亮度值,第二预设增益小于第一预设增益。
请参阅图9,在某些实施方式中,调节模块18还包括第三判断单元188和第二增益单元181。第三判断单元188用于在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第一预定光比阈值及小于第二预定光比阈值。第二增益单元181用于在光比FP大于或等于第一预定光比阈值及小于第二预定光比阈值时按照第二预设增益值提高所有人脸区域的亮度值,第二预设增益小于第一预设增益。
也即是说,步骤0188可以由第三判断单元188实现,步骤0181可以由第二增益单元181实现。
具体的,在人脸亮度值小于预设亮度阈值(例如:160)时判断光比FP是否大于或等于第一预定光比阈值(例如:0.5)及小于第二预定光比阈值(例如:1),在在光比FP大于或等于第一预定光比阈值及小于第二预定光比阈值(即此时人脸的平均亮度值小于预览图像的平均亮度值,但差异不是特别大)时按照图7中映射曲线B确定第二预设增益值,从而根据第二预设增益值调节所有人脸区域的亮度值。其中,如图7所示,当第二平均亮度值FL相同的情况下,第二预设增益值小于第一预设增益值。
如此,在第一平均亮度值FL和第二平均亮度值PL的差异不是特别大时,认为人脸亮度较暗,利用亮度增益适中的映射曲线B进行第二预设增益值的确定,可以改善人脸亮度较低的问题且保证增益值不会过大使得人脸过亮。
请参阅图10,在某些实施方式中,步骤018还包括以下步骤:
0183:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第二预定光比阈值;和
0185:在光比FP大于或等于第二预定光比阈值时,按照第三预设增益值提高所有人脸区域的亮度值,第三预设增益小于第二预设增益。
请参阅图11,在某些实施方式中,调节模块18还包括第四判断单元183和第三增益单元185。第四判断单元183用于在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第二预定光比阈值。第三增益单元185用于在光比FP大于或等于第二预定光比阈值时,按照第三预设增益值提高所有人脸区域的亮度值,第三预设增益小于第二预设增益。
也即是说,步骤0183由第四判断单元183实现,步骤0185由第三增益单元185实现。
具体的,当第一平均亮度值FL小于预定亮度阈值(例如:160)时判断光比FP是否大于或等于第二预定光比阈值,在光比FP大于或等于第二预定光比阈值(例如:1)时,此时一般人脸亮度和预览图像的亮度差异较小,只需要略微提高人脸区域的亮度值甚至不需要调节,此时按照图7所示的映射曲线C进行第三预设增益值的确定,然后根据第三预设增益值调节所有人脸区域的亮度值。其中,如图7所示,当第一平均亮度值FL相同时第三预设增益值小于第二预设增益值。
如此,可以在人脸亮度和预览图像亮度差异较小即人脸亮度略大于预览图像的亮度的情况下,对人脸亮度进行微调甚至不进行调整,保证了人脸的亮度适中从而保证拍摄效果。
在某些实施方式中,当第一平均亮度值FL小于预定亮度阈值(例如:160)时判断光比FP是否大于或等于第二预定光比阈值及光比FP是否小于第三预定光比阈值,在光比FP大于或等于第二预定光比阈值(例如:1)及光比FP小于第三预定光比阈值(例如:2)时,此时人脸亮度和预览图像的亮度差异较小,此时只需要略微提高人脸区域的亮度值甚至不需要调节,此时按照图12所示的映射曲线D进行第四预设增益值的确定,然后根据第四预设增益值调节所有人脸区域的亮度值。其中,如图12所示,当第一平均亮度值FL相同时第四预设增益值小于第二预设增益值。
如此,可以防止人脸过亮影响拍摄效果。
在另外一些实施方式中,在人脸亮度远大于预览图像亮度(例如:光比FP大于等于2)时,此时,人脸亮度和预览图像的亮度差异特别大,在最大人脸区域过亮(例如:最大人脸区域的平均亮度值FL大于160)时,根据图12中的映射曲线E确定第五预设增益值,根据第五预设增益值对人脸区域进行调节,第五预设增益值小于0,即对人脸区域进行负增益,降低人脸区域的亮度。
如此,可以防止人脸过亮从而影响拍摄效果。
请参阅图13,在某些实施方式中,步骤018还包括以下步骤:
0187:在第一平均亮度值FL大于或等于预定亮度阈值时保持第一平均亮度值FL不变。
请参阅图14,在某些实施方式中,调节模块18还包括保持单元187。保持单元187用于在第一平均亮度值FL大于或等于预定亮度阈值时保持第一平均亮度值FL不变。
也即是说,步骤0187可以由保持单元187实现。
如此,在人脸亮度足够的情况下,不对预览图像进行处理,即保证了拍摄效果又节省了计算机设备的资源。
本发明实施例还提供了一种非易失性计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行以下步骤:
012:定位预览图像中的所有人脸;
014:计算所有人脸在预览图像中的面积占比以得到面积占比最大的人脸所在的最大人脸区域;和
016:计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,其中,光比FP为第一平均亮度值FL与第二平均亮度值PL的比值;和
018:根据第一平均亮度值FL和光比FP调节所有人脸所在区域的亮度值。
进一步地,当计算机可执行指令被一个或多个处理器执行时,处理器还可以执行以下步骤:
0182:判断第一平均亮度值FL是否小于预定亮度阈值;
0184:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否小于第一预定光比阈值;和
0186:在光比FP小于第一预定光比阈值时按照第一预设增益值提高所有人脸区域的亮度值。
进一步地,当计算机可执行指令被一个或多个处理器执行时,处理器还可以执行以下步骤:
0188:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第一预定光比阈值及小于第二预定光比阈值;和
0181:在光比FP大于或等于第一预定光比阈值及小于第二预定光比阈值时按照第二预设增益值提高所有人脸区域的亮度值,第二预设增益小于第一预设增益。
进一步地,当计算机可执行指令被一个或多个处理器执行时,处理器还可以执行以下步骤:
0183:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第二预定光比阈值;和
0185:在光比FP大于或等于第二预定光比阈值时,按照第三预设增益值提高所有人脸区域的亮度值,第三预设增益小于第二预设增益。
进一步地,当计算机可执行指令被一个或多个处理器执行时,处理器还可以执行以下步骤:
0187:在第一平均亮度值FL大于或等于预定亮度阈值时保持第一平均亮度值FL不变。
图15为一个实施例中计算机设备100的内部结构示意图。如图15所示,该计算机设备100包括通过系统总线51连接的处理器52、存储器53(例如为非易失性存储介质)、内存储器54、显示屏55和输入装置56。其中,计算机设备100的存储器53存储有操作系统和计算机可读指令。该计算机可读指令可被处理器52执行,以实现本发明实施方式的图像处理方法。该处理器52用于提供计算和控制能力,支撑整个计算机设备100的运行。计算机设备100的内存储器53为存储器52中的计算机可读指令的运行提供环境。计算机设备100的显示屏55可以是液晶显示屏或者电子墨水显示屏等,输入装置56可以是显示屏55上覆盖的触摸层,也可以是计算机设备100外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备100可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解,图15中示出的结构,仅仅是与本发明方案相关的部分结构的示意图,并不构成对本发明方案所应用于其上的计算机设备100的限定,具体的计算机设备100可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
请参阅图16,本发明实施例的计算机设备100中包括图像处理电路80,图像处理电路80可利用硬件和/或软件组件实现,包括定义ISP(ImageSignalProcessing,图像信号处理)管线的各种处理单元。图16为一个实施例中图像处理电路800的示意图。如图16所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图16所示,图像处理电路80包括ISP处理器81(ISP处理器81可为处理器52)和控制逻辑器82。摄像头83捕捉的图像数据首先由ISP处理器81处理,ISP处理器81对图像数据进行分析以捕捉可用于确定摄像头83的一个或多个控制参数的图像统计信息。摄像头83可包括一个或多个透镜832和图像传感器834。图像传感器834可包括色彩滤镜阵列(如Bayer滤镜),图像传感器834可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器81处理的一组原始图像数据。传感器84(如陀螺仪)可基于传感器84接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器81。传感器84接口可以为SMIA(StandardMobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器834也可将原始图像数据发送给传感器84,传感器84可基于传感器84接口类型把原始图像数据提供给ISP处理器81,或者传感器84将原始图像数据存储到图像存储器85中。
ISP处理器81按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器81可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器81还可从图像存储器85接收图像数据。例如,传感器84接口将原始图像数据发送给图像存储器85,图像存储器85中的原始图像数据再提供给ISP处理器81以供处理。图像存储器85可为存储器53、存储器53的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器834接口或来自传感器84接口或来自图像存储器85的原始图像数据时,ISP处理器81可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器85,以便在被显示之前进行另外的处理。ISP处理器81从图像存储器85接收处理数据,并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器81处理后的图像数据可输出给显示器87(显示器87可包括显示屏55),以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器81的输出还可发送给图像存储器85,且显示器87可从图像存储器85读取图像数据。在一个实施例中,图像存储器85可被配置为实现一个或多个帧缓冲器。此外,ISP处理器81的输出可发送给编码器/解码器86,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器87设备上之前解压缩。编码器/解码器86可由CPU或GPU或协处理器实现。
ISP处理器81确定的统计数据可发送给控制逻辑器82单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜832阴影校正等图像传感器834统计信息。控制逻辑器82可包括执行一个或多个例程(如固件)的处理元件和/或微控制器,一个或多个例程可根据接收的统计数据,确定摄像头83的控制参数及ISP处理器81的控制参数。例如,摄像头83的控制参数可包括传感器84控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜832控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜832阴影校正参数。
以下为运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)实现图像处理方法的步骤:
012:定位预览图像中的所有人脸;
014:计算所有人脸在预览图像中的面积占比以得到面积占比最大的人脸所在的最大人脸区域;和
016:计算最大人脸区域的第一平均亮度值FL、预览图像的第二平均亮度值PL和光比FP,其中,光比FP为第一平均亮度值FL与第二平均亮度值PL的比值;和
018:根据第一平均亮度值FL和光比FP调节所有人脸所在区域的亮度值。
进一步地,运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
进一步地,运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
0182:判断第一平均亮度值FL是否小于预定亮度阈值;
0184:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否小于第一预定光比阈值;和
0186:在光比FP小于第一预定光比阈值时按照第一预设增益值提高所有人脸区域的亮度值。
进一步地,运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
0188:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第一预定光比阈值及小于第二预定光比阈值;和
0181:在光比FP大于或等于第一预定光比阈值及小于第二预定光比阈值时按照第二预设增益值提高所有人脸区域的亮度值,第二预设增益小于第一预设增益。
进一步地,运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
0183:在第一平均亮度值FL小于预定亮度阈值时判断光比FP是否大于或等于第二预定光比阈值;和
0185:在光比FP大于或等于第二预定光比阈值时,按照第三预设增益值提高所有人脸区域的亮度值,第三预设增益小于第二预设增益。
进一步地,运用图15中处理器52或运用图16中图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
0187:在第一平均亮度值FL大于或等于预定亮度阈值时保持第一平均亮度值FL不变。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
定位预览图像中的所有人脸,所述预览图像由长曝光图像数据、中曝光图像数据和短曝光图像数据合成;
计算所述所有人脸在所述预览图像中的面积占比以得到所述面积占比最大的人脸所在的最大人脸区域;
计算所述最大人脸区域的第一平均亮度值FL、所述预览图像的第二平均亮度值PL和光比FP,其中,所述光比FP为所述第一平均亮度值FL与所述第二平均亮度值PL的比值;和
根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值;
所述根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值包括:
判断所述第一平均亮度值FL是否小于预定亮度阈值;
在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否小于第一预定光比阈值;和
在所述光比FP小于所述第一预定光比阈值时按照第一预设增益值提高所述所有人脸区域的亮度值。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值包括:
在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否大于或等于所述第一预定光比阈值及小于第二预定光比阈值;和
在所述光比FP大于或等于所述第一预定光比阈值及小于所述第二预定光比阈值时按照第二预设增益值提高所述所有人脸区域的亮度值,所述第二预设增益小于所述第一预设增益。
3.根据权利要求2所述的图像处理方法,其特征在于,所述根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值包括:
在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否大于或等于第二预定光比阈值;和
在所述光比FP大于或等于所述第二预定光比阈值时,按照第三预设增益值提高所述所有人脸区域的亮度值,所述第三预设增益小于所述第二预设增益。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值还包括:
在所述第一平均亮度值FL大于或等于所述预定亮度阈值时保持所述第一平均亮度值FL不变。
5.一种图像处理设备,其特征在于,所述图像处理设备包括:
定位模块,所述定位模块用于定位预览图像中的所有人脸;
第一计算模块,所述第一计算模块用于计算所述所有人脸在所述预览图像中的面积占比以得到所述面积占比最大的人脸所在的最大人脸区域;
第二计算模块,所述第二计算模块用于计算所述最大人脸区域的第一平均亮度值FL、所述预览图像的第二平均亮度值PL和光比FP,其中,所述光比FP为所述第一平均亮度值FL与所述第二平均亮度值PL的比值;和
调节模块,所述调节模块用于根据所述第一平均亮度值FL和所述光比FP调节所述所有人脸所在区域的亮度值;
所述调节模块包括:
第一判断单元,所述第一判断单元用于判断所述第一平均亮度值FL是否小于预定亮度阈值;
第二判断单元,所述第二判断单元用于在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否小于第一预定光比阈值;和
第一增益单元,所述第一增益单元用于在所述光比FP小于所述第一预定光比阈值时按照第一预设增益值提高所述所有人脸区域的亮度值。
6.根据权利要求5所述的图像处理设备,其特征在于,所述调节模块还包括:
第三判断单元,所述第三判断单元用于在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否大于或等于所述第一预定光比阈值及小于第二预定光比阈值;和
第二增益单元,所述第二增益单元用于在所述光比FP大于或等于所述第一预定光比阈值及小于所述第二预定光比阈值时按照第二预设增益值提高所述所有人脸区域的亮度值,所述第二预设增益小于所述第一预设增益。
7.根据权利要求6所述的图像处理设备,其特征在于,所述调节模块还包括:
第四判断单元,所述第四判断单元用于在所述第一平均亮度值FL小于所述预定亮度阈值时判断所述光比FP是否大于或等于第二预定光比阈值;和
第三增益单元,所述第三增益单元用于在所述光比FP大于或等于所述第二预定光比阈值时,按照第三预设增益值提高所述所有人脸区域的亮度值,所述第三预设增益小于所述第二预设增益。
8.根据权利要求5所述的图像处理设备,其特征在于,所述调节模块还包括:
保持单元,所述保持单元用于在所述第一平均亮度值FL大于或等于所述预定亮度阈值时保持所述第一平均亮度值FL不变。
9.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述的图像处理方法。
10.一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述的图像处理方法。
CN201810182927.XA 2018-03-06 2018-03-06 图像处理方法及装置、计算机可读存储介质和计算机设备 Active CN108259754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810182927.XA CN108259754B (zh) 2018-03-06 2018-03-06 图像处理方法及装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810182927.XA CN108259754B (zh) 2018-03-06 2018-03-06 图像处理方法及装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN108259754A CN108259754A (zh) 2018-07-06
CN108259754B true CN108259754B (zh) 2021-02-02

Family

ID=62745686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810182927.XA Active CN108259754B (zh) 2018-03-06 2018-03-06 图像处理方法及装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN108259754B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163932A (zh) * 2018-07-12 2019-08-23 腾讯数码(天津)有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110163816B (zh) * 2019-04-24 2021-08-31 Oppo广东移动通信有限公司 图像信息的处理方法、装置、存储介质及电子设备
CN110516555A (zh) * 2019-07-31 2019-11-29 苏州浪潮智能科技有限公司 一种人脸识别方法、装置、设备及可读存储介质
CN110536068B (zh) * 2019-09-29 2021-09-28 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4600448B2 (ja) * 2007-08-31 2010-12-15 カシオ計算機株式会社 階調補正装置、階調補正方法、及び、プログラム
JP5701136B2 (ja) * 2011-04-15 2015-04-15 三菱電機株式会社 画像処理装置
US9525811B2 (en) * 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
CN105516613A (zh) * 2015-12-07 2016-04-20 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
CN107277356B (zh) * 2017-07-10 2020-02-14 Oppo广东移动通信有限公司 逆光场景的人脸区域处理方法和装置

Also Published As

Publication number Publication date
CN108259754A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
US10805537B2 (en) Imaging control method, imaging device, and computer readable storage medium
CN108683862B (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
US11044410B2 (en) Imaging control method and apparatus, electronic device, and computer readable storage medium
US11228720B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
WO2020029920A1 (en) Control method, control apparatus, imaging device, and electronic device
WO2020057199A1 (zh) 成像方法、装置和电子设备
CN108259754B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108833802B (zh) 曝光控制方法、装置和电子设备
US11490024B2 (en) Method for imaging controlling, electronic device, and non-transitory computer-readable storage medium
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
US11233948B2 (en) Exposure control method and device, and electronic device
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
US11601600B2 (en) Control method and electronic device
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN108174173B (zh) 拍摄方法及装置、计算机可读存储介质和计算机设备
CN110213462B (zh) 图像处理方法、装置、电子设备、图像处理电路及存储介质
CN109005363B (zh) 成像控制方法、装置、电子设备以及存储介质
CN108063933B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107454318B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN110276730B (zh) 图像处理方法、装置、电子设备
CN108111831B (zh) 拍摄方法、成像装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant