CN101448085A - 一种支持人脸检测的摄像处理方法和系统 - Google Patents

一种支持人脸检测的摄像处理方法和系统 Download PDF

Info

Publication number
CN101448085A
CN101448085A CNA2008102468627A CN200810246862A CN101448085A CN 101448085 A CN101448085 A CN 101448085A CN A2008102468627 A CNA2008102468627 A CN A2008102468627A CN 200810246862 A CN200810246862 A CN 200810246862A CN 101448085 A CN101448085 A CN 101448085A
Authority
CN
China
Prior art keywords
colour
skin
people
light source
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102468627A
Other languages
English (en)
Other versions
CN101448085B (zh
Inventor
邱嵩
黄英
王浩
邓亚峰
王俊艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mid Star Technology Ltd By Share Ltd
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CN200810246862.7A priority Critical patent/CN101448085B/zh
Publication of CN101448085A publication Critical patent/CN101448085A/zh
Application granted granted Critical
Publication of CN101448085B publication Critical patent/CN101448085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

一种支持人脸检测的摄像处理方法和系统,对摄像得到的一帧图像,先对该帧图像进行人脸检测,根据检测结果确定该帧图像中是否存在人脸;如该帧图像存在人脸,获取人脸所在区域的图像特征信息,以人脸所在区域的图像特征信息为依据或依据之一,对一个或多个图像控制参数进行调节;相应的摄像处理系统包括成像器件和与其相连的摄像头处理芯片,该摄像头处理芯片包括图像处理模块、图像后处理模块和人脸检测模块,以及保存有用于人脸检测的训练模型库的存储模块。本发明可以支持人脸检测的摄像处理,获取更佳的摄像效果。

Description

一种支持人脸检测的摄像处理方法和系统
技术领域
本发明涉及图像处理技术,尤其涉及一种摄像处理系统和方法。
背景技术
在摄像头和监控系统中,人脸通常是比较感兴趣的区域,因此总是希望获得人脸区域比较清晰、成像质量较好的图像。
但是,由于人脸检测的复杂性,现有摄像头处理芯片中都不包括人脸检测功能,从而无法利用人脸区域信息进行相关图像参数的调整,从而获得更好的图像质量或效果。
发明内容
本发明要解决的技术问题是提供一种支持人脸检测的摄像处理系统和方法,可以实现支持人脸检测的摄像处理,获取更佳的摄像效果。
为了解决上述问题,本发明提供了一种支持人脸检测的摄像处理方法,包括:
对摄像得到的一帧图像,先对该帧图像进行人脸检测,根据检测结果确定该帧图像中是否存在人脸;
如该帧图像存在人脸,根据人脸所在的区域获取该区域的图像特征信息,以人脸所在区域的图像特征信息为依据或依据之一,对一个或多个图像控制参数进行调节。可以是对该帧图像和/或该帧图像之后的下一帧或若干帧的图像控制参数进行调节。
进一步地,上述摄像处理方法还可具有以下特点:
对帧图像的调节包括肤色校准,即利用最近一次计算出来的肤色校准系数,对帧图像中的像素点进行肤色校准;
计算所述肤色校准系数时,先选择出人脸区域中RGB值位于预先设置的肤色所对应的RGB色彩空间中的像素点,作为代表肤色的像素点即肤色点,计算所述肤色点RGB分量的统计值,根据一帧或多帧的所述统计值和相应帧图像人脸区域亮度对应的标准肤色模型的RGB值,来计算肤色校准系数。
进一步地,上述摄像处理方法还可具有以下特点:所述肤色校准系数具体按下式(1)计算:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′ - - - ( 1 )
其中,式(1)左侧的RGB是帧图像人脸区域亮度对应的标准肤色模型的RGB值,式(1)右侧的R’G’B’是肤色点RGB的统计值,(x1,x2,x3,y1,y2,y3)是要计算的一组肤色校准系数,将两帧图像肤色点RGB的统计值和对应的标准肤色模型的RGB值代入该公式,即可求解出一组肤色校准系数,用于其后一帧或多帧图像的肤色校准,直到计算出新的肤色校准系数;
利用肤色校准系数对帧图像中的像素点进行肤色校准时仍按式(1)计算,此时,式(1)右侧的R’G’B’是帧图像中像素点原始的RGB值或白平衡后的RGB值,式(1)左侧的RGB为该像素点要校准到的RGB值。
进一步地,上述摄像处理方法还可具有以下特点:
对帧图像的调节包括白平衡,在进行白平衡时,是根据灰色点和肤色点的RGB值在色彩空间的位置先分别判断出当前的光源类型,在判断出的光源类型一致时即按该光源类型进行后续的白平衡处理;在根据灰色点和肤色点判断出的光源类型不一致时,按以下方式a)或b)或c)处理:
a)再查看前一帧对光源类型的判断结果,如前一帧的光源类型与本帧根据灰色点或肤色点判断出的光源类型一致,则以前一帧的光源类型为准进行后续的白平衡处理;或者
b)将根据灰色点和肤色点判断出来的光源类型,进行加权得到一加权后的光源类型或色温值,再进行后续的白平衡处理;
c)统计灰色点和肤色点的数目,在该两种点数目的差值达到或超过预设阈值或一种点的数目占该两种点总数目的比例超过某一阈值时,以根据数目较多的或比例较大的点判断出来的光源类型为准,进行后续的白平衡处理。
进一步地,上述摄像处理方法还可具有以下特点:
获取的人脸区域的图像特征信息包括人脸区域的位置、尺度和清晰度评估值信息,先根据该位置信息控制输出显示图像的平移或控制摄像头云台的运动调整,使人脸位于输出显示图像的中心区域;
然后利用人脸尺度和预先设置的图像中人脸大小的范围计算出焦距范围,再根据人脸区域的清晰度评估值,或者在人脸区域的清晰度评估值和全图的清晰度评估值之间进行加权作为新的清晰度评估值,根据该新的清晰度评估值在所述焦距范围内进行对焦。
进一步地,上述摄像处理方法还可具有以下特点:
在得到一帧图像的人脸检测结果后,根据上一次的人脸检测结果判断是否存在状态变化,即是否从非人脸状态进入人脸状态,或者从人脸状态进入非人脸状态;如果存在状态为化,则先对由人脸区域信息和/或全图信息得到的图像参数和/或调节参数进行平滑,然后再进行相应的调节;
对所述图像参数进行平滑时,采用以下公式:
Yn+1=(1-α)*Yn+α*Yc
其中,Yn+1为当前帧图像参数的平滑结果,Yn为上帧图像参数的平滑结果,Yc为当前帧计算得到的图像控制参数,α为平滑系数。
本发明支持人脸检测的摄像处理系统包括成像器件和与其相连的摄像头处理芯片,所述摄像头处理芯片又包括与所述成像器件相连的图像处理模块、与该图像处理模块相连的图像后处理模块和人脸检测模块,以及与人脸检测模块连接的保存有用于人脸检测的训练模型库的存储模块;其中:
所述人脸检测模块用于对摄像得到的帧图像进行人脸检测,根据检测结果确定该帧图像中是否存在人脸,并通知所述图像处理模块;
所述图像处理模块用于在该帧图像存在人脸时,根据人脸所在的区域获取该区域的图像特征信息;基于人脸所在区域的所述图像特征信息,对该帧图像的一个或多个图像控制参数进行调节。
进一步地,上述摄像处理系统还可具有以下特点:
所述图像处理模块包括一肤色校准子模块,该肤色校准子模块又包括选择单元、校准系数计算单元和校准单元,其中:
选择单元用于先选择出人脸区域中RGB值位于预先设置的肤色所对应的RGB色彩空间中的像素点,作为代表肤色的像素点即肤色点;
校准系数计算单元用于计算所述肤色点RGB分量的统计值,根据一帧或多帧的所述统计值和相应帧图像人脸区域亮度对应的标准肤色模型的RGB值,来计算出肤色校准系数;
校准单元用于利用最近一次计算出来的肤色校准系数,对帧图像中的像素点进行肤色校准。
进一步地,上述摄像处理系统还可具有以下特点,所述校准系数计算单元按下式(1)计算肤色校准系统:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′ - - - ( 1 )
其中,式(1)左侧的RGB是帧图像人脸区域亮度对应的标准肤色模型的RGB值,式(1)右侧的R’G’B’是肤色点RGB的统计值,(x1,x2,x3,y1,y2,y3)是要计算的一组肤色校准系数,将两帧图像肤色点RGB的统计值和对应的标准肤色模型的RGB值代入该公式,即可求解出一组肤色校准系数,用于其后一帧或多帧图像的肤色校准,直到计算出新的肤色校准系数;
所述校准单元利用肤色校准系数对帧图像中的像素点进行肤色校准时仍按式(1)计算,此时,式(1)右侧的R’G’B’是帧图像中像素点原始的RGB值或白平衡后的RGB值,式(1)左侧的RGB为该像素点要校准到的RGB值。
进一步地,上述摄像处理系统还可具有以下特点:
所述图像处理模块包括一白平衡子模块,该白平衡子模块又包括光源类型判断单元和白平衡处理单元,其中:
所述光源类型判断单元用于根据灰色点和肤色点的RGB值在色彩空间的位置先分别判断出当前的光源类型,在判断出的光源类型一致时即按该光源类型进行后续的白平衡处理;在根据灰色点和肤色点判断出的光源类型不一致时,按以下方式a)或b)或c)处理:
a)再查看前一帧对光源类型的判断结果,如前一帧的光源类型与本帧根据灰色点或肤色点判断出的光源类型一致,则以前一帧的光源类型为最终的光源类型;
b)将根据灰色点和肤色点判断出来的光源类型,进行加权得到一加权后的光源类型或色温值,用于后续的白平衡处理;
c)统计灰色点和肤色点的数目,在该两种点数目的差值达到或超过预设阈值或一种点的数目占该两种点总数目的比例超过某一阈值时,以根据数目较多的或比例较大的点判断出来的光源类型为最终的光源类型。
本发明提出的支持人脸检测的摄像处理系统及方法,可以在芯片内实现人脸检测功能,在此基础上,可以利用人脸区域信息实现基于人脸信息的自动曝光、背光补偿、自动白平衡、肤色校正、自动对焦、自动平移和缩放等功能。如可根据人脸检测结果,灵活控制人脸区域信息和全图信息对自动曝光、背光补偿、自动白平衡、自动对焦等调节功能的贡献比例,取得最佳图像效果,极大提高图像质量和摄像处理系统的性能。
进一步地,还可利用人脸检测结果,根据人脸区域的位置和尺度,自动控制图像的平移和缩放,保证人脸处于输出显示图像的中心区域且具有合适尺度,获得最佳显示效果。此外,还可利用人脸跟踪技术,提高人脸检测的准确性和稳定性;利用外接存储器接口,实现人脸检测训练模型库的更新,进一步提高人脸检测的准确度。人脸检测信息还可以嵌入到输出压缩图像的文件头中或直接输出到后续处理设备如计算机或服务器等,为更多基于人脸的应用提供可能。
附图说明
图1是本发明实施例支持人脸检测的摄像处理系统的结构框图。
图2是本发明实施例基于人脸信息的图像参数调节的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细说明。
本实施例提出了一种支持人脸检测的单芯片摄像处理系统,可以在摄像头处理芯片内部实现人脸检测。
图1是该系统的结构框图。包括成像器件和与其相连的摄像头处理芯片,该摄像头处理芯片从功能上,又包括与所述成像器件相连的图像处理模块、与该图像处理模块相连的图像后处理模块和人脸检测模块,以及与人脸检测模块连接的保存有用于人脸检测的训练模型库的内置存储模块。本实施例的人脸检测模块还利用摄像头处理芯片的外接存储器接口外接一个或多个外部存储器,以对人脸检测的训练模型库进行更新和扩展,提高人脸检测在各种应用环境中的准确性。在其他实施例中,完全可以只使用内置存储模块或者外部存储器来保存用于人脸检测的训练模型库。
成像器件包括但不限于CMOS,CCD等图像传感器。图像处理模块包括但不限于自动曝光、背光补偿、自动白平衡、肤色校正、自动平移缩放和自动对焦等子模块。图像后处理模块包括但不限于图像缩放和图像压缩等子处理模块。
人脸检测信息(尺度、位置等)还可以嵌入到输出压缩图像的文件头中或输出到后续处理设备如计算机或服务器等,为更多基于人脸的应用提供可能,比如人脸识别、基于人脸的各种特殊图像效果、人脸快速检索等。
下面对图像处理模块中包含的肤色校准子模块和白平衡子模块进行详细说明。
该肤色校准子模块又包括选择单元、校准系数计算单元和校准单元,其中:
选择单元用于先选择出人脸区域中RGB值位于预先设置的肤色所对应的RGB色彩空间中的像素点,作为代表肤色的像素点即肤色点。
校准系数计算单元用于计算所述肤色点RGB分量的统计值,根据一帧或多帧的所述统计值和相应帧图像人脸区域亮度对应的标准肤色模型的RGB值,来计算出肤色校准系数,计算方式请参见后续流程中的详细描述。
校准单元用于利用最近一次计算出来的肤色校准系数,对帧图像中的像素点进行肤色校准,校准方式请参见后续流程中的详细描述。
该白平衡子模块又包括光源类型判断单元和白平衡处理单元,其中:
所述光源类型判断单元用于根据灰色点和肤色点的RGB值在色彩空间的位置先分别判断出当前的光源类型,在判断出的光源类型一致时即按该光源类型进行后续的白平衡处理;在根据灰色点和肤色点判断出的光源类型不一致时,具体的处理方式请参见后续流程中的详细描述。
所述白平衡处理单元根据最终判断出的光源类型进行白平衡处理,该处理属于现有技术,在此不再详细说明。
图2是基于人脸信息的图像参数调节流程图。对一帧图像的处理包括以下步骤:
步骤100,收到输入的一帧图像后,进行下采样以缩小图像尺寸;
对输入图像做下采样可以缩小图像尺寸,如缩小到160*120,但不限于此尺寸。从而在不影响人脸检测准确性的前提下,可以减小内存需求和计算量,使得硬件实现成本降低。该步骤是可选的。
步骤110,对下采样后的图像帧进行人脸检测和跟踪,确定当前图像帧中是否存在人脸;
人脸检测是一项现有成熟技术,但由于占用内存量大、运算复杂等原因,硬件实现成本较高。本实施例采用在先的中国专利申请“一种适合硬件实现的人脸检测技术”(申请号为200710179241.7)中所公开的方法,以最流行的基于adaboost(自适应增强算法)和haar-like(微结构)特征的人脸检测方法为基础,可以显著减小算法的内存需求和硬件实现代价,使得人脸检测基于单芯片的硬件实现成为可能。
人脸检测模块可以检测到人脸的大小(包括宽度和高度)和位置(如中心点或区域左上角顶点在图像中的横坐标和纵坐标等)。
人脸跟踪方法是可选的。但采用人脸跟踪方法可以对人脸位置、大小的变化进行跟踪,提高人脸检测的准确性和稳定性。该人脸跟踪方法可以采用在先的中国专利申请“视频序列中人脸的实时检测与持续跟踪的方法及系统”(申请号200510135668.8)中所公开的方法。
在获得人脸信息的基础上,可以对一些图像参数实现基于人脸信息的调节。需说明的是,后续对全图的图像参数如亮度、灰色点的红绿蓝三色分量、清晰度等的统计和计算可以与上述步骤110并行。
步骤120,对图像进行自动曝光和背光补偿处理,根据当前图像帧中是否存在人脸,按不同方式处理:
第一种情况,在当前图像帧中不存在人脸时,统计全图的平均亮度值,根据全图的平均亮度值来调整曝光时间和增益,即对图像进行自动曝光和背光补偿。
第二种情况,在当前图像帧中存在人脸时,统计人脸区域的平均亮度值,根据人脸区域的平均亮度值调整曝光时间和增益;或者,考虑到采用人脸区域平均亮度值选择自动曝光参数的调整结果可能使得全图过亮或过暗,为获得更佳图像效果和质量,对人脸区域和全图的亮度信息进行综合考虑,即统计全图以及人脸区域的平均亮度值,在人脸区域平均亮度值和全图平均亮度值之间进行加权作为新的平均亮度值,根据该新的平均亮度值来调整曝光时间和增益。
步骤130,对图像进行自动白平衡和肤色校正处理,根据当前图像帧中是否存在人脸,按不同方式处理:
第一种情况,在当前图像帧中不存在人脸时,统计全图灰色点的红绿蓝三色分量的比例,步骤170,利用全图灰色点的红绿蓝三色分量的比例判断并调整红绿蓝三色分量的增益,使得在当前光源条件下图像达到白平衡。
第二种情况,在当前图像帧中存在人脸时,除按第一种情况进行自动白平衡的处理外,还统计人脸区域肤色的红绿蓝三色分量的比例,综合考虑全图灰色点的红绿蓝三色分量的比例和人脸区域肤色的红绿蓝三色分量的比例,调整红绿蓝三色分量的增益,使得在当前光源条件下图像达到白平衡。
本实施例的肤色校准包括以下步骤:
步骤一,先选择人脸区域中代表肤色的像素点,即肤色点;
考虑到人脸区域通常是矩形,其中就会包含一些非肤色的点;或者即使不是矩形的,在强光照的情况下也可能会存在一些高亮度点。将这些点纳入计算会影响肤色校准的准确性,因此本发明通过对R、G、B分量的取值范围的限定,设置一个肤色所对应的RGB色彩空间,先判断人脸区域中的像素点的RGB值是否在该RGB色彩空间内,如果在,再判定其为代表肤色的像素点,参与后续的计算。
步骤二,计算人脸区域中代表肤色的像素点红绿蓝三色分量的统计值(如平均值),结合预先标定的标准肤色模型的红绿蓝三色分量,计算得到肤色校准系数;
因为不同人种的肤色差异较大,因此需要提供不同的标准肤色模型来进行校准。这里具体计算肤色校准系数时,可以采用以下公式:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′
其中公式左侧是标定的RGB值,该RGB值需要结合当前人脸区域的亮度从标准肤色模型中选择对应的一组标定值,公式右侧是代表肤色的像素点的R’G’B’统计值,(x1,x2,x3,y1,y2,y3)是要计算的一组肤色校准系数。以上计算可以在每一图像帧都进行,也可以间隔几帧进行。将两帧得到的统计值代入该公式,即可求解出一组肤色校准系数,用于其后一帧或多帧图像的肤色校准,直到计算出新的肤色校准系数。本发明肤色校准系数不限于上述公式来计算。
譬如,可以利用第n帧和第n+1帧代表肤色的像素点的RGB统计值和对应的标定值分别代入上式计算出一组肤色校准系数,该组肤色校准系统可用于第n+2帧图像的肤色校准,n=1,2,3,...。
步骤三,利用肤色校准系数,对当前帧图像中的像素点进行肤色校准,
仍按下面公式对每一像素点进行肤色校准的计算:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′
其中,式中的(x1,x2,x3,y1,y2,y3)是最近一次计算出来的肤色校准系数,式左侧为要校准到的RGB值,式右侧的R’G’B’是帧图像中像素点原始的或白平衡后的RGB值。即该校准并不限于人脸区域,如只限于人脸区域将使图像严重失真。
在另一实施方式中,还可以结合肤色来辅助白平衡处理,白平衡一般是根据帧图像中灰色点RGB值在色彩空间的位置来判断出当前光源的类型,然后利用该光源对应的颜色修正模型进行白平衡处理,将本应为灰色的像素点恢复为灰色。这种方式在灰色点较少时效果会受到影响。在该实施方式中,在进行白平衡处理前,先利用上述步骤一选择出代表肤色的像素点,基于与灰色点相似的方法,即在不同光源(用色温表示)下肤色点的RGB值会位于一个相应的色彩空间(可以根据测试得到)中,因此根据这些点的RGB值在色彩空间的位置也可以判断出光源的类型。
之后,如果根据灰色点和肤色点判断出来的光源类型一致,即根据该光源类型进行后续的白平衡处理,如果不一致,可以采用以下几种处理方式中的一种或不局限于这些方式,一种是再查看前一帧的判断结果,如前一帧光源类型与其中一种相同,则判定为该种光源类型。或者,将根据灰色点和肤色点判断出来的光源类型,进行加权得到一加权后的光源类型或色温值,再进行后续的白平衡处理。或者,也可以统计灰色点和肤色点的数目,在该两种点数目的差值达到或超过预设阈值或一种点的数目占该两种点总数目的比例超过某一阈值时,以根据数目较多的或比例较大的点判断出来的光源类型为准,进行后续的白平衡处理。
步骤140,在当前图像帧中存在人脸时,对图像进行自动平移缩放处理,即统计人脸区域的位置和尺度信息,控制输出显示图像的平移或控制摄像头云台的运动调整,使人脸位于输出显示图像的中心区域,且大小在预先设置的人脸大小范围之内;
步骤150,对图像进行自动对焦处理,根据当前图像帧中是否存在人脸,按不同方式处理:
第一种情况,在当前图像帧中不存在人脸时,统计全图的清晰度评估值,根据全图的清晰度评估值自动对焦,即调整焦距调节结构使得输出图像成像清晰。清晰度评估值可以采用能够衡量图像清晰程度的任何一种定义方式,一种实施方案为参考中国已授权专利“自动对焦技术”(申请号02121281.3)中的定义方式。
第二种情况,在当前图像帧中存在人脸时,统计人脸区域的清晰度评估值,根据人脸区域的清晰度评估值调整焦距;或者,考虑到采用人脸区域清晰度评估值选择自动对焦参数的调整结果可能使得全图其它部分不够清晰,为获得更佳图像效果和质量,可以综合考虑人脸区域和全图的清晰度信息。在人脸区域清晰度评估值和全图清晰度评估值之间进行加权得到新的清晰度评估值,根据该新的清晰度评估值进行焦距调节,实现自动对焦,可参见已申请的中国专利“一种自动对焦的方法及图像采集装置”,申请号为CN101236348。
上述步骤140和150中,可以是先利用人脸位置计算出成像位置,利用人脸尺度计算出焦距范围,再利用图像中的清晰度评估值在此焦距范围内对焦距进行微调即对焦。
以上进行的自动曝光和背光补偿、自动白平衡和肤色校正、自动平移缩放以及自动对焦等处理的先后顺序可以不加限定。在上述处理的基础上,考虑到图像中不一定总是存在人脸,以及存在图像中有人脸和没人脸的变化过程,为保证图像调节过程的平滑自然,还可以在进行上述处理后,进一步判断当前帧的状态变化情况,一共有4种:
从非人脸状态进入人脸状态;
从人脸状态进入非人脸状态;
保持为非人脸状态;
保持为人脸状态;
前面二种存在有状态变化,此时可以对上述处理过程中得到的图像控制参数(如曝光时间、红绿蓝三色分量的比例和增益、焦距调节量、亮度等等)进行平滑,采用的平滑方式可以为任何低通滤波器,一种可行方法是:Yn+1=(1-α)*Yn+α*Yc。其中,Yn+1为当前帧图像控制参数的平滑结果,Yn为上帧图像控制参数的平滑结果,Yc为当前帧图像控制参数,α为平滑系数。
本发明利用人脸区域信息实现基于人脸信息的自动曝光、背光补偿、自动白平衡、肤色校正、自动对焦、自动平移和缩放等功能。同时,根据人脸检测结果,灵活控制人脸区域信息和全图信息对自动曝光、背光补偿、自动白平衡、自动对焦等调节功能的贡献比例,取得最佳图像效果,极大提高图像质量和摄像处理系统的性能;人脸检测信息还可以嵌入到输出压缩图像的文件头中或直接输出到后续处理设备如计算机或服务器等,为更多基于人脸的应用提供可能。

Claims (10)

1、一种支持人脸检测的摄像处理方法,包括:
对摄像得到的一帧图像,先对该帧图像进行人脸检测,根据检测结果确定该帧图像中是否存在人脸;
如该帧图像存在人脸,获取人脸所在区域的图像特征信息,以所述人脸所在区域的图像特征信息为依据或依据之一,对一个或多个图像控制参数进行调节。
2、如权利要求1所述的摄像处理方法,其特征在于:
对帧图像的调节包括肤色校准,即利用最近一次计算出来的肤色校准系数,对帧图像中的像素点进行肤色校准;
计算所述肤色校准系数时,先选择出人脸区域中RGB值位于预先设置的肤色所对应的RGB色彩空间中的像素点,作为代表肤色的像素点即肤色点,计算所述肤色点RGB分量的统计值,根据一帧或多帧的所述统计值和相应帧图像人脸区域亮度对应的标准肤色模型的RGB值,来计算肤色校准系数。
3、如权利要求2所述的摄像处理方法,其特征在于,所述肤色校准系数具体按下式(1)计算:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′ - - - ( 1 )
其中,式(1)左侧的RGB是帧图像人脸区域亮度对应的标准肤色模型的RGB值,式(1)右侧的R’G’B’是肤色点RGB的统计值,(x1,x2,x3,y1,y2,y3)是要计算的一组肤色校准系数,将两帧图像肤色点RGB的统计值和对应的标准肤色模型的RGB值代入该公式,即可求解出一组肤色校准系数,用于其后一帧或多帧图像的肤色校准,直到计算出新的肤色校准系数;
利用肤色校准系数对帧图像中的像素点进行肤色校准时仍按式(1)计算,此时,式(1)右侧的R’G’B’是帧图像中像素点原始的RGB值或白平衡后的RGB值,式(1)左侧的RGB为该像素点要校准到的RGB值。
4、如权利要求2所述的摄像处理方法,其特征在于:
对帧图像的调节包括白平衡,在进行白平衡时,是根据灰色点和肤色点的RGB值在色彩空间的位置先分别判断出当前的光源类型,在判断出的光源类型一致时即按该光源类型进行后续的白平衡处理;在根据灰色点和肤色点判断出的光源类型不一致时,按以下方式a)或b)或c)处理:
a)再查看前一帧对光源类型的判断结果,如前一帧的光源类型与本帧根据灰色点或肤色点判断出的光源类型一致,则以前一帧的光源类型为准进行后续的白平衡处理;或者
b)将根据灰色点和肤色点判断出来的光源类型,进行加权得到一加权后的光源类型或色温值,再进行后续的白平衡处理;
c)统计灰色点和肤色点的数目,在该两种点数目的差值达到或超过预设阈值或一种点的数目占该两种点总数目的比例超过某一阈值时,以根据数目较多的或比例较大的点判断出来的光源类型为准,进行后续的白平衡处理。
5、如权利要求1所述的摄像处理方法,其特征在于:
获取的人脸区域的图像特征信息包括人脸区域的位置、尺度和清晰度评估值信息,先根据该位置信息控制输出显示图像的平移或控制摄像头云台的运动调整,使人脸位于输出显示图像的中心区域;
然后利用人脸尺度和预先设置的图像中人脸大小的范围计算出焦距范围,再根据人脸区域的清晰度评估值,或者在人脸区域的清晰度评估值和全图的清晰度评估值之间进行加权作为新的清晰度评估值,根据该新的清晰度评估值在所述焦距范围内进行对焦。
6、如权利要求1至5中任一权利要求所述的摄像处理方法,其特征在于:
在得到一帧图像的人脸检测结果后,根据上一次的人脸检测结果判断是否存在状态变化,即是否从非人脸状态进入人脸状态,或者从人脸状态进入非人脸状态;如果存在状态为化,则先对由人脸区域信息和/或全图信息得到的图像参数和/或调节参数进行平滑,然后再进行相应的调节;
对所述图像参数进行平滑时,采用以下公式:
Yn+1=(1-α)*Yn+α*Yc
其中,Yn+1为当前帧图像参数的平滑结果,Yn为上帧图像参数的平滑结果,Yc为当前帧计算得到的图像控制参数,α为平滑系数。
7、一种支持人脸检测的摄像处理系统,包括成像器件和与其相连的摄像头处理芯片,其特征在于,所述摄像头处理芯片又包括与所述成像器件相连的图像处理模块、与该图像处理模块相连的图像后处理模块和人脸检测模块,以及与人脸检测模块连接的保存有用于人脸检测的训练模型库的存储模块;其中:
所述人脸检测模块用于对摄像得到的帧图像进行人脸检测,根据检测结果确定该帧图像中是否存在人脸,并通知所述图像处理模块;
所述图像处理模块用于在该帧图像存在人脸时,根据人脸所在的区域获取该区域的图像特征信息;基于人脸所在区域的所述图像特征信息,对该帧图像的一个或多个图像控制参数进行调节。
8、如权利要求7所述的摄像处理系统,其特征在于:
所述图像处理模块包括一肤色校准子模块,该肤色校准子模块又包括选择单元、校准系数计算单元和校准单元,其中:
选择单元用于先选择出人脸区域中RGB值位于预先设置的肤色所对应的RGB色彩空间中的像素点,作为代表肤色的像素点即肤色点;
校准系数计算单元用于计算所述肤色点RGB分量的统计值,根据一帧或多帧的所述统计值和相应帧图像人脸区域亮度对应的标准肤色模型的RGB值,来计算出肤色校准系数;
校准单元用于利用最近一次计算出来的肤色校准系数,对帧图像中的像素点进行肤色校准。
9、如权利要求8所述的摄像处理方法,其特征在于,所述校准系数计算单元按下式(1)计算肤色校准系统:
R G B = x 1 y 1 ( 1 - x 1 - y 1 ) x 2 y 2 ( 1 - x 2 - y 2 ) x 3 y 3 ( 1 - x 3 - y 3 ) R ′ G ′ B ′ - - - ( 1 )
其中,式(1)左侧的RGB是帧图像人脸区域亮度对应的标准肤色模型的RGB值,式(1)右侧的R’G’B’是肤色点RGB的统计值,(x1,x2,x3,y1,y2,y3)是要计算的一组肤色校准系数,将两帧图像肤色点RGB的统计值和对应的标准肤色模型的RGB值代入该公式,即可求解出一组肤色校准系数,用于其后一帧或多帧图像的肤色校准,直到计算出新的肤色校准系数;
所述校准单元利用肤色校准系数对帧图像中的像素点进行肤色校准时仍按式(1)计算,此时,式(1)右侧的R’G’B’是帧图像中像素点原始的RGB值或白平衡后的RGB值,式(1)左侧的RGB为该像素点要校准到的RGB值。
10、如权利要求7所述的摄像处理方法,其特征在于:
所述图像处理模块包括一白平衡子模块,该白平衡子模块又包括光源类型判断单元和白平衡处理单元,其中:
所述光源类型判断单元用于根据灰色点和肤色点的RGB值在色彩空间的位置先分别判断出当前的光源类型,在判断出的光源类型一致时即按该光源类型进行后续的白平衡处理;在根据灰色点和肤色点判断出的光源类型不一致时,按以下方式a)或b)或c)处理:
a)再查看前一帧对光源类型的判断结果,如前一帧的光源类型与本帧根据灰色点或肤色点判断出的光源类型一致,则以前一帧的光源类型为最终的光源类型;
b)将根据灰色点和肤色点判断出来的光源类型,进行加权得到一加权后的光源类型或色温值,用于后续的白平衡处理;
c)统计灰色点和肤色点的数目,在该两种点数目的差值达到或超过预设阈值或一种点的数目占该两种点总数目的比例超过某一阈值时,以根据数目较多的或比例较大的点判断出来的光源类型为最终的光源类型。
CN200810246862.7A 2008-12-26 2008-12-26 一种支持人脸检测的摄像处理方法和系统 Active CN101448085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200810246862.7A CN101448085B (zh) 2008-12-26 2008-12-26 一种支持人脸检测的摄像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810246862.7A CN101448085B (zh) 2008-12-26 2008-12-26 一种支持人脸检测的摄像处理方法和系统

Publications (2)

Publication Number Publication Date
CN101448085A true CN101448085A (zh) 2009-06-03
CN101448085B CN101448085B (zh) 2013-08-21

Family

ID=40743454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810246862.7A Active CN101448085B (zh) 2008-12-26 2008-12-26 一种支持人脸检测的摄像处理方法和系统

Country Status (1)

Country Link
CN (1) CN101448085B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682728A (zh) * 2012-04-18 2012-09-19 深圳Tcl新技术有限公司 基于人脸识别的色温调节方法、装置及系统
CN102857695A (zh) * 2012-08-06 2013-01-02 上海中和软件有限公司 单摄像头人脸自动跟踪系统及其工作方法
CN103310214A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 图像处理方法和设备
CN104104883A (zh) * 2013-04-11 2014-10-15 深圳富泰宏精密工业有限公司 拍照系统及方法
CN104881853A (zh) * 2015-05-28 2015-09-02 厦门美图之家科技有限公司 一种基于色彩概念化的肤色矫正方法和系统
CN104994306A (zh) * 2015-06-29 2015-10-21 厦门美图之家科技有限公司 一种基于脸部亮度自动调整曝光度的摄像方法和摄像装置
CN105242483A (zh) * 2015-10-28 2016-01-13 努比亚技术有限公司 一种实现对焦的方法和装置、实现拍照的方法和装置
CN105681775A (zh) * 2016-03-08 2016-06-15 福州瑞芯微电子股份有限公司 一种白平衡方法和装置
CN105827977A (zh) * 2016-04-27 2016-08-03 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN106570472A (zh) * 2016-11-02 2017-04-19 华为技术有限公司 一种肤色检测方法、装置及终端
WO2017096865A1 (zh) * 2015-12-08 2017-06-15 乐视控股(北京)有限公司 具有人脸的图像处理方法和装置
CN107257455A (zh) * 2017-07-10 2017-10-17 广东欧珀移动通信有限公司 白平衡处理方法和装置
CN107301820A (zh) * 2017-07-18 2017-10-27 广东长虹电子有限公司 一种能够识别观众类型的智能广告机及其控制方法
CN107846554A (zh) * 2017-10-31 2018-03-27 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
WO2018054054A1 (zh) * 2016-09-23 2018-03-29 中兴通讯股份有限公司 一种人脸识别的方法、装置、移动终端及计算机存储介质
CN107995418A (zh) * 2017-11-21 2018-05-04 维沃移动通信有限公司 一种拍摄方法、装置及移动终端
CN108335271A (zh) * 2018-01-26 2018-07-27 努比亚技术有限公司 一种图像处理的方法、设备及计算机可读存储介质
WO2018138582A1 (en) * 2017-01-27 2018-08-02 Banuba Limited Computer systems and computer-implemented methods specialized in processing electronic image data
CN108600640A (zh) * 2018-07-03 2018-09-28 京东方科技集团股份有限公司 图像中手势识别、颜色白平衡调整及曝光调节方法和装置
CN108600723A (zh) * 2018-07-20 2018-09-28 长沙全度影像科技有限公司 一种全景相机的颜色校正方法及评价方法
CN109379534A (zh) * 2018-11-13 2019-02-22 Oppo(重庆)智能科技有限公司 处理图像的方法、装置、终端及存储介质
CN110069974A (zh) * 2018-12-21 2019-07-30 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
CN110084168A (zh) * 2019-04-22 2019-08-02 中国科学院自动化研究所 一种主动目标识别方法及装置
CN110513762A (zh) * 2018-10-30 2019-11-29 永康市道可道科技有限公司 浴霸灯体自动开关平台
CN111147749A (zh) * 2019-12-31 2020-05-12 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置、终端及存储介质
CN111787299A (zh) * 2019-10-18 2020-10-16 西安宇视信息科技有限公司 特殊光源的确定方法、装置、介质及电子设备
CN112911146A (zh) * 2021-01-27 2021-06-04 杭州寰宇微视科技有限公司 基于人脸的智能调光方法
CN113141512A (zh) * 2020-01-17 2021-07-20 蒋兴德 视频主播画面检测系统
CN114710627A (zh) * 2022-04-06 2022-07-05 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566717B (zh) * 2017-08-08 2020-05-05 维沃移动通信有限公司 一种拍摄方法、移动终端及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1116394A (zh) * 1994-04-15 1996-02-07 松下电器产业株式会社 图像信号的肤色再生电路
CN101039439A (zh) * 2007-04-23 2007-09-19 北京中星微电子有限公司 一种实现白平衡校正的方法及装置
CN101271523A (zh) * 2008-05-21 2008-09-24 北京中星微电子有限公司 用于人脸检测的图像亮度调节控制方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1116394A (zh) * 1994-04-15 1996-02-07 松下电器产业株式会社 图像信号的肤色再生电路
CN101039439A (zh) * 2007-04-23 2007-09-19 北京中星微电子有限公司 一种实现白平衡校正的方法及装置
CN101271523A (zh) * 2008-05-21 2008-09-24 北京中星微电子有限公司 用于人脸检测的图像亮度调节控制方法和装置

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310214B (zh) * 2012-03-12 2017-05-24 联想(北京)有限公司 图像处理方法和设备
CN103310214A (zh) * 2012-03-12 2013-09-18 联想(北京)有限公司 图像处理方法和设备
CN102682728A (zh) * 2012-04-18 2012-09-19 深圳Tcl新技术有限公司 基于人脸识别的色温调节方法、装置及系统
CN102857695A (zh) * 2012-08-06 2013-01-02 上海中和软件有限公司 单摄像头人脸自动跟踪系统及其工作方法
CN104104883A (zh) * 2013-04-11 2014-10-15 深圳富泰宏精密工业有限公司 拍照系统及方法
CN104881853A (zh) * 2015-05-28 2015-09-02 厦门美图之家科技有限公司 一种基于色彩概念化的肤色矫正方法和系统
CN104881853B (zh) * 2015-05-28 2018-10-16 厦门美图之家科技有限公司 一种基于色彩概念化的肤色矫正方法和系统
CN104994306A (zh) * 2015-06-29 2015-10-21 厦门美图之家科技有限公司 一种基于脸部亮度自动调整曝光度的摄像方法和摄像装置
WO2017071592A1 (zh) * 2015-10-28 2017-05-04 努比亚技术有限公司 一种实现对焦的方法和装置、实现拍照的方法和装置
CN105242483B (zh) * 2015-10-28 2017-07-07 努比亚技术有限公司 一种实现对焦的方法和装置、实现拍照的方法和装置
CN105242483A (zh) * 2015-10-28 2016-01-13 努比亚技术有限公司 一种实现对焦的方法和装置、实现拍照的方法和装置
WO2017096865A1 (zh) * 2015-12-08 2017-06-15 乐视控股(北京)有限公司 具有人脸的图像处理方法和装置
CN105681775A (zh) * 2016-03-08 2016-06-15 福州瑞芯微电子股份有限公司 一种白平衡方法和装置
CN105827977A (zh) * 2016-04-27 2016-08-03 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
CN105827977B (zh) * 2016-04-27 2019-01-04 广东欧珀移动通信有限公司 一种自拍方法、装置及移动终端
WO2018054054A1 (zh) * 2016-09-23 2018-03-29 中兴通讯股份有限公司 一种人脸识别的方法、装置、移动终端及计算机存储介质
CN106570472A (zh) * 2016-11-02 2017-04-19 华为技术有限公司 一种肤色检测方法、装置及终端
CN106570472B (zh) * 2016-11-02 2019-11-05 华为技术有限公司 一种肤色检测方法、装置及终端
WO2018138582A1 (en) * 2017-01-27 2018-08-02 Banuba Limited Computer systems and computer-implemented methods specialized in processing electronic image data
US10255483B2 (en) 2017-01-27 2019-04-09 Banuba Limited Computer systems and computer-implemented methods specialized in tracking faces across visual representations
CN107257455A (zh) * 2017-07-10 2017-10-17 广东欧珀移动通信有限公司 白平衡处理方法和装置
WO2019011184A1 (en) * 2017-07-10 2019-01-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD, COMPUTER DEVICE AND COMPUTER-READABLE NON-VOLATILE STORAGE MEDIUM FOR WHITE BALANCE PROCESSING
US10455207B2 (en) 2017-07-10 2019-10-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, computing device and nonvolatile computer readable storage medium for processing white balance
CN107301820A (zh) * 2017-07-18 2017-10-27 广东长虹电子有限公司 一种能够识别观众类型的智能广告机及其控制方法
CN107846554A (zh) * 2017-10-31 2018-03-27 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
CN107995418A (zh) * 2017-11-21 2018-05-04 维沃移动通信有限公司 一种拍摄方法、装置及移动终端
CN108335271A (zh) * 2018-01-26 2018-07-27 努比亚技术有限公司 一种图像处理的方法、设备及计算机可读存储介质
CN108600640A (zh) * 2018-07-03 2018-09-28 京东方科技集团股份有限公司 图像中手势识别、颜色白平衡调整及曝光调节方法和装置
CN108600640B (zh) * 2018-07-03 2021-02-02 京东方科技集团股份有限公司 图像中手势识别、颜色白平衡调整及曝光调节方法和装置
CN108600723A (zh) * 2018-07-20 2018-09-28 长沙全度影像科技有限公司 一种全景相机的颜色校正方法及评价方法
CN110513762A (zh) * 2018-10-30 2019-11-29 永康市道可道科技有限公司 浴霸灯体自动开关平台
CN110513762B (zh) * 2018-10-30 2021-04-23 新昌县馁侃农业开发有限公司 浴霸灯体自动开关平台
CN109379534B (zh) * 2018-11-13 2020-09-22 Oppo(重庆)智能科技有限公司 处理图像的方法、装置、终端及存储介质
CN109379534A (zh) * 2018-11-13 2019-02-22 Oppo(重庆)智能科技有限公司 处理图像的方法、装置、终端及存储介质
CN110069974B (zh) * 2018-12-21 2021-09-17 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
CN110069974A (zh) * 2018-12-21 2019-07-30 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
CN110084168A (zh) * 2019-04-22 2019-08-02 中国科学院自动化研究所 一种主动目标识别方法及装置
CN111787299A (zh) * 2019-10-18 2020-10-16 西安宇视信息科技有限公司 特殊光源的确定方法、装置、介质及电子设备
CN111787299B (zh) * 2019-10-18 2022-06-14 西安宇视信息科技有限公司 特殊光源的确定方法、装置、介质及电子设备
CN111147749A (zh) * 2019-12-31 2020-05-12 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置、终端及存储介质
CN113141512A (zh) * 2020-01-17 2021-07-20 蒋兴德 视频主播画面检测系统
CN113141512B (zh) * 2020-01-17 2022-06-21 深圳市天盈互动网络技术有限公司 视频主播画面检测系统
CN112911146A (zh) * 2021-01-27 2021-06-04 杭州寰宇微视科技有限公司 基于人脸的智能调光方法
CN114710627A (zh) * 2022-04-06 2022-07-05 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质
CN114710627B (zh) * 2022-04-06 2024-03-29 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质

Also Published As

Publication number Publication date
CN101448085B (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
CN101448085B (zh) 一种支持人脸检测的摄像处理方法和系统
CN106713778B (zh) 曝光控制方法和装置
JP4482037B2 (ja) デジタル画像形成の露出
CN105100632B (zh) 成像设备自动曝光的调整方法及装置、成像设备
CN110225248B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
JP3510868B2 (ja) 画像合成装置
US8896625B2 (en) Method and system for fusing images
EP1924966B1 (en) Adaptive exposure control
KR100983037B1 (ko) 자동 화이트 밸런스 조정 방법
EP1703436A2 (en) Image processing system, image processing apparatus and method, recording medium, and program
CN101848327B (zh) 摄像装置及图像处理方法
CN101605208A (zh) 图像处理设备、成像设备、图像处理方法及程序
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN104052933A (zh) 动态范围模式的判定方法及其图像获取装置
CN104182721A (zh) 提升人脸识别率的图像处理系统及图像处理方法
CN110636227B (zh) 高动态范围hdr图像合成方法及集成该方法的高速相机
CN110049240B (zh) 摄像头控制方法、装置、电子设备和计算机可读存储介质
CN113643214A (zh) 一种基于人工智能的图像曝光校正方法及系统
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
US9013605B2 (en) Apparatus and method for processing intensity of image in digital camera
CN108881876A (zh) 对图像进行白平衡处理的方法、装置和电子设备
CN103310214B (zh) 图像处理方法和设备
KR100910361B1 (ko) 디지털 이미지화의 노출
CN113572968B (zh) 图像融合方法、装置、摄像设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171221

Address after: 519031 Guangdong city of Zhuhai province Hengqin Baohua Road No. 6, room 105, -23898 (central office)

Patentee after: Zhongxing Technology Co., Ltd.

Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16

Patentee before: Beijing Vimicro Corporation

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 519031 Guangdong city of Zhuhai province Hengqin Baohua Road No. 6, room 105, -23898 (central office)

Patentee after: Mid Star Technology Limited by Share Ltd

Address before: 519031 Guangdong city of Zhuhai province Hengqin Baohua Road No. 6, room 105, -23898 (central office)

Patentee before: Zhongxing Technology Co., Ltd.