CN114598852B - 摄像机人脸区域白平衡的优化方法 - Google Patents

摄像机人脸区域白平衡的优化方法 Download PDF

Info

Publication number
CN114598852B
CN114598852B CN202210216478.2A CN202210216478A CN114598852B CN 114598852 B CN114598852 B CN 114598852B CN 202210216478 A CN202210216478 A CN 202210216478A CN 114598852 B CN114598852 B CN 114598852B
Authority
CN
China
Prior art keywords
face
image
white balance
face area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210216478.2A
Other languages
English (en)
Other versions
CN114598852A (zh
Inventor
陈凯
闫文志
欧阳次山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Guoxin Microelectronics Co.,Ltd.
Original Assignee
Hangzhou Nationalchip Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Nationalchip Science & Technology Co ltd filed Critical Hangzhou Nationalchip Science & Technology Co ltd
Priority to CN202210216478.2A priority Critical patent/CN114598852B/zh
Publication of CN114598852A publication Critical patent/CN114598852A/zh
Application granted granted Critical
Publication of CN114598852B publication Critical patent/CN114598852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明公开了摄像机人脸区域白平衡的优化方法。现有方法没有针对图像整体，更倾向于全局校正，就导致人脸容易偏色。本发明方法中，将CMOS传感器采集的图像送入图像处理器，得到处理后图像，通过人脸检测网络检测出人脸区域信息；根据人脸区域信息提取人脸图，拆分成人脸左图和人脸右图；对人脸左、右图进行直方图统计，判断人脸区域光线环境，得到人脸区域的白平衡权重；将人脸区域的白平衡权重与系统原始权重混合得到最终白平衡权重，并设置到系统中。本发明方法结合神经网络技术，充分考虑了摄像机人脸的颜色受到环境复杂场景的影响，可以在不同的环境光线、场景下，自适应校正到人脸区域的颜色，提高了摄像机的人脸区域白平衡效果。

Description

摄像机人脸区域白平衡的优化方法
技术领域
本发明属于图像处理技术领域，具体涉及一种摄像机人脸区域白平衡的优化方法。
背景技术
由于CMOS传感器输出的是Bayer图，颜色本身是处于非平衡状态，故所输出的图像颜色非自然界所呈现出来的色彩，导致人看到图像非常的怪异，解决图像颜色问题就成了一个无法避免的问题。目前，摄像机在图像处理中，会进行自动白平衡，对颜色进行校正。传统白平衡方法均是：整幅图像采用全局统计或者局部找白点的方式进行图像分析，通过灰度世界的理论来对图像进行全局校正。由于图像中的细节较为复杂，且图像中的内容较多，颜色的全局校正的方法不能保证每一处颜色均正确的校正；且观察者所关注的内容不一，对于人脸相机来说，观察者关注的内容主体为人脸，传统的白平衡校正可能会导致人脸区域的颜色偏色，就极大的影响了真实性判断，不利于有效信息的存储和后期查看，导致观察者对监控信息的接收产生偏差。
专利号为201710557602.0的发明专利提出一种白平衡处理方法和装置。该方法首先对活体的被摄物进行成像，得到待处理的图像，根据包含人脸的目标区域在图像中所占面积，计算白平衡增益值，目标区域包括人脸区域或人像区域，根据白平衡增益值，对图像进行白平衡处理。通过对人体进行活体识别，避免了当检测到非活体的被拍摄物包含人脸时，即启动基于活体人脸的自动白平衡对图像进行调节。
专利号为201910120250.1的发明专利公开了一种图像的白平衡处理方法、装置和终端设备。该方法首先通过对图像中的背景区域，提取色彩特征，这里的色彩特征用于指示背景区域色彩分布情况。根据色彩特征，匹配人脸白平衡算法的适用条件，若该色彩特征与适用条件匹配，则根据用于将图像中的人脸调整至肤色的人脸白平衡算法，对图像进行白平衡处理。
申请号为201510896549.8的发明专利申请公开了一种具有人脸的图像处理方法和装置。方法包括：获取当前拍摄场景中具有人脸的图像；对具有人脸的图像进行人脸识别，得到人脸区域以及除人脸区域之外的环境光区域；确定人脸区域的人脸决定点以及环境光区域的环境光决定点；根据人脸决定点、环境光决定点以及设定距离阀值，调整所述白平衡参数；根据白平衡参数对具有人脸的图像进行调整。
发明内容
本发明的目的是针对现有技术的不足，为了让人脸区域的白平衡得到更为精准的校正，提供一种摄像机人脸区域白平衡的优化方法。
本发明方法需要找到人脸区域的准确白点信息，以提供人脸部分的白平衡校正，使得在相机对图像在策略上可选择人脸区域白平衡的权重，使得图像的白平衡校正更为准确。
本发明方法中，CMOS传感器将采集图像送入图像处理器及神经网络处理器进行处理，得到人脸区域的位置信息；对人脸区域进行白平衡，分析排除干扰，计算出人脸区域白平衡的权重值，最终使用此权重值进行白平衡计算，得到最终的白平衡结果。
本发明方法具体是：
步骤(1)将CMOS传感器采集的图像送入图像处理器，得到处理后图像P；图像处理器为芯片硬件，将CMOS图像转换为神经网络处理器可识别图像。
步骤(2)将处理后图像P送入神经网络处理器进行处理，通过人脸检测网络检测出人脸区域信息I。
进一步，神经网络处理器为NPU神经网络加速器，运行进行人脸检测的神经网络模型。
步骤(3)从处理后图像P中通过人脸区域信息I提取人脸图F。
步骤(4)将人脸图F进行左右等宽拆分，得到人脸左图L和人脸右图R。
步骤(5)对人脸左图L和人脸右图R进行直方图统计，判断人脸区域光线环境，得到人脸区域的白平衡权重W；具体方法是：
(5-1)分别对人脸左图L和人脸右图R分别进行直方图统计，并进行0～1的归一化计算，得到直方图统计结果；人脸左图L的直方图统计结果H_L[n]，n＝0,1,…,N-1；人脸右图R的直方图统计结果H_R[n]，n＝0,1,…,N-1；灰度级个数N＝256；
(5-2)计算H_L[n]和H_R[n]的欧式距离
Figure BDA0003535008560000021
H_L(i)表示H_L[n]中的第i个值，H_R(i)表示H_R[n]中的第i个值；
(5-3)如D＞Tmax，判断人脸区域光线环境较差，则设置人脸区域的白平衡权重W＝0；如D＜Tmin，判断人脸区域光线环境较好，则设置人脸区域的白平衡权重W＝1；如Tmin≤D≤Tmax，则人脸区域的白平衡权重
Figure BDA0003535008560000022
最大光线偏差阈值Tmax和最小光线偏差阈值Tmin由用户配置，且0＜Tmin＜Tmax≤5；配置的Tmax越小，或配置的Tmin越大，则人脸区域光线环境判断越严格。
步骤(6)将处理后图像P中人脸图F所在区域的白平衡权重W与系统原始权重S进行混合计算，得到人脸图F所在区域的最终白平衡权重E，并设置到系统中：E＝(W+1)×S。
本发明方法结合神经网络技术，充分考虑了摄像机中，人脸的颜色会受到环境光线、逆光、测光的复杂场景的影响，保证该方法可以在不同的环境光线、场景场景下，能够自适应校正到人脸区域的颜色，使得人脸颜色信息能够正常记录，更好的保存人脸颜色信息，提高了人脸相机的人脸区域白平衡效果。本方法成本较低，修改维护起来更为方便。
附图说明
图1为本发明方法的具体流程图；
图2为实施例中神经网络检测出来的人脸框示意图；
图3为实施例中人脸拆分的人脸左图示意图；
图4为实施例中人脸拆分的人脸右图示意图；
图5为实施例中权重配置曲线。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明，具体实施方式是示例性的，仅用于解释本发明而不能作为对本发明的限制。
摄像机人脸区域白平衡的优化方法，CMOS传感器将采集图像，将图像送入图像处理器及神经网络处理器进行处理，得到人脸区域的位置信息。人脸白平衡算法对人脸区域进行分析排除干扰，计算出人脸区域白平衡的权重值，最终使用此权重值进行白平衡计算，得到最终的白平衡结果。具体如图1所示：
步骤(1)将CMOS传感器采集的图像送入图像处理器，得到处理后图像P；图像处理器为芯片硬件，将CMOS图像转换为神经网络处理器可识别图像。
步骤(2)将处理后图像P送入神经网络处理器进行处理，得到人脸区域信息I；神经网络处理器为芯片硬件，通过人脸检测网络检测出人脸区域信息I；如图2所示。神经网络处理器为NPU神经网络加速器，运行进行人脸检测的神经网络模型。
步骤(3)从处理后图像P中通过人脸区域信息I提取人脸图F。
步骤(4)将人脸图F进行左右等宽拆分，得到人脸左图L(如图3所示)和人脸右图R(如图4所示)。
步骤(5)对人脸左图L和人脸右图R进行直方图统计，排除背光、测光的光线干扰，判断人脸区域光线环境，得到人脸区域的白平衡权重；具体方法是：
(5-1)分别对人脸左图L和人脸右图R分别进行直方图统计，并进行0～1的归一化计算，得到直方图统计结果；人脸左图L的直方图统计结果H_L[n]，n＝0,1,…,N-1；人脸右图R的直方图统计结果H_R[n]，n＝0,1,…,N-1；灰度级个数N＝256；
(5-2)计算H_L[n]和H_R[n]的欧式距离
Figure BDA0003535008560000041
H_L(i)表示H_L[n]中的第i个值，H_R(i)表示H_R[n]中的第i个值；
(5-3)如D＞Tmax，判断人脸区域光线环境较差，则设置人脸区域的白平衡权重W＝0；如D＜Tmin，判断人脸区域光线环境较好，则设置人脸区域的白平衡权重W＝1；如Tmin≤D≤Tmax，则人脸区域的白平衡权重
Figure BDA0003535008560000042
最大光线偏差阈值Tmax和最小光线偏差阈值Tmin由用户配置，且0＜Tmin＜Tmax≤5；配置的Tmax越小，或配置的Tmin越大，则人脸区域光线环境判断越严格。
本实施例中，设置Tmin＝1.5、Tmax＝4，即
Figure BDA0003535008560000043
如图5所示。
步骤(6)系统将处理后图像P中人脸图F所在区域的白平衡权重W与系统原始权重S进行混合计算，得到人脸图F所在区域的最终白平衡权重E，并设置到系统中：
E＝(W+1)×S，得到人脸白平衡的计算结果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (2)

1.摄像机人脸区域白平衡的优化方法，其特征在于：
步骤(1)将CMOS传感器采集的图像送入图像处理器，得到处理后图像P；
步骤(2)将处理后图像P送入神经网络处理器进行处理，通过人脸检测网络检测出人脸区域信息I；
步骤(3)从处理后图像P中通过人脸区域信息I提取人脸图F；
步骤(4)将人脸图F进行左右等宽拆分，得到人脸左图L和人脸右图R；
步骤(5)对人脸左图L和人脸右图R进行直方图统计，判断人脸区域光线环境，得到人脸区域的白平衡权重W；具体方法是：
(5-1)分别对人脸左图L和人脸右图R分别进行直方图统计，并进行0～1的归一化计算，得到直方图统计结果；人脸左图L的直方图统计结果H_L[n]，n＝0,1,…,N-1；人脸右图R的直方图统计结果H_R[n]，n＝0,1,…,N-1；灰度级个数N＝256；
(5-2)计算H_L[n]和H_R[n]的欧式距离
Figure FDA0004203128620000011
H_L(i)表示H_L[n]中的第i个值，H_R(i)表示H_R[n]中的第i个值；
(5-3)如D＞Tmax，判断人脸区域光线环境较差，则设置人脸区域的白平衡权重W＝0；如D＜Tmin，判断人脸区域光线环境较好，则设置人脸区域的白平衡权重W＝1；如Tmin≤D≤Tmax，则人脸区域的白平衡权重
Figure FDA0004203128620000012
最大光线偏差阈值Tmax和最小光线偏差阈值Tmin由用户配置，且0＜Tmin＜Tmax≤5；
步骤(6)将处理后图像P中人脸图F所在区域的白平衡权重W与系统原始权重S进行混合计算，得到人脸图F所在区域的最终白平衡权重E，并设置到系统中：E＝(W+1)×S。
2.如权利要求1所述的摄像机人脸区域白平衡的优化方法，其特征在于：所述的神经网络处理器为NPU神经网络加速器，运行进行人脸检测的神经网络模型。
CN202210216478.2A 2022-03-07 2022-03-07 摄像机人脸区域白平衡的优化方法 Active CN114598852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210216478.2A CN114598852B (zh) 2022-03-07 2022-03-07 摄像机人脸区域白平衡的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210216478.2A CN114598852B (zh) 2022-03-07 2022-03-07 摄像机人脸区域白平衡的优化方法

Publications (2)

Publication Number Publication Date
CN114598852A CN114598852A (zh) 2022-06-07
CN114598852B true CN114598852B (zh) 2023-06-09

Family

ID=81816350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210216478.2A Active CN114598852B (zh) 2022-03-07 2022-03-07 摄像机人脸区域白平衡的优化方法

Country Status (1)

Country Link
CN (1) CN114598852B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167280A (ja) * 2006-12-28 2008-07-17 Canon Inc 画像処理装置及び方法、及び撮像装置
WO2015109693A1 (zh) * 2014-01-22 2015-07-30 中兴通讯股份有限公司 一种校准图像色彩的方法和系统
CN108024055A (zh) * 2017-11-03 2018-05-11 广东欧珀移动通信有限公司 白平衡处理的方法、装置、移动终端和存储介质
CN109151428A (zh) * 2018-08-30 2019-01-04 Oppo广东移动通信有限公司 自动白平衡处理方法、装置以及计算机存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177472A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像処理方法、画像処理装置及び撮像装置
JP5398156B2 (ja) * 2008-03-04 2014-01-29 キヤノン株式会社 ホワイトバランス制御装置およびその制御方法並びに撮像装置
KR100983037B1 (ko) * 2008-07-25 2010-09-17 삼성전기주식회사 자동 화이트 밸런스 조정 방법
CN101567044B (zh) * 2009-05-22 2012-08-22 北京大学 一种人脸图像质量检测方法
JP5782311B2 (ja) * 2011-07-01 2015-09-24 キヤノン株式会社 撮像装置及びその制御方法
TWI532385B (zh) * 2012-03-19 2016-05-01 華晶科技股份有限公司 白平衡處理方法及其處理裝置
CN105187810B (zh) * 2014-11-11 2017-06-06 怀效宁 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
US20170163953A1 (en) * 2015-12-08 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing image containing human face
CN106887024B (zh) * 2015-12-16 2019-09-17 腾讯科技（深圳）有限公司 照片的处理方法及处理系统
CN106851121B (zh) * 2017-01-05 2019-07-05 Oppo广东移动通信有限公司 控制方法及控制装置
JP6720881B2 (ja) * 2017-01-19 2020-07-08 カシオ計算機株式会社 画像処理装置及び画像処理方法
CN107635124B (zh) * 2017-10-31 2019-04-19 Oppo广东移动通信有限公司 人脸拍摄的白平衡处理方法、装置及设备
CN108416313A (zh) * 2018-03-15 2018-08-17 广州二元科技有限公司 一种基于人脸系统和数字图像技术的背光人脸检测方法
GB201908521D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd Image white balance processing system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167280A (ja) * 2006-12-28 2008-07-17 Canon Inc 画像処理装置及び方法、及び撮像装置
WO2015109693A1 (zh) * 2014-01-22 2015-07-30 中兴通讯股份有限公司 一种校准图像色彩的方法和系统
CN108024055A (zh) * 2017-11-03 2018-05-11 广东欧珀移动通信有限公司 白平衡处理的方法、装置、移动终端和存储介质
CN109151428A (zh) * 2018-08-30 2019-01-04 Oppo广东移动通信有限公司 自动白平衡处理方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
CN114598852A (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
US8811733B2 (en) Method of chromatic classification of pixels and method of adaptive enhancement of a color image
CN106973278B (zh) 一种参照人脸色彩特征的自动白平衡装置及方法
US7218759B1 (en) Face detection in digital images
CN106454145A (zh) 一种具有场景自适应的自动曝光方法
JP2019012426A (ja) 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム
JP2007097178A (ja) 顔検出による赤目の除去方法
US20060210124A1 (en) Image processing system, image processing apparatus and method, recording medium, and program
JP2003169231A (ja) 画像処理装置、コンピュータ・プログラム
CN112364842B (zh) 一种双摄人脸识别方法及装置
CN112866581A (zh) 摄像头自动曝光补偿方法、装置及电子设备
JP3490910B2 (ja) 顔領域検出装置
US9813632B2 (en) Method of adjusting digital camera image processing parameters
CN112232204B (zh) 基于红外图像的活体检测方法
CN110047059B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN102111552B (zh) 图像处理设备和图像处理方法
CN112861645A (zh) 红外摄像头弱光环境补偿方法、装置及电子设备
CN112070691B (zh) 一种基于U-Net的图像去雾方法
CN113691724A (zh) Hdr场景检测方法与装置、终端及可读存储介质
CN114430462B (zh) 无人机自主拍照参数调整方法、装置、设备及存储介质
CN114155590A (zh) 一种人脸识别方法
US8743236B2 (en) Image processing method, image processing apparatus, and imaging apparatus
CN114598852B (zh) 摄像机人脸区域白平衡的优化方法
CN110223253A (zh) 一种基于图像增强的去雾方法
CN111666869B (zh) 一种基于宽动态处理的人脸识别方法、装置及电子设备
CN109618109B (zh) 一种摄像机成像的曝光调节方法及调节系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Guoxin Microelectronics Co.,Ltd.

Country or region after: China

Address before: 310012 5-6 / F, block a, East Software Park Innovation Building, 90 Wensan Road, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU NATIONALCHIP SCIENCE & TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address