CN108564558A - 宽动态图像处理方法、装置、设备和存储介质 - Google Patents

宽动态图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN108564558A
CN108564558A CN201810012365.4A CN201810012365A CN108564558A CN 108564558 A CN108564558 A CN 108564558A CN 201810012365 A CN201810012365 A CN 201810012365A CN 108564558 A CN108564558 A CN 108564558A
Authority
CN
China
Prior art keywords
picture
face region
camera
exposure
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810012365.4A
Other languages
English (en)
Inventor
田坚
胡星
杨伟明
赵飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GRG Banking Equipment Co Ltd
Guangdian Yuntong Financial Electronic Co Ltd
Original Assignee
Guangdian Yuntong Financial Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdian Yuntong Financial Electronic Co Ltd filed Critical Guangdian Yuntong Financial Electronic Co Ltd
Priority to CN201810012365.4A priority Critical patent/CN108564558A/zh
Publication of CN108564558A publication Critical patent/CN108564558A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种宽动态图像处理方法、装置、设备和存储介质，该方法包括：接收摄像头拍摄得到的图片，并检测摄像头拍摄得到的图片中是否存在人脸图像；若是，则根据人脸图像在图片中的相对位置生成人脸区域信息。根据人脸区域信息控制摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。通过人脸识别获取人脸所在区域，对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，且在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。

Description

宽动态图像处理方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种宽动态图像处理方法、装置、设备和存储介质。
背景技术
宽动态技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。当在强光源照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响到图像质量。宽动态技术在摄像机系统中的运用，使黑暗区域变得明亮，而明亮区域变得柔和，改变视觉效果，提供出有用的可识别图像。
传统的宽动态图像处理方法是对整幅图像进行两次曝光，一次快，一次慢。摄像头先对明亮区域进行一次快速曝光，如1/6000秒，得到一副亮部区域清晰正常的图片，然后进行一次慢速曝光，如1/60秒，得到一副暗部区域清晰正常的图片。最后将两幅图片通过挑选明亮区域的清晰部分和暗区域的清晰部分并加以合成，从而得到一整幅清晰图片。由于仅对图像进行2次曝光，动态范围不能覆盖所有的光环境，无法适应各种复杂的光环境。
发明内容
基于此，有必要针对上述问题，提供一种能够适应各种复杂的光环境的宽动态图像处理方法、装置、设备和存储介质。
一种宽动态图像处理方法，包括以下步骤：
接收摄像头拍摄得到的图片，并检测所述摄像头拍摄得到的图片中是否存在人脸图像；
在检测到所述图片中存在人脸图像时，根据所述人脸图像在所述图片中的相对位置生成人脸区域信息；
根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
在一个实施例中，所述检测所述摄像头拍摄得到的图片中是否存在人脸图像，包括：
提取所述摄像头拍摄得到的图片中的肤色区域，并对所述肤色区域进行分割得到人脸候选区域；
根据所述人脸候选区域检测图片中是否存在人脸图像。
在一个实施例中，所述提取所述摄像头拍摄得到的图片中的肤色区域，并对所述肤色区域进行分割得到人脸候选区域，包括:
对所述摄像头拍摄得到的图片进行YCbCr色彩空间转换，得到YCbCr值；
根据所述YCbCr值提取所述图片中的肤色区域；
根据所述YCbCr值对所述肤色区域进行分割得到人脸候选区域。
在一个实施例中，所述根据所述人脸候选区域检测图像中是否存在人脸图像，包括：
对人脸候选区域进行积分图计算，得到Harr-like特征；
根据所述Harr-like特征对所述人脸候选区域进行分类，检测图片中是否存在人脸图像。
在一个实施例中，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，包括：
根据所述人脸区域信息确定摄像头画面中人脸所在宫格，对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同；或
根据所述人脸区域信息确定摄像头画面中人脸所在宫格，根据人脸区域的画面亮度均值对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，其中，快速曝光的曝光次数与所述画面亮度均值成负相关，慢速曝光的曝光次数与所述画面亮度均值成正相关。
在一个实施例中，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，包括：
根据所述人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数对人脸区域以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同；或
根据所述人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数以及人脸区域的画面亮度均值对人脸区域以不同的曝光速度进行动态曝光，其中，快速曝光的曝光次数与所述画面亮度均值成负相关，慢速曝光的曝光次数与所述画面亮度均值成正相关。
在一个实施例中，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像的步骤之后，还包括以下步骤：
对清晰图像进行人脸特征提取，并将提取的特征信息进行打包后输出。
一种宽动态图像处理装置，包括：
人脸检测模块，用于接收摄像头拍摄得到的图片，并检测所述摄像头拍摄得到的图片中是否存在人脸图像；
区域框定模块，用于在检测到所述图片中存在人脸图像时，根据所述人脸图像在所述图片中的相对位置生成人脸区域信息；
信息发送模块，用于根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
上述宽动态图像处理方法和装置，接收摄像头拍摄得到的图片，并检测摄像头拍摄得到的图片中是否存在人脸图像；若是，则根据人脸图像在图片中的相对位置生成人脸区域信息。根据人脸区域信息控制摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，且在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
一种可读存储介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述方法的步骤。
上述可读存储介质，通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，且在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
一种宽动态图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述宽动态图像处理设备，通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，且在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
附图说明
图1为一实施例中宽动态图像处理方法的流程图；
图2为另一实施例中宽动态图像处理方法的流程图；
图3为一实施例中宽动态图像处理装置的结构图；
图4为另一实施例中宽动态图像处理装置的结构图。
具体实施方式
在一个实施例中，一种宽动态图像处理方法，如图1所示，包括以下步骤：
步骤S110：接收摄像头拍摄得到的图片，并检测摄像头拍摄得到的图片中是否存在人脸图像。
具体地，可通过CPU(Central Processing Unit，中央处理器)接收摄像头拍摄得到的图片并进行人脸检测。摄像头处于工作状态时，通过DSP(Digital SignalProcessing，数字信号处理)芯片不停将采集到的图片发给CPU，CPU实时对图片进行处理，判断画面中是否出现人脸，若是，则进行步骤S120；若否，则可以返回步骤S110，再次接收摄像头输出的图片进行人脸检测。
检测图片中是否存在人脸图像的方式并不唯一，在一个实施例中，步骤S110中检测摄像头拍摄得到的图片中是否存在人脸图像，包括步骤112和步骤114。
步骤112：提取摄像头拍摄得到的图片中的肤色区域，并对肤色区域进行分割得到人脸候选区域。
由于人像肤色与背景颜色存在差异，通过颜色识别获取人像的肤色区域进行分割后作为人脸候选区域，以供后续进一步的图像处理检测是否存在人脸。提取肤色区域进行分割的方式也并不唯一，本实施例中，步骤112包括步骤12至步骤16。
步骤12：对摄像头拍摄得到的图片进行YCbCr色彩空间转换，得到YCbCr值。YCbCr色彩空间用数学方式来描述颜色集合，YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。YCbCr值为YCbCr色彩空间中对应特征分量的坐标值。
步骤14：根据YCbCr值提取图片中的肤色区域。根据YCbCr值中的亮度分量区分人像肤色和背景色，从而识别出图片中的肤色区域。由于肤色与图片背景的差别主要是亮度的差别，通过对图片进行YCbCr色彩空间转换，可以使肤色有较好的聚类性，便于进行肤色区域的识别和分割处理。
步骤16：根据YCbCr值对肤色区域进行分割得到人脸候选区域。
在YCbCr色彩空间中，眼睛与皮肤的Cb和Cr分量有很大的差异，眼睛的灰度值相对较低，Y分量集中分布在(0，120)内，而且眼睛的Cb分量普遍比Cr分量的值高，由此将眼睛的色彩和亮度映射结合起来就能检测出眼睛区域的大小和位置。多数情况下嘴巴的方向和人脸的方向一致，具有很强的稳定性，嘴巴检测的情况类试眼睛的检测，此时Cb比Cr分量的值高很多，也就是说，嘴巴相对眼睛更容易检测到。最后根据人体学特征，根据人脸各部件的位置便可确定人脸候选区域。
步骤114：根据人脸候选区域检测图片中是否存在人脸图像。
对分割得到的人脸候选区域进行识别，判断是否检测到人脸。同样的，根据人脸候选区域进行人脸检测的方式也不是唯一的，本实施例中，步骤114包括步骤22和步骤24。
步骤22：对人脸候选区域进行积分图计算，得到Harr-like特征。通过对人脸候选区域进行积分图计算，快速计算Harr-like特征。Haar特征值反映了图像的灰度变化情况。例如，脸部的一些特征能由矩形特征简单的描述，如眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。通过提取的Harr-like特征进行人脸检测，操作简便可靠。
步骤24：根据Harr-like特征利用AdaBoost算法对人脸候选区域进行分类，检测图片中是否存在人脸图像。本实施例中，可利用AdaBoost算法对人脸候选区域进行分类，具体地，利用AdaBoost算法先通过Harr-like特征生成弱分类器，然后将弱分类器叠加成为强分类器，再将多个强分类器级联成人脸检测分类器，通过人脸检测分类器检测是否出现人脸图像。AdaBoost算法是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用AdaBoost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面，提高了人脸检测的准确性。
步骤S120：在检测到图片中存在人脸图像时，根据人脸图像在图片中的相对位置生成人脸区域信息。
具体地，当CPU通过算法判定人脸出现之后，人脸出现的区域在整幅图像中的相对位置也就确定下来。本实施例中，根据人脸图像在图片中的相对位置生成人脸区域信息为，根据人脸图像在图片中的相对位置，通过SSD(Single Shot Multi Box Detector，单次多目标检测器)检测分类算法框定人脸出现区域，生成人脸区域信息。通过SSD检测分类算法框定人脸出现区域，基本公式如下
L(x,c,l,g)＝1/N(Lconf(x,c)+aLloc(x,l,g))
SSD损失分为置信损失(confidence loss)Lconf(x,c)和位置损失(locationloss)Lloc(x,l,g)两部分，其中N是查找到GT(Ground Truth)的prior box数量；参数a用于调整置信损失Lconf和位置损失Lloc(x,l,g)之间的比例，默认参数a为SSD中的置信损失是典型的softmax loss。具体原理如下：
在框定人脸区域后，根据人脸区域在整幅图像中的相对位置生成人脸区域信息。
步骤S130：根据人脸区域信息控制摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
对应地，CPU可根据人脸区域信息生成控制信息，并将人脸区域信息和控制信息发送至DSP芯片，DSP芯片将针对人脸区域进行单独处理，根据控制信息对人脸区域各像素点多次曝光，挑选最清晰像素点进行图像整合，从而得到一副高清晰的图像。其中，控制信息具体可包括曝光速度和曝光次数等。通过对人脸区域单独进行处理，以不同的曝光速度进行多次曝光后进行图像合成，能得到更高的动态范围，从而克服更复杂更恶劣的光环境对摄像头的影响，拍摄出更清晰的图像，且着重人脸区域的图像处理，对人脸以外的图像不做任何关注，所以能更好的适应人脸识别的需求。其中，可以是以两种或两种以上不同的曝光速度进行多次曝光，每种曝光速度对应的曝光次数可相同也可不同，具体可采用同次数曝光或者根据整体亮度动态曝光两种方式进行曝光处理。
根据人脸区域信息进行曝光的方式并不唯一，在一个实施例中，步骤S130包括：根据人脸区域信息确定摄像头画面中人脸所在宫格，对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同。
对应地，CPU根据人脸区域信息确定摄像头画面中人脸所在宫格，并生成对应的控制信息，控制信息包括曝光速度和曝光次数。曝光速度可以是两种、三种或三种以上，曝光次数可以是一次、两次或两次以上。具体地，可将摄像头画面等分成X*X宫格(例如3*3或者4*4等分宫格)，DSP芯片收到CPU发送的人脸区域信息时，根据人脸出现的区域判定画面在哪些宫格里，然后DSP芯片选出这些宫格，对选出的宫格所对应的画面进行多次曝光。此时选出的人脸画面占整个画面的区域较小，对整个画面的曝光影响会小很多。同时，由于DSP芯片处理的画面相对于原画面的1/4或者更小，这样DSP芯片可以运用原先的运算能力进行更多次曝光。具体说明，若摄像头画面为4*4等分宫格，人脸占中间4个宫格，由于人脸的画面只占原画面的1/4，理论上原先的两次曝光，在只处理中间4格画面时可接近曝光8次，那么可以对高亮区域曝光3次，分别为1/5000秒、1/6000秒、1/7000秒；对阴暗区域可曝光3次，分别为1/50秒、1/60秒、1/70秒。最后，将多次曝光收到的6幅图像合成处理，选出最佳效果的每一个像素点进行合成，即可得到一幅清晰画面。根据人脸所在宫格对画面进行同次数曝光处理，操作简便且可靠性高。
在一个实施例中，步骤S130包括：根据人脸区域信息确定摄像头画面中人脸所在宫格，根据人脸区域的画面亮度均值对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，其中，快速曝光的曝光次数与画面亮度均值成负相关，慢速曝光的曝光次数与画面亮度均值成正相关。
对应地，CPU在根据人脸区域信息确定人脸所在宫格之后，通过计算选定人脸区域的画面亮度均值判定是整体过亮还是整体过暗，并生成对应的控制信息，控制信息包括曝光速度和曝光次数。本实施例中，快速曝光的曝光次数与画面亮度均值成反比，慢速曝光的曝光次数与画面亮度均值成正比。需要说明的是，快速曝光和慢速曝光的具体速度并不是固定的，而是相对而言可分为快速曝光和慢速曝光。例如，曝光速度A>曝光速度B>曝光速度C，则曝光速度A相对于曝光速度B为快速曝光，而曝光速度B相对于曝光速度A为慢速曝光；曝光速度B相对于曝光速度C为快速曝光，而曝光速度C相对于曝光速度B为慢速曝光。当画面整体过亮时，则相应的短时间曝光次数相应增加，扩大适应高亮的范围；当画面整体过暗时，则相应的长时间曝光次数相应增加，扩大适应阴暗的范围，达到动态曝光的效果，从而更好的适应环境。
在一个实施例中，步骤S130包括：根据人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同。
本实施例中，将人脸框定的区域直接作为曝光区域，人脸区域有多大，则曝光的局部区域就有多大，通过计算此人脸区域占整幅画面的比例来确定可曝光次数，例如，若人脸区域占整幅画面的比例高，则减小曝光次数；若人脸区域占整幅画面的比例低，则增大曝光次数。当确定曝光次数后，则均匀分配长短曝光的次数，从而对人脸区域进行多次曝光。最后，将多次曝光收到的图像合成处理，选出最佳效果的每一个像素点进行合成，即可得到一幅清晰画面。根据人脸区域所占图片比例确定曝光次数，根据人脸的大小动态确定可曝光次数，在不增大数据处理负担的前提下增加曝光次数，能更好的进行人脸的采集，同时保证了处理方式的可实施性。
在一个实施例中，步骤S130包括：根据人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数以及人脸区域的画面亮度均值对人脸区域以不同的曝光速度进行动态曝光，其中，快速曝光的曝光次数与画面亮度均值成负相关，慢速曝光的曝光次数与画面亮度均值成正相关。
同样地，将人脸框定的区域直接作为曝光区域，人脸区域有多大，则曝光的局部区域就有多大，通过计算此人脸区域占整幅画面的比例来确定可曝光次数。本实施例中，快速曝光的曝光次数与画面亮度均值成反比，慢速曝光的曝光次数与画面亮度均值成正比。当确定曝光次数后，通过计算选定人脸区域的画面亮度均值判定是整体过亮还是整体过暗。当画面整体过亮时，则相应的短时间曝光次数相应增加，扩大适应高亮的范围；当画面整体过暗时，则相应的长时间曝光次数相应增加，扩大适应阴暗的范围，达到动态曝光的效果，从而更好的适应环境。最后，将多次曝光收到的图像合成处理，选出最佳效果的每一个像素点进行合成，即可得到一幅清晰画面。
以上即是提供了四种根据人脸区域信息进行曝光的具体方式，操作人员可根据实际情况和需求进行选择。可以理解，根据人脸区域信息进行曝光的方式包括但并不局限于以上四种。
上述宽动态图像处理方法，通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，从而提高了人脸识别的准确率。上述方法充分利用原硬件资源，在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
在一个实施例中，如图2所示，步骤S130之后，宽动态图像处理方法还包括步骤S140。
步骤S140：对清晰图像进行人脸特征提取，并将提取的特征信息进行打包后输出。
对应地，可通过CPU接收DSP芯片合成的清晰图像，对清晰图像进行人脸特征点提取，并将此信息通过打包以USB(Universal Serial Bus，通用串行总线)数据形式发送给终端设备。终端设备具体可以是PC(Personal Computer，个人计算机)、笔记本或便携式设备等。本实施例中，将清晰图像进行人脸特征点提取，将提取的特征信息打包后输出，从而大大减小了传输的数据量，可有效提高传输速度。由于是通过对人脸所在区域以不同的曝光速度进行多次曝光，选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像，对清晰图像进行特征提取，可提高人脸特征点提取的准确性，提高了人脸识别对复杂多变的光环境的适应性。而且，由于在生成清晰图像和特征提取的过程中，事实上需要用户在短时间内保持相对静止，因此本方法也适于在人脸识别的流程中实现。
需要说明的是，以上均是以CPU作为执行主体进行人脸检测、生成人脸区域信息和确定曝光时间、曝光次数，以DSP芯片作为执行主体将摄像头拍摄的图片发送给CPU、接收CPU发来的人脸区域信息和控制信息，从而控制摄像头进行曝光。可以理解，在其他实施例中，DSP芯片可以和CPU可以整合在同一芯片中，即通过同一个处理芯片完成获取摄像头拍摄的图片进行人脸检测、生成人脸区域信息和确定曝光时间、曝光次数，以及根据人脸区域信息和控制信息控制摄像头进行曝光的功能。
在一个实施例中，一种宽动态图像处理装置，如图3所示，包括人脸检测模块110、区域框定模块120和图像生成模块130。
人脸检测模块110用于接收摄像头拍摄得到的图片，并检测摄像头拍摄得到的图片中是否存在人脸图像。
具体地，摄像头处于工作状态时，实时对摄像头拍摄得到的图片进行处理，判断画面中是否出现人脸，若是，则区域框定模块120根据人脸图像在图片中的相对位置生成人脸区域信息，若否，则人脸检测模块110可以再次接收摄像头输出的图片进行人脸检测。检测图片中是否存在人脸图像的方式并不唯一，在一个实施例中，人脸检测模块110包括肤色区域提取单元和人脸图像检测单元。
肤色区域提取单元用于接收摄像头拍摄得到的图片，提取摄像头拍摄得到的图片中的肤色区域，并对肤色区域进行分割得到人脸候选区域。
由于人像肤色与背景颜色存在差异，通过颜色识别获取人像的肤色区域进行分割后作为人脸候选区域，以供后续进一步的图像处理检测是否存在人脸。提取肤色区域进行分割的方式也并不唯一，本实施例中，肤色区域提取单元对摄像头拍摄得到的图片进行YCbCr色彩空间转换，得到YCbCr值；根据YCbCr值提取图片中的肤色区域；根据YCbCr值对肤色区域进行分割得到人脸候选区域。
人脸图像检测单元用于根据人脸候选区域检测图片中是否存在人脸图像。对分割得到的人脸候选区域进行识别，判断是否检测到人脸。同样的，根据人脸候选区域进行人脸检测的方式也不是唯一的，本实施例中，人脸图像检测单元对人脸候选区域进行积分图计算，得到Harr-like特征；根据Harr-like特征对人脸候选区域进行分类，检测图片中是否存在人脸图像。本实施例中，可利用AdaBoost算法对人脸候选区域进行分类。Haar特征值反映了图像的灰度变化情况，通过提取的Harr-like特征进行人脸检测，操作简便可靠。使用AdaBoost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面，提高了人脸检测的准确性。
区域框定模块120用于在图片中存在人脸图像时，根据检测到的人脸图像在图片中的相对位置生成人脸区域信息。
具体地，当判定人脸出现之后，人脸出现的区域在整幅图像中的相对位置也就确定下来。本实施例中，根据人脸图像在图片中的相对位置生成人脸区域信息为，根据人脸图像在图片中的相对位置，通过SSD检测分类算法框定人脸出现区域，生成人脸区域信息。在框定人脸区域后，根据人脸区域在整幅图像中的相对位置生成人脸区域信息。
图像生成模块130用于根据人脸区域信息控制摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
对应地，根据人脸区域信息生成控制信息，根据控制信息对人脸区域各像素点多次曝光，挑选最清晰像素点进行图像整合，从而得到一副高清晰的图像。其中，控制信息具体可包括曝光速度和曝光次数等。通过对人脸区域单独进行处理，以不同的曝光速度进行多次曝光后进行图像合成，能得到更高的动态范围，从而克服更复杂更恶劣的光环境对摄像头的影响，拍摄出更清晰的图像，且着重人脸区域的图像处理，对人脸以外的图像不做任何关注，所以能更好的适应人脸识别的需求。其中，可以是以两种或两种以上不同的曝光速度进行多次曝光，每种曝光速度对应的曝光次数可相同也可不同，具体可采用同次数曝光或者根据整体亮度动态曝光两种方式进行曝光处理。
上述宽动态图像处理装置，通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，从而提高了人脸识别的准确率。充分利用原硬件资源，在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
在一个实施例中，如图4所示，宽动态图像处理装置还包括特征提取模块150。
特征提取模块150用于在图像生成模块130用于根据人脸区域信息控制摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像之后，对清晰图像进行人脸特征提取，并将提取的特征信息进行打包后输出。
具体地，对清晰图像进行人脸特征点提取，并将此信息通过打包以USB数据形式发送给终端设备。终端设备具体可以是PC、笔记本或便携式设备等。本实施例中，将清晰图像进行人脸特征点提取，将提取的特征信息打包后输出，从而大大减小了传输的数据量，可有效提高传输速度。
一种可读存储介质，存储有计算机程序，存储的计算机程序被处理器执行时实现上述方法的步骤。
一种宽动态图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
上述可读存储介质和宽动态图像处理设备，通过人脸识别获取人脸所在区域，控制摄像头对人脸区域以不同的曝光速度单独进行多次曝光，挑选最清晰像素点进行图像整合得到清晰图像，提高了对光亮度的动态范围，使之能更好的适应各种复杂的光环境，且在无需提高工艺或者增加芯片电路的前提下大大提高图像的质量，能更好的进行人脸的采集。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种宽动态图像处理方法，其特征在于，包括以下步骤：
接收摄像头拍摄得到的图片，检测所述摄像头拍摄得到的图片中是否存在人脸图像；
在检测到所述图片中存在人脸图像时，根据所述人脸图像在所述图片中的相对位置生成人脸区域信息；
根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
2.根据权利要求1所述的宽动态图像处理方法，其特征在于，所述检测所述摄像头拍摄得到的图片中是否存在人脸图像，包括：
提取所述摄像头拍摄得到的图片中的肤色区域，并对所述肤色区域进行分割得到人脸候选区域；
根据所述人脸候选区域检测图片中是否存在人脸图像。
3.根据权利要求2所述的宽动态图像处理方法，其特征在于，所述提取所述摄像头拍摄得到的图片中的肤色区域，并对所述肤色区域进行分割得到人脸候选区域，包括:
对所述摄像头拍摄得到的图片进行YCbCr色彩空间转换，得到YCbCr值；
根据所述YCbCr值提取所述图片中的肤色区域；
根据所述YCbCr值对所述肤色区域进行分割得到人脸候选区域。
4.根据权利要求2所述的宽动态图像处理方法，其特征在于，所述根据所述人脸候选区域检测图像中是否存在人脸图像，包括：
对人脸候选区域进行积分图计算，得到Harr-like特征；
根据所述Harr-like特征对所述人脸候选区域进行分类，检测图片中是否存在人脸图像。
5.根据权利要1所述的宽动态图像处理方法，其特征在于，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，包括：
根据所述人脸区域信息确定摄像头画面中人脸所在宫格，对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同；或
根据所述人脸区域信息确定摄像头画面中人脸所在宫格，根据人脸区域的画面亮度均值对摄像头画面中人脸所在宫格以不同的曝光速度进行曝光，其中，快速曝光的曝光次数与所述画面亮度均值成负相关，慢速曝光的曝光次数与所述画面亮度均值成正相关。
6.根据权利要求1所述的宽动态图像处理系统，其特征在于，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，包括：
根据所述人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数对人脸区域以不同的曝光速度进行曝光，且以各曝光速度进行曝光的次数相同；或
根据所述人脸区域信息确定人脸区域，根据人脸区域所占图片比例确定曝光次数，并根据确定的曝光次数以及人脸区域的画面亮度均值对人脸区域以不同的曝光速度进行动态曝光，其中，快速曝光的曝光次数与所述画面亮度均值成负相关，慢速曝光的曝光次数与所述画面亮度均值成正相关。
7.根据权利要求1所述的宽动态图像处理方法，其特征在于，所述根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像的步骤之后，还包括以下步骤：
对清晰图像进行人脸特征提取，并将提取的特征信息进行打包后输出。
8.一种宽动态图像处理装置，其特征在于，包括：
人脸检测模块，用于接收摄像头拍摄得到的图片，并检测所述摄像头拍摄得到的图片中是否存在人脸图像；
区域框定模块，用于在检测到所述图片中存在人脸图像时，根据所述人脸图像在所述图片中的相对位置生成人脸区域信息；
图像生成模块，用于根据所述人脸区域信息控制所述摄像头对人脸所在区域以不同的曝光速度进行多次曝光，并选取曝光生成的图像中最清晰的像素点进行合成得到清晰图像。
9.一种可读存储介质，存储有计算机程序，其特征在于，存储的计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
10.一种宽动态图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
CN201810012365.4A 2018-01-05 2018-01-05 宽动态图像处理方法、装置、设备和存储介质 Pending CN108564558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810012365.4A CN108564558A (zh) 2018-01-05 2018-01-05 宽动态图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810012365.4A CN108564558A (zh) 2018-01-05 2018-01-05 宽动态图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN108564558A true CN108564558A (zh) 2018-09-21

Family

ID=63529590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810012365.4A Pending CN108564558A (zh) 2018-01-05 2018-01-05 宽动态图像处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN108564558A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660789A (zh) * 2018-11-26 2019-04-19 维沃移动通信（杭州）有限公司 一种测量设备及相机动态范围测量方法
CN111083389A (zh) * 2019-12-27 2020-04-28 维沃移动通信有限公司 一种拍摄图像的方法和装置
CN111666869A (zh) * 2020-06-03 2020-09-15 深圳万橙物联科技有限公司 一种基于宽动态处理的人脸识别方法、装置及电子设备
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及系统
CN114783041A (zh) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质
US11968459B2 (en) 2019-06-14 2024-04-23 Zhejiang Dahua Technology Co., Ltd. Systems and methods for automatic exposure control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078333A1 (en) * 2012-09-19 2014-03-20 Google Inc. Imaging device with a plurality of pixel arrays
CN104052933A (zh) * 2013-03-15 2014-09-17 聚晶半导体股份有限公司 动态范围模式的判定方法及其图像获取装置
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140078333A1 (en) * 2012-09-19 2014-03-20 Google Inc. Imaging device with a plurality of pixel arrays
CN104052933A (zh) * 2013-03-15 2014-09-17 聚晶半导体股份有限公司 动态范围模式的判定方法及其图像获取装置
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵喆 等: "基于肤色模型和改进Adaboost算法的人脸检测", 《电子科技》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660789A (zh) * 2018-11-26 2019-04-19 维沃移动通信（杭州）有限公司 一种测量设备及相机动态范围测量方法
CN109660789B (zh) * 2018-11-26 2021-03-23 维沃移动通信（杭州）有限公司 一种测量设备及相机动态范围测量方法
US11968459B2 (en) 2019-06-14 2024-04-23 Zhejiang Dahua Technology Co., Ltd. Systems and methods for automatic exposure control
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及系统
CN111083389A (zh) * 2019-12-27 2020-04-28 维沃移动通信有限公司 一种拍摄图像的方法和装置
CN111666869A (zh) * 2020-06-03 2020-09-15 深圳万橙物联科技有限公司 一种基于宽动态处理的人脸识别方法、装置及电子设备
CN111666869B (zh) * 2020-06-03 2023-05-30 深圳万橙物联科技有限公司 一种基于宽动态处理的人脸识别方法、装置及电子设备
CN114783041A (zh) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108564558A (zh) 宽动态图像处理方法、装置、设备和存储介质
JP4708909B2 (ja) デジタル画像の対象物検出方法および装置並びにプログラム
US8675960B2 (en) Detecting skin tone in images
US8811733B2 (en) Method of chromatic classification of pixels and method of adaptive enhancement of a color image
US8525847B2 (en) Enhancing images using known characteristics of image subjects
AU2011253980B2 (en) Method, apparatus and system for identifying distracting elements in an image
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
WO2019153741A1 (zh) 图像着色方法和装置
CN108737728A (zh) 一种图像拍摄方法、终端及计算机存储介质
CN113034417A (zh) 基于生成对抗网络的图像增强系统和图像增强方法
Trongtirakul et al. Single backlit image enhancement
JP4208396B2 (ja) 画像処理方法、装置および記録媒体
US8452116B1 (en) Estimating sensor sensitivity
CN112102348A (zh) 图像处理设备
CN112686800B (zh) 图像处理方法、装置、电子设备及存储介质
CN112200075B (zh) 一种基于异常检测的人脸防伪方法
CN109509201A (zh) 一种sar图像质量评价方法和装置
Wang et al. Separating reflections in human iris images for illumination estimation
CN109766832A (zh) 一种图像预处理方法、装置、系统、设备和存储介质
JP2004246618A (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
JP4359662B2 (ja) カラー画像の露出補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180921

RJ01 Rejection of invention patent application after publication