CN103310214B - 图像处理方法和设备 - Google Patents

Abstract

公开了图像处理方法和设备。所述图像处理方法包括如下步骤：(a)对目标物体进行成像；(b)每隔第一预定时段抽取一帧或多帧图像进行人脸识别；(c)如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域，(d)对所述图像中的非人脸区域进行色阶修正；(e)如果未检测到人脸，则不对图像进行处理。

Description

图像处理方法和设备

技术领域

本发明涉及图像处理方法和设备。更具体地说，涉及基于实时人脸画质优先的宽动态范围的图像处理方法和设备。

背景技术

视频采样设备(如，电脑摄像头模组)在极端光线环境中，容易达到图像传感器各方面极限造成用户的负面体验。例如，对于人脸来说的逆光使用、暗光使用、强光照射使用等，都会造成人脸画质的下降甚至完全不能看清。

针对这种情况，一种可能的解决方式是选用高端传感器，但是由此会带来价格昂贵、体积变大影响产品设计等问题。此外，另一种可能的解决方式可以增加补光灯，但是这也存在影响产品设计的问题，并且使用场景受限。

发明内容

鉴于以上问题，期望提供新的图像处理方法和设备，其能够在不增加硬件成本的情况下，大幅度地提高复杂、不利光线环境下(尤其是逆光和面对强光照射的场景)的图像采集质量。

在本发明的方案中，利用实时的人脸识别，始终以人脸为第一优先级处理画面。同时对由于人脸优先画质造成的非人脸区域的图像进行再修正，从而提升动态范围等特性，最终得到人脸最优的宽动态范围视频图像。

根据本发明实施例的一个方面，提供了一种图像处理方法，包括如下步骤：

(a)对目标物体进行成像；

(b)每隔第一预定时段抽取一帧或多帧图像进行人脸识别；

(c)如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域，

(d)对所述图像中的非人脸区域进行色阶修正；

(e)如果未检测到人脸，则不对图像进行处理。

优选地，在根据本发明实施例的图像处理方法中，步骤(d)包括：

在人脸区域内进行图像分析以获得第一参数，

在整个画面区域内进行图像分析以获得第二参数，

将第一参数与第二参数进行比较，

如果第一参数大于第二参数，则在所述非人脸区域中抑制高光色阶；

如果第一参数小于第二参数，则在所述非人脸区域中提高暗部色阶；

如果第一参数与第二参数相当，则不对所述非人脸区域进行色阶修正。

优选地，在根据本发明实施例的图像处理方法中，步骤(c)进一步包括如下步骤：

在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离；

如果所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域；

如果所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

优选地，在根据本发明实施例的图像处理方法中，在上次检测到人脸区域且本次未检测到人脸区域的情况下，其中步骤(e)进一步包括：

从本次未检测到人脸区域的时间点开始计时；

如果在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域；

如果在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。

优选地，在根据本发明实施例的图像处理方法中，步骤(b)进一步包括如下步骤：

对所述图像进行人脸识别；

如果所述图像满足第一预定条件，则对所述图像进行调整；

对调整后的图像再次进行人脸识别；

如果调整后的图像满足第二预定条件，则确定检测到人脸区域；

如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。

根据本发明实施例的另一方面，提供了一种图像处理设备，包括：

成像单元，用于对目标物体进行成像；

人脸识别单元，用于每隔第一预定时段抽取一帧或多帧图像进行人脸识别；

第一修正单元，用于如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域，

第二修正单元，用于对所述图像中的非人脸区域进行色阶修正。

优选地，在根据本发明实施例的图像处理设备中，所述第二修正单元包括：

参数获得单元，用于分别在人脸区域和整个画面区域内进行图像分析以获得第一参数、第二参数；

比较单元，用于将第一参数与第二参数进行比较，

调整单元，用于如果第一参数大于第二参数，则在所述非人脸区域中抑制高光色阶；如果第一参数小于第二参数，则在所述非人脸区域中提高暗部色阶；如果第一参数与第二参数相当，则不对所述非人脸区域进行色阶修正。

优选地，在根据本发明实施例的图像处理设备中，第一修正单元包括：

距离计算单元，用于在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离；

判断单元，用于判断所述距离是否大于预定值；

调整单元，用于如果所述判断单元判断出所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域；如果所述判断单元判断出所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

优选地，在根据本发明实施例的图像处理设备中，在上次检测到人脸区域且本次未检测到人脸区域的情况下，所述第一修正单元进一步包括：

计时单元，用于从本次未检测到人脸区域的时间点开始计时；

判断单元，用于判断从所述计时单元开始计时起的第二预定时段内是否检测到人脸区域；

调整单元，用于如果所述判断单元判断出在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域；如果所述判断单元判断出在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。

优选地，在根据本发明实施例的图像处理设备中，所述人脸识别单元进一步包括：

初次识别单元，用于对所述图像进行人脸识别；

调整单元，用于如果所述图像满足第一预定条件，则对所述图像进行调整；

再次识别单元，用于对调整后的图像再次进行人脸识别；如果调整后的图像满足第二预定条件，则确定检测到人脸区域；如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。

附图说明

图1是示出了根据本发明实施例的图像处理方法的过程的流程图；

图2示出了过曝的单张图片；

图3示出了经过色阶曲线修正之后的图像；

图4示出了修正前后的图像的细节对比；

图5是示出了根据本发明实施例的图像处理设备的配置的框图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

自动曝光是视频采集设备最重要的工作之一。普通的视频采集设备使用的曝光模式基本上是中心区域曝光和多个区域平均曝光。这些方法在人脸光线和大背景光线反差较大时导致人脸较差。过曝和欠曝为最主要的问题。

在个人电脑行业中，网络摄像头的主要使用场景是视频通话，视频通话的主体又是人脸。本发明的要点在于，期望以人脸区域优先来进行画质演算，其他部分画面可以做出一些牺牲。

在下文中，首先参照图1描述根据本发明实施例的图像处理方法。如图1所示，所述方法包括如下步骤：

首先，在步骤S101，对目标物体进行成像。

然后，在步骤S102，抽取一帧或多帧图像进行人脸识别。

接着，在步骤S103，判断在图像中是否检测到人脸。如果在步骤S103确定检测到人脸，则处理进行到步骤S104。在步骤S104，确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数(例如，曝光、白平衡等一系列参数)，并将获得的多个参数应用于所述图像的整个画面区域。

感光器件的动态范围是有限的。以曝光为例，在步骤S104，以人脸区域优先进行曝光以后，很可能造成背景图像的过曝或欠曝。为了解决这一问题，可以通过对单张人脸优先画质视频帧的图像进行处理，在一定范围内提升背景图像的品质，达到提高图片动态范围的效果。提高图片动态范围的方法很多，在下文中，以通过色阶曲线进行的修正为例进行说明。

图2示出了过曝的单张图片。在图2中，高光部分过曝严重，由直方图可以看到高光部分细节缺失严重。此时需要在保持暗部细节不变的同时，争取更多的高光细节。通过微调整张图片的色阶曲线，高光色阶部分下拉，低光部分不变，得到图3、图4的效果。

图3示出了经过色阶修正的图像。图4示出了修正前后的图像的细节对比。通过图4可以清楚地看到，经过上述色阶修正方法，左图中的高光细节被更多地表现出来，而右图中的低光细节并没有被太多影响。这样的图片实际上反映了实际场景更大的色阶范围，也就是我们所说的HDR(high dynamic range)图像。

在如上所述的通过色阶曲线进行修正的示例中，算法的运算量较小，因此比较适合网络摄像头这种运算能力相对较弱的视频采集系统。

因此，在步骤S104之后，处理进行到步骤S105。在步骤S105，对所述图像中的非人脸区域进行色阶修正。在实际使用环境中，人脸的光线状态千差万别，实际采集的图像经过人脸优先曝光和画质调整后同样千差万别。如何设置适合的色阶曲线补正是极其重要的，否则效果可能适得其反。具体来说，在步骤S105的色阶补正曲线的生成方法如下。

在人脸区域内进行图像分析以获得第一参数，并且在整个画面区域内进行图像分析以获得第二参数。例如，这里的第一、第二参数可以是曝光值(可理解为曝光时间长短)。为了便于描述，将第一参数定义为曝光值Ef，将第二参数定义为曝光值E。将Ef与E进行比较。

如果Ef＞E，则实际环境中这是一个人脸暗、背景亮的典型逆光场景。这说明人脸在传统曝光算法中处于欠曝状态。前述步骤S104中的人脸优曝光算法会使得背景进一步过曝。针对此场景，生成用于在所述非人脸区域中抑制高光色阶的色阶曲线。并且，将所述色阶曲线应用于经过步骤S104处理之后的图像。

如果Ef＜E，则实际环境中这是一个人脸亮、背景暗的强光照射脸部场景。这说明人脸在传统曝光算法中处于过曝状态。前述步骤S104中的人脸优先曝光算法会使得背景曝光不足且过暗，损失暗部细节。针对此场景，生成用于在所述非人脸区域中提高暗部色阶的色阶曲线。并且，将所述色阶曲线应用于经过步骤S104处理之后的图像。

如果Ef≈E，则说明两种曝光算法得到的结果类似，无需色阶曲线的介入。因此，不对所述非人脸区域进行色阶修正。

总而言之，三种主要场景能够满足绝大多数环境需要。在Ef＞E场景和Ef＜E场景中可以根据Ef和E值的差值(Δ＝|Ef-E|)来取得不同强度的色阶补正曲线。

另一方面，如果在步骤S103确定未检测到人脸，则处理进行到步骤S106。在步骤S106，不对图像进行处理。也就是说，一切画质模式按照默认算法进行。

然后，处理进行到步骤S107。在步骤S107，判断是否经过了第一预定时段。通常来讲，该第一预定时段远远小于1秒。如果在步骤S107中确定距离步骤S101的抽取已经经过了第一预定时段，则处理返回到步骤S101以进行下一次抽取。另一方面，如果在步骤S106中确定距离步骤S101的抽取尚未经过第一预定时段，则处理进行到步骤S108，继续等待。

另外，在视频通话过程中，被摄人物免不了来回移动，而在移动过程中会造成AE(自动对焦)的频繁跳动。例如，被摄人物可能向左稍稍移动了很小距离，或者被摄人物可能向后转头(即，不面对摄像头)几秒钟然后再转过来。实际上，在上述两种情况下，尽管画面存在变化，但是微小的移动通常不会造成人脸光线过大的变化，却有可能造成AE的不稳定状态，因此期望采用相同的曝光值以保持AE的稳定性，从而给予用户良好的体验。可以在空间和时间两个维度上解决该问题。

首先描述在空间维度上解决AE频繁跳动的问题的方法。具体来说，上述步骤S103进一步包括如下步骤：

在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离。具体来说，例如，在第一次人脸识别算法圈定人脸区域后，记录此区域采样点的坐标，如正方形区域的左上角点，得到坐标值(x，y)。然后，在第二次人脸识别算法圈定人脸区域之后，再次记录正方形区域的左上角点。这两点之间的直线即为所述距离。

如果所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域。

另一方面，如果所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

接下来描述在时间维度上解决AE频繁跳动的问题的方法。具体来说，在上次检测到人脸区域且本次未检测到人脸区域的情况下，上述步骤S106进一步包括如下步骤：从本次未检测到人脸区域的时间点开始计时。

如果在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域。另一方面，如果在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。例如，这里所述的第二预定时段可以是几秒钟。

此外，在有些人脸过暗的场景中，人脸不清晰且细节不明显，从而导致“人脸识别优先曝光”不动作或误动作。所谓不动作，是指人脸过暗，识别程序由于信息不足而没有发现人脸。所谓误动作，是指人脸识别算法条件阈值过宽，把非人脸物体当作人脸识别并动作。

在这种情况下，一种更优选的实施方式可以采用人脸的二次识别方法。具体来说，上述步骤S102可以更优选地进一步包括如下步骤：

首先，对所述图像进行人脸识别。如果所述图像满足第一预定条件，则对所述图像进行调整。这里的第一预定条件是比常规的人脸识别条件更宽的条件。也就是说，只要找到类似脸型轮廓，即使没有找到眼睛等特征点部位，都将此帧图像暂存。对于暂存的、可能是脸部的图像进行增益(gain)的提高和色阶曲线的调整。然后，对调整后的图像再次进行人脸识别。如果调整后的图像满足第二预定条件，则确定检测到人脸区域，而如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。这里的第二预定条件是指常规的人脸识别条件。

需要说明的是，上述二次人脸识别的各过程中的图像对于用户来说是不可见的，从而避免了中间图像或误识别图像对用户的干扰。

通过这种更加优选的实施例，有利于提高传统人脸识别算法的识别率，并缩短识别时间。

以上参照附图描述了根据本发明实施例的图像处理方法。接下来将描述根据本发明实施例的图像处理设备。

图5是示出了根据本发明实施例的图像处理设备的配置的框图。如图5所示，图像处理设备500包括：成像单元501、人脸识别单元502、第一修正单元503和第二修正单元504。

成像单元501用于对目标物体进行成像。

人脸识别单元502用于每隔第一预定时段抽取一帧或多帧图像进行人脸识别。

第一修正单元503用于如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域。

第二修正单元504用于对所述图像中的非人脸区域进行色阶修正。

另外，第二修正单元504包括：参数获得单元5041，用于分别在人脸区域和整个画面区域内进行图像分析以获得第一参数、第二参数；比较单元5042，用于将第一参数与第二参数进行比较；调整单元5043，用于如果第一参数大于第二参数，则在所述非人脸区域中抑制高光色阶；如果第一参数小于第二参数，则在所述非人脸区域中提高暗部色阶；如果第一参数与第二参数相当，则不对所述非人脸区域进行色阶修正。

此外，第一修正单元503包括：距离计算单元5031，用于在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离；判断单元5032，用于判断所述距离是否大于预定值；调整单元5033，用于如果判断单元判断出所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域；如果判断单元判断出所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

并且，作为另一实施例，在上次检测到人脸区域且本次未检测到人脸区域的情况下，所述第一修正单元503包括：计时单元5034，用于从本次未检测到人脸区域的时间点开始计时；判断单元5035，用于判断从所述计时单元开始计时起的第二预定时段内是否检测到人脸区域；调整单元5036，用于如果所述判断单元判断出在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域；如果所述判断单元判断出在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。

此外，作为更优选的实施例，所述人脸识别单元502进一步包括：初次识别单元5021，用于对所述图像进行人脸识别；调整单元5022，用于如果所述图像满足第一预定条件，则对所述图像进行调整；再次识别单元5023，用于对调整后的图像再次进行人脸识别；如果调整后的图像满足第二预定条件，则确定检测到人脸区域；如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。

以上参照图5描述了根据本发明实施例的图像处理设备的配置。由于根据本发明实施例的图像处理设备完全与上文中所述的根据本发明实施例的图像处理方法对应，因此为了简明起见，不再对其细节赘述。

在上文中，已经参照附图描述了根据本发明实施例的图像处理方法和设备。在本发明中，进行实时的人脸检测，以单张或多张人脸区域的图像为基准进行AE、AWB、色调等参数的自动生成。通过这样的参数来处理整张图像。然后，对每一帧图像中的非人脸区域图像进行针对性的加强处理。另外，通过合理的算法保证AE不会频繁闪烁，保证良好的用户体验。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图像处理方法，包括如下步骤：

(a)对目标物体进行成像；

(b)每隔第一预定时段抽取一帧或多帧图像进行人脸识别；

(c)如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域，

(d)对所述图像中的非人脸区域进行色阶修正；

(e)如果未检测到人脸，则不对图像进行处理；

其中，步骤(d)包括：

在人脸区域内进行图像分析以获得第一参数，

在整个画面区域内进行图像分析以获得第二参数，

将第一参数与第二参数进行比较，

如果第一参数大于第二参数，则在所述非人脸区域中抑制高光色阶；

如果第一参数小于第二参数，则在所述非人脸区域中提高暗部色阶；

如果第一参数与第二参数相当，则不对所述非人脸区域进行色阶修正。

2.根据权利要求1所述的图像处理方法，其中步骤(c)进一步包括如下步骤：

在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离；

如果所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域；

如果所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

3.根据权利要求1所述的图像处理方法，其中在上次检测到人脸区域且本次未检测到人脸区域的情况下，其中步骤(e)进一步包括：

从本次未检测到人脸区域的时间点开始计时；

如果在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域；

如果在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。

4.根据权利要求1所述的图像处理方法，其中步骤(b)进一步包括如下步骤：

对所述图像进行人脸识别；

如果所述图像满足第一预定条件，则对所述图像进行调整；

对调整后的图像再次进行人脸识别；

如果调整后的图像满足第二预定条件，则确定检测到人脸区域；

如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。

5.一种图像处理设备，包括：

成像单元，用于对目标物体进行成像；

人脸识别单元，用于每隔第一预定时段抽取一帧或多帧图像进行人脸识别；

第一修正单元，用于如果检测到人脸，则确定人脸区域，在人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用于所述图像的整个画面区域，

第二修正单元，用于对所述图像中的非人脸区域进行色阶修正；

其中所述第二修正单元包括：

参数获得单元，用于分别在人脸区域和整个画面区域内进行图像分析以获得第一参数、第二参数；

比较单元，用于将第一参数与第二参数进行比较，

调整单元，用于如果第一参数大于第二参数，则在所述非人脸区域中抑制高光色阶；如果第一参数小于第二参数，则在所述非人脸区域中提高暗部色阶；如果第一参数与第二参数相当，则不对所述非人脸区域进行色阶修正。

6.根据权利要求5所述的图像处理设备，其中第一修正单元包括：

距离计算单元，用于在确定人脸区域后，计算本次检测到的人脸区域与上次检测到的人脸区域之间的距离；

判断单元，用于判断所述距离是否大于预定值；

调整单元，用于如果所述判断单元判断出所述距离大于预定值，则在本次检测到的人脸区域内进行图像分析判断以获得多个参数，并将获得的多个参数应用所述图像的整个画面区域；如果所述判断单元判断出所述距离小于等于预定值，则将上次获得的多个参数应用于所述图像的整个画面区域。

7.根据权利要求5所述的图像处理设备，其中在上次检测到人脸区域且本次未检测到人脸区域的情况下，所述第一修正单元进一步包括：

计时单元，用于从本次未检测到人脸区域的时间点开始计时；

判断单元，用于判断从所述计时单元开始计时起的第二预定时段内是否检测到人脸区域；

调整单元，用于如果所述判断单元判断出在第二预定时段内检测到人脸区域，则将上次获得的多个参数应用于所述图像的整个画面区域；如果所述判断单元判断出在第二预定时段内仍未检测到人脸区域，则不对图像进行处理。

8.根据权利要求5所述的图像处理设备，其中所述人脸识别单元进一步包括：

初次识别单元，用于对所述图像进行人脸识别；

调整单元，用于如果所述图像满足第一预定条件，则对所述图像进行调整；

再次识别单元，用于对调整后的图像再次进行人脸识别；如果调整后的图像满足第二预定条件，则确定检测到人脸区域；如果调整后的图像不满足第二预定条件，则确定未检测到人脸区域。