CN104853087B - 一种点光源场景的识别和聚焦方法 - Google Patents

Abstract

本发明公开了一种点光源场景的识别和聚焦方法，通过比较当前图像亮度与聚焦过程中图像亮度的最小值，判断当前场景是否是疑似点光源场景，对于疑似点光源场景，基于区域亮度信息进行点光源场景确认；随后对于确定的点光源场景，移动聚焦透镜位置进行搜索，计算当前图像的区域亮度方差信息并判断当前图像的区域亮度方差的变化趋势，如果当前变化趋势为增加且变化值超过设定的阈值，则向原来移动方向的反方向搜索，如果当前变化趋势为减小，则继续原来移动方向搜索；直到满足搜索结束条件，将聚焦透镜的位置设置至最小区域亮度方差对应的位置，聚焦结束。本发明的方法能有效保证点光源场景下聚焦效果的稳定性和准确度。

Description

一种点光源场景的识别和聚焦方法

技术领域

本发明属于视频监控技术领域，尤其涉及点光源场景的识别和聚焦方法。

背景技术

在视频监控领域中，随着高清球机技术性能不断突破，以及高清机芯和球机成本的下降，高清高速球越来越得到市场的青睐。在市场关注高清高速球的众多功能当中，日夜不同场景的聚焦效果是一项重要的功能指标。但是当前普遍存在夜间特定场景聚焦效果不理想，其中点光源场景就是其中一种。在点光源场景下，传统的依赖图像清晰度评价和爬山搜索的自动聚焦算法，容易聚焦至疑似顶峰的伪波峰处，导致图像模糊严重。

基于数字图像处理的自动聚焦技术，通过清晰度评价函数获取图像清晰度评价值，并基于该值结合一些最大清晰度评价值搜索算法，例如常用的爬山式搜索算法，最终找到最大的清晰度评价值，即获取清晰的图像。通常一般的聚焦场景，随着聚焦透镜接近或者远离实际合焦点，图像清晰度也相应的单调增加或者减少，该场景的清晰度评价曲线呈现出较好的单峰性以及峰值两侧评价函数值单调递减，如图1所示，其中横轴表示聚焦透镜的位置，纵轴表示聚焦清晰度评价值。针对该场景的爬山搜索算法结合合适的搜索步长以及结束条件，可以快速的搜索到最佳的聚焦清晰点位置。

但是典型的点光源场景，相对图1提到的一般场景的单峰性而言，则会有较多的伪波峰出现，导致聚焦搜索算法陷入局部极值，导致失焦出现。该场景一般聚焦评价值如图2所示。或者一些点光源场景清晰度评价函数满足上述图1单峰性，但实际清晰点位置和图像清晰度最大值存在偏差；以上情况下，依赖聚焦评价值进行聚焦清晰点的搜索，容易搜索至局部极值或者导致聚焦效果反复抖动，影响聚焦效果的精确度和实时性。

因此如何保证点光源场景的聚焦稳定性，提高点光源场景的聚焦精确度，是视频监控技术领域的一个亟需解决的技术问题。

发明内容

本发明提供了一种点光源场景的识别和聚焦方法，用来避免现有技术依赖聚焦评价值进行聚焦清晰点的搜索，容易搜索至局部极值或者导致聚焦效果反复抖动，影响聚焦效果的精确度和实时性的技术问题。

为了实现上述目的，本发明技术方案如下：

一种点光源场景的识别和聚焦方法，包括如下步骤：

步骤1、更新记录聚焦过程中到更新时刻的图像亮度的最小值和当前图像亮度，比较当前图像亮度与聚焦过程中到更新时刻的图像亮度的最小值，如果它们的差值大于设定的第一阈值，则判断当前场景是疑似点光源场景；

步骤2、对于疑似点光源场景，将当前图像分为N*M个区域，基于各个区域的亮度信息进行点光源场景确认；

步骤3、对于确认的点光源场景，根据当前聚焦透镜的原来移动方向以及移动步长，按照该移动方向和移动步长设置聚焦透镜位置，计算当前图像的区域亮度方差信息；

步骤4、判断当前图像的区域亮度方差的变化趋势，如果当前变化趋势为增加且变化值超过设定的阈值，则向原来移动方向的反方向搜索，如果当前变化趋势为减小，则继续原来移动方向搜索；

步骤5、判断是否满足搜索结束条件，如果是则退出搜索，将聚焦透镜的位置设置至最小区域亮度方差对应的位置，否则根据步骤4决定的搜索方向设置聚焦透镜的位置，计算当前图像的区域亮度方差信息后返回步骤4。

进一步地，所述步骤3之前还包括步骤：

关闭曝光；

那么在步骤5中判断是否满足搜索结束条件，如果是则退出搜索，将聚焦透镜的位置设置至最小区域亮度方差对应的位置后，恢复曝光。

在点光源场景聚焦过程中关闭曝光，能够提高聚焦灵敏度。

本发明所述步骤4之后，还包括步骤：

基于当前图像进行点光源场景确认，如果是点光源场景，则进入步骤5，否则退出点光源场景的聚焦。通过再次进行点光源场景的确认，能有效地消除误判。

本发明所述进行点光源场景确认，有以下三种实施方式：

实施方式一、根据设定的疑似光源区域个数n，从N*M个区域中按照亮度从大到小顺序选择n个疑似点光源区域，计算任一疑似点光源区域除以周围区域的亮度比值，如果存在两个以上的区域比值大于设定的相邻区域亮度比阈值，则认为该疑似点光源区域为点光源区域，并判定当前场景为点光源场景。

实施方式二、判断当前图像的中是否同时存在高亮区域和低亮区域，如果存在则判定当前场景为点光源场景，所述高亮区域的亮度大于高亮区域阈值，所述低亮区域的亮度小于低亮区域阈值。

实施方式三、将当前图像的N*M个区域中最亮区域除以所有区域的亮度得到的亮度比值按照既定的标准分为高亮度比、中亮度比以及低亮度比；统计每个类别下的区域个数，如果高亮度比区域个数存在且低亮度比区域个数小于a，判定当前场景为点光源场景；或如果高亮度比区域个数不存在且低亮度区域个数大于b，判定当前场景为点光源场景；或如果中亮度比区域个数大于c且低亮度比区域个数小于a，判定当前场景为点光源场景，其中a、b、c为设定的阈值。

本发明将当前图像分为N*M个区域，其中所述N为5，所述M为8。划分的区域数量越大，则计算越复杂，计算量越大；而如果划分的区域数量越小，则区域亮度变化不明显，不容易识别出点光源。

本发明所述判断当前图像的区域亮度方差的变化趋势，包括步骤：

记录每一次聚焦透镜移动位置的图像区域亮度方差；

比较当前聚焦透镜位置与前两次位置对应的图像的区域亮度方差，如果连续减少则变化趋势为减少，如果连续增加则变化趋势为增加。

本发明所述搜索结束条件为出现过反向搜索并当前方差变化趋势上升明显或者方差变化趋势已出现明显下降且当前明显上升。

本发明提出的一种点光源场景的识别和聚焦方法，基于点光源场景的相关特性，提出在聚焦算法中增加点光源场景识别和基于区域亮度方差最小的聚焦搜索，保证聚焦效果的稳定性和准确度。

附图说明

图1为现有技术一般场景的清晰度评价曲线；

图2为现有技术点光源场景的清晰度评价曲线；

图3为点光源场景基于区域亮度信息函数的变化趋势曲线；

图4为点光源场景区域分割示意图；

图5为本发明聚焦过程流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例一种点光源场景的自动聚焦方法首先要进行点光源场景识别，而点光源场景的识别包括两个过程：疑似点光源场景侦测和点光源场景确认，以下分别对这两个过程进行说明。

过程一、疑似点光源场景侦测。

通过大量实验数据收集和分析，点光源聚焦过程中存在如下场景特性：随着聚焦透镜远离合焦点位置，图像逐渐模糊，点光源光斑弥散增加，导致图像整体亮度明显增加。如图3所示的光源场景基于区域亮度信息函数的变化趋势曲线可知，聚焦透镜偏离合焦点位置时的图像亮度明显大于处于合焦点位置(图像最清晰)的图像亮度。

本实施例主要基于以上特性来进行疑似点光源场景侦测，包括如下步骤：

步骤S1、更新记录聚焦过程中图像亮度的最小值MinLuma和当前亮度CurLuma。

聚焦开始，需要确认当前聚焦透镜的移动方向以及移动步长，然后按照此方向和步长依次设置聚焦透镜位置，随后获取各位置的图像亮度信息。并根据获取的各位置的图像亮度信息实时或周期性地更新聚焦过程中到更新时刻的图像亮度的最小值MinLuma和当前亮度CurLuma。

步骤S2、比较当前亮度与亮度的最小值，如果它们的差值大于设定的阈值，则判断当前场景是疑似点光源场景。

夜间普通场景聚焦过程中，随着聚焦电机远离或者接近实际聚焦清晰点位置，整体图像曝光亮度值无明显大幅度变化，但包含点光源的场景则光源的模糊或清晰，亮度出现较大幅度变化，针对这一变化进行疑似点光源场景侦测，当亮度变化超过一定阈值认为是疑似点光源场景。

具体判断为实时更新记录聚焦过程中图像整体曝光亮度值的最小值MinLuma和当前亮度CurLuma，当CurLuma–MinLuma>ThresholLuma，则判断为疑似点光源场景。

在判断为疑似点光源场景后，需要进行点光源场景确认。之所以需要确认是由于图像亮度变化受夜间动光源或本身较亮场景干扰，会存在亮度信息变化满足阈值的非点光源场景。

过程二、点光源场景确认。

本实施例点光源场景确认主要基于区域分割的形式将图像分为N*M个区块，如图4所示，并通过各区块的亮度信息以及相关判断阈值进行比较，检测是否存在点光源区域来判断是否确认是点光源场景。本实施例选用5*8个区块的划分方式是因为划分的区域数量越大，则计算越复杂，计算量越大；而如果划分的区域数量越小，则区域亮度变化不明显，不容易识别出点光源，一般区域数量为35-45比较合适。

下面通过三个实施例分别说明点光源场景确认的具体实施方式：

实施例一、获取各个区域的亮度信息，根据设定的疑似光源区域个数n，从N*M个区域中按照亮度从大到小顺序选择n个疑似点光源区域，计算任一疑似点光源区域与周围区域的亮度比值(疑似点光源区域比周围区域)，如果存在两个以上的区域比值大于设定的相邻区域亮度比阈值，则认为该疑似点光源区域为点光源区域，并判定当前场景为点光源场景。

需要说明的是，本实施例中计算关于两个参数的比值，是指前者比后者，并将该比值与设定的阈值进行比较，根据比较结果来进行判断。如果采用后者比前者，也可以相应地设置阈值，根据比较结果来进行判断，带来的技术效果一样，属于相同的技术手段，以下不再赘述。

假设设定的疑似点光源场景有两个区域存在光源，则根据各个区域的亮度信息找到最亮区域和次亮区域作为疑似点光源区域。假设坐标(4，3)标记区域为一疑似点光源区域，且其与周边区域的亮度比值分别为Contrast_up、Contrast_down、Contrast_left、Contrast_right，若存在两个以上的区域比值大于设定的相邻区域亮度比阈值ContrastThreshold时，则认为该区域为点光源区域，并判断当前场景是点光源场景。

实施例二、判断当前图像的中是否同时存在高亮区域和低亮区域，如果存在则判定当前场景为点光源场景。

针对5*8个区域进行简单亮度阈值判断，若即存在高亮区域(区域亮度大于高亮区域阈值HighLumaThreshold)和低亮区域(区域亮度小于低亮区域阈值LowLumaThreshold)，则认为当前场景是一种典型的点光源场景。

实施例三、将当前图像的N*M个区域中最亮区域与所有区域的亮度比值按照既定的标准分为高亮度比、中亮度比以及低亮度比，统计每个类别下的区域个数，如果高亮度比区域个数存在且低亮度比区域个数小于a，判定当前场景为点光源场景；或如果高亮度比区域个数不存在且低亮度区域个数大于b，判定当前场景为点光源场景；或如果中亮度比区域个数大于c且低亮度比区域个数小于a，判定当前场景为点光源场景，其中a、b、c为设定的阈值。

其中将当前图像的N*M个区域中最亮区域与所有区域的亮度比值按照既定的标准分为高亮度比、中亮度比以及低亮度比，如果是最亮区域为分子，则比值大即为高亮度比，相反如果最亮区域为分母，则比值小为高亮度比。本实施例中利用最高亮度区域和当前图像5*8个区域亮度的比值信息进行识别，通过统计40个区域的比值信息进行当前场景的识别。具体为将最亮区域与40个区域的亮度比值按照既定的标准分为三类：高亮度比、中亮度比以及低亮度比。例如最亮区域为分子，比值大于8的为高亮度比，比值在2-8之间的为中亮度比，小于2的为低亮度比。然后根据统计得到每个类别下的区域个数，判别当前场景是否是点光源场景：

若高亮度比区域个数存在，且低亮度比区域个数小于4，为点光源场景；这种情况下存在特别亮的区域，且与最亮区域差不多亮度的区域较少，认为是点光源场景。

若高亮度比区域个数不存在，且低亮度比区域个数大于28，为点光源场景；这种情况下不存在特别亮的区域，且与最亮区域差不多亮度的区域较多，例如存在较多的小点光源，也认为是点光源场景。

若中亮度比区域个数大于15，且低亮度比区域个数小于4，为点光源场景；这种情况下与最亮区域差不多亮度的区域存在，且其他区域相对最亮区域都较暗，也认为是点光源场景。

值得注意的是，实施例一和实施例二的方法针对典型点光源场景有较好的识别，但是针对夜间整体较暗且点光源区域较小，或者多小点光源场景，采用实施例三的识别方法识别效果更好。本发明不限于采用哪种确认点光源的方法，特殊地，还可以同时采用两种方法来进行点光源确认。而高亮区域阈值HighLumaThreshold、低亮区域阈值LowLumaThreshold以及相邻区域亮度比阈值ContrastThreshold的确定决定了点光源场景识别的灵敏度。

针对确定的点光源场景，已有的清晰度评价函数已失效，进而也无法基于此通过爬山搜索算法进行自动聚焦。但针对点光源场景而言，图像越清晰整体亮度信息越低，由于整体图像亮度信息在清晰点附件变化趋势较平坦，基于此作为图像评价指标会导致聚焦精度不够，仍会概率出现聚焦一定程度模糊。而基于N*M个区域的亮度信息方差相对区域亮度信息之和，更能灵敏的与图像清晰与否相匹配。

本实施例点光源场景的聚焦方法，在识别确认当前场景是点光源场景后，针对已识别的典型点光源场景进行已有区域亮度方差最小的自动聚焦搜索，流程如图5所示：

1、确认当前聚焦透镜的原来移动方向以及移动步长，然后按照该原来移动方向和移动步长设置聚焦透镜位置，计算当前图像的区域亮度方差信息。

在聚焦开始后，需要确认当前聚焦透镜的原来移动方向以及移动步长，然后按照此原来移动方向和步长依次设置聚焦透镜位置，随后需要获取当前位置的图像统计信息，本文主要是计算当前图像的区域亮度方差信息。

2、判断当前图像的区域亮度方差的变化趋势，如果当前变化趋势为增加且变化值超过设定的阈值，则向原来移动方向的反方向搜索，如果当前变化趋势为减小，则继续原来移动方向搜索。

对当前图像的区域亮度方差的变化趋势进行判断，图像的区域亮度方差的变化趋势与图5的图像亮度变化趋势相近似。记录每一次聚焦透镜移动位置的图像区域亮度方差；比较当前聚焦透镜位置与前两次位置对应的图像的区域亮度方差，如果连续减少则变化趋势为减少，如果连续增加则变化趋势为增加。因此通过比较当前聚焦透镜位置与前两次的位置对应的图像的区域亮度方差，就可以知道当前图像的区域亮度方差是趋于减少还是趋于增加，变化趋势为增加且变化值超过一定阈值，则认为当前搜索方向在远离合焦点，需反向搜索，若当前变化趋势在减小则说明当前搜索方向在接近合焦点，继续该方向移动。其中变化值是区域亮度方差与前两次位置的差值，可以跟前两次的任意一次来进行比对求变化值，只要设置合适的阈值就可以进行判断，本发明对此不做具体的限制。

本实施例中向某一个方向搜索，是指将聚焦透镜向该方向依次移动固定步长，每移动一次进行一次图像区域亮度方差的计算和变化趋势的判断。

3、基于当前图像进行点光源场景确认，如果是点光源场景，则进入下一步，否则退出点光源场景的聚焦。

由于前期的点光源场景识别有可能是针对不同模糊程度的点光源或非点光源场景，一定模糊程度的非点光源场景存在误判为点光源场景的可能，但随着图像的清晰该误判会不存在，因此在点光源聚焦过程中仍需进行点光源场景确认，若判断为非点光源场景则结束点光源场景聚焦，进行原有清晰度评价标准的爬山搜索算法，如果是点光源场景则继续下一步。

例如在夜间有车辆在行进过程中进入场景，那么车灯这类的动光源就会造成干扰，存在误判的可能，需要通过再次的点光源确认来消除误判。

4、判断是否满足搜索结束条件，如果是则退出搜索，将聚焦透镜的位置设置至最小区域亮度方差对应的位置，否则根据步骤2决定的搜索方向设置聚焦透镜的位置，计算当前图像的区域亮度方差信息后返回步骤2。

判断当前状态是否满足搜索结束条件，搜索结束的条件为出现过反向搜索并当前方差变化趋势上升明显或者方差变化趋势已出现明显下降且当前明显上升，结束搜索后将聚焦透镜的位置设置至最小区域方差对应的位置，即图像清晰点位置，进行曝光成像。

本实施例中方差变化趋势上升明显或下降明显，可以根据连续增加或减少的次数来判断是否是连续下降或连续上升，如果连续几次都是上升或下降则是该方向的变化趋势明显。或者根据变化趋势的增加或减少超过一定的阈值，来判断是否是变化趋势明显。

进一步地，在聚焦开始后，还需要先关闭曝光，在判断搜索结束后再打开曝光。在聚焦过程中之所以需要关闭曝光，是因为点光源场景聚焦过程中亮度变化趋势较明显，自动曝光算法会侦测到此变化，图像变亮时会通过AE算法降低其亮度，该结果会影响到我们依赖的区域亮度信息，使其变化趋势趋于平坦，影响最终聚焦灵敏度。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种点光源场景的识别和聚焦方法，其特征在于，包括如下步骤：

步骤1、更新记录聚焦过程中到更新时刻的图像亮度的最小值和当前图像亮度，比较当前图像亮度与聚焦过程中到更新时刻的图像亮度的最小值，如果它们的差值大于设定的第一阈值，则判断当前场景是疑似点光源场景；

步骤2、对于疑似点光源场景，将当前图像分为N*M个区域，基于各个区域的亮度信息进行点光源场景确认；

步骤3、对于确认的点光源场景，根据当前聚焦透镜的原来移动方向以及移动步长，按照该移动方向和移动步长设置聚焦透镜位置，计算当前图像的区域亮度方差信息；

步骤4、判断当前图像的区域亮度方差的变化趋势，如果当前变化趋势为增加且变化值超过设定的阈值，则向原来移动方向的反方向搜索，如果当前变化趋势为减小，则继续原来移动方向搜索；

步骤5、判断是否满足搜索结束条件，如果是则退出搜索，将聚焦透镜的位置设置至最小区域亮度方差对应的位置，否则根据步骤4决定的搜索方向设置聚焦透镜的位置，计算当前图像的区域亮度方差信息后返回步骤4。

2.根据权利要求1所述的点光源场景的识别和聚焦方法，其特征在于，所述步骤3之前还包括步骤：关闭曝光；

并在步骤5中判断是否满足搜索结束条件，如果是则退出搜索，将聚焦透镜的位置设置至最小区域亮度方差对应的位置后，恢复曝光。

3.根据权利要求1所述的点光源场景的识别和聚焦方法，其特征在于，所述步骤4之后，还包括步骤：

基于当前图像进行点光源场景确认，如果是点光源场景，则进入步骤5，否则退出点光源场景的聚焦。

4.根据权利要求1或3所述的点光源场景的识别和聚焦方法，其特征在于，所述进行点光源场景确认，包括步骤：

根据设定的疑似光源区域个数n，从N*M个区域中按照亮度从大到小顺序选择n个疑似点光源区域，计算任一疑似点光源区域除以周围区域的亮度比值，如果存在两个以上的区域比值大于设定的相邻区域亮度比阈值，则认为该疑似点光源区域为点光源区域，并判定当前场景为点光源场景。

5.根据权利要求1或3所述的点光源场景的识别和聚焦方法，其特征在于，所述进行点光源场景确认，包括步骤：

判断当前图像的中是否同时存在高亮区域和低亮区域，如果存在则判定当前场景为点光源场景，所述高亮区域的亮度大于高亮区域阈值，所述低亮区域的亮度小于低亮区域阈值。

6.根据权利要求1或3所述的点光源场景的识别和聚焦方法，其特征在于，所述进行点光源场景确认，包括步骤：

将当前图像的N*M个区域中最亮区域除以所有区域的亮度得到的亮度比值按照既定的标准分为高亮度比、中亮度比以及低亮度比；

统计每个类别下的区域个数，如果高亮度比区域个数存在且低亮度比区域个数小于a，判定当前场景为点光源场景；或如果高亮度比区域个数不存在且低亮度区域个数大于b，判定当前场景为点光源场景；或如果中亮度比区域个数大于c且低亮度比区域个数小于a，判定当前场景为点光源场景，其中a、b、c为设定的阈值。

7.根据权利要求1所述的点光源场景的识别和聚焦方法，其特征在于，所述N为5，所述M为8。

8.根据权利要求1所述的点光源场景的识别和聚焦方法，其特征在于，所述判断当前图像的区域亮度方差的变化趋势，包括步骤：

记录每一次聚焦透镜移动位置的图像区域亮度方差；

比较当前聚焦透镜位置与前两次位置对应的图像的区域亮度方差，如果连续减少则变化趋势为减少，如果连续增加则变化趋势为增加。

9.根据权利要求1所述的点光源场景的识别和聚焦方法，其特征在于，所述搜索结束条件为出现过反向搜索并当前方差变化趋势上升明显或者方差变化趋势已出现明显下降且当前明显上升。