CN105141849A

CN105141849A - 一种提高夜视聚焦统计信息准确度的方法及系统

Info

Publication number: CN105141849A
Application number: CN201510603540.3A
Authority: CN
Inventors: 孙英良
Original assignee: JOVISION TECHNOLOGY Co Ltd
Current assignee: Zhongwei Shandong Software Co ltd
Priority date: 2015-09-21
Filing date: 2015-09-21
Publication date: 2015-12-09
Anticipated expiration: 2035-09-21
Also published as: CN105141849B

Abstract

一种提高夜视聚焦统计信息准确度的方法及系统，方法包括步骤：图像采集，采集的外界图像为RAW格式图像；RAW2RGB转换，将RAW格式图像转化为RGB格式图像；RGB2YUV转换，将RGB格式图像转化为色差YUV格式图像；分段增益处理，衰减YUV格式图像的灰度信号中的噪声和点光源高亮部分，增大YUV格式图像灰度信号中的人眼感兴趣亮度区间的增益；AF统计，基于YUV格式图像中的灰度信号计算每一帧图像的边沿统计信息；聚焦控制，根据统计信息控制镜头寻找合焦点。本发明通过分段增益预处理来降低噪声和点光源对AF统计信息的干扰，并通过和AF统计算法进行强强联合，提升了AF统计信息的准确度和夜视聚焦的成功率。

Description

一种提高夜视聚焦统计信息准确度的方法及系统

技术领域

本发明涉及一种提高夜视聚焦的方法及系统，具体地说是一种提高夜视聚焦统计信息准确度的方法及系统，属于图像处理技术领域。

背景技术

随着经济水平的发展和我国安防市场的需求的扩大，高速球机和变焦云台机近年得到了极大的推广。作为核心模块的变焦一体化摄像机，发展也很迅速，其核心技术就是自动聚焦(AF)。

自动聚焦技术由AF统计算法和焦点搜索算法两大功能组成。AF统计算法可使用公开已知的Sobel、Roberts、Prewitt等算子对一副图像做HPF滤波得到图像边沿统计信息。焦点搜索由已知爬山算法等根据AF统计模块提供的统计值找到极大值点，即合焦点。自动聚焦的成功率主要依赖于AF统计信息的准确性。

目前国内市场上一体化摄像机夜视聚焦效果参差不齐，厂商由于受到所使用上游ISP芯片的限制，很难做进一步的改进，所以大部分产品在夜晚低照度和点光源的环境下由于AF统计信息不准确极易受干扰而导致合焦失败。

目前的大多数的AF统计算法在夜晚，都容易受到噪声和点光源的影响，可能导致AF统计信息不准确，个别复杂一些的算法对噪声抑制较好，但是占用较多的系统资源。因此，现有夜视聚焦AF统计信息的准确度有待进一步提升。

发明内容

针对上述不足，本发明提供了一种提高夜视聚焦统计信息准确度的方法及系统，其能够辅助AF统计算法来降低噪声和点光源对AF统计的干扰，进一步提升AF统计信息的准确度。

本发明解决其技术问题采取的技术方案是：一种提高夜视聚焦统计信息准确度的方法，其特征是，包括以下步骤：

图像采集，采集的外界图像为RAW格式图像；

RAW2RGB转换，将RAW格式图像转化为RGB格式图像；

RGB2YUV转换，将RGB格式图像转化为色差YUV格式图像；

分段增益处理，衰减YUV格式图像的灰度信号中的噪声和点光源高亮部分，增大YUV格式图像灰度信号中的人眼感兴趣亮度区间的增益；

AF统计，基于YUV格式图像中的灰度信号计算每一帧图像的边沿统计信息；

聚焦控制，根据统计信息控制镜头寻找合焦点。

进一步地，所述YUV格式图像预处理的过程包括以下步骤：

从YUV格式图像中提取图像灰度信号；

建立直角坐标系，X轴表示处理前的图像灰度信号Yi，Y轴表示处理后的图像灰度信号Yo，其中，Yi∈[0,255]，Yo∈[0,255]；

对图像进行区域划分处理，在X轴上设置多个点将图像划分为三个以上区域，图像的两端区域分别为图像噪声较多亮度区间和点光源高亮区间，其余的中间区域为人眼感兴趣的图像亮度区间；

对图像噪声较多的亮度区间和点光源高亮区间分别进行衰减处理，对人眼感兴趣的图像亮度区间进行放大处理。

进一步地，在X轴上设置Yi1、Yi2和Yi3三个点将图像划分为(0-Yi1)、(Yi1-Yi2)、(Yi2-Yi3)和(Yi3-255)四个区域，(0-Yi1)为图像噪声较多的亮度区间，(Yi3-255)为点光源高亮区间；(Yi1-Yi2)和(Yi2-Yi3)为人眼感兴趣的图像亮度区间，Yo1、Yo2、Yo3和Yo4分别为Yi1、Yi2、Yi和255对应的输出值；

分段增益处理曲线的关系式为：

Yo = \{\begin{matrix} \begin{matrix} (Yo 1 / Yi 1) \times Yi & if & 0 \leq Yi \leq Yi 1 \\ Yo 1 + (Yo 2 - Yo 1) / (Yi 2 - Yi 1) \times Yi & if & Yi 1 < Yi \leq Yi 2 \\ Yo 2 + (Yo 3 - Yo 2) / (Yi 3 - Yi 2) \times Yi & if & Yi 2 < Yi \leq Yi 3 \\ Yo 3 + (Yo 4 - Yo 3) / (255 - Yi 3) \times Yi & if & Yi 3 < Yi \leq 255 \end{matrix} & Yi &Element; [0,255] \end{matrix}

当Yo＝Yi时，分段增益处理曲线的斜率为1，即增益为1，表示没有对图像进行处理；

在(0-Yi1)区域，输出的图像灰度信号Yo＝(Yo1/Yi1)×Yi，通过设置(Yo1/Yi1)<1来对图像噪声较多的亮度区间的数据按照比例(Yo1/Yi1)进行衰减；

在(Yi1-Yi2)区域，Yo＝Yo1+(Yo2-Yo1)/(Yi2-Yi1)×Y，通过设置(Yo2-Yo1)/(Yi2-Yi1)＞1来对该人眼感兴趣的亮度区间的数据按照(Yo2-Yo1)/(Yi2-Yi1)比例进行放大；

在(Yi2-Yi3)区域，Yo＝Yo2+(Yo3-Yo2)/(Yi3-Yi2)×Yi，通过设置(Yo3-Yo2)/(Yi3-Yi2)＞1来对该人眼感兴趣的亮度区间的数据按照(Yo3-Yo2)/(Yi3-Yi2)比例进行放大；

在(Yi3-255)区域，Yo＝Yo3+(Yo4-Yo3)/(255-Yi3)×Yi，通过设置(Yo4-Yo3)/(255-Yi3)<1来对点光源高亮区间的数据按照(Yo4-Yo3)/(255-Yi3)比例进行衰减。

进一步地，所述聚焦控制的过程为通过镜头变倍调节驱动模块根据统计信息来控制镜头寻找合焦点。

本发明还提供了一种提高夜视聚焦统计信息准确度的系统，其特征是，包括：

图像采集模块，用以采集RAW格式的外界图像；

RAW2RGB转换模块，用以将RAW格式图像转化为RGB格式图像；

RGB2YUV转换模块，用以将RGB格式图像转化为色差YUV格式图像；

分段增益处理模块，用以对YUV格式图像的灰度信号中的噪声和点光源高亮部分进行衰减，对YUV格式图像灰度信号中的人眼感兴趣亮度区间增大的增益；

AF统计模块，用以基于YUV格式图像中的灰度信号计算每一帧图像的边沿统计信息；

聚焦控制模块，用以根据统计信息控制镜头寻找合焦点。

进一步地，所述分段增益处理模块包括灰度信号提取模块、直角坐标系建立模块、图像区域划分模块、图像衰减处理模块和图像放大处理模块，

所述灰度信号提取模块用以从YUV格式图像中提取图像灰度信号；

所述直角坐标系建立模块用以建立直角坐标系，X轴表示处理前的图像灰度信号Yi，Y轴表示处理后的图像灰度信号Yo，其中，Yi∈[0,255]，Yo∈[0,255]；

所述图像区域划分模块用以对图像进行区域划分处理，在X轴上设置多个点将图像划分为三个以上区域，图像的两端区域分别为图像噪声较多亮度区间和点光源高亮区间，其余的中间区域为人眼感兴趣的图像亮度区间；

所述图像衰减处理模块所述用以对图像噪声较多的亮度区间和点光源高亮区间分别进行衰减处理；

所述图像放大处理模块对人眼感兴趣的图像亮度区间进行放大处理。

进一步地，所述图像区域划分模块在X轴上设置两个点，将图像划分为图像噪声较多亮度区间、人眼感兴趣的图像亮度区间和点光源高亮区间三个区域。

进一步地，所述图像区域划分模块在X轴上设置三个点，将图像划分为图像噪声较多亮度区间、第一人眼感兴趣的图像亮度区间、第二人眼感兴趣的图像亮度区间和点光源高亮区间四个区域。

进一步地，本发明所述的一种提高夜视聚焦统计信息准确度的系统还包括镜头变倍调节驱动模块，所述镜头变倍调节驱动模块用以根据聚焦控制模块来控制镜头寻找合焦点。

本发明的有益效果是：

本发明首先通过对采集的原始图像进行数据格式转换处理为YUV格式图像，得出亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)，然后对灰度信号进行分段增益处理，衰减输入图像的灰度信号中的噪声和点光源高亮部分，增大人眼感兴趣亮度区间的增益，进而降低噪声和点光源对AF统计信息的干扰，提高了AF统计值的准确度，提升了夜视聚焦的成功率。

本发明通过对灰度信号进行区域划分处理，在噪声较多的区间和点光源高亮区间进行衰减处理，使噪声较多的区间权重降低从而来降低噪点的影响，通过衰减点光源及其周边区域的图像数据来降低点光源对下一级AF统计模块的影响；在人眼感兴趣亮度适中的区间进行放大处理，在下一级AF统计模块进行边沿信息统计时使人眼感兴趣的(Yi1-Yi2)(Yi2-Yi3)亮度范围的图像区域权重随之增大，从而抑制噪声和点光源图像灰度数据来降低噪声和点光源对AF统计信息的干扰，使AF统计算法可以采用任意的边沿提取算法。

本发明通过对图像进行分段增益预处理，来辅助AF统计算法来降低噪声和点光源对AF统计信息的干扰，通过和AF统计算法进行强强联合，使AF统计算法可以采用任意的边沿提取算法，达到了提升AF统计信息准确度的效果，提升了夜视聚焦的成功率。

附图说明

下面结合说明书附图对本发明进行说明。

图1为本发明的方法流程图；

图2为本发明的系统结构示意图；

图3为未进行分段增益处理时的输入输出增益曲线示意图；

图4为对图像中灰度信号进行分段增益的分段增益曲线；

图5为进行分段增益处理后输入输出增益曲线示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，本发明的一种提高夜视聚焦统计信息准确度的方法，它包括以下步骤：

图像采集，采集的外界图像为RAW格式图像；

RAW2RGB转换，将RAW格式图像转化为RGB格式图像；

RGB2YUV转换，将RGB格式图像转化为色差YUV格式图像；

聚焦控制，根据统计信息控制镜头寻找合焦点。

进一步地，所述YUV格式图像预处理的过程包括以下步骤：

从YUV格式图像中提取图像灰度信号；

分段增益处理曲线的关系式为：

Yo = \{\begin{matrix} \begin{matrix} (Yo 1 / Yi 1) \times Yi & if & 0 \leq Yi \leq Yi 1 \\ Yo 1 + (Yo 2 - Yo 1) / (Yi 2 - Yi 1) \times Yi & if & Yi 1 < Yi \leq Yi 2 \\ Yo 2 + (Yo 3 - Yo 2) / (Yi 3 - Yi 2) \times Yi & if & Yi 2 < Yi \leq Yi 3 \\ Yo 3 + (Yo 4 - Yo 3) / (255 - Yi 3) \times Yi & if & Yi 3 < Yi \leq 255 \end{matrix} & Yi &Element; [0,255] \end{matrix}

如图2所示，本发明的一种提高夜视聚焦统计信息准确度的系统，它包括：

图像采集模块，用以采集RAW格式的外界图像；

RAW2RGB转换模块，用以将RAW格式图像转化为RGB格式图像；

RGB2YUV转换模块，用以将RGB格式图像转化为色差YUV格式图像；

聚焦控制模块，用以根据统计信息控制镜头寻找合焦点。

如图3、图4和图5所示，以在X轴上设置三个点将图像划分为四个区域为例来详细说明对YUV灰度信号图像进行分段增益处理的过程。

夜晚，图像采集模块所采集到的一帧图像可能存在的信息按照亮度分类有：照度很暗区域、照度适中区域和点光源高亮部分。在视频图像上照度很暗区域像素的灰度值由于红外补光不足噪声较多，有很多幅度较大的噪点跃动，这部分数据若纳入后端AF统计计算，无疑会增大AF统计值随机跃动的幅度，因此这部分灰度数据Yi引起的AF统计值跃动最好能得到抑制。点光源一般都有一个特点，亮度很大，同时合焦过程中点光源在影像上会发散，进而影响AF统计值不准确，并导致合焦失败率提升。所以满足点光源特性的灰度数据Yi最好也能得到抑制。

在X轴上设置Yi1、Yi2和Yi3三个点将图像划分为(0-Yi1)、(Yi1-Yi2)、(Yi2-Yi3)和(Yi3-255)四个区域，(0-Yi1)为图像噪声较多的亮度区间，(Yi1-Yi2)为第一人眼感兴趣的图像亮度区间，(Yi2-Yi3)为第二人眼感兴趣的图像亮度区间，(Yi3-255)为点光源高亮区间；Yo1、Yo2、Yo3和Yo4分别为Yi1、Yi2、Yi和255对应的输出值。

如图3所示,图中为分段增益处理模块被旁路不起作用时的输入输出增益曲线。X轴为分段增益处理模块的输入灰度信号Yi；Y轴为经过预处理输出的灰度信号Yo。Yi和Yo的取值范围都在0-255之间。当分段增益处理模块不存在或着被旁路不起作用时，分段增益处理模块的输入输出数据关系是：Yo＝Yi。设定：输入数据0—Yi1为图像噪声较多的亮度区间；输入数据Yi3—255为点光源高亮区间；Yi1—Yi3为人眼感兴趣的图像亮度区间；Yo1、Yo2、Yo3、Yo4、是对应Yi1、Yi2、Yi3、255的输出值；其中Yi1＝Yo1，Yi2＝Yo2，Yi3＝Yo3，Yo4＝255。

如图4所示，(0-Yi1)为第一段；(Yi1-Yi2)为第二段；(Yi2-Yi3)为第三段；(Yi3-255)为第四段。每一段增益控制曲线会对应一个一阶多项式。为了得到每一段曲线对应的一阶多项式，需要进行标定(Yi,Yo)坐标系上的4组参数：(Yi1,Yo1)(Yi2,Yo2),(Yi3,Yo3)，(255,Yo4)。(0,0)固定为坐标原点，不需要设置。需要说明的是，为了增加算法的灵活性，(Yi1,Yo1)(Yi2,Yo2),(Yi3,Yo3)，(255,Yo4)参数的标定并非固定，但必须是在0-255范围之内。

通过一阶多项式的拟合算法，本发明基于(0,0)，(Yi1,Yo1)，(Yi2,Yo2),(Yi3,Yo3),(255,Yo4)拟合出输入信号Yi和输出信号Yo的数学关系式如下：

Yo = \{\begin{matrix} \begin{matrix} (Yo 1 / Yi 1) \times Yi & if & 0 \leq Yi \leq Yi 1 \\ Yo 1 + (Yo 2 - Yo 1) / (Yi 2 - Yi 1) \times Yi & if & Yi 1 < Yi \leq Yi 2 \\ Yo 2 + (Yo 3 - Yo 2) / (Yi 3 - Yi 2) \times Yi & if & Yi 2 < Yi \leq Yi 3 \\ Yo 3 + (Yo 4 - Yo 3) / (255 - Yi 3) \times Yi & if & Yi 3 < Yi \leq 255 \end{matrix} & Yi &Element; [0,255] \end{matrix}

根据数学关系式拟合的分段增益处理曲线如图4所示。当Yi1＝Yo1、Yi2＝Yo2、Yi3＝Yo3时，输入分段增益处理曲线上灰度数据Yi和输出信号Yo的曲线斜率为1，即增益为1，此时输出信号Yo＝Yi，分段增益处理模块被完全旁路掉，不对AF统计模块的输出结果产生任何的影响，此时曲线形状会变成如图3所示的形式。

如图4所示，设置Yi1为一副图像上灰度数据噪点活跃的临界值，设置Yo1满足条件(Yo1/Yi1)＜1，当输入信号满足条件0￡Yi￡Yi1时输出灰度信号：Yo＝(Yo1/Yi1)×Yi。因此黑暗环境噪点活跃区的数据都将按照比例(Yo1/Yi1)得到衰减。进而在下一级AF统计模块进行边沿信息统计时，满足(0-Yi1)亮度范围的图像区域权重降低，噪点的影响也随之降低。

如图4所示，分段增益处理曲线上的第二个分段(Yi1-Yi2)和第三分段(Yi2-Yi3)为第一人眼感兴趣的亮度区间和第二人眼感兴趣的亮度区间，这两个区间之内的图像亮度不会像点光源一样太亮，也不会太暗存在太多的噪点。设置曲线上第二个分段的斜率(Yo2-Yo1)/(Yi2-Yi1)＞1；设置第三个分段的斜率(Yo3-Yo2)/(Yi3-Yi2)＞1。第二个分段和第三分段的输出数据在此获得的增益大于1。因此，在下一级AF统计模块进行边沿信息统计时，人眼感兴趣的(Yi1-Yi2)(Yi2-Yi3)亮度范围的图像区域权重随之增大。

如图4所示，，夜间的点光源位于第四段(Yi3-255)，一般在图像上属于高亮区域，设置(Yi3,Yo3)、(255，Yo4)的参数，使(Yo4-Yo3)/(255-Yi3)<1。通过对点光源高亮区域小于1的增益，衰减点光源及其周边区域的图像数据，以此可以降低点光源对下一级AF统计模块的影响。

如图5所示，在噪声较多的(0-Yi1)区间和点光源高亮区间(Yi3-255)使的Yo<Yi衰减；在人眼感兴趣亮度适中的两个区间(Yi2,Yo2),(Yi3,Yo3)使的Yo>Yi放大。通过对各个区间进行衰减或增益处理，并按照贝塞尔曲线平滑之后的输入输出增益曲线如图5所示。

在0-255范围内，图5形式的输入输出增益曲线非常平滑，这样预处理后的图像亮度变化也会非常平滑。这是一种非常理想的方式，但要实现如此平滑的曲线，在芯片ASIC设计上会消耗大量的逻辑资源，因此实现起来会非常困难。为了解决这个问题，本发明按照输入灰度信号的幅值将输入信号分成四段来进行来进行曲线拟合。通过四个一阶多项式拟合四段曲线，进而实现分段增益处理。

本发明在通用ISP图像处理流水线中的AF统计模块之前插入一级分段增益处理的图像预处理模块(分段增益处理模块)，衰减输入图像的灰度信号中的噪声和点光源高亮部分，增大人眼感兴趣亮度区间的增益，进而降低噪声和点光源对AF统计信息的干扰，从而来实现对YUV灰度信号的图像预处理。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims

1.一种提高夜视聚焦统计信息准确度的方法，其特征是，包括以下步骤：

图像采集，采集的外界图像为RAW格式图像；

RAW2RGB转换，将RAW格式图像转化为RGB格式图像；

RGB2YUV转换，将RGB格式图像转化为色差YUV格式图像；

聚焦控制，根据统计信息控制镜头寻找合焦点。

2.根据权利要求1所述的一种提高夜视聚焦统计信息准确度的方法，其特征是，所述YUV格式图像预处理的过程包括以下步骤：

从YUV格式图像中提取图像灰度信号；

3.根据权利要求2所述的一种提高夜视聚焦统计信息准确度的方法，其特征是，在X轴上设置Yi1、Yi2和Yi3三个点将图像划分为(0-Yi1)、(Yi1-Yi2)、(Yi2-Yi3)和(Yi3-255)四个区域，(0-Yi1)为图像噪声较多的亮度区间，(Yi3-255)为点光源高亮区间；(Yi1-Yi2)和(Yi2-Yi3)为人眼感兴趣的图像亮度区间，Yo1、Yo2、Yo3和Yo4分别为Yi1、Yi2、Yi和255对应的输出值；

分段增益处理曲线的关系式为：

Y o = \{\begin{matrix} \begin{matrix} (Y o 1 / Y i 1) \times Y i & i f & 0 \leq Y i \leq Y i 1 \\ Y o 1 + (Y o 2 - Y o 1) / (Y i 2 - Y i 1) \times Y i & i f & Y i 1 < Y i \leq Y i 2 \\ Y o 2 + (Y o 3 - Y o 2) / (Y i 3 - Y i 2) \times Y i & i f & Y i 2 < Y i \leq Y i 3 \\ Y o 3 + (Y o 4 - Y o 3) / (255 - Y i 3) \times Y i & i f & Y i 3 < Y i \leq 255 \end{matrix} & Y i &Element; [0, 255] \end{matrix}

在(Yi1-Yi2)区域，Yo＝Yo1+(Yo2-Yo1)/(Yi2-Yi1)×Y，通过设置(Yo2-Yo1)/(Yi2-Yi1)>1来对该人眼感兴趣的亮度区间的数据按照(Yo2-Yo1)/(Yi2-Yi1)比例进行放大；

在(Yi2-Yi3)区域，Yo＝Yo2+(Yo3-Yo2)/(Yi3-Yi2)×Yi，通过设置(Yo3-Yo2)/(Yi3-Yi2)>1来对该人眼感兴趣的亮度区间的数据按照(Yo3-Yo2)/(Yi3-Yi2)比例进行放大；

4.根据权利要求1所述的一种提高夜视聚焦统计信息准确度的方法，其特征是，所述聚焦控制的过程为通过镜头变倍调节驱动模块根据统计信息来控制镜头寻找合焦点。

5.一种提高夜视聚焦统计信息准确度的系统，其特征是，包括：

图像采集模块，用以采集RAW格式的外界图像；

RAW2RGB转换模块，用以将RAW格式图像转化为RGB格式图像；

RGB2YUV转换模块，用以将RGB格式图像转化为色差YUV格式图像；

聚焦控制模块，用以根据统计信息控制镜头寻找合焦点。

6.根据权利要求5所述的一种提高夜视聚焦统计信息准确度的系统，其特征是，所述分段增益处理模块包括灰度信号提取模块、直角坐标系建立模块、图像区域划分模块、图像衰减处理模块和图像放大处理模块，

7.根据权利要求6所述的一种提高夜视聚焦统计信息准确度的系统，其特征是，所述图像区域划分模块在X轴上设置两个点，将图像划分为图像噪声较多亮度区间、人眼感兴趣的图像亮度区间和点光源高亮区间三个区域。

8.根据权利要求6所述的一种提高夜视聚焦统计信息准确度的系统，其特征是，所述图像区域划分模块在X轴上设置三个点，将图像划分为图像噪声较多亮度区间、第一人眼感兴趣的图像亮度区间、第二人眼感兴趣的图像亮度区间和点光源高亮区间四个区域。

9.根据权利要求5所述的一种提高夜视聚焦统计信息准确度的系统，其特征是，还包括镜头变倍调节驱动模块，所述镜头变倍调节驱动模块用以根据聚焦控制模块来控制镜头寻找合焦点。