CN107481210A - 基于细节的局部选择性映射的红外图像增强方法 - Google Patents

Abstract

本发明涉及一种基于细节的局部选择性映射的红外图像增强方法，主要包括图像细节获取，基于细节的快速分割，场景判断和基于场景的映射，以及局部直方图插值拼接四个步骤，可以有效压缩无用的灰度范围，使得整幅图像的对比度得到增强，在有效提高感兴趣目标的对比度的同时，能够保持背景的自然一致性。

Description

基于细节的局部选择性映射的红外图像增强方法

技术领域

本发明涉及红外图像的视觉增强技术领域，通过提高红外图像的对比度提高图像的视觉观感。

背景技术

目前常用的红外图像动态范围压缩以及对比度增强算法主要分为两大类，分别为线性映射和非线性映射方法。线性映射算法简单，但在宽动态范围的情况下，无效灰度级占比较大，导致映射后的有效灰度级较少，极大的损失了细节信息；非线性映射方法中，最具代表性的是直方图均衡算法，该算法能够有效压缩图像灰度级概率分布函数(PDF)较小的灰度级分布范围，同时增强PDF较大的对比度，但该算法对图像中由少量相近灰度值像素组成的小目标或细节纹理特征无法实现有效的增强，且在增强对比度的同时也同样提高了图像的噪声信息，使得噪点变得更加明显；采用局部直方图均衡算法，能够进一步提高图像中小目标的对比度，但该算法会在小窗口的边缘产生明显边缘且破坏了图像的整体感。

发明内容

本发明的目的在于根据目前常用的红外图像动态范围压缩以及对比度增强方法的优缺点，将线性映射与局部直方图均衡相结合，提出一种基于细节的局部选择性映射的红外图像增强方法，根据图像的细节程度进行图像场景的初步判断和分割，并根据内容选取不同的映射曲线，达到在增强图像细节部分的对比度的同时保持图像背景的一致性，将分割后的各区域的映射结果进行插值拼接，从而使得各个分割块之间过渡自然，保证了整个图像的一体性。

为实现上述目的，本发明用以下技术方案：

一种基于细节的局部选择性映射的红外图像增强方法，其特征在于包括以下步骤：

(1)细节图像获取：对待处理的图像采用双边滤波器进行滤波，获取细节图像，并对得到的细节图像进行离散量化；

(2)基于细节的图像快速分割：

(21)预设图像的最小颗粒度及基本分割度参数，根据预设的基本分割度对图像进行分割，并统计各个分割区域的所有离散量化值，得到该区域的细节程度；

(22)分割迭代：根据每个分割区域的细节程度，判断是否需要对该区域进一步分割；若该区域的细节程度低于细节下限，或者细节程度高于细节上限，或者该区域分割已经达到了最小颗粒度，则停止对该区域进一步分割，否则对该区域进一步进行2*2的区域分割，并根据进一步分割后形成的每个子区域的细节程度进行分割迭代；

(23)区域合并：根据步骤(22)分割后的每个区域与其四邻区域的细节程度的相似度进行区域合并，即将细节程度相似的相邻区域进行合并，并认为合并后的区域中场景相近；

(3)场景判断以及基于场景的映射计算：

(31)场景判断：对步骤(23)中合并后的各个区域的细节程度进行场景判断，对细节程度低于细节下限的区域判断为背景，细节程度高于细节上限的区域判断为目标，而分割至最小颗粒度的区域判断为背景与目标的交界处；

(32)基于场景的映射计算：对于背景，采用基于全局灰度范围的线性映射；对于目标，采用局部直方图均衡映射得到相应的映射曲线；对于交界处，则根据其3*3邻域内的主要场景内容进行分类，即若其邻域中判断为背景的区域面积大于目标的区域面积，则将其判断为背景，采用基于全局灰度范围的线性映射；否则判断为目标，采用局部直方图均衡映射得到相应的映射曲线；

(4)局部直方图插值拼接：按照步骤(3)的方法遍历图像，最后将映射曲线集进行插值拼接，得到视觉增强后的图像信息。

本发明与传统的线性映射相比，可以有效压缩无用的灰度范围，使得整幅图像的对比度得到增强；与传统的直方图均衡相比，则可以对图像中的小目标进行有效的对比度拉伸，使得能够展现出更多的细节信息；与局部直方图均衡相比，则使得目标物体的轮廓更加自然，保持的图像的一体性。

本发明能够显著的提高红外图像的视觉观感，在有效提高感兴趣目标的对比度的同时，能够保持背景的自然一致性；采用快速分割算法，根据物体物理空间的连续性，能够简单快速的对整幅图像进行区域划分，较传统的分割算法更加容易理解实现，且对后续的图像插值拼接更加友好。

附图说明

图1是本发明的方法流程图；

图2是图像细节获取流程图；

图3离散量化映射方式图；

图4是对图像分割过程示意图；

图5是对图像全分割示意图；

图6是图像拼接分块示意图；

图7是图像进行线性插值示意图。

具体实施方式

如图1所示，本发明主要包括图像细节获取，基于细节的快速分割，场景判断和基于场景的映射，以及局部直方图插值拼接四个步骤。

第一步：图像细节获取：

对待处理的图像采用双边滤波器对图像进行滤波，获取图像细节；为了统计图像的细节程度，对图像细节进行进一步离散量化。

第二步：基于细节的快速分割：

预设图像的最小颗粒度及基本分割度参数，根据预设的基本分割度对图像进行分割，并统计各个分割区域的所有离散量化值，得到该区域的细节程度；

区域分割的迭代：根据各个分割区域的细节程度进行判断，若细节程度低于细节下限，或者细节程度高于细节上限，或者区域分割已经达到了最小颗粒度，则停止该区域的分割迭代过程，否则对该区域进一步进行2*2的分割，并根据上述判断方法对进一步分割后的区域进行分割迭代。

根据细节程度进行区域合并：根据上述分割结果的每个区域与其四邻域的其他区域的细节程度的相似度，进行区域合并，即将细节程度相似的相邻区域进行合并，并认为合并后的区域中场景相近。

第三步：场景判断以及基于场景的映射计算：

场景判断：由于在红外图像中，背景多为天空和路面这些较为平坦细节不丰富的区域，而感兴趣目标则多为细节信息丰富的区域，因此可以根据各个区域的细节程度进行场景判断，判断方法如下：

细节程度低于细节下限的判断为背景，细节程度高于细节上限的判断为目标，而分割至最小颗粒度的区域判断为背景与目标的交界处。

基于场景的映射计算：对于背景区域，采用基于全局灰度范围的线性映射；对于目标区域，则用局部直方图均衡得到相应的映射曲线。交界处则根据其3*3邻域内的主要场景内容进行分类，若其邻域内判断为背景的区域面积大于目标的区域面积，则将其判断为背景，采用基于全局灰度范围的线性映射；反之判断为目标，用局部直方图均衡得到相应的映射曲线。

第四步：局部直方图插值拼接：

将图像根据最小分割度进行全分割。遍历图像，根据映射当前像素位置以及映射曲线值进行插值拼接，计算映射后的像素结果，得视觉增强后的图像信息。

以下结合附图，对上述方法的具体实施方式进一步详细描述。

1、图像细节获取。

本发明图像的细节获取可以通过空域算法得到。空域算法包括高频增强和反锐化掩模(UM)，使用滤波器对图像进行卷积；其中用双边滤波器(BLF)滤波的反锐化掩模算法已经十分成熟，因此本发明采用双边滤波器的细节获取方法。

如图2所示，将原图减去通过双边滤波器(BLF)滤波后的图像，得到细节信息图：

I_D＝I_in-I_BLF，其中：

Iin为输入图像，I_BLF为经过BLF滤波后的图像，I_D为图像的细节信息。

为了统计图像的细节程度，需要对图像细节进行进一步离散量化。离散量化过程采用一个分段函数，设I_D为一个离散点的图像细节信息，I_{D_D}为图像的细节信息离散量化后的图像细节值，A、B为量化的两个阈值，则：

如图3所示，OA部分量化为0，这一部分将起到一定的抑制白噪声的作用；AB部分量化为1，这一部分对应的是一部分图像细节，B之后则量化为3，这是为显著的边缘增加一定的权重。将图像细节进行离散量化之后得到I_{D_D}，图像细节将被简化为只有0、1、3三种值之一，方便之后进行细节程度的统计。

2、基于细节的快速分割。

(1)根据基本分割度对图像进行分割，并统计各个分割区域的细节程度。

图像的最小颗粒度和基本分割度是预先设置的对图像的初始分割程度，可以根据场景进行调整，如对于半天半地的情况可以设置为2*1，对于两边有行道树的道路可以设置为2*3。设置的基本分割度可以在一定程度上对后续的场景判断起到指导性帮助。

对按照基本分割度分割后的图像的各个区域的细节程度进行统计。根据I_{D_D}，对各个区域所有离散量化值进行累加再除以该区域的面积，得到该区域的细节程度。

其中：

Area(i)为第i个分割区域；

S_Area(i)为该区域对应的面积；

D_Score(i)为该区域的细节程度。

(2)区域分割迭代：计算各个分割区域的图像细节离散量化值，判断该区域的细节程度，若细节程度低于细节下限，或者细节程度高于细节上限，或者区域分割已经达到了最小颗粒度，则停止该区域的分割迭代过程，否则对该区域进行2*2的区域分割并迭代。

其中，细节下限代表着该区域的细节程度很低，即该区域较为平坦；细节上限代表着该区域的细节程度十分高，以及可以确定该区域有丰富的细节信息；最小颗粒度表示分割迭代过程的最小分割尺度。由于后续需要根据区域的细节程度做场景判断，若分割的区域面积不能过小，否则就失去了其物理意义。

(3)根据细节程度的区域合并：

根据分割结果的每个区域与其四邻域的其他分割区域的细节程度的相似程度进行区域合并，即将细节程度相似的相邻区域进行合并，并认为合并后的区域中场景相近。合并后的区域的细节程度，由构成该合并区域的各分割区域的细节程度按面积比例加权求和得到。

由于实际场景中的目标在空间分布上必然存在空间连续性，因此通过将一个区域与其四邻域内相近的区域合并能够在最大程度上保证场景的连续性。

3、场景判断以及基于场景的映射计算。

(1)根据细节程度的场景判断：

由于在红外图像中，背景多为天空和路面这些较为平坦细节不丰富的区域，而感兴趣目标则多为细节信息丰富的区域，因此可以根据各个区域的细节程度进行场景判断，得到图像的场景分布情况。

细节程度低于细节下限的判断为背景，细节程度高于细节上限的判断为目标，而分割至最小颗粒度的区域则为背景与目标的交界处。对于处于交界处的最小颗粒度的区域，根据其八邻域范围(3*3邻域)内其他区域的场景进行判断，若邻域范围内背景的区域面积大于目标的区域面积，则将其判断为背景，反之则为目标。

(2)基于场景的映射计算：

对于背景区域，采用基于全局灰度范围的线性映射；对于目标则根据目标区域应用局部直方图均衡得到相应的映射曲线。

由于现有的红外图像大部分都是16位精度的，而其中的有效分布范围则较少，因此在进行映射之前，需要先根据直方图分布提取有效的数据分布范围，假设分布范围为Start～End。

对于线性映射，则将Start～End的分布范围线性映射到0～255的灰度级即可，映射函数为：I′＝(I_in-Start)/(End-Start)。

对于直方图均衡映射，则需要根据统计直方图的概率分布进行非线性映射，假设得到Start～End的直方图概率分布函数为p_r，则映射函数为：

综上所述，得到基于场景的映射函数为：

4、根据映射的插值拼接。

将图像根据最小分割度进行全分割，此时各个最小分割区域继承其对应于原区域的映射函数。例如，对于基本分割度为2*3，最小分割为向下分割一层的情况如图4所示，进行全分割后的情况如图5所示。

由于不同的分割区域对应不同的映射曲线，导致在区域交界处会出现不自然的边界，根据距离对映射结果进行插值，从而使得边界部分自然过渡。这也从一个方面说明了最小分割度不能太小。

如图6所示，为了能够按照上述方案进行拼接，将拼接分成4个部分。其中标号1部分，保留原值；标号2部分，由与其左右相邻的两个映射曲线插值确定；标号3部分，由与其上下相邻的两个映射曲线插值确定；标号4部分则由其四邻的4个映射曲线共同决定。

如图7所示，为了达到标号4部分由4个不同分割区域的映射组成，需要按照图7所示的方法进行划分。图7中，可以看到在标号4部分内，每个运算单元均完全覆盖了分割区域的交界处，且每个运算单元由4个不同的映射区域组成。其中：

对于标号2部分，2.1和2.2对应两个映射关系，则该部分的拼接结果为：

I″(P)＝[(P_x-P_2.1x)*I₂′.₂(I(P))+(P_2.2x-P_x)*I₂′.₁(I(P))]/(P_2.2x-P_2.1x)，

其中P_2.1x为2.1区域的左侧x坐标，P_2.2x为2.2区域的右侧x坐标，P_x为标号2部分内任意拼接点的x坐标，I′_2.1(I(P))为根据2.1区域的映射关系得到的灰度值，I′_2.2(I(P))为根据2.2区域的映射关系得到的灰度值，I″(P)为P点得到的插值拼接结果；

对于标号3部分，3.1和3.2对应两个映射关系，则该部分的拼接结果为：

I″(P)＝[(P_y-P_3.1y)*I′_3.2(I(P))+(P_3.2y-P_y)*I′_3.1(I(P))]/(P_3.2y-P_3.1y)，

其中P_3.1y为3.1区域的上边y坐标，P_3.2y为3.2区域的下边y坐标，P_y为标号3部分内任意拼接点的y坐标，I′_3.1(I(P))为根据3.1区域的映射关系得到的灰度值，I′_3.2(I(P))为根据3.2区域的映射关系得到的灰度值，I″(P)为P点得到的插值拼接结果；

对于标号4部分，4.1、4.2、4.3和4.4对应四个映射关系，则该部分的拼接结果为：

I″(P)＝[(P_y-P_4.1y)*I″(P₁)+(P_4.3y-P_y)*I″(P₂)]/(P_4.3y-P_4.1y)，

其中

其中P_4.1x为4.1区域的左侧x坐标，P_4.2x为4.2区域的右侧x坐标，P_4.3x为4.3区域的左侧x坐标，P_4.4x为4.4区域的右侧x坐标，P_4.1y为4.1区域的上边y坐标，P_4.3y为4.3区域的下边y坐标，P_x,P_y为标号4部分内任意拼接点的x、y坐标，I′_4.1(I(P)),I′_4.2(I(P)),I′_4.3(I(P)),I′_4.4(I(P))为根据4.1、4.2、4.3、4.4区域的映射关系得到的灰度值，I″(P₁),I″(P₂)为二次线性插值的中间值，I″(P)为P点得到的插值拼接结果。

遍历图像，根据上述每个最小分割区域的映射进行插值拼接，得到最终结果。

Claims (5)

1.一种基于细节的局部选择性映射的红外图像增强方法，其特征在于包括以下步骤：

(1)细节图像获取：对待处理的图像采用双边滤波器进行滤波，获取细节图像，并对得到的细节图像进行离散量化；

(2)基于细节的图像快速分割：

(21)预设图像的最小颗粒度及基本分割度参数，根据预设的基本分割度对图像进行分割，并统计各个分割区域的所有离散量化值，得到该区域的细节程度；

(22)分割迭代：根据每个分割区域的细节程度，判断是否需要对该区域进一步分割；若该区域的细节程度低于细节下限，或者细节程度高于细节上限，或者该区域分割已经达到了最小颗粒度，则停止对该区域进一步分割，否则对该区域进一步进行2*2的区域分割，并根据进一步分割后形成的每个子区域的细节程度进行分割迭代；

(23)区域合并：根据步骤(22)分割后的每个区域与其四邻区域的细节程度的相似度进行区域合并，即将细节程度相似的相邻区域进行合并，并认为合并后的区域中场景相近；

(3)场景判断以及基于场景的映射计算：

(31)场景判断：对步骤(23)中合并后的各个区域的细节程度进行场景判断，对细节程度低于细节下限的区域判断为背景，细节程度高于细节上限的区域判断为目标，而分割至最小颗粒度的区域判断为背景与目标的交界处；

(32)基于场景的映射计算：对于背景，采用基于全局灰度范围的线性映射；对于目标，采用局部直方图均衡映射得到相应的映射曲线；对于交界处，则根据其3*3邻域内的主要场景内容进行分类，即若其邻域中判断为背景的区域面积大于目标的区域面积，则将其判断为背景，采用基于全局灰度范围的线性映射；否则判断为目标，采用局部直方图均衡映射得到相应的映射曲线；

(4)局部直方图插值拼接：按照步骤(3)的方法遍历图像，最后将映射曲线集进行插值拼接，得到视觉增强后的图像信息。

2.根据权利要求1所述的基于细节的局部选择性映射的红外图像增强方法，其特征在于，步骤(1)中，采用双边滤波器对图像进行高通滤波，获取图像细节的具体方法是：将原图减去通过双边滤波器高通滤波后的图像，得到的结果为图像细节。

3.根据权利要求1所述的基于细节的局部选择性映射的红外图像增强方法，其特征在于，步骤(1)中，对得到的细节图像进行离散量化的方法是：设I_D为一个离散点的图像细节信息，I_{D_D}为该离散点量化后的值，A、B为量化的两个阈值，采用以下分段函数：

<mrow> <msub> <mi>I</mi> <mrow> <mi>D</mi> <mo>_</mo> <mi>D</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>&lt;</mo> <mi>A</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>A</mi> <mo>&amp;le;</mo> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>&amp;le;</mo> <mi>B</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>3</mn> </mtd> <mtd> <mrow> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>&gt;</mo> <mi>B</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

将每个离散点的图像细节量化为0、1、3三种值之一，方便之后进行细节程度的统计。

4.根据权利要求1所述的基于细节的局部选择性映射的红外图像增强方法，其特征在于，步骤(21)中，统计各个分割区域的细节程度的具体方法是：对每个区域的所有图像细节离散量化值进行累加，再除以该区域的面积，得到该区域的细节程度。

5.根据权利要求1所述的基于细节的局部选择性映射的红外图像增强方法，其特征在于，步骤(23)中，合并后的区域的细节程度由参与该区域的分割区域的细节程度按面积比例加权求和得到。