CN111667446A - 图像处理方法 - Google Patents

Abstract

本发明提供了一种图像处理方法，包括：图像获取单元获取可见光图像与近红外图像；图像预处理单元补充所述可见光图像的颜色和亮度，以得到RGB图像，以及矫正所述近红外图像的亮度，以得到NIR图像；图像融合单元对所述RGB图像和所述NIR图像进行融合；图像输出单元输出融合后的图形。本发明通过对获取的可见光图像与近红外图像进行融合处理，充分利用可见光和近红外图像各自的特点，使得在低照条件下最大程度地获得亮度均匀、纹理清晰、信噪比高以及颜色真实的图像。

Description

图像处理方法

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法。

背景技术

摄像机在低照情况下，受光通量的限制，成像效果较差，为提高低照全彩的成像效果，除使用超高灵敏度图像传感器之外，就是采取补光的方式。常见的白光补光易出现光污染，而近红外成像具有与可见光最接近的结构，且人眼对红外光基本无感知，可以达到温和补光的效果。

现有方案中，光学成像系统可以通过分光装置或特殊排列的传感器将光线按波段分离得到可见光图像与近红外光图像，然后通过融合算法对可见光图像及近红外光图像进行融合，以得到目标算法。其中可见光图像噪声较大且亮度较低，但具有颜色信息；而近红外光图像则为黑白图像，有更优的亮度和信噪比。但是由于不同材质的物体在可见光图像和近红外光图像下的反射系数不同，近红外图像与可见光图像的纹理分布和亮度分布皆有较大差异。现有融合算法在融合后易出现亮度不均匀、纹理不清晰、信噪比及颜色的失真的情况。

发明内容

本发明的目的在于提供一种图像处理方法，可以在融合算法后，获得亮度均匀、纹理清晰、信噪比高以及颜色真实的图像。

为了达到上述目的，一种图像处理方法，包括：

图像获取单元获取可见光图像与近红外图像；

图像预处理单元补充所述可见光图像的颜色和亮度，以得到RGB图像，以及矫正所述近红外图像的亮度，以得到NIR图像；

图像融合单元对所述RGB图像和所述NIR图像进行融合；

图像输出单元输出融合后的图形。

可选的，在所述的图像处理方法中，图像预处理单元补充可见光图像的颜色和亮度的方法包括：对所述可见光图像，进行减黑电平、白平衡矫正、插值以及伽马矫正操作。

可选的，在所述的图像处理方法中，图像预处理单元矫正近红外图像的亮度的方法包括：对所述近红外图像进行伽马操作。

可选的，在所述的图像处理方法中，图像融合单元对所述RGB图像和所述NIR图像进行融合的方法包括：

亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配；

纹理融合单元对亮度匹配后的所述RGB图像和所述NIR图像进行纹理融合；

联合降噪单元对纹理融合后的所述RGB图像和所述NIR图像进行联合降噪。

可选的，在所述的图像处理方法中，亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配的方法包括：

计算所述RGB图像的亮度水平以及所述NIR图像的亮度水平；

由所述RGB图像的亮度水平以及所述NIR图像的亮度水平计算所述RGB图像和所述NIR图像之间的亮度匹配因子；

经过所述RGB图像和所述NIR图像之间的亮度匹配因子得到RGB_o1图像。

可选的，在所述的图像处理方法中，所述RGB图像的亮度水平以及所述NIR图像的亮度水平满足公式：

L_NIR＝sum(NIR^p)；

L_RGB＝sum(R^p+G^p+B^p)；

其中：L_NIR为NIR图像的亮度水平；L_RGB为RGB图像的亮度水平；NIR^p为NIR图像中像素点p处的亮度值，R^p/G^p/B^p为RGB图像中像素点p处的RGB亮度值；sum()为图像中所有像素点的求和函数。

可选的，在所述的图像处理方法中，所述RGB图像和所述NIR图像之间的亮度匹配因子满足公式：

K＝L_NIR/L_RGB；

其中：K为亮度匹配因子；L_NIR为NIR图像的亮度水平；L_NIR为RGB图像的亮度水平。

可选的，在所述的图像处理方法中，经过所述RGB图像和所述NIR图像之间的亮度匹配因子得到RGB_o1图像的方法包括：通过所述RGB图像中的R通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到R_o1 ^P通道图像，通过所述RGB图像中的G通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到G_o1 ^p通道图像，通过所述RGB图像中的B通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到B_o1 ^p通道图像，所述R_o1 ^p通道图像、G_o1 ^p通道图像和B_o1 ^p通道图像组成RGB_o1图像。

可选的，在所述的图像处理方法中，纹理融合单元对亮度匹配后的所述RGB图像和所述NIR图像进行纹理融合的方法包括：

提取所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息；

根据所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息提取NIR图像中的显著性信息；

通过所述显著性信息、NIR图像的纹理信息和RGB_o1图像获取纹理融合后的RGB_o2图像。

可选的，在所述的图像处理方法中，联合降噪单元对纹理融合后的所述RGB图像和所述NIR图像进行联合降噪的方法包括：

提取所述NIR图像的梯度信息与所述RGB_o2图像的梯度信息；

根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息计算出所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度；

根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度、NIR图像和RGB_o2图像计算并得到联合降噪后的RGB_o2’图像。

在本发明提供的图像处理方法中，应用于图像采集设备，夜间温和补光(补少量或不补白光，补近红外光)的情况下，通过对获取的可见光图像与近红外图像进行融合处理，充分利用可见光和近红外图像各自的特点，使得在低照条件下最大程度地获得亮度均匀、纹理清晰、信噪比高以及颜色真实的图像。

附图说明

图1是本发明实施例的图像处理装置的结构示意图；

图2是本发明实施例的图像处理方法的流程图；

图3是本发明实施例的图像融合单元的结构示意图；

图中：100-图像获取单元、200-图像预处理单元、300-图像融合单元、400-图像输出单元、301-亮度匹配单元、302-纹理融合单元、303-联合降噪单元。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

在下文中，术语“第一”“第二”等用于在类似要素之间进行区分，且未必是用于描述特定次序或时间顺序。要理解，在适当情况下，如此使用的这些术语可替换。类似的，如果本文所述的方法包括一系列步骤，且本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法。

参照图1，本发明提供了一种图像处理装置，包括：图像获取单元100、图像预处理单元200、图像融合单元300和图像输出单元400；

所述图像获取单元100用于获取可见光图像与近红外图像；

所述图像预处理单元200用于补充可见光图像的颜色和亮度，得到RGB图像，以及矫正近红外图像的亮度，得到NIR图像；

所述图像融合单元300用于对所述图像预处理单元处理后的图像进行融合；

所述图像输出单元400用于输出融合后的图形。

具体的，图像获取单元100可以是由可见与近红外双传感器组成，也可以是由单传感器组成，具体可以是通过分光装置分离可见光图像与近红外图像，或通过贴上特殊排列的滤光片获取可见光图像与近红外图像，其具体实现可以参见现有相关技术中的相关描述，本申请实施例在此不做赘述。

基于上述图像处理装置，参照图2，本发明还提供了一种图像处理方法，包括：

S11：图像获取单元获取可见光图像与近红外图像；

S12：图像预处理单元补充所述可见光图像的颜色和亮度，以得到RGB图像，以及矫正所述近红外图像的亮度，以得到NIR图像；

S13：图像融合单元对所述RGB图像和所述NIR图像进行融合；

S14：图像输出单元输出融合后的图形。

具体的，图像预处理单元补充可见光图像的颜色和亮度的方法包括：对可见光图像，进行减黑电平、白平衡矫正、插值以及伽马矫正操作；图像预处理单元矫正近红外图像的亮度的方法包括：对所述近红外图像进行伽马操作。减黑电平、白平衡矫正、插值、伽马矫正以及伽马操作都可参考已有文件进行，在此不做赘述。

进一步的，参照图3，图像融合单元300包括：亮度匹配单元301，用于将所述RGB图像和所述NIR图像进行亮度匹配；纹理融合302单元，用于对匹配后的所述RGB图像和匹配后的所述NIR图像进行纹理融合；联合降噪单元303，用于对纹理融合的图形进行联合降噪。图像预处理单元200后得到的图像分别用RGB(red-green-blue)图像和NIR(near-infrared)图像表示，图像融合单元300对处理得到的RGB图像和NIR图像进行融合处理。其中RGB图像噪声较大、亮度较低，但具有真实颜色信息；而NIR图像则为黑白图像，但有更优的亮度、信噪比，因此，可以最大程度地获得亮度均匀、纹理清晰、信噪比高以及颜色真实的图像。

因此，图像融合单元对所述RGB图像和所述NIR图像进行融合的方法包括：亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配；纹理融合单元对匹配后的所述RGB图像和所述NIR图像进行纹理融合；联合降噪单元对纹理融合的所述RGB图像和NIR图像进行联合降噪。

进一步的，亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配的方法包括：计算所述RGB图像的亮度水平以及所述NIR图像的亮度水平；由所述RGB图像的亮度水平以及所述NIR图像的亮度水平计算所述RGB图像和所述NIR图像之间的亮度匹配因子；经过所述RGB图像和所述NIR图像之间的亮度匹配因子得到RGB_o1图像。夜间温和补光(补少量或不补白光，补近红外光)的情况下，通常NIR图像具有适宜的整体亮度，而RGB图像整体亮度较低。

进一步的，计算NIR图像的亮度水平以及RGB图像的亮度水平的方法包括：使用如下公式计算NIR图像的亮度水平以及RGB图像的亮度水平：L_NIR＝sum(NIR^p)，L_RGB＝sum(R^p+G^p+B^p)，其中：L_NIR为NIR图像的亮度水平，L_RGB为RGB图像的亮度水平，NIR^p为NIR图像中像素点p处的亮度值，p的取值为0至像素点总数-1的值，即，此图像分为很多个点的像素，p点从第一个像素点开始逐渐移动，直到选完所有像素点。R^p/G^p/B^p为RGB图像中像素点p处的R通道、G通道和B通道颜色的亮度值,sum()为图像中所有像素点的求和函数。

进一步的，计算亮度匹配因子的方法包括：使用如下公式计算亮度匹配因子：K＝L_NIR/L_RGB,其中：K为亮度匹配因子，L_NIR为NIR图像的亮度水平，L_NIR为RGB图像的亮度水平。

进一步的，通过所述RGB图像中的R通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到R_o1 ^P通道图像，通过所述RGB图像中的G通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到G_o1 ^p通道图像，通过所述RGB图像中的B通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到B_o1 ^p通道图像，所述R_o1 ^p通道图像、G_o1 ^p通道图像和B_o1 ^p通道图像组成RGB_o1图像。具体的，在RGB图像乘以亮度匹配因子以得到RGB_o1图像的方法之前，还可以先判断NIR图像中的有用信息，用有用信息计算得到RGB_o1图像。RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。所以可以分开计算三个通道的颜色的补光后的图像，计算公式如下：R_o1 ^p＝K*R^p；G_o1 ^p＝K*G^p；B_o1 ^p＝K*B^p，其中：R为RGB图像中的R通道图像，G为RGB图像中的G通道图像，B为RGB图像中的B通道图像,R_o1 ^p为RGB_o1图像中的R通道图像，G_o1 ^p为RGB_o1图像中的G通道图像，B_o1 ^p为RGB_o1图像中的B通道图像。计算得到的RGB_o1图像为加权融合后的图像，具有适宜的整体亮度和真实的颜色。

进一步的，纹理融合的方法包括：提取所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息；根据所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息提取NIR图像中的显著性信息；通过所述显著性信息、NIR图像的纹理信息和RGB_o1图像获取纹理融合后的RGB_o2图像。

具体的，计算公式为：RGB_o2＝S_NIR*T_NIR+RGB_o1，其中：S_NIR为NIR图像中的显著性信息，T_NIR为NIR图像的纹理信息T_NIR，T_RGBo1为RGB_o1图像的纹理信息，RGB_o2为纹理融合后的图像。更为具体的，以p点像素点作为例子，分别提取NIR图像的p点像素的纹理信息与RGB_o1图像的p点像素的纹理信息的方法如下：

T_NIR ^p＝Gaussian(NIR^p,σ₁)-Gaussian(NIR^p,σ₂)；

T_RGBo1 ^p＝Gaussian((R^p+G^p+B^p)/3,σ₁)-Gaussian((R^p+G^p+B^p)/3,σ₂)；其中：Gaussian代表高斯滤波函数，σ₁为其标准差，σ₁<σ₂，T_NIR ^p为NIR图像p点的纹理信息、T_RGBo1 ^p为RGB_o1图像p点的纹理信息，R为RGB图像中的R通道图像，G为RGB图像中的G通道图像，B为RGB图像中的B通道图像,R_o1 ^p为RGB_o1图像中的R通道图像，G_o1 ^p为RGB_o1图像中的G通道图像，B_o1 ^p为RGB_o1图像中的B通道图像，NIR^p为NIR图像中像素点p处的亮度值。由T_NIR与T_RGBo1提取NIR图像中的显著性信息S_NIR＝f(T_NIR,T_RGBo1)，本实施例中，f函数计算T_NIR与T_RGBo1差值大于某一阈值的值，并根据这个值计算权重，权重在0～1之间。由此计算RGB_o2＝S_NIR*T_NIR+RGB_o1。RGB_o2图像具有适宜的整体亮度、真实的颜色以及丰富的纹理。

由于不同材质的物体在可见光和近红外光下的反射系数不同，NIR图像在纹理分布和亮度分布与RGB图像有较大差异。NIR图像和RGB图像具有不同的梯度信息，可能同向但幅值不同，可能异向，也可能RGB图像中有纹理的但在NIR图像中梯度为0。同时NIR图像可能包含多余的阴影或高光。对RGB图像和NIR图像直接融合的话，易将NIR图像中不必要的信息融进去，或导致融合出来的图像纹理细节受损，因此需要判断NIR图像中的有用信息，与RGB图像进行加权融合，以使得纹理信息得到最大程度的增强。RGB_o2图像具有适宜的整体亮度、真实的颜色以及丰富的纹理。

进一步的，联合降噪的方法包括：提取所述NIR图像的梯度信息与所述RGB_o2图像的梯度信息；根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息计算出所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度；根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度、NIR图像和RGB_o2图像计算并得到联合降噪后的RGB_o2’图像。得到的RGB_o3图像为RGB_o2图像基础上保持结构细节，滤除噪声的结果。

本单元通过NIR图像对带噪的RGB_o2图像进行联合降噪。现有专利中通过导向滤波或联合双边滤波，将NIR图像作为引导图，指导RGB图像进行降噪，但如上文所述，由于不同材质的物体在可见光和近红外光下的反射系数不同，NIR图像在纹理分布和亮度分布与RGB图像有较大差异，导向滤波或联合双边滤波并不能保持RGB图像中有而NIR图像中没有的梯度信息。本单元充分利用NIR图像和RGB_o2图像的梯度信息，在保持RGB_o2图像的结构的基础上，滤除噪声。

具体的，第一步骤，分别提取NIR图像的梯度信息G_NIR与RGB_o2图像的梯度信息G_RGB，本实施例中，G_NIR ^p＝(sobal(G_NIR ^p,x),sobal(G_NIR ^p,y))，其中：G_NIR ^p为NIR图像的像素点p的梯度向量，sobal(G_NIR ^p,x)为NIR图像的像素点p的水平方向的梯度向量，sobal(G_NIR ^p,y)为NIR图像的像素点p的垂直方向的梯度向量。同理，G_RGB ^p＝(G_R ^p,G_G ^p,G_B ^p),G_R ^p＝(sobal(G_R ^p,x),sobal(G_R ^p,y))，G_G ^p＝(sobal(G_G ^p,x),sobal(G_G ^p,y)),G_B ^p＝(sobal(G_B ^p,x),sobal(G_B ^p,y)),其中：G_RGB ^p为RGB_o2图像的像素点p的梯度向量,G_R ^p为RGB_o2的R通道图像的像素点p的梯度向量,G_G ^p为RGB_o2的G通道图像的像素点p的梯度向量,sobal(G_R ^p,x)为RGB_o2的R通道图像的像素点p的水平方向的梯度向量,sobal(G_R ^p,y)为RGB_o2的R通道图像的像素点p的垂直方向的梯度向量,sobal(G_G ^p,x)为RGB_o2的G通道图像的像素点p的水平方向的梯度向量,sobal(G_G ^p,y)为RGB_o2的G通道图像的像素点p的垂直方向的梯度向量,sobal(G_B ^p,x)为RGB_o2的B通道图像的像素点p的水平方向的梯度向量,sobal(G_B ^p,y)为RGB_o2的B通道图像的像素点p的垂直方向的梯度向量。

第二步骤，计算NIR图像的梯度信息G_NIR与RGB_o2图像的梯度信息G_RGB之间的相关梯度G_corr，计算公式如下：G_corr＝min||G_RGB-G_corr·G_NIR||，其中：G_corr为相关梯度，G_RGB为RGB_o2图像的梯度信息，G_NIR为NIR图像的梯度信息。

第三步骤，由相关梯度、NIR图像和RGB_o2图像计算联合降噪后的RGB_o2’图像，计算公式如下：RGB_o2’＝RGB_o2+G_corr*NIR，其中：RGB_o2’为联合降噪后的图像，RGB_o2为RGB_o2图像，NIR为NIR图像。以RGB_o2’代替RGB_o2，再进行第一步骤、第二步骤和第三步骤，重复上述步骤直至收敛，则去噪完成。最终得到的RGB_o3图像为RGB_o2图像基础上保持结构细节，滤除噪声的结果。

综上，在本发明实施例提供的图像处理方法中，应用于图像采集设备，夜间温和补光(补少量或不补白光，补近红外光)的情况下，通过对获取的可见光图像与近红外图像进行融合处理，充分利用可见光和近红外图像各自的特点，使得在低照条件下最大程度地获得亮度均匀、纹理清晰、信噪比高以及颜色真实的图像。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

图像获取单元获取可见光图像与近红外图像；

图像预处理单元补充所述可见光图像的颜色和亮度，以得到RGB图像，以及矫正所述近红外图像的亮度，以得到NIR图像；

图像融合单元对所述RGB图像和所述NIR图像进行融合；

图像输出单元输出融合后的图形。

2.如权利要求1所述的图像处理方法，其特征在于，图像预处理单元补充可见光图像的颜色和亮度的方法包括：对所述可见光图像，进行减黑电平、白平衡矫正、插值以及伽马矫正操作。

3.如权利要求2所述的图像处理方法，其特征在于，图像预处理单元矫正近红外图像的亮度的方法包括：对所述近红外图像进行伽马操作。

4.如权利要求1所述的图像处理方法，其特征在于，图像融合单元对所述RGB图像和所述NIR图像进行融合的方法包括：

亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配；

纹理融合单元对亮度匹配后的所述RGB图像和所述NIR图像进行纹理融合；

联合降噪单元对纹理融合后的所述RGB图像和所述NIR图像进行联合降噪。

5.如权利要求4所述的图像处理方法，其特征在于，亮度匹配单元将所述RGB图像和所述NIR图像进行亮度匹配的方法包括：

计算所述RGB图像的亮度水平以及所述NIR图像的亮度水平；

由所述RGB图像的亮度水平以及所述NIR图像的亮度水平计算所述RGB图像和所述NIR图像之间的亮度匹配因子；

经过所述RGB图像和所述NIR图像之间的亮度匹配因子得到RGB_o1图像。

6.如权利要求5所述的图像处理方法，其特征在于，所述RGB图像的亮度水平以及所述NIR图像的亮度水平满足公式：

L_NIR＝sum(NIR^p)；

L_RGB＝sum(R^p+G^p+B^p)；

其中：L_NIR为NIR图像的亮度水平；L_RGB为RGB图像的亮度水平；NIR^p为NIR图像中像素点p处的亮度值，R^p/G^p/B^p为RGB图像中像素点p处的RGB亮度值；sum()为图像中所有像素点的求和函数。

7.如权利要求6所述的图像处理方法，其特征在于，所述RGB图像和所述NIR图像之间的亮度匹配因子满足公式：

K＝L_NIR/L_RGB；

其中：K为亮度匹配因子；L_NIR为NIR图像的亮度水平；L_NIR为RGB图像的亮度水平。

8.如权利要求7所述的图像处理方法，其特征在于，经过所述RGB图像和所述NIR图像之间的亮度匹配因子得到RGB_o1图像的方法包括：通过所述RGB图像中的R通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到R_o1 ^P通道图像，通过所述RGB图像中的G通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到G_o1 ^p通道图像，通过所述RGB图像中的B通道图像和所述RGB图像和所述NIR图像之间的亮度匹配因子得到B_o1 ^p通道图像，所述R_o1 ^p通道图像、G_o1 ^p通道图像和B_o1 ^p通道图像组成RGB_o1图像。

9.如权利要求8所述的图像处理方法，其特征在于，纹理融合单元对亮度匹配后的所述RGB图像和所述NIR图像进行纹理融合的方法包括：

提取所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息；

根据所述NIR图像的纹理信息以及所述RGB_o1图像的纹理信息提取NIR图像中的显著性信息；

通过所述显著性信息、NIR图像的纹理信息和RGB_o1图像获取纹理融合后的RGB_o2图像。

10.如权利要求9所述的图像处理方法，其特征在于，联合降噪单元对纹理融合后的所述RGB图像和所述NIR图像进行联合降噪的方法包括：

提取所述NIR图像的梯度信息与所述RGB_o2图像的梯度信息；

根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息计算出所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度；

根据所述NIR图像的梯度信息和所述RGB_o2图像的梯度信息之间的相关梯度、NIR图像和RGB_o2图像计算并得到联合降噪后的RGB_o2’图像。

Images