CN108288259B - 一种基于颜色空间转换的灰度融合增强方法 - Google Patents

Abstract

本发明涉及一种基于颜色空间转换的灰度融合增强方法，属于颜色空间转换灰度融合技术领域。本发明首先对参考图像RGB图像信息的均值、标准差计算，之后根据待处理视频图像的灰度值Y，计算新的R、G和B的空间信息，在根据计算出来的R、G和B的空间信息，计算出对应均值和标准差值；接着，根据该对应均值和标准差值计算出新的R、G、B空间信息——R2、G2、B2，之后将新的R2、G2、B2转换到YCbCr空间下，将融合图像灰度信息显示出来。本发明方法易于FPGA工程实现，没有图像延时，融合图像尽可能多的保留了原始图像信息，达到信息互补，图像增强的效果。

Description

一种基于颜色空间转换的灰度融合增强方法

技术领域

本发明属于颜色空间转换灰度融合技术领域，具体涉及一种基于颜色空间 转换的灰度融合增强方法。

背景技术

颜色空间转换是指把一个颜色空间中的颜色数据转换或者表示成另一个颜 色空间的相应数据，即用不同的颜色空间中的数据表示同一颜色。目前将颜色 空间转换应用到融合技术上主要有三维查表插值法、HIS空间转RGB空间法和 lαβ空间转RGB空间法。

灰度融合是指通过融合算法的处理将两幅图像灰度信息在同一幅图像中进 行综合显示，能够同时具有原始两幅图像的灰度信息。

传统的灰度图像融合方法可以分为两类，第一类主要是基于单像素权值的 融合方法，主要分为平均法、加权平均法、概略加权法等；第二类只要是基于 区域像素计算的融合方法，主要包括梯度融合法、区域熵融合法、邻域像素选 大、基于小波的融合方法等。

三维查表插值法主要根据待处理视频图像信息调用固定的三维空间信息， 此方法简单易于实现，但是处理结果过于突兀，不仅与实际场景相差甚远，而 且还会造成图像信息的损失。

HIS空间转RGB空间法和lαβ空间转RGB空间法主要原理有以下几部分：

a)读取图像灰度信息；

b)图像灰度信息进行HIS空间或者lαβ空间映射；

c)再将HIS空间或者lαβ空间信息进行RGB空间信息映射；

d)最终将RGB图像信息显示。

HIS空间转RGB空间法和lαβ空间转RGB空间法主要缺点有：

a)计算量较大，具有LOG函数，不易工程实现；

b)处理图像过渡直接，会降低图像的分辨率。

基于单像素权值的融合方法主要原理有以下几部分：

a)实时读取两幅图像每个像素点的像素；

b)根据算法策略对同一位置点的两幅图像的像素进行加权；

c)在同一位置点得到一个新的像素值；

d)遍历整幅图像，将会得到一幅融合的新的图像；

e)硬件实现中实时进行处理，将会得到一个连续的视频。

基于单像素权值的融合方法主要缺点有：

a)基于单像素点的判断规则不全面，容易将部分不需要的图像信息点放大 (例如图像的噪声、盲元等)；

b)融合后图像信息容易互相淹没，过亮或者过暗的像素点容易放大；

c)融合效果不佳，达不到增强的效果。

基于区域像素计算的融合方法主要原理有：

a)取两幅图像部分图像区域，以区域计算的像素值代替一个位置点的像素；

b)得到一位置点新的像素值；

c)区域遍历整幅图像，将会得到一幅融合的新的图像；

d)硬件实现中实时进行处理，将会得到一个连续的视频。

基于区域像素计算的融合方法主要缺点有：

a)计算量较大，硬件工程化实现较难；

b)容易造成图像延时。

如何克服现有技术的不足是目前颜色空间转换灰度融合技术领域亟需解决 的问题。

发明内容

目前，颜色空间转换和灰度融合技术都比较成熟，但是通过颜色空间转换 进行灰度融合的方法目前文献还没有报道，本专利申请提出的基于颜色空间转 换的灰度融合增强方法，主要采用的颜色空间是RGB空间和YCbCr空间，核 心思想是RGB空间与YCbCr空间之间的转换关系和参数设置。

为实现上述目的，本发明采用的技术方案如下：

一种基于颜色空间转换的灰度融合增强方法，包括如下步骤：

步骤一：参考图像RGB图像信息的均值、标准差计算：

根据参考图像RGB图像信息，分别计算出参考图像R空间信息、G空间信 息和B空间信息的均值，分别记为u(R0)、u(G0)、u(B0)；同时分别计算出参考 图像R空间信息、G空间信息和B空间信息的标准差值，分别记为σ(R0)、σ(G0)、 σ(B0)，计算公式如下：

其中a_i代表对应空间第i个的图像信息，n代表计算的总个数；

所述的参考图像为黑白图像；

步骤二：R1、G1、B1的计算：

根据待处理视频图像的灰度值Y，计算新的R空间信息、G空间信息和B 空间信息，分别记为N(R1)、N(G1)、N(B1)；所述的待处理视频图像有两幅， 为同一画面的两个通道的视频图像，记为图像ir和图像llp；

计算公式如下：

N(G1)＝MAX(Y(ir)、Y(llp))

N(B1)＝Y(llp)

步骤三：新的均值、标准差计算：

根据步骤二计算出来的R空间信息、G空间信息和B空间信息，分别计算 出对应均值和标准差值，均值分别记为u(R1)、u(G1)、u(B1)，标准差值分别记 为σ(R1)、σ(G1)、σ(B1)；计算公式如下：

其中a_i代表对应空间第i个的图像信息，n代表计算的总个数；

步骤四：R2、G2、B2的计算；

根据u(R0)、u(G0)、u(B0)、u(R1)、u(G1)、u(B1)和σ(R0)、σ(G0)、σ(B0)、 σ(R1)、σ(G1)、σ(B1)计算出新的R、G、B空间信息，分别记为N(R2)、N(G2)、 N(B2)；

N(R2)＝σ(R0)/σ(R1)[(R-u(R0)]+u(R0)

N(G2)＝σ(G0)/σ(G1)[(G-u(G0)]+u(G0)

N(B2)＝σ(B0)/σ(B1)[(B-u(B0)]+u(B0)

步骤五：R2、G2、B2转换到YCbCr空间：

将步骤四得到的新的R、G、B空间信息转换到YCbCr空间下，得到图像 ir和图像llp的融合图像。

本发明是两通道图像融合，最终目的是将两通道不同的视频图像进行融合， 在同一通道中进行显示出来，所以待处理视频图像是两幅；但本发明不限制待 处理视频图像可以是多幅的情况；

本发明最终得到的融合图像是新的图像，是ir和llp融合图像，该融合图像 同时具有ir和llp图像的信息，是最终申请人想要的图像。

本发明与现有技术相比，其有益效果为：

(1)本发明方法计算简单，易于FPGA工程实现，能够实时处理，没有图 像延时；

(2)本发明方法融合图像尽可能多的保留了原始图像信息，达到信息互补 作用；

(3)本发明方法融合后图像细节增强，提升辨识效果。

(4)传统的基于单像素权值融合方法容易将过亮或者过暗目标放大，而本 专利申请的融合方法能够充分抑制过亮和过暗目标，最终的融合图像不会造成 图像信息互相掩盖的情况；基于区域像素计算的融合方法，计算量较大，不容 易工程化实现，而本文专利发明内容能够实时实现，可以处理50Hz/S的视频图 像。

附图说明

图1为参考图像T；

图2为待处理视频图像；其中，左图为图像ir，右图为图像llp；

图3为灰度融合图像；

图4为本发明方法流程图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限 定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所 描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商 者，均为可以通过购买获得的常规产品。

为了说明具体的实施过程，假设参考图像T(如图1)的RGB信息是3×3 的矩阵大小，其中T(R0)，T(G0)，T(B0)分别表示参考图像的R空间信息、G 空间信息、B空间信息，如表1、表2和表3所示。

表1参考图像T的R空间信息

T11(R0)	T12(R0)	T13(R0)
			T21(R0)	T22(R0)	T23(R0)
T31(R0)	T32(R0)	T33(R0)

表2参考图像T的G空间信息

T11(G0)	T12(G0)	T13(G0)
			T21(G0)	T22(G0)	T23(G0)
T31(G0)	T32(G0)	T33(G0)

表3参考图像T的B空间信息

T11(B0)	T12(B0)	T13(B0)
			T21(B0)	T22(B0)	T23(B0)
T31(B0)	T32(B0)	T33(B0)

为了说明具体的实施过程，假设输入的待处理视频图像——图像ir(如图2 左图)和图像llp(如图2右图)分别为3×3的矩阵大小，如表4和表5所示， 其中Y(ir)和Y(llp)分别代表图像ir、图像llp(的灰度值；

表4ir图3×3矩阵

Y11(ir)	Y12(ir)	Y13(ir)
			Y21(ir)	Y22(ir)	Y23(ir)
Y31(ir)	Y32(ir)	Y33(ir)

表5llp图3×3矩阵

Y11(llp)	Y12(llp)	Y13(llp)
			Y21(llp)	Y22(llp)	Y23(llp)
Y31(llp)	Y32(llp)	Y33(llp)

步骤一：根据参考图像T的R、G、B空间信息(表1、表2和表3)，分别 计算出参考图像的各空间的均值与标准差值，均值分别记为u(R0)、u(G0)、 u(B0)，标准差值分别记为σ(R0)、σ(G0)、σ(B0)，具体计算过程如下：

步骤二：根据表4和表5中ir图像的灰度值Y(ir)与llp图像的灰度值Y(llp)， 计算新的R空间信息、G空间信息和B空间信息，分别为N(R1)、N(G1)、N(B1)， 新的R、G、B空间信息如表6、表7和表8所示，具体计算公式如下：

同理可得

N11(G1)＝MAX(Y11(ir)、Y11(llp))

N12(G1)＝MAX(Y12(ir)、Y12(llp))

同理可得

N33(G1)＝MAX(Y33(ir)、Y33(llp))

N11(B1)＝Y11(llp)

N12(B1)＝Y12(llp)

同理可得

N33(B1)＝Y33(llp)

表6新的R空间信息N(R1)

N11(R1)	N12(R1)	N13(R1)
			N21(R1)	N22(R1)	N23(R1)
N31(R1)	N32(R1)	N33(R1)

表7新的G空间信息N(G1)

N11(G1)	N12(G1)	N13(G1)
			N21(G1)	N22(G1)	N23(G1)
N31(G1)	N32(G1)	N33(G1)

表8新的B空间信息N(B1)

N11(B1)	N12(B1)	N13(B1)
			N21(B1)	N22(B1)	N23(B1)
N31(B1)	N32(B1)	N33(B1)

步骤三：步骤二计算出来的R空间信息、G空间信息和B空间信息，分别 计算出对应均值和标准差值，均值分别记为u(R1)、u(G1)、u(B1)，标准差值分 别记为σ(R1)、σ(G1)、σ(B1)；具体计算公式如下：

步骤四：R2、G2、B2的计算：

根据u(R0)、u(G0)、u(B0)、u(R1)、u(G1)、u(B1)和σ(R0)、σ(G0)、σ(B0)、 σ(R1)、σ(G1)、σ(B1)计算出新的R、G、B空间信息，分别记为N(R2)、N(G2)、 N(B2)；结果如图表9、表10和表11所示；具体计算公式如下：

同理可得

同理可得

同理可得

表9新的R空间信息

N11(R2)	N12(R2)	N13(R2)
			N21(R2)	N22(R2)	N23(R2)
N31(R2)	N32(R2)	N33(R2)

表10新的G空间信息

N11(G2)	N12(G2)	N13(G2)
			N21(G2)	N22(G2)	N23(G2)
N31(G2)	N32(G2)	N33(G2)

表11新的B空间信息

N11(B2)	N12(B2)	N13(B2)
			N21(B2)	N22(B2)	N23(B2)
N31(B2)	N32(B2)	N33(B2)

步骤五：R2、G2、B2转换到YCbCr空间：

将步骤四得到的新的R、G、B空间信息转换到YCbCr空间下，得到图像 ir和图像llp的融合图像，将融合图像灰度信息显示出来，如图3所示，得到的 是ir和llp的融合图像，同时具有ir和llp图像信息，并且融合图像不会被过亮 或者过暗信息覆盖。

传统的基于单像素权值融合方法容易将过亮或者过暗目标放大，而本专利 申请的融合方法能够充分抑制过亮和过暗目标，最终的融合图像不会造成图像 信息互相掩盖的情况；基于区域像素计算的融合方法，计算量较大，不容易工 程化实现，而本文专利发明内容能够实时实现，可以处理50Hz/S的视频图像。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的 技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描 述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还 会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发 明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于颜色空间转换的灰度融合增强方法，其特征在于，包括如下步骤：

步骤一：参考图像RGB图像信息的均值、标准差计算：

根据参考图像RGB图像信息，分别计算出参考图像R空间信息、G空间信息和B空间信息的均值，分别记为u(R0)、u(G0)、u(B0)；同时分别计算出参考图像R空间信息、G空间信息和B空间信息的标准差值，分别记为σ(R0)、σ(G0)、σ(B0)，计算公式如下：

其中

代表R空间信息、G空间信息和B空间信息中对应一个空间信息，n代表计算的总个数；

步骤二：R1、G1、B1的计算：

根据待处理视频图像的灰度值Y，计算新的R空间信息、G空间信息和B空间信息，分别记为N(R1)、N(G1)、N(B1)；所述的待处理视频图像有两幅，记为图像ir和图像llp；

计算公式如下：

步骤三：新的均值、标准差计算：

根据步骤二计算出来的R空间信息、G空间信息和B空间信息，分别计算出对应均值和标准差值，均值分别记为u(R1)、u(G1)、u(B1)，标准差值分别记为σ(R1)、σ(G1)、σ(B1)；计算公式如下：

其中

代表R空间信息、G空间信息和B空间信息中对应一个空间信息，n代表计算的总个数；

步骤四：R2、G2、B2的计算：

根据u(R0)、u(G0)、u(B0)、u(R1)、u(G1)、u(B1)和σ(R0)、σ(G0)、σ(B0)、σ(R1)、σ(G1)、σ(B1)计算出新的R、G、B空间信息，分别记为N(R2)、N(G2)、N(B2)；

；

步骤五：R2、G2、B2转换到YCbCr空间：

将步骤四得到的新的R、G、B空间信息转换到YCbCr空间下，得到图像ir和图像llp的融合图像。

Images