CN103020943B - 一种结合数据融合技术的实时铁路线阵彩色图像修复算法 - Google Patents

Abstract

本发明提供一种结合数据融合技术的铁路线阵彩色图像修复算法，包括以下步骤：将待修复的彩色图像进行RGB到HSI的空间变换；分别针对H，S，和I分量子图图像的待修复区域的每一个像素，进行区域特征判断，将其分为平坦区域和边缘区域；对于平坦区域的像素点，利用插值算法，计算出该像素点的估计像素值，并用估计像素值替换该像素点的原像素值；对于边缘区域的像素点，利用插值算法结合数据融合方法，计算出该像素点的估计灰度值，并用估计灰度值替换该像素点的原灰度值，得到修复后的H，S，和I分量子图；将修复后的分量子图图像进行HSI到RGB的转换，获得最终的图像。本发明的有益效果是能够准确的对图像进行修复。

Description

一种结合数据融合技术的实时铁路线阵彩色图像修复算法

技术领域

本发明涉及图像修复技术，属于图像处理技术领域，尤其是涉及一种结合数据融合技术的实时铁路线阵彩色图像修复算法。

背景技术

受限制于线阵CCD相机的安装局限性和铁路建设施工的安全要求，铁路货运列车的图像中经常出现非正常前景，这对人眼观察和其他基于图像的智能识别都有一定影响。一般的方法都是将这些非正常前景进行去除，这就使得图像不再完整，不宜与观察，而简单的修复方法又无法保证图像质量，降低了图像内容的整体性。

发明内容

本发明要解决的问题是提供一种结合数据融合技术的实时铁路线阵彩色图像修复算法，能够准确的对图像进行修复。

为解决上述技术问题，本发明采用的技术方案是：一种结合数据融合技术的实时铁路线阵彩色图像修复算法，其特征在于，包括以下步骤：

步骤一：将待修复的彩色图像进行RGB到HSI的空间变换，获得H色相、S饱和度、I照度三个分量子图；

步骤二：分别针对H，S，和I分量子图图像的待修复区域的每一个像素，进行区域特征判断，将其分为平坦区域和边缘区域；

步骤三：对于平坦区域的像素点，利用插值算法，计算出该像素点的估计像素值，并用估计像素值替换该像素点的原像素值；

步骤四：对于边缘区域的像素点，利用插值算法结合数据融合方法，计算出该像素点的估计灰度值，并用估计灰度值替换该像素点的原灰度值，得到修复后的H，S，和I分量子图；

步骤五：将三个修复后的分量子图图像进行HSI到RGB的转换，获得最终的图像结果。

对于所述步骤三、步骤四中的插值算法，当针对I分量子图进行运算时，所述插值算法为Cubic三次样条插值算法；当针对H，S分量子图进行运算时，所述插值算法为双线性插值法。

所述步骤一中的RGB到HSI的变换方法包括以下步骤：

(1)获取图像中的待修复区域参数：图像中待修复区域起始位置的X,Y轴的坐标，以及区域的长度和宽度。

(2)将通过待修复区域的三个分量子图R，G，B的值，计算H、S、I值，计算公式如下：

I＝1/3(R+G+B)

S＝1-(3/(R+G+B))*a

H＝cos^(-1)((0.5*((R-G)+(R-B)))/((R-G)^2+(R-B)*(G-B))^(0.5))

其中，a是R，G，B中的最小值；

所述步骤二中对像素进行区域特征判断的方法，包括如下步骤：

(1)首先计算每个像素点s，在垂直方向以及两条对角线45度和135度方向上，梯度变化的平均值：avg45、avg90、avg135；

(2)设置阈值T；

(3)对梯度变化的平均值：avg45、avg90、avg135以及阈值T进行比较，判断该像素的区域特征；

所述判断规则为：如果avg45<T，同时avg90<T，同时avg135<T，则认为该像素点所处位置是平坦区域；否则就认为该像素点所处位置为边缘区域。

所述步骤(1)中梯度变化平均值的计算方法如下：

a.对每个像素点s，取其两条对角线45度和135度、垂直方向三个方向上下对称的5-10个邻域像素值，得到三组像素集合，即C(P₄₅,P₉₀,P₁₃₅)；

b.对于一组集合Fk(Pn),其中，k＝1…3，分别代表三个方向,n＝1…5～10，代表取了上下对称的n个邻域像素；那么Fk的梯度值计算如下：

$\&dtri;F_k=\frac{\&part;F_k}{\&part;x}\hat{i}+\frac{\&part;F_k}{\&part;y}\hat{j}$

c.依据下面的公式计算各个像素集合Fk的梯度绝对值之和：

$Sum\left(F_k\right)=\sqrt{w*\&Sigma;{\left|Lx\right|}^2+\left(1-w\right)\&Sigma;{\left|Ly\right|}^2},\left(w\&Element;\left(0,1\right),k=\mathrm{1...3}\right)$

其中，Lx代表集合中X轴方向的梯度值，Ly代表集合中Y轴方向的梯度值，w代表权重。

d.依据下面公式计算各个像素集合Fk的梯度变化平均值：

$\begin{array}{cc}avg\left(P\right)=\frac{Sum\left(F_k\right)}{n}& n=\mathrm{1...5}~10\end{array}$

其中，k＝1时，avg(P)＝avg45代表45度方向上梯度变化的平均值；

k＝2时，avg(P)＝avg90代表垂直方向上梯度变化的平均值；

k＝3时，avg(P)＝avg135代表135度方向上梯度变化的平均值。

所述步骤(2)中阈值T为10-15，所述步骤c中权重w为0.3。

所述步骤三中利用插值算法，计算该像素点的估计像素值的方法为：对于像素点s，取其两条对角线45度、135度和垂直方向的上下对称的5-10个邻域像素值，计算每个方向上的梯度绝对值之和Sum(F_k)(k＝1…3)，取Sum(F₁)、Sum(F₂)、Sum(F₃)中最小的一组象素集合的每一个像素值，利用插值算法算出该象素集合的中点即为像素点s的估计像素值。

8.根据权利要求1所述的算法，其特征在于：所述步骤四中利用插值算法结合数据融合方法，计算该像素点的估计灰度值的方法为：

(1)在45度、135度和垂直方向，分别取上下对称的5-10个邻域像素值，对待估计像素点s进行插值算法运算，得到待估计点s的三个方向上算出的估计值I_s1、I_s2、I_s3；

(2)对估计值I_s1、I_s2、I_s3进行数据融合，得到像素点s的估计灰度值，所述数据融合的方法如下：

先计算出像素点s在三个方向上的梯度变化平均值v_i(i＝1,2,3)，然后计算出每个方向上的权值系数α₁、α₂、α₃：

${\mathrm{\&alpha;}}_1=\frac{{\mathrm{\&theta;}}_1}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_2=\frac{{\mathrm{\&theta;}}_2}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_3=\frac{{\mathrm{\&theta;}}_3}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

其中 ${\mathrm{\&theta;}}_i\begin{array}{cc}=e^{\frac{v_i}{\mathrm{\&delta;}}}& i=1,2,3,\end{array}$ δ是可调参数；

最后根据下述融合公式，计算该像素点的估计灰度值I_s：

I_s＝α₁I_s1+α₂I_s2+α₃I_s3

所述步骤(2)中的可调参数δ为5-15。

所述步骤五中HSI到RGB的转换方法为：根据修复后的H，S，和I分量子图的H、S、I值进行如下计算，

如果0<H<＝120

B＝1/3(1-S)

R＝1/3(1+[(ScosH)/(cos(60-H))])

G＝1-(B+R)

如果120<H<＝240

H＝H-120

R＝1/3(1-S)

G＝1/3(1+[(ScosH)/(cos(60-H))])

B＝1-(R+G)

如果240<H<＝360

H＝H-240

G＝1/3(1-S)

B＝1/3(1+[(ScosH)/(cos(60-H))])

R＝1-(G+B)

得到最终图像的B、R、G值。

本发明具有的优点和积极效果是：由于采用上述技术方案，该算法不仅可以准确的对图像进行修复，还保证了图像的自然性和完整性，同时时间复杂度大大降低，能够满足实时性要求。

附图说明

图1是本发明的算法流程示意图

图2是未处理的原始图像

图3是利用本发明算法进行修复后的图像

具体实施方式

实施例1

如图1所示，本发明包括以下步骤：

步骤一：将待修复的彩色图像进行RGB到HSI的空间变换，获得H色相、S饱和度、L照度三个分量子图；

(1)获取图像中的待修复区域参数：图像中待修复区域起始位置的X,Y轴的坐标，以及区域的长度和宽度。

(2)将通过待修复区域的三个分量子图R，G，B的值，计算H、S、I值，计算公式如下：

I＝1/3(R+G+B)

S＝1-(3/(R+G+B))*a

H＝cos^(-1)((0.5*((R-G)+(R-B)))/((R-G)^2+(R-B)*(G-B))^(0.5))

其中，a是R，G，B中的最小值。

步骤二：分别针对H，S，和I分量子图图像的待修复区域的每一个像素，进行区域特征判断，将其分为平坦区域和边缘区域；

(1)首先计算每个像素点s，在垂直方向以及两条对角线45度和135度方向上，梯度变化的平均值：avg45、avg90、avg135；

计算方法为：a.对每个像素点s，取其两条对角线45度和135度、垂直方向三个方向上下对称的5-10个邻域像素值，得到三组像素集合，即C(P45,P90,P135)；

b.对于一组集合Fk(Pn),其中，k＝1…3，分别代表三个方向,n＝1…5～10，代表取了上下对称的n个邻域像素；那么Fk的梯度值计算如下：

$\&dtri;F_k=\frac{\&part;F_k}{\&part;x}\hat{i}+\frac{\&part;F_k}{\&part;y}\hat{j}$

c.依据下面的公式计算各个像素集合Fk的梯度绝对值之和：

$Sum\left(F_k\right)=\sqrt{w*\&Sigma;{\left|Lx\right|}^2+\left(1-w\right)\&Sigma;{\left|Ly\right|}^2},\left(w\&Element;\left(0,1\right),k=\mathrm{1...3}\right)$

其中，Lx代表集合中X轴方向的梯度值，Ly代表集合中Y轴方向的梯度值，w代表权重,w＝0.3；

d.依据下面公式计算各个像素集合Fk的梯度变化平均值：

$\begin{array}{cc}avg\left(P\right)=\frac{Sum\left(F_k\right)}{n}& n=\mathrm{1...5}~10\end{array}$

其中，k＝1时，avg(P)＝avg45代表45度方向上梯度变化的平均值；

k＝2时，avg(P)＝avg90代表垂直方向上梯度变化的平均值；

k＝3时，avg(P)＝avg135代表135度方向上梯度变化的平均值。

(2)设置阈值T＝13；

(3)对梯度变化的平均值：avg45、avg90、avg135以及阈值T进行比较，判断该像素的区域特征；

所述判断规则为：如果avg45<T，同时avg90<T，同时avg135<T，则认为该像素点所处位置是平坦区域；否则就认为该像素点所处位置为边缘区域。

步骤三：对于平坦区域的像素点，利用插值算法，计算出该像素点的估计像素值，并用估计像素值替换该像素点的原像素值；

对于像素点s，取其两条对角线45度、135度和垂直方向的上下对称的5-10个邻域像素值，计算每个方向上的梯度绝对值之和Sum(F_k)(k＝1…3)，取Sum(F₁)、Sum(F₂)、Sum(F₃)中最小的一组象素集合的每一个像素值，利用插值算法算出该象素集合的中点---像素点s的估计像素值。

步骤四：对于边缘区域的像素点，利用插值算法结合数据融合方法，计算出该像素点的估计灰度值，并用估计灰度值替换该像素点的原灰度值，得到修复后的H，S，和I分量子图:

(1)在45度、135度和垂直方向，分别取上下对称的5-10个邻域像素值，对待估计像素点s进行插值算法运算，得到待估计点s的三个方向上算出的估计值I_s1、I_s2、I_s3；

(2)对估计值I_s1、I_s2、I_s3进行数据融合，得到像素点s的估计灰度值，所述数据融合的方法如下：

先计算出像素点s在三个方向上的梯度变化平均值v_i(i＝1,2,3)，然后计算出每个方向上的权值系数α₁、α₂、α₃：

${\mathrm{\&alpha;}}_1=\frac{{\mathrm{\&theta;}}_1}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_2=\frac{{\mathrm{\&theta;}}_2}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_3=\frac{{\mathrm{\&theta;}}_3}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

其中δ是可调参数，δ＝10；

最后根据下述融合公式，计算该像素点的估计灰度值I_s：

I_s＝α₁I_s1+α₂I_s2+α₃I_s3

对于所述步骤三、步骤四中的插值算法，当针对I分量子图进行运算时，所述插值算法为Cubic三次样条插值算法；当针对H，S分量子图进行运算时，所述插值算法为双线性插值法。

步骤五：将三个修复后的分量子图图像进行HSI到RGB的转换，获得最终的图像结果。

根据修复后的H，S，和I分量子图的H、S、I值进行如下计算，得到最终图像的B、R、G值。

如果0<H<＝120

B＝1/3(1-S)

R＝1/3(1+[(ScosH)/(cos(60-H))])

G＝1-(B+R)

如果120<H<＝240

H＝H-120

R＝1/3(1-S)

G＝1/3(1+[(ScosH)/(cos(60-H))])

B＝1-(R+G)

如果240<H<＝360

H＝H-240

G＝1/3(1-S)

B＝1/3(1+[(ScosH)/(cos(60-H))])

R＝1-(G+B)

效果例1：

图2是未处理的原始图像，将其利用实施例1所述算法进行修复后得到的最终图像如图3所示。

由效果图可知，该算法不仅可以准确的对图像进行修复，还保证了图像的自然性和完整性，同时时间复杂度大大降低，能够满足实时性要求。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (9)

1.一种结合数据融合技术的实时铁路线阵彩色图像修复方法，其特征在于，包括以下步骤：

步骤一：将待修复的彩色图像进行RGB到HSI的空间变换，获得H色相、S饱和度、I照度三个分量子图；

步骤二：分别针对H，S，和I分量子图图像的待修复区域的每一个像素，进行区域特征判断，将其分为平坦区域和边缘区域；

步骤三：对于平坦区域的像素点，利用插值方法，计算出该像素点的估计像素值，并用估计像素值替换该像素点的原像素值；

步骤四：对于边缘区域的像素点，利用插值方法结合数据融合方法，计算出该像素点的估计灰度值，并用估计灰度值替换该像素点的原灰度值，得到修复后的H，S，和I分量子图；

步骤五：将三个修复后的分量子图图像进行HSI到RGB的转换，获得最终的图像结果；

所述步骤二中对像素进行区域特征判断的方法，包括如下步骤：

(1)首先计算每个像素点s，在垂直方向以及两条对角线45度和135度方向上，上下对称的5-10个邻域像素值的梯度变化的平均值：avg90、avg45、avg135；

(2)设置阈值T；

(3)对梯度变化的平均值：avg45、avg90、avg135与阈值T进行比较，判断该像素的区域特征；

判断规则为：如果avg45<T，同时avg90<T，同时avg135<T，则认为该像素点所处位置是平坦区域；否则就认为该像素点所处位置为边缘区域。

2.根据权利要求1所述的方法，其特征在于：对于所述步骤三、步骤四中的插值方法，当针对I分量子图进行运算时，所述插值方法为Cubic三次样条插值方法；当针对H，S分量子图进行运算时，所述插值方法为双线性插值法。

3.根据权利要求1所述的方法，其特征在于：所述步骤一中的RGB到HSI的变换方法包括以下步骤：

(1)获取图像中的待修复区域参数：图像中待修复区域起始位置的X，Y轴的坐标，以及区域的长度和宽度；

(2)通过待修复区域的三个分量子图R，G，B的值，计算H、S、I值，计算公式如下：

I＝1/3(R+G+B)

S＝1-(3/(R+G+B))*a

H＝cos^(-1)((0.5*((R-G)+(R-B)))/((R-G)^2+(R-B)*(G-B))^(0.5))

其中，a是R，G，B中的最小值。

4.根据权利要求1所述的方法，其特征在于：所述步骤(1)中梯度变化平均值的计算方法如下：

a.对每个像素点s，取其两条对角线45度和135度、垂直方向三个方向上下对称的5-10个邻域像素值，得到三组像素集合；

b.对于一组集合F_k(Pn),其中，k＝1…3，分别代表三个方向,n＝5～10，代表取了上下对称的n个邻域像素；那么F_k的梯度值计算如下：其中分别代表水平和垂直方向上的单位向量；

$\&dtri;F_k=\frac{\&part;F_k}{\&part;x}\hat{i}+\frac{\&part;F_k}{\&part;y}\hat{j}$

c.依据下面的公式计算各个像素集合F_k的梯度绝对值之和：

$Sum\left(F_k\right)=\sqrt{w*\mathrm{\&Sigma;}|Lx{|}^2+(1-w)\mathrm{\&Sigma;}|Ly{|}^2},w\&Element;(0,1),k=\mathrm{1...3}$

其中，Lx代表集合中X轴方向的梯度值，Ly代表集合中Y轴方向的梯度值，w代表权重；

d.依据下面公式计算各个像素集合F_k的梯度变化平均值：

$avg\left(P\right)=\frac{Sum\left(F_k\right)}{n},n=5~10,$

其中，k＝1时，avg(P)＝avg45代表45度方向上梯度变化的平均值；

k＝2时，avg(P)＝avg90代表垂直方向上梯度变化的平均值；

k＝3时，avg(P)＝avg135代表135度方向上梯度变化的平均值。

5.根据权利要求4所述的方法，其特征在于：所述步骤(2)中阈值T为10-15，所述步骤c中权重w为0.3。

6.根据权利要求1所述的方法，其特征在于：所述步骤三中利用插值方法，计算该像素点的估计像素值的方法为：对于像素点s，取其两条对角线45度、135度和垂直方向的上下对称的5-10个邻域像素值，计算每个方向上的梯度绝对值之和Sum(F_k),k＝1...3，取Sum(F₁)、Sum(F₂)、Sum(F₃)中最小的一组像素集合的每一个像素值，利用插值方法算出该像素集合的中点即为像素点s的估计像素值。

7.根据权利要求1所述的方法，其特征在于：所述步骤四中利用插值方法结合数据融合方法，计算该像素点的估计灰度值的方法为：

(1)在45度、135度和垂直方向，分别取上下对称的5-10个邻域像素值，对待估计像素点s进行插值方法运算，得到待估计点s的三个方向上算出的估计值I_s1、I_s2、I_s3；

(2)对估计值I_s1、I_s2、I_s3进行数据融合，得到像素点s的估计灰度值，所述数据融合的方法如下：

先计算出像素点s在三个方向上的梯度变化平均值v_i，i＝1,2,3然后计算出每个方向上的权值系数α₁、α₂、α₃：

${\mathrm{\&alpha;}}_1=\frac{{\mathrm{\&theta;}}_1}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_2=\frac{{\mathrm{\&theta;}}_2}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

${\mathrm{\&alpha;}}_3=\frac{{\mathrm{\&theta;}}_3}{{\mathrm{\&theta;}}_1+{\mathrm{\&theta;}}_2+{\mathrm{\&theta;}}_3}$

其中i＝1,2,3，δ是可调参数；

最后根据下述融合公式，计算该像素点的估计灰度值I_s：

I_s＝α₁I_s1+α₂I_s2+α₃I_s3。

8.根据权利要求7所述的方法，其特征在于：所述步骤四中利用插值方法结合数据融合方法，计算该像素点的估计灰度值的方法的步骤(2)中的可调参数δ为5-15。

9.根据权利要求1所述的方法，其特征在于：所述步骤五中HSI到RGB的转换方法为：根据修复后的H，S，和I分量子图的H、S、I值进行如下计算，

如果0<H<＝120

B＝1/3(1-S)

R＝1/3(1+[(ScosH)/(cos(60-H))])

G＝1-(B+R)

如果120<H<＝240

H＝H-120

R＝1/3(1-S)

G＝1/3(1+[(ScosH)/(cos(60-H))])

B＝1-(R+G)

如果240<H<＝360

H＝H-240

G＝1/3(1-S)

B＝1/3(1+[(ScosH)/(cos(60-H))])

R＝1-(G+B)

得到最终图像的B、R、G值。