CN101334892A - 一种图像像素级融合处理方法及装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种图像像素级融合处理方法及装置，所述方法包括：将多分量图像的像素点矢量的每个分量映射为分布在一单位圆圆周上的力；计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H；计算所述像素点矢量的分量对应的力的力矩在单位圆圆周上分布的不平衡度S；计算所述像素点矢量的分量对应的力的平均强度V；将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值分别转换为RGB三基色空间的R、G、B颜色矢量。本发明实现了用非统计技术将多分量图像在像素级融合为三分量的彩色图像，解决了统计融合技术在融合过程中容易将统计上处于劣势的多分量像素点信息忽略的问题。

Description

一种图像像素级融合处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像像素级融合处理方法及装置。

背景技术

多分量图像是指图像的每个像素点可以表示为一个矢量的图像，多分量是与单分量相对，多分量也称为多色或者多光谱。典型的多分量图像如：双波段图像，彩色图像以及多光谱图像等等。

当多分量图像的像素点矢量的分量数大于3时，人的视觉系统无法直接接收多分量图像中的全部信息。现有技术中，为了适应人的视觉系统，一般采取两类方式：

第一类方式，将分量大于3的多分量图像每次选出3种分量，将它们映射到RGB三色通道显示，这种方式的缺点是无法同时观察到大于三个分量的信息；

第二类方式，将多分量图像的像素矢量首先进行降维，然后将降维后的像素矢量选出3个分量，将它们映射到RGB三色通道显示，这种方式的优点是提供了同时观察含有三个分量以上的多分量信息的能力。

目前第二类方式的已有的典型的方法是基于主分量分析降维可视化方法，该方法首先计算多分量图像像素矢量的协方差矩阵，求出协方差矩阵的特征值，根据特征值的能量分布选出3个合适的特征值对应的特征矢量，然后将多分量图像投影到这3个特征矢量方向上，从而将多分量图像像素矢量降为三维，然后将它们映射到RGB三色通道显示。

由于上述主分量分析降维可视化方法是一种基于统计的方法，若多分量图像中某些特有的像素点矢量在统计上处于劣势，则在降维以后的图像中这些像素点的信息将可能被忽略而无法被有效观察到。

发明内容

本发明实施例的目的在于提供一种图像像素级融合处理方法，旨在解决现有统计融合技术中容易将统计上处于劣势的多分量像素点信息忽略的问题。

本发明实施例是这样实现的，一种图像像素级融合处理方法，所述方法包括以下步骤：

将多分量图像的像素点矢量的每个分量映射为分布在一单位圆圆周上的力；

计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H；

计算所述像素点矢量的分量对应的力的力矩在单位圆周上分布的不平衡度S；

计算所述像素点矢量的分量对应的力的平均强度V；

将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值分别转换为RGB三基色空间的R、G、B颜色矢量。

本发明实施例的另一目的在于提供一种图像像素级融合处理装置，所述装置包括：

像素点矢量映射模块，用于将多分量图像的像素点矢量的每个分量映射为分布在一单位圆圆周上的力；

向径方向计算模块，用于计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H；

不平衡度计算模块，用于计算所述像素点矢量的分量对应的力的力矩在单位圆周上分布的不平衡度S；

强度计算模块，用于计算所述像素点矢量的分量对应的力的平均强度V；

图像映射模块，用于将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值分别转换为RGB三基色空间的R、G、B颜色矢量。

本发明实施例通过将像素点矢量的每个分量映射为分布在一单位圆周上的力，分别计算像素点矢量的分量对应的力对单位圆圆心的合力矩在单位圆周上的等效力的向径方向H、分量对应的力的力矩在单位圆周上分布的不平衡度S以及分量对应的力的平均强度V，并将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，将颜色的色调、饱和度和强度值转换为RGB三基色空间的R、G、B颜色矢量，实现了用非统计技术将任意分量数的图像在像素级融合为三分量的彩色图像，解决了现有主分量分析等统计融合技术在融合过程中容易将统计上处于劣势的多分量像素点信息忽略的问题。

附图说明

图1是本发明实施例提供的图像像素级融合处理方法的流程图；

图2是本发明实施例使用的单位圆周示意图；

图3是本发明实施例提供的像素点矢量映射的示意图；

图4是本发明实施例使用的力矩示意图；

图5是本发明实施例使用的两个矢量叉积示意图；

图6是本发明实施例提供的力的划分示意图；

图7是本发明实施例提供的图像像素级融合处理装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过将像素点矢量的每个分量映射为分布在一单位圆周上的力，分别计算像素点矢量的分量对应的力对单位圆圆心的合力矩在单位圆周上的等效力的向径方向H、分量对应的力的力矩在单位圆周上分布的不平衡度S以及分量对应的力的平均强度V，并将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，将颜色的色调、饱和度和强度值转换为RGB三基色空间的R、G、B颜色矢量。

图1示出了本发明实施例提供的图像像素级融合处理方法的流程，详述如下。

在步骤S101中，将像素点矢量的每个分量映射为分布在一单位圆圆周上的力。

在具体实施过程中，设置一单位圆，针对像素点矢量的每个分量对应的力，在单位圆周上指派一个作用点，其中，每个分量值的大小为该分量对应的力的大小，力的作用方向与单位圆周的法线方向同向。

本发明中的单位圆周是指在原点为O，坐标轴分别为x、y、z的3维直角坐标系Oxyz中，在xOy平面上的圆心在原点O处的单位圆的圆周。请参阅图2。

单位圆周上的任意一点r_k＝(x_k，y_k，0)是一个xOy平面上的矢量，且满足公式(1)：

$\left|\right|r_k\left|\right|=\sqrt{x_k^2+y_k^2}=1---\left(1\right)$

在公式(1)中，||·||为矢量的长度运算公式，该单位圆周的法线方向为z轴的方向。

其中，像素点矢量的每个分量排列序的确定一般与问题域有关，且一般与多分量图像的获取过程或获取方式有关。

譬如，太赫兹时域光谱(THz-TDS)图像中的每个像素在获取时得到的是一个时间响应脉冲，经过相应处理得到的频谱或吸收谱是一个高维矢量，该矢量中每个分量的排列一般是按照谱的波长序排列的，具有自然的序结构。而遥感多光谱图像中的各个单色光谱图有些是同时且通过同一个传感器获得的，有些是同时但通过不同传感器获得然后经过校正后的图，有些是非同时、非同一传感器获得并经过校正后的图，这些组成多分量图像的各个单色光谱图的分量排列方式可以按照光谱的波长排列，也可以按照特定的问题域的要求排列。

在本发明中，将像素点矢量的每个分量映射为分布在单位圆周上的力时，向径在单位圆周上可以是均匀映射，也可以是非均匀映射。由于向径是在单位圆周上，而单位圆在xOy平面内，其一般的表达式如公式(2)所示：

r_k＝(x_k，y_k，0)    (2)

并且该公式满足单位圆周的公式(1)： $\left|\right|r_k\left|\right|=\sqrt{x_k^2+y_k^2}=1.$

对于均匀映射的情况，假设规定第一个分量的向径为r₁＝(1，0，0)，则分量的向径可以同一由公式(3)计算得到：

$r_k=\left(\cos (2\mathrm{\π}\frac{k-1}{n}\right),$ $\sin \left(2\mathrm{\π}\frac{k-1}{n}\right),0),$ 1≤k≤n    (3)

像素的每个分量f_k对应的“力”F_k由公式(4)给出：

F_k＝(0，0，f_k)，1≤k≤n    (4)

该力作用点在对应的向径r_k处，从而得到与单位圆周相关的一个“力系”：

{(r₁，F₁)，...，(r_k，F_k)，...，(r_n，F_n)}    (5)

请参阅图3。

在步骤S102中，计算像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H。

在具体实施过程中，首先计算像素点矢量的分量对应的力对单位圆圆心的合力矩M；

根据刚体力学理论，已知由O点发出的向径r_k和在向径端上作用的力F_k，则该力对点O的力矩可以用公式(6)计算得到：

M_k＝r_k×F_k    (6)

力矩M_k是一个矢量，请参阅图4。

其中，公式(6)中矢量的叉积运算由以下定义得到：

假设给定两个3维实向量p＝(p₁，p₂，p₃)∈R³和q＝(q₁，q₂，q₃)∈R³，则其叉积运算记为公式(7)

$m=p\×q=\left|\begin{array}{ccc}i& j& k\\ p_1& p_2& p_3\\ q_1& q_2& q_3\end{array}\right|---\left(7\right)$

也可以记为等价的展开公式(8)：

m＝p×q＝(p₂q₃-p₃q₂)i+(p₃q₁-p₁q₃)j+(p₁q₂-p₂q₁)k    (8)

在公式(7)和公式(8)中，i＝(1，0，0)，j＝(0，1，0)，k＝(0，0，1)为三维空间中沿坐标轴方向的单位矢量。由上可知，两个3维矢量的叉积运算仍然是一个3维矢量，且与原来的两个矢量均正交，其方向符合右手规则，请参阅图5。

已知由刚体上点O发出的向径系{r_k，1≤k≤n}和作用于向径端的力系{F_k，1≤k≤n}，则该力系对点O的合力矩可以由公式(9)计算得到：

$M=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{M}_k=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{r}_k\×F_k---\left(9\right)$

合力矩M是n个分量力矩的和，也是一个矢量。

对于如公式(2)(4)(5)所定义的向径和力系，由力学原理可知，各分量力矩M_k是一个在xOy平面内，垂直于矢量r_k和F_k的矢量，因此其合力矩M也是一个在xOy平面中的矢量。假设||M||≠0，则力矩的方向可以由单位方向矢量m表示：

$m=\frac{M}{\left|\right|M\left|\right|}=(m_x,m_y,0)---\left(10\right)$

假设有一个作用在单位圆周上的等效的力F＝(0，0，f)也可以产生力矩M，则力F的向径e_p可以由公式(11)计算得到：

e_p＝e_z×m＝(p_x，p_y，0)＝(-m_y，m_x，0)    (11)

其中在公式(11)中，e_z＝(0，0，1)。

向径e_p方向指向的是产生合力矩M的力占优方向，该方向也是多分量图像像素矢量的n个分量共同作用下的“色谱”占优的方向，我们将其称为多分量图像像素点的主色调方向，其指向的方向角H可由公式(12)计算得到。

$H=\left\{\begin{array}{cc}\arctan \frac{p_y}{p_x},& p_x>0,p_y\&GreaterEqual;0\\ \mathrm{\&pi;}+\arctan \frac{p_y}{p_x},& p_x<0\\ 2\mathrm{\&pi;}+\arctan \frac{p_y}{p_x},& p_x>0,p_y<0\\ 0,& p_x=0,p_{y=0}\end{array}\right.---\left(12\right)$

其中，H∈[0，2π]。

其中，在该向径方向H上等效力的作用方向与单位圆的法线方向同向。

在步骤S103中，计算像素点矢量的分量对应的力的力矩在单位圆圆周上分布的不平衡度S。

在具体实施过程中，过原点O，在xOy平面内做垂直于向径e_p的直线Lm，Lm将在单位圆周上分布的力系{(r_k，F_k)，1≤k≤n}分成两个分布在直线Lm两侧的子力系{(r_p，F_p)}和{(r_q，F_q)}，请参阅图6，这两个子力系对直线Lm的力矩Mp和Mq的模量可由公式(13)和公式(14)分别计算得到，其中，力矩Mp和Mq的方向相反：

$\left|\right|M_P\left|\right|=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{1+\mathrm{sgn}[<e_p,r_k>]}{2}{f}_k<e_p,r_k>---\left(13\right)$

$\left|\right|M_q\left|\right|=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{1-\mathrm{sgn}[<e_p,r_k>]}{2}{f}_k<e_p,r_k>---\left(14\right)$

其中在公式(13)和公式(14)中，<·，·>为矢量的内积运算符，内积运算定义如下：

即若给定两个n维实向量p＝(p₁，p₂，L，p_n)∈Rⁿ和q＝(q₁，q₂，L，q_n)∈Rⁿ，则其内积运算记为公式(15)

$<p,q>=p_1{q}_1+p_2{q}_2+...+p_n{q}_n=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{p}_k{q}_k---\left(15\right)$

其中在公式(13)和公式(14)中，sgn[·]为符号函数，其运算法则如公式(16)所示。

$\mathrm{sgn}\left[x\right]=\left\{\begin{array}{cc}+1& x>0\\ 0,& x=0\\ -1,& x<0\end{array}\right.---\left(16\right)$

由于e_p为产生合力矩的力占优的方向，因此，||Mp||≥||Mq||≥0。||Mp||和||Mq||表征了以主色调的方向e_p为法向量的平面将单位圆周分为两半后，每一半所在的多分量谱对应的力系对合力矩的贡献。也反映了分布在单位圆周上的多分量谱的非均衡性。为此可以定义非均衡性度量S：

$S={\left(\frac{\left|\right|M_P\left|\right|+\left|\right|M_q\left|\right|}{\left|\right|M_P\left|\right|+\left|\right|M_q\left|\right|}\right)}^{\mathrm{\&alpha;}}---\left(17\right)$

或

$S={\left(\frac{2}{\mathrm{\&pi;}}\arctan \frac{\left|\right|M_P\left|\right|-\left|\right|M_q\left|\right|}{\left|\right|M_P\left|\right|+\left|\right|M_q\left|\right|}\right)}^{\mathrm{\&alpha;}}---\left(18\right)$

在公式(17)和(18)中，S∈[0，1]，α＞0是一个调节因子，在实际使用中一般可以选α＝1/4。

由公式(17)或(18)定义的S可以表征像素矢量的分量的力矩在单位圆周上的不平衡度，我们称其为多分量图像像素矢量的“饱和度”。

在步骤S104中，计算像素点矢量的分量对应的力的平均强度V。

对于像素点矢量f＝(f₁，f₂，…，f_n)，其分量的平均值为：

$V=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{f}_k---\left(19\right)$

由公式(19)计算的平均值V我们称为多分量图像像素点矢量的“强度”。V的意义可以解释为像素点矢量中分量的平均强度，也可以解释为像素点矢量在“白光”W＝(1，1，…，1)方向上的投影长度V_W经过规范化后的结果。

需要说明的是，本发明实施例在计算上述的H、S、V时，并不一定是按照一定的顺序进行计算，可以同时计算H、S、V。

在步骤S105中，将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值转换为RGB三基色空间的R、G、B颜色矢量。

以上各个步骤得到的H、S、V分别度量了按照一定顺序排列在单位圆周上的多分量图像像素点矢量f＝(f₁，f₂，…，f_n)的色谱占优的方向、色谱在单位圆周上分布的不均衡性以及色谱的平均能量，与颜色三特征空间中的“色调”，“饱和度”和“强度”的意义类似，分别对应多分量图像像素点矢量f＝(f₁，f₂，…，f_n)融合降维为3分量彩色图像后的色调，饱和度和强度。

为了便于用通用的显示设备对像素点矢量f＝(f₁，f₂，…，f_n)的这三个特征进行可视化，需要进行颜色三特征HSV空间到RGB三基色颜色空间变换HSV→RGB，现有技术中，颜色空间变换关系式有多种，此处不再一一列举。

本发明实施例还提供一种图像像素级融合处理装置，请参阅图7。

其中，像素点矢量映射模块71将像素点矢量的每个分量映射为分布在一单位圆圆周上的力。作为本发明的实施例，该像素点矢量映射模块71包括单位圆处理模块711。

单位圆处理模块711设置一单位圆，针对像素点矢量的每个分量对应的力，在单位圆的圆周上指派一个作用点，其中，每个分量值的大小为该分量对应的力的大小，力的作用方向与单位圆周的法线方向同向。

在具体实施过程中，将像素点矢量的每个分量映射为分布在单位圆周上的力时，向径在单位圆圆周上的分布可以是均匀，也可以是非均匀的。

向径方向计算模块72计算像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H。该向径方向计算模块72包括合力矩计算模块721。

合力矩计算模块721计算像素点矢量的分量对应的力对单位圆圆心的合力矩M，并通过合力矩的方向，控制向径方向计算模块72计算出作用点在单位圆周上的等效力所在的向径方向H，其中，在该向径方向H的等效力的作用方向与单位圆的法线方向同向。

不平衡度计算模块73计算像素点矢量的分量对应的力矩在单位圆圆周上分布的不平衡度S，该不平衡度计算模块73包括：

划线模块731生成一过单位圆圆心、且平行于合力矩M的直线Lm；

分力划分模块732通过直线Lm将分布在单位圆上的力分成直线Lm两侧的两组分力Fp和Fq；

分力合力矩计算模块733分别计算两组分力Fp和Fq对直线Lm的合力矩Mp和Mq，并控制不平衡度计算模块73计算合力矩Mp和Mq的不平衡度S。

强度计算模块74计算像素点矢量的分量对应的力的平均强度V。

图像映射模块75将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，将映射成的颜色的色调、饱和度和强度值转换为RGB三基色空间的R、G、B颜色矢量。

本发明实施例通过将像素点矢量的每个分量映射为分布在一单位圆周上的力，分别计算像素点矢量的分量对应的力对单位圆圆心的合力矩在单位圆周上的等效力的向径方向H、分量对应的力的力矩在单位圆周上分布的不平衡度S以及分量对应的力的平均强度V，并将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，将颜色的色调、饱和度和强度值转换为RGB三基色空间的R、G、B颜色矢量，实现了用非统计技术将任意分量数的图像在像素级融合为三分量的彩色图像，解决了现有主分量分析等统计融合技术在融合过程中容易将统计上处于劣势的多分量像素点信息忽略的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种图像像素级融合处理方法，其特征在于，所述方法包括以下步骤：

将多分量图像的像素点矢量的每个分量映射为分布在一单位圆圆周上的力；

计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H；

计算所述像素点矢量的分量对应的力的力矩在单位圆周上分布的不平衡度S；

计算所述像素点矢量的分量对应的力的平均强度V；

将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值分别转换为RGB三基色空间的R、G、B颜色矢量。

2、如权利要求1所述的图像像素级融合处理方法，其特征在于，所述将像素点矢量的每个分量映射为分布在单位圆圆周上的力的步骤具体包括：

设置一单位圆，针对像素点矢量的每个分量对应的力，在该单位圆的圆周上指派一个作用点，其中，所述每个分量值的大小为该分量对应的力的大小，所述力的作用方向为该单位圆的法线方向。

3、如权利要求1所述的图像像素级融合处理方法，其特征在于，所述计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H的步骤具体包括：

计算像素点矢量的分量对应的力对单位圆圆心的合力矩M；

通过合力矩的方向，计算出作用点在单位圆圆周上的等效力所在的向径方向H，其中，该向径方向H的等效力的作用方向与单位圆的法线方向同向。

4、如权利要求1所述的图像像素级融合处理方法，其特征在于，所述计算所述像素点矢量的分量对应的力的力矩在单位圆周上分布的不平衡度S的步骤具体包括：

生成一过所述单位圆圆心、且平行于合力矩M的直线Lm；

通过所述直线Lm将分布在单位圆周上的力分成直线Lm两侧的两组分力Fp和Fq；

分别计算所述两组分力Fp和Fq对直线Lm的合力矩Mp和Mq；

计算所述合力矩Mp和Mq的不均衡度S。

5、如权利要求1所述的图像像素级融合处理方法，其特征在于，所述将像素点矢量的每个分量映射为分布在单位圆圆周上的力时，向径在单位圆圆周上的分布是均匀的或者非均匀的。

6、一种图像像素级融合处理装置，其特征在于，所述装置包括：

像素点矢量映射模块，用于将多分量图像的像素点矢量的每个分量映射为分布在一单位圆圆周上的力；

向径方向计算模块，用于计算所述像素点矢量的分量对应的力对该单位圆圆心合力矩的等效力的向径方向H；

不平衡度计算模块，用于计算所述像素点矢量的分量对应的力的力矩在单位圆周上分布的不平衡度S；

强度计算模块，用于计算所述像素点矢量的分量对应的力的平均强度V；

图像映射模块，用于将计算出的H、S、V分别映射为颜色的色调、饱和度和强度值，并将映射成的颜色的色调、饱和度和强度值分别转换为RGB三基色空间的R，、G、B颜色矢量。

7、如权利要求6所述的图像像素级融合处理装置，其特征在于，所述像素点矢量映射模块包括；

单位圆处理模块，用于设置一单位圆，针对像素点矢量的每个分量对应的力，在该单位圆的圆周上指派一个作用点，其中，所述每个分量值的大小为该分量对应的力的大小，所述力的作用方向为该单位圆的法线方向。

8、如权利要求6所述的图像像素级融合处理装置，其特征在于，所述向径方向计算模块包括；

合力矩计算模块，用于计算像素点矢量的分量对应的力对单位圆圆心的合力矩M，并通过合力矩的方向，控制所述向径方向计算模块计算出作用点在单位圆周上的等效力所在的向径方向H，其中，该向径方向H的等效力的作用方向与单位圆的法线方向同向。

9、如权利要求6所述的图像像素级融合处理装置，其特征在于，所述不平衡度计算模块包括；

划线模块，用于生成一过所述单位圆圆心、且平行于合力矩M的直线Lm；

分力划分模块，用于通过所述直线Lm将分布在单位圆上的力分成直线Lm两侧的两组分力Fp和Fq；

分力合力矩计算模块，用于分别计算所述两组分力Fp和Fq对直线Lm的合力矩Mp和Mq，并控制所述不平衡度计算模块计算所述合力矩Mp和Mq的不均衡度S。

10、如权利要求6所述的图像像素级融合处理装置，其特征在于，所述将像素点矢量的每个分量映射为分布在单位圆圆周上的力时，向径在单位圆周上的分布是均匀或者非均匀的。

Images