CN100589520C - 一种彩色图像边缘和角点特征检测方法 - Google Patents

Abstract

本发明涉及一种彩色图像边缘和角点特征检测方法，其技术特征在于：计算彩色图像每个颜色通道的空间梯度，将该梯度将投影到相对阴影、明暗和光谱三种照度信息不敏感的颜色空间；再用照度不变微分与自身的笛卡尔内积生成照度不变颜色张量；进行特征分解，得到最大特征值对应的局部方位；然后，局部方位信息控制生成匀称方位张量滤波内核，对照度不变颜色张量进行基于匀称方位张量滤波内核卷积滤波得到新的颜色张量；对新的颜色张量进行特征值分析，得到特征值和特征向量并派生特征测度，进行边缘和角点特征检测。利用张量的特点进行边缘和角点特征检测，使得所设计的特征检测器具有更符合人眼的视觉特性，能够抑制更强的噪音。

Description

一种彩色图像边缘和角点特征检测方法

技术领域

本发明涉及一种彩色图像边缘和角点特征检测方法，用于图像处理领域。

背景技术

边缘、角点是一种视觉低级特征，被广泛应用在图像处理和计算机视觉的各个领域，如匹配分割、跟踪和识别。在传统的彩色图像(如RGB、HIS等三色图像)低级特征检测中，常见的技术是将彩色图像转换为亮度图像，然后应用基于微分的方法，如Canny算子或Harris进行特征检测。尽管该类方法已经达到很好的效果，但对于彩色图像，其转换到亮度图像则意味着信息的丢失，如照度信息以及亮度相同而颜色不同像素或特征的区别。随着微处理器的发展，直接针对彩色图像处理的系统越来越常见。直接针对彩色图像的特征检测，相当多的研究者是先对不同颜色通道的图像进行微分，再应用一个简单的微分求和来检测特征。这种方法的缺点是忽略了颜色通道之间的相关性，检测不到具有相同亮度而颜色不同的相邻区域之间的边缘。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种彩色图像边缘和角点特征检测方法，引入一种数据结构来排除具有相反方向颜色矢量之间的相消效果，张量就是一种仅体现“方位”信息而不是“方向”信息的数据结构，因此，用张量来表示颜色空间的局部结构很有必要。照度信息，如如阴影、明暗和光谱信息，是颜色信息中的一部分，是一种重要的场景附加指示信息，在低级特征检测中必须剔除，因此，有必要将其从颜色信息中分离出来，Shafer S的彩色图像分离二色模型能将体反射和镜面反射分开，提供了分离照度信息在技术上的可能性。人类感官对物体轮廓的识别是具有方位敏感的特征，因此有必要用对张量结构进行方位滤波，对信息进行增强的同时将信息的损失降至最低。由于张量结构能同时包含边缘和角点信息特征，对张量进行特征值分析并派生各自的特征测度用于特征检测，显得非常有意义。

技术方案

本发明的技术特征在于：首先，计算彩色图像每个颜色通道的空间梯度；其次，将该梯度将投影到相对阴影、明暗和光谱三种照度信息不敏感的颜色空间；再用照度不变微分与自身的笛卡尔内积生成照度不变颜色张量；对照度不变颜色张量进行特征分解，得到最大特征值对应的主方位，即局部方位；然后，局部方位信息控制生成匀称方位张量滤波内核，对照度不变颜色张量进行基于匀称方位张量滤波内核卷积滤波得到新的颜色张量；对新的颜色张量进行特征值分析，得到特征值和特征向量；最后，由特征值和特征向量派生特征测度，并进行边缘和角点特征检测。

具体步骤如下：

a)计算空间梯度。计算彩色图像每个颜色通道的空间梯度。

b)照度不变空间变换。将空间梯度投影到相对阴影、明暗和光谱三种照度信息不敏感的颜色空间得到照度不变微分。

c)匀称张量生成。照度不变微分与自身的笛卡尔内积生成表示照度不变颜色空间局部结构的照度不变颜色张量。

d)方位生成。生成照度不变颜色张量每个像素对应的局部方位。对照度不变颜色张量进行特征值分解，并计算最大特征值对应的特征向量，该特征向量指示的方位，即为彩色图像每个像素位置对应的局部方位。

e)匀称方位张量滤波。首先，生成由局部方位控制的匀称方位张量滤波内核，再对照度不变颜色张量进行基于匀称方位张量滤波内核的非线性张量卷积滤波得到新的颜色张量。

f)特征值分析。对新的颜色张量进行特征值分解，得到特征值和特征向量。

g)边缘和角点检测。派生由特征值和特征向量表示的特征测度，并进行边缘和角点特征检测。

计算空间梯度是指计算彩色图像空间坐标x、y方向的标准高斯微分。设彩色图像被表示为f＝(R，G，B)，计算彩色图像的空间梯度f_X＝(R_X，G_X，B_X)，X＝(x，y)，其中，f_x和f_y为图像在x、y方向的空间微分：f_x＝g_x，σ*f，f_y＝g_y，σ*f，其中，*表示卷积，g_x，σ和g_y，σ为带标准偏差σ(取σ＝1)的高斯函数在x方向和y方向的空间微分。

照度不变空间变换指将空间梯度投影到相对阴影、明暗和光谱三种照度信息不敏感的颜色空间。对于光学不均匀的物质，Shafer S的二色模型将光学反射划分为表面镜面反射和体弥散反射两部分。彩色图像f＝(R，G，B)可以看作是两个颜色向量的加权和f＝e(m^bc^b+mⁱcⁱ)，其中，c^b是体反射的颜色，cⁱ是表面反射的颜色，m^b和mⁱ表示相应反射的幅值，e为光源的密度。对于不光滑的表面，由于没有表面反射，模型可以进一步简化为f＝em^bc^b。假定光源是白光源，表面反射与波长无关(cⁱ与x无关)，则由二色模型的微分得到

该空间微分为三个加权向量的和，依次为体反射、阴影-明暗和镜面变化。在没有镜面反射的情况下，阴影-明暗方向与图像的RGB方向一致；镜面方向与光源的颜色表示的方向一致。为了构建阴影-明暗-镜面准不变量，引入一个与阴影-明暗方向

和镜面方向

正交的色调方向

将空间微分f_x投影到色调方向上产生阴影-明暗-镜面准不变空间微分

即将彩色图像的空间梯度f_x投影到HIS颜色空间的色调方向，得到照度不变微分 $H_X^c=\frac{(R(B_X-G_X)+G(R_X-B_X)+B(G_X-R_X))}{\sqrt{2(R^2+G^2+B^2-\mathrm{RG}-\mathrm{RB}-\mathrm{GB})}}$

匀称张量生成是指求照度准不变空间微分与其自身的笛卡尔内积得到一个二阶对称张量

其中，运算符“·”表示笛卡尔内积。

方位生成，是指生成局部方位的过程，即对匀称张量G进行特征值分析，得到两个特征值λ₁、λ₂(λ₁≥λ₂)以及对应的两个特征向量，较大特征值λ₁对应的单位特征向量n为局部方位矢量n＝(cos(φ₀)sin(φ₀))^T，其中

n指示的方位φ₀为局部方位。

匀称方位张量滤波是指，首先，生成由局部方位控制的匀称方位滤波内核，再对照度不变颜色张量G进行基于匀称方位滤波内核的张量卷积滤波得到新的颜色张量G′。生成匀称方位滤波内核指生成

其中，前半部分高斯内核按照半径r＝X^TX大小在尺度参数σ′控制下匀称衰减，后半部分方位内核按照曲率

(n和n_⊥的方向确定一个与n方向一致的局部卡笛尔坐标系统)大小在角度参数ρ控制下匀称衰减，φ为方位角度，φ₀为局部方位；张量卷积滤波是指对以信号待处理位置为中心的匀称方形或圆形的子区域Ω对应的匀称张量进行基于匀称方位滤波内核的卷积滤波，即，基于h_σ′，ρ(X，n)内核的张量卷积滤波得到

$G^{\′}=\left(\begin{array}{cc}{\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{11}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′}\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{12}(x^{\′},y^{\′})\\ {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{21}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{22}(x^{\′},y^{\′})\end{array}\right).$

特征值分析是指对滤波后得到的颜色张量G′进行特征分解得到两个特征值λ₁′、λ₂′(λ₁′≥λ₂′)，和对应的特征向量n₁，n₂。

边缘和角点检测是指由G′的特征值和特征向量派生边缘和角点测度并进行检测，其中边缘测度为用主方向n₁对

应用非最大抑制得到的边缘算子，角点测度是指一种由特征值构成的响应算子λ₁′λ₂′-0.04(λ₁′+λ₂′)²。

有益效果

本发明利用张量能更表达彩色图像丰富信息的特点表达彩色图像的局部结构，结合张量非线性滤波对图像信息进行非线性平滑，即分解张量系统所包含的彩色图像局部方位信息，进行非线性滤波，并利用张量的特点进行边缘和角点特征检测，使得所设计的特征检测器具有更符合人眼的视觉特性，能够抑制更强的噪音。

附图说明

图1：本发明方法的基本流程图

图2：边缘和角点特征检测结果对比

(a)原始彩色图像

(b)灰度Canny边缘检测结果

(c)用张量表示但未排除照度信息的边缘检测结果

(d)用照度不变张量但未采用匀称方位张量滤波的边缘检测结果

(e)用照度不变张量并采用匀称方位张量滤波的边缘检测结果(本实施)

(f)用照度不变张量但未采用匀称方位张量滤波的边缘强度

(g)用照度不变张量并采用匀称方位张量滤波的边缘强度(本实施)

(h)用照度不变张量但未采用匀称方位张量滤波的角点强度

(i)用照度不变张量并采用匀称方位张量滤波的角点强度(本实施)

(j)点线所指示彩色图像局部区域

(k)图(j)横点处a线局部边缘强度

图(k)中1线表示由张量表示颜色结构但未排除照度信息的局部边缘强度，2线表示由张量表示颜色结构并排除照度信息中光谱成分后的局部边缘强度，光谱成分强度由4线表示，3线表示由张量表示颜色结构并表示排除阴影、明暗和光谱成分后的局部边缘强度，5线表示排除照度信息并用匀称方位张量滤波后的局部边缘强度；

(l)图(j)竖点处b线局部边缘强度

图(l)中1线表示由张量表示颜色结构但未排除照度信息的局部边缘强度，2线表示由张量表示颜色结构并表示排除阴影、明暗和光谱成分后的局部边缘强度，3表示排除照度信息并用匀称方位张量滤波后的局部边缘强度。

(m)用照度不变张量但未采用匀称方位张量滤波的边缘和角点检测

(n)用照度不变张量并采用匀称方位张量滤波的边缘角点检测(本实施)

具体实施方式

现结合附图对本发明作进一步描述：

本发明的基本思想是：利用张量能更表达彩色图像丰富信息的特点表达彩色图像的局部结构，避免相邻并具有相反方向的颜色矢量产生相消效果；从颜色信息中提取照度信息，如阴影、明暗和光谱信息，并在特征检测中将其剔除，以利于对提高特征检测的鲁棒性；人类感官对物体轮廓的识别是具有方位敏感的特征，因此有必要结合张量非线性滤波对图像信息进行非线性平滑，即分解张量系统所包含的彩色图像局部方位信息，进行非线性滤波；并利用张量的特点进行边缘和角点特征检测，使得所设计的特征检测器具有更符合人眼的视觉特性，能够抑制更强的噪音。

用于实施的硬件环境是：Pentium-42.8G计算机、256MB内存、32M显卡，运行的软件环境是：Matlab6.5和Windows XP。示例彩色图像为包含照度信息的大小为256×256×3的RGB图像，如图2a所示。我们用Matlab程序设计语言设计了本发明提出的边缘和角点检测方法，并给出了边缘和角点特征检测结果对比，如图2所示。

本发明具体实施如下：

1、计算空间梯度。设彩色图像被表示为f＝(R，G，B)，计算彩色图像的空间梯度

f_X＝(R_X，G_X，B_X)，X＝(x，y)      (1)

式中，f_x和f_y为图像在x、y方向的空间微分：

f_x＝g_x，σ*f

                 (2)

f_y＝g_y，σ*f

式中，*表示卷积，g_x，σ和g_y，σ为带标准偏差σ(取σ＝1)的高斯函数在x方向和y方向的空间微分。

2、照度不变空间变换。将彩色图像的空间梯度f_x投影到HIS颜色空间的色调方向，得到照度不变微分

$H_X^c=\frac{(R(B_X-G_X)+G(R_X-B_X)+B(G_X-R_X))}{\sqrt{2(R^2+G^2+B^2-\mathrm{RG}-\mathrm{RB}-\mathrm{GB})}}---\left(3\right)$

3、匀称张量生成。由(6)式表示的照度不变空间梯度与梯度自身的笛卡尔积，得到一个二阶对称的张量结构G

$G=\left(\begin{array}{cc}{g}_{11}& g_{12}\\ g_{21}& g_{22}\end{array}\right)=\left(\begin{array}{cc}{H}_x^c\·H_x^c& H_x^c\·H_y^c\\ H_y^c\·H_x^c& H_y^c\·H_y^c\end{array}\right)---\left(4\right)$

式中，运算符·表示Cartesian积。

4、方位生成。对二维张量G进行特征分解，得到两个特征值λ₁、λ₂(λ₁≥λ₂)以及对应的两个特征向量，λ₁对应特征向量n可以由n＝(cos(φ₀)sin(φ₀))^T计算得到，其中

为所求的局部方位信号。

5、匀称方位张量滤波。生成匀称方位滤波内核使得平滑沿着方位信息进行而不与其正交，

$h_{{\mathrm{\σ}}^{\′}\mathrm{\ρ}}(r,\mathrm{\κ})=\frac{1}{N}{e}^{\frac{{-r}^2}{{2\mathrm{\σ}}^{\′2}}}{e}^{\frac{{-\mathrm{\κ}}^2}{{2\mathrm{\ρ}}^2}}---\left(5\right)$

式中，ρ确定方向的强度(取ρ＝0.4)，k＝tan(φ-φ₀)表示曲率，N是规整化常数使得内核积分为单位1。对图像中的每个点，旋转上述内核到与方位信号一致的方向n，旋转后的局部卡笛尔坐标系统可以用由n和n_⊥的方向来定义。设局部坐标点为(p，q)，则r²＝p²+q²，tan(φ-φ₀)＝q/p，全局坐标X＝(x，y)与局部坐标的关系为p＝n_⊥ ^Ty，q＝n^Tx。为了避免径向高斯在滤波器中心的衰减，当r＝0时，设φ＝φ₀＝π/2，因此，对应全局坐标的滤波内核可表示为

$h_{{\mathrm{\σ}}^{\′}}(X,n)=\frac{1}{N}{e}^{-\frac{X^{T}X}{{2\mathrm{\σ}}^{\′2}}-\frac{1}{{2\mathrm{\ρ}}^2}\left(\frac{n^{T}X}{{n_{\⊥}}^{T}X}\right)}---\left(6\right)$

应用基于(6)式的滤波内核对式(4)进行平滑滤波，得到新的二阶对称张量

$G^{\′}=\left(\begin{array}{cc}{\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{11}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′}\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{12}(x^{\′},y^{\′})\\ {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{21}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{22}(x^{\′},y^{\′})\end{array}\right)---\left(\text{7}\right)$

6、特征值分析。对(7)式表示的张量进行特征值分析得到两个特征值

${\mathrm{\λ}}_1^{\′}=\frac{1}{2}(g_{11}+g_{22}+\sqrt{{(g_{11}-g_{22})}^2+{\left({2g}_{12}\right)}^2})$ (8)

${\mathrm{\λ}}_2^{\′}=\frac{1}{2}(g_{11}+g_{22}-\sqrt{{(g_{11}-g_{22})}^2+{\left({2g}_{12}\right)}^2})$

张量G′可以被分解成两部分，一部分编码当前位置(边界强度和方向)的一维属性，另一部分编码本质上的二维属性

$G^{\′}=G_{\mathrm{edge}}^{\′}+G_{\mathrm{corner}}^{\′}=({\mathrm{\λ}}_1^{\′}-{\mathrm{\λ}}_2^{\′})n_1{n_1}^T+{\mathrm{\λ}}_2^{\′}{n}_2{n}_2^T---\left(9\right)$

上式中，n₁是与λ₁′对应的单位特征向量，可由n₁＝(cos(φ₁)sin(φ₁))^T计算得到，其中φ₁＝0.5arctan(2g₁₂/(g₁₁-g₂₂))；n₂是与λ₂′对应的单位特征向量，通常n₂n₂ ^T为单位张量I。

7、边缘和角点检测。边缘测度是用主方向n₁对

应用非最大抑制得到的边缘算子；对于角点测度即角点响应函数R_C，由(7)式的张量，结合经典的Harris角点测度，得到角点测度

$R_C=g_{11}{g}_{22}-g_{12}^2-k{(g_{11}+g_{22})}^2={\mathrm{\λ}}_1^{\′}{\mathrm{\λ}}_2^{\′}-k{({\mathrm{\λ}}_1^{\′}+{\mathrm{\λ}}_2^{\′})}^2---\left(10\right)$

式中，系数取值k＝0.04。应用边缘和角点测度就可以检测得到边缘和角点特征。

Claims (5)

1.一种彩色图像边缘和角点特征检测方法，其特征在于：首先，计算彩色图像每个颜色通道的空间梯度；其次，将空间梯度投影到相对阴影、明暗和光谱三种照度信息不敏感的颜色空间，即将彩色图像的空间梯度f_X投影到HIS颜色空间的色调方向，得到照度不变微分 $H_X^c=\frac{(R(B_X-G_X)+G(R_X-B_X)+B(G_X-R_X))}{\sqrt{2(R^2+G^2+B^2-\mathrm{RG}-\mathrm{RB}-\mathrm{GB})}};$ 再用照度不变空间微分与其自身的笛卡尔内积得到一个二阶对称的照度不变颜色张量 $G=\left(\begin{array}{cc}{g}_{11}& g_{12}\\ g_{21}& g_{22}\end{array}\right)=\left(\begin{array}{cc}{H}_x^c\·H_x^c& H_x^c\·H_y^c\\ H_y^c\·H_x^c& H_y^c\·H_y^c\end{array}\right),$ 其中，运算符“·”表示笛卡尔内积；对张量G进行特征值分析，得到两个特征值λ₁、λ₂以及对应的两个特征向量，其中λ₁≥λ₂；较大特征值λ₁对应的单位特征向量n为局部方位矢量n＝(cos(φ₀)sin(φ₀))^T，其中n指示的方位φ₀为局部方位；然后，局部方位信息控制生成匀称方位张量滤波内核，对照度不变颜色张量进行基于匀称方位张量滤波内核卷积滤波得到新的颜色张量；对新的颜色张量进行特征值分析，得到特征值和特征向量；最后，由特征值和特征向量派生特征测度，并进行边缘和角点特征检测。

2.根据权利要求1所述的彩色图像边缘和角点特征检测方法，其特征在于：所述的计算空间梯度是指计算彩色图像f＝(R，G，B)空间坐标x、y方向的标准高斯微分，得到彩色图像的空间梯度f_X＝(R_X，G_X，B_X)，X＝(x，y)；其中，f_x和f_y为图像在x、y方向的空间微分：f_x＝g_x，σ*f，f_y＝g_y，σ*f，其中，*表示卷积，g_x，σ和g_y，σ为带标准偏差σ的高斯函数在x方向和y方向的空间微分，取σ＝1。

3.根据权利要求1所述的彩色图像边缘和角点特征检测方法，其特征在于：所述的匀称方位张量滤波是指，首先，生成由局部方位控制的匀称方位滤波内核，再对照度不变颜色张量G进行基于匀称方位滤波内核的张量卷积滤波得到新的颜色张量G′；生成匀称方位滤波内核指生成 $h_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(X,n)=\frac{1}{N}{e}^{-\frac{X^{T}X}{2{\mathrm{\σ}}^{\′2}}\frac{1}{2{\mathrm{\ρ}}^2}\left(\frac{n^{T}X}{{n_{\⊥}}^{T}X}\right)},$ 其中，前半部分高斯内核按照半径r＝X^TX大小在尺度参数σ′控制下匀称衰减，后半部分方位内核按照曲率 $k=\tan (\mathrm{\φ}-{\mathrm{\φ}}_0)=\frac{n^{T}X}{{n_{\⊥}}^{T}X}$ 大小在角度参数ρ控制下匀称衰减，其中n和n_⊥的方向确定一个与n方向一致的局部笛卡尔坐标系统，φ为方位角度，φ₀为局部方位；张量卷积滤波是指对以信号待处理位置为中心的匀称方形或圆形的子区域Ω对应的匀称张量进行基于匀称方位滤波内核的卷积滤波，即，对应h_σ′，ρ(X，n)内核的张量卷积滤波得到

$G^{\′}=\left(\begin{array}{cc}{\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{11}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{12}(x^{\′},y^{\′})\\ {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}(x-x^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{21}(x^{\′},y^{\′})& {\mathrm{\Σ}}_{\mathrm{\Ω}}{h}_{{\mathrm{\σ}}^{\′},\mathrm{\ρ}}({x-x}^{\′},y-y^{\′},n(x^{\′},y^{\′}))g_{22}(x^{\′},y^{\′})\end{array}\right).$

4.根据权利要求1所述的彩色图像边缘和角点特征检测方法，其特征在于：所述的特征值分析是指对滤波后得到的颜色张量G′进行特征分解得到两个特征值λ₁′、λ₂′和对应的特征向量n₁，n₂，λ₁′≥λ₂′。

5.根据权利要求1所述的彩色图像边缘和角点特征检测方法，其特征在于：所述的边缘和角点特征检测是指由G′的特征值和特征向量派生边缘和角点测度并进行检测，其中边缘测度为用主方向n₁对

应用非最大抑制得到的边缘算子，角点测度是指一种由特征值构成的响应算子λ₁′λ₂′-0.04(λ₁′+λ₂′)²。

Images