CN102542245B - 纹理特征点比对方法及系统 - Google Patents

Abstract

一种图像的纹理特征点比对方法及系统。纹理特征点比对方法包括以下步骤。接收一参考图像及一目标图像。依据参考图像，产生一局部二元图形(Local Binary Pattern，LBP)参考图像，并依据目标图像产生一LBP目标图像。检测LBP参考图像的数个参考纹理特征点。依据这些参考纹理特征点，在LBP目标图像比对出对应的数个目标纹理特征点。

Description

纹理特征点比对方法及系统

技术领域

本申请涉及一种图像的比对方法及系统，且特别涉及一种图像的纹理特征点比对方法及系统。

背景技术

现今特征点撷取较常见的技术为角点检测，其角点检测方法众多，目的是在灰阶图像中找出较具有鉴别度的特征点位置，希望能排除容易比对错误的直线与亮度值变化较为一致的区域，而撷取出的特征点通常为灰阶图像亮度值对比较强烈且较为角落的区域，其效果虽然稳定，但所检测到的特征点点数不够密集，其实在灰阶图像中还有很多区域其比对的鉴别度也是相当高的。

传统的比对方法有光流法与众多的区块比对方法，传统光流法因为其本身理论的定义限制，无法比对移动量较大的特征点，对于光线变化较无抑制能力，且速度上也稍嫌太慢。

发明内容

本申请涉及一种图像的比对方法及系统，其利用区块比对方法，其对光线变化有一定的抑制能力。

根据本申请的第一方面，提出一种图像的纹理特征点比对方法。纹理特征点比对方法包括以下步骤。接收一参考图像及一目标图像。依据参考图像，产生一局部二元图形(Local Binary Pattern，LBP)参考图像，并依据目标图像产生一LBP目标图像。检测LBP参考图像的数个参考纹理特征点。依据这些参考纹理特征点，在LBP目标图像比对出对应的数个目标纹理特征点。

根据本申请的一第二方面，提出一种图像的纹理特征点比对系统。纹理特征点比对系统包括一局部二元图形(Local Binary Pattern，LBP)产生单元、一检测单元及一比对单元。提供单元用以接收一提供单元提供的一参考图像及一目标图像。LBP产生单元依据参考图像，产生一LBP参考图像，并依据目标图像产生一LBP目标图像。检测单元检测LBP参考图像的数个参考纹理特征点。比对单元依据这些参考纹理特征点，在LBP目标图像寻找对应的数个目标纹理特征点。

为了对本申请的上述及其他方面更了解，下文特举实施例，并配合附图，作详细说明如下：

附图说明

图1绘示本实施例图像的纹理特征点比对方法的流程图。

图2绘示本实施例图像的纹理特征点比对系统的方块图。

图3绘示LBP运算示意图。

图4绘示一参考像素与周围16个参考像素的示意图。

图5绘示LBP区块比对的示意图。

图6绘示数张原始图像及其LBP图像。

图7绘示参考纹理特征点的示意图。

【主要元件符号说明】

100：纹理特征点比对系统

110：提供单元

120：LBP产生单元

130：检测单元

140：比对单元

150：判断单元

160：选取单元

170：存储单元

180：查表单元

b1、b2、b3、b4、b5、b6、b7、b8：位

C：圆

fr：参考纹理特征点

ft、ft^*：目标纹理特征点

Ir：参考图像

It：目标图像

LBPr：LBP参考图像

LBPt：LBP目标图像

Pr、Pr0、xi：参考像素

Pt：目标像素

R：搜寻范围

r1：参考比对区块

r2：目标比对区块

S101～S106：流程步骤

具体实施方式

请参照图1及图2，图1绘示本实施例图像的纹理特征点比对方法的流程图，图2绘示本实施例图像的纹理特征点比对系统100的方块图。本实施例的纹理特征点比对方法主要包含三个部分：(1)纹理特征点的撷取、(2)局部二元图形(Local Binary Pattern，LBP)图像的区块比对及(3)绝对误差和(Sum of Absolute Difference，SAD)的区块比对。以下搭配图2的图像的纹理特征点比对系统100说明本实施例。然而，本申请所属领域技术人员均可了解，本申请的比对方法并不局限应用于图2的比对系统100，也不局限于下述的演算示例。

(1)纹理特征点撷取的撷取：

如图1所示，在步骤S101中，提供单元110提供一参考图像Ir及一目标图像It，以供本实施例图像的纹理特征点比对系统100接收。提供单元110例如是一摄影机、一照相机或存储数张图像的存储装置。参考图像Ir及目标图像It例如是连续拍摄的前一刻图像及当下刻图像。

接着，在步骤S102中，LBP产生单元120依据参考图像Ir，产生一LBP参考图像LBPr，并依据目标图像It产生一LBP目标图像LBPt。

举例来说，本实施例的LBP参考图像LBPr的产生方法是从参考图像Ir上进行3x3的遮罩运算所产生的结果，而3x3的遮罩运算方法是比较遮罩中心点的参考像素Pr的亮度与周围8个参考像素Pr的亮度的大小关系。

请参照图3，其绘示LBP运算示意图。参考图像Ir的一个参考像素Pr的亮度可以用8位来表示，其分别表示为b1、b2、b3、b4、b5、b6、b7、b8。当邻近的参考像Pr的亮度大于中心参考像素Pr的亮度，则设定其值为1；否则设定其值为0。如图3右侧所示，最后所产生的8位LBP值为「11111100」。参考图像Ir的每一个参考像素Pr皆计算其LBP值后，即可获得LBP参考图像LBPr。

请参照图6，其绘示数张原始图像及其LBP图像。图6的上排图像为亮度不同的原始图像，图6的下排图像为其对应的LBP图像。由图6可以得知LBP图像是一种区域性的亮度对比关系(即较亮或较暗)，对光线变化有相当程度的容忍能力。当原始图像的光线变化时，其LBP图像不会有太大的变动。

然后，在步骤S103中，检测单元130检测出参考图像Ir的数个目标纹理特征点fr。在说明纹理特征点撷取方法之前，先说明检测单元130如何依据汉明距离(Hamming distance)来求得两个LBP值的差异量。

在LBP图像中，一个LBP值代表的是中心点像素与8个邻近像素的亮度大小关系。检测单元130利用异或(XOR)逻辑运算将两个要比对的LBP值进行二进制的8位与8位逻辑计算，其中只有1对1与0对0才会有0的结果，否则皆为1的结果，最后再计算异或(XOR)逻辑运算后其数值为1的个数，即为汉明距离。

如下式(1)为例，「10110111」与「10111010」的异或逻辑运算结果为「00001101」，其汉明距离为3。当1的个数较多时，则汉明距离越大，表示其差异度越大。

$\frac{\begin{array}{cc}& 10110111\\ \mathrm{XOR}& 10111010\end{array}}{\begin{array}{cc}& 00001101\end{array}}...\left(1\right)$

请参照图4，其绘示一参考像素Pr0与周围16个参考像素xi(i＝1～16)的示意图。以参考像素Pr0为例，在7×7的参考像素范围内，以参考像素Pr0为中心，画一个圆C，而周围会有16个参考像素xi位于这个圆C上。检测单元130再计算此参考像素Pr0的LBP值与其周围16个参考像素xi(i＝1～16)的LBP值的16个汉明距离H_pr0→xi(i＝1～16)。检测单元130并设定一临界值t，当连续n个汉明距离H_pr0→xi满足H_pr0→xi＞t时，则定义此参考像素Pr0为我们所要撷取的一个参考纹理特征点fr。其中，H_pr0→xi＞t表示参考像素Pr0与参考像素xi的差异较大。所以，当参考像素Pr0的附近为平滑区域时，其汉明距离H_pr0→xi会比较低。并且汉明距离H_pr0→xi满足H_pr0→xi＞t的连续数量可以表示此参考像素Pr0的几何角度程度。例如，当参考像素Pr0为角点时，其汉明距离H_pr0→xi满足H_pr0→xi＞t的连续数量会较大；参考像素Pr0为直线边缘时，其汉明距离H_pr0→xi满足H_pr0→xi＞t的连续数量会比较小。在此步骤中，检测单元130利用参数n来排除容易比对错误的直线边缘。

请参照图7，其绘示参考纹理特征点fr的示意图。检测单元130将所有的参考像素Pr均进行判断后，满足上述条件的参考像素Pr即可检测为参考纹理特征点fr。

(2)LBP图像的区块比对：

接着，在步骤S104中，比对单元140依据这些参考纹理特征点fr，在目标图像It比对出对应的数个目标纹理特征点ft。

当LBP产生单元120得到LBP参考图像LBPr与LBP目标图像LBPt，且检测单元130检测出参考纹理特征点fr后，紧接着就进行LBP区块比对来找出目标图像It的目标纹理特征点ft可能的位置，以建构出参考纹理特征点fr与目标纹理特征点ft对应关系。

举例来说，请参考图5，其绘示LBP区块比对的示意图。比对单元140于目标图像It寻找出对应于一参考纹理特征点fr的位置(x，y)。

接着，以位置(x，y)为中心，在目标图像It框选出7×7搜寻范围R。比对单元140并在参考图像Ir中，以参考纹理特征点fr为中心框选出3×3参考比对区块r1。比对单元140更在7×7搜寻范围R内，以每一目标像素Pt为中心任意框选出3×3目标比对区块r2。如此将可以框选出7×7个目标对比区块r2(图5仅绘示出一个目标比对区块r2)。

然后，比对单元140计算参考比对区块r1与每一目标比对区块r2的汉明距离总和。其数学式表示如下式(2)：

${\mathrm{LBP}}_{(x,y)}(u,v)=\underset{j=-r}{\overset{r}{\mathrm{\Σ}}}\underset{i=-r}{\overset{r}{\mathrm{\Σ}}}\mathrm{XOR}(L_r(x+i,y+j),L_t(x+i+u,y+j+v))$ ............(2)

其中(u，v)为移动向量，r∈[-1，1]，u∈[-3，3]，v∈[-3，3]。L_r(x+i，y+j)为参考图像Ir中，坐标为(x+i，y+j)的参考像素Pr的LBP值。L_t(x+i+u，y+j+v)为目标图像It中，坐标为(x+i+u，y+j+v)的参考像素Pt的LBP值。

当统计完7×7搜寻范围内所有参考像素Pr与目标像素Pt的汉明距离LBP_(x，y)(u，v)时，设定一阈值。当汉明距离LBP_(x，y)(u，v)小于此阈值时，表示此参考像素Pr与此目标像素Pt的相似度够高，则设定此目标像素Pt为目标纹理特征点ft的候选点，最后在7×7搜寻范围内建构出一个坐标为(x，y)的参考纹理特征点fr与多个可能的目标纹理特征点ft的移动向量(u，v)的集合。

(3)绝对误差和(SAD)的区块比对：

接着，在步骤S105中，判断单元150判断每一参考纹理特征点fr是否仅对应于一个目标纹理特征点ft。如果其中的一参考纹理特征点fr对应于多个目标纹理特征点ft，则进入步骤S106。

在步骤S106中，选取单元160依据参考纹理特征点fr的亮度与这些目标纹理特征点ft的亮度的绝对误差和(Sum of AbsoluteDifference，SAD)选取其中的一目标纹理特征点ft。

举例来说，经过上述LBP区块比对之后，比对单元140得到坐标为(x，y)的参考纹理特征点fr可能对应于多个移动向量(u，v)，而对应于多个目标纹理特征点ft。但是最后我们只允许一个参考纹理特征点fr对应于一个目标纹理特征点ft(一个移动向量(u，v))，所以我们必须找出真正的目标纹理特征点ft(即真正移动向量(u，v))。

绝对误差和(SAD)是一个全域的搜寻法，选取单元160将可能的目标纹理特征点ft与参考纹理特征点fr带入以下方程式(3)，即可得到SAD值最小的移动向量(u^*，v^*)及其对应的最理想的目标纹理特征点ft^*，其坐标为(x+u^*，y+v^*)。

(x+u^*，y+v^*)＝arg  SAD_(x，y)(x+u，y+v)...........................(3)

其中，上述在计算计算汉明距离的实作上，将XOR逻辑运算后的8位值，可以直接利用查表的方式来计算1的个数。如图2所示，存储单元170可以建立一个8位的汉明距离表，其数据表大小为8×256＝2,048bits，如下表1所示：

表1：8位XOR运算的汉明距离表

查表单元180可以依据汉明距离表查出汉明距离。如果需要计算32bits的XOR运算，也只需要进行4次查表即可快速完成，有助于整体效能的提升。

本实施例中所使用的是区块比对方法，因为使用的特征经实验证明，对于光线变化有一定的抑制能力，且实作上利用特征点撷取方法中特征图像的数据结构，搭配查表方式，大大的减少计算次数与一般区块比对方法相较之下拥有较高的效能。

综上所述，虽然本申请已以实施例公开如上，然其并非用以限定本申请。本申请所属领域技术人员，在不脱离本申请的精神和范围内，当可作各种的更动与润饰。因此，本申请的保护范围当视所附权利要求书所界定者为准。

Claims (10)

1.一种图像的纹理特征点比对方法，包括：

接收一参考图像及一目标图像；

依据该参考图像，产生一局部二元图形LBP参考图像，并依据该目标图像产生一LBP目标图像；

检测该LBP参考图像的多个参考纹理特征点，其中该LBP参考图像包括多个LBP参考像素，依据各该LBP参考像素与邻近的这些LBP参考像素的汉明距离，检测这些参考纹理特征点；以及

依据这些参考纹理特征点，在该LBP目标图像比对出对应的多个目标纹理特征点，其中该LBP目标图像包括多个LBP目标像素，依据这些LBP参考像素与这些LBP目标像素的汉明距离，比对出对应的这些目标纹理特征点。

2.如权利要求1所述的图像的纹理特征点比对方法，其中在产生该LBP参考图像及该LBP目标图像的步骤中，

该参考图像包括多个参考像素，该LBP参考图像为各个参考像素与邻近的这些参考像素的亮度大小关系；

该目标图像包括多个目标像素，该LBP目标图像为各个目标相素与邻近的这些目标像素的亮度大小关系。

3.如权利要求1所述的图像的纹理特征点比对方法，其中各该LBP参考像素与邻近的这些LBP参考像素的汉明距离采用查表的方式获得。

4.如权利要求1所述的图像的纹理特征点比对方法，其中这些LBP参考像素与这些LBP目标像素的汉明距离采用查表所获得。

5.如权利要求1所述的图像的纹理特征点比对方法，还包括：

判断每一参考纹理特征点是否仅对应于一个目标纹理特征点；

若其中的一参考纹理特征点对应于多个目标纹理特征点，则依据该参考纹理特征点的亮度与这些目标纹理特征点的亮度的绝对误差和选取其中的一目标纹理特征点。

6.一种图像的纹理特征点比对系统，接收一提供单元提供的一参考图像及一目标图像，包括：

一局部二元图形LBP产生单元，依据该参考图像，产生一LBP参考图像，并依据该目标图像产生一LBP目标图像；

一检测单元，用以检测该LBP参考图像的多个参考纹理特征点，其中该LBP参考图像包括多个LBP参考像素，该检测单元依据各该LBP参考像素与邻近的这些LBP参考像素的汉明距离，检测这些参考纹理特征点；以及

一比对单元，依据这些参考纹理特征点，在该LBP目标图像寻找对应的多个目标纹理特征点，其中该LBP目标图像包括多个LBP目标像素，该比对单元依据这些LBP参考像素与这些LBP目标像素的汉明距离，比对出对应的这些目标纹理特征点。

7.如权利要求6所述的图像的纹理特征点比对系统，其中

该参考图像包括多个参考像素，该LBP参考图像为各个参考像素与邻近的这些参考像素的亮度大小关系；

该目标图像包括多个目标像素，该LBP目标图像为各个目标相素与邻近的这些目标像素的亮度大小关系。

8.如权利要求6所述的图像的纹理特征点比对系统，还包括：

一存储单元，用以存储一汉明距离表；以及

一查表单元，依据该汉明距离表查出各该LBP参考像素与邻近的这些LBP参考像素的汉明距离。

9.如权利要求6所述的图像的纹理特征点比对系统，还包括：

一存储单元，用以存储一汉明距离表；以及

一查表单元，依据该汉明距离表查表出这些LBP参考像素与这些LBP目标像素的汉明距离。

10.如权利要求6所述的图像的纹理特征点比对系统，还包括：

一判断单元，用以判断每一参考纹理特征点是否仅对应于一个目标纹理特征点；以及

一选取单元，如果其中的一参考纹理特征点对应于多个目标纹理特征点，则该选取单元依据该参考纹理特征点的亮度与这些目标纹理特征点的亮度的绝对误差和选取其中的一目标纹理特征点。