CN108319961B - 一种基于局部特征点的图像roi快速检测方法 - Google Patents

Abstract

针对现有图像感兴趣区域(Region of interest,ROI)检测算法中存在算法原理较复杂、时间复杂度较大以及实时性较低的问题,本发明提出了一种新的基于局部特征点的ROI快速检测方法，本方法包括如下步骤：步骤1、图像预处理，即对输入图像生成金字塔影像；步骤2、在金字塔影像上提取ORB或SIFT特征点；步骤3、对所提特征点的坐标值按水平和垂直方向排序；步骤4、通过计算K个近邻点的均值来确定ROI的坐标；步骤5、提取图像ROI。本方法具有高实时性且鲁棒性好，能够快速、准确地检测出图像感兴趣区域。

Description

一种基于局部特征点的图像ROI快速检测方法

技术领域

本发明属于计算机视觉领域，特别涉及一种基于局部特征点的图像ROI快速检测方法。

背景技术

随着计算机视觉技术的发展，目标检测技术日趋成熟，越来越多的场合使用目标检测技术进行目标定位，但对一些待检测区域比较集中的应用，比如在农作物病害图像检测、生产线品质检测等，若在整体图像上提取特征进行检测，则面临着其计算量大、检测速度慢且检测准确率低的问题。因此基于ROI的目标识别、图像检测方法得到了广泛的应用，同时有效选取图像ROI更是其成功的关键。

图像ROI快速检测技术旨在提取出待检测图像中的目标感兴趣区域，缩小特征提取范围以减小计算量，同时提高检测速度和检测准确率。目前基于ROI的目标检测方法主要有角点提取法、颜色增强提取法、RGB颜色分量提取法以及SURF特征提取法等。

角点提取法是一种通过提取角点得到凸包区域的低层次图像信息与使用超像素聚类得到显著图的中层次图像信息相结合的自底向上的ROI检测方法。此方法不仅需要计算低层和高层图像信息，而且还需将两层信息进行加权融合，故其计算量大，难以进行实时应用。

颜色增强技术提取法是一种通过颜色增强技术提取ROI的方法,但实际应用中颜色受光照、像素影响很大，增加了检测的难度，而且针对复杂背景的图像，该方法误检率很大且稳定性不佳。

RGB颜色分量提取法先将图像从RGB色彩空间变换到HSV色彩空间中进行色彩修正,再变换回RGB空间利用R、G、B分量的线性组合生成视觉显著性图，最后对生成的视觉显著性图进行阈值分割得到ROI。但该方法检测效率高但对边缘和颜色相近区域检测误差较大，同时还需寻找最优参数，其鲁棒性不高。

基于SURF(Speed Up RobustFeatures)特征贡献度矩阵的图像ROI选取方法融合并归一化了ROI 的颜色、纹理以及形状等底层特征,利用非线性高斯距离函数进行相似度匹配。该方法计算量小且在简单背景下拥有较高的检测率，但其存在冗余计算且在复杂背景下检测效果不佳。

综上所述，目前的ROI检测技术在速度、算法原理精简性、稳定性、检测精确度等方面都还难以满足实际的应用需求，因此对其进一步的研究具有重要意义。

发明内容

针对在图像整体上提取特征时计算量大和和效率低的问题,本发明提出了一种新的基于局部特征点的图像感兴趣区域(Region of interest,ROI)的快速检测方法。该方法先对图像预处理，即对输入图像生成金字塔影像，再在金字塔影像上提取ORB或SIFT特征

点。然后对所提特征点的坐标值按水平和垂直方向排序，通过计算K个近邻点的均值来确定 ROI的坐标。最后提取图像ROI。本方法具有高实时性且鲁棒性好，能够快速、准确地检测出 图像感兴趣区域，其实际应用广泛且具有成本低、计算量小、算法复杂度小、稳定性好的特 点。

本发明的技术解决方案包括如下步骤：

步骤1、图像预处理，即对输入图像生成金字塔影像；

步骤2、在金字塔影像上提取ORB或SIFT特征点；

步骤3、对所提特征点的坐标值按水平和垂直方向排序；

步骤4、通过计算K个近邻点的均值来确定ROI的坐标；

步骤5、提取图像ROI。

步骤1中考虑到基于FAST算法提取的特征点不具有尺度不变性故先做预处理，将图像降采样生成金字塔影像，使算法具备尺度不变性。

步骤2中首先初始化零矩阵，当提取的ORB特征点数目小于给定阈值时则提取SIFT特征点,然后将所提取的特征点保存到初始化矩阵中。由于只提取ORB特征点或者SIFT特征点而不用生成特征描述向量，这就加快了ROI检测的速度。

步骤3中对存入矩阵的特征点按照升序排列。抽取矩阵中的xi值和yi值，分别组成向量X和Y,再对向量X和Y进行升序排列，得到有序向量X'和Y'；

步骤4中通过计算k个近邻点的均值来确定ROI的坐标。从排序后的向量X'和Y'中分别 选择前k个值和后k个值作为候选坐标值(k为近邻点的数目)，再通过计算这k个近邻点均值 的方法来确定图像ROI的坐标点。

步骤5中可根据步骤4得到的绝对坐标点O1和O2获得图像ROI的相对坐标点O₁ '(x₀₀,y₀₀)和O₂ '(x₁₁-x₀₀,y₁₁-y₀₀)，这样就可以准确确定图像的ROI，从而提高了检测准确率。

本发明与现有技术相比，其显著优点是：1）本发明方法速度快，在提取图像局部特征点时，只提取ORB特征点或者SIFT特征点而不用生成特征描述向量，这就加快了ROI检测的速度；2）本发明方法算法复杂度低，通过计算k近邻点的均值来确定ROI的坐标点，有效降低了特征提取时的计算量和该算法的时间复杂度。3）本发明方法采用局部特征点，其实用性强且检测准确率高。

附图说明

图1为本发明的基于局部特征点的图像ROI快速检测流程图；

图2为本发明的检测结果统计表；

图3为本发明检测的马铃薯病害图像、人脸图像和动物图像的ROI效果图。

具体实施方式

下面结合附图及具体实施对本发明方案作进一步说明。

基于局部特征点的图像ROI快速检测流程图如图1，包括图像预处理，即对输入图像生成金字塔影像、在金字塔影像上提取ORB或SIFT特征点、对所提特征点的坐标值按水平和垂直方向排序、通过计算K个近邻点的均值来确定ROI的坐标、提取图像ROI。具体步骤如下：

步骤1、图像预处理，即对输入图像降采样生成金字塔影像。

步骤2、在金字塔影像上提取ORB或SIFT特征点，具体实现方法为：

（1）初始化。

假设提取的图像特征点的数目为S，保存特征点坐标值的矩阵记为，FK，大小为S×S， 初值为零，即：

(1)

需要说明的是，特征点坐标仅保存在FK的主对角线上，其余位置始终置零。

（2）判断且保存特征点坐标值。

当S _orb ≥T时，Sorb为提取的ORB特征点数目，T为是否提取SIFT特征点而设定的阈值，将步骤1中提取的ORB特征点 的坐标值存入矩阵FK中，此时FK变为：

(2)

否则，提取图像的SIFT特征点，并存入矩阵FK中，则FK变为：

(3)

式(2)中，m为ORB特征点的数目，式(3)中，n为SIFT特征点的数目，其中，xi、yi分别表示 特征点在垂直方向和水平方向的坐标值。

步骤3、对步骤2所提特征点的坐标值按水平和垂直方向排序。具体过程为：（1）抽取矩阵FK'中的x_i值和y_i值，分别组成向量X=[x₁,x₂,...,x _m ]和Y=[y ₁,y ₂,...,y _m ]；

（2）对向量X和Y进行升序排列，得到有序向量X'=[x₁ ',x₂ ',...,x _m ']和Y'=[y ₁ ',y ₂ ',...,y _m ']。

步骤4、通过计算K个近邻点的均值来确定ROI的坐标。具体过程为：

（1）从排序后的向量X'和Y'中分别选择前k个值和后k个值作为候选坐标值，k为近邻点的数目，同时存入向量KP _x =[x₁ ',x₂ '...,x_k ',x_m-k ',x_m-k+1 ',...,x_m '] 和KP _y =[y₁ ',y₂ ',...y_k ',y_m-k ',y_m-k+1 ',...,y_m ']

（2）假设ROI左上角与右下角的绝对坐标分别为O ₁(x ₀₀,y ₀₀)和O ₂(x ₁₁,y ₁₁)，其值按公式计算：

(4)

公式的含义为：当局部特征点的数目小于给定阈值t时，选择k=1并分别以xi和yi的最小值与最大值作为图像ROI的坐标点；否则，选择k>1个近邻点并计算其均值作为图像ROI的坐标点。其中，t 为选择 k=1 或 k=t_orb/k=t_sift而设定的阈值，由于不同样本提取的局部特征点个数不同，故t是不可固定的；

步骤5、提取图像ROI。具体过程为：

(1)根据步骤4计算得到的ROI的绝对坐标点O₁和O₂，可得图像ROI的相对坐标点为O₁'(x₀₀,y₀₀)和O₂'(x₁₁-x₀₀,y₁₁-y₀₀)。

(2)根据O₁ '和O₂ '坐标点确定的矩形框区域作为图像的ROI。

图2是使用本方法检测的马铃薯病害图像、人脸图像和动物图像的ROI效果图。如图所示，该方法将检测出的马铃薯病害区域、人脸区域和动物头像区域全都用矩形框较精确的标记了出来。因此，本方法不仅应用范围广，而且检测精确度也较好。

实验结果如表1所示。表1是用该方法对自建库中200张图像进行500次ROI提取的运行时间统计。据统计，实验中阈值T与不同目标图像提取的ORB特征数有关，据本次实验统计，阈值T>=300实验效果较好。基于局部特征点的图像ROI快速检测方法的检测时间分布在20-30ms之间。由此本方法具有具有良好的实时性。

Claims (5)

1.一种基于局部特征点的图像ROI快速检测方法，包括如下步骤：

步骤1、图像预处理，即对输入图像生成金字塔影像；

步骤2、在金字塔影像上提取ORB或SIFT特征点,提取的图像特征点数目为S；

步骤3、对所提特征点的坐标值按水平和垂直方向排序；

步骤4、通过计算K个近邻点的均值来确定ROI的坐标，其具体过程为：

（1）从排序后的向量X'和Y'中分别选择前k个值和后k个值作为候选坐标值，k为近邻点的数目，同时存入向量KP _x =[x₁ ',x₂ ',...,x_k ',x_m-k ',x_m-k+1 ',...,x_m '] 和KP _y =[y₁ ',y₂ ',...y_k ',y_m-k ',y_m-k+1 ',...,y_m ']

（2）假设ROI左上角与右下角的绝对坐标分别为O ₁(x ₀₀,y ₀₀)和O ₂(x ₁₁,y ₁₁)，其值按公式计算：

（1）

公式的含义为：当局部特征点的数目小于给定阈值t时，选择k=1并分别以xi和yi的最小值与最大值作为图像ROI的坐标点；否则，选择k>1个近邻点并计算其均值作为图像ROI的坐标点；其中，t为选择k=1或k=t_orb/k=t_sift而设定的阈值；

步骤5、提取图像ROI。

2.根据权利要求1所述的方法，其特征在于，步骤1为图像预处理，即对输入图像生成金字塔影像，具体实现方法为：

（1）对图像降采样，生成金字塔影像。

3.根据权利要求1所述的方法，其特征在于，步骤2在金字塔影像上提取ORB或SIFT特征点，具体实现方法为：

（1）初始化；

假设提取的图像特征点的数目为S，保存特征点坐标值的矩阵记为FK，大小为S×S，初值为零，即：

（2）

需要说明的是，特征点坐标仅保存在FK的主对角线上，其余位置始终置零；

（2）判断且保存特征点坐标值；

当S _orb ≥T时，S_orb为提取的ORB特征点数目，T为是否提取SIFT特征点而设定的阈值，将步骤1中提取的ORB特征点的坐标值存入矩阵FK中，此时FK变为：

（3）

否则，提取图像的SIFT特征点，并存入矩阵FK中，则FK变为：

（4）

式(3)中，m为ORB特征点的数目，式(4)中，n为SIFT特征点的数目，其中，xi、yi分别表示特征点在垂直方向和水平方向的坐标值。

4.根据权利要求1所述方法，其特征在于，步骤3对步骤2所提特征点的坐标值按水平和垂直方向排序，具体过程为：

（1）抽取矩阵FK'中的x_i值和y_i值，分别组成向量X=[x₁,x₂,...,x _m ]和Y=[y ₁,y ₂,...,y _m ]；

（2）对向量X和Y进行升序排列，得到有序向量X'=[x₁ ',x₂ ',...,x _m ']和Y'=[y ₁ ',y ₂ ',...,y _m ']。

5.根据权利要求1所述方法，其特征在于，步骤5为提取图像ROI，具体过程为：

(1)根据步骤4计算得到的ROI的绝对坐标点O₁和O₂，可得图像ROI的相对坐标点为O₁ '(x₀₀,y₀₀)和O₂ '(x₁₁-x₀₀,y₁₁-y₀₀)；

(2)根据O₁ '和O₂ '坐标点确定的矩形框区域作为图像的ROI。

Images