CN109086350A - 一种基于WiFi的混合图像检索方法 - Google Patents

Abstract

一种基于WiFi的混合图像检索方法，本发明涉及混合图像检索方法。本发明为了解决传统方法进行定位时图像检索速度慢耗时长的问题。本发明包括：一：选择室内场景，建立室内场景坐标系；二：等间隔选取数据采样点并记录采样点的地理位置信息；三：使每一个采样点上拍摄的室内场景图像与RSS值一一对应存入到数据库；四：选出与待匹配图像相似的K个图像作为粗匹配结果；五：对粗匹配选出的K个图像与待匹配图像进行特征点匹配；六：进行误匹配特征点对剔除；步骤七：统计待匹配图像与K个图像之间正确匹配的SURF局部特征点对数目；步骤八：选出与待匹配图像正确匹配的局部特征点对数目最多的数据库图像。本发明用于图像处理技术领域。

Description

一种基于WiFi的混合图像检索方法

技术领域

本发明涉及图像处理技术领域，具体涉及基于WiFi与图像的数据库混合检索方法。

背景技术

现有的室内视觉定位数据库中一般存有大量的图像信息，在线定位阶段对数据库中的图片检索过程极其关键。传统的基于图像的数据库快速检索方法一般利用图像全局特征点粗匹配加上图像局部特征点精匹配两部分过程来对图像数据库中的图像进行筛选，选取需要的正确图像。由于图像数据库中图像全局特征点粗匹配阶段计算复杂，导致图像匹配过程复杂，从而使定位过程中图像的检索速度降低。

发明内容

本发明的目的是为了解决传统方法采用基于图像全局特征点粗匹配过程复杂，致使进行定位时图像检索速度慢耗时长的问题，而提出一种基于WiFi的混合图像检索方法。

一种基于WiFi的混合图像检索方法包括以下步骤：

步骤一：选择室内场景，建立室内场景坐标系；所述室内场景坐标系以两个垂直的走廊中轴线分别为X轴和Y轴，两个中轴线的交点为原点；

步骤二：等间隔选取数据采样点并记录采样点的地理位置信息，所述采样点的地理位置信息为采样点在步骤一建立的室内场景坐标系中的坐标；

步骤三：在每一个采样点上用多媒体移动采集平台拍摄室内场景图像并且记录接收到接入点(Access Point)的WiFi信号强度RSS(Received Strength Signal)值，使每一个采样点上拍摄的室内场景图像与RSS值一一对应存入到数据库；每个采样点上拍摄的室内场景图像对应N个RSS值，N为接入点个数，N个RSS值构成一个N维行向量，所述RSS为接收信号强度；

步骤四：利用待匹配图像采样点的WiFi信号强度RSS向量与数据库中所有RSS向量进行相似度计算，选出相似的K个图像作为粗匹配结果；

步骤五：应用加速鲁棒特征(SURF)算法，对步骤四中粗匹配选出的K个图像与待匹配图像进行局部特征点提取，并对提取后的特征点进行匹配；

步骤六：应用随机采样一致性(RANSAC)算法，对步骤五进行局部特征点匹配后的图像进行误匹配特征点对剔除；

步骤七：统计待匹配图像与粗匹配阶段选出的K个图像之间正确匹配的SURF局部特征点对数目，并按数目进行降序排列，完成图像精匹配过程；

步骤八：选出与待匹配图像正确匹配的局部特征点对数目最多的数据库图像，即为与待匹配图像最相似的数据库图像，完成图像检索过程。

本发明的有益效果为：

本发明的目的是提供一种基于WiFi的混合图像检索方法，利用WiFi信号强度来进行图像的粗匹配过程，以解决传统方法采用基于图像全局特征点粗匹配过程复杂，致使进行定位时图像检索速度慢耗时长的问题。

利用本发明方法进行室内场景数据库图像检索时，在保证图像检索准确性的同时大大降低了图像检索的时间，因而进行室内定位时在保证定位精度不受影响的情况下定位速度大大提升。在工业摄像头平台下采用SURF算法，RANSAC算法，WiFi信号强度RSS粗匹配以及图像局部特征精匹配结合的数据库图像混合检索方法来提升对数据库图像检索的速度。

本发明解决了在工业摄像头平台下将摄像头驱动，应用摄像头所采集的图像数据建立的数据库中图像数据庞大，图像数据库检索时间长，定位速度较慢的问题。本发明引入了WiFi信号强度RSS作为图像粗匹配阶段的匹配对象，加快了图像粗匹配阶段的速度，进而为后面图像精匹配阶段节省时间，整体图像检索过程速度大大加快。本发明方法对图像数据库检索时间减少大约70％。

附图说明

图1为多媒体移动采集平台的结构示意图，图中1为滑轮，2为底板，3为立杆，4为摄像头安装件，5为抽屉；

图2利用SURF算法特征匹配结果图；

图3是利用RANSAC算法进行剔除误匹配点的结果图；

图4是传统方法与基于本发明方法进行室内视觉定位的CDF曲线；传统方法为基于图像的数据库快速检索方法；

图5为实验场景坐标系示意图。

具体实施方式

具体实施方式一：一种基于WiFi的混合图像检索方法包括以下步骤：

步骤一：选择室内场景，建立室内场景坐标系；所述室内场景坐标系以两个垂直的走廊中轴线分别为X轴和Y轴，两个中轴线的交点为原点，如图5；

步骤二：等间隔选取数据采样点并记录采样点的地理位置信息，所述采样点的地理位置信息为采样点在步骤一建立的室内场景坐标系中的坐标；

步骤三：在每一个采样点上用多媒体移动采集平台拍摄室内场景图像并且记录接收到接入点(Access Point)的WiFi信号强度RSS(Received Strength Signal)值，使每一个采样点上拍摄的室内场景图像与RSS值一一对应存入到数据库；每个采样点上拍摄的室内场景图像对应N个RSS值，N为接入点个数，N个RSS值构成一个N维行向量，所述RSS为接收信号强度；

所述多媒体移动采集平台如图1所示，小车下部可以承载充电电池，上部可以承载笔记本电脑、工业摄像头、以及西科激光雷达，利用人眼惰性的原理，将拍摄到的照片一帧帧播放形成视频，从而实现边录制边移动的功能。

步骤四：利用待匹配图像采样点的WiFi信号强度RSS向量与数据库中所有RSS向量进行相似度计算，选出相似的K个图像作为粗匹配结果；

步骤五：应用加速鲁棒特征(SURF)算法，对步骤四中粗匹配选出的K个图像与待匹配图像进行局部特征点提取，并对提取后的特征点进行匹配；

步骤六：应用随机采样一致性(RANSAC)算法，对步骤五进行局部特征点匹配后的图像进行误匹配特征点对剔除；

步骤七：统计待匹配图像与粗匹配阶段选出的K个图像之间正确匹配的SURF局部特征点对数目，并按数目进行降序排列，完成图像精匹配过程；

步骤八：选出与待匹配图像SURF正确匹配的局部特征点对数目最多的数据库图像，即为与待匹配图像最相似的数据库图像，完成图像检索过程。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中间隔为0.5米或1米。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤二中在每一个采样点上拍摄室内场景图像时相机的高度和角度相同。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤四中利用待匹配图像采样点的WiFi信号强度RSS向量与数据库中所有RSS向量进行相似度计算，选出相似的K个图像作为粗匹配结果的具体过程为：

相似度计算公式如下：

其中为用户当前采集的RSS向量与数据库中采样点采集的RSS向量之间的相似度，RSS_user为用户当前采集的RSS向量，RSS_i为数据库中第i个采样点RSS向量，n为数据库中采样点个数；

利用待匹配图像采样点的RSS向量与数据库中所有RSS向量进行相似度计算，将计算出的相似度按升序排列，选出前K个相似度对应的数据库中的图像作为下一步图像精匹配的输入图像。

本发明检索算法分为粗匹配与精匹配两部分，在粗匹配阶段，由于每一个位置的WiFi信号强度RSS值与该位置拍摄的图像是一一对应的，故通过RSS之间的相似度匹配即可粗略选出数据库中的若干相似图像。RSS之间的相似度计算采用欧式距离计算，公式如下：

其中用户的RSS具体形式为RSS_user＝[x₁,x₂,...,x_m]，数据库中第i个位置的RSS具体形式为RSS_i＝[y₁,y₂,...,y_m]，d表示用户位置RSS值与数据库中第i个位置的RSS值之间的欧氏距离，m为实验环境中AP的数目，n为数据库中存储的RSS的数目。计算相似度之后，按欧氏距离升序排列，选出对应的前K幅图像作为下一步精匹配的候选图像。在精匹配阶段，选出的K幅图像与用户输入图像利用SURF算法提取局部特征点，进行SURF特征匹配，由于特征匹配过程中存在误匹配的情况，因此利用RANSAC算法剔除误匹配点，记录用户图像与这K幅图像的匹配点对数目并将其降序排列，最终选出匹配点对数最多的图像作为数据库图像检索的结果，即与用户图像最相似的数据库图像。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤五中对步骤四中粗匹配选出的K个图像与待匹配图像进行局部特征点提取，并对提取后的特征点进行匹配的具体过程为：

SURF特征提取的第一步是尺度空间极值检测，在进行特征点极值检测时需要构建尺度空间金字塔以及选出候选极值点。在构建尺度空间金字塔时，SURF算法使用的是盒子滤波器，并且对图像的积分图像进行滤波处理。通过不断地改变盒子滤波器的大小，用不同大小的滤波器在原始图像的x，y，z三个方向上做卷积，即可形成多尺度空间函数D_xx，D_yy，D_xy。在获取尺度空间函数后，需要对某一特定尺度下的局部极值进行求取。在得到局部极值后，需要对它们在3×3×3的邻域内进行非极大值抑制，经过比较如果该点仍为极值，则记录其位置及大小，确定该点为这幅图像中的一个特征点。在确定图像的特征点位置后，为了保证特征点的旋转和尺度不变性，需要利用Haar小波对特征点进行主方向的确定。

在检测到SURF特征之后，接下来要做的就是进行特征匹配。特征匹配是指在高维向量空间中寻找出最相似的特征向量。特征点的相似度是根据特征向量之间的欧式距离来衡量的。基于最近邻与次近邻比的特征点匹配方法是指在图像的样本特征点中，寻找与它距离最近和次近的特征点，然后计算这两个特征点与样本点之间欧式距离的比值。对于比值小于某阈值的特征点，则认为是正确匹配的特征点，否则是错误匹配的特征点。公式如下：

其中Ed_min1表示两个特征点间最近邻的欧氏距离，Ed_min2表示两个特征点间次近邻的欧氏距离，ratio表示两者比值，T_Ed为判断两个特征点是否为匹配点的阈值。经大量实验证明阈值T_Ed为0.7时为最佳的选择。

步骤五一、特征点检测：

利用盒子滤波器对白平衡调节后的待匹配图像和数据库中任意一张图像进行卷积，通过改变盒子滤波器的大小，用不同大小的滤波器在所述两张图像的图像坐标系的x轴和y轴两个方向上作卷积，形成多尺度空间函数D_xx，D_yy，D_xy，构建尺度空间金字塔；其中x轴为水平方向，y轴为竖直方向；

在尺度空间金字塔构建完毕后，通过下式求取某一特定尺度下的局部极值；

detH＝D_xx×D_yy-(0.9×D_xy)²

其中H为黑塞矩阵，detH为黑塞矩阵行列式的值，D_xx为图像在x轴方向求取二阶偏导数之后的滤波结果，D_yy为图像在y轴方向求取二阶偏导数之后的滤波结果，D_xy为图像先在x轴方向求取一阶偏导数并在y轴方向求取二阶偏导数之后的滤波结果；

在得到局部极值后，对检测点在3×3×3的立体邻域内进行非极大值抑制，把符合条件的点筛选为候选极值点，即为特征点，同时记录极值点位置和尺寸，完成特征点检测；

所述符合条件的点为该点满足非极大值抑制的条件；

步骤五二、特征点描述：

在确定特征点位置之后，利用haar小波对特征点进行主方向的确定以保证特征点的旋转和尺度不变性；

步骤五三、特征点匹配：

完成特征点描述后进行特征匹配，特征匹配是指在高维向量空间中寻找出最相似的特征向量；

根据特征向量之间的欧式距离衡量特征点的相似度，选取待匹配图像中的一个特征点与数据库中一张图像中所有特征点分别求取欧式距离，将欧式距离升序排列，从中选出与待匹配图像中的特征点距离最小的两个特征点的欧式距离，即为欧式距离Ed_min1和欧式距离Ed_min2，计算二者的比值ratio，比值ratio小于阈值T_Ed的特征点为正确匹配的特征点，否则是不匹配的特征点；所述阈值T_Ed为人为设定，取值为0.6～0.8；

特征点匹配公式如下式所示：

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤六中应用随机采样一致性(RANSAC)算法，对步骤五进行局部特征点匹配后的图像进行误匹配特征点对剔除的具体过程为：

由于特征点提取时存在一定的精度误差，提取出的特征点会比求解方程式所需的多很多。另外，自动提取和匹配得到的匹配点集中也难免存在一些误匹配点，因此需要一种容错能力很强的算法来优化匹配点集。本发明使用RANSAC算法剔除匹配质量较差的点。RANSAC算法要求在一定的置信概率p(一般设为0.99)下，N组抽样中至少有一组数据全是内点，N可由下式求得。

其中ε为内点所占的比例，m为计算单应矩阵模型所需最小数据量。在用RANSAC算法求解变换矩阵时要判断一对匹配点是否为符合模型的内点。

指定一个阈值T_dist，当对应匹配点的对称变换误差小于该阈值时，认为这对匹配点是符合模型的内点。RANSAC算法的具体步骤如下：

步骤六一：从正确匹配的特征点对中随机选择4对特征点求解单应性矩阵模型H_cur3×3；

步骤六二：将除步骤六一中4对特征点以外的其他特征点对利用H_cur3×3计算其对称变换误差d_i，统计对称变换误差d_i＜T_dist的内点的个数M；T_dist为设定的阈值，用于表示欧式距离；

步骤六三：若M≥M_inlier，则认为H_cur3×3是当前最好的模型H_3×3＝H_cur3×3，并且保存内点数M_inlier＝M；

所述M_inlier为设定阈值，表示符合单应性矩阵模型H_cur3×3的内点的个数；

步骤六四：利用下式计算循环迭代次数N，重复执行步骤六一至步骤六三N次，当循环结束时，得到内点数最多时所对应的单应性矩阵模型，即得到最优的模型矩阵；

其中ε为内点所占的比例，p表示置信概率，m为计算单应性矩阵模型所需的最小数据个数。符号说明如表1所示。

表1

其它步骤及参数与具体实施方式一至五之一相同。

实施例一：

1、在哈尔滨工业大学科学院2A栋12层，部署有27个AP，实验人员推着承载着充电电池、笔记本电脑、一个工业摄像头的多媒体移动采集平台，运行笔记本中的MATLAB程序实现工业摄像头的调用，对走廊中的环境进行拍摄并且利用笔记本电脑记录每一个采样点的WiFi信号强度RSS值，完成室内环境离线数据库的建立。

2、应用CCD工业摄像头拍摄到的图片，原始图像的像素为1292×964，使用MATLAB将照片存入一个文件夹，以备提取SURF特征点时和RANSAC算法提出误匹配点时使用。

3、如图2所示，使用SURF算法对两幅图像提取特征并进行匹配，其中用不同颜色的线条将匹配点连接起来，可以看出基本实现了特征点的匹配。我们分别在两幅图中提取特征点，调用的是SURF-64，也就意味着每个特征点都有一个64维向量来描述它的某个邻域里的灰度分布信息。两幅图像间进行特征点匹配，只需要用到描述子向量，而并不需要每个特征点的尺度特征、方向特征。尺度和方向信息的价值主要体现在特征点检测和特征点描述的计算过程中。把两幅图像的所有特征点之间的距离计算一遍，使用的最近邻比次近邻的方法，就可以把特征点进行匹配。

4、在图2所展示的特征点匹配结果中，我们看到有几条匹配点对的连接线明显的偏离了其他匹配点对的连接方向，这是明显的误配点对。当然也可能存在其他的误配点对，但是我们很难用肉眼去分辨。图3就展示了利用RANSAC算法剔除误配点对后的示意图。经过了RANSAC算法去除误匹配点，匹配点对的数量下降。从理论上说，被剔除的点对，也未必就是错误匹配导致的，也有可能是因为个别兴趣点定位的误差高出了RANSAC中的预先设定好的阈值。这里匹配点的数量直接反映了两幅图像的相似程度，得到了经过RANSAC算法剔除误匹配点后的匹配点数量，有利于提高计算两幅图片相似程度的准确性，从而提高数据库图像检索的精确性。

5、利用本发明基于WiFi与图像的数据库混合检索算法对图像数据库检索时间大幅度减少了，大约减少70％，如表2所示。表3显示了本发明方法在在线定位阶段耗时明显减少，定位速度更快。最终定为精度CDF曲线如图4所示。

表2本发明方法与原方法的图像检索时间比较

表3本发明算法与原方法的在线定位时间比较

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于WiFi的混合图像检索方法，其特征在于：所述基于WiFi的混合图像检索方法包括以下步骤：

步骤一：选择室内场景，建立室内场景坐标系；所述室内场景坐标系以两个垂直的走廊中轴线分别为X轴和Y轴，两个中轴线的交点为原点；

步骤二：等间隔选取数据采样点并记录采样点的地理位置信息，所述采样点的地理位置信息为采样点在步骤一建立的室内场景坐标系中的坐标；

步骤三：在每一个采样点上拍摄室内场景图像并且记录接收到接入点的WiFi信号强度RSS值，使每一个采样点上拍摄的室内场景图像与RSS值一一对应存入到数据库；每个采样点上拍摄的室内场景图像对应N个RSS值，N为接入点个数，N个RSS值构成一个N维行向量，所述RSS为接收信号强度；

步骤四：利用待匹配图像采样点的WiFi信号强度RSS向量与数据库中所有RSS向量进行相似度计算，选出相似的K个图像作为粗匹配结果；

步骤五：对步骤四中粗匹配选出的K个图像与待匹配图像进行局部特征点提取，并对提取后的特征点进行匹配；

步骤六：应用随机采样一致性算法，对步骤五进行局部特征点匹配后的图像进行误匹配特征点对剔除；

步骤七：统计待匹配图像与粗匹配阶段选出的K个图像之间正确匹配的局部特征点对数目，并按数目进行降序排列，完成图像精匹配过程；

步骤八：选出与待匹配图像正确匹配的局部特征点对数目最多的数据库图像，即为与待匹配图像最相似的数据库图像，完成图像检索过程。

2.根据权利要求1所述一种基于WiFi的混合图像检索方法，其特征在于：所述步骤二中间隔为0.5米或1米。

3.根据权利要求2所述一种基于WiFi的混合图像检索方法，其特征在于：所述步骤二中在每一个采样点上拍摄室内场景图像时相机的高度和角度相同。

4.根据权利要求3所述一种基于WiFi的混合图像检索方法，其特征在于：所述步骤四中利用待匹配图像采样点的WiFi信号强度RSS向量与数据库中所有RSS向量进行相似度计算，选出相似的K个图像作为粗匹配结果的具体过程为：

相似度计算公式如下：

其中为用户当前采集的RSS向量与数据库中采样点采集的RSS向量之间的相似度，RSS_user为用户当前采集的RSS向量，RSS_i为数据库中第i个采样点RSS向量，n为数据库中采样点个数；

利用待匹配图像采样点的RSS向量与数据库中所有RSS向量进行相似度计算，将计算出的相似度按升序排列，选出前K个相似度对应的数据库中的图像作为下一步图像精匹配的输入图像。

5.根据权利要求4所述一种基于WiFi的混合图像检索方法，其特征在于：所述步骤五中对步骤四中粗匹配选出的K个图像与待匹配图像进行局部特征点提取，并对提取后的特征点进行匹配的具体过程为：

步骤五一、特征点检测：

利用盒子滤波器对白平衡调节后的待匹配图像和数据库中任意一张图像进行卷积，通过改变盒子滤波器的大小，用不同大小的滤波器在所述两张图像的图像坐标系的x轴和y轴两个方向上作卷积，形成多尺度空间函数D_xx，D_yy，D_xy，构建尺度空间金字塔；其中x轴为水平方向，y轴为竖直方向；

在尺度空间金字塔构建完毕后，通过下式求取局部极值；

detH＝D_xx×D_yy-(0.9×D_xy)²

其中H为黑塞矩阵，detH为黑塞矩阵行列式的值，D_xx为图像在x轴方向求取二阶偏导数之后的滤波结果，D_yy为图像在y轴方向求取二阶偏导数之后的滤波结果，D_xy为图像先在x轴方向求取一阶偏导数并在y轴方向求取二阶偏导数之后的滤波结果；

在得到局部极值后，对检测点在3×3×3的立体邻域内进行非极大值抑制，把符合条件的点筛选为候选极值点，即为特征点，同时记录极值点位置和尺寸，完成特征点检测；

所述符合条件的点为该点满足非极大值抑制的条件；

步骤五二、特征点描述：

在确定特征点位置之后，利用haar小波对特征点进行主方向的确定；

步骤五三、特征点匹配：

根据特征向量之间的欧式距离衡量特征点的相似度，选取待匹配图像中的一个特征点与数据库中一张图像中所有特征点分别求取欧式距离，将欧式距离升序排列，从中选出与待匹配图像中的特征点距离最小的两个特征点的欧式距离，即为欧式距离Ed_min1和欧式距离Ed_min2，计算二者的比值ratio，比值ratio小于阈值T_Ed的特征点为正确匹配的特征点，否则是不匹配的特征点；所述阈值T_Ed为人为设定；

特征点匹配公式如下式所示：

6.根据权利要求5所述一种基于WiFi的混合图像检索方法，其特征在于：所述步骤六中应用随机采样一致性算法，对步骤五进行局部特征点匹配后的图像进行误匹配特征点对剔除的具体过程为：

步骤六一：从正确匹配的特征点对中随机选择4对特征点求解单应性矩阵模型H_cur3×3；

步骤六二：将除步骤六一中4对特征点以外的其他特征点对利用H_cur3×3计算其对称变换误差d_i，统计对称变换误差d_i＜T_dist的内点的个数M；T_dist为设定的阈值，用于表示欧式距离；

步骤六三：若M≥M_inlier，则认为H_3×3＝H_cur3×3，并且保存内点数M_inlier＝M；

所述M_inlier为设定阈值，表示符合单应性矩阵模型H_cur3×3的内点的个数；

步骤六四：利用下式计算循环迭代次数N，重复执行步骤六一至步骤六三N次，当循环结束时，得到内点数最多时所对应的单应性矩阵模型，即得到最优的模型矩阵；

其中ε为内点所占的比例，p表示置信概率，m为计算单应性矩阵模型所需的最小数据个数。