CN105975643B - 一种基于文本索引的实时图像检索方法 - Google Patents

Abstract

本发明提供了一种基于文本索引的实时图像检索方法，步骤包括：构建字典树并获得各个特征向量v_q组成图像查询库、提取输入图像的图像特征点并生成特征描述子、将输入图像的特征描述子序列化为用特征字典表示的特征向量v_d、计算图库中的特征向量与输入图像序列化后的特征向量间的相似度sim(v_q,v_d)以及验证检索出来的M张图片并检索结果等步骤。该图像检索方法将图像特征换成文本向量，特征检索变成文本检索的方法，使得检索速度能达到实时，同时在识别结果上做了更深层次的验证，使得方法更具鲁棒性。

Description

一种基于文本索引的实时图像检索方法

技术领域

本发明涉及一种图像检索方法，尤其是一种基于文本索引的实时图像检索方法。

背景技术

随着计算机视觉及搜索引擎的快速发展，图像检索技术在各行业得到了越来越多的重视。特别是现在深度学习的出现，使得图像检索方面的研究再次成为了热点。

传统的图像检索方法主要有模板匹配以及特征匹配等方法，但是该类算法会随着数据量的增大，计算量以及内存会越来越大，没法做到大数据的图像检索，而且随着图库的增加，其检索时间也会随之边长，当数据量到一定程度时，该类算法没法做到实时，极大的限制了其使用的范围。之后BOW提出将图像特征变为单词向量的方法，极大的减少了内存的开销和检索时间。但是传统的方法采用SIFT，SURF等特征去提取特征点，使得算法在构建视觉词库时花的时间会比较长。当今非常流行的deep learning的提出，使得图像检索可以达到一个很高的识别率，但是由于deep learning需求大量的数据，而且训练时间很长，内存需求很大等限制，使得其不能用于很多场合。

发明内容

本发明要解决的技术问题是传统的图像检索方法采用sift、surf等描述子提取图像特征，使得其生成字典树的时间比较长，在某些快速应用场合不适用。

为了解决上述技术问题，本发明提供了一种基于文本索引的实时图像检索方法，包括如下步骤：

步骤1，构建字典树，具体步骤为：

步骤1.1，用FAST角点算法分层提取图库中每一张图像的多尺度仿射不变特征点，并根据不变特征点的分布筛选部分特征点生成特征描述子数据库D；

步骤1.2，用聚类算法分层训练特征描述子，当层数l＝1时，将特征描述子数据库D分为K个子类，即D₁₁,D₁₂,…,D_1K，再用同样的方法训练l＝2,…,L层的特征描述子，最终生成L层且每层有K^l个节点的字典树；

步骤1.3将字典树最外层的节点作为特征字典，共K^L个特征字典，再统计每一个特征字典在图库中出现的次数，并根据出现的次数计算出每一个特征字典的权值t_i，再生成图库中每一张图像的特征向量v_q，并由各个特征向量v_q组成图像查询库；

步骤2，对于输入图像，采用FAST角点算法分层提取输入图像的图像特征点，并根据特征点的分布筛选部分特征点生成输入图像的特征描述子；

步骤3，根据生成的字典树将输入图像的特征描述子序列化为特征字典表示，再根据序列化后的特征字典的权值生成输入图像的特征向量v_d；

步骤4，计算图像查询库中的各个特征向量v_q与输入图像序列化后的特征向量v_d之间的相似度sim(v_q,v_d)，并返回相似度超过相似阈值的M张图片，其中，T表示矩阵的转置；

步骤5，分别验证返回的M张图片与输入图像是否为同一张，若完全相同，则输出该张检索出来的图片为检索结果。

采用将图像特征换成文本向量，特征检索变成文本检索的方法，使得检索速度能达到实时；采用基于FAST多尺度提取，再结合尺度及其角度信息生成描述子，极大的缩短了时间，同时也缩短了描述子的长度；在识别结果上做了更深层次的验证，使得方法更具鲁棒性。

作为本发明的进一步限定方案，步骤1.3中，n_id表示第i个特征字典在特征描述子数据库D中的出现的次数，n_d表示特征描述子数据库D中特征字典的数量，N表示图库中图像的数量，N_i表示图库中出现第i个特征字典的次数。

本发明的有益效果在于：(1)采用将图像特征换成文本向量，特征检索变成文本检索的方法，使得检索速度能达到实时；(2)采用基于FAST多尺度提取，再结合尺度及其角度信息生成描述子，极大的缩短了时间，同时也缩短了描述子的长度；(3)在识别结果上做了更深层次的验证，使得方法更具鲁棒性。

附图说明

图1为本发明的方法流程图。

具体实施方式

如图1所示，本发明的基于文本索引的实时图像检索方法，包括如下步骤：

步骤1，构建字典树，具体步骤为：

步骤1.1，用FAST角点算法分层提取图库中每一张图像的多尺度仿射不变特征点，并根据不变特征点的分布筛选部分特征点生成特征描述子数据库D；

步骤1.2，用聚类算法分层训练特征描述子，当层数l＝1时，将特征描述子数据库D分为K个子类，即D₁₁,D₁₂,…,D_1K，再用同样的方法训练l＝2,…,L层的特征描述子，最终生成L层且每层有K^l个节点的字典树，本实施例中，L＝3，K＝10；

步骤1.3将字典树最外层的节点作为特征字典，共K^L个特征字典，再统计每一个特征字典在图库中出现的次数，并根据出现的次数计算出每一个特征字典的权值t_i，再生成图库中每一张图像的特征向量v_q，并由各个特征向量v_q组成图像查询库，其中n_id表示第i个特征字典在特征描述子数据库D中的出现的次数，n_d表示特征描述子数据库D中特征字典的数量，N表示图库中图像的数量，N_i表示图库中出现第i个特征字典的次数；

步骤2，对于输入图像，采用FAST角点算法分层提取输入图像的图像特征点，并根据特征点的分布筛选部分特征点生成输入图像的特征描述子；

步骤3，根据生成的字典树将输入图像的特征描述子序列化为特征字典表示，再根据序列化后的特征字典的权值生成输入图像的特征向量v_d；

步骤4，计算图像查询库中的各个特征向量v_q与输入图像序列化后的特征向量v_d之间的相似度sim(v_q,v_d)，并返回相似度超过相似阈值的M张图片，其中，T表示矩阵的转置；

步骤5，分别验证返回的M张图片与输入图像是否为同一张，若完全相同，则输出该张检索出来的图片为检索结果。

本发明与传统的图像检索方法相比优势在于：采用将图像特征换成文本向量，特征检索变成文本检索的方法，使得检索速度能达到实时；采用基于FAST多尺度提取，再结合尺度及其角度信息生成描述子，极大的缩短了时间，同时也缩短了描述子的长度；在识别结果上做了更深层次的验证，使得方法更具鲁棒性。本发明的图像检索方法不论是图库的创建时间、占用的内存以及检索准确率均远远优于现有算法。

本发明的基于文本索引的实时图像检索方法在进行实验验证时，硬件环境设置为：win8、vs2010DEBUG模式下、i7处理器以及8G内存；建图部分：找了100张图像，640*480，不变特征点的数量为200～500，每幅图像所用时间少于200ms，一般在18000～20000ms之间，生成7234K的文件；检索部分：检测特征点并生成特征描述子，20ms内，检索速度10ms内，验证10ms内。

Claims (1)

1.一种基于文本索引的实时图像检索方法，其特征在于，包括如下步骤：

步骤1，构建字典树，具体步骤为：

步骤1.1，用FAST角点算法分层提取图库中每一张图像的多尺度仿射不变特征点，并根据不变特征点的分布筛选部分特征点生成特征描述子数据库D；

步骤1.2，用聚类算法分层训练特征描述子，当层数l＝1时，将特征描述子数据库D分为K个子类，即D₁₁,D₁₂,…,D_1K，再用同样的方法训练l＝2,…,L层的特征描述子，最终生成L层且每层有K^l个节点的字典树；

步骤1.3将字典树最外层的节点作为特征字典，共K^L个特征字典，再统计每一个特征字典在图库中出现的次数，并根据出现的次数计算出每一个特征字典的权值t_i，再生成图库中每一张图像的特征向量v_q，并由各个特征向量v_q组成图像查询库；其中， n_id表示第i个特征字典在特征描述子数据库D中的出现的次数，n_d表示特征描述子数据库D中特征字典的数量，N表示图库中图像的数量，N_i表示图库中出现第i个特征字典的次数；

步骤2，对于输入图像，采用FAST角点算法分层提取输入图像的图像特征点，并根据特征点的分布筛选部分特征点生成输入图像的特征描述子；

步骤3，根据生成的字典树将输入图像的特征描述子序列化为特征字典表示，再根据序列化后的特征字典的权值生成输入图像的特征向量v_d；

步骤4，计算图像查询库中的各个特征向量v_q与输入图像序列化后的特征向量v_d之间的相似度sim(v_q,v_d)，并返回相似度超过相似阈值的M张图片，其中， T表示矩阵的转置；

步骤5，分别验证返回的M张图片与输入图像是否为同一张，若完全相同，则输出该张检索出来的图片为检索结果。