CN110704667B - 一种基于语义信息的快速相似图检测方法 - Google Patents

Abstract

本发明公开了一种基于语义信息的快速相似图检测算法，涉及计算机视觉算法技术领域，所述方法包括以下步骤：步骤1、利用物体检测的语义信息，选出待检图片集合中对应当前图片的候选图片集合；步骤2、将所述当前图片和所述候选图片集合做特征点匹配，判断是否存在所述当前图片的相似图，如果存在，找出所述当前图片的相似图。本发明使用两段式检出的方法来完成图像匹配工作，第一阶段粗检，利用物体检测的语义信息，用简单快速的方法选出待检图片中的候选图片，从而大大减少候选图片数量，第二步做精确匹配，对第一步检出的图像做进一步匹配，根据匹配的结果得到最后的精确结果。这样既提高了检出速度，同时又保证了准确性。

Description

一种基于语义信息的快速相似图检测方法

技术领域

本发明涉及计算机视觉算法技术领域，尤其涉及一种基于语义信息的快速相似图检测方法。

背景技术

在零售稽查领域中，需要从大量图片中找到和当前图片相似的图片。

查找相似图算法，或者叫以图搜图算法，是一个常用的图像搜索算法。通用的相似图查找算法常见的方法有两种：

1、缩小原始图像，比如缩小到32×32，这样生成一个相对较短的特征向量(32×32＝1024)，比较两张图片的特征向量的距离(例如汉明距离)，估算两张图片的相似度，当距离小于一定阈值的时候，认为两张图片相似；

2、使用局部特征点抽取算法，比如SIFT，ORB等，提取图片局部特征点及其描述，然后用BoW等方法生成对图像的语义描述，通过比较语义描述，找到与当前查询图片相似的图片。

方法1生成的特征向量描述性差，检出率和准确率都比较低。

方法2运算比较复杂，生成描述所需要的时间比较长，无法满足秒级检出图片的要求，或者要做到秒级，对服务器的容量要求比较高，百万级图像检索，做到秒级输出可能需要上千个CPU核心。

因此，本领域的技术人员致力于开发一种基于语义信息的快速相似图检测方法，使用两段式检出的方法来完成图像匹配工作，第一阶段粗检，利用物体检测的语义信息，用简单快速的方法选出待检图片中的候选图片，从而大大减少候选图片数量，第二步做精确匹配，对第一步检出的图像做进一步匹配，根据匹配的结果得到最后的精确结果。这样既提高了检出速度，同时又保证了准确性。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在保证准确性的同时提高相似图检测的检出速度。

为实现上述目的，本发明提供了一种基于语义信息的快速相似图检测方法，其特征在于，所述方法包括以下步骤：

步骤1、利用物体检测的语义信息，选出待检图片集合中对应当前图片的候选图片集合；

步骤2、将所述当前图片和所述候选图片集合做特征点匹配，判断是否存在所述当前图片的相似图，如果存在，找出所述当前图片的相似图。

进一步地，所述步骤1还包括以下步骤：

步骤1.1、对所述当前图片进行物体检测，得到每个物体的外框坐标，并计算出物体宽度和高度，所述外框坐标包括左下、右下、左上、右上四个坐标点；

步骤1.2、按照所述每个物体的外框坐标进行排序，对所述每个物体提取特征指纹，得到所述当前图片的特征指纹；

步骤1.3、从待检图片集合中获取所述待检图片的特征指纹，将所述当前图片的特征指纹与所述待检图片的特征指纹一一比对，将符合要求的所述待检图片作为候选图片集合。

进一步地，所述步骤2中包括以下步骤：

步骤2.1、将所述当前图片和所述候选图片集合中每一个候选图片逐一进行特征点匹配，并计算每一个候选图片与所述当前图片的IOU值；

步骤2.2、选取步骤2.1中计算出的所有IOU值中的最大IOU值；

步骤2.3、如果所述最大IOU值小于给定IOU阈值，判断不存在所述当前图片的相似图，否则，判断对应所述最大IOU值的候选图片为所述当前图片的相似图。

进一步地，所述步骤1.1包括以下步骤：

步骤1.1.1、读取所述当前图片的原始RGB图像；

步骤1.1.2、利用物体检测得到所述当前图片上存在的物体，取得其左上、右上、左下、右下四个坐标点，并计算出物体宽度和高度。

进一步地，所述步骤1.2包括以下步骤：

步骤1.2.1、对所述每个物体按其左上坐标点距坐标原点的距离，从小到大进行排序；

步骤1.2.2、将所述当前图片的原始RGB图像从RGB色彩空间转换到HSV色彩空间，得到HSV图像；

步骤1.2.3、对所述排序后的每个物体求取特征值；

步骤1.2.4、将步骤1.2.3中所求取的特征值顺序排列起来，得到所述当前图片的特征向量。

进一步地，所述步骤1.2.3中所述求取特征值具体包括：

对所述物体的HSV图像，取H分量，按H值以10为步长，划分为36个区间，对36个区间做统计直方图，所述统计直方图最大值所对应的区间的中值作为所述物体的特征值。

进一步地，所述步骤1.3包括以下步骤：

步骤1.3.1、读取所述待检图片集合中的每一个所述待检图片的特征向量；

步骤1.3.2、计算所述当前图片的特征向量和所述待检图片的特征向量的距离；

步骤1.3.3、如果所述特征向量的距离小于给定距离阈值，则所述待检图片为候选图片，将其加入候选图片集合。

进一步地，所述步骤2.1包括以下步骤：

步骤2.1.1、提取所述当前图片和候选图片的特征点，并做特征点匹配，得到匹配特征点对集合；

步骤2.1.2、根据所述特征点对集合，计算所述当前图片和候选图片的单应性矩阵；

步骤2.1.3、根据所述单应性矩阵，计算变换后的图像角点坐标，计算所述候选图片与所述当前图片的IOU值。

进一步地，所述步骤2.1.1包括以下步骤：

步骤2.1.1.1、用ORB算法提取所述当前图片的特征点及其描述；

步骤2.1.1.2、用ORB算法提取所述候选图片的特征点及其描述；

步骤2.1.1.3、使用brutal-force算法对所述当前图片和候选图片的特征点及其描述做特征点匹配，得到匹配的特征点对。

进一步地，所述步骤2.3中所述IOU阈值为0.7。

本发明使用两段式匹配方法，第一步用快速算法粗粒度过滤结果，第二步用慢速方法细粒度比对，从而既保证速度同时又保证了准确度，同时算法也保持了高扩展性，便于并发处理。

附图说明

图1是本发明的一个较佳实施例的方法流程图。

具体实施方式

以下参考说明书附图介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

本发明提供了一种基于语义信息的快速相似图检测方法，如图1所示，该方法包括步骤：

S1、拿到图像上物体检测的结果，得到每个物体的外框(左下，右下，左上，右上四个坐标点)，对每个物体提取特征指纹，所有的物体的特征按照物体左上角的坐标排成一排，即得到图片的特征指纹；

S2、从数据库中拿到待查询的图像库所有图片的特征指纹；

S3、当前图片的特征指纹与图像库里的指纹一一比对，符合要求的图片作为相似图候选项；

S4、对于S3中得到的候选相似图：

A)用ORB算法提取当前图片和候选相似图片的特征点，并做特征点匹配，得到匹配特征点对集合；

B)根据特征点对集合，计算两张图片的单应性矩阵；

C)根据单应性矩阵，计算变换后的图像角点坐标，计算IOU比例；

S5、根据S4中得到的候选相似图与当前图像的IOU值，取IOU最大的一个

A)如果最大IOU值小于某个阈值，则当前图像无相似图；

B)如果最大IOU值大于阈值，则当前图像与对应的候选相似图是真相似图。

实施例：

1、使用OpenCV库读取原始图像I_RGB；

2、从物体检测服务得到图像上存在的物体，取得其左上，右上，左下，右下四个点坐标以及宽、高，

O＝{o_i|i＝1,2,3...N,o_i＝{p_top-left(x,y),p_top-right(x,y),p_bottom-left(x,y),p_bottom-right(x,y),width,height}}；

3、对物体o_i按其左上角坐标距坐标原点的距离

从小到大排序，得到o_sort；

4、将原始图像从RGB色彩空间转换到HSV色彩空间，得到I_HSV；

5、对于第3步结果o_sort中的每一个物体o_i：

a.根据HSV色彩空间的定义，如果H值存在，值域为0-360。以10为步长，则可得36个区间。

b.对o_i内的像素，取I_HSV中的H分量，对36个区间做统计直方图。直方图最大值所对应的区间的中值即为当前物体的特征值，记为f_i；

6、将第5步中得到的f_i按照o_sort的顺序排列起来，即可得当前图像的特征向量F＝f₀f₁...f_N；

7、对于数据库中已经存在的每一个参考图像I_ref,i：

a.读取其特征向量F_ref,i；

b.计算当前图像特征向量F和参考图像I_ref,i特征向量F_ref,i的距离；

c.如果特征向量距离小于阈值，则参考图像I_ref,i为候选相似图，将其加入集合I_cand；

8、用ORB算法提取当前图像的500个特征点及其描述，记为Desc，用OpenCV函数实现；

9、对于第7步结果I_cand中的每一个图片I_cand,i：

a.用ORB算法提取每一个候选相似图的500个特征点及其描述，记为Desc_cand,i，用OpenCV函数实现；

b.使用brutal-force对Desc和Desc_cand,i做特征点匹配，得到匹配的特征点对；

c.如果匹配的特征点对大于等于4组：

i.通过匹配的特征点对用RANSAC算法计算单应性矩阵H；

ii.计算图像经过H变换后重叠区域的面积，得到IOU；

10、对于第9步得到的所有IOU，取IOU值最大的图片，如果IOU值大于0.7，则认为对应的图片和当前图片相似，否则认为当前图片在参考图像中没有相似图片存在。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (3)

1.一种基于语义信息的快速相似图检测方法，其特征在于，所述方法包括以下步骤：

步骤1、利用物体检测的语义信息，选出待检图片集合中对应当前图片的候选图片集合；

步骤2、将所述当前图片和所述候选图片集合做特征点匹配，判断是否存在所述当前图片的相似图，如果存在，找出所述当前图片的相似图；

所述步骤1还包括以下步骤：

步骤1.1、对所述当前图片进行物体检测，得到每个物体的外框坐标，并计算出物体宽度和高度，所述外框坐标包括左下、右下、左上、右上四个坐标点；

步骤1.2、按照所述每个物体的外框坐标进行排序，对所述每个物体提取特征指纹，得到所述当前图片的特征指纹；

步骤1.3、从待检图片集合中获取所述待检图片的特征指纹，将所述当前图片的特征指纹与所述待检图片的特征指纹一一比对，将符合要求的所述待检图片作为候选图片集合；

所述步骤1.1包括以下步骤：

步骤1.1.1、读取所述当前图片的原始RGB图像；

步骤1.1.2、利用物体检测得到所述当前图片上存在的物体，取得其左上、右上、左下、右下四个坐标点，并计算出物体宽度和高度；

所述步骤1.2包括以下步骤：

步骤1.2.1、对所述每个物体按其左上坐标点距坐标原点的距离，从小到大进行排序；

步骤1.2.2、将所述当前图片的原始RGB图像从RGB色彩空间转换到HSV色彩空间，得到HSV图像；

步骤1.2.3、对所述排序后的每个物体求取特征值；

步骤1.2.4、将步骤1.2.3中所求取的特征值顺序排列起来，得到所述当前图片的特征向量；

所述步骤1.3包括以下步骤：

步骤1.3.1、读取所述待检图片集合中的每一个所述待检图片的特征向量；

步骤1.3.2、计算所述当前图片的特征向量和所述待检图片的特征向量的距离；

步骤1.3.3、如果所述特征向量的距离小于给定距离阈值，则所述待检图片为候选图片，将其加入候选图片集合；

所述步骤2中包括以下步骤：

步骤2.1、将所述当前图片和所述候选图片集合中每一个候选图片逐一进行特征点匹配，并计算每一个候选图片与所述当前图片的IOU值；

步骤2.2、选取步骤2.1中计算出的所有IOU值中的最大IOU值；

步骤2.3、如果所述最大IOU值小于给定IOU阈值，判断不存在所述当前图片的相似图，否则，判断对应所述最大IOU值的候选图片为所述当前图片的相似图；

所述步骤2.1包括以下步骤：

步骤2.1.1、提取所述当前图片和候选图片的特征点，并做特征点匹配，得到匹配特征点对集合；

步骤2.1.2、根据所述特征点对集合，计算所述当前图片和候选图片的单应性矩阵；

步骤2.1.3、根据所述单应性矩阵，计算变换后的图像角点坐标，计算所述候选图片与所述当前图片的IOU值；

所述步骤2.3中所述IOU阈值为0.7。

2.如权利要求1所述的基于语义信息的快速相似图检测方法，其特征在于，所述步骤1.2.3中所述求取特征值具体包括：

对所述物体的HSV图像，取H分量，按H值以10为步长，划分为36个区间，对36个区间做统计直方图，所述统计直方图最大值所对应的区间的中值作为所述物体的特征值。

3.如权利要求1所述的基于语义信息的快速相似图检测方法，其特征在于，所述步骤2.1.1包括以下步骤：

步骤2.1.1.1、用ORB算法提取所述当前图片的特征点及其描述；

步骤2.1.1.2、用ORB算法提取所述候选图片的特征点及其描述；

步骤2.1.1.3、使用brutal-force算法对所述当前图片和候选图片的特征点及其描述做特征点匹配，得到匹配的特征点对。

Images