CN107644227A - 一种用于商品图像搜索的融合多视角的仿射不变描述子 - Google Patents
一种用于商品图像搜索的融合多视角的仿射不变描述子 Download PDFInfo
- Publication number
- CN107644227A CN107644227A CN201710371020.3A CN201710371020A CN107644227A CN 107644227 A CN107644227 A CN 107644227A CN 201710371020 A CN201710371020 A CN 201710371020A CN 107644227 A CN107644227 A CN 107644227A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- value
- matrix
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种用于商品图像搜索的融合多视角的仿射不变描述子，用于服装商品图像的检索。本发明的图像检索方法在提取服装商品图像的视觉特征时，针对传统的尺度不变描述子SIFT(Scale Invariant Feature Transform)在存在较大仿射变换和视角变换的情况下，无法进行有效匹配的问题，提出先利用相机成像模型，将服装商品图像进行模拟视角转换，生成该服装商品图像的一组模拟视角图像序列，然后提取模拟视角图像序列中图像在仿射不变区域的SIFT视觉特征，最后利用随机抽样一致算法RANSAC(Random Sample Consensus)，将模拟视角图像序列中的视觉特征映射到原始基准图像中，共同构成原始图像的特征点。本发明能够有效提取服装商品图像的视觉特征，并且在存在较大视角变换和仿射变换的情况下依然能够很好的进行匹配，符合人们观察目标的视觉特性。
Description
技术领域
本发明涉及一种融合多视角的仿射不变特征描述方法，主要用于服装商品图像的搜 索与匹配。
背景技术
由于本发明抽取的是服装商品图像的视觉特征，对于现实中采集到的RGB彩色图像，在抽取图像特征前需要通过图像预处理将采集的所有图像均转化成灰度图像。
图像的识别检索通常包括以下几个步骤：
特征抽取过程：
1、输入训练图像；
2、图像预处理，将输入的训练图像转化成灰度图像；
3、按照特征抽取算法逐一抽取服装图像的视觉特征；
4、对抽取的视觉特征做必要的处理，并进行存储。
图像检索识别过程：
1、输入查询图像，对其进行预处理，将其转换成灰度图像；
2、抽取查询图像的视觉特征，并做相应处理；
3、按照匹配相似度度量准则，计算查询图像特征向量与训练图像的距离；
4、对上述计算得到的所有度量距离进行排序，检索识别查询图像。
目前常用的图像特征描述方法主要有：基于图像全局特征的图像搜索方法和基于图 像局部特征的图像搜索方法。基于全局特征的图像搜索方法利用的是图像的全局特征，如：颜色、纹理、形状等；基于图像局部特征的图像搜索方法利用的是图像的局部特征， 如SIFT特征、MSER特征等等。表1给出了常用的图像视觉特征的描述方法及其分类。
| 一级分类 | 二级分类 |
| 全局特征描述方法 | 颜色、形状、纹理 |
| 局部特征描述方法 | SIFT、MSER |
表1.常用的图像视觉特征的描述方法及其分类
对以上常用的图像特征描述方法的部分常用方法进行具体分析：
(1)颜色特征
颜色特征是目前应用最为广泛的底层视觉特征。颜色是组成图像内容的基本要素， 与其它底层特征相比，颜色特征具有优于其他底层视觉特征的旋转不变性和尺度不变性，计算起来也比其他视觉特征方便。目前颜色特征的描述方法主要有颜色直方图法， 颜色矩法，颜色信息熵等。
(2)形状特征
图像的形状特征是图像的另一个重要特征，也是图像识别研究领域的一个基本问题。但由于获取物体的形状比较困难，基于形状特征的搜索匹配一般仅限于非常容易识 别的物体。目前，在基于内容的图像搜索技术中常用的形状特征提取方法主要分为两类： 基于边界的形状特征提取和基于区域的形状特征提取。
(3)纹理特征
纹理特征是物体表面的一种特征，纹理特征度量的是局部区域中像素间的关系。纹 理特征描绘了像素邻域间的灰度分布规律，包含了邻域间像素分布排列的重要信息，以及它们与周围像素之间的关系。常用的纹理描述方法有：统计法、频谱法、结构法和模 型法四种。
(4)SIFT特征
SIFT是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更加深入的发展和完善。SIFT特征独特性好，信息量丰富，并且对大多数图像变换具有很强 的不变性。SIFT算法主要包括以下4个基本步骤：
首先，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋 转不变的兴趣点。图像的极值点在经过图像平移、旋转等变换后仍然是图像的极值点。因此SIFT特征提取算法首先在尺度空间上提取极值点，以保证极值点的稳定性。
为了在尺度空间上快速找到稳定点，利用高斯差分算子在高斯差分尺度空间中检测 图像极值点，在利用高斯差分算子得到一系列高斯差分图像后，利用高斯差分图像形成高斯差分金字塔。金字塔的每一层是通过对上一层图像进行高斯平滑处理，并进行1/4 降采样后，再进行差分运算得到的。
初步得到的候选关键点是离散的，并不是真正的关键点。需要对候选点进行精细配 置，同时去除低对比度的点和定位在边缘上的差点。
通过图像局部的梯度方向，为每个关键点分配方向，对图像的变换操作都相对于关 键点的方向，从而实现图像旋转的不变性。
在得到关键点的位置，尺度和方向后，需要利用特征向量对特征点进行描述。特征点要对图像的亮度变换具有不变性。可以对关键点邻域范围内的像素亮度进行采样，使 用归一化的相关方法进行特征点匹配。
(5)MSER特征
最大稳定极值区域MSER(Maximally Stable Extremal Region)，是由Matas等于2004 年提出，是目前公认的性能最好的仿射不变区域检测算子。
该算法是Matas在研究宽基线匹配时，借鉴分水岭算法提出的。其基本思想如下：对任意一幅图像I(x，y)，假设该图像存在所有可能的阈值t∈(0，1，2，......，255)，I0、I1、I2、...It...、I255分别为对应各个可能阈值的图像。对于图像I(x，y)中的每一个像素值， 如果大于或等于阈值t，则将该像素值设为0；如果像素值小于阈值t，则将该像素值设 为255。因此，当t＝0时，图像I(x，y)中所有的像素值都大于或等于t，此时阈值图像I0为一张全白的图像；随着阈值t的不断增加，图像I(x，y)中小于阈值t的像素越来越多， 阈值图像It中的黑色区域会越来越多，这些黑色区域称为局部极小值区域。局部极小值 区域会随着阈值t的不断增加而增大、融合；当t＝255时，图像I(x，y)中所有的像素值 都小于阈值t，此时阈值图像I255为一张黑色的图像。阈值图像上所有连通的区域被称之 为最大值区域。将图像I(x，y)灰度值取反，进行相同的操作，可以得到最小值区域。
综上所述，图像的局部特征可以很好地表达和描述目标图像的特性，可以依据抽取 的图像局部特征进行特征匹配，实现模式识别和目标检索。
发明内容
本发明要解决的技术问题在于解决现有的尺度不变特征变换描述子SIFT(ScaleInvariant Feature Transform)，在应用于商品图像识别中，存在的在较大仿射变换和视角 变换的情况下，无法进行有效匹配的问题，提出一种能够实现高效、准确表达和描述目标图像的特征抽取方法，同时保证抽取的商品图像视觉特征具有尺度不变性、视角不变 性和仿射不变性。
本发明采用以下技术方案：
一种商品图像识别方法，包括对目标商品图像的视觉特征描述方法，所述特征描述 方法融合目标图像在所有可能视角之下的视觉特征，具有很好的视角不变性和仿射不变 性，具体过程包括以下步骤：
步骤A、将输入的目标图像转换成灰度图像，其一般形式可以表示如下：
g(x，y)＝f(x，y，1)*0.299+0.587*f(x，y，2)+0.114*f(x，y，3) (1)
其中，g(x，y)表示灰度图像，f(x，y，1)、f(x，y，2)、f(x，y，3)分别表示原目标图像的R、 G、B分量。
步骤B、对于灰度图像g(x，y)，根据相机的成像模型可以得到该图像的模拟视角图像序 列，图像的成像模型可以表示如下：
u＝SgGgAgu0 (2)
其中，S表示相机的CCD抽样函数，G表示相机透镜的反走样高斯滤波函数，A是平面投射变换矩阵，u0表示相机正对物体时的无限平面。其中，A作为平面投射变换矩阵， 可以分解为：
可将其简写为：
其中，λ＞0，λt为A的行列式的值；ψ表示相机旋转角度，是由相机绕其光轴进行旋转所产生的；T定义为相机的倾斜角；和θ＝arccos(1/t)表示相机的观测 角度。
假设图像u1(x，y)＝u(A(x，y))和u2(x，y)＝u(B(x，y))为同一图像u0在不同视角下的成 像示意图，可推导出矩阵A、B之间存在如下对应关系：
其中，ψ12为两幅图像的相机视角相对于光轴的旋转角度之差，是两幅图像的相机观 测角度之差。由此，可以将原始图像进行抽样旋转和平面变换生成模拟视角图像序列， 即可以通过改变t与的值生成模拟视角图像序列。
步骤C、通过大量实验表明，为最合适的生成模拟视角图像序列 的抽样参数，并以此抽样参数对基准图像进行模拟视角转换，生成模拟视角图像序列。
步骤D、使用一系列灰度阈值对图像进行二值化处理。对任意一幅图像I(x，y)，假设该 图像存在所有可能的阈值t∈(0，1，2，......，255)，I0、I1、I2、...It...、I255分别为对应各个 可能阈值的图像。对于图像I(x，y)中的每一个像素值，如果大于或等于阈值t，则将该 像素值设为0；如果像素值小于阈值t，则将该像素值设为255。
步骤E、在灰度阈值范围内保持形状稳定的区域就是MSERs：
评判标准：dA/dt
A：图像区域面积，t：灰度阈值
步骤F、将MSER区域拟合为椭圆，将不规则区域拟合为椭圆的通式为：
其中X为向量，代表像素点的空间坐标(x，y)，R代表不规则区域，|R|表示集合的势， 此处代表不规则区域内像素点的个数，u为像素点的一阶矩，∑为像素点的二阶矩。由以上公式得到协方差矩阵的降维矩阵：
其中D(x)为不规则区域所有像素点横坐标的方差，D(y)为不规则区域内所有像素点纵 坐标的方差，COV(x，y)为不规则区域所有像素点横纵坐标的方差：
其中，U为对称矩阵，拟合后椭圆的长短轴方向θ和幅值a1、a2可以通过U的特征向量和特征根得到。E(g)为相应的一阶矩。通过以上计算可以得到拟合后的椭圆的长短轴方 向和幅值。
步骤G、采用图像归一化方法，将仿射不变区域图像变换为标准形式：
首先计算仿射不变区域图像I(x，y)的协方差矩阵，得到图像的概率密度函数f(x，y) 与期望E(X)和E(Y)：
其中，m、n分别为图像I(x，y)的长与高。则得出p+q阶的中心距upq：
upq＝E{(X-E(X))p(Y-E(Y))q} (13)
可得图像的协方差矩阵为：
再计算协方差矩阵的特征值λ1，λ2以及相应的特征向量(e1x e1y)T，(e2x e2y)T， 将图像I(x，y)沿着特征向量方向旋转，使图像坐标中心化。协方差矩阵为实对称矩阵， 则有：
e1xe1y+e2xe2y＝0 (16)
于是，可构造旋转矩阵E：
原图像I(x，y)可利用旋转矩阵E进行旋转变换，得到新的图像I′(x′，y′)：
利用协方差矩阵的特征值，分别改变图像I(x，y)沿x轴与y轴的尺寸。构造尺寸矩阵W：
其中，结合旋转矩阵，可对原图像I(x，y)进行尺寸归一化，排除放大、缩小变换对图像的影响，图像的尺寸归一化图像I″(x″，y″)为：
将尺寸归一化图像进行旋转归一化，得到最终的归一化图像。变换方法是将尺寸归 一化图像乘以矩阵：
其中，α可以表示为：
其中，u′12，u′21，u′30，u′03为尺寸归一化图像的三阶中心矩。最后，可得图像I(x，y)的 归一化图像
步骤H、在步骤G得到的仿射不变区域图像中，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。尺度空间是由图像与高斯核进行一系列的卷积运算后得到，高斯核表示为：
L(x，y，σ)＝G(x，y，σ)*I(x，y) (24)
其中G(x，y，σ)是二维高斯函数：
其中，σ是尺度缩放因子，(x，y)为图像像素坐标，I(x，y)表示原图像，L(x，y)是卷积 后的图像像素值。
为了在尺度空间上快速找到稳定点，可利用高斯差分算子在高斯差分尺度空间中检 测图像极值点，计算方法见公式：
D(x，y，σ)＝G(x，y，kσ)*I(x，y)-G(x，y，σ)*I(x，y)＝L(x，y，kσ)-L(x，y，σ) (26)
在利用高斯差分算子得到一系列高斯差分图像后，利用高斯差分图像形成高斯差分 金字塔。金字塔的每一层是通过对上一层图像进行高斯平滑处理，并进行1/4降采样后，再进行差分运算得到的。
步骤I、初步得到的候选关键点是离散的，并不是真正的关键点。需要对候选点进行精 细配置，同时去除低对比度的点和定位在边缘上的差点。可以选用泰勒展开式作为拟合 函数，对D(x，y，σ)进行变换：
其中D以及D的导数值是样本点的估计，令为对该点的补偿。通过求关 于x的偏导数并将其设为零得到极值的位置为：
当精确位置和初始位置在任意维度上相差超过0.5时，更改插值中心，重新插值，直到收敛或迭代次数超过时将其排除。
为提高关键点的稳定性，还需去除边缘上的极值点。在高斯差分函数中，定义不好的峰值将会在边缘处产生很大的主曲率，而在垂直方向上产生很小的主曲率。主曲率可 以通过一个2×2的Hessian矩阵H来表示：
H的特征值与D的主曲率成比例。设α为较大的特征值，而β为较小的特征值。通 过求H的迹来获得特征值的和，从行列式获得它们的积：
Tr(H)＝Dxx+Dyy＝α+β (30)
Det(H)＝DxxDyy-(Dxy)2＝αβ (31)
Det(H)的值不可能为负，当曲率符号不同时，该点不是极值，应当舍去。设r为 较大特征值与较小特征值的比。所以α＝rβ，则：
此时只需计算α与β的比而无需计算它们各自的值。当α＝β时，(r+1)2/r最小， (r+1)2/r随着r的增加而增加。比值越大，说明r值越大，说明该点一个方向的梯度值 越大，在另一方向的梯度值越小，这正符合边缘的情况。所以为了去除定位在边缘的点， 只需让该比值小于预先给定的阈值即可。
步骤J、通过图像局部的梯度方向，为每个关键点分配方向，对图像的变换操作都相对 于关键点的方向，从而实现图像旋转的不变性。
图像L(x，y)的梯度量级m(x，y)和方向θ(x，y)可以用像素差预计计算出来：
θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y))) (34)
关键点周围邻域内样本点的梯度方向，共同组成了关键点的方向直方图。方向直方 图有16个柱，覆盖360度方位角。样本点先根据梯度量级进行定权，然后根据关键点所在尺度1.5倍σ的高斯圆形窗口进行定权，最后加到关键点的方向直方图。
步骤K、在得到关键点的位置，尺度和方向后，需要利用特征向量对特征点进行描述。 特征点要对图像的亮度变换具有不变性。可以对关键点邻域范围内的像素亮度进行采样，使用归一化的相关方法进行特征点匹配。
步骤L、在步骤K的基础之上得到了图像仿射不变区域的SIFT视觉特征，接下来计算 这些视觉特征与原始基准图像之间的单应性矩阵，利用RANSAC算法将所有模拟视角 序列图像中的特征点映射到原始基准图像中，共同构成原始基准图像的视觉特征。
附图说明
图1本发明的融合多视角仿射不变特征的图像识别检索系统结构框图；
图2 典型的基于图像视觉特征的识别检索系统结构框图；
图3 本发明特征抽取算法结构框图；
图4 服装商品图像库中的部分图像集
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
附图2是典型的基于图像视觉特征的识别检索系统结构框图，其中虚线框表示现有 技术所采用的特征抽取方法，实线框为本发明所采用的特征抽取方法。采用上述装置进行图像视觉征抽取时，按照以下各步骤：
步骤1、输入测试集图像：
步骤101：判断输入的测试图像是否为灰度图像，若是，则执行步骤2，若不是， 则执行步骤102；
步骤102：对测试图像进行图像预处理，将其转换成灰度图像；
步骤2、灰度图像可以表示为公式(1)形式，根据相机的成像模型见公式(2)可 以得到该图像的模拟视角图像序列；
步骤3、依据公式(3)(4)(5)计算出原始基准图像在各个可能视角之下的模拟 视角图像，得到模拟视角图像序列；
步骤4、计算所有模拟视角图像的极大仿射不变区域：
步骤401：依据公式(6)(7)得到图像像素点的一阶矩和二阶矩，并由公式(7) 得到协方差矩阵的降维矩阵见公式(8)；
步骤402：由公式(8)得到仿射不变区域的所有像素点横坐标的方差、所有像素 点纵坐标的方差以及所有像素点横纵坐标的方差；
步骤403：由公式(8)(9)得到拟合后的仿射不变区域的长短轴方向和幅值；
步骤404：根据以上步骤得到所有模拟视角图像的仿射不变区域；
步骤5、将步骤4得到的仿射不变区域进行图像归一化；
步骤501：仿射不变区域图像I(x，y)的协方差矩阵，得到图像的概率密度函数 f(x，y)与期望E(X)和E(Y)；
步骤502：由公式(10)(11)(12)得到图像的p+q中心距upq以及图像的协方 差矩阵
步骤503：由公式(14)得到协方差矩阵的特征值λ1，λ2以及相应的特征向量 (e1xe1y)T，(e2x e2y)T，将图像I(x，y)沿着特征向量方向旋转，使图像坐标中心化；
步骤504：利用公式(14)的协方差矩阵的特征值，分别改变图像I(x，y)沿x轴与y轴的尺寸。构造尺寸矩阵W，可对原图像I(x，y)进行尺寸归一化，排除放大、缩小变换 对图像的影响；
步骤505：利用公式(21)的变换矩阵，将尺寸归一化图像进行旋转归一化，得到 最终的归一化图像；
步骤6、利用SIFT算法提取仿射不变区域的SIFT特征点，具体步骤如下：
步骤601：按照公式(24)处理步骤5得到的仿射不变区域的图像，并利用公式(26)得到仿射不变区域图像的高斯差分图像，得到图像极值点；
步骤602：利用公式(27)对初步得到的极值点进行高斯拟合，并利用公式(32) 排除低对比度的点和定位在边缘上的差点；
步骤603：利用公式(33)得到图像的梯度量级m(x，y)，并利用公式(34)得到图 像的方向θ(x，y)；
步骤604：在得到关键点的位置，尺度和方向后，便可以利用特征向量对特征点进行描述，得到特征点的SIFT特征向量。
步骤7、对于测试集中的每一幅目标图像，依照步骤1至步骤6提取出测试集中每张测试图像的特征向量矩阵，保存在图像数据库中。
至此，以上完成目标图像的特征抽取与特征存储过程，下面介绍本发明的特征匹配 与图像检索识别过程，具体实施过程如下：
步骤8、在测试图像集中选取一幅图像作为查询图像，抽取其图像的SIFT特征；
步骤9、计算测试集图像中图像的SIFT特征向量与训练集中图像的SIFT特征向量的欧式距离；
步骤10、对步骤9计算得到的距离进行排序，并将距离由小到大进行排序，返回 与测试集图像距离最近的若干幅图像；
步骤11、计算在测试图像集中检索目标查询图像的检索查准率Precision和检索查 全率Recall；
步骤12、依据计算的平均检索查准率、检索查全率来评价该图像检索识别系统的优劣。实验表明，本发明的特征抽取方法，识别检索的精确度更高。
为了验证本发明方法的效果，进行了以下实验：
1、实验条件：
本文的实验设备为一台操作系统Microsoft Windows 7，CPU是Intel(R) Core(TM)i5-4590CPU@3.30GHz 8.00GB的计算机。软件编程语言用的是OpenCV。
2、实验方法：
实验采用图像检索识别系统的基本框架(如附图2所示)，将图中实线框所示的部分代替虚线框所示的部分。实线框是表达和描述图像区域特征的方法，本发明使用的特 征抽取方法，其流程图如附图3所示。
本发明在本发明构建的服装商品图像数据库上进行仿真实验，验证本发明算法的有 效性，并比较本发明算法与传统SIFT算法的检索性能，突出本发明的理论价值。实验 中使用的商品图像数据是从淘淘搜、最美搜衣、唯品会等购物网站上抓取的服装商品的 图像，共13000幅，分为10个类别(分别是：卫衣、POLO衫、T恤、棒球服、背心、 短裙、马甲、运动服、羽绒服、运动夹克)，每类1300幅图像。每一类商品中选取1000 幅图像，共10000幅图像作为训练集，构造商品图像特征索引库，对剩下的300幅图像 进行模拟视角变换，每一幅图像生成5个视角下的模拟视角图像，共1500幅图像作为 测试集。数据库中的部分商品图像样本如附图4所示。
依次对图像数据库中的图像进行预处理，将其转换成需要的灰度图像，按照具体实 施方案，使用本发明的算法抽取图像的视觉特征，构造视觉特征索引库。
检索识别图像库中的某幅目标图像时，抽取该查询图像的视觉特征，计算该图像的 特征矩阵与图像库中所有图像的特征矩阵之间的相似度距离。任意两幅图像之间的距离 采用欧氏距离表示。
两幅图像之间的距离值越小，就代表两幅图像越相似。根据距离测度的这一特征，可以将图像按照欧式距离从小到大(相似度由高到低)进行排序，选取前N幅图像显 示，直观地判断搜索结果。
3、实验结果的评价指标：
图像搜索的过程就是利用图像视觉特征进行图像匹配的过程。图像匹配的评价指标 主要有：查全率(精确率)、查准率(召回率)、综合指标，为对图像匹配的评价指标进 行定义，先做如下约定：
A：返回的查询结果中搜索到的所有相关图像总数；
B：返回的查询结果中搜索到的所有不相关图像总数；
C：返回的查询结果中未搜索到的所有相关图像总数；
D：返回的查询结果中未搜索到的所有不相关图像总数。
基于以上约定术语，可得图像匹配的评价指标为：
查准率：
查全率：
综合考虑查全率与查准率可得新的评价指标F：
4、与现有技术的对比实验结果：
将本发明提出的方法与传统SIFT算法，按本发明提出的评价指标计算检索的查全率(精确率)、查准率(召回率)、综合指标，具体结果如表1示：
表1 本发明提出的算法与传统SIFT算法的性能比较
由此表1可见，新的特征抽取算法在服装商品图像的检索识别时，克服了视觉变换和仿射变换对图像特征描述的影响，达到很好的检索识别效果，可以广泛用于检索服装 商品图像。
Claims (5)
1.一种服装商品图像识别方法，包括对目标图像的视觉特征描述方法，其特征在于，所述特征描述方法融合了目标服装商品图像在各个可能视角之下的视觉特征，具有很好的视角不变性和仿射不变性。
2.如权利要求1所述目标服装商品图像融合多视角的仿射不变特征，其特征在于，所述特征描述方法利用相机成像模型，模拟出目标图像在各种可能视角之下的模拟视角图像，具体过程包括以下步骤：
步骤A、将输入的目标图像转换成灰度图像，其一般形式可以表示如下：
g(x，y)＝f(x，y，1)*0.299+0.587*f(x，y，2)+0.114*f(x，y，3)
其中，g(x，y)表示灰度图像，f(x，y，1)、f(x，y，2)、f(x，y，3)分别表示原目标图像的R、G、B分量。
步骤B、对于灰度图像g(x，y)，根据相机的成像模型可以得到该图像的模拟视角图像序列，图像的成像模型可以表示如下：
u＝SgGgAgu0
其中，S表示相机的CCD抽样函数，G表示相机透镜的反走样高斯滤波函数，A是平面投射变换矩阵，u0表示相机正对物体时的无限平面。其中，A作为平面投射变换矩阵，可以分解为：
可将其简写为：
其中，λ＞0，λt为A的行列式的值；ψ表示相机旋转角度，是由相机绕其光轴进行旋转所产生的；T定义为相机的倾斜角；和θ＝arccos(1/t)表示相机的观测角度。
假设图像u1(x，y)＝u(A(x，y))和u2(x，y)＝u(B(x，y))为同一图像u0在不同视角下的成像示意图，可推导出矩阵A、B之间存在如下对应关系：
其中，ψ12为两幅图像的相机视角相对于光轴的旋转角度之差，是两幅图像的相机观测角度之差。由此，可以将原始图像进行抽样旋转和平面变换生成模拟视角图像序列，即可以通过改变t与的值生成模拟视角图像序列。
步骤C、通过大量实验表明，为最合适的生成模拟视角图像序列的抽样参数，并以此抽样参数对基准图像进行模拟视角转换，生成模拟视角图像序列。
3.如权利要求2所述对目标商品图像提取仿射不变区域，其特征在于，运用MSER(Maximally Stable Extremal Region)算法寻找图像的仿射不变区域，具体步骤如下：
步骤D、使用一系列灰度阈值对图像进行二值化处理。对任意一幅图像I(x，y)，假设该图像存在所有可能的阈值t∈(0，1，2，...，255)，I0、I1、I2、...It...、I255分别为对应各个可能阈值的图像。对于图像I(x，y)中的每一个像素值，如果大于或等于阈值t，则将该像素值设为0；如果像素值小于阈值t，则将该像素值设为255。
步骤E、在灰度阈值范围内保持形状稳定的区域就是MSERs：
评判标准：dA/dt
A：图像区域面积，t：灰度阈值
步骤F、将不规则的MSER区域拟合为椭圆，将不规则区域拟合为椭圆的通式为：
其中X为向量，代表像素点的空间坐标(x，y)，R代表不规则区域，|R|表示集合的势，此处代表不规则区域内像素点的个数，u为像素点的一阶矩，∑为像素点的二阶矩。由以上公式得到协方差矩阵的降维矩阵：
其中D(x)为不规则区域所有像素点横坐标的方差，D(y)为不规则区域内所有像素点纵坐标的方差，COV(x，y)为不规则区域所有像素点横纵坐标的方差：
其中，U为对称矩阵，拟合后椭圆的长短轴方向θ和幅值a1、a2可以通过U的特征向量和特征根得到。E(g)为相应的一阶矩。通过以上计算可以得到拟合后的椭圆的长短轴方向和幅值。
步骤G、将仿射不变区域图像变换为标准形式：
首先计算仿射不变区域图像I(x，y)的协方差矩阵，得到图像的概率密度函数f(x，y)与期望E(X)和E(Y)：
其中，m、n分别为图像I(x，y)的长与高。则得出p+q阶的中心距upq：
upq＝E{(X-E(X))p(Y-E(Y))q}
可得图像的协方差矩阵为：
再计算协方差矩阵的特征值λ1，λ2以及相应的特征向量(e1x e1y)T，(e2x e2y)T，将图像I(x，y)沿着特征向量方向旋转，使图像坐标中心化。协方差矩阵为实对称矩阵，则有：
e1xe1y+e2xe2y＝0
于是，可构造旋转矩阵E：
原图像I(x，y)可利用旋转矩阵E进行旋转变换，得到新的图像I′(x′，y′)：
利用协方差矩阵的特征值，分别改变图像I(x，y)沿x轴与y轴的尺寸。构造尺寸矩阵W：
其中，结合旋转矩阵，可对原图像I(x，y)进行尺寸归一化，排除放大、缩小变换对图像的影响，图像的尺寸归一化图像I″(x″，y″)为：
将尺寸归一化图像进行旋转归一化，得到最终的归一化图像。变换方法是将尺寸归一化图像乘以矩阵：
其中，α可以表示为：
其中，u′12，u′21，u′30，u′03为尺寸归一化图像的三阶中心矩。最后，可得图像I(x，y)的归一化图像
4.如权利要求3所述得到模拟视角图像的仿射不变区域，并在该区域内进行视觉特征提取，其特征在于，先将所有的模拟视角图像仿射不变区域内的SIFT特征提取出来，具体提取过程如下：
步骤H、首先，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。尺度空间是由图像与高斯核进行一系列的卷积运算后得到，高斯核表示为：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中G(x，y，σ)是二维高斯函数：
其中，σ是尺度缩放因子，(x，y)为图像像素坐标，I(x，y)表示原图像，L(x，y)是卷积后的图像像素值。
为了在尺度空间上快速找到稳定点，可利用高斯差分算子在高斯差分尺度空间中检测图像极值点，计算方法见公式：
D(x，y，σ)＝G(x，y，kσ)*I(x，y)-G(x，y，σ)*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
在利用高斯差分算子得到一系列高斯差分图像后，利用高斯差分图像形成高斯差分金字塔。金字塔的每一层是通过对上一层图像进行高斯平滑处理，并进行1/4降采样后，再进行差分运算得到的。
步骤I、初步得到的候选关键点是离散的，并不是真正的关键点。需要对候选点进行精细配置，同时去除低对比度的点和定位在边缘上的差点。可以选用泰勒展开式作为拟合函数，对D(x，y，σ)进行变换：
其中D以及D的导数值是样本点的估计，令为对该点的补偿。通过求关于x的偏导数并将其设为零得到极值的位置为：
当精确位置和初始位置在任意维度上相差超过0.5时，更改插值中心，重新插值，直到收敛或迭代次数超过时将其排除。
为提高关键点的稳定性，还需去除边缘上的极值点。在高斯差分函数中，定义不好的峰值将会在边缘处产生很大的主曲率，而在垂直方向上产生很小的主曲率。主曲率可以通过一个2×2的Hessian矩阵H来表示：
H的特征值与D的主曲率成比例。设α为较大的特征值，而β为较小的特征值。通过求H的迹来获得特征值的和，从行列式获得它们的积：
Tr(H)＝Dxx+Dyy＝α+β
Det(H)＝DxxDyy-(Dxy)2＝αβ
Det(H)的值不可能为负，当曲率符号不同时，该点不是极值，应当舍去。设r为较大特征值与较小特征值的比。所以α＝rβ，则：
此时只需计算α与β的比而无需计算它们各自的值。当α＝β时，(r+1)2/r最小，(r+1)2/r随着r的增加而增加。比值越大，说明r值越大，说明该点一个方向的梯度值越大，在另一方向的梯度值越小，这正符合边缘的情况。所以为了去除定位在边缘的点，只需让该比值小于预先给定的阈值即可。
步骤J、通过图像局部的梯度方向，为每个关键点分配方向，对图像的变换操作都相对于关键点的方向，从而实现图像旋转的不变性。
图像L(x，y)的梯度量级m(x，y)和方向θ(x，y)可以用像素差预计计算出来：
θ(x，y)＝tan-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))
关键点周围邻域内样本点的梯度方向，共同组成了关键点的方向直方图。方向直方图有16个柱，覆盖360度方位角。样本点先根据梯度量级进行定权，然后根据关键点所在尺度1.5倍σ的高斯圆形窗口进行定权，最后加到关键点的方向直方图。
步骤K、在得到关键点的位置，尺度和方向后，需要利用特征向量对特征点进行描述。特征点要对图像的亮度变换具有不变性。可以对关键点邻域范围内的像素亮度进行采样，使用归一化的相关方法进行特征点匹配。
5.如权利要求4所述提取图像仿射不变区域的SIFT视觉特征并进行融合，其特征在于，计算这些视觉特征与原始基准图像之间的单应性矩阵，利用RANSAC算法将所有模拟视角序列图像中的特征点映射到原始基准图像中，共同构成原始基准图像的视觉特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710371020.3A CN107644227A (zh) | 2017-05-18 | 2017-05-18 | 一种用于商品图像搜索的融合多视角的仿射不变描述子 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710371020.3A CN107644227A (zh) | 2017-05-18 | 2017-05-18 | 一种用于商品图像搜索的融合多视角的仿射不变描述子 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107644227A true CN107644227A (zh) | 2018-01-30 |
Family
ID=61110300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710371020.3A Pending CN107644227A (zh) | 2017-05-18 | 2017-05-18 | 一种用于商品图像搜索的融合多视角的仿射不变描述子 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107644227A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108426576A (zh) * | 2017-09-15 | 2018-08-21 | 辽宁科技大学 | 基于标识点视觉导航与sins的飞行器路径规划方法及系统 |
| CN109191255A (zh) * | 2018-09-04 | 2019-01-11 | 中山大学 | 一种基于无监督特征点检测的商品对齐方法 |
| CN109767455A (zh) * | 2018-12-21 | 2019-05-17 | 杰创智能科技股份有限公司 | 一种基于sift特征点的无人机检测方法及系统 |
| CN110321452A (zh) * | 2019-05-05 | 2019-10-11 | 广西师范大学 | 一种基于方向选择机制的图像检索方法 |
| CN111444137A (zh) * | 2020-03-26 | 2020-07-24 | 湖南搜云网络科技股份有限公司 | 一种基于特征码的多媒体文件身份识别方法 |
| CN112200203A (zh) * | 2020-11-04 | 2021-01-08 | 西安交通大学 | 斜视场下弱相关散斑图像的匹配方法 |
| CN112381085A (zh) * | 2020-10-16 | 2021-02-19 | 西安工程大学 | 一种基于ia-faif的服装特征提取与匹配方法 |
-
2017
- 2017-05-18 CN CN201710371020.3A patent/CN107644227A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 王其浩: ""面向图像购物搜索的图像分析方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108426576A (zh) * | 2017-09-15 | 2018-08-21 | 辽宁科技大学 | 基于标识点视觉导航与sins的飞行器路径规划方法及系统 |
| CN108426576B (zh) * | 2017-09-15 | 2021-05-28 | 辽宁科技大学 | 基于标识点视觉导航与sins的飞行器路径规划方法及系统 |
| CN109191255A (zh) * | 2018-09-04 | 2019-01-11 | 中山大学 | 一种基于无监督特征点检测的商品对齐方法 |
| CN109191255B (zh) * | 2018-09-04 | 2022-04-15 | 中山大学 | 一种基于无监督特征点检测的商品对齐方法 |
| CN109767455A (zh) * | 2018-12-21 | 2019-05-17 | 杰创智能科技股份有限公司 | 一种基于sift特征点的无人机检测方法及系统 |
| CN110321452A (zh) * | 2019-05-05 | 2019-10-11 | 广西师范大学 | 一种基于方向选择机制的图像检索方法 |
| CN110321452B (zh) * | 2019-05-05 | 2022-08-09 | 广西师范大学 | 一种基于方向选择机制的图像检索方法 |
| CN111444137A (zh) * | 2020-03-26 | 2020-07-24 | 湖南搜云网络科技股份有限公司 | 一种基于特征码的多媒体文件身份识别方法 |
| CN112381085A (zh) * | 2020-10-16 | 2021-02-19 | 西安工程大学 | 一种基于ia-faif的服装特征提取与匹配方法 |
| CN112200203A (zh) * | 2020-11-04 | 2021-01-08 | 西安交通大学 | 斜视场下弱相关散斑图像的匹配方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sirmacek et al. | A probabilistic framework to detect buildings in aerial and satellite images | |
| CN107644227A (zh) | 一种用于商品图像搜索的融合多视角的仿射不变描述子 | |
| İlsever et al. | Two-dimensional change detection methods: remote sensing applications | |
| An et al. | Scene learning for cloud detection on remote-sensing images | |
| Yao et al. | A new pedestrian detection method based on combined HOG and LSS features | |
| Tao et al. | Unsupervised detection of built-up areas from multiple high-resolution remote sensing images | |
| Liu et al. | A contrario comparison of local descriptors for change detection in very high spatial resolution satellite images of urban areas | |
| CN107392215A (zh) | 一种基于sift算法的重图检测方法 | |
| CN103077512A (zh) | 基于主成分析的数字图像的特征提取与匹配方法及装置 | |
| Zhang et al. | Perception-based shape retrieval for 3D building models | |
| Changjie et al. | Algorithm of remote sensing image matching based on corner-point | |
| Varga et al. | Person re-identification based on deep multi-instance learning | |
| Ammar et al. | A Framework for People Re-Identification in Multi-Camera Surveillance Systems. | |
| Alghamdi et al. | Automated person identification framework based on fingernails and dorsal knuckle patterns | |
| Carro et al. | Face recognition using SURF | |
| Liu et al. | A novel adaptive weights proximity matrix for image registration based on R-SIFT | |
| Li et al. | Automatic matching of multispectral images based on nonlinear diffusion of image structures | |
| Lv | Robust and effective techniques for multi-modal image registration | |
| CN107679528A (zh) | 一种基于AdaBoost‑SVM集成学习算法的行人检测方法 | |
| Anvaripour et al. | Accurate object detection using local shape descriptors | |
| Lo et al. | SIFT keypoint descriptors for range image analysis | |
| Liu et al. | Remote sensing image registration based on KICA-SIFT descriptors | |
| Jin et al. | A novel coarse-to-fine method for registration of multispectral images | |
| Malhotra et al. | Plant’s leaf analysis using pattern recognition algorithm | |
| Hussein et al. | Interest Point Descriptor between SURF and SIFT Method for Multibiometric |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180130 |
|
| WD01 | Invention patent application deemed withdrawn after publication |