CN105913069A - 一种图像识别方法 - Google Patents

Abstract

一种图像识别方法，基于SIFT算法进行特征提取和描述，得到DB中图像和待识别图像的特征点，对keyPoint进行匹配，从DB中挑出匹配度最高的图片C1；再基于RANSAC的透视变换矩阵计算待识别图像及C1图的相似度，计算出来的相似度与预设的阈值做比较，如果小于阈值则判定为搜索成功，反之亦反，如果搜索成功，则用4个顶点的坐标计算出相机的旋转角度和上下左右拍摄倾斜度。本发明提出的方法在识别速度和识别准确率上进行博弈均衡，最终选用以特征点识别为基本技术，辅助分块识别的方法，一方面提高了识别的准确率，另一方面增强了识别的抗光照变化和抗遮挡能力。

Description

一种图像识别方法

技术领域

本发明属于计算机图像识别技术领域，为一种图像识别方法。

背景技术

当前图像搜索技术已经较为成熟，应用较为广泛的有特征点识别法，特殊标记识别，相似模糊识别和神经网络识别等方法。

传统的特征点识别法根据预设特别点确定方法，在图像中获取特征点，并将特征点进行存储。在识别新的图片时再根据相同确定方法进行特征点选取，如果特征点近似则判断为相同图片。典型应用有高通识别SDK，此类识别方法操作简单，但识别率不稳定，抗光照强度和遮挡能力弱。

特殊标记识别法通过对图像进行特殊处理，例如边框处理，亮点处理等。二维码、小熊尼奥卡片识别即为典型应用。此类识别方法，识别速度快准确率高，但是需要对图像进行原始处理改变图片的原始结构。

相似模糊识别和神经网络识别均是近些年兴起的人工智能识别方法，相似模糊识别根据预设的图片描述算法对当前图片进行描述，得出相应语义信息，识别时同样适用相同描述算法，之后对描述进行匹配。此种识别方法识别率高，识别模糊程度高，但是所需要计算能力强，一般依赖于云处理，典型应用为谷歌图片识别。神经网络识别在模糊识别基础上增加自助学习机制，进一步提高了准确率但识别速度较慢。

发明内容

本发明要解决的问题是：现有图像搜索识别技术识别率不稳定，抗光照强度和遮挡能力弱。

本发明的技术方案为：一种图像识别方法，包括以下步骤：

1)对数据库DB中的图像和待识别图像Query基于SIFT算法进行特征提取和描述，得到DB中图像和待识别图像的特征点KeyPoint；

2)用BruteForce-L1距离，对keyPoint进行匹配，BruteForce-L1表示特征描述子匹配公用接口，DB中的每一个图片的keyPoint与Query图片的keyPoint之间进行匹配，用匹配距离最小的20组数据距离之和计算出两个图片之间的匹配度，而后从DB中挑出匹配度最高的图片C1；

3)基于RANSAC的透视变换矩阵计算以及拍摄角度估算：用匹配度最高的图片C1与Query图片之间的匹配结果，计算透视变换矩阵，由透视变换矩阵在Query图片中获取图片C1的4个顶点坐标；用透视变换矩阵的逆矩阵，根据4个顶点坐标对query图进行纠正，而后对纠正的query图以及C1图抽取梯度特征量，计算两者的梯度特征量之间的欧氏距离，即相似度，计算出来的相似度与预设的阈值做比较，如果小于阈值则判定为搜索成功，反之超过阈值则判断为未能成功搜索。

4)如果搜索成功，则用4个顶点的坐标计算出相机的旋转角度和上下左右拍摄倾斜度，用于手机摄像头为载体时的识别。

所述梯度特征量抽取方法为：在图像里的每一个点上计算梯度信息，分割成7*7区域，然后在每一个区域获取8方向梯度频谱作为特征量，因此特征量为7*7*8＝392维。

进一步的，步骤1)中，如果keyPoint的数量超过200个，则按keyPoint的半径大小，取大舍小，取200个keyPoint。

步骤3)中，采用分片识别方法：

采用分片识别方法识别Query图片：

31)计算相似度前，将图片C1与Query图片按照特征点进行划分，尽量将相邻特征点划分到同一个区域，同一区域内特征点数量不超过总体数量的1/4；

32)图片进行分区处理后，形成若干图像块，每一个图像块内均携带有图片的特征点信息；

33)对于划分得到的区域，将特征点对比预设的阈值设置成单一区域内对比吻合，单一区域指划分得到区域，只要Query图片某一区域特征点与图片C1任何一个区域的对比吻合即可，当吻合区域的某一相邻区域特征点对比相似度大于50％，即认为搜索到的图片为目标图片。

本发明提出的方法在识别速度和识别准确率上进行博弈均衡，最终选用以特征点识别为基本技术，辅助分块识别的方法，一方面提高了识别的准确率，另一方面增强了识别的抗光照变化和抗遮挡能力。

附图说明

图1为本发明的流程图。

图2为本发明实施例的待识别图，图(a)遮挡面积超过20％，图(b)缺失面积10％。

具体实施方式

如图1所示，本发明图像识别方法包括以下步骤，用自然语言与计算机语言表述：

1)对DB中的图像和待识别图像Query基于SIFT算法进行特征提取和描述，得到DB中图像和待识别图像的特征点KeyPoint：

11)对图像进行归一化为一定大小；

12)基于SIFT获取keyPoints

Sift.detect(img,keypointsQuery2)；

如果keyPoint的数量超过200个，按keyPoint的半径大小，取大舍小，取200个。对上述keyPoint，抽取SIFT descriptor(128维)。

2)用BruteForce-L1距离，对keyPoint进行匹配，BruteForce-L1表示特征描述子匹配公用接口，DB中的每一个图片的keyPoint与Query图片的keyPoint之间进行匹配，用匹配距离最小的20组数据距离之和计算出两个图片之间的匹配度，而后从DB中挑出匹配度最高的图片C1。

Ptr<DescriptorMatcher>descriptorMatcher＝

DescriptorMatcher::create("BruteForce-L1")；

3)基于RANSAC的透视变换矩阵计算以及拍摄角度估算：

用匹配度最高的图片C1与Query图片之间的匹配结果，计算透视变换矩阵：

Mat H＝findHomography(pointsRANSAC1,pointsRANSAC2,CV_RANSAC,5)；

由透视变换矩阵在Query图片中获取图片C1的4个顶点坐标：

std::vector<Point2f>obj_corners(4)；

obj_corners[0]＝cvPoint(0,0)；

obj_corners[1]＝cvPoint(pObj->w,0)；

obj_corners[2]＝cvPoint(pObj->w,pObj->h)；

obj_corners[3]＝cvPoint(0,pObj->h)；

std::vector<Point2f>scene_corners(4)；

perspectiveTransform(obj_corners,scene_corners,H)；

用透视变换矩阵的逆矩阵，根据4个顶点坐标对query图进行纠正，而后对纠正的query图以及C1图抽取梯度特征量，计算两者的梯度特征量之间的欧氏距离，即相似度：

Mat warped；

Mat InvH＝H.inv()；

warpPerspective(pComp->m_imgQuery,warped,InvH,cv::Size(pObj->w,pObj->h))；

计算两者的梯度特征量之间的欧氏距离，即相似度，计算出来的相似度与预设的阈值Th做比较，如果小于阈值则判定为搜索成功，反之超过阈值则判断为未能成功搜索。相似度越大，能与原图片的差值越小，才越小于阈值。

4)如果搜索成功，则用4个顶点的坐标计算出相机的旋转角度和上下左右拍摄倾斜度，用于手机摄像头为载体时的识别。

所述梯度特征量抽取方法为：在图像里的每一个点上计算梯度信息，分割成7*7区域，然后在每一个区域获取8方向梯度频谱(Histogram of orientation gradient)作为特征量，因此特征量为7*7*8＝392维。

进一步的，步骤1)中，如果keyPoint的数量超过200个，则按keyPoint的半径大小，取大舍小，取200个keyPoint。

步骤3)中，采用分片识别方法识别Query图片：

31)计算相似度前，将图片C1与Query图片按照特征点进行划分，尽量将相邻特征点划分到同一个区域，同一区域内特征点数量不超过总体数量的1/4；

32)图片进行分区处理后，形成若干图像块，每一个图像块内均携带有图片的特征点信息；

33)对于划分得到的区域，将特征点对比预设的阈值设置成单一区域内对比吻合，单一区域指划分得到区域，只要Query图片某一区域特征点与图片C1任何一个区域的对比吻合即可，当吻合区域的某一相邻区域特征点对比相似度大于50％，即认为搜索到的图片为目标图片。相邻区域是指在上述分割过程中的物理相邻区域，每个区域有不超过总体特征点数四分之一的特征点。所述对比是特征点的对比，Query图片a区域与C1的图片进行对比，找到完全吻合区域，然后再找该吻合区域的相邻区域，只要认定相邻区域与图片C1的区域对比有超过50％以上的特征点吻合，即使其他相邻区域无特征点吻合也认为是匹配成功的，本方案是防止图片被较大范围遮挡而优化发明的。

为验证识别效果，分别采用本发明的方法和常见的特征点图像识别方法对图2的两幅图进行识别。

识别效果如下表所示，以10000张图库为例：

方法	识别速率	识别相关图片准确率
			特征点识别法	<45ms	97％
本发明方法	<12ms	99％

可见本发明的识别速率和准确率均有很大提高。

进而对可识别的最大遮挡比例和最大缺失比例进行对比试验，以10000张图库为例：

方法	最大遮挡面积	最大缺失面积
			特征点识别法	33.3％	33.3％
本发明方法	45％	37.5％

可见本发明的分片识别在识别过程中，即保证了识别整体特征点的准确性多样性，又保证了当图片部分造成遮挡的情况也可以识别。

Claims (4)

1.一种图像识别方法，其特征是包括以下步骤：

1)对数据库DB中的图像和待识别图像Query基于SIFT算法进行特征提取和描述，得到DB中图像和待识别图像的特征点KeyPoint；

2)用BruteForce-L1距离，对keyPoint进行匹配，BruteForce-L1表示特征描述子匹配公用接口，DB中的每一个图片的keyPoint与Query图片的keyPoint之间进行匹配，用匹配距离最小的20组数据距离之和计算出两个图片之间的匹配度，而后从DB中挑出匹配度最高的图片C1；

3)基于RANSAC的透视变换矩阵计算以及拍摄角度估算：用匹配度最高的图片C1与Query图片之间的匹配结果，计算透视变换矩阵，由透视变换矩阵在Query图片中获取图片C1的4个顶点坐标；用透视变换矩阵的逆矩阵，根据4个顶点坐标对query图进行纠正，而后对纠正的query图以及C1图抽取梯度特征量，计算两者的梯度特征量之间的欧氏距离，即相似度，计算出来的相似度与预设的阈值做比较，如果小于阈值则判定为搜索成功，反之超过阈值则判断为未能成功搜索。

4)如果搜索成功，则用4个顶点的坐标计算出相机的旋转角度和上下左右拍摄倾斜度，用于手机摄像头为载体时的识别。

2.根据权利要求1所述的一种图像识别方法，其特征是所述梯度特征量抽取方法为：在图像里的每一个点上计算梯度信息，分割成7*7区域，然后在每一个区域获取8方向梯度频谱作为特征量，因此特征量为7*7*8＝392维。

3.根据权利要求1所述的一种图像识别方法，其特征是步骤1)中，如果keyPoint的数量超过200个，则按keyPoint的半径大小，取大舍小，取200个keyPoint。

4.根据权利要求1所述的一种图像识别方法，其特征是步骤3)中，采用分片识别方法识别Query图片：

31)计算相似度前，将图片C1与Query图片按照特征点进行划分，尽量将相邻特征点划分到同一个区域，同一区域内特征点数量不超过总体数量的1/4；

32)图片进行分区处理后，形成若干图像块，每一个图像块内均携带有图片的特征点信息；

33)对于划分得到的区域，将特征点对比预设的阈值设置成单一区域内对比吻合，单一区域指划分得到区域，只要Query图片某一区域特征点与图片C1任何一个区域的对比吻合即可，当吻合区域的某一相邻区域特征点对比相似度大于50％，即认为搜索到的图片为目标图片。