CN104966081B - 书脊图像识别方法 - Google Patents
书脊图像识别方法 Download PDFInfo
- Publication number
- CN104966081B CN104966081B CN201510304343.1A CN201510304343A CN104966081B CN 104966081 B CN104966081 B CN 104966081B CN 201510304343 A CN201510304343 A CN 201510304343A CN 104966081 B CN104966081 B CN 104966081B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msubsup
- image
- spine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/13—Type of disclosure document
- G06V2201/131—Book
Abstract
本发明公开了书脊图像识别方法，该方法首先切割书脊图像：检测书脊图像中的长线段，并找出其中的平行线段组作为矩形选定区域的一组平行长边；在一组平行长边固定的情况下，使用迭代算法确定矩形选定区域的另外两条短边，以所检测的由所述一组平行长边及两条短边组成的矩形选定区域作为书脊图像中书脊的切割结果；对切割后的书脊图像，使用特征提取算法，将书脊图像抽象成一组包含图像关键点主方向、尺度空间和Haar小波特征系数的描述符；通过所述描述符在书脊图像数据库中对书脊图像进行特征匹配，输出所待匹配书脊图像对应的几种可能书脊图像。解决了现有书脊图像识别技术准确率低，易受干扰，鲁棒性差的技术问题。
Description
技术领域
本发明涉及图像处理技术，具体涉及应用图像处理技术进行书脊图像识别的方法。
背景技术
传统的书脊识别技术通常使用HOUGH变换检测直线的方法对书脊进行切割，这种方法每次只能切割5～6本图书，并且当书本摆放不齐时，会造成切割失败。可见，传统书脊切割技术具有效率低、鲁棒性差的缺点。近年来，有人提出使用直线检测算法对书脊边缘进行检测，而在后续的迭代运算中却未使用所检测到的直线作为先验知识，造成计算的冗余，使算法的计算量大大增加，算法的计算时间过长，从而大大增加了算法在现实中的应用难度。另外，现有技术的一些书脊切割算法，仅仅考虑了书脊边缘的两条平行线来进行切割，当图像质量不高时，或纵向边缘模糊时，极易造成误判，准确率低。
另一方面，现有技术对书脊图像进行匹配时，一般使用传统的基于BoVW的匹配算法，该匹配算法虽然在小范围的图像匹配的准确率较高，但在大规模的数据库匹配中，明显具有速度慢以及抗干扰能力差等缺点。
发明内容
本发明提出一种书脊图像识别方法，以解决现有技术准确率低，易受干扰，鲁棒性差的技术问题。
本发明采用如下技术方案：书脊图像识别方法，包括以下步骤：
S1、切割书脊图像：检测书脊图像中的长线段，并找出其中的平行线段组作为矩形选定区域的一组平行长边；在一组平行长边固定的情况下，使用迭代算法确定矩形选定区域的另外两条短边，以所检测的由所述一组平行长边及两条短边组成的矩形选定区域作为书脊图像中书脊的切割结果；
S2、对切割后的书脊图像，使用特征提取算法，将书脊图像抽象成一组包含图像关键点主方向、尺度空间和Haar小波特征系数的描述符；
通过所述描述符在书脊图像数据库中对书脊图像进行特征匹配，输出所待匹配书脊图像对应的几种可能书脊图像。
优选地，所述书脊图像识别方法，还包括以下步骤：S3、对步骤S2所输出的几种可能书脊图像进行文字识别，输出ISBN库中根据每张书脊图片对应检索所得的书籍信息。
所述步骤S1对书脊图像进行切割，步骤如下：
S11、确定种子点及其初始方向：检测书脊图像的边缘线段，滤除长度不满足经验阈值T的短线段，保留长度大于或等于T的长线段；在距离长线段两侧若干像素点位置处，每隔几个像素点取一个种子点；设长线段方向为v，长线段法线方向为v⊥，v和v⊥为种子的初始方向；
S12、检测矩形：设初始种子点S(sx，sy)和该种子点的初始方向v、v⊥，则矩形的四个顶点P12、P23、P34和P41由该种子点到矩形四条边的距离D1、D2、D3和D4确定；当矩形四条边e1、e2、e3和e4上的像素点e(p)与书脊图像中对应点的梯度▽I(p)的夹角积分小于经验阈值T1时，即I表示当前待检测的书脊图像，|e|为矩形的对应边长，则矩形四条边e1、e2、e3、e4停止生长，完成对矩形的检测。
所述步骤S2包括以下粗匹配过程：
S21、特征提取：将训练图像用若干块patch表示，求取训练图像的SIFT关键点，每个关键点就是一个维数为n的特征向量patch；假设X表示一幅训练图像的特征向量，Xi(i＝1,2...m)表示第i个维数为n的特征向量patch，Xi＝[xi1xi2xi3…xin]；
S22、字典构建：假设共有M(X1X2...XM)幅训练图像，字典的大小为m；用K-means算法对所有特征向量patch进行聚类，当K-means算法收敛时，得到每一个聚类的最终质心，K-means算法中的K大小取值为m；该m个n维数的质心为字典W里的m个单词，即(W1W2…Wm)；
S23、字典表示：为每幅测试图像初始化一个维数为m，每一维值都为0的直方图；计算测试图像中每个特征向量patch(X′i)与字典W中单词(Wi)的距离，与特征向量patch距离最近的单词，其对应直方图的di(i＝1,2…m)计数加1；将所有特征向量patch计算完毕后的直方图，即为测试图像的字典表示；假设X′表示一幅测试图像的特征向量，X′1对应的m维初始值0的直方图为H；
d1,d2…dm分别表示X′1和W1、W2…Wm之间的m维欧式距离，d是d1,d2…dm中的最小值，Dist(·)函数表示输入X′1和Wi之间的n维欧式距离，当i＝1时，Dist(·)函数的计算公式为：
若d＝d1，则H[d]＝H[d1]对应的数值加1；
S24、图像检索：训练图像与测试图像都以m维向量表示，对每个待检索图像在字典中计算所有训练图像与其之间的距离，返回距离较近的若干训练图像。
所述步骤S2包括以下精匹配过程：
S25、提取关键点：对粗匹配所返回距离较近的训练图像I提取关键点，x表示图像I在(x,y)位置处的强度值，对图像I的每个像素点用海森矩阵检测关键点：
其中，Lxx(x,σ)、Lyy(x,σ)和Lxy(x,σ)表示高斯函数在x方向、y方向以及x和y方向的二阶导数，g(·)表示高斯函数；x在缩放比例为σ的海森矩阵为H(x,σ)，其行列式用det|H(x,σ)|表示；用det|Happrox|近似计算det|H(x,σ)|：
det(Happrox)＝DxxDyy-(0.9·Dxy)2
其中Dxx、Dyy和Dxy分别表示采用水平方向Mx、垂直方向My和对角方向Mxy模板进行高斯函数二阶差分运算所得的差分值；
S26、利用Haar小波在水平方向和垂直方向的特征系数估计关键点的主方向；在估计获取关键点主方向的前提下，利用关键点主方向正方形区域内像素点在水平方向和垂直方向的Haar小波的特征系数，生成SURF描述符；
S27、在书脊图像库中，通过两幅图像之间特征点的两两比较找出相互匹配的若干对特征点，建立书脊图像之间的对应关系。
步骤S26中利用Haar小波在水平方向和垂直方向的特征系数估计关键点的主方向为：首先，统计关键点的领域中，扇形内所有像素点在水平方向和垂直方向的Haar小波的特征系数总和；接着，所述扇形以固定的间隔旋转，每旋转一次计算一次扇形区域内所有像素点的Haar小波的特征系数的和；最后，将Haar小波的特征系数之和最大的那个扇形所指的方向作为关键点的主方向。
步骤26中所述关键点的领域为半径为6s的圆圈，正方形的边长为4s，s为关键点所在的尺度空间，将正方形区域划分为16个子区域，每个子区域统计25个像素点在水平方向和垂直方向的Haar小波的特征系数，包括水平方向值之和Σdx，水平方向绝对值之和Σd|x|，垂直方向之和Σdy和垂直方向绝对值之和Σd|y|；扇形为60°扇形。
步骤27匹配的过程为：采用双向FLANN算法找到最近距离的匹配点对，通过FLANN算法找到图像I1某特征点m1在图像I2的最小距离对应点作为初始化匹配点对(m1,m2)，然后根据所有匹配点对的距离计算最小距离，设置阈值T2，如果该匹配点对的最小距离小于T2，则m2作为m1的候选匹配点；否则，进行图像I1的下一个特征点的匹配，并剔除m1，得到I1到I2的FLANN匹配点对；同理求得I2到I1的FLANN匹配点对；判断在I2中与m2匹配的候选点m3，如果m1＝m3，则匹配成功，否则剔除；
采用SAC算法从匹配结果的特征点集中抽样获得和原始数据一致的基本子集，然后利用获得的基本子集估算出基础矩阵，最后利用基础矩阵剔除误差较大的匹配点对。
优选地，在所述步骤S1切割书脊图像前，首先将多层书架分割成单层书架，然后再对单层书架的书脊图像采用步骤S1进行切割；分割多层书架的步骤如下：
首先检测多层书架图像中的水平长线段，并且设置一个长度阈值检测出书架隔板的位置信息；再通过书架隔板为平行长线段这一先验知识，通过透视变换将多层书架分割成单层书架。
与现有技术相比，本发明具有如下技术效果：
1、本发明进行书脊切割时采用基于活动轮廓的算法：首先，检测出书脊图像中的长线段，并找出其中的平行线段组；在一组平行长边固定的情况下，使用迭代算法对矩形的另外两条短边进行迭代计算。从而能在保证切割准确率的情况下，大大减少迭代运算的计算量。
2、针对中文图书的书脊图像特征，即中文图书的书脊中大部分内容为中文字、少部分为图画，以及中文文字相对于英文文字的线条直角转折较多的先验知识，提出了将SURF(Speeded Up Robust Features)与特征点匹配相结合的视觉特征提取算法，提高了OCR文字识别和书脊视觉特征匹配的准确率与鲁棒性。
3、对大规模数据库的搜索和查找进行了优化，使用基于LIRE(Lucene ImageRetrieval)的大规模图像搜索引擎，提高了匹配算法查找速度；增加了机器学习算法，极大提高了数据库搜索的准确性，提高了算法的抗干扰能力。
附图说明
图1为本发明一种实施例的识别流程图；
图2为本发明一种实施例中种子点与长线段的相对位置关系示意图；
图3示意了矩形检测的几何图形；
图4示意了粗匹配中特征提取与字典构建之间的关系图；
图5为高斯函数二阶差分运算所采用的水平方向Mx、垂直方向My和对角方向Mxy模板的像素点分布图；
图6为书脊图像特征匹配过程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的具体实施方式不局限于此。
实施例
参见图1，本实施例中，书脊图像识别方法的步骤如下：
一、获取书脊图像
可采用移动智能终端拍摄书脊，获得书脊图像；拍摄环境要求光照充足，无明显遮挡，每本书脊的像素数目不小于1000像素。
二、书脊图像分割
对书脊图像的识别，在本实施例中通过图像处理模块和识别匹配模块来完成。对书脊图像进行识别之前，首先是对书脊图像进行分割，然后对分割后的书脊图像进行书脊视觉特征提取，最后利用提取的书脊视觉特征信息，结合ISBN库和书脊图像库进行OCR文字识别和书脊视觉特征匹配。
对书脊图像切割时，本实施例中采用基于活动轮廓(active contour)的书脊切割算法：先检测出书脊图像中的长线段，并找出其中的平行线段组；在一组平行长边固定的情况下，使用迭代算法确定矩形的另外两条短边，以所述一组平行长边及所确定的两条短边所组成的矩形区域，作为书脊图像切割区域。在保证图像清晰度的前提下，基于活动轮廓的书脊切割算法能够对多层图书的书脊进行切割，从而极大的提高了书脊图像识别系统的效率，并且能克服拍摄角度和书本摆放等因素对书脊图像切割的影响，从而提高了系统的鲁棒性。对书脊图像切割前，首先对多层书架进行分割，然后再对单层书架书脊图像进行分割。
1.多层书架的分割
根据先验知识，书架的隔板通常为一组平行的长线段，或者为经过透视变换的平行的长线段，而且书架的隔板通常远远大于单本书脊的边缘长度。所以通过检测图像中的水平长线段，并且设置一个长度阈值就能够很好的检测出书架隔板的位置信息。再通过书架隔板为平行长线段这一先验知识，就能通过透视变换将多层书架分割成单层书架。
2.单层书架书脊图像的分割
根据先验知识，单本书的书脊图像为一个矩形图像，或者为经过透视变换的矩形图像。本实施例基于活动轮廓的书脊切割算法步骤如下所示：
①种子点及初始方向的确定
对单层书架的书脊图像使用LSWMS(Slice Sampling Weighted Mean-Shift)方法检测边缘线段，滤除长度不满足经验阈值T(例如T＝50)的短线段，保留长度大于或等于T的长线段。设长线段方向为v，长线段法线方向(即与长线段方向相垂直的方向)为v⊥，v和v⊥为矩形的初始方向。在距离长线段两侧若干(例如10个)像素点位置处，每隔几个(例如10个)像素点取一个种子点，如图2所示。种子点的初始方向与矩形的初始方向相同。
②矩形的检测
参见图3，给定一个初始种子点S(sx，sy)和该种子点的初始方向v、v⊥，则矩形的四个顶点P12、P23、P34和P41由该种子点到矩形四条边的距离D1、D2、D3和D4确定。当矩形四条边e1、e2、e3和e4上的像素点e(p)与图像中对应点的梯度▽I(p)的夹角积分小于经验阈值T1(例如T1＝20)时，即I表示当前待检测单本书的书脊图像，|e|为矩形的对应边长，则矩形四条边e1、e2、e3、e4停止生长。当四条边都停止生长时，算法结束，完成对矩形的检测。
三、书脊视觉特征提取和书脊视觉特征匹配
书脊视觉特征指的是对切割后的书脊图像，使用特征提取算法，将书脊图像抽象成一组包含图像关键点主方向、尺度空间和Haar小波(Haar-wavelet)特征系数的描述符(Descriptor)；通过这组描述符能够对书脊图像进行特征匹配，这组描述符就是书脊视觉特征。
1.BOW(Bag of words)粗匹配
①特征提取
在训练阶段，将训练图像用若干“块(patch)”表示。以图像的SIFT(Scale-invariant Feature Transform)特征为例，求取训练图像的SIFT关键点，每个关键点就是一个维数为n的特征向量patch。假设X表示一幅训练图像的特征向量，Xi(i＝1,2...m)表示第i个维数为n的特征向量patch，Xi＝[xi1xi2xi3…xin]。
③字典构建
假设共有M(X1X2...XM)幅的训练图像，字典的大小为m。用K-means算法对所有的特征向量patch进行聚类，当K-means算法收敛时，将得到每一个聚类的最终质心，K-means算法中的K大小取值为m。这m个n维数的质心就是字典W里的m个单词，即(W1W2…Wm)，如图4所示，其中T表示矩阵向量的转置。
④字典表示
在测试阶段，为每幅测试图像初始化一个维数为m，每一维值都为0的直方图。计算测试图像中每个特征向量patch(X′i)与字典W中单词(Wi)的距离，与特征向量patch距离最近的单词，其对应直方图的di(i＝1,2…m)计数加1。将所有特征向量patch计算完毕后的直方图，即为测试图像的字典表示。假设X′表示一幅测试图像的特征向量，以X′1为例，其对应的m维初始值0的直方图为H。
d1,d2…dm分别表示X′1和W1、W2…Wm之间的m维欧式距离，d是d1,d2…dm中的最小值。Dist(·)函数表示输入X′1和Wi之间的n维欧式距离，当i＝1时，Dist(·)函数的计算公式为：
若d＝d1，则H[d]＝H[d1]对应的数值加1。
⑤图像检索
训练图像与测试图像都以m维向量表示，对每个待检索图像，只需在字典中计算所有训练图像与其距离，并返回距离从小到大排序后前10幅的训练图像即可。
其中，采用基于开源库LIRE的大规模图像搜索引擎对书脊图像库中图像进行检索，以提高匹配算法查找的速度。
2.SURF精匹配
粗匹配返回的前10幅训练图像作为精匹配的输入图像，精匹配输出的图像结合其OCR文字识别的结果，返回最终的书籍信息至移动智能终端。
①提取关键点
假设对粗匹配所返回距离较近的训练图像I提取关键点，x表示图像I在(x,y)位置处的强度值，对图像I的每个像素点用海森矩阵(Hessian matrix)检测关键点。
其中，Lxx(x,σ)、Lyy(x,σ)和Lxy(x,σ)表示高斯函数在x方向、y方向以及x和y方向的二阶导数，g(·)表示高斯函数。x在缩放比例为σ的海森矩阵为H(x,σ)，其行列式用det|H(x,σ)|表示。由于海森矩阵行列式计算复杂度高，我们用det|Happrox|来近似计算det|H(x,σ)|，如下式所示：
det(Happrox)＝DxxDyy-(0.9·Dxy)2
其中Dxx、Dyy和Dxy分别表示采用水平方向Mx、垂直方向My和对角方向Mxy模板进行高斯函数二阶差分运算所得的差分值，Mx、My和Mxy模板中，浅灰色的像素点设置为零，如图5所示。
②对关键点附加主方向、Haar小波的特征系数，生成SURF描述符
一方面，利用Haar小波在水平方向和垂直方向的特征系数估计关键点的主方向。首先，统计关键点的领域(如半径为6s的圆圈，s为关键点所在的尺度空间)中，60°(π/3)扇形内所有像素点在水平方向和垂直方向的Haar小波的特征系数总和。其中，Haar小波的边长为4s，s为关键点所在的尺度空间。接着，60°扇形以固定的间隔(比如60°)旋转，每旋转一次计算一次扇形区域内所有像素点的Haar小波的特征系数的和。最后，将Haar小波的特征系数之和最大的那个扇形所指的方向作为关键点的主方向。
另一方面，在估计获取关键点主方向的前提下，利用关键点主方向正方形区域内像素点在水平方向和垂直方向的Haar小波的特征系数，生成SURF描述符。其中，Haar小波的边长即正方形区域的边长为4s，s为关键点所在的尺度空间。将方形区域划分为16个子区域，每个子区域统计25个像素点在水平方向和垂直方向的Haar小波的特征系数，包括水平方向值之和Σdx，水平方向绝对值之和Σd|x|，垂直方向之和Σdy和垂直方向绝对值之和Σd|y|。
③在书脊图像库中，通过两幅图像之间特征点的两两比较找出相互匹配的若干对特征点，建立单本书的书脊图像之间的对应关系，如图6所示。本实施例采用图像匹配算法进行匹配：
1)采用双向FLANN算法找到最近距离的匹配点对。通过FLANN算法找到图像I1某特征点m1在图像I2的最小距离对应点作为初始化匹配点对(m1,m2)，然后根据所有匹配点对的距离计算最小距离，设置阈值T2，阈值T2取值范围5～7。如果该匹配点对的最小距离小于T2，则m2作为m1的候选匹配点；否则，进行图像I1的下一个特征点的匹配，并剔除m1，得到I1到I2的FLANN匹配点对。同理可以求得，I2到I1的FLANN匹配点对。对在I2中与m2匹配的候选点m3进行判断。如果m1＝m3，则匹配成功；否则剔除。
2)采用PROSAC算法从匹配结果的特征点集中抽样获得和原始数据一致的基本子集，然后利用获得的基本子集估算出基础矩阵，最后利用基础矩阵剔除误差较大的匹配点对。
假设m,m’是左右图像中的一对正确匹配点对，则点m和点m’所对应的齐次坐标有如
下关系：m’T·F·m＝0其中，F是3x3的基础矩阵。
书脊图像库预先通过图像采集设备(如单反相机)来采集建立，书脊图像库中包含了书籍的多张书脊图片以及书籍所对应的UUID(通用唯一标识码)。两个数据库通过UUID建立起书脊与其图书的结构化信息链接。通过书脊视觉特征提取和书脊图像库匹配步骤，输出所待匹配书脊图像对应的几种可能书脊图像和这些书脊图像相应的UUID。
四、书脊文字识别(OCR)
OCR是优化本发明书脊图像识别方法的步骤，即从书脊视觉特征匹配输出的几种可能的书脊图像中，结合它们各自的OCR识别结果，返回书脊对应的书籍信息到移动智能终端。
在线数据库除了书脊图像库，还包括ISBN库。ISBN库包含了所有书籍的基本信息，分别是：书名、ISBN号、作者名、出版社名、封面以及UUID。当移动终端提取到多张书脊图片后，即可通过ISBN库识别出每本书籍的书名、ISBN号、作者名、出版社名、封面。
本实施例中采用书脊文字识别技术，以便对根据书脊图像库的匹配输出结果进行整合，一方面，书脊视觉特征匹配输出的几种可能的书脊图像，它们都各自带有UUID；另一方面，将它们分别进行OCR文字识别的结果也都各自带有UUID。当它们其中一幅书脊图像的UUID和OCR文字识别输出的UUID一样时，则返回该书脊图像所对应的ISBN库中存储的书名、ISBN号、作者名、出版社名和封面等信息。
书脊文字识别的步骤为：
①、根据从书脊图像的分割中获取单本书的矩形书脊图片，利用Google Project开源项目Tesseract对矩形书脊图像进行文字识别，提取字符信息；
②、依据从矩形书脊图像中提取的字符信息，输出ISBN库中根据每张书脊图片对应检索所得的书籍信息，包括ISBN、作者名称和出版社名称等。
上述实施例为本发明的一种实施方式，但本发明的实施方式并不限定于此，从事该领域的技术人员在未背离本发明精神和原则下所做的任何组合、替换、修改、改进，均包含在本发明的保护范围内。
Claims (9)
1.书脊图像识别方法，其特征在于，包括以下步骤：
S1、切割书脊图像：检测书脊图像中的长线段，并找出其中的平行线段组作为矩形选定区域的一组平行长边；在一组平行长边固定的情况下，使用迭代算法确定矩形选定区域的另外两条短边，以所检测的由所述一组平行长边及两条短边组成的矩形选定区域作为书脊图像中书脊的切割结果；
S2、对切割后的书脊图像，使用特征提取算法，将书脊图像抽象成一组包含图像关键点主方向、尺度空间和Haar小波特征系数的描述符；
通过所述描述符在书脊图像数据库中对书脊图像进行特征匹配，输出所待匹配书脊图像对应的几种可能书脊图像；
所述步骤S1对书脊图像进行切割，步骤如下：
S11、确定种子点及其初始方向：检测书脊图像的边缘线段，滤除长度不满足经验阈值T的短线段，保留长度大于或等于T的长线段；在距离长线段两侧若干像素点位置处，每隔几个像素点取一个种子点；设长线段方向为v，长线段法线方向为v⊥，v和v⊥为种子的初始方向；
S12、检测矩形：设初始种子点S(sx，sy)和该种子点的初始方向v、v⊥，则矩形的四个顶点P12、P23、P34和P41由该种子点到矩形四条边的距离D1、D2、D3和D4确定；当矩形四条边e1、e2、e3和e4上的像素点e(p)与书脊图像中对应点的梯度的夹角积分小于经验阈值T1时，即I表示当前待检测的书脊图像，|e|为矩形的对应边长，则矩形四条边e1、e2、e3、e4停止生长，完成对矩形的检测。
2.根据权利要求1所述的书脊图像识别方法，其特征在于，还包括以下步骤：
S3、对步骤S2所输出的几种可能书脊图像进行文字识别，输出ISBN库中根据每张书脊图片对应检索所得的书籍信息。
3.根据权利要求1所述的书脊图像识别方法，其特征在于，所述步骤S2包括以下粗匹配过程：
S21、特征提取：将训练图像用若干块patch表示，求取训练图像的SIFT关键点，每个关键点就是一个维数为n的特征向量patch；假设X表示一幅训练图像的特征向量，Xi(i＝1,2...m)表示第i个维数为n的特征向量patch，Xi＝[xi1xi2xi3…xin]；
S22、字典构建：假设共有M(X1X2...XM)幅训练图像，字典的大小为m；用K-means算法对所有特征向量patch进行聚类，当K-means算法收敛时，得到每一个聚类的最终质心，K-means算法中的K大小取值为m；该m个n维数的质心为字典W里的m个单词，即(W1W2…Wm)；
S23、字典表示：为每幅测试图像初始化一个维数为m，每一维值都为0的直方图；计算测试图像中每个特征向量patch(X′i)与字典W中单词(Wi)的距离，与特征向量patch距离最近的单词，其对应直方图的di(i＝1,2…m)计数加1；将所有特征向量patch计算完毕后的直方图，即为测试图像的字典表示；假设X′表示一幅测试图像的特征向量，X′1对应的m维初始值0的直方图为H；
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>X</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msubsup>
<mi>X</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>X</mi>
<mn>2</mn>
<mo>&prime;</mo>
</msubsup>
<mo>...</mo>
<msubsup>
<mi>X</mi>
<mi>m</mi>
<mo>&prime;</mo>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>11</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>12</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>13</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>n</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mn>21</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>22</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mn>23</mn>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mrow></mrow>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mn>1</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mn>2</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mn>3</mn>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msubsup>
<mi>x</mi>
<mrow>
<mi>m</mi>
<mi>n</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>H</mi>
<mo>=</mo>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0</mn>
<mo>,</mo>
<mn>0</mn>
<mo>...</mo>
<mn>0</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mo>=</mo>
<munder>
<mi>min</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<mi>m</mi>
</mrow>
</munder>
<mo>{</mo>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mn>3</mn>
</msub>
<mo>...</mo>
<msub>
<mi>d</mi>
<mi>m</mi>
</msub>
<mo>}</mo>
<mo>=</mo>
<munder>
<mi>min</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2...</mn>
<mi>m</mi>
</mrow>
</munder>
<mo>{</mo>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>X</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>x</mi>
<mn>11</mn>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>x</mi>
<mn>12</mn>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>x</mi>
<mn>13</mn>
<mo>&prime;</mo>
</msubsup>
<mo>...</mo>
<msubsup>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>n</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Wi＝[wi1wi2wi3…win]
d1,d2…dm分别表示X′1和W1、W2…Wm之间的m维欧式距离，d是d1,d2…dm中的最小值，Dist(·)函数表示输入X′1和Wi之间的n维欧式距离，当i＝1时，Dist(·)函数的计算公式为：
<mrow>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mi>D</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>W</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>s</mi>
<mi>q</mi>
<mi>r</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>j</mi>
</mrow>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<msub>
<mi>w</mi>
<mrow>
<mn>1</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>)</mo>
</mrow>
</mrow>
若d＝d1，则H[d]＝H[d1]对应的数值加1；
S24、图像检索：训练图像与测试图像都以m维向量表示，对每个待检索图像在字典中计算所有训练图像与其之间的距离，返回距离较近的若干训练图像。
4.根据权利要求3所述的书脊图像识别方法，其特征在于，所述步骤S2包括以下精匹配过程：
S25、提取关键点：对粗匹配所返回距离较近的训练图像I提取关键点，x表示图像I在(x,y)位置处的强度值，对图像I的每个像素点用海森矩阵检测关键点：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
</mrow>
其中，Lxx(x,σ)、Lyy(x,σ)和Lxy(x,σ)表示高斯函数在x方向、y方向以及x和y方向的二阶导数，g(·)表示高斯函数；x在缩放比例为σ的海森矩阵为H(x,σ)，其行列式用det|H(x,σ)|表示；用det|Happrox|近似计算det|H(x,σ)|：
det(Happrox)＝DxxDyy-(0.9·Dxy)2
其中Dxx、Dyy和Dxy分别表示采用水平方向Mx、垂直方向My和对角方向Mxy模板进行高斯函数二阶差分运算所得的差分值；
S26、利用Haar小波在水平方向和垂直方向的特征系数估计关键点的主方向；在估计获取关键点主方向的前提下，利用关键点主方向正方形区域内像素点在水平方向和垂直方向的Haar小波的特征系数，生成SURF描述符；
S27、在书脊图像库中，通过两幅图像之间特征点的两两比较找出相互匹配的若干对特征点，建立书脊图像之间的对应关系。
5.根据权利要求4所述的书脊图像识别方法，其特征在于，步骤S26中利用Haar小波在水平方向和垂直方向的特征系数估计关键点的主方向为：
首先，统计关键点的领域中，扇形内所有像素点在水平方向和垂直方向的Haar小波的特征系数总和；接着，所述扇形以固定的间隔旋转，每旋转一次计算一次扇形区域内所有像素点的Haar小波的特征系数的和；最后，将Haar小波的特征系数之和最大的那个扇形所指的方向作为关键点的主方向。
6.根据权利要求5所述的书脊图像识别方法，其特征在于，步骤26中所述关键点的领域为半径为6s的圆圈，正方形的边长为4s，s为关键点所在的尺度空间，将正方形区域划分为16个子区域，每个子区域统计25个像素点在水平方向和垂直方向的Haar小波的特征系数，包括水平方向值之和∑dx，水平方向绝对值之和∑d|x|，垂直方向之和∑dy和垂直方向绝对值之和∑d|y|；扇形为60°扇形。
7.根据权利要求4所述的书脊图像识别方法，其特征在于，步骤27匹配的过程为：
采用双向FLANN算法找到最近距离的匹配点对，通过FLANN算法找到图像I1某特征点m1在图像I2的最小距离对应点作为初始化匹配点对(m1,m2)，然后根据所有匹配点对的距离计算最小距离，设置阈值T2，如果该匹配点对的最小距离小于T2，则m2作为m1的候选匹配点；否则，进行图像I1的下一个特征点的匹配，并剔除m1，得到I1到I2的FLANN匹配点对；同理求得I2到I1的FLANN匹配点对；判断在I2中与m2匹配的候选点m3，如果m1＝m3，则匹配成功，否则剔除；
采用PROSAC算法从匹配结果的特征点集中抽样获得和原始数据一致的基本子集，然后利用获得的基本子集估算出基础矩阵，最后利用基础矩阵剔除误差较大的匹配点对。
8.根据权利要求1所述的书脊图像识别方法，其特征在于，在所述步骤S1前，还包括步骤：移动智能终端拍摄书脊，获得书脊图像。
9.根据权利要求1所述的书脊图像识别方法，其特征在于，在所述步骤S1切割书脊图像前，首先将多层书架分割成单层书架，然后再对单层书架的书脊图像采用步骤S1进行切割；分割多层书架的步骤如下：
首先检测多层书架图像中的水平长线段，并且设置一个长度阈值检测出书架隔板的位置信息；再通过书架隔板为平行长线段这一先验知识，通过透视变换将多层书架分割成单层书架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510304343.1A CN104966081B (zh) | 2015-06-04 | 2015-06-04 | 书脊图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510304343.1A CN104966081B (zh) | 2015-06-04 | 2015-06-04 | 书脊图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104966081A CN104966081A (zh) | 2015-10-07 |
| CN104966081B true CN104966081B (zh) | 2018-05-01 |
Family
ID=54220116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510304343.1A Active CN104966081B (zh) | 2015-06-04 | 2015-06-04 | 书脊图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104966081B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304836A (zh) * | 2018-02-01 | 2018-07-20 | 上海海事大学 | 一种基于图像的图书排序检测方法 |
| CN108921160B (zh) * | 2018-05-04 | 2021-10-26 | 广东数相智能科技有限公司 | 一种图书识别方法、电子设备及存储介质 |
| CN108875616B (zh) * | 2018-06-07 | 2021-10-26 | 广东数相智能科技有限公司 | 一种图书乱架检测方法、电子设备及存储介质 |
| CN109684964A (zh) * | 2018-12-17 | 2019-04-26 | 华北理工大学 | 基于区域分割Haar-SIFT深度信念网络的人脸识别方法 |
| CN110334762B (zh) * | 2019-07-04 | 2020-04-03 | 华南师范大学 | 一种基于四叉树结合orb和sift的特征匹配方法 |
| CN111091124B (zh) * | 2019-12-04 | 2022-06-03 | 吉林大学 | 一种书脊文字识别方法 |
| CN111401252B (zh) * | 2020-03-17 | 2023-07-07 | 广东技术师范大学 | 一种基于视觉的图书盘点系统的书脊匹配方法和设备 |
| CN112560902A (zh) * | 2020-12-01 | 2021-03-26 | 中国农业科学院农业信息研究所 | 基于书脊视觉信息的图书识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064026A (zh) * | 2006-04-28 | 2007-10-31 | 中国科学院自动化研究所 | 基于射频识别技术的图书馆自动借还书系统 |
| CN102110332A (zh) * | 2009-12-24 | 2011-06-29 | 上海阿艾依智控系统有限公司 | 基于计算机视觉及射频识别技术的书本登记管理装置 |
| CN103295034A (zh) * | 2013-04-30 | 2013-09-11 | 中南大学 | 一种基于dsp的嵌入式图书乱架清点系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8457403B2 (en) * | 2011-05-19 | 2013-06-04 | Seiko Epson Corporation | Method of detecting and correcting digital images of books in the book spine area |
-
2015
- 2015-06-04 CN CN201510304343.1A patent/CN104966081B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064026A (zh) * | 2006-04-28 | 2007-10-31 | 中国科学院自动化研究所 | 基于射频识别技术的图书馆自动借还书系统 |
| CN102110332A (zh) * | 2009-12-24 | 2011-06-29 | 上海阿艾依智控系统有限公司 | 基于计算机视觉及射频识别技术的书本登记管理装置 |
| CN103295034A (zh) * | 2013-04-30 | 2013-09-11 | 中南大学 | 一种基于dsp的嵌入式图书乱架清点系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| 图像处理技术在图书馆藏书清点中的应用研究;李因易;《中国优秀硕士学位论文全文数据库 信息科技辑》;20061115(第11(2006)期);正文第11页最后一段，第3.4-3.5，4.3.2-4.3.3节 * |
| 场景文本识别关键技术研究;尹芳;《中国博士学位论文全文数据库 信息科技辑》;20140815(第08(2014)期);第I138-19页 * |
| 基于小波分析和概率Hough变换的书脊视觉识别;方建军等;《计算机工程与科学》;20140115;第36卷(第1期);第126-131页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104966081A (zh) | 2015-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104966081B (zh) | 书脊图像识别方法 | |
| Wang et al. | A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification | |
| Lynen et al. | Placeless place-recognition | |
| CN108062574B (zh) | 一种基于特定类别空间约束的弱监督目标检测方法 | |
| US8712109B2 (en) | Pose-variant face recognition using multiscale local descriptors | |
| Risojević et al. | Gabor descriptors for aerial image classification | |
| CN106897675A (zh) | 双目视觉深度特征与表观特征相结合的人脸活体检测方法 | |
| CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| Li et al. | Place recognition based on deep feature and adaptive weighting of similarity matrix | |
| CN110543581A (zh) | 基于非局部图卷积网络的多视图三维模型检索方法 | |
| CN108564111A (zh) | 一种基于邻域粗糙集特征选择的图像分类方法 | |
| Ahmed et al. | Deep image sensing and retrieval using suppression, scale spacing and division, interpolation and spatial color coordinates with bag of words for large and complex datasets | |
| Song et al. | Fingerprint indexing based on pyramid deep convolutional feature | |
| CN103413154A (zh) | 基于归一化类谷歌量度矩阵的人体运动识别方法 | |
| Zhu et al. | Text detection based on convolutional neural networks with spatial pyramid pooling | |
| CN103744903B (zh) | 一种基于草图的场景图像检索方法 | |
| Ballan et al. | Recognizing human actions by fusing spatio-temporal appearance and motion descriptors | |
| CN114332172A (zh) | 一种基于协方差矩阵改进的激光点云配准方法 | |
| Velardo et al. | Face recognition with DAISY descriptors | |
| Wittrowski et al. | 3d implicit shape models using ray based hough voting for furniture recognition | |
| Wang et al. | Hypergraph based feature fusion for 3-D object retrieval | |
| Xiong et al. | A generic object detection using a single query image without training | |
| Mehrdad et al. | 3D object retrieval based on histogram of local orientation using one-shot score support vector machine | |
| Anvaripour et al. | Accurate object detection using local shape descriptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 510623 room 2112, No.28, Huaxia Road, Xiancun street, Tianhe District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU MEISHI INFORMATION TECHNOLOGY CO., LTD. Address before: 510623 Guangdong Province, Guangzhou city of Tianhe District Pearl River New Town Huali Road No. 60 2101 poly champagne Patentee before: GUANGZHOU MEISHI INFORMATION TECHNOLOGY CO., LTD. |
|
| CP02 | Change in the address of a patent holder |