CN1581159A - 商标检索方法 - Google Patents
商标检索方法 Download PDFInfo
- Publication number
- CN1581159A CN1581159A CN 03152653 CN03152653A CN1581159A CN 1581159 A CN1581159 A CN 1581159A CN 03152653 CN03152653 CN 03152653 CN 03152653 A CN03152653 A CN 03152653A CN 1581159 A CN1581159 A CN 1581159A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- trademark
- trade mark
- comprises step
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000013316 zoning Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 239000004744 fabric Substances 0.000 description 13
- 239000000203 mixture Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001678 elastic recoil detection analysis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种商标检索方法,包括步骤:获取商标图像;过滤掉商标图案中的噪声;预处理;从过滤后的图像中抽取一组具有可分性的特征;把抽取的特征存放到特征字典中;降维;利用现有的特征与特征字典进行匹配,计算相似度返回一组最相似的图像作为查询结果;利用相关反馈来优化检索结果。本系统可以消除手工编码的繁重劳动,减少手工编码中人的主观影响,提高商标检索和认证的效率和可靠性,缩短商标的认证周期。
Description
技术领域
本发明涉及图像识别,特别涉及商标检索方法。
背景技术
商标检索是指从现有的商标图像库中寻找与输入商标图像相似的图像的过程。商标在工商业社会中起着非常重要的作用,是公司、产品或服务的标志,与企业的商品质量、服务质量、经营管理融为一体,成为企业信誉的象征,是一种无形的资产。因此,商标是公司及其产品的一个重要属性,具有唯一性。任何不同公司,不同产品和服务的商标是不同的,对商标的侵权将带来严重的后果。为使商标得到合法的保护,必须向商标局正式注册。而在进行商标注册时,商标局必须确保要注册的商标与已经注册过的商标相区别。商标注册在过去得很长时间里是通过手工完成的。首先人工将要注册的商标编码,然后从商标库中查找编码相近的商标。在确认没有发生侵权和违规后,将新商标及其编码存入商标库。
近年来,商标数量持续快速增长,使得验证工作极其繁琐。手工编码通常利用图案的全局形状,局部形状,文本信息等作为分类标准。由于商标图案越来越越多,越来越复杂,这些分类标准与商标的发展状况已经越来越不适应,手工编码的方法很容易发生错误。而手工增加新的标准其工作量无疑是非常巨大的。这就迫切要求一套自动系统来满足商标快速增长的需要,用计算机来代替手工抽取特征,提高编码的效率和精度。
上世纪90年代初期,基于内容的图像检索技术快速发展。国外的一些学者开始应用基于内容的图像检索理论来解决商标认证中的问题。日本最早发表了用基于内容图像检索来设计商标图像检索系统的技术报告。在随后的10多年里,多家公司和研究机构都参与了这一工作,并研制出了一些系统和产品,主要有IBM的QBIC系统,英国Northumbria大学为英国专利局开发的Artisan系统,新加坡国立大学的STAR系统等。
虽然有关自动商标检索的研究比较活跃,也有一些系统投入了使用,但是,仍有一些问题没有得到较好的解决。在以前的手工编码过程中,商标认证人员可以按照一定的规则对编码结果进行加权,原来商标中重要的部分所对应的权值大,这样可以突出原商标中这些重要的图形,而现有的系统常常抽取图像的全局特征来进行匹配,不能突出这些重要信息,因此系统的可靠性不高;另一个重要的问题就是速度问题,随着库中图像数量的增加,检索的速度成为制约系统的一个瓶颈, 而我国现有的注册商标数量已经超过了100万。
发明内容
本发明的目的是提供一种自动商标检索方法,克服上述现有系统中存在的技术缺陷,提供一套快速的、高精度的商标检索系统,提高商标检索、注册的效率和可靠性。
为实现上述目的,一种商标检索方法,包括步骤:
获取商标图像;
过滤掉商标图案中的噪声;
预处理;
从过滤后的图像中抽取一组具有可分性的特征;
把抽取的特征存放到特征字典中;
降维;
利用现有的特征与特征字典进行匹配,计算相似度返回一组最相似的图像作为查询结果;
利用相关反馈来优化检索结果。
本发明的商标自动检索系统在训练过程中,对图像库中的每一个图像,先用预处理模块来从原来的商标图像中抽取重要图形排除影响特征抽取的干扰信息,接着利用特征抽取算法从商标图像中抽取具有可分性的特征,最后用降维方法把原特征压缩后存储到特征字典中,在查询阶段,对每个输入的待查询图像,按照与训练过程的方法先得到压缩的特征,然后用快速搜索策略从特征字典中寻找相似的图像显示给用户,最后通过用户的反馈来优化查询的结果。
附图说明
图1是现有的商标检索系统的流程图;
图2是本发明的流程图;
图3是本发明中的预处理环节流程图;
图4是本发明中的预处理环节的示例图;
图5是预处理中结构法抽取关键图形所用的结构模板;
图6是方向线素特征的12种连接类型;
具体实施方式
图1是现有自动商标图像检索系统的流程图,从该图可以看到现有商标检索系统分成分成两个基本过程:训练过程分成四步,第一步是获取商标图像;第二步过滤掉商标图案中的噪声;第三步从过滤后的图像中抽取一组具有可分性的特征,通常抽取的特征有不变矩、边缘方向、傅立叶描述子、轮廓描述串等;第四步是把抽取的特征存放到特征字典中。查询过程分成五步,前三步同训练过程一样从待查询的图像中抽取特征,第四步是利用现有的特征与特征字典进行匹配,计算相似度返回一组最相似的图像作为查询结果;最后一步是利用相关反馈来优化检索结果。从上面描述的过程我们可以看到系统存在的缺陷,首先,特征是直接在去噪声后的图形上抽取的,不能强调某些细节,违背手工编码中的加权方法,影响系统的精度;其次,图像间的相似程度是直接在原始特征上计算的,通常原始特征的维数较高,计算量很大,当系统中同时使用多种特征时,这些特征不能很好地融合;另外,现有的匹配方法对大样本集的匹配速度较慢。
图2是本发明的流程示意图。从该图可以看出,本发明是在现有商标检索系统的基础上增加了两个环节——预处理和降维,在匹配过程中使用了快速检索策略,用来解决上面的问题。整个过程分成七步:图像的获取、去噪、预处理、特征抽取、降维、快速匹配和相关反馈。每个过程详细描述如下:
获取去噪的商标图像后进入第三步:预处理。在本发明中,预处理模块主要消除影响特征抽取的扰动信息。图3所示是预处理的流程图。从该图可以看出预处理实现的具体过程如下:首先抽取原图像中的关键图形消除扰动信息;然后对关键部分进行大小归一化消除位移和缩放对特征抽取的影响;接着用边缘检测算法突出图像的边缘信息方便特征抽取;最后用计算机模拟人手工编码,定位出图像中的一些特定基本图形,减少后续工作的复杂度。
关键图形的抽取是预处理环节的重点也是难点。商标图像作为一种人工合成的图像与自然图像存在很大的差别。首先商标图像是由各种物体的素描、抽象的图形、文字等组合而成,虽然组合的方式多种多样,但各个抽象的子图像间存在明显的界限,这为商标图像中关键图形的抽取提供了可能。通过观察大量的商标图像并对商标编码的了解,可以总结出下面的规律:绝大部分组合商标图像是由文本和一些有意义的图形共同组成,而商标局在进行商标图像编码时,除非文字本身明显构成图形,一般印刷体和美术字的中文、外文、字母商标只作文字检索,不划分图形要素编码;在一幅由图形和文字共同组成的商标中,图形是这个商标的主体,当两个商标在图形上存在相似,无论他们的文字在布局和文字本身存在多大差别,都认为这两幅商标是相似的;纯粹由文字构成的商标图像,不进行编码,而是作为文字来检索。总结这些规律后,我们发现了另一个解决问题的途径,即如果把商标图像中这些次要的文字信息消除掉,而保留剩下的图形部分,则同样达到图形抽取的目的。
为了抽取出商标图像中的关键图形,首先得把文字和重要的图形分割开来,由于商标图像各个图形间分界比较明显,因此可以用连通域分析算法实现图像的分割。本发明中采用线邻接图算法,其基本思路是:对图像进行逐行扫描,得到水平直线段,并将其与上一行的直线段比较,如果连通,则合并入一个连通域,否则为一个新的连通域,如此直到图像的末尾,通过连通域分析,可以得到的是包含各个子图像的矩形区域。
在本发明中,定义了三种不同的方法来消除商标图像中无关的文字信息,达到突出关键图形的目的,这三种方法分别是:基于连通域投影的方法、基于连通域面积方法和基于结构的子图抽取法,三种方法是互补的,分别用来处理不同的图像。实验结果表明,该系统中的关键图形抽取方法是有效的,超过95%的商标图像能够得到正确的结果。下面分别描述几种不同的方法:
第一种方法:基于连通域投影法。虽然商标中的文本可能由汉字、拼音和英文组成且字体、大小、形状不规则,但是文字通常以行的形式出现,同一行中的文字个数多于一个且文字的高度相差不大,而商标中的图形部分通常单独位于一行且与文本行间存在间隔。这是商标图案中最常见的情况,针对这种情况,建议一种基于连通域投影的文字消除方法。该方法的大致流程是,把连通域分解所得到的子图像沿水平方向投影,然后按照投影的结果进行分层,文本层和图形层差别较大,确定图形所在的层,保留该层。一般商标图像中,图像出现在同一层,该方法处理的结果只保留一层。该方法对图形内部或者和图形重叠的文字,不能取得较好的效果。
第二种方法:基于连通域面积的方法。通过该方法可以消除图形内部的文字,也可以消除和图形的投影相重叠的文字。图形是商标的关键部分,在绝大部分原始商标图像中,图形在面积上占主导地位。商标中的文字,无论出现在图形的内部或者外部,与图形相比所占的面积都较小,定义一个面积阈值(最大子图形面积的1/4)则可以达到去掉噪声和面积较小的文字的目的;对面积较大的子图形(大于最大子图形面积的1/8),在消除前需要做一些判断,防止误消除一些有用的子图形,主要利用图形的外围特征和笔划穿刺特征把文字和图形区分开来,因为文字通常是由很多笔划组成的不封闭图形,而图形的外轮廓比较平滑。
第三种方法:基于结构的子图抽取法。上面的两种情况可以解决绝大部分情况,但是仍有较小部分的商标图像不满足上面的两种情况,在这些商标图像中,与文字相比图形部分并不占据明显的优势,且图形部分通常和文字完全重叠,上面的处理方法不能得到正确的结果。统计前两种方法处理的错误结果,得到下面的结论:通常在原始商标图案的宽高差别较大时,会出现图形在面积上不占优势的情况;另外,与其它的图像相比,这些图像的结构比较规则,即具有确定的结构,通过观察,我们最终确定图5所示的12种结构,其中矩形代表文字或者文本行,圆形对应图形部分。利用这些结论,在该发明中增加了基于结构的子图抽取法来处理这些图像,处理过程如下:首先计算图像的宽高比并判断是否大于给定的阈值(1.8),对高宽比较大的图像(大于阈值),确定该图像的结构,如果满足图5中的任意一种结构,则保留相应的图像部分,结束。
需要强调的是,绝大部分商标图像都是横向的,即宽度大于高度或者相差不大,对垂直的商标,即高度远大于宽度时,不需要专门处理,可以把原来的商标图像逆时针旋转90度,然后按上面描述的方法处理。
在得到关键图形后,将采用MEC算法(Maximum Extent Circle)对商标图像进行自适应的大小归一化。因为商标图案的几何结构是非常重要的分类信息,自适应的大小归一化将原图像归一化为多个不同尺寸的图像,尽可能保持原几何结构。为了突出商标图像的形状,归一化之后的图像需要进行边缘提取。在研究过程中,我们尝试了多重边缘提取算法:ShenCastan,Canny,Sobel,Susan,Marr等,经过比较,选择Canny作为系统的边缘提取算法。
手工编码通常利用图案的全局形状,局部形状,图形信息等作为分类标准。由于商标图案越来越复杂,这些分类标准与商标的发展状况已经越来越不适应,手工编码的方法很容易发生错误。而手工增加新的标准其工作量无疑是非常巨大的,而利用计算实现自动编码可以较好的解决这个问题。当然,通过计算机要找出商标中所有的形状是相当困难的,但可以简化问题,寻找到某些特定的基本图形,减少后续工作的复杂度。我们定义了5种基本图形:圆,椭圆,矩形,菱形,三角形。系统能够自动判断商标中是否有基本图形,并定位出这5中基本子图。
系统采用了两种方法相结合完成这一目的:Hausdorff距离和图形理解。
Hausdorff距离是D.P.Huttenlocher1993提出的图形匹配算法,定义如下:
H(A,B)=max(h(A,B),h(B,A))
我们事先定义好了若干基本图形模板,首先用一些几何规则排除不可能的区域,然后在剩下的区域进行子图定位。为了节省定位时间,对于封闭图形,我们直接用图形理解的方法进行定位。图形理解主要用到基本子图的对称性,高宽比等特征。对定位好的子图进行两步操作:编码,去除。有基本图形的商标图像,首先给出对应的编码,然后从商标图像中去掉基本子图。实际系统中,我们实现的子图定位有圆、椭圆、棱形、三角形和矩形。由于计算量和存储空间的原因,最后用到的只有圆定位。圆定位的正确率可达到95%(统计200幅图,其中191幅能够正确的定位到)。
最近,一些关于商标检索的文献中提出了多成分检索的方法。这种方法首先把图像分割成多个互不相联的成分,分别对每个成分抽取特征,整个图像的相似程度则通过结合这些多个特征来得到。对多成分匹配方法而言,问题的关键在于得到这些子图像,最简单的方法就是把所有的连通成分都作为一个子图来保存,但是这种方法存在很大的缺陷。首先,每个图像可能包含非常多的块,这样特征字典将非常大,当图像数据库较大时,保存所有的成分几乎不现实。另外,商标很多商标图像是由一些基本的成分组合而成的抽象的图形和素描,完全分开则失去了原有的含义。为了减少这些缺陷,我们对原来的连通成分进行合并,同时规定每幅图像的子图数不超过三个。因此,关键问题就是连通成分的合并问题。在这部分,我们提供了两个合并的思路:第一种方法是利用规则和特征来进行合并,另外一种方法是通过图像理解来实现的,首先用Hausdorff定位出图中的基本图形,然后去掉图形中的基本成分只保留基本图形的编码,保留剩下的图形。
图4所示为一个商标图像的预处理示例。这四幅不同的商标图像((a),(b),(c),(d))都是中国电信的标志,其中图形部分(圆形背景内嵌艺术体汉字)是四个图像的共同特征。在手工编码过程中,商标认证人员很容易判断四幅商标是相同的,但是在现有的商标检索系统中,从这四幅图像中抽取出的特征相差非常大,利用其中的任一幅图像不能完全检索到其余的三幅,从预处理的结果可以看出处理后的图像基本保持一致。请看图4所示:当四幅不同的图像被输入后,预处理和关键图抽取环节分别从四幅原始的商标图像中抽出相同的图形部分((a1),(b1),(c1),(d1)),然后归一化可以把原来位置、大小相差较大的不同关键图形变得基本一致((a2)(b2)(c2)(d2)),最后利用边缘提取算法从归一化后的图像中提取边缘信息((a3),(b3),(c3),(d3))。从结果可以看到,预处理突出了四幅图像中的关键部分,排除了扰动信息,大大提高系统的可靠性。
经过预处理后进入该系统的第四步:特征抽取。众所周知,特征抽取与模式匹配是模式识别领域的两大支柱。对模式进行分类,首先要用各种方法对识别对象的性质做出各种测量,即提取出反映模式的特征,特征是决定相似性与分类的关键。当分类的目的确定后,如何找到合适的特征就成为识别的核心问题,因此很多学者都致力于寻找高效的特征来提高系统的精度。特征是对是对图形的形状信息或能量信息的反映,现有的商标系统中常用的特征有几何矩、Zernike矩、边缘方向图、小波特征、傅立叶描绘子等。这些特征是从原图、边缘图或变换域上来抽取特的,既有全局的特征,也有局部的特征。虽然这些特征能够反映图像的某些重要特点,但都有各自的缺点。为了提高系统的精度,更好地描述商标图形的边缘方向,在该系统中,除了使用上面几种常用的特征还引入了两种新的特征方向线素特征和Zoning特征。方向线素和Zoning特征最早被用在字符识别领域,其优越的性能已经在字符识别领域的到验证。通过实验发现作为局部特征的方向线素和zoning特征在本系统中的整体效果比全局特征效果好。然而,局部特征也有其自身的缺陷,即不具有旋转不变性,因此,该系统中使用了多种特征,结合多种特征来计算不同图像间的相似度。
下文将具体描述本发明中所用到的一些特征以及各自的原理。
不变矩特征常被用来解决不变模式识别问题,其优点是具有位移、旋转、缩放不变性。Hu从几何矩中推导出一组不变矩,最早实现了旋转、位移、放缩不变性,在此基础上又出现了Zernike矩、Fourier正交矩等。
傅立叶描述子是离散傅立叶变换的系数,由形状的频率分析产生。傅立叶描述子特征是对图像的轮廓来做的,先抽取出图像的轮廓,然后把轮廓离散化成等长的n份,接着进行傅立叶变换,用变换得到的参数作为特征。傅立叶描述子在形状的描述和分辨上起重要的作用,同样具有旋转、位移、放缩不变性。但是,傅立叶描述子特征要求图形的轮廓必须封闭,任何不封闭都可能出现问题;另外,傅立叶描述子特征不能处理内嵌曲线。大部分商标图像是由很多图形组合而成,在该系统中,我们使用二维傅立叶变换,并在变换域上统计能量特征以取代傅立叶描述子特征。
边缘方向直方图特征是一种边缘方向特征,可以从全局来考察不同图形的相似程度。边缘方向直方图特征抽取比较简单,首先用Canny算子抽取图像的边缘,计算边缘方向并等间隔的量化为72个区间,统计每个区间落入的象素个数,然后进行向量归一化,所得到的结果就是边缘直方图特征。边缘直方图特征不具有旋转不变性。
数学形态学是建立在积分几何和概率论基础上的一门学科,是一种应用于图像处理和模式识别领域的新的方法。数学形态学方法与其他空域或频域图像处理和分析方法相比,具有一些明显的优势。近年来,数学形态学在图像处理中的应用日趋广泛,其应用几乎渗透到图像处理的各个方面。如去噪滤波、边缘检测、细化、压缩编码、特征提取、形状分析等等。在一些报告中也提到用形态学的方法来抽取特征。
与Fourier变换、Gabor变换相比,小波变换是时间(空间)频率的局部化分析,它通过伸缩平移运算对信号(函数)逐步进行多尺度细化,最终达到高频处时间细分,低频处频率细分,能自动适应时频信号分析的要求,从而可靠聚焦到信号的任意细节,解决了Fourier变换的困难问题。多尺度分解的小波分析提供了图像的空间和频率信息,已经被用在了基于内容的图像检索中。在多尺度分解的小波分析中,在每层都有四个波段:一个低频部分和三个高频部分(垂直高频、水平高频、水平方向和垂直方向的高频),每个波段对应一个参数矩阵。使用3层Daubechies小波分解将产生10个波段,分别计算能量特征、均值和方差,可以得到30维的特征。这些特征可以精确地描述商标的纹理和形状。
纹理可以视为某些近似形状的近似重复分布,纹理描述的难点在于它与物体形状之间存在密切的关系,千变万化的物体形状与嵌套式的分布使纹理的分类变得十分困难。在70年代初期,Haralick等人提出了纹理特征的共生矩阵表示。他首先根据像素间的方向和距离构造一个共生矩阵,然后从共生矩阵中抽取有意义的统计量作为纹理表示。Tamura等人则从视觉的心理学角度提出了纹理表示方法,表示的所有纹理性质都具有直观的视觉意义,这使得Tamura纹理表示在图像检索中非常具有吸引力,而且可提供一个更友好的用户界面。QBIC系统和MARS系统进一步改进了这一纹理表示。
上面所描述的几种特征在图像检索系统中很常见,也取得了不错的效果,但是这些特征也存在缺陷,不能较好的突出图像的局部信息。为了更好地描述商标图像,除了使用这些常见的特征外,本发明还引入了两种新的特征。虽然在字符识别领域这两种特征比较常见,但是目前还没有人在图像检索领域进行过尝试,在实现过程中,对原来的特征抽取方法进行了一些修改使其更适合商标图像。下面就两种特征的原理和实现进行具体的描述。
方向线素特征:在字符识别领域,方向线素特征的有效性已经获得了验证,在该系统中,商标图像和字符图像一样是由二值图像组成的,且都具有一定的形状,因此,在该系统中引入高性能的方向线素特征可以取得较好的效果。方向线素由水平、垂直、+45°、
某个方向上的相邻两个黑像素构成。用3*3的领域进行判别,即以某个黑像素为中心,考察其周围8个像素中黑像素的分布情况,如果有符合图6中的任意一种情况,则将该方向上的方向线素值加上一个数值。图像的边缘比较平滑,较少出现夹角为直角或者锐角的情况,而噪声却常常以这样的形式出现,于是,方向线素就表现为图6所示的12种连接情况。在利用方向线素特征时,我们主要得到图像的局部特征,对图像分块,分别统计每块的方向线素值。
Zoning特征:Kimura和Shridhar在轮廓曲线上使用Zoning(分区制)。首先把图像分成大小相等的多块,在每块中,轮廓线被分解为一些相邻的像素,这些相邻的象素由下面几种方向组成:水平(0°)、垂直(90°)和两个对角线方向(45°、135°),分别统计在每个方向上象素的个数。
在经过预处理和特征抽取后进到第五步:降维。降维是大样本集图像检索的重要步骤,降维不仅能极大提高检索速度,减少存储空间,优秀的降维策略还能提高检索效果。商标检索问题实质上是非监督模式识别问题,这类问题通常用PCA(主成分分析)来解决。PCA能消除原有向量各分量间的相关性,可能去掉那些带有较少信息的坐标轴已达到降低特征空间维数的目的。虽然PCA能保证变换之后的所得到的总体熵最小,但是重建误差仍然存在。M.E.T认为重建误差近似符合高斯分布,提出了概率PCA(PPCA)并将重建误差引入重建公式,建立概略模型。然后通过最大似然估计方法计算出优化的重建误差方差。在此基础上,得到优化的降维矩阵。PPCA在数字识别中取得了比PCA理想的效果,我们将之引入了商标检索。
一切处理都完成后进到第六步:匹配。匹配是指得到查询图像的特征后,按照确定的度量方法来度量查询图像和库中每一幅图像在该度量方法下的相似程度,按照相似程度进行排序并返回一组最相似图像的过程,在该发明中,采用的度量方式是欧式距离。作为超大样本集的图像检索问题,检索速度是系统一个十分重要的技术指标。与现有的商标检索系统不同,该发明中采用了分层的匹配策略:第一层匹配只使用分类能力较强的若干维特征,经过筛选,去掉侯选集中与检索图像不相似的(距离很大)样本。第二层增加用于分类的特征维数,再从剩下的侯选中去掉不相似的侯选。重复前面的过程,直到剩余侯选数目满足要求。输出结果的排序最后采用快速排序。快速检索策略的关键是侯选筛选规则的建立,好的侯选筛选规则能极大提高检索速度。本发明中,采用直方图过滤方案,具体算法如下:
1.求待检索图像到数据库中所有样本的距离,i.e.dr1(x),dr2(x),Λ,drN(x)。
2.定义两个正整数D和R,引入一个数组{Q(i)},长度为N.D和R都是归一化参数.R为直方图级数,D要使Q(i)≤R
3.建立直方图数组Num[1ΛR].距离直方图初始化为零
For i from 1 to N
Num[Q(i)]=Num[Q(i)]+1;
4.统计直方图并根据输出要求找到合理域值T:
For i from 2 to R
Num[i]=Num[i]+Num[i-1]
If Num[i]≥S
{
T=i×D,
and then exit.
}
该快速搜索算法,在30万样本上作检索耗时小于两秒。如果不显示候选,耗时少于0.5秒。
第七步:相关反馈。仅仅基于图像低层特征很难给出令人满意的结果,主要原因是图像低层特征和高层语义间存在着很大的差距。为了解决这个问题,一方面需要研究出更好更有效的图像表示方法,另一方面可以通过人机交互的方式来捕捉和建立低层特征和高层语义之间的关联,这就是所谓的相关反馈技术。相关反馈技术最初用于传统的文本检索系统中,它的基本思想是,在检索过程中,系统根据用户的查询要求返回检索结果,用户可以对检索结果进行评价和标记,并将这些信息反馈给系统,系统则根据这些反馈信息进行学习,并返回新的查询结果,从而使得检索结果更加满足用户的要求。利用相关反馈优化检索结果。两个图像是否相似,很大程度上是主观的,不同的人会有不同的相似标准,尤其像商标这样复杂的图案。为了发挥人的这一主观作用,可以在系统中实现相关反馈技术。用户可以从检索结果中选择认为相关或是不相关的图案,系统自动更新特征及其它权值,重新查询。基于内容检索中的相关反馈技术大致可分为4种类型:参数调整方法、聚类分析方法、概率学习方法和神经网络方法。针对商标图像,本发明中建议了一种简单而有效的修改特征点权值的参数调整方法:
其中,Q原始查询点,Q+为正样本(相关)集,n+为正样本个数,Q-为负样本集(不相关),n-为负样本个数,Q′为更新之后的查询点特征。相关反馈能极大提高商标检索的精度,得到用户满意的结果。
Claims (11)
1.一种商标检索方法,包括步骤:
获取商标图像;
过滤掉商标图案中的噪声;
预处理;
从过滤后的图像中抽取一组具有可分性的特征;
把抽取的特征存放到特征字典中;
降维;
利用现有的特征与特征字典进行匹配,计算相似度返回一组最相似的图像作为查询结果;
利用相关反馈来优化检索结果。
2.根据权利要求1所述的方法,其特征在于所述预处理包括步骤:
抽取原图像中的关键图形消除扰动信息;
对关键部分进行大小归一化消除位移和缩放对特征抽取的影响;
用边缘检测算法突出图像的边缘信息方便特征抽取;
用计算机模拟人手工编码,定位出图像中的一些特定基本图形。
3.根据权利要求2所述的方法,其特征在于所述抽取原图像中的关键图像包括步骤:
把连通域分解所得到的子图像沿水平方向投影;
按照投影的结果进行分层,确定图形所在的层。
4.根据权利要求2所述的方法,其特征在于所述抽取原图像中的关键图像包括步骤:
根据连通域分解确定的图形面积,定义一个面积阈值;
面积阈值为最大子图形的1/4。
5.根据权利要求2所述的方法,其特征在于所述抽取原图像中的关键图像包括步骤:
计算图像的宽高比并判断是否大于给定的阈值;
对大于阈值的图像,确定该图像的结构;
如果满足给定的任意一种结构,则保留相应的图像部分。
6.根据权利要求5所述的方法,其特征在于如果商标的高度远大于宽度时,把原来的商标图像逆时针旋转90度。
7.根据权利要求1所述的方法,其特征在于所述特征抽取包括方向线素特征和zoning特征。
8.根据权利要求1所述的方法,其特征在于所述降维使用概率PCA对原始特征进行降维。
9.根据权利要求1所述的方法,其特征在于所述匹配包括步骤:
使用分类能力较强的若干维特征进行第一层匹配,去掉候选集中与检索图像不相似的样本;
再增加特征维数进行第二层匹配,再从剩下的候选中去掉不相似的候选,重复前面的过程,直到剩余候选数目满足要求。
10.根据权利要求9所述的方法,其特征在于:采用直方图过滤方法实现候选集的筛选。
11.根据权利要求1所述的方法,其特征在于所述的相关反馈包括步骤:
通过人机交互的方式来捕捉和建立低层特征和高层语义之间的关联;
引入人的主观判断指导查询过程;
逐步优化查询结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031526535A CN1304993C (zh) | 2003-08-04 | 2003-08-04 | 商标检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB031526535A CN1304993C (zh) | 2003-08-04 | 2003-08-04 | 商标检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1581159A true CN1581159A (zh) | 2005-02-16 |
CN1304993C CN1304993C (zh) | 2007-03-14 |
Family
ID=34579866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB031526535A Expired - Fee Related CN1304993C (zh) | 2003-08-04 | 2003-08-04 | 商标检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1304993C (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010003286A1 (zh) * | 2008-07-08 | 2010-01-14 | Wang Tiemei | 一种商标检索方法及系统 |
CN102508917A (zh) * | 2011-11-21 | 2012-06-20 | 洪涛 | 部分特征图像的多维度目标快速鲁棒检索定位方法 |
CN102819753A (zh) * | 2012-07-17 | 2012-12-12 | 华中科技大学 | 一种运用最大子图的基于局部模型的物体检测方法 |
US8346548B2 (en) | 2007-03-12 | 2013-01-01 | Mongoose Ventures Limited | Aural similarity measuring system for text |
CN102930283A (zh) * | 2012-08-10 | 2013-02-13 | 合肥工业大学 | 面向植物叶片的图像检索的自适应的鲁棒cmvm特征降维方法 |
WO2014082496A1 (zh) * | 2012-11-27 | 2014-06-05 | 腾讯科技(深圳)有限公司 | 客户端特征的识别方法、装置及存储介质 |
CN104021229A (zh) * | 2014-06-25 | 2014-09-03 | 厦门大学 | 一种用于商标图像检索的形状表示与匹配方法 |
CN104408449A (zh) * | 2014-10-27 | 2015-03-11 | 西安电子科技大学宁波信息技术研究院 | 智能移动终端场景文字处理方法 |
CN104462382A (zh) * | 2014-12-11 | 2015-03-25 | 北京中细软移动互联科技有限公司 | 商标图像查询方法 |
CN104462381A (zh) * | 2014-12-11 | 2015-03-25 | 北京中细软移动互联科技有限公司 | 商标图像检索方法 |
CN104636428A (zh) * | 2014-12-24 | 2015-05-20 | 四川超凡知识产权服务股份有限公司 | 一种商标推荐方法及装置 |
CN104809142A (zh) * | 2014-01-29 | 2015-07-29 | 北京瑞天科技有限公司 | 商标查询系统和方法 |
US20150324469A1 (en) * | 2014-05-09 | 2015-11-12 | Thomson Reuters Global Resources | System and Methods for Automating Trademark and Service Mark Searches |
CN105426530A (zh) * | 2015-12-15 | 2016-03-23 | 徐庆 | 一种商标检索方法、装置和系统 |
WO2016154866A1 (zh) * | 2015-03-31 | 2016-10-06 | 王志强 | 查询商标时显示商业用途的方法以及信息提醒系统 |
CN108764245A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种提高商标图形相似度判定准确性的方法 |
CN108897747A (zh) * | 2018-04-03 | 2018-11-27 | 南昌奇眸科技有限公司 | 一种商标图形相似度比对方法 |
CN108897722A (zh) * | 2018-06-26 | 2018-11-27 | 重庆智荟数创科技有限公司 | 基于笔顺算法的商标近似评估、监控系统及方法 |
CN109299307A (zh) * | 2018-08-30 | 2019-02-01 | 广州企图腾科技有限公司 | 一种基于结构分析的商标检索预警方法及装置 |
CN109376741A (zh) * | 2018-09-10 | 2019-02-22 | 平安科技(深圳)有限公司 | 商标侵权的识别方法、装置、计算机设备和存储介质 |
US10565533B2 (en) | 2014-05-09 | 2020-02-18 | Camelot Uk Bidco Limited | Systems and methods for similarity and context measures for trademark and service mark analysis and repository searches |
CN111141472A (zh) * | 2019-12-18 | 2020-05-12 | 梁启慧 | 一种抗震支吊架检测方法及系统 |
CN112329777A (zh) * | 2021-01-06 | 2021-02-05 | 平安科技(深圳)有限公司 | 基于方向检测的文字识别方法、装置、设备及介质 |
US11100124B2 (en) | 2014-05-09 | 2021-08-24 | Camelot Uk Bidco Limited | Systems and methods for similarity and context measures for trademark and service mark analysis and repository searches |
CN113568956A (zh) * | 2021-08-05 | 2021-10-29 | 武汉美之修行信息科技有限公司 | 一种近似产品查询方法、装置及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100295225B1 (ko) * | 1997-07-31 | 2001-07-12 | 윤종용 | 컴퓨터에서 영상정보 검색장치 및 방법 |
-
2003
- 2003-08-04 CN CNB031526535A patent/CN1304993C/zh not_active Expired - Fee Related
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8346548B2 (en) | 2007-03-12 | 2013-01-01 | Mongoose Ventures Limited | Aural similarity measuring system for text |
WO2010003286A1 (zh) * | 2008-07-08 | 2010-01-14 | Wang Tiemei | 一种商标检索方法及系统 |
CN102508917A (zh) * | 2011-11-21 | 2012-06-20 | 洪涛 | 部分特征图像的多维度目标快速鲁棒检索定位方法 |
CN102508917B (zh) * | 2011-11-21 | 2013-12-04 | 洪涛 | 部分特征图像的多维度目标快速鲁棒检索定位方法 |
CN102819753A (zh) * | 2012-07-17 | 2012-12-12 | 华中科技大学 | 一种运用最大子图的基于局部模型的物体检测方法 |
CN102930283A (zh) * | 2012-08-10 | 2013-02-13 | 合肥工业大学 | 面向植物叶片的图像检索的自适应的鲁棒cmvm特征降维方法 |
WO2014082496A1 (zh) * | 2012-11-27 | 2014-06-05 | 腾讯科技(深圳)有限公司 | 客户端特征的识别方法、装置及存储介质 |
US9697440B2 (en) | 2012-11-27 | 2017-07-04 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for recognizing client feature, and storage medium |
CN104809142A (zh) * | 2014-01-29 | 2015-07-29 | 北京瑞天科技有限公司 | 商标查询系统和方法 |
CN104809142B (zh) * | 2014-01-29 | 2018-03-23 | 北京瑞天科技有限公司 | 商标查询系统和方法 |
US11100124B2 (en) | 2014-05-09 | 2021-08-24 | Camelot Uk Bidco Limited | Systems and methods for similarity and context measures for trademark and service mark analysis and repository searches |
US10896212B2 (en) | 2014-05-09 | 2021-01-19 | Camelot Uk Bidco Limited | System and methods for automating trademark and service mark searches |
US20150324469A1 (en) * | 2014-05-09 | 2015-11-12 | Thomson Reuters Global Resources | System and Methods for Automating Trademark and Service Mark Searches |
US10565533B2 (en) | 2014-05-09 | 2020-02-18 | Camelot Uk Bidco Limited | Systems and methods for similarity and context measures for trademark and service mark analysis and repository searches |
US9965547B2 (en) * | 2014-05-09 | 2018-05-08 | Camelot Uk Bidco Limited | System and methods for automating trademark and service mark searches |
CN104021229A (zh) * | 2014-06-25 | 2014-09-03 | 厦门大学 | 一种用于商标图像检索的形状表示与匹配方法 |
CN104021229B (zh) * | 2014-06-25 | 2017-07-25 | 厦门大学 | 一种用于商标图像检索的形状表示与匹配方法 |
CN104408449A (zh) * | 2014-10-27 | 2015-03-11 | 西安电子科技大学宁波信息技术研究院 | 智能移动终端场景文字处理方法 |
CN104408449B (zh) * | 2014-10-27 | 2018-01-30 | 西安电子科技大学宁波信息技术研究院 | 智能移动终端场景文字处理方法 |
CN104462382A (zh) * | 2014-12-11 | 2015-03-25 | 北京中细软移动互联科技有限公司 | 商标图像查询方法 |
CN104462382B (zh) * | 2014-12-11 | 2018-03-20 | 中细软移动互联科技有限公司 | 商标图像查询方法 |
CN104462381A (zh) * | 2014-12-11 | 2015-03-25 | 北京中细软移动互联科技有限公司 | 商标图像检索方法 |
CN104636428B (zh) * | 2014-12-24 | 2018-04-24 | 四川超凡知识产权服务股份有限公司 | 一种商标推荐方法及装置 |
CN104636428A (zh) * | 2014-12-24 | 2015-05-20 | 四川超凡知识产权服务股份有限公司 | 一种商标推荐方法及装置 |
WO2016154866A1 (zh) * | 2015-03-31 | 2016-10-06 | 王志强 | 查询商标时显示商业用途的方法以及信息提醒系统 |
CN105426530A (zh) * | 2015-12-15 | 2016-03-23 | 徐庆 | 一种商标检索方法、装置和系统 |
WO2017101224A1 (zh) * | 2015-12-15 | 2017-06-22 | 徐庆 | 一种商标检索方法、装置、系统以及计算机存储介质 |
US10152650B2 (en) | 2015-12-15 | 2018-12-11 | Qing Xu | Trademark retrieval method, apparatus and system, and computer storage medium |
CN108764245A (zh) * | 2018-04-03 | 2018-11-06 | 南昌奇眸科技有限公司 | 一种提高商标图形相似度判定准确性的方法 |
CN108897747A (zh) * | 2018-04-03 | 2018-11-27 | 南昌奇眸科技有限公司 | 一种商标图形相似度比对方法 |
CN108764245B (zh) * | 2018-04-03 | 2022-04-29 | 南昌奇眸科技有限公司 | 一种提高商标图形相似度判定准确性的方法 |
CN108897722A (zh) * | 2018-06-26 | 2018-11-27 | 重庆智荟数创科技有限公司 | 基于笔顺算法的商标近似评估、监控系统及方法 |
CN109299307A (zh) * | 2018-08-30 | 2019-02-01 | 广州企图腾科技有限公司 | 一种基于结构分析的商标检索预警方法及装置 |
CN109299307B (zh) * | 2018-08-30 | 2022-04-05 | 广州企图腾科技有限公司 | 一种基于结构分析的商标检索预警方法及装置 |
CN109376741A (zh) * | 2018-09-10 | 2019-02-22 | 平安科技(深圳)有限公司 | 商标侵权的识别方法、装置、计算机设备和存储介质 |
CN111141472A (zh) * | 2019-12-18 | 2020-05-12 | 梁启慧 | 一种抗震支吊架检测方法及系统 |
CN111141472B (zh) * | 2019-12-18 | 2022-02-22 | 江苏万路机电科技有限公司 | 一种抗震支吊架检测方法及系统 |
CN112329777A (zh) * | 2021-01-06 | 2021-02-05 | 平安科技(深圳)有限公司 | 基于方向检测的文字识别方法、装置、设备及介质 |
CN113568956A (zh) * | 2021-08-05 | 2021-10-29 | 武汉美之修行信息科技有限公司 | 一种近似产品查询方法、装置及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN1304993C (zh) | 2007-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1304993C (zh) | 商标检索方法 | |
Li et al. | Automatic text detection and tracking in digital video | |
Kim et al. | Content-based trademark retrieval system using a visually salient feature | |
Ma et al. | Netra: A toolbox for navigating large image databases | |
US8908996B2 (en) | Methods and apparatus for automated true object-based image analysis and retrieval | |
Lu et al. | Automated analysis of images in documents for intelligent document search | |
Rusiñol et al. | Efficient logo retrieval through hashing shape context descriptors | |
CN102567483A (zh) | 多特征融合的人脸图像搜索方法和系统 | |
EP2327044A2 (en) | Segmenting printed media pages into articles | |
Rezvanifar et al. | Symbol spotting for architectural drawings: state-of-the-art and new industry-driven developments | |
Wu et al. | A texture descriptor for image retrieval and browsing | |
Mzoughi et al. | Semantic-based automatic structuring of leaf images for advanced plant species identification | |
CN102508917A (zh) | 部分特征图像的多维度目标快速鲁棒检索定位方法 | |
Rusiñol et al. | Relational indexing of vectorial primitives for symbol spotting in line-drawing images | |
Seetharaman et al. | Statistical distributional approach for scale and rotation invariant color image retrieval using multivariate parametric tests and orthogonality condition | |
Santosh | Document image analysis: Current trends and challenges in graphics recognition | |
Ghai et al. | Comparative analysis of multi-scale wavelet decomposition and k-means clustering based text extraction | |
Martinet et al. | A relational vector space model using an advanced weighting scheme for image retrieval | |
Khade et al. | A rotation and scale invariant approach for multi-oriented floor plan image retrieval | |
Jain et al. | A survey on CBIR on the basis of different feature descriptor | |
Lladós et al. | Indexing historical documents by word shape signatures | |
Marinai et al. | Tree clustering for layout-based document image retrieval | |
Barbu | Content-based image retrieval using gabor filtering | |
Roy et al. | Seal object detection in document images using GHT of local component shapes | |
Priya et al. | Optimized content based image retrieval system based on multiple feature fusion algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070314 Termination date: 20170804 |