CN109643318A - 商标图像的基于内容的搜索和检索 - Google Patents

商标图像的基于内容的搜索和检索 Download PDF

Info

Publication number
CN109643318A
CN109643318A CN201680086758.9A CN201680086758A CN109643318A CN 109643318 A CN109643318 A CN 109643318A CN 201680086758 A CN201680086758 A CN 201680086758A CN 109643318 A CN109643318 A CN 109643318A
Authority
CN
China
Prior art keywords
image
trademark
trademark image
degree
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680086758.9A
Other languages
English (en)
Other versions
CN109643318B (zh
Inventor
A.阿尔拜拉克
M.E.卡斯利基
I.O.西吉尔西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ed Computer Operations And Trading Co Ltd
Original Assignee
Ed Computer Operations And Trading Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ed Computer Operations And Trading Co Ltd filed Critical Ed Computer Operations And Trading Co Ltd
Publication of CN109643318A publication Critical patent/CN109643318A/zh
Application granted granted Critical
Publication of CN109643318B publication Critical patent/CN109643318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供用于基于查询图像有效且准确地搜索和检索商标图像的方法、系统和计算机产品。在一个实施例中，一种用于商标图像的基于内容的搜索和检索的方法包括通过使用商标图像的每个像素的6位颜色数据采用处理器生成每个商标图像的64格颜色直方图来从多个商标图像中提取颜色特征。6位颜色数据包括来自商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位。该方法还包括通过使用商标图像的每个像素的加权取向角数据采用处理器生成每个商标图像的9格取向直方图来从多个商标图像中提取形状特征。该方法还包括由处理器来生成两个商标图像的颜色直方图与取向直方图之间的距离相似性量度。

Description

商标图像的基于内容的搜索和检索
技术领域
本发明一般涉及图像识别，以及更具体来说涉及商标图像的基于内容的搜索和检索。
背景技术
商标通常是名称、字、词语、标志、符号、设计、图像或者这些元素的组合，以识别特定来源的产品或服务与其他来源的产品或服务。因此，商标可包括极为不同类型的线条和颜色，以形成字、形状、图案和/或标志。商标在全球的不同国家政府机构(其检查和批准商标申请)申请和注册。对商标的申请和待批，通常进行搜索以检查相似注册商标是否存在。
基于内容的图像检索或视觉搜索是从相对某个查询图像的视觉特性是相似的多个图像中检索数字图像的任务。视觉搜索技术提供优于传统关键字搜索的若干优点。重要的是，它允许用户搜索尚未采用描述性元数据所标记的集合中的图像，并且采用图像而不是文本进行搜索，这可以是比关键字序列要丰富许多的查询。
但是，为了将图像用于搜索，执行图像处理以提取、标识或识别图像的属性或特征。当前，以充分速度返回质量匹配商标的准确有效的搜索方法和系统不可用。因此，需要用于从商标图像集合中搜索、匹配和检索图像的自动化、计算有效并且准确的方法和系统。
发明内容
本发明通过提供极有效和准确的商标图像搜索和检索方法、系统及计算机产品来解决这些问题。
按照本发明的实施例，提供一种用于商标图像的基于内容的搜索和检索的方法。该方法包括通过使用商标图像的每个像素的6位颜色数据采用处理器生成每个商标图像的64格颜色直方图从多个商标图像中提取颜色特征，其中6位颜色数据包括来自商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位。该方法还包括通过使用商标图像的每个像素的加权取向角数据采用处理器生成每个商标图像的9格取向直方图从多个商标图像中提取形状特征。该方法还包括由处理器来生成两个商标图像的颜色直方图与取向直方图之间的距离相似性量度。
按照另一个实施例，一种用于商标图像的基于内容的搜索和检索的方法包括提供数据库中的商标图像集合的URL，并且接收查询商标图像。该方法还包括由处理器从商标图像的每个中提取颜色特征，颜色特征的提取包括：应用第一滤波器以使图像平滑；应用第二滤波器以去除图像的背景像素；级联来自红色、绿色和蓝色通道的每个的2个位以提供图像的每个像素的6位颜色数据；以及使用6位颜色数据来提取图像的64格颜色直方图。该方法还包括由处理器从商标图像的每个中提取形状特征，形状特征的提取包括：将图像转换成灰度级；应用第三滤波器以便从图像中去除噪声像素；计算图像的每个像素的水平导数和垂直导数；将垂直导数除以水平导数，以得到图像的每个像素的导数商；通过计算导数商的反正切来计算图像的每个像素的取向角；将图像划分为3×3块；以及使用具有加权值的取向角数据来提取图像的每个块的9格形状直方图，以得到图像的81格形状直方图，其中形状直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。该方法还包括：通过使用巴氏（Bhattacharyya）距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来确定查询商标图像与商标图像集合之间的相似性；以及通过按照巴氏距离的顺序返回来自商标图像集合的商标图像。
按照本发明的又一个实施例，提供一种包含指令的非暂时机器可读存储介质，指令在由机器的一个或多个处理器运行时使该机器执行如上所述的操作。
按照本发明的又一个实施例，提供一种用于商标图像的基于内容的搜索和检索的系统。该系统包括：一个或多个处理器；以及颜色直方图模块，其将一个或多个处理器之中的至少一个处理器配置成使用商标图像的每个像素的6位颜色数据来生成商标图像的64格颜色直方图，其中6位颜色数据包括来自商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位。该系统还包括取向直方图模块，其将一个或多个处理器之中的至少一个处理器配置成使用商标图像的每个像素的加权取向角数据来生成商标图像的9格取向直方图。该系统还包括比较模块，其将一个或多个处理器之中的至少一个处理器配置成生成比较两个商标图像之间的颜色直方图和取向直方图的距离相似性量度。
附图说明
将参照以下附图来描述按照本发明及其部分具体实施例的用于商标搜索和检索的方法、系统及计算机产品。通过参照附图阅读以下详细描述，将会更好地了解本发明的这些及其他特征、方面和优点，附图中，相似标号在附图中通篇表示相似部件。通过附图、作为举例而不是限制示出一些实施例。除非另加说明，否则附图可以不按规定比例绘制。
图1是示出按照一些实施例、用于执行图像处理并且使用从图像处理所得到的图像特征数据的示例系统的网络图。
图2是示出按照一些实施例、图1的系统内所设置的组件的框图。
图3是示出按照一些实施例、在模块和资料库/数据结构/数据库中实现的图像处理和图像数据使用功能性/操作的框图。
图4示出按照一些实施例、由图3的模块所实现的商标图像匹配或比较的商标图像处理和确定的示例流程图。
图5示出按照一些实施例、生成颜色直方图的图像的处理。
图6示出按照一些实施例、生成定向梯度直方图的图像的处理。
图7示出按照一些实施例的匹配或比较阶段的高级流程图。
图8A-8E示出按照一些实施例、与图4-7的商标搜索流程图的实现相关的用户界面(UI)屏幕和直方图图示。
图9示出按照一些实施例、采取计算机系统的示例形式的机器的图解表示，在其中运行用于使机器执行图4-7的方法的任何一个或多个的指令集。
具体实施方式
按照本发明的一般实施例，公开用于基于查询图像的内容和注册商标图像集合来搜索和检索“匹配”商标图像的方法、系统和计算机产品。按照实施例，一种用于公司注册商标的图像相似性比较和检索的方法可包括至少两个阶段：(1)图像颜色特征相似性的计算；以及(2)图像形状特征相似性的计算。
在一些实施例中，图像比较、匹配和检索方案操作如下。提供图像数据库/集合。例如，包含图像(图像数据库中的标志、商标)集合的文件夹的统一资源定位符(URL)或网站/网页地址被给予商标服务和/或商标搜索应用，以计算全部图像的颜色和形状特征。然后，图像的所提取特征可存储在数据库中。此后，提供查询/输入图像(要匹配或比较的感兴趣标志、设计、字、形状、颜色等)，并且从查询图像中提取颜色和形状特征。查询图像的颜色和形状特征与数据库中存储的注册商标图像特征进行比较，以及计算所给定输入图像与注册商标图像之间的相似性量度，以便从图像数据库/文件夹中检索最相似图像。
按照另一个实施例，一种搜索商标图像的方法包括通过使用商标图像的每个像素的6位颜色数据生成商标图像的64格颜色直方图从商标图像中提取颜色特征，其中6位颜色数据包括来自商标图像的每个像素的红色、绿色和蓝色通道的每个的2个最高有效位。最高有效位表示描述颜色的最典型位，以及在一个示例中将是来自RGB通道的每个的前2个位。该方法还包括通过使用商标图像的每个像素的加权取向角数据生成商标图像的9格取向直方图从商标图像中提取形状特征。该方法然后包括生成两个商标图像的颜色直方图与取向直方图之间的距离相似性量度。
本文更详细描述的是用于从输入商标图像中提取图像特征数据的方法、系统和计算机产品以及图像特征数据的各种用途。图像特征数据包括但不限于颜色直方图、取向直方图、图案识别以及与输入图像对应的主导颜色。查询或输入图像可包括用户所拍摄以捕获图像(例如至少颜色和/或图案)的数字化相片或者网站或网页中包含的图像。所提取图像特征数据用来提供匹配查询图像的所提供数据库中的相似商标图像。在一些实施例中，一个或多个来源用来得到商标图像集合以供比较(例如来自不同国家政府机构的注册商标)。
本领域的技术人员将易于清楚地知道对示例实施例的各种修改，并且本文所定义的一般原理可适用于其他实施例和应用，而没有背离本发明的范围。此外，在以下描述中，为了便于说明而提出许多细节。但是，本领域的技术人员将会知道，即使没有使用这些具体细节也可实施本发明。在其他情况下，众所周知的结构和过程没有采取框图形式示出，以免以不必要细节来影响对本发明的描述。因此，本公开不是要局限于所示的实施例，而是符合与本文所公开原理和特征一致的最广义范围。
图1是示出按照一些实施例、用于执行图像处理并且将从图像处理所得到的图像特征数据用于商标图像搜索的示例系统100的网络图。连网系统102形成基于网络的发布系统，其经由网络104(例如因特网或广域网(WAN))向一个或多个客户端和装置提供服务器侧功能性。图1还示出例如装置机器110上运行的web客户端106(例如web浏览器)和程序化客户端108其中之一或两者。在一个实施例中，系统100包括匹配系统、推荐系统和/或注册服务系统。
装置机器110包括计算装置，其至少包括显示器以及与网络104的通信能力以访问连网系统102。装置机器110包括但不限于远程装置、工作站、计算机、通用计算机、因特网设备、手持装置、无线装置、便携装置、可佩戴计算机、蜂窝或移动电话、便携数字助理(PDA)、智能电话、平板、超级本、上网本、膝上型、台式、多处理器系统、基于微处理器或可编程消费电子器件、游戏控制台、机顶盒、网络PC、微型计算机等。装置机器110可经由有线或无线连接与网络104相连接。例如，网络104的一个或多个部分可以是自组网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、无线网络、WiFi网络、WiMax网络、另一种类型的网络或者两个或更多这类网络的组合。
装置机器110包括一个或多个应用(又称作“app”)，例如但不限于web浏览器、消息传递应用、电子邮件(email)应用、电子商务站点应用(又称作市场应用)、商标搜索和/或注册应用等。在一些实施例中，如果商标应用包含在给定装置机器110中，则这个应用配置成本地提供用户界面和功能性的至少部分，其中应用配置成根据需要与连网系统102进行通信，以获得本地不可用的数据和/或处理能力(例如对商标图像的数据库的访问、认证用户、检验付费方法等)。相反，如果商标搜索和/或注册应用没有包含在给定装置机器110中，则装置机器110可使用其web浏览器来访问连网系统102上托管的商标服务站点(或者其变体)。虽然单个装置机器110在图1中示出，但是更多装置机器能够包含在系统100中。
应用程序接口(API)服务器112和web服务器114耦合到一个或多个应用服务器116并且提供分别到一个或多个应用服务器116的程序化和web接口。应用服务器116按照本发明的实施例托管一个或多个“商标应用”(例如商标服务应用118和商标搜索应用120)。应用服务器116还可包括付费应用和其他应用(其支持商标服务)。应用服务器116又示为耦合到一个或多个数据库服务器122，其促进对一个或多个数据库124的访问。
商标服务应用118可向用户(其访问连网系统102)提供多个商标注册功能和服务。商标注册功能/服务可包括多个商标注册功能和服务(例如表单、法规和/或信息的提供；数据摄取；图像捕获；付费；等等)。例如，商标服务应用118可向用户提供多个服务和功能，以用于提供(一个或多个)商标(例如捕获商标)、向政府机构注册(一个或多个)商标并且提供销售服务(例如，咨询、与政府机构进行接口以响应对商标注册的任何否决、促进对应性以及与商标注册相关的其他服务)。另外，商标服务应用118可跟踪和存储与所捕获商标、事务和用户交互相关的数据和元数据。在一些实施例中，商标服务应用118可发布或者提供对内容项(其存储在应用服务器116或者应用服务器116和/或数据服务器122可访问的数据库124中)的访问。
商标搜索应用120可包括多个商标搜索和检索功能及服务(例如搜索、报告、审查和反馈以及与商标搜索相关的其他服务或功能等)。商标搜索应用120可允许用户对注册商标的集合或数据库搜索与所提供查询或输入图像(其在一个示例中可以是潜在商标注册应用感兴趣的)相似的图像。商标搜索应用120可从查询图像和搜索图像(例如注册商标图像)集合中提取颜色和形状特征，生成与颜色和定向梯度对应的直方图，并且然后比较查询图像与数据库图像集合之间的直方图的接近“匹配”。搜索图像集合可来自数据库124或者有权访问第三方数据库130的第三方服务器126(例如，来自各个国家的政府机构(其注册商标)的公开可用注册商标图像)。另外，商标搜索应用120可跟踪和存储与所捕获商标、事务和用户交互相关的数据和元数据，在一些实施例中，商标搜索应用120可发布或提供对内容项(其存储在应用服务器116或者应用服务器116和/或数据库服务器122可访问的数据库124中)的访问。
虽然商标应用118和120在图1中示为形成连网系统102的组成部分，但是将会理解，在备选实施例中，商标应用可形成与连网系统102独立且不同或者相互之间独立且不同的商标应用服务的组成部分。在其他实施例中，商标服务应用118可从系统100中省略。在一些实施例中，商标应用的至少一部分可设置在装置机器110上。
此外，虽然图1所示的系统100采用客户端-服务器架构，但是本公开的实施例并不局限于这种架构，而是可同样在例如分布式或对等架构系统中得到应用。各种商标服务和搜索应用118、120还可实现为独立软件程序，其不一定具有连网能力。
web客户端106经由web服务器114所支持的web接口来访问各种商标应用118和120。类似地，程序化客户端108经由API服务器112所提供的程序化接口来访问商标应用118和120所提供的各种服务和功能。程序化客户端108例如可以是商标服务应用，以便使用户能够捕获图像和/或按照离线方式管理连网系统102上的商标应用，以及执行程序化客户端108与连网系统102之间的批量模式通信。
图1还示出第三方服务器机器126运行第三方应用128，其经由API服务器112所提供的程序化接口具有对连网系统102的程序化访问权。例如，第三方应用128利用从连网系统102所检索的信息可支持第三方所托管的网站上的一个或多个特征或功能。第三方网站例如可提供一个或多个商标服务，其是连网系统102的相关应用所支持的。如先前所述，在一些实施例中，第三方服务器126可以是国家政府机构(其注册商标并且允许对注册商标图像的数据库130的访问)的服务器。
现在参照图2，框图示出按照一些实施例的连网系统102内所设置的组件。连网系统102可在专用或共享服务器机器(未示出)(其在通信上耦合以实现服务器机器之间的通信)上托管。组件本身在通信上(例如经由适当接口)相互耦合并且与各种数据源耦合，以便允许信息在应用之间传递，或者以便允许应用共享和访问公共数据。此外，组件可经由数据库服务器122来访问一个或多个数据库124。还有可能的是，组件可访问一个或多个第三方数据库130。
连网系统102可提供多个商标服务机制，由此申请人可提供或捕获查询图像(例如潜在商标)，以及系统102然后可将所接收的查询图像与图像(例如注册商标)的数据库或集合进行比较，提供最佳“匹配”，显示所返回或检索的图像，以允许查看所检索图像，并且申请商标注册。为此，连网系统102可包括至少一个商标图像捕获引擎202、至少一个商标图像特征提取引擎204、至少一个商标图像搜索引擎206、至少一个商标图像检索/发布引擎208、至少一个导航引擎210以及至少一个商标服务引擎212。
商标图像捕获引擎202允许接收来自用户的查询图像，以便用作搜索引擎206进行的搜索的基础。图像可从客户端装置(例如膝上型、移动电话或平板)的照相装置或成像组件来拍摄或者可从存储装置来访问。在一个示例中，捕获引擎202数字化或处理查询图像。
商标图像特征提取引擎204实现图像特征(例如作为颜色直方图所提取的颜色特征以及作为定向梯度直方图所提取的形状特征)的提取。颜色和形状的图像特征然后能够用来搜索与查询图像相似的注册商标。
商标图像搜索引擎206实现注册商标的图像查询或关键字查询。在示例实施例中，搜索引擎206从用户的装置接收查询图像和/或关键字查询，并且进行所提取图像特征(例如颜色和形状)和注册商标集合中的图像的特征和/或与字描述相关的信息之间的比较。搜索引擎206可记录查询(例如图像和/或关键字)以及任何后续用户动作和行为(例如导航)。搜索引擎206还可基于图像是仅包含字、仅包含颜色还是包含字和颜色和/或图像是黑白还是彩色来执行搜索。
搜索引擎206还可基于要搜索的注册商标、数据库或机构的原产国来执行搜索。另外，用户可经由移动装置来访问搜索引擎206，并且生成搜索查询。使用搜索查询，搜索引擎206比较相关图像特征，以查找最佳匹配(在一个示例中基于最短数学距离，例如巴氏距离)。
商标图像检索/发布引擎208可基于所比较颜色和/或形状特征来提供、发布和/或返回相似或匹配注册商标的相关搜索结果。在一个示例中，图像检索/发布引擎208按照最短巴氏距离的数值顺序来返回结果。图像检索/发布引擎208还可包括每个所返回的注册商标的类别或分类(例如尼斯分类，其中注册商标在特定类别内关联的商品或服务下分类)。与注册商标关联的附加信息(例如拥有者、注册人、描述、注册日期等)处于实施例的范围之内。
连网系统102还可包括导航引擎210，其允许用户浏览所检索(返回)的注册商标的各种类别或分类。例如，导航引擎210允许用户沿包括类别的分级结构的类别树(例如类别树结构)向下接连导航，直至达到列表的特定集合。可提供导航引擎210内的各种其他导航应用，以补充搜索和浏览应用。导航引擎210可记录用户所执行的各种用户动作(例如点击)，以便沿类别树向下导航。
下面更详细描述与连网系统102关联的附加模块和引擎。应当理解，模块或引擎可体现以下描述细节的各个方面。
图3是示出按照一些实施例、在模块和资料库/数据结构/数据库中实现的图像处理和图像数据使用功能性/操作的框图。模块包括一个或多个软件组件、程序、应用或者代码库或指令的其他单元，其配置成由应用服务器116和/或装置机器110中包含的一个或多个处理器来运行。模块包括商标图像捕获模块310、颜色直方图模块312、定向梯度直方图模块314、索引模块316、比较模块318、商标图像检索模块320、浏览器插件模块322和用户兴趣检测模块324。模块310-324能够与注册商标图像数据库302和商标图像索引数据库304的每个进行通信，其中数据库302、304可以或者可以不包含在数据库124中。还要注意，数据库302可关联或链接到第三方数据库130。虽然模块310-324在图3中示为不同的模块，但是应当理解，模块310-324可实现为比所示的更少或更多的模块。还应当理解，模块310-324的任一个可与系统100中包含的一个或多个组件(例如数据库服务器122、应用服务器116、第三方服务器126或装置机器110)进行通信。类似地，数据库302、304在图3中示为不同的数据库。但是要理解，数据库302、304的内容可存储在比所示的更少或更多的数据库中。
在一些实施例中，模块310-324的一个或多个从适合于计算装置的类型的服务站点来下载，或者OS相关的多个模块或应用可以可用于下载。例如，如果装置机器110包括iOS类型装置(例如Mac、iPhone或iPad)，则模块(其能够封装为商标服务和/或搜索应用的组成部分)能够从iTunes来下载。类似地，如果装置机器110包括Android类型装置，则模块能够从Android商店来下载。装置机器110具有访问数据的与远程位置的服务器或数据库(例如数据库124、数据库服务器122、API服务器112、web服务器114)的通信能力和/或促进图像捕获、图像处理以及来自图像处理的图像数据的使用的处理能力，如以下更详细描述。
在其他实施例中，模块310-324的一个或多个可在应用服务器116上托管，以及在装置机器110上不要求模块的下载。模块而是可由装置机器110通过网络104使用web浏览器来访问。在又一些实施例中，模块的一部分可包含在装置机器110中，而模块的其他部分可包含在应用服务器116中；装置机器110与应用服务器116进行通信，以共同提供适当功能性。
图4示出按照一些实施例、由图3的模块所实现的图像的图像处理和确定的示例流程图400。流程图400的操作可由装置机器110和/或连网系统中包含的服务器(例如API服务器112、web服务器114、应用服务器116、数据库服务器122)来执行。
流程图400的操作/功能性能够分类为两个阶段：索引阶段401A和匹配阶段401B。在一些实施例中，索引阶段401A包括由例如应用服务器116对预先存在的注册商标图像(例如与数据库124、130和/或302中存储的注册商标对应的图像)的离线图像处理，以便得到图像特征数据。预先存在的注册商标可从各种来源(例如不同的政府机构、注册商标的私有编译数据库)来提供。
所得图像特征数据能够索引到图像索引数据库304中，并且随后用于匹配阶段期间的更快查找。在一些实施例中，注册商标图像能够按照一个或多个批量来处理。在一些实施例中，注册商标图像的一部分或批量能够在线处理，并且所得图像特征数据能够索引到图像索引数据库304中。图像可基于其特征/属性(非限制性地例如通过颜色直方图、取向直方图等所示的颜色分布)并且还基于与注册商标关联的其他可用信息(非限制性地例如尼斯分类、注册人、拥有者、国家等)来索引。
一旦索引阶段401A完成，匹配阶段401B能够通过包含图像(称作查询图像或输入图像)的查询的接收来触发。访问图像索引数据库304，以查找(一个或多个)最接近匹配注册商标图像。这些注册商标图像基于相似性量度作为与查询图像的“匹配”结果来提供。框402-406涉及索引阶段401A，以及框412--430涉及匹配阶段401B。框412-416涉及匹配阶段401B内的特征提取阶段401C，其中提取来自查询图像的颜色和形状特征。框412-416与索引阶段401A的框402-406相互关连，并且与如同索引阶段401A中一样的从注册商标中的颜色直方图和定向梯度的提取基本上相似。在其他实施例中，颜色直方图和定向梯度直方图的提取顺序可反转或者同时处理(换言之，框404/414和406/416的顺序可交换或者基本上同时处理)。下面首先描述索引阶段401A的操作，之后接着匹配阶段401B的操作。在又一些实施例中，单个特征提取算法(换言之，仅基于颜色特征或形状特征的匹配)可由用户使用和选择，具体来说是在商标输入/查询图像仅基于颜色(即，没有涉及形状)或者仅基于形状(即，没有涉及颜色或者为黑白)时。
对于索引阶段401A，在框402，连网系统102(例如应用服务器116)从数据库(例如注册商标图像数据库302，其可表示数据库124、第三方数据库130或者不一定包含在装置机器110或应用服务器116中但是装置机器110或应用服务器116可访问的另一个数据库)中检索注册商标图像。数据库302包括注册商标图像以及与注册商标关联的信息。与注册商标有关的信息包括但不限于注册人、国家、尼斯分类、关联日期、描述等。注册商标图像可包括各种字、字母、颜色、线条、形状、图案等。虽然本文论述对单个商标图像所采取的操作，但是要理解，多个图像能够在批量任务中相互同时被处理。对给定单个商标图像所采取的操作仅为了便于论述。
在框404，提取颜色直方图，或者由颜色直方图模块312识别图像的颜色分布。索引模块316配置成对图像索引数据库304适当地索引和添加与商标图像对应的颜色直方图图像特征数据。图像能够基于一个或多个属性来索引。例如，图像能够按照其提取颜色特征、提取形状特征、关联信息等索引，以促进匹配项的快速查找。
可自动去除商标图像的背景(例如纯黑白背景)。在一些实施例中，取样掩码可提供库存图像的空间取样区域，以供后续特征提取操作。在其他实施例中，不使用或者不需要取样掩码，因为能够处理整个商标图像。一旦确定了图像的取样区域(取样掩码内的区域)，这种取样区域用于各种图像特征提取和识别。在其他实施例中，没有确定取样区域，因为处理整个图像。颜色直方图的提取包括图像中包含的项的颜色分布的提取或识别。
颜色表示的选择对颜色分布的提取是相关的。颜色能够按照各种方式来表示。适合于商标图像的颜色空间是红、绿和蓝(RGB)颜色空间，其中全部颜色相对三维的三个颜色通道红、绿和蓝来表示。在一个实施例中，商标图像(更具体来说，在取样掩码区域或整个图像之内)使用RGB颜色空间均匀地取样或扫描(又称作均匀取样)。来自图像的像素被取样。一旦这些像素被取样，则从这些像素的每个中提取信息(例如图像特征或属性)。信息能够基于像素或者像素连同其近邻来提取。与颜色有关的信息逐个像素来提取，并且然后组合、合并或汇集到值(又称作特征)的集合中。在颜色特征的情况下，使用直方图技术—以得到例如颜色直方图。直方图包括项(例如像素)能够采取的各种值的出现的合并。
图5示出按照一些实施例、分别在框402和412之后以及分别在框406和416之前所处理的框404和414的细节。如上所述，在其他实施例中，颜色直方图和定向梯度直方图的处理顺序可交换或者基本上同时。
在一个实施例中，在框440，应用中值滤波算法，以便在提取颜色直方图之前使商标图像平滑。在框442，去除背景(例如纯黑白背景)。在框444，整个图像(背景去除之后的全部像素)对RGB颜色通道的每个被取样。在框446，两个最高有效位从RGB通道的每个来级联，以提供或产生给定图像的全部像素的6位数据，并且然后6位数据用来装载直方图。在框448，6位数据用来提取商标图像的64格颜色直方图。
要注意，在一些实施例中，一旦格被累加，则不应用权重，而在其他实施例中，可应用对格的权重。非加权或加权调整样本堆叠或组合在一起，以生成与RGB颜色空间的三个维度/通道对应的所产生堆叠直方图。要注意，在一些实施例中，RGB值可归一化成从0至1的范围。还要注意，在一些实施例中，RGB通道的有效值的范围彼此相同。
先前方法和系统将其他颜色空间(例如HSV)或者全RGB色图以及欧几里德距离空间用于比较。但是，使用原始高分割RGB值给出商标图像的更高变化和不太准确结果，其通常没有包括主导色的高变化(例如通常仅使用相同颜色的色调、退化或变化)。相应地，本公开通过将相似颜色集中在一起提供降低或减少颜色分割，由此允许商标图像中的更准确颜色匹配。
有利地，本公开提供使商标图像平滑以抑制噪声像素或者降低或消除图像中的噪声的不利影响，去除背景像素，并且提取前景的颜色直方图(例如通过去除黑白背景)。此外，本公开将所考虑的颜色的标度减少(换言之，将相似颜色编组在一起)为64格(6的2次幂)颜色直方图。发现更少细节对商标图像的颜色匹配是更为有利的。另外，巴氏距离(其对椭圆颜色分布不太敏感并且允许椭圆分布)而不是欧几里德距离(其对椭圆颜色分布更为敏感/其允许球形簇)的使用提供商标图像中的更准确颜色匹配。
回到图4，在框406，定向梯度直方图由定向梯度直方图模块314从商标图像中提取。索引模块316配置成对图像索引数据库304适当地索引和添加与商标图像对应的定向梯度直方图特征数据。图像能够基于一个或多个属性来索引。例如，图像能够按照其提取颜色特征(例如颜色直方图)、提取形状特征(例如定向梯度直方图)、关联信息(例如尼斯分类)等索引，以促进匹配项的快速查找。
图6示出按照一些实施例、分别在框404和414之后以及在框420之前所处理的框406和416的细节。如上所述，在其他实施例中，颜色直方图和定向梯度直方图的处理顺序可交换或者基本上同时。在又一些实施例中，可使用仅使用颜色特征或者仅使用形状特征的单个特征处理。在一个实施例中，在框450，图像从彩色(如果为彩色)转换成灰度级。转换成灰度级格式(其表示三个RGB颜色通道的线性份额)减少不必要的颜色通道数据，并且因而允许在得到形状特征直方图中的更大效率和速度。
在框451，中值滤波器应用于图像，以便在应用边缘检测或形状算法之前抑制或去除噪声像素。
在框452，水平和垂直导数(又称作x和y导数)对图像的每个像素来计算(例如通过Scharr算子)。水平导数提供水平梯度，以及垂直导数提供垂直梯度。
在一个实施例中，可应用索贝尔（Sobel）滤波器，以得到图像的全部像素的边缘图。与图像对应的索贝尔边缘图包括图像中包含的边缘的忠实素描，其中颜色被去除。在其他实施例中，有可能使用其他边缘检测算法，例如Canny边缘检测器，以得到Canny边缘图。
在框453，取向角(又称作定向梯度)通过取垂直导数除以水平导数(在框452对每个像素所计算)的反正切来计算。
在框454，图像分为块(其又能够称作子单元或子区域)。在一个示例中，整个图像被认为是单元，以及单元分为3×3块(或子单元或子区域)。在另一个示例中，图像可分为2×2单元以及每个单元内的3×3块(例如6×6即36个块或子单元或子区域)。取向计算对每个块中的每个像素来执行。块中编组的每个像素则促成定向直方图。因此，对于一个单元、3×3块以及每个块的9格直方图的示例，81格定向梯度直方图作为形状特征来提供。
备选地，幅值计算也可对每个块中的每个像素来执行，并且用作取向直方图的加权因子。梯度幅值可通过取水平和垂直梯度的平方和的平方根来计算。梯度幅值然后可用作加权定向直方图的加权因子的组成部分。
在框455，通过采用具有加权值的所计算取向角装载直方图，对每个块提取9格加权定向梯度直方图。在一个示例中，定向梯度直方图分为下列具有加权值的9个格以获得更高精度：0-20、20-40、40-60、60-80、80-100、100-120、120-140、140-160以及160-180。给予取向角的权重可以将角度准确装载到格中的比率或百分比。使用权重，使得角度可促成相邻格(其包含在直方图中)。例如，如果所计算角度是50，则该角度可同样促成格40和60。例如，如果所计算角度是45，则3/4权重被给予格40，以及1/4权重可被给予格60。在框455，取向直方图模块314将权重应用于边缘图的像素的每个取向角，这产生使取向角准确地适合9个格的加权取向直方图。然后，取向直方图模块314合计加权取向直方图中的格，以得到商标图像的形状特征。
备选地，如先前所述，梯度幅值可通过取水平和垂直梯度的平方和的平方根来计算。梯度幅值然后可用作加权定向直方图的加权因子的组成部分。
有利地，如上所述，与先前用来得到形状特征的相比更粗略或者不太细的分割(即，更少块或子区域)可用于商标图像，因为商标通常居中，并且处理整个图像。此外，采用减小颜色空间的图像形状特征处理和颜色特征处理的组合允许有效准确的商标图像处理和匹配。
因此，提取/识别给定库存图像的图像特征，并且这类图像特征存储在图像索引数据库304中，其适当地索引以促进响应查询图像的快速查找。通过将框402-406重复进行所需次数，预期的全部注册商标图像(集合、批量)能够类似地索引。
采用被索引的库存图像，现在将在匹配阶段401B的上下文中描述图4。在框412，图像捕获模块310配置成接收查询图像。在一个实施例中，查询图像由装置机器110发送给连网系统102。装置机器110(例如智能电话)的用户可拍摄颜色、形状、图案、标志、织物等的相片，以使用装置机器110中包含的照相装置来捕获感兴趣图像。相片被传送给连网系统102，以作为查询图像供图像特征提取，并且返回与查询图像最相似的注册商标图像。在其他实施例中，用户可将查询图像文件提供给装置机器110，其然后将图像文件传送给连网系统102和图像捕获模块310。
装置机器110可使用web浏览器经由网站与连网系统102进行接口。查询图像可发送给连网系统102，以便从查询图像中提取特征。连网系统102使用查询图像的提取特征来查找与注册商标图像的匹配。最高匹配被返回给装置机器110，其按照匹配结果网页所格式化。
装置机器110可安装与连网系统102进行接口的应用或者访问连网系统102所托管的网站。当用户在装置机器110发起应用时，应用便于用户输入或者指定查询图像。作为示例，应用可包括照相装置能力(或者访问独立照相装置app)，以准许用户拍摄照片或者得到感兴趣图像(例如着色和/或图案化的形状或字)。此外，应用可上传或链接到已经在装置机器110上的查询图像的数字文件。
对于框412-416，执行与以上对框402-406所述相同的操作，只不过操作对查询图像而不是注册商标图像进行。
对于框420，比较模块318配置成将查询图像的颜色直方图和定向梯度直方图与注册商标图像的颜色直方图和定向梯度直方图进行比较，以查找与查询图像相似或匹配的一个或多个注册商标图像。
图7示出按照一些实施例、在框406和416之后以及在框430之前所处理的框420的其他细节。比较模块318对于每对查询图像和索引商标图像执行两个比较：颜色直方图的比较以及还有定向梯度直方图的比较。在框460，计算查询图像的颜色直方图与每个注册商标图像的颜色直方图之间的数学距离。在框462，计算查询图像的定向梯度直方图与每个注册商标图像的定向梯度直方图之间的数学距离。如上所述，在其他实施例中，用于比较颜色直方图和定向梯度直方图的处理顺序可交换或者基本上同时。在又一些实施例中，仅进行单个特征比较(即，比较颜色特征或者形状特征而不是两者)。
在上述两种算法(即，基于颜色和形状的算法)中，给定查询/输入图像与文件夹中所列全部数据库图像之间的颜色和形状特征的相似性量度例如按照巴氏距离来计算和归类。最佳匹配图像具有最小距离相似性量度。有利地，本方法提供快速准确商标图像比较和检索，因为不考虑图像纹理。不考虑图像纹理，因为大多数商标图像没有纹理或者许多颜色过渡。相应地，对商标图像需要较少数据处理，并且因而更为有效但是仍然准确的图像比较和检索可能通过本发明进行，其将少于全RGB颜色空间用于提取颜色特征并且将更粗略分割(例如阻断)用于提取形状特征。不可思议地，在提取颜色特征和形状特征中，更粗略和简化分格用来增加商标类型图像的大集合(大约数千至数百万)的图像比较的处理效率和精度。
能够对(颜色或取向)直方图的每个比较来指配相似性得分或值。对于每个图像对，最终相似性得分是颜色直方图比较相似性得分和取向直方图比较相似性得分之和。
可能的相似性方案包括但不限于巴氏距离、余弦相似性(内积)相关性、卡方相关性和相交。在一个实施例中，相似性值或得分被计算为巴氏距离。巴氏距离包括作为格数的函数的、颜色直方图或定向梯度直方图的平方根的余弦相似性的补数的平方根。
回到图4，在框430，图像检索模块320向装置机器110提供相似或匹配结果，以供装置机器110的屏幕上显示。匹配结果(例如注册商标图像和可能关联的项信息)按照与查询图像的相似程度的顺序来显示。换言之，为每对查询图像和索引商标图像来指配相似性值。在一些实施例中，相似性得分被归类，使得匹配结果能够按照与输入查询图像的相似性顺序在装置机器110上显示。
在一些实施例中，系统或用户可对可响应查询图像而提供的匹配结果的数量设置上限。此外，在一些实施例中，相似性量度的阈值可设置，使得不检索或显示不满足阈值的图像。
现在参照图8A-8E，图8A示出包括查询图像502的示例屏幕截图或用户界面屏幕500，图8B示出颜色直方图提取的高级框图，图8C-8D示出定向梯度直方图提取的高级框图，以及图8E是示出与查询图像的比较之后的检索或返回搜索结果的示例屏幕截图或用户界面屏幕530。图8A和图8E示出按照一些实施例、涉及匹配阶段的装置机器110上显示的各种用户界面(UI)屏幕。
在图8A的用户界面500中，屏幕上所示的示例查询图像502包括字母、颜色和形状。装置机器110上的应用(与连网系统102进行接口或者访问连网系统102所托管的网站的应用)将查询图像502传送给连网系统102，以及作为响应，连网系统102执行图像特征提取操作，并且提供匹配结果，如上所述。用户界面500在实施例中还包括用于描述查询图像的搜索选项504，包括但不限于：图像类型(Marka Tipi)，例如字或字母、形状或者两者；颜色类型(Renk)，例如黑白或彩色；以及类(siniflar)或描述，例如尼斯分类或其他编号描述。相应地，在一些实施例中，用户可选择搜索和检索的匹配标准(例如仅使用颜色或形状算法而不包括两者)。在实施例中，用户界面500还包括数据输入菜单506，非限制性地例如商标图像名称(Marka Adi)、关键字(Anahtar Adi)、应用编号(Basvuru No.)、文件编号(BultenNo.)以及用于加载(Yukle)或编辑(Resmi duzenle)查询图像的选项。
图8B示出用于图像颜色特征的提取的框404或414的示例实现，如通过与具有颜色的商标图像对应的颜色直方图516的一部分所示。获取和组合(例如级联)每个RGB通道510的两个最高有效位512(例如10、11和10)，以创建给定图像中的每个像素的新6位值514。
每个像素的全部6位值的直方图516然后被计算或提取并且在64格颜色直方图中组合。水平轴表示每个图像像素的R、G和B通道510的格(总共64个格)。格对应于RGB颜色空间中的不同颜色。垂直轴表示水平轴上表示的格的数量。因此，高峰值表示对多色商标图像比其他颜色更显著存在的颜色。
堆叠1D直方图表示与比较紧凑形式的图像有关的信息而不是存储图像的取样部分的全部像素的值。垂直轴表示取水平轴上的对应值的像素的数量。因此，所产生堆叠1D直方图识别整个商标图像内(或者图像的取样掩码内)存在的颜色。
在备选实施例中，商标图像能够使用除了RGB颜色空间之外的颜色空间(例如HSV颜色空间)均匀地取样，但不是有利的。在又一些实施例中，库存图像能够使用LUV颜色空间或者适合于不均匀取样的另一颜色空间不均匀地取样，但不是有利的。
图8C和图8D示出用于图像形状特征的提取的框406或416的示例实现。商标图像520可包括字母、形状和颜色。图像520分为块521，例如按照产生九个块521(又称作子单元或子区域)3×3配置。9格定向梯度直方图526然后对九个块521的每个来提取，如以上针对图1-3(用于形状直方图提取的系统设备)以及图4和图6(形状直方图提取的方法)所述。每个块521具有D向量长度。每个直方图之间的距离Dt可通过使用距离测量算法(如在528所示)来测量。
形状直方图方法提供具有图像的3×3块521的一个单元。每个块521提供9个格，对每个图像总共81个格。商标图像的大多数定域到图像的中心，因此计算左上、右上、左下和右下侧是费时的，并且可能也没有促成直方图。与分为2×2单元的图像相比，具有3×3块的每个单元以及具有9个格的每个块表示2×2×3×3×9或324个格或特征。计算具有324个元素的每个向量之间的相似性花费比具有81个元素的向量要多许多的时间。
对于图像520的每个像素，计算表示形状元素的矩阵522，并且然后计算垂直导数Gx和水平导数Gy。垂直导数Gx除以水平导数Gy产生导数商。取向角θ然后通过取导数商(垂直导数除以水平导数)的反正切来计算。梯度幅值可通过取垂直导数和水平导数的平方和的平方根(Gx2+Gy2)来计算。图表524示出一个示例中的垂直导数Gx、水平导数Gy、幅值M和取向角θ。
在一个示例中，定向梯度直方图526使用9个格通过加权取向角θ来装载：0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。在另一个示例中，定向梯度直方图526可通过包括幅值分量的加权取向角θ来装载。
图8E中，屏幕530示出装置机器110上显示的返回或匹配结果。显示被认为“匹配”查询图像的全部项。匹配结果可按照各种方式来组织和显示，例如基于相似性值(例如根据最小巴氏距离)(例如总相似性值、颜色直方图相似性值或者定向梯度直方图相似性值)。屏幕530示出基于巴氏距离的返回图像的序号532，其中最小巴氏距离具有最小序号，以及对应检索图像在检索结果的列表上更早出现。匹配结果还可基于相似性值和类别的组合(例如基于尼斯分类、注册人等)来组织和显示。所选类别内的匹配项则可对那个类别由最高至最低相似性得分来排序。对于每个匹配图像，可显示非限制性地例如颜色图像以及相似性得分、注册人、拥有者和国家中的一个或多个等的信息。
用户能够从所显示匹配图像(例如第三分级图像)之中进行选择。作为响应，可提供与所选图像有关的附加图像细节。用户能够在匹配结果中浏览，以查看一个或多个感兴趣注册商标。因此，在一个实施例中，用户能够通过指向图像文件或者拍摄具有颜色和/或图案的某物的照片简单地提供查询图像，以及应用与连网系统102结合可从注册商标的数据库自动返回与颜色、图案和/或形状相似或匹配的图像。
当注册商标集合包括数万至数百万注册商标时，给定查询图像的匹配结果的数量能够极高。特别是当匹配结果在较小显示器上查看(如智能电话和其他移动装置中常见的)时，查看疲惫能够在用户查看全部匹配项之前很长时间发生。甚至在较大显示器上，用户也更可能查看顶部匹配结果而不是要低(许多)的匹配结果。因此，有效准确结果是极为期望的。
为了在查看检索图像中提供更多用户选项并且可能改进预期结果，与所提供匹配结果的交互期间的用户指示能够用来对初始匹配结果内的注册商标重新分级或重排序，以便更好地适合用户兴趣或者改进结果。
例如，在与对应于装置机器110处的给定查询图像的匹配结果的用户交互期间，用户可指示对匹配结果之中的特定注册商标的兴趣。可显示与所选图像对应的图像细节(例如较大图像、附加图像、注册人、国家等)。
按钮或另一指示符可给予用户请求基于一个或多个相关性、关联或推荐规则的重排序的选项。例如特定商标、多个商标、(一个或多个)所选商标的内容(例如优选的特定直方图类型—颜色或形状特征)或者商标关联信息(例如尼斯分类、注册人、拥有者、国家等)的用户选择可用于与重排序/重新分级过程的其他商标图像的相关性或关联。连网系统102处的用户兴趣检测模块324接收特定图像的用户指示/偏好或者关联信息，并且然后可引起基于相关性或关联规则(例如用户所选商标或关联信息)的初始匹配商标图像的重排序。匹配结果内多于一个图像的用户偏好能够在重排序或重新分级的发起之前指示。然后，重排序匹配结果可在装置机器110上显示。重排序匹配结果包括按照与初始匹配结果内的感兴趣图像有关的附加用户输入的初始匹配结果的细化。
重排序/重新分级操作能够响应用户所提供的匹配结果内的某个(某些)图像或图像关联信息的新的或附加偏好而对给定匹配结果重复进行多于一次。
因此，本发明提供查询图像的捕获和图像特征提取、具有与查询图像的图像特征的最接近匹配的注册商标图像的呈现以及注册商标图像细节的查看(其中具有基于用户兴趣或所选信息来细化返回结果的选项)。
除了用户提供图像文件或者拍摄照片并且经由装置机器110上的应用或网站将它上传到连网系统102之外，得到查询图像的备选方式是从没有与网络系统102关联的网站(例如包括基于HTML的网页的任何网站)。这种选项可对根据国家类别来搜索注册商标是有用的。
对于重排序或细化匹配结果的用户兴趣检测以及从第三方网站的查询图像的获取通过装置机器110上安装的浏览器插件来促进，如下面进一步描述。连网系统102(例如应用服务器116)所提供的浏览器插件安装在装置机器110上。浏览器插件包括浏览器扩展、代码的jquery snippet或者浏览器插件。浏览器插件能够是独立模块或者应用的组成部分。浏览器插件至少包括浏览器插件模块322。
浏览器插件模块322配置成监测装置机器110处的web浏览器活动，以检测对某个网站(或网页)的请求。请求包括装置机器110中包含的web浏览器中的统一资源定位符(URL)地址的用户输入或者用户点击到网页的超链接。某个网站包括多个网站之中的网站(或网页)(例如包括基于HTML的网页的任何网站)，从其中能够分派查询图像。这种网站(或网页)又可称作查询图像来源或者外部第三方查询图像来源。
浏览器插件模块322和/或用户兴趣检测模块324配置成检测对网页中包含的图像的用户兴趣或关注。在一个实施例中，当用户将指针装置(例如鼠标、轨迹垫、轨迹球、手指等)在特定图像上或附近悬浮至少最小时间周期时检测对图像的用户兴趣。在备选实施例中，浏览器插件模块322能够提供一个或多个图形用户界面(GUI)工具，使用户明确指定对网页上包含的给定图像的兴趣。示例GUI工具包括但不限于指针工具、加亮显示工具、区域指示符工具等。无论哪一种检测对图像的用户兴趣的特定方式，检测包括识别用户指定所显示网页的特定部分的空间关注。一旦检测用户感兴趣图像，浏览器插件模块322接收用户感兴趣图像，其则包括如上所述可自动应用于匹配阶段401B的查询图像。
这样，本文公开图像特征数据提取以及图像特征数据的使用。在索引阶段，访问注册商标图像，并且对商标图像执行索引以提取其图像特征和属性，并且装载图像索引数据库，其中商标图像根据其图像特征和项类别来索引。所提取图像特征包括但不限于颜色直方图和定向梯度直方图。在搜索阶段(又称作匹配阶段)中，当接收非库存图像(又称作查询图像)时访问图像索引数据库中的信息，以便提供与查询图像对应的匹配或者最相似注册商标图像。查询图像可通过用户上传、指向、电子邮件、消息传递或者以其他方式传递或提供图像文件来提供。在一些实施例中，图像的照片或者(非附属)网站或网页中包含的图像包括输入或查询图像。搜索结果包括最佳匹配查询图像的注册商标。
在另一个实施例中，对商标的某一个的用户选择或偏好或者在搜索结果中提供的关联信息用来对结果内的商标的列示顺序进行重排序或重新分级。用户对网站/网页中包含的图像的兴趣也可用作输入、样本或查询图像，以返回与那个图像对应的搜索结果。
预期图像特征数据、特征提取的使用和执行匹配的备选实施例是可能的。例如：
-自动检查全球数据库中作为商标所注册的相似图像的新设计的标志、形状、字母、颜色、符号或另一输入查询图像。
-自动检测注册商标的违规。
-附加或不同滤波器可应用于特征提取。
-应用不同距离函数以确定哪一个距离函数在类特定意义上最适用(在使不相似项之间的距离为最大的同时使相似项之间的距离为最小)。
因此，本发明提供用于以极大改进的速度、效率和精度自动提取特征数据、比较特征和图像、检索图像和关联数据等的极大改进的商标图像搜索和检索方法、系统及计算机产品。不可思议地，在提取颜色特征和形状特征中，本发明利用滤波、数据简化、更粗略分割和简化分格用来增加商标类型图像的大集合(大约数千至数百万)的图像比较的处理效率和精度。
图9示出采取计算机系统600的示例形式的机器的图解表示，在其中可运行用于使机器执行本文所述方法的任何一个或多个的指令集。计算机系统600包括例如装置机器110、应用服务器116、API服务器112、web服务器114、数据库服务器122或第三方服务器126的任一个。在备选实施例中，机器作为独立装置进行操作，或者可连接(例如连网)到其他机器。在连网部署中，机器可在服务器-客户端网络环境中按照服务器或装置的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器可以是服务器计算机、客户端计算机、个人计算机(PC)、平板、机顶盒(STB)、个人数字助理(PDA)、智能电话、蜂窝电话、web设备、网络路由器、交换机或桥接器或者能够运行指定要由那个机器所采取的动作的指令集(顺序或其他方式)的任何机器。此外，虽然仅示出单个机器，但是，术语“机器”还将被理解为包括分别或联合运行一组(或多组)指令以执行本文所述方法的任一个或多个的机器的任何集合。
示例计算机系统600包括处理器602(例如中央处理器(CPU)、图形处理单元(GPU)或者两者)、主存储器604以及静态存储器606，其经由总线608互相通信。计算机系统600还可包括视频显示单元610(例如液晶显示器(LCD)、有机发光二极管(OLED)、触摸屏或阴极射线管(CRT))。计算机系统600还包括字母数字输入装置612(例如物理或虚拟键盘)、光标控制装置614(例如鼠标、触摸屏、触摸板、轨迹球、轨迹垫)、磁盘驱动单元616、信号生成装置618(例如喇叭)以及网络接口装置620。
磁盘驱动单元616包括机器可读介质622，其上存储了体现本文所述方法或功能的任何一个或多个的指令624的一个或多个集合(例如软件)。指令624也可在由计算机系统600对其的执行期间完全或者至少部分驻留在主存储器604内和/或处理器602内，主存储器604和处理器602还组成机器可读介质。
指令624还可经由网络接口装置620通过网络626来传送或接收。
虽然机器可读介质622在示例实施例中示为单个介质，但是术语“机器可读介质”应当被理解为包括存储一个或多个指令集的单个介质或者多个介质(例如集中式或分布式数据库和/或关联高速缓存和服务器)。术语“机器可读介质”也将被认为包括任何介质，其能够对于供机器执行的指令集进行存储、编码或携带并且使机器执行本发明的方法的任何一个或多个。术语“机器可读介质”相应地将被理解为包括但不限于固态存储器、光和磁介质以及载波信号。
将会理解，为了清楚起见，以上描述参照不同功能单元或处理器来描述一些实施例。但是将会显而易见，可使用不同功能单元、处理器或域之间的功能性的任何适当分布，而没有减损本发明。例如，示为由独立处理器或控制器所执行的功能性可由同一处理器或控制器来执行。因此，对特定功能单元的引用仅被看作是对用于提供所述功能性的适当部件的引用，而不是指示严格的逻辑或物理结构或组织。
本文所述的某些实施例可实现为逻辑或者多个模块、引擎、组件或机构。模块、引擎、逻辑、组件或机构(统称为“模块”)可以是能够执行某些操作并且按照某种方式来配置或布置的有形单元。在某些示例实施例中，一个或多个计算机系统(例如独立、客户端或服务器计算机系统)或者计算机系统的一个或多个组件(例如处理器或者一组处理器)可通过软件(例如应用或应用部分)或固件(要注意，软件和固件在本文中一般能够可互换地使用，如技术人员已知)来配置为模块，其进行操作以执行本文所述的某些操作。
在各个实施例中，模块可按照机械或电子方式来实现。例如，模块可包括专用电路或逻辑，其永久地配置成(例如在专用处理器、专用集成电路(ASIC)或阵列内)执行某些操作。模块还可包括可编程逻辑或电路(例如，如包含在通用处理器或其他可编程处理器内)，其通过软件或固件暂时配置成执行某些操作。将会理解，以机械方式通过专用和永久配置电路或者通过暂时配置电路(例如通过软件所配置)来实现模块的判定可通过例如成本、时间、能量使用和封装大小考虑因素来推动。
相应地，术语“模块”应当被理解为包含有形实体，无论是物理上构成、永久配置(例如硬连线)、非暂时还是暂时配置(例如编程)为按照某种方式进行操作或者执行本文所述的某些操作。考虑暂时配置(例如编程)模块或组件的实施例，模块或组件的每个无需在任何一个时刻来配置和例示。例如，在模块或组件包括使用软件所配置的通用处理器的情况下，通用处理器可在不同时间配置为相应不同的模块。软件相应地可配置处理器，以便在一个时刻构成特定模块，而在不同时刻构成不同的模块。
模块能够向/从其他模块提供/接收信息。相应地，所述模块可被看作是在通信上耦合。在多个这类模块同时存在的情况下，通信可经过信号传输(例如通过连接模块的适当电路和总线)来实现。在不同时间配置或例示多个模块的实施例中，这类模块之间的通信可例如通过多个模块有权访问的存储器结构中的信息的存储和检索来实现。例如，一个模块可执行操作，并且将那个操作的输出存储在与其通信耦合的存储器装置中。另一模块在稍后时间则可访问存储器装置，以检索和处理所存储输出。模块还可发起与输入或输出装置的通信，并且能够对资源(例如信息集合)进行操作。
虽然结合一些实施例描述了本发明，但它不是要局限于本文所述的具体形式。本领域的技术人员会知道，按照本发明，可组合所述实施例的各个特征。此外将会理解，而是可由本领域的技术人员进行各种修改和变更，而没有背离本发明的范围。
提供“摘要”以允许读者快速确定技术公开的性质。应当理解，它的提交并不是要用来解释或限制权利要求书的范围或含意。另外，在以上详细描述中能够看到，各种特征集中到单个实施例中，用于简化本公开。公开的这种方法不是要被解释为反映了要求保护的实施例要求超过各权利要求中明确描述的特征的意图。相反，如以下权利要求书所反映，发明主题可在于少于单个所公开实施例的全部特征。
本发明的实施例可体现为系统、方法或计算机程序产品(例如实施例针对图像搜索系统、方法或计算机程序产品)。相应地，本公开的方面可采取全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)或者结合软件和硬件方面的实施例的形式，它们在本文可一般称作“电路”、“模块”或“系统”。例如，图像搜索方法可包含在软件和硬件系统(其能够包含在便携装置(例如平板、膝上型、照相装置、电话等)中)中。在另一个示例中，进行操作通信和组合的客户端和服务器计算机可说成是完全包含在系统中。此外，本公开的实施例的方面可采取一个或多个计算机可读介质上包含的计算机程序产品的形式，其上包含计算机可读程序代码。方法可在专用计算机或者适当编程的通用计算机中实现。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质非限制性地可以是例如电子、磁、光、电磁、红外线或半导体系统、设备或装置或者以上所述的任何适当组合。计算机可读存储介质的更具体示例(非详尽列表)包括下列项：具有一个或多个导线的电连接，便携计算机磁盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦可编程只读存储器(EPROM或闪速存储器)，光纤，便携致密光盘只读存储器(CD-ROM)，光存储装置，磁存储装置或者以上所述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储供指令执行系统、设备或装置使用或者与其结合使用的程序的任何有形介质。
计算机可读信号介质可包括具有其中包含的计算机可读程序代码、例如在基带中或者作为载波的组成部分的传播数据信号。这种传播信号可采取多种形式的任一种，包括但不限于电磁、光或者它们的任何适当组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质，并且能够传递、传播或传输程序以供指令执行系统、设备或装置使用或者与其结合使用。
计算机可读介质上包含的程序代码可使用任何适当介质来传送，包括但不限于无线、有线、光纤电缆、RF等或者以上所述的任何适当组合。用于执行本公开的实施例的方面的操作的计算机程序代码可通过一个或多个编程语言的任何组合来编写，包括诸如Java、Smalltalk、C++等的面向对象编程语言以及诸如“C”编程语言或类似编程语言之类的常规过程编程语言。程序代码可完全在用户计算机上运行、部分在用户计算机上作为独立软件包运行，部分在用户计算机而部分在远程计算机上或者完全在远程计算机或服务器上运行。在后一种情况下，远程计算机可通过包括局域网(LAN)或广域网(WAN)的任何类型的网络来连接到用户计算机，或者可进行到外部计算机的连接(例如通过使用因特网服务提供商的因特网)。
以上参照按照本发明的实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的实施例的方面(例如图1-9)。将会理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合能够通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器运行的指令创建用于实现在流程图和/或框图的一个或多个框中规定的功能/动作的部件。
这些计算机程序指令还可存储在计算机可读介质中，其能够指导计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制造产品，其包括实现在流程图和/或框图的一个或多个框中规定的功能/动作的指令。
计算机程序指令还可加载到计算机、其他可编程数据处理设备或其他装置中，以便使一系列操作步骤在计算机、其他可编程设备或其他装置上执行，以产生计算机实现过程，使得在计算机或其他可编程设备上运行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
虽然仅结合有限数量的实施例详细描述了本发明，但是应当易于理解，本发明并不局限于这类所公开实施例。本发明而是能够修改为结合前面没有描述的多种变化、变更、置换、组合或等效布置，但是它们与本发明的精神和范围一致。例如，不同滤波器的使用以及直方图生成的顺序处于本发明的范围之内。此外，组成以上所述图像搜索系统、设备和方法的各种组件能够是备选方案，其可按照本发明的范围之内的各种适用和功能组合相组合。另外，虽然描述了本发明的各个实施例，但是要理解，本发明的方面可以仅包括所述实施例的一部分。相应地，本发明不能被看作受到以上描述所限制，而是仅受所附权利要求书的范围所限制。
权利要求书(按照条约第19条的修改)
1.一种用于商标图像的基于内容的搜索和检索的方法，所述方法包括：
通过使用所述商标图像的每个像素的6位颜色数据采用处理器生成每个商标图像的未加权64格颜色直方图从多个商标图像中提取颜色特征，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个最高有效位；
通过使用所述商标图像的每个像素的加权取向角数据采用所述处理器生成每个商标图像的9格取向直方图从多个商标图像中提取形状特征；以及
由所述处理器来生成两个商标图像的所述颜色直方图与所述取向直方图之间的距离相似性量度。
2.如权利要求1所述的方法，其中，提取颜色特征还包括：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
3.如权利要求2所述的方法，其中，提取形状特征还包括：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述商标图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述商标图像的每个像素的取向角。
4.如权利要求1至3中的任一项所述的方法，其中，提取形状特征还包括：
将所述商标图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图。
5.如权利要求1至4中的任一项所述的系统，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
6.如权利要求1至5中的任一项所述的方法，其中，所述距离相似性量度是巴氏距离。
7.如权利要求1至6中的任一项所述的方法，还包括：
通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
8.如权利要求1至7中的任一项所述的方法，还包括：
按照基于巴氏距离的顺序返回并且在显示器上显示来自所述商标图像集合的商标图像。
9.一种用于商标图像的基于内容的搜索和检索的方法，所述方法包括：
-提供数据库中的商标图像集合的URL；
-接收查询商标图像；
-由处理器从所述商标图像的每个中提取颜色特征，所述颜色特征的提取包括：
应用第一滤波器以使所述图像平滑；
应用第二滤波器以去除所述图像的背景像素；
级联来自红色、绿色和蓝色通道的每个的2个最高有效位，以提供所述图像的每个像素的6位颜色数据；以及
使用所述6位颜色数据来提取所述图像的未加权64格颜色直方图；
-由所述处理器从所述商标图像的每个中提取形状特征，所述形状特征的提取包括：
将所述图像转换成灰度级；
应用第三滤波器以便从所述图像中去除噪声像素；
计算所述图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角；
将所述图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图，其中所述形状直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度；
-通过使用巴氏距离比较所述查询商标图像与所述商标图像集合的每个商标图像之间的颜色特征和形状特征来确定所述查询商标图像与所述商标图像集合之间的相似性；以及
-按照基于巴氏距离的顺序返回来自所述商标图像集合的商标图像。
10.一种包含指令的非暂时机器可读存储介质，所述指令在由机器的一个或多个处理器运行时使所述机器执行包括下列步骤的操作：
通过使用商标图像的每个像素的6位颜色数据生成所述商标图像的未加权64格颜色直方图从所述商标图像中提取颜色特征，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个最高有效位；
通过使用所述商标图像的每个像素的加权取向角数据生成所述商标图像的9格取向直方图从所述商标图像中提取形状特征；以及
生成两个商标图像之间的所述颜色直方图和所述取向直方图的距离相似性量度。
11.如权利要求10所述的非暂时机器可读存储介质，其中，颜色特征的提取还包括：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
12.如权利要求10至11中的任一项所述的非暂时机器可读存储介质，其中，形状特征的提取还包括：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角。
13.如权利要求10至12中的任一项所述的非暂时机器可读存储介质，其中，形状特征的提取还包括：
将所述商标图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图。
14.如权利要求10至13中的任一项所述的非暂时机器可读存储介质，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
15.如权利要求10至14中的任一项所述的非暂时机器可读存储介质，其中，所述距离相似性量度是巴氏距离。
16.如权利要求10至15中的任一项所述的非暂时机器可读存储介质，其使所述机器执行还包括下列步骤的操作：
通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
17.如权利要求10至16中的任一项所述的非暂时机器可读存储介质，其使所述机器执行还包括下列步骤的操作：
按照基于巴氏距离的顺序返回来自所述商标图像集合的商标图像。
18.一种用于商标图像的基于内容的搜索和检索的系统，所述系统包括：
一个或多个处理器；
颜色直方图模块，其将所述一个或多个处理器之中的至少一个处理器配置成使用商标图像的每个像素的6位颜色数据来生成商标图像的未加权64格颜色直方图，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个最高有效位；
取向直方图模块，其将所述一个或多个处理器之中的至少一个处理器配置成使用所述商标图像的每个像素的加权取向角数据来生成所述商标图像的9格取向直方图；以及
比较模块，其将所述一个或多个处理器之中的至少一个处理器配置成生成比较两个商标图像之间的所述颜色直方图和所述取向直方图的距离相似性量度。
19.如权利要求18所述的系统，其中，所述颜色直方图模块将所述至少一个处理器配置成：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
20.如权利要求18至19中的任一项所述的系统，其中，所述取向直方图模块将所述至少一个处理器配置成：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角。
21.如权利要求18至20中的任一项所述的系统，其中，所述取向直方图模块将所述至少一个处理器配置成：
将所述商标图像分为3×3块；以及
使用具有加权值的所述取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图。
22.如权利要求18至21中的任一项所述的系统，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
23.如权利要求18至22中的任一项所述的系统，其中，所述比较模块将所述至少一个处理器配置成生成作为巴氏距离的距离相似性量度。
24.如权利要求18至23中的任一项所述的系统，其中，所述比较模块将所述至少一个处理器配置成通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
25.如权利要求18至24中的任一项所述的系统，还包括：
图像检索模块，其将所述一个或多个处理器之中的至少一个处理器配置成按照基于巴氏距离的顺序来返回来自所述商标图像集合的商标图像。
26.如权利要求18至25中的任一项所述的系统，还包括：
显示器，用于按照基于巴氏距离的顺序显示来自所述商标图像集合的检索商标图像。
27.如权利要求18至26中的任一项所述的系统，还包括捕获模块，其配置成从通信上耦合到所述系统的装置来接收商标或商标图像。

Claims (27)

1.一种用于商标图像的基于内容的搜索和检索的方法，所述方法包括：
通过使用所述商标图像的每个像素的6位颜色数据采用处理器生成每个商标图像的64格颜色直方图从多个商标图像中提取颜色特征，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位；
通过使用所述商标图像的每个像素的加权取向角数据采用所述处理器生成每个商标图像的9格取向直方图从多个商标图像中提取形状特征；以及
由所述处理器来生成两个商标图像的所述颜色直方图与所述取向直方图之间的距离相似性量度。
2. 如权利要求1所述的方法，其中，提取颜色特征还包括：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
3.如权利要求2所述的方法，其中，提取形状特征还包括：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述商标图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述商标图像的每个像素的取向角。
4. 如权利要求1至3中的任一项所述的方法，其中，提取形状特征还包括：
将所述商标图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图。
5.如权利要求1至4中的任一项所述的方法，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
6.如权利要求1至5中的任一项所述的方法，其中，所述距离相似性量度是巴氏距离。
7.如权利要求1至6中的任一项所述的方法，还包括：
通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
8.如权利要求1至7中的任一项所述的方法，还包括：
按照基于巴氏距离的顺序返回并且在显示器上显示来自所述商标图像集合的商标图像。
9.一种用于商标图像的基于内容的搜索和检索的方法，所述方法包括：
-提供数据库中的商标图像集合的URL；
-接收查询商标图像；
-由处理器从所述商标图像的每个中提取颜色特征，所述颜色特征的提取包括：
应用第一滤波器以使所述图像平滑；
应用第二滤波器以去除所述图像的背景像素；
级联来自红色、绿色和蓝色通道的每个的2个位，以提供所述图像的每个像素的6位颜色数据；以及
使用所述6位颜色数据来提取所述图像的64格颜色直方图；
-由所述处理器从所述商标图像的每个中提取形状特征，所述形状特征的提取包括：
将所述图像转换成灰度级；
应用第三滤波器以便从所述图像中去除噪声像素；
计算所述图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角；
将所述图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图，其中所述形状直方图的所述9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度；
-通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来确定所述查询商标图像与所述商标图像集合之间的相似性；以及
-按照基于巴氏距离的顺序返回来自所述商标图像集合的商标图像。
10.一种包含指令的非暂时机器可读存储介质，所述指令在由机器的一个或多个处理器运行时使所述机器执行包括下列步骤的操作：
通过使用商标图像的每个像素的6位颜色数据生成所述商标图像的64格颜色直方图从所述商标图像中提取颜色特征，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位；
通过使用所述商标图像的每个像素的加权取向角数据生成所述商标图像的9格取向直方图从所述商标图像中提取形状特征；以及
生成对比两个商标图像之间的所述颜色直方图和所述取向直方图的距离相似性量度。
11. 如权利要求10所述的非暂时机器可读存储介质，其中，颜色特征的提取还包括：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
12.如权利要求10至11中的任一项所述的非暂时机器可读存储介质，其中，形状特征的提取还包括：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角。
13. 如权利要求10至12中的任一项所述的非暂时机器可读存储介质，其中，形状特征的提取还包括：
将所述商标图像分为3×3块；以及
使用具有加权值的取向角数据来提取所述图像的每个块的9格形状直方图。
14.如权利要求10至13中的任一项所述的非暂时机器可读存储介质，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
15.如权利要求10至14中的任一项所述的非暂时机器可读存储介质，其中，所述距离相似性量度是巴氏距离。
16.如权利要求10至15中的任一项所述的非暂时机器可读存储介质，其使所述机器执行还包括下列步骤的操作：
通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
17.如权利要求10至16中的任一项所述的非暂时机器可读存储介质，其使所述机器执行还包括下列步骤的操作：
按照基于巴氏距离的顺序返回来自所述商标图像集合的商标图像。
18.一种用于商标图像的基于内容的搜索和检索的系统，所述系统包括：
一个或多个处理器；
颜色直方图模块，其将所述一个或多个处理器之中的至少一个处理器配置成使用商标图像的每个像素的6位颜色数据来生成商标图像的64格颜色直方图，其中所述6位颜色数据包括来自所述商标图像的每个像素的红色、绿色和蓝色通道的每个的2个位；
取向直方图模块，其将所述一个或多个处理器之中的至少一个处理器配置成使用所述商标图像的每个像素的加权取向角数据来生成所述商标图像的9格取向直方图；以及
比较模块，其将所述一个或多个处理器之中的至少一个处理器配置成生成比较两个商标图像之间的所述颜色直方图和所述取向直方图的距离相似性量度。
19. 如权利要求18所述的系统，其中，所述颜色直方图模块将所述至少一个处理器配置成：
应用第一滤波器以使所述商标图像平滑；以及
应用第二滤波器以便从所述商标图像中去除背景像素。
20.如权利要求18至19中的任一项所述的系统，其中，所述取向直方图模块将所述至少一个处理器配置成：
将所述商标图像转换成灰度级；
应用第三滤波器以便从所述商标图像中去除噪声像素；
计算所述商标图像的每个像素的水平导数和垂直导数；
将所述垂直导数除以所述水平导数，以得到所述图像的每个像素的导数商；以及
通过计算所述导数商的反正切来计算所述图像的每个像素的取向角。
21. 如权利要求18至20中的任一项所述的系统，其中，所述取向直方图模块将所述至少一个处理器配置成：
将所述商标图像分为3×3块；以及
使用具有加权值的所述取向角数据来提取所述图像的每个块的9格形状直方图，以得到所述图像的81格形状直方图。
22.如权利要求18至21中的任一项所述的系统，其中，所述9格取向直方图的9个格包括0-20度、20-40度、40-60度、60-80度、80-100度、100-120度、120-140度、140-160度和160-180度。
23.如权利要求18至22中的任一项所述的系统，其中，所述比较模块将所述至少一个处理器配置成生成作为巴氏距离的距离相似性量度。
24.如权利要求18至23中的任一项所述的系统，其中，所述比较模块将所述至少一个处理器配置成通过使用巴氏距离比较查询商标图像与商标图像集合的每个商标图像之间的颜色特征和形状特征来生成所述查询商标图像与所述商标图像集合之间的距离相似性量度。
25.如权利要求18至24中的任一项所述的系统，还包括：
图像检索模块，其将所述一个或多个处理器之中的至少一个处理器配置成按照基于巴氏距离的顺序来返回来自所述商标图像集合的商标图像。
26.如权利要求18至25中的任一项所述的系统，还包括：
显示器，用于按照基于巴氏距离的顺序显示来自所述商标图像集合的检索商标图像。
27.如权利要求18至26中的任一项所述的系统，还包括捕获模块，其配置成从通信上耦合到所述系统的装置来接收商标或商标图像。
CN201680086758.9A 2016-04-14 2016-04-14 商标图像的基于内容的搜索和检索 Active CN109643318B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/TR2016/050111 WO2017180072A1 (en) 2016-04-14 2016-04-14 Content based search and retrieval of trademark images

Publications (2)

Publication Number Publication Date
CN109643318A true CN109643318A (zh) 2019-04-16
CN109643318B CN109643318B (zh) 2023-07-14

Family

ID=56119732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086758.9A Active CN109643318B (zh) 2016-04-14 2016-04-14 商标图像的基于内容的搜索和检索

Country Status (8)

Country Link
US (1) US10867206B2 (zh)
EP (1) EP3443470A1 (zh)
JP (1) JP6740457B2 (zh)
CN (1) CN109643318B (zh)
AU (1) AU2016402555B2 (zh)
CA (1) CA3020845C (zh)
WO (1) WO2017180072A1 (zh)
ZA (1) ZA201807033B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11663642B2 (en) * 2019-10-07 2023-05-30 Salesforce, Inc. Systems and methods of multicolor search of images
CN111353532A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 图像生成方法及装置、计算机可读存储介质、电子设备
CN112860934A (zh) * 2021-01-29 2021-05-28 浙江知多多网络科技有限公司 一种基于机器学习的商标检索系统
CN113554615B (zh) * 2021-07-21 2023-08-22 网易（杭州）网络有限公司 一种图像精细化处理方法、装置、电子设备及存储介质
CN115100665A (zh) * 2022-07-22 2022-09-23 贵州中烟工业有限责任公司 近似商标筛选方法、模型构建方法及计算机可读存储介质
CN115344738B (zh) * 2022-10-18 2023-02-28 南通知果科技有限公司 基于人工智能的检索方法及系统
CN115858839B (zh) * 2023-02-16 2023-05-30 上海蜜度信息技术有限公司 一种跨模态logo检索方法、系统、终端及存储介质
CN116503234B (zh) * 2023-06-26 2023-11-14 南湖实验室 一种基于密码学的商标防伪方法
CN117788850B (zh) * 2024-02-21 2024-05-10 深圳欧税通技术有限公司 一种商标相似度评估方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622420A (zh) * 2012-02-22 2012-08-01 哈尔滨工程大学 基于颜色特征和形状上下文的商标图像检索方法
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
WO2013049736A1 (en) * 2011-09-30 2013-04-04 Bhardwaj Anurag Image feature data extraction and use
WO2014000261A1 (zh) * 2012-06-29 2014-01-03 中国科学院自动化研究所 一种基于空间连通域预定位的商标检测方法
CN104427952A (zh) * 2012-05-14 2015-03-18 直观外科手术操作公司 用于使用形状感测的变形补偿的系统和方法
US20150324469A1 (en) * 2014-05-09 2015-11-12 Thomson Reuters Global Resources System and Methods for Automating Trademark and Service Mark Searches
US20160034773A1 (en) * 2014-08-04 2016-02-04 Datalogic ADC, Inc. Robust industrial optical character recognition
US20160078057A1 (en) * 2013-09-04 2016-03-17 Shazura, Inc. Content based image retrieval

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4850652B2 (ja) * 2006-10-13 2012-01-11 キヤノン株式会社 画像検索装置及びその制御方法、プログラム、記憶媒体
CN102713931A (zh) * 2009-08-04 2012-10-03 艾修视力科技有限公司 用于对象提取的系统和方法
AU2015271906B2 (en) * 2011-09-30 2017-03-02 Ebay Inc. Image feature data extraction and use
JP2013182416A (ja) * 2012-03-01 2013-09-12 Pioneer Electronic Corp 特徴量抽出装置、特徴量抽出方法及び特徴量抽出プログラム
IL226219A (en) * 2013-05-07 2016-10-31 Picscout (Israel) Ltd Efficient comparison of images for large groups of images
CN105426530B (zh) * 2015-12-15 2017-05-10 徐庆 一种商标检索方法、装置和系统
CN105574161B (zh) * 2015-12-15 2017-09-26 徐庆 一种商标图形要素识别方法、装置和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013033442A1 (en) * 2011-08-30 2013-03-07 Digimarc Corporation Methods and arrangements for identifying objects
WO2013049736A1 (en) * 2011-09-30 2013-04-04 Bhardwaj Anurag Image feature data extraction and use
CN102622420A (zh) * 2012-02-22 2012-08-01 哈尔滨工程大学 基于颜色特征和形状上下文的商标图像检索方法
CN104427952A (zh) * 2012-05-14 2015-03-18 直观外科手术操作公司 用于使用形状感测的变形补偿的系统和方法
WO2014000261A1 (zh) * 2012-06-29 2014-01-03 中国科学院自动化研究所 一种基于空间连通域预定位的商标检测方法
US20160078057A1 (en) * 2013-09-04 2016-03-17 Shazura, Inc. Content based image retrieval
US20150324469A1 (en) * 2014-05-09 2015-11-12 Thomson Reuters Global Resources System and Methods for Automating Trademark and Service Mark Searches
US20160034773A1 (en) * 2014-08-04 2016-02-04 Datalogic ADC, Inc. Robust industrial optical character recognition

Also Published As

Publication number Publication date
CA3020845C (en) 2023-06-20
WO2017180072A1 (en) 2017-10-19
ZA201807033B (en) 2020-01-29
KR20180131621A (ko) 2018-12-10
CA3020845A1 (en) 2017-10-19
AU2016402555B2 (en) 2022-03-31
EP3443470A1 (en) 2019-02-20
CN109643318B (zh) 2023-07-14
AU2016402555A1 (en) 2018-11-22
US20190114505A1 (en) 2019-04-18
US10867206B2 (en) 2020-12-15
JP6740457B2 (ja) 2020-08-12
JP2019520662A (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
CN109643318A (zh) 商标图像的基于内容的搜索和检索
US10031925B2 (en) Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph
US20140254942A1 (en) Systems and methods for obtaining information based on an image
CN106462728B (zh) 用于基于图像特征的识别的系统和方法
CN104991954B (zh) 基于图像搜索的购物搜索系统及其实现方法
JP6751684B2 (ja) 類似画像検索装置
WO2016033676A1 (en) System and method for analyzing and searching imagery
WO2016004330A1 (en) Interactive content generation
CN106303599B (zh) 一种信息处理方法、系统及服务器
CN112612913A (zh) 一种用于图像的搜索方法和系统
CN111291765A (zh) 用于确定相似图片的方法和装置
CN110020093A (zh) 视频检索方法、边缘设备、视频检索装置及存储介质
CN107220325A (zh) 一种基于卷积神经网络的app相似图标检索方法和系统
WO2015036581A1 (en) Image processing
CN112200844A (zh) 生成图像的方法、装置、电子设备及介质
CN111767420A (zh) 一种生成服饰搭配数据的方法和装置
Bhardwaj et al. Palette power: Enabling visual search through colors
US9613283B2 (en) System and method for using an image to provide search results
Chandrakala et al. Application of artificial bee colony optimization algorithm for image classification using color and texture feature similarity fusion
Lei et al. A new clothing image retrieval algorithm based on sketch component segmentation in mobile visual sensors
Zhang et al. A scene text detector based on deep feature merging
KR20170005376A (ko) 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템
Paiz-Reyes et al. GIF image retrieval in cloud computing environment
KR102678975B1 (ko) 상표 이미지의 콘텐츠 기반 서치 및 검색
Sangeetha et al. An Enhanced Triadic Color Scheme for Content‐Based Image Retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40004720

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant