CN101425144A - 信息处理设备及方法、图像识别设备及方法，以及程序 - Google Patents

信息处理设备及方法、图像识别设备及方法，以及程序 Download PDF

Info

Publication number
CN101425144A
CN101425144A CNA2008101683880A CN200810168388A CN101425144A CN 101425144 A CN101425144 A CN 101425144A CN A2008101683880 A CNA2008101683880 A CN A2008101683880A CN 200810168388 A CN200810168388 A CN 200810168388A CN 101425144 A CN101425144 A CN 101425144A
Authority
CN
China
Prior art keywords
image
model image
model
recognition
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101683880A
Other languages
English (en)
Other versions
CN101425144B (zh
Inventor
中村章
岩井嘉昭
芦原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101425144A publication Critical patent/CN101425144A/zh
Application granted granted Critical
Publication of CN101425144B publication Critical patent/CN101425144B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种信息处理设备、信息处理方法、图像识别设备、图像识别方法以及程序。该信息处理设备包括：模型图像获取装置，用于获取多个模型图像；模型图像特征量提取装置，用于提取由模型图像获取装置所获取的模型图像的特征量；匹配装置，用于对模型图像特征量提取装置所提取的模型图像的特征量进行匹配；以及识别特征点提取装置，用于根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。

Description

信息处理设备及方法、图像识别设备及方法，以及程序
相关申请的交叉引用
本发明包含涉及与2007年11月1日向日本发明专利局提交的日本专利申请JP 2007-285164相关的主题，该专利申请的全部内容通过引用结合与此。
发明领域
本发明涉及一种信息处理设备、信息处理方法、图像识别设备、图像识别方法以及程序。更具体地说，本发明涉及被优选用于执行识别图像的过程的信息处理设备、信息处理方法、图像识别设备、图像识别方法以及程序。
背景技术
已有使用局部特征量的基于纹理的一般对象辨识方法(例如，参见专利文献1：日本未经审查的专利申请出版物No.2004-326693)。在此方法中，为了辨识，模型图像预先被登记，从图像模型和为辨识而输入的查询图像中提取特征点，进行特征点周围的局部特征量之间的匹配，以及通过使用几何约束去除不匹配，从而进行辨识。
在此技术中，从模型图像和查询图像中提取特征点，描述特征点周围的局部特征量，进行特征量之间的匹配，并通过霍夫变换或RANSAC(随机抽样一致性算法)去除离群点(outlier)(不匹配)。然后，根据去除离群点之后剩余的匹配对的数量，识别查询图像中的对象。
发明内容
然而，当多个模型图像彼此相似时，例如当模型图像在纹理上部分相同时，使用根据专利文献1的用于根据匹配对的数量来判断查询图像中的对象的匹配/不匹配的上述一般对象辨识方法，会导致针对多个模型图像的“匹配”辨识结果，因为在多个模型图像中观察到了超过阈值的匹配对。
本发明是在考虑到这些情况的背景下做出的，并旨在实现，即使多个模型图像彼此相似也能正确地辨识对象。
根据本发明的第一个实施例的信息处理设备是一种生成用于识别图像的信息的信息处理设备。该信息处理设备包括：模型图像获取装置，用于获取多个模型图像；模型图像特征量提取装置，用于提取由模型图像获取装置所获取的模型图像的特征量；匹配装置，用于对模型图像特征量提取装置所提取的模型图像的特征量进行匹配；以及识别特征点提取装置，用于根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
匹配装置可以包括离群点去除装置，该离群点去除装置用于根据对模型图像的特征量进行匹配的结果去除离群点。
信息处理设备还可以进一步包括第一变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与预定的模型图像一致。识别特征点提取装置可以通过使用经第一变换装置进行的变换而获取的相似模型图像来提取识别特征点。
信息处理设备还可以进一步包括：被辨识图像获取装置，用于获取被辨识图像；被辨识图像特征量提取装置，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及识别装置，用于通过获取在由识别特征点提取装置所提取的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
信息处理设备还可以进一步包括第二变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致。识别装置可以通过使用经第二变换装置进行的变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
由识别特征点提取装置所提取的识别特征点被分类为第一组和第二组，当在第一组中的识别特征点处具有较大数量的匹配对时或当在第二组中的识别特征点处具有较小数量的匹配对时，每个模型图像都被识别为对应的相似模型图像。
识别特征点提取装置分层地提取识别特征点。
根据本发明的第一个实施例的信息处理方法是一种用于信息处理设备的信息处理方法，该信息处理设备生成用于识别图像的信息。该信息处理方法包括如下步骤：获取多个模型图像；提取所获取的模型图像的特征量；对所提取的模型图像的特征量进行匹配；以及根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
根据本发明的第一个实施例的程序是一种使计算机执行生成用于识别图像的信息的过程的程序，该程序使计算机执行包括如下步骤的过程：获取多个模型图像；提取所获取的模型图像的特征量；对所提取的模型图像的特征量进行匹配；以及根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
在本发明的第一个实施例中，获取多个模型图像，提取所获取的模型图像的特征量，对所提取的模型图像的特征量进行匹配；以及根据匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，作为用于识别相应的相似模型图像的识别特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像。
根据本发明的第二个实施例的图像识别设备是一种图像识别设备，该图像识别设备用于存储多个模型图像和模型图像的特征量，接受被辨识图像的输入以及识别对应于被辨识图像的模型图像。该图像识别设备包括：存储装置，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是多个具有预定数量或更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的模型图像；被辨识图像获取装置，用于获取被辨识图像；被辨识图像特征量提取装置，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及识别装置，用于通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
图像识别还可以进一步包括变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致。识别装置可以通过使用经变换装置进行变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
图像识别设备还可以进一步包括匹配装置，用于对被辨识图像获取装置所获取的被辨识图像与所存储的模型图像之间的特征量进行匹配。根据匹配装置进行匹配的结果，如果有预定数量或更多的具有预定阈值的特征量或者与被辨识图像更为匹配的模型图像存在，则识别装置将预定数量或更多的模型图像视为相似模型图像，并通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
匹配装置可以包括离群点去除装置，用于根据对模型图像间的特征量进行匹配的结果来去除离群点。
由存储装置存储的识别特征点被分类为第一组和第二组，当在第一组中的识别特征点处具有较大数量的匹配对时或当在第二组中的识别特征点处具有较小数量的匹配对时，每个模型图像都被识别为对应的相似模型图像。
由存储装置存储的识别特征点具有分层结构。
根据本发明的第二个实施例的图像识别方法是一种用于图像识别设备的图像识别方法，该图像识别设备包括：第一存储单元，用于存储多个模型图像和模型图像的特征量，以及第二存储单元，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是多个具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的模型图像，该图像识别设备接受被辨识图像的输入，并且识别对应于被辨识图像的模型图像，该图像识别方法包括如下步骤：获取被辨识图像；提取所获取的被辨识图像的特征量；以及通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
根据本发明的第二个实施例的程序是一种使计算机通过使用存储在第一存储单元和第二存储单元中的信息来执行识别对应于所输入的被辨识图像的模型图像的过程的程序，其中第一存储单元用于存储多个模型图像和模型图像的特征量，而第二存储单元用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是多个具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的模型图像，该程序使计算机执行包括如下步骤的过程：获取被辨识图像；提取所获取的被辨识图像的特征量；以及通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
在本发明的第二个实施例中，获取被辨识图像，提取所获取的被辨识图像的特征量；以及通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
网络是指具有至少两个彼此相连的设备并能够将信息从其中一个设备向另一个设备传输的机制。通过网络进行通信的设备可以是独立设备，或者也可以是构成单个设备的内部块。
通信包括无线通信和有线通信，以及还包括无线和有线通信的组合。即，在某一部分可以进行无线通信，而在另一部分可以进行有线通信。此外，从第一设备到第二设备的通信可以有线地进行，而从第二设备到第一设备的通信可以无线地进行。
辨识设备、对应于识别特征点选择单元的设备以及对应于判断单元的设备可以是独立的设备，或者可以是信息处理设备中的部件。
根据本发明的第一个实施例，可以提取在相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像。通过使用用于识别的识别特征点，可以正确地识别模型图像，而即使当存在相似模型图像时，也可以保持强健特征。
根据本发明的第二个实施例，可以通过使用在相似模型图像中的识别特征点来进行识别，其中所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像。相应地，可以正确地识别模型图像，而即使当存在相似模型图像时，也可以保持强健特征。
附图说明
图1示出了相似模型图像；
图2是示出了辨识设备的配置的方框图；
图3示出了识别特征点；
图4示出了查询图像的识别；
图5示出了对收报器的应用；
图6示出了对收报器的应用；
图7示出了对收报器的应用；
图8示出了具有不同相似点的相似模型图像的示例；
图9示出了具有不同相似点的相似模型图像的示例；
图10示出了识别特征点的分类；
图11示出了对相似图像分层地分类的情况；
图12示出了对相似图像分层地分类的情况；
图13是示出了识别特征点提取过程1的流程图；
图14是示出了识别特征点提取过程2的流程图；
图15是示出了识别过程的流程图；以及
图16是示出了个人计算机的配置的方框图。
具体实施方式
在描述本发明的实施例之前，下面将讨论权利要求的特征与说明书或附图中所描述的在本发明的实施例中的特定要素之间的对应关系。此描述意在确保，支持请求保护的发明的实施例被描述在说明书或附图中。因此，即使未将在说明书或图形中所描述的以下实施例中的要素描述为涉及本发明的某一特点，这也并非必然意味着该要素不涉及权利要求的该特点。相反，即使在此将要素描述为涉及权利要求的某一特点，这也并非必然意味着该要素不涉及权利要求的其他特点。
根据本发明的第一个实施例的信息处理设备是一种生成用于识别图像的信息的信息处理设备(例如，图2中的辨识设备51或对应于图2中的识别特征点选择单元61的设备)。该信息处理设备包括：模型图像获取装置(例如，图2中的模型图像获取单元71)，用于获取多个模型图像；模型图像特征量提取装置(例如，图2中的特征量提取单元72)，用于提取由模型图像获取装置所获取的模型图像的特征量；匹配装置(例如，图2中的匹配单元74和离群点去除单元75)，用于对模型图像特征量提取装置所提取的模型图像的特征量进行匹配；以及识别特征点提取装置(例如，图2中的相关性图像生成单元78和识别特征点提取单元79)，用于根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像(例如，目标模型图像)具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
匹配装置可以包括离群点去除装置(例如，离群点去除单元75)，该离群点去除装置用于根据对模型图像的特征量进行匹配的结果去除离群点。
信息处理设备可以进一步包括第一变换装置(例如，图2中的仿射参数获取单元76和仿射变换单元77)，用于对相似模型图像进行仿射变换，使得相似模型图像与预定的模型图像一致。识别特征点提取装置能够通过使用经第一变换装置进行的变换而获取的相似模型图像来提取识别特征点。
信息处理设备可以进一步包括：被辨识图像获取装置(例如，图2中的查询图像获取单元93)，用于获取被辨识图像(例如，查询图像)；被辨识图像特征量提取装置(例如，图2中的特征量提取单元94)，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及识别装置(例如，图2中的识别特征点比较单元99和识别单元100)，用于通过获取在由识别特征点提取装置所提取的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
信息处理设备可以进一步包括第二变换装置(例如，图2中的仿射参数获取单元97和仿射变换单元98)，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致。识别装置可以通过使用经第二变换装置进行的变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
根据本发明的第一实施例的信息处理方法是一种用于信息处理设备(例如，图2中的辨识设备51或对应于图2中的识别特征点选择单元61的设备)的信息处理方法，该信息处理设备生成用于识别图像的信息。该信息处理方法包括如下步骤：获取多个模型图像(图13中的步骤S11或图14中的步骤S21)；提取所获取的模型图像的特征量(例如，图13中的步骤S12或图14中的步骤S22)；对所提取的模型图像的特征量进行匹配(例如，图13中的步骤S14或图14中的步骤S24)；以及根据匹配的结果，来提取相似模型图像中与预定模型图像(例如，目标模型图像)具有低相关性的特征点(例如，图13中的步骤S15至S19或图14中的步骤S28至S31)，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
根据本发明的第一实施例的程序是一种使计算机执行生成用于识别图像的信息的过程的程序。该程序使计算机执行包括如下步骤的过程：获取多个模型图像(例如，图13中的步骤S11或图14中的步骤S21)；提取所获取的模型图像的特征量(例如，图13中的步骤S12或图14中的步骤S22)；对所提取的模型图像的特征量进行匹配(例如，图13中的步骤S14或图14中的步骤S24)；以及根据匹配的结果，来提取相似模型图像中与预定模型图像(例如，目标模型图像)具有低相关性的特征点(例如，图13中的步骤S15至S19或图14中的步骤S28至S31)，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
根据本发明的第二实施例的图像识别设备是一种图像识别设备(例如，对应于图2中的判断单元62的设备)，该图像识别设备用于存储多个模型图像和模型图像的特征量，接受被辨识图像的输入以及识别对应于被辨识图像的模型图像。该图像识别设备包括：存储装置(例如，图2中的识别特征点存储单元92)，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像；被辨识图像获取装置(例如，图2中的查询图像获取单元93)，用于获取被辨识图像(例如，查询图像)；被辨识图像特征量提取装置(例如，图2中的特征量提取装置94)，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及识别装置(例如，图2中的识别特征点比较单元99和识别单元100)，用于通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
图像识别设备可以进一步包括变换装置(例如，图2中的仿射参数获取单元97和仿射变换单元98)，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致。该识别装置能够通过使用经变换装置进行变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
图像识别设备可以进一步包括匹配装置(例如，图2中的匹配单元95和离群点去除单元96)，用于对被辨识图像获取装置所获取的被辨识图像与所存储的模型图像之间的特征量进行匹配。根据匹配装置进行匹配的结果，如果有预定数量或更多的具有预定阈值的特征量或者与被辨识图像更为匹配的模型图像存在，则识别装置将预定数量或更多的模型图像视为相似模型图像，并通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
匹配装置可以包括离群点去除装置(例如，图2中的离群点去除单元96)，用于根据对模型图像间的特征量进行匹配的结果来去除离群点。
根据本发明的第二个实施例的图像识别方法是一种用于图像识别设备(例如，对应于图2中的判断单元62的设备)的图像识别方法，该图像识别设备包括：第一存储单元，用于存储多个模型图像和模型图像的特征量，以及第二存储单元，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像，该图像识别设备接受被辨识图像的输入，并且识别对应于被辨识图像的模型图像。该图像识别方法包括如下步骤：获取被辨识图像(例如，查询图像)(例如，图15中的步骤S41)；提取所获取的被辨识图像的特征量(例如，图15中的步骤S42)；以及通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像(例如，图15中的步骤S47至步骤S50)。
根据本发明的第二个实施例的程序是一种使计算机通过使用存储在第一存储单元和第二存储单元中的信息来执行识别对应于所输入的被辨识图像的模型图像的过程的程序，其中第一存储单元用于存储多个模型图像和模型图像的特征量，而第二存储单元用于存储在相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像。该程序使计算机执行包括如下步骤的过程：获取被辨识图像(例如，查询图像)(例如，图15中的步骤S41)；提取所获取的被辨识图像的特征量(例如，图15中的步骤S42)；以及通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像(例如，图15中的步骤S47至S50)。
下面，将参考附图详细地描述本发明的实施例。
例如，假设如下情形：存在图1中所示的图像11至15，作为与待识别的模型对应的模型图像。这些图像彼此不同，但除了简化图像21中所示的双环和星形部分中印刷有字符的左半区域以及存在/不存在简化图像21中所示的云状物部分中印刷有水果图片或该图片的类型之外，具有基本上相同的形状。
对应于图1中所示的图像11至15的图像数据部分(下面，该图像数据部分简称为图像11至15)被登记为对应于模型图像的数据部分(下面，该数据部分简称为模型图像)。例如，当对应于图像11的图像被作为对应于查询图像的数据提供时(下面，对应于查询图像的数据简称为查询图像)，只有图像11应作为识别结果被提取。然而，在根据相关技术(其中根据匹配对的数量来识别查询图像中的对象)的上述技术中，虽然该结果取决于用于识别的匹配对的数量，但“匹配”的识别结果被给予所有图像11至15。
具体来说，当有各种各样的模型图像时，如果匹配对的数量的阈值高得能够使图像11至15彼此区别，则识别被过分严格地执行。相应地，实际上应被辨识为相同的图像很可能被错误地辨识为不同。然而，如上面所描述的那样，以典型的匹配过程中的阈值设置水平难以正确地识别图像11至15。
鉴于上面所描述的情况，优选的是，使用如下方法。即，当在模型图像登记的情况下存在如图1中所示的图像11至15的相似图像时，获取这些图像之间的相关性并且提取不相似部分中的特征点。相应地，通过在识别过程中使用不相似部分的匹配结果来识别如图1中所示的图像11至15的相似图像。
图2是方框图，该方框图示出了在识别过程中能够在模型图像登记的情况下获取相似图像之间的相关性并且使用不相似部分的匹配结果的辨识设备51的配置。
辨识设备51包括识别特征点选择单元61和判断单元62。这里，在假设辨识设备51是单个设备的情况下进行描述。可替换地，识别特征点选择单元61和判断单元62中的每一个都可以配置为单个设备。
识别特征点选择单元61包括：模型图像获取单元71、特征量提取单元72、模型图像词典存储单元73、匹配单元74、离群点去除单元75、仿射参数获取单元76、仿射变换单元77、相关性图像生成单元78以及识别特征点提取单元79。
模型图像获取单元71获取用于识别过程的模型图像，并将它们提供给模型图像词典存储单元73和特征量提取单元72。所提供的模型图像包括非常相似的模型图像集，例如如图1中所示的图像11至15。
特征量提取单元72从模型图像获取单元71所提供的相应模型图像中提取特征点，也从特征点周边提取局部特征量，并进行矢量描述。特征量提取单元72将所提取的局部特征量的信息提供给模型图像词典存储单元73、匹配单元74以及离群点去除单元75。
作为特征点，可以提取与邻近像素具有显著差异的像素，或者可以提取包含许多通过对图像数据进行FFT(快速傅里叶变换)而获取的高频分量的像素。可替换地，可以用另外的方法提取特征点。作为局部特征量，可以使用Gabor Jet、Haar Wavelet、Gaussian Derivatives或SIFT特征。
模型图像词典存储单元73存储由模型图像获取单元71提供的模型图像和对应于由特征量提取单元72提供的相应模型图像的局部特征量。存储在模型图像词典存储单元73中的模型图像和对应于这些模型图像的局部特征量被提供给判断单元62中的模型图像词典存储单元91，并用于与查询图像进行匹配。
匹配单元74利用K-NN(k-最近邻域)等方法在由特征量提取单元72提供的局部特征量与当前存储在模型图像词典存储单元73中的相应模型图像的局部特征量之间进行匹配，以便获取匹配对。下面，最近在特征量提取单元72中其局部特征量被提取的模型图像用作匹配过程的参考，并称作目标模型图像。将目标模型图像与已经存储在模型图像词典存储单元73中的、并用于在匹配单元74中与目标模型图像的局部特征量进行比较的其他模型图像进行区别。
然后，匹配单元74将目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及匹配对的信息提供给离群点去除单元75。例如，如果在图1中所示的图像12至15已经存储在模型图像词典存储单元73中的情况下图1中所示的图像11作为模型图像被提供，则图像12至15作为相对于作为目标模型图像的图像11具有预定数量或更多的匹配对的相似模型图像而被提取。
匹配单元74通过使用局部特征量来获取匹配对，使得即使目标模型图像和与目标模型图像相比的相应模型图像是从不同的视点捕获的，或者即使图像具有不同的大小，也可以正确地进行匹配。
离群点去除单元75通过使用例如霍夫变换或RANSAC(随机抽样一致性算法)从匹配单元74所检测到的匹配对中去除不满足几何约束的不匹配对。通过使用不同于上述的技术的任何方法可以进行离群点去除。离群点去除单元75将目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息提供给仿射参数获取单元76。
仿射参数获取单元76根据剩余的匹配对来获取相应的相似模型图像相对于目标模型图像的仿射参数。仿射变换是允许对相似变换进行剪切形变的变换，该变换包括平移、旋转(欧几里得变换)和缩放变换。即，在仿射变换中保持了几何特征：在原始图中排列在直线上的点在变换之后还排列在直线上，并且平行线在变换之后还是平行线。即，仿射参数获取单元76获取旋转、缩放、剪切形变、平移等等的仿射参数，以便在目标模型图像和相似模型图像被从不同的视点捕获的情况下或者在这些图像的大小不同的情况下校正相似模型图像的变形，从而将相似模型图像校正为从对应于目标模型图像的相同成像方向以相同大小捕获的图像。
除了目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除获取的匹配对的信息之外，仿射参数获取单元76还将计算出的仿射参数提供给仿射变换单元77。
仿射变换单元77通过使用仿射参数来变换所提供的相似模型图像，以便将相似模型图像校正为从对应于目标模型图像的相同成像方向以相同大小捕获的图像。然后，仿射变换单元77将目标模型图像、通过仿射变换获取的相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除获取的匹配对的信息提供给相关性图像生成单元78。
相关性图像生成单元78计算目标模型图像与通过在目标模型图像中的相应特征点处进行仿射变换而获取的相似模型图像之间的特征量的相关值(特征量距离)，并将相应特征点的相关值提供给识别特征点提取单元79。通过将这里获取的相关值与图像关联，可以生成相关性图像，该相关性图像显示了目标模型图像与相应的相似模型图像之间的相关性。
识别特征点提取单元79根据在目标模型图像与相似模型图像之间在目标模型图像的相应特征点处的相关值来提取具有低于阈值的相关值的特征点或者预定数量的按相关值的增序排列的特征点。所提取的特征点被视为来自相似模型图像的对识别有用的识别特征点，并被提供给判断单元62中的识别特征点存储单元92。
例如，假设在图1中所示的图像12至15或通过仿射变换被变换为图像12至15的图像已经存储在模型图像词典存储单元73中的情况下，图1中所示的图像11作为模型图像被提供。在此情况下，图1中所示的图像12至15或与其对应的图像被作为相对于作为目标模型图像的图像11的相似模型图像被提取。然后，相关性图像生成单元78获取目标模型图像11和通过仿射变换获取的相似模型图像12至15之间在目标模型图像的特征点处的特征量的相关值。然后，识别特征点提取单元79提取具有低相关性值的特征点，例如如图3中所示。
例如，如果图1中所示的图像12至15中的图像12首先作为模型图像被提供给识别特征点选择单元61，则图像12被登记为相对于图像13至15的相似模型图像。然而，图像12并未被处理为具有相似图像的模型图像，并因此图像12没有识别特征点可被提取。这样，当匹配单元74检测到具有预定数量或更多的匹配对的相似模型时，如果没有相似模型图像与作为相似模型图像被检测的模型图像相关联，则优选的是，通过反转(invert)目标模型图像和相似模型图像来执行检测识别特征点的过程。
替代对每个输入模型图像连续地执行上述过程，也可以预先生成相似模型图像集，并可以根据该集中包括的图像的组合的所有相关值的平均值来提取识别特征点。
在这样的情况下，通过由匹配单元74对图1中所示的图像11至15执行匹配过程来获取匹配对，并且由离群点去除单元75去除匹配对的离群点，从而图像11至15被提取为相似模型图像集。
然后，仿射参数获取单元76获取所有组合的仿射参数。仿射变换单元77对相应的组合进行仿射变换。然后，相关性图像生成单元78生成所有组合中的相关性图像，并计算其平均值。然后，识别特征点提取单元79可以根据相关性图像的平均值从相似模型图像中提取对识别有用的识别特征点：具有低于阈值的相关值的特征点，或预定数量的按相关值的增序排列的特征点，并且该识别特征点提取单元79将识别特征点提供给判断单元62中的识别特征点存储单元92。
图2中所示的辨识设备51中的判断单元62包括：模型图像词典存储单元91、识别特征点存储单元92、查询图像获取单元93、特征量提取单元94、匹配单元95、离群点去除单元96、仿射参数获取单元97、仿射变换单元98、识别特征点比较单元99、识别单元100以及识别结果输出单元101。
模型图像词典存储单元91从模型图像词典存储单元73接收模型图像和对应于模型图像的局部特征量，并将它们存储。
识别特征点存储单元92从识别特征点提取单元79接收识别特征点的信息并存储该信息，其中这些识别特征点是相对于上述的具有相似模型图像的目标模型图像中的相似模型图像具有低相关性值的特征点。
查询图像获取单元93获取查询图像作为识别的目标。
特征量提取单元94从查询图像获取单元93所提供的查询图像中提取特征点，从特征点周边提取局部特征量，并进行矢量描述。用于提取特征点和特征量的方法与特征量提取单元72中的方法相同。特征量提取单元94将所提取的局部特征量的信息提供给匹配单元95和离群点去除单元96。
匹配单元95通过使用K-NN等方法在由特征量提取单元94提供的局部特征量和对应于存储在模型图像词典存储单元91中的模型图像的局部特征量之间进行匹配，以便获取匹配对。然后，匹配单元95将查询图像、相对于查询图像具有预定数量或更多的匹配对的模型图像的数据以及匹配对的信息提供给离群点去除单元96。例如，如果在图1中所示的图像11至15作为模型图像被存储在模型图像词典存储单元91中的情况下提供图4中所示的查询图像111，则匹配单元95提取图像11至15作为可能是识别目标的模型图像，并将该图像提供给离群点去除单元96。
离群点去除单元96通过使用霍夫变换或RANSAC从匹配单元95检测到的匹配对中去除不满足几何约束的不匹配对。如果不存在具有其数量大于预定阈值的剩余的匹配对的模型图像，则离群点去除单元96将该结果提供给识别单元100。如果具有其数量大于预定阈值的剩余的匹配对的模型图像的数量小于预定数量，则离群点去除单元96将剩余的模型图像和匹配对的数量提供给识别单元100。如果具有其数量超过预定阈值的剩余的匹配对的模型图像的数量等于或大于预定数量，则判断具有其数量大于预定阈值的剩余的匹配对的模型图像是上述相似模型图像。离群点去除单元96将相似模型图像、查询图像以及通过离群点去除获取的匹配对的信息提供给仿射参数获取单元97。
仿射参数获取单元97根据剩余的匹配对来获取相应的相似模型图像相对于查询图像的仿射参数，并将查询图像、仿射参数、具有其数量大于预定阈值的剩余的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息提供给仿射变换单元98。
仿射变换单元98通过使用仿射参数来变换所提供的相似模型图像，以便将相似模型图像校正为从对应于查询图像的相同成像方向以相同大小捕获的图像。如图4所示，如果图像11至15作为查询图像111的相似模型图像被提取，则图像11至15被仿射变换单元98变换为图像11a至15a。仿射变换单元98将查询图像、通过仿射变换获取的相似模型图像以及通过离群点去除而获取的匹配对的信息提供给识别特征点比较单元99。
识别特征点比较单元99获取通过仿射变换所获取的相似模型图像中的识别特征点，并根据存储在识别特征点存储单元92中的相应的模型图像的识别特征点来计算其特征量，并且也计算所获取的识别特征点中的特征量与查询图像上的识别特征点中的特征量之间的相关值。即，识别特征点比较单元99计算在通过图4中所示的仿射变换所获取的图像11a至15a的识别特征点中的特征量与查询图像111的识别特征点中的特征量之间的相关值。然后，识别特征点比较单元99将相关值的计算结果提供给识别单元100。
识别单元100根据由离群点去除单元96或识别特征点比较单元99提供的信息来执行识别过程。即，如果在离群点去除单元96中检测到：具有在离群点去除之后其数量大于预定阈值的剩余匹配对的相似模型图像的数量小于预定数量，则识别单元100根据由离群点去除单元96提供的匹配对的数量识别为：查询图像对应于具有最大数量的匹配对的模型图像，或者对应于一个或多个具有其数量大于预定阈值的匹配对的模型图像，并且该识别单元100将识别结果输出给识别结果输出单元101。如果由离群点去除单元96通知识别单元100：没有具有其数量大于预定阈值的剩余的匹配对的相似模型图像存在，则识别单元100判断为：查询图像不匹配任何模型图像，并将判断结果输出给识别结果输出单元101。
如果在离群点去除单元96中检测到：具有在离群点去除之后其数量超过预定阈值的剩余匹配对的相似模型图像的数量等于或大于预定数量，则识别单元100从识别特征点比较单元99接收在相似模型图像与查询图像之间的识别特征点中的特征量的相关值。识别单元100根据提供给其的特征量的相关值识别为：查询图像对应于具有识别特征点中的相关值的最高平均值的相似模型，或对应于具有一个或多个高于预定阈值的平均值的相似模型图像，并且该识别单元100将识别结果输出给识别结果输出单元101。
识别结果输出单元101在显示单元中显示由识别单元100提供的识别结果，或作为语音数据输出识别结果。可替换地，识别结果输出单元101通过预定传输路径来输出识别结果，或将识别结果记录在预定的记录介质上，以便向另一个设备输出该结果。
辨识设备51中识别相似图像的过程可以应用于具有几乎相同形状和大小但只是字符不同的图像，例如，电视广播等等中的相同节目中的收报器。
例如，下面就图5中所示的#1模型图像121和#2模型图像122与查询图像123进行比较的情况给出了描述。
#2模型图像122应被判断为与查询图像123相同。#1模型图像121在形状和大小方面几乎与#2模型图像122相同而只是字符不同。
这样，如果#1模型图像121和#2模型图像122被登记为模型图像，并且如果提供了查询图像123，则只有#2模型图像122应作为识别结果被提取。然而，在上述的根据匹配对的数量来识别查询图像中的对象的相关技术中，从如图6所示的#1模型图像121和#2模型图像122中提取预定数量或更多的匹配对，从而为模型图像121和122给出“匹配”的识别结果。
因此，上述的识别特征点选择单元61提取#1模型图像121和#2模型图像122的识别特征点。
通过使已仿射变换过的#1模型图像121和#2模型图像122叠加，来生成图7中所示的图像131，图像121和122中的一个是目标模型图像，而另一个是相似模型图像。根据图像131可以理解的是，#1模型图像121和#2模型图像122几乎相同，除了字符部分不同：“local supporters aredisappointed”和“cause of defeat of Japanese team”。
图7中所示的图像132是#1模型图像121和#2模型图像122之间的相关性图像。在图像132中，强相关的部分是白色的，而弱相关的部分是黑色的。
图7中所示的图像133示出了从#1模型图像121和#2模型图像122所获取的识别特征点。图2中所示的判断单元62中的识别特征点存储单元92存储图像133所示的识别特征点。
如上面参考图6所描述的，在上述的根据匹配对的数量来识别查询图像中的对象的相关技术中，从相对于查询图像123的#1模型图像121和#2模型图像122中提取预定数量或更多的匹配对，并因此两个图像都可以被识别为对应于查询图像123的图像。另一方面，图2中所示的判断单元62获取图7中所示的图像133所示的识别特征点处的#1模型图像121和#2模型图像122的相关值，并根据相关值，执行识别过程。相应地，判断单元62可以正确地判断为：对应于查询图像123的图像是#2模型图像122。
即，图2中所示的判断单元62通过使用#1模型图像121和#2模型图像122中的“local supporters are disappointed”和“cause of defeat ofJapanese team”部分中包括的许多识别特征点来判断，并且因此能够正确地判断为：对应于查询图像123的图像是#2模型图像122。
例如，当通过分层结构来表示模型图像间的相似性时，例如，在图1中示出N个模型图像，其中简化图像21中的云状物部分彼此类似，N个模型图像可以根据双环部分分类为“a”个模型图像和“b”个模型图像，并且可以完全根据星形部分来分类“b”个模型图像，或者当模型图像间有多个相似部分时，可以通过区别识别特征点或通过使用分层次的识别特征点，来进行相似模型图像的判断。
下面将参考图8就#11模型图像161至#14模型图像164作为相似模型图像存储在已经向其输入查询图像151的判断单元62中的模型图像词典存储单元91中的情况给出描述。
#11模型图像161至#14模型图像164中的每个模型图像相对于查询图像151都具有相似部分。这样，在上述的根据匹配对的数量来识别查询图像中的对象的相关技术中，#11模型图像161至#14模型图像164全部都可以被识别为对应于查询图像151的图像。
#11模型图像161至#14模型图像164中的每个模型图像都具有相似部分和不相似的部分。图9示出了#11模型图像161至#14模型图像164的相应的相关性图像。在图9中所示的相关性图像中，强相关的部分是白色的，而弱相关的部分是黑色的。
#11模型图像161和#12模型图像162之间的不同部分是右上部处的心形标记和右下部处的新月形标记。#11模型图像161和#13模型图像163之间的不同部分是右上部处的心形标记和左下部处的闪电标记。#11模型图像161和#14模型图像164之间的不同部分是左下部处的闪电标记。#12模型图像162和#13模型图像163之间的不同部分是右下部处的新月形标记和左下部处的闪电标记。#12模型图像162和#14模型图像164之间的不同部分是右上部处的心形标记、右下部处的新月形标记以及左下部处的闪电标记。#13模型图像163和#14模型图像164之间的不同部分是右上部处的心形标记。
在作为相似模型图像的#11模型图像161至#14模型图像164中，左上部处的微笑标记在每个图像中都相同，并且因此在那里不存在识别特征点。另一方面，不带标记的部分具有少许几个作为模型图像的特征，并因此从查询图像和模型图像中的不带标记的部分中没有特征点被提取。换言之，如果在查询图像和模型图像之间的不带标记的部分中存在特征量的匹配对，则可以估计，查询图像和模型图像彼此不相似。
在#11模型图像161至#14模型图像164中，在带有不同于左上部处的微笑标记的标记的部分具有作为模型图像的显著特征。这样，如果在查询图像和模型图像之间的此部分中存在特征量的匹配对，则可以估计，查询图像和模型图像彼此相似。
因此，识别特征点选择单元61中的识别特征点提取单元79将识别特征点分类为如图10所示的两个类。在图10中，用“+”表示的点是识别特征点，在该识别特征点处，如果模型图像和查询图像之间的相关值高，即，如果在对应的特征点处有匹配对，则作出估计查询图像与模型图像相似的肯定判断。另一方面，用“x”表示的点是识别特征点，在该识别特征点处，如果模型图像和查询图像之间的相关值低，即，如果在对应的特征点处没有匹配对，则作出估计查询图像与模型图像相似的肯定判断。
在图10中，识别特征点181被分类为#11模型图像161的识别特征点，识别特征点182被分类为#12模型图像162的识别特征点，识别特征点183被分类为#13模型图像163的识别特征点，以及识别特征点184被分类为#14模型图像164的识别特征点。
通过使用这样被分类的识别特征点，即使相似模型图像具有不同的相似部分，判断单元62也可以通过将对识别重要的和不重要的部分彼此区别开来执行识别过程。
即，通过使用图10中所示的识别特征点181至184，判断单元62中的用于计算识别特征点处的相关值的识别特征点比较单元99可以检测到：#11模型图像161与查询图像之间在识别特征点181处的相关值仅在右下部处是正的，#12模型图像162与查询图像之间在识别特征点182处的相关值只在右上部处是正的，#13模型图像163与查询图像之间在识别特征点183处的相关值在左下部处、在右上部处以及在右下部处是正的，#14模型图像164与查询图像之间在识别特征点184处的相关值在右下部处和左下部处是正的。因此判断为：对应于查询图像151的模型图像是#13模型图像163。
接下来，就通过将识别特征点分层地分类来判断相似模型图像的情况给出了描述。
识别特征点选择单元61中的识别特征点提取单元79将相似模型图像分类为多个类，并进一步将每一个类中的相似模型图像分类为多个类。这样，建立了分层结构，使得最终可以使各个相似模型彼此区别开。在此，如图11中所示，图8中所示的#11模型图像161至#14模型图像164被分类为两层。第一层是相似模型识别层1，以将四个相似模型分类为两个相似模型组，而第二层是相似模型识别层2，以将相似模型分类为各个相似模型图像。当相似模型图像的数量较大时，相似模型识别层的数量也较大。
首先，识别特征点选择单元61中的识别特征点提取单元79选择适于识别某些模型组的一组识别特征点，并将所选择的组作为层-1模型识别特征点来保持。例如，图8中所示的#11模型图像161至#14模型图像164被分类为两个模型组：#11模型图像161和#14模型图像164被分类为其中一个组；而#12模型图像162和#13模型图像163被分类为另一个组。这两个模型组可以根据在右上部处存在/不存在心形标记被最适当地识别，并且因此右上部处的心形标记部分被设置为层-1模型识别特征点。然后，如果#12模型图像162或#13模型图像163与查询图像之间在右上部处的相关值高，即，如果有匹配对，则识别特征点比较单元99作出估计查询图像与模型图像相似的肯定判断。同样，如果#11模型图像161或#14模型图像164与查询图像之间在右上部处的相关值低，即，如果没有匹配对，则识别特征点比较单元99作出估计查询图像与模型图像相似的肯定判断。
然后，识别特征点选择单元61中的识别特征点提取单元79选择借助其可将相应的模型组中包括的多个模型图像进一步分类的识别特征点，并将所选择的特征点作为层-2模型识别特征点保持。根据在左下部处存在/不存在闪电标记，可以最适当地识别#11模型图像161和#14模型图像164，以及可以最适当地识别#12模型图像162和#13模型图像163，并且因此左下部处的闪电标记部分被设置为层-2模型识别特征点。然后，如果#11模型图像161或#12模型图像162与查询图像之间在左下部处的相关值高，即，如果有匹配对，则识别特征点比较单元99作出估计查询图像与模型图像相似的肯定判断。同样，如果#13模型图像163或#14模型图像164与查询图像之间在左下部处的相关值低，即，如果没有匹配对，则识别特征点比较单元99作出估计查询图像与模型图像相似的肯定判断。
在图8中所示的#11模型图像161至#14模型图像164中，基于图11中所示的分层结构的层-1模型识别特征点和层-2模型识别特征点如图12所示。在图12中，用“+”表示的点也是识别特征点，在该识别特征点处，如果模型图像与查询图像之间的相关值高，即，如果在对应的特征点处有匹配对，则作出估计查询图像与模型图像相似的肯定判断。另一方面，用“x”表示的点是识别特征点，在该识别特征点处，如果模型图像和查询图像之间的相关值低，即，如果在对应的特征点处没有匹配对，则作出估计查询图像与模型图像相似的肯定判断。
判断单元62中的用于通过使用图12中的层-1模型识别特征点和层-2模型识别特征点来计算识别特征点处的相关值的识别特征点比较单元99，可以计算出：在#11模型图像161中的任何一个识别特征点中未作出肯定判断，只在#12模型图像162中的层-1模型识别特征点中作出肯定判断；在#13模型图像163中的层-1模型识别特征点和层-2模型识别特征点中作出肯定判断；以及只在#14模型图像164中的层-2模型识别特征点中作出肯定判断。即，识别特征点比较单元99可以检测到：#11模型图像161和#14模型图像164不对应于层1中的查询图像，并且#12模型图像162不对应于层2中的查询图像。相应地，判断为：对应于查询图像151的模型图像是#13模型图像163。
这样，当以分层结构表示模型图像之间的相似性时或当模型图像之间有多个相似部分时，可以通过将相似部分分类或通过使用分层结构来可靠地提取相似模型图像中的识别特征点。
下面，将参考图13描述识别特征点提取过程1，该过程是由辨识设备51中的识别特征点选择单元61执行的过程的示例。
在步骤S11中，模型图像获取单元71获取用于识别过程的模型图像，并将它们提供给模型图像词典存储单元73和特征量提取单元72。
在步骤S12中，特征量提取单元72从模型图像获取单元71所提供的相应的模型图像中提取特征点，从特征点周边提取局部特征量，并进行矢量描述。特征量提取单元72将所提取的局部特征量的信息提供给模型图像词典存储单元73、匹配单元74以及离群点去除单元75。
在步骤S13中，模型图像词典存储单元73存储由模型图像获取单元71提供的相应的模型图像和与特征量提取单元72所提供的相应的模型图像对应的局部特征量。存储在模型图像词典存储单元73中的模型图像和局部特征量被提供给判断单元62中的模型图像词典存储单元91，并在识别特征点提取过程1之后存储在其中。
在步骤S14中，匹配单元74通过使用K-NN等方法在从特征量提取单元72所提供的目标模型图像的局部特征量与当前存储在模型图像词典存储单元73中的相应的模型图像的局部特征量之间进行匹配，以便获取匹配对。然后，匹配单元74将目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及匹配对的信息提供给离群点去除单元75。
在步骤S15中，离群点去除单元75通过使用霍夫变换或RANSAC从匹配单元74检测到的匹配对中去除不满足几何约束的不匹配对。离群点去除单元75提取相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像集，并且该离群点去除单元75将目标模型图像、相似模型图像以及通过离群点去除而获取的匹配对的信息提供给仿射参数获取单元76。
在步骤S16中，除目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息之外，仿射参数获取单元76还根据剩余的匹配对来计算相应的相似模型图像相对于目标模型图像的仿射参数，并且将计算出的仿射参数提供给仿射变换单元77。
在步骤S17中，仿射变换单元77通过使用仿射参数来变换所提供的相似模型图像，以便将相似模型图像校正为在对应于目标模型图像的成像方向以相同大小捕获的图像。然后，仿射变换单元77将目标模型图像、通过仿射变换而获取的相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息提供给相关性图像生成单元78。
在步骤S18中，相关性图像生成单元78计算目标模型图像与通过在目标模型图像的相应的特征点处进行仿射变换而获取的相似模型图像之间的特征量的相关值(特征量距离)，生成目标模型图像与相似模型图像之间的相关性图像，并将相关性图像(即，表示相应的特征点处所获取的相关值的信息)提供给识别特征点提取单元79。
在步骤S19中，识别特征点提取单元79根据在目标模型图像的相应的特征点处相对于相似模型图像的相关值，来提取具有较高的识别相似模型图像之间的模型的能力的识别特征点，即，具有低于阈值的相关值的特征点，或按相关值的增序排列的预定数量的特征点。然后，识别特征点提取单元79将识别特征点提供给判断单元62中的识别特征点存储单元92，并将它们寄存在其中，然后该过程结束。
在此过程中，除模型图像的特征点中的特征量之外，可以在每个模型图像中获取具有较高的识别相似模型图像之间的模型的能力的识别特征点。相应地，包括其中寄存有识别特征点的识别特征点存储单元92的判断单元62可以执行识别相似模型图像的过程。
在步骤S19中，识别特征点提取单元79可以通过将相似部分分类或通过使用分层结构来提取相似模型图像中的识别特征点，如上面参考图8至12所描述的那样。
接下来，参考图14描述了识别特征点提取过程2，该过程是由辨识设备51中的识别特征点选择单元61执行的过程的另一示例。
在上面参考图13所描述的识别特征点提取过程1中，连续地输入模型图像，而不管模型图像相似与否，并在输入每个模型图像时，连续地执行提取识别特征点的过程。另一方面，在识别特征点提取过程2中，可以预先生成相似模型图像集，并可以根据该集中包括的图像的组合的所有相关值的平均值，来提取识别特征点。
在步骤S21至S25中，执行与图13中所示的步骤S11至S15相同的过程。即，模型图像获取单元71获取用于识别过程的模型图像，并且特征量提取单元72从模型图像获取单元71所提供的相应的模型图像中提取特征点，从特征点周边提取局部特征量，并进行矢量描述。然后，模型图像词典存储单元73存储由模型图像获取单元71提供的相应的模型图像和与特征量提取单元72所提供的相应的模型图像对应的局部特征量。然后，匹配单元74通过使用K-NN等方法在目标模型图像的局部特征量与当前存储在模型图像词典存储单元73中的相应的模型图像的局部特征量之间进行匹配，以便获取匹配对。离群点去除单元75通过使用霍夫变换或RANSAC从匹配单元74检测到的匹配对中去除不满足几何约束的不匹配对。
在步骤S26中，离群点去除单元75判断作为识别特征点提取过程的目标的所有模型图像的匹配以及离群点去除是否已结束。如果在步骤S26中判断为：所有模型图像的匹配以及离群点去除没有结束，则过程返回到步骤S21，并重复后面的步骤。
如果在步骤S26中判断为：所有模型图像的匹配以及离群点去除已经结束，则过程进行到步骤S27，在该步骤中离群点去除单元75根据在离群点去除之后剩余的匹配对，生成相似模型图像集，并将该相似模型图像集的图像数据以及通过离群点去除而获取的匹配对的信息提供给仿射参数获取单元76。
在步骤S28中，仿射参数获取单元76根据在离群点去除之后剩余的匹配对，计算相似模型图像的所有组合中相应的相似模型图像相对于目标模型图像的仿射参数。然后，除目标模型图像、相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息之外，仿射参数获取单元76还将计算出的仿射参数提供给仿射变换单元77。
在步骤S29中，仿射变换单元77通过使用仿射参数来变换相似模型图像的所有组合中的所提供的相似模型图像，以便将相似模型图像校正为在对应于目标模型图像的成像方向以相同大小捕获的图像。仿射变换单元77将目标模型图像、通过仿射变换获取的相对于目标模型图像具有预定数量或更多的匹配对的相似模型图像以及通过离群点去除而获取的匹配对的信息提供给相关性图像生成单元78。
在步骤S30中，相关性图像生成单元78计算目标模型图像与在相似模型图像的所有组合中通过在目标模型图像的相应的特征点处进行仿射变换获取的相似模型图像之间的特征量的相关值(特征量距离)，生成目标模型图像与相似模型图像之间的相关性图像，并计算其平均值。然后，相关性图像生成单元78将相关性图像的平均值(即，表示相应的特征点处的相关值的平均值的信息)提供给识别特征点提取单元79。
在步骤S31中，识别特征点提取单元79根据目标模型图像的相应的特征点处的相对于相似模型图像的相关值的平均值，提取具有较高的识别相似模型图像之间的模型的能力的识别特征点，即，具有低于阈值的相关值的特征点或预定数量的按相关值的增序排列的特征点。然后，识别特征点提取单元79将识别特征点提供给判断单元62中的识别特征点存储单元92，并将它们寄存在其中，然后该过程结束。
在此过程中，除模型图像的特征点中的特征量之外，可以在每个模型图像中获取具有较高的识别相似模型图像之间的模型的能力的识别特征点。相应地，包括其中寄存有识别特征点的识别特征点存储单元92的判断单元62可以执行识别相似模型图像的过程。
在步骤S31中，识别特征点提取单元79可以通过将相似部分分类或通过使用分层结构，来提取相似模型图像中的识别特征点，如上面参考图8至12所描述的那样。
接下来，参考图15中所示的流程图来描述由辨识设备51中的判断单元62执行的识别过程。
在步骤S41中，查询图像获取单元93获取用于识别的查询图像。
在步骤S42中，特征量提取单元94从查询图像获取单元93所提供的查询图像中提取特征点，从特征点周边提取局部特征量，并进行矢量描述。特征量提取单元94将所提取的局部特征量的信息和查询图像提供给匹配单元95和离群点去除单元96。
在步骤S43中，匹配单元95通过使用K-NN等方法，在由特征量提取单元94提供的局部特征量和与当前存储在模型图像词典存储单元91中的模型图像对应的局部特征量之间进行匹配，以便获取匹配对。然后，匹配单元95将查询图像、相似模型图像的数据以及匹配对的信息提供给离群点去除单元96，其中相似模型图像是相对于查询图像具有预定数量或更多的匹配对的模型图像。
在步骤S44中，离群点去除单元96通过使用霍夫变换或RANSAC，从匹配单元95检测到的匹配对中去除不满足几何约束的不匹配对。
在步骤S45中，离群点去除单元96判断是否存在其匹配值等于或高于预定值的模型图像。如果在步骤S45中判断为：没有其匹配值等于或高于预定值的模型图像存在，则离群点去除单元96将判断结果提供给识别单元100，并且该过程进行到步骤S51。
如果在步骤S45中判断为：有其匹配值等于或高于预定值的模型图像存在，则过程进行到步骤S46，在该步骤中，离群点去除单元96判断是否已经提取了预定数量或更多的、具有在进行离群点去除之后剩余的其数量大于阈值的匹配对的模型图像，换言之，是否存在相似模型图像。如果在步骤S46中判断为：没有提取预定数量或更多的模型图像，则离群点去除单元96将其匹配值等于或高于预定值的模型图像和在离群点去除之后剩余的匹配对提供给识别单元100，并且进行到步骤S50。
如果在步骤S46中判断为：已提取了预定数量或更多的模型图像，则过程进行到步骤S47，在该步骤中，离群点去除单元96将预定数量或更多的、具有其数量大于阈值的剩余的匹配对的模型图像(即，相似模型图像)、查询图像以及通过离群点去除而获取的匹配对的信息提供给仿射参数获取单元97。仿射参数获取单元97根据剩余的匹配对来获取相应的相似模型图像相对于查询图像的仿射参数，并将查询图像、仿射参数以及通过离群点去除获取的匹配对的信息提供给仿射变换单元98。
在步骤S48中，仿射变换单元98通过使用仿射参数来变换所提供的相似模型图像，以便将相似模型图像校正为在对应于查询图像的成像方向以相同大小捕获的图像。仿射变换单元98将查询图像、通过仿射变换获取的相似模型图像以及通过离群点去除获取的匹配对的信息提供给识别特征点比较单元99。
在步骤S49中，识别特征点比较单元99根据存储在识别特征点存储单元92中的相应的模型图像的识别特征点，来获取通过仿射变换获取的相似模型图像中的识别特征点，计算识别特征点处的特征量，并计算相对于查询图像上的特征量的识别特征点中的相关值。
在步骤S19中，如果识别特征点提取单元79通过将相似部分分类或通过使用分层结构(如上文参考图8至12所描述的那样)，则识别特征点比较单元99根据被分类的或被分层的相应的识别特征点来计算相关值。
如果在步骤S46中判断为：没有提取预定数量或更多的匹配对，或者在步骤S49之后，则过程进行到步骤S50，在该步骤中，识别单元100根据相应的模型图像与离群点去除单元96所提供的查询图像之间的匹配对的数量，或根据相似模型图像与识别特征点比较单元99所提供的查询图像之间的识别特征点中的相关值，来识别对应于查询图像的模型图像，并将识别结果输出到识别结果输出单元101。
如果在步骤S45中判断为：没有其匹配值等于或高于预定值的模型图像存在，则过程进行到步骤S51，在该步骤中，识别单元100根据来自离群点去除单元96的通知，判断查询图像不匹配任何一个模型图像，并将判断结果输出到识别结果输出单元101。
在步骤S50或S51之后，过程进行到步骤S52，在该步骤中，识别结果输出单元101在显示单元中显示由识别单元100提供的识别结果，作为语音数据输出识别结果，或通过预定传输路径向另外的设备输出识别结果，或将该结果记录在预定的记录介质中。然后，该过程结束。
在上述过程中，图1中所示的图像11至15被登记为模型图像。当输入上面参考图4所描述的查询图像111时，可以从在许多特征点中与查询图像匹配的图像11至15中选择图像12。
在上述过程中，辨识设备51可以正确地辨识出多个相似模型之中最为相似的模型，而同时保持一般对象辨识器的抗遮挡和强健的特征。
辨识设备51作为单个设备被描述，但是，识别特征点选择单元61和判断单元62可以配置为单独的设备。
识别特征点的提取和图像的识别并非一定连续地进行。识别特征点选择单元61和判断单元62可以配置为不同的设备并且也可以单独地放置。换言之，即使对应于包括识别特征点存储单元92(存储有对应于识别特征点选择单元61的设备所生成的识别特征点)的判断单元62的设备与对应于识别特征点选择单元61的设备单独地放置，对应于判断单元62的设备也可以独立地执行识别图像的过程。
这一系列的上述过程可以通过硬件或软件来执行。构成软件的程序从记录介质被安装到合并到专用硬件中的计算机上，或被安装到多用途个人计算机中，该多用途个人计算机通过安装有各种程序而能够执行各种功能。在此情况下，通过如图16所示的个人计算机500来执行上述过程。
参看图16，CPU(中央处理单元)501根据存储在ROM(只读存储器)502中的程序，或从存储单元508加载到RAM(随机存取存储器)503中的程序来执行各种处理。RAM 503还存储了CPU 501执行各种过程所需的数据。
CPU 501、ROM 502以及RAM 503通过内部总线504相互连接。内部总线504连接到输入/输出接口505。
输入/输出接口505连接到包括键盘和鼠标的输入单元506、包括显示器(例如CRT(阴极射线管)或LCD(液晶显示器))以及扬声器的输出单元507、包括硬盘等等的存储单元508以及包括调制解调器和终端适配器的通信单元509。通信单元509通过包括电话线路和CATV(有线电视)的各种网络进行通信。
输入/输出接口505还根据需要连接到驱动器510，以及连接到可移动介质521，例如磁盘、光盘、磁光盘，或半导体存储器被装载到输入/输出接口上。根据需要，将从可移动介质521中读取的计算机程序安装到存储单元508上。
当通过软件执行这一系列的过程时，通过网络或记录介质来安装构成软件的程序。
记录介质可以是与计算机分离的封装介质，例如图16中所示的可移动介质521，该可移动介质521携带有程序并且被分配以将程序提供给用户。可替换地，记录介质也可以是硬盘，该记录介质包括ROM 502和存储单元508，该介质携带有程序并在合并到设备的主体中时被提供给用户。
在此说明书中，可以以根据所描述的顺序的时间序列来执行描述记录在记录介质上的程序的步骤。可替换地，也可以并行地或分别地执行这些步骤。
在此说明书中，系统意味着包括多个装置的整个设备。
本领域的技术人员应该理解的是，根据设计要求及其他因素，可以出现各种修改、组合、子组合和更改，而它们在所附的权利要求或其等效内容的范围内。

Claims (17)

1.一种生成用于识别图像的信息的信息处理设备，该信息处理设备包括：
模型图像获取装置，用于获取多个模型图像；
模型图像特征量提取装置，用于提取由模型图像获取装置所获取的模型图像的特征量；
匹配装置，用于对模型图像特征量提取装置所提取的模型图像的特征量进行匹配；以及
识别特征点提取装置，用于根据由匹配装置进行匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
2.根据权利要求1所述的信息处理设备，其中，匹配装置包括离群点去除装置，该离群点去除装置用于根据对模型图像的特征量进行匹配的结果去除离群点。
3.根据权利要求1所述的信息处理设备，进一步包括：
第一变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与预定的模型图像一致，
其中，识别特征点提取装置通过使用经第一变换装置进行的变换而获取的相似模型图像来提取识别特征点。
4.根据权利要求1所述的信息处理设备，进一步包括：
用于获取被辨识图像的被辨识图像获取装置；
被辨识图像特征量提取装置，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及
识别装置，用于通过获取在由识别特征点提取装置所提取的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
5.根据权利要求4所述的信息处理设备，进一步包括：
第二变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致，
其中，识别装置通过使用经第二变换装置进行的变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
6.根据权利要求1所述的信息处理设备，
其中，由识别特征点提取装置所提取的识别特征点被分类为第一组和第二组，当在第一组中的识别特征点处具有较大数量的匹配对时或当在第二组中的识别特征点处具有较小数量的匹配对时，每个模型图像都被识别为对应的相似模型图像。
7.根据权利要求1所述的信息处理设备，
其中，识别特征点提取装置分层地提取识别特征点。
8.一种用于信息处理设备的信息处理方法，该信息处理设备生成用于识别图像的信息，该信息处理方法包括如下步骤：
获取多个模型图像；
提取所获取的模型图像的特征量；
对所提取的模型图像的特征量进行匹配；以及
根据匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
9.一种使计算机执行生成用于识别图像的信息的过程的程序，该程序使计算机执行包括如下步骤的过程：
获取多个模型图像；
提取所获取的模型图像的特征量；
对所提取的模型图像的特征量进行匹配；以及
根据匹配的结果，来提取相似模型图像中与预定模型图像具有低相关性的特征点，其中所述相似模型图像是具有预定数量或更多的与预定模型图像的特征量相匹配的特征量的模型图像，所提取的特征点被视为用于识别相应的相似模型图像的识别特征点。
10.一种图像识别设备，该图像识别设备用于存储多个模型图像和模型图像的特征量，接受被辨识图像的输入以及识别对应于被辨识图像的模型图像，该图像识别设备包括：
存储装置，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像；
被辨识图像获取装置，用于获取被辨识图像；
被辨识图像特征量提取装置，用于提取由被辨识图像获取装置所获取的被辨识图像的特征量；以及
识别装置，用于通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
11.根据权利要求10所述的图像识别设备，进一步包括：
变换装置，用于对相似模型图像进行仿射变换，使得相似模型图像与被辨识图像一致，
其中，识别装置通过使用经变换装置进行变换而获取的相似模型图像，来识别对应于被辨识图像的相似模型图像。
12.根据权利要求10所述的图像识别设备，进一步包括：
匹配装置，用于对被辨识图像获取装置所获取的被辨识图像与所存储的模型图像之间的特征量进行匹配，
其中，根据匹配装置进行匹配的结果，如果有预定数量或更多的具有预定阈值的特征量或者与被辨识图像更为匹配的模型图像存在，则识别装置将预定数量或更多的模型图像视为相似模型图像，并通过获取由存储装置存储的识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
13.根据权利要求12所述的图像识别设备，
其中，匹配装置包括离群点去除装置，用于根据对模型图像间的特征量进行匹配的结果来去除离群点。
14.根据权利要求10所述的图像识别设备，
其中，由存储装置存储的识别特征点被分类为第一组和第二组，当在第一组中的识别特征点处具有较大数量的匹配对时或当在第二组中的识别特征点处具有较小数量的匹配对时，每个模型图像都被识别为对应的相似模型图像。
15.根据权利要求10所述的图像识别设备，
其中，由存储装置存储的识别特征点具有分层结构。
16.一种用于图像识别设备的图像识别方法，该图像识别设备包括：第一存储单元，用于存储多个模型图像和模型图像的特征量，以及第二存储单元，用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像，该图像识别设备接受被辨识图像的输入，并且识别对应于被辨识图像的模型图像，该图像识别方法包括如下步骤：
获取被辨识图像；
提取所获取的被辨识图像的特征量；以及
通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
17.一种使计算机通过使用存储在第一存储单元和第二存储单元中的信息来执行识别对应于所输入的被辨识图像的模型图像的过程的程序，其中第一存储单元用于存储多个模型图像和模型图像的特征量，而第二存储单元用于存储相似模型图像中的识别特征点，所述识别特征点是在相似模型图像间具有低相关性的特征点，所述相似模型图像是具有预定数量或者更多的与其他模型图像中的任何一个模型图像的特征量相匹配的特征量的多个模型图像，该程序使计算机执行包括如下步骤的过程：
获取被辨识图像；
提取所获取的被辨识图像的特征量；以及
通过获取识别特征点中相似模型图像与被辨识图像之间的特征量的相关性，来识别对应于被辨识图像的相似模型图像。
CN2008101683880A 2007-11-01 2008-10-30 信息处理设备及方法、图像识别设备及方法，以及程序 Expired - Fee Related CN101425144B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-285164 2007-11-01
JP2007285164 2007-11-01
JP2007285164A JP5018404B2 (ja) 2007-11-01 2007-11-01 画像識別装置および画像識別方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
CN101425144A true CN101425144A (zh) 2009-05-06
CN101425144B CN101425144B (zh) 2012-05-23

Family

ID=40615748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101683880A Expired - Fee Related CN101425144B (zh) 2007-11-01 2008-10-30 信息处理设备及方法、图像识别设备及方法，以及程序

Country Status (3)

Country Link
US (1) US8374437B2 (zh)
JP (1) JP5018404B2 (zh)
CN (1) CN101425144B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136843A (zh) * 2011-09-13 2013-06-05 株式会社理光 图像检查装置和图像检查方法
CN103548036A (zh) * 2011-05-17 2014-01-29 松下电器产业株式会社 字符串提取方法和字符串提取装置
US9064171B2 (en) 2010-07-30 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Detection device and method for transition area in space
CN104915675A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法以及图像处理程序
CN105009170A (zh) * 2012-12-28 2015-10-28 日本电气株式会社 物体识别设备、方法和存储介质
CN105956022A (zh) * 2016-04-22 2016-09-21 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
CN112800858A (zh) * 2017-07-06 2021-05-14 创新先进技术有限公司 一种模型配置以及图像识别的方法及装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5018404B2 (ja) * 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
JP5164222B2 (ja) * 2009-06-25 2013-03-21 Ｋｄｄｉ株式会社 画像検索方法およびシステム
US20110103965A1 (en) * 2009-10-30 2011-05-05 General Electric Company Wind turbine blades
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
CN101839722A (zh) * 2010-05-06 2010-09-22 南京航空航天大学 一种中低空下目标自动识别及载体高精度定位方法
ES2384928B1 (es) * 2010-06-25 2013-05-20 Telefónica, S.A. Método y sistema para la identificación rápida y robusta de productos específicos en imágenes.
JP5755046B2 (ja) 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP2013156722A (ja) * 2012-01-27 2013-08-15 Sony Corp 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム
US9430876B1 (en) * 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
CN104584071B (zh) * 2012-08-23 2018-01-26 日本电气株式会社 物体识别装置、物体识别方法
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US20160070985A1 (en) * 2013-05-02 2016-03-10 Konica Minolta Inc. Image processing apparatus, image processing method, and storage medium storing image processing program thereon
CN105659287B (zh) 2013-08-28 2018-08-17 株式会社理光 图像处理装置、图像处理方法和成像系统
JP6047475B2 (ja) * 2013-11-12 2016-12-21 チームラボ株式会社 画像認識装置、画像認識方法及び画像認識プログラム
TW201531960A (zh) * 2013-11-14 2015-08-16 Sicpa Holding Sa 用於驗證產品的圖像分析
US10055670B2 (en) 2014-03-14 2018-08-21 Omron Corporation Image recognition device, image sensor, and image recognition method using feature
JP6431302B2 (ja) * 2014-06-30 2018-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10210427B2 (en) * 2014-07-09 2019-02-19 Slyce Acquisition Inc. Systems, methods, and devices for image matching and object recognition in images
JP6304815B2 (ja) * 2014-08-08 2018-04-04 Kddi株式会社 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
JP5933675B1 (ja) * 2014-12-09 2016-06-15 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
US10121237B1 (en) * 2017-04-17 2018-11-06 Rohr, Inc. Component inspection method
US10902257B2 (en) 2017-04-24 2021-01-26 Patek Philippe Sa Geneve Method for identifying a timepiece
JP6958719B2 (ja) 2018-03-05 2021-11-02 日本電気株式会社 画像解析装置、画像解析方法および画像解析プログラム
CN110580488B (zh) * 2018-06-08 2022-04-01 中南大学 基于字典学习的多工况工业监测方法、装置、设备及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01102688A (ja) * 1987-10-15 1989-04-20 Nec Corp パターン認識方式
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JP2000123186A (ja) * 1998-10-14 2000-04-28 Canon Inc 被写体認識装置
JP2002183667A (ja) * 2000-12-12 2002-06-28 Ricoh Co Ltd 文字認識装置及び記録媒体
JP4323784B2 (ja) * 2002-12-03 2009-09-02 キヤノン株式会社 文字認識方法
US7417645B2 (en) * 2003-03-27 2008-08-26 Microsoft Corporation Markup language and object model for vector graphics
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
CN1894703B (zh) * 2003-12-16 2011-04-20 佳能株式会社 模式识别方法和设备
US8050491B2 (en) * 2003-12-17 2011-11-01 United Technologies Corporation CAD modeling system and method
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
JP2005210526A (ja) * 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP2006252272A (ja) * 2005-03-11 2006-09-21 Casio Comput Co Ltd 画像識別装置、画像識別処理プログラム、画像識別処理方法、および登録画像データのデータ構造
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US8254690B2 (en) * 2007-10-19 2012-08-28 Sony Corporation Information processing apparatus, information processing method, and program
JP5018404B2 (ja) * 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064171B2 (en) 2010-07-30 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Detection device and method for transition area in space
CN103548036A (zh) * 2011-05-17 2014-01-29 松下电器产业株式会社 字符串提取方法和字符串提取装置
CN103548036B (zh) * 2011-05-17 2014-10-22 松下电器产业株式会社 字符串提取方法和字符串提取装置
CN103136843B (zh) * 2011-09-13 2015-09-30 株式会社理光 图像检查装置和图像检查方法
CN103136843A (zh) * 2011-09-13 2013-06-05 株式会社理光 图像检查装置和图像检查方法
CN105009170A (zh) * 2012-12-28 2015-10-28 日本电气株式会社 物体识别设备、方法和存储介质
US9633278B2 (en) 2012-12-28 2017-04-25 Nec Corporation Object identification device, method, and storage medium
CN105009170B (zh) * 2012-12-28 2018-04-17 日本电气株式会社 物体识别设备、方法和存储介质
CN104915675A (zh) * 2014-03-14 2015-09-16 欧姆龙株式会社 图像处理装置、图像处理方法以及图像处理程序
CN105956022A (zh) * 2016-04-22 2016-09-21 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
US10846514B2 (en) 2016-04-22 2020-11-24 Tencent Technology (Shenzhen) Company Limited Processing images from an electronic mirror
CN105956022B (zh) * 2016-04-22 2021-04-16 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
CN112800858A (zh) * 2017-07-06 2021-05-14 创新先进技术有限公司 一种模型配置以及图像识别的方法及装置
CN112800858B (zh) * 2017-07-06 2024-04-26 创新先进技术有限公司 一种模型配置以及图像识别的方法及装置

Also Published As

Publication number Publication date
US20090141984A1 (en) 2009-06-04
US8374437B2 (en) 2013-02-12
CN101425144B (zh) 2012-05-23
JP2009116385A (ja) 2009-05-28
JP5018404B2 (ja) 2012-09-05

Similar Documents

Publication Publication Date Title
CN101425144B (zh) 信息处理设备及方法、图像识别设备及方法，以及程序
CN101853391B (zh) 信息处理设备和方法
US7961948B2 (en) Computer-readable record medium in which a telop character extraction program is recorded, telop character extraction method and telop character extraction apparatus
US8934724B2 (en) Image recognition device, image recognizing method, storage medium that stores computer program for image recognition
Lu et al. A novel approach for video text detection and recognition based on a corner response feature map and transferred deep convolutional neural network
US20080267452A1 (en) Apparatus and method of determining similar image
Bhosale Swapnali et al. Feature extraction using surf algorithm for object recognition
CN100474331C (zh) 字符串识别装置
CN108875623B (zh) 一种基于图像特征融合对比技术的人脸识别方法
CN102982305A (zh) 信息处理设备和处理信息的方法、存储介质以及程序
CN110647820A (zh) 基于特征空间超分辨映射的低分辨率人脸识别方法
CN112613508A (zh) 一种物体识别方法、装置及设备
CN112668562B (zh) 一种客户识别方法及装置
CN109166093B (zh) 一种图像显著区域检测方法
Gllavata et al. Unsupervised text segmentation using color and wavelet features
WO2017179728A1 (ja) 画像認識装置、画像認識方法および画像認識プログラム
Saranya et al. An approach towards ear feature extraction for human identification
JP2002117409A (ja) 画像処理方法及びその装置
CN115050069A (zh) 基于深度学习的人脸及属性识别方法、系统及计算机设备
CN113705666A (zh) 分割网络训练方法、使用方法、装置、设备及存储介质
Jaimes et al. Integrating multiple classifiers in visual object detectors learned from user input
Li et al. A robust and low-complexity video fingerprint for multimedia security
Yu et al. Hausdorff distance for shape matching
CN112101330B (zh) 图像处理方法、装置、电子设备以及存储介质
Cretu et al. Visual Attention Model with Adaptive Weighting of Conspicuity Maps for Building Detection in Satellite Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20151030

EXPY Termination of patent right or utility model