CN1162793C - 利用形状进行目标表示与检索的方法和装置 - Google Patents

利用形状进行目标表示与检索的方法和装置 Download PDF

Info

Publication number
CN1162793C
CN1162793C CNB008097860A CN00809786A CN1162793C CN 1162793 C CN1162793 C CN 1162793C CN B008097860 A CNB008097860 A CN B008097860A CN 00809786 A CN00809786 A CN 00809786A CN 1162793 C CN1162793 C CN 1162793C
Authority
CN
China
Prior art keywords
target
image
view
descriptor
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB008097860A
Other languages
English (en)
Other versions
CN1359499A (zh
Inventor
M
M·博贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Technology Centre Europe BV Great Britain filed Critical Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Publication of CN1359499A publication Critical patent/CN1359499A/zh
Application granted granted Critical
Publication of CN1162793C publication Critical patent/CN1162793C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface

Abstract

本发明涉及供检索使用的对出现在静止或视频图像中的目标进行表示的方法，其中的目标出现在具有第一的二维外形的图像中，通过对相应图像的信号进行处理，包括导出该目标第一外形的视图描述符以及导出至少一个在不同视图中的目标的外形的视图描述符，并且将二个或者更多的视图描述符进行关联以形成一个目标描述符。

Description

利用形状进行目标表示与检索的方法和装置
本发明涉及利用形状对图像中的目标进行表示的方法和装置，特别在检索中使用。本发明还涉及利用形状表示对图像中的目标进行检索的方法和装置。
众所周知，利用出现在图像中的目标的表示来存储静止或者视频图像，例如在图像库中。在检索方法中使用这些表示使得图像包含供以后要恢复的令人感兴趣的目标。这些表示可以基于目标的各种不同的特征包括：色彩、纹理和形状。
已知有许多方法用于表示图像中目标的形状。已知的方法包括链式编码(chain coding)、四树法(quad-tree)和曲率标度表示(curvature scale space representation)法。
为了在图像检索系统中进行检索，用户通过给系统提供被搜寻目标的草图或图像，或者选择一幅存储在系统中目标的视图来输入查询。然后，该系统导出或获得该查询目标的一个表示并且通过适当的匹配算法将该查询表示与存储在数据库中的表示进行比较。将最接近的匹配表示在显示单元上。
在大多数情况下，出现在视频图像中的目标是三维真实目标在二维图像平面上的投影。所以，出现在图像中目标的二维形状或外形依赖于诸如观察位置、观察角度以及拍摄装置和光学系统参数等因素。因此，目标将具有与不同的观察视图相关的不同的外形。
已知的图像数据库系统的一个缺点是具有不同外形的一个目标的不同的视图被处理成了不同的目标。作为结果，例如，如果用户输入一个基于目标A的前视图的查询，并且该目标A只出现在来自后视图和侧视图的视频序列中，结果无法成功匹配并且无法恢复该目标。
本发明提供了一种对出现在数字图像中的目标进行表示的方法，该方法包括导出对应于该目标的多个不同的二维视图的表示
本发明还提供了一种匹配目标的方法，该方法包括通过处理对应于目标图像的信号，输入查询和将该查询与目标的不同视图的多个表示进行比较，以发现最接近的一个匹配或一些匹配。
下面将参照以下附图描述本发明的实施方案：
图1是根据本发明的实施方案的系统的方框图；
图2是展示如何获得针对一个目标的描述符的示意图；
图3是展示如何获得针对目标的描述符的流程图；
图4是展示用于检索的设备和方法示意图；
图5是展示检索方法的流程图。
图1展示了一个根据本发明的实施方案的系统。该系统包括控制单元2例如用于控制系统运行的计算机、与控制单元2相连接用于显示包括图像和文字的输出的显示单元4例如监视器、以及给控制单元2输入指令的指示装置6例如鼠标。该系统还包括存储多个视频序列的数字版本的图像数据库8以及存储描述符信息的描述符数据库10，这将在下文中针对出现在存储图像数据库中的视频序列中的每一个的目标进行更详细的描述。图像数据库8和描述符数据库10中的每一个数据库都与控制单元2相连接。
在该实施方案中，系统元在一个单一位置例如图像库被提供，在该位置上系统部件被永久链接。
参照图2和图3将对根据本发明的实施方案的目标的描述符的导出方法进行描述。将针对一个具有相对简单形状的的目标，目前情况下是一个圆柱形目标对该方法进行描述。
在该实例中，该圆柱形目标在存储在图像数据库8中的视频序列中出现二次。参照图2，第一次出现时该目标外形对应视图1，该视图是一个侧视图，第二次出现时该目标的外形对应于视图3，该视图是侧视图和俯视图。
现在参照图3对该方法的步骤进行描述。
数据库索引器(database indexer)认为二个外形属于同一个目标以及该三维目标对应的外形是一个圆柱形(步骤10)。对于视图1和视图3中的每一个，采用曲率标度空间(CSS)表示来导出形状描述符(步骤20)。另外，该数据库索引器选择任意另外的被认为能代表目标的视图，即使它们不在被考虑的视频序列中出现(步骤30)。在该实例中，选择视图2即该圆柱体的俯视图作为代表。也获得了该视图的CSS表示(步骤40)。
Farzin Mokhtarian，Sadegh Abbassi，Josef Kittler等人的“通过曲率标度空间进行加强和有效的形状指标化”不列颠机器版本大会会议录，53页-62页，爱丁堡，英国，1964年(“Robust andEfficient Shape Indexing through Curvature Scale Space”FarzinMokhtarian，Sadegh Abbassi，Josef Kittler，Proc.BritishMachine Vision Conference，pp.53-62，Edinburgh，UK，1964)一文对曲率标度空间表示进行了描述并且结合在此作为参考。简要说来，形状外形的曲率表示是采用对曲线平滑来进行的。该曲线被考虑成许多的不同的演化阶段。更具体而言，在演化的每一个阶段的曲率函数中确认曲率的零交叉。通过将这些来自所有演化步骤的零交叉组合得到一个曲率零交叉图。该图的一个轴对应σ，它代表曲线的演化参数并且另一个轴对应曲线的弧长参数υ。那么形状由图形中的轮廓线最大值的位置表示。
除了该目标的代表视图的CSS形状表示，还获得了一个独立于该目标视图的全局三维形状参数(步骤50)。在该实例中，该全局参数是目标在现实生活中的体积。该体积可能已知，或者参照出现在视频序列中的其它目标可以大致估计，例如可以大致估计人的外形尺寸。
将全局参数与该视图形状描述符组合形成三维目标形状描述符(步骤60)。
对所有令人感兴趣的出现在图像数据库8中的图像中的目标可以通过上述方式获得三维目标形状描述符。根据任何给定目标的复杂程度来使用该目标的视图的数目以及这些视图。有些目标在三维目标描述符中可能没有全局参数，例如如果不知道或者不容易导出体积值。每一视图有一个参考指针指明它在视频序列中的哪一帧中出现，以及是该帧中的哪一个目标，例如，目标的视图可以具有一个指针指明它出现在第1000帧中并且是第3号目标。
在采用不同形状表示方法中的其它实施方案中，该视图的数目和特征依赖于所使用的形状表示。例如，对由于视图几何变化引起的形状变形不敏感的方法需要较小的视图数目。
该描述符数据库10为存储在图像数据库8中的视频序列中的目标存储三维目标形状描述符。
现在参照图4和图5对在视频序列中进行目标检索的方法进行描述。
用户通过输入查询来启动检索。该查询通过指示装置6在显示单元4上画出一个或者更多的形状外形(步骤62)。在该实例中，输入了二个查询外形100。这些是查询视图。该用户还输入了代表他正在检索的目标的体积参数(步骤64)。
然后，控制单元2对每一个查询视图导出CSS视图描述符(步骤66)。
在另一个实施方案中，用户通过选择一个查询形状或者从由控制单元2在显示单元4上显示的形状菜单中选择形状来输入查询。在该实施方案中，有可能在描述符数据库10中已经能够获得该视图描述符。
该查询体积参数与该查询视图描述符被组合形成一个三维的目标描述符。
然后系统为确定该查询目标描述符与存储在描述符数据库10中的目标描述符之间的相似性进行匹配操作，这在下文中被描述为模型目标描述符(model object descriptor)。在描述符数据库中有选择器205按照顺序选择每一个模型目标描述符(步骤68)并且对每一个目标描述符按照其顺序进行以下步骤。
首先，由比较器200获得一个全局相似测度(global similaritymeasure)GS(步骤70)，对查询目标描述符和模型目标描述符使用该全局参数。在该实施方案中，通过将查询体积参数与模型体积参数之比作为从数据库中采用的描述符来导出GS。如果该比位于间隔(1/c，c)中其中c＞1，那么认为目标相似并且GS取值为0。不然的话，GS取值为无穷大。C的值根据应用而定。例如，对电影片，c＝5。
如果至少查询描述符和模型目标描述符中的一个不具有全局参数值，那么GS＝0。
如果GS≠0那么从该描述符数据库中选一个新的模型目标描述符；如果GS＝0，那么进行如下的视图描述符比较(步骤72)。
利用匹配功能在比较器810中将每一个查询视图描述符与每一个针对被考虑的模型目标描述符的视图描述符进行比较以导出视图相似测度(步骤74)。第i个查询视图描述符与第j模型视图描述符的比较导致产生一个视图相似测度sij。
更详细的描述如下，利用选择器600选择该查询视图描述符并且利用选择器700选择该数据库视图描述符。首先，将针对第一查询视图的视图描述符与来自数据库的模型目标描述符中的每一个视图描述符进行比较。为每一对利用合适的匹配算法计算视图相似值s。在本实施方案中，利用在上述Mokhtarian，Abbasi和Kittler一文中所描述的匹配算法计算视图相似值s。在使用该具体的相似测度时，该视图相似值越小，该匹配就越接近。这导致对该第一查询视图产生一组k个视图相似测度，这里k是被考虑模型目标描述符中的视图描述符的数目，并且该k个测度被存储在全局和局部相似组合器(combiner)820中。
然后计算视图相似值并将其存储以便采用相似的方式对第二查询视图描述符和来自数据库的模型视图描述符进行处理，由此得到另外k个视图相似测度。
对于每一个查询视图，选择最小的视图相似值给被考虑数据描述符(步骤76)。该最小值是各自查询视图与被考虑的目标描述符中的视图中的一个之间匹配最为接近的测度。这导致产生p个最小视图相似值，这里p是查询视图的数目。在该实例中，p＝2。
针对该查询描述符和该被考虑模型目标描述符采用一个总相似测度S作为p个相似值的媒介(步骤78)。它表示该查询描述符与考虑了所有视图的模型目标描述符之间的匹配接近程度。因此，如果一个查询视图与该数据库描述符中的一个视图紧密地匹配而其它查询视图不能与数据库描述符中的任何视图紧密地匹配，那么这在S中以一个中间值反映出来。
对描述符数据库8中的每一个目标描述符重复上述步骤，结果产生n个相似测度S，其中n是该描述符数据库中的三维目标描述符的数目(步骤80)。然后从指明最接近的最低值开始对这n个相似测度进行排序(步骤82)。然后选定m个最低值，其中m是由用户选定或者控制单元装置确定的一个值，并且在显示单元4上显示来自对应于包括该目标的m个视频序列中的每一个的图像(步骤84)。
根据本发明，将一个单一目标的多个视图进行存储以形成一个完整的或者半完整的外形形状的描述。如果仅存储被认为是对恢复重要的视图，那么该表示可以半完整的。例如，对典型的存储正片的数据库，只将汽车的前、后和俯视图作为统一的表示来存储，但是没有将汽车的底视图存储，因为不可能采用该视图作为查询。
根据本发明的系统可以提供给，例如图像库。另一种情况，该数据库与系统控制单元的距离可以很远，该数据库通过临时连接如电话线或者互联网与控制单元相连接。可以在永久存储或者便携式数据存储介质诸如，CD-ROM或者DVD中提供图像和描述符数据库。
所述系统的部件诸如选择器和比较器可以以软件或者硬件的形式提供。尽管对本发明以计算机系统的形式进行了描述，但是它可以以其它的形式实施，例如采用专用芯片。
虽然给出了表示二维形状目标的方法以及计算表示2个形状之间相似值的方法的具体实例，但是可以采用任何适合的这种方法。
构成完整或者半完整的形状描述的各种目标视图可以由例如制片商提供。例如，在影片中包括一辆汽车，制片商可以安排拍摄20张不同的汽车视图供在数据库中对影片标注索引使用。另一种情况，可以在目标的所有不同的视图之间按照顺序提供链接使得可以找到该视图，并且当包括了该目标的第一幅视图的数据时，例如，可以提供不出现在该序列中的任何有用视图的形状。
例如，本发明还可以用于出于检验或者过滤的目的而进行的图像匹配。
本发明可以应用于单一图像，以及按照图像顺序的图像，诸如来自影片或者视频图像的图像，或者以某种方式相关联的图像集，诸如位于相同网页上的图像。

Claims (12)

1.一种通过处理对应于图像的信号生成数据的方法，所述数据表示出现在所述图像中的目标，其中所述目标在所述图像中显示为具有第一二维外形，所述方法包括以下步骤：
导出所述目标的第一外形的视图描述符和导出所述目标的外形在不同视图中的至少一个另外的视图描述符；和
将这二个或多个视图描述符进行关联，以形成目标描述符，其中使用曲率标度空间表示来导出所述视图描述符。
2.如权利要求1所述的方法，其中所述图像是一个图像序列的一部分，并且至少一个另外的视图描述符对应于出现在所述图像序列中的其它地方的所述目标的视图。
3.如权利要求1或2所述的方法，其中所述图像来自视频。
4.如权利要求1或2所述的方法，还包括导出所述目标的一个描述符，其中所述描述符与所述目标的形状和/或尺寸相关并且与所述目标在所述图像中的视图无关。
5.如权利要求4所述的方法，其中所述与视图无关的描述符对应于所述目标的体积。
6.一种用于生成数据的系统，所述数据表示出现在图像中的目标，其中所述目标在所述图像中显示为具有第一二维外形，所述系统包括：
控制单元，用于控制所述系统的操作；
其中所述控制单元通过处理对应于所述图像的信号来导出所述目标的第一外形的视图描述符和导出所述目标的外形在不同视图中的至少一个另外的视图描述符，并且将这二个或多个视图描述符进行关联，以形成目标描述符，其中使用曲率标度空间表示来导出所述视图描述符。
7.如权利要求6所述的系统，包括图象数据库和描述符数据库，其中所述图象数据库存储数字版本的多个图像，所述描述符数据库存储用于出现在存储在所述图像数据库中的图像中的目标的描述符信息，其中所述图像数据库和所述描述符数据库均连接到所述控制单元。
8.如权利要求6或7所述的系统，包括：
显示单元，连接到所述控制单元，用于显示输出；和
用于将指令输入到所述控制单元的装置。
9.如权利要求6或7所述的系统，其中所述图像是一个图像序列的一部分，并且至少一个另外的视图描述符对应于出现在所述图像序列中的其它地方的所述目标的视图。
10.如权利要求6或7所述的系统，其中所述图像来自视频。
11.如权利要求6或7所述的系统，其中所述控制单元附加地或替换地导出所述目标的一个描述符，其中所述描述符与所述目标的形状和/或尺寸相关并且与所述图像中的视图无关。
12.如权利要求11所述的系统，其中所述与视图无关的描述符对应于所述目标的体积。
CNB008097860A 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置 Expired - Lifetime CN1162793C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9909963.2 1999-04-29
GB9909963A GB2349493B (en) 1999-04-29 1999-04-29 Method of representing an object using shape

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100343968A Division CN100430935C (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置

Publications (2)

Publication Number Publication Date
CN1359499A CN1359499A (zh) 2002-07-17
CN1162793C true CN1162793C (zh) 2004-08-18

Family

ID=10852535

Family Applications (4)

Application Number Title Priority Date Filing Date
CNA2006100956769A Pending CN1979481A (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置
CNA2006100956754A Pending CN1979480A (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置
CNB008097860A Expired - Lifetime CN1162793C (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置
CNB2004100343968A Expired - Lifetime CN100430935C (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CNA2006100956769A Pending CN1979481A (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置
CNA2006100956754A Pending CN1979480A (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB2004100343968A Expired - Lifetime CN100430935C (zh) 1999-04-29 2000-04-28 利用形状进行目标表示与检索的方法和装置

Country Status (8)

Country Link
US (3) US7362921B1 (zh)
EP (4) EP2312471A1 (zh)
JP (4) JP5121086B2 (zh)
KR (4) KR100937270B1 (zh)
CN (4) CN1979481A (zh)
AU (1) AU4766900A (zh)
GB (2) GB2375212B (zh)
WO (1) WO2000067151A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803991A (zh) * 2009-06-03 2012-11-28 学校法人中部大学 物体检测设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2375212B (en) * 1999-04-29 2003-06-11 Mitsubishi Electric Inf Tech Method and apparatus for searching for an object using shape
GB2391678B (en) * 1999-07-05 2004-05-05 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
GB2352076B (en) * 1999-07-15 2003-12-17 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US6625607B1 (en) * 1999-07-22 2003-09-23 Parametric Technology Corporation Method of comparing parts
GB2364590B (en) 2000-07-07 2004-06-02 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image
US20040207656A1 (en) * 2001-06-30 2004-10-21 Sang-Youn Lee Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
KR100477801B1 (ko) 2002-12-26 2005-03-22 한국전자통신연구원 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법
JP4516957B2 (ja) 2003-01-25 2010-08-04 パーデュー リサーチ ファンデーション ３次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造
US20060238919A1 (en) * 2005-04-20 2006-10-26 The Boeing Company Adaptive data cleaning
JP4542013B2 (ja) * 2005-09-29 2010-09-08 富士フイルム株式会社 プリント注文システム、プログラム、プログラム記憶媒体、およびプリント注文サーバ
CN101246475B (zh) * 2007-02-14 2010-05-19 北京书生国际信息技术有限公司 一种基于版面信息的检索方法
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
US8473481B2 (en) * 2009-03-16 2013-06-25 Microsoft Corporation Object recognition and library
KR100971777B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US8555192B2 (en) * 2010-06-03 2013-10-08 Microsoft Corporation Sketching and searching application for idea generation
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
JP5660067B2 (ja) * 2012-03-21 2015-01-28 カシオ計算機株式会社 画像検索システム、画像検索装置、画像検索方法、及びプログラム
US10645345B2 (en) * 2012-07-03 2020-05-05 Verint Americas Inc. System and method of video capture and search optimization
CN108197631B (zh) * 2012-07-23 2022-06-28 苹果公司 提供图像特征描述符的方法
US9684881B2 (en) 2013-06-26 2017-06-20 Verint Americas Inc. System and method of workforce optimization
US9299007B2 (en) * 2014-01-28 2016-03-29 Ncr Corporation Methods and apparatus for item identification using brightness compensation
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10628132B2 (en) * 2016-09-15 2020-04-21 Oracle International Corporation Inversion of control framework for multiple behaviors of a process
US11294644B2 (en) 2016-09-16 2022-04-05 Oracle International Corporation Inversion of control framework for multiple behaviors on top of a process
US10691979B2 (en) * 2017-01-04 2020-06-23 Aquifi, Inc. Systems and methods for shape-based object retrieval
CN109344750B (zh) * 2018-09-20 2021-10-22 浙江工业大学 一种基于结构描述子的复杂结构三维对象识别方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE790510A (fr) * 1971-11-04 1973-02-15 Rothfjell Rolf E Procede pour l'identification de personnes en utilisant des courbes caracteristiques selectionnees du corps
GB1537322A (en) * 1975-01-30 1978-12-29 Agency Ind Science Techn Apparatus for recognition of approximate shape of an article
US4179824A (en) * 1978-05-04 1979-12-25 The Singer Company Simulation of an object system formed by polygon faces having a series of fundamental shapes and dimension
GB2085629B (en) * 1980-10-17 1984-08-08 Micro Cosultants Ltd Object recognition
US4882679A (en) * 1987-11-27 1989-11-21 Picker International, Inc. System to reformat images for three-dimensional display
US5144685A (en) 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
CA2069976A1 (en) 1991-05-31 1992-12-01 Shin-Ichi Nakazawa Retrieval system for graphic information
EP0562672A3 (en) 1992-03-22 1994-07-13 Igp Res & Dev Ltd Process of picture representation by data compression
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
JPH06347235A (ja) * 1993-06-07 1994-12-20 N T T Data Tsushin Kk パターン識別装置
US5850490A (en) * 1993-12-22 1998-12-15 Xerox Corporation Analyzing an image of a document using alternative positionings of a class of segments
JP2812168B2 (ja) * 1993-12-27 1998-10-22 松下電器産業株式会社 形状データ圧縮方法および形状データ伸長方法
US5682468A (en) 1995-01-23 1997-10-28 Intergraph Corporation OLE for design and modeling
US5852823A (en) * 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
WO1998021688A1 (en) * 1996-11-15 1998-05-22 Sarnoff Corporation Method and apparatus for efficiently representing, storing and accessing video information
US5901245A (en) 1997-01-23 1999-05-04 Eastman Kodak Company Method and system for detection and characterization of open space in digital images
JPH10222792A (ja) * 1997-02-05 1998-08-21 Kotaro Kishi 車両用障害物監視装置
US6016487A (en) * 1997-03-26 2000-01-18 National Research Council Of Canada Method of searching three-dimensional images
US6631364B1 (en) 1997-03-26 2003-10-07 National Research Council Of Canada Method of searching 3-Dimensional images
JPH1185985A (ja) * 1997-09-02 1999-03-30 Adoin Kenkyusho:Kk 画像による対象登録方法及び画像による対象照合方法、画像による対象照合装置、並びに、画像による対象照合プログラムを格納した記憶媒体
JP3577908B2 (ja) * 1997-09-04 2004-10-20 富士通株式会社 顔画像認識システム
US6366797B1 (en) * 1998-08-25 2002-04-02 The Cleveland Clinic Foundation Method and system for brain volume analysis
US6591004B1 (en) * 1998-09-21 2003-07-08 Washington University Sure-fit: an automated method for modeling the shape of cerebral cortex and other complex structures using customized filters and transformations
GB2375212B (en) * 1999-04-29 2003-06-11 Mitsubishi Electric Inf Tech Method and apparatus for searching for an object using shape
GB2391678B (en) 1999-07-05 2004-05-05 Mitsubishi Electric Inf Tech Method and apparatus for representing and searching for an object in an image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102803991A (zh) * 2009-06-03 2012-11-28 学校法人中部大学 物体检测设备
CN102803991B (zh) * 2009-06-03 2014-06-04 学校法人中部大学 物体检测设备

Also Published As

Publication number Publication date
JP2010055651A (ja) 2010-03-11
US7362921B1 (en) 2008-04-22
US20080065614A1 (en) 2008-03-13
CN100430935C (zh) 2008-11-05
GB9909963D0 (en) 1999-06-30
JP2002543526A (ja) 2002-12-17
JP2011096286A (ja) 2011-05-12
JP5121086B2 (ja) 2013-01-16
GB0216853D0 (en) 2002-08-28
EP2309402A1 (en) 2011-04-13
GB2349493A (en) 2000-11-01
KR100937270B1 (ko) 2010-01-18
WO2000067151A1 (en) 2000-11-09
US7769248B2 (en) 2010-08-03
GB2375212A (en) 2002-11-06
KR20070064686A (ko) 2007-06-21
KR20020006712A (ko) 2002-01-24
CN1979480A (zh) 2007-06-13
CN1359499A (zh) 2002-07-17
KR20080104076A (ko) 2008-11-28
US7877414B2 (en) 2011-01-25
CN1534521A (zh) 2004-10-06
KR100925081B1 (ko) 2009-11-04
GB2375212B (en) 2003-06-11
US20080065615A1 (en) 2008-03-13
EP2312472A1 (en) 2011-04-20
GB2349493B (en) 2002-10-30
KR100809828B1 (ko) 2008-03-07
JP2000339477A (ja) 2000-12-08
EP1183624A1 (en) 2002-03-06
KR20080050538A (ko) 2008-06-05
CN1979481A (zh) 2007-06-13
EP2312471A1 (en) 2011-04-20
KR100874787B1 (ko) 2008-12-18
AU4766900A (en) 2000-11-17

Similar Documents

Publication Publication Date Title
CN1162793C (zh) 利用形状进行目标表示与检索的方法和装置
CN1242351C (zh) 表示和搜索图像中的对象的方法和装置
GB2493514A (en) Using a measure of depth to detect if video data derives from a reference video
CN114694185A (zh) 一种跨模态目标重识别方法、装置、设备及介质
CN110750671A (zh) 一种基于海量非结构化特征的行人检索方法及装置
JP6778625B2 (ja) 画像検索システム、画像検索方法及び画像検索プログラム
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN115239763A (zh) 一种基于中心点检测和图匹配的平面目标跟踪方法
CN115082627A (zh) 3d舞台模型生成方法、装置、电子设备及可读存储介质
CN115641499A (zh) 基于街景图特征库的拍照实时定位方法、设备及存储介质

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MITSUBISHI ELECTRIC CO., LTD.

Free format text: FORMER OWNER: MITSUBISHI ELECTRIC INFORMATION TECHNOLOGY CENTRE EUROPE B.V.

Effective date: 20060407

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20060407

Address after: Tokyo, Japan, Japan

Patentee after: Missubishi Electric Co., Ltd.

Address before: surrey

Patentee before: Mitsubishi Electric Information Technology Centre Europe B.V.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190604

Address after: Tokyo, Japan, Japan

Patentee after: Rakuten Inc.

Address before: Tokyo, Japan, Japan

Patentee before: Mitsubishi Electric Corporation

CX01 Expiry of patent term

Granted publication date: 20040818

CX01 Expiry of patent term