CN1242351C - 表示和搜索图像中的对象的方法和装置 - Google Patents
表示和搜索图像中的对象的方法和装置 Download PDFInfo
- Publication number
- CN1242351C CN1242351C CNB018123260A CN01812326A CN1242351C CN 1242351 C CN1242351 C CN 1242351C CN B018123260 A CNB018123260 A CN B018123260A CN 01812326 A CN01812326 A CN 01812326A CN 1242351 C CN1242351 C CN 1242351C
- Authority
- CN
- China
- Prior art keywords
- view
- image
- description symbol
- control module
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000010586 diagram Methods 0.000 claims description 7
- 230000005055 memory storage Effects 0.000 claims 2
- 238000005259 measurement Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99943—Generating database or data structure, e.g. via user interface
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种表示图像中出现的对象的方法，该方法包括导出所述对象的多个视图描述符，各个视图描述符对应于所述对象的不同视图，并将两个或两个以上视图描述符相联系，所述方法包括为各个视图描述符指示何时相应的视图对应于图像中出现的对象的视图。
Description
技术领域
本发明涉及用于表示图像中的对象的方法和装置，尤其是用于例如在多媒体数据库中搜索的方法和装置。本发明还涉及用于搜索图像中的对象的方法和装置。
背景技术
众所周知，利用出现在图像中的对象的表示，例如在图像库中存储静止或视频图像。表示用在搜索方法中使包含感兴趣的对象的图像能够被检索。表示可能基于对象的各种特征，包括色彩、纹理和形状。
已知各种用于表示图像中对象的形状的方法。已知方法包括链码法、四元树法以及曲率标度空间表示法。
为了在图像搜索系统中进行搜索，用户通过向系统提供所找对象的草图或图像，或者通过选择存储在系统中的对象的视图，从而输入查询。然后系统导出或获取查询对象的表示，并且把查询表示与存储在数据库中的图像表示通过适当的匹配方法进行比较。把最接近的匹配结果显示在显示器上。
在大多数情况下，出现在视频图像中的对象是三维实物在二维像平面上的投影。因而，出现在图像中的对象的二维形状或轮廓以及可见对象表面的色彩和纹理取决于诸如观察位置、观察角度以及摄相机和光学系统参数之类的因素。因此，对象具有与不同视图相关的诸如轮廓、形状、色彩、纹理等不同的特征。
将本申请的共同待审的专利申请PCT/GB00/01662通过引用结合于此，该申请公开了一种用于表示出现在图像中的对象的方法和装置，其中，导出对象在多个不同二维视图中的表示并使之相关而构成对象表示。所述表示最好是对象形状的表示，但是也可以是例如不同视图中的色彩或纹理的表示。
当对静止图像或电影等中的对象运用上述方法时，会有与图像相关的若干形状或其它描述符来表示与不同视图相关的对象特征。但是，通常这些视图中任何一个在原始图像中都是可见的。其中一些特征可能与对象的不可见部分相关，而且仅用于描述对象的三维属性。
如果无法确定对象的多个视图中哪些可见、哪些不可见，搜索方法就不能准确地找到指定视图。例如，利用侧视图搜索描述汽车的图像，还会找到汽车的顶视图和正视图。
本发明的思想在于使用可见性标记，标明哪些描述符实际上是关于这些描述符所链接到的图像或电影内的可见特征。
发明内容
因此，本发明提供一种产生表示在一个图像或一组图像中出现的对象的数据的方法，该方法包括导出所述对象的多个视图描述符，每个视图描述符对应于所述对象的一个不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。
在PCT/GB00/01662中公开的发明中，形状描述符与一段多媒体内容内出现的对象相关。这些描述符描述了不同视图中对象的形状。这些视图可以是多媒体素材中或者可见的或者不可见的。可见性标记存储这种可见性信息。
当得到各个视图的可见性数据时，所述搜索方法能够在需要时滤出不可见视图内的对象。
另一方面，本发明还提供一种用来控制系统操作的控制单元，该系统适于产生表示一个图像或图像组中出现的对象的数据，其中，该控制单元导出所述对象的多个视图描述符，各个视图描述符对应于所述对象的不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明所述相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。
附图说明
下面参照附图描述本发明的实施例，图中：
图1是根据本发明的一个实施例的系统的框图；
图2是说明视频序列中对象的表示的示意图；
图3是说明静止图像中对象的表示的示意图；
图4是说明第一搜索方法的结果的示意图；
图5是说明第二搜索方法的结果的示意图。
具体实施内容
图1中表示根据本发明的实施例的系统。所述系统包括：控制单元2，比如用于控制系统操作的计算机；显示单元4，比如监视器，它与控制单元2相连，用于显示包括图像和文本的输出；以及指示装置6，比如鼠标，用于向控制单元2输入指令。所述系统还包括：图像数据库8，它存储多个静止图像的数字形式，并且以视频序列的形式存储图像组；以及描述符数据库10，它存储关于图像数据库8中存储的静止图像和视频序列的每一个中出现的对象的描述符信息，下文会详细描述。图像数据库8和描述符数据库10各连接到控制单元2。
在本实施例中，系统的各要素在单个位置上提供，如图像库，其中系统的各部分是永久地链接的。
下面描述根据本发明的实施例导出对象的描述符的方法。首先，就具有相对简单形状的对象(本例中为圆柱形对象)描述本方法。
在本例中，在图像数据库8中存储的视频序列中，圆柱形对象出现两次。参照图2，在第一次出现时，对象轮廓对应于视图1，这是从侧面看的视图，在第二次出现时，对象轮廓对应于视图3，这是从侧面上方看的透视图。
数据库索引器(indexer)识别出这两个轮廓是同一对象的，并且对应于这些轮廓的三维对象是圆柱体。对于视图1和视图3中的每一个，导出采用曲率标度空间(CSS)表示的形状描述符。而且，数据库索引器选择被认为是代表该对象的任何附加视图，即使它们未出现在所考虑的视频序列中。在本例中，选择视图2作为代表，视图2是从上方看的圆柱体的视图。还获取该视图的CSS表示。
论文“通过曲率标度空间的健壮和有效的形状索引”(由FarzinMokhtarian，Sadegh Abbassi和Josef Kittler发表，见于Proc.BritishMachine Vision Conference，第53-62页，Edinburgh，UK1996)描述了一种曲率标度空间表示的方法，现将其通过引用结合于此。简言之，表示形状的轮廓的曲线通过平滑该曲线而得到演化。在演化的多个不同阶段上考虑曲线。更明确地说，在演化的各阶段上，在曲率函数中识别曲率过零点。通过将来自演化的所有阶段的过零点组合，得到曲率过零点的曲线图。该曲线图的一条轴对应于σ，它表示曲线的演化参数，另一条轴对应于曲线弧长参数u。形状则由曲线图中轮廓的最大值的位置来表示。
对于每个视图，形成视图描述符，包括适当的CSS表示。视图描述符可包括其他信息，诸如PCT/GB00/01662中描述的全程参数，或者相应可见表面的色彩/纹理属性。
将视图形状描述符组合而形成3D对象形状描述符。此外，可见性标记与对象描述符相关，指示在视频序列中的至少一帧中给定视图是否是可见的。在本实例中，可见性标记构成各视图描述符的一部分。因此，这里，视图1和视图3的视图描述符均包括可见性标记“1”，指示该视图在视频的一帧中是可见的，视图2的视图描述符具有可见性标记“0”，指示该视图在任何帧中都不可见。
对于出现在图像数据库8中的图像或图像组中的所有感兴趣的对象，以上述方式得到3D对象形状描述符。
作为另一实例，参照图3，对图片中出现的汽车导出三个视图。对各视图中的汽车轮廓，按照上述方式获得包括CSS表示的相应的视图描述符。第一视图对应于图片中的视图，因而，相关的视图描述符具有可见性标记“1”，指明这是一个可见视图。另两个视图的视图描述符具有可见性标记“0”，指明它们对应于图片中未示出的视图。在本例中，当从图片中抽取轮廓时，确定可见性标记。换言之，如果一个形状是直接从图片中抽取的，则它得到可见性标记“1”，但如果该形状是通过索引器选择的，则它具有可见性标记“0”。另外，可见性标记可以在后来通过查看来手工添加。
各视图描述符还具有参考指针，指示它出现在哪个图像中或者哪个视频序列中的哪一帧中，还指示它是图像或帧中的哪个对象，例如，一个对象的视图可能具有指针，指示它出现在视频181的帧1000中，它是第3号对象。
描述符数据库10存储关于图像数据库8中存储的图像和视频序列中的对象的3D对象形状描述符。
在上述实施例中，对于出现在视频序列中的对象，对整个序列导出一组视图描述符，并且用视图描述符来指示相关视图是否出现在该序列的至少一帧中。在另一实施例中，分别处理各帧。更具体地说，对出现在帧中的对象导出一组视图描述符，并且可见性标记指示相关视图是否出现在该帧中，而不管它是否出现在该序列的另一帧中。在另一备选实施例中，对出现在视频序列中的对象导出一组视图描述符，而且对各帧导出并存储一组相应的可见性标记。
在搜索图像中的对象的方法中使用可见性标记，如下所述。
用户通过输入查询发起搜索。该查询是利用指示装置6在显示单元4上画出一个或多个形状轮廓而输入的。然后，控制单元2对查询视图导出CSS视图描述符。或者，用户可在由控制单元2在显示单元4上显示的形状菜单中选择一个或多个查询形状而输入查询。在这种情况下，描述符数据库10中可能已有视图描述符。用户还通过检查一个框来指示是否搜索应当限制在与查询视图相同的视图中。如果不这样限定搜索，则基本上按照PCT/GB00/01662中描述的，通过确定查询对象描述符与描述符数据库10中存储的对象描述符(下文称为模型对象描述符)之间的相似性，执行搜索和匹配程序。
简言之，在比较器中，对于所考虑的模型对象描述符，将各个查询视图描述符与各个模型视图描述符相比，使用匹配函数导出视图相似性度量。第i个查询视图描述符与第j个模型视图描述符的比较产生视图相似性度量Si，j。当有一个以上的查询视图时，取视图相似性度量的中值作为对象相似性度量S。
匹配程序产生n个相似性度量S，其中n是描述符数据库中的3D对象描述符的数量。然后，从指示最接近匹配的最小值开始对n个相似性度量进行排序。然后选择m个最小值，其中m是用户选择的值或者由控制单元的设置所确定的值，而且在显示单元4上显示包括对象的相应的m个图像(其中的一些可以是视频序列中的图像)。
如果搜索限制在与查询视图相同的视图，则在搜索过程中滤出不可见模型视图。这可以通过利用匹配函数来匹配查询视图描述符与模型视图描述符来完成，其中该模型视图描述符指明相应的视图在图像中是可见的。换言之，当利用匹配函数计算相似性度量时，具有可见性标记“0”的模型视图描述符被省去。或者，可以对所有模型视图描述符计算视图相似性度量，但是从进一步处理中省去关于可见性标记为零的模型视图描述符的结果。或者，当选择供显示的搜索结果时，可以考虑该可见性标记。当显示匹配程序的结果时，在视频序列的情况下，显示包含匹配视图的帧。
图4表示PCT/GB00/01662中公开的多视图搜索方法如何寻找和返回同样形状但不是与查询项相同的视图的结果。图5从另一方面说明各视图描述符内的可见性标记如何能帮助返回同样形状而且是与查询项相同的视图的结果。
根据本发明的系统可以例如设置在图像库中。或者，数据库可以远离系统的控制单元，通过临时连接(如电话线)或网络(比如因特网)连接到控制单元。可以例如在永久存储器或便携式数据存储媒体、如CD-ROM或DVD中设置图像和描述符数据库。
所述系统的各部件、如选择器和比较器可以软件或硬件形式设置。尽管本发明以计算机系统的形式来描述，但是它可以用其它形式、如利用专用芯片来实现。
已经给出表示对象的2D形状的方法和计算表示两形状之间相似性的值的方法的特定实例，但是，可以使用任何适当的这类方法。
构成完整或准完整形状描述的对象的各种视图可以由制片人来提供。例如，在包括汽车的电影中，制片人可以安排拍摄20个不同的汽车场景，用以在数据库中为该电影编索引。或者，可以在序列中的对象的所有不同视图之间设置链接，使这些视图能够被找到，序列中未出现的任何有用视图的形状可以例如在包括对象的第一视图的数据时提供。
本发明还可用于例如为验证目的而匹配各对象的图像，或者用于滤波。
本发明适用于单个图像、图像序列中的图像(如电影或视频中的图像)、或者以某种方式(如在同一网页上)相联系的图像集。
在上述实施例中，视图描述符是从不同视图中的对象形状导出的。可以从对象的其它特征、比如或者代替形状或者作为形状的一部分的色彩或纹理导出。对象的各种特征如形状、色彩、纹理可以单独或结合起来构成视图描述符的基础，并且视图描述符可以基于不同视图的不同特征。
Claims (12)
1.一种产生表示在一个图像或一组图像中出现的对象的数据的方法，该方法包括导出所述对象的多个视图描述符，每个视图描述符对应于所述对象的一个不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。
2.如权利要求1所述的方法，其特征在于所述信息是一个标记，该标记指明所述相应的视图是否出现在所述图像或所述图像组中至少一个图像中。
3.如权利要求1所述的方法，其特征在于包括对于各个视图描述符，为所述图像或所述图像组中的每个图像指明所述相应的视图是否对应于所述图像中出现的所述对象的一个视图。
4.如权利要求1所述的方法，其特征在于，所述图像组是图像序列。
5.如权利要求4所述的方法，其特征在于，所述图像序列是来自一段视频信号或电影。
6.如权利要求1所述的方法，其特征在于，所述包括所述相应视图中所述对象的形状的一个表示的视图描述符是利用曲率标度空间表示导出的。
7.如权利要求1所述的方法，其特征在于，该方法是用于为搜索的目的而给图像或图像组编索引。
8.一种用来控制系统操作的控制单元，该系统适于产生表示一个图像或图像组中出现的对象的数据，其中，该控制单元导出所述对象的多个视图描述符，各个视图描述符对应于所述对象的不同视图，还包括将所述视图描述符同信息相联系以产生所述数据，该信息指明所述相应的视图是否对应于所述图像或所述图像组中出现的所述对象的一个视图，其中，至少一个视图描述符包括所述相应视图中所述对象的形状的一个表示。
9.一种适于产生表示图像中出现的对象的数据的系统，该系统包括如权利要求8所述的控制单元。
10.如权利要求9所述的系统，该系统包括连接到所述控制单元的存储装置，用来存储诸图像和/或诸图像的表示。
11.如权利要求10所述的系统，其中所述存储装置是图像数据库和/或描述符数据库。
12.如权利要求9所述的系统，包括连接于所述控制单元的显示单元，用来显示输出，和/或包括将指令输入到所述控制单元的设备。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0016809.6 | 2000-07-07 | ||
| GB0016809A GB2364590B (en) | 2000-07-07 | 2000-07-07 | Method and apparatus for representing and searching for an object in an image |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2006100934596A Division CN1904892B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CN2005101370223A Division CN1790342B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1451128A CN1451128A (zh) | 2003-10-22 |
| CN1242351C true CN1242351C (zh) | 2006-02-15 |
Family
ID=9895287
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB018123260A Expired - Lifetime CN1242351C (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CN2005101370223A Expired - Lifetime CN1790342B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CNB2006100934581A Expired - Lifetime CN100555281C (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CNA2006100944935A Pending CN1963812A (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CN2006100934596A Expired - Lifetime CN1904892B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
Family Applications After (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2005101370223A Expired - Lifetime CN1790342B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CNB2006100934581A Expired - Lifetime CN100555281C (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CNA2006100944935A Pending CN1963812A (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
| CN2006100934596A Expired - Lifetime CN1904892B (zh) | 2000-07-07 | 2001-07-06 | 表示和搜索图像中的对象的方法和装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (6) | US7269285B2 (zh) |
| EP (5) | EP1299822B1 (zh) |
| JP (2) | JP4632627B2 (zh) |
| KR (5) | KR100820510B1 (zh) |
| CN (5) | CN1242351C (zh) |
| AU (1) | AU2001269289A1 (zh) |
| GB (1) | GB2364590B (zh) |
| WO (1) | WO2002005129A1 (zh) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2364590B (en) * | 2000-07-07 | 2004-06-02 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| AR031202A1 (es) | 2000-11-03 | 2003-09-10 | Wyeth Corp | Ciclopenta(b) (1,4)diazepino(6,7,1-hi) indoles y derivados |
| US7624123B2 (en) * | 2004-02-26 | 2009-11-24 | Ati Technologies, Inc. | Image processing system and method |
| US9373029B2 (en) | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
| US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
| US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
| US7812986B2 (en) | 2005-08-23 | 2010-10-12 | Ricoh Co. Ltd. | System and methods for use of voice mail and email in a mixed media environment |
| US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
| US7702673B2 (en) * | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
| US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
| US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
| US9495385B2 (en) | 2004-10-01 | 2016-11-15 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
| US7430322B1 (en) * | 2005-05-02 | 2008-09-30 | Nanostellar, Inc. | Particle shape characterization from 2D images |
| US7561756B1 (en) | 2005-05-02 | 2009-07-14 | Nanostellar, Inc. | Particle shape characterization from 2D images |
| US9063952B2 (en) * | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
| US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
| US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
| US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
| US7856380B1 (en) * | 2006-12-29 | 2010-12-21 | Amazon Technologies, Inc. | Method, medium, and system for creating a filtered image set of a product |
| SE533185C2 (sv) * | 2007-02-16 | 2010-07-13 | Scalado Ab | Metod för behandling av en digital bild samt bildrepresentationsformat |
| JP5233306B2 (ja) * | 2008-02-15 | 2013-07-10 | セイコーエプソン株式会社 | 画像検索装置、画像検索方法、及び画像検索プログラム |
| US8886669B2 (en) * | 2008-03-21 | 2014-11-11 | Trimble Navigation Limited | File access via conduit application |
| US8125481B2 (en) | 2008-03-21 | 2012-02-28 | Google Inc. | Lightweight three-dimensional display |
| JP4770960B2 (ja) * | 2009-03-30 | 2011-09-14 | カシオ計算機株式会社 | 画像検索システム及び画像検索方法 |
| US7953245B2 (en) * | 2009-08-18 | 2011-05-31 | General Electric Company | System, method and program product for camera-based object analysis |
| JP4850278B2 (ja) * | 2009-11-20 | 2012-01-11 | 株式会社ソニー・コンピュータエンタテインメント | コンテンツ作成支援装置、コンテンツ作成支援方法、およびシナリオファイル生成方法 |
| US8687898B2 (en) * | 2010-02-01 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America | System and method for object recognition based on three-dimensional adaptive feature detectors |
| US10108620B2 (en) * | 2010-04-29 | 2018-10-23 | Google Llc | Associating still images and videos |
| US8555192B2 (en) * | 2010-06-03 | 2013-10-08 | Microsoft Corporation | Sketching and searching application for idea generation |
| US9449026B2 (en) * | 2010-08-31 | 2016-09-20 | Microsoft Technology Licensing, Llc | Sketch-based image search |
| US8619124B2 (en) * | 2010-10-14 | 2013-12-31 | Industrial Technology Research Institute | Video data processing systems and methods |
| EP2652680A1 (de) * | 2010-12-13 | 2013-10-23 | Incca GmbH | Vorrichtung und verfahren zur unterstuetzung der durchfuehrung eines wartungs- und/oder bedienvorgangs |
| US8799201B2 (en) | 2011-07-25 | 2014-08-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for tracking objects |
| US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
| US8655016B2 (en) * | 2011-07-29 | 2014-02-18 | International Business Machines Corporation | Example-based object retrieval for video surveillance |
| CN108197631B (zh) * | 2012-07-23 | 2022-06-28 | 苹果公司 | 提供图像特征描述符的方法 |
| CN103870485B (zh) * | 2012-12-13 | 2017-04-26 | 华为终端有限公司 | 实现增强现实应用的方法及设备 |
| US9147125B2 (en) | 2013-05-03 | 2015-09-29 | Microsoft Technology Licensing, Llc | Hand-drawn sketch recognition |
| US9355123B2 (en) | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
| WO2015123647A1 (en) | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
| CN106462774B (zh) * | 2014-02-14 | 2020-01-24 | 河谷控股Ip有限责任公司 | 通过规范形状的对象摄取、系统和方法 |
| US9460366B2 (en) * | 2014-02-19 | 2016-10-04 | Nant Holdings Ip, Llc | Invariant-based dimensional reduction of object recognition features, systems and methods |
| US9827714B1 (en) | 2014-05-16 | 2017-11-28 | Google Llc | Method and system for 3-D printing of 3-D object models in interactive content items |
| CN107077590B (zh) * | 2014-10-13 | 2021-03-30 | 意大利电信股份公司 | 用于比较视频镜头的方法和系统 |
| CN114758406B (zh) * | 2015-05-11 | 2024-02-23 | 奇跃公司 | 用于使用神经网络的生物特征用户识别的设备、方法和系统 |
| CA3015658A1 (en) | 2016-03-11 | 2017-09-14 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
| CN113874883A (zh) | 2019-05-21 | 2021-12-31 | 奇跃公司 | 手部姿势估计 |
| US11775617B1 (en) * | 2021-03-15 | 2023-10-03 | Amazon Technologies, Inc. | Class-agnostic object detection |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4270229A (en) * | 1980-01-17 | 1981-06-02 | Louisville Manufacturing Co., Inc. | Method of surface ornamented cap |
| US4548704A (en) * | 1982-07-19 | 1985-10-22 | E. I. Du Pont De Nemours And Company | Pitch for direct spinning into carbon fibers derived from a steam cracker tar feedstock |
| US4584704A (en) | 1984-03-01 | 1986-04-22 | Bran Ferren | Spatial imaging system |
| JPS61231630A (ja) * | 1985-04-05 | 1986-10-15 | Mitsubishi Electric Corp | デ−タ検索装置 |
| JPH0644282B2 (ja) * | 1985-10-02 | 1994-06-08 | 富士通株式会社 | 物体検索方式 |
| JPH0614360B2 (ja) * | 1987-07-20 | 1994-02-23 | 工業技術院長 | 物体認識装置 |
| JPS6423379U (zh) | 1987-07-31 | 1989-02-07 | ||
| GB9322260D0 (en) * | 1993-10-28 | 1993-12-15 | Pandora Int Ltd | Digital video processor |
| US5465353A (en) * | 1994-04-01 | 1995-11-07 | Ricoh Company, Ltd. | Image matching and retrieval by multi-access redundant hashing |
| US6205231B1 (en) * | 1995-05-10 | 2001-03-20 | Identive Corporation | Object identification in a moving video image |
| US5710877A (en) * | 1995-12-29 | 1998-01-20 | Xerox Corporation | User-directed interaction with an image structure map representation of an image |
| US5907846A (en) * | 1996-06-07 | 1999-05-25 | Electronic Data Systems Corporation | Method and system for accessing relational databases using objects |
| US5809505A (en) * | 1996-06-14 | 1998-09-15 | Lo; Thomas | System and method for relational to object mapping |
| US6006214A (en) * | 1996-12-04 | 1999-12-21 | International Business Machines Corporation | Database management system, method, and program for providing query rewrite transformations for nested set elimination in database views |
| US6122627A (en) * | 1997-05-09 | 2000-09-19 | International Business Machines Corporation | System, method, and program for object building in queries over object views |
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
| AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
| KR19990025292A (ko) * | 1997-09-11 | 1999-04-06 | 정선종 | 필터링 과정에 의한 이미지 데이터 베이스의 효과적 검색 방법 |
| FI103417B1 (fi) * | 1997-09-16 | 1999-06-30 | Metsae Serla Oyj | Paperiraina ja menetelmä sen valmistamiseksi |
| US6249600B1 (en) * | 1997-11-07 | 2001-06-19 | The Trustees Of Columbia University In The City Of New York | System and method for generation of a three-dimensional solid model |
| JP3383563B2 (ja) * | 1997-12-18 | 2003-03-04 | 富士通株式会社 | 物体移動シミュレーション装置 |
| US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
| JP3615657B2 (ja) * | 1998-05-27 | 2005-02-02 | 株式会社日立製作所 | 映像検索方法及び装置ならびに記録媒体 |
| KR20000016778A (ko) * | 1998-12-18 | 2000-03-25 | 윌리암 아메스 커트라이트 | 균일 포맷의 디지탈 맵 이미지를 생성시키는 방법 및 장치 |
| US6819797B1 (en) * | 1999-01-29 | 2004-11-16 | International Business Machines Corporation | Method and apparatus for classifying and querying temporal and spatial information in video |
| CN100428278C (zh) * | 1999-02-05 | 2008-10-22 | 三星电子株式会社 | 彩色图像处理方法和装置 |
| GB2375212B (en) * | 1999-04-29 | 2003-06-11 | Mitsubishi Electric Inf Tech | Method and apparatus for searching for an object using shape |
| GB2391099B (en) * | 1999-07-05 | 2004-06-16 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
| KR100422697B1 (ko) * | 1999-12-27 | 2004-03-12 | 엘지전자 주식회사 | 색공간 양자화 묘사자 |
| GB2364590B (en) * | 2000-07-07 | 2004-06-02 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
-
2000
- 2000-07-07 GB GB0016809A patent/GB2364590B/en not_active Expired - Lifetime
-
2001
- 2001-07-06 EP EP01947643.1A patent/EP1299822B1/en not_active Expired - Lifetime
- 2001-07-06 US US10/220,636 patent/US7269285B2/en not_active Expired - Lifetime
- 2001-07-06 KR KR1020037000150A patent/KR100820510B1/ko active IP Right Grant
- 2001-07-06 EP EP10182344A patent/EP2299373A1/en not_active Withdrawn
- 2001-07-06 WO PCT/GB2001/003044 patent/WO2002005129A1/en active Application Filing
- 2001-07-06 KR KR1020067013655A patent/KR100931740B1/ko active IP Right Grant
- 2001-07-06 CN CNB018123260A patent/CN1242351C/zh not_active Expired - Lifetime
- 2001-07-06 CN CN2005101370223A patent/CN1790342B/zh not_active Expired - Lifetime
- 2001-07-06 AU AU2001269289A patent/AU2001269289A1/en not_active Abandoned
- 2001-07-06 KR KR1020087011953A patent/KR100957888B1/ko active IP Right Grant
- 2001-07-06 EP EP10182402A patent/EP2299374A1/en not_active Withdrawn
- 2001-07-06 CN CNB2006100934581A patent/CN100555281C/zh not_active Expired - Lifetime
- 2001-07-06 KR KR1020087029686A patent/KR100955980B1/ko active IP Right Grant
- 2001-07-06 JP JP2002508670A patent/JP4632627B2/ja not_active Expired - Lifetime
- 2001-07-06 EP EP10182325.0A patent/EP2296097B1/en not_active Expired - Lifetime
- 2001-07-06 KR KR1020077029346A patent/KR100901911B1/ko active IP Right Grant
- 2001-07-06 CN CNA2006100944935A patent/CN1963812A/zh active Pending
- 2001-07-06 CN CN2006100934596A patent/CN1904892B/zh not_active Expired - Lifetime
- 2001-07-06 EP EP10183022A patent/EP2302530A1/en not_active Withdrawn
-
2007
- 2007-07-12 US US11/777,135 patent/US7388986B2/en not_active Expired - Lifetime
-
2008
- 2008-04-03 US US12/062,382 patent/US7593577B2/en not_active Expired - Fee Related
- 2008-04-03 US US12/062,371 patent/US7689041B2/en not_active Expired - Fee Related
- 2008-04-03 US US12/062,377 patent/US7756339B2/en not_active Expired - Fee Related
-
2010
- 2010-06-02 US US12/792,205 patent/US7940987B2/en not_active Expired - Fee Related
- 2010-07-28 JP JP2010169455A patent/JP2011028757A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1242351C (zh) | 表示和搜索图像中的对象的方法和装置 | |
| CN1162793C (zh) | 利用形状进行目标表示与检索的方法和装置 | |
| Choi et al. | Depth analogy: Data-driven approach for single image depth estimation using gradient samples | |
| Swetha et al. | RETRIEVING STEREO IMAGE USING VISUAL WORD PAIRS WITH CONVOLUTION NEURAL NETWORK |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190612 Address after: Tokyo, Japan, Japan Patentee after: Rakuten Inc. Address before: Tokyo, Japan, Japan Patentee before: Mitsubishi Electric Corporation |
|
| TR01 | Transfer of patent right | ||
| CX01 | Expiry of patent term |
Granted publication date: 20060215 |
|
| CX01 | Expiry of patent term |