CN103415849A - 用于标注视图图像的至少一个特征的计算机化方法和设备 - Google Patents

用于标注视图图像的至少一个特征的计算机化方法和设备 Download PDF

Info

Publication number
CN103415849A
CN103415849A CN2011800617326A CN201180061732A CN103415849A CN 103415849 A CN103415849 A CN 103415849A CN 2011800617326 A CN2011800617326 A CN 2011800617326A CN 201180061732 A CN201180061732 A CN 201180061732A CN 103415849 A CN103415849 A CN 103415849A
Authority
CN
China
Prior art keywords
mark
image
signature identification
portable set
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800617326A
Other languages
English (en)
Other versions
CN103415849B (zh
Inventor
M·蒙内伊
S·阿耶
M·维特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of CN103415849A publication Critical patent/CN103415849A/zh
Application granted granted Critical
Publication of CN103415849B publication Critical patent/CN103415849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于标注视图图像的至少一个特征的计算机化方法和设备。一种计算机化方法，用于标注视图图像的至少一个特征，包括步骤：利用便携式设备的图像传感器获取图像，该便携式设备基于至少一个条件检索至少一个条件，在多个特征标识方法中选择特征标识方法，应用该特征标识方法用于标识标注一些标识特征的至少一个特征。

Description

用于标注视图图像的至少一个特征的计算机化方法和设备
技术领域
本发明涉及一种用于标注视图图像的至少一个特征的计算机化方法和设备。
背景技术
所谓“介导现实”的概念表示通过一种设备修改现实视图的可能性，例如将其增强或减弱。表达“增强现实”和“减弱现实”分别表示物理真实世界环境的实时视图，其元素或特征通过虚拟输入增强，诸如叠加在所捕获图像上的图形元素或文本标注，或者分别减弱或抑制。例如，可以标注具有标识或特性信息的视图图像的突出特征。
图像特征的标注不应该混淆整个图像用于分类或检索目的的标注，例如如Yohan Jin等人(Texas大学)在2005年1月1日的Springer，Ber1in-Heide1berg出版的(ISBN978-3-540-28792-6)多媒体信息系统进展，计算机科学讲义中的“Improving image annotations using wordnet”的第115页至130页中所述。图像特征标注会产生修改的图像或视频，例如，具有附加标注视频图像，在图像常规使用期间被叠加或者以其他方式提供给观看者。用于分类的图像标注通常会产生附加元数据，诸如附加关键字，与图像相关，并且在图像常规使用期间通常被隐藏起来。
用于标注视图图像特征的方法和设备是已知的。
EP1246080描述了一种用于标注发射无线电信号的特征的计算机化方法和设备。该特征可以借助于这个无线电信号加以标识。该标识的特征然后与标注与该特征相关联的数据有关，其接着被显示在该设备上。该特征可以是属于博物馆的元素，例如，其可以是油画或者是雕像，具有用于发射无线电信号的电路。EP1246080还描述了使用制图数据或其他采用数字形式的空间信息：在制图和图形数据之间匹配的对应生可以允许利用制图数据来标注图形数据。
然而，在要标注的特征或元素属于风景的情况下，例如山脉视图中的山，EP1246080没有建议如何处理在博物馆中使用的采用相同设备的标注方法。很明显，山和风景元素不具有用于发射无线电信号的电路。另一方面，使用制图数据来标注特征的设备很难用于其中元素可以发射无线电信号的博物馆中。换句话说，EP1246080没有建议如何处理采用相同的设备标注属于不同环境和位置的视图图像的特征。
EP2207113描述了用于基于设备的位置和方向来标注视图特征的计算机化方法和设备。
EP1246080和EP2207113都简要地描述了在立体平画图像的情况下，即图像通过来自两个特定点的一对视图呈现，3D视图可以被用于处理2D视图不能解决的模糊性。这种3D模型主要用于邻近区域中的特征，诸如博物馆或公园中的雕塑，但是对于标识远程特征不是那么有用，且耗费时间。
EP2154481描述了一种图像捕获设备，其可以根据设备的位置和方向，以及其自身缩放因数，从真实2D显示模式自动切换到虚拟3D显示模式。该设备接着自动选择图像呈现的类型，真实的或者虚拟的。
JP2005292064描述了一种导航系统，用于输出三维显示数据，或者在不能获得三维数据或者不容易显示三维数据时输出二维显示数据。US2004030741描述了另一种导航系统，其允许手动选择2D或者3D图像显示。那么这些文档都与修改的现实设备无关。
然后这就存在一种对计算机化方法和设备的需要，用于标注视图图像的至少一个特征，允许有效地处理属于不同环境和位置的特征的标注。
如果是直播视频流的标注，通信网络从远程服务器为每个帧(或者每个不同类型的场景或对象)检索标注内容而产生的等待时间有时太长。另一方面，由于存储器和处理速度的限制，也不可能在便携式设备上存储所有标注。直播视频流的现有标注因此并不有效，或者是不可能的。
因此，需要即时标注由设备的图像传感器产生的实时视频流。
还需要减少通信成本，并且增加远程服务器和便携式设备之间的传送速度。
因此本发明的目的就是避免或者减轻上述一个或多个缺陷。
发明内容
根据本发明，通过以下方式实现发明目的，借助于根据权利要求1的用于标注视图图像的至少一个特征的计算机化方法，借助于根据权利要求16的计算机可读存储介质，以及借助于根据权利要求17的用于标注视图图像的至少一个特征的系统。
在上下文中的名词“特征”表示视图图像的任意元素或者特性。特征可以是例如但不限于，山、油画、雕像、人物、天气、报纸上的文章、海报、餐厅、街道上的任意其他元素，等等。特征可以是静态的，即在时间上具有固定位置，或者是动态的，即具有随时间变化的位置或其外观。在该后一种情况下，这种特征将不仅仅被标识，而且还被追踪。在一个实施例中，当特征的外观可以随时间动态变化时，例如在数字信号显示器上显示的广告片段，对该特征的标识和追踪可以使用视频流情况下的暂时帧间关系，或者可以使用图像的静态部分，这在时间窗口期间保持静态。
名词“标注”表示一个或多个单词、符号、笑容符、绘图、线条、箭头图像等，其标识或者表征图像中的特定特征。在图像的常规观测期间，标注是可见的；例如，标注被添加到所标注图像上。
如果特征没有被识别，其标注可能是一个问题标记。
名词“标注”还可以表示音频消息，包括声音和/或口头表达。名词“标注”还可以进一步表示一系列音频消息或视频片段，即，视觉和音频消息。在一个实施例中，标注还可以是交互式的，例如，用户可以点击标注来触发一个动作。这样的动作的结果可以是菜单，要求用户输入或者显示不同信息给用户。在另一个实施例中，一旦相应特征被识别，菜单就被呈现给用户，而无需用户的交互。
在另一个实施例中，用户需要在显示标注之前执行动作。例如，标注的特征是包含由16个点构成的方形的公告，要求用户描绘很少的直线，用于连接全部16个点。如果用户正确描绘了这些线条，该特征将被标注，例如包括掌声的音频标注。
表达方式“便携式设备”可以表示但不限于，照相机、摄像机、移动电话、膝上型电脑、计算机、个人数字助理(PDA)、智能电话、游戏控制台。在摄像机的情况下，由这个摄像机获得的图像包括至少一个视频流的帧，可以是实时视频流。
在上下文中，名词“条件”指定了参数之间的关系，其可以被用于在多个可用方法中选择一个特征标识方法。该条件可以依赖于从便携式设备的图像传感器或其他来源而获得的图像，比如：
-一个或多个定位传感器
-一个或多个基于网络的传感器
-一个或多个便携式设备参数
-一个或多个远程服务器。
作为从图像检索条件的例子，图像一些特征的在先识别可以被用于选择标注方法。例如，该方法可以将图像中标识的特征分类，诸如在山的视图的图像中所出现的，诸如马特洪峰(Cervin)，在建筑物的图像中所出现的，诸如比萨斜塔，在雕塑的图像中所出现的，诸如掷铁饼者，或者在油画的图像中所出现的，诸如蒙娜丽莎。所标识的特征的分类的例子包括例如风景元素、城市元素、交通元素、特写元素等。
如果条件依赖于便携式设备的位置，例如从类似于GPS的定位传感器和/或基于网络的定位传感器检测到的，所选择的标识方法可以依赖于例如用于选择合适标注方法的位置分类。分类的例子包括风景对城市视图；室内位置对室外位置、高速公路对博物馆，等。
室内和室外分类还可以依赖于测量的亮度，或者对于附加闪光灯的使用。
其他条件可以从便携式设备的参数检索。在一个例子中，透镜的参数可以被使用，例如缩放因数、光圈或焦距。用户选择的或者自动选择的情景模式，为了在例如自动、肖像、聚会/室内、海滩/雪景、风景、特写、博物馆、黄昏/黎明等之间进行区分，还可以被用作用于确定最适合的特征标识方法的条件。
这些设备参数可以是自动的，或者由用户手动选择的。例如，闪光灯的使用可以是由便携式设备自动设置的，例如在“自动”情景模式下，如果光被认为不充足或者在“聚会/室内”情景模式下，或者可以由用户手动设置，通过选择便携式设发备的触点装置(hapting means)，或者通过给便携式设备增加外部闪光设备。
该条件还可以从包括图像模型的一个或多个远程服务器的数据库中检索。
在上下文中，表达方式“特征标识方法”指定了一种方法，其被选择用于标识在所捕获的图像中的一个或若干特征。该方法的选择依赖于至少一个所述条件，以使得不同的特征标识方法可以被用在不同条件下。特征标识方法的一个例子包括，参考存储在已知特征的本地或远程数据库中的2D图像，匹配所捕获图像中的特征。另一种特征标识方法可以被用在不同条件下，包括利用存储在本地或远程数据库中的一个或若干3D模型的投影，匹配所捕获图像中的特征。还有一种特征标识方法包括使用无线电信标发射的无线电信号，诸如RFID元素，其与所捕获元素相关并且由用户的设备接收。
一旦特定的特征标识方法已经被选择，根据被选方法分别使用的3D元素的涉及2D的特定数据库的选择也可以依赖于所述条件。
在一个示例中，如果焦距与前景中的对象相适应，诸如例如掷铁饼者，所选择的特征标识方法可以是3D匹配识别或标识方法，其中，掷铁饼者的捕获图像与数据库中备选3D参考元素的投影相匹配。如果焦距与背景中的对象相适应，诸如例如山脉，所选择的特征标识方法可以是2D匹配识别或标识方法，其中，山脉的轮廓与数据库中的2D参考图像相匹配。
有利的，根据本发明的方法依赖便携式设备的当前焦距自动选择2D或者3D特征标识方法。
有利的，该方法可以使用或者组合多于一个的条件，以便确定最佳特征标识方法。在之前的例子中，如果图像包括掷铁饼者，该便携式没备有可能被设置为“博物馆，模式。在这个例子中，这个不同的条件确认了3D匹配算法是合适的，从而使得包括3D图像的特定数据库，例如代表古希腊的雕塑的图像，可以然后基于这些条件被选择，并且掷铁饼者可以快速且有效地被标识。
在另一个之前的图像包括山脉的例子中，便携式设备有可能被设置为“风景，，模式，从而使得不使用闪光灯，并且其可以通过使用位置传感器检索设备的地理位置，例如GPS传感器，链接到其图像传感器，或者基于网络的传感器，例如用于在GSM或者UMTS网络中定位设备。当满足那些条件时，特征标识方法可以被选择，其中包括2D图像的特定数据库，例如表示这个特定位置的风景轮廓的图像，可以基于这些条件被选择，并且山脉可以快速且有效地被标识。
根据本发明的独立方面，可以自动选择一组“标注备选”，即在多个标注中的一组标注。标注的这种选择是基于至少一个条件，类似于特征标识方法的自动选择。在一个优选实施例中，该至少一个条件依赖于从便携式设备的位置传感器检索到的设备位置，例如GPS传感器。
标注备选可以通过蜂窝网络，例如UMTS，或者Wifi，从便携式设备的远程服务器无线下载：以这样的方式，视图图像的标注可以在便携式设备自身完成，而不需要任何外部服务器。标注设备还可以装载有大型非易失性标注组，存储在介质上，例如闪存、DVD等。在那种情况下，标注设备将仅仅使用这组的子组。实际上，一些标注组可以被嵌入到标注设备中，例如小型数码相机，其中该相机可以识别用户正在看的视图，并自动“标记”他所取景的视图图像，利用所识别的标注。在一个实施例中，如上述的可以依赖于至少一个条件，特征标识方法接着被适用于标识视图图像的至少一个特征。在一个实施例中，在2010年希腊伊腊克林的计算机视觉欧洲会议上M.Calonder等的“BRIEF：Computing a Local Binary Descriptor Very Fast”中说明的方法，结合在2006年CVPR上D.Nister等的“Scalable Recognition with a Vocabulary Tree”中说明的方法被用于这个目的，尽管也可以使用其他的方法。在判定哪种标识特征被标注之后，这些标识特征和标注备选之间的一致性被验证。
如果找到了一致性或者相匹配，判定如何以及在哪里写入和/或复制用于标识特征的标注，有多少标注被添加在图像上，写入标注的字体类型和字号，视频标注的音量和/或语种，等。一些标识特征接着被标注。
如果没有找到一致性或者相匹配，从相同的服务器或者另一个服务器下载另一组备选，并且标识特征和新备选之间的一致性被验证。新的一组通常比之前的更宽泛，即，包含具有较少数量共同特征的备选。如果找到了一致生或者相匹配，以上考虑仍然有效，如果没有，则以交替的方式进行下载和验证步骤，直到找到一致性或者相匹配时为止。如果没有，标注失败消息被发送到便携式设备的用户，例如通过在便携式设备上显示写入消息。在一个实施例中，用户被要求帮助该设备知道期望的标注，例如通过在便携式设备上引入一些搜索标准。
根据本发明的独立方面，用于标注视图图像的至少一个特征的创新方法包括以下步骤：
-利用便携式设备的图像传感器获取所述图像；
-检索至少一个条件；
-基于所述至少一个条件，在多个特征标识数据和/或远程服务器上的标注中，自动选择一组特征标识数据和/或一组标注备选；
-在所述便携式设备上下载所述一组或多组；
-验证所述图像的特征是否匹配特征标识数据；
-如果找到一致性，则标注至少一些标识特征；
-如果没有找到一致性，则改变和/或放宽该组特征标识数据和/或标注备选，直到找到一致性，和/或通知便携式设备的用户，并且要求用户插入一些特征标识数据和/或标注备选。
如果没有找到一致性，该用户自己可以增加新的特征标识数据，这可以是标注设备和远程服务器都不知晓的。新的特征标识数据例如是可以用于图像的特征模型或特征模板，并且是用户想要标注的，并且其可以被用于识别其他类似图像上的这种特征。新的特征标识数据可以对应于例如用户想要利用新标注来标注的捕获图像的部分。通过使用被用于下载标注组的相同的通信链路，新的标注被发送到远程服务器。此后，用户将然后能够具有标注视图的图像的对象。该标注可以因此是用户生成的，并且在用户之间共享。
根据该独立方面所考虑的条件的例子可以依赖于：
-从位置传感器检索的相机的地理位置，例如链接到相机图像传感器的GPS传感器，或者从蜂窝网络检索的相机的地理位置，例如GSM或者UMTS网络；
-用户设置。
-关于要标注的(一个或多个)特征，数据报、和/或条码、和/或RFD、和/或任何其他可识别特征，例如标志、OCR检测。
-当前数据和/或时间。
-服务器和便携式设备之间的通信链路的质量。
-便携式设备计算能力。
-等等。
根据以上独立方面，可以即日标注由设备的图像传感器所产生的实时视频流。
为了实时执行直播视频流的标注，特征标识方法需要在便携式设备内执行。通常，这种特征标识方法涉及使用一些特征标识数据，依赖于所选择的方法，以便达到标识的目的。例如，通过使用计算机视觉方法，特征标识方法需要所要标识的每个特征的“模型”。便携式设备使用那个模型来标识视图图像中的特征，并对它们进行标注。这样做的话，便携式设备不仅仅是可以显示的设备，还是标注设备，其中全部所要求的图像和传感器处理在便携式设备自身完成，而不需任何外部服务器。
在一个实施例中，特征标识数据为远程服务器所优选，用于降低远程服务器和标注设备之间的通讯成本，和/或用于降低标注设备的计算需求。
根据本发明的另一个独立方面，从远程服务器下载到便携式设备的特征标识数据的选择，依赖于所讨论的至少一个条件。根据本发明的另一个独立方面，这种选择依赖于服务器和便携式设备之间的通信链路的质量。根据本发明的另一个独立方面，这种选择依赖于便携式设备计算能力和/或可用存储空间。
附图说明
在对举例给出并通过附图示出的实施例进行描述的帮助下，本发明将更好理解，其中：
图1示出了根据本发明的方法的一个实施例中所涉及的步骤的流程图。
图2示出了包括图像传感器的便携式设备所获取的图像的例子。
图3示出了另一个图像，通过缩放图2的图像来获取。
图4到7示出了包括图像传感器的便携式设备所获取的图像的其他例子。
图8示出了博物馆的房间，以及根据本发明的设备的一个实施例。
具体实施方式
根据本发明的方法可以包括以下步骤，图1中所示：
(a)利用便携式设备的图像传感器，获取图像(1000)。
例如，便携式设备可以是数码相机，并且获取的图像可以是掷铁饼者。
(b)检索至少一个条件(2000)。
在一个例子中，该条件可以依赖于相机的焦距，和/或用户选择的或者便携式设备自动选择的情景模式，和/或雕塑的无线电信号。在另一个例子中，相机具有或者被链接到定位传感器，或者链接到基于网络的传感器，并且该条件可以依赖于图像的视图的定位。
(c)基于所述至少一个条件，在多个特征标识方法中，自动选择特征标识方法(3000)。
所选方法的一个例子可以是2D匹配标识方法，即，使用用于匹配作为具有图像特征的特征标识数据的2D模板计算机视觉方法。另一种方法可以是3D匹配方法，即，匹配图像和3D模型的特征。
(d)应用所述特征标识方法，用于标识至少一个特征(4000)。
在这个例子中，该图像包括仅仅一个显著特征，即，掷铁饼者，这接着被标识。
(e)确定哪个标识特征必须要被标注(5000)。
在这个例子中，仅仅一个特征要标注。这个步骤可以依赖于之前检索的条件。要标注的特征可以是关注点(POI)，例如，从GPS传感器检索的，用户最关注的特征，这可以是手动引入的，明显可见的特征，最重要的(但不必对应于最可见的)特征，等。要标注的特征数量考虑便携式设备的显示器上的空间。
(f)判定标注的内容，以及如何为标识特征写入该标注(6000)。
例如在这种情况下，标注的内容是对于掷铁饼者的描述(作者、日期、艺术信息)。即使掷铁饼者的博物馆的地理位置是可以获得的，在这个例子中，也没有必要进行显示。在这个步骤可以选择标注的大小、颜色、字体、透明度等。这种选择可以依赖于之前检索的条件，例如，由于掷铁饼者在博物馆中，艺术字和类手写字体可以被自动选择。标注之间的冲突可以被避免。标注的大小考虑标注特征的数量，便携式设备的显示器上的空间，以及用户阅读的限制。
(g)标注所标识的特征(7000)。
标注接着被显示在便携式设备上。
有利的，根据本发明的方法然后允许有效处理属于不同环境和位置的特征标注。
在一个优选实施例中，自动选择特征标识方法可以通过便携式设备的用户来验证。如果用户没有验证该方法，他可以手动选择另一个方法。用户的反馈可以接着被便携式设备所考虑，用于特征标识方法的其他自动选择。这个用户反馈过程可以交替重复。
本发明还涉及一种系统，用于标注视图图像的至少一个特征，包括：
(a)便携式设备，包括用于获取所述图像的图像传感器；
(b)用于检索至少一个条件的装置；
(c)用于基于所述条件，在多个特征标识方法中，自动选择特征标识方法的装置；
(d)用于应用所述特征标识方法来标识所述至少一个特征的装置；
(g)用于标注一些标识特征的装置。
该系统还包括：
(e)用于判定必须要被标注的标识特征的装置；
(f)用于判定标注内容，以及如何为标识特征写入标注的装置。
在一个实施例中，便携式设备包括用于检索的所述装置，和/或用于选择的所述装置，和/或用于应用的所述装置，和/或用于标注的所述装置。
在另一个实施例中，该系统包括一个或多个远程服务器，包括用于检索的所述装置，和/或用于选择的所述装置，和/或用于应用的所述装置，和/或用于标注的所述装置。
图2示出了由包括图像传感器的便携式设备获取的图像的例子，例如数码相机(图1的步骤1000)。该图像示出了一座山，这里是马特洪峰(Cervin)。显著的特征是马特洪峰(Cervin)10，但是图像包括其他特征，例如山脉中的其他山峰。
根据本发明的方法，至少一个条件被检索，并且与这个图像相关联(图1的步骤2000)。可以被考虑的条件的例子可以依赖于：
-相机的焦距。
-如果可用的话，相机的情景模式，例如“风景”。
-是否使用相机闪光灯。
-环境(山/户外)。
-相机的地理位置，例如采尔马特-瑞士、从位置传感器检索，例如链接到相机图像传感器的GPS传感器、或者从蜂窝网络检索，诸如GSM或UMTS网络。从蜂窝网络检索的地理位置可以通过三边测量和/或三角测量来执行。
-图像的在先分类，基于图像分析，并且可能的，与包括模型的远程服务器相匹配的图像。
-位于标注设备或者与标注设备相关的一个或多个传感器所提供的信息，例如温度计或麦克风。例如，连接到标注设备的麦克风所捕获的周围噪音，可以给出室内/室外环境的信息，并接着生成条件。
-等等。
可以基于一个或多个之前的条件，执行图像的分类。例如，特定焦距(例如3.8m)可以与焦距的分类相关(例如近距离)。特定位置(例如采尔马特)可以与位置的相应分类相关(例如乡村或风景)。特定图像(马特洪峰)可以与图像分类相关(风景)，等。
依赖于上述一个或若干条件，例如基于那些分类，特征标识方法接着在可以获得的若干方法中被自动选择(图1的步骤3000)，并接着被应用于标识图像的至少一个特征10(图1的步骤4000)。在这个例子中，Cervin，Tyndall和其他较低的山峰被识别。
根据创新方法的一个实施例，可以选择必须要被标注的图像(Cervin、Tyndall、以及其他较低的山峰)的标识的特征(图1的步骤5000)。在所示例子中，只有Cervin和Tyndall被选择，同时其他图像特征，尽管可以标识，但没有被选择来标注。这个步骤可以至少部分基于之前的检索条件。例如，该系统可以判定仅仅标注地理特征元素(诸如山)，当已经检测到风景视图时，而不是可能出现在图像上的人物或其他元素。
根据本发明的一个方面，可以判定标注1的内容，以及如何将它们写入(图1的步骤6000)。通常，一旦已经选择了特征，这个步骤不依赖于之前的检索条件。然而，在比如山脉的情况下，可以在包括山名称及其海拔的特定数据库中推测搜索，或者在博物馆情况下的其他另一数据库中。
在这个例子中，每个标注1包括每个所选山的名称和海拔。然而，由于Cervin是最重要的特征，它的名称将采取不同的字体、或者不同的颜色、或者边框、或者大写字符来写入，如图2。
在一个实施例中，用户可以手动选择特征来标注。
在步骤6000，标注1的字体和大小是适用于避免冲突的，并且考虑到相机的显示器的可用空间，以及用户的阅读限制。
另一个可能特征可以是徒步轨迹：在这个例子中，标注可以是图像上添加的线条，表示这个徒步轨迹。如果便携式设备的用户放大该图像，他可以视觉化图3中所示的另一图像。放大因数的改变可以自动改变所用的特征标识方法，其可以基于现在的3D特征标识方法，而不是之前的2D特征标识方法。徒步轨迹可以接着采用这个不同的方法来识别和标注。
图4示出了图2到3所用的相同的数码相机所获取的图像的另一个例子。在这种情况下，可能的条件可以是：
-相机的焦距。
-如果可用的话，相机的情景模式，例如“自动”。
-是否使用相机闪光灯。
-环境(户外)和/或定位的地理位置，例如意大利比萨，从位置传感器检索，例如链接到相机图像传感器的GPS传感器、或者从链接到相机图像传感器的基于网络的传感器检索，网络可以是例如GSM或UMTS网络。
-图像与包括模型的远程服务器相匹配的结果。
-等等。
在这种例子中，所选择的特征标识方法可以是基于现在的3D特征标识方法，即，捕获图像的特征与数据库中存储的3D模型的投影相匹配的方法。
类似的考虑对于图5的图像也是有效的，获取的是室内的而不是室外的。在这种情况下，特征标识方法可以使用接近掷铁饼者的发送器发射的RFID信号。
图6的情况下，图像包括两种可能的显著特征：背景中的Cervin10”和前景中的山间小屋10’。在这种情况下，特征标识的选择可以依赖于便携式设备的焦距。如果例如聚焦在山间小屋上，3D特征标识方法将被自动使用，并且标注将例如在框架周围，如图6所示。
可以想象，即使聚焦在山间小屋上，用户也可能关注于知晓背景中最高山峰的名称和海拔。用户可以接着通过使用便携式设备的触点装置，手动无效使用3D特征标识方法，并且使得使用2D特征标识方法来标注Cervin。
在图7的情况下，图像包含另外两种可能的显著特征：背景中的Cervin10”和前景中的人物10”’。图6的相同考虑对于图7也是有效的。在这种情况下，人物标注可以包括类似于微笑的符号，从远程服务器检索，并与已经利用3D特征标识方法所标识出的人物10”’相关。
图8示出了博物馆的房间。在这种情况下，根据本发明的特征标识方法基于检索条件确定用于标注的最关注的特征是另一个房间的油画10，并且因此在便携式设备的相机所捕获的图像中是不可见的。
油画10以虚线示出，在当前房间的另一幅油画12中，添加在设备100获取的视图上。便携式设备100可以接着以元素标注捕获图像，诸如箭头20，表示前去接近油画10的方向。在一个实施例中，油画12可以从显示图像添加。
在一个实施例中，所选特征可以是可以点击的，这样，当它们被点击时，将显示附加信息。
在另一个实施例中，没有选择的特征也可以是可以点击的，这样，当它们被点击时，将显示标注。
便携式设备100可以包括触点装置3，允许用户输入信息。便携式设备包括显示器，用于显示图像及其标注。
便携式设备可以包括一个或多个定位传感器，例如GPS传感器和/或一个或多个基于网络的传感器，和/或一个或多个方向传感器，例如陀螺仪和/或加速计。
根据一个实施例，如果标注包括视频，用户可以与之交互，例如，通过按压显示在便携式设备上的暂停、和/或停止、和/或倒带、和/或前进、和/或重放按钮。
根据另一个实施例，在显示标注视频之后，或者接近写入标注时，可以出现一个或多个有用的且可以点击的网页链接，与标注特征有关。例如，如果标注特征是一张板，或者张贴有特定汽车的广告，例如法拉力，并且标注是广告视频，在显示视频之后，或者当用户停止时，在对应的便携式设备上，或者接近板，可以出现链接到法拉力网站的链接。在一个实施例中，这个链接可以向用户建议购买广告的产品。
如果标注是视频或者音频文件或流，这个文件或者流优选的与便携式设备所捕获的视频时间上同步。例如，如果用户从沿着轨迹驱动的火车或者从汽车捕获视频序列，这可以被知晓，或者可以从捕获图像检索，和/或从某些位置传感器(例如CPS传感器或陀螺仪)检索，标注视频可以被添加到这个捕获视频序列上，利用匹配捕获序列的元素的添加视频的元素。在另一个实施例中，设备可以从移动图片捕获视频，例如电视上所显示的，以及添加在捕获序列字幕上，音频评论，或另一个与视频序列时间上同步的随时间改变的标注。
根据另一个实施例，如果便携式设备旋转例如90°，所显示的标注以这样的方式调整，它们保持相对于便携式设备用户相同的方向。
根据另一个实施例，如果天气条件不允许标识某些特征，例如某些云彩覆盖在Cervin上，便携式设备自动向用户给出负反馈，例如显示在便携式设备上的消息，其通知用户不能标识，并且要求用户插入某些输入数据，用于帮助标识特征。
根据另一个实施例，写入标记的语言和/或视频标记的音频，可以依赖于便携式设备的定位传感器，或者依赖于一些用户设置，例如允许在东京的法国旅行者以法语显示标注，而不是日语。
根据另一个实施例，标注方法允许用户与便携式设备上显示的增强现实交互。例如，如果用户是在罗马获得竞技场的图像或者视频，标注可以是其在罗马时代期间竞技场重建的图像或者视频。根据另一个实施例，标注可以包括对于用户的可能性，选择对应于要显示的标注的年代，例如用户能够判定显示在中世纪期间、或者在文艺复兴期间、或者在该建筑物重建的不同阶段的竞技场重建。
根据另一个实施例，如果标注是视频，且如果存在多于一个特征要标注，则便携式设备可以根据一些标准自动选择最重要的特征来标注，例如，考虑焦距或者一些用户设置。根据另一个实施例，所有的特征被同时标注，但是只有一个具有被激活的视频声音音量。用户可以激活另一个特征的视频标注的音量，通过例如点击选择，并且之前标注的特征的音量被自动去激活。
根据另一个实施例，标注方法包括定义标注的多个置信等级作为“质量索引”，其可以与以下有关：
-定位的可靠性和精确性；和/或
-特征标识的可靠性；
-图像识别过程的可靠性；
-等等。
当设备被用户在第一位置和第二位置或方向之间移动时，那些置信等级的至少一个可以被用于检测该转变，其中在第一位置捕获一个第一特征来标注并识别置信等级，在第二位置或方向识别具有高置信的第二特征。在转变期间，置信等级降低，并且这个信息可以被用于中断标注。
根据本发明的独立方面，可以自动选择特征标识数据(即，要识别和标注的特征模型)，以及有关的标注备选组，即，在多个标注之间的一组标注。该选择是基于至少一个条件，与多个特征标识方法中自动选择特征标识方法类似。在优选实施例中，该至少一个条件从便携式设备的位置传感器检索，例如GPS传感器。
条件的例子可以被用于选择特征标识数据和相关标注，包括：
-从位置传感器检索的相机的地理位置，例如链接到相机图像传感器的GPS传感器，或者从蜂窝网络检索的相机的地理位置，诸如GSM或者UMTS网络。例如，在巴黎捕获的标注图像的请求将检索对应于艾菲尔斜塔的特征标识数据和标注，而不是对应于马特洪峰的特征。
-用户设置；和/或
-数据报、和/或条码、和/或RFID、和/或任何其他可识别特征，例如标志、OCR检测、要标注的(一个或多个)特征；和/或
-当前数据和/或时间；和/或
-服务器和便携式设备之间的通信链路的质量；和/或
-便携式设备计算能力；和/或
-等等。
标注备选接着从便携式设备的远程服务器下载：以这样的方式，视图图像的标注可以在便携式设备上完成，而不需要任何外部服务器。在一个实施例中，特征标识方法可以依赖于上述至少一个条件，接着被应用于匹配捕获的具有选择和下载的参考特征的视图图像的特征。在判定哪个标识的特征被标注之后，在这些标识特征和标注备选之间的一致生被验证。
如果找到了一致生或者相匹配，便携式设备接着判定如何以及在哪里写入和/或复制用于标识特征的标注，有多少标注被插入在图像上，写入标注的字体类型和字号，视频标注的音量和/或语种，等。一些标识特征接着被标注。
如果没有找到一致生或者相匹配，从相同的服务器或者另一个服务器下载另一组特征标识数据和标注备选，并且标识特征和新备选之间的一致生被验证。
该新的组优选地比之前的更宽泛，即，包含具有较少数量共同特征的特征识别数据和标注备选。如果找到了一致性或者相匹配，以上考虑是有效的，如果没有，则以交替的方式进行下载和验证步骤，直到找到一致性或者相匹配时为止。如果没有，标注失败消息被发送到便携式设备的用户，例如通过在便携式设备上显示写入消息。在一个实施例中，用户被要求帮助该设备找到该标注，例如通过在便携式设备上引入一些搜索标准。
根据本发明的这个独立方面，在标注方法的鲁棒性以及要下载到便携式设备上的特征标识数据和标注备选的数量之间存在权衡。实际上，例如如果在远程服务器上的多个标注之间自动选择一组标注备选的条件是基于GPS传感器，那么GPS传感器越不精确，在便携式设备上下载的标注备选的数量越高。
根据本发明的另一方面，在服务器中选择特征标识数据，并且接着从远程服务器下载到便携式设备，然而，该选择依赖于服务器和便携式设备之间的通信链路的质量。根据本发明的另一方面，该选择依赖于便携式设备计算能力和/或可用存储空间。
在便携式设备上下载标注备选和/或特征标识数据，当它被开启或者当没备的位置转移大于预定阈值时，例如1米。在另一个实施例中，便携式设备自身根据一些标准，判定标注备选和/或特征标识数据在何时必须被下载，所述标准依赖于例如自身的地理位置、当前时间等。
根据本发明的另一个独立方面，特征标识和/或相应数据可以由用户增加到其移动设备上，并且接着从便携式设备发送到远程服务器。例如，用户可以获取场景的图像或者视频，指出要标识的一个图像或多个图像的一个特征，以便建立模型，产生特征标识数据，并关联标注，诸如文本、格式化文本、图像、超链接、音频、视频等，到该特征。由用户输入的特征标识数据和相关标注接着被自动地或者应用户请求被存储在远程服务器中，并且使得对于这个用户或其他用户是可以用于后续使用的。这允许共享那些特征标识数据和相应标注，从而使得其他用户的便携式设备将能够识别和标注那些新的特征。依赖于上述条件，对于远程服务器的后续请求将接着检索新的特征标识数据和相应标注。

Claims (20)

1.一种计算机化方法，用于标注视图图像的至少一个特征，包括步骤：
利用便携式设备的图像传感器获取所述图像；
检索至少一个条件；
基于所述至少一个条件，在多个可获得的特征标识方法中自动选择特征标识方法；
应用所述特征标识方法，用于标识所述至少一个特征；
标注至少一些标识特征。
2.如权利要求1的方法，还包括：
判定哪些标识特征被标注。
3.如权利要求1的方法，还包括：
判定标注的内容，以及如何为标识特征写入标注。
4.如权利要求1的方法，其中所述多个特征标识方法包括：
第特征标识方法，其基于在所述图像和一个或多个2D模型之间的匹配；
第二特征标识方法，其基于在所述图像和一个或多个3D模型之间的匹配。
5.如权利要求4的方法，其中所述条件是依赖于所述便携式设备的焦距，
其中，当所述焦距低于预定阈值时，选择所述第一特征标识方法，
其中，当所述焦距大于所述预定阈值时，选择所述第二特征标识方法。
6.如权利要求1的方法，其中所述条件依赖于所述图像的图像分析的结果。
7.如权利要求1的方法，其中所述条件依赖于所述便携式设备的地理位置。
8.如权利要求1的方法，其中所述条件包括所述图像传感器的透镜的至少一个设置参数，和/或所述便携式设备的至少一个参数。
9.如权利要求1的方法，还包括由用户验证所述选择的特征标识方法。
10.如权利要求9的方法，其中所述用户手动地将自动选择的特征标识方法替换为另一个特征标识方法。
11.如权利要求1的方法，其中所述图像包括视频流的帧。
12.如权利要求11的方法，其中所述视频流的所述标注是以实时视频执行的。
13.如任一以上权利要求的方法，包括：
-基于所述至少一个条件，在远程服务器上，自动选择特征标识数据和一组相应的标注备选；
-在所述便携式设备上，下载所述特征标识数据和所述组；
-选择要应用的特征标识方法；
-验证在所述选择和下载的特征标识数据和所述图像的标识特征之间的至少一个一致性的存在；
-如果找到一致性，则标注至少一些的标识特征；
-如果没有找到一致性，则改变和/或放宽标注备选组，直到找到一致性为止。
14.根据任一以上权利要求的方法，还包括：
-基于所述至少一个条件，和/或远程服务器和所述便携式设备之间的通信链路的质量，和/或所述便携式设备的计算能力，在远程服务器上自动选择一组特征标识数据；
-在所述便携式设备上，下载所述选择的特征标识数据；
-通过使用所述选择和下载的特征标识数据，标注至少一些标识特征。
15.如任一以上权利要求的方法，其中：
特征标识数据和相应标注被添加到所述便携式设备；
那些被添加的特征标识数据和相应标注被发送到远程服务器，并且对于其他便携式设备可以用于在图像中标识时标注相应特征。
16.一种用指令编码的计算机可读存储介质，该指令使可编程处理器：
从便携式设备的图像传感器获取的视图图像，检索至少一个条件；
基于所述至少一个条件，在多个可用的特征标识方法中，自动选择特征标识方法；
应用选择的特征标识方法，用于识别所述至少一个特征；
标注一些标识的特征。
17.一种用于标注视图图像的至少一个特征的系统，包括：
便携式设备，包括用于获取所述图像的图像传感器；
用于检索至少一个条件的装置；
用于基于所述至少一个条件，在多个可用的特征标识方法中，自动选择特征标识方法的装置；
用于应用所述特征标识方法来标识所述至少一个特征的装置；
用于标注一些标识特征的装置。
18.如权利要求16的系统，还包括：
用于判定哪些所述标识特征被标注的装置。
19.如权利要求16的系统，还包括：
用于判定标注内容，以及如何为标识特征写入标注的装置。
20.如权利要求16的系统，其中所述便携式设备包括一个或多个定位传感器，以及用于基于所述定位传感器的输出而选择标注方法的装置。
CN201180061732.6A 2010-12-21 2011-11-17 用于标注视图图像的至少一个特征的计算机化方法和设备 Active CN103415849B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CH2131/10 2010-12-21
CH21312010 2010-12-21
PCT/EP2011/070382 WO2012084362A1 (en) 2010-12-21 2011-11-17 Computerized method and device for annotating at least one feature of an image of a view

Publications (2)

Publication Number Publication Date
CN103415849A true CN103415849A (zh) 2013-11-27
CN103415849B CN103415849B (zh) 2019-11-15

Family

ID=43827859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180061732.6A Active CN103415849B (zh) 2010-12-21 2011-11-17 用于标注视图图像的至少一个特征的计算机化方法和设备

Country Status (6)

Country Link
US (1) US9959644B2 (zh)
EP (2) EP2656245B1 (zh)
JP (1) JP6013363B2 (zh)
KR (1) KR101867558B1 (zh)
CN (1) CN103415849B (zh)
WO (1) WO2012084362A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808782A (zh) * 2016-03-31 2016-07-27 广东小天才科技有限公司 一种图片标签的添加方法及装置
CN106971129A (zh) * 2016-01-13 2017-07-21 深圳超多维光电子有限公司 一种3d图像的应用方法和装置
CN107111996A (zh) * 2014-11-11 2017-08-29 本特图像实验室有限责任公司 实时共享的增强现实体验
US10133957B2 (en) 2015-05-18 2018-11-20 Xiaomi Inc. Method and device for recognizing object
CN110119383A (zh) * 2019-04-15 2019-08-13 维沃移动通信有限公司 一种文件管理方法及终端设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP2802958B1 (en) * 2012-01-11 2019-11-13 Ultra-D Coöperatief U.A. Mobile display device
US9829996B2 (en) * 2012-06-25 2017-11-28 Zspace, Inc. Operations in a three dimensional display system
US9166958B2 (en) 2012-07-17 2015-10-20 Texas Instruments Incorporated ID-based control unit-key fob pairing
WO2014017392A1 (ja) 2012-07-24 2014-01-30 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
EP2904605A1 (en) 2012-10-05 2015-08-12 Vidinoti SA Annotation method and apparatus
JP6064510B2 (ja) * 2012-10-19 2017-01-25 トヨタ自動車株式会社 情報提供装置および情報提供方法
EP2746726A1 (en) * 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US8854361B1 (en) * 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US10853407B2 (en) * 2013-09-05 2020-12-01 Ebay, Inc. Correlating image annotations with foreground features
US10290036B1 (en) * 2013-12-04 2019-05-14 Amazon Technologies, Inc. Smart categorization of artwork
JP6447992B2 (ja) * 2014-10-23 2019-01-09 キヤノン株式会社 画像管理装置及びその制御方法
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US9959623B2 (en) 2015-03-09 2018-05-01 Here Global B.V. Display of an annotation representation
WO2017066801A1 (en) 2015-10-16 2017-04-20 Bent Image Lab, Llc Augmented reality platform
US9876869B2 (en) * 2015-10-28 2018-01-23 Sk Planet Co., Ltd. Method and apparatus for providing beacon service
KR102528596B1 (ko) * 2015-10-28 2023-05-04 에스케이플래닛 주식회사 비콘 서비스 제공 방법 및 장치
WO2017165705A1 (en) 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
US9715508B1 (en) * 2016-03-28 2017-07-25 Cogniac, Corp. Dynamic adaptation of feature identification and annotation
US9842095B2 (en) * 2016-05-10 2017-12-12 Adobe Systems Incorporated Cross-device document transactions
US10019824B2 (en) * 2016-08-16 2018-07-10 Lawrence Livermore National Security, Llc Annotation of images based on a 3D model of objects
EP3285216A1 (en) * 2016-08-19 2018-02-21 Nokia Technologies Oy Association of comments to points of interest in virtual reality
US10623453B2 (en) * 2017-07-25 2020-04-14 Unity IPR ApS System and method for device synchronization in augmented reality
US10776619B2 (en) 2018-09-27 2020-09-15 The Toronto-Dominion Bank Systems and methods for augmenting a displayed document
US11073972B2 (en) 2018-11-02 2021-07-27 Motorola Solutions, Inc. Visual summarization methods for time-stamped images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075282A1 (en) * 1997-09-05 2002-06-20 Martin Vetterli Automated annotation of a view
US20020089519A1 (en) * 2001-01-05 2002-07-11 Vm Labs, Inc. Systems and methods for creating an annotated media presentation
US20040021780A1 (en) * 2002-07-31 2004-02-05 Intel Corporation Method and apparatus for automatic photograph annotation with contents of a camera's field of view
US20040190775A1 (en) * 2003-03-06 2004-09-30 Animetrics, Inc. Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20090087160A1 (en) * 2007-09-28 2009-04-02 Motorola, Inc. Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0774730B1 (en) * 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP3225882B2 (ja) * 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
JP2001216309A (ja) 2000-01-31 2001-08-10 Keio Gijuku 対象物特定装置及びカメラ
US20040030741A1 (en) 2001-04-02 2004-02-12 Wolton Richard Ernest Method and apparatus for search, visual navigation, analysis and retrieval of information from networks with remote notification and content delivery
TWI255429B (en) * 2003-12-29 2006-05-21 Ind Tech Res Inst Method for adjusting image acquisition parameters to optimize objection extraction
JP2005292064A (ja) 2004-04-05 2005-10-20 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム
JP2006059136A (ja) * 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2007018456A (ja) 2005-07-11 2007-01-25 Nikon Corp 情報表示装置及び情報表示方法
US20080002864A1 (en) * 2006-06-29 2008-01-03 Eastman Kodak Company Using background for searching image collections
BRPI0812782B1 (pt) 2007-05-31 2019-01-22 Panasonic Corp aparelho de captura de imagem, aparelho de provisão de informação adicional e método para uso em um aparelho de provisão de informação adicional
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
JP2010009192A (ja) 2008-06-25 2010-01-14 Olympus Corp 情報表示システム及びそれを用いた携帯情報端末
JP5436559B2 (ja) * 2008-09-02 2014-03-05 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ（エーペーエフエル） ポータブル・デバイス上での画像アノテーション
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075282A1 (en) * 1997-09-05 2002-06-20 Martin Vetterli Automated annotation of a view
US20020089519A1 (en) * 2001-01-05 2002-07-11 Vm Labs, Inc. Systems and methods for creating an annotated media presentation
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20040021780A1 (en) * 2002-07-31 2004-02-05 Intel Corporation Method and apparatus for automatic photograph annotation with contents of a camera's field of view
US20040190775A1 (en) * 2003-03-06 2004-09-30 Animetrics, Inc. Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
US20090087160A1 (en) * 2007-09-28 2009-04-02 Motorola, Inc. Solution for capturing and presenting user-created textual annotations synchronously while playing a video recording

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111996A (zh) * 2014-11-11 2017-08-29 本特图像实验室有限责任公司 实时共享的增强现实体验
CN107111996B (zh) * 2014-11-11 2020-02-18 云游公司 实时共享的增强现实体验
US10133957B2 (en) 2015-05-18 2018-11-20 Xiaomi Inc. Method and device for recognizing object
CN106971129A (zh) * 2016-01-13 2017-07-21 深圳超多维光电子有限公司 一种3d图像的应用方法和装置
CN105808782A (zh) * 2016-03-31 2016-07-27 广东小天才科技有限公司 一种图片标签的添加方法及装置
CN110119383A (zh) * 2019-04-15 2019-08-13 维沃移动通信有限公司 一种文件管理方法及终端设备

Also Published As

Publication number Publication date
CN103415849B (zh) 2019-11-15
KR20140038355A (ko) 2014-03-28
EP2656245B1 (en) 2020-02-19
JP2014501984A (ja) 2014-01-23
US20130311868A1 (en) 2013-11-21
KR101867558B1 (ko) 2018-06-15
JP6013363B2 (ja) 2016-10-25
US9959644B2 (en) 2018-05-01
EP3678035A1 (en) 2020-07-08
EP2656245A1 (en) 2013-10-30
WO2012084362A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
CN103415849A (zh) 用于标注视图图像的至少一个特征的计算机化方法和设备
Schmalstieg et al. Augmented Reality 2.0
US7991283B2 (en) Geotagging photographs using annotations
CN103635954B (zh) 基于地理和可视信息增强可视数据流的系统
CN103635953B (zh) 使用用户特定内容增强可视数据流的系统
US9076040B1 (en) Inferring locations from an image
CN103632626B (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN102770862B (zh) 混合使用位置传感器数据和视觉查询来返回视觉查询的本地收录
US20090161963A1 (en) Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
JP5948842B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20100046842A1 (en) Methods and Systems for Content Processing
WO2014090034A1 (zh) 实现增强现实应用的方法及设备
Van Wart et al. Local ground: A paper-based toolkit for documenting local geo-spatial knowledge
JP5544250B2 (ja) 表示画像検索方法
CN103426003A (zh) 增强现实交互的实现方法和系统
CN103502999A (zh) 用于使用可视数据流标记和增强地理特定位置的系统
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
Ji et al. When location meets social multimedia: A survey on vision-based recognition and mining for geo-social multimedia analytics
CN102929969A (zh) 一种基于互联网的移动端三维城市模型实时搜索与合成技术
US20100134486A1 (en) Automated Display and Manipulation of Photos and Video Within Geographic Software
Quack et al. Object recognition for the internet of things
CN106130886A (zh) 扩展信息的展示方法及装置
KR101715708B1 (ko) 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법
CN106354739B (zh) 一种基于地理位置和图像的信息推送方法和系统
Min et al. A survey on context-aware mobile visual recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: VIDINOTI S. A.

Free format text: FORMER OWNER: SWISS FEDERAL INSTITUTE OF TECHNOLOGY, LAUSANNE (EPFL)

Effective date: 20150226

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150226

Address after: Fribourg

Applicant after: VIDINOTI SA

Address before: Lausanne

Applicant before: Ecole Polytech

ASS Succession or assignment of patent right

Owner name: QUALCOMM INC.

Free format text: FORMER OWNER: VIDINOTI S. A.

Effective date: 20150414

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150414

Address after: American California

Applicant after: Qualcomm Inc.

Address before: Fribourg

Applicant before: VIDINOTI SA

GR01 Patent grant
GR01 Patent grant