CN107111740A - 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案 - Google Patents

用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案 Download PDF

Info

Publication number
CN107111740A
CN107111740A CN201580051147.6A CN201580051147A CN107111740A CN 107111740 A CN107111740 A CN 107111740A CN 201580051147 A CN201580051147 A CN 201580051147A CN 107111740 A CN107111740 A CN 107111740A
Authority
CN
China
Prior art keywords
user
real
content item
world objects
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580051147.6A
Other languages
English (en)
Other versions
CN107111740B (zh
Inventor
G.布莱克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN202110249994.0A priority Critical patent/CN112906615A/zh
Publication of CN107111740A publication Critical patent/CN107111740A/zh
Application granted granted Critical
Publication of CN107111740B publication Critical patent/CN107111740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种方法，所述方法包括识别由用户装置的相机观看的场景中的真实世界对象；至少部分基于图像辨别和标记对象的共享设定来使所述真实世界对象与所述标记对象匹配，所述标记对象已标记有内容项；向所述用户装置的用户提供所述内容项与所述真实世界对象相关联的通知；从所述用户接收对所述内容项的请求；以及向所述用户提供所述内容项。一种计算机可读存储介质存储一个或多个计算机程序，并且一种设备包括基于处理器的装置。

Description

用于使用增强现实和对象辨别来检索内容项并使之与真实世 界对象相关联的方案
相关申请的交叉引用
本申请是于2014年12月9日提交的名称为“SCHEMES FOR RETRIEVING ANDASSOCIATING CONTENT ITEMS WITH REAL-WORLD OBJECTS USING AUGMENTED REALITY ANDOBJECT RECOGNITION”的美国专利申请号14/565,236的继续申请并且要求其权益，所述专利申请要求于2014年9月29日提交的名称为“SCHEMES FOR RETRIEVING AND ASSOCIATINGCONTENT ITEMS WITH REAL-WORLD OBJECTS USING AUGMENTED REALITY AND OBJECTRECOGNITION”的美国临时专利申请号62/057,219的权益，并且还要求于2014年9月29日提交的名称为“METHOD AND APPARATUS FOR RECOGNITION AND MATCHING OF OBJECTSDEPICTED IN IMAGES”的美国临时专利申请号62/057,223的权益，所述专利申请的全部内容和公开内容特此全部以引用的方式整体并入本文。
本申请涉及于2014年12月9日提交的名称为“METHOD AND APPARATUS FORRECOGNITION AND MATCHING OF OBJECTS DEPICTED IN IMAGES”的美国专利申请号14/565,204，所述专利申请的全部内容和公开内容特此完全以引用的方式整体并入本文。
发明背景
1.发明领域
本发明总体涉及计算机软件应用程序，并且更确切地说涉及增强现实设备和软件。
2.相关技术讨论
增强现实(AR)是用计算机生成的感觉输入修改现实视图的一般概念。虽然已存在AR系统，但是它们大多数在应用和内容方面存在限制。在多数情况下，AR应用程序是用于向用户提供开发者生成的和控制的内容的单一用途程序。
发明内容
一个实施方案提供一种方法，所述方法包括：识别由用户装置的相机观看的场景中的真实世界对象；至少部分基于图像辨别和标记对象的共享设定来使真实世界对象与标记对象匹配，所述标记对象已标记有内容项；向用户装置的用户提供内容项与真实世界对象相关联的通知；从用户接收对内容项的请求；以及向用户提供内容项。
另一个实施方案提供一种设备，所述设备包括：基于处理器的装置；以及非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使基于处理器的装置执行多个步骤，所述步骤包括：识别由用户装置的相机观看的场景中的真实世界对象；至少部分基于图像辨别和标记对象的共享设定来使真实世界对象与标记对象匹配，所述标记对象已标记有内容项；向用户装置的用户提供内容项与真实世界对象相关联的通知；从用户接收对内容项的请求；以及向用户提供内容项。
另一个实施方案提供一种方法，所述方法包括：从用户接收对如由第一用户装置的相机观看的真实世界对象的选择；接收内容项以标记到真实世界对象；用相机捕获真实世界对象的一个或多个图像；从用户接收共享设定，其中共享设定包括真实世界对象是会只与真实世界对象的图像匹配还是与同真实世界对象共享一个或多个共同属性的任何对象的图像匹配；以及将内容项、真实世界对象的一个或多个图像和共享设定存储在服务器上，其中内容项被配置成由观看与真实世界对象匹配的对象的第二用户装置检索。
另一个实施方案提供一种设备，所述设备包括：基于处理器的装置；以及非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使基于处理器的装置执行多个步骤，所述步骤包括：从用户接收对如由第一用户装置的相机观看的真实世界对象的选择；接收内容项以标记到真实世界对象；用相机捕获真实世界对象的一个或多个图像；从用户接收共享设定，其中共享设定包括真实世界对象是会只与真实世界对象的图像匹配还是与同真实世界对象共享一个或多个共同属性的任何对象的图像匹配；以及将内容项、真实世界对象的一个或多个图像和共享设定存储在服务器上，其中内容项被配置成由观看与真实世界对象匹配的对象的第二用户装置检索。
通过参考阐述其中利用了本发明的实施方案的原理的说明性实施方案的以下详细描述和附图将获得对本发明的各种实施方案的特征和优点的更好的理解。
附图简述
根据以下结合下图所呈现的本发明的更具体的描述，本发明的实施方案的以上和其他方面、特征和优点将更为显而易见，在附图中：
图1是示出根据本发明的一些实施方案的观看真实世界场景的装置的图；
图2是示出根据本发明的一些实施方案的虚拟地标记真实世界对象的方法的图；
图3是示出根据本发明的一些实施方案的提供标记到真实世界对象的内容项的方法的图；
图4-6是示出根据本发明的一些实施方案的用户界面的截屏图；
图7是示出根据本发明的一些实施方案的观看真实世界场景的装置的图；
图8是示出根据本发明的实施方案的可以用于进行、实施和/或执行本文所示和所述的任何方法和技术的系统的方框图。
详细描述
出于故事叙述目的，增强现实(AR)可以用于提供有关真实世界对象的补充信息。以下论述将集中于本发明的允许用户基于真实世界对象通过AR故事叙述系统来共享故事的示例实施方案。在一些实施方案中，AR故事叙述系统向用户提供一种方式以在很大程度的定制和控制下公布和共享有关真实世界对象的记忆和故事。确切地说，在一些实施方案中，用户可以用内容项，诸如文本、照片、视频以及音频标记真实世界对象以与其他用户共享。在一些实施方案中，系统向用户提供他的/她的周围环境中的真实世界对象何时具有标记到所述真实世界对象或与之相关联的内容项的通知。
在一些实施方案中，通过使用增强现实，用户可以个人内容诸如照片、视频或语音记录“标记”对象。在一些实施方案中，AR系统可以使用图像辨别和/或全球定位系统(GPS)来检测现实世界中已由其他用户“标记”的对象。当检测到标记对象时，系统可以针对所述对象发出警报，并且允许AR装置的穿戴者或用户审阅标签中留下的信息(例如，观看视频、查看照片、阅读备注等)。标签可以基于“关注的”人通过社交网络来共享。标签可以永久存在，在用户选择的时间量之后期满，或受限于特定数目的视图(例如，仅仅在一个人观看标签之后就移除所述标签)。
本发明的实施方案的示例应用可以包括用户用其自身接住本垒打球的视频标记其最喜欢的棒球帽。碰到类似帽子的他的朋友之后可以看到所述帽子已被标记，并且观看视频。作为另一个实例，用户用用户的最喜欢的项目的语音备注标记他的或她的最喜欢的餐馆的菜单。看到菜单的其他用户之后可以倾听其朋友的建议。另外，作为另一个实例，用户用在那里野餐的儿时记忆标记公园长椅。之后经过那的其他用户然后可以参与到怀旧故事中。
本发明的一些实施方案集中于使用图像辨别来为数字数据提供物理参考点，这允许基于用户与真实世界的交互来触发警报。在一些实施方案中，为了放置标签，用户通过AR装置来定位所需对象，之后选择标签的类型(例如，照片、视频、音频、文本等)并且编写“帖子”(例如，标题、描述、主题标签(hashtag)等)。当AR系统检测到真实世界中的标记对象时，所述系统可以使用任何种类的图像覆盖来警告用户并且将用户引向信息。以此方式，本发明的一些实施方案可以通过增强现实来提供社交交互和/或信息共享。
参考图1，示出了根据本发明的一些实施方案的观看真实世界场景的装置。在图1中，用户装置110用于观看真实世界场景120。真实世界场景120包括真实世界对象，诸如汽车121、树木122、灯柱123以及长椅124。用户装置110可以是便携电子装置，诸如智能手机、平板计算机、移动计算机、类似平板电脑的装置、头戴式显示器和/或可穿戴装置。用户装置110包括显示屏112和其他输入/输出装置，诸如触摸屏、相机、扬声器、麦克风、网络适配器、GPS传感器、倾斜传感器等。显示屏112可以显示如由用户装置110的图像捕获装置观看的真实世界场景120的图像以及计算机生成的图像以通过AR实现故事叙述。例如，在图1中，在显示屏112中在汽车121的图像周围示出了括号113以突出显示汽车121。用户可以在显示屏112中选择对象以进行虚拟交互。例如，用户可以用内容项标记对象之一或选择对象来观看已标记到所述对象的内容项。以下参考图2-8来提供用于提供AR故事叙述的方法的另外的细节。
虽然图1示出具有再现真实世界场景的图像的显示屏112的用户装置110，但是在一些实施方案中，用户装置110可以包括透明或半透明的透镜，诸如眼镜类型和/或头戴式显示装置中所使用的那些。在存在这类装置的情况下，用户可以直接通过装置上的一个或多个透镜来观看真实世界场景120，并且以一种方式显示计算机生成的图像以便于覆盖真实世界场景的直接视图，从而产生与图1和图4-6中所示的那些类似的组合视图。
参考图2，示出了根据本发明的一些实施方案操作的用于虚拟地标记真实世界对象的方法300的实例。在一些实施方案中，方法300的步骤可以由一个或多个服务器装置、用户装置或服务器和用户装置的组合来执行。
在步骤210中，接收用户在由第一用户装置的相机观看的场景中对真实世界对象的选择。由用户装置的相机观看的场景可以是实时捕获的图像或延时捕获的图像。在一些实施方案中，用户通过选择图像中对应于对象的区域来选择对象。系统可以将所选择的区域的图像用于对象辨别。在一些实施方案中，用户可以通过以下方式来选择对象：对真实场景的图像进行缩放或取景，以使得对象是图像中的主要对象。在一些实施方案中，系统可以在真实世界场景的图像中指示所述系统通过对象辨别自动识别的对象。例如，如图1所示，系统可以在用户可以选择的识别的对象(在此情况下为汽车121)周围加上括号。在一些实施方案中，用户可以首先选择图像的区域，并且系统之后将确定与图像的所选择的区域相关联的对象。例如，用户可以触摸汽车121的图像上方的区域，并且系统可以识别所述区域中的树木122。在一些实施方案中，所选择的真实世界对象可能是系统先前已知的，并且系统可以通过使用图像处理技术诸如边缘检测来将图像中的对象抽离出来。例如，系统可能并未将灯柱123辨别为灯柱，但能够基于边缘检测而将所述灯柱辨别为单独的对象。在一些实施方案中，可能会提示用户键入属性，诸如名称、型号、对象类型、对象种类等来描述所述对象，以使得系统可以“了解”先前未知的对象。
在步骤220中，系统接收内容项以标记到真实世界对象或使其与所述真实世界对象相关联。内容项可以是以下一项或多项：文本注释、图像、音频片段、视频片段、超链接等。系统可以提供界面以供用户键入、上传和/或捕获内容项。例如，系统可以提供注释框和/或按钮以供选择文件来上传。
在步骤230中，用用户装置的相机捕获真实世界对象的一个或多个图像。稍后可以处理捕获的图像以确定与所选择的对象有关的附加信息。真实世界对象可以基于可从真实世界对象的图像识别的对象的形状、颜色、相对大小以及其他属性来识别。例如，系统可以基于其形状和颜色而将汽车121识别为汽车。在一些实施方案中，系统可以进一步识别对象的其他属性。例如，系统可以基于捕获的图像与已知对象数据库中的图像的比较来识别汽车121的品牌、型号和型号年份。在一些实施方案中，捕获的图像可以包括对象的特定的识别信息。例如，图像可以包括汽车121的车牌号。在其他实例中，捕获的图像可以包括电子装置的序列号或型号、限量版可收集项目的唯一标识等。
在一些实施方案中，步骤230由系统自动执行而不需要用户输入。例如，系统可以在用户在步骤210中选择对象时获取真实世界对象的一个或多个图像。在一些实施方案中，系统可以提示用户拍摄真实世界对象的图像。例如，如果步骤210中选择的对象不是由系统辨别的对象，那么系统可以提示用户从不同角度拍摄对象的图像，以使得所述对象可以与对象的其他图像更好地匹配。在一些实施方案中，在步骤240之后，系统可以提示用户基于共享设定来捕获对象的附加图像。例如，如果用户想要将内容项确切地仅标记到汽车121而不是外观类似的任何其他汽车，那么系统可以请求唯一识别信息的图像，诸如汽车的车牌(在车牌在汽车的当前的视图中不可见的情况下)。
一般而言，系统可以利用各种已知的计算机对象辨别技术来辨别真实世界场景的图像中的对象。在一些实施方案中，对象辨别可以使用基于外观的方法，所述方法将图像与已知对象的参考图像进行比较以辨别对象。基于外观的方法的实例包括边缘匹配、灰度匹配、感受野反应直方图等。在一些实施方案中，对象辨别可以使用基于特征的方法，所述方法依赖于匹配对象特征和图像特征。基于特征的方法的实例包括形态聚类、几何散列、尺度不变特征变换、解释树等。系统可以组合方式使用一种或多种对象辨别方法来提高对象识别的准确度。
在步骤240中，从用户接收共享设定。在一些实施方案中，共享设定包括真实世界对象是会只与真实世界对象的图像匹配还是与同真实世界对象共享一个或多个共同属性的任何对象的图像匹配。例如，如果用户将共享设定配置成使得真实世界对象只与特定真实世界对象的图像匹配，那么系统可以确定和/或请求用户键入与真实世界图像相关联的唯一标识。唯一标识可以是基于对象的位置、对象的序列号、车牌号或对象的其他识别文本或图像。例如，汽车121可以基于其车牌号和/或其车身上涂刷的文字或图形来唯一地识别，长椅124和灯柱123可以基于其位置信息和/或题字来唯一地识别，棒球帽可以基于帽子上的标志或帽子上的磨耗位置来唯一地识别，奖杯可以通过奖杯上的文字来唯一地识别等。在一些实施方案中，系统可以自动确定这些识别属性。例如，如果系统在图像中检测到车牌、名称或序列号，那么系统可以使用所述信息作为识别属性。在另一个实例中，如果系统将真实世界对象辨别为静止对象，诸如灯柱123、建筑物、雕像等，那么系统可以使用对象的位置或捕获图像的装置的位置作为识别属性。在一些实施方案中，系统可以提示用户指定识别属性。例如，系统可以提示用户拍摄电子装置的序列号的照片或键入所述序列号作为识别属性。
如果用户选择使真实世界对象与同真实世界对象共享一个或多个共同属性的任何对象的图像匹配，那么系统可以提示用户选择匹配属性。匹配属性指代对象为了与标记对象匹配以接收标记到所述标记对象的内容项而必须具有的属性。在一些实施方案中，匹配属性可以是基于对象的外观、使用图像辨别确定的对象的属性和/或对象的位置。例如，用户可以配置汽车121以与以下各项匹配：任何汽车、颜色相同的汽车、生产商相同的汽车、型号相同的汽车、或型号和型号年份相同的汽车等。虽然汽车的颜色可以单独基于图像来确定，但是属性诸如汽车的生产商可以使用图像辨别来确定。例如，系统可以使汽车121的图像与已知汽车的参考图像匹配以确定汽车的品牌、型号和型号年份。共同属性可以进一步是基于位置的属性。例如，用户可以配置长椅124以与以下各项匹配：同一个公园中的任何长椅、同一个城市中的任何长椅、市政公园中的任何长椅、某一海拔之上的任何长椅等。真实世界对象的位置属性信息可以基于装置的GPS信息和/或真实世界对象的捕获的图像的位置元数据信息来确定。
在一些实施方案中，系统可以对所选择的真实世界对象执行图像辨别和/或位置分析并且向用户呈现识别的属性的列表以供选择。用户可以通过选择用于使真实世界对象与来自列表的另一个对象匹配的属性来配置共享设定。例如，如果用户在用户装置110上选择汽车121，那么系统可以生成属性列表，诸如：
对象类型：汽车
颜色：灰色
品牌：DeLorean
型号：DMC-12
型号年份：1981
位置：Hill Valley，California
用户之后可以选择所识别的属性中的一个或多个以配置共享设定中的匹配属性。例如，用户可以选择品牌和型号作为匹配属性，并且标记到汽车121的内容项将仅与DeLorean DMC-12的另一个图像匹配。在一些实施方案中，用户可以手动地键入对象的属性以配置共享设定。例如，用户可以将基于位置的共享设定配置成为与Hill Valley，California相距20英里或50英里以内的任何位置等。
在一些实施方案中，共享设定还包括基于社交网络的共享设定，所述共享设定基于用户的社交网络连接来控制何人可以观看标记到真实世界对象的内容项。例如，用户可以选择与以下各项共享内容项：所有“关注者”、仅朋友、一组选定的用户或社交网络内的现有群的成员等。
虽然图2中顺序地示出了步骤220、230和240，但是在一些实施方案中，这些步骤可以不同次序执行。例如，在一些实施方案中，用户可以在键入内容项以标记到对象之前配置共享设定。在一些实施方案中，可以在接收内容项之前或在键入共享设定之后捕获真实世界项目的一个或多个图像。在一些实施方案中，在步骤220-240期间的任何时间，用户可以返回先前执行的步骤中的一个以编辑和/或键入信息。在一些实施方案中，对象标记用户界面被提供来允许用户以任何次序执行步骤220、230和240中的两个或更多个。在一些实施方案中，在用户在步骤210中选择真实世界对象时捕获真实世界对象的图像。系统之后确定基于步骤240中所接收的共享设定是否需要更多图像，并且提示用户根据需要捕获一个或多个图像。
在步骤250中，将内容项、真实世界对象的图像和步骤220-240中键入的共享设定存储在网络可访问数据库上，以使得所述内容项被配置成由观看基于共享设定而与真实世界对象匹配的对象的第二用户装置检索。因此，在一些实施方案中，内容项据说现已被标记到真实世界对象或与其相关联。在一些实施方案中，按步骤220-240中所键入原样存储内容项、真实世界对象的图像和共享设定。在一些实施方案中，在步骤250之后，用户可以返回来使用用户装置和/或另一个用户电子装置通过登录到用户简档中来编辑或删除步骤210-240中键入的信息。
参考图3，示出了根据本发明的一些实施方案操作的方法300的实例。在一些实施方案中，方法300的步骤可以用于提供如本文所述的AR故事叙述。在一些实施方案中，方法300可以由一个或多个服务器装置、用户装置或服务器和用户装置的组合来执行。
在步骤310中，由用户装置的相机观看的场景中的真实世界对象基于图像辨别来识别。系统可以利用任何已知的图像辨别技术。由用户装置的相机观看的场景可以是实时捕获的图像或延时捕获的图像。在一些实施方案中，用户装置将真实世界场景的图像上传至服务器，并且所述服务器识别图像中的真实世界对象。在一些实施方案中，用户装置识别真实世界对象的属性(诸如颜色、梯度图、边缘信息)并且将属性上传至服务器以缩短网络时延。真实世界对象可以基于可从真实世界对象的图像识别的对象的形状、颜色、相对大小以及其他属性来识别。在一些实施方案中，对象辨别可以是基于多个视频图像帧。在一些实施方案中，对象可以部分基于用户装置在捕获图像时所处的GPS位置来识别。例如，系统可能能够基于装置的位置来区分两张视觉上类似的长椅。在一些实施方案中，在步骤310中，系统将尝试识别由用户装置的相机观看的所有对象。
在步骤320中，将真实世界对象与标记对象匹配。标记对象可以是通过图2中所示的过程标记的真实世界对象。因此，在一些实施方案中，标记对象具有与之相关联的内容项。步骤320中的匹配是基于真实世界对象的图像辨别和标记对象的共享设定。在一些实施方案中，匹配可以是基于真实世界对象与标记对象数据库中的标记对象的属性的比较。例如，如果步骤310中的真实世界对象是红色跑车，那么真实世界对象可以与指定与红色汽车、跑车等匹配的标记对象匹配，但是不会与共享设定将共享限于仅绿色汽车的绿色跑车匹配。在一些实施方案中，匹配还基于标记对象的社交网络共享设定。例如，如果已指定标记对象仅与作者的“朋友”共享，并且使用装置来观看真实世界对象的用户在社交网络服务中并未与内容项的作者连接，那么真实世界对象将不与所述特定标记对象匹配。
在一些实施方案中，步骤320中的匹配还可以是基于观看真实世界对象的装置的位置。例如，如果标记对象已被配置成仅与地理区域(GPS坐标、地址、邻近地区、城市等)以内的项目共享，那么标记对象不会与在所述区域以外拍摄的真实世界对象的图像匹配。在一些实施方案中，针对步骤310中识别的真实世界场景中的每个对象执行步骤320。
在步骤330中，一旦在步骤320中发现匹配的标记对象，就向用户提供通知。通知可以通过以下一项或多项来提供：声音通知、弹出通知、振动以及由用户装置的相机观看的场景的显示中的图标。例如，系统可以使图形指示器显现在屏幕上以向用户指示真实世界场景中的项目已被标记。图形指示器可以是覆盖对象的视图的图标、包围对象的括号、或用于突出显示对象的颜色/亮度变化等。在一些实施方案中，如果对象已标记有超过一个内容项，那么通知可以包括用于每个内容项的指示器。例如，如果项目已由两个不同用户标记或以不同类型的内容项标记，那么图形指示器还可以指示每个内容项的作者和/或内容类型。
在一些实施方案中，通知可以单独基于位置信息来提供，所述通知之后提示用户搜索周围环境中的标记对象。例如，如果系统基于装置与标记对象的GPS坐标的匹配而确定附近存在标记对象，那么系统可以使装置振动或发出哔哗声。用户之后可以将装置的相机指向周围对象以找出标记对象。系统可以在标记对象出现在相机的视图中时使图形指示器显示在用户装置上。
在步骤340中，接收对内容项的请求。可以在用户在用户界面中选择真实世界对象和/或图形指示器时由用户装置生成请求。例如，用户可以轻触显示在用户装置的触摸屏上的图标以选择标记对象或内容项。在一些实施方案中，如果对象已标记有多个内容项，那么选择可以包括内容项的选择，并且请求可以包括对特定内容项的指示。在一些实施方案中，请求可以由用户装置自动生成，并且内容项可以暂时存储或缓存在用户装置上。在一些实施方案中，可能仅对某些内容项类型要求请求。例如，系统可以在检测到标记对象之后自动地传输文本和图像内容项，但是只有从用户接收请求之后才将音频和视频类型内容项流式传输至装置。
在步骤350中，将内容项提供给用户装置。在一些实施方案中，将与选择的标记对象相关联的所有内容项提供给用户装置。在一些实施方案中，仅提供所选择的内容项。在一些实施方案中，以流式传输格式提供视频和音频类型内容项。
在一些实施方案中，在步骤350之后，观看用户可以选择来通过提供他/她自身的内容项而对内容项和/或标记对象进行注释。
参考图4，示出了用于提供AR故事叙述的用户界面的示例截屏图。对象选择用户界面410显示由装置的相机观看的真实世界场景的图像，并且可以由用户使用来使真实世界对象标记有虚拟内容项。在一些实施方案中，用户可以选择真实世界场景中与对象相关联的区域。例如，用户可以轻触区域，画线圈出区域和/或在区域周围点击和拖动矩形来选择区域。在一些实施方案中，系统捕获所选择的区域的图像并且尝试识别所选择的区域中的对象。在一些实施方案中，个别对象可以基于边缘检测来识别。在一些实施方案中，系统识别由系统在呈现给用户的真实世界场景中辨别的一个或多个对象。例如，系统可以将括号414或其他图形指示器覆盖在真实世界场景的图像上。图形指示器可以是用户可选择的。
在真实世界场景视图中已经选择对象之后，可以显示标记用户界面420。标记用户界面420可以包括选择来标记的对象的图像422。标记用户界面420还可以包括用于键入和配置内容项的各种选项。例如，用户可以使用“添加内容”按钮424来键入或附上文本注释、图像、音频文件和/或视频文件。在一些实施方案中，用户界面还允许用户记录新图像、音频和/或视频以标记到对象，而不用离开用户界面和/或应用程序。用户可以使用“共享设定”按钮426来配置本文论述的各种共享设定。例如，用户可以选择匹配属性，配置社交网络共享设定和/或在标记用户界面420中键入位置限制。
参考图5，示出了用于提供AR故事叙述的用户界面的附加示例截屏图。可以向通过用户装置观看真实世界场景的用户显示标记对象通知用户界面510。标记对象通知用户界面510可以包括一个或多个图形指示器以识别真实世界场景的视图中的标记对象。例如，图标512指示灯柱已用文本注释标记，图标514指示长椅已用音频片段标记，并且图标516指示汽车也已用文本注释标记。在一些实施方案中，其他类型的图形指示器用于指示对象具有可观看的内容项。例如，可以使用类似于图4中的括号414的括号、箭头、闪烁图标、含有内容项的作者的头像的图标、内容项的缩略图等。在一些实施方案中，可以改变对象或周围的颜色和/或阴影来将标记对象与其周围环境区分开来。例如，图6示出在阴影背景620下突出显示的汽车610。
在一些实施方案中，标记对象通知用户界面510可以是与标记用户界面410相同的界面。例如，当用户在用户装置上打开程序或应用程序(或“app”)时，将向用户呈现由用户装置的相机观看的真实世界场景的图像。如果真实世界场景中的对象的任一个被标记，那么可以提供通知。用户还可以选择场景中的任何对象以将新的内容项虚拟地标记到对象。
当在标记对象通知用户界面510中选择标记对象或内容项时，示出内容项观看用户界面520。在内容项观看用户界面520中，检索选自标记对象通知用户界面510的内容项并且向用户显示所述内容项。内容可以全屏或以如图5所示的真实世界场景的图像的覆盖522形式显示。内容项可以包括以下一项或多项：文本注释、图像、音频片段以及视频片段。在一些实施方案中，如果超过一个内容项与标记对象相关联，那么可以同时显示来自不同作者的多个内容项。
对象选择用户界面410、标记用户界面420、标记对象通知用户界面510以及内容项观看用户界面520各自可以是在用户装置和/或服务器装置上运行的程序或应用程序的部分。在一些实施方案中，用户界面可以是智能手机上的app的部分，所述app与AR服务器通信以在用户界面上提供实现AR故事叙述的图像和内容。在一些实施方案中，完全在服务器处生成和提供用户界面。
参考图7，示出了展示根据本发明的一些实施方案的观看真实世界场景的眼镜类型用户装置的图。在一些实施方案中，上述用户界面还可以用眼镜类型和/或头戴式显示装置实施。在存在这类装置的情况下，用户可以直接通过装置上的透镜720来观看真实世界710场景，并且计算机生成的图像722可以一种方式投射在透镜上和/或穿戴者的眼睛中，以便于覆盖真实世界场景的直接视图，从而产生如图7所示的组合视图。覆盖图像722可以指示用于标记的选择的或可选择的对象和/或如本文所述识别标记对象。用户对对象的选择可以通过凝视检测和/或语音命令辨别来检测。在一些实施方案中，对象可以通过装置上的触摸板来选择。例如，用户可以在触摸板上滑动来“滚动”浏览通过装置的透镜观看的可选择对象。在一些实施方案中，用户可以通过经由头戴式显示器的麦克风接收的口头命令来添加文本注释或音频片段内容项。在一些实施方案中，可以通过在由装置上的相机捕获和解释的真实世界场景的视图中作手势来作出选择。虽然图7中仅示出了一个透镜的框架，但是应理解，相同的原理同样适用于具有两个透镜的头戴式装置。
图8是示出根据本发明的一些实施方案的可以用于进行、实施和/或执行本文所示和所述的任何方法和技术的系统的方框图。系统800包括用户装置810、820和830、AR服务器840以及通过网络805通信的第三方/社交网络服务器870。
用户装置810可以是任何便携用户装置，诸如智能手机、平板计算机、移动计算机或装置、类似平板电脑的装置、头戴式显示器和/或可穿戴装置。用户装置810可以包括处理器811、存储器812、网络接口813、相机814、显示器815、一个或多个其他输入/输出装置816以及GPS接收器817。处理器811被配置来执行存储在存储器812中的计算机可读指令以便利参考图2-3描述的方法的多个步骤之一。存储器812可以包括RAM和/或硬盘驱动存储器装置。网络接口813被配置来通过网络805将数据传输到至少AR服务器840并且从其接收数据。相机814可以是任何图像捕获装置。显示器815可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、硅上液晶(LCoS)显示器、LED发光显示器等等。在一些实施方案中，显示器815是被配置来从用户接收输入的触摸显示器。在一些实施方案中，显示器815是将图像投射到透镜或穿戴者的眼睛中的头戴式显示器。显示器可以用于以不同方式显示上文参考图1-7描述的用户界面。GPS接收器817可以被配置来检测GPS信号以确定坐标。所确定的GPS坐标可以由系统800使用来确定装置、图像和/或对象的位置。用户装置810还可以包括其他输入/输出装置816，诸如麦克风、扬声器、倾斜传感器、罗盘、USB端口、辅助相机、图形处理器等。输入/输出装置816可以用于键入和回放内容项。在一些实施方案中，倾斜传感器和罗盘由系统使用来将计算机生成图形更好地定位在真实世界场景的图像上(图形辨别除外)。
用户装置820和830可以是可以由一个或多个其他用户操作来访问AR故事叙述系统800的类似于用户装置810的用户装置。应理解，虽然图8中示出了三个用户装置，但是任何数目的用户和用户装置都可以访问系统800。
AR服务器840包括处理器842、存储器841和网络接口844。处理器842被配置来执行存储在存储器841中的计算机可读指令以执行本文参考图2-3描述的一个或多个步骤。AR服务器840可以连接至或包括对象数据库860和内容项数据库850中的一个或多个。内容项数据库850可以存储与以下每一项有关的信息：标记的真实世界对象、标记到每个对象的内容项和与内容项和/或标记对象相关联的共享设定。在一些实施方案中，图2中的步骤250通过将信息存储到内容项数据库850中来执行。对象数据库860可以包括由系统的对象辨别算法使用来识别一个或多个真实世界对象及其属性的已知对象的数据库。在一些实施方案中，将由用户装置810的相机814拍摄的真实世界对象的图像与对象数据库860中的对象的一个或多个图像进行比较。当存在匹配时，对象数据库860可以提供与对象有关的进一步的信息，诸如对象名称、对象类型、对象型号等。
在一些实施方案中，对象数据库860和内容项数据库850中的一个或多个可以是AR服务器840的部分。在一些实施方案中，对象数据库860和内容项数据库850可以实施为单一数据库。在一些实施方案中，AR服务器840也通过网络805来与对象数据库860和内容项数据库850中的一个或多个通信。在一些实施方案中，对象数据库860可以由第三方维护和控制。
在一些实施方案中，对象数据库860可以通过接收用户提供的图像和属性，并将用户提供的信息添加至其数据库来“了解”新的对象。例如，当用户拍摄汽车的照片并且键入其品牌和型号时，对象数据库随后可能能够辨别相同汽车的另一个图像并且能够提供有关所述相同汽车的品牌和型号的信息。虽然仅示出了一个AR服务器840，但是应理解，AR服务器840、对象数据库860和内容项数据库850可以用通过网络连接的一个或多个物理装置来实施。
社交网络服务器870为用户提供社交网络功能以彼此连接并且构建社交网络和社交群。社交网络服务器870可以是AR服务器840的部分或第三方服务。社交网络服务中的连接和构建的群可以用于配置本文论述的共享设定。例如，如果内容项被配置成仅与作者的“朋友”共享，那么AR服务器840可以向社交网络服务器870查询两个用户之间的社交网络状态以确定内容项是否应提供给第二用户。在一些实施方案中，当用户配置共享设定时，可以从社交网络服务器870检索信息，以使得用户可以在他的/她的朋友和/或社交群当中进行选择以共享内容项。
在一些实施方案中，上文描述的实施方案、方法、途径和/或技术中的一项或多项可以在可由基于处理器的设备或系统执行的一个或多个计算机程序或软件应用程序中实施。作为举例，这种基于处理器的系统可以包括基于处理器的设备或系统800、或者计算机、娱乐系统、游戏控制台、图形工作站、服务器、客户端、便携装置、类似平板电脑的装置等。这类计算机程序可以用于执行上文描述的方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可以适于使基于处理器的设备或系统执行和实现上文描述的功能或者配置所述设备或系统来执行和实现上文描述的功能。例如，这类计算机程序可以用于实施上文描述的方法、步骤、技术或特征的任何实施方案。作为另一个实例，这类计算机程序可以用于实施任何类型的使用上文描述的实施方案、方法、途径和/或技术中的任一项或多项的工具或类似实用工具。在一些实施方案中，计算机程序之内或之外的程序代码宏指令、模块、循环、子例程、调用等可以用于执行上文描述的方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可以存储或包括在一个或多个计算机可读存储或记录介质上，诸如本文描述的一个或多个计算机可读存储或记录介质中的任一个。
因此，在一些实施方案中，本发明提供一种计算机程序产品，所述计算机程序产品包括介质，所述介质用于包括用于计算机输入的计算机程序；以及所述介质中包括的计算机程序，所述计算机程序用于使计算机进行或执行多个步骤，所述步骤包括本文描述的实施方案、方法、途径和/或技术的任一项或多项中所涉及的任一个或多个步骤。例如，在一些实施方案中，本发明提供一种或多种非暂态计算机可读存储介质，其存储一个或多个计算机程序，所述一个或多个计算机程序适于使基于处理器的设备或系统执行多个步骤，所述步骤包括：识别由用户装置的相机观看的场景中的真实世界对象；至少部分基于图像辨别和标记对象的共享设定来使真实世界对象与标记对象匹配，所述标记对象已标记有内容项；向用户装置的用户提供内容项与真实世界对象相关联的通知；从用户接收对内容项的请求；以及向用户提供内容项。在另一个实例中，在一些实施方案中，本发明提供一种或多种非暂态计算机可读存储介质，其存储一个或多个计算机程序，所述一个或多个计算机程序适于使基于处理器的设备或系统执行多个步骤，所述步骤包括：从用户接收对如由第一用户装置的相机观看的真实世界对象的选择；接收内容项以标记到真实世界对象；用相机捕获真实世界对象的一个或多个图像；从用户接收共享设定，其中共享设定包括真实世界对象是会只与真实世界对象的图像匹配还是与同真实世界对象共享一个或多个共同属性的任何对象的图像匹配；以及将内容项、真实世界对象的一个或多个图像和共享设定存储在服务器上，其中内容项被配置成由观看与真实世界对象匹配的对象的第二用户装置检索。
虽然本发明已借助于特定实施方案及其应用描述了本文公开的发明，但是在不脱离权利要求书中阐述的本发明的范围的情况下，本领域技术人员可以对其作出众多修改和改变。

Claims (20)

1.一种方法，所述方法包括：
识别由用户装置的相机观看的场景中的真实世界对象；
至少部分基于图像辨别和标记对象的共享设定来使所述真实世界对象与所述标记对象匹配，所述标记对象已标记有内容项；
向所述用户装置的用户提供所述内容项与所述真实世界对象相关联的通知；
从所述用户接收对所述内容项的请求；以及
向所述用户提供所述内容项。
2.如权利要求1所述的方法，其中所述共享设定包括所述标记对象是会只与所述标记对象的图像匹配还是与同所述标记对象共享一个或多个共同属性的任何对象的图像匹配。
3.如权利要求1或2所述的方法，其中所述真实世界对象与所述标记对象的所述匹配是进一步基于以下一项或多项：所述用户装置的位置和所述用户与所述内容项的作者之间的社交网络连接。
4.如权利要求1或2所述的方法，其中所述通知包括以下一项或多项：声音通知、弹出通知、振动以及由所述用户装置的所述相机观看的所述场景的显示中的图标。
5.如权利要求1或2所述的方法，其中所述内容项包括以下一项或多项：文本注释、图像、音频片段以及视频片段。
6.一种设备，所述设备包括：
基于处理器的装置；以及
非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使所述基于处理器的装置执行多个步骤，所述步骤包括：
识别由用户装置的相机观看的场景中的真实世界对象；
至少部分基于图像辨别和标记对象的共享设定来使所述真实世界对象与所述标记对象匹配，所述标记对象已标记有内容项；
向所述用户装置的用户提供所述内容项与所述真实世界对象相关联的通知；
从所述用户接收对所述内容项的请求；以及
向所述用户提供所述内容项。
7.如权利要求6所述的设备，其中所述共享设定包括所述标记对象是会只与所述标记对象的图像匹配还是与同所述标记对象共享一个或多个共同属性的任何对象的图像匹配。
8.如权利要求6或7所述的设备，其中所述识别的真实世界对象与所述标记对象的所述匹配是进一步基于以下一项或多项：所述用户装置的位置和所述用户与所述内容项的作者之间的社交网络连接。
9.如权利要求6或7所述的设备，其中所述通知包括以下一项或多项：声音通知、弹出通知、振动以及由所述用户装置的所述相机观看的所述场景的显示中的图标。
10.如权利要求6或7所述的设备，其中所述内容项包括以下一项或多项：文本注释、图像、音频片段以及视频片段。
11.一种方法，所述方法包括：
从用户接收对如由第一用户装置的相机观看的真实世界对象的选择；
接收内容项以标记到所述真实世界对象；
用所述相机捕获所述真实世界对象的一个或多个图像；
从所述用户接收共享设定，其中所述共享设定包括所述真实世界对象是会只与所述真实世界对象的图像匹配还是与同所述真实世界对象共享一个或多个共同属性的任何对象的图像匹配；以及
将所述内容项、所述真实世界对象的所述一个或多个图像和所述共享设定存储在服务器上，其中所述内容项被配置成由观看与所述真实世界对象匹配的对象的第二用户装置检索。
12.如权利要求11所述的方法，其中所述内容项包括以下一项或多项：文本注释、图像、音频片段以及视频片段。
13.如权利要求11所述的方法，其中所述共享设定还包括对何人能够观看所述内容项的限制。
14.如权利要求11-13中任一项所述的方法，其中所述共享设定由所述用户在对应于所述真实世界对象的属性列表中选择来键入。
15.如权利要求14所述的方法，其中所述属性列表通过对所述真实世界对象的所述一个或多个图像执行的对象辨别来生成。
16.一种设备，所述设备包括：
基于处理器的装置；以及
非暂态存储介质，所述非暂态存储介质存储一组计算机可读指令，所述计算机可读指令被配置来使所述基于处理器的装置执行多个步骤，所述步骤包括：
从用户接收对如由第一用户装置的相机观看的真实世界对象的选择；
接收内容项以标记到所述真实世界对象；
用所述相机捕获所述真实世界对象的一个或多个图像；
从所述用户接收共享设定，其中所述共享设定包括所述真实世界对象是会只与所述真实世界对象的图像匹配还是与同所述真实世界对象共享一个或多个共同属性的任何对象的图像匹配；以及
将所述内容项、所述真实世界对象的所述一个或多个图像和所述共享设定存储在服务器上，其中所述内容项被配置成由观看与所述真实世界对象匹配的对象的第二用户装置检索。
17.如权利要求16所述的设备，其中所述内容项包括以下一项或多项：文本注释、图像、音频片段以及视频片段。
18.如权利要求16所述的设备，其中所述共享设定还包括对何人能够观看所述内容项的限制。
19.如权利要求16-18中任一项所述的设备，其中所述共享设定由所述用户在对应于所述真实世界对象的属性列表中选择来键入。
20.如权利要求19所述的设备，其中所述属性列表通过对所述真实世界对象的所述一个或多个图像执行的自动对象辨别来生成。
CN201580051147.6A 2014-09-29 2015-09-18 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案 Active CN107111740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249994.0A CN112906615A (zh) 2014-09-29 2015-09-18 用于检索内容项并使之与真实世界对象相关联的方案

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201462057223P 2014-09-29 2014-09-29
US201462057219P 2014-09-29 2014-09-29
US62/057,219 2014-09-29
US62/057,223 2014-09-29
US14/565,236 2014-12-09
US14/565,204 2014-12-09
US14/565,236 US10216996B2 (en) 2014-09-29 2014-12-09 Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US14/565,204 US10943111B2 (en) 2014-09-29 2014-12-09 Method and apparatus for recognition and matching of objects depicted in images
PCT/US2015/050908 WO2016053646A1 (en) 2014-09-29 2015-09-18 Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110249994.0A Division CN112906615A (zh) 2014-09-29 2015-09-18 用于检索内容项并使之与真实世界对象相关联的方案

Publications (2)

Publication Number Publication Date
CN107111740A true CN107111740A (zh) 2017-08-29
CN107111740B CN107111740B (zh) 2021-03-23

Family

ID=55584788

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201580051147.6A Active CN107111740B (zh) 2014-09-29 2015-09-18 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN202110393623.XA Pending CN113205112A (zh) 2014-09-29 2015-09-18 用于辨别和匹配图像中描画的对象的方法和设备
CN201580051213.XA Active CN106716393B (zh) 2014-09-29 2015-09-18 用于辨别和匹配图像中描画的对象的方法和设备
CN202110249994.0A Pending CN112906615A (zh) 2014-09-29 2015-09-18 用于检索内容项并使之与真实世界对象相关联的方案

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202110393623.XA Pending CN113205112A (zh) 2014-09-29 2015-09-18 用于辨别和匹配图像中描画的对象的方法和设备
CN201580051213.XA Active CN106716393B (zh) 2014-09-29 2015-09-18 用于辨别和匹配图像中描画的对象的方法和设备
CN202110249994.0A Pending CN112906615A (zh) 2014-09-29 2015-09-18 用于检索内容项并使之与真实世界对象相关联的方案

Country Status (5)

Country Link
US (5) US10943111B2 (zh)
EP (3) EP3783500A3 (zh)
JP (3) JP6349031B2 (zh)
CN (4) CN107111740B (zh)
WO (2) WO2016053646A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897474A (zh) * 2018-05-29 2018-11-27 高新兴科技集团股份有限公司 一种增强现实摄像机的虚拟标签的管理方法及管理系统
CN109241385A (zh) * 2018-08-08 2019-01-18 百度在线网络技术（北京）有限公司 搜索方法、设备以及存储介质
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质
CN109299661A (zh) * 2018-08-23 2019-02-01 北京卡路里信息技术有限公司 奖牌识别方法、装置及终端
CN110619026A (zh) * 2018-06-04 2019-12-27 脸谱公司 移动持久性增强现实体验
CN111133479A (zh) * 2017-09-22 2020-05-08 三星电子株式会社 提供增强现实服务的方法和设备
CN111373410A (zh) * 2017-11-22 2020-07-03 谷歌有限责任公司 增强现实环境的位所识别
CN111656410A (zh) * 2018-05-23 2020-09-11 三星电子株式会社 在增强现实系统中管理内容的方法和装置
CN112189218A (zh) * 2019-05-05 2021-01-05 谷歌有限责任公司 基于场地的增强现实的方法和装置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
JP6297540B2 (ja) * 2013-04-22 2018-03-20 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
KR20150011651A (ko) * 2013-07-23 2015-02-02 주식회사 케이티 스토리텔링 컨텐츠를 제작하는 장치 및 방법
US20160050525A1 (en) * 2014-08-13 2016-02-18 Yik Yak, Inc. Zone based anonymous content sharing
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9900276B2 (en) * 2015-04-23 2018-02-20 Red Gun Technologies, Inc. System and method for launching submitting-user-defined communicative action based on image matching
US10410412B2 (en) 2015-05-29 2019-09-10 Hover Inc. Real-time processing of captured building imagery
RU2622843C2 (ru) * 2015-09-24 2017-06-20 Виталий Витальевич Аверьянов Способ управления устройством обработки изображения
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US9892453B1 (en) * 2016-10-26 2018-02-13 International Business Machines Corporation Automated product modeling from social network contacts
EP3533229A4 (en) * 2016-10-28 2020-06-24 Axon Enterprise, Inc. SYSTEMS AND METHODS FOR ENRICHING CAPTURED DATA
CN106600638B (zh) * 2016-11-09 2020-04-17 深圳奥比中光科技有限公司 一种增强现实的实现方法
CN108268575A (zh) * 2017-01-04 2018-07-10 阿里巴巴集团控股有限公司 标注信息的处理方法、装置和系统
US10217019B2 (en) 2017-01-04 2019-02-26 International Business Machines Corporation Associating a comment with an object in an image
US10382673B2 (en) * 2017-01-11 2019-08-13 Hover Inc. Automated guide for image capturing for 3D model creation
US10482327B1 (en) 2017-01-18 2019-11-19 Snap Inc. Media overlay selection system
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
CN108509824B (zh) * 2017-02-24 2020-08-18 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
US10489980B1 (en) * 2017-03-30 2019-11-26 Amazon Technologies, Inc. Data discovery through visual interactions
US10606449B2 (en) 2017-03-30 2020-03-31 Amazon Technologies, Inc. Adjusting audio or graphical resolutions for data discovery
CN106980847B (zh) * 2017-05-05 2023-09-01 武汉虚世科技有限公司 一种基于生成与共享ARMark的AR游戏与活动的方法和系统
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
CN109510752B (zh) * 2017-09-15 2021-11-02 阿里巴巴集团控股有限公司 信息展示方法及装置
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
US10679306B2 (en) 2017-11-21 2020-06-09 International Business Machines Corporation Focus-object-determined communities for augmented reality users
CN107992814A (zh) * 2017-11-28 2018-05-04 北京小米移动软件有限公司 对象寻找方法及装置
DK3728215T3 (da) * 2017-12-22 2021-11-08 Siegfried Ag One-pot-proces til fremstilling af racemisk nikotin ved omsætning af ethylnicotinat med N-vinylpyrrolidon i nærvær af natriumethanolat eller kaliumethanolat eller blandinger deraf
US11132519B1 (en) * 2018-03-01 2021-09-28 Michael Melcher Virtual asset tagging and augmented camera display system and method of use
US10824869B2 (en) * 2018-03-20 2020-11-03 Olx B.V. Clickless identification and online posting
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
FI12136U1 (fi) * 2018-06-01 2018-09-14 Pauli Kari Musiikkiesitystä jakava järjestelmä
US10977868B2 (en) * 2018-06-29 2021-04-13 Factualvr, Inc. Remote collaboration methods and systems
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
GB2577989B (en) * 2018-09-30 2021-03-24 Lenovo Beijing Co Ltd Information processing method and electronic device
CN112822992A (zh) * 2018-10-05 2021-05-18 脸谱科技有限责任公司 在增强现实环境中使用神经肌肉信号来提供与物理对象的增强交互
JP6869216B2 (ja) * 2018-11-07 2021-05-12 スカパーＪｓａｔ株式会社 拡張現実端末
JP7250308B2 (ja) * 2018-11-13 2023-04-03 ＮｅｏＸ株式会社 Ａｒライブラリシステム
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
CN113544570A (zh) 2019-01-11 2021-10-22 奇跃公司 各种深度处的虚拟内容的时间复用显示
CN113272766A (zh) * 2019-01-24 2021-08-17 麦克赛尔株式会社 显示终端、应用程序控制系统和应用程序控制方法
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Ａｒプラットフォームシステム、方法およびプログラム
JPWO2020202346A1 (zh) * 2019-03-29 2020-10-08
US20200387568A1 (en) 2019-06-10 2020-12-10 Fuji Xerox Co., Ltd. Methods and systems for reporting requests for documenting physical objects via live video and object detection
US11204974B2 (en) 2019-07-19 2021-12-21 Capital One Services, Llc Methods and systems for providing an augmented reality interface for saving information for recognized objects
CN114222942A (zh) 2019-08-12 2022-03-22 奇跃公司 用于虚拟和增强现实的系统和方法
KR20210028934A (ko) * 2019-09-05 2021-03-15 삼성전자주식회사 관련 정보에 기반하여 외부 객체를 특정하는 전자 장치 및 그의 동작 방법
JP7293057B2 (ja) * 2019-09-13 2023-06-19 株式会社東芝 放射線量分布表示システムおよび放射線量分布表示方法
US11568640B2 (en) * 2019-09-30 2023-01-31 Lenovo (Singapore) Pte. Ltd. Techniques for providing vibrations at headset
US11417070B2 (en) * 2019-10-21 2022-08-16 Lenovo (Singapore) Pte. Ltd. Augmented and virtual reality object creation
CN110809187B (zh) * 2019-10-31 2022-04-05 Oppo广东移动通信有限公司 视频选择方法、视频选择装置、存储介质与电子设备
KR102348179B1 (ko) * 2020-03-02 2022-01-06 손준 오프라인 오브젝트에 대한 이미지 저장 방법
US20210279914A1 (en) * 2020-03-06 2021-09-09 Oshkosh Corporation Systems and methods for augmented reality application
US11632341B2 (en) * 2020-03-14 2023-04-18 Polypie Inc. Enabling communication with uniquely identifiable objects
CN113449754B (zh) * 2020-03-26 2023-09-22 百度在线网络技术（北京）有限公司 标签的匹配模型训练和展示方法、装置、设备及介质
US11232638B1 (en) * 2020-05-20 2022-01-25 Bradley French System and method for creating links to superimposable digital media content messages viewable on an electronic device
EP3926441B1 (en) 2020-06-15 2024-02-21 Nokia Technologies Oy Output of virtual content
US11468642B2 (en) * 2020-07-07 2022-10-11 Intuit Inc. Use of augmented reality for service projects
WO2022187281A1 (en) * 2021-03-01 2022-09-09 Daniel Goddard Augmented reality positioning and matching system
GB202112899D0 (en) * 2021-09-10 2021-10-27 Bae Systems Plc An image generator and method for an augmented reality system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110212717A1 (en) * 2008-08-19 2011-09-01 Rhoads Geoffrey B Methods and Systems for Content Processing
US20120062595A1 (en) * 2010-09-09 2012-03-15 Pantech Co., Ltd. Method and apparatus for providing augmented reality
US20120210254A1 (en) * 2011-02-10 2012-08-16 Masaki Fukuchi Information processing apparatus, information sharing method, program, and terminal device
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
JP2013105345A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム
CN103577102A (zh) * 2012-08-06 2014-02-12 三星电子株式会社 用于标记关于图像的信息的方法和系统、及其装置
CN103620600A (zh) * 2011-05-13 2014-03-05 谷歌公司 用于实现虚拟标记的方法及设备
US20140078174A1 (en) * 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
CN103797493A (zh) * 2011-08-18 2014-05-14 高通股份有限公司 用于自动共享图片的智能相机
US8743145B1 (en) * 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
CN103870485A (zh) * 2012-12-13 2014-06-18 华为终端有限公司 实现增强现实应用的方法及设备

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58123989A (ja) 1982-01-15 1983-07-23 松下電工株式会社 伸縮自在門扉
JPS6349031A (ja) 1986-08-13 1988-03-01 宮田　和臣 植物栽培装置
JPH06349031A (ja) 1993-04-14 1994-12-22 Sanyo Electric Co Ltd 磁気抵抗効果型ヘッド
CN1160580A (zh) 1996-03-27 1997-10-01 宇文军利 一种营养保健酒及其生产方法
JP3463734B2 (ja) 1998-03-30 2003-11-05 三菱電機株式会社 気象観測レーダシステム
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
JP2002175315A (ja) 2000-09-28 2002-06-21 Nikon Corp 画像注釈サーバー、画像注釈サービス方法、画像照会装置、電子カメラ、望遠光学機器、および記録媒体
US7262747B2 (en) 2001-08-09 2007-08-28 Information Decision Technologies, Llc Method and apparatus for using thermal imaging and augmented reality
US7138963B2 (en) 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
KR100641791B1 (ko) 2006-02-14 2006-11-02 (주)올라웍스 디지털 데이터에 대한 태깅 방법 및 시스템
US20080052349A1 (en) 2006-08-27 2008-02-28 Michael Lin Methods and System for Aggregating Disparate Batches of Digital Media Files Captured During an Event for the Purpose of Inclusion into Public Collections for Sharing
US20080077595A1 (en) 2006-09-14 2008-03-27 Eric Leebow System and method for facilitating online social networking
US7698660B2 (en) 2006-11-13 2010-04-13 Microsoft Corporation Shared space for communicating information
CN101535996A (zh) 2006-11-14 2009-09-16 皇家飞利浦电子股份有限公司 用于识别由数字图像捕获的对象的方法和设备
US20090054084A1 (en) 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US7853296B2 (en) 2007-10-31 2010-12-14 Motorola Mobility, Inc. Mobile virtual and augmented reality system
US20090248300A1 (en) 2008-03-31 2009-10-01 Sony Ericsson Mobile Communications Ab Methods and Apparatus for Viewing Previously-Recorded Multimedia Content from Original Perspective
US20100034466A1 (en) 2008-08-11 2010-02-11 Google Inc. Object Identification in Images
US20100049585A1 (en) 2008-08-21 2010-02-25 Eastman Kodak Company Concierge - shopping widget - method for user managed profile and selective transmission thereof
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
US8442922B2 (en) 2008-12-24 2013-05-14 Strands, Inc. Sporting event image capture, processing and publication
SG162688A1 (en) 2008-12-31 2010-07-29 Nokia Corp An apparatus, method and computer program
US8260666B2 (en) 2009-01-14 2012-09-04 Yahoo! Inc. Dynamic demand calculation using captured data of real life objects
US20110052012A1 (en) 2009-03-31 2011-03-03 Myspace Inc. Security and Monetization Through Facial Recognition in Social Networking Websites
US20100309225A1 (en) 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
US10217085B2 (en) 2009-06-22 2019-02-26 Nokia Technologies Oy Method and apparatus for determining social networking relationships
US20110013810A1 (en) 2009-07-17 2011-01-20 Engstroem Jimmy System and method for automatic tagging of a digital image
US20110066431A1 (en) 2009-09-15 2011-03-17 Mediatek Inc. Hand-held input apparatus and input method for inputting data to a remote receiving device
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8810684B2 (en) 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list
US9910866B2 (en) 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR20120002066A (ko) 2010-06-30 2012-01-05 주식회사 케이티 멀티미디어 컨텐츠를 출력하는 장치 및 방법
US8270684B2 (en) 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
US9342927B2 (en) 2010-11-08 2016-05-17 Sony Corporation Augmented reality system for position identification
US8341145B2 (en) 2010-12-20 2012-12-25 Microsoft Corporation Face recognition using social data
AU2011202836B2 (en) * 2010-12-21 2014-04-10 Lg Electronics Inc. Mobile terminal and method of controlling a mode screen display therein
JP5511084B2 (ja) 2011-02-08 2014-06-04 パナソニック株式会社 通信装置、通信システム、通信方法、及び通信プログラム
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US9317530B2 (en) 2011-03-29 2016-04-19 Facebook, Inc. Face recognition based on spatial and temporal proximity
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
CN104641399B (zh) 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
JP2013219666A (ja) 2012-04-11 2013-10-24 Sharp Corp 情報共有システム、照合装置、端末装置、情報共有方法及び情報共有プログラム
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US8798401B1 (en) 2012-06-15 2014-08-05 Shutterfly, Inc. Image sharing with facial recognition models
US8867841B2 (en) 2012-08-08 2014-10-21 Google Inc. Intelligent cropping of images based on multiple interacting variables
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US20140245335A1 (en) 2013-02-25 2014-08-28 Comcast Cable Communications, Llc Environment Object Recognition
US9514331B2 (en) * 2013-07-03 2016-12-06 Facebook, Inc. Privacy model for shared collections of content on a social networking system
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110212717A1 (en) * 2008-08-19 2011-09-01 Rhoads Geoffrey B Methods and Systems for Content Processing
US8743145B1 (en) * 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US20120062595A1 (en) * 2010-09-09 2012-03-15 Pantech Co., Ltd. Method and apparatus for providing augmented reality
US20120210254A1 (en) * 2011-02-10 2012-08-16 Masaki Fukuchi Information processing apparatus, information sharing method, program, and terminal device
CN103620600A (zh) * 2011-05-13 2014-03-05 谷歌公司 用于实现虚拟标记的方法及设备
CN103797493A (zh) * 2011-08-18 2014-05-14 高通股份有限公司 用于自动共享图片的智能相机
JP2013105345A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
CN103577102A (zh) * 2012-08-06 2014-02-12 三星电子株式会社 用于标记关于图像的信息的方法和系统、及其装置
US20140078174A1 (en) * 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
CN103870485A (zh) * 2012-12-13 2014-06-18 华为终端有限公司 实现增强现实应用的方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STEPHAN GAMMETER ET AL.: "I know what you did last summer: object-level auto-annotation of holiday snaps", 《2009 IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
无: "增强现实应用Stiktu_为现实世界贴标签", 《HTTP://TECH.CNR.CN/LIST/201206/T20120615_509921879.SHTML》 *
朱一和: "互联网景点图片挖掘与现实增强", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111133479A (zh) * 2017-09-22 2020-05-08 三星电子株式会社 提供增强现实服务的方法和设备
CN111133479B (zh) * 2017-09-22 2024-01-26 三星电子株式会社 提供增强现实服务的方法和设备
CN111373410A (zh) * 2017-11-22 2020-07-03 谷歌有限责任公司 增强现实环境的位所识别
CN111656410A (zh) * 2018-05-23 2020-09-11 三星电子株式会社 在增强现实系统中管理内容的方法和装置
CN108897474A (zh) * 2018-05-29 2018-11-27 高新兴科技集团股份有限公司 一种增强现实摄像机的虚拟标签的管理方法及管理系统
CN110619026A (zh) * 2018-06-04 2019-12-27 脸谱公司 移动持久性增强现实体验
CN109241385A (zh) * 2018-08-08 2019-01-18 百度在线网络技术（北京）有限公司 搜索方法、设备以及存储介质
US11556605B2 (en) 2018-08-08 2023-01-17 Baidu Online Network Technology (Beijing) Co., Ltd. Search method, device and storage medium
CN109299661A (zh) * 2018-08-23 2019-02-01 北京卡路里信息技术有限公司 奖牌识别方法、装置及终端
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质
CN112189218A (zh) * 2019-05-05 2021-01-05 谷歌有限责任公司 基于场地的增强现实的方法和装置

Also Published As

Publication number Publication date
US11182609B2 (en) 2021-11-23
JP6706647B2 (ja) 2020-06-10
US20190220664A1 (en) 2019-07-18
EP3201833B1 (en) 2020-11-11
EP3783500A3 (en) 2021-04-07
CN107111740B (zh) 2021-03-23
CN112906615A (zh) 2021-06-04
US20190188472A1 (en) 2019-06-20
US20160092732A1 (en) 2016-03-31
US20200311421A1 (en) 2020-10-01
US10216996B2 (en) 2019-02-26
EP3201833A4 (en) 2018-07-18
US20210397834A1 (en) 2021-12-23
WO2016053646A1 (en) 2016-04-07
EP3201833A1 (en) 2017-08-09
EP3783500A2 (en) 2021-02-24
CN106716393A (zh) 2017-05-24
JP6349031B2 (ja) 2018-06-27
US11113524B2 (en) 2021-09-07
CN113205112A (zh) 2021-08-03
EP3201788A4 (en) 2018-07-11
US10943111B2 (en) 2021-03-09
JP2018170019A (ja) 2018-11-01
CN106716393B (zh) 2021-04-27
JP6410930B2 (ja) 2018-10-24
JP2017531261A (ja) 2017-10-19
US20160093106A1 (en) 2016-03-31
JP2017532672A (ja) 2017-11-02
US11003906B2 (en) 2021-05-11
EP3201788A1 (en) 2017-08-09
WO2016053643A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
CN107111740A (zh) 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
US9965237B2 (en) Methods, systems and processor-readable media for bidirectional communications and data sharing
US9542778B1 (en) Systems and methods related to an interactive representative reality
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US20160182971A1 (en) Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
CN110914872A (zh) 用认知洞察力导航视频场景
CN113806036A (zh) 虚拟内容的输出
CN105190480A (zh) 信息处理设备和信息处理方法
JPWO2018131238A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US12026812B2 (en) Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
CN113377271A (zh) 文本获取方法、装置、计算机设备及介质
CN110168615B (zh) 信息处理设备、信息处理方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant