CN104641399B - 用于创建环境并用于共享环境中基于位置的体验的系统和方法 - Google Patents

用于创建环境并用于共享环境中基于位置的体验的系统和方法 Download PDF

Info

Publication number
CN104641399B
CN104641399B CN201380010615.6A CN201380010615A CN104641399B CN 104641399 B CN104641399 B CN 104641399B CN 201380010615 A CN201380010615 A CN 201380010615A CN 104641399 B CN104641399 B CN 104641399B
Authority
CN
China
Prior art keywords
image
camera
interest
point
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380010615.6A
Other languages
English (en)
Other versions
CN104641399A (zh
Inventor
查尔斯·D·休斯顿
克里斯·科尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN104641399A publication Critical patent/CN104641399A/zh
Application granted granted Critical
Publication of CN104641399B publication Critical patent/CN104641399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Abstract

一种用于创建环境并用于基于该环境来共享体验的系统，包括多个移动设备，该移动设备具有用在兴趣点附近来捕捉兴趣点附近的随机、众源的图像以及相关联的元数据的相机，其中，每一个图像的元数据都包括移动设备的位置和相机的取向。优选地，图像包括深度相机信息。无线网络与移动设备进行通信以接受图像和元数据，且构建并存储该区域的点云或3D模型。用户连接到此体验平台，以从用户选择的位置和取向查看3D模型，并例如，利用社交网络参与体验。

Description

用于创建环境并用于共享环境中基于位置的体验的系统和 方法
背景
1.技术领域
本发明涉及用于创建包括虚拟模型和图像的室内和户外环境的系统和方法，以及使用这样创建的环境的方法和系统。在优选形式中，部分地使用众源的图像和元数据来创建环境，且环境被应用于社交媒体应用。
2.对相关技术的描述
Microsoft、Google，以及Nokia(Navteq)已经采用移动街道汽车通过世界上的大多数主要城市来当汽车在街道上遍历时捕捉建筑物和环境的图像。在一些情况下，激光雷达成像(例如，光检测及测距或“LIDAR”)还捕捉来自汽车的测距数据，以捕捉与建筑物和街道位置和结构有关的数据，诸如建筑物高度。由行驶中的汽车捕捉到的图像包括用户可从地图服务访问的照片和视频图像(以及在很多情况下，卫星图像)。例如，从Google Maps和Google Earth访问来自Google的Street View，并提供当获取汽车沿着主要街道移动时从获取汽车获取的全景图像。来自微软的Bing Maps是类似的，参见如，美国专利公开No.2011/0173565和WO 2012/002811。Earthmine是类似的，但是，使用Mars收集系统。Nokia具有其自己的类似地操作的版本，称为“Journey View”。这样的图像非常有用，但是，获取仅限于沿着主要干道行驶的专用车辆。其他方法使用从飞机捕捉到的光学和LIDAR数据。
出现了照片共享站点，其中基于web的照片储存库(Photobucket)与被授权的用户共享事件的照片。示例包括Flickr、Photobucket、Picasa、Shutterfly、BeamrandSnapfish。进一步地，诸如Facebook和Google+之类的社交网络使用户组张贴事件的照片并与朋友共享照片。这样的照片储存库和社交网络对于与朋友共享事件是有用的，但是，在真实性和交互方面受到限制。进一步地，许多社交网络作为照片储存库来操作，传统的照片储存库已经变为社交网络——模糊它们之间的区别。进一步地，照片改进的站点变得常见。例如，Instagram、Camera+，以及Pinterest。
需要创建环境并更新环境的准确的方法和系统，以便它是准确的、特征丰富的、且当前的。例如，美国专利公开No.2011/0313779说明了通过收集用户反馈来更新兴趣点的一种方法。另外，很多环境简直不可用，诸如停车场、室内位置和主要城市中的主要街道以外的任何位置。进一步地，能够在超出只共享在事件之后张贴的事件的照片之外还共享基于位置的体验将是一个进步。
相关的专利和申请描述了对基于位置的体验的各种改进，例如：美国专利No.7,855,638和7,518,501和美国专利公开No.2011/0282799、2007/00188802012/0007885以及2008/0259096(有时被称为“相关专利”)。通过引用在法律允许的最大程度上结合此处所引用的所有参考文献，但是，这样的结合不应该解释为参考文献现有技术的承认。
发明内容
通过根据本发明的用于创建并共享环境和体验的系统和方法来解决上文所概述的问题。广泛地说，用于创建环境并用于共享体验的系统包括多个移动设备，它们具有用在兴趣点附近来捕捉所述兴趣点附近的随机图像和相关联的元数据的相机，其中，每一个图像的元数据都包括移动设备的位置和相机的取向。无线网络与移动设备进行通信以接受图像和元数据。图像处理服务器连接到网络，用于接收图像和元数据，其中服务器处理图像以确定图像中的各种目标的位置，并构建兴趣点附近的区域的3D模型。优选地，体验平台连接到图像处理服务器，以便存储3D模型。多个用户连接到体验平台，以从用户选择的位置和取向来查看兴趣点。
在优选形式中，体验平台包括与兴趣点附近的位置相关联的多个图像。在另一形式中，连接到体验平台的用户可查看与用户选择的位置和取向相关联的图像。在另一形式中，处理服务器将许多图像拼接在一起以构成全景。优选地，连接到体验平台的用户可查看与用户选择的位置和取向相关联的全景。
广泛地说，用于创建与基于位置的体验一起使用的环境的系统包括伴随着多个随机贡献者的多个移动设备，每一移动设备都具有捕捉兴趣点附近的随机图像和相关联的元数据的相机，其中，每一个图像的元数据都包括移动设备的位置和相机的取向。该系统包括与移动设备进行通信以接受图像和元数据的无线网络。图像处理服务器连接到网络，用于接收图像和元数据，其中，服务器处理图像以确定图像中的各种目标的位置，并构建兴趣点附近的区域的3D模型。优选地，服务器处理图像以创建与兴趣点附近的很多位置相关联的全景。
在一种形式中，本发明包括共享基于位置的体验中的内容的方法，其中，捕捉了多个图像和相关联的元数据。处理图像和元数据以构建兴趣点附近的区域的3D模型。该方法包括将图像和3D模型存储在连接到网络的体验平台中。使用网络来访问体验平台以访问3D模型和图像。用户选择3D模型中的位置和取向，并从所选位置和取向查看兴趣点。
在另一形式中，共享体验或查看事件涉及基于诸如市场因素之类的上下文来添加或改变广告。在另一形式中，可将产品图像插入到视图中。在其他情况下，可由从观众的查看设备、社交媒体、或基于云的数据收集的单个观众的个人信息来确定广告的上下文或产品位置。在其他形式中，可基于与事件或体验绑定的社交网络或事件的本质来添加或改变广告。
附图简述
图1a是被用作此处的示例的广场的透视图，且图1b是图1a的广场的平面图；
图2是优选实施例中的移动设备的前视图；
图3是根据本发明的网络系统的功能图；
图4是描绘了功能目标的图2的移动设备的前视图；
图5是图2和4的设备的后视图；
图6是图2，4，以及5的设备的功能硬件图示；
图7是示出了第一示例的图2的设备的前视图；
图8是示出了第二示例的图2的设备的前视图；
图9是示出了第三示例的图2的设备的前视图；
图10是本发明的另一移动设备的透视图；
图11A是城市的一部分的透视，鸟瞰图，其中示出了低分辨率线框；
图11B是城市的相同部分的透视，鸟瞰图，其中示出了精细的分辨率；
图11C是城市的相同部分的透视，鸟瞰图，其中示出了详细的分辨率；
图11D是城市的相同部分的透视，鸟瞰图，其中示出了细的逼真分辨率；
图12是获取的图像的EXIF元数据的表；
图13a和13b是示出了摄影测量学基础理论的图示；
图14是描绘了图像对齐和配准(registration)的示意图；
图15是描绘了目标的三个不同的视图的示意图；
图16A示出了常规相机；
图16B示出了全光相机的几何形状；
图17是具有身临其境环境的实施例的房间的透视图；以及
图18是示出了另一环境的另一房间(具体是婚礼小教堂)的透视图。
具体实施方式
I.概览
在示例形式中，3D模型或“虚拟模型”被用作起始点，诸如图1a的广场的图像。多个用户(或单一用户拍摄多个图像)使用诸如图3所示出的智能电话10之类的移动设备从图1b中的标记为A-E的各种位置拍摄广场的图像(照片)。每一图像A–E不仅包括图像，而且还包括与图像相关联的元数据，包括EXIF数据、时间、位置，以及取向。在此示例中，图像和元数据在它们被获取时被上传到连接到图像处理服务器211(图3)的通信网络205(例如，蜂窝网络)。在一些实施例中，移动设备还包括如图2所示的一个或多个深度相机。
图像处理服务器211使用网络205和来自电话10的GPS信息来处理元数据，以获得图像A-E的原点的非常准确的位置。使用图像匹配和配准技术，将图像拼接在一起以形成马赛克和全景，并细化广场的3D模型。在细化广场的3D模型时，图像识别技术可从图像中删除人，从而在在没有混乱和隐私问题的情况下聚焦于构建广场的非常准确的3D模型。所产生的“环境”是可重新创建并从广场中的任何位置和从用户选择的位置的用户选择的取向查看的广场的准确的3D模型。进一步地，广场中的许多位置具有与该位置相关联的图像，拼接的图像的马赛克或全景，或可从与附近的位置相关联的图像创建。
在一个示例中，在事件发生时远离广场的用户可通过访问体验平台207并基本上实时地查看广场来参与事件。事件中的所有的或选择的参与者都可被保留在图像中，甚至使用化身来表示事件中的参与者。因此，远程用户可在事件过程中观察广场，在事件过程中选择广场的虚拟视图或广场的摄影视图。
在另一个示例中，上文对于事件所描述的广场对于事件而言变为有新闻价值的。远程用户或新闻机构可使用从体验平台获取的事件的历史图像来重播事件。
在再一个示例中，通过访问体验平台207并使用增强的现实和/或目标相关的内容来标识事件的参与者，在广场上物理上参加事件的用户可参与。
II.术语的解释
如此处所使用的，术语“图像”是指由相机(例如，静物照相机、数码相机、视频相机、相机电话等等)或任何其他成像设备所拍摄的一个图像或一系列图像。图像与图像捕捉时的诸如EXIF、时间、位置、成像设备(例如，相机)的倾斜角、以及取向之类的元数据相关联。深度相机信息和音频也可被视为图像或图像的一部分。
如此处所使用的，术语“兴趣点”是指由用户所指定的图像中的空间中的任何一点。以示例的方式，图像中的兴趣点可是观测台或塔顶，建筑物的天线或窗户，公园中的旋转木马等等。“兴趣点”不限于仅固定对象，而且也可包括移动对象。
最常见的定位技术是GPS。如此处所使用的，GPS——有时被称为GNSS——意味着包括所有现在和将来的定位系统，包括诸如美国Navistar、GLONASS、Galileo、EGNOS、WAAS、MSAS、BeiDou卫星导航系统(中国)、QZSS等等之类的卫星。准确度可使用诸如WAAS(广区域)、LAAS(局部区域)、载波-相位增强(CPGPS)、基于空间的增强系统(SBAS)；广区域GPS增强(WAGE)，或相对运动定位(RKP)之类的已知技术(常常叫做微分技术)来改进位置(特别是参与者的位置)的准确度。甚至在没有微分校正的情况下，很多改进也正在提高GPS准确度，诸如卫星星座的增大、多个频率(L1，L2，L5)、建模以及AGPS改进、软件接收器、以及地球站改进。当然，由应用的要求驱动位置的准确度。在用于说明优选实施例的高尔夫球示例中，由带有辅助GPS的WAAS所提供的次五米准确度通常是可接受的。在构建根据本发明的模型时，AGPS、WAAS，以及使用时间和微分校正的后处理可导致辅助计量(submeter)位置准确度。进一步地，一些“体验”可保留在室内，使用此处所描述的相同消息增强技术。这样的室内定位系统包括AGPS、IMEO、Wi-Fi(Skyhook)、WIFISLAM、蜂窝小区ID、伪卫星、转发器(repeater)、任何电磁信号(例如，TV)上的RSS及其他已知或开发的。
术语“地理参照”意味着固定于特定位置或目标的消息。如此，消息可固定于一个地点，例如，高尔夫球场围墙或固定于移动参与者，例如，移动的高尔夫小汽车或玩家。对象通常使用诸如GPS之类的定位技术来进行地理参照，而且也可使用机器视觉来进行地理参照。如果使用机器视觉(即，对象识别)，应用可以是“无标记的”或使用“标记”，有时被称为“基准”。基于标记的增强的现实常常使用带有高对比度的正方形标记。在此情况下，通过机器视觉，使用正方形标记，来检测正方形的四个角点，并使用此信息来计算三维相机信息。还使用其他可检测的源，诸如嵌入式LED的或特殊涂层或QR代码。对可易于检测到的标记应用AR的有利之处在于，即使实时地执行，识别和跟踪也是相对准确的。如此，在其中背景环境中的AR消息的准确的配准(registration)重要的应用中，基于标记的系统具有一些优点。
在“无标记的”系统中，AR使用一般自然图像代替基准。一般而言，无标记的AR使用特征点匹配方法。特征点匹配是指用于搜索和连接两个不同的图像中的相同特征点的操作。此处参考Photsyth来讨论用于特征识别的一种方法。建议了一种用于使用同时定位和地图创建(SLAM)/并行的跟踪和测绘(PTAM)算法来提取平面，并使用该平面来提供AR的方法，该算法用于实时地跟踪相机的三维位置信息和特征点的三维位置信息。然而，由于SLAM/PTAM算法获取图像以搜索特征点，计算相机的三维位置和特征点的三维位置，并基于这样的信息来提供AR，因此，需要可观的计算。也可使用混合型系统，其中，地理参照出容易识别的符号或牌，机器视觉替换AR消息。
在本申请中，使用术语“社交网络”来指跟踪并能实现成员(包括人、企业，及其他实体)或成员的子集之间的连接的任何进程或系统。连接和成员资格可是静态或动态的，成员资格可包括社交网络内的各种子集。例如，个人的社交网络可包括对艺术感兴趣的成员的子集，该人只与艺术兴趣子集共享到雕塑公园的出游。进一步地，社交网络是可动态地配置的。例如，可为9月22的“Nasher雕塑公园”形成社交网络，且任何感兴趣的人都可加入纳希尔雕塑公园9月22社交网络。可另选地，事件的某一范围内的任何人都可被允许加入。涉及社交网络中的成员资格的置换有许多且并非意在限制。
社交网络通过让用户参与、评论、和创建内容作为与他们的社交图，其他用户以及公众进行通信的手段，来跟踪和启用交互式web。在本发明的上下文中，这样的共享和社交网络参与包括参与者创建的内容和旁观者创建的内容，以及当然，共同创建的内容。例如，创建的内容可以是交互式的，以允许旁观者向参与者创建的事件添加内容。诸如FLIKR和Photobucket之类的照片储存库和社交网络之间的区别变得模糊，两个术语此处有时可互换地使用。
常规社交网络的示例包括LinkedIn.com或Facebook.com、Google Plus、Twitter(包括Tweetdeck)、诸如Rockmelt之类的社交浏览器，以及支持社会互动的各种社交实用程序，包括与HTML5浏览器的集成。位于www.Wikipedia.org/wiki/list_of_social_networking_sites的网站列出了几百个目前正在使用的社交网络。相亲网站、Listservs，以及兴趣组也可充当社交网络。社交网络的兴趣组或子集对邀请成员参加事件特别有用，诸如Google+“圈”或Facebook“组”。个人可构建私有社交网络。常规社交网络网站允许成员比较有效率地传递与他们的朋友或社交网络中的其他连接相关的信息。社交网络通常结合用于在社交网络中的成员之间维护连接以及到可能与成员相关的内容的链接的系统。社交网络还收集和维护信息，或者它可是动态的，诸如跟踪成员的在社交网络内的动作。此处的方法和系统涉及围绕社交网络的成员在社交网络内共享的一个成员的动作的动态事件。此信息可是静态的，诸如地理位置、雇主、职业类型、年龄、音乐偏好、兴趣，以及各种其他属性。
在本申请中，事件或“体验”的地点可以是真实的视图或被描绘成照片背景环境或虚拟环境，或混合，有时称为“混合现实”。理解本发明的环境的的一种方便的方式是作为一层人工现实或重叠事件地点背景的“增强的现实”图像。如本领域的技术人员所理解的，有不同的创建事件地点背景的方法。例如，可通过许多呈现引擎来创建人工背景环境，有时被称为“虚拟”环境。参见，例如，Nokia的(通过其Navteq子公司)混合现实环境的数字图像与人工3D呈现的Journey View。“虚拟”环境或3D模型可处于不同级别的分辨率，诸如图A-11D中所示出的那些。现实环境可是通过图10的眼镜看到的背景，而且也可使用数字图像、全景或3D模型来创建。这样的数字图像可被存储和检索供使用，诸如“街道视图”或照片、视频，或全景，或其他类型的存储的图像。可另选地，许多移动设备具有用于捕捉可用作背景环境的数字图像的相机。这样的来自相机的数字图像可来自用户、朋友、社交网络组、众源的，或提供的服务。由于使用现实环境作为背景是常见的，因此，“增强的现实”常常是指将虚拟现实图形(对象)插入到实际数字图像中并生成其中真实对象和虚拟对象混合的图像(即，“混合的现实”)的技术。增强的现实常常特征在于，使用虚拟图形的补充信息可层叠或提供到获取的现实世界的图像上。可混合多层现实的和虚拟的现实。在这样的应用中，对象的位置或与其他层的“配准”是重要的。即，基于定位系统的对象或层相对于彼此的位置应该足够近以支持应用。如此处所使用的，“人工现实”(“AR”)有时与“虚拟”、“混合”或“增强的”现实可互换地使用，可理解，背景环境可是现实的或虚拟的。
本申请可互换地使用术语“平台”和“服务器”，描述与这样的服务器相关联的各种功能，包括驻留在服务器上的数据和应用程序。这样的功能描述并不意味着，所有功能都不能驻留在同一台服务器或多个服务器上或远程和分布式服务器上，或者甚至在客户机和服务器之间共享功能，如本领域技术人员所理解的。
当讨论图像时，本申请使用术语“随机”来推断多个图像的获取不是协调的，即，目标、取向、时间等等。获取的随机图像的一个类别来自于“众源”。
III.移动设备
比较详细地，图4是诸如智能电话之类的移动设备10的前视图，智能电话是此处所讨论的设备10的说明本发明的某些方面的优选形状因子。移动设备10可是，例如，手持式计算机、平板电脑、个人数字助理、护目镜或眼镜、隐形眼镜、蜂窝电话、腕带计算机、具有GPS和无线电的相机、带有无线电的GPS、网络电器、相机、智能电话、增强的通用分组无线业务(EGPRS)移动电话、网络基站、媒体播放器、导航设备、电子邮件设备、游戏控制台、或其他电子设备或这些数据处理设备或其他数据处理设备中的任何两个或更多设备的组合。
移动设备10包括触敏图形显示器102。触敏显示器102可实现液晶显示(LCD)技术、发光聚合物显示(LPD)技术、或某种其他显示技术。触敏显示器102可对与用户的触觉(haptic)和/或触觉(tactilr)接触敏感。
触敏图形显示器102可包括多触敏显示器。多触敏显示器102可，例如，处理多个同时的触摸点，包括处理涉及每一触摸点的压力、度、和/或位置的数据。这样的处理促进利用多个手指的姿势和交互，弹，及其他交互。也可使用其他触敏显示技术，例如，其中使用指示笔或其他指向设备来进行接触的显示器。在U.S.专利No.6,323,846；6,570,557；6,677,932；以及美国专利公开No.2002/0015024中描述了多触敏显示技术的示例，这里通过引用将所有这些申请结合至此。触摸屏102和触摸屏控制器可，例如，使用多种触摸敏感技术中的任何一种，包括但不限于，电容性、电阻性、红外线，以及表面声波技术，以及其他接近度传感器阵列或用于确定与触摸屏102的一个或多个接触点的其他元件，来检测其接触和移动或断开(break)。
移动设备10可在触敏显示器102上显示用于给用户提供对各种系统对象的访问以及用于向用户传达信息的一个或多个图形用户界面。图形用户界面可包括一个或多个显示对象104、106、108、110。显示对象104、106、108、110中的每一个都可是系统对象的图形表示。系统对象的一些示例包括设备功能、应用程序、窗口、文件、警告、事件，或其他可标识的系统对象。
移动设备10可实现多个设备功能，诸如电话设备，如由电话对象所指示的；电子邮件设备，如由电子邮件对象所指示的；网络数据通信设备，如由Web对象所指示的；Wi-Fi基站设备(未示出)；以及媒体处理设备，如由媒体播放器对象所指示的。为了方便起见，设备对象，例如，电话对象、电子邮件对象、Web对象，以及媒体播放器对象可显示在菜单栏118。
可从顶级图形用户界面，诸如图4中所示出的图形用户界面，访问设备功能中的每一个。触摸对象中的一个，例如，104、106、108、110等等，可，例如，调用对应的功能。在所示实施例中，对象106表示根据本发明的“人工现实”应用程序。对象110启用一个或多个深度相机的功能。
在调用特定设备功能时，移动设备10的图形用户界面改变，或被增强或替换为另一用户界面或用户界面元素，以促进用户对与对应的设备功能相关联的特定的功能的访问。例如，响应于用户触摸电话对象、触敏显示器102的图形用户界面可呈现涉及各种电话功能的显示对象；同样，触摸电子邮件对象可导致图形用户界面呈现涉及各种电子邮件功能的显示对象；触摸Web对象可导致图形用户界面呈现涉及各种Web冲浪功能的显示对象；且触摸媒体播放器对象可导致图形用户界面呈现涉及各种媒体处理功能的显示对象。
通过按下位于移动设备10的底部附近的按钮120可恢复图4的顶级图形用户界面环境或状态。每一对应的设备功能都可具有显示在触敏显示器102上的对应的“主(home)”显示对象，可通过按下“主”显示对象或复位按钮120来恢复图4的图形用户界面环境。
顶级图形用户界面在图1中示出且可包括附加显示对象，诸如短消息服务(SMS)对象、日历对象、照片对象、相机对象108、计算器对象、股票对象、天气对象、地图对象、便笺对象、时钟对象、地址簿对象、以及设置对象，还有AR对象106和深度相机对象110。触摸SMS显示对象可，例如，调用SMS消息传送环境和支持功能。同样，对显示对象的每一选择都可调用对应的对象环境和功能。
移动设备10可包括一个或多个输入/输出(I/O)设备和/或传感器设备。例如，可包括扬声器122和麦克风124，以促进能用语音的功能，诸如电话和语音邮件功能。在某些实现中，可包括扬声器122以促进免提语音功能，诸如扬声器电话功能。也可包括音频插孔，供使用耳机和/或麦克风。
可包括接近度传感器(未示出)，以促进检测用户将移动设备10置于用户的耳朵附近，作为响应，脱离(disengage)触敏显示器102以防止意外的功能调用。在某些实现中，当移动设备10在用户的耳朵附近时，可关闭触敏显示器102以节省额外的电源。
也可使用其他传感器。例如，可使用环境光传感器(未示出)，以促进调整触敏显示器102的亮度。可使用加速度计(图6)来检测移动设备10的移动，如由方向箭头所指示的。因此，根据检测到的取向，例如，纵向或横向，来呈现显示对象和/或媒体。
移动设备10可包括用于支持位置确定能力(诸如由全球定位系统(GPS)或其他定位系统(例如，蜂窝小区ID、使用Wi-Fi接入点、电视信号、蜂窝网格、统一资源定位器(URL)的系统)所提供的)的电路和传感器。定位系统(例如，GPS接收器，图6)可被集成到移动设备10中，或作为可通过接口(例如，端口设备132)耦合到移动设备10的单独的设备提供，以提供对基于位置的服务的访问。
移动设备10也可包括一个或多个前相机镜头和传感器140以及深度相机142。在优选实现中，后相机镜头和传感器141位于移动设备10的背面，如图5所示。常规RGB相机140，141可捕捉静止图像和/或视频。相机子系统620和光学传感器140，141可包括，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，可被用来促进诸如记录照片和视频剪辑之类的相机功能。相机控制(放大、摇摄、捕捉和存储)可被包括到按钮134–136(图4)中。在某些实施例中，相机可以是不同类型。例如，相机140，141可是常规RGB相机，而相机142，143包括范围相机，诸如全光相机。类似地，其他传感器可被包括到设备10中。例如，传感器146，148可以是其他类型的范围相机，诸如飞行时间相机(TOF)或带有146照明装置和148成像器的LIDAR。可另选地，在数个实施例中，传感器是结构化光系统的一部分，其中，传感器146是IR发射器，传感器148是充当深度相机的IR接受器，诸如Primesense所提供的Capri 1.25。
优选的移动设备10包括GPS定位系统。在此配置中，可由耦合到移动设备10的单独的设备来提供另一定位系统，或可在移动设备内部提供另一定位系统。这样的定位系统可使用这样的定位技术：包括GPS、蜂窝网格、URL、IMEO、伪卫星、转发器、Wi-Fi或用于确定设备的地理位置的任何其他技术。定位系统可使用由定位服务所提供的服务，诸如，例如，来自美国麻塞诸塞州波士顿的SkyHook Wireless，或加利福尼亚州Mountain View的RosumCorporation的Wi-Fi RSS系统。在其他实现中，可通过加速度计和罗盘使用航位推算法技术从已知(例如，由GPS确定)位置开始来提供定位系统。在这样的实现中，用户可有时候通过标记移动设备的在已知位置(例如，地界标或交叉点)的存在来复位定位系统。在又一些其他实现中，用户可输入移动设备的一组位置坐标(例如，纬度、经度)。例如，位置坐标可被输入到电话(例如，使用虚拟键盘)中或通过触摸地图上的点来选择。也可通过与其他设备同步或链接，从另一设备(例如，小汽车导航系统)获取位置坐标。在其他实现中，定位系统可通过使用无线信号强度和已知无线信号源(Wi-Fi、TV、FM)的一个或多个位置来提供，以提供当前位置。无线信号源可包括接入点和/或蜂窝塔。可使用确定移动设备10的当前位置的其他技术，定位系统的其他配置也是可的。
除了以及近场通信外，移动设备10还可包括一个或多个无线通信子系统，诸如802.11b/g/n通信设备，和/或蓝牙TM通信设。也可支持其他通信协议，包括其他802.x通信协议(例如，WiMax、Wi-Fi)、码分多址(CDMA)、全球移动通信系统(GSM)、增强的数据GSM环境(EDGE)、3G(例如，EV-DO、UMTS、HSDPA)等等。可将附加传感器包括到设备10中，诸如加速度计、数字罗盘和陀螺仪，参见图6。优选设备也包括测距仪。进一步地，外设传感器、设备，以及子系统可耦合至外围接口132，以促进多种功能。例如，运动传感器、光传感器、和/或接近度传感器可耦合到外围接口132以促进参考图4和6所描述的取向、发光和接近度功能。其他传感器也可连接到外围设备接口132，诸如GPS接收器、温度传感器、生物特征传感器、RFID，或任何深度相机，或其他感应设备，以促进相关的功能。优选地，本发明利用尽可能多的传感器来收集与图像相关联的元数据。元数据的数量和质量不仅有助于产生更好的结果，而且还可缩短图像处理时间。
端口设备132是，例如，通用串行总线(USB)端口或对接端口，或某种其他有线端口连接。端口设备132可，例如，被用来建立与其他计算设备，诸如其他通信设备10、个人计算机、打印机，或能够接收和/或传输数据的其他处理设备，的有线连接。在某些实现中，端口设备132使用一个或多个协议，使移动设备10与主机设备同步。
除触敏屏幕102之外，或代替触敏屏幕102，在134–136示出了控制设备10的操作的输入/输出和操作按钮。移动设备10可包括到一个或多个数据处理器、图像处理器和/或中央处理单元的存储器接口，以及外围接口(图6)。存储器接口、一个或多个处理器、和/或外围接口可是单独的组件或可集成在一个或多个集成电路中。可通过一个或多个通信总线或信号线来耦合移动设备10中的各种组件。
优选地，移动设备包括耦合到CPU的图形处理单元(GPU)(图6)。尽管NvidiaGeForce GPU部分地由于CUDA的可用性，是优选的，但是，与OpenGL兼容的任何GPU都是可接受的。Kronos所提供的工具允许3D模型的快速开发。当然，高性能片上系统(SOC)是优选的选择，如果成本允许的话，诸如带有4CPU核的NVIDIA Tegra 4i、60GPU核，以及LTE调制解调器。
I/O子系统可包括触摸屏控制器和/或其他输入控制器。触摸屏控制器可耦合到触摸屏102。其他输入控制器(多个)可耦合到其他输入/控制设备132–136，诸如一个或多个按钮、往复式开关、拨轮、红外线端口、USB端口，和/或诸如指示笔之类的指针设备。一个或多个按钮(132–136)可包括用于对扬声器122和/或麦克风124的音量控制，或控制相机140，141的操作的向上/向下按扭。进一步地，可使用按钮(132-136)来“捕捉”和共享事件的图像以及图像捕捉的位置。最后，可使用“软键”来控制功能——诸如用于控制特定应用程序(例如，AR应用程序106)的出现在显示器102上的控件。
在一个实现中，按下按钮136达第一持续时间可解除触摸屏102的锁；而按下按钮达长于第一持续时间的第二持续时间可打开或关闭移动设备10的电源。用户可自定义一个或多个按钮的功能。触摸屏102可，例如，还被用来实现虚拟或软按钮和/或键盘。
在某些实现中，移动设备10可呈现记录的音频和/或视频文件，诸如MP3、AAC，以及MPEG文件。在某些实现中，移动设备10可包括诸如iPodTM之类的MP3播放器的功能。因此，移动设备10可包括与iPod兼容的36引脚连接器。也可使用其他输入/输出和控制设备。
存储器接口可耦合到存储器。存储器可包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储器设备，一个或多个光存储设备，和/或闪存(例如，NAND、NOR)。存储器可存储诸如Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS之类的操作系统，或诸如VxWorks之类的嵌入式操作系统。操作系统可包括用于处理基本系统服务以及用于执行硬件依赖的任务的指令。在某些实现中，操作系统处理时间记录任务，包括在移动设备10上维护日期和时间(例如，时钟)。在某些实现中，操作系统可以是内核(例如，UNIX内核)。
存储器也可存储通信指令以促进与一个或多个附加设备、一台或多台计算机、和/或一个或多个服务器的通信。存储器可包括促进图形用户界面处理的图形用户界面指令；促进传感器相关的处理和功能的传感器处理指令；促进电话相关的进程和功能的电话指令；促进电子消息相关的进程和功能的电子消息指令；促进Web浏览相关的进程和功能的Web浏览指令；促进媒体处理相关的进程和功能的媒体处理指令；促进GPS和导航相关的进程和指令的GPS和导航指令；促进相机相关的进程和功能的相机指令；促进其他相关的进程和功能的其他软件指令；和/或促进诊断进程和功能的诊断指令。存储器也可存储数据，包括但不限于，粗信息、位置(兴趣点)、个人简档、文档、图像、视频文件、音频文件，及其他数据。可使用已知方法，诸如结构化或相对数据库，来存储和访问信息。
图10的便携式设备220是眼镜或护目镜的配置的替换实施例，并包括GPS和片式天线232、微处理器、和GPU 234、相机222，以及无线电236。诸如方向性垫224之类的控件位于侧架(未示的出相对侧)。除控制垫224之外或代替它，可使用由处理器234运行的麦克风和语音命令，或手势命令。电池存储在隔室242中。显示器是透明LCD，如244处所示。传感器246，248优选地与诸如TOF相机、结构化光相机，或LIDAR之类的深度相机相关联，如此处所描述的。可另选地，两个传感器都可包括全光相机。类似的设备的示例有：由美国麻塞诸塞州Westwood的MicroOptical Corp.制造的MyVue耳机(参见例如，美国专利No.6,879,443)，纽约Rochester Vuzix Corporation所提供的Vuzix Wrap 920AR、1200VR,Smart GlassesM100和Tac-Eye LT。使用南加利福尼亚州的Occulus VR所提供的Occulus Rift头戴式显示器(HMD)，可获得更加身临其境的体验。这样的身临其境虚拟现实HMD在某些应用中是有利的，术语“眼镜”或“护目镜”当用于本申请中时旨在包括这样的身临其境HMD。
使用诸如图10的实施例之类的可佩带的眼镜的特别的好处是能够包括增强的现实消息和信息，例如，兴趣点重叠到“现实的”背景中。当然，使用一个或多个相机140，141，142，143，146或148，也可和图4-9的便携式设备10一起使用增强的现实。在高尔夫球示例中，戴眼镜220的高尔夫球手可看到AR消息和赛程(course)信息，并有选择地突出显示特定消息和相对于该消息的额外的信息(例如，layup区域、用于球棒选择的风、下一最佳球棒选择、其他高尔夫球手比赛轮(round)的状态等等)。参见，例如，美国专利No.7,002,551；6,919,867；7,046,214；6,945,869；6,903,752；6,317,127(通过引用结合至此)。
诸如图10的实施例的可佩带的眼镜的另一优点在于能够通过使用手势接口来轻松地控制眼镜220或任何系绳智能电话。即，除眼镜220上的按钮或键之外，或作为它们的替代方案或使用语音命令，也可使用姿势来控制眼镜220的操作。可被相机或传感器中的任何一个识别这样的姿势，取决于应用。深度相机(诸如Kinect或Claris)证明特别适用于手势接口中。然而，诸如RGB相机222之类的常规相机也用于简单姿势识别。(参见，加利福尼亚州Mountain View的Flutter)。也参见，美国专利申请US20100083190；US20020118880；US20100153457；US20100199232；以及USP 7,095,401。
有多种不同类型的可用于诸如移动设备10，220之类的移动设备中的“范围”或“深度”相机。广泛地说，深度相机使用：
·立体三角测量
·光三角测量的片(sheet)
·结构化光
·飞行时间
·干涉测量
·编码孔径
在本申请中，“深度相机”或者可另选地“范围相机”有时用于表示这些类型的相机中的任何一种。
尽管本发明的某些实施例可使用不同类型的深度相机，但是，在此处所讨论的某些实施例中，使用三角测量(立体)、结构化光，以及飞行时间(TOF)相机是有利的。如图15所示，利用常规相机，在点A，B，以及C处的摄影者正在拍摄目标200。元数据(EXIF，图12)给出从每一点A，B，以及C的取向和视场深度。即，与图1b中的从点A，B，以及C到目标的矢量相关联的取向和视场深度。视场深度是指表现出可接受地锐利(焦点对准)的距离范围。取决于相机类型、光圈以及聚焦距离，等等，它会不同。此“锐利度”或“焦点”是范围，常常称为模糊(confusion)圈。可接受地锐利的模糊圈被不严格地定义为：当放大到标准8x10英寸印刷品，并从大约1英尺的标准观察距离观察时将不会注意到。对于数字成像，如果此模糊半径小于像素大小p，则图像被视为焦点对准。
如图15所示，元数据大大地有助于定位目标200的位置，且在此示例中，点A，B和C的位置数据从GPS数据已知。然而，目标的位置会聚到较小的“区域”，因为拍摄了目标200的更多的点和图像。在图15中，沿着矢量210到目标200，从点A获取图像。不确定的区域被表示为圆弧216。可看出，对于沿着矢量212，214从点B，C获取的图像，目标的位置会聚到在200表示的小区域。
在立体三角测量中，本申请设想，从不同的位置A，B，C使用不同的相机，如图15所示。可另选地，可使用带有彼此偏移的2个传感器的单一相机，诸如加拿大B.C.Richmond的Point Grey Research Inc.所提供的BumbleBee2，来获得从点到目标，例如，点A到目标200的深度信息。参见，美国专利No.6915008；7692684；7167576。
随着Microsoft Kinect游戏系统的引入，作为深度成像技术的结构化光也获得了欢迎(也参见Asus XtionPro)。结构化光成像系统将已知光图案投影到通过相机(多个)查看的3D场景。投影的光图案的失真可允许计算由投影的光图案成像的3D结构。一般而言，成像系统以近红外线光投影已知图案(斑点)。CMOS IR相机观察场景。投影仪和相机之间的校准必须是已知的。通过IR光的扩散器和衍射元素来生成投影。通过虚拟图像(图案)的每一斑点和观察到的图案之间的三角测量来计算深度。当然，各种发射器和检测器中的许多也同样合适，诸如由MEMS激光器发出的光图案或通过LCD、LCOS，或DLP投影仪投影的红外光图案。Primesense为Kinect制造结构化光系统，并在WO 2007/043036和美国专利No.7,433,024；8,050,461；8,350,847中比较详细地说明了其操作。也参见美国专利公开No.2012/0140109；2012/0042150；2009/0096783；2011/0052006，2011/0211754。也参见美国专利公开No.2012/0056982；2008/0079802；2012/0307075；以及美国专利No.8,279,334；6,903,745；8,044,996(通过引用而结合)。从加利福尼亚州Mountain View的Matterport可获得使用结构化光的扫描仪。
当前Kinect系统使用红外线投影仪、红外线相机(检测器)、和RGB相机。当前Kinect系统具有640x480像素的深度分辨率，RGB分辨率：1600x1200像素，以60FPS成像，具有0.8m～3.5m的操作范围，3mm@2m距离的空间x/y分辨率、和1cm@2m距离的深度z分辨率。系统可用于无标记的人跟踪、姿势识别、面部识别、运动跟踪。通过在校准阶段提取相对于身体重心的本地测地线极值处的许多兴趣点，系统可培训深度图像路径上的分类器并分类数个个人的解剖界标(例如，头、手、脚)。
新的Kinect系统可在接近60米的距离处获得相同分辨率，并接纳更多个人和较大数量的解剖界标。据报道，新Kinect系统具有水平地70度垂直地60度和视野，从24比特红绿蓝彩色到16比特YUV变化的920×1080相机。视频将以30fps流式播放。深度分辨率还从320×240提高至512×424，它将使用IR流——与当前代(current-gen)Kinect不同——如此，设备在具有有限的光的环境中能够看得很清楚。进一步地，通过结合USB 3.0，将缩短延迟。进一步地，Primesense最近提出了其传感器系统的可被包括到移动设备中的便宜的小版本，嵌入式3D传感器，Capri 1.25。例如，在图5中，一些应用中的传感器146，148构成结构化光系统的发射器/感受器。
飞行时间(TOF)相机是LIDAR的类别，并包括至少照明单元、镜头和图像传感器。照明单元通常使用IR发射器，且图像传感器测量光从照明单元进行到对象以及返回的时间。镜头收集反射光并将反射光投影到图像传感器上(以及过滤掉不需要的频谱或背景光)。例如，在图5中，在某些实施例中，传感器146包括照明传感器，且传感器148是图像传感器。可另选地，传感器146，148可作为使用其他频谱中的相干的或非相干光的扫描的或无扫描仪的LIDAR系统的一部分来操作。PMDVision(Camcube或Camboard)，Mesa Imaging、Fotonic(C-40，C-70)或ifm可获得这样的TOF相机。德国Erlangen的Metrilus，GmbH可获得图像处理软件。
可使用全光相机作为图5中的传感器140–148或图10中的222，246，248中的任何一个。全光相机采样全光功能，也称为“光场”相机，有时与计算摄影相关联。诸如Lytos、Adobe、Raytrix和Pelican Imaging之类的多个源提供全光相机。参见，例如，美国专利No.8,279,325；8,289,440；8,305,456；8,265,478，以及美国专利公开No.2008/0187305；2012/0012748；2011/0669189，以及www.lytro.com/science_inside(全部通过引用结合至此)。
一般而言，全光相机组合微透镜阵列与正方形光圈和传统的图像传感器(CCD或CMOS)，以同时从多个角度捕捉图像。然后，处理来自稍微不同的角度的看起来像完全相同的场景的数百或数千版本的捕捉到的图像，以导出光场中的光线。然后，可使用光场来重新生成带有所希望的焦点(多个)的图像，或作为3D点云。软件引擎是复杂的，但是，许多相机包括GPU来处理这样的复杂化的数字处理。
理想地，全光相机与常规相机的成本大致相同，但是，通过消除焦点组件，变得较小。焦点可通过数字处理来确定，但是，视场深度也可。如果主要图像在微透镜阵列的前面形成，相机在开普勒模式下操作，其中图像在微透镜阵列后面形成的情况下，相机在伽利略模式下操作。参见，T.Georgieu等,Depth of Field in Plenoptic Cameras,Eurograhics,2009年。
对于常规摄影，光线430穿过光学元件432，并通过传感器434捕捉，如图16A所示。基本上，传感器434上的像素436由所有光线430照射，并记录那些光线的强度的总和。单个光线上的信息丢失。利用光场摄影(也被称为“全光”)，所有光线(辐射)上的信息都被捕捉和记录，如图16B所示。通过捕捉辐射，“计算地”拍摄图片。在图16B中，对象410由透镜系统412成像。虚拟图像414出现在计算平面416处，图像在主要传感器420上被组合。微透镜阵列418具有多个传感器，每一传感器都充当其自己的从不同的位置看虚拟图像的小相机。在一些全光相机中，阵列可接近20,000个微透镜，甚至具有带有不同的焦距的微透镜，提供较大的视场深度。随着硅技术的进步，阵列可变得十分大——当前有60MP传感器可用——且摩尔定律似乎还适用，意味着，能实现十分大的传感器阵列以捕捉有关场景的更丰富的信息。处理这些图像的计算能力(例如，GPU)以相同的速率扩展，以实时地实现呈现。
对于计算摄影，计算地向单个光线应用光学元件，计算地呈现场景。使用全光相机来捕捉场景光线信息。加利福尼亚州Palo Alto的Adobe、Lyto、Pelican Imaging提供全光相机。在这样的全光相机中，使用微透镜来创建相机的阵列来采样全光功能。通常，将通过使用诸如来自NVIDIA(GeForce580)的GPU来呈现图片，使用CUDA或Open GL Shader语言来编程。
换言之，光场相机组合微透镜阵列与通常在GPU上运行的软件引擎，以创建全光相机。基本上，微透镜阵列418和正方形光圈以及传统的图像传感器420(CCD或CMOS)一起使用，以同时从多个角度捕捉对象410的视图。然后，处理来自稍微不同的角度的看起来像完全相同的场景的数百或数千版本的捕捉到的图像，以导出光场中的光线。然后，可使用光场来重新生成带有所希望的焦点(多个)的图像，或作为3D点云。
因此，在某些实施例中，使用全光相机和计算摄影被认为是优选的。为准确地计算带有常规相机的场景中的深度信息，必须比较两个图像，并匹配对应的点。然后，通过三角测量来提取深度，如此处说明的。通过使用全光相机和计算摄影，通过使用微透镜阵列，一些立体量被嵌入到相机中。即，可为场景中的不同的点，计算视场深度。
IV.网络操作环境
作为示例，在图3中，系统100的通信网络205包括一个或多个网络，诸如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)，或其任何组合。可构想，数据网络可是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公用数据网络(例如，因特网)，或任何其他合适的分组交换网络，诸如市场上的专有的分组交换网络，例如，专有的电缆或光纤网络。另外，无线网络可是，例如，蜂窝网络，并可使用各种技术，包括用于全球演进的增强型数据速率(EDGE)、通用分组无线业务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、全球移动通信系统(UMTS)等等，以及任何其他合适的无线介质，例如，全球微波互联接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)，卫星、移动自组织(ad-hoc)网络(MANET)，等等。
作为示例，移动设备智能电话10、平板电脑12、眼镜220，以及体验内容平台207及通信网络205的其他组件，使用已知的新或仍在开发的协议，相互进行通信。在此上下文中，协议包括一组定义通信网络205内的网络节点如何基于通过通信链路发送的信息来彼此进行交互的规则。协议在每一个节点内的不同的操作层有效，从生成和接收各种类型的物理信号，到选择用于传输那些信号的链路，到由那些信号指出的信息的格式，到标识在计算机系统上执行的哪些软件应用程序发送或接收信息。在开放系统互连(OSI)参考模型中描述了用于通过网络交换信息的在概念上不同的协议层。
在一个实施例中，驻留在设备10上的应用程序和内容平台207上的应用程序可根据客户机-服务器模型进行交互，以便设备10的应用程序按需从内容平台207请求体验和/或内容数据。根据客户机-服务器模型，客户机进程向服务器进程发送包括请求的消息，而服务器进程通过提供服务(例如，提供地图信息)来作出响应。服务器进程还可将带有响应的消息返回到客户机进程。客户机进程和服务器进程常常在不同的计算机设备(叫做主机)上执行，并使用用于网络通信的一个或多个协议，通过网络，进行通信。术语“服务器”通常用来表示提供服务的进程，或在其上操作进程的主机计算机。类似地，术语“客户机”通常用来表示发出请求的进程，或该进程在其上面操作的主机计算机。如此处所使用的，术语“客户机”和“服务器”表示进程，而并非主机计算机，除非从上下文可清楚地看出。另外，由服务器执行的进程还可被分解，以在多个主机(有时叫做层)上作为多个进程运行，理由是，包括可靠性、可缩放性，以及冗余等等。
在一个实施例中，可使用众源的随机图像以及元数据来更新存储在数据库中的图像。例如，在图3中，可将来自移动设备10，220的新获取的图像与数据库212中的相对应的图像匹配。通过比较新获取的图像的时间(元数据，例如，图12)与对数据库图像的最近更新，可判断是否应该更新数据库图像。即，随着现实世界的图像改变，存储在数据库中的图像也改变。例如，如果餐厅的外观改变，则新获取的餐厅外观的图像将反映变化，并相应地更新数据库。在图3的上下文中，图像数据库212更改以包括新获取的图像。当然，数据库212，214可以是分离的，如图所示，或包含在整体的文件存储系统中或本领域内已知的其他存储方法。
在一个实施例中，位置模块通过三角测量系统，诸如GPS 250、辅助GPS(A-GPS)A-GPS、原点的蜂窝小区、无线局域网三角测量，或其他位置归纳技术，来确定用户的位置。标准GPS和A-GPS系统可使用卫星来准确定位设备10的位置(例如，经度、纬度，以及高度)。可使用“原点的蜂窝小区”系统来查明与蜂窝式设备10同步的蜂窝塔。此信息提供设备10的粗略的位置，因为蜂窝塔可具有可从地理上测绘的唯一蜂窝标识符(cellID)。位置模块还可使用多种技术来检测设备10的位置。在优选实施例中，使用蜂窝网络，在辅助模式下处理GPS坐标，(参见例如，美国专利No.7,904,096；7,468,694；美国专利公开No.2009/0096667)来提供关于设备10的位置的较细的细节。可另选地，在许多实施例中，基于云的GPS定位方法可通过提高准确度并降低功率消耗，证明是有利的。参见，例如，美国专利公开No.2012/0100895；2012/0151055。图3的图像处理服务器211优选地使用图像的时间，使用网络微分技术，来后处理AGPS位置。如上文所指出的，可使用位置模块来确定位置坐标，供设备10和/或内容平台207或图像处理服务器211上的应用程序使用。如参考图15所讨论的，提高的准确度降低目标的定位误差，减少计算工作量和时间。
V.数据获取、调节和使用
目标是获取尽可能多的有用的图像和数据，以构建和更新位置的模型。模型包括3D虚拟模型和图像。那些精通本技术的普通人员对摄影测量学有基本理解，但是，图13a和13b示出了基本概念，并可与图16A进行比较。如图13a所示，使用图像传感器，诸如图3的移动电话10的CCD或CMOS阵列。知道设备10的相机140，141的镜头和焦距的特性有助于分辨率。设备10具有3.85mm的焦距，2.97的固定光圈，以及2.8的光圈号数。图12示出了与CasioQV-4000相关联的另一个相机的常见的EXIF格式。当设备10中的相机140，141的用户获取图像时，“原点”的位置是不确定的，如图13a所示，但是，沿着矢量或光线，如图所示。设备10的取向近似于矢量或光线的取向。设备10或220的取向使用，例如，数字罗盘、陀螺仪，甚至加速度计(图6)，来确定。许多定位技术是已知的。参见，例如，美国专利公开No.2011/0137561；2011/0141141；以及2010/0208057。(虽然'057出版物更多地关心基于图像来确定相机的位置和取向——“姿势”，但是，颠倒使用这样的技术是有用的，其中，相机位置和取向是已知的。)
如图13b所示，可通过从不同的位置拍摄另一图像并查找两个光线的交叉点(即，立体)来确定目标的唯一3D位置。本发明的优选实施例利用摄影测量学，其中，用户拍摄多个目标的随机图像。即，多个用户从多个位置拍摄目标的多个图像。当捕捉图像时知道相机位于哪里以及其取向是在确定目标的位置时的重要步骤。对齐多个图像中的目标可进行目标标识，如此处说明的。参见，例如，美国专利No.7,499,079。
图像对齐和图像拼接是那些精通本技术的人员已知的。大多数技术使用像素与像素的相似度或基于特征的匹配。参见，例如，美国专利No.7,499,079和美国专利公开No.2011/0187746；2012/478569；2011/0173565。例如，微软开发了混合重叠图像的算法，即使在在它们的“照片合成(photosynch)”环境中存在视差、透镜失真、场景运动和曝光差的情况下。另外，微软还开发并部署其“照片合成(Photosynth)”引擎，该引擎分析数字照片并生成3D模型和拍摄的对象的点网格。参见，例如，美国专利公开No.2010/0257252；2011/0286660；2011/0312374；2011/0119587；2011/0310125；以及2011/0310125。也参见美国专利No.7,734,116；8,046,691；7,992,104；7,991,283以及专利公开No.2009/0021576。
照片合成引擎用于本发明的优选实施例中。当然，其他实施例可使用本领域内已知的用于图像对齐和拼接的其他方法。照片合成过程中的第一步骤是分析在感兴趣的区域(诸如兴趣点附近的区域)拍摄的图像。分析基于尺度不变特征变换(“SIFT”)，使用特征点检测和匹配算法。参见在美国专利No.6,711,293中所描述的D.Lowe SIFT方法。使用SIFT，从一组培训图像中提取特征点，并存储。这样的特征点提取的方法的关键优点将图像转换为对图像平移、缩放，以及旋转不变，并部分地对照明变化和本地几何失真不变的特征矢量。可使用此特征匹配来将图像拼接在一起，以形成全景或多个全景。SIFT的变体为那些精通本技术的人员所知：旋转不变的一般化(RIFT)；G-RIFT(一般化的RIFT)；加快的稳健特征(“SURF”)，PCA-SIFT，以及GLOH。
使用SIFT(或已知替代方案)的此特征点检测和匹配步骤计算量很大。广义而言，这样的特征点检测使用此处所描述的摄影测量学技术。在本发明中，通过提供相机的非常精确的位置和取向并使用与每一图像相关联的元数据来构建3D点云(例如，模型)，减少计算。
使用3D模型的步骤以从微软将Photosynth viewer下载到客户机计算机开始。这样的查看器的基本点从由Seadragon(被微软收购)产生的DeepZoom技术导出。参见，美国专利No.7,133,054和7,254,271和美国专利公开No.2007/0104378；2007/0047102；2006/0267982；2008/0050024；以及2007/0047101。这样的查看器技术可使用户从由用户选择的任何位置或取向查看图像，放大或缩小或摇摄图像。
VI.操作和使用的一般总览
图1a以透视图示出了广场300，而图1b是广场300的平面图。作为示例，由不同的用户在广场300在位置A-E处在不同的时间拍摄多个图像，图1b。获取的数据包括图像数据(包括深度相机数据和音频，如果有的话)和与每一图像相关联的元数据。尽管图12示出了与图像相关联的常见的EXIF元数据，本发明设想与设备相关联的附加元数据，诸如多个传感器所提供的，参见，例如，图5，6，10。在优选实施例中，除EXIF数据之外，尽可能多地收集信息，包括来自图6中所示出的传感器的数据。优选地，设备10中的相机的制造商和型号也是已知的，焦距，镜头和光圈是已知的。另外，在优选形式中，位置信息不是没有辅助的GPS，而是通过蜂窝网络获取的辅助GPS，显著地提高了准确度，包括水平的和垂直的。通过知道拍摄图像时的时间和大致位置，也可向大致位置应用微分校正和后处理，给出图像的比较准确的位置。参见，例如，美国专利No.5,323,322；7,711,480；以及7,982,667。
由图像处理服务器211收集用户在位置A-E使用，例如，设备10，12，或220如此获取的数据，如图3所示。优选地，通过消除统计异常值来调节数据。通过使用特征识别算法，使用上文所讨论的摄影测量学技术，标识目标，确定位置。可理解，获取的图像的位置(以及取向)越准确，越准确地给出目标位置的确定。另外，还应用诸如最小平方之类的收敛算法，以从多个随机图像逐步地确定目标的更准确的位置。
在优选实施例中，使用了在R.I.Harley和A.Zisserman.所著的Multiple ViewGeometry in Computer Vision(剑桥大学出版社，2000)中所描述的相机型号和地面实况配准。A.Mastin，J.Kepner，J.Fisher在Automatic Registration of LIDAR and OptimalImages of Urban Scenes，IEEE 2009中描述了OpenGL中的用于呈现3D点云的算法。也参见，L.Liu,I.Stamos,G.Yu,G.Wolberg,and S.Zokai.Multiview Geometry For TextureMapping 2d Images onto 3d Rang Data.CVPR'06,Proceedings of the 2006IEEEComputer Society Conference,2293-2300页。在优选形式中，通过评估相互信息，将图像的LIDAR数据与光学图像配准：例如，光学图像中的亮度的LIDAR提升之间的相互的高度信息；光学图像中的LIDAR点云和亮度中的检测概率值(pdet)；以及，光学亮度、LIDAR提升和LIDAR pdet值之间的相关熵。净结果是，通过将配准的光学图像纹理映射到在LIDAR点云上推断的网格中。如此处所讨论的，代替LIDAR，或除LIDAR之外，在某些实施例中，可使用其他深度相机，诸如全光相机、TOF相机，或结构化光传感器来提供有用信息。
对于3D网模型中的每一个点，该点的准确的位置是已知的，在点处或点的附近获取的图像是可用的。当然，可用的图像的数量取决于数据库的丰富性，因此对于受欢迎的旅游位置，数据可用性不是问题。通过使用图像推断/羽化技术(参见美国专利No.7,499,079)，可基于丰富的数据集，对于几乎任何一点，外推图像。对于每一个点，优选地，将图像的全景拼接在一起，并可用于点。这样的全景构成来自选择的静态点的环境的3D表示或模型。用于产生地图以及诸如点网格模型之类的3D模型的不同的技术是已知的。参见，例如，美国专利No.8,031,933；美国专利公开No.2008/0147730；以及2011/0199479。进一步地，可获取图像，并拼接在一起，以通过遍历区域并扫描该区域以捕捉在区域外观中反映扫描的对象的形状和颜色，创建该区域的3D模型。加利福尼亚州Mountain View的Matterport提供这样的扫描系统，包括在扫描仪周围的360'区域中获取的常规图像和结构化光数据。可通过从许多点扫描一个区域来创建区域的3D模型，创建一系列全景。每一全景都是包括拼接的图像以形成马赛克(mosaic)，以及3D深度信息(来自深度相机)和相关联的元数据的3D模型。换言之，遍历兴趣点附近的区域并扫描和收集多个点上的图像，创建兴趣点附近的区域的高保真度3D模型。
地理参照的3D模型是已知的，最常见的是数字表面模型，其中，模型利用它上面的至少某些表面对象(例如，建筑物，街道等等)来表示地球的地形。本领域中有时也指数字提升模型(DEM)，带有数字表面模型和数字地形模型的子集。图11示出了地表，带有以各种细节水平显示的对象，并示出了城市环境中的广场300的可能的地理参照。LIDAR常常被用来捕捉地表的地理参照中的对象。参见http://www.blomasa.com处的BLOM3D。
图11a是城市环境中的线框模型，其中，3D建筑物被表示为平行四边形框，没有有关顶或附加结构的信息。这是最简单的数据模型。
图11b是在建筑物上添加了屋顶结构及其他结构的屋顶模型。这是详细得多的且准确的模型，并可包括颜色。
图11c是库纹理模型，向图11b的屋顶模型添加了库(library)纹理。结果是现实的更接近的近似，带有比逼真模型较少的数据量，这使得它适合于其中数据量是限制的机载的或导航应用。
图11d是向图11b的屋顶模型添加了建筑物纹理的照片逼真纹理模型。从图像、元数据以及LIDAR信息中提取纹理。
在图11的3D模型中的任何一个上可更加详细地层叠附加信息。细节越详细，(即，保真度越高)，模型越近似于逼真。即，3D虚拟模型对观察者而言变得逼真。当然，折衷必须处理并操纵大数据集。每一模型都在本发明的系统和方法的上下文中具有其应用。当用于本申请中时对“3D模型”的任何引用都不应该暗示对模型的细节的级别的任何限制。
图14是示出了图像对齐和拼接的过程的示意图，其中，马赛克400是使用图像402，404，和406的结果。比较图1b和图14，假设图像402，404，406对应于分别从位置A，B和D拍摄的图像。使用每一个图像402，404，406的视线(即，从相机位置的矢量或光线取向)并以诸如笛卡尔或欧拉坐标系之类的坐标系描述。图像的重叠的区域定义它们的交叉点处的量，该量取决于相机的位置和取向的准确度(即，姿势)和图像的几何形状。然而，特征识别的搜索空间在体积(volume)内，例如，用于应用此处所描述的照片合成技术。使用来自每一图像402，404，406的贡献来形成马赛克400。这样的马赛克构建技术是已知的，诸如美国专利No.7,499,079。“羽化”边界以消除模糊并提供像素之间的平稳过渡。可构建并对齐多个马赛克以形成全景。
一旦创建了3D模型，就存在用于共享并体验创建的环境的各种方法。图17示出了体验观看系统的一种形式，即，房间500容纳一个或多个用户510，这允许在房间内完全或部分地投影体验。参见，美国专利公开No.2012/0223885。在图17所示出的实施例中，投影显示设备502被配置成在房间500内投影图像504。优选地，投影显示设备502包括一个或多个投影仪，诸如广角RGB投影仪，以在房间的墙上投影图像504。在图17中，显示设备502投影次要信息(图像504)，诸如LCD显示器之类的主要显示器506显示主要信息。然而，应该理解，显示器502或506中任何一个都可在没有其他设备的情况下操作，并显示全部图像。进一步地，设备502，506的放置可变化；例如，投影设备502可与主要显示器506相邻。尽管图17所示出的示例主要显示器104和投影显示设备502包括2-D显示设备，但是，可使用合适的3-D显示器。
在其他实施例中，用户102可使用眼镜220来体验创建的3D环境(图10)。在一些形式中，眼镜220可包括活动快门式眼镜，其被配置成与在主要显示器506和投影显示器502上的合适的替代帧图像序列化同步地操作。
可任选地，房间500可配备有一个或多个相机系统508，可包括一个或多个深度相机和常规相机。在图17中，深度相机508创建房间500的三维深度信息。如上文所讨论的，在某些实施例中，深度相机500可被配置成飞行时间相机，飞行时间相机被配置成通过计算发出的和反射的光脉冲的启动和捕获时间之间的差来确定空间距离信息。可另选地，在某些实施例中，深度相机508可包括三维扫描仪，其被配置成收集反射的结构化光，诸如由MEMS激光器发射的光图案或由LCD，LCOS，或DLP投影仪投影的红外光图案。可理解，在某些实施例中，可由相机系统508中的任何合适的光源发出光脉冲或结构化光。应该显而易见地看出，使用相机系统508中的诸如Kinect系统之类的深度相机可向系统进行手势输入。另外，相机系统508中使用常规相机和深度相机可实时地捕捉房间500内的活动，即，创建用户510在房间500内的活动的3D模型。
图18示出了以婚礼小教堂600的配置的另一房间。在图18的实施例中，强调图像的捕捉和在婚礼小教堂600内发生的事件的3D模型的构建。在婚礼小教堂600中，使用相机系统602允许实时地捕捉婚礼小教堂600中的活动，即，创建用户在婚礼小教堂600中的的活动的3D模型。相机系统602包括多个深度相机和常规相机，以及捕捉与婚礼相关联的音频的麦克风。可基于房间和事件的音响效果，放置更多的麦克风(未示出)，以更全面地捕捉与婚礼相关联的音频。
在优选形式中，利用具有深度相机和常规相机的合成扫描系统在任何事件之前就扫描婚礼小教堂600。在小教堂600内的大量的位置进行扫描，以增加为小教堂600创建的3D模型的保真度。即，由图3的图像处理服务器211处理获取的扫描并存储在数据库中，供以后被体验平台207访问。
在事件(即，婚礼)过程中，相机系统602附加地捕捉事件的图像(以及音频)。进一步地，一个或多个婚礼来宾携带有移动设备10、12、或220，从而从事件捕捉图像和音频，并以无线方式向网络205传输信息(图3)。在服务器211(图3)处处理在事件过程中实时地捕捉到的信息，并更新数据库212，214。因此，远离婚礼小教堂600的观察者可访问体验平台207。可理解，这样的远程用户可通过各种方法来体验事件(婚礼)，无论是历史地或实时地。从图3可理解，远程观察者可使用移动设备10、12、或220来观察事件。另外，远程观察者还可出现在图17的房间500以观察事件。
VII.使用的示例
几个示例对于说明系统和方法在各种上下文中的操作是有用的。应该理解，即使是在同一个感兴趣的一般区域所拍摄，随机图像和相关联的元数据随时间和空间变化。例如，广场300可以是兴趣点，但是，广场的3D模型的细节可能是未知或过时的。进一步地，尽管此处的方法和系统在GPS轻松可用的户外有用，但是，类似的方法和系统可应用于位置确定比较具有挑战性的室内，但是，室内定位系统和深度相机可替代或增强GPS信息。进一步地，除收集与兴趣点的一般区域相关联的数据之外，可按获取的时间分离数据，允许事件重新创建和参与。
1.众源图像：实况新闻事件
图7示出了简单示例。在图7中，由观察者利用移动设备10、12、220在特定时间在广场300(广场300也在图1a和1b示出)对于抗议者312、314拍照。通过使用多个随机图像(随机用户和/或随机位置和/或随机取向，在随机目标，在随机时间)，可捕捉抗议示威(即，事件)并经由图3的网络205，以无线方式向图像处理服务器211发送。处理图像，以创建或增强事件(此处为抗议)的3D模型，并存储在数据库中，供访问。3D模型可被由新闻机构用作在游行示威的时期内的重播。进一步地，一旦向内容体验平台207请求，远程用户可从广场300中或广场300附近的任何位置查看游行示威。在简单情况下，可在抗议的时间内组装静止图像和视频并从体验平台207访问它们。
例如，记录抗议的观察者包括深度相机信息，体验平台也可包括广场300和抗议者312，314的3D模型。这允许远程用户选择查看抗议的广场300中的特定查看位置。在大量的亲自的观察者捕捉了图像的情况下，3D模型可实现高度的保真度。
考虑海上的导致袭击主要沿海城市的海啸波的地震的比较复杂的示例。随着水波的墙登陆，导致整个城市的毁灭性洪水的连锁反应。
有线新闻网向其影响的观众发出警报，使用下载的相机电话应用108，112，将从智能电话/设备10，12或护目镜220捕捉到的图像上传到专用的，基于云的服务器211(图4)。另外，来自整个城市中的预先放置的相机，包括深度相机，的高保真度图像以及航空图像也上传到服务器211。
来自整个城市的带有配备了智能电话10和护目镜220的相机的10,000以上的影响的市民捕捉破坏的图像(照片和带有声音的视频，深度信息和相关联的元数据)，并将它们上传到基于云的服务器211(直接或通过图像提供商和社交媒体间接地)。上传的内容的范围包括外部图像和城市结构(例如，建筑物)内的内部图像。上传的内容还可包括相关联的位置和时间特定的社交媒体内容，诸如Twitter贴子。
新闻机构使用事件的众源内容来几乎实时地显示海啸的影响的全景/3D呈现以及对兴趣点(例如，海滩)的影响的延时的呈现。通过使用应用106，从体验平台207，图像，声音和3D模型对订户/用户可用。应用程序106允许整个城市(可用的图像)的许多部分从单个用户所希望的几乎任何位置和视点被观察和导航。用户不仅导航城市的3D模型，而且用户还可从模型内的许多用户选定的位置访问全景图像。另外，家庭用户还可使用智能TV来访问3D模型，而且还可使用移动设备10，12，220作为“第二屏幕”组件来增强他们的电视机或监测馈送。
另外，用户还可使用诸如移动设备10，12或220之类的移动设备，查看与他们正在查看的特定位置相关的增强的现实增强。例如：当前的洪水的深度，高水位和该区域的电力供应状态。
对于灾难毁坏的这个众源的虚拟呈现是报告新闻以及管理响应效应的必需的工具。它还提供实况历史，使用激活的移动网络显示设备、智能电话10，12或护目镜220日后重新体验(即，Walked)该历史。
由于环境的实况呈现对新闻机构(受众规模/广告收入)和响应机构(资源的有效率的部署，寿命与财产的保护)具有现实的经济价值，因此，有时为他们的内容的共享补偿对图像库有贡献的那些人。通过应用程序来跟踪访问城市破坏的3D环境的那些人的体验度量(花费的时间、查看、采取的动作、共享、相关的商务等等)，并用于分析以通知体验优化和相关的商业活动。
2.用于应用增强的现实增强的呈现的环境：零售环境——杂货店
每天早上，在Acme杂货店，Bob，销售经理以及他的团队成员在整个商店行走，同时使用他们的智能电话10和/或护目镜220拍摄在售产品。在整个商店有更多的固定相机(诸如相机系统602，图18)，用于每分钟捕捉并上传图像。移动设备直接使用图像识别或使用在售产品上出现的QR代码或条形码来识别产品。
Bob和团队将图像上传到处理服务器211，该处理服务器211处理图像或将它们拼接为商店的更新的3D外形呈现，可在任何因特网/GPS启用的设备上查看。在此示例中，上传图像迫使更新到流行的第三方地图服务，诸如Google地图或Bing地图，迫使图像保持最新。图像还更新商店内的产品的库存和位置。
当消费者来到商店(或如果他们愿意，远程地)，他们可在过道中行走，查看关于每一产品的新鲜更新的增强的现实消息和相关联的促销消息(价格、打折扣的物品、食谱，营养信息)。捕捉购物者在商店(商店内或远程)的活动数据(移动，花费的时间、AR交互、购物等等)，并上传到服务器，用于合并和分析目的。
体验商店的呈现的购物者不依赖于使用他们的电话的相机取景器。相反，使用室内定位技术(此处所讨论的)来确定，并利用选择的当前图像来更新商店中的位置。
并非需要恼人地将他们的他们的相机指向他们的目标以查看这些增强的现实消息，可在消费者智能电话10(或平板电脑12或眼镜220)上显示和导航3D商店环境的视图和“细节水平”的多个点，而不取决于电话的相机视线。
用户不必将他们的相机电话10放置在他们的面前来享受增强的现实的体验增强。
3.将实况事件镜像/复制到另一位置：超级保龄球
在售完一群75,000粉丝之前，今年在加利福尼亚州在Pasadena，在Rose Bowl举办Super Bowl。预先绘制Rose Bowl的地图，例如，Google Street View，获取并存储了图像、元数据和深度相机信息。即，预先创建Rose Bowl的高保真3D模型，处理，并存储在数据库212，214中，供经由体验平台207访问。体育场、场地以及参与者的高保真度图像已经被上传到图像数据库212。
体育场带有5,000个无线相机(诸如，例如，图18的相机系统602)，它们被编程为每隔2秒捕捉图像，并自动地将这些图像上传到图像储存库216，并转发到中央处理服务器211。
类似地，每个运动员的钢盔还装有还每秒钟都捕捉图像的轻的，可佩带的相机，组合了常规相机与深度相机以及麦克风。裁判员在帽子上安装有类似的相机。每一运动员和教练都还备有图像标志(tag)或标记(marker)以帮助增强的现实消息传送。由于它们的尺寸(无镜头)、重量，以及电源要求，全光相机在某些方面是有利的。
最后，参加比赛的许多粉丝被给予或已经拥有可佩带的相机，例如，周期性地，例如，每隔5秒，从他们的角度自动地捕捉并上传图像的护目镜220(图10)。可使用护目镜220上的成像和音频传感器中的任何或全部。通过图3的网络连续地以无线方式上传并处理图像。
然后，使用对所有这些众源的图像和音频的高速处理来创建几乎实况的，虚拟3D模型，复制可以许多新方式体验的比赛：
·实况或几乎实况的3D图像以及合成的音频投影到另一体育场/地点作为镜像，供由另一组(多组)观众查看。
o具有增强的现实体验增强
·作为小型化的镜像，实况或几乎实况的3D图像以及合成的音频投影到主查看“台”或会议室。
o具有增强的现实体验增强
·在任何连接到网络的移动设备(智能电话10、平板电脑12、护目镜220或tv)上，启用新的3D查看体验，该体验允许观众从空间中的他们的选择的几乎任何角度(任何座位，任何运动员视点到任何目标或取向)消费体验。
o具有增强的现实体验增强
o社交媒体体验增强
§“50码线座位”是这样的概念：居住在不同的位置的朋友可虚拟地全部一起坐在他们启用因特网的tv、计算机、或平板电脑上的比赛的3D虚拟实况呈现中。此体验将包括现在在Google+的“Huddle”中发现的组视频会议特征，以便朋友在他们全部都从相同角度观看比赛时可彼此进行交互。例如，朋友可访问图3的社交网络218，以在虚拟环境中与朋友进行交互。
在一个实施例中，通过将比赛的众源的图像和音频环境扩展到电视机以外，扩展到观看室500的围墙和表面中，将使比赛查看体验更身临其境，如图17所示。使用房间500创建接近于亲自参加比赛的视线和声音的身临其境环境，创建“参加”事件的最终的“洞穴人(man cave)”。服务器还可与远程查看结构中的联网的电器(即，HVAC)共享体育场中的天气温度的元数据，以自动地对齐温度与事件的温度。
4.实况地图：阿巴拉契亚小径(Trail)
Bob正在计划Appalachian小径的徒步旅行，图8。使用应用程序，该应用程序访问来自平台207的来自以前到过该小径的徒步旅行者的众源的图像和模型，可供Bob预先在他的启用网络的设备上查看该小径的大部分的3D模型。进一步地，许多位置的诸如全景之类的预先存在的图像和3D模型是可用的。
他可从许多不同的角度、位置和时间段(秋天、冬天、春天、夏天)查看3D呈现的该小径环境。还可利用关于该小径的增强的现实类型消息传送来增强呈现，包括来自以前的该小径徒步旅行者的技巧和消息，有时叫做“涂鸦(graffiti)”。在此示例中，Bob过滤用来创建环境的图像为只来自最近五年的图像，并将“涂鸦”限制到他的社交网络中的他的徒步旅行俱乐部的成员们。
Bob使用应用程序来绘制他的期望的路线。
Bob将单独地沿该小径徒步旅行，但是希望让他的父亲John“虚拟地”加入他的旅程。Bob使用社交媒体服务器来邀请他的父亲及其他朋友虚拟地加入他。John接受Bob的加入他的邀请，在他们的日历中生成给Bob的通知和事件。
在徒步旅行当天，Bob带着启用GPS的智能电话10或护目镜220。他启动了诸如图4的应用108，110之类的阿巴拉契亚小径的应用。
应用108，110将向John发送警告表示Bob的徒步旅行已经开始，John(以及接受了Bob的邀请的所有其他朋友)可虚拟地加入他。
John可使用他的iPad 12，或护目镜220访问应用程序以加入Bob的徒步旅行，应用程序向Bob的电话10发送警告。
当Bob沿着小径移动时，在John的显示器上，他能够查看Bob所处的环境的多个逼真3D呈现选项，例如，图8。例如，John能够跟在Bob后面，在平面视图上从上面将John视为地图上一个点，在小径上提前或向后看。事实上，捕捉了虚拟观众的全部活动数据并上传到服务器以提供分析供优化3D小径环境的设计，使用和货币化(monetization)。
当他的父亲John正在远程查看时，Bob能够查看呈现在他的智能电话10或护目镜220上的相同3D小径。虚拟环境包括许多“增强的现实”体验增强，包括：
·小径的路径
·来自其他徒步旅行者的技巧/消息(文本和音频)
·到历史信息的链接
·小径的历史图像
·来自跟随他的进度的那些人的社交媒体消息
·时间，速度和距离性能测定
·小径上的其他人的位置和简档
Bob能够在他的电话屏幕上查看此信息/呈现，不需要使用他的电话的相机镜头来获取AR信息或小径呈现。
当Bob在小径行走时，他能够使用类似于Google+Huddle的社交媒体会议能力与他的父亲John以及选择跟随Bob的其他朋友中的任何一个进行实时对话。带有适当地配备的观看室的远程观众可通过将小径的众源的图像环境扩展到启用因特网的电视机或设备以外并使用环境显示器扩展到观看室的围墙和表面中，使他们的小径查看体验更身临其境。
当Bob进入小径的在它们的图像库中不稳健的区域之时，他在他的电话上从应用获得警告，请求他在他的电话10或护目镜220上捕捉图像，并将它们上传到处理服务器211。每一图像都将包含对创建3D环境关键的信息(时间/日期、GPS位置、取向、相机镜头信息、像素设置等等)。
这些警告帮助使小径图像库在体验平台207上稳健并最新。
5.夜晚外出的女孩：远程共享4D社交体验(第四是时间)
Jane下月结婚，在此之前她的最要好的几个女性朋友带她出去参加他们的喜爱的酒吧X Bar处进行未婚女子聚会，如图9所描绘的。
Jane在她的Facebook页面上发出了关于即将举办的聚会的帖子，她的住在城外的几个朋友要求能够远程共享体验。
Jane上线，并在社交网络上创建Watch Me(看我)事件，并将连接张贴到她的Facebook页面。
她将X Bar标识为事件的位置。与许多其他受欢迎的地点一样，X Bar带有音频麦克风、常规相机，以及无线深度相机，诸如具有常规相机、结构化光相机(Kinect或Claris)和麦克风的一个或多个相机系统150，从而不断地捕捉设施内部的音频、图像和移动活动。另外，还预先扫描了X Bar且现有的3D模型存储在数据库中(例如，图3)。相机系统将图像和音频实时地上传到诸如服务器211之类的云服务器。X Bar使这些图像，音频和移动活动对诸如Watch Me之类的应用可用，以帮助创建驱动围绕他们的设施的社交活动的内容。即，远程用户可经由体验平台207实时地访问图像和3D模型。X Bar内的历史图像预先被上传，如此，X Bar环境是已知的，并从平台207在精细细节可用。来自出席的女朋友的所携带的移动设备10，220的实时图像和音频也上传到服务器211，并可用于Jane的事件。X Bar还配备有投影能力，诸如图17中的投影仪502，可使数量有限的远程参与者在视觉上存在于房间的所选择的台子或区域。
Jane的几个女朋友选择参加社交媒体以远程共享未婚女子聚会体验。Betty，Jane的远程朋友中的一个，选择在视觉上存在/投影到事件。Betty位于远程体验的身临其境的参与最优化的远程位置初，诸如图17的房间500。通过扩展众源的图像和音频，层叠在现有的3D模型上的来自相机系统150的图像和音频，创建X Bar的环境。Betty使用图17的系统，使用一个或多个显示器，来将事件体验扩展到启用因特网的电视机或移动设备的屏幕以外，并扩展到查看室500的围墙和表面上。
相对地，还通过图17的相机系统508来捕捉Betty的图像和移动。使用图9的投影仪502，Betty的图像和移动(例如，全息图)被投影到X Bar中的预先定义的位置(示例墙或台座位)，如此，她的虚拟存在也可被那些物理上参与Jane的事件的人所享受。
Betty也可选择让她的投影的存在用虚拟商品(诸如珠宝和时髦商品)和效果(诸如晒黑，减肥和牙齿漂白的外观)来增强。
在未婚女子聚会的那天晚上，Jane和每一个物理上存在的女孩都使用他们的配备的相机、智能电话10或护目镜220来登录到诸如应用108，110之类的Watch Me应用。在从8pm直到11pm的整夜，他们使用他们的智能电话10或护目镜220来捕捉聚会的图像和音频，并以无线方式将它们传输到图3的网络。
服务器211整合&组合在那天晚上由全部链接的图像以及音频源捕捉到的全部图像/视频和音频；女孩智能电话或护目镜相机中的每一个以及由X Bar的实时图像馈送所提供的图像。此数据层叠在已经存在的精细化的3D模型上以及层叠在体验平台207上可用的XBar的图像上面。
这些众源的图像中的每一个都具有详细的元数据(时间、GPS位置、相机视角、镜头、像素等等)，它们被应用用来将聚会体验的4D完形(gestalt)拼接在一起。可利用增强的现实消息传送或图像和/或音频的附加层来增强。另外，至少某些移动设备还包括允许对事件的增强的建模的深度相机。
整合可以是可从特定位置或者甚至用户的选择的位置(例如，Jane的角度)查看的一系列照片，或优选地来自用户选择的位置的3D全景。
Sue是选择远程查看事件的Jane的另一个朋友。每隔15分钟她获得由Watch Me应用所生成的警告，另一整合序列已准备好供查看。
在她的iPad 12上，Sue选择查看来自Jane的位置的序列以及从所选视点的示例性取向。Sue也可选择将视点改变为“上视图”平面图)或将视图从选择的位置改变为Jane的位置。
在查看序列之后，Sue向Jane发送“希望我在那里”的消息。她还使用Watch Me应用向该桌子发送一轮饮料。
聚会之后的第二天，Jane使用Watch Me应用向她的Facebook页面张贴一个到整个未婚女子聚会的整个4D逼真环境的链接，供与她的整个网络共享。网络的成员可从X Bar内的所选位置查看事件(并听音频)。
6.移动社交游戏
Bob和他的三个朋友正在访问华盛顿特区，并对玩叫做“DC–Spy City”的新的城市特定的移动“社交”多人游戏有兴趣。使用启用因特网的移动电话10平板电脑2或护目镜220来玩该游戏，且目标是发现和捕捉城市的实际风景上的其他玩家以及财富(物理的和虚拟的)。
通过使用华盛顿特区以及每一玩家的实时GPS位置的众源的图像，为每一玩家呈现实时3D逼真游戏环境。游戏玩家和本地以及远程游戏观察者可各自地使用连接因特网的设备来从各种视点中选择用于观察任何一个游戏参与者的视点(从上面，直接在后面，等等)。
也可利用附加消息来增强这些环境来帮助玩游戏的信息和交互。
7.虚拟贸易展览会
Bill希望参加CES，电子工业的主要贸易展览会，但是，他的公司的预算负担不起。CES事件组织者估计，额外的2,000人像Bill那样，将对虚拟地参加事件感兴趣。
为帮助此举，策略地在整个事件厅以及每一个参展厂商摊位和展示室放置了固定相机。使用诸如图18的系统602之类的相机系统来捕捉图像和音频，它们被用来创建实况、3D，逼真的环境，远程参加者可虚拟地在其中行走并参与贸易展览会。
事件还创建了增强伴随(companion)的现实应用，该应用帮助将这些虚拟参加者集成到贸易展览会中，允许他们与实际事件参与者、演示者、摊位中的对象、以及参展厂商进行接洽。另外，每一参展厂商都给他们的摊位代表配备了基于因特网的视频会议移动设备(即，护目镜220)，以便他们可直接与导航到他们的摊位的参加者直接进行交互和共享文件与文档。捕捉来自虚拟贸易展览会环境的虚拟贸易展览会内的远程参与者活动数据(行走的路径、访问的摊位，花费的时间、下载的文件、下的订单)，并与服务器共享。
Bill可通过将他自己定位在诸如图17的房间500之类的房间中，远程与事件进行交互。然而，Bill选择通过访问图3的体验平台207来使用他的台式计算机进行参与。Bill可通过他的台式机在会议厅的3D模型中虚拟地行走，并使用人工现实来与人和对象进行交互。
8.婚礼场地
旅行的距离和成本常常是朋友和家庭参加婚礼的障碍。为解决该问题，图18的婚礼小教堂600安装了多个固定相机系统602，该系统包括诸如Kinect之类的深度相机，以及来自遍布整个地点的光场相机(全光)的高保真度声像，以便为实况/近远程、三维查看、和体验捕捉而优化。
Will和Kate在国外伦敦结婚，他们的密友中有许多不能参加婚礼，但是希望积极地远程参与体验。
在事件之前，每一个远程观众都在Wedding Chapel网站注册他们的出席，并将应用下载到他们的启用因特网的显示设备，以管理他们的消费以及对婚礼事件的参与。应用还与邀请/请回复(rsvp)参加者信息集成，如此，物理以及虚拟参加者的完整的记录，以及他们的简档信息(例如，与夫妇的关系、礼品、良好的祝愿)都可用。
Will要求他的兄弟Harry做他的伴郎。由于Harry当前在海外服兵役，他将远程充当伴郎并投影到体验中。
在仪式过程中，Will位于为远程体验的身临其境的参与而优化的远程位置处，该远程位置是通过将婚礼小教堂的众源的图像、音频、和移动环境扩展到启用因特网的电视机或显示设备的屏幕以外并扩展至诸如图17的房间500之类的使用环境显示器的查看房间的围墙和表面上而进行优化的。即，在仪式过程中，Will可经由投影仪502，506查看事件，同时相机系统508捕捉Will的移动、图像，以及音频，供传输到网络系统100。
即，Will的图像以及移动被捕捉并投影(例如全息图)到图18的婚礼小教堂600内的预先定义的位置(例如，靠近好友(alter))，所以他的虚拟存在也可被那些在物理上(以及远程地)在婚礼现场的人查看。
在婚礼当天，当事件已准备好供查看时，应用程序通知远程参加者。每一远程观众都能够从婚礼小教堂内以及外面的任意数量的视角/位置观看婚礼。这些视图可是静止的(第三行/第二个座位或在牧师肩部上方)或移动的(当新娘沿着过道行走时，从新娘后面的视角)或者甚至从新娘或新郎的位置。
在仪式之后，幸福的夫妻访问他们的婚礼体验的4D完形(gestalt)(4＝时间)，每当他们愿意时，他们可从婚礼小教堂内以及外面的任意数量的视角来“重新体验”，甚至与他们的社交网络的成员共享。

Claims (26)

1.一种用于创建和共享环境的系统，包括：
用于从一个或多个设备处接收包括范围元数据的元数据的网络，每一设备具有在兴趣点附近采用的用来捕捉所述兴趣点附近的相关联的元数据的深度相机，其中，所述相关联的元数据包括所述设备的位置、所述深度相机的取向、所述深度相机与所述兴趣点附近的一个或多个目标之间的范围；
连接到所述网络的用于接收包括范围元数据的元数据的图像处理服务器，其中，所述图像处理服务器处理所述相关联的元数据，以确定所述一个或多个目标的位置从而至少部分地基于所述范围元数据来构建接近所述兴趣点的所述一个或多个目标的3D模型；
连接到所述图像处理服务器的用于存储一个或多个目标的所述3D模型的体验平台，藉此用户连接到所述体验平台，以从用户选择的位置和取向查看所述兴趣点，并查看所述一个或多个目标的3D模型。
2.如权利要求1所述的系统，其特征在于，所述网络包括无线接入且所述设备中的一些是移动的，其中，所述相关联的元数据随机地众源自这些移动设备的用户。
3.如权利要求1所述的系统，其特征在于，所述体验平台包括与所述兴趣点附近的位置相关联的多个图像，且连接到所述体验平台的用户查看与用户选择的位置和取向相关联的图像。
4.如权利要求1所述的系统，其特征在于，所述处理服务器可操作以将数个图像拼接在一起以形成全景。
5.如权利要求4所述的系统，其特征在于，连接到所述体验平台的用户查看与用户选择的位置和取向相关联的全景。
6.如权利要求3所述的系统，其特征在于，所述多个图像中的至少一个包括基于上下文的广告。
7.一种用于创建与基于位置的体验一起使用的环境的方法，包括：
利用伴随数个贡献者的多个移动设备来捕捉兴趣点附近的多个包括相关联的元数据的图像，每一移动设备都具有深度相机，其中，每一个图像的所述相关联的元数据都包括所述移动设备的位置、所述深度相机的取向以及所述深度相机与所述兴趣点附近的一个或多个目标之间的范围；
将来自所述移动设备的所述元数据通信到无线网络；
在连接到所述无线网络的图像处理服务器处接收包括范围元数据的所述元数据；以及
处理所述图像和包括范围元数据的元数据以利用所述深度相机与所述兴趣点附近的一个或多个目标之间的范围确定所述图像中一个或多个目标的位置，并构建所述兴趣点附近的目标的3D模型。
8.如权利要求7所述的方法，其特征在于，所述移动设备中的至少一些包括利用光场的深度相机。
9.如权利要求7所述的方法，其特征在于，所述深度相机是TOF相机、结构化光传感器、全光相机或立体三角测量相机。
10.如权利要求7所述的方法，其特征在于，所述处理步骤包括使用目标的现有的虚拟3D模型，并使用随机捕捉的图像和元数据来增强所述现有的虚拟3D模型。
11.如权利要求7所述的方法，其特征在于，所述图像众源自多个贡献者，而没有所述贡献者之间的协调。
12.一种共享基于位置的体验中的内容的方法，包括：
捕捉兴趣点附近的多个图像和相关联的元数据，所述相关联的元数据包括范围元数据，所述范围元数据包括深度相机与图像中的目标之间的范围；
处理所述捕捉的图像和包括所述范围的相关联的元数据来构建所述兴趣点附近的一个或多个目标的3D模型；
将所述图像和3D模型存储在连接到网络的体验平台中；
使用所述网络来访问所述体验平台以访问一个或多个目标的所述3D模型；以及
使用用户可穿戴的眼镜来查看一个或多个目标的所述3D模型。
13.如权利要求12所述的方法，其特征在于，包括基于上下文来查看所述3D模型和广告。
14.如权利要求12所述的方法，其特征在于，包括在查看之前从存储在所述体验平台中的所述图像中删除第三方，并将社交网络的成员包括在存储在所述体验平台中的图像中。
15.如权利要求12所述的方法，其特征在于，所述图像和范围是通过来自配备有移动设备的用户的众源随机地捕捉的，而没有目标或用户之间的获取时间的协调。
16.如权利要求15所述的方法，其特征在于，每一移动设备都包括至少一个深度相机。
17.如权利要求16所述的方法，其特征在于，所述深度相机是TOF相机、结构化光传感器、立体三角测量相机系统或全光相机。
18.如权利要求12所述的方法，其特征在于，所述处理步骤包括接收目标的现有的3D模型，并使用捕捉到的随机图像和相关联的元数据来增强所述现有的3D模型。
19.如权利要求12所述的方法，其特征在于，所述查看步骤包括佩带护目镜并查看具有用人工逼真增强的至少一些目标的兴趣点。
20.如权利要求12所述的方法，其特征在于，所述查看步骤包括远离所述兴趣点的用户。
21.如权利要求20所述的方法，其特征在于，所述远离所述兴趣点的用户在移动设备上查看所述3D模型。
22.如权利要求21所述的方法，其特征在于，所述远离所述兴趣点的用户查看投影在所述用户的环境中的所述3D模型。
23.如权利要求15所述的方法，其特征在于，包括，基于获取的图像和/或获取的时间，来分析所述图像和相关联的元数据以确定用户的兴趣。
24.一种用于辅助捕捉兴趣点附近的3D信息的便携式设备，包括：
常规光学相机，用于捕捉所述兴趣点的图像；
深度相机，用于捕捉范围元数据，所述范围元数据包括所述深度相机与所述兴趣点附近的一个或多个目标之间的范围，所述深度相机使用以下传感器中的一个或多个：光的片、结构化光、飞行时间、干涉测量、编码孔径、激光雷达、光场或立体三角测量；
存储器，用于储存与所述图像和范围元数据中的至少一者相关联的元数据；
至体验服务器的通信链路，可操作来向所述设备加载与所述兴趣点有关的信息，可操作来发送所述范围元数据以构建邻近所述兴趣点的3D模型并且可操作来下载邻近所述兴趣点的所述3D模型的至少一部分；以及
显示器，可操作来从邻近所述兴趣点的所述设备的位置观察所述兴趣点的所述3D模型的立体视图，所述显示器可操作来将所述加载信息中的至少一些显示为虚拟现实消息。
25.如权利要求24所述的设备，其特征在于，所述便携式设备包括眼镜，所述眼镜包括透明显示器，所述透明显示器可操作来观察所述兴趣点的至少一部分以及观察所述虚拟现实消息。
26.如权利要求24所述的设备，其特征在于，所述深度相机是飞行时间相机、结构化光传感器、立体三角测量相机系统或全光相机。
CN201380010615.6A 2012-02-23 2013-02-22 用于创建环境并用于共享环境中基于位置的体验的系统和方法 Active CN104641399B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261602390P 2012-02-23 2012-02-23
US61/602,390 2012-02-23
PCT/US2013/027443 WO2013126784A2 (en) 2012-02-23 2013-02-22 System and method for creating an environment and for sharing a location based experience in an environment

Publications (2)

Publication Number Publication Date
CN104641399A CN104641399A (zh) 2015-05-20
CN104641399B true CN104641399B (zh) 2018-11-23

Family

ID=47902338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380010615.6A Active CN104641399B (zh) 2012-02-23 2013-02-22 用于创建环境并用于共享环境中基于位置的体验的系统和方法

Country Status (6)

Country Link
US (5) US20130222369A1 (zh)
EP (1) EP2817785B1 (zh)
KR (1) KR102038856B1 (zh)
CN (1) CN104641399B (zh)
CA (1) CA2864003C (zh)
WO (1) WO2013126784A2 (zh)

Families Citing this family (260)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
GB201018815D0 (en) * 2010-11-08 2010-12-22 Tomtom Int Bv High-definition weather for improved routing and navigation systems
WO2013034981A2 (en) 2011-09-08 2013-03-14 Offshore Incorporations (Cayman) Limited, System and method for visualizing synthetic objects withinreal-world video clip
US20130314508A1 (en) * 2012-05-25 2013-11-28 Takayuki Arima Management for super-reality entertainment
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US20130339859A1 (en) * 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
KR101895455B1 (ko) * 2012-06-19 2018-10-04 삼성전자주식회사 전자장치에서 의미적 위치 인식 방법 및 장치
US9395875B2 (en) * 2012-06-27 2016-07-19 Ebay, Inc. Systems, methods, and computer program products for navigating through a virtual/augmented reality
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US9436300B2 (en) * 2012-07-10 2016-09-06 Nokia Technologies Oy Method and apparatus for providing a multimodal user interface track
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9361626B2 (en) * 2012-10-16 2016-06-07 Google Inc. Social gathering-based group sharing
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
JP6140991B2 (ja) * 2012-12-04 2017-06-07 オリンパス株式会社 サーバシステム、プログラム、サーバシステムの作動方法及び端末装置
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9274606B2 (en) * 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
US10339406B2 (en) * 2013-03-15 2019-07-02 Orcam Technologies Ltd. Apparatus and method for using background change to determine context
US9940897B2 (en) * 2013-05-24 2018-04-10 Awe Company Limited Systems and methods for a shared mixed reality experience
US10107747B2 (en) * 2013-05-31 2018-10-23 Ecole Polytechnique Federale De Lausanne (Epfl) Method, system and computer program for determining a reflectance distribution function of an object
US20140365432A1 (en) 2013-06-10 2014-12-11 Dropbox, Inc. Dropsite for shared content
US9736461B2 (en) * 2013-06-19 2017-08-15 TrackThings LLC Method and apparatus for an attachable unit for a portable wireless system
US10140758B1 (en) 2013-06-27 2018-11-27 The Boeing Company Texturing models of structures
US9349211B1 (en) * 2013-06-27 2016-05-24 The Boeing Company Texturing models of structures
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
CN104375117B (zh) * 2013-08-12 2018-05-04 无锡知谷网络科技有限公司 目标定位方法及系统
US9286726B2 (en) 2013-08-20 2016-03-15 Ricoh Company, Ltd. Mobile information gateway for service provider cooperation
US9665901B2 (en) 2013-08-20 2017-05-30 Ricoh Company, Ltd. Mobile information gateway for private customer interaction
US10089684B2 (en) * 2013-08-20 2018-10-02 Ricoh Company, Ltd. Mobile information gateway for customer identification and assignment
KR102289497B1 (ko) * 2013-09-10 2021-08-13 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
KR102165818B1 (ko) 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
CA2924504A1 (en) * 2013-09-13 2015-03-19 Voke Inc. Video production sharing apparatus and method
US10095833B2 (en) 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
US9763071B2 (en) 2013-09-22 2017-09-12 Ricoh Company, Ltd. Mobile information gateway for use in emergency situations or with special equipment
US9558563B1 (en) * 2013-09-25 2017-01-31 Amazon Technologies, Inc. Determining time-of-fight measurement parameters
CN104516699A (zh) * 2013-09-27 2015-04-15 联想(北京)有限公司 一种图像显示方法及电子设备
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US8818081B1 (en) 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
CN104636358B (zh) * 2013-11-08 2018-02-27 联想(北京)有限公司 一种地图叠加方法和电子设备
US9473913B2 (en) 2013-11-12 2016-10-18 At&T Intellectual Property I, L.P. System and method for small cell based augmented reality
EP2874350B1 (de) * 2013-11-13 2018-08-08 Deutsche Telekom AG Dynamische zuteilung und virtualisierung von netzressourcen im zugangsnetz und in kundennetzen
US10754511B2 (en) 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US10510054B1 (en) 2013-12-30 2019-12-17 Wells Fargo Bank, N.A. Augmented reality enhancements for financial activities
US9551581B2 (en) * 2013-12-31 2017-01-24 Albright Holdings, Inc. Turn-by-turn navigation system and method using feedforward location estimation
US9773313B1 (en) * 2014-01-03 2017-09-26 Google Inc. Image registration with device data
US10078867B1 (en) 2014-01-10 2018-09-18 Wells Fargo Bank, N.A. Augmented reality virtual banker
WO2015122354A1 (ja) * 2014-02-14 2015-08-20 オリンパス株式会社 内視鏡システム
US10015720B2 (en) 2014-03-14 2018-07-03 GoTenna, Inc. System and method for digital communication between computing devices
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9496922B2 (en) 2014-04-21 2016-11-15 Sony Corporation Presentation of content on companion display device based on content presented on primary display device
US20170127035A1 (en) * 2014-04-22 2017-05-04 Sony Corporation Information reproducing apparatus and information reproducing method, and information recording apparatus and information recording method
US10466056B2 (en) 2014-04-25 2019-11-05 Samsung Electronics Co., Ltd. Trajectory matching using ambient signals
EP3624063A1 (en) * 2014-04-25 2020-03-18 Google Technology Holdings LLC Electronic device localization based on imagery
US9510154B2 (en) 2014-04-28 2016-11-29 Samsung Electronics Co., Ltd Location determination, mapping, and data management through crowdsourcing
US9863773B2 (en) 2014-04-29 2018-01-09 Samsung Electronics Co., Ltd. Indoor global positioning system
US9723109B2 (en) 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US10235718B2 (en) * 2014-05-28 2019-03-19 Paypal, Inc. Future resource forecast
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9781697B2 (en) 2014-06-20 2017-10-03 Samsung Electronics Co., Ltd. Localization using converged platforms
US9684440B2 (en) * 2014-06-30 2017-06-20 Apple Inc. Progressive rotational view
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
US10028245B2 (en) 2014-07-16 2018-07-17 Samsung Electronics Co., Ltd. Maintaining point of interest data using wireless access points
WO2016014233A1 (en) * 2014-07-25 2016-01-28 mindHIVE Inc. Real-time immersive mediated reality experiences
US10412594B2 (en) 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
WO2016029224A1 (en) * 2014-08-22 2016-02-25 Avegant Corporation Apparatus, system, and method for providing users with a shared media experience
US9578399B2 (en) 2014-08-25 2017-02-21 Daqri, Llc Remote sensor access and queuing
US9541404B2 (en) 2014-08-29 2017-01-10 Samsung Electronics Co., Ltd. System for determining the location of entrances and areas of interest
CN104200405A (zh) * 2014-09-03 2014-12-10 四川上略互动网络技术有限公司 智慧景区数字全景系统及其客户端与服务器端应答方法
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9014983B1 (en) 2014-09-26 2015-04-21 Blue Tribe, Inc. Platform, systems, and methods for obtaining shore and near shore environmental data via crowdsourced sensor network
US10332311B2 (en) 2014-09-29 2019-06-25 Amazon Technologies, Inc. Virtual world generation engine
US10216996B2 (en) * 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
CN106062862B (zh) * 2014-10-24 2020-04-21 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US10320437B2 (en) 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US10455134B2 (en) 2014-10-26 2019-10-22 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US20160188585A1 (en) * 2014-12-27 2016-06-30 Lenitra Durham Technologies for shared augmented reality presentations
US10582105B2 (en) 2014-12-30 2020-03-03 Qualcomm Incorporated Changing camera parameters based on wireless signal information
US9824481B2 (en) 2014-12-30 2017-11-21 Qualcomm Incorporated Maintaining heatmaps using tagged visual data
WO2016108424A1 (ko) * 2014-12-31 2016-07-07 경희대학교 산학협력단 공간 구현 방법 및 그 장치
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
KR20160105169A (ko) 2015-02-27 2016-09-06 이원철 체험형 영유아 안전교육 시스템 및 방법
EP3065108A1 (en) 2015-03-04 2016-09-07 Samsung Electronics Co., Ltd. Displaying a virtual tour
KR20230054766A (ko) 2015-03-18 2023-04-25 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9826013B2 (en) 2015-03-19 2017-11-21 Action Streamer, LLC Method and apparatus for an interchangeable wireless media streaming device
US10380726B2 (en) * 2015-03-20 2019-08-13 University Of Maryland, College Park Systems, devices, and methods for generating a social street view
US9852547B2 (en) * 2015-03-23 2017-12-26 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US9858284B2 (en) 2015-04-21 2018-01-02 International Business Machines Corporation Crowd sourced data sampling at the crowd
US9838495B2 (en) 2015-04-21 2017-12-05 International Business Machines Corporation Managing data acquisition
US9571971B2 (en) * 2015-04-24 2017-02-14 International Business Machines Corporation Managing crowd sourced data acquisition
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US9924240B2 (en) 2015-05-01 2018-03-20 Google Llc Systems and methods for interactive video generation and rendering
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US9811734B2 (en) 2015-05-11 2017-11-07 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US20160335275A1 (en) * 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
DE102015209896B3 (de) 2015-05-29 2016-08-18 Kuka Roboter Gmbh Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
US9631932B2 (en) 2015-06-05 2017-04-25 Nokia Technologies Oy Crowd sourced interaction of browsing behavior in a 3D map
EP3106912A1 (en) * 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
EP3859676A1 (en) 2015-06-30 2021-08-04 Mapillary AB Method in constructing a model of a scenery and device therefor
EP3113109A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Devices and methods for localization of multiple devices
JP6676294B2 (ja) * 2015-06-30 2020-04-08 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10750161B2 (en) * 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
WO2017034576A1 (en) * 2015-08-27 2017-03-02 Hewlett-Packard Development Company, L.P. Sharing similar electronic files based on user-generated criteria
US10415978B2 (en) 2015-11-20 2019-09-17 Samsung Electronics Co., Ltd. Landmark location determination
WO2017092733A1 (de) * 2015-12-02 2017-06-08 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur vorbereitenden simulation eines militärischen einsatzes in einem einsatzgebiet
WO2017102549A1 (en) 2015-12-16 2017-06-22 Thomson Licensing Method and device for refocusing at least one plenoptic video
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US11030235B2 (en) 2016-01-04 2021-06-08 Facebook, Inc. Method for navigating through a set of images
US10719711B2 (en) * 2016-01-06 2020-07-21 Orcam Technologies Ltd. Methods and systems for controlling external devices using a wearable apparatus
RU2717627C2 (ru) * 2016-01-15 2020-03-24 Карнеги Икс Инк. Системы и способы для анализа и изучения объектов в социальных сетях
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
CN107203556B (zh) * 2016-03-17 2020-12-15 阿里巴巴（中国）有限公司 一种新增兴趣点信息的方法及装置
US10638029B2 (en) * 2016-03-18 2020-04-28 C360 Technologies, Inc. Shared experiences in panoramic video
US20190088015A1 (en) 2016-03-31 2019-03-21 Umbra Software Oy Virtual reality streaming
US10068612B2 (en) * 2016-04-08 2018-09-04 DISH Technologies L.L.C. Systems and methods for generating and presenting virtual experiences
US10521952B2 (en) 2016-04-12 2019-12-31 Quidient, Llc Quotidian scene reconstruction engine
US10204444B2 (en) 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
CN106097106A (zh) * 2016-06-02 2016-11-09 成都心之筑科技有限公司 感应式智能节能交互建筑系统
US11177975B2 (en) 2016-06-13 2021-11-16 At&T Intellectual Property I, L.P. Movable smart device for appliances
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
DE102016212550A1 (de) * 2016-07-11 2018-01-11 Siemens Schweiz Ag Verfahren zum Betreiben eines Ticketmanagementsystems und entsprechendes Ticketmanagementsystem
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
CN106154223B (zh) * 2016-08-20 2019-12-03 西南大学 室内导航方法及室内导航系统
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
CN106249611A (zh) * 2016-09-14 2016-12-21 深圳众乐智府科技有限公司 一种基于虚拟现实的智能家居定位方法、装置和系统
US10311593B2 (en) * 2016-11-16 2019-06-04 International Business Machines Corporation Object instance identification using three-dimensional spatial configuration
US11612307B2 (en) * 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
US10089784B2 (en) * 2016-12-22 2018-10-02 ReScan, Inc. Head-mounted mapping methods
US10579138B2 (en) * 2016-12-22 2020-03-03 ReScan, Inc. Head-mounted sensor system
US10554909B2 (en) * 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
US10552981B2 (en) 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
US9983412B1 (en) 2017-02-02 2018-05-29 The University Of North Carolina At Chapel Hill Wide field of view augmented reality see through head mountable display with distance accommodation
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
KR102387433B1 (ko) * 2017-03-27 2022-04-18 스냅 인코포레이티드 스티칭된 데이터 스트림 생성
US11093927B2 (en) 2017-03-29 2021-08-17 International Business Machines Corporation Sensory data collection in an augmented reality system
US10467796B2 (en) * 2017-04-17 2019-11-05 Intel Corporation Graphics system with additional context
WO2018199351A1 (ko) * 2017-04-26 2018-11-01 라인 가부시키가이샤 센서 데이터를 메타데이터로서 포함하는 이미지 파일 생성 방법 및 장치
US10817724B2 (en) * 2017-05-01 2020-10-27 Microsoft Technology Licensing, Llc Real time object surface identification for augmented reality environments
US10607383B2 (en) 2017-05-11 2020-03-31 International Business Machines Corporation Seamless focus plane stitching to create panoramic video
JP6321263B1 (ja) * 2017-05-19 2018-05-09 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10417810B2 (en) * 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
US10107767B1 (en) 2017-06-14 2018-10-23 The Boeing Company Aircraft inspection system with visualization and recording
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US11562538B2 (en) 2017-07-07 2023-01-24 Time2Market Sa Method and system for providing a user interface for a 3D environment
RU2671753C1 (ru) * 2017-09-01 2018-11-06 Тимур Юсупович Закиров Система контроля и идентификации товара в магазине
DE102017120435A1 (de) * 2017-09-05 2019-03-07 Stephan Kohlhof Mobiltelefon
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
US10556185B2 (en) 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
US11753142B1 (en) 2017-09-29 2023-09-12 Snap Inc. Noise modulation for unmanned aerial vehicles
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
KR102195168B1 (ko) * 2017-11-21 2020-12-24 한국전자통신연구원 3차원 복원 지형 정합 방법 및 그 장치
US10255794B1 (en) 2017-11-28 2019-04-09 Titan Health & Security Technologies, Inc. Systems and methods for providing augmented reality emergency response solutions
EP3718307A1 (en) * 2017-11-28 2020-10-07 Telefonaktiebolaget LM Ericsson (publ) Controlled uplink adaptive streaming based on server performance measurement data
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
US11729267B2 (en) * 2017-12-22 2023-08-15 Charles Isgar Photograph sharing system
US10277679B1 (en) 2017-12-22 2019-04-30 Charles Isgar Photograph sharing system
CN110110014B (zh) * 2017-12-26 2023-07-14 阿里巴巴集团控股有限公司 目标对象的位置信息的确定方法、服务器及用户客户端
US10952058B2 (en) 2018-01-02 2021-03-16 Titan Health & Security Technologies, Inc. Systems and methods for providing augmented reality emergency response solutions
US10572121B2 (en) * 2018-02-09 2020-02-25 International Business Machines Corporation Contextual user profile photo selection
US11822346B1 (en) 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
EP3779644B1 (en) * 2018-03-26 2023-03-08 Sony Group Corporation Information processing device and information processing method
EP3788595A4 (en) 2018-05-02 2022-01-05 Quidient, LLC CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS
US10859831B1 (en) 2018-05-16 2020-12-08 Facebook Technologies, Llc Systems and methods for safely operating a mobile virtual reality system
US11032662B2 (en) * 2018-05-30 2021-06-08 Qualcomm Incorporated Adjusting audio characteristics for augmented reality
US20200026726A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for interactive searching
US11315321B2 (en) * 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism
US10846933B2 (en) * 2018-09-14 2020-11-24 Advanced Geosciences, Inc. Geophysical sensor positioning system
CN109413409B (zh) * 2018-09-30 2020-12-22 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
WO2020076058A1 (ko) * 2018-10-08 2020-04-16 삼성전자 주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
US11854262B1 (en) 2018-10-31 2023-12-26 United Services Automobile Association (Usaa) Post-disaster conditions monitoring system using drones
US11538127B1 (en) 2018-10-31 2022-12-27 United Services Automobile Association (Usaa) Post-disaster conditions monitoring based on pre-existing networks
US11244483B2 (en) 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
US11125800B1 (en) 2018-10-31 2021-09-21 United Services Automobile Association (Usaa) Electrical power outage detection system
US11789003B1 (en) 2018-10-31 2023-10-17 United Services Automobile Association (Usaa) Water contamination detection system
EP3881163A4 (en) * 2018-11-12 2022-08-03 Open Space Labs, Inc. AUTOMATED SPATIAL INDEXING OF IMAGES ON VIDEO
CN109357679B (zh) * 2018-11-16 2022-04-19 山东浪潮科学研究院有限公司 一种基于显著性特征识别的室内定位方法
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US20200202049A1 (en) * 2018-12-21 2020-06-25 Geospan Corporation Shared geographic information system for creation, change management and delivery of 3d structure models
US11488352B1 (en) * 2019-02-21 2022-11-01 Apple Inc. Modeling a geographical space for a computer-generated reality experience
US11075971B2 (en) * 2019-04-04 2021-07-27 Evertz Microsystems Ltd. Systems and methods for operating a media transmission network
US11323780B2 (en) 2019-04-04 2022-05-03 Evertz Microsystems Ltd. Systems and methods for determining delay of a plurality of media streams
US20200326203A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Real-world traffic model
US11037225B2 (en) * 2019-04-25 2021-06-15 Capital One Services, Llc Generating augmented reality vehicle information for a vehicle captured by cameras in a vehicle lot
US10873800B1 (en) * 2019-05-17 2020-12-22 Facebook Technologies, Llc Artificial-reality devices with display-mounted transducers for audio playback
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法
US11341727B2 (en) 2019-06-18 2022-05-24 The Calany Holding S. À R.L. Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
US11189061B2 (en) * 2019-06-25 2021-11-30 Universal City Studios Llc Systems and methods for virtual feature development
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
US11941762B2 (en) 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US11645772B2 (en) 2019-08-07 2023-05-09 Size Stream Llc Mobile 3D crowd scanning methods and apparatus
US11132834B2 (en) * 2019-08-09 2021-09-28 Facebook Technologies, Llc Privacy-aware artificial reality mapping
KR102226894B1 (ko) * 2019-10-21 2021-03-10 서울과학기술대학교 산학협력단 크라우드 소싱을 이용한 파노라마 영상 생성 시스템 및 방법
US11151798B1 (en) 2019-11-13 2021-10-19 Apple Inc. Depth rate up-conversion
US11816146B1 (en) 2019-11-26 2023-11-14 ShotSpotz LLC Systems and methods for processing media to provide notifications
US11496678B1 (en) 2019-11-26 2022-11-08 ShotSpotz LLC Systems and methods for processing photos with geographical segmentation
US11436290B1 (en) 2019-11-26 2022-09-06 ShotSpotz LLC Systems and methods for processing media with geographical segmentation
US11868395B1 (en) 2019-11-26 2024-01-09 ShotSpotz LLC Systems and methods for linking geographic segmented areas to tokens using artwork
DE102019219171A1 (de) * 2019-12-09 2021-05-27 Continental Automotive Gmbh Fahrerassistenzsystem, Crowdsourcing-Modul, Verfahren und Computerprogramm
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11302074B2 (en) * 2020-01-31 2022-04-12 Sony Group Corporation Mobile device 3-dimensional modeling
US11263818B2 (en) * 2020-02-24 2022-03-01 Palo Alto Research Center Incorporated Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
US11816758B2 (en) * 2020-03-30 2023-11-14 Universal City Studios Llc Techniques for preloading and displaying high quality image data
US11521359B2 (en) * 2020-04-17 2022-12-06 Apple Inc. Extended reality recorder
CN111467789A (zh) * 2020-04-30 2020-07-31 厦门潭宏信息科技有限公司 一种基于HoloLens的混合现实交互系统
US11232638B1 (en) 2020-05-20 2022-01-25 Bradley French System and method for creating links to superimposable digital media content messages viewable on an electronic device
GB2596082B (en) * 2020-06-16 2022-06-08 Exaactly Ltd Systems and methods for capturing image data for mapping
CN111698425B (zh) * 2020-06-22 2021-11-23 四川可易世界科技有限公司 一种实现实景漫游技术连贯性的方法
US11928787B2 (en) * 2020-07-29 2024-03-12 Intel Corporation Deep novel view synthesis from unstructured input
CN116420172A (zh) * 2020-11-05 2023-07-11 计算机生成解决方案股份有限公司 用于集成和使用增强现实技术的系统和方法
US11551370B2 (en) * 2020-12-18 2023-01-10 Nationwide Management Services, Inc. Remote inspection and appraisal of buildings
WO2022159803A1 (en) 2021-01-22 2022-07-28 Dtis, Llc Visual data management system and method
WO2022251108A1 (en) * 2021-05-25 2022-12-01 Us Synthetic Corporation Systems and methods for dull grading
IT202100014645A1 (it) * 2021-06-04 2022-12-04 Rome C M S R L Metodo e sistema di modellizzazione in 3D
CN113436489A (zh) * 2021-06-09 2021-09-24 深圳大学 一种基于虚拟现实的留学体验系统及留学体验方法
WO2022261381A1 (en) * 2021-06-09 2022-12-15 AeroCine Ventures, Inc. Localization processing service
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113744560B (zh) * 2021-09-15 2023-05-05 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质
ES2922453A1 (es) * 2022-06-15 2022-09-15 Garcia Gonzalez Daniel Procedimiento de emisión de video
DE102022116737A1 (de) 2022-07-05 2024-01-11 Friedrich-Alexander-Universität Erlangen-Nürnberg, Körperschaft des öffentlichen Rechts System, Verfahren, Computerprogramm und computerlesbares Medium
WO2024023581A1 (en) * 2022-07-27 2024-02-01 Outform Ltd. Mixed reality store fixture
JP2024040601A (ja) * 2022-09-13 2024-03-26 キヤノン株式会社 電子機器
KR102579463B1 (ko) * 2022-11-28 2023-09-15 주식회사 에스씨크리에이티브 확장현실 기술 기반 미디어아트 시스템

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323322A (en) 1992-03-05 1994-06-21 Trimble Navigation Limited Networked differential GPS system
WO1995018977A1 (en) 1994-01-03 1995-07-13 Trimble Navigation A network for code phase differential gps corrections
US6317127B1 (en) 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
KR100595925B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US6915008B2 (en) 2001-03-08 2005-07-05 Point Grey Research Inc. Method and apparatus for multi-nodal, three-dimensional imaging
US6919867B2 (en) 2001-03-29 2005-07-19 Siemens Corporate Research, Inc. Method and apparatus for augmented reality visualization
US7167576B2 (en) 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
US7298415B2 (en) 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
US6903752B2 (en) 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
US7046214B2 (en) 2003-12-17 2006-05-16 Information Decision Technologies, Llc Method and system for accomplishing a scalable, multi-user, extended range, distributed, augmented reality environment
US7002551B2 (en) 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
KR100490726B1 (ko) 2002-10-17 2005-05-24 한국전자통신연구원 비디오 기반의 사격 게임 장치 및 그 방법
US7254271B2 (en) 2003-03-05 2007-08-07 Seadragon Software, Inc. Method for encoding and serving geospatial or other vector data as images
US7075535B2 (en) 2003-03-05 2006-07-11 Sand Codex System and method for exact rendering in a zooming user interface
US7133054B2 (en) 2004-03-17 2006-11-07 Seadragon Software, Inc. Methods and apparatus for navigating an image
US6903745B2 (en) 2003-05-19 2005-06-07 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
WO2006022855A2 (en) 2004-03-18 2006-03-02 Northrop Grumman Corporation Multi-camera image stitching for a distributed aperture system
US7692684B2 (en) 2004-09-27 2010-04-06 Point Grey Research Inc. People counting systems and methods
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US8044996B2 (en) 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
CN101222957B (zh) 2005-07-14 2012-01-11 查尔斯·D·休斯顿 基于gps的观众和参与方的体育比赛系统和方法
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
US9344842B2 (en) 2005-07-14 2016-05-17 Charles D. Huston System and method for viewing golf using virtual reality
US8207843B2 (en) 2005-07-14 2012-06-26 Huston Charles D GPS-based location and messaging system and method
US7904096B2 (en) 2005-09-06 2011-03-08 O2Micro International Limited GPS application using network assistance
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US8130260B2 (en) * 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US7982667B2 (en) 2006-04-17 2011-07-19 Trimble Navigation Limited Post-processed accuracy prediction for GNSS positioning
US7468694B2 (en) 2006-04-21 2008-12-23 Broadcom Corporation Communication system with assisted GPS and SBAS
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
US8570426B2 (en) 2008-11-25 2013-10-29 Lytro, Inc. System of and method for video refocusing
US9282446B2 (en) * 2009-08-06 2016-03-08 Golba Llc Location-aware content and location-based advertising with a mobile device
US20080147730A1 (en) 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
EP2183255A4 (en) 2007-08-29 2011-06-15 Methylgene Inc METHOD AND INTERMEDIATE PRODUCTS FOR THE PREPARATION OF CONDENSED HETEROCYCLIC KINASE INHIBITORS
KR20090030149A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 개인화된 동적 크라우드소싱 서비스 제공 시스템 및 방법
US7992104B2 (en) 2007-11-13 2011-08-02 Microsoft Corporation Viewing data
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9250797B2 (en) 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
US7991283B2 (en) 2008-09-30 2011-08-02 Microsoft Corporation Geotagging photographs using annotations
US8233664B2 (en) * 2008-11-12 2012-07-31 Eastman Kodak Company Determining relative depth of points in multiple videos
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US20100153457A1 (en) 2008-12-15 2010-06-17 Grant Isaac W Gestural Interface Device and Method
US20110119587A1 (en) 2008-12-31 2011-05-19 Microsoft Corporation Data model and player platform for rich interactive narratives
US8046691B2 (en) 2008-12-31 2011-10-25 Microsoft Corporation Generalized interactive narratives
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100225734A1 (en) * 2009-03-03 2010-09-09 Horizon Semiconductors Ltd. Stereoscopic three-dimensional interactive system and method
US20100257252A1 (en) 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8943420B2 (en) * 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8611592B2 (en) * 2009-08-26 2013-12-17 Apple Inc. Landmark identification using metadata
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US20110069179A1 (en) * 2009-09-24 2011-03-24 Microsoft Corporation Network coordinated event capture and image storage
US20110137561A1 (en) 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US9766089B2 (en) 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US8447136B2 (en) 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US9488488B2 (en) 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US20110225517A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc Pointer tools for a virtual social venue
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion
US8295589B2 (en) 2010-05-20 2012-10-23 Microsoft Corporation Spatially registering user photographs
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9586147B2 (en) * 2010-06-23 2017-03-07 Microsoft Technology Licensing, Llc Coordinating device interaction to enhance user experience
NL2004996C2 (nl) 2010-06-29 2011-12-30 Cyclomedia Technology B V Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto.
US9075764B2 (en) 2010-08-11 2015-07-07 Apple Inc. Multiprocessor system-on-a-chip for machine vision algorithms
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8706172B2 (en) 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
DE202011110887U1 (de) 2010-11-24 2017-02-21 Google Inc. Wiedergeben und navigieren fotografischer Panoramen mit Tiefeninformationen in einem geographischen Informationssystem
WO2012071466A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
US20120151055A1 (en) 2010-12-11 2012-06-14 Microsoft Corporation Low Energy Mobile Information Delivery
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US9329673B2 (en) * 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
WO2012166135A1 (en) 2011-06-01 2012-12-06 Empire Technology Development,Llc Structured light projection for motion detection in augmented reality
US9288468B2 (en) * 2011-06-29 2016-03-15 Microsoft Technology Licensing, Llc Viewing windows for video streams
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US20130095855A1 (en) * 2011-10-13 2013-04-18 Google Inc. Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
US8768141B2 (en) * 2011-12-02 2014-07-01 Eric Chan Video camera band and system
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9110502B2 (en) * 2011-12-16 2015-08-18 Ryan Fink Motion sensing display apparatuses
US9389681B2 (en) * 2011-12-19 2016-07-12 Microsoft Technology Licensing, Llc Sensor fusion interface for multiple sensor input
US20150154798A1 (en) 2011-12-30 2015-06-04 Google Inc. Visual Transitions for Photo Tours Between Imagery in a 3D Space
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9128522B2 (en) * 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
KR20140095956A (ko) * 2013-01-25 2014-08-04 한국전자통신연구원 크라우드 소싱기반 영상 지식 콘텐츠 생성 시스템 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Detailed 3D Reconstruction of Large-Scale Heritage Sites with Integrated Techniques;Sabry F. El-Hakim et al.;《IEEE Computer Graphics and Applications》;20040630;第24卷(第3期);摘要，第26页 *
Human Habitat Data in 3D for the Internet;Franz Leberl;《Communications in Computer and Information Science》;20101231;第68卷;摘要 *
PhotoCity: Training Experts at Large-scale Image AcquisitionThrough a Competitive Game;Kathleen Tuite et al.;《Proceedings of the SIGCHI Conference on Human Factors in Computing Systems》;20110507;第1383-1389页 *

Also Published As

Publication number Publication date
US20200218690A1 (en) 2020-07-09
US20150287246A1 (en) 2015-10-08
US9977782B2 (en) 2018-05-22
CN104641399A (zh) 2015-05-20
EP2817785B1 (en) 2019-05-15
CA2864003C (en) 2021-06-15
WO2013126784A3 (en) 2015-02-19
US10936537B2 (en) 2021-03-02
EP2817785A2 (en) 2014-12-31
US11449460B2 (en) 2022-09-20
WO2013126784A2 (en) 2013-08-29
KR20140127345A (ko) 2014-11-03
US20150287241A1 (en) 2015-10-08
KR102038856B1 (ko) 2019-10-31
US20180143976A1 (en) 2018-05-24
US20130222369A1 (en) 2013-08-29
CA2864003A1 (en) 2013-08-29
US9965471B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
US11449460B2 (en) System and method for capturing and sharing a location based experience
US11783535B2 (en) System and method for capturing and sharing a location based experience
US10937239B2 (en) System and method for creating an environment and for sharing an event
TWI790380B (zh) 深度估計系統之自監督訓練
CN110011897B (zh) 具有光学窄播的社交媒体
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN103597524B (zh) 用于插入和增强当浏览活动场地时显示给用户的消息的系统和方法
US20130095855A1 (en) Method, System, and Computer Program Product for Obtaining Images to Enhance Imagery Coverage
US20190364224A1 (en) Information processing apparatus, information processing method, and program
JP6849256B1 (ja) ３次元モデル構築システム、および３次元モデル構築方法
US20220351518A1 (en) Repeatability predictions of interest points
KR101554776B1 (ko) 피사체의 촬영을 통한 피사체 소스정보의 제공방법 및 이를 위한 서버와 휴대용 단말기
JP2010231741A (ja) 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
JP2014120878A (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
US11957978B2 (en) Refining camera re-localization determination using prior pose model
WO2019127320A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN113015018B (zh) 弹幕信息的展示方法、装置、系统、电子设备及存储介质
US20240046564A1 (en) Simulated Consistency Check for Points of Interest on Three-Dimensional Maps
JP2023045672A (ja) ３次元モデル生成システム、３次元モデル生成サーバ、位置情報ゲームサーバ、および３次元モデル生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant