CN109035128A - 针对移动设备的全方位立体捕获 - Google Patents

针对移动设备的全方位立体捕获 Download PDF

Info

Publication number
CN109035128A
CN109035128A CN201810915800.4A CN201810915800A CN109035128A CN 109035128 A CN109035128 A CN 109035128A CN 201810915800 A CN201810915800 A CN 201810915800A CN 109035128 A CN109035128 A CN 109035128A
Authority
CN
China
Prior art keywords
mobile device
capture
path
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810915800.4A
Other languages
English (en)
Inventor
R.安德森
S.M.塞茨
C.H.埃斯特班
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109035128A publication Critical patent/CN109035128A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用于针对移动设备捕获全方位立体内容的系统和方法，该系统和方法可以包括：接收用于捕获场景的多个图像的指示；使用与移动设备相关联的相机捕获多个图像；以及在移动设备的屏幕上并且在捕获期间显示多个图像的表示并且呈现合成图像，该合成图像包括目标捕获路径和指示符，该指示符在对多个图像的捕获期间提供对应于与移动设备相关联的源捕获路径的对准信息。该系统可以检测到源捕获路径的一部分与目标捕获路径不匹配。该系统能够在屏幕中提供可以包括对移动设备的用户的提示的更新的指示符，该提示用于调整移动设备以便将源捕获路径与目标捕获路径对准。

Description

针对移动设备的全方位立体捕获
本申请是申请日为2016年05月26日、申请号为201680020085.7、发明名称为“针对移动设备的全方位立体捕获”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2015年5月26日提交的名称为“Omnistereo Capture for MobileDevices(针对移动设备的全方位立体捕获)”的美国专利申请序列号14/721,612的优先权和权益，该美国专利申请的公开内容通过引用结合在此。
技术领域
本描述一般涉及生成全方位立体(omnistereo)全景图。具体地，本描述涉及从在移动设备上捕获的图像生成全方位立体全景图。
背景技术
全景摄影技术能够用在图像和视频上以提供场景的宽视图。传统地，能够使用全景摄影技术和成像技术来从使用传统相机拍摄的多个邻接照片中获得全景图像。能够以对准的方式将这些照片拼合在一起以获得完整的全景图。
发明内容
一个或多个计算机的系统能够被配置为凭借具有安装在系统上、在操作中使得系统执行动作的软件、固件、硬件或其组合来执行特定操作或动作。一个或多个计算机程序能够被配置为凭借包括当由数据处理装置执行时使该装置执行动作的指令来执行特定操作或动作。
在一个一般方面，一种计算机实现的方法包括：在移动设备处接收用于捕获场景的多个图像的指示；使用与移动设备相关联的相机来捕获多个图像；在移动设备的屏幕上并且在对多个图像的捕获期间显示多个图像的表示，并且在屏幕中呈现包括目标捕获路径和指示符的合成图像，该指示符在对多个图像的捕获期间提供对应于与移动设备相关联的源捕获路径的对准信息；响应于在捕获期间检测到源捕获路径的一部分与目标捕获路径的一部分不匹配，该匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符。该更新的指示符包括对移动设备的用户的提示，该提示用于调整移动设备以将源捕获路径与目标捕获路径对准。
实施方式可以包括以下单独或与一个或多个其他特征组合的特征中的一个或多个特征。例如，源捕获路径可以为由移动设备遍历以捕获场景的多个图像的扫掠运动，源捕获路径与移动设备的取向和位置角度相关联。此外，目标捕获路径可以为圆形形状路径，并且捕获多个图像对应于使用移动设备通过对准移动设备以遍历具有约10厘米至约75厘米直径的目标捕获路径来来记录图像内容。在一些实施方式中，对准信息可以包括陀螺仪测量结果的图形表示，陀螺仪测量结果对应于与移动设备的取向和位置角度相关联的移动。移动设备的位置角度可以被表示为提供相对于地平面和与源捕获路径相关联的平面的方位角的半透明图像中的图形，并且其中，半透明图像与合成图像组合。在一些实施方式中，移动设备的位置角度包括从与移动设备上的相机镜头的正面正交的平面旋转的度数的测量结果以及从平行于相机镜头的正面的平面旋转的度数的测量结果。
在以上实施方式中的任何或所有实施方式中，该方法可以包括：在捕获期间接收屏幕中用于以更慢的速度捕获图像的指示。在以上实施方式中的任何或所有实施方式中，该方法还可以包括：接收所述屏幕中用于使用更新的位置角度执行对所述场景的附加图像捕获以捕获所述场景中的附加图像内容的指示。在一些实施方式中，屏幕中的指示引导移动设备的用户在执行附加图像捕获的同时以更新的位置角度握持移动设备，并且可以使用移动设备的垂直面向与场景相关联的地平面的相机镜头来执行附加图像捕获，并且该更新的位置角度包括(i)相机镜头的约四十度向后倾斜或(ii)相机镜头的约四十度向前倾斜。
在以上实施方式中的任何或所有实施方式中，该方法还可以包括：在计算设备处获得使用移动设备捕获的图像，该图像包括从围绕圆形路径的多个点捕获的内容；以及使用计算设备调整图像以便在3D空间中进行渲染。调整可以包括：确定图像中的至少两个图像之间的至少一个重叠，重叠包括至少两个图像中的像素之间的匹配；针对每个重叠，选择包括在重叠中的像素的一部分；组合部分，从而使得像素的每部分垂直对准以生成场景的3D片段；以及响应于确定至少两个图像之间没有重叠，通过对来自至少两个图像的多个像素进行采样来生成将被放置在至少两个图像之间的附加图像内容，并且将附加图像内容组合成3D片段。在以上实施方式中的任何或所有实施方式中，该方法可以进一步包括在头戴式显示器中将3D片段渲染为场景的一部分。
在以上实施方式中的任何或所有实施方式中，圆形路径可以包括具有从约10厘米至约75厘米范围的直径的可变路径。在以上实施方式中的任何或所有实施方式中，该方法还可以包括：通过校正在捕获时发生的横滚移动、在捕获时发生的非共形相机弧形移动以及在捕获时发生的不一致半径测量来调整图像以便在3D空间中进行渲染。
在以上实施方式中的任何或所有实施方式中，该方法可以包括：通过混合来自两个或更多个图像的多个像素来组合附加图像内容以移除图像中的伪像。伪像可以包括至少部分地基于与捕获相关联的姿势的未对准误差。在以上实施方式中的任何或所有实施方式中，图像可以包括场景的多个连续图像帧。
在另一一般方面，一种系统可以包括：至少一个处理器；存储器，存储器存储当由至少一个处理器执行时使系统执行包括以下各项的操作的指令：捕获图像内容，内容在捕获期间显示在移动设备的屏幕中；在捕获期间在移动设备的屏幕上显示图示图形，图形被配置用于提供目标捕获路径和指示符，指示符提供对应于与移动设备的移动相关联的源捕获路径的对准信息。该操作还可以包括：响应于在图像捕获期间检测到与移动设备的移动相关联的源捕获路径不同于目标捕获路径，在屏幕中提供更新的指示符，该更新的指示符包括对移动设备的用户的提示，该提示用于调整移动设备以便使源捕获路径与目标捕获路径相匹配的提示。
在以上实施方式中的任何或所有实施方式中，系统可以包括响应于检测移动设备的移动而进行实时动态地更新的图示图形。在以上实施方式中的任何或所有实施方式中，图示图形包括描绘目标捕获路径的第一部分和描绘与移动设备的移动相关联的源捕获路径的第二部分，第一部分和第二部分指示用于将第二部分与第一部分对准的路线。在以上实施方式中的任何或所有实施方式中，第一部分描绘了圆并且第二部分描绘了与该圆的偏差。
在以上实施方式中的任何或所有实施方式中，其中，对准信息包括与移动设备的位置角度的移动相对应的陀螺仪测量结果的图示图形。在以上实施方式中的任何或所有实施方式中，图示图形包括提供用于使与移动设备的移动相关联的源捕获路径与目标捕获路径相匹配的路线的至少一个指示符。
此方面的其他实施例包括各自被配置用于执行上述方法的动作的对应计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序。
在以上实施方式中的任何或所有实施方式中，提供了一种非暂时性机器可读介质，其具有存储在其上的指令，该指令在由处理器执行时使得计算设备：
在移动设备处接收捕获场景的多个图像的指示；
使用与移动设备相关联的相机捕获多个图像；
在移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，该指示符在捕获多个图像期间提供对应于与移动设备相关联的源捕获路径的对准信息；以及
响应于在捕获期间检测到源捕获路径的一部分与目标捕获路径的一部分不匹配，该匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，该更新的指示符包括对移动设备的用户的提示，以调整移动设备将源捕获路径与目标捕获路径对准。
在附图和以下描述中阐述了一个或多个实施方式的细节。根据描述和附图且根据权利要求书，其他特征将是明显的。
附图说明
图1是用于在3D虚拟现实(VR)环境中捕获并渲染立体图像的示例系统的框图。
图2是描绘了捕获全景视图的移动设备的示例的示图。
图3是描绘了在视场中捕获场景的图像的示例移动设备的示图。
图4是描绘了用于使用移动设备捕获图像的示例路径的示图。
图5是描绘了使用移动设备捕获图像的示例的示图。
图6是描绘了在对图像的捕获期间的移动设备的示例的示图。
图7是描绘了在对图像的捕获期间的移动设备的另一个示例的示图。
图8是描绘了在对图像的捕获期间的移动设备的又另一个示例的示图。
图9是图示了用于捕获图像的过程的一个实施例的流程图。
图10是图示用于渲染图像的过程的一个实施例的流程图。
图11示出了可以用于实施本文中所描述的技术的计算机设备和移动计算机设备的示例的示图。
各个附图中的相似参考符号指示相似的元件。
具体实施方式
以下公开描述了能够用于在移动设备上捕获并且产生全方位立体全景图的多种技术。移动设备能够接收关于捕获图像内容的指示、通知或其他讯息。例如，在移动设备上运行的应用能够在捕获期间通知用户该设备的取向是歪斜的或以其他方式不准确地捕获内容。作为响应，用户能够对移动设备进行重取向来校正捕获。一旦完成了特定捕获，本公开中所描述的算法就能够使用来自移动设备的捕获内容来提供3D全方位立体图像。
图1是用于在3D虚拟现实(virtual reality，VR)环境中捕获并渲染立体图像的示例系统100的框图。在示例系统100中，移动设备102能够用于捕获图像和/或视频并且通过网络104提供那些图像或视频、或可替代地能够直接向图像处理系统106提供图像以进行分析和处理。在系统100的一些实施方式中，图像处理系统106被提供为移动设备102的一部分。在其他实施方式中，图像处理系统106的部分被提供在移动设备102上，而图像处理系统106的其他部分被提供在另一计算系统上。
移动设备102可以是移动电话、电子平板计算机、膝上型计算机、相机或可以用于获得图像数据的其他此类电子设备。在一些实施方式中，移动设备102能够被配置为捕获静态图像。在一些实施方式中，移动设备102能够被配置为捕获视频并且将这种内容存储为单个帧或视频(例如，.avi文件)，并且这种存储的图像能够被上传到互联网、另一服务器或设备、或者被本地存储在设备102上。在一些实施方式中，传入图像能够被存储为编码图像或视频。通常，贯穿本公开所描述的图像可以包括场景的多个连续或非连续图像帧。在一些实施方式中，贯穿本公开所描述的图像可以包括连续图像集和非连续图像集两者的组合。可以以二维或三维方式捕获图像。
在设备102的操作中，用户能够访问设备102上的相机(还能够被称为捕获设备)、在所选的取向上握持设备102并且绕着用设备102摇摄(pan)或扫掠(sweep)以沿着捕获路径捕获图像。通常，绕着用设备102扫掠以沿着捕获路径捕获图像能够包括使用户围绕环绕她的头部或身体(或身体的一部分)的圆形捕获路径(或另一形状或轮廓的捕获路径)移动设备102。在这种扫掠中，在用户遵循圆形捕获路径(或另一形状或轮廓的捕获路径)的同时，设备102可以被引导成向外远离用户并且指向景色。在一些实施方式中，捕获路径能够被布置在单个平面内或沿着单个平面对准、能够弯曲、能够具有线性部分、能够具有一个或多个不连续点等等。在一些实施方式中，捕获路径能够具有被布置在多于一个平面内的或沿着多于一个平面对准的部分。
在扫掠路径(例如，捕获路径)和捕获图像同时，移动设备102能够接收用于修改特定捕获配置的指示。捕获配置能够包括但不限于移动设备姿势/捕获位置/角度/俯仰/滚动/、用于采光/曝光的相机设置、水平或垂直倾斜或扭转、相机捕获扫掠的速度等。
在图像捕获期间，移动设备102能够向捕获图像的用户提供用于允许用户在对图像的捕获期间做出改变的指示。该指示可以是用于修改用户正在以其捕获图像的取向和/或角度的指令。在一个示例中，可以在设备102屏幕中提供指示。在一个示例中，除了被设备102捕获的内容之外，可以在设备102屏幕中提供指示。在非限制性示例中，指示可以被显示成覆盖在所捕获的内容上以提供合成图像，该合成图像示出了所捕获的图像和用于修改捕获配置的指示。在一些实施方式中，合成图像能够包括使用覆盖在(例如，以可见方式覆盖、透明地覆盖、半透明地覆盖)所捕获的图像上的指示来被捕获的图像。如在设备102的屏幕上所示出的，应用内容描绘了通过指示103主动捕获图像并且接收关于捕获配置的反馈的图像捕获应用。
例如，一旦捕获了图像，图像处理系统106(或移动设备102)能够对图像执行多次处理，以生成能够被提供给头戴式显示器(head mounted display，HMD)设备110以通过网络104进行渲染的3D全方位立体图像。在一些实施方式中，图像处理系统106还能够向移动设备102和/或计算设备112提供经处理的图像，以进行渲染、存储或进一步处理。
HMD设备110可以表示虚拟现实头戴装置、眼镜、目镜或能够显示虚拟现实内容的其他可穿戴设备。在操作中，HMD设备110能够执行能够向用户回放所接收的和/或经处理的图像的VR应用(未示出)。在一些实施方式中，如在图1中所示出的，VR应用能够由设备102、106或112中的一个或多个设备托管。在一个示例中，HMD设备110能够提供由移动设备102捕获的场景的静态表示和/或视频回放。通常，回放可以包括被拼接成3D立体场景以向用户提供该场景的真实观看的图像。
在一些实施方式中，能够使用多个移动设备来捕获场景的图像。例如，移动设备102可以是被布置在相机装备(未示出)上以捕获特定场景的附加图像的多个移动设备之一。例如，这种相机装备能够被配置为用作收集图像数据以便在VR环境中渲染内容的图像捕获设备和/或处理设备。该装备能够包括被配置有摄影机、图像传感器、和/或红外相机的移动设备以及用于处理所捕获的图像的处理电路。
如图1中所示出的，图像处理系统106包括捕获调整模块116、拼接模块118和渲染模块120。捕获调整模块116能够被配置为向用户提供用于在图像捕获期间调整移动设备的取向和/或位置的指令。例如，如果用户以不匹配特定捕获路径的角度握持移动设备102，则设备102能够在该设备的显示器上提供图形、指令或其他讯息。
在一些实施方式中，捕获调整模块116能够向运行在移动设备102上的应用提供内容。可以在图像捕获期间提供内容并且该内容能够包括移动设备102的屏幕上的图示图形。在一些示例中，图示图形能够以以下方式呈现在屏幕中：在所捕获的图像旁边、覆盖所捕获的图像、与所捕获的图像叠加或以其他方式与所捕获的图像组合，并且能够被配置为提供提议的捕获路径和指示符，该指示符提供对应于与移动设备102的移动相关联的捕获路径的对准信息。提供对准信息的指示符可以为校正指示符，该校正指示符提供与能够帮助用户调整移动设备102的捕获取向或位置的方向有关的文本或图形。例如，描绘了由移动设备102的扫掠运动遍历的实际捕获路径的图形能够覆盖描绘了提议的捕获路径的图形。使用移动设备102扫掠场景的路径的用户能够查看这些路径并且尝试手动地调整移动设备取向或位置以使实际捕获路径的一部分与相应的提议的捕获路径的一部分相匹配。在一些实施方式中，图形能够引导用户沿着捕获路径重新扫掠场景的特定部分。例如，图形能够引导用户倒回并且重拍视频的部分。在另一个示例中，图形能够引导用户重拍特定场景的捕获路径的整个扫掠。在这种示例中，图形或在图形旁边的文本能够指示用于重拍的捕获的角度。在一些示例中，图形能够引导用户在执行附加捕获之前调整相机配置细节。
特定提议的捕获路径的配置能够基于与移动设备102相关联的相机的经检测的取向或角度。例如，移动设备102可以包括能够用于确定相机(例如，与移动设备102相关联的相机)的取向或角度的机载加速度计或陀螺仪感测设备(未示出)。此信息能够用于生成并且提供建议/期望的捕获路径。在一些实施方式中，提议的捕获路径的配置能够基于场景。例如，移动设备102能够在捕获期间对场景进行分析以确定采光、水平放置或视场并且能够基于这种信息建议捕获路径或捕获速度。在一些实施方式中，提议的捕获路径的配置能够基于相机配置或限制。例如，移动设备102可以使用相对于纵向取向的一个视场和相对于横向取向的另一视场来捕获图像。因此，能够适配捕获路径。移动设备上的应用能够更新并动态改变提议的捕获路径并且能够在捕获期间在移动设备102的屏幕中实时地提供这种改变。
例如，可以基于以下方式来生成提议的捕获路径(或目标路径)：通过用户以期望的取向/角度握持相机来定义捕获路径的起始位置。基于这种初始位置(其可以通过由用户推动相机的UI上的按钮来标识)，移动设备可以计算路径，从而使得该路径由圆形成，所述圆被定位成使得当前(初始)相机位置位于所述圆上并且使得所述圆位于平行于相机的光轴的平面中并且使得所述圆具有预定半径(或能够由用户选择的半径)。基于这种计算，提议的路径可以被计算为“目标路径”。应当注意的是，一个或多个示例中的目标路径不仅指示在捕获期间由相机假设的位置，而且指示相机在捕获期间遵循路径时的某个角度和取向。提议的捕获路径指示相机在捕获期间将遵循的轨迹并且还指示相机在遵循该轨迹时将假设的取向和角度。然后，在一个或多个示例中，在捕获期间，通过将捕获期间相机的位置、取向和角度与相机的如由提议的捕获路径给出的位置、取向和角度进行比较，可以将在捕获期间由相机的移动形成的(并且通过例如移动设备的加速度计/陀螺仪测量的)实际捕获路径与提议的捕获路径进行比较。然后，在一个或多个示例中，能够向用户指示相机在提议的捕获路径上的位置、角度和/或取向与相机在实际捕获路径上的位置、角度和/或取向之间的偏差或不匹配。在提议的路径的一个或多个部分不匹配实际捕获路径的(对应)部分的情况下，可能发生这种偏差或不匹配。以此方式，能够提高捕获图像的质量。出于该目的，在一个或多个示例中，对用户的指示还能够包括如何校正相机的位置和/或取向和/或角度从而使得提议的捕获路径再次与实际捕获路径相匹配的指示。
例如，显示捕获路径的应用能够在图像捕获期间检测到与移动设备的移动相关联的捕获路径(例如，实际捕获路径)不同于提议的捕获路径。如果应用检测到路径不匹配，则该应用能够向移动设备102提供更新的指示符。更新的指示符可以包括向移动设备的用户指示请求调整的提示、图形、声音或文本。在一些实施方式中，捕获调整模块116能够被配置为执行以下操作中的一项或两项：在图像捕获期间补偿非圆形相机轨迹和/或在图像捕获期间补偿非平行主相机轴。这种校正的附加示例将参照图4至图8详细描述。
在一些实施方式中，捕获调整模块116能够被配置为在捕获后校正图像。例如，在捕获图像后，模块116能够补偿非圆形相机轨迹或扫掠、非平行主(相机)轴、和/或相对于相机轨迹的不正确的观看方向(仅举几个示例)。
拼接模块118可以被配置用于混合(blend)或拼接(stitch)来自若干图像帧的两个或更多个像素列以移除伪像。示例伪像包括由弱曝光(或从图像帧到图像帧的曝光变化)导致的伪像和/或由基于与移动设备相机相关联的姿势的未对准误差导致的伪像。在一些实施方式中，模块118能够混合两个像素列之间的附加内容，以提供图像帧中的缺失内容。在其他实施方式中，模块118能够混合两列之间的附加内容，以便移除图像帧中的伪像。
在一些实施方式中，拼接模块118能够被配置为通过校正在图像捕获期间发生的横滚(lateral roll)移动来调整所捕获的图像以便在3D空间中进行渲染。在一些实施方式中，拼接模块118能够被配置为通过校正在图像捕获期间发生的非共形(non-conformal)相机弧形移动来调整所捕获的图像以便在3D空间中进行渲染。在一些实施方式中，拼接模块118能够被配置为通过校正在图像捕获期间发生的不一致的半径测量(与捕获路径有关)来调整所捕获的图像以便在3D空间中进行渲染。
在一些实施方式中，拼接模块118能够确定哪些列被拼接(例如，混合)在一起。例如，模块118能够分析所捕获的图像数据以确定图像中的至少两个图像之间的至少一个重叠。例如，重叠可以包括来自两个图像的匹配的像素列或像素区域。对于发现的每个重叠，模块118能够选择匹配像素的部分并且将它们组合以便每个部分垂直对准。垂直对准的像素能够被组合以生成3D场景的一个片段。在未检测到重叠的情况下，拼接模块118能够生成将在图像之间混合的附加图像内容。例如，能够在头戴式显示器中渲染所拼接的内容以在VR环境中显示内容。
在一些实施方式中，拼接模块118能够被配置为基于使用移动设备102获得的图像来生成3D立体图像。拼接模块118能够被配置为混合来自多个图像部分的像素和/或图像条纹。在一些实施方式中，混合可能够基于如由图像插值组件确定的流场(未示出)。例如，拼接模块118能够被配置为确定相邻图像中的相关像素之间的流场(和/或流向量)。流场能够用于补偿图像已经经历的变换和补偿处理已经经历变换的图像两者。例如，流场能够用于补偿所捕获的图像的特定像素网格的变换。在一些实施方式中，模块118能够通过对周围图像的插值来生成不是所捕获的图像的一部分的一个或多个图像，并且能够将所生成的图像交织到所捕获的图像中以便为适配于VR环境中的显示的场景生成附加虚拟现实内容。
在一些实施方式中，拼接模块118能够通过调整特定图像来估计光流。该调整能够包括例如纠正图像的部分、确定与图像的部分相关联的所估计的相机姿势、以及确定所述部分中的图像之间的流。在一些实施方式中，拼接模块118接收描绘了用于捕获场景中的图像的对特定捕获路径的多次扫掠的图像。与对捕获路径的多次扫掠相对应的图像能够被拼接在一起以形成场景的3D立体视图。
在对捕获路径的一次或多次扫掠的所捕获的图像没有适当地适配于拼接到准确表示真实世界场景(没有失真或不想要的残余物)的场景中的情况下，本公开中所描述的系统能够对图像进行调整以准确表示真实世界场景。例如，当使用移动设备(诸如移动设备102)时，捕获路径能够根据握持移动设备102的用户如何操纵设备的取向而显著变化。如在上图中能够看出的，捕获路径可以是弧形或表示未被很好约束的捕获路径的扫掠的其他形状。设备旋转、捕获半径改变、滚动、俯仰、或偏转(yaw)改变都能够发生。系统100能够通过在3D空间中渲染内容、选择内容中的特定的光线残余、以及将特定部分拼接在一起来调整一些或全部捕获的图像内容，以提供适当的视差，并且发生光流。
在一些实施方式中，移动设备102能够起到图像处理系统106的作用。例如，在使用设备102捕获的特定图像的组合未提供准确的3D立体场景的情况下，同一设备102能够对这些图像进行处理以提高或校正任何随后生成的3D立体场景的正确性和渲染。具体地，移动设备102能够被配置有用于优化所捕获的图像以提供对在VR环境中呈现的场景的准确渲染的图像处理系统。
优化能够包括将特定图像帧拼接在一起。例如，在捕获图像期间，移动设备102能够确定每个所捕获的图像帧中的哪些像素列能够被拼接在一起。移动设备102能够分析图像帧以确定拼接将在其中提供内聚场景的点/列。对于移动设备102选择用于拼接的每个点/列，设备102能够捕获点/列的放置数据并且能够将适当的点/列共同线性拼接成最终图像。这种优化能够起作用以校正曝光不一致、校正相机未对准/姿势误差、和/或校正缺失图像帧。
一旦适当地调整并且拼接了图像，渲染模块120能够将图像渲染到从虚拟视角提供的看上去真实的场景中。例如，模块120能够对由移动设备捕获的图像的集合进行渲染，并且基于那些图像向例如HMD设备110中的用户提供虚拟现实内容。如图2至图10中所详细描述的，渲染的场景能够基于在对场景的单次圆形扫掠、部分扫掠、多次扫掠中、和/或多个姿势位置处捕获的图像。
本公开中所描述的实施方式能够提供一个或多个优点。例如，本文中所描述的方法和系统能够使用与移动设备上的相机相关联的有限视场、通过将来自场景的多个捕获事件的内容拼接在一起来产生3D全方位立体图像。在一些实施方式中，能够使用具有约90度的垂直视场和/或约90度的水平视场的设备来捕获图像。此外，本文中所描述的系统和方法能够通过引导移动设备102的用户实时(即，在场景捕获期间)调整移动设备102以监视和控制相机路径、取向和相机面向角度来确保场景中的特定内容或角度被正确地捕获。
在示例系统100中，设备106和112可以是膝上型计算机、台式计算机、移动计算设备或游戏控制台。在一些实施方式中，设备106和112能够是能够被放置在和/或以其他方式位于HMD设备110附近或其中的移动计算设备。例如，移动计算设备能够包括能够用作HMD设备110的屏幕的显示设备。设备102、106和112能够包括用于执行VR应用的硬件和/或软件。此外，当设备102、106和112被放置在相对于HMD设备110的一系列位置之前或被握持在其中时，这些设备能够包括能够识别、监视并追踪HMD设备110的3D移动的硬件和/或软件。在一些实施方式中，设备102、106和112能够通过网络104向HMD设备110提供附加内容。在一些实施方式中，设备102、106、110和112能够彼此连接到其中一个或全部/与其中一个或全部接口，通过网络104配对或连接。连接能够是有线的或无线的。网络104能够是公共通信网络或私有通信网络。
系统100可以包括电子存储器。电子存储器能够包括电子地存储信息的非瞬时性存储介质。电子存储器可以被配置为存储所捕获的图像、获得的图像、经预处理的图像、后处理的图像等。使用公开的相机或设备中的任何相机或设备捕获的图像能够被处理并且被存储为一个或多个视频流或被存储为单个帧。在一些实施方式中，能够在捕获期间发生存储，并且能够在捕获图像的部分之后直接发生渲染，以使得与在捕获和处理同时发生的情况相比，能够更快地访问立体图像内容。
图2是描绘捕获全景视图的移动设备的示例的示图。这里，移动设备可以是移动设备102(图1)。在此示例中，用户可以使用机载相机201主动捕获场景200的视图。通常，相机201在设备102的屏幕的相对侧指向远离用户。随着捕获正在发生，场景的部分显示在设备102屏幕上。随着用户跨场景200扫动设备102，屏幕能够被更新为具有新景色。
在所描绘的示例中，用户正在垂直(例如，纵向)取向上握持移动设备102并且正沿着捕获路径202扫动设备102。在一些实施方式中，能够水平(例如，在横向取向上)或沿着180度范围在x-y-z平面中的任何地方握持设备102，以捕获面向与移动设备102相关联的相机的场景。用户能够通过以圆的一部分、半圆或整圆扫动她的手臂或移动她的整个身体来围绕环绕她的身体的圆形路径进行扫掠。用户能够以变化的速度移动移动设备102并且能够在扫掠中间改变速度。
如图2中所示出的，当用户扫动设备102来捕获场景200时，捕获路径202包括指示用户遍历的路径的多个凹陷或凸起。此外，提供提议的路径204，以向用户指示很好对准的路径的示例。捕获路径204被示出为能够用于在同一方向上捕获图像并且贯穿对场景200的扫掠期间倾斜的平滑(例如，连续)圆形路径。
由于用于使用移动设备102来捕获图像的扫掠运动通常是由用户执行的手动操作，所以能够对使用不同于提议的路径204的路径(诸如捕获路径202)捕获的图像做出若干修改。这些修改能够校正以非均匀方式捕获的图像。此外，与水平取向相比，电话的垂直取向可以提供不同视场，并且如此，能够做出附加修改以校正以窄视场捕获的图像。
在非限制性示例中，捕获路径202可以表示为圆形形状空间的圆周，在该圆周内，移动设备102能够在使用机载相机(例如，201)捕获图像的同时围绕路径202进行扫掠。捕获图像可以与使用移动设备102通过对准移动设备102以遍历捕获路径来记录图像内容相对应。
图3是描绘了捕获场景的在视场中的图像的示例移动设备的示图。这里，移动设备可以是移动设备102(图1)。在此示例中，用户可以以特定视场角度302来主动捕获(例如，使用机载相机201)场景的视图。这里所示出的视场角度302为约120度。因为典型移动设备包括可以根据相机规格提供更小或更大视场的机载相机，所以其他视场是可能的。
在所描绘的示例中，用户304正在水平取向(例如，横向取向)上握持移动设备102并且正准备沿着捕获路径(未示出)扫动设备102。如图2中所述示出的，与将设备102握持成垂直的情况相比，在水平取向上握持移动设备102能够允许以更宽的水平相机视场对图像进行捕获。然而，当在横向取向上握持设备时，垂直视场可能更窄。根据场景，能够由设备102上提供捕获建议的应用来建议设备取向。
在非限制性示例中，与移动设备102相关联的视场能够为约100度至约120度。本文中所描述的系统能够补偿以构建接近约180度的视场的图像。例如，系统100能够唤起用户执行对特定捕获路径的多次扫掠以便使用设备102来捕获图像。能够使用拼接模块118来对多次扫掠进行拼接，例如，以提供看起来像是已经使用更大视场捕获的图像。
图4是描绘了用于使用移动设备来捕获图像的示例路径402的示图。例如，这里所示出的捕获路径402可以表示为圆形形状空间的圆周，在该圆周中，移动设备102能够在使用机载相机201捕获图像的同时绕着扫掠。握持移动设备(诸如移动设备102)的用户能够水平握持设备102，其中，设备的底部(即机载相机镜头的底部边缘)握持成90度倾斜并且与由平坦圆形路径402推断的地平面平齐。移动设备102被示出为向外朝向场景，以围绕捕获路径402从零度至360度捕获图像内容。用户404能够水平扫动她的手臂或转动她的身体以沿着所描绘的捕获路径402执行图像捕获。
图5是描绘了用于使用移动设备来捕获图像的另一示例路径的示图。在此示例中，用户在纵向取向上握持移动设备(例如，移动设备102)并且该移动设备包括应用内容502。例如，应用内容502包括用于向用户提供用于校正设备取向、方向或倾斜以在执行对路径402的扫掠时适当地捕获图像的指令的功能。
如图5中所示出的，应用内容502包括图片导航显示器504，该图片导航显示器使用方向箭头506和508来向设备102的用户表示以不同的方式移动、倾斜或引导设备102上的相机。这里，设备102被示出为使用不匹配圆形捕获路径402的捕获路径510。可以在图像扫掠(即，捕获)期间提供应用内容504。在此示例中，移动设备102可能已经接收了使用箭头指示符506和508的图片导航显示器504，该箭头指示符用于提示用户修改设备102的取向和倾斜以更好地将当前捕获路径510与建议的捕获路径402对准。可以在移动设备上的屏幕中在使用移动设备102捕获的图像内容的旁边、附近、其上或透明地(例如，半透明地)在其上提供指示。例如，能够在覆盖在图像内容上半透明指示的合成图像中提供指示。这种配置能够提供以下优点：允许用户查看所捕获的图像内容以及用于改变捕获路径或过程的任何指导指令。
在非限制性示例中，图片显示器504中所示出的指示可以提供与移动设备102的位置角度的移动相对应的陀螺仪测量结果(由设备102取得)的图形例示。在一些实施方式中，图片显示器504可以基于由移动设备102测量的各种其他感测输入来提供应用内容。在非限制性示例中，应用内容502和指示506、508能够包括与将设备102与提议的捕获路径或移动设备的位置角度对准有关的静态或动态图像、图形或文本。移动设备102的位置角度可以用从与移动设备102上的相机镜头的正面正交的平面旋转的度数的测量结果和从与相机镜头的正面平行的平面旋转的度数的测量结果来表示。例如，指示可以提供对准信息并且包括对用户的用于参照与移动设备上102的相机镜头的正面正交的平面将移动设备从约30度的倾斜角度移动到零度倾斜角度的引导。在一些实施方式中，其中以设备102屏幕中的图形表示移动设备102的位置角度，该图形提供相对于地平面512a和捕获平面512b的方位角(通过指示符506和508示出)。通常，以设备102屏幕中的图形表示移动设备的位置角度，该图形示出了提供相对于地平面和与源捕获路径相关联的平面的方位角的半透明图像。在一些实施方式中，半透明图像与上述的合成图像相组合。
在另一非限制性示例中，应用内容502和/或指示506、508可以包括指示用户向上或向下、向左或向右移动移动设备102以维持显示在设备102的具有指示的屏幕中的捕获路径的指示符(诸如闪烁箭头、图标等)。指示符能够例如响应于校正她的特定捕获路径的用户而停止闪烁或消失。其他指示形状和内容是可能的。
在一些实施方式中，移动设备102响应于检测到由用户执行的特定扫掠不足以用于3D图像拼接而提供并且显示应用内容502和/或指示506、508。在这种情况下，移动设备102能够引导用户使用相同取向或不同取向来执行附加扫掠。类似地，移动设备102能够引导用户以不同倾斜角度执行多次扫掠。
通常，能够将指示(例如，506、508)提供在与移动设备102相关联的显示器上。可以在可以覆盖所捕获的图像内容的应用中显示指示。指示可以引导移动设备102的用户在执行附加扫掠的同时以特定位置角度握持设备102。例如，能够使用移动设备的垂直面向与场景相关联的地平面的相机镜头来执行附加扫掠。在一些示例中，附加扫掠能够被引导为使用具有第一路径的圆形(例如，基本上圆形)捕获路径(例如，平行于(例如，基本上平行于)地面)来执行图像捕获并且绕着扫掠来捕获场景，其中，第一路径在位于或靠近用户的向外伸展的手臂(握持移动设备)的水平面处。指示能够引导用户执行对高于或低于此路径的捕获路径的后续扫掠。例如，为了执行附加扫掠，可以在移动设备的屏幕中更新位置角度以引导用户执行对相似或不同捕获路径的特定扫掠来捕获场景的图像。更新的位置角度的示例可以包括将相机镜头从平行于(例如，基本上平行于)地面的捕获路径向后倾斜约四十度角度。更新的位置角度的另一示例可以包括将相机镜头从基本上平行于地面的捕获路径向前倾斜约四十度。组合来自以上扫掠中的每次扫掠的图像内容可以允许系统100生成场景的球形表示。能够使用这种表示来提供3D VR环境中的立体图像。
在一些实施方式中，特定场景的多次扫掠能够由设备102指导，以确保使用与先前扫掠几乎相同的取向但不同的倾斜角度来捕获后续扫掠。例如，这些相似扫掠每个提供能够使用图像中的像素的水平线上的线性拼接缝拼接在一起的单个全方位立体图像/全景图。在多次扫掠发生差异的情况下，能够使用光流技术(如本文中所描述的)来寻找场景的扫掠之间的对应性。能够使用光流来将多次扫掠混合在一起。
在一些实施方式中，移动设备102响应于在捕获期间检测到由移动设备102遍历的场景的扫掠非正交于在设备102的场景中指示的提议的捕获路径、而提供并且显示应用内容502和指示506、508。在此示例中，在用户修改她的捕获路径或设备取向时，移动设备102可以在设备102的屏幕中提供更新的校正指示符或信息。在一些实施方式中，更新的信息可以包括用于调整设备102以匹配捕获路径402的附加提示。在一些实施方式中，更新的信息可以包括旨在引导用户调整设备102的图形、图标、文本指令、声音或附加指示符。例如，移动设备102可以在捕获期间接收设备102的屏幕中的与应用内容502相对应的、以更慢的移动速度或更快的移动速度执行扫掠的指示。在其他实施方式中，当用户将捕获路径调整成移动设备102中配置的特定规格可接受的路径时，可以停止显示屏幕中的应用内容502。
图6是描绘了在捕获图像期间移动设备102的屏幕604中的内容602的示例的示图。这里，移动设备可以是移动设备102(图1)。用户可能正在使用机载相机(例如，相机201)操作移动设备102。在此示例中，用户位于场景的中心并且正扫掠捕获路径来捕获环绕(例如，至少部分地环绕)用户的场景的图像。捕获路径402被示出为具有约10厘米至约35厘米的半径601。在一些实施方式中，半径能够随着沿着捕获路径捕获图像而变化。例如，由于在此示例中用户正在手动操作移动设备，所以半径601可以基于用户的抓握和物理移动而随着用户的扫掠变化自然变化。在此示例中，用户可能正遍历捕获路径606以捕获场景的图像。如所示出的，场景包括树608a和可以由移动设备102上的相机捕获的任何周围的地平线、地面和天空。随着用户扫掠捕获路径来捕获场景，场景的部分被描绘在设备102上。移动设备102被示出为捕获带有树608a的场景的一部分，以使得树608a的图像在显示屏幕604中显示为树608b。此外，在屏幕604上示出了用户的捕获路径606。随着用户围绕捕获路径606用设备102摇摄或扫掠，设备可以检测到用户的路径606不足够准确到提供能够被配置为适当地表示3D立体和全景文本中的场景的图像。也就是说，例如，设备102能够检测到取向、扫掠速度、移动设备角度或其他变量是否将导致场景在3D VR环境中不准确显示。
在某个点处，应用(在设备102上运行)能够在捕获期间沿着捕获路径606检测移动设备102的位置、取向、和/或角度。例如，响应于检测到移动设备102正在扫掠与捕获路径402不匹配的捕获路径，应用能够显示应用内容以提供设备102正在不适当地捕获图像的指示。例如，图6示出了带有圆的符号610和指示“无标志(no-sign)”的反斜杠，这可以通知用户其正在以设备102不期望的方式执行图像捕获。接收符号610的一个示例原因可能是捕获速度违规，其中，用户简单地扫掠围绕场景的捕获路径，这对于用于捕获并处理特定风景的设备102来说太快。
图7是描绘了在图像捕获期间移动设备的屏幕704中的内容702的另一示例的示图。这里，移动设备可以是移动设备102(图1)。用户可能正在使用机载相机来操作移动设备102。在此示例中，用户在遍历捕获路径706以捕获场景的图像的同时正使用在垂直取向上的设备102捕获图像内容。如所示出的，场景包括树708a以及可以由移动设备102上的相机捕获的任何周围的地平线、地面和天空。在用户进行扫掠以捕获场景的部分时，场景被描绘在设备102上。与图6相类似，移动设备102在这里被示出为捕获带有树708a的场景的一部分，这使得树708a的图像在显示屏幕704中显现为树708b。
在某个点处，如在图7中所示出的，设备102能够检测到用户正使用设备102以稍微倾斜的角度捕获内容。移动设备102能够向设备102的用户提供用于校正角度的指示。例如，在设备102的屏幕中示出了指示710。指示710是引导用户向左倾斜设备102的箭头。一旦设备102检测到用户移动对倾斜提供了校正，则能够停止显示指示710。在用户过度校正倾斜的情况下，可以更新指示710以通知用户以不同的方向倾斜设备102来校正捕获取向。设备102能够额外地提供应用内容以帮助用户对准设备来捕获特定内容。例如，移动设备102能够检测到没有跨捕获路径706均匀地捕获场景中的地平线。即，设备102能够确定深度倾斜的设备可能以使图像难以拼接在一起的方式捕获图像。因此，设备102可以提供用于指示用户应该不同地对准移动设备102的指令和/或标记。一个示例标记包括十字线712。例如，十字线712能够被用于帮助用户将设备102与捕获路径402对准。包括全位置网格或地图、纬度和经度坐标、水平/非水平符号、以及其他位置指示符的其他标记是可能的。这些指示符和标记中的每一个能够显示在设备102上，用于捕获图像内容的应用。以此方式，在显示校正机构的同时，能够查看图像内容。
图8是描绘了在图像捕获期间移动设备的屏幕804中的内容802的又一示例的示图。在此示例中，移动设备可以是移动设备102(图1)。用户可能正在使用机载相机来操作移动设备102。在此示例中，用户可能正遍历捕获路径806来捕获场景的图像。移动设备102能够检测到用户正以可能不提供用于生成3D立体内容的可用图像的角度斜置或倾斜设备102。因此，例如，运行在设备102上的应用能够提供能够提示用户改变她的捕获路径的路线的指示符和内容。图8中所示出的指示符包括十字线810内的箭头808、无标志812以及文本指令“向右倾斜”814。每个符号能够向移动设备102的用户指示执行指令。在一些实施方式中，符号指示相同的指令。例如，箭头808和文本指令814都向用户指示她应该向右倾斜移动设备102以校正她的捕获路径或图像捕获过程。
图9是图示了用于捕获图像的过程900的一个实施例的流程图。在各个实施例中，可以由诸如图1和图11中的那些系统使用或产生过程900。
框902示出了在一个实施例中，移动设备能够接收开始捕获图像的指示。例如，用户能够通过选择相机应用来访问被嵌入移动设备102中或移动设备可访问的相机以开始捕获特定场景的图像。捕获场景的图像可以与使用移动设备通过对准移动设备以遍历特定捕获路径来记录图像内容相对应。能够发生围绕捕获路径的直径的变化。
在框904处，移动设备102能够使用相机捕获图像。捕获图像能够包括沿着场景的捕获路径获得圆形扫掠的至少一部分的图像。例如，移动设备102能够在沿着场景的圆形捕获路径执行所记录的扫掠的同时捕获图像。例如，场景的所记录的扫掠能够包括静态图像捕获和/或视频图像捕获，其中，与场景相关联的所捕获的内容被记录并存储在设备102上或远程计算设备处。场景的扫掠可能需要用户以弧形运动的方式来手动地移动移动设备102半圆或整圆以获得场景图像。弧形运动可以对应于使用向外指向风景的移动设备102的围绕用户的头部或身体的扫掠。
在框906处并且在捕获期间，移动设备102能够在设备102上显示图像的表示并且呈现目标(提议的)捕获路径和指示符，该指示符在图像捕获期间提供对应于与移动设备移动相关联的源捕获路径的对准信息。指示符可以包括向移动设备的用户指示请求调整的提示、图形、声音或文本。指示符可以与典型位置或对准协议相关，其包括但不限于全位置网格或地图、纬度和经度坐标、水平/非水平符号、文本位置数据、以及其他位置指示符。
通常，源捕获路径可以表示由移动设备102遍历以沿着源捕获路径捕获场景的多个图像的扫掠运动。因此，源捕获路径在捕获期间可以与移动设备的取向相关联。类似地，源捕获路径还可以与移动设备102的位置角度相关联。目标捕获路径可以表示圆形形状的路径，该路径可以是由设备102或系统100确定的预定义或预选择捕获路径。
在框908处，响应于检测到场景的由移动设备102执行和遍历的扫掠的部分(例如，源捕获路径的部分)与目标捕获路径的部分不匹配，提供对准信息的指示符能够在移动设备102的屏幕中被提供。能够在捕获期间在移动设备102的屏幕中实时提供这种指示符。在一些实施方式中，指示符被提供为合成图像的一部分，或者除了合成图像之外还提供指示符，该合成图像包括目标捕获路径和指示符以及多个所捕获的图像中的一个或多个图像的表示。指示符能够例如包括对移动设备的用户的、调整移动设备以将用户的捕获路径(例如，源捕获路径)的全部或一部分与提议的捕获路径(例如，目标捕获路径)的全部或一部分对准的提示。
在一些实施方式中，过程900能够包括接收移动设备的屏幕中的附加指示符。例如，移动设备102能够在捕获期间接收用于以更慢移动速度执行特定图像捕获的指示。在另一示例中，移动设备102能够接收用于使用更新的位置角度执行场景的附加图像捕获以捕获场景中的附加内容的指示。出于在VR环境中显示场景的目的，更新的位置角度可以提供附加图像内容，以于其中拼接或混合成3D全方位立体场景。例如，如果用户要在垂直(即，纵向)取向上使用移动设备来捕获场景的图像，则与在水平(即，横向)取向上使用设备来捕获的图像相比，可以在捕获的图像中提供附加垂直空间。在此示例中，如果用户将移动设备旋转成远离或朝向圆形捕获路径的圆周，则能够典型地从圆形捕获使用的光线可能不可用。也就是说，如果移动设备102没有被握持成向外面朝着大约与圆形捕获路径相切的场景，则图像可能无法准确地拼接或混合图像来提供具有360度视图的场景的3D全方位立体版。
在一些实施方式中，过程900能够包括捕获图像内容，并且在捕获期间将内容显示在移动设备的屏幕中，同时还在捕获期间在移动设备的屏幕上显示图示图形。图示图形能够例如被呈现在屏幕的半透明覆盖部分中，以向用户呈现被捕获图像的合成和图示图形(或任何其它指示)。图示图形能够被配置为提供目标捕获路径(即，使用所产生的图像为VR环境生成3D全方位立体场景的提议的圆形捕获路径)和提供与源捕获路径相对应的对准信息的指示符。对准信息可以包括表示与移动设备的特定位置角度的移动相对应的陀螺仪测量结果的图示图形。在一些实施方式中，图示图形包括提供用于使与移动设备的移动相关联的源捕获路径与目标捕获路径相匹配的路线的至少一个指示符。
在一些实施方式中，可以基于阈值条件来对特定捕获路径的一部分或全部进行匹配(不匹配)。例如，阈值条件可以包括使源捕获路径与目标路径有围绕目标捕获路径行进的路径的约5％至约10％的不匹配。也就是说，如果设备102检测到5％至10％的由设备102行进的路径已经偏离了多于约5％至10％，则设备102能够显示图示图形或其他校正指示。在另一示例中，阈值条件可以包括使源捕获路径与目标路径有约10％至约25％的不匹配。在另一示例中，阈值条件可以包括使源捕获路径与目标路径有约20％至约40％的不匹配。移动设备102能够包括配置设置，所述配置设置使设备102能够基于百分比阈值、边界阈值水平或百分比、捕获阈值角度(仅举几个示例)来检测与由移动设备102遍历的特定图像捕获路径的偏差。
通常，源捕获路径可以与移动设备102的移动(即，扫掠圆形运动的用户使用移动设备遍历的捕获路径)相关联。例如，响应于检测到移动设备的移动，能够实时动态地更新图示图形。图示图形能够包括多个部分。例如，图示图形能够包括描绘目标捕获路径的第一部分和描绘与移动设备的移动相关联的源捕获路径(上述)的第二部分。第一部分和第二部分可以指示或指导用户遵循特定路线以将第二部分与第一部分对准。在此示例中，第一部分可以是圆的一部分或整个圆，而第二部分可以是与圆的一部分的偏差或与整个圆的偏差。这里，圆可以表示其中由用户遍历移动设备以捕获场景的图像的理想圆形扫掠路径。
图10是图示用于渲染图像的过程1000的一个实施例的流程图。在各个实施例中，可以由诸如图1和图11中的系统使用或产生过程1000。
框1002示出了在一个实施例中，图像处理系统106能够获得使用移动设备捕获的图像。所获得的图像可以包括围绕360度圆从多个点捕获的内容。该圆可以表示其中移动设备被配置为进行扫掠以获得图像的捕获路径。在一个示例中，360度圆可以表示具有从约10厘米到约75厘米的直径范围的可变捕获路径。在捕获路径具有约10厘米的直径的情况下，能够以约90度的水平视场来获得所获得的图像。
在一些实施方式中，所获得的图像可以包括特定场景的多个连续图像帧。在其他实施方式中，所获得的图像可以包括多个不邻接或非连续的图像帧。在又另一实施方式中，所获得的图像可以包括连续图像集和非连续图像集的组合。
在非限制性示例中，所获得的图像可以包括围绕圆的表示从零度到25度的场景的图像集、表示从30度至300度的场景的图像集、以及表示从310度到349度的场景的另一图像集。这些图像集能够由系统106用于生成360度立体3D场景。生成360度立体3D场景能够包括调整多个图像以拼接或混合图像集。
在框1004处，系统106能够调整所获得的图像(或图像集)以便在3D空间中进行渲染。3D空间可以被表示为VR环境中的空间。调整所获得的图像能够包括在框1006处确定图像中的至少两个图像之间的至少一个重叠。该重叠可以包括所述至少两个图像中的像素之间的匹配。例如，系统106能够分析图像集中的图像帧内的像素列并且确定第一像素列中的图像内容是否匹配第二像素列中的图像内容。如果发现了重叠，则系统106能够在框1008处针对每个重叠选择包括在重叠中的像素的一部分。能够在框1010处对与重叠相对应的所选像素部分进行组合，以便像素的每个部分垂直对准以生成场景的片段。
响应于确定所述至少两个图像之间没有重叠，在框1012处，系统106能够生成将在所述至少两个图像之间混合的附加图像内容。然后，系统106能够组合附加图像内容以更新片段。组合附加图像内容可以包括混合来自两个或更多个图像的列以移除图像中的伪像。伪像可以包括但不限于至少部分地基于与捕获相关联的姿势的未对准误差。在一些实施方式中，过程1000还能够包括用于通过校正(i)在捕获时发生的横滚移动、(ii)在捕获时发生的非共形相机弧形移动、或(iii)在捕获时发生的不一致半径测量来对图像进行调整以便在3D空间中进行渲染的步骤。
在框1014处，系统106能够提供对片段的更新以便在VR环境中使用的头戴式显示器中进行渲染和显示。
图11示出了可以与本文中所描述的技术一起使用的通用计算机设备1100和通用移动计算机设备1150的示例。计算设备1100旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片式服务器(blade server)、大型机、及其他适当的计算机。计算设备1150旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话、和其他类似的计算设备。此处所示出的组件、其连接和关系、以及其功能意在仅为示例性的，并且不意在限制在本文档中所描述和/或要求保护的本发明的实施方式。
计算设备1100包括处理器1102、存储器1104、存储设备1106、连接到存储器1104和高速扩展端口1110的高速接口1108、以及连接到低速总线1114和存储设备1106的低速接口1112。组件1102、1104、1106、1108、1110和1112中的每个组件使用各种总线互连，并且可以安装在公共母板上或视情况以其他方式安装。处理器1102能够处理用于在计算设备1100内执行的指令，该指令包括被存储在存储器1104中或存储设备1106上、用于在外部输入/输出设备(诸如耦合至高速接口1108的显示器1116)上显示用于GUI的图形信息的指令。在其他实施方式中，可以视情况使用多个处理器和/或多个总线、以及多个存储器和存储器类型。并且，可连接多个计算设备1100，其中，每个设备提供必要操作的部分(例如，作为服务器库、刀片服务器组或多处理器系统)。
存储器1104存储在计算设备1100内的信息。在一个实施方式中，存储器1104是一个或多个易失性存储器单元。在另一实施方式中，存储器1104是一个或多个非易失性存储器单元。存储器1104还可以为另一种形式的计算机可读介质(诸如磁盘或光盘)。
存储设备1106能够为计算设备1100提供大容量存储。在一个实施方式中，存储设备1106可以是或包含计算机可读介质(诸如软盘设备、硬盘设备、光盘设备或磁带设备、快闪存储器或其他相似的固态存储器设备、或设备(包括在存储区域网络或其他配置中的设备)阵列)。能够在信息载体中有形地实现计算机程序产品。计算机程序产品还可以包含在被执行时执行一种或者多种方法(如上述方法)的指令。信息载体为计算机可读介质或机器可读介质(如存储器1104、存储设备1106或在处理器上存储器1102)。
高速控制器1108管理计算设备1100的带宽密集(bandwidth-intensive)操作，而低速控制器1112管理更低的带宽密集操作。这种功能分配仅仅是示例性的。在一个实施方式中，高速控制器1108(例如，通过图形处理器或加速器)耦合到存储器1104、显示器1116，且耦合到可以接受各种扩展卡(未示出)的高速扩展端口1110。在该实施方式中，低速控制器1112耦合到存储设备1106及低速扩展端口1114。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备(诸如键盘、指向设备、扫描仪)或联网设备(如交换机或路由器)。
如图中所示出的，可以以多个不同形式来实施计算设备1100。例如，其可以被实施为标准服务器1120，或者被多次实施在这种服务器组中。其还可以被实施为机架服务器系统1124的一部分。另外，其可在个人计算机(诸如膝上型计算机1122)中实施。可替代地，来自计算设备1100的组件可以与诸如设备1150的移动设备(未示出)中的其他组件组合。这种设备中的每个设备可以包含计算设备1100、1150中的一个或者多个计算设备，并且整个系统可以由彼此通信的多个计算设备1100、1150构成。
除其他组件外，计算设备1150包括处理器1152、存储器1164、诸如显示器1154的输入/输出设备、通信接口1166和收发器1168。设备1150还可以设置有用于提供附加存储的存储设备(诸如微驱动)或其他设备。组件1150、1152、1164、1154、1166及1168中的每个组件使用各种总线互连，并且组件中的若干组件可以被安装在公共母板上或者视情况以其他方式安装。
处理器1152能够在计算设备1150内执行指令，该指令包括存储在存储器1164中的指令。处理器可以实施为包括单独的而且是多个模拟和数字处理器的芯片的芯片集。处理器可以提供例如对设备1150的其他组件的协调(诸如对用户界面、由设备1150运行的应用和设备1150的无线通信的控制)。
处理器1152可以通过控制接口1158和耦合到显示器1154的显示接口1156与用户通信。显示器1154可以为例如TFT LCD(Thin-Film-Transistor Liquid Crystal Display，薄膜晶体管液晶显示器)或OLED(Organic Light Emitting Diode，有机发光二极管)显示器或其他适当的显示技术。显示器接口1156可以包括用于驱动显示器1154以向用户呈现图形和其他信息的适当电路系统。控制接口1158可接收来自用户的命令且对其进行转换以便提交给处理器1152。此外，可以提供与处理器1152通信的外部接口1162，以便实现设备1150与其他设备的近区域通信。外部接口1162可以例如在一些实施方式中提供有线通信或者其他实现方式中提供无线通信，并且还可以使用多个接口。
存储器1164存储在计算设备1150内的信息。存储器1164能够被实施为计算机可读介质、易失性存储器单元、或非易失性存储器单元中的一个或多个。还可以提供扩展存储器1174并且该扩展存储器可以通过扩展接口1172(其可以包括例如SIMM(Single In LineMemory Module，单列直插式存储器模块)卡接口)连接到设备1150。这种扩展存储器1174可以为设备1150提供附加存储空间或还可以为设备1150存储应用程序或其他信息。具体地，扩展存储器1174可以包括用以执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1174可以被提供为用于设备1150的安全模块，并且可以使用允许安全使用设备1150的指令对扩展存储器1174进行编程。此外，可以经由SIMM卡将安全应用与附加信息一起提供(诸如以不可攻击方式将标识信息放置于SIMM卡上)。
如下文所讨论的，存储器可以包括例如快闪存储器和/或NVRAM存储器。在一个实施方式中，在信息载体中有形地体现计算机程序产品。计算机程序产品包含在被执行时执行一种或者多种方法(如上述方法)的指令。信息载体为可在例如收发器1168或外部接口1162上接收的计算机可读介质或者机器可读介质(诸如存储器1164、扩展存储器1174或处理器1152上的存储器)。
设备1150可以通过可以在必要时包括数字信号处理电路系统的通信接口1166无线地通信。除其他模式或协议之外，通信接口1166可以在各种模式或协议(诸如GSM语音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA2000、或GPRS)下提供通信。可以例如通过射频收发器1168发生这种通信。此外，可以诸如使用蓝牙、WiFi或者其他这样的收发器(未示出)来发生短距离通信。此外，GPS(Global Positioning System，全球定位系统)接收器模块1170可以向设备1150提供附加的与导航和位置有关的无线数据，该数据可以视情况由在设备1150上运行的应用使用。
设备1150还可以使用音频编解码器1160来可听地通信，该音频编解码器可以从用户接收口头信息并且将其转换成可用数字信息。音频编解码器1160可以类似地诸如通过例如在设备1150的听筒中的扬声器中生成用于用户的可听声音。此类声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1150上运行的应用生成的声音。
如图中所示出的，可以以多个不同形式来实施计算设备1150。例如，可将其实施为蜂窝式电话1180。其还可以被实施为智能电话1182、个人数字助理、或其他类似移动设备的一部分。
可以在数字电子电路系统、集成电路系统、专门设计的ASIC(applicationspecific integrated circuit，专用集成电路)、计算机硬件、固件、软件、和/或其组合中实现这里所描述的系统和技术的各种实施方式。这些各种实施方式能够包括一个或多个计算机程序中的实施方式，其在包括至少一个可编程处理器的可编程系统上可执行和/或可解释，所述至少一个可编程处理器(其可以是专用或通用的)被耦合成从存储系统、至少一个输入设备以及至少一个输出设备接收数据和指令并向其发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够用高级过程和/或面向对象的编程语言和/或用汇编/机器语言来实施。如在这里所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，在这里所描述的系统和技术能够在具有用于向用户显示信息的显示设备(例如，CRT(cathode ray tube，阴极射线管)或LCD(liquid crystaldisplay，液晶显示器)监视器)及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)的计算机上实施。也能够使用其它种类的设备来提供与用户的交互。例如，提供给用户的反馈能够是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且能够以任何形式接收来自用户的输入，包括声音、语音、或触觉输入。
可以在计算系统中实施这里所描述的系统和技术，该计算系统包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有用户可以通过其来与这里所描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)或这样的后端、中间件或者前端组件的任何组合。系统的组件能够通过数字数据通信(例如，通信网络)的任何形式或介质来进行互连。通信网络的示例包括局域网(local area network，“LAN”)、广域网(wide area network，“WAN”)以及互联网。
计算机系统能够包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络交互。客户端与服务器的关系依靠在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。
已经描述了多个实施例。然而，将理解的是，可以在不背离本发明的精神及范畴的情况下做出各种修改。例如，以下每项权利要求和上述这种权利要求书的示例可以以任何方式组合以产生附加示例实施例。
此外，图中所描绘的逻辑流程无需所示出的特定顺序或者依次顺序以实现期望的结果。此外，可以提供其他步骤或者可以从所描述的流程中去掉步骤，并且可以向所描述的系统添加或者从所描述的系统去除其他组件。因此，其他实施例在以下权利要求的范围内。

Claims (20)

1.一种计算机实现的方法，包括：
在移动设备处接收捕获场景的多个图像的指示；
使用与所述移动设备相关联的相机捕获多个图像；
在所述移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，所述指示符在捕获多个图像期间提供对应于与所述移动设备相关联的源捕获路径的对准信息；以及
响应于在捕获期间检测到所述源捕获路径的一部分与所述目标捕获路径的一部分不匹配，所述匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，所述更新的指示符包括对所述移动设备的用户的提示，以调整所述移动设备将所述源捕获路径与所述目标捕获路径对准。
2.如权利要求1所述的方法，其中，所述源捕获路径包括由所述移动设备遍历以捕获场景的多个图像的扫掠运动，所述源捕获路径与所述移动设备的取向和位置角度相关联。
3.如权利要求1所述的方法，其中，所述目标捕获路径包括圆形形状路径并且捕获多个图像对应于用移动设备通过对准所述移动设备以遍历具有10厘米至75厘米直径的目标捕获路径来记录图像内容。
4.如权利要求1所述的方法，其中，所述对准信息包括陀螺仪测量结果的图形表示，所述陀螺仪测量结果对应于与所述移动设备的取向和位置角度相关联的移动。
5.如权利要求4所述的方法，其中，所述移动设备的位置角度表示为提供相对于地平面和与所述源捕获路径相关联的平面的方位角的半透明图像中的图形，并且其中所述半透明图像与合成图像组合。
6.如权利要求4所述的方法，其中，所述移动设备的位置角度包括从与所述移动设备上的相机镜头的正面正交的平面旋转的度数的测量结果以及从平行于相机镜头的正面的平面旋转的度数的测量结果。
7.如权利要求1所述的方法，还包括：在捕获期间，接收屏幕中用于以更慢的速度捕获图像指示。
8.如权利要求1所述的方法，还包括：接收屏幕中用于使用更新的位置角度执行对所述场景的附加图像捕获以捕获所述场景中的附加图像内容的指示。
9.如权利要求8所述的方法，其中，屏幕中的指示引导所述移动设备的用户在执行附加图像捕获的同时以所述更新的位置角度握持所述移动设备；并且
其中，用所述移动设备的垂直面向与所述场景相关联的地平面的相机镜头来执行附加图像捕获，并且所述更新的位置角度包括(i)所述相机镜头的四十度向后倾斜或者(ii)所述相机镜头的四十度向前倾斜。
10.一种非暂时性机器可读介质，其具有存储在其上的指令，所述指令在由处理器执行时使得计算设备：
在移动设备处接收捕获场景的多个图像的指示；
使用与所述移动设备相关联的相机捕获多个图像；
在所述移动设备的屏幕上并且在捕获多个图像期间显示多个图像的表示，并在屏幕中呈现包括目标捕获路径和指示符的合成图像，所述指示符在捕获多个图像期间提供对应于与所述移动设备相关联的源捕获路径的对准信息；以及
响应于在捕获期间检测到所述源捕获路径的一部分与所述目标捕获路径的一部分不匹配，所述匹配至少部分地基于阈值条件，在屏幕中提供更新的指示符，所述更新的指示符包括对所述移动设备的用户的提示，以调整所述移动设备将所述源捕获路径与所述目标捕获路径对准。
11.如权利要求10所述的非暂时性机器可读介质，其中，所述源捕获路径包括由所述移动设备遍历以捕获场景的多个图像的扫掠运动，所述源捕获路径与所述移动设备的取向和位置角度相关联。
12.如权利要求10所述的非暂时性机器可读介质，其中，所述对准信息包括陀螺仪测量结果的图形表示，所述陀螺仪测量结果对应于与所述移动设备的取向和位置角度相关联的移动。
13.如权利要求10所述的非暂时性机器可读介质，还包括：接收屏幕中用于使用更新的位置角度执行对所述场景的附加图像捕获以捕获所述场景中的附加图像内容的指示。
14.如权利要求13所述的非暂时性机器可读介质，其中，屏幕中的指示引导所述移动设备的用户在执行附加图像捕获的同时以所述更新的位置角度握持所述移动设备；并且
其中，用所述移动设备的垂直面向与所述场景相关联的地平面的相机镜头来执行附加图像捕获，并且所述更新的位置角度包括(i)所述相机镜头的四十度向后倾斜或者(ii)所述相机镜头的四十度向前倾斜。
15.一种用于生成全方位立体图像的系统，包括：
至少一个处理器；
存储指令的存储器，当所述指令由至少一个处理器执行时，使得系统执行以下操作，包括：
捕获图像内容，所述内容在捕获期间显示在移动设备的屏幕中；
在捕获期间，在所述移动设备的屏幕上显示图示图形，所述图形被配置为提供目标捕获路径和指示符，所述指示符提供对应于与所述移动设备的移动相关联的源捕获路径的对准信息；并且
响应于在图像捕获期间检测到与所述移动设备的移动相关联的源捕获路径不同于目标捕获路径，在屏幕中提供更新的指示符，所述更新的指示符包括对所述用户移动设备的用户的提示，以调整所述移动设备使所述源捕获路径与所述目标捕获路径相匹配。
16.如权利要求15所述的系统，其中，所述图示图形响应于检测到所述移动设备的移动而进行实时动态地更新。
17.如权利要求15所述的系统，其中，所述图示图形包括描绘所述目标捕获路径的第一部分和描绘与所述移动设备的移动相关联的源捕获路径的第二部分，第一部分和第二部分指示将第二部分与第一部分对准的路线。
18.如权利要求17所述的系统，其中，第一部分描绘圆，并且第二部分描绘与所述圆的偏差。
19.如权利要求15所述的系统，其中，所述对准信息包括陀螺仪测量结果的图示图形，所述陀螺仪测量结果对应于所述移动设备的位置角度的移动。
20.如权利要求15所述的系统，其中，所述图示图形包括至少一个指示符，所述指示符提供使与所述移动设备的移动相关联的源捕获路径与所述目标捕获路径相匹配的路线。
CN201810915800.4A 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获 Pending CN109035128A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/721,612 2015-05-26
US14/721,612 US9813621B2 (en) 2015-05-26 2015-05-26 Omnistereo capture for mobile devices
CN201680020085.7A CN107466474B (zh) 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680020085.7A Division CN107466474B (zh) 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获

Publications (1)

Publication Number Publication Date
CN109035128A true CN109035128A (zh) 2018-12-18

Family

ID=56108727

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810915800.4A Pending CN109035128A (zh) 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获
CN201680020085.7A Active CN107466474B (zh) 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680020085.7A Active CN107466474B (zh) 2015-05-26 2016-05-26 针对移动设备的全方位立体捕获

Country Status (6)

Country Link
US (2) US9813621B2 (zh)
EP (2) EP3304883B1 (zh)
JP (2) JP6351870B1 (zh)
KR (2) KR102217204B1 (zh)
CN (2) CN109035128A (zh)
WO (1) WO2016191554A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) * 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
EP3229872B1 (en) 2014-12-12 2019-01-30 SHL Medical AG Dose setting mechanism and medicament delivery device comprising the dose setting mechanism
US9813621B2 (en) 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US10491806B2 (en) * 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
TWI547177B (zh) * 2015-08-11 2016-08-21 晶睿通訊股份有限公司 視角切換方法及其攝影機
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3351015B1 (en) 2015-09-17 2019-04-17 Sonos, Inc. Facilitating calibration of an audio playback device
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
WO2017161192A1 (en) * 2016-03-16 2017-09-21 Nils Forsblom Immersive virtual experience using a mobile communication device
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
KR20180012064A (ko) * 2016-07-26 2018-02-05 엘지전자 주식회사 디스플레이 장치
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10210380B2 (en) 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10217009B2 (en) * 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10665024B2 (en) * 2016-12-12 2020-05-26 Fyusion, Inc. Providing recording guidance in generating a multi-view interactive digital media representation
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) * 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
CN108449546B (zh) * 2018-04-04 2020-03-31 维沃移动通信有限公司 一种拍照方法及移动终端
CN111742550A (zh) * 2018-04-27 2020-10-02 深圳市柔宇科技股份有限公司 一种3d影像拍摄方法、3d拍摄设备及存储介质
US10587807B2 (en) * 2018-05-18 2020-03-10 Gopro, Inc. Systems and methods for stabilizing videos
EP3807854B1 (en) * 2018-06-15 2023-02-22 Google LLC Smart-home device placement and installation using augmented-reality visualizations
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10432864B1 (en) 2018-09-19 2019-10-01 Gopro, Inc. Systems and methods for stabilizing videos
WO2020072267A1 (en) * 2018-10-05 2020-04-09 Google Llc Scale-down capture preview for a panorama capture user interface
KR101990252B1 (ko) * 2018-10-26 2019-06-19 주식회사 비포유플랫폼 Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
US10602062B1 (en) * 2018-12-20 2020-03-24 3I Corporation System and method for generating 360° video including advertisement
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
CN109934772B (zh) 2019-03-11 2023-10-27 影石创新科技股份有限公司 一种图像融合方法、装置及便携式终端
US11024079B1 (en) 2019-03-11 2021-06-01 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths and photogrammetry
US10706624B1 (en) 2019-03-11 2020-07-07 Amazon Technologies, Inc. Three-dimensional room model generation using panorama paths with augmented reality guidance
US10937247B1 (en) 2019-03-11 2021-03-02 Amazon Technologies, Inc. Three-dimensional room model generation using ring paths and photogrammetry
US10645275B1 (en) 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process with augmented reality guidance
US10643344B1 (en) 2019-03-11 2020-05-05 Amazon Technologies, Inc. Three-dimensional room measurement process
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN110658674B (zh) * 2019-09-16 2022-09-09 忆备缩微科技(北京)有限公司 一种将电子文件输出至缩微胶片上的方法及装置
CN110906830B (zh) * 2019-12-17 2022-02-11 美国西北仪器公司 智能测距轮系统及其测距方法
US11417050B2 (en) * 2019-12-19 2022-08-16 Jvckenwood Corporation Image adjustment device, virtual reality image display system, and image adjustment method
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
CN111464749B (zh) * 2020-05-07 2021-05-25 广州酷狗计算机科技有限公司 进行图像合成的方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081455A (zh) * 2010-11-29 2013-05-01 数字光学欧洲有限公司 从手持设备所捕获的多个图像进行肖像图像合成
CN103733617A (zh) * 2011-08-12 2014-04-16 高通股份有限公司 用以捕获立体图像对的系统和方法
CN103907340A (zh) * 2011-11-07 2014-07-02 索尼电脑娱乐公司 图像生成装置和图像生成方法
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
US20140267618A1 (en) * 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery
CN104364712A (zh) * 2012-06-08 2015-02-18 苹果公司 用于捕获全景图像的方法和装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JPH11352568A (ja) * 1998-06-11 1999-12-24 Casio Comput Co Ltd カメラ及びその制御方法
JP2000032379A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 電子カメラ
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US8024144B2 (en) * 2005-09-12 2011-09-20 Trimble Jena Gmbh Surveying instrument and method of providing survey data of a target region using a surveying instrument
JP5039922B2 (ja) * 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
JP2010124088A (ja) * 2008-11-18 2010-06-03 Panasonic Corp 撮像装置
JP5464955B2 (ja) * 2009-09-29 2014-04-09 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011142483A (ja) * 2010-01-07 2011-07-21 Panasonic Corp 画像生成手法および画像生成装置
JP5390707B2 (ja) * 2010-06-24 2014-01-15 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5510238B2 (ja) * 2010-09-22 2014-06-04 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012099917A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 撮像装置
KR101777354B1 (ko) * 2011-06-20 2017-09-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP5996169B2 (ja) * 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
CN104145474A (zh) * 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
US20150124047A1 (en) 2012-07-20 2015-05-07 Google Inc. Panoramic video acquisition guidance
US8965121B2 (en) * 2012-10-04 2015-02-24 3Dmedia Corporation Image color matching and equalization devices and related methods
US20140156416A1 (en) * 2012-12-03 2014-06-05 Google Inc. Previewing, approving and testing online content
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
US20150156416A1 (en) * 2013-03-14 2015-06-04 Google Inc. Systems and Methods for Updating Panoramic Images
US9407469B2 (en) * 2013-03-14 2016-08-02 Lattice Semiconductor Corporation Driving data of multiple protocols through a single set of pins
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9551461B2 (en) * 2013-07-11 2017-01-24 Boyer, Inc. CNG/LNG filling station
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
KR102089614B1 (ko) 2013-08-28 2020-04-14 삼성전자주식회사 구면 파노라마 이미지 촬영 방법 및 그 전자 장치
KR102120764B1 (ko) * 2013-09-16 2020-06-09 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US20160065842A1 (en) * 2014-09-02 2016-03-03 Honeywell International Inc. Visual data capture feedback
US9813621B2 (en) 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081455A (zh) * 2010-11-29 2013-05-01 数字光学欧洲有限公司 从手持设备所捕获的多个图像进行肖像图像合成
CN103733617A (zh) * 2011-08-12 2014-04-16 高通股份有限公司 用以捕获立体图像对的系统和方法
CN103907340A (zh) * 2011-11-07 2014-07-02 索尼电脑娱乐公司 图像生成装置和图像生成方法
CN104040576A (zh) * 2011-12-14 2014-09-10 电子湾有限公司 物理对象的多角度成像
CN104364712A (zh) * 2012-06-08 2015-02-18 苹果公司 用于捕获全景图像的方法和装置
US20140267618A1 (en) * 2013-03-15 2014-09-18 Google Inc. Capturing and Refocusing Imagery

Also Published As

Publication number Publication date
KR102217204B1 (ko) 2021-02-18
KR101899531B1 (ko) 2018-09-17
US20160353018A1 (en) 2016-12-01
CN107466474B (zh) 2019-07-26
US10334165B2 (en) 2019-06-25
JP6704014B2 (ja) 2020-06-03
US9813621B2 (en) 2017-11-07
EP3304883A1 (en) 2018-04-11
JP6351870B1 (ja) 2018-07-04
KR20180006368A (ko) 2018-01-17
KR20180099935A (ko) 2018-09-05
JP2018160917A (ja) 2018-10-11
JP2018524830A (ja) 2018-08-30
CN107466474A (zh) 2017-12-12
EP3304883B1 (en) 2020-10-28
EP3413556A1 (en) 2018-12-12
WO2016191554A1 (en) 2016-12-01
US20180048816A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107466474B (zh) 针对移动设备的全方位立体捕获
US11721076B2 (en) System for mixing or compositing in real-time, computer generated 3D objects and a video feed from a film camera
US10165179B2 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
US20210120191A1 (en) System and method for acquiring virtual and augmented reality scenes by a user
CN107431796A (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
CN107646126B (zh) 用于移动设备的相机姿态估计
US9277122B1 (en) System and method for removing camera rotation from a panoramic video
US9723203B1 (en) Method, system, and computer program product for providing a target user interface for capturing panoramic images
US6930685B1 (en) Image processing method and apparatus
US20160295108A1 (en) System and method for panoramic imaging
CN107637060A (zh) 相机装备和立体图像捕获
US20110085017A1 (en) Video Conference
CN106461391A (zh) 测量系统
TW200825984A (en) Modeling and texturing digital surface models in a mapping application
US9683833B2 (en) Surveying apparatus having a range camera
WO2018035347A1 (en) Multi-tier camera rig for stereoscopic image capture
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
JP5622180B2 (ja) 撮像装置、撮像制御方法及びプログラム
CN117308939A (zh) Ar导航方法、终端、存储介质
CN116320761A (zh) 图像采集方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.