CN105659592A - 用于三维视频的相机系统 - Google Patents

用于三维视频的相机系统 Download PDF

Info

Publication number
CN105659592A
CN105659592A CN201580001945.8A CN201580001945A CN105659592A CN 105659592 A CN105659592 A CN 105659592A CN 201580001945 A CN201580001945 A CN 201580001945A CN 105659592 A CN105659592 A CN 105659592A
Authority
CN
China
Prior art keywords
camera
image
particular embodiment
pair
magazine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580001945.8A
Other languages
English (en)
Inventor
S.萨迪
S.珀迪塞斯-冈萨雷斯
R.布迪拉加
B.D.李
A.M.克瓦加
P.米斯特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105659592A publication Critical patent/CN105659592A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

在一个实施例中，一种装置，包括处理器和多对相机，其中，第一对相机中的每个相机通过第二对相机中的一个相机彼此分离。第一对相机中的每个相机具有第一定向，并且第二对相机中的每个相机具有与第一定向不同的第二定向。

Description

用于三维视频的相机系统
技术领域
本公开一般地涉及三维影像(imagery)。
背景技术
人脑基于双眼之间的图像的差别来感知三维(3-D)图像。通过使用从稍微不同的角度获得的同一场景的两个图像，可以通过高精确度来三角测量距对象的距离。每只眼睛观看左眼和右眼所看见的稍微不同角度的对象。使用3-D影像允许观看者沉浸在另一环境中，并且在一些情况下允许观看者从不同的有利位置观看事件(例如比如体育赛事或音乐会)。
一些图像捕获系统基于捕获立体2-D图像。作为示例，可以使用采用一对空间分离平行相机所捕获的2-D图像来构造3-D图像。作为另一示例，当捕获立体图像中的第二个时，单个相机可以在物理上移动以创建空间偏移。在很多情况下，图像捕获系统受限于在所限定的角度内捕获3-D影像。
3-D显示器一般通过将两个偏移图像分离地呈现给观看者的左眼和右眼来提供对2-D图像的深度感知。这些2-D图像然后得以在大脑中组合，以给出3-D深度感知。显示“偏移式”2-D图像以提供深度感知的其它示例方法包括：使用色度相反滤光器(例如红色和青色)、不同的偏振、或观看者的眼睛上镜片的快门开合。
发明内容
问题的解决方案
一种装置，包括处理器；以及多个对相机，其中：第一对相机中的每个相机通过第二对相机中的一个相机彼此分离；所述第一对相机中的每个相机具有第一定向；以及所述第二对相机中的每个相机具有与所述第一定向不同的第二定向。
附图说明
图1示出示例3-D影像系统架构。
图2示出示例相机的立体对。
图3示出相机系统的示例相机配置的部分平面图。
图4示出示例相机系统的平面图。
图5示出相机系统的相机所捕获的示例图像集合。
图6示出示例相机系统的侧视图。
图7示出相机系统的相机所捕获的示例重叠图像集合。
图8示出用于拼接离散图像的示例方法。
图9和10示出用于拼接离散图像的其它示例方法。
图11示出图像的示例分区。
图12示出图像的示例特征点匹配。
图13示出示例顶部图像和示例主拼接图像。
图14示出在处理之后来自图13的示例顶部图像。
图15和16示出用于拼接离散图像的示例方法。
图17示出包括各种视频数据分量的内容容器。
图18示出被配置为将内容容器作为合成流进行广播的内容服务器。
图19示出涉及非随附流的直接传输的示例传输方案。
图20-22每个示出用于传输视频流的示例居间方案。
图23示出分片流集合。
图24示出用于传输视频流的示例交互方案。
图25示出用于发送3-D360°视频的示例方法。
图26示出使用摄影测量法基于混合拼接的示例重构处理。
图27示出用于重构3-D360°视频的示例方法。
图28示出用于重构3-D360°视频的另一示例方法。
图29示出在失真操作应用于图像之前以及之后的示例单眼图像集合。
图30-31示出示例360°立体3-D环境。
图32示出用于与3-D视频进行交互的示例方法。
图33示出示例头戴式客户机计算设备的框图。
图34示出在穿戴示例头戴式客户机计算设备的同时站在房间中的用户。
图35示出在穿戴头戴式客户机计算设备的同时用户所观看到的示例场景。
图36示出具有示例通知的图35的示例场景。
图37示出具有在场景上叠加的人的图35的示例场景。
图38示出具有在场景上叠加的狗的图35的示例场景。
图39示出划分为两个示例视图的示例显示。
图40示出具有在场景上叠加的桌子的图35的示例场景。
图41示出具有在场景上叠加的弯曲箭头的图35的示例场景。
图42示出具有示例示意性地图的图35的示例场景。
图43示出具有示例鸟瞰图的图35的示例场景。
图44示出示例计算机系统。
具体实施方式
一种装置，包括处理器；以及多对相机，其中：第一对相机中的每个相机通过第二对相机中的一个相机彼此分离；该第一对相机中的每个相机具有第一定向；以及该第二对相机中的每个相机具有与该第一定向不同的第二定向。
每对相机中的相机彼此分离在6cm和11cm之间的范围中的距离。
该装置还包括第三对相机，其具有第三定向，其中，该第一对相机中的每个相机进一步通过该第三对相机中的至少一个相机彼此分离，并且其中，该第三定向与该第一定向和第二定向不同。
各对相机中的每一个位于平面中。
该装置还包括顶部相机，其具有与各对相机中的每一个的平面近似正交的定向。
第一定向与第二定向之间的角度近似360°除以相机的对数。
每对相机包括左边相机和右边相机；每个相机具有关联水平视场；以及第一对相机和第二对相机中的右边相机的水平视场的重叠处于10％至30％之间的范围中。
第二对相机中的右边相机与第一对相机中的左边相机相邻，其中，第二对相机中的右边相机的水平视场的中心与第一对相机中的左边相机的水平视场的中心相交，其中，第三对相机中的左边相机与第一对相机中的右边相机相邻，并且其中，第三对相机中的左边相机的水平视场的中心与第一对相机中的右边相机的水平视场相交。
该装置还包括第三对相机，其具有第三定向，其中，第一对相机中的每个相机进一步通过第三对相机中的左边相机彼此分离，并且其中，第三定向与第一定向和第二定向不同。
每个相机具有在140°至大于180°之间的范围中的关联垂直视场。
每个相机被配置为捕获具有宽高比的图像，从而该图像的垂直限度大于该图像的水平限度。
该装置还包括深度传感器，其基于结构化光扫描技术而感测距离。
该装置还包括红外相机。
该处理器被配置为控制该相机的参数，其中，该参数包括亮度、对比度、增益、曝光、白平衡或饱和度。
该处理器被配置为执行该相机所捕获的图像的校正，其中，该校正包括全景调平(leveling)、虚化(vignette)校正、镜头失真校正、白平衡校正、曝光校正或视点调整。
该装置还包括机械校准结构。
该装置还包括光投影仪或光发射机。
第二对相机中的一个相机的视场的中心与第一对相机中的至少一个相机的视场的中心相交。
一种方法，包括：由多对相机中的每个相机同时捕获图像；通过第二对相机中的一个相机将第一对相机中的每个相机彼此分离；对第一对相机中的每个相机进行第一定向；以及对第二对相机中的每个相机进行第二定向，其中，第二定向与第一定向不同。
每对相机中的相机彼此分离在6cm和11cm之间的范围中的距离。
第三对相机中的每个相机具有第三定向，其中，第一对相机中的每个相机进一步通过第三对相机中的至少一个相机彼此分离，并且其中，第三定向与第一定向和第二定向不同。
各对相机中的每一个位于平面中。
每对相机包括左边相机和右边相机；每个相机具有关联水平视场；以及第一对相机和第二对相机中的右边相机的水平视场的重叠处于10％至30％之间的范围中。
第二对相机中的一个相机的视场的中心与第一对相机中的至少一个相机的视场的中心相交。
一种装置，包括：包含指令的一个或多个非瞬时计算机可读存储介质；以及一个或多个处理器，耦接到该介质并且被配置为执行指令以：对多对相机中的每一个进行定向，从而：第一对相机中的每个相机具有第一定向；以及第二对相机中的每个相机具有与第一定向不同的第二定向，其中，第一对相机中的每个相机通过第二对相机中的一个相机彼此分离；以及通过该多对相机中的每个相机接收该相机所捕获的图像。
每对相机中的相机彼此分离在6cm和11cm之间的范围中的距离。
第三对相机中的每个相机具有第三定向，其中，第一对相机中的每个相机进一步通过第三对相机中的至少一个相机彼此分离，并且其中，第三定向与第一定向和第二定向不同。
各对相机中的每一个位于平面中。
每对相机包括左边相机和右边相机；每个相机具有关联水平视场；以及第一对相机和第二对相机中的右边相机的水平视场的重叠处于10％至30％之间的范围中。
第二对相机中的一个相机的视场的中心与第一对相机中的至少一个相机的视场的中心相交。
用于本发明的模式
用于捕获并且重构3-D视频的能力在充分利用游戏系统、电视或移动设备的3-D能力方面起到显著作用。通过对人类视觉感知的各个方面进行紧密建模，通过人自己的眼睛近乎不可将所得3-D视频与自然观看进行区分，由此创建自然的3-D观看体验。
图1示出示例3-D影像系统架构。在特定实施例中，用于对360°3-D视频进行捕获、编码并且呈现的系统架构100可以包括相机系统110、前端处理器120、拼接服务器130、内容服务器140以及客户机系统150。虽然本公开描述并且示出由特定系统构成的特定3-D影像系统，但本公开预期由任何合适系统构成的任何合适3-D影像系统。
相机系统110可以包括多对相机112，其被配置为数字地捕获图像。作为示例而非通过限定的方式，所捕获的图像可以与实时地捕获并且处理的360°3-D视频对应。相机系统110的相机112可以(例如通过通用串行总线(USB))连接到前端处理器120。通过对来自各个相机112的图像的开始和停止进行同步，前端处理器120可以提供相机112的初始控制。前端处理器120也可以确定或设置相机参数，诸如快门速度或曝光时间。前端处理器120可以对来自相机系统110的到来视频进行归一化、校正失真、压缩或编码。在特定实施例中，前端处理器120的数量可以基于相机系统110的相机112的数量以及到来图像的大小(例如帧速率或帧大小)。来自前端处理器120的图像数据可以(例如通过传输控制协议(TCP)网络)传送到拼接服务器130，其执行相机系统110所捕获的离散图像的拼接。
如下所述，拼接服务器130可以将来自各个相机的离散图像拼接在一起，以生成3-D视频的完整帧。在特定实施例中，拼接服务器130可以计算离散图像的图像对准，并且将完整帧分段为垂直条带。拼接服务器130可以按不同大小和比特速率对条带进行重新压缩，以用于可变比特率控制。当无需实时性能时可以使用单个拼接服务器130，或当正消耗对高分辨率、高帧速率3-D视频的实时性能时可以使用高达几十或甚至几百个拼接服务器130。3-D视频的帧可以被存储或发送到内容服务器140。
内容服务器140可以充当用于客户机系统150的内容发布网络，并且与客户机系统150进行通信，以将所请求的3-D视频的适当部分流送到观看者。内容服务器140可以在每帧的基础上将所请求的3-D视频发送到客户机系统150。在特定实施例中，内容服务器140的数量可以与接收3-D视频的客户机系统150的数量成比例。
客户机系统150可以用作用于用户观看内容服务器140所发送的3-D视频的设备。此外，从客户机系统150到内容服务器140的输入可以修改发送到客户机系统150的3-D视频的部分。作为示例，可以基于指示用户的观看角度已经改变的来自客户机系统150的数据而调整3-D视频。在特定实施例中，客户机系统150可以请求与径直(sraight-on)观看对应的帧加上在任一侧上的附加帧。在特定实施例中，客户机系统150可以请求低分辨率、完整帧图像，并且对于观看者重构3-D。
图2示出示例相机112的立体对200。在特定实施例中，立体对200可以包括分别称为左边相机L和右边相机R的两个相机112。左边相机L和右边相机R可以分别捕获与人的左眼和右眼对应的图像，相机L和R所捕获的视频图像可以作为3-D视频对观看者回放。在特定实施例中，立体对200可以称为一对、立体对、相机对或立体相机对。如下所述，相机系统110可以使用数字相机(“相机”)112的多个对200来捕获3-D图像，其中，相机系统110可以使用集成数字相机或对一个或多个外部数字相机的接口。在特定实施例中，数字相机可以指以数字格式捕获或存储图像或视频的设备。在此，术语“相机”可以指代数字相机，术语“视频”可以指代数字视频或以数字格式记录或存储的视频。
在特定实施例中，相机112可以包括图像传感器，其被配置为捕获单独照片图像或作为视频的一系列图像。作为示例而非以限定的方式，相机112可以包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)有源像素图像传感器。在特定实施例中，相机112的图像传感器可以具有近似16：9、4：3、3：2的宽高比(例如传感器的宽度对于高度的比率)或任何合适的宽高比。在特定实施例中，相机112的图像传感器宽度可以大于图像传感器高度。在特定实施例中，可以以沿着图像传感器的两个轴的像素的数量来表达图像传感器的宽度和高度，并且图像传感器宽度可以表示图像传感器的较长维度。作为示例而非通过限定的方式，图像传感器可以具有500和8,000个像素之间的宽度或高度。作为另一示例而非通过限定的方式，具有1,920个像素的宽度和1,080个像素的高度的图像传感器可以称为具有16：9宽高比的图像传感器。在特定实施例中，相机112可以包括镜头或镜头组件，以收集进入光并且将其聚焦到图像传感器的聚焦区上。作为示例而非通过限定的方式，相机112可以包括鱼眼镜头、超广角镜头、广角镜头或普通镜头，以将光聚焦到图像传感器上。虽然本公开描述并且示出具有特定图像传感器和特定镜头的特定相机，但本公开预期具有任何合适图像传感器和任何合适镜头的任何合适相机。
在特定实施例中，相机112可以具有至少部分地取决于相机112的镜头组件的方位、焦距长度或倍率以及相机112的图像传感器的方位或大小的视场(FOV)。在特定实施例中，相机112的FOV可以指通过相机112可见的特定场景的水平限度、垂直限度或对角限度。相机112的图像传感器可以捕获相机112的FOV内的对象，FOV之外的对象可以不显现在图像传感器上。在特定实施例中，FOV可以称为视角(AOV)，FOV或AOV可以指相机112可以捕获或成像的特定场景的角向限度。作为示例而非通过限定的方式，相机112可以具有30°和200°之间的FOV。作为另一示例而非通过限定的方式，具有100°FOV的相机112可以指示相机112可以捕获位于相机112指向的方向或定向114的±50°内的对象的图像。
在特定实施例中，相机112可以具有两个特定FOV(例如比如水平视场(FOVH)和垂直视场(FOVV))，其中，这两个FOV近似彼此正交定向。作为示例而非通过限定的方式，相机112可以具有在30°和100°之间的范围中的FOVH以及在90°和200°之间的范围中的FOVV。在图2的示例中，相机112具有近似80°的FOVH。在特定实施例中，相机112可以具有比其FOVH更宽的FOVV。作为示例而非通过限定的方式，相机112可以具有近似45°的FOVH以及近似150°的FOVV。在特定实施例中，具有两个不等FOV的相机112可以至少部分地应归于具有带有矩形形状的图像传感器的相机112(例如，相机112可以具有带有16：9宽高比的图像传感器)。在特定实施例中，相机112可以定位，从而其FOVV与相机112的图像传感器的宽度对准或对应，并且其FOVH与图像传感器的高度对准。作为示例而非通过限定的方式，图像传感器可以具有高度和宽度，其中，所述宽度表示两个图像传感器维度中的较长者，并且相机112可以定向，从而其图像传感器的宽度轴与FOVV对应。虽然本公开描述并且示出具有特定视场的特定相机，但本公开预期具有任何合适视场的任何合适相机。
在特定实施例中，相机112可以具有表示相机112指向的角度或方向的定向114。在特定实施例中，定向114可以由沿着相机112的FOV的中心所导向的直线或射线表示。在特定实施例中，相机112的定向线114可以指引近似沿着相机112的纵轴，近似与相机的镜头组件或图像传感器的表面正交，或近似与轴115正交，其中，轴115表示立体对200的相机L与R之间的线。在图2的示例中，定向114-L和定向114-R每个近似与轴115正交，定向114-L和114-R每个指引近似沿着相机112的FOVH的各自中心。在特定实施例中，立体对200的每个相机112可以具有相对于彼此的特定定向114。在特定实施例中，立体对200的左边相机和右边相机112可以每个指向近似相同方向，左边相机和右边相机的定向114可以近似平行(例如,各定向114之间的角度可以近似0°)。在图2的示例中，左边相机定向114-L近似与右边相机定向114-R平行，这指示相机L和R正指向近似相同方向。具有平行定向114的左边相机和右边相机112可以表示指向相同方向的相机，相机L和R可以称为具有相同定向。在特定实施例中，具有相同定向的左边相机L和右边相机R可以分别指定向114-L和114-R，其在±0.1°、±0.5°、±1°、±2°、±3°内或在任何合适的角值内彼此平行。在特定实施例中，立体对200的定向可以由平行的左边相机和右边相机112的定向114表示。作为示例而非通过限定的方式，当第一对中的每个相机以30°度相对于第二相机对中的相机定向在30°度时，第一立体对200可以称为相对于第二立体对200具有30°度定向。
在特定实施例中，左边相机L和右边相机R可以具有带有它们之间的特定非零角度的定向114-L和114-R。作为示例而非通过限定的方式，立体对200的两个相机可以按近似0.5°、1°、2°的它们的定向之间的角度或任何合适的角值定向稍微朝向或远离彼此。在特定实施例中，立体对200的定向可以由定向114-L和114-R的平均值表示。虽然本公开描述并且示出具有特定定向的特定相机，但本公开预期具有任何合适的定向的任何合适的相机。
在特定实施例中，一对相机中的各相机112(例如L和R)之间的相机间间隔(ICS)可以表示两个相机彼此分离的距离。在特定实施例中，立体对200可以具有带有6和11cm之间的ICS的相机112，其中，可以在两个相机112的两个对应点或特征之间测量ICS。作为示例而非通过限定的方式，ICS可以与两个相机112的中点之间的距离、两个相机112的纵轴之间的距离或两个相机112的定向线114之间的距离对应。在特定实施例中，立体对200的相机L和R可以由沿着轴115的ICS距离表示，其中，轴115表示连接相机L和R的线，相机定向114-L和114-R近似与轴115正交。在图2的示例中，ICS是沿着分离轴115所测量的相机L与R之间的距离。在特定实施例中，ICS可以与人的眼睛的瞳孔之间的近似或平均距离或瞳间距离(IPD)对应。作为示例而非通过限定的方式，ICS可以处于6和7cm之间，其中，6.5cm与用于人类的近似平均IPD对应。在特定实施例中，立体对200可以具有高于平均IPD值的ICS值(例如，ICS可以是7-11cm)，并且该较高ICS值可以提供当对观看者回放时显现为具有增强的3-D特性的场景。虽然本公开描述并且示出具有特定相机间间隔的特定特定相机对，但本公开预期具有任何合适的相机间间隔的任何合适的相机对。
图3示出相机系统110的示例相机配置的部分平面图。在图3的示例中，相机系统110包括L1和R1所形成的第一相机对200、L2和R2所形成的第二相机对200以及Ln和Rn所形成的第n相机对200。在特定实施例中，相机系统110可以还包括附加相机对，例如，比如相机对L3-R3(其中，图3中未示出相机L3)或相机对Ln1-Rn1(其中，图3中未示出相机Rn1)。虽然本公开描述并且示出具有特定数量的相机对的特定相机系统，但本公开预期具有任何合适的数量的相机对的任何合适的相机系统。
在特定实施例中，相机系统110的相机112可以被沿着直线、曲线、椭圆(或椭圆的部分)、圆形(或圆形的部分)或沿着任何其他合适的形状或任何合适的形状的部分布置。具有沿着圆形布置的相机112的相机系统110可以被配置为在360°全景视图上记录图像。在图3的示例中，相机112沿着图3中的圆形虚线所表示的圆形的部分布置。图3所示的相机系统110可以在半圆形上记录图像，并且提供近似180°的角度观看。在特定实施例中，相机系统110的相机112可以每个位于相同平面中。作为示例而非通过限定的方式，相机系统110的每个相机112可以位于水平平面中，每个相机112可以使得其FOVH沿着水平平面而定向，并且使得其FOVV与水平平面正交定向。在图3的示例中，相机112每个位于相同平面中，每个相机112的FOVH也定向在该平面中。在特定实施例中，相机系统110的相机112可以每个位于相同平面中，每个相机112的定向114可以也位于该相同平面中。在图3的示例中，相机112可以每个位于相同平面中，相机定向(例如114-L1、114-L2、114-R1和114-R2)也位于该相同平面中，从而每个相机沿着位于该平面中的方向指向。在特定实施例中，相机112可以以沿着水平平面定向的相机112的图像传感器的高度尺寸定位，从而图像传感器高度与FOVH对准并且对应。此外，相机112可以以与水平平面正交定向的相机112的图像传感器的宽度尺寸而定位，从而图像传感器宽度与FOVV对应。在特定实施例中，相机112可以捕获具有宽高比的图像，从而图像的垂直限度大于图像的水平限度。
在特定实施例中，相机系统110可以包括相机112的多个对200，其中，相机对200彼此交错。在特定实施例中，交错的相机对200可以指第一相机对使得一个相机位于相邻第二相机对中的各相机之间的相机配置。此外，第二相机对也可以使得一个相机位于第一相机对中的各相机之间。在特定实施例中，相邻或毗邻相机对200可以指彼此邻近定位或布置的相机对200，以便一个相机对200中的相机位于另一相机对200中的两个相机之间。在特定实施例中，交错的相机对200可以指具有第一相机对和第二相机对的相机配置，其中，第二对相机至少通过第一相机对中的相机彼此分离。此外，第一对相机也可以至少通过第二对相机中的相机彼此分离。在图3的示例中，相机对L2-R2与相机对L1-R1交错，反之亦然。相机对L1-R1和L2-R2交错，从而相机R2位于相机L1与R1之间，相机L1位于相机L2与R2之间。相似地，相机对L1-R1和Ln-Rn也彼此交错。相机对L1-R1和Ln-Rn交错，从而相机L1和R1至少通过相机Ln分离，相机Ln-Rn至少通过相机R1分离。在图3的示例中，相机对L1-R1与两个毗邻相机对(相机对L2-R2和相机对Ln-Rn)交错。
在特定实施例中，相机系统110可以包括相机112的第一对200，其中，第一对中的相机通过相机112的第二对200中的至少一个相机112彼此分离。在图3的示例中，相机对L1-R1的相机L1和R1通过相机对L2-R2中的相机R2彼此分离。此外，第一对相机可以具有与第二对相机的定向114不同的定向114。在图3的示例中，相机对L1-R1的定向(其可以由定向114-L1或114-R1表示)与相机对L2-R2的定向(其可以由定向114-L2或114-R2表示)不同。在特定实施例中，相机系统110可以还包括第三对相机(例如图3中的Ln-Rn)，第一对(例如L1-R1)中的相机也可以通过第三对相机(例如Ln-Rn)中的相机(例如相机Ln)彼此分离。此外，第三对相机可以具有与第一相机对和第二相机对的定向114不同的定向114。虽然本公开描述并且示出具有以特定配置布置的特定相机的特定相机系统，但本公开预期具有以任何合适的配置布置的任何合适的相机的任何合适的相机系统。
在特定实施例中，相机系统110可以包括多个交错的相机对200，其中，每个相机对200具有特定定向114。在特定实施例中，每个相机对200中的相机112可以被均匀地布置，从而每个相机对200以角度θ相对于一个或多个相邻相机对200定向。在特定实施例中，角度θ可以与相机112的相邻对200之间的定向114的角度间隔或差对应。在图3的示例中，相机L1和R1正指向它们的近似平行的各自定向114-L1和114-R1所表示的相同方向。相似地，相机L2和R2每个沿着与相机对L1-R1的定向不同的、它们的近似平行的各自定向114-L2和114-R2所表示的方向指向。在特定实施例中，相邻相机对200之间的角度θ可以对于相机系统110的每个相机对200近似相同，从而相机对200通过它们各自定向114之间的均匀差来布置。作为示例而非通过限定的方式，相机系统110的相邻相机对200可以每个以近似26°、30°、36°、45°、60°、90°的角度或任何合适的角度相对于彼此定向。在图3的示例中，相机对L2-R2以角度θ≈30°相对于相机对L1-R1定向。在特定实施例中，对于具有沿着圆形所布置的n个均匀间隔的相机对200的相机系统110(其中，n是正整数)，每个相邻相机对之间的角度θ可以表示为θ≈360°/n。作为示例而非通过限定的方式，对于具有在均匀间隔的圆形配置中分布的n＝12个相机对的相机系统110，每个相邻相机对之间的角度θ近似为360°/12＝30°。作为另一示例而非通过限定的方式，对于具有在均匀间隔的圆形配置中分布的n＝8个相机对的相机系统110，每个相邻相机对之间的角度θ近似为360°/8＝45°。
在特定实施例中，第一相机对和第二相机对200可以交错，从而第二对相机中的右边相机112与第一对相机中的左边相机112相邻，第二对相机中的右边相机112的FOVH的中心与第一对相机中的左边相机112的FOVH的中心相交。在图3的示例中，第一相机对L1-R1与第二相机对L2-R2交错，从而右边相机R2与左边相机L1相邻，(定向114-R2所表示的)相机R2的FOVH的中心与(定向114-L1所表示的)相机L1的FOVH的中心相交。在特定实施例中，第一相机对和第三相机对200可以交错，从而第三对相机中的左边相机112与第一对相机中的右边相机112相邻，第三对相机中的左边相机112的FOVH的中心与第一对相机中的右边相机112的FOVH的中心相交。在图3的示例中，第一相机对L1-R1与第n相机对Ln-Rn交错，从而左边相机Ln与右边相机Rn相邻，(定向114-Ln所表示的)相机Ln的FOVH的中心与(定向114-R1所表示的)相机R1的FOVH的中心相交。虽然本公开描述并且示出以特定方式交错的特定相机对，但本公开预期以任何合适的方式交错的任何合适的相机对。
在特定实施例中，相邻相机对200之间的角度θ对于相机系统110的一个或多个相机对200可以不同，从而相机对200可以具有非均匀角度间隔。作为示例而非通过限定的方式，相机系统110中的相机对200的角度间隔或分布可以至少部分地基于每个相机112的FOVH而变化。例如，具有较窄FOVH的相机系统110的一些相机对200可以具有30°的角度间隔，而具有较宽FOVH的其它相机对200具有50°的角度间隔。虽然本公开描述并且示出具有带有特定角度间隔的特定相机对的特定相机系统，但本公开预期具有带有任何合适的角度间隔的任何合适的相机对的任何合适的相机系统。
在特定实施例中，左边相机(例如与人的左眼对应的相机L1、L2等)集合或右边相机(例如与人的右眼对应的相机R1、R2、R3等)集合的每个FOVH可以具有与集合中的邻近相机的角度重叠116。在图3的示例中，角度重叠116表示邻近相机R1和R2所捕获的各图像之间的共用部分或重叠。在图3中，相机R2和R3、相机Rn和R1、相机L1和L2以及相机Ln和Ln-1也可以共用相似角度重叠。在特定实施例中，具有角度重叠116的邻近相机112可以具有在10％和30％之间的它们的水平FOV的重叠。作为示例而非通过限定的方式，具有重叠达10-30％的水平FOV的邻近相机可以每个捕获重叠达在10％和30％之间的图像。作为另一示例而非通过限定的方式，每个具有FOVH≈50°和近似10°的角度重叠116的邻近相机可以称为具有近似20％(＝10°/50°)的角度重叠或图像重叠。在特定实施例中，如下所述，角度重叠116可以用于标识图像特征并且创建无缝地示出相机系统110所捕获的整个视图的拼接图像。虽然本公开描述并且示出具有特定角度重叠的特定相机，但本公开预期具有任何合适的角度重叠的任何合适的相机。
图4示出示例相机系统110的平面图。如下所述，相机系统110可以包括被配置为在360度中以立体3-D格式来捕获图像并且记录或流送实时视频的相机112的立体对200的空间布置。在特定实施例中，相机系统110可以包括形成n个相机对200的2n个相机112，其中，n是正整数。在特定实施例中，相机系统110可以包括n＝1、2、3、4、6、8、10、12、14、16个或任何合适的数量的相机对200。作为示例而非通过限定的方式，相机系统110可以包括形成n＝4个相机对200的8个相机112，或相机系统110可以包括形成n＝8个相机对200的16个相机112。在图4的示例中，n等于12，相机系统110包括形成12个相机对200(例如，相机对L1-R1至相机对L12-R12)的24个相机112。如上所述，可以均匀地布置相机系统110的相机对200，从而相邻相机对200以θ≈360°/n的角度相对于彼此定向。在图4的示例中，n等于12，相机对200以近似30°(＝360°/12)相对于彼此定向，如从相机系统110的中心到相机对200绘制的各径向线R之间的30°角度所表示的那样。
在特定实施例中，可以配置相机系统110的相机112，以便邻近左边相机的水平FOV重叠，并且相似地，邻近右边相机的水平FOV重叠。在图4的示例中，每对邻近左边相机(例如相机L1和L2、相机L2和L3等)可以具有在10％和30％之间的它们的水平FOV的重叠。相似地，每对邻近右边相机(例如相机R1和R2、相机R2和R3等)可以具有在10％和30％之间的它们的水平FOV的重叠。在特定实施例中，每个左边相机集合(例如图4中的相机L1-L12)可以定向，以捕获覆盖相机系统110周围完整360°视图的对应左边图像集合。相似地，每个右边相机集合(例如图4中的相机R1-R12)可以定向，以捕获覆盖相机系统110周围完整360°视图的对应右边图像集合。
在特定实施例中，相机系统110的相机112可以被布置在近似圆形配置中，相机112位于相机主体118的外沿或圆周处或其附近。在特定实施例中，相机主体118可以表示支承、包含或包围相机系统110的相机112以及作为相机系统110的部分的其它设备(例如，比如一个或多个电源或处理器)的机械结构、包封或外壳。在图4的示例中，相机系统110的24个相机112以圆形配置被布置在具有圆形形状的相机主体118的外沿附近。在特定实施例中，相机系统110的每个相机对200可以对准，所以其定向114导向远离公共中心点117或从前径向向外。在图4的示例中，中心点117表示相机系统110的主体118的中心，径向线R所表示的每个相机对的定向指向径向向外离开中心点117。在特定实施例中，相机系统110的相机主体118可以具有近似10cm、15cm、20cm、25cm、30cm或任何合适的大小的大小、宽度或直径119。在图4的示例中，相机主体118可以具有带有近似20cm的直径119的外沿。在特定实施例中，随着人类头部转向相机系统110可以具有与人类头部大小可相比的大小。作为示例而非通过限定的方式，相机主体118可以具有近似20cm的直径，随着人旋转他们的头部相机对200可以定位为与人的眼睛的位置对应。虽然本公开描述并且示出具有特定大小、宽度或直径的特定相机系统，但本公开预期具有任何合适的大小、宽度或直径的任何合适的相机系统。
在特定实施例中，相机系统110的两个或更多个相机112可以称为彼此相邻。在特定实施例中，彼此相邻的两个相机112可以指在没有位于这两个相机之间的另外相机的情况下位于彼此旁边或附近的两个相机。在图4的示例中，相机L1和R3彼此相邻，相机L2和R3彼此相邻。在图4中，相机R1与相机L11和相机L12相邻。在特定实施例中，可以在特定相机集合内标识相邻相机，无关于并非集合的部分的其它相机。作为示例而非通过限定的方式，即使可能存在位于两个相机附近或之间的右边相机，左边相机集合内的两个相机也可以标识为彼此相邻。在图4中，对于左边相机集合(相机L1至L12)，相机L1与相机L2和L12相邻，对于右边相机集合(相机R1至R12)，相机R1和R2是相邻的。
图5示出相机系统110的相机112所捕获的示例图像集合(I-1至I-8)。作为示例而非通过限定的方式，图像I-1至I-8可以与相机系统110的左边相机L-1至L-8所分别捕获的图像对应。图像I-1至I-8可以表示使用与图3或图4所示的相机系统相似的相机系统110所捕获的图像。在特定实施例中，相机系统110的左边相机或右边相机112的集合捕获图像的集合可以具有邻近图像之间的重叠区块210，其中重叠区块210表示与近似相同场景对应的邻近图像的部分或区域。在图5的示例中，重叠区块2105-6表示邻近图像I-5与I-6之间的重叠，重叠区块2105-6中的所捕获的场景包括云的右边部分和桥的部分。相似地，重叠区块2106-7表示邻近图像I-6与I-7之间的重叠，重叠区块2106-7中的所捕获的场景包括桥塔。
在特定实施例中，重叠区块210可以与邻近相机112的水平FOV的重叠对应。在特定实施例中，相机系统110的左边相机或右边相机112所捕获的邻近图像可以具有在10％和30％之间的重叠。在特定实施例中，重叠的量或百分比与重叠区块210的高度、宽度或面积对于对应图像的高度、宽度或面积的比率对应。在图5的示例中，图像I-5与I-6之间的重叠的量等于重叠区块2105-6的宽度204除以图像I-5或I-6的宽度206。在特定实施例中，可以关于距离(例如以mm或cm为单位)或关于像素的数量来表示重叠区块210的尺寸或图像的尺寸。在图5的示例中，重叠区块宽度204是162个像素，图像宽度206是1,080个像素，于是图像I-5与I-6之间的重叠是15％(＝162/1080)。虽然本公开描述并且示出具有特定重叠区块或重叠量的特定图像，但本公开预期具有任何合适的重叠区块或重叠量的任何合适的图像。
在特定实施例中，相机112可以定位为捕获具有一宽高比的图像，从而图像的垂直限度207大于图像的水平限度206。作为示例而非通过限定的方式，相机112可以捕获具有1,920个像素的垂直限度207和1,080个像素的水平限度206的图像。在图5的示例中，图像I-6具有大于水平限度206的垂直限度207。
在特定实施例中，相邻图像或邻近图像可以指共享公用重叠区块210的位于彼此旁边的图像。在图5的示例中，图像I-2和I-3相邻，图像I-6与图像I-5和I-7相邻。在特定实施例中，相邻图像可以与各个相邻相机所捕获的图像对应。在图5的示例中，图像I-1至I-8可以与左边相机L1至L8(例如图4的左边相机L1至L8)分别捕获的图像对应。图像I-1和I-2是相邻图像，并且这些图像可以分别由相邻左边相机L1和L2捕获。
图6示出示例相机系统110的侧视图。在特定实施例中，相机系统110可以包括一个或多个顶部相机112T，其在沿着相机系统110的外围所布置的侧面相机112所捕获的另外圆柱形侧视图上创建“顶盖”。在特定实施例中，侧面相机112可以指以它们的各自定向114位于相同平面内的平面配置布置的相机112，例如比如图3或图4所示的示例相机112。在特定实施例中，顶部相机112T可以提供向上视图，其可以与来自侧面相机112的图像组合，从而用户当观看3-D视频时可以向上看(以及看向他们的左边或右边，或在FOVV的向下限度内的下面)。在特定实施例中，相机系统110可以包括指向上的一个或多个顶部相机112T以及指向下的一个或多个底部相机(图6中未示出)。作为示例而非通过限定的方式，来自侧面相机112的图像可以与来自顶部相机112T和底部相机的图像组合，从而用户当观看3-D视频时可以在任何方向上(例如左、右、上、下)看。在特定实施例中，相机系统110可以包括两个或更多个顶部相机112T(例如，可以形成立体对的顶部左边相机和顶部右边相机)，并且来自顶部相机112T的图像可以组合，以在观看3-D视频并且向上看的同时增强用户的3-D感知。虽然本公开描述并且示出具有特定顶部相机或底部相机的特定相机系统，但本公开预期具有任何合适的顶部相机或底部相机的任何合适的相机系统。
在特定实施例中，顶部相机112T可以具有重叠一个或多个侧面相机112的垂直视场FOVV的视场FOVT。作为示例而非通过限定的方式，来自顶部相机112T的图像的外沿部分可以重叠来自相机112的图像的上部分达10-30％。在图6的示例中，角度重叠116表示顶部相机112T的FOVT与侧面相机112的FOVV之间的重叠。在特定实施例中，顶部相机112T可以具有相对高的FOVT。作为示例而非通过限定的方式，顶部相机112T可以包括鱼眼镜头，并且顶部相机112T的FOVT可以处于140°至185°的范围中。在特定实施例中，相机系统110可以包括侧面相机112的集合，并且可以不包括顶部相机112T。作为示例而非通过限定的方式，相机系统110可以包括具有在140°至185°的范围中的FOVV的侧面相机112，并且侧面相机112可以被配置为不使用顶部相机而捕获所有或多数完整360°视图。在特定实施例中并且如图6所示，相机系统110可以包括侧面相机112以及顶部相机112T的集合。在特定实施例中，具有顶部相机112T的相机系统110可以允许侧面相机112具有相对于没有顶部相机的相机系统110的减小的FOVV。作为示例而非通过限定的方式，相机系统110可以包括具有在100°至160°的范围中的FOVV的侧面相机112，其中，FOVV与顶部相机112T的FOVT重叠。
在特定实施例中，顶部相机112T可以位于相机系统110的顶部表面附近，或如图6所示，顶部相机112T可以相对于相机系统110的顶部表面凹陷或缩进。作为示例而非通过限定的方式，顶部相机112T可以位于可以提供与侧面相机112的较大重叠量的凹陷方位中。在特定实施例中，相机系统110的侧面相机112每个可以具有位于相机系统110的水平平面中的定向114，并且顶部相机112T的定向114T可以近似与定向114正交。在图6的示例中，侧面相机112水平地定向，并且顶部相机112T具有垂直定向114T。虽然本公开描述并且示出具有带有特定布置、定向或视场的特定边沿相机和特定顶部相机的特定相机系统，但本公开预期具有带有任何合适的布置、定向或视场的任何合适的边沿相机和任何合适的顶部相机的任何合适的相机系统。
图7示出相机系统110的相机112所捕获的示例重叠图像集合。在特定实施例中，具有n个相机对200和一个顶部相机112T的相机系统110可以捕获用于视频的每个帧的2n+1个图像。可以使用与图6所示的相机系统相似的相机系统110的2n个侧面相机112和顶部相机112T来捕获图7所示的图像。在特定实施例中，n个左边相机112和n个右边相机112可以如上所述成对地被布置并且交错，从而左边相机图像I-L1至I-Ln重叠，右边相机图像I-R1至I-Rn重叠。在图7的示例中，重叠区块210L表示邻近左边相机的图像的重叠部分，并且重叠区块210R表示邻近右边相机的图像的重叠部分。作为示例而非通过限定的方式，在对应重叠区块210L2-3的情况下，邻近左边相机2和3可以分别捕获图像I-L2和I-L3。在图7的示例中，图像I-Top表示顶部相机112T所捕获的图像，重叠区块210T表示与来自侧面相机112的图像的上部分重叠的图像I-Top的外沿部分。在特定实施例中，重叠区块210T可以用于将顶部图像I-Top与来自一个或多个侧面相机112的图像进行拼接。
在特定实施例中，可以布置左边相机和右边相机112，从而在对应右边相机112的单个图像内捕获每个左边相机重叠区块210L，并且在对应左边相机112的单个图像内捕获每个右边相机重叠区块210R。在图7的示例中，图像I-L1和I-L2的重叠区块210L1-2与图像I-R1对应，从而右边相机R1捕获左边相机L1与L2之间的重叠。相似地，图像I-R2和I-R3的重叠区块210R-3与图像IL3对应，从而相机R2与R3之间的重叠包含于相机L3的视场内。在特定实施例中，如下所述，两个图像之间的重叠区块210可以用于标识图像特征并且创建拼接图像。此外，另一相机所捕获的重叠区块210也可以用在拼接处理中。在图7的示例中，图像I-R1和I-R2可以至少部分地基于位于两个图像的重叠区块210R1-2中的特征而拼接在一起。此外，由于图像I-L2捕获相同重叠区块，因此图像I-L2也可以用在拼接处理中或验证应用于图像I-R1和I-R2的拼接处理的精度。虽然本公开描述并且示出被配置为捕获具有特定重叠区块的特定图像的特定相机系统，但本公开预期被配置为捕获具有任何合适的重叠区块的任何合适的图像的任何合适的相机系统。
在特定实施例中，相机系统110可以包括一个或多个深度传感器，以用于获得关于图像中的对象的深度信息。作为示例而非通过限定的方式，一个或多个深度传感器可以位于相机系统110的相机112之间或附近。在特定实施例中，深度传感器可以用于确定关于位于相机112的FOV内的对象的深度或距离信息。作为示例而非通过限定的方式，深度传感器可以用于确定在背景中的对象位于近似4米远离的同时相机112的FOV内的人位于距相机系统110近似1.5米。在特定实施例中，可以基于三角测量技术确定深度信息。作为示例而非通过限定的方式，可以使用三角测量来分析两个或更多个各自相机112所捕获的两个或更多个图像，以确定图像中的对象的距相机系统110的距离。在特定实施例中，相机系统110可以包括基于结构化光扫描技术操作的深度传感器。作为示例而非通过限定的方式，结构化光3-D扫描器可以通过投影光图案(例如来自红外光源(例如激光器或发光二级管)的光的薄片或光的平行条带)来照射场景，并且来自投影光图案的反射或散射的光的图像可以(例如由作为深度传感器的部分的相机)捕获并且用于确定场景中的对象的距离。在特定实施例中，相机系统110可以包括可以基于飞行时间技术操作的深度传感器，其中据光的脉冲行进到以及离开对象所需的时间来确定距对象的距离。虽然本公开描述以特定方式操作的特定深度传感器，但本公开预期以任何合适的方式操作的任何合适的深度传感器。
在特定实施例中，深度传感器可以提供关于位于相机系统110附近(例如相机系统110的0.1-10米内)的对象的深度信息，并且深度信息可以用于增强拼接处理。如下所述，拼接处理可以使用来自相邻相机的各重叠的图像之间的对应性，以计算场景的几何形状。通过使用深度传感器，可以确定一个或多个相机112的FOV内的物品的相对深度或距离，而非假设单个整体深度。在特定实施例中，深度传感器信息可以允许图像的附近部分与远离部分分离地拼接。作为示例而非通过限定的方式，近对象和远对象分离地拼接然后组合的场景分段可以通过考虑相机系统110与图像中的对象之间的距离来提供改进的拼接结果。在特定实施例中，深度传感器可以提供用于延展、压缩或扭曲位于靠近相机系统110的对象的图像的部分的能力，产生拼接图像中的对象的改进的呈现。作为示例而非通过限定的方式，当对象靠近相机系统110(例如人在相机系统110的0.5米内经过)时，考虑对象的距离可以导致具有减少的失真量的拼接图像。在特定实施例中，深度传感器可以提供用于从视图排除处于相机系统110的阈值距离内的对象的能力。作为示例而非通过限定的方式，可以在图像处理期间移除确定为非常靠近相机系统110的对象(例如相机系统110的0.1米内的人的手)，从而对象不阻挡场景的视图。
在特定实施例中，相机系统110可以包括一个或多个红外(IR)相机，其中IR相机可以指对IR光(例如具有近似在0.8μm和14μm之间的波长的光)敏感的相机。在特定实施例中，IR相机可以是对热辐射敏感的，或可以提供用于在可视相机(例如相机112)可能具有减小的灵敏度的低光情形(例如变暗的房间或夜间的室外)中成像场景的能力。作为示例而非通过限定的方式，除了(可以对于可见光感测而优化的)相机112之外，相机系统110可以还包括一个或多个IR相机，并且来自相机112和IR相机的信息或图像可以组合，以改进低光情形中的图像捕获或呈现。作为另一示例而非通过限定的方式，相机系统110可以包括被布置为在相机系统110周围360°全景视图上捕获图像的IR相机集合。作为又一示例而非通过限定的方式，相机系统110的相机112可以被配置为具有对可见光以及红外光的灵敏度。虽然本公开描述并且示出具有特定可见或红外相机的特定相机系统，但本公开预期具有任何合适的可见或红外相机的任何合适的相机系统。
在特定实施例中，相机系统110可以包括一个或多个辅助相机，其被配置为对具有比相机112更宽的FOV或不同的视图的场景进行成像。作为示例而非通过限定的方式，相机系统110可以包括上述相机112的集合，相机系统可以还包括具有比相机112的FOV更宽的FOV的一个或多个鱼眼相机或立体相机。在特定实施例中，甚至当观看均匀色彩或纹理的大宽阔区域(例如墙壁)时，具有更宽FOV的辅助相机可以允许从相机112捕获的图像成功地拼接。在特定实施例中，相机112可以被配置为具有高分辨率(其可以导致相对窄的FOV)，并且具有较宽FOV的辅助相机可以提供允许来自相机112的高分辨率图像成功地对准并且拼接在一起的宽领域基准。
在特定实施例中，相机112可以捕获大于或近似等于180度的垂直视场。作为示例而非通过限定的方式，相机系统110可以包括具有近似185°的FOVV的相机112。在特定实施例中，相机系统110可以包括具有大于或等于180°的FOVV的相机112的集合，并且由于相机112可以提供完整观看覆盖，因此相机系统110可以不包括顶部相机112T。
在特定实施例中，相机系统110可以包括一个或多个鱼眼相机，其中鱼眼相机可以指具有宽FOV(例如大于或等于180度的FOV)的相机。作为示例而非通过限定的方式，相机系统110可以包括位于相机主体118的中心附近的2、3或4个鱼眼相机。作为另一示例而非通过限定的方式，相机系统110可以包括一对或多对鱼眼相机(例如被配置作为两对鱼眼相机的四个鱼眼相机)。一对鱼眼相机可以被配置为捕获3-D图像，并且可以包括分离与IPD对应的ICS距离的两个鱼眼相机。在特定实施例中，具有鱼眼相机的相机系统110可以被配置为模拟3-D立体图(例如深度或3-D结构的感知)，并且可以与位于图像球体内部的一个或多个虚拟相机对应。
在特定实施例中，相机系统110可以包括具有相对高FOVV和低FOVH的相机112。作为示例而非通过限定的方式，相机112可以具有水平地比垂直地提供更宽的视场的透镜(例如散光透镜)。作为另一示例而非通过限定的方式，相机112可以具有近似180°的FOVV以及近似30°的FOVH。在特定实施例中，相对窄的水平FOV可以提供在水平方向上具有相对低失真的捕获图像。在特定实施例中，可以至少部分地基于镜头校准信息通过捕获后处理来反转与相对宽FOVV关联的垂直方向上的失真。在特定实施例中，移除垂直方向上的失真可以是比移除沿着水平方向和垂直方向二者的失真更高效的处理。作为示例而非通过限定的方式，由于图像失真主要是沿着一个轴(例如垂直轴)，因此具有相对低FOVH的相机112可以提供失真移除方面的改进。
在特定实施例中，相机系统110可以包括两个或更多个中等FOV相机112的集合。作为示例而非通过限定的方式，相机112可以具有30到90度的垂直和水平FOV。在特定实施例中，相机系统110可以包括具有按行布置的集合的相机112的两个或更多个集合(例如，位于另一集合之上的相机112的一个集合或环)。每个相机112的集合可以被配置为捕获图像的环，每个环覆盖水平方向上的360度全景以及垂直方向上的中等FOV(例如60度)。作为示例而非通过限定的方式，相机系统110可以包括相机112的三个集合，每个相机具有重叠相邻集合近似15度的近似65度的FOVV。每个相机112的集合可以捕获高分辨率并且相对低失真的图像，并且来自每个环的图像可以组合以产生覆盖整个全景的高分辨率低失真图像。
在特定实施例中，相机系统110可以包括多个相机112，其中相机112可以不组合为立体对。作为示例而非通过限定的方式，相机系统110可以包括被布置有重叠水平FOV的12个相机，从而相机捕获360度全景。在特定实施例中，相机112可以对准，所以它们的定向114指向导向远离公共中心点117或从公共中心点117径向向外(例如相机系统110的主体118的中心)。在特定实施例中，相机112可以不捕获3-D图像，并且3-D效果可以在图像捕获之后在拼接或重构处理期间产生。作为示例而非通过限定的方式，捕获后处理可以应用于图像以模拟立体图。
在特定实施例中，校准过程可以应用于相机112或相机系统110。作为示例而非通过限定的方式，相机112、相机对200或相机系统110可以具有源自制造公差的定位或对准误差，并且校准过程可以用于校正或补偿这些误差而且允许改进的图像的拼接。在特定实施例中，校准过程可以用于确定相机112或相机对200具有位置或定向误差或偏移，并且所捕获的图像中的对应误差或偏移可以在图像捕获期间或在捕获后处理期间校正。作为示例而非通过限定的方式，相机对200可以制造为具有6.5mm的ICS，并且根据校准过程，可以确定相机对200具有7.0mm的ICS。可以在图像捕获期间或利用捕获后校正处理来校正相机对200的ICS与目标ICS之间的0.5mm差异(例如，与0.5mm对应的偏移可以应用于相机112之一所捕获的图像)。作为另一示例而非通过限定的方式，相机对200可以制造为具有各相邻相机对200之间的均匀30°角度间隔，并且根据校准过程，可以确定相机对200相对于相邻相机对200具有29°角度间隔。可以在捕获图像的同时或在捕获后校正处理期间校正各相机对200之间的1°角度误差(例如，与1°旋转对应的偏移可以应用于来自一个或多个相机112的捕获图像)。
在特定实施例中，可以在制造相机系统110之后、在使用相机系统110之前、按周期性间隔(例如每两个月)或在任何合适的时间或时间间隔，将校准过程应用于相机系统110。作为示例而非通过限定的方式，相机系统110可以在捕获场景之前应用校准过程，这可以确保相机112的位置和定向在图像捕获期间是已知的，以确保成功的拼接处理。作为另一示例而非通过限定的方式，校准过程可以应用于相机系统110，以校正可能源自温度改变、相机系统110的老化或机械振动(例如，如果相机系统110在运输期间掉落)的相机112的失准。在特定实施例中，一旦执行校准过程，关于相机112或相机对200的校准的数据就可以存储在相机系统110的非易失性存储器中。虽然本公开描述以特定方式并且在特定时间执行的特定校准过程，但本公开预期以任何合适的方式并且在任何合适的时间执行的任何合适的校准过程。
在特定实施例中，可以使用投影光来校准相机系统110的相机112。在特定实施例中，可以使用广角投影仪、灯前面的遮罩或将光学校准图案投影到附近表面上的激光扫描器或反射器来实现投影光校准。作为示例而非通过限定的方式，激光束可以由衍射光栅或电机化镜反射，以产生投影到附近表面上的校准图案。投影激光图案可以由相机112成像，以确定相机校准参数。在特定实施例中，用于生成并且投影校准图案的光学组件(例如激光器、镜或光栅)可以机械化，以当不使用时缩回到相机系统主体118中或其之下。在特定实施例中，光学校准组件可以被配置为旋转以在不同的方向上投影校准图案，从而可以校准相机系统110的不同相机112。在特定实施例中，相机系统110可以放置在受控空间或球体表面内部，以提供改进的校准精度。虽然本公开描述特定投影光校准系统，但本公开预期任何合适的投影光校准系统。
在特定实施例中，可以使用物理或机械处理或结构来校准相机系统110的相机112。作为示例而非通过限定的方式，机械校准结构(例如比如扇或伞状的设备)可以存储在各相机112之间或相机系统主体118之下或内部。在校准期间，这些物理校准器可以相对于相机系统100机械地部署在已知位置处。物理校准器可以由相机112进行成像，并且所捕获的图像可以与已知几何形状进行比较，以确定校准参数。在特定实施例中，机械校准设备可以是与相机系统110分离的物理设备。作为示例而非通过限定的方式，外部校准设备可以具有从球形外部主体向内延伸的内部辐条，以允许相机系统110相对于校准设备保持在已知精确位置。作为另一示例而非通过限定的方式，外部校准设备可以包括允许相机系统110相对于校准设备精确地定位的光学传感器。在特定实施例中，校准设备的内表面可以具有相机112成像的校准标记，并且可以基于校准标记的捕获图像确定用于相机112或相机对200的校准参数。在特定实施例中，相机系统110可以包括将校准图案投影到校准设备的内表面上的光学组件。虽然本公开描述特定物理校准系统，但本公开预期任何合适的物理校准系统。
在特定实施例中，相机系统110可以包括作为相机系统110的部分集成的一个或多个处理器，或相机系统110可以耦合到位于相机系统110外部的一个或多个处理器。作为示例而非通过限定的方式，相机系统110可以包括位于相机系统110的主体118内部的一个或多个前端处理器120。作为另一示例而非通过限定的方式，相机112可以通过USB连接到一个或多个前端处理器机器120的集合。在特定实施例中，前端处理器120可以执行相机112的初始控制、相机失真校正、图像的剪切、视频的编码、图像数据的压缩或视频的传输。作为示例而非通过限定的方式，相机系统110可以包括连接到相机112的独立前端处理器120，其执行初始图像调整、相机参数控制或相机数据的初始编码，以减少用于传输的视频净荷。在特定实施例中，与相机系统110关联的前端处理器的数量可以至少部分地取决于相机系统110中的相机112的数量以及相机112所捕获的视频的大小或帧率。作为示例而非通过限定的方式，每个相机112可以连接到一个或多个专用处理器120。虽然本公开描述并且示出以特定方式耦合到特定处理器的特定相机系统，但本公开预期以任何合适的方式耦合到任何合适的处理器的任何合适的相机系统。
在特定实施例中，通过一个或多个处理器120可以校准、控制或映射相机参数(例如亮度、对比度、增益、曝光、白平衡、饱和度、焦点或光圈设置)。在特定实施例中，由于每个相机112可能不同地看见场景，因此可以独立于其它相机来设置或控制用于每个相机112的白平衡设置。作为示例而非通过限定的方式，位于窗口旁边的相机112可能看见带蓝色的场景，而相邻相机112可能看见带红色的室内光照，并且这两个相机可以具有不同的白平衡设置。在特定实施例中，可以全局地控制一个或多个相机参数，以确保用于相邻相机(例如相邻左边相机112或相邻右边相机112)的设置不偏离得过宽。作为示例而非通过限定的方式，用于相机112的曝光或增益的设置可以至少部分地基于用于一个或多个相邻相机112的设置。作为另一示例而非通过限定的方式，如果曝光或增益设置被调整，则处理器120可以确保对于同一眼睛用于相邻相机(例如相邻左边相机112或相邻右边相机112)的设置不偏离得过宽，以使图像分条或不可接受的拼接性能最小化。在特定实施例中，相机112的焦点设置可以保持在无限远处，以使可能源自相机焦点的变化的拼接误差最小化。在特定实施例中，相机112可以设置为具有减小的光圈，以提供更大的景深，这可以导致拼接误差的减少。虽然本公开描述以特定方式受控的特定相机参数，但本公开预期以任何合适的方式受控的任何合适的相机参数。
在特定实施例中，编码处理可以涉及每相机110的一个前端处理器120，或(具有单个内核或多个处理器内核的)单个处理器120可以由多个相机110共享。前端处理器120可以使用加速计、专用集成电路(ASIC)或子处理器，以处置捕获、修改、压缩、存储或发送视频数据的任务的部分。每个处理器120可以运行通用操作系统，或可以是在通过中央控制处理器而完全或接近一致地操作的ASIC自身。在特定实施例中，中央控制处理器可以充当用于与前端图像捕获处理器120对话的发布器或中央控制点。在特定实施例中，中央处理器可以实现为单个大ASIC的部分，重复资源用于连接到并且控制每个相机112。在此情况下，相同代码或基于硬件的算法的多个线程或拷贝可以运行以使得捕获的处理并行化。在特定实施例中，前端处理器120可以使用处理器本地存储系统，或可以立即将数据流送到一个或多个共享的存储资源。在特定实施例中，可以利用分布式存储，并且处理器本地存储可以用作拼接系统的缓冲器，以实现系统负载分布。
在特定实施例中，前端处理器120可以使用总线或网络用于数据传输。数据传输可以使用任何合适的数据传输格式。在特定实施例中，可以利用保证接收或另外向接收方通知分组丢失的传输方法。在特定实施例中，发送组件可以重传受损的分组，或可以允许接收机将指示分组破坏发生的标志插入到所存储的数据流中。在特定实施例中，拼接系统然后可以根据需要补偿这些受损或丢失的分组。
在特定实施例中，相机112可能具有某种镜头失真以及相对于目标位置或定向114的某种偏离。在特定实施例中，用于这些效应的校正可以是静态的，并且可以在前端中使用查找表来预先校准并且校正它们。作为示例而非通过限定的方式，全景调平、虚化校正、镜头失真校正、白平衡校正、曝光校正和匹配或视点调整可以直接应用于图像。以此方式，可以在任何压缩引起的色彩或特征漂移发生之前操作图像，这样可以减少可视校正赝像的出现。此外，可以应用色彩校正以增强边沿锐度、总体曝光或白平衡。在特定实施例中，噪声减少可以应用于场景，以便减少图像的压缩大小。在特定实施例中，在应用一个或多个图像校正或增强步骤之后，前端处理器120可以对图像进行下采样。作为示例而非通过限定的方式，并非使用处理器密集子采样处理，可以对输出图像进行下采样。在特定实施例中，可以按比用于后续拼接的更高的分辨率来捕获图像，并且该高分辨率图像捕获可以有助于减缓可能与校正或增强步骤关联的混叠或赝像。
在特定实施例中，一个或多个拼接服务器130可以接收相机系统110的一个或多个前端处理器120所编码的图像。如上所述，图像可以与相机系统110实时捕获的360°3-D视频对应。在图1的示例中，使用TCP通过以太网网络将图像从前端处理器120发送到拼接服务器130。在特定实施例中，图像可以按任何合适的顺序得以从前端处理器120接收，或按任何合适的顺序存储。作为示例而非通过限定的方式，在传送到一个或多个拼接服务器130之前，图像(例如图7所示的图像I-L1至I-Ln)可以按与它们的空间顺序对应的顺序而被布置。在特定实施例中，当无需实时性能时，例如比如当图像正被处理以用于在稍后时间传输或观看时，拼接系统可以包括单个拼接服务器130(或两个或更多个拼接服务器130)。在特定实施例中，当需要实时性能时(例如当实时拼接高分辨率、高帧率视频以用于传输或观看时)，拼接系统可以包括几十至几百个拼接服务器130。虽然本公开描述并且示出包括特定数量的拼接服务器的特定拼接系统，但本公开预期包括任何合适的数量的拼接服务器的任何合适的拼接系统。
在特定实施例中，一个或多个拼接服务器130可以从一个或多个前端处理器120接收离散图像集合，并且拼接服务器130可以将离散图像“拼接”在一起而且产生单个3-D帧，以用于传输或显示。作为示例而非通过限定的方式，拼接服务器130可以从相机系统110的左边相机112接收左边图像集合，拼接服务器130可以拼接或组合图像以实时产生3-D图像的左边帧。相似地，拼接服务器130可以拼接来自右边相机112的右边图像集合，以实时产生3-D图像的右边帧，并且左边帧和右边帧一起可以表示单个实时3-D帧。在特定实施例中，拼接处理将通过扭曲(warp)、变形或对准多个离散图像来创建基本上无缝图像，以确保重叠的图像的对应点匹配。作为示例而非通过限定的方式，拼接处理可以使用来自相邻相机的各离散图像之间的对应性，以计算拼接图像所捕获的场景的几何形状。作为另一示例而非通过限定的方式，拼接处理可以扭曲、变形或对准离散图像，从而重叠的图像的集合的对应点相匹配，并且丢弃重叠的图像的额外部分。拼接处理可以然后将所对准的图像的集合混合为合并的无缝图像。在特定实施例中，与人的左眼和右眼对应的图像可以被操控，以确保两眼看见场景的对应部分，以减少眼睛疲劳。
在特定实施例中，一个或多个拼接服务器130可以对相机112所捕获的视频执行拼接处理。作为示例而非通过限定的方式，单个拼接服务器130(或并行操作的多个拼接服务器130)可以对相机112所捕获的一系列图像执行拼接。在多相机系统(例如比如图4的示例所示的相机系统110)中，可以在拼接处理期间执行所捕获的图像的时间码对准。在特定实施例中，可以一致地捕获或拼接视频的一系列图像，以保持各图像的时间一致性。作为示例而非通过限定的方式，前端处理器120可以在每个相机112所捕获的每个图像上存储时间码或时间戳(例如，绝对本地时间或相对时间计数器的值)。例如，相机L1至L12所分别捕获的图像IL-1至IL-12可以每个包括与捕获图像的时间对应的时间戳。在特定实施例中，相机112所捕获的图像可以包括与捕获其的时间对应时间戳，并且对于三维视频的每个帧，拼接服务器130可以将特定时间范围内所捕获的图像拼接在一起。例如，拼接服务器130可以要求待拼接在一起的图像具有符合在10ms、20ms、30ms内或任何合适的时间间隔内的时间戳。作为另一示例，拼接服务器130可以要求待拼接在一起的图像具有在特定量的帧周期内相同的时间戳，其中，帧周期是帧率的倒数。例如，视频可以具有与40ms的帧周期对应的25帧每秒(FPS)的帧率，并且拼接服务器130可以要求待拼接在一起的图像具有在一个帧周期内(例如40ms内)、一半帧周期内(例如20ms内)或任何合适的帧周期的部分内相同的时间戳。在特定实施例中，如果检测到图像集合的时间戳的间隙或误差，或如果图像帧被标记为受损，则拼接服务器130可以放弃整个图像集合，并且先前拼接图像可以重用。作为示例而非通过限定的方式，如果图像集合中的一个或多个图像具有距平均时间戳或目标时间戳多于一个的帧周期的时间戳，则可以丢弃该图像集合，并且先前拼接图像可以重用，替代所丢弃的图像。
在特定实施例中，相机系统110可以使各相机112之间的独立快门相适应。作为示例而非通过限定的方式，可以测量并且存储发送用于捕获图像的指令(例如从控制器发送到前端处理器120或相机112的指令)所需的时间。作为另一示例而非通过限定的方式，每个前端处理器可以接收用于在基于对特定前端处理器的延迟调整的未来时间开始图像捕获的指令，由此确保每个图像流同时开始。在特定实施例中，拼接服务器130可以确定初始帧的时间，并且后续帧时间差异可以据该初始时间点计算，其中，初始帧的时间被看作“时间零点”。
在特定实施例中，拼接服务器130可以确定正拼接在一起的离散图像(例如图像I-L1至I-Ln)的垂直对准和水平对准。在特定实施例中，可以比较来自多个相机的图像，从而所有左边图像与其它左边图像(例如I-L1至I-Ln)进行比较，并且所有右边图像与其它右边图像(例如I-R1至I-Rn)进行比较。在图5的示例中，图像I-6可以与相邻图像I-5和I-7进行比较。此外，左边图像可以与右边图像(例如IL1和I-R1)进行比较，以确保它们相对于彼此得以正确地对准。作为示例而非通过限定的方式，图像I-L1至I-L12可以与图4的示例所示的相机系统110的左边相机L1至L12分别捕获的图像对应。如上所述，与每只眼睛对应的相机(例如L6)的FOV具有与其邻近体(例如L5和L7)的重叠，从而空间上对准图像产生各相邻图像(例如I-6和I-7)之间的重叠区块210。如下所述，相邻图像的重叠区块210可以用于标识用于创建拼接图像200的图像特征。在特定实施例中，当归因于相机系统的已知几何形状执行拼接参数计算中的一些时，可以进行假设。
图8示出用于拼接离散图像的示例方法。方法300可以开始于步骤310，其中从多个相机112接收多个图像。在特定实施例中，相机可以包括具有第一定向114的第一相机112以及具有第二定向114的第二相机112。在特定实施例中，图像可以包括来自第一相机112的第一图像以及来自第二相机112的第二图像。在步骤320，在第一图像和第二图像内检测多个特征点。在步骤330，确定位于第一图像与第二图像之间的重叠的区块内的一对或多对对应特征点。在特定实施例中，各对对应特征点包括来自第一图像和第二图像中的每一个的特征点中的各自特征点。在步骤340，基于计算出的每对对应特征点之间的偏移空间上调整第一图像或第二图像。在步骤350，基于空间调整将第一图像和第二图像组合为合并图像或拼接图像。特定实施例可以在适当的情况下重复图8的方法的一个或多个步骤。虽然本公开描述并且示出按特定顺序出现的图8的方法的特定步骤，但本公开预期按任何合适的顺序出现的图8的方法的任何合适的步骤。此外，虽然本公开描述并且示出包括图8的方法的特定步骤的用于拼接离散图像的示例方法，但在适当的情况下，本公开预期包括任何合适的步骤(其可以包括图8的方法的所有或一些步骤，或者不包括图8的方法的步骤)的用于拼接离散图像的任何合适的方法。此外，虽然本公开描述并且示出执行图8的方法的特定步骤的特定组件、设备或系统，但本公开预期执行图8的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。
图9和图10示出分别用于拼接离散图像的其它示例方法400和450。在特定实施例中，用于拼接图像的方法，例如图9或图10分别所示的方法400和450，可以提供保留3-D感知并且自动地执行(例如需要很少或不需要人类干预的处理)的用于拼接图像的处理。虽然本公开描述并且示出按特定顺序执行特定步骤以拼接图像的特定流程，但本公开预期按合适的顺序执行任何合适的步骤的任何合适的流程。
在特定实施例中，可以在拼接之前将从相机系统110的前端处理器120接收到的图像重定大小。在确定个对对应特征点的同时降低图像的分辨率如下所述可以加速拼接处理。此外，减少分辨率可以改进在低光条件下对噪声的适应力，并且增加对用于特征检测的小尺度纹理的总体灵敏度，如下所述。作为示例而非通过限定的方式，可以对2-8兆像素(MP)图像重定大小以降低分辨率，这更易于对于实时3D拼接处理管理。作为另一示例而非通过限定的方式，相机112所捕获的8MP图像可以重定大小为2MP，并且重定大小的2-MP图像可以用作对拼接处理的输入。在特定实施例中，重定大小的图像可以被约束为具有最小大小(例如1MP、2MP或任何合适的最小大小)。作为示例而非通过限定的方式，4MP图像和2MP图像可以都重定大小为1MP。在特定实施例中，对接收到的图像进行重定大小可以使用局部对比度增强来减少可能影响特征检测的图像中的噪声。作为示例而非通过限定的方式，尺度化内核(例如比如Lanczos内核)可以用于使可能在特征检测中产生误差的内核赝像最小化。在特定实施例中，可以据重定大小为比初始图像更低的分辨率的图像来确定拼接参数。作为示例而非通过限定的方式，在使用重定大小的图像(例如，2MP)的集合以确定拼接参数之后，可以使用所确定的拼接参数将相机112所捕获的原始高分辨率图像(例如8MP图像)集合拼接在一起。
在特定实施例中，从相机系统110接收到的图像可以去扭曲，以将图像拼接到矩形平面上。作为示例而非通过限定的方式，接收到的图像可以被超级采样(super-sample)，以减少可能妨碍特征检测的赝像的量，如下所述。在特定实施例中，去扭曲过程可以与尺度化过程组合，这样可以减少对于超级采样的需要。作为示例而非通过限定的方式，接收到的图像可以经受组合的去去扭曲和尺度化过程，并且去扭曲和尺度化的组合可以减少图像中的赝像。替代地，接收到的图像的去扭曲可以用作作为位置的函数的全局变换，对接收到的图像的像素数据的存取可以历经变换和超级采样，以产生合适的值。在特定实施例中，可以通过公式(1)来近似图像的去扭曲变换：
数学图1
[数学式1]
x y scale ′ translate ′ a .. e → x ′ y ′
其中，x是沿着投影3-D空间的纬度的位置，y是沿着投影3-D空间的经度的方位置，a..e是相机去扭曲参数，scale'是图像的尺度化因子，translate'是水平或垂直空间平移参数，x'和y'分别是在去扭曲变换之后的纬度位置和经度位置。在特定实施例中，可以基于相机系统的相机中的一个或多个的特性使用所估计的尺度化因子来执行去扭曲处理。在特定实施例中，可以对一个或多个初始图像集合执行去扭曲处理，并且可以使用去扭曲处理的抽象(abstraction)而将去扭曲处理的简化版本应用于稍后图像。作为示例而非通过限定的方式，可以抽象对点和图像的存取，以提供更快的去扭曲处理。
在步骤305，可以检测形成场景的接收到的图像中的特征，如图10的示例所示。在特定实施例中，可以对图像I-6的灰阶版本执行特征检测和匹配，并且可以在分离操作中或通过查找表(LUT)将特定对比度应用于图像I-6。在特定实施例中，可以使用局部对比度增强来对图像I-6全局地执行特征检测。局部对比度增强增加“局部”对比度，而同时防止“全局”对比度的增加，由此保护大尺度阴影/高亮细节。作为示例而非通过限定的方式，局部对比度梯度可以指示与特征对应的边沿、转角或“斑点(blob)”。可以使用特征检测算法(例如比如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)或定向FAST和旋转BRIEF(ORB))来检测图像I-6的特征，其中，FAST代表“来自加速分段测试的特征”，BRIEF代表“二元鲁棒独立基本特征”。在特定实施例中，特征检测处理可以检测一个或多个特征点214。作为示例而非通过限定的方式，可以通过采用多个高斯平滑运算的差来检测特征点214。此外，可以存储特征点214的位置(例如网格内或搜索区域212内)以及用于每个搜索区域212的每个特征点214的对比度值。
图11示出图像的示例分区。在特定实施例中，接收到的图像(例如图像I-7至I-5)可以分区为多个搜索区域212。作为示例而非通过限定的方式，图像I-7至I-5可以与对应于特定眼睛的图像(例如所有左边图像或右边图像)对应，如图7的示例所示。在特定实施例中，接收到的图像(例如I-7至I-5)可以分区为在4×6矩形网格中布置的24个搜索区域，如图11的示例所示。如上所述，来自与特定眼睛对应的相邻相机(例如所有左边相机)的图像(例如I-7至I-5)具有与各自相机的FOV之间的角度重叠116成正比的重叠区块2106-7和2105-6。在特定实施例中，图像(例如I-7至I-5)的重叠区块2106-7和2105-6可以与接收到的图像(例如I-7至I-5)的右边边沿和左边边沿对应。在特定实施例中，特征点检测或匹配可以受限为相邻图像的重叠区块。在图11的示例中，对于相邻图像I-6和I-7，特征点检测可以仅应用在重叠区块2106-7中。可以不考虑重叠区块210外的区域，这样可以确保位于重叠区块外部的无关的或不必要的点不影响拼接处理。
图12示出图像的示例特征点匹配。在步骤310，可以对重叠区块2106-7的搜索区域局部地执行特征点匹配，以使拼接图像220上的无关点的影响最小化，如图10的示例所示。作为示例而非通过限定的方式，可以对检测到的特征点214A-B执行特征点计算，以将图像I-6的特征点214A匹配到图像I-7的对应特征点214B。可以通过局部地对重叠区块2106-7的搜索区域中的每个检测到的特征点214A-B周围的区块进行比较来检测各对对应特征点214A-B。在特定实施例中，用于各自图像I-7和I-6中的该特征点214A-B的各自对比度设置可以应用为特征点214A-B的匹配的部分。作为示例而非通过限定的方式，图像I-7与I-6之间的对比度差可以作为对比度曲线的偏移被补偿。在特定实施例中，可以通过附加位(例如对于8位值使用有符号16比特)来计算该对比度曲线的偏移，以将其纳入考量。偏移的差可以使得最佳匹配具有提前已知的均匀差。
在特定实施例中，可以根据图像的大小来设置用于匹配特征点214的区块的大小。在特定实施例中，相机系统110的几何形状可以是已知的，并且基于已知的相机系统几何形状，相邻图像I-6和I-7的搜索区域和重叠区块2106-7的像素的近似数量可以是先验获知的。作为示例而非通过限定的方式，由于相机系统110的相机112的位置和定向相对于彼此是固定的，因此各相邻左边相机(例如相机L1和L2)或各相邻右边相机(例如相机R11和R12)之间的重叠可以是已知的，并且相似地，相邻左边相机或右边相机(例如相机L1与R1)之间的重叠也可以是已知的。在特定实施例中，可以使用最近邻近体搜索算法来执行确定各对对应特征点。作为示例而非通过限定的方式，最近邻近体搜索算法可以标识匹配图像I-6的重叠区块2106-7的每个搜索区域内的特征点214A的对应图案的图像I-7的重叠区块2106-7的每个搜索区域内的特征点214B的图案。在特定实施例中，最近邻近体算法可以使用每个特征点214A-B周围的搜索半径，以确定各对对应特征点214A-B。作为示例而非通过限定的方式，搜索区块可以具有32个像素、64个像素的半径或任何合适的半径，或搜索区块可以具有32像素×32像素、64像素×64像素的大小或任何合适的大小。在特定实施例中，次级细化步骤可以用于在最终单应性计算之前重新对准各对对应特征点。
在特定实施例中，特征匹配过程可以使用所估计的参数，并且一些搜索可以应用于重叠区块或搜索区域内以优化位置。在特定实施例中，随着特征搜索从图像(例如图像I-6或I-7)的中心移动到边沿，搜索半径可以增加。作为示例而非通过限定的方式，搜索半径可以由于与实际参数与所估计参数(例如实际FOV对所估计FOV)之间的差关联的增加的误差而增加。在特定实施例中，附加特征点可以将比预定数量更少(例如3对)的各对对应特征点214A-B加入到区域212。作为示例而非通过限定的方式，如果特征搜索揭示特定区域212中的少于3个的特征点，则来自备份特征点集合的备份特征点可以加入到特征集合。在特定实施例中，备份、替换或附加特征点可以基于相机系统110的特性、每个相机112的特性、校准数据或其组合，并且附加特征点可以在数据结构中指示或标记。
在特定实施例中，相机参数或图像(例如I-6和I-7)可以被启发式优化，以减少最终优化中用以生成拼接图像220的自变量的数量。作为示例而非通过限定的方式，启发式优化可以用于优化或细化一个或多个与相机有关的参数(例如FOV、定向114或垂直相机中心或水平相机中心的位置)。特征匹配过程可以至少部分地基于已知的相机几何形状(例如相机系统110的相机112的位置或定向)或校准处理使用估计的相机参数。例如，获知相机112的标称位置和定向可以允许进行相机FOV、角度重叠116、相机定向114或相机位置(例如垂直相机中心或水平相机中心的位置)的估计。在特定实施例中，可以迭代地或通过使用用于多个非线性值的组数值方法来优化所估计的相机参数。在特定实施例中，对于每个图像(例如I-6和I-7)，各对对应特征点214A-B的位置可以彼此比较，并且基于各自特征点214A-B的位置的偏移而对于对应相机参数进行调整。作为示例而非通过限定的方式，可以响应于检测到关于各特征点214A-B之间的平均值的径向偏移调整FOV参数或定向参数。作为另一示例而非通过限定的方式，可以响应于分别检测到关于各特征点214A-B之间的平均值的垂直偏移或水平偏移调整(例如平移)垂直相机位置参数或水平相机位置参数。
在步骤315，可以使用基于所匹配的各对对应特征点的单应性矩阵来确定图像I-6与I-7之间的相机位移(例如相机旋转或平移)的估计，如图10的示例所示。在特定实施例中，可以基于单应性矩阵所确定的所估计的相机位移进行对图像I-6和I-7的调整。可以使用单应性矩阵来计算用于调整并且对准图像I-6和I-7以形成合并的拼接图像220的拼接参数。作为示例而非通过限定的方式，可以对于图像I-6和I-7初始地计算单应性矩阵，并且可以基于计算出的单应性矩阵对后续图像进行调整。
可以对图像I-7和I-6进行调整，以适当地将图像I-7和I-6组合为拼接图像220。在特定实施例中，可以进行调整以满足一个或多个优化准则。作为示例而非通过限定的方式，优化准则可以是：应当最小化各对对应特征点214A-B的垂直偏移或水平偏移。作为另一示例，优化准则可以是：各对对应特征点214A-B的水平偏移应小于在观看者将看见双倍之前的最大水平偏移。作为又一示例，优化准则可以是：各对对应特征点214A-B的垂直偏移应小于最大垂直偏移。
在特定实施例中，可以假设一个或多个初始条件来执行对图像I-6和I-7的调整。作为示例而非通过限定的方式，初始条件可以假设第一相机对(例如图4中的相机对L1-R1)具有定义相机系统110的主射线(或偏航)的定向114。作为另一示例，初始条件可以假设用于保持(相对于第一相机对的)其余相机对相对于y轴的定向114是Yi＝(i-1)×360°/n，其中，y轴与相机系统的平面正交，i＝2……n，并且n是相机系统的相机对的数量。作为示例而非通过限定的方式，对于具有n＝8个相机对的相机系统110，相机对200相对于彼此以45度定向。作为又一示例，初始条件可以假设相机系统110的相机112沿着x轴和z轴是水平的(例如分别零滚动和俯仰)。
在特定实施例中，可以通过使一个或多个优化代价最小化来确定对图像I-6和I-7的调整。作为示例而非通过限定的方式，各对对应特征点214A-B之间的距离可以表示基本总优化代价。作为另一示例，沿着轴的旋转调整可以具有与加权旋转位移成正比的代价(例如，关于每个轴——偏航、俯仰和滚动——的kx(X′-X0)2，其中，kx是加权系数)。此外，每个轴可以具有特定加权系数，例如比如用于偏航轴的kY、用于俯仰轴的kP以及用于滚动轴的kR。在特定实施例中，图像I-6和I-7的FOV或平移调整可以具有每轴kx|X′-X0|的线性代价。每个轴可以具有特定加权系数，例如比如用于FOV调整的kFOV、用于x轴平移的kCX以及用于y轴平移的kCY。在特定实施例中，优化代价可以函数化，从而优化代价函数可以被修改以处理角落情况。
在特定实施例中，可以通过使用启发式优化的结果、初始条件、优化代价或其任何组合来执行全局优化而将图像(例如I-6和I-7)拼接在一起。可以使用例如Monte-Carlo、梯度下降、高斯-牛顿的稀疏版本或其它合适的非线性优化求解法来全局地优化这些因素。在特定实施例中，可以通过(2)所表示的方程组来全局优化参数的系统。
数学图2
[数学式2]
x ′ y ′ 0 1 H o m o g r a p h y M a t r i x : Y P R s c a l e t r a n s l a t e → x ′ ′ y ′ ′ z ′ ′ 1
其中，x'和y'是来自去扭曲运算的坐标；单应性矩阵是从如上所述的各对对应特征点计算出。YPR分别是沿着偏航轴、俯仰轴和滚动轴的旋转调整；scale是图像的尺度；translate是平移调整；x”、y”和z”是优化后的坐标。
方程(2)所描述的方程组可能遭受收敛失败。在步骤325，具有出自备份源(例如校准)的多于40％的特征点的图像上的失败的收敛可以指示特定图像过于白、过于靠近、或缺少特征，如图10的示例所示。在此情况下，可以根据上述初始条件来调整特定图像。在特定实施例中，方程(2)所描述的方程组的收敛可能归因于具有过大的空间偏移的替换特征点而失败。在此情况下，替换特征点可以使得它们的优化代价减半，并且使得全局优化得以再次执行。作为示例而非通过限定的方式，可以执行预定次数(例如4个周期)优化的减少和执行全局优化。此外，如果方程(2)继续无法收敛，则特征点的贡献可以设置为零。
在特定实施例中，除了具有重叠的、来自与特定眼睛对应的相邻相机的图像之外，来自与另一眼睛对应的邻近相机的图像也可以具有与这两个图像的重叠。作为示例而非通过限定的方式，来自相机L1和L2的图像可以具有重叠区块，并且邻近相机(例如相机R1、R2或R3)也可以捕获包括相同重叠区块的图像。如图7的示例所示，图像I-L1和I-L2具有重叠区块210L1-2，并且图像I-R1也重叠两个图像。在特定实施例中，可以检测来自邻近相机(例如相机R1)的图像(例如图像I-R1)的特征，并且可以在相邻图像(例如图像I-L1和I-L2)的重叠区块(例如重叠区块210L1-2)与来自邻近相机的图像之间确定对应的各对特征点。此外，可以基于相邻相机的重叠区块以及来自邻近相机的图像的重叠部分的检测到的各对对应特征点而计算单应性矩阵。在特定实施例中，与相邻相机(例如相机L1和L2)对应的单应性矩阵的结果可以与对应于邻近相机(例如相机R1)的单应性矩阵进行比较。此外，确定对应于左眼视图的拼接图像与对应于右眼视图的拼接图像之间的对应性可以用于稳定立体对拼接图像之间的垂直偏移。
在特定实施例中，一旦计算出拼接参数或调整，如上所述，就可以关于正确性检查它们。在特定实施例中，可以使用相机系统110所捕获的已知场景的图像来执行校准。已知场景的各对对应特征点的检测可以提供可以用作用于拼接图像的图像调整的基础的特征点集合。一旦拼接服务器已经检测到重叠区块内的各对对应特征点，就可以在每个检测到的特征点周围的区块中执行误差计算(例如差的平方和)。如果误差计算高于预定阈值，则可以将检测到的该对对应特征点标记为可疑。如果各对对应特征点的数量落入对的预定阈值数量之下，则可以标记离散图像的拼接。在特定实施例中，可以通过校准数据的特征点来替换所标记的各对对应特征点，由此迫使单应性计算认为图像处于校准定向处。
在计算出单应性矩阵之后，可以关于正确性来检查它们。在步骤335，可以检查连续单应性矩阵的各偏航旋转之间的差，如图10的示例所示。如果差处于基于校准数据的期望差的±2-3°内，则如上所述，可以认为图像调整是正确的。作为示例而非通过限定的方式，可以计算用于每个相机分离30°的12-相机系统的单应性矩阵。如果偏航旋转差处于期望值的预定范围内(例如在27°和33°之间)，则可以认为计算出的单应性矩阵可接受。在特定实施例中，来自相机的图像用于计算单应性矩阵。如果计算出的单应性矩阵或相机方位处于期望位置和角度的±2度内，则可以认为拼接良好。在步骤345，如果拼接对于一些图像失败，则可以用来自校准数据的替换特征点来代替检测到的各对对应特征点，并且拼接过程重新尝试，如图10的示例所示。在步骤355，如果拼接过程对于大于阈值数量的多个图像失败，则可以拒绝整个拼接，并且可以使用来自最新成功拼接的帧的单应性矩阵，如图10的示例所示。在对于初始帧拼接失败出现时，可以代替地使用基于校准数据所计算的单应性矩阵。
图13示出示例顶部图像I-Top和拼接图像220。顶部图像I-Top可以由顶部相机112T捕获，拼接图像220可以源自将左边图像或右边图像(例如图像I-R1至I-Rn)拼接或组合在一起的拼接处理。在图13的示例中，拼接图像220包括图像I-1、I-2和I-3，其拼接在一起以形成拼接图像220。在特定实施例中，在来自相机112的图像拼接在一起以形成拼接图像220之后，可以将来自顶部相机112T的顶部图像I-Top拼接或加入到拼接图像220的上部分210U。相似地，在特定实施例中，可以将来自底部相机的图像拼接或加入到拼接图像220底部部分。在特定实施例中，将顶部图像或底部图像加入到拼接图像220可以提供增加的视图，以适应可能未覆盖±90°垂直FOV的拼接图像220。作为示例而非通过限定的方式，图7的示例所示的左边图像I-L1至I-Ln可以拼接在一起以形成具有与相机112的FOVV对应的垂直限度的拼接图像220。例如，拼接图像220可以表示相机系统110周围的360°水平全景视图，并且全景视图可以覆盖相对于相机系统110的水平平面的±70°垂直范围(与FOVV＝140°对应)。在形成拼接图像220之后，顶部图像I-Top可以拼接到拼接图像220的顶部部分，由此形成具有360°全景视图的图像，该360°全景视图带有具有近似-70°至近似+90°的范围的垂直限度。此外，底部图像也可以拼接到拼接图像220的底部部分，由此形成在所有方向上延伸(例如，覆盖在从近似-90°到近似+90°的范围中垂直延伸的整个360°水平视图，其中，-90°表示向下直看，+90°表示向上直看)的图像。虽然本公开描述并且示出具有特定水平限度和垂直限度的特定拼接图像，但本公开预期具有任何合适的水平限度和垂直限度的任何合适的拼接图像。
在特定实施例中，顶部图像I-Top的部分可以与拼接图像220的部分重叠或对应。此外，基于相机系统110的相机112的已知配置以及顶部相机112T的已知配置，顶部图像ITop的特定部分可以与特定图像(例如图像I-1、I-2、I-3等)相关。作为示例而非通过限定的方式，两个相邻接缝线217所界定的顶部图像I-Top的每个区域(例如阴影区域219)可以与拼接图像220的特定图像对应。在图13的示例中，图像I-Top的阴影区域219可以与相机系统110的特定相机112所捕获的图像I-2对应。构成拼接图像220的各图像和顶部图像I-Top的各部分之间的对应性可以基于相机112的配置或定向114以及顶部相机112T的配置。在特定实施例中，图像I-Top中的接缝线217可以与拼接图像220的接缝217M对应，其中，接缝217M可以表示形成拼接图像220的相邻离散图像之间的边界。作为另一示例而非通过限定的方式，中心线218可以与拼接图像220的离散图像的近似中心218M对应。在特定实施例中，在顶部图像I-Top被处理或优化以用于拼接到拼接图像220之前，线217和218可以分别表示用于接缝217M和中心218M的估计位置。
在特定实施例中，拼接图像220的上部分210U可以表示重叠顶部图像ITop的外部环状区域210T的拼接图像220的区块。例如，拼接图像220可以与相对于水平定向114覆盖例如±70°的FOVV对应，顶部图像I-Top可以与从垂直方向(例如+90°纬度)延伸到+60°的纬度的图像对应。图像I-Top的外部实线黑色圆形可以与+60°的纬度对应，图像I-Top的较小虚线圆形210E可以与+70°的纬度对应。重叠区块210U和210T可以与图像I-Top与拼接图像220之间的10°重叠(例如从纬度+60°到纬度+70°)对应。在特定实施例中，用于将顶部图像I-Top拼接到拼接图像220的算法可以包括：搜索特征；确定位于重叠区块210U和210T中的各对对应特征点，如上所述；以及使用这些对对应特征点以将图像I-Top'与拼接图像220拼接，如下所述。虽然本公开描述并且示出具有与彼此对应或重叠的特定部分的特定顶部图像和拼接图像，但本公开预期具有与彼此对应或重叠的任何合适的部分的任何合适的顶部图像和拼接图像。
图14示出在处理之后来自图13的示例顶部图像。在特定实施例中，在加入到拼接图像220之前，顶部图像ITop的较小虚线圆形210E可以被处理、变换或优化，以形成处理后的图像I-Top'，其然后拼接或加入到拼接图像220。在特定实施例中，应用于顶部图像I-Top的较小虚线圆形210E的处理步骤可以包括：旋转或移动线217或218，或扭曲顶部图像I-Top的较小虚线圆形210E，从而处理后的图像I-Top'与拼接图像220匹配或混合。在特定实施例中，可以与对应于左边和右边视图或眼睛的各自拼接图像220使用单个处理后的图像I-Top'。作为示例而非通过限定的方式，顶部图像I-Top的重叠区块210T可以在变换处理之前被剪切。在特定实施例中，处理后的图像I-Top'可以加入到表示左眼视图的拼接图像以及表示右眼视图的拼接图像。在特定实施例中，顶部图像I-Top的较小虚线圆形210E可以经受两个处理例程，以分别基于与左眼视图和右眼视图对应的拼接图像生成单独的左边和右边处理后的顶部图像。作为示例而非通过限定的方式，左边处理后的顶部图像可以加入到表示左眼视图的拼接图像，右边处理后的图像可以加入到表示右眼视图的拼接图像。
在特定实施例中，生成处理后的图像I-Top'的顶部图像I-Top的较小虚线圆形210E的处理以可以包括：检测重叠区块210T和210U中的各对对应特征点，如上所述。作为示例而非通过限定的方式，可以检测位于接缝线217与图像I-Top的外沿相交的附近的特征。检测到的特征的一个或多个特征点可以与来自拼接图像220的对应特征点匹配，并且基于对应各对特征点之间的匹配，可以计算图像ITop的较小虚线圆形210E相对于拼接图像220的偏移。在特定实施例中，在未检测到对应各对特征点的情况下，可以基于相机几何形状而确定特征点，或相机校准可以用于确定对顶部图像I-Top的较小虚线圆形210E所执行的处理。
在特定实施例中，可以确定顶部图像I-Top的中心周围的径向扭曲，从而顶部图像I-Top的中心位置中心保持固定。此外，基于所确定的径向扭曲，接缝线217可以旋转以与拼接图像216的接缝217M结束的位置相交，并且中心线218可以旋转以匹配在拼接离散图像以生成拼接图像220期间所执行的任何偏航调整。作为示例而非通过限定的方式，如果形成拼接图像220的离散图像(例如图像I-1、I-2或I-3)之一经受+2°的偏航调整，则+2°旋转可以应用于对应中心线218。
在特定实施例中，可以拉出或拉入图像I-Top'的较小虚线圆形210E的外沿的一个或多个部分，以匹配拼接图像220。作为示例而非通过限定的方式，可以拉出或拉入接缝线217或中心线218与图像I-Top的较小虚线圆形210E的外沿相交的位置，以匹配拼接图像220的对应区域。作为示例而非通过限定的方式，可以通过分别适当地增加或减少接缝线217或中心线218的长度来拉出或拉入图像I-Top的较小虚线圆形210E的外沿。在特定实施例中，处理后的图像I-Top'可以单独地保存为帽图像，或处理后的图像I-Top'可以集成到拼接图像220中。作为示例而非通过限定的方式，极坐标到直角坐标变换可以应用于处理后的图像I-Top'，并且处理后的图像I-Top'可以然后与拼接图像220混合，如下所述。
在特定实施例中，可以使用梯度混合来“混合”离散图像拼接在一起以形成拼接图像220的接缝217M。作为示例而非通过限定的方式，光亮度或亮度可以具有沿着接近接缝217M的方向的梯度。例如，从任一侧向方向朝向接缝217M移动，亮度可以降低。可以通过相似方式来混合拼接图像220和处理后的图像I-Top'的外沿的相交部分。作为示例而非通过限定的方式，拼接图像220与处理后的图像I-Top'之间的相交部分的亮度可以具有与拼接图像220的尺度成正比的梯度，从而混合在高纬度处是平滑的。
离散图像的混合可以出现在囊括接缝217M的重叠区块内。此外，混合可以沿着非线性路径出现，以减少来自混合路径的视觉不连续性。在特定实施例中，混合算法可以探索多个候选混合路径。可以在相邻离散图像的相交部分周围的区块中执行边沿检测算法。如果候选混合路径适合任一图像的侧边沿，则候选混合路径可以在两个方向上跟随侧边沿，直到候选混合路径处于拼接图像220的底部边沿处。如果候选混合路径相交，则候选路径可以沿着它们的当前方向继续。在特定实施例中，从候选混合路径选择混合路径可以基于仅选择到达拼接图像220的底部边沿的候选混合路径，或如果多个候选混合路径到达底部边沿，则选择最短候选混合路径。在特定实施例中，候选混合路径是关于候选混合路径所处的图像的中心最小凹入的。对于所“跟踪”的部分，掩蔽梯度直接在具有小模糊半径的迹线上应是50％。
在特定实施例中，Voronoi型接缝发现器可以用于在空间上稳定拼接。这种空间稳定性可以确保共享的单应性矩阵和混合数据可以重用，这样可以减少混合边沿闪烁。Voronoi型接缝发现器可以用于进一步细化用于特征匹配器的搜索区块，如上所述，由此改封闭在进最有可能处于输出图像中的区块(例如重叠区块)内的特征点的单应性矩阵的精度。该数据可以实时反馈到前端处理器，以忽略可能不在拼接图像220的拼接中使用的图像数据。
在特定实施例中，当生成拼接图像220时，所捕获的图像中的对象的近场深度的变化可能是关注。如上所述，深度信息(例如使用立体图像对从深度传感器或对象的三角测量获得)可以用于基于特征点对相机的接近度而分隔特征点匹配。更靠近观看者或相机的对象具有与更远离对象不同的用于拼接的几何形状。在特定实施例中，远场对象的深度变化可以对拼接质量具有极小影响，并且因此，计算资源可以关注于考虑近场深度变化。在特定实施例中，拼接服务器130可以基于深度数据确定一个或多个图像中的对象是否位于可以采取附加措施以改进拼接质量的区块内。作为示例而非通过限定的方式，然后可以响应于检测到位于相机112或相机系统110的预定阈值距离内的对象，触发单应性矩阵的计算(或重新计算)。
在特定实施例中，离散图像可以分区为分离地拼接和混合的多个部分，或由于近场对象可以具有比远场对象更可见的拼接误差，因此可以对近场对象赋优先级。作为示例而非通过限定的方式，近场对象可以与远场对象分隔，并且分离地拼接。在特定实施例中，可以通过使用二元掩蔽在远场对象上放置近场对象，来将所分隔的近场对象掩蔽到具有远场对象的拼接图像220上。对于观测关于该近场对象的同一场的各相机各近场对象可能看上去非常不同。在特定实施例中，拼接服务器可以选取使用相邻图像之一，以拼接重叠区块中的对象。作为示例而非通过限定的方式，接缝发现器(例如Voronoi型)可以用于拼接来自包含大部分近场对象的区块的图像的近场对象。在特定实施例中，非均匀扭曲可以用于将用于近场对象的单应性矩阵与用于远场对象的单应性矩阵组合。基于格状的扭曲例如可以在近场对象与远场对象之间的边沿处在单应性矩阵之间过渡，以用于对拼接图像220的背景和前景二者进行拼接。
当对象从远场移动到近场时，单应性矩阵可以显著改变。在特定实施例中，可以对来自拼接处理的单独的计算线程执行单应性矩阵的计算。作为示例而非通过限定的方式，一个计算线程可以执行离散图像的拼接，而另一个计算线程可以对于单应性数据分析离散图像，并且将更新提供给共享的存储体。可以通过使用校准数据或使用最新可用单应性矩阵来管理其余情况。在特定实施例中，可以使用图形处理单元(GPU)来加速计算单应性矩阵或拼接处理。作为示例而非通过限定的方式，系统的中央处理单元(CPU)可以用于计算单应性矩阵，GPU可以用于对离散图像进行变形并且混合。
在特定实施例中，可以执行对于用于立体视频的拼接特定的一个或多个调整。在特定实施例中，来自与左眼视图和右眼视图对应的拼接图像220的各对对应特征点可以投影到3-D球形投影空间上。在特定实施例中，可能存在用于左眼视图和右眼视图的开始点之间的差异。可以通过第一相机位置用作开始位置并且第一相机具有零的偏航的初始条件来校正这种差异。可以基于这些初始条件而调整其余相机。
在特定实施例中，可以使用共享的单应性矩阵来执行与左眼视图和右眼视图对应的拼接图像220。计算用于生成与左眼视图对应的拼接图像220的调整的拼接处理可以与计算用于生成与右眼视图对应的拼接图像220的调整的拼接处理进行通信，以确保整体单应性和图像调整在左眼视图与右眼视图之间是一致的。此外，图像参数或曝光校正在左眼视图与右眼视图之间应该在合理范围内是一致的。在特定实施例中，立体视频可以具有在左眼视图与右眼视图之间时间同步的帧。
在特定实施例中，生成用于视频的拼接图像220可以使用前瞻方法。作为示例而非通过限定的方式，对于当前帧，可以对于当前帧以及一些预定数量的未来的后续帧计算拼接调整(例如单应性矩阵)。在特定实施例中，响应于检测到未来帧中出现的一对对应特征点(例如对象从远场到近场的移动)的实质性改变，计算完整拼接参数集合。此外，可以设置使得拼接参数被内插(例如正弦缓动)到新计算出的拼接参数的改变标志，从而拼接平滑地切换以处理场景的改变。预定数量的后续帧的确定应合并计算新的拼接调整所需的时间。
图15和图16分别示出用于拼接离散图像的示例方法500和550。在特定实施例中，用于拼接实时360°3-D视频的方法500跨越多个拼接服务器分布各个帧的拼接，如图15的示例所示。可以每拼接服务器进行单应性矩阵管理，或拼接服务器可以使用中央单应性服务器来共享单应性矩阵。在特定实施例中，中央单应性服务器可以分派单独服务器节点以计算单应性矩阵或拼接图像。用于完成拼接图像的服务器的数量可以与期望的帧率或拼接服务器的吞吐量成正比。作为示例而非通过限定的方式，对于具有1帧每秒(FPS)吞吐量的单个拼接服务器，30个拼接服务器可以用于产生30FPS拼接视频。
在特定实施例中，用于拼接实时360°3-D视频的另一方法550跨越多个拼接服务器分布视频的分段(例如视频块或多个帧)的拼接，如图15的示例所示。多个拼接服务器可以同时处置视频的拼接，其中，每个拼接服务器生成与接收到视频的分段对应的拼接视频分段。收集服务器或视频组合器可以从拼接服务器接收各个视频分段，并且合并它们，以产生拼接视频。
在特定实施例中，可以人工拼接离散图像，以生成拼接图像或视频。可以绕过各对对应特征点的特征提取和确定，并且人工选择所提供的各对对应特征点。从此，可以如上所述执行拼接处理的其余部分。
360°立体3-D视频的传输可能需要内容服务器140与显示视频的客户机设备150之间的高带宽网络连接。作为示例而非通过限定的方式，360°立体3-D视频可以使用5倍之多的数据带宽作为标准视频。编解码器是可以用于高效地对与360°立体3-D视频对应的数字数据流进行编码的计算机程序。在特定实施例中，编解码器可以按时序基于对先前帧的基准对360°立体视频流的后续帧进行编码。作为示例而非通过限定的方式，编解码器可以将初始视频帧用作正常地编码的初级图像。编解码器对下一时序图像与主级图像之间的差或“Δ”进行确定并且编码，以捕获时序偏移。如上所述，与左眼视图和右眼视图对应的图像的立体对具有距彼此的空间偏移。在特定实施例中，编解码器可以附加地以与时序编码相似的方式在空间上将立体视频的图像编码为初级/次级图像对。作为示例而非通过限定的方式，用于时序编码的初级图像可以与来自一只眼睛的视图对应，并且用作用于空间编码的初级图像。在特定实施例中，用于另一只眼睛的对应图像可以编码为相对于初级图像的“Δ”或B图像。作为示例而非通过限定的方式，编解码器确定并且编码对应于一只眼睛的初级帧与对应于该眼睛的图像之间的“Δ”，以捕获空间偏移。在特定实施例中，编码可以将左眼视图和右眼视图的空间编码与当前图像和后续图像的时序编码进行组合。在特定实施例中，对于左边图像与右边图像之间的相似性或差异的搜索可以使用在图像的处理期间由拼接系统计算出的点漂移的知识。
在特定实施例中，由于多数空间信息将是相同或相似的，因此编解码器可以用于通过将左眼视图和右眼视图组合为单个图像来压缩最终视频输出，由此捕获各帧之间的空间冗余性。此外，由于多数时序数据将是相同或相似的，因此编解码器可以用于通过将左眼视图和右眼视图的单个图像与左眼视图和右眼视图的后续单个图像进行组合来压缩最终视频输出，由此捕获各帧之间的时序冗余性。因此，在特定实施例中，编解码器可以包括描述都与相同时序时间点对应的从左眼图像到右眼图像(或反之亦然)的Δ、从在第一时间点的左眼图像到在第二时间点的左眼图像的Δ、从在第一时间点的左眼图像到在第二时间点的右眼图像的Δ、或其任何合适的组合的信息。编解码器可以将与任何合适的一个或多个时间点对应的图像用作基准。本公开预期编解码器可以对于给定相机对使用左边图像或右边图像。在特定实施例中，编解码器可以通过确定一个或多个共享变换块来压缩最终视频，从而块数据的潜在“字典”可以用于执行压缩和运动补偿。可以在左边视频与右边视频之间共享变换块或潜在字典，由此允许具有共享潜在压缩数据的两个流的视频。在特定实施例中，变换块可以充当对用于压缩最终视频的线性块变换(例如离散余弦变换(DCT))的输入。在特定实施例中，编解码器可以保持四个分离的运动补偿流：(1)对于初级眼睛的运动的补偿；(2)初级眼睛的运动的改变；(3)对于次级眼睛的偏移(以及偏移的改变)；以及(4)次级眼睛的运动的改变。
在特定实施例中，拼接系统可以将离散图像一起拼接到立体3-D360°视频中，并且将立体3-D360°视频存储为高数据视频帧。对于高速度、高分辨率视频回放或低延迟情形，优可以选客户机设备150使用其GPU或CPU来执行拼接操作。在这些情况下，内容服务器140可以存储用于客户机设备150的参数和掩蔽，以正确地拼接接收到的图像，客户机设备150可以基于所述参数和掩蔽而执行变形、合成或混合步骤。掩蔽可以按低分辨率存储为二元图像，并且使用所述参数，二元图像可以通过内插而扩展为适当分辨率，和接收到的图像拼接在一起以重建场景。在特定实施例中，掩蔽可以不逐帧生成，并且可以仅当检测到改变时存储。也可以采取组合式方法，其中，完全合成帧的低分辨率版本并且保持为用作背景，但可以检索原样的高分辨率图像然后在客户机设备150上对其进行变形和合成。
图17示出包括各个视频数据分量的内容容器142。在特定实施例中，合成流可以指代包括结合到单个内容容器142中的视频数据的分量(或容器流)。在特定实施例中，视频数据可以存储为具有在容器142内部交错的多个流或子流的单个容器(内容容器142)。在特定实施例中，内容容器142可以包括多个子流，例如比如，视频子流(例如按多个分辨率合成的视频、单个相机流、受操控的相机流或顶部/底部盖帽视频数据)；音频子流(例如，具有或没有空间重构数据的音频、立体音频或单音频)；重构子流(例如掩蔽数据、变形数据、校正数据或投影参数)；或其任何组合。在图17的示例中，内容容器142包括视频子流1至N、音频子流1至M以及重构信息1至R。在特定实施例中，合成流的一个或多个音频子流可以与一个或多个视频子流时间同步。此外，音频空间重构数据可以包括用于在空间上从音频子流中的一个或多个重建360°音频(“环绕声音”)的数据。在特定实施例中，用于360°立体3-D视频的视频流可以是包括整个图像数据的视频流或用于相机系统的每个相机的视频流。在特定实施例中，客户机设备150可以作为单独的流接收参数和掩蔽，并且根据需要检索特定图像帧。虽然本公开描述并且示出具有特定分量或子流的特定合成流，但本公开预期具有任何合适的分量或子流的任何合适的合成流。
图18示出被配置为将内容容器142作为合成流进行广播的示例内容服务器140。在特定实施例中，内容服务器140可以将具有内容容器142的合成流(可能地以速率有限方式)流送到客户机设备150，客户机设备150可以对流进行解包并且理解。作为示例而非通过限定的方式，图18所示的方法可以应用于广播现场流，其中，内容服务器140可以通过很少或没有内容服务器140所应用的附加处理来直接广播(例如从拼接服务器130接收到的)合成流。作为另一示例而非通过限定的方式，图18所示的示例传输方法可以应用于具有最小等级的内部冗余的合成流。在特定实施例中，内容服务器140可以是超文本传输协议(HTTP)服务器、内容服务器140可以被配置为将内容容器142发送到客户机设备150。在特定实施例中，可以按较高数据速率传送合成流的初始部分，以填充客户机设备150的缓冲器，然后，可以按减少的数据速率传送合成流的其余部分。在特定实施例中，拼接服务器130可以输出多个合成流，每个具有按视频参数(例如分辨率、帧率或压缩参数)所确定的不同比特率。作为示例而非通过限定的方式，内容服务器140或客户机设备150可以基于可用带宽或所请求的带宽选择适当的流。
图19示出涉及非随附(unbundled)流的直接传输的示例传输方案。在特定实施例中，内容服务器140可以通过单独的流的形式而不是单个合成流来发送视频数据。作为示例而非通过限定的方式，客户机设备150可以单独地请求资源(例如视频流2、音频流2以及重构信息2)，然后客户机设备150可以单独地接收这些资源并且根据需要利用它们。在特定实施例中，可以包括(例如具有各个流的元数据或位置的)描述符文件或流，以促进存取。
图20示出用于传输视频流的示例居间(mediated)方案。在特定实施例中，内容服务器140可以对合成流(例如原始内容容器142)中所包括的数据进行解码和理解。在特定实施例中，客户机设备150可以发送对特定合成流的请求。作为示例而非通过限定的方式，对视频流的请求可以包括用于包括或省略视频流的一个或多个分量或子流的指令或用于选择具有特定比特率的分量或子流的指令。例如，分量或子流可以与包括多个视图的视频流的特定视图对应。内容服务器140可以存取分量流，以响应于从客户机设备150接收到请求而提取分量流的分量。在特定实施例中，内容服务器140可以将与客户机设备150所请求的分量或子流对应的所请求的分量或子流组装为客户流。在图20的示例中，客户流(“发送到客户机的内容容器”)包括视频流i、视频流j、音频流m以及重构信息q。内容服务器140然后将客户流发送到客户机设备150。作为示例而非通过限定的方式，没有扬声器或没有声卡的客户机设备可以包括用于从内容服务器140所发送的客户流排除与音频有关的信息的指令。作为另一示例而非通过限定的方式，具有高清晰度显示器的客户机设备150可以请求高分辨率视频流。
图21示出用于传输视频流的另一示例居间方案。如上所述，内容服务器140可以对合成流中所包括的数据进行解码和理解。此外，客户机设备150可以向内容服务器140发送可以包括用于内容服务器对一个或多个分量或子流执行变换的指令的对特定视频馈送的请求。作为示例而非通过限定的方式，客户机设备150的请求可以包括用于通过对合成流的一个或多个分量或子流进行转码或重定大小来定制流的指令。例如，客户流中所包括的视频子流中的一个或多个可以在时间上或空间上被编码，如上所述，或编码为符合任何合适的编码格式(例如运动图像专家组-4(MPEG-4))。作为另一示例，来自移动设备的请求可以包括用于将视频流重定大小为适合于移动设备的屏幕大小以及连接的带宽的分辨率的指令。
图22示出用于传输视频流的另一示例居间方案。在特定实施例中，内容服务器140可以将合成流的分量和子流存储为单独的流，从而无需内容服务器在从客户机设备150接收到请求时提取合成流的分量。如上所述，客户机设备150可以将包括选择合成流的一个或多个分量或子流的指令的请求发送到内容服务器140。内容服务器140可以检索所请求的分量或子流，并且将所请求的分量或子流发送到客户机设备150。在特定实施例中，来自客户机设备150的请求可以包括用于对合成流的分量或子流中的一个或多个执行变换的指令。如上所述，变换可以包括对一个或多个分量或子流进行转码或重定大小。作为示例而非通过限定的方式，来自客户机设备150的指令可以指示内容服务器140将一个或多个音频流转码为环绕声音格式(例如空间音频编码(SAC))。
图23示出分片流集合144。在图23的示例中，分片流集合144包括与顶部片S-Top和底部片S-Bottom对应的两个流。分片流集合144还包括与表示相机系统110的相机112所提供的360度视图的片S-1至S-N对应的N个流。在此，术语片可以指代可以在同一帧中与其它区域分离地编码的帧的空间独特区域。此外，在此，术语分片流可以指代已经分离为多个独立视频流的拼接视频流或未拼接视频流，多个独立视频流合成视频帧的垂直片和/或水平片，其中每个视频流可以是独立地可解码的。在特定实施例中，分片流集合144可以附加地包括来自合成流的数据，例如音频信息或控制信息。
图24示出用于传输视频流的示例交互方案。在特定实施例中，内容服务器140可以将合成流分离为可以单独地存取或流送的片。在特定实施例中，内容服务器140可以基于来自客户机设备150的输入以交互方式提供对分片流的存取。作为示例而非通过限定的方式，分片流可以是实时360°3-D视频，并且来自客户机设备150的输入可以对内容服务器140描述用户的定向。内容服务器140可以动态地服务与用户正观看的区块对应的帧。作为示例而非通过限定的方式，内容服务器140可以选择与用户的定向对应的视频流的一个或多个帧，并且将所选择的帧发送到客户机设备150。在特定实施例中，内容服务器140可以发送当显示在客户机设备150上时充当背景场景的较低分辨率的、完整拼接的视频流。在可能存在从内容服务器140接收完全分辨率视频流中的延时的时间段期间，可以对于用户显示背景场景。客户机设备150上所呈现的视频的细节等级(LoD)可以随着从内容服务器140接收完全分辨率视频流而增加。
除了定向数据之外，客户机设备150还可以发送用于选择分片流的一个或多个分量或帧的指令。在特定实施例中，指令也可以命令内容服务器140变换分片流的分量或帧中的一个或多个。作为示例而非通过限定的方式，内容服务器140可以响应于来自客户机设备150的选择一个或多个分量或帧的指令而从多个流存取并且服务数据。
在特定实施例中，客户机设备150可以基于推断出用户期待改变远景(perspective)(例如基于头戴式显示器(HMD)或远程的移动)，预测性地请求可视区块的每一侧上的附加片。客户机设备150可以基于推断出的远景的改变，发送选择一个或多个分量或帧的指令。LoD增加在观看者远景的过渡期间是微小的，但随着远景在观看方向上变得更稳定，LoD可以增量式地增加(例如增加的视频分辨率)。在特定实施例中，随着用户远景改变，来自客户机设备150的指令可以渐进地选择较高分辨率视频片。
在特定实施例中，内容服务器140或客户机设备150可以使用延时或带宽感测算法，以动态地调整视频流的帧率，以补偿可用带宽的改变。作为示例而非通过限定的方式，背景完全拼接视频的传输速率可以减少，以恢复带宽。在特定实施例中，内容服务器140或客户机设备150可以基于客户机设备150的性质而进行附加判断。作为示例而非通过限定的方式，TV上的导航可能比HMD更慢，HMD可能比可以容易地在手中移动的移动电话或平板更慢。在特定实施例中，内容服务器140可以基于客户机设备150的设备简档调整一个或多个传输参数。
交互流送可以使用重新编码或仅关键帧编码流，例如比如运动联合图像专家组(M-JPEG)编码。在关键帧和中间帧都存在的情况下，内容服务器140可以对所有流进行解码，然后对所请求的片进行重新解码。在特定实施例中，内容服务器140可以合并加速器ASIC或其它能力，以加速视频流的重新编码/解码/操控。作为示例而非通过限定的方式，这些能力可以实现为具有专用硬件(例如加速器ASIC)的单独处理节点，其中内容服务器充当对该处理节点的代理。
在特定实施例中，整个数据流(例如内容容器142)可以发送到一个或多个客户机设备150。作为示例而非通过限定的方式，内容服务器140可以将内容容器142发送到一个或多个客户机设备150，并且每个客户机设备150可以选择或提取内容容器142的部分(例如，客户机设备150可以从内容容器142提取特定视频子流，以用于在客户机设备150上显示)。客户机设备150可以基于客户机设备150的需求或能力确定需要数据流的什么部分(例如，如果客户机设备150具有用于显示高清晰度视频的能力，则客户机设备150可以从内容容器142提取高清晰度视频流)。在特定实施例中，数据流的一个或多个部分可以发送到多个客户机设备150。作为示例而非通过限定的方式，内容服务器140可以将高清晰度视频流发送到具有用于显示高清晰度视频的能力的一个或多个客户机设备150，并且内容服务器140可以将标准清晰度视频流发送到具有用于显示标准清晰度视频的能力的一个或多个其它客户机设备150。
图25示出用于发送3-D360°视频的示例方法600。该方法可以开始于步骤610，其中，接收与三维视频的特定视图对应的请求。在特定实施例中，3-D视频包括多个视图。在步骤620，存取与视频对应的数据流。在步骤630，基于请求选择所存取的数据流的一个或多个部分。在特定实施例中，所选择的部分中的至少一个与特定视图对应。在步骤640，所存取的数据流的所选择的部分发送到客户机设备。特定实施例可以在适当的情况下重复图25的方法的一个或多个步骤。虽然本公开描述并且示出按特定顺序出现的图25的方法的特定步骤，但本公开预期按任何合适的顺序出现的图25的方法的任何合适的步骤。此外，虽然本公开描述并且示出包括图25的方法的特定步骤的用于发送3-D360°视频的示例方法，但在适当的情况下，本公开预期包括可以包括图25的方法的所有、一些步骤或不包括图25的方法的步骤的任何合适的步骤的、用于发送3-D360°视频的任何合适的方法。此外，虽然本公开描述并且示出执行图25的方法的特定步骤的特定组件、设备或系统，但本公开预期执行图25的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。
在特定实施例中，在3-D360°视频发送到客户机设备150之后，可以重构视频，从而用户可以作为3-D场景观看视频表示的场景。作为示例而非通过限定的方式，可以通过这样的方式来重构3-D360°视频：观看重构的视频的用户可以感知提供个人“身临其境”的感觉的自然、真实或沉浸式3-D环境，而不是仅观看屏幕上的场景的表示。在此，术语重构可以指代将2-D图像或视频转换为可以用于以真实3-D方式呈现场景的拼接或另外处理并且校准的视频流的动作。在特定实施例中，立体观看系统(例如HMD或3-D电视)可以执行重构。客户机设备150(例如HMD或3-D电视)可以从内容服务器140接收离散图像或流，并且客户机设备150可以通过组合、拼接或处理离散图像或流以产生立体3-D360°视频来执行重构。在特定实施例中，重构技术可以允许客户机设备150无缝地将3-D场景呈现给观看者，同时还提供以下中的一个或多个：带宽的高效使用；拼接处理的优化；采用先进网络流送技术的能力；或延时、计算或其它观看参数的优化。虽然本公开描述并且示出以特定方式执行的特定重构技术，但本公开预期以任何合适的方式执行的任何合适的重构技术。
在特定实施例中，重构技术可以应用于立体图像(例如如上所述使用相机系统110所捕获的图像)。作为示例而非通过限定的方式，可以通过(例如使用球体投影映射)将拼接图像映射到球体上来重构立体图像。当显示重构出的3-D视频时，用户的眼睛或头部可以表示为位于球体的中心处，其中，允许用户的头部自由地旋转，以观看3D视频的不同部分。随着用户的头部旋转，客户机设备150可以以无缝方式显示两个重构出的图像(例如左边图像和右边图像)。在特定实施例中，客户机设备150可以从内容服务器140接收各个图像、掩蔽数据以及变形参数。客户机设备150可以使用GPU或CPU以对图像进行变形，并且应用掩蔽或其它校正参数以在存储器中创建球形纹理。在特定实施例中，可以跳过或无视用户未观看的球体的部分，这样可以降低用于数据传送的带宽消耗。在特定实施例中，在检索或处理较高分辨率视频的同时，可以临时提供并且使用低分辨率图像(例如，当用户转动他们的头部以观看视频的不同部分时)。
在特定实施例中，重构处理可以包括摄影测量技术。作为示例而非通过限定的方式，摄影测量法可以是基于使用具有重叠FOV的相机集合来捕获非立体图像的。作为示例而非通过限定的方式，可以沿着圆形或圆形的部分布置相机集合，并且可以沿着源自圆形的公共中心点的径向线定向每个相机。在圆形中布置的相机集合所捕获的图像集合可以表示场景的360°视图，并且集合的每个图像可以与360°场景的特定角度位置对应(例如，每个相机可以具有不同的定向)。相邻相机可以具有与如上所述的角度重叠116相似的角度重叠。在特定实施例中，摄影测量法可以包括具有高度的角度重叠(例如大于或等于水平FOV的50％角度重叠)的相邻相机，从而至少两个相机捕获场景中的任何点。在特定实施例中，摄影测量方法可以使用与图像平面相交的其它图像，以合成3D信息。作为示例而非通过限定的方式，同一场景的多个视图可以用于创建单独的左边视图和右边视图，并且将3-D的感觉提供给观看者。来自不同视点的图像可以放置在数学上适当的位置处，以提供匹配捕获图像的相机的定向或FOV的重构。作为示例而非通过限定的方式，图像集合可以映射到对应多边形集合上。一旦放置或对准图像，就可以选取重叠的图像的适当部分，以产生具有3-D外观的立体视图(例如左边视图和右边视图)。在特定实施例中，可以不使用混合、拼接或重复的特征搜索或单应性计算来应用摄影测量技术。
在特定实施例中，摄影测量技术可以提供相对快或高效的方法以处理图像。作为示例而非通过限定的方式，摄影测量技术可以用于直接处理来自相机系统110的图像，并且提供相机系统110所捕获的场景的取景器型指示(例如，无需拼接或其它附加处理)。在相机系统110需要移动或其操作参数被调整的情况下，设置相机系统110以用于操作的人可以使用采用摄影测量法处理的图像，以快速观看相机系统110所获得的图像。作为另一示例而非通过限定的方式，如果拼接处理变为临时不可用或不可行时，可以应用摄影测量技术作为备份，以处理来自相机系统110的图像，或将图像平面放置在适当的焦距处。虽然本公开描述包括特定处理的特定摄影测量技术，但本公开预期包括任何合适的处理的任何合适的摄影测量技术。
图26示出基于使用摄影测量法的混合拼接的示例重构处理。在特定实施例中，重构处理可以包括使用摄影测量法的混合拼接，其中，摄影测量技术与拼接处理组合以生成3-D图像集合。至于上述摄影测量技术，使用摄影测量法的混合拼接可以无需立体图像捕获。在特定实施例中，可以使用具有重叠FOV的相机集合来捕获重叠图像650的集合，然后可以(例如使用上述拼接处理)将所捕获的图像650拼接在一起以形成合成图像655。在特定实施例中，如上所述拼接处理可以用于将所捕获的图像650组合在一起，但对于使用摄影测量法的混合拼接，所捕获的图像650可以不完全拼接(例如，图像可以被拼接，但可以不混合或合成)。在特定实施例中，在执行拼接处理以产生合成图像655之后，计算整个单应性集合。作为示例而非通过限定的方式，可以计算与各对相邻图像的相应各对对应特征点相关的单应性矩阵，如上所述。在特定实施例中，在计算出单应性之后，可以使用掩蔽或直接图像分段将所捕获的图像650划分为左边图像集合和右边图像集合。在图26的示例中，所捕获的图像650用于生成左边图像集合660和右边图像集合670。作为示例而非通过限定的方式，所捕获的图像650的每个图像可以具有与一个相邻图像共享的第一重叠区块210以及与另一相邻图像共享的第二重叠区块210。可以通过从所捕获的图像650的每个图像提取第一重叠区块210来形成左边图像660和集合，并且可以通过从所捕获的图像650的每个图像提取第二重叠区块210来形成右边图像670的集合。然后使用计算出的单应性将提取出的左边图像660拼接在一起，以产生伪立体左边图像665。相似地，使用计算出的单应性将提取出的右边图像670拼接在一起，以产生伪立体右边图像675。在特定实施例中，可以对左边拼接图像665和右边拼接图像675执行完全混合和合成处理。在特定实施例中，服务器(例如拼接服务器130)可以执行使用摄影测量法的混合拼接，并且内容服务器140可以将拼接图像665和675发送到客户机设备150。在特定实施例中，基本视频或图像可以连同单应性一起(例如由内容服务器140)发送到客户机设备150，并且客户机设备150可以执行最终拼接操作。
图27示出用于重构3-D360°视频的示例方法700。所述方法可以开始于步骤710，其中，存取表示场景的360°视图的多个图像。作为示例而非通过限定的方式，相机集合(例如非立体相机集合)可以捕获图像，每个相机定向为捕获360°场景的特定部分。在特定实施例中，每个图像可以表示360°场景的部分，每个图像可以包括第一重叠区块和第二重叠区块。第一重叠区块可以对应于与第一相邻图像的重叠，第二重叠区块对应于与第二相邻图像的重叠。在特定实施例中，特定图像的重叠区块可以包括该特定图像的面积的50％或更多。作为示例而非通过限定的方式，在水平方向上具有1000像素限度的特定图像可以具有包括至少像素0至500的第一重叠区块，并且可以具有包括至少像素500至1000的第二重叠区块。在步骤720，计算单应性集合。在特定实施例中，可以对于每个重叠区块计算单应性集合，单应性可以是基于重叠区块中的特征点的。作为示例而非通过限定的方式，特征点匹配处理如上所述可以应用于表示场景的360°视图的图像。在步骤730，可以从表示场景的360°视图的图像创建左边图像集合。左边图像集合可以表示场景的第一360°视图。在步骤740，可以从表示场景的360°视图的图像创建右边图像集合。右边图像集合可以表示场景的第二360°视图。在特定实施例中，左边和右边图像集合的创建可以基于摄影测量技术。在步骤750，左边图像拼接在一起。在特定实施例中，可以使用先前计算出的单应性将左边图像集合拼接在一起，以产生拼接的360°左边图像。在步骤760，右边图像拼接在一起，此时，所述方法可以结束。在特定实施例中，可以使用先前计算出的单应性将右边图像集合拼接在一起，以产生拼接的360°右边图像。特定实施例可以在适当的情况下重复图27的方法的一个或多个步骤。虽然本公开描述并且示出按特定顺序出现的图27的方法的特定步骤，但本公开预期按任何合适的顺序出现的图27的方法的任何合适的步骤。此外，虽然本公开描述并且示出包括图27的方法的特定步骤的、用于重构3-D360°视频的示例方法，但在适当的情况下，本公开预期包括可以包括图27的方法的所有或一些步骤或者不包括图27的方法的步骤的任何合适的步骤的、用于重构3-D360°视频的任何合适的方法。此外，虽然本公开描述并且示出执行图27的方法的特定步骤的特定组件、设备或系统，但本公开预期执行图27的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。
图28示出用于重构3-D360°视频的另一示例方法900。所述方法可以开始于步骤710，其中，存取表示场景的360°视图的多个图像。如上所述，相机集合(例如非立体相机集合)可以捕获图像，其中，每个图像可以表示360°场景的一部分，并且每个图像可以包括第一重叠区块和第二重叠区块。第一重叠区块可以对应于与第一相邻图像的重叠，第二重叠区块对应于与第二相邻图像的重叠。在步骤950，相机系统可以接收每个相机相对于其相邻相机的位置、来自相邻相机的各图像之间的重叠的量以及图像边界数据，如上所述。在步骤955，可以拼接来自相机系统的图像，以形成单目全景图像。作为示例而非通过限定的方式，特征点匹配处理如上所述可以应用于拼接表示场景的360°视图的图像。在特定实施例中，接收到的图像可以被分段，以创建用于左边虚拟立体相机(VSC)和右边VSC的两个图像边界。接收到的图像的面积可以扩展，从而合适的拼接重叠存在。在步骤960，可以计算虚拟位置。在步骤965，基于图像的重叠分段图像可以限定轴向边沿边界。作为示例而非通过限定的方式，轴向边沿边界可以与左边VSC的右边边界和右边VSC的左边边界对应。作为示例而非通过限定的方式，左边VSC的左边边沿和右边VSC的右边边沿由不同单目相机之间的拼接线(以橙色示出)限定。在步骤970，可以确定所分段的图像的反轴向边界。作为示例而非通过限定的方式，反轴向边界可以与左边VSC的左边边沿和右边VSC的右边边沿对应。在特定实施例中，反轴向边界可以由不同相机之间的拼接线或接缝限定。
在步骤975，可以生成捕获接收到的图像的边界的图像掩蔽。在特定实施例中，图像掩蔽限定单目图像的什么部分属于对应VSC。接收到的单目图像可以变形以补偿单目图像必须变形以补偿捕获场景的虚拟3-D空间中的对象的各种位置。在特定实施例中，变形的图像的边界可以是相对随意的，并且难以限定为简单线。反之，这些边界更易于捕获为掩蔽(例如左边VSC掩蔽和右边VSC掩蔽)。在步骤750，左边图像拼接在一起。在特定实施例中，可以使用先前计算出的用于左边图像的VSC掩蔽将左边图像集合拼接在一起。在步骤760，右边图像拼接在一起。在特定实施例中，可以使用先前计算出的用于右边图像的VSC掩蔽将右边图像集合拼接在一起。在步骤980，左边和右边拼接图像组合以形成3-D360°视频。特定实施例可以在适当的情况下重复图28的方法的一个或多个步骤。虽然本公开描述并且示出按特定顺序出现的图28的方法的特定步骤，但本公开预期按任何合适的顺序出现的图28的方法的任何合适的步骤。此外，虽然本公开描述并且示出包括图28的方法的特定步骤的用于重构3-D360°视频的示例方法，但在适当的情况下，本公开预期包括可以包括图28的方法的所有或一些步骤或者不包括图28的方法的步骤的任何合适的步骤的、用于重构3-D360°视频的任何合适的方法。此外，虽然本公开描述并且示出执行图28的方法的特定步骤的特定组件、设备或系统，但本公开预期执行图28的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。
图29示出在变形操作应用于图像之前以及之后的示例单目图像集合。在图29的示例中，图像765A、765B和765C与在应用变形操作之前的捕获的单目图像对应，图像767A、767B和767C与已经应用变形操作之后的图像对应。在特定实施例中，相机系统可以包括单目相机集合，其中，每个相机沿着相机系统的半径同轴对准。在特定实施例中，来自单目相机系统的单目图像集合可以组合，以形成显现为通过虚拟立体相机集合拍摄的拼接图像，其中，每个VSC对(例如一对左边VSC和右边VSC)与单目相机对应。作为示例而非通过限定的方式，可以在拼接处理期间变换单目图像集合，以产生分离的左眼输出和右眼输出。在特定实施例中，可以如上所述基于轴向边沿边界和反轴向边沿对单目图像进行分段。在特定实施例中，单目图像集合可以被变形以补偿场景中的对象的各种3-D位置。作为示例而非通过限定的方式，在已经应用变形操作之后的图像集合可以具有非线性的边界或穿过两个维度变化的边界，如图29中的变形的图像767A、767B和767C所示。在特定实施例中，图像边界可以形成可以限定单目图像的什么部分属于哪个VSC的掩蔽。虽然本公开描述并且示出以特定方式分段并且变形的特定单目图像，但本公开预期以任何合适的方式分段并且变形的任何合适的单目图像。
图30-31示出示例360°立体3-D环境。在特定实施例中，用户可以通过使用3-D能够的客户机设备体验沉浸式360°立体3-D环境240。在特定实施例中，用户被360°立体3-D环境240环绕，并且用户可以与360°立体3-D环境240交互，如图30的示例所示。用于观看360°立体视频的示例客户机设备150A-C可以包括头戴式显示器(HMD)、移动设备(例如电话、平板等)或电视。在特定实施例中，多个用户可以通过客户机设备150A-C观看360°立体3-D环境240，并且独立地从他们的唯一远景242A-C观看360°立体3-D环境240，如图31的示例所示。作为示例而非通过限定的方式，每个用户可以通过客户机设备150A-C实时地动态调整他们个人的360°立体3-D环境240的远景242A-C。此外，所选择的远景242A-C可以提供为实时捕获的并且实时在客户机设备150A-C上呈现的立体3-D视频。
如上所述，客户机设备150A-C可以对于提供360°立体3-D视频的内容服务器140描述每个用户的定向。在特定实施例中，客户机设备150A-C可以包括可以用于旋转或控制远景242A-C的惯性测量单元(IMU)。此外，客户机设备150A-C可以基于惯性测量确定每个用户的定向，从而360°立体3-D环境240可以呈现为与每个用户的左眼和右眼适当地对准。作为示例而非通过限定的方式，IMU可以包括回转仪、加速计或其组合。在特定实施例中，加速计可以用于确证重力矢量并且将360°立体3-D环境240对准用户的全局垂直轴。作为另一示例，可以基于用户对于显示器的相对位置调整所显示的远景242A-C的视差。在特定实施例中，当计算客户机设备150A-C的运动时，惯性测量传感器的较快采样可以产生更大的精度和准度。在特定实施例中，可以轮转来自IMU的自动运动计算的使用的控制。在特定实施例中，内容服务器140可以基于如上所述来自用户的输入，以交互方式提供对360°立体3-D环境240的访问。作为示例而非通过限定的方式，远景242A-C可以每个与由多个视图或远景构成的360°立体3-D环境240的特定视图或远景对应。因此，如在此更完整地描述的，客户机设备可以显示全景(例如360°)场景的特定视图，并且该场景可以划分为多个视图，其每一个可以随着例如用户转动她的头部由用户观看。本公开预期视图可以是连续的，从而视图仅是对用户显示的任何东西，并且用户可以例如通过转动她的头部来连续地调整显示。在特定实施例中，内容服务器140可以基于用户的定向从高分辨率流选择帧，并且可以将所选择的帧发送到客户机设备150A-C。内容服务器140可以预测客户机设备150A-C的运动的方向，并且基于预测出的运动的方向发送附加帧。
在特定实施例中，客户机设备150A-C可以是具有水平基准平面和垂直基准平面的智能电话或平板电脑，以在他们自己的运动的中心周围旋转。由于用户很可能在他们自己的运动的中心而非设备的中心周围旋转，因此，在这些情况下，旋转必须将平移纳入考量。可以通过运动控制来同时支持摇摄(panning)，以允许用户设置水平基准平面和垂直基准平面。替代地，重力矢量感测可以用于自动地设置这些平面。在特定实施例中，用户可以手动地建立用于360°立体3-D视频的垂直平面。作为示例而非通过限定的方式，可以通过摇摄客户机设备150A-C来旋转远景242A-C。在特定实施例中，用户可以在电话或平板电脑的触摸屏上执行手势以与360°立体3-D视频交互。作为示例而非通过限定的方式，捏夹手势可以增加客户机设备150A-C上正呈现的远景242A-C的缩放。
在特定实施例中，外围设备可以与客户机设备150A-C配对。作为示例而非通过限定的方式，外围设备可以是遥控、移动电话、平板计算机、操纵杆、触摸板、录写笔或可穿戴设备。此外，可以经由射频(RF)、光学传输、蓝牙、WI-FI或有线连接来执行配对。作为示例而非通过限定的方式，来自操纵杆或游戏控制器的输入可以用于摇摄远景242A-C。在特定实施例中，外围设备可以包括位置跟踪系统(例如PLAYSTATIONMOVE或WIIREMOTE)，并且位置或旋转跟踪可以用于修改远景242A-C。作为另一示例，触摸板或操纵杆可以用于录入上拉可视菜单或执行特定功能的“鼠标手势”。在特定实施例中，外围设备可以是遥控，远景242A-C可以基于加速计或回转仪数据通过遥控的移动而改变。作为另一示例，可以通过使用遥控的双向按钮放大或缩小被影响。作为另一示例，用户可以使用遥控的箭头键来旋转远景242A-C。在特定实施例中，外围设备可以包括可以用于将远景242A-C返回为已知的安全设置的特定按钮，由此允许用户容易地定位自身。如果需要缩放或其它控制，则双向按钮(例如频道控制)可以映射为这些功能。
在特定实施例中，外围设备可以与HMD配对以调整远景242A-C。作为示例而非通过限定的方式，外围设备(例如遥控或游戏控制器)可以包括物理纹理，以将用户引导到本地按钮或控制。此外，外围设备可以包括允许外部相机定位外围设备并且示出其在远景242A-C中的表示的标签(有源或无源)。在特定实施例中，外围设备的虚拟表示可以不是确切表示。例如，在可以对外围设备进行扩展以激发具有附加能力的外围设备的同时，可以精确地呈现一些部分(例如按钮或开关)。作为另一示例，外围设备可以使用当用户正触摸按钮时允许外围设备将输入提供给客户机设备150A-C的触摸感测。在特定实施例中，外围设备可以是附连到真实世界对象的一个或多个可附连传感器粘贴物。作为示例而非通过限定的方式，左边箭头功能粘贴物可以放置在对象(例如纸盒)的左侧上，右边箭头功能粘贴物可以放置在对象的右侧上。对象的每侧上的拍打可以通过视频内容导航。
在特定实施例中，外围设备可以是与客户机设备150A-C配对的可穿戴设备。作为示例而非通过限定的方式，外围设备可以是具有触感反馈的一个或多个手套。当用户触摸虚拟对象时，手套发送与对象关联的触觉反馈(例如纹理、感觉或温度)。在特定实施例中，外围设备可以是智能手表，或智能手表的移动可以控制远景242A-C的空间导航。IMU(例如加速计或回转仪)、地磁传感器或气压计可以检测移动。例如，当用户指点手指时，远景242A-C可以移动向前。作为另一示例，旋转或拨动智能手表可以将360°立体3-D视频在时间上向后或向前移动。作为另一示例，智能手表的移动可以将远景242A-C移动到不同位置或将360°立体3-D视频前进到下一章节。在特定实施例中，外围设备可以是用户的手指上佩戴的戒指。作为示例而非通过限定的方式，用户可以通过戒指的一侧上的旋转元件改变远景242A-C。作为另一示例，旋转元件可以控制360°立体3-D视频的回放速率。在特定实施例中，戒指可以包括用于用户输入的物理按钮或电容传感器。作为示例而非通过限定的方式，用户可以按压按钮以执行选择操作。作为另一示例，用户可以对电容传感器执行扫刷手势以控制远景242A-C。在特定实施例中，戒指可以使用加速计、气压计、回转仪或地磁传感器来执行移动感测，并且使用戴戒指的手指以控制远景242A-C的导航。
在特定实施例中，智能电话或平板电脑可以包括面对用户相机，并且用户输入可以通过跟踪用户的眼睛移动而提供。作为示例而非通过限定的方式，用户可以基于眨眼的量或持续时间导航360°立体3-D视频或用户界面(UI)。作为另一示例，可以响应于用户将他们的眼睛导引到远景242A-C的特定位置并且保持他们的眼睛位置达预定时间量而执行特定命令。作为另一示例，UI可以基于用户使得一只眼闭上并且另一只眼睁开而执行特定动作。
在特定实施例中，录写笔可以与平板电脑或智能电话结合使用，以交互或控制360°立体3-D视频。作为示例而非通过限定的方式，录写笔可以用于绘制、注记或选择360°立体3-D环境240的部分。例如，用户可以通过以录写笔笔尖跟踪360°立体3-D视频的对象的轮廓来执行“套索”选择。作为另一示例，当与客户机设备150A-C配对时，录写笔可以是“类似鼠标”的控制器。
在特定实施例中，客户机设备可以提供允许用户与360°立体3-D视频交互的UI。在特定实施例中，客户机设备150A-C的IMU可以使用用户的头部的运动以与UI交互(例如，他们的点头或摇头以确认或否认动作)。作为示例而非通过限定的方式，UI可以使用远景242A-C的各侧以显示菜单项或激活各种能力。例如，如果远景242A-C的中心包括主视频内容，则远景242A-C的各侧或后部可以包括用户可以观看以激活的控制。作为另一示例，UI可以水平地组织不同的视频总长度(footage)。用户可以通过水平地旋转头部来导航通过视频总长度。此外，通过上看或下看，用户可以逐帧地扩展所选择的总长度。作为另一示例，倾斜用户的头部可以带来远景242A-C的倾斜。作为另一示例，UI可以基于检测到用户执行的向下头部移动而打开动作的菜单。
在客户机设备150A-C是HMD的情况下，用户的的视觉可能受阻挡，并且用户可能与360°立体3-D环境240交互，而没有手或真实世界环境的可见性。在特定实施例中，HMD可以包括面向外相机，其可以用于跟踪用户的手的骨骼，以产生手的指针或虚拟图像。作为示例而非通过限定的方式，用户可以使用面向外相机所捕获的手势交互来与UI交互。在特定实施例中，客户机设备150A-C可以包括与头部接触的电极。作为示例而非通过限定的方式，一个或多个电极可以建构到HMD设备的边沿，以与在用户的头部的前面的前额皮层附近的区块进行接触。作为示例，UI可以包括大脑计算机界面(BCI)，其捕获大脑中的电活动，以与360°立体3-D环境240交互。此外，客户机设备150A-C可以推断用户的情绪或命令，并且相应地调整内容或远景242A-C。
在特定实施例中，客户机设备150A-C可以包括深度和图像传感器组合，以捕获在3-D中用户的四肢(例如手或脚)的移动。作为示例而非通过限定的方式，传感器可以是类似KINECT系统的部分。作为另一示例，客户机设备150A-C可以使用面对用户的相机对，以对用户的手进行分段并且通过三角测量来确证其3-D位置。在特定实施例中，客户机设备150A-C的UI可以从所捕获的用户的手的移动来识别特定姿势。此外，UI可以通过所捕获的用户的单手或双手的移动来提供对指针集合的直接控制。作为示例而非通过限定的方式，所捕获的手移动可以允许用户玩游戏，与其它虚拟内容交互，或注记虚拟风景。作为另一示例，用户也可以使用手势以例如暂停或运行360°立体3-D视频，访问控制(例如回倒、快进或音量)，或传送到不同的虚拟场景或区块。例如，UI可以允许用户通过举起他们的手来移动或框定360°立体3-D视频的部分。在特定实施例中，可以通过用户所“触摸”的UI的虚拟控制(例如虚拟按钮或滑动条)或通过在没有虚拟控制的情况下使用手势来完成360°立体3-D视频的控制。
作为示例而非通过限定的方式，UI可以基于识别出跟踪所显示的虚拟对象的轮廓的手指或手的移动，高亮或选择虚拟项。例如，UI可以提供特殊效果以在远景242A-C中区分所选择的对象与其它未选择的对象。作为另一示例，UI可以识别与虚拟QWERTY键盘或控制器面板上的输入对应的四指的移动。例如，UI可以基于虚拟键盘上的输入在远景242A-C上提供虚拟粘性便条。作为另一示例，UI可以响应于检测到两个拇指的移动执行选择操作或点击操作。此外，用户可以通过敲击虚拟键盘来选择字母，并且相机跟踪移动。作为另一示例，UI可以关联指点手势作为命令，以使得360°立体3-D视频前进到下一记录点。作为另一示例，UI可以基于检测到用户的双手之间的改变距离而放大或缩小远景242A-C。作为另一示例，UI可以基于捕获形成望远镜的形状的双手而在远景242A-C上放大。
作为另一示例，UI可以移除360°立体3-D环境240的部分，以响应于与向后剥离(peelingback)手势对应的捕获的移动而显露电话相机馈送。作为另一示例，UI可以基于检测到手扫刷手势而打开动作的菜单。作为另一示例，UI可以通过使用扫刷手势抹擦掉最近的远景242A-C来显示看穿远景242A-C。作为另一示例，UI可以支持基于用户的延伸手所限定的区块限定用于剪切远景242A-C的区块。剪切的区块可以与来自360°立体3-D视频的记录或现场流送的区段拼贴。作为另一示例，当用户激励虚拟按钮或执行特定手势时，UI可以在对相机馈送的流送内容之间切换。在特定实施例中，UI可以基于深度和图像传感器数据执行基于用户的移动的动作。作为示例而非通过限定的方式，用户进行的脚步移动可以打开通知，而踢运动可以撤销通知。
在特定实施例中，相机或深度相机可以用于将对象从用户的“真实世界”环境拉入远景242A-C中。作为示例而非通过限定的方式，用户可以处于他们的起居室中，并且在仍看见他们的沙发、咖啡桌以及咖啡桌上的饮料的同时使用HMD被虚拟地传送到悦目的海滩。在特定实施例中，UI可以使用增强到远景242A-C中的真实世界对象作为用于远景242A-C的虚拟控制。在特定实施例中，用户可以通过连接到客户机设备150A-C的外围设备与远景242A-C交互。在特定实施例中，外围设备或客户机设备150A-C可以包括麦克风，以操控UI或远景242A-C。作为示例而非通过限定的方式，用户可以对于UI说出例如“打开我的电子邮件”的短语，以对用户显示内容。作为另一示例，用户可以说出例如“这是哪儿”的短语，并且UI可以显示地图而且在地图上标记位置。作为另一示例，用户可以说出例如“暂停”或“开始”的短语，以操控360°立体3-D视频的回放。
如上所述，360°立体3-D视频可以提供沉浸式体验。作为示例而非通过限定的方式，用于360°立体3-D视频的UI可以基于用户与虚拟对象的交互而执行动作。例如，用户可以放下虚拟球，以标记他们在沉浸式环境内的当前位置。作为另一示例，当你接收到消息时，在用户的虚拟口袋或UI上的虚拟信件上存在球。作为另一示例，UI可以提供虚拟大头针以标记远景242A-C的不同部分。在特定实施例中，UI可以包括存档人工智能，以安排不同的360°立体3-D视频。在特定实施例中，360°立体3-D环境240可以被增强，以基于360°立体3-D视频的数据或元数据显示信息。作为示例而非通过限定的方式，UI可以根据用户观看360°立体3-D视频，基于视频或位置数据的图像分析，提供威尼斯的历史的概述。作为另一示例，UI可以在远景242A-C的对象的顶部显示图标。当用户与图标交互时，UI可以显示更详细的视图或信息。作为另一示例，UI可以允许用户经由语音、键入或键盘提供评论，以增强实时360°立体3-D视频。作为另一示例，UI可以响应于接收到呼入呼叫在远景242A-C内显示电话菜单。
在特定实施例中，UI可以允许用户选择现场流送或预先记录的360°立体3-D视频上的对象、人或空间，并且远景242A-C可以切换到另一远景242A-C。作为示例而非通过限定的方式，UI可以示出所选择的对象、人或空间的更靠近的优化的远景242A-C。在特定实施例中，UI可以提供特定地点或地标的360°立体3-D视频的时间覆盖。作为示例而非通过限定的方式，UI可以允许用户通过来自较早时间的对象(例如人或建筑)的另一360°立体3-D视频来增强360°立体3-D环境240。例如，现今的马丘比丘的360°立体3-D视频可以由客户机设备150A-C呈现，并且UI可以允许用户通过来自印加纪元的人和建筑的360°立体3-D视频来增强360°立体3-D环境240。在特定实施例中，UI可以通过不同时间或不同远景242A-C提供360°立体3-D视频的重叠过渡。作为示例而非通过限定的方式，360°立体3-D环境240可以处于画廊内。多个用户可以在空白真实生活墙壁上显示他们的艺术作品，并且艺术作品可以呈现在艺术画廊墙壁上。作为另一示例，UI可以为用户提供虚拟购物体验，其中，用户可以通过光顾呈现为360°立体3-D环境240的商店来检查实际情况或产品。
在特定实施例中，客户机设备150A-C可以使用来自上述内容服务器140的音频重构数据来重构与360°3-D视频关联的音频环境。客户机设备150A-C可以具有用于提供头戴式耳机输出的能力，或可以替代使用客户机设备的环绕声音输出能力(例如3-DTV上的环绕音频)。作为示例而非通过限定的方式，音频可以在空间上锚定到场景，从而当用户转动他们的头部时，音频具有音调、音量等中的对应改变。作为另一示例，用户可以控制音频环境的特定区段。例如，用户可以对他们的远景242A-C中的对象(例如角色)执行特定输入，并且与对象关联的音频被静音或增强。
图32示出用于与3-D视频进行交互的示例方法3200。所述方法可以开始于步骤3210，其中，包括远离用户的物理环境的真实生活场景的图像的三维视频在头戴式客户机计算设备的显示器上呈现给用户。在步骤3220，图形对象在头戴式客户机计算设备的显示器上呈现给用户。在特定实施例中，图形对象可以包括用户的物理环境的图像3230或虚拟图形对象3240。作为示例而非通过限定的方式，用户的物理环境的图像3230可以包括用户的物理环境中的对象(例如人、动物或家具)、用户的物理环境的示意性地图或用户的物理环境的鸟瞰图。作为另一示例而非通过限定的方式，虚拟图形对象3240可以包括通知、虚拟输入设备、显示多个3-D视频的虚拟表面、与3-D视频中的对象对应的信息、用户所创建的内容或与真实场景对应的图像。在替代实施例中，用户的物理环境可以在头戴式客户机计算设备的显示器上呈现给用户，包括远程的真实生活场景的图像的三维视频也可以呈现给用户。在又一实施例中，包括远程的真实生活场景的图像和用户的物理环境的三维视频的任何合适的组合可以在头戴式客户机计算设备的显示器上呈现给用户。特定实施例可以在适当的情况下重复图32的方法的一个或多个步骤。虽然本公开描述并且示出按特定顺序出现的图32的方法的特定步骤，但本公开预期按任何合适的顺序出现的图32的方法的任何合适的步骤。此外，虽然本公开描述并且示出包括图32的方法的特定步骤的用于与3-D视频进行交互的示例方法，但在适当的情况下，本公开预期包括可以包括图32的方法的所有或一些步骤或者不包括图32的方法的步骤的任何合适的步骤的、用于与3-D视频进行交互的任何合适的方法。此外，虽然本公开描述并且示出执行图32的方法的特定步骤的特定组件、设备或系统，但本公开预期执行图32的方法的任何合适的步骤的任何合适的组件、设备或系统的任何合适的组合。
图33示出示例头戴式客户机计算设备150的框图。在特定实施例中，头戴式客户机计算设备150可以称为客户机系统150、客户机设备150或头戴式显示器(HMD)。在特定实施例中，客户机系统150可以由用户穿戴在用户的头部上或周围。在特定实施例中，客户机系统150可以包括一个或多个显示器。作为示例而非通过限定的方式，在穿戴客户机系统150的同时，客户机系统150可以包括单个显示器，其分区为用于分别将3-D场景的左边图像和右边图像显示给用户的左侧和右侧。在图33的示例中，客户机系统150包括左边显示器782L和右边显示器782R，并且这两个显示器可以用于将3-D视频呈现给用户。在特定实施例中，客户机系统150可以包括一个或多个相机。作为示例而非通过限定的方式，客户机系统150可以包括面向外或远离用户的头部的一个或多个相机，并且相机可以用于捕获用户的物理环境的一个或多个图像。在图33的示例中，客户机系统150包括左边相机784L和右边相机784R。这两个相机784L和784R可以用于捕获用户的物理环境的立体图像或视频，并且这些图像或视频可以在显示器782L和782R上显示给用户。
在特定实施例中，客户机系统150可以包括一个或多个处理器786。作为示例而非通过限定的方式，处理器786可以对客户机系统150从内容服务器140接收到的图像执行拼接操作。在特定实施例中，客户机系统150可以包括电池788(例如可再充电电池)，以用于将电力提供给客户机系统150。在特定实施例中，客户机系统150可以包括外部通信模块790，例如比如使用WI-FI或蓝牙协议进行无线通信的模块。作为示例而非通过限定的方式，外部通信模块790可以与内容服务器140进行无线通信，或可以与和内容服务器140进行通信的互联网连接的计算设备进行无线通信。在特定实施例中，客户机系统150可以包括一个或多个扬声器792。作为示例而非通过限定的方式，扬声器792可以直接产生用户可以听见的可听声音，或扬声器792可以将信号(例如蓝牙信号)提供给产生可听声音的头戴式耳机。在特定实施例中，客户机系统150可以包括一个或多个麦克风794。作为示例而非通过限定的方式，麦克风794可以用于从用户接收口头命令。作为另一示例而非通过限定的方式，麦克风794可以用于从用户的物理环境接收或检测音频信号(例如对用户说话的人的声音、门铃的声音、或用户的狗吠叫的声音)。在特定实施例中，客户机系统150可以包括一个或多个惯性测量单元(IMU)796，以确定客户机系统150的定向或移动。在特定实施例中，客户机系统150可以包括一个或多个传感器798。作为示例而非通过限定的方式，客户机系统150可以包括一个或多个深度传感器798，以确定或检测对象在用户的物理环境中的位置(例如，检测人朝向用户的接近)。虽然本公开描述并且示出包括特定组件的特定头戴式客户机计算设备，但本公开预期包括任何合适的组件的任何合适的头戴式客户机计算设备。
图34示出在穿戴示例头戴式客户机计算设备150的同时站在房间中的用户。在特定实施例中，用户可以观看客户机系统150上呈现的3-D视频，其中，3-D视频包括远离用户的物理环境的真实生活场景的图像。在特定实施例中，用户的物理环境可以包括位于用户附近、位于与用户相同的房间或位于用户的特定距离内(例如1米、3米、5米、10米内或任何合适的距离内)的一个或多个对象(例如家具、墙壁、楼梯、门)、动物或人。在图34的示例中，用户在站在房间中的同时正观看客户机系统150上呈现的场景，并且用户的物理环境包括家具(例如桌子910和架子915)、狗920以及另一人925。
图35示出在穿戴头戴式客户机计算设备150的同时用户观看的示例场景。在特定实施例中，用户观看的场景可以包括3-D图像或3-D视频。在图35的示例中，在客户机系统150上显示给用户的场景包括城堡、树和晴空。在穿戴客户机系统150以观看描述欧洲城堡的旅行视频的同时，用户可能在家位于他的起居室中。
图36示出具有示例通知930的图35的示例场景。在特定实施例中，客户机系统150可以对用户呈现3-D场景和虚拟图形对象。在特定实施例中，虚拟图形对象可以包括通知930、虚拟输入设备(例如虚拟键盘、虚拟笔或虚拟控制面板)、显示多个3-D视频的虚拟表面、与3-D视频中的对象对应的信息、用户所创建的内容(例如文本或绘画)或与真实生活场景对应的图像。作为示例而非通过限定的方式，具有关于城堡的历史信息的虚拟图形对象可以覆盖到城堡的3-D视频上。作为另一示例而非通过限定的方式，虚拟图形对象可以包括在历史地点的真实生活场景(例如现今显现的城堡的遗址)上叠加的历史地点的图像(例如如其可能几个世纪之前显现的城堡)。在图36的示例中，客户机系统150正显示具有覆盖在场景上的通知930的城堡的场景。在特定实施例中，可以通过任何合适的格式(例如比如覆盖或叠加在部分或所有场景上、在场景的中心附近或场景一侧外面)来显示通知930。在特定实施例中，通知930可以是不透明的，并且可能遮住位于通知930之后的场景的部分，或通知930可以是半透明的，允许至少部分地观看位于通知之后的场景。在特定实施例中，通知930可以包括来自另一用户或来自应用的消息。作为示例而非通过限定的方式，通知930可以包括由另一用户发送到该用户的电子邮件、语音邮件或文本消息的部分或用户已经接收到电子邮件、电话呼叫或文本消息的指示。作为另一示例而非通过限定的方式，通知930可以包括来自客户机系统150或客户机系统150上运行的应用的消息，例如比如用户的门铃已经响起、人925正接近用户、用户的狗920正吠叫、用户的狗920正接近或电池788正低电量运行并且需要重新充电的消息。虽然本公开描述并且示出包括以特定格式显示的特定信息的特定通知，但本公开预期包括以任何合适的格式显示的任何合适的信息的任何合适的通知。
图37示出具有在场景上叠加的人925的图35的示例场景。在特定实施例中，客户机系统150对用户呈现3-D场景和用户的物理环境的图像。作为示例而非通过限定的方式，客户机系统150可以包括图像传感器(例如一个或多个相机，例如比如左边相机784L和右边相机784R)，并且图像传感器所捕获的用户的物理环境的图像可以与3-D视频组合且呈现给用户。在特定实施例中，客户机系统150可以接收事件出现在用户的物理环境中的指示，并且基于该事件，客户机系统150可以对用户呈现用户的物理环境的至少部分的图像。作为示例而非通过限定的方式，事件可以包括用户的物理环境的一方面，例如比如用户与对象之间的距离、对象的速度或用户或另一人所执行的特定手势。在图37的示例中，人925正面对用户并且正朝用户招手，并且(客户机系统150的相机所捕获的)人925的图像叠加在城堡的3-D场景上。从客户机系统150的相机所捕获的图像的其余部分提取正朝用户招手的人925的图像，并且仅所提取出的部分呈现给用户。在特定实施例中，呈现用户的物理环境的图像可以允许用户继续观看3-D场景同时还与他们的物理环境交互或知晓他们的物理环境。作为示例而非通过限定的方式，用户可能不需要从他们的头部移除客户机系统150，以便观看正出现在用户的物理环境中的事件。在图37的示例中，用户可以能够在仍穿戴客户机系统150的同时与人925交互。
图38示出具有在场景上叠加的狗920的图35的示例场景。在特定实施例中，当对象正以特定速度或大于特定速度接近用户时或当对象位于人的特定距离内时，可以对用户显示来自用户的物理环境的对象。在特定实施例中，显示来自用户的物理环境的对象可以允许用户避免撞到对象或被其绊倒。在图38中，狗920可能正以特定速度或大于特定速度接近用户，或狗可能位于人的特定距离内。狗920的图像可以由客户机系统150的相机捕获，并且狗的图像可以从其周围提取并且叠加到3-D视频上。在特定实施例中，来自用户的物理环境的对象可以在近似对应于在用户的物理环境中的对象位置的位置中显示给用户。在图38中，狗920示出在与在用户的物理环境中的狗920的位置对应的位置中。
在特定实施例中，客户机系统150可以接收事件出现在用户的物理环境中的指示，其中事件包括声音。在特定实施例中，与事件对应的声音可以包括一个或多个可听词语。作为示例而非通过限定的方式，穿戴客户机系统150的用户可以说出由麦克风794接收的口头命令。用户可以说出命令“相机”或“显示房间”，并且响应于此，客户机系统150可以显示用户的物理环境的图像。在图37的示例中，人925可以对用户说出“你好”，并且响应于人925的可听问候，客户机系统150可以显示人925的图像。在特定实施例中，与事件对应的声音可以包括大于阈值声波幅度的声波幅度。在图38的示例中，狗920可能吠叫，并且狗920的吠叫的声波幅度可能超过阈值声波幅度。响应于检测到来自狗920的吠叫，客户机系统150可以显示狗920的图像。
图39示出划分为两个示例视图的示例显示。在特定实施例中，在客户机系统150上对用户显示的场景可以划分为两个或更多个视图。在图39的示例中，城堡场景显示在用户的视图的左边一半上，用户的物理环境的图像显示在用户的视图的右边一半上。用户的物理环境的图像可以由客户机系统150的一个或多个相机捕获。
图40示出具有在场景上叠加的桌子910的图35的示例场景。在特定实施例中，当对象位于人的特定距离内时，来自用户的物理环境的对象可以显示给用户。作为示例而非通过限定的方式，在穿戴客户机系统150的用户观看客户机系统150上所显示的场景或与之交互时，用户可以在他们的物理环境内周围转动或移动。为了防止用户撞到他们的物理环境中的对象或被其绊倒，当用户在对象附近时，客户机系统150可以警告他们。在图40的示例中，用户可能处于桌子910的阈值距离内，并且为了使得用户意识到该对象，客户机系统150可以对用户显示桌子910的图像。
图41示出具有在场景上叠加的弯曲箭头935的图35的示例场景。在特定实施例中，客户机系统150可以在所显示的场景上叠加图形符号(例如箭头935)，以向用户警告位于用户之后或用户的侧面之外的对象或事件。在图41的示例中，弯曲箭头935指示用户应意识到位于用户的后面和右边的架子915，所以他们不碰到架子915或被其绊倒。在穿戴客户机系统150的同时，用户可以正朝向架子915移动，并且客户机系统150可以显示箭头935以对用户指示存在位于用户的后面或侧面的对象。在特定实施例中，在对用户显示箭头935之后，如果用户转向箭头935的方向上，则客户机系统150可以显示与箭头935关联的对象(例如架子915)的图像。
图42示出具有示例示意性地图940的图35的示例场景。在特定实施例中，除了显示3-D图像或视频之外，客户机系统150可以显示示出用户的物理环境中的对象的示意性地图940。作为示例而非通过限定的方式，客户机系统150的相机可以捕获用户的物理环境的图像，并且从相机图像，可以生成用户的物理环境的示意性地图940。在特定实施例中，示意性地图940可以显示距用户特定距离内(例如1米、3米内或任何合适的距离内)的对象。在图42的示例中，示意性地图940中心在用户的位置上，并且示出用户所处的房间中的对象。在特定实施例中，用户可以使用示意性地图940以在用户正穿戴客户机系统150的同时保持意识到用户的物理环境。作为示例而非通过限定的方式，用户可以能够基于客户机系统150上所显示的示意性地图940在他的物理环境周围移动。在特定实施例中，用户可以能够打开或关闭示意性地图940的显示。
图43示出具有示例鸟瞰图945的图35的示例场景。在特定实施例中，除了显示3-D图像或视频之外，客户机系统150可以显示用户的物理环境的鸟瞰图(例如据上示出用户的物理环境的视图)。作为示例而非通过限定的方式，客户机系统150的相机可以捕获用户的物理环境的图像，并且相机图像的部分可以组合在一起以形成鸟瞰图945。在图43的示例中，鸟瞰图是圆形的，并且中心在用户的位置上。在特定实施例中，鸟瞰图945可以允许用户在用户正穿戴客户机系统150的同时保持意识到用户的物理环境。
图44示出示例计算机系统4400。在特定实施例中，一个或多个计算机系统4400执行在此所描述或示出的一种或多种方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统4400提供在此所描述或示出的功能。在特定实施例中，在一个或多个计算机系统4400上运行的软件执行在此所描述或示出的一种或多种方法的一个或多个步骤，或提供在此所描述或示出的功能。特定实施例包括一个或多个计算机系统4400的一个或多个部分。在此，在适当的情况下，对计算机系统的引用可以囊括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以囊括一个或多个计算机系统。
本公开预期任何合适的数量的计算机系统4400。本公开预期采取任何合适的物理形式的计算机系统4400。作为示例而非通过限定的方式，计算机系统4400可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(例如比如模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互信息亭、大型机、计算机系统的网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统或这些的两个或更多个的组合。在适当的情况下，计算机系统4400可以包括一个或多个计算机系统4400；是整体式或分布式的；跨越多个位置；跨越多个机器；跨越多个数据中心；或驻留在可以包括一个或多个网络中的一个或多个云组件的云中。在适当的情况下，一个或多个计算机系统4400可以在没有实质性空间或时间限制的情况下执行在此所描述或示出的一种或多种方法的一个或多个步骤。作为示例而非通过限定的方式，一个或多个计算机系统4400可以实时地或以批处理模式执行在此所描述或示出的一种或多种方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统4400可以在不同的时间或在不同的地点处执行在此所描述或示出的一种或多种方法的一个或多个步骤。
在特定实施例中，计算机系统4400包括处理器4402、存储器4404、存储体4406、输入/输出(I/O)接口4408、通信接口4410和总线4412。虽然本公开描述并且示出具有处于特定布置中的特定数量的特定组件的特定计算机系统，但本公开预期具有处于任何合适的布置中的任何合适的数量的任何合适的组件的任何合适的计算机系统。
在特定实施例中，处理器4402包括用于执行指令(例如构成计算程序的指令)的硬件。作为示例而非通过限定的方式，为了执行指令，处理器4402可以从内部寄存器、内部缓存、存储器4404或存储体4406检索(或取得)指令；解码并且执行它们；然后将一个或多个结果写入到内部寄存器、内部缓存、存储器4404或存储体4406。在特定实施例中，处理器4402可以包括用于数据、指令或地址的一个或多个内部缓存。在适当的情况下，本公开预期包括任何合适的数量的任何合适的内部缓存的处理器4402。作为示例而非通过限定的方式，处理器4402可以包括一个或多个指令缓存、一个或多个数据缓存以及一个或多个转换后备缓冲器(TLB)。指令缓存中的指令可以是存储器4404或存储体4406中的指令的拷贝，并且指令缓存可以加速处理器4402检索这些指令。数据缓存中的数据可以是用于在处理器4402处执行以进行操作的指令的存储器4404或存储体4406的数据的拷贝；在处理器4402处执行以用于由在处理器4402处执行的后续指令的存取或用于写入到存储器4404或存储体4406的先前指令的结果；或其它合适的数据。数据缓存可以加速处理器4402进行的读取或写入操作。TLB可以加速用于处理器4402的虚拟地址转换。在特定实施例中，处理器4402可以包括用于数据、指令或地址的一个或多个内部寄存器。在适当的情况下，本公开预期包括任何合适的数量的任何合适的内部寄存器的处理器4402。在适当的情况下，处理器4402可以包括一个或多个算术逻辑单元(ALU)；是多核处理器；或包括一个或多个处理器4402。虽然本公开描述并且示出特定处理器，但本公开预期任何合适的处理器。
在特定实施例中，存储器4404包括主存储器，以用于存储用于处理器4402执行的指令或用于处理器4402进行操作的数据。作为示例而非通过限定的方式，计算机系统4400可以从存储体4406或另一源(例如比如另一计算机系统4400)将指令加载到存储器4404。处理器4402可以然后将指令从存储器4404加载到内部寄存器或内部缓存。为了执行指令，处理器4402可以从内部寄存器或内部缓存检索指令，并且对它们进行解码。在执行指令期间或之后，处理器4402可以将(可以是中间或最终结果的)一个或多个结果写入到内部寄存器或内部缓存。处理器4402可以然后将这些结果中的一个或多个写入到存储器4404。在特定实施例中，处理器4402仅执行一个或多个内部寄存器或内部缓存中或存储器4404中的指令(与存储体4406或别处相反)，并且仅操作一个或多个内部寄存器或内部缓存中或存储器4404中的数据(与存储体4406或别处相反)。一个或多个存储器总线(其可以每个包括地址总线和数据总线)可以将处理器4402耦接到存储器4404。总线4412可以包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器4402与存储器4404之间，并且促进对处理器4402所请求的存储器4404的存取。在特定实施例中，存储器4404包括随机存取存储器(RAM)。在适当的情况下，该RAM可以是易失性存储器，并且在适当的情况下，该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，该RAM可以是单端口或多端口RAM。本公开预期任何合适的RAM。在适当的情况下，存储器4404可以包括一个或多个存储器4404。虽然本公开描述并且示出特定存储器，但本公开预期任何合适的存储器。
在特定实施例中，存储体4406包括用于数据或指令的大规模存储体。作为示例而非通过限定的方式，存储体4406可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁盘、磁带或通用串行总线(USB)驱动器或这些中的两个或更多个的组合。在适当的情况下，存储体4406可以包括可移除或不可移除(或固定)介质。在适当的情况下，存储体4406可以在计算机系统4400的内部或外部。在特定实施例中，存储体4406是非易失性固态存储器。在特定实施例中，存储体4406包括只读存储器(ROM)。在适当的情况下，该ROM可以是掩膜编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改动ROM(EAROM)或闪存或这些中的两个或更多个的组合。本公开预期采取任何合适的物理形式的大规模存储体4406。在适当的情况下，存储体4406可以包括促进处理器4402与存储体4406之间的通信的一个或多个存储控制单元。在适当的情况下，存储体4406可以包括一个或多个存储体4406。虽然本公开描述并且示出特定存储体，但本公开预期任何合适的存储体。
在特定实施例中，I/O接口4408包括硬件、软件或二者，提供用于计算机系统4400与一个或多个I/O设备之间的通信的一个或多个接口。在适当的情况下，计算机系统4400可以包括这些I/O设备中的一个或多个。这些I/O设备中的一个或多个可以使得能够进行人与计算机系统4400之间的通信。作为示例而非通过限定的方式，I/O设备可以包括键盘、键区、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、录写笔、平板、触摸屏、轨迹球、视频相机、另一合适的I/O设备或这些中的两个或更多个的组合。I/O设备可以包括一个或多个传感器。本公开预期任何合适的I/O设备以及用于它们的任何合适的I/O接口4408。在适当的情况下，I/O接口4408可以包括使得处理器4402能够驱动这些I/O设备中的一个或多个的一个或多个设备或软件驱动。在适当的情况下，I/O接口4408可以包括一个或多个I/O接口4408。虽然本公开描述并且示出特定I/O接口，但本公开预期任何合适的I/O接口。
在特定实施例中，通信接口4410包括提供用于计算机系统4400与一个或多个其它计算机系统4400或一个或多个网络之间的通信(例如比如基于分组的通信)的一个或多个接口的硬件、软件或二者。作为示例而非通过限定的方式，通信接口4410可以包括用于与以太网或其它基于有线的网络进行通信的网络接口控制器(NIC)或网络适配器、或用于与无线网络(例如WI-FI网络)进行通信的无线NIC(WNIC)或无线适配器。本公开预期任何合适的网络以及用于其的任何合适的通信接口4410。作为示例而非通过限定的方式，计算机系统4400可以与adhoc网络、个域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、体域网(BAN)或互联网的一个或多个部分或这些中的两个或更多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线或无线的。作为示例，计算机系统4400可以与无线PAN(WPAN)(例如比如蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如比如全球移动通信系统(GSM)网络)或另外合适的无线网络或这些中的两个或更多个的组合进行通信。在适当的情况下，计算机系统4400可以包括用于这些网络中的任何的任何合适的通信接口4410。在适当的情况下，通信接口4410可以包括一个或多个通信接口4410。虽然本公开描述并且示出特定通信接口，但本公开预期任何合适的通信接口。
在特定实施例中，总线4412包括将计算机系统4400的组件彼此耦接的硬件、软件或二者。作为示例而非通过限定的方式，总线4412可以包括加速图形端口(AGP)或另外图形总线、增强式工业标准架构(EISA)总线、前侧总线(FSB)、HYPERTRANSPORT(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚计数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI高速(PCIe)总线、串行先进技术附连(SATA)总线、视频电子标准协会局部(VLB)总线或另一合适的总线或这些中的两个或更多个的组合。在适当的情况下，总线4412可以包括一个或多个总线4412。虽然本公开描述并且示出特定总线，但本公开预期任何合适的总线或互连。
在此，在适当的情况下，一个或多个计算机可读非瞬时存储介质可以包括一个或多个基于半导体的或其它集成电路(IC)(例如比如现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器、磁带、固态驱动器(SSD)、RAM驱动器、SECUREDIGITAL卡或驱动器、任何其它合适的计算机可读非瞬时存储介质或这些中的两个或更多个的任何合适的组合。在适当的情况下，计算机可读非瞬时存储介质可以是易失性的、非易失性的或易失性和非易失性的组合。
在此，“或”是包括性的而非排除性的，除非另外明确指示或另外通过上下文指示。因此，在此，“A或B”表示“A、B或二者”，除非另外明确指示或另外通过上下文指示。此外，“和”既是结合又是各自，除非另外明确指示或另外通过上下文指示。因此，在此，“A和B”表示“A和B，结合地或各自地”，除非另外明确指示或另外通过上下文指示。
本公开的该范围囊括本领域技术人员应理解的对在此示例实施例的所有改变、替换、变形、改动和修改。本公开的范围不限于在此所描述或示出的示例实施例。此外，虽然本公开将在此的各个实施例描述或示出为包括特定组件、元件、功能、操作或步骤，但任何这些实施例可以包括本领域技术人员应理解的在此任何地方所描述或示出任何组件、元件、功能、操作或步骤的任何组合或置换。此外，所附权利要求中对适配为、布置为、能够、配置为、使能、可操作为或用作为执行可作用为执行特定功能的装置或系统或装置或系统的组件的引用囊括该装置、系统、组件，而无论其或该特定功能是否被激活、打开、或解锁，只要该装置、系统或组件如此适配、布置、能够、配置、使能、可操作或作用。

Claims (18)

1.一种装置，包括：
处理器；以及
多对相机，
其中：
第一对相机中的每个相机通过第二对相机中的一个相机彼此分离；
所述第一对相机中的每个相机具有第一定向；以及
所述第二对相机中的每个相机具有与所述第一定向不同的第二定向。
2.如权利要求1所述的装置，其中，每对相机中的各相机彼此分离在6cm和11cm之间的范围内的距离。
3.如权利要求1所述的装置，还包括具有第三定向的第三对相机，
其中，所述第一对相机中的每个相机进一步通过所述第三对相机中的至少一个相机彼此分离，并且其中，所述第三定向与所述第一定向和第二定向不同。
4.如权利要求1所述的装置，其中，各对相机中的每个位于平面中。
5.如权利要求1所述的装置，其中：
每对相机包括左边相机和右边相机；
每个相机具有关联水平视场；以及
所述第一和第二对相机中的右边相机的水平视场的重叠在10％至30％之间的范围内。
6.如权利要求7所述的装置，其中，所述第二对相机中的右边相机与所述第一对相机中的左边相机相邻，其中，所述第二对相机中的右边相机的水平视场的中心与所述第一对相机中的左边相机的水平视场的中心相交，其中，所述第三对相机中的左边相机与所述第一对相机中的右边相机相邻，其中，所述第三对相机中的左边相机的水平视场的中心与所述第一对相机中的右边相机的水平视场相交。
7.如权利要求7所述的装置，还包括具有第三定向的第三对相机，其中，所述第一对相机中的每个相机进一步通过所述第三对相机中的左边相机彼此分离，并且其中，所述第三定向与所述第一和第二定向不同。
8.如权利要求1所述的装置，其中，每个相机具有在140°至大于180°之间的范围内的关联垂直视场。
9.如权利要求1所述的装置，其中，每个相机被配置为捕获具有宽高比的图像，从而所述图像的垂直限度大于所述图像的水平限度。
10.如权利要求1所述的装置，还包括深度传感器，其基于结构化光扫描技术感测距离。
11.如权利要求1所述的装置，还包括红外相机。
12.如权利要求1所述的装置，其中，所述处理器被配置为控制所述相机的参数，其中，所述参数包括亮度、对比度、增益、曝光、白平衡或饱和度。
13.如权利要求1所述的装置，其中，所述处理器被配置为执行所述相机捕获的图像的校正，其中，所述校正包括全景调平、虚化校正、镜头失真校正、白平衡校正、曝光校正或视点调整。
14.如权利要求1所述的装置，还包括机械校准结构。
15.如权利要求1所述的装置，还包括光投影仪或光发射机。
16.如权利要求1所述的装置，其中，所述第二对相机中的一个相机的视场的中心与所述第一对相机中的至少一个相机的视场的中心相交。
17.如权利要求1所述的装置，其中，所述第二对相机中的一个相机的视场的中心与所述第一对相机中的至少一个相机的视场的中心相交。
18.一种装置，包括：
一个或多个非瞬时计算机可读存储介质，其包括指令；以及
一个或多个处理器，其耦接到所述介质并且被配置为执行所述指令以：
对多对相机中的每个进行定向，从而：
第一对相机中的每个相机具有第一定向；并且
第二对相机中的每个相机具有与所述第一定向不同的第二定向，其中，所述第一对相机中的每个相机通过所述第二对相机中的一个相机彼此分离；以及
通过所述多对相机中的每个相机接收该相机所捕获的图像。
CN201580001945.8A 2014-09-22 2015-09-22 用于三维视频的相机系统 Pending CN105659592A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201462053726P 2014-09-22 2014-09-22
US201462053737P 2014-09-22 2014-09-22
US201462053743P 2014-09-22 2014-09-22
US201462053750P 2014-09-22 2014-09-22
US201462053729P 2014-09-22 2014-09-22
US62/053,729 2014-09-22
US62/053,737 2014-09-22
US62/053,743 2014-09-22
US62/053,750 2014-09-22
US62/053,726 2014-09-22
US201562141018P 2015-03-31 2015-03-31
US62/141,018 2015-03-31
US14/856,500 US10750153B2 (en) 2014-09-22 2015-09-16 Camera system for three-dimensional video
US14/856,500 2015-09-16
PCT/KR2015/009962 WO2016048013A1 (en) 2014-09-22 2015-09-22 Camera system for three-dimensional video

Publications (1)

Publication Number Publication Date
CN105659592A true CN105659592A (zh) 2016-06-08

Family

ID=55541832

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201580051015.3A Pending CN106797459A (zh) 2014-09-22 2015-09-22 三维视频的传输
CN201580051378.7A Expired - Fee Related CN107079141B (zh) 2014-09-22 2015-09-22 用于三维视频的图像拼接
CN201580001945.8A Pending CN105659592A (zh) 2014-09-22 2015-09-22 用于三维视频的相机系统
CN201580051097.1A Expired - Fee Related CN106797460B (zh) 2014-09-22 2015-09-22 三维视频的重建

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201580051015.3A Pending CN106797459A (zh) 2014-09-22 2015-09-22 三维视频的传输
CN201580051378.7A Expired - Fee Related CN107079141B (zh) 2014-09-22 2015-09-22 用于三维视频的图像拼接

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580051097.1A Expired - Fee Related CN106797460B (zh) 2014-09-22 2015-09-22 三维视频的重建

Country Status (5)

Country Link
US (4) US10257494B2 (zh)
EP (4) EP3198863A4 (zh)
KR (4) KR101885777B1 (zh)
CN (4) CN106797459A (zh)
WO (4) WO2016048013A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210700A (zh) * 2016-07-14 2016-12-07 上海玮舟微电子科技有限公司 三维图像的获取系统、显示系统及所适用的智能终端
CN106210694A (zh) * 2016-07-14 2016-12-07 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106231284A (zh) * 2016-07-14 2016-12-14 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106657809A (zh) * 2016-12-13 2017-05-10 深圳先进技术研究院 一种全景3d视频拼接系统及方法
CN107770415A (zh) * 2016-08-19 2018-03-06 光宝电子(广州)有限公司 摄像设备以及摄像方法
CN108510576A (zh) * 2017-02-23 2018-09-07 中央大学 多镜头影像深度的3d空间绘制系统
CN109491626A (zh) * 2018-09-29 2019-03-19 上海摩奇贝斯展示设计营造有限公司 侧屏拼接演绎系统
CN109813251A (zh) * 2017-11-21 2019-05-28 蒋晶 用于三维测量的方法、装置以及系统
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
CN110223222A (zh) * 2018-03-02 2019-09-10 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
TWI696147B (zh) * 2018-09-05 2020-06-11 宅妝股份有限公司 全景圖形成方法及系統
CN112306231A (zh) * 2020-09-17 2021-02-02 浙江大学 一种基于半轮廓高亮的凌空徒手三维目标选择方法
CN112334056A (zh) * 2018-06-27 2021-02-05 奥林巴斯株式会社 图像显示装置和图像显示方法
WO2021093584A1 (zh) * 2019-11-13 2021-05-20 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN113939712A (zh) * 2019-06-06 2022-01-14 赛峰电子与防务公司 基于运输设备取景器传送的信息重置运输设备惯性单元的方法和装置
CN114973166A (zh) * 2022-07-26 2022-08-30 中诚华隆计算机技术有限公司 一种交通信息追踪方法、系统及计算机设备
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display

Families Citing this family (349)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
CN103945087B (zh) * 2013-01-22 2017-10-27 深圳市腾讯计算机系统有限公司 图像色调的调节方法和调节装置
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
CN108495051B (zh) 2013-08-09 2021-07-06 热成像雷达有限责任公司 采用多个虚拟设备分析热像数据的方法和将深度值与图像像素进行关联的方法
US9754159B2 (en) 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
KR101923562B1 (ko) * 2014-04-05 2018-11-29 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 가변 렌더링 및 래스터화 파라미터 하에서 가변 뷰포트에 대하여 오브젝트를 효율적으로 리렌더링하는 방법
US11900305B2 (en) 2014-04-29 2024-02-13 Vivint, Inc. Occupancy identification for guiding delivery personnel
US11410221B2 (en) 2014-04-29 2022-08-09 Vivint, Inc. Integrated secure delivery
US11049343B2 (en) 2014-04-29 2021-06-29 Vivint, Inc. Techniques for securing a dropspot
US10657483B2 (en) * 2014-04-29 2020-05-19 Vivint, Inc. Systems and methods for secure package delivery
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US9830714B2 (en) * 2014-06-27 2017-11-28 Samsung Electronics Co., Ltd. Graphics processing with advection to reconstruct missing sample data points
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) * 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US9998663B1 (en) * 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
US11792511B2 (en) 2015-03-21 2023-10-17 Mine One Gmbh Camera system utilizing auxiliary image sensors
US11189043B2 (en) 2015-03-21 2021-11-30 Mine One Gmbh Image reconstruction for virtual 3D
US10332089B1 (en) * 2015-03-31 2019-06-25 Amazon Technologies, Inc. Data synchronization system
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US11244434B2 (en) * 2015-08-24 2022-02-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-aperture imaging device
DE102015216140A1 (de) * 2015-08-24 2017-03-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3D-Multiaperturabbildungsvorrichtung
US10217189B2 (en) 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
EP3353565B1 (en) * 2015-09-23 2021-08-04 Nokia Technologies Oy Video recording method and apparatus
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
US9819865B2 (en) * 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US10477104B1 (en) * 2015-11-02 2019-11-12 Amazon Technologies, Inc. Image sensor selection in a multiple image sensor device
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
WO2017120776A1 (en) 2016-01-12 2017-07-20 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
KR102460906B1 (ko) * 2016-02-17 2022-11-01 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102381370B1 (ko) * 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
US10491810B2 (en) 2016-02-29 2019-11-26 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
NZ745790A (en) * 2016-03-15 2023-04-28 Magic Leap Inc Direct light compensation technique for augmented reality system
JP2019091961A (ja) * 2016-03-30 2019-06-13 パナソニックＩｐマネジメント株式会社 カメラ制御装置
GB2548860A (en) 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
EP3229073B1 (en) * 2016-04-06 2018-10-31 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US9934615B2 (en) 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
EP3443416A4 (en) * 2016-04-28 2019-03-20 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR GENERATING A SPHERICAL PANORAMIC IMAGE
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
KR102609450B1 (ko) * 2016-05-09 2023-12-04 삼성전자주식회사 전자 장치 및 전자 장치의 전자 문서 출력 방법
US10432855B1 (en) * 2016-05-20 2019-10-01 Gopro, Inc. Systems and methods for determining key frame moments to construct spherical images
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
EP3249929A1 (en) 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法
JP6742444B2 (ja) * 2016-06-07 2020-08-19 ヴィズビット インコーポレイテッド ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
WO2018002881A1 (en) * 2016-06-29 2018-01-04 Nokia Technologies Oy Method and apparatus for automated placement of a seam in a panoramic image derived from multiple cameras
US10304201B2 (en) * 2016-06-30 2019-05-28 Datalogic ADC, Inc. Item image stitching from multiple line-scan images for barcode scanning systems
EP3264740B1 (en) 2016-06-30 2019-08-28 Nokia Technologies Oy Modular camera blocks for virtual reality capture
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10148939B2 (en) 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
AT518256B1 (de) * 2016-08-02 2017-09-15 Innaq Gmbh Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe
CN106254853A (zh) * 2016-08-02 2016-12-21 乐视控股（北京）有限公司 球景图像生成方法及装置
US10651095B2 (en) 2016-08-11 2020-05-12 Applied Materials, Inc. Thermal profile monitoring wafer and methods of monitoring temperature
US10313652B1 (en) * 2016-08-18 2019-06-04 Relay Cars LLC Cubic or spherical mapped content for presentation of pre-rendered images viewed from a fixed point of view in HTML, javascript and/or XML for virtual reality applications
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
US20180061103A1 (en) * 2016-08-29 2018-03-01 Analogix Semiconductor, Inc. Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices
US10721397B2 (en) 2016-09-01 2020-07-21 Caterpillar Inc. Image processing system using predefined stitching configurations
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10085006B2 (en) 2016-09-08 2018-09-25 Samsung Electronics Co., Ltd. Three hundred sixty degree video stitching
CN107809610B (zh) 2016-09-08 2021-06-11 松下知识产权经营株式会社 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
US10347050B1 (en) * 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
JP6884856B2 (ja) 2016-09-26 2021-06-09 ドルビー ラボラトリーズ ライセンシング コーポレイション コンテンツに基づいた映像データのストリーム分割
US10887653B2 (en) * 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
CN106485781A (zh) * 2016-09-30 2017-03-08 广州博进信息技术有限公司 基于实时视频流的三维场景构建方法及其系统
KR102558473B1 (ko) 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10404960B2 (en) * 2016-10-10 2019-09-03 Samsung Electronics Co., Ltd. System and method to prevent boundary artifacts
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
JP6910454B2 (ja) * 2016-10-26 2021-07-28 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 道路の合成トップビュー画像を生成するための方法およびシステム
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
JP7146747B2 (ja) 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示
JP6629492B2 (ja) * 2016-11-29 2020-01-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波イメージングシステム及び方法
KR101851338B1 (ko) * 2016-12-02 2018-04-23 서울과학기술대학교 산학협력단 실감형 미디어 영상을 제공하는 장치
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN108205799B (zh) * 2016-12-16 2021-03-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
TWI632812B (zh) * 2016-12-16 2018-08-11 財團法人工業技術研究院 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
EP3340611B1 (en) 2016-12-20 2020-07-29 Nokia Technologies Oy An apparatus and associated methods for virtual reality scene capture
GB2558286A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Image processing
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
CN108289228B (zh) * 2017-01-09 2020-08-28 阿里巴巴集团控股有限公司 一种全景视频转码方法、装置和设备
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US20200005529A1 (en) * 2017-01-23 2020-01-02 Virtual Diamond Boutique Inc. System, method and computer-accessible medium for displaying a three-dimensional digital version of an object
WO2018139250A1 (ja) * 2017-01-26 2018-08-02 ソニー株式会社 全天球撮像装置
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10332242B2 (en) 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP6371989B1 (ja) * 2017-02-15 2018-08-15 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN110178365B (zh) 2017-02-15 2021-10-08 松下知识产权经营株式会社 图像处理装置和图像处理方法
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters
US10958942B2 (en) 2017-02-27 2021-03-23 Koninklijke Kpn N.V. Processing spherical video data
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
WO2018165223A1 (en) * 2017-03-06 2018-09-13 Nextvr Inc. Methods and apparatus for packing images into a frame and/or including additional content or graphics
CN108573469A (zh) * 2017-03-07 2018-09-25 富士通株式会社 图像处理装置和方法
US11004173B2 (en) 2017-03-13 2021-05-11 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
US11057643B2 (en) * 2017-03-13 2021-07-06 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
JP6946684B2 (ja) * 2017-03-17 2021-10-06 株式会社リコー 電子情報ボードシステム、画像処理装置、及びプログラム
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10306212B2 (en) * 2017-03-31 2019-05-28 Verizon Patent And Licensing Inc. Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
CN110506291B (zh) 2017-04-05 2021-05-14 联发科技股份有限公司 一种视频处理方法和装置
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
CN107135397B (zh) * 2017-04-28 2018-07-06 中国科学技术大学 一种全景视频编码方法和装置
KR102547600B1 (ko) * 2017-05-10 2023-06-26 모빌아이 비젼 테크놀로지스 엘티디. 자율주행차 시스템을 위한 교차 시야
EP3404913B1 (en) * 2017-05-16 2019-11-06 Axis AB A system comprising a video camera and a client device and a method performed by the same
US10313651B2 (en) * 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
WO2018217057A1 (ko) * 2017-05-26 2018-11-29 엘지전자 주식회사 360 비디오 처리 방법 및 그 장치
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
KR20180136891A (ko) * 2017-06-15 2018-12-26 한국전자통신연구원 전방향 비디오에 관한 영상 처리 방법 및 장치
CN107194878A (zh) * 2017-06-21 2017-09-22 微鲸科技有限公司 图像拼接方法及装置
US10873733B2 (en) 2017-06-23 2020-12-22 Mediatek Inc. Methods and apparatus for deriving composite tracks
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
CN107292822B (zh) * 2017-06-26 2020-08-28 北京奇艺世纪科技有限公司 一种图像的拼接方法和装置
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107358631B (zh) * 2017-06-27 2020-05-19 大连理工大学 一种虑及三维畸变的双目视觉重建方法
US10575018B2 (en) * 2017-07-10 2020-02-25 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
CN107426561B (zh) * 2017-07-24 2020-01-07 北京聚力维度科技有限公司 一种3d360度的虚拟现实直播方法及装置
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
CN107220930B (zh) * 2017-08-02 2020-08-07 珠海全志科技股份有限公司 鱼眼图像处理方法、计算机装置及计算机可读存储介质
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN108520232B (zh) * 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
WO2019034131A1 (en) 2017-08-18 2019-02-21 Mediatek Inc. METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
TWI658434B (zh) * 2017-08-22 2019-05-01 鴻海精密工業股份有限公司 影像處理裝置及方法
CN109427040B (zh) * 2017-08-22 2023-10-10 富联国基(上海)电子有限公司 图像处理装置及方法
KR101998318B1 (ko) * 2017-09-06 2019-10-01 단국대학교 산학협력단 객체의 시간 및 위치를 연동시키는 360도 이미지 생성 장치 및 방법
KR102327160B1 (ko) 2017-09-11 2021-11-16 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
KR102372808B1 (ko) 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
US11561619B2 (en) * 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10281983B2 (en) 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
KR102523510B1 (ko) * 2017-09-28 2023-04-18 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
KR102322508B1 (ko) * 2017-09-28 2021-11-05 엘지전자 주식회사 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10594917B2 (en) * 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
CN107895344B (zh) * 2017-10-31 2021-05-11 深圳市森国科科技股份有限公司 视频拼接装置及方法
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
CN209402588U (zh) * 2017-12-07 2019-09-17 人眼科技有限公司 摄像装置
US10303950B1 (en) * 2017-12-19 2019-05-28 Adobe Inc. Automated video correction
US10628967B2 (en) * 2017-12-21 2020-04-21 Facebook, Inc. Calibration for multi-camera systems
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示系统和方法
CN108364353A (zh) * 2017-12-27 2018-08-03 广东鸿威国际会展集团有限公司 引导观看者观看场景的三维直播流的系统和方法
US10965862B2 (en) * 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
TWI692741B (zh) * 2018-01-18 2020-05-01 鈺立微電子股份有限公司 校正相機的系統
KR102519653B1 (ko) 2018-01-20 2023-04-07 삼성전자주식회사 포인트 클라우드 압축 방법 및 장치
CN111801548A (zh) * 2018-01-26 2020-10-20 威罗门飞行公司 用于后场生成的图像的沃罗诺伊裁剪
CN108337499A (zh) * 2018-02-05 2018-07-27 上海溯石文化传播有限公司 一种360度环幕影院立体成像视频的制作方法及原理
WO2019156651A1 (en) 2018-02-06 2019-08-15 Hewlett-Packard Development Company, L.P. Constructing images of users' faces by stitching non-overlapping images
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
KR20200122323A (ko) 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
DE102018202707A1 (de) * 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern
KR102431488B1 (ko) * 2018-03-05 2022-08-12 삼성전자주식회사 전자 장치 및 이미지 처리 방법
CN108259877B (zh) * 2018-03-07 2019-09-17 浙江大华技术股份有限公司 一种白平衡处理方法及装置
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras
US10313654B1 (en) * 2018-03-19 2019-06-04 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
WO2019216879A1 (en) * 2018-05-07 2019-11-14 Google Llc Perspective distortion correction on faces
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11064387B1 (en) 2018-05-23 2021-07-13 Apple Inc. Adaptive wireless transmission schemes
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
KR102413098B1 (ko) * 2018-05-31 2022-06-24 한국전자통신연구원 영상 처리 방법 및 이를 이용한 영상 재생 장치
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) * 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US11012657B2 (en) * 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
US10589423B2 (en) * 2018-06-18 2020-03-17 Shambhu Nath Roy Robot vision super visor for hybrid homing, positioning and workspace UFO detection enabling industrial robot use for consumer applications
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
WO2020027778A1 (en) 2018-07-30 2020-02-06 Hewlett-Packard Development Company, L.P. Neural network identification of objects in 360-degree images
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN108989606B (zh) 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US10769813B2 (en) * 2018-08-28 2020-09-08 Bendix Commercial Vehicle Systems, Llc Apparatus and method for calibrating surround-view camera systems
CN108965858B (zh) * 2018-08-31 2019-09-10 华中师范大学 一种支持vr的多视点立体视频多用户接入控制方法及装置
FR3085668B1 (fr) * 2018-09-10 2020-09-25 Safran Electronics & Defense Equipement optronique d'aide au pilotage d'un aéronef
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109286804A (zh) * 2018-09-30 2019-01-29 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
WO2020071738A1 (en) * 2018-10-02 2020-04-09 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US10931979B2 (en) 2018-10-18 2021-02-23 At&T Intellectual Property I, L.P. Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint
KR102383669B1 (ko) * 2018-10-23 2022-04-06 한국전자통신연구원 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
US10789720B1 (en) * 2019-10-25 2020-09-29 7-Eleven, Inc. Multi-camera image tracking on a global plane
KR102127872B1 (ko) 2018-11-15 2020-06-29 충남대학교산학협력단 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
KR102216621B1 (ko) * 2018-11-15 2021-02-17 온스캔스주식회사 3차원 스캐닝용 턴테이블 및 이를 이용한 피사체의 3d 테이터를 얻는 방법
FR3090170B1 (fr) * 2018-12-12 2020-11-27 Safran Electronics & Defense Dispositif et procédé d’hybridation inertielle/vidéo
US10778895B1 (en) * 2018-12-19 2020-09-15 Gopro, Inc. Systems and methods for stabilizing videos
WO2020142589A1 (en) * 2019-01-04 2020-07-09 Gopro, Inc. Face detection in spherical images
US11233954B1 (en) * 2019-01-24 2022-01-25 Rockwell Collins, Inc. Stereo infrared imaging for head mounted devices
EP3691249A1 (en) 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
US11394897B2 (en) 2019-02-19 2022-07-19 Orlaco Products B.V. Mirror replacement system with dynamic stitching
US11159772B2 (en) * 2019-02-28 2021-10-26 Arlo Technologies, Inc. Electronic doorbell system with camera selection
WO2020181125A1 (en) 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, and device for processing multi-angle free-perspective video data
CN109889820A (zh) * 2019-03-14 2019-06-14 深圳博时特科技有限公司 双目摄像头模组的检测方法、装置、存储介质及终端
US11356586B2 (en) * 2019-03-16 2022-06-07 Microsoft Technology Licensing, Llc Panoramic camera system
CN211019015U (zh) * 2019-03-25 2020-07-14 人眼科技有限公司 具有非共面传感器的成像装置
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
CN111901475A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110232715B (zh) * 2019-05-08 2021-11-19 奥比中光科技集团股份有限公司 一种多深度相机自校准的方法、装置及系统
WO2020250110A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for generating a 3d visualization using mixed reality-based hmd
CN110349086B (zh) * 2019-07-03 2023-01-24 重庆邮电大学 一种非同心成像条件的图像拼接方法
CN110580723B (zh) * 2019-07-05 2022-08-19 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11375104B2 (en) * 2019-08-15 2022-06-28 Apple Inc. System for producing a continuous image from separate image sources
KR102177686B1 (ko) * 2019-08-29 2020-11-11 (주)엘라이트 터널점검 자동 영상촬영 장치
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
US11838486B1 (en) 2019-09-24 2023-12-05 Apple Inc. Method and device for perspective correction using one or more keyframes
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
CN110910314B (zh) * 2019-11-27 2020-09-25 广州市玄武无线科技股份有限公司 一种货架场景图像的拼接方法及装置
US11158108B2 (en) * 2019-12-04 2021-10-26 Microsoft Technology Licensing, Llc Systems and methods for providing a mixed-reality pass-through experience
US11399156B2 (en) * 2019-12-16 2022-07-26 John McDevitt System and method for improved content creation by means of combining content from multiple individual content capture devices
KR20220119123A (ko) * 2019-12-20 2022-08-26 나이앤틱, 인크. 매핑 장치로부터의 로컬 지도 병합
US11373322B2 (en) 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item
US11917119B2 (en) * 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11195291B1 (en) * 2020-02-19 2021-12-07 Facebook Technologies, Llc Dynamic illumination control for depth determination
CN111355928A (zh) * 2020-02-28 2020-06-30 济南浪潮高新科技投资发展有限公司 一种基于多摄像头内容分析的视频拼接方法及其系统
US11948316B2 (en) 2020-03-11 2024-04-02 Samsung Electronics Co., Ltd. Camera module, imaging device, and image processing method using fixed geometric characteristics
WO2021207582A1 (en) * 2020-04-09 2021-10-14 Looking Glass Factory, Inc. System and method for generating light field images
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
US11763779B1 (en) 2020-04-23 2023-09-19 Apple Inc. Head-mounted display systems with alignment monitoring
US11127148B1 (en) * 2020-05-12 2021-09-21 Microsoft Technology Licensing, Llc Parallax correction for partially overlapping stereo depth images
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11317973B2 (en) * 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images
US20230252731A1 (en) * 2020-06-30 2023-08-10 3M Innovative Properties Company Apparatus and method for earbud augmented reality
US11936844B1 (en) 2020-08-11 2024-03-19 Apple Inc. Pre-processing in a display pipeline
US11228878B1 (en) * 2020-08-31 2022-01-18 Amdocs Development Limited System, method, and computer program for edge management of geographically dispersed sensors
EP3971821A1 (en) * 2020-09-22 2022-03-23 Toyota Jidosha Kabushiki Kaisha Image completion using self-attention and uncertainty
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN116406461B (zh) * 2020-10-13 2023-10-20 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
CN114390262A (zh) 2020-10-21 2022-04-22 中强光电股份有限公司 用于拼接三维球面全景影像的方法及电子装置
CN112468832A (zh) * 2020-10-22 2021-03-09 北京拙河科技有限公司 一种十亿级像素全景视频直播方法、装置、介质及设备
CN111968213B (zh) * 2020-10-23 2021-03-23 成都完美时空网络技术有限公司 扭曲效果生成方法、装置、设备和存储介质
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
KR102452581B1 (ko) * 2020-12-08 2022-10-07 광운대학교 산학협력단 비디오 스티칭 방법 및 장치
US11677921B2 (en) * 2021-01-02 2023-06-13 Dreamvu Inc. System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras
CN113673292A (zh) * 2021-01-14 2021-11-19 南方科技大学 一种电容成像传感器及手势形态感知方法
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
CN115335728A (zh) * 2021-03-05 2022-11-11 深圳帧观德芯科技有限公司 使用辐射检测器的成像方法
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
US11736680B2 (en) 2021-04-19 2023-08-22 Looking Glass Factory, Inc. System and method for displaying a three-dimensional image
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN113112501B (zh) * 2021-05-11 2023-01-20 上海市东方海事工程技术有限公司 一种基于深度学习的车载轨道巡检装置及方法
WO2022246373A1 (en) * 2021-05-19 2022-11-24 Snap Inc. Hardware encoder for stereo stitching
CN113344834B (zh) * 2021-06-02 2022-06-03 深圳兆日科技股份有限公司 图像拼接方法、装置及计算机可读存储介质
AU2022304909A1 (en) * 2021-06-29 2023-12-21 Stryker Corporation Patient video monitoring system
GB2609013A (en) * 2021-07-16 2023-01-25 Sony Interactive Entertainment Inc Video recording and playback systems and methods
CN113572978A (zh) * 2021-07-30 2021-10-29 北京房江湖科技有限公司 全景视频的生成方法和装置
US20230053919A1 (en) * 2021-08-19 2023-02-23 Simmonds Precision Products, Inc. Shutter seeker calibration
US11636645B1 (en) * 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Rapid target acquisition using gravity and north vectors
TWI817335B (zh) * 2022-01-25 2023-10-01 宏碁股份有限公司 立體影像播放裝置及其立體影像產生方法
CN114841862B (zh) * 2022-06-07 2023-02-03 北京拙河科技有限公司 一种基于亿像素阵列式相机的图像拼接方法及系统
US20230412866A1 (en) * 2022-06-15 2023-12-21 Microsoft Technology Licensing, Llc Self-driven adaptive upload
CN115278064B (zh) * 2022-07-11 2023-07-25 北京五八信息技术有限公司 一种全景图像生成方法、装置、终端设备及存储介质
WO2024071700A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 전자 장치 및 그 동작 방법
US20240185431A1 (en) * 2022-12-01 2024-06-06 Samsung Electronics Co., Ltd. System and method for ai segmentation-based registration for multi-frame processing
CN117148959B (zh) * 2023-02-27 2024-06-18 荣耀终端有限公司 眼动追踪的帧率调整方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027451A1 (en) * 2002-04-12 2004-02-12 Image Masters, Inc. Immersive imaging system
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
CN103026700A (zh) * 2010-04-09 2013-04-03 3D-4U股份有限公司 捕获图像的装置和方法
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
US20140132705A1 (en) * 2012-11-09 2014-05-15 Nintendo Co., Ltd. Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device

Family Cites Families (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2844156A1 (de) 1978-10-10 1980-04-24 Philips Patentverwaltung Verfahren zum verifizieren eines sprechers
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
JPH07182535A (ja) 1993-12-24 1995-07-21 Olympus Optical Co Ltd 三次元ボリュームデータ表示装置
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6020931A (en) 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6359617B1 (en) 1998-09-25 2002-03-19 Apple Computer, Inc. Blending arbitrary overlaying images into panoramas
US6434265B1 (en) 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7176960B1 (en) 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
US7064783B2 (en) 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
US20020028003A1 (en) * 2000-03-27 2002-03-07 Krebs David E. Methods and systems for distinguishing individuals utilizing anatomy and gait parameters
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6975742B2 (en) * 2000-11-29 2005-12-13 Xerox Corporation Rate-distortion optimization system and method for image compression
JP2002277220A (ja) * 2001-03-19 2002-09-25 Hitachi Ltd 膜厚計測のための計測点決定方法およびそれを用いた薄膜デバイスの製造方法並びに薄膜デバイスの製造装置
US20050226172A1 (en) * 2001-12-15 2005-10-13 Richardson John W Video conference call set up
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US6856344B2 (en) * 2002-04-02 2005-02-15 Robert H. Franz Vehicle undercarriage inspection and imaging method and system
WO2004004350A1 (ja) 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像データ配信システムならびにその画像データ送信装置および画像データ受信装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US8994822B2 (en) 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
CN1771740A (zh) 2003-01-24 2006-05-10 米科伊公司 立体全景图像捕捉装置
US7388693B2 (en) 2003-02-28 2008-06-17 Lexmark International, Inc. System and methods for multiple imaging element scanning and copying
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7747067B2 (en) 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7269299B2 (en) 2003-10-10 2007-09-11 Orbimage Si Opco, Inc. Image warp
US7434153B2 (en) * 2004-01-21 2008-10-07 Fuji Xerox Co., Ltd. Systems and methods for authoring a media presentation
WO2005081539A1 (ja) * 2004-02-23 2005-09-01 Nec Corporation ２次元信号の符号化／復号方法および装置
US7542050B2 (en) 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US7889232B2 (en) * 2004-06-22 2011-02-15 Stratech Systems Limited Method and system for surveillance of vessels
KR101238608B1 (ko) 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US7791638B2 (en) * 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
US9269157B2 (en) 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US8982109B2 (en) 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
GB2425363A (en) * 2005-04-18 2006-10-25 Sharp Kk Panoramic adapter with mirrors formed by rotating conic section
US7460730B2 (en) * 2005-08-04 2008-12-02 Microsoft Corporation Video registration and image sequence stitching
US20070044123A1 (en) 2005-08-16 2007-02-22 Alcatel System and method for smoothing channel changing in internet protocol television systems
US7761303B2 (en) * 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
GB2436921A (en) * 2006-04-06 2007-10-10 British Broadcasting Corp Methods and apparatus providing central, primary displays with surrounding display regions
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
EP1865455A1 (en) 2006-06-07 2007-12-12 Seac02 S.r.l. A virtual advertising system
US8369419B2 (en) * 2006-06-16 2013-02-05 Via Technologies, Inc. Systems and methods of video compression deblocking
CN101361023B (zh) 2006-10-06 2011-06-22 拉利兄弟科学有限责任公司 三维内部背投影系统及其使用方法
US20120008103A1 (en) 2006-10-06 2012-01-12 Iglobe Inc. Ray Casting for Coherent Light Internal Projection Systems
IL181533A (en) * 2007-02-25 2010-12-30 Sosmart Rescue Ltd Inflatable life-saving swimming garment
CA2680813C (en) 2007-03-16 2016-06-14 Kollmorgen Corporation System for panoramic image processing
EP2171689B1 (en) 2007-06-29 2020-06-03 Midmark Corporation Synchronized views of video data and three-dimensional model data
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
US8041147B2 (en) 2007-07-18 2011-10-18 3DHISTECH Kft; Method for realistic stitching image blocks of an electronically recorded multipart image
WO2009019823A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
US8280115B2 (en) 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP5487970B2 (ja) * 2007-11-08 2014-05-14 日本電気株式会社 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
WO2009085961A1 (en) 2007-12-20 2009-07-09 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
US20090167786A1 (en) 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
US20090163185A1 (en) * 2007-12-24 2009-06-25 Samsung Electronics Co., Ltd. Method and system for creating, receiving and playing multiview images, and related mobile communication device
WO2009089125A2 (en) 2008-01-04 2009-07-16 3M Innovative Properties Company Navigating among images of an object in 3d space
WO2009094643A2 (en) 2008-01-26 2009-07-30 Deering Michael F Systems using eye mounted displays
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8355042B2 (en) 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US9786164B2 (en) * 2008-05-23 2017-10-10 Leverage Information Systems, Inc. Automated camera response in a surveillance architecture
US20090300692A1 (en) 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
EP2304491A1 (en) 2008-07-10 2011-04-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
CN102422577A (zh) * 2009-04-24 2012-04-18 德耳塔维德约股份有限公司 用于数字视频分配系统中的瞬时多频道视频内容浏览的系统、方法和计算机可读介质
WO2010128962A1 (en) * 2009-05-06 2010-11-11 Thomson Licensing Methods and systems for delivering multimedia content optimized in accordance with presentation device capabilities
US8388151B2 (en) 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
GB2473059A (en) 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP5418127B2 (ja) 2009-10-09 2014-02-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2502222B1 (en) 2009-11-18 2018-08-29 Thomson Licensing Methods and systems for three dimensional content delivery with flexible disparity selection
JP4886888B2 (ja) * 2009-12-01 2012-02-29 キヤノン株式会社 画像処理装置及びその制御方法
WO2011066848A1 (en) 2009-12-04 2011-06-09 Nokia Corporation A processor, apparatus and associated methods
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141229A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US8294748B2 (en) 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
CN101710932B (zh) 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
US8964013B2 (en) 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
GB2477333B (en) 2010-01-29 2014-12-03 Sony Corp A method and apparatus for creating a stereoscopic image
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
KR101055411B1 (ko) 2010-03-12 2011-08-09 이상원 입체 영상 생성 방법 및 그 장치
JP5564300B2 (ja) 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US8755441B2 (en) * 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer
US10628729B2 (en) 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
JP5682149B2 (ja) * 2010-06-10 2015-03-11 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN201860380U (zh) 2010-07-28 2011-06-08 深圳市广越视通电子有限公司 全景监控摄像机
CN101963751B (zh) 2010-08-19 2011-11-30 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
US8571350B2 (en) 2010-08-26 2013-10-29 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof
JP2012068380A (ja) 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20120274775A1 (en) 2010-10-20 2012-11-01 Leonard Reiffel Imager-based code-locating, reading and response methods and apparatus
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9088835B2 (en) 2010-12-17 2015-07-21 Thomson Licensing Method for adjusting depth or view of three-dimensional streaming video
US8548269B2 (en) 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
CN102918858B (zh) 2010-12-24 2014-09-03 富士胶片株式会社 立体全景图像创建设备和方法、立体全景图像再现设备和方法
TWI417640B (zh) * 2010-12-31 2013-12-01 Altek Corp 鏡頭校準系統
JP2012156680A (ja) 2011-01-25 2012-08-16 Jvc Kenwood Corp ３ｄ画像処理装置
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US9661205B2 (en) * 2011-02-28 2017-05-23 Custom Manufacturing & Engineering, Inc. Method and apparatus for imaging
CN102812497B (zh) 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
US20140043329A1 (en) 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US8581961B2 (en) 2011-03-31 2013-11-12 Vangogh Imaging, Inc. Stereoscopic panoramic video capture system using surface identification and distance registration technique
JP6001826B2 (ja) * 2011-05-18 2016-10-05 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
CN102217322B (zh) 2011-05-27 2013-10-09 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20130212538A1 (en) 2011-08-19 2013-08-15 Ghislain LEMIRE Image-based 3d environment emulator
GB201115369D0 (en) 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US10061189B2 (en) 2011-09-06 2018-08-28 King Abdullah University of Science and Technology (KAUST) Stereo-panoramic data
JP2013061848A (ja) 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置
JP2013077296A (ja) * 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
CN102420898A (zh) 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US8868039B2 (en) 2011-10-12 2014-10-21 Digimarc Corporation Context-related arrangements
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
US8456467B1 (en) 2011-11-11 2013-06-04 Google Inc. Embeddable three-dimensional (3D) image viewer
US20130144720A1 (en) 2011-12-06 2013-06-06 Yahoo! Inc. System for Advertisement Display
WO2013083846A1 (en) * 2011-12-10 2013-06-13 Thermosensorik Gmbh Method for examination of a sample by means of the heat flow thermography
AU2011253973B2 (en) * 2011-12-12 2015-03-12 Canon Kabushiki Kaisha Keyframe selection for parallel tracking and mapping
US9479780B2 (en) * 2012-02-01 2016-10-25 Google Technology Holdings LLC Simplification of significance map coding
CN103260046A (zh) 2012-02-16 2013-08-21 中兴通讯股份有限公司 一种三维显示方法及系统
KR101926577B1 (ko) * 2012-02-23 2018-12-11 한국전자통신연구원 확장형 3차원 입체영상 디스플레이 시스템
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US9161166B2 (en) 2012-02-24 2015-10-13 Blackberry Limited Method and apparatus for interconnected devices
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US20130250040A1 (en) 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
TW201342303A (zh) 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 三維空間圖像的獲取系統及方法
WO2013160533A2 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method, apparatus and computer program product for generating panorama images
GB2501767A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Noise cancelling headset
WO2013173728A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9582932B2 (en) 2012-06-05 2017-02-28 Apple Inc. Identifying and parameterizing roof types in map data
EP2860957B1 (en) * 2012-06-11 2020-11-18 Sony Interactive Entertainment Inc. Image capturing device, image capturing method and computer-readable recording medium
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9105210B2 (en) 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
US9417692B2 (en) 2012-06-29 2016-08-16 Microsoft Technology Licensing, Llc Deep augmented reality tags for mixed reality
US9013558B2 (en) 2012-07-02 2015-04-21 Sony Corporation System and method for alignment of stereo views
US8768049B2 (en) 2012-07-13 2014-07-01 Seiko Epson Corporation Small vein image recognition and authorization using constrained geometrical matching and weighted voting under generic tree model
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US9406028B2 (en) * 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US9314692B2 (en) * 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
EP2905961A4 (en) * 2012-10-05 2016-07-06 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
CN102946508A (zh) 2012-11-14 2013-02-27 李良杰 全景摄像装置
US20140152777A1 (en) 2012-12-01 2014-06-05 Csr Techology Inc. Camera having additional functionality based on connectivity with a host device
KR20140089146A (ko) 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
US20140362176A1 (en) 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
US20140205203A1 (en) * 2013-01-22 2014-07-24 University Of Central Florida Research Foundation, Inc. System and Method for Visual Correlation of Digital Images
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US9094907B2 (en) 2013-02-11 2015-07-28 Telefonaktiebolaget L M Ericsson (Publ) High-precision time tagging for content synthesization
KR102330889B1 (ko) 2013-02-22 2021-11-26 페이스북 테크놀로지스, 엘엘씨 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US20140300691A1 (en) 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
US20140323194A1 (en) 2013-04-25 2014-10-30 Spielo International Canada Ulc Gaming machine having camera for adapting displayed images to player's movements
TWM462387U (zh) * 2013-05-08 2013-09-21 Zhen-Shun Xu 具多拍攝角度之監視器
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
CN105308621B (zh) * 2013-05-29 2019-05-21 王康怀 从活体内多相机胶囊重建影像
KR102155001B1 (ko) 2013-06-27 2020-09-11 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR102082300B1 (ko) * 2013-07-01 2020-02-27 삼성전자주식회사 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP6237000B2 (ja) 2013-08-29 2017-11-29 セイコーエプソン株式会社 頭部装着型表示装置
EP3044769B1 (en) * 2013-09-10 2020-01-01 Telefonaktiebolaget LM Ericsson (publ) Method and monitoring centre for monitoring occurrence of an event
US8836669B1 (en) * 2013-09-13 2014-09-16 Cypress Semiconductor Corporation High resolution capacitance to code converter
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
US20150080652A1 (en) * 2013-09-18 2015-03-19 Cerner Innovation, Inc. Lesion detection and image stabilization using portion of field of view
US9405972B2 (en) 2013-09-27 2016-08-02 Qualcomm Incorporated Exterior hybrid photo mapping
US8730299B1 (en) 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
US9478010B2 (en) * 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
IN2014DE00449A (zh) * 2014-02-17 2015-08-21 Rockwell Collins Inc
US8988509B1 (en) 2014-03-20 2015-03-24 Gopro, Inc. Auto-alignment of image sensors in a multi-camera system
US20150272547A1 (en) * 2014-03-31 2015-10-01 Siemens Medical Solutions Usa, Inc. Acquisition control for elasticity ultrasound imaging
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US10209942B2 (en) * 2014-07-16 2019-02-19 Sony Interactive Entertainment LLC Collaboratively displaying media content using plurality of display devices
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
CA2960427A1 (en) * 2014-10-07 2016-04-14 Nokia Technologies Oy Camera devices with a large field of view for stereo imaging
US9672586B2 (en) 2015-10-22 2017-06-06 Texas Instruments Incorporated Image synthesis method with DSP and GPU

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040027451A1 (en) * 2002-04-12 2004-02-12 Image Masters, Inc. Immersive imaging system
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20070014347A1 (en) * 2005-04-07 2007-01-18 Prechtl Eric F Stereoscopic wide field of view imaging system
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质
CN103026700A (zh) * 2010-04-09 2013-04-03 3D-4U股份有限公司 捕获图像的装置和方法
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
CN103534726A (zh) * 2011-05-17 2014-01-22 苹果公司 用于全景摄影的位置传感器辅助的图像配准
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
US20140132705A1 (en) * 2012-11-09 2014-05-15 Nintendo Co., Ltd. Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210694A (zh) * 2016-07-14 2016-12-07 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106231284A (zh) * 2016-07-14 2016-12-14 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106231284B (zh) * 2016-07-14 2019-03-05 上海玮舟微电子科技有限公司 三维图像的成像方法及系统
CN106210700A (zh) * 2016-07-14 2016-12-07 上海玮舟微电子科技有限公司 三维图像的获取系统、显示系统及所适用的智能终端
CN107770415A (zh) * 2016-08-19 2018-03-06 光宝电子(广州)有限公司 摄像设备以及摄像方法
CN106657809A (zh) * 2016-12-13 2017-05-10 深圳先进技术研究院 一种全景3d视频拼接系统及方法
US10728515B2 (en) 2017-02-23 2020-07-28 Eys3D Microelectronics, Co. Image device for generating panorama depth images and related image device
CN108510576A (zh) * 2017-02-23 2018-09-07 中央大学 多镜头影像深度的3d空间绘制系统
TWI668997B (zh) * 2017-02-23 2019-08-11 鈺立微電子股份有限公司 產生全景深度影像的影像裝置及相關影像裝置
CN109813251B (zh) * 2017-11-21 2021-10-01 蒋晶 用于三维测量的方法、装置以及系统
CN109813251A (zh) * 2017-11-21 2019-05-28 蒋晶 用于三维测量的方法、装置以及系统
CN110223222A (zh) * 2018-03-02 2019-09-10 株式会社理光 图像拼接方法、图像拼接装置和计算机可读存储介质
CN112334056A (zh) * 2018-06-27 2021-02-05 奥林巴斯株式会社 图像显示装置和图像显示方法
CN112334056B (zh) * 2018-06-27 2024-05-14 奥林巴斯株式会社 图像显示装置和图像显示方法
TWI696147B (zh) * 2018-09-05 2020-06-11 宅妝股份有限公司 全景圖形成方法及系統
CN109491626A (zh) * 2018-09-29 2019-03-19 上海摩奇贝斯展示设计营造有限公司 侧屏拼接演绎系统
CN113939712A (zh) * 2019-06-06 2022-01-14 赛峰电子与防务公司 基于运输设备取景器传送的信息重置运输设备惯性单元的方法和装置
CN113939712B (zh) * 2019-06-06 2023-11-28 赛峰电子与防务公司 基于运输设备取景器传送的信息重置运输设备惯性单元的方法和装置
US11800231B2 (en) 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
WO2021093584A1 (zh) * 2019-11-13 2021-05-20 南京大学 基于深度卷积神经网络的自由视点视频生成及交互方法
CN112306231A (zh) * 2020-09-17 2021-02-02 浙江大学 一种基于半轮廓高亮的凌空徒手三维目标选择方法
CN114973166A (zh) * 2022-07-26 2022-08-30 中诚华隆计算机技术有限公司 一种交通信息追踪方法、系统及计算机设备
CN114973166B (zh) * 2022-07-26 2022-10-25 中诚华隆计算机技术有限公司 一种交通信息追踪方法、系统及计算机设备

Also Published As

Publication number Publication date
KR101885778B1 (ko) 2018-08-06
EP3198865A1 (en) 2017-08-02
EP3198866B1 (en) 2020-11-04
CN107079141B (zh) 2019-10-08
EP3198862A1 (en) 2017-08-02
KR20170052674A (ko) 2017-05-12
US10547825B2 (en) 2020-01-28
CN106797460A (zh) 2017-05-31
WO2016048013A1 (en) 2016-03-31
US10257494B2 (en) 2019-04-09
CN107079141A (zh) 2017-08-18
US20160088287A1 (en) 2016-03-24
EP3198862B1 (en) 2020-04-08
US10313656B2 (en) 2019-06-04
US10750153B2 (en) 2020-08-18
KR20170052673A (ko) 2017-05-12
EP3198865A4 (en) 2017-09-27
KR20170052676A (ko) 2017-05-12
CN106797459A (zh) 2017-05-31
US20160088282A1 (en) 2016-03-24
WO2016048014A1 (en) 2016-03-31
EP3198863A4 (en) 2017-09-27
WO2016048017A1 (en) 2016-03-31
KR101885779B1 (ko) 2018-08-06
KR20170052675A (ko) 2017-05-12
KR101885780B1 (ko) 2018-08-06
CN106797460B (zh) 2018-12-21
WO2016048015A1 (en) 2016-03-31
EP3198866A4 (en) 2017-09-27
EP3198863A1 (en) 2017-08-02
US20160088280A1 (en) 2016-03-24
US20160088285A1 (en) 2016-03-24
KR101885777B1 (ko) 2018-08-06
EP3198862A4 (en) 2018-01-24
EP3198866A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
CN105659592A (zh) 用于三维视频的相机系统
US11205305B2 (en) Presentation of three-dimensional video
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
KR102497683B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN105659287B (zh) 图像处理装置、图像处理方法和成像系统
JP7192923B2 (ja) 装置、方法、プログラム、システム
CN104322052B (zh) 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统
CN104169965A (zh) 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
CN112815923B (zh) 视觉定位方法和装置
CN106133582A (zh) 在头戴显示设备内结合实景图像流之方法及系统
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
CN107004264A (zh) 增加针对具有对角布局的相机图像的整数视差精度的方法和系统
US20170332014A1 (en) Method for transforming wide-angle image to map projection image and perspective projection image
JP2017182681A (ja) 画像処理システム、情報処理装置、プログラム
JP2020088571A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム
JP2024033276A (ja) 通信システム、情報処理システム、動画作成方法、プログラム
JP2020086860A (ja) 管理システム、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160608