CN108700798A - 在创建全景帧过程中的帧适应拼接 - Google Patents

在创建全景帧过程中的帧适应拼接 Download PDF

Info

Publication number
CN108700798A
CN108700798A CN201680081415.3A CN201680081415A CN108700798A CN 108700798 A CN108700798 A CN 108700798A CN 201680081415 A CN201680081415 A CN 201680081415A CN 108700798 A CN108700798 A CN 108700798A
Authority
CN
China
Prior art keywords
frame
imager
panoramic
irregular
thread path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680081415.3A
Other languages
English (en)
Inventor
安东·巴
伊扎克·陶波菲许
萨缪尔·汎恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Human Eye Technology Co Ltd
HumanEyes Technologies Ltd
Original Assignee
Human Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Human Eye Technology Co Ltd filed Critical Human Eye Technology Co Ltd
Publication of CN108700798A publication Critical patent/CN108700798A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种创建一全景帧的方法，通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧。所述方法包含：在记录于一第一帧的一第一帧部的内容及记录于一第二帧的一第二帧部的内容之间识别一重叠；在所述第一帧部中分割多个对象；识别所述多个对象的边界；识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧。

Description

在创建全景帧过程中的帧适应拼接
技术领域
在本发明的一些实施例中，本发明涉及图像处理，更具体地但不限于涉及多个帧的拼接。
背景技术
虚拟现实(VR)是一种特殊类型的图像或视频内容。也就是说，VR被设计用于取代现实，以便为观众提供录制内容的沉浸感，包括视频及音频。观众使用特殊类型的显示眼镜，通常称为VR头戴式耳机、VR护目镜或VR眼镜。VR头戴式耳机有效地阻挡了观众的自然视觉，并通过录制或直播的内容取代自然视觉。
VR内容与设计用于在平面屏幕上呈现的标准数字内容不同，因为VR主要在取代自然视觉。VR设计用于一宽视场(wide field of view,FOV)，同时提供立体视觉。
发明内容
根据本发明的一些实施例，一种创建一全景帧的方法，通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧，所述方法包含：在记录于一第一帧的一第一帧部的内容及记录于一第二帧的一第二帧部的内容之间识别一重叠；在所述第一帧部中分割多个对象；识别所述多个对象的边界；识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧。
任选地，所述方法还包含在所述第一帧中检测多个特征点，每个特征点具有至少一个预确定特征点特性；其中根据所述多个特征点对所述多个对象进行分段。
再任选地，基于所述多个特征点，在所述第一部所产生的一分水岭图像上识别所述多个对象。
再任选地，使用一加速段测试(accelerated segment test,FAST)程序识别所述多个特征点。
任选地，通过进行一特征描述匹配程序来识别所述重叠。
任选地，所述第一帧及所述第二帧由一成像装置的多个成像器中的数个成像器所撷取。
再任选地，所述第一帧及所述第二帧通过所述多个成像器的两个相邻成像器所撷取，所述两个相邻成像器中的一个成像器的一第一视场与所述两个相邻成像器中的另一个成像器的一第二视场重叠；其中所述两个相邻成像器被安装与其他所述多个成像器一起围绕一共同中心。
再任选地，所述两个相邻成像器中的一第一个相邻成像器的一光轴相对于穿过所述共同中心的一轴形成倾斜，所述轴在经过所述多个成像器的视野的所有原点的一虚拟圆上穿过所述共同中心及所述第一相邻成像器的一视场的一原点的一相应切向点。
任选地，所述方法包含：根据一新不规则线路径调整所述不规则线路径，所述新不规则线路径计算相似于在所述第一帧及第二帧之后撷取的一对新帧的不规则线路径；及使用所述调整的不规则线路径来拼接新图像。
任选地，所述方法包含：当所述不规则线路径与所述新不规则线路径之间的一差值大于一阈值时，执行所述调整及所述使用。
任选地，所述全景帧是一虚拟现实(VR)文件的多个帧中的一个。
再任选地，所述全景帧是一左眼全景帧，所述多个成像器与多个附加成像器相连在一起，所述多个附加成像器撷取多个附加帧，所述附加帧被组合成一右眼全景帧。
任选地，所述方法还包含将所述右眼全景帧及所述左眼全景帧组合以产生一立体帧。
再任选地，所述多个成像器的构件及所述多个附加帧沿着环绕一共同中心的一虚拟圆交替地排列。
再任选地，所述全景帧是一右眼全景帧，所述多个成像器与多个附加成像器相连在一起，所述多个附加成像器撷取多个附加帧，所述附加帧被组合成一左眼全景帧；所述全景帧进一步包括将所述左眼全景帧及所述右眼全景帧组合以产生一立体帧。
再任选地，所述多个成像器沿着环绕一共同中心的一虚拟圆排列；其中所述多个成像器的每一个成像器被安装成使得所述成像器的一光轴相对于穿过所述共同中心的一轴及相应所述成像器的一视场的一原点的一切向点呈倾斜。
根据本发明的一些实施例，一种创建一全景帧的系统，通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧，所述系统包含：一接口，适用于从通过一成像装置的多个成像器撷取的多个帧中的二个帧来接收一第一帧及一第二帧；一代码存储器，适用于存储一代码；一处理器，适用于执行所述代码，其中所述代码包含：多个代码指令，用于识别在一第一帧的一第一帧部所记录的内容及一第二帧的一第二帧部所记录的内容之间的一重叠；多个代码指令，用于分割所述第一帧部中的多个对象；多个代码指令，用于识别所述多个对象的边界；多个代码指令，用于识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及多个代码指令，用于在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧。
除非再定义，否则本文中所使用的所有技术及/或科学用语具有与本发明所属领域的普通技术人员一般能够理解的含义相同。尽管与本文描述的类似或等同的方法及材料可用于实践或测试本发明的实施方案，但下文描述了示例性方法及/或材料。在冲突的情况下，专利说明书，包括定义，将进行控制。另外，材料、方法及实施例仅是说明性的，不需要被限制。
附图说明
仅通过举例的方式，在本文中参考附图描述了本发明的一些实施例。现在详细地具体参考附图，要强调的是，所显示的细节作为示例，并且出于说明性讨论本发明实施例的目的。在这方面，通过附图进行的描述使得本领域技术人员清楚如何实施本发明的实施例。
在附图中：
图1是根据本发明的一些实施例使用在具有围绕共同中心的区域的多个视角的多个成像器撷取的相邻帧的重叠部分中识别的不规则拼接线来创建全景帧的一流程图。
图2是根据本发明的一些实施例用于创建全景帧的系统的组件的一框图，例如通过执行图1中描绘的方法。
图3A是根据本发明的一些实施例使用本文描述的系统及/或方法在多个视角撷取帧的成像器的示例性布置的一示意图，所述多个视角被拼接到全景帧中。
图3B是根据本发明的一些实施例具有成像器布置的虚拟现实(VR)成像装置的一横向示意图，所述成像器用于以多个视角撷取帧且使用本文描述的方法将撷取的帧拼接到全景帧中。
图3C及3D是根据本发明的一些实施例的成像器视场之间的重叠的示意图，其中分别具有相对于通过成像器的安装点的虚拟圆的半径的倾斜光轴及非倾斜光轴。
图4是根据本发明的一些实施例标记有特征部分(点)、对象边界(绿色线)及沿着一些边界穿过示例性重叠区域的最短不规则路径的示例重叠区域。
图5是根据本发明的一些实施例在示例性重叠区域中描绘的对象边界标记的示例性重叠区域。
图6A-6C是根据本发明的一些实施例描绘在多个视角撷取帧、调整帧及创建的全景帧的过程的一示意图。
具体实施方式
在本发明的一些实施例中，本发明涉及图像处理，更具体地不限于涉及帧的拼接。
本发明的一些实施例的一态样涉及系统及/或方法(例如：由一计算装置的处理器执行的代码)，其用于拼接在多个视角(任选地围绕共同中心的区域)撷取的帧或图像(为求简洁，在本文中可互换使用)，通过布置成全景帧或描绘周围环境的全景帧的多个成像器(如相机、图像传感器)。所述共同中心的区域，为求简洁，也称为共同中心。所述拼接被执行以减少拼接接缝的可见性，并且为用户创建改进的全景帧观看体验，其更接近于撷取的周围环境。
沿着在帧的视场之间的重叠区域中识别不规则线执行帧的拼接。任选地，沿着位于重叠区域中的对象或分割区域的边界识别不规则线。
可以对由本发明的实施例拼接的帧进行预先处理(例如在拼接之前)，以进行对准及配准。由具有视野的成像器撷取的两个随后帧之间的重叠区域被识别，所述视野对环境的共同部分进行成像，也称为相邻成像器。可以不必从视野中的重叠区域的分析来识别重叠区域，而是使用外部方法来估计重叠区域。
任选地，通过将所述帧的视觉表示投影到虚拟球体骨架模型上来估计重叠区域。替代地或另外地，基于为撷取重叠帧的一个或两个成像器定义的校准模型(例如：数学模型)来估计重叠区域。可以基于主点参数、焦距参数及/或鱼眼畸变参数来定义校准模型。
这里描述的系统及/或方法提供技术问题的技术解决方案，所述技术问题是如何通过组合在多个视角处撷取的帧来创建全景帧时，全景帧中的拼接的可见性降低，所述全景帧描绘了共同中心周围的环境。拼接帧可以是虚拟现实(VR)文件的帧。这样虚拟现实文件可以用在虚拟现实系统中，例如：呈现给虚拟现实耳机的用户以观看虚拟现实视频。用于拼接在一起的帧被不同的相机撷取，这些相机具有不同的视角及/或不同的特性，例如：聚焦、曝光、白平衡。所述成像器(例如：宽及/或鱼眼镜片)使用的镜片可以应用视觉扭曲，例如：镜筒、枕形及小插图，在拼接帧时产生额外的挑战。一次要技术问题可能是拼接由不同相机撷取的帧，其具有不同的特性及改变方向(例如固定或可调节相机的微小移动)，以减少或消除接缝的可见性。可见接缝减少了虚拟现实视频能够提供的自然外观或真实感。减少或消除拼接失真(例如，在左右全景帧中，每个被设计为由相应的左眼及右眼观看)及/或不同的虚像通过去除或减少不一致的非水平视差来改善虚拟现实视频，否则会引起观看者的不适及/或恶心。
这里描述的系统及/或方法是将数学运算(例如帧的重叠区域的估计、运动梯度的计算及帧的拼接)与处理器处理数字图像的能力联系起来，例如通过拼接帧，基于穿过帧的重叠区域的不规则线，在围绕共同中心的多个视角处撷取到全景帧中。
应当注意的是，存在有一些图像配准及对准方法，其定义由不同相机模块创建的内容需要被拼接的确切区域。一旦计算配准，第二重要部分就是定义连接帧的重叠区域将如何精确切割及融合。
有几种方法可以定义切割线。最简单的是直线垂直线，在选定的坐标处沿直线切割两个重叠的帧。添加从一个重叠帧到另一个重叠帧的梯度过渡也用于调整直线。例如，当连接左右两个帧时，左帧的重叠区域的透明度可以在左帧上从左到右透明度逐渐增加，而在右帧中从左到右透明。所有直线切割方法都有一个明显的缺点，人的视觉对于明确定义的几何图形(例如直线)特别敏感，因此任何明确定义的拼接线对于用户来说都是明显的。
这里描述的系统及/或方法涉及处理由安装在共同中心周围的成像器以多个视角撷取的帧。通过将所撷取的帧拼接在一起，以全景帧的形式创建新数据。全景帧可以存储在存储器装置中，并且可选地回放给用户，例如在VT头盔中显示。所述全景帧可以包含在多个后续全景帧的视频中。
这里描述的系统及/或方法改善了计算机的性能，例如通过使用更少的存储器及/或改进产生数字图像的计算时间。
因此，这里描述的系统及/或方法必须在计算机技术中以克服数字图像处理中出现的实际技术问题。
在详细解释本发明的至少一实施例之前，应当理解，本发明不一定限于其应用于以下描述中阐述及/或附图及/或实施例中所示的构造细节及组件及/或方法的布置。本发明能够具有其他实施例或者能够以各种方式实践或实施。
本发明可以是系统、方法及/或计算机程序产品。所述计算机程序产品可以包括计算机可读存储介质(或介质)，其中具有计算机可读程序指令，用于使处理器执行本发明的各个态样。
所述计算机可读存储介质可以是具体装置，其可以保留及存储指令，以供指令执行装置使用。所述计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述的任何合适组合。所述计算机可读存储介质的更具体示例且非详尽的列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘及任何前述的合适组合。这里使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质传播的电磁波(例如通过的光脉冲)、光纤电缆或通过电线传输的电信号。
其中描述的计算机可读程序指令可以经由网络，例如：互联网、局域网、广域网或无线网络，从计算机可读存储介质或外部计算机或外部存储装置下载到相应的计算/处理装置。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机及/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理装置内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或源代码或对象。以一种或多种编程语言的任意组合编写的代码，包括如Smalltalk，C++等的面向对象的编程语言，以及如“C”编程语言或类似编程语言的传统过程编程语言。所述计算机可读程序指令可以完全在用户的计算机上，部分在用户的计算机上，作为独立的软件包，部分地在用户的计算机上，部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(如通过互联网来使用互联网服务的提供商)。在一些实施例中，包括例如可编程逻辑电路，现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化来执行计算机可读程序指令，以执行本发明的各个态样。
这里参考根据本发明实施例的方法、装置(系统)及计算机程序产品的流程图及/或框图来描述本发明的各个态样。要理解的是，流程图的附图及/或框图的每个框以及流程图附图及/或框图中的框的组合可以由计算机可读程序指令实现。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得通过计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图及/或框图中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，所述计算机可读存储介质可以指示计算机，可编程数据处理装置及/或其他装置以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制品，所述制品包括实现流程图及/或框图中指定的功能/动作的各方面的指令。
计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他装置上，因而在计算机、其他可编程装置或其他装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他装置上执行的指令实现在流程图及/或框图中指定的功能/动作。
附图中的流程图及框图显示了根据本发明的各种实施例的系统、方法及计算机程序产品的可能实现的体系结构、功能及操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意的是，框图及/或流程图说明的每个框以及框图及/或流程图说明中的框的组合可以由执行特定功能或动作基于专用硬件的系统来实现，以执行专用硬件及计算机指令的组合。
参照图1所示，图1是根据本发明的一些实施例使用在具有围绕共同中心的区域的多个视角的多个成像器撷取的相邻帧的重叠部分中识别的不规则拼接线来创建全景帧的一流程图。所述方法通过检测重叠区域中的对象或任何其他分割区域的边界，并识别交叉(例如分成两个)重叠区域的最短不规则线来识别帧的重叠区域中的不规则线。对于全景成像装置的成像器基本上同时撷取的每对帧重复所述方法。参照图2所示，为一系统200的组件的框图，所述系统200允许用户使用多个观看成像器撷取围绕(至少部分)共同中心区域的环境的一系列全景帧的单独全景帧或全景帧的视频。每个指向围绕共同中心区域的不同角度。用户可以记录视频以在虚拟现实设置中回放，例如使用VR耳机。权利要求1的方法可以由图2的系统200实现。
系统200包括容纳有成像器212的计算单元202，例如定制设计的单元，在此称为VR成像装置(参照如图3B所示，为VR成像装置的示例性外壳)，或者与成像器分开。其包括成像器212的外壳，例如个人计算机、服务器、移动装置、可穿戴计算机或其他实施方式。计算单元202包括一个或多个处理器204，以及存储用于由处理器204执行的代码指令的程序存储206。
处理器204可以是处理单元(CPU)、一个或多个图形处理单元(GPU)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)及专用集成电路(ASIC)。所述处理器可以是处理单元的一部分，所述处理单元包括被布置用于并行处理的多个处理器(同质或异构)，作为群集及/或作为一个或多个多核处理单元。
程序存储器206存储可由处理器204实现的代码指令，例如随机存取存储器(RAM)、只读存储器(ROM)及/或存储装置，例如非易失性存储器、磁介质半导体存储器件、硬盘驱动器、可移动存储器和光学介质(例如DVD、CD-ROM)。所述指令任选地实现图1中描述的方法。
计算单元202包括数据存储库208或与数据存储库208通信，例如存储器、存储单元、硬盘驱动器、光盘、远程存储服务器及/或云服务器(例如通过网络连接访问)。数据储存库208可以存储原始获取的帧(例如在原始帧存储库208A中)，存储适合于由本文描述的系统及/或方法描述的帧(例如在适应的帧存储库208B中)，及/或创建的全景帧(例如在全景帧存储库208C中)。
所述计算单元202包括数据接口210(例如物理、虚拟及/或软件接口)，用于接收从多个成像器212(例如数字相机)中的每一个撷取的帧。所述成像器212(例如红色、绿色、蓝色RGB成像器)被布置成撷取一组帧，其描绘环境，任选地至少180度、任选地360(水平及/或垂直)围绕共同中心区域，例如下面见图3A将更详细地描述。
任选地，成像器212配对以撷取左眼或右眼的帧，可以例如使用VT耳机呈现给不同眼睛。在这样的实施例中，成像器可以被分成两组，左眼组及右眼组。左眼组的成员在偶数位置，并且右眼组的成员位于不平坦的地方(假设位置以围绕公共中心区域的圆的顺序分布)或反之亦然。在这样的实施例中，拼接由左眼组的成像器撷取的帧以形成左眼全景帧，并且拼接由右眼组的成像器撷取的帧以形成右眼全景帧。左眼全景帧及右眼全景帧中的每一个的拼接是分开进行的，例如以下所述(重叠区域在组成员撷取的帧之间)。左眼全景帧及右眼全景帧被组合在一起以创建立体全景帧。例如：在图3A的排列304及306中，虚线矩形可以是左眼组的成员，而非虚线矩形是右眼组的成员。
任选地或另外地，成像器212撷取帧同时向双眼显示，例如：投影在180度剧院内。
所述成像器212中的每一个可以具有设计用于撷取宽视场的广角镜头，例如：鱼眼镜头。示例性的成像器212是具有超宽及/或垂直角度透镜的相机，而且水平地撷取约120度，垂直地撷取约175度，或其他值。
选择成像器212的数量以覆盖所设计的环境(在其中创建立体全景帧的实施例中为两次)，并且可以基于可以由相机的镜头撷取的视场，例如：4个成像器、8个成像器、10个成像器、16个成像器及/或任何中间或更大数量的成像器。
现在参照图3A，描绘根据本发明的一些实施例的用于成像器312的布置的示例性实施方式(例如对应于如图2所述的成像器212)。所述成像器312围绕共同中心302来安装。成像器312布置成以多个视角来撷取帧。所述帧被拼接至全景帧中(使用本文所述的系统及/或方法)，描绘共同中心302周围的环境。
布置304及306中的每一个包括八个成像器312，其布置成360度围绕共同中心302而进行覆盖。实施304描绘以正方形308(或矩形)格式布置的成像器312，其包括正方形308的每侧的两个成像器312，可以配对以撷取左眼及右眼的帧。参见图3B，为示例性二次壳体的侧视图，具有定制设计单元的截角，且包括4对侧向成像器1312，其中每对位于示例性二次壳体的另一个截角处。布置306包括以圆310(或椭圆)格式布置的成像器312，沿着圆310的圆周间隔开。成像器312可以撷取左眼及右眼的帧。要注意的是，可以使用其他实施形状。
根据本发明的一些实施例，成像器被分成对，其中每对被设计为撷取立体帧。在这样的实施例中，识别立体帧的每对中重叠区域，并用于创建全景帧，如下所述。为求简洁，立体帧在本文中称为帧，并且设计用于撷取立体帧的一对成像器在本文中称为成像器。例如：使用具有用于撷取立体帧的成像器一对的布置的VR成像装置，其中视场如图3C所示。任选地，一对成像器中的每个成像器的光轴朝向所述对成像器的另一个成像器倾斜，例如：朝向光轴倾斜。任选地，所述光轴的平铺关系是穿过共同中心，并穿过相应成像器的视场的原点的相应切向点的轴，所述虚拟圆经过所有的原点的点。所有成像器的视图，例如：参照图3C及3D所示的圆圈。任选地，倾斜在20及30度之间，例如：22度，如图3C所示。成像器的倾斜减少了视场之间的重叠区域。当比较图中的成像器时可以看到这一点，图3C描绘的成像器的布置，其中每个成像器朝向其成对的成像器倾斜，图3D描绘的成像器的另一种布置，其中每个成像器的光轴被对准以继续经过所有成像器的安装点的虚拟圆的半径，例如：成像器的光轴的原点。比较图3C及3D。可以看出的是，当成像器的光轴如上所述倾斜时，作为成像器视场的交叉点的较暗区域较大。
实施304及306可以具有基本上圆盘形状，其中成像器312沿着平面布置。要注意的是，可以使用其他实施，例如：球形或半球形。
附加的成像器312可以定位成面朝上或朝下(未绘示)。
计算单元202及成像器312可以基于实施304及/或306容纳在壳体内，例如：作为独立的可携式单元，可以供家庭中的消费者使用。
现在回到如图2所示，计算单元202包括通信接口214(例如：物理、软件及/或虚拟)以与一个或多个外部装置通信，以存储及/或呈现所创建的全景帧(例如：视频)，如Wi-FiTM模块或BluetoothTM模块。示例性外部装置包括个人显示装置216(例如：VR耳机)，存储视频以供将来回放的存储装置218，以及可以通过网络222进行通信的服务器220(例如：web服务器、存储服务器、视频服务器)。要注意的是，所记录的视频可以被公开播放，例如：投影到剧院、房间或家中的全景屏幕上，如通过投影器(未绘示)。
计算单元202包括用户接口224或者与用户接口224通信(用户接口224可以集成在包含计算单元202的外壳内，在客户端的终端上实现为软件及/或实现为显示全景帧的显示装置的一部分)，例如：使用扬声器及麦克风的触摸屏、键盘、鼠标及语音激活软件。用户界面224可以访问代码(例如：存储在客户端的终端及/或计算单元202上)以基于用户输入来定制全景帧的创建。
根据本发明的一些实施例，校准成像器用于计算图像对准的相机校准模型以及视差失真的减小。任选地，基于每个成像器的内部参数计算相机校准模型，例如：主要点参数、焦距参数及/或鱼眼失真参数，并且任选地基于外部参数。
在使用中，可以通过将虚拟现实成像装置的成像器放置在棋盘图案的前面，同时旋转虚拟现实成像装置并撷取帧的序列来计算参数。
在计算相机校准模型期间，任选地使用处理器204执行；例如通过找到图案的线性最小二乘单应性来检测棋盘图案的n×m图案的角。可以应用高斯-牛顿(Gauss-Newton)方法来找到上述成像器参数以及成像器的旋转及平移，产生针对棋盘的若干视图检测到的单应性。计算雅可比(Jacobian)矩阵并基于均方误差方法计算质量标准。这允许校准相应装置的外部参数用于计算相机校准模型，通过在拍摄远处物体的帧上进行调整来相互旋转。例如：外部参数是3D空间(例倾斜、平移及滚动)中每个成像器的旋转角度(如光轴角度)。可以通过计算通过水平移位(立体的一对)在相同方向上看的每两个成像器之间的光流来检测远距内容。包含远距离内容的帧一对的视差应具有明显更低的视差。可以通过匹配特征点来检测Homographies，例如：使用尺度不变特征变换(SIFT)处理或加速稳健特征(SURF)处理。可以通过Levenerg-Macart方法找到旋转。雅可比(Jacobian)矩阵在数值上是近似的。在此阶段可能不会改变内在参数。最初可以使用每个成像器的二十帧的棋盘图案来执行校准。任选地，去除具有校准角的高像素重投影误差不清晰的帧，以确保仅具有高于阈值的质量的帧用于校准，以便确保低像素重投影误差。如上所述，校准是在棋盘图案项目的角上进行的。任选地假设板不移动，因此保持在世界坐标系(X-Y平面)中的固定坐标中，方块从(0,0,0)开始。可以应用束的调整算法。
任选地，以下虚代码迭代收集用于计算内部参数的帧：
对于每个帧：当在帧中检测到一棋盘时：
[RMS,K,DistortionCoeffs,rotation_vectors_of_cameras,translation_vectors_of_cameras]
＝calibrate(board squares world-coordinates,board squares imagecoordinates in ALL image that were collected so far,fix the skew to 0)
if(calibration succeeded)AND(RMS<3pix OR this is a first frame toimage a chessboard)than update images collection with the current image
最后，返回到目前为止撷取的所有帧中出现的解决方案。
任选地，以下虚代码用于计算外部参数：
开始
对于每个原始的扭曲图像
1.找到扭曲的特征。
2.对于每个特征(例如棋盘角落)，使用失真系数(来自内在参数)计算未失真的位置。
3.匹配所有特征(具有未失真的特征点位置)。
4.使用从步骤3收到的匹配的束调整来解决外在方向。
5.计算步骤4的接收的解答的均方根(RMS)(任选地，仅当RMS高于阈值时才添加帧)。
6.旋转成像器，使所需的“前置摄像头”旋转矩阵为I3x3。
结束
任选地，使用标准计算机视觉例程，使用在校准过程期间计算的相应成像器的固有参数来执行2-5。
任选地，当成像器成对布置时，每个成像器分别校准。例如：当使用8个成像器时，在4个偶数(左)成像器上然后在4个奇数(右)成像器上执行校准处理。可以将第0个成像器人工地及临时地添加到奇数成像器以进行校准。这样偶数及奇数成像器都具有共同的视野。
再次参照图1，描述一种过程，其中处理具有描绘环境的共同部分的重叠区域的一对帧以拼接一对帧。对于用于撷取一组帧的相邻成像器撷取的一对帧，可选地，迭代地或同时地重复所述过程。所述组帧可选地包括由安装在共同中心周围的多个成像器同时或基本上同时(例如具有较小的技术时间漂移)撷取的帧，如使用上述布置，例如：使用图2中描绘的系统。任选地，可以使用图3A中所示的任何布置。任选地，所述方法用于将多组帧拼接成多个全景帧，任选地是立体的，使用诸如图3B所示的成像装置顺序地撷取。这允许创建具有多个连续全景帧的虚拟现实文件，用于创建及观看拍摄的全景图以及通过在多个视角拍摄的帧来探索对象。全景帧或图像(可互换)可选地是虚拟现实全景帧，记录围绕中心区域的环境以模仿观察者周围的环境(内部向外看)，产生地点感，并且可选地在所述地点随着时间变化。
在每次迭代中，如102所示，选择具有描绘环境的共同部分的重叠区域的一对帧用于从同时撷取的一组帧进行处理(这里使用的用语也基本上同时描述，例如：小的时间偏差小于1秒)。所述组帧包括由成像器在多个视角撷取的帧，如上所述，如使用如图2所示的系统及/或图3A中所示的布置。可选地，所述帧投影在球体上。
现在，如104所示，识别所述一对帧的帧之间的重叠区域，如在同一发明人共同提交的申请“拼接多个帧成为全景帧(STITCHING FRAMES INTO PANORAMIC FRAME)”所描述的，所述申请通过引用结合在此(代理参考号64940)。为了进一步处理，可选地随机选择描绘所述帧的一个帧的一部分。
现在，如105所示，在每一对帧中识别沿着重叠区域中描绘的对象的边界与重叠区域交叉的不规则线路径。可选地，在所述阶段期间，在相应的重叠区域中检测特征点，例如通过执行角点检测方法，如加速段测试(FAST)或任何其他合适的特征检测过程。如，参见图4中的标记点是使用FAST过程识别的特征点。所述特征点可以是具有一个或多个预定义特征点特征(值或值范围)的任何点，例如：几何形状及/或大小、颜色、色调及/或任何特征强度。
任选地，如106所示，基于重叠区域中的特征点的位置，检测重叠区域中描绘的对象，如重叠区域中的区域或区段。可以使用生长区域算法(例如分水岭过程)以生长特征点周围的区域来检测对象。
现在，如108所示，识别重叠区域中描绘的对象的边界，例如：使用边界标记或识别过程。
如110所示，这允许沿着边界选择沿着所识别的边界穿过重叠区域的不规则线路径，例如：穿过重叠区域的最短不规则线路径。
任选地，不规则线路径是在从边界构建的图上标记的顶点上的路径，其中G表示图形并且G＝(V,E,w)其中V表示边界之间的交叉点，如指示角落的特征点，E表示交叉点之间的折线，e表示E的边缘，w(e)表示最近10个特征的Avg_D之和(特征点、折线)，其中Avg_D(点、折线)表示点与折线点的平均距离。
任选地，最上面的点及最下面的点被迫成为不规则线路径的顶点。然后分析所述图以识别沿着区段或区域的边界穿过重叠区域的最短不规则线路径。例如，图4是根据本发明的一些实施例的标记有特征点，对象边界(绿色线)和沿着一些边界与示例性重叠区域交叉的最短不规则路径的示例性重叠区域。图5描绘根据本发明的一些实施例的标记有示例性重叠区域中描绘的对象的边界的示例性重叠区域。
在图6A中提供拼接帧的示例，这是由成像器在多个视角捕获的4个帧的示例性组，图6B-6C是根据图1所示的过程拼接的全景帧的一部分及以上所描述的。如参考图2所述，使用系统200撷取帧。
任选地，如115所示，为了避免在将一全景帧一个接一个地呈现时导致闪烁的内容快速变化，所选择的不规则路径的坐标与先前计算的不规则路径匹配，所述不规则路径是针对来自相同成像器的帧所计算的。当检测到高于预定阈值的偏移时，通过将先前计算的不规则路径的坐标朝向当前不规则路径的坐标移位来计算另一不规则路径。
任选地，如116所示，各个框架沿不规则路径拼接(用作接缝)。如118所示，对于使用相邻成像器撷取的任何一对帧重复所述过程以创建全景帧。如120所示，将创建的全景帧添加到先前创建的全景帧(当适用时)以创建全景虚拟现实文件。例如，参见同一发明人的共同申请“拼接多个帧成为全景帧(STITCHING FRAMES INTO PANORAMIC FRAME)”，所述申请通过引用并入本文(代理参考号64940)。
已经出于说明的目的给出了对本发明的各种实施例的描述，但是并不在于消耗或限制所公开的实施例。在不脱离所描述的实施例的范围及精神的情况下，许多修改及变化对于本领域普通技术人员来说是显而易见的。选择这里使用的用语是为了更好地解释实施例的原理、实际应用或对市场中发现的技术进行技术改进，或者使本领域普通技术人员能够理解本文公开的实施例。
预计在本申请成熟的专利期间，将开发许多相关的成像器，并且用语帧的范围意思在于包括所有这些新技术。
如本文所用，用语“约”是指≥10％。
用语“包含(comprises)”，“包含(comprising)”，“包括(includes)”，“包括(including)”，“具有(having)”和它们的变化表示“包括但不限于”。所述用语包括“由......组成”及“基本上由......组成”。
用语“基本上由......组成”是指组合物或方法可包括另外的成分及/或步骤，但仅在附加成分及/或步骤不实质上改变要求保护的组合物或方法的基本和新颖特征的情况下。
如本文所用，单数形式“一(a)”，“一(an)”及“所述(the)”包括复数指示代名词，除非上下文另有明确说明。例如“化合物”或“至少一种化合物”可包括多种化合物，包括其混合物。
用语“示例性”在本文中用于表示“用作示例、实例或说明”。描述为“示例性”的任何实施例不必被解释为比其他实施例优选或有利及/或排除将特征与其他实施例结合。
用语“任选地”在本文中用于表示“在一些实施例中提供而在其他实施例中未提供”。除非这些特征冲突，否则本发明的任何特定实施例可包括多个“任选”特征。
在整个申请中，本发明的各种实施例可以由范围形式呈现。应当理解的是，范围形式的描述仅仅是为了方便及简洁，不应该被解释为对本发明范围的没有弹性的限制。因此，应认为范围的描述具体公开所有可能的子范围以及所述范围内的各个数值。例如，应认为对如1至6的范围的描述具有特别公开的子范围，如1至3、1至4、1至5、2至4、2至6、3至3，在所述范围内的个别数字，如1、2、3、4、5及6，无论范围的广度如何，这都适用。
无论何时在本文中指示数值范围，其意图包括在所指示的范围内的任何引用的数字(分数或积分)。用语“范围/在那些范围之间”的第一指示数字及第二指示数字以及“范围/从那些范围”的第一指示数字“至”第二指示数字，在本文中可互换使用，并且表示包括第一及第二指示数字以及它们之间的所有分数和整数数字。
应当理解的是，为了清楚起见，在单独的实施方案的上下文中描述的本发明的某些特征也可以在单个实施方案中组合提供。相反地，为求简洁，在单一个实施方案的上下文中描述的本发明的各种特征也可以单独提供，或者以任何合适的子组合提供，或者在本发明的任何其他描述的实施方案中合适地提供。在各种实施例的上下文中描述的某些特征不被认为是那些实施例的必要特征，除非所述实施例在没有那些元件的情况下不起作用。
尽管已经结合本发明的具体实施方案描述本发明，但显然许多替代、修改及变化对于本领域技术人员来说是显而易见的。因此，主要是涵盖落入所附权利要求的精神及广泛范围内的所有这些替代、修改及变化。
在本说明书中提及的所有出版物、专利及专利申请均通过引用整体并入本说明书中，其程度如同每个单独的出版物、专利或专利申请被具体及单独地指出通过引用并入本文中。另外，本申请中任何参考文献的引用或标识不应被解释为承认这样的参考文献可用作本发明的现有技术。在使用章节标题的范围内，它们不应被解释为必然的限制条件。

Claims (17)

1.一种创建一全景帧的方法，通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧，其特征在于：所述方法包含：
在记录于一第一帧的一第一帧部的内容及记录于一第二帧的一第二帧部的内容之间识别一重叠；
在所述第一帧部中分割多个对象；
识别所述多个对象的边界；
识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及
在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧。
2.如权利要求1所述的方法，其特征在于：所述方法还包含：在所述第一帧中检测多个特征点，每个特征点具有至少一个预确定特征点特性；其中根据所述多个特征点对所述多个对象进行分段。
3.如权利要求2所述的方法，其特征在于：基于所述多个特征点，在所述第一部所产生的一分水岭图像上识别所述多个对象。
4.如权利要求2所述的方法，其特征在于：使用一加速段测试程序识别所述多个特征点。
5.如权利要求1所述的方法，其特征在于：通过进行一特征描述匹配程序来识别所述重叠。
6.如权利要求1所述的方法，其特征在于：所述第一帧及所述第二帧由一成像装置的多个成像器中的数个成像器所撷取。
7.如权利要求6所述的方法，其特征在于：所述第一帧及所述第二帧通过所述多个成像器的两个相邻成像器所撷取，所述两个相邻成像器中的一个成像器的一第一视场与所述两个相邻成像器中的另一个成像器的一第二视场重叠；其中所述两个相邻成像器被安装与其他所述多个成像器一起围绕一共同中心。
8.如权利要求7所述的方法，其特征在于：所述两个相邻成像器中的一第一个相邻成像器的一光轴相对于穿过所述共同中心的一轴形成倾斜，所述轴在经过所述多个成像器的视野的所有原点的一虚拟圆上穿过所述共同中心及所述第一相邻成像器的一视场的一原点的一相应切向点。
9.如权利要求8所述的方法，其特征在于：所述方法包含：
根据一新不规则线路径调整所述不规则线路径，所述新不规则线路径计算相似于在所述第一帧及第二帧之后撷取的一对新帧的不规则线路径；及
使用所述调整的不规则线路径来拼接新图像。
10.如权利要求9所述的方法，其特征在于：当所述不规则线路径与所述新不规则线路径之间的一差值大于一阈值时，执行所述调整及所述使用。
11.如权利要求1所述的方法，其特征在于：所述全景帧是一虚拟现实文件的多个帧中的一个。
12.如权利要求6所述的方法，其特征在于：所述全景帧是一左眼全景帧，所述多个成像器与多个附加成像器相连在一起，所述多个附加成像器撷取多个附加帧，所述附加帧被组合成一右眼全景帧；所述全景帧进一步包括将所述右眼全景帧及所述左眼全景帧组合以产生一立体帧。
13.如权利要求12所述的方法，其特征在于：所述多个成像器的构件及所述多个附加帧沿着环绕一共同中心的一虚拟圆交替地排列。
14.如权利要求6所述的方法，其特征在于：所述全景帧是一右眼全景帧，所述多个成像器与多个附加成像器相连在一起，所述多个附加成像器撷取多个附加帧，所述附加帧被组合成一左眼全景帧；所述全景帧进一步包括将所述左眼全景帧及所述右眼全景帧组合以产生一立体帧。
15.如权利要求6所述的方法，其特征在于：所述多个成像器沿着环绕一共同中心的一虚拟圆排列；其中所述多个成像器的每一个成像器被安装成使得所述成像器的一光轴相对于穿过所述共同中心的一轴及相应所述成像器的一视场的一原点的一切向点呈倾斜。
16.一种创建一全景帧的系统，通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧，其特征在于：所述系统包含：
一接口，适用于从通过一成像装置的多个成像器撷取的多个帧中的二个帧来接收一第一帧及一第二帧；
一代码存储器，适用于存储一代码；
一处理器，适用于执行所述代码，其中所述代码包含：
多个代码指令，用于识别在一第一帧的一第一帧部所记录的内容及一第二帧的一第二帧部所记录的内容之间的一重叠；
多个代码指令，用于分割所述第一帧部中的多个对象；
多个代码指令，用于识别所述多个对象的边界；
多个代码指令，用于识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及多个代码指令，用于在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧。
17.一种软件程序产品，用于通过沿着多个帧描绘重叠所识别的一不规则线来组合所述帧来创建一全景帧，其特征在于：所述软件程序产品包含：
一非暂时性计算机可读存储介质；
一第一程序指令，用于识别在一第一帧的一第一帧部所记录的内容及一第二帧的一第二帧部所记录的内容之间的一重叠；
一第二程序指令，用于分割所述第一帧部中的多个对象；
一第三程序指令，用于识别所述多个对象的边界；
一第四程序指令，用于识别沿着至少一些所述多个对象的至少一些所述边界连接在所述第一帧部的两个相对侧之间的一不规则线路径；及
一第五程序指令，用于在创建一全景帧的程序中，沿着所述不规则线路径拼接所述第一帧及所述第二帧；
其中所述第一程序指令、第二程序指令、第三程序指令及第四程序指令是从所述非暂时性计算机可读存储介质通过至少一计算机处理器来执行。
CN201680081415.3A 2016-01-03 2016-12-12 在创建全景帧过程中的帧适应拼接 Pending CN108700798A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662274321P 2016-01-03 2016-01-03
US201662274317P 2016-01-03 2016-01-03
US62/274,317 2016-01-03
US62/274,321 2016-01-03
PCT/IL2016/051328 WO2017115348A1 (en) 2016-01-03 2016-12-12 Adaptive stitching of frames in the process of creating a panoramic frame

Publications (1)

Publication Number Publication Date
CN108700798A true CN108700798A (zh) 2018-10-23

Family

ID=59224696

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680081415.3A Pending CN108700798A (zh) 2016-01-03 2016-12-12 在创建全景帧过程中的帧适应拼接
CN201680023730.0A Pending CN107960121A (zh) 2016-01-03 2016-12-12 将帧拼接成全景帧

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680023730.0A Pending CN107960121A (zh) 2016-01-03 2016-12-12 将帧拼接成全景帧

Country Status (6)

Country Link
US (2) US10460459B2 (zh)
EP (2) EP3398016A4 (zh)
JP (2) JP2019511024A (zh)
KR (2) KR20180101165A (zh)
CN (2) CN108700798A (zh)
WO (2) WO2017115348A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476716A (zh) * 2020-04-03 2020-07-31 深圳力维智联技术有限公司 一种实时视频拼接方法和装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3398016A4 (en) 2016-01-03 2019-08-28 HumanEyes Technologies Ltd ADAPTIVE IMAGE ASSEMBLY DURING THE PROCESS OF CREATING A PANORAMIC IMAGE
EP3403403B1 (en) * 2016-01-12 2023-06-07 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US11748952B2 (en) * 2017-09-27 2023-09-05 Intel Corporation Apparatus and method for optimized image stitching based on optical flow
JP2019080174A (ja) * 2017-10-25 2019-05-23 株式会社リコー 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
KR102025735B1 (ko) * 2017-11-23 2019-09-26 전자부품연구원 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
GB2572956B (en) * 2018-04-16 2021-09-08 Sony Interactive Entertainment Inc Calibration system and method
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
CN108900817A (zh) * 2018-08-23 2018-11-27 重庆加河科技有限公司 一种基于vr的教育实时监测系统
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
KR20200081527A (ko) * 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US10832377B2 (en) * 2019-01-04 2020-11-10 Aspeed Technology Inc. Spherical coordinates calibration method for linking spherical coordinates to texture coordinates
CN211018942U (zh) * 2019-03-25 2020-07-14 人眼科技有限公司 具有相同高度的传感器的成像装置
WO2020230891A1 (ja) * 2019-05-15 2020-11-19 株式会社Ｎｔｔドコモ 画像処理装置
CN112099616A (zh) * 2019-06-17 2020-12-18 深圳市黑电科技有限公司 一种体控ar眼镜360度全视角实现方法、系统及ar眼镜
WO2020256517A2 (ko) * 2019-06-21 2020-12-24 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR102384177B1 (ko) * 2019-06-21 2022-04-29 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2021031210A1 (zh) * 2019-08-22 2021-02-25 深圳市铂岩科技有限公司 视频处理方法和装置、存储介质和电子设备
CN112927238B (zh) * 2019-12-06 2022-07-01 四川大学 结合光流与分水岭分割的岩心序列图像标注方法
KR102617222B1 (ko) * 2019-12-24 2023-12-26 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
GB2591278A (en) * 2020-01-24 2021-07-28 Bombardier Transp Gmbh A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
KR20220025600A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치
CN112085814B (zh) * 2020-09-07 2024-05-14 北京百度网讯科技有限公司 电子地图显示方法、装置、设备及可读存储介质
CN112102307B (zh) * 2020-09-25 2023-10-20 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质
WO2022076934A1 (en) * 2020-10-09 2022-04-14 Arizona Board Of Regents On Behalf Of Arizona State University Anti-tamper protection using dendrites
US20220253988A1 (en) * 2021-02-05 2022-08-11 Motorola Solutions, Inc. Device, method and system for identifying objects in warped images from a fisheye camera
KR102431955B1 (ko) * 2021-02-09 2022-08-18 브라이튼코퍼레이션 주식회사 비주얼콘텐츠 제작관리를 위한 비주얼콘텐츠 리뷰기능 제공방법 및 제공장치
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
US20120249730A1 (en) * 2011-03-31 2012-10-04 Kenneth Kun Lee Stereoscopic panoramic video capture system using surface identification and distance registration technique
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
US20140300693A1 (en) * 2011-11-07 2014-10-09 Sony Computer Entertainment Inc. Image generation apparatus and image generation method
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US9035968B2 (en) * 2007-07-23 2015-05-19 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
KR101819621B1 (ko) 2010-10-19 2018-01-17 휴먼아이즈 테크놀로지즈 리미티드 인터레이스된 복합 이미지를 발생시키는 방법 및 시스템
US9361717B2 (en) * 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8818132B2 (en) 2010-11-29 2014-08-26 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
US9583133B2 (en) * 2012-06-11 2017-02-28 Sony Corporation Image generation device and image generation method for multiplexing captured images to generate an image stream
US9979884B2 (en) * 2012-06-11 2018-05-22 Sony Interactive Entertainment Inc. Image capturing device, and image capturing method
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
CN203632790U (zh) * 2013-10-18 2014-06-04 中国民用航空总局第二研究所 一种可同时进行全景显示与局部查看的分布式联动系统
WO2015085406A1 (en) * 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
EP3085074B1 (en) * 2013-12-19 2020-02-26 Intel Corporation Bowl-shaped imaging system
CA2940664C (en) * 2014-02-26 2022-08-30 Searidge Technologies Inc. Image stitching and automatic-color correction
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
EP3398016A4 (en) 2016-01-03 2019-08-28 HumanEyes Technologies Ltd ADAPTIVE IMAGE ASSEMBLY DURING THE PROCESS OF CREATING A PANORAMIC IMAGE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
US20120249730A1 (en) * 2011-03-31 2012-10-04 Kenneth Kun Lee Stereoscopic panoramic video capture system using surface identification and distance registration technique
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
US20140300693A1 (en) * 2011-11-07 2014-10-09 Sony Computer Entertainment Inc. Image generation apparatus and image generation method
CN104365083A (zh) * 2012-06-06 2015-02-18 索尼公司 图像处理装置、图像处理方法以及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NUNO GRACIAS: "Fast image blending using watersheds and graph cuts", 《IMAGE AND VISION COMPUTING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476716A (zh) * 2020-04-03 2020-07-31 深圳力维智联技术有限公司 一种实时视频拼接方法和装置
CN111476716B (zh) * 2020-04-03 2023-09-26 深圳力维智联技术有限公司 一种实时视频拼接方法和装置

Also Published As

Publication number Publication date
US20190019299A1 (en) 2019-01-17
US20180063513A1 (en) 2018-03-01
JP2019511024A (ja) 2019-04-18
WO2017115348A1 (en) 2017-07-06
JP2019511016A (ja) 2019-04-18
EP3398016A1 (en) 2018-11-07
WO2017115349A1 (en) 2017-07-06
EP3398163A1 (en) 2018-11-07
CN107960121A (zh) 2018-04-24
KR20180111798A (ko) 2018-10-11
EP3398163A4 (en) 2019-10-16
KR20180101165A (ko) 2018-09-12
EP3398016A4 (en) 2019-08-28
US10460459B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
CN108700798A (zh) 在创建全景帧过程中的帧适应拼接
CN107431796B (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
US10375381B2 (en) Omnistereo capture and render of panoramic virtual reality content
JP6563609B2 (ja) 中間ビューからの効率的なキャンバスビューの生成
US10154194B2 (en) Video capturing and formatting system
CN106162203B (zh) 全景视频播放方法、播放器与头戴式虚拟现实设备
US20160353089A1 (en) Capture and render of panoramic virtual reality content
CN107637060A (zh) 相机装备和立体图像捕获
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
CN107911621A (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
US20210082174A1 (en) Image processing apparatus, image processing method, and storage medium
KR101990252B1 (ko) Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버
WO2021035095A2 (en) Camera system utilizing auxiliary image sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181023