CN107852487B - 用于生成360度三维图像的电子设备及用于该电子设备的方法 - Google Patents

用于生成360度三维图像的电子设备及用于该电子设备的方法 Download PDF

Info

Publication number
CN107852487B
CN107852487B CN201680046576.9A CN201680046576A CN107852487B CN 107852487 B CN107852487 B CN 107852487B CN 201680046576 A CN201680046576 A CN 201680046576A CN 107852487 B CN107852487 B CN 107852487B
Authority
CN
China
Prior art keywords
image
eye
images
sub
spherical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680046576.9A
Other languages
English (en)
Other versions
CN107852487A (zh
Inventor
金度完
金圣晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2016/008256 external-priority patent/WO2017026705A1/ko
Publication of CN107852487A publication Critical patent/CN107852487A/zh
Application granted granted Critical
Publication of CN107852487B publication Critical patent/CN107852487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种电子设备，所述电子设备用于：使用多个相机捕获多个图像；通过将所述多个图像中的每一个划分为左眼视角图像或右眼视角图像而生成左眼视角的球形图像和右眼视角的球形图像；使用所生成的左眼视角的球形图像和右眼视角的球形图像来获得深度信息；以及生成360度三维图像，其中使用所获得的深度信息控制所述360度三维图像的三维效果。本公开还涉及用于所述电子设备的图像处理方法。

Description

用于生成360度三维图像的电子设备及用于该电子设备的 方法
技术领域
本公开涉及一种用于生成360度三维(3D)立体图像的电子设备及其图像处理方法。更具体而言，本公开涉及一种用于通过从使用多个相机捕获的多个图像提取深度而生成360度3D立体图像的电子设备及其图像处理方法。
背景技术
近年来，涉及虚拟现实领域的技术吸引了大家的注意。具体而言，已经开发了例如头戴式显示器的能够体验虚拟现实的小型可穿戴设备。然而，与能够提供虚拟现实内容的设备的技术相比，仍然缺乏虚拟现实内容。因而，越来越需要适用于小型可穿戴设备技术的用于生成虚拟现实内容的技术。
在相关的技术中，必须使用大量相机来生成小的3D虚拟现实图像。为了解决该问题，使用多个例如相关技术中的鱼眼镜头的广角镜头来生成360度3D立体图像。
然而，存在的问题是，响应于使用多个例如鱼眼镜头的广角镜头生成360度3D立体图像，在深度重建阶段出现图像失真，因此提供了具有低立体效果的立体图像。
例如，在相关技术中，通过从鱼眼图像捕获的低失真区域中生成深度来生成立体图像。因而，存在的问题是，由于通过多个鱼眼相机捕获的图像缺少重叠而难以恢复枕形(pin cushion)区域。因而，需要一种在通过小型化360度3D虚拟现实成像装置捕获的图像的所有区域中改善立体效果的技术。
发明内容
技术问题
本公开的目的是提供一种电子设备及其图像处理方法，所述电子设备及其图像处理方法能够通过从使用多个相机捕获的图像提取覆盖了360度整个区域的多个无失真子图像以及提取所提取的子图像的深度，来提供无失真360度3D立体图像。
技术方案
为了获得上述目的，本公开提供了一种对360度三维(3D)立体图像进行处理的电子设备，所述电子设备包括：成像单元，被配置为使用多个相机捕获多个图像；以及处理器，被配置为将所述多个图像划分为多个左眼图像和多个右眼图像，通过将所述多个图像中的所述多个左眼图像投影到左边的单位球体表面而生成左眼球形图像，通过将所述多个图像中的所述多个右眼图像投影到右边的单位球体表面而生成右眼球形图像，使用所述左眼球形图像和所述右眼球形图像来获取深度信息，以及使用所述深度信息来生成360度3D立体图像。
所述处理器可以对与从所述左眼球形图像的原点开始的指定视场相对应的至少一个第一球体表面图像进行划分，对与从所述右眼球形图像的原点开始的指定视场相对应的至少一个第二球体表面图像进行划分，并且在通过所述多个相机捕获的图像的所述第一球体表面图像与所述第二球体表面图像的重叠部分中，通过将重叠的第一球体表面图像投影到与所述指定视场相对应的平面而提取第一子图像，并且通过将重叠的第二球体表面图像投影到与所述指定视场相对应的平面来提取第二子图像。
所述处理器可以以所述指定视场将所述左眼球形图像和所述右眼球形图像中每一个的单位球体表面整个区域分割成N个区域，并提取与所述N个区域相对应的多个子图像。
所述处理器可以从其中通过第一相机捕获的第一左眼球形图像与通过第二相机捕获的第二右眼球形图像以所述指定视场重叠的第一区域中提取所述第一子图像和所述第二子图像。
所述处理器可以使用立体匹配技术从所述第一子图像和所述第二子图像获取深度信息。
所述处理器可以生成包括所获取的深度信息的360度深度球形图像。
所述处理器可以通过将360度深度球形图像渲染为所述左眼球形图像和所述右眼球形图像中的至少一个而生成360度3D立体图像。
所述处理器可以将所述指定视场设置为使得所述左眼球形图像和所述右眼球形图像的大小误差以及所述左眼球形图像和所述右眼球形图像的球形空间上的弧长误差在指定范围内。
为了获得上述目的，本公开提供了一种电子设备的图像处理方法，所述方法包括以下步骤：使用多个相机捕获多个图像；将所述多个图像划分为左眼图像和右眼图像；通过将所述多个图像中的所述左眼图像投影到左边的单位球体表面来生成左眼球形图像，并且通过将所述多个图像中的所述右眼图像投影到右边的单位球体表面来生成右眼球形图像；使用所述左眼球形图像和所述右眼球形图像来获取深度信息；以及使用所述深度信息来生成360度3D立体图像。
获取所述深度信息的步骤可以进一步包括以下步骤：对与从所述左眼球形图像的原点开始的指定视场相对应的至少一个第一球体表面图像进行划分，以及对与从所述右眼球形图像的原点开始的指定视场相对应的至少一个第二球体表面图像进行划分；以及在通过所述多个相机捕获的图像中的所述第一球体表面图像与所述第二球体表面图像的重叠部分中，通过将所述第一球体表面图像投影到与所述指定视场相对应的平面来提取第一子图像，并且通过将所述第二球体表面图像投影到与所述指定视场相对应的平面来提取第二子图像。
所述提取步骤可以包括：以所述指定视场将所述左眼球形图像和所述右眼球形图像中每一个的单位球体表面整个区域划分为N个区域，并且提取与所述N个区域相对应的多个子图像。
所述提取步骤可以进一步包括：从其中通过第一相机捕获的第一左眼球形图像与第二右眼球形图像以所述指定视场彼此重叠的第一区域中提取所述第一子图像和所述第二子图像。
获取所述深度信息的步骤可以包括：使用立体匹配技术从所述第一子图像和所述第二子图像获取所述深度信息。
生成所述360度3D立体图像的步骤可以进一步包括以下步骤：生成包括所获取的深度信息的360度深度球形图像。
所述生成所述360度3D立体图像的步骤可以进一步包括以下步骤：将所述360度深度球形图像渲染为所述左眼球形图像和所述右眼球形图像中的至少一个。
所述提取步骤可以进一步包括以下步骤：将所述指定视场设置为使得所述左眼球形图像和所述右眼球形图像的大小误差以及所述左眼球形图像和所述右眼球形图像的球形空间上的弧长误差在指定范围内。
有益效果
根据本公开的实施方式的电子设备和图像处理方法可以实现能够提供生成具有改善的立体效果的虚拟现实(VR)内容和增强现实(VR)内容的小型3D系统，并且提供高质量无失真360度3D立体图像。
附图说明
图1是例示根据本公开的一个实施方式的电子设备的配置的示意性框图，
图2是解释根据本公开的一个实施方式的多个相机的布置的图，
图3是解释根据本公开的一个实施方式的使用多个相机捕获图像的一个示例的图，
图4a至图4d是解释根据本公开的一个实施方式的多个相机的视场的图，
图5是解释根据本公开的一个实施方式的将通过多个相机捕获的图像映射到左右球体的示例的图，
图6a和6b是解释根据本公开的一个实施方式的从球形图像提取无失真子图像的一个示例的图，
图7是解释根据本公开的一个实施方式的从多个无失真子图像提取深度的一个示例的图，
图8a和8b是解释根据本公开的一个实施方式的从左、右球形图像提取多个无失真子图像的一个示例的图，
图9是解释根据本公开的一个实施方式的生成360度3D立体图像的一个示例的图，
图10和图11是例示根据本公开的一个实施方式的360度深度全景图像和360度彩色全景图像的图，
图12是解释根据本公开的一个实施方式的使用深度信息生成360度3D立体图像的方法的流程图，以及
图13是例示根据本公开的一个实施方式的电子设备的配置的详细框图。
具体实施方式
将简要描述说明书中使用的术语，然后详细描述本公开。
由于本文所使用术语的目的是为了描述说明书和权利要求书，因此考虑本公开中的功能而选择当前广泛使用的通用术语。将会理解的是，本文所使用的术语可以根据本公开所属技术领域的技术人员的意图、法律或技术解释、新技术的出现等而改变。
本文所使用术语的一部分可以是申请人任意选择的术语。进一步将会理解的是，本文所使用的术语应当解释为本文所定义的含义。除非另有定义，否则本文所使用的所有术语(包括技术和科学术语)应当解释为具有与这些术语在相关技术的上下文中的含义一致的含义，并且除非本文明确定义，否则不应当以理想化的或过于形式化的意义来解释这些术语。
应当理解的是，本领域技术人员可以设想多种替代、组合和修改。下面将参照示出了一些实施方式的附图来更充分地描述多种实施方式。本文所描述的技术是示例性的，并且不应当视为隐含对本公开的任何具体限制。然而，在下面的描述中，应当理解的是，本文所描述的技术不限于具体实施方式，而是可以在不脱离本公开的原理和精神的情况下，将这些实施方式的多种修改、等同和/或替代包含在本公开中。此外，由于公知的功能或构造可能以不必要的细节模糊本发明，因此省略了对它们的详细描述。
将会理解的是，虽然本文可能使用术语第一、第二等来指示本发明的元件，但是这种元件不应解释为被这些术语限制。这些术语只是用于将一个元件与另一个元件区分开。
本文用于描述本发明的实施方式的术语不旨在限制本发明的范围。冠词“一”、“一个”和“该”因具有单一指示物而是单数形式；然而，在本文档中使用单数形式不应当排除多于一个指示物的存在。换言之，以单数形式引用的本发明的元件在数量上可以是一个或更多个，除非上下文清楚地指示了相反的含义。应当进一步理解的是，本文使用的术语“包括”、“包含”、“具有”和/或“含有”指明了存在所陈述的特征、整体、步骤、操作、元件和/或部件，但并不排除存在或添加一个或更多个其他特征、整体、步骤、操作、元件、部件和/或它们的组合。
在示例性实施方式中，“模块”或“单元”可以执行至少一个功能或操作，并且可以利用硬件、软件或它们的组合来实现。“多个模块”或“多个单元”可以利用至少一个处理器(未示出)通过将其与除了需要利用专用硬件实现的“模块”或“单元”以外的至少一个模块集成来实现。
下面，将详细描述示例性实施方式，以使得本领域技术人员容易实现。然而，本公开可以利用多种示例性实施方式实现，而不限于本文描述的示例性实施方式。为了清楚起见，附图中将省略与描述无关的部分。在下面的说明中，除非另有描述，相同的附图标记出现在不同的附图中时用于指代相同的元件。
图1是例示根据本公开的一个实施方式的电子设备的配置的示意性框图。
参照图1，电子设备100可以包括成像单元110和处理器120。
电子设备100可以是能够显示所捕获的图像的任何显示装置，例如头戴式显示器(HDM)、智能电话、膝上式计算机等。电子设备100可以是提供VR内容和AR内容的任何显示装置。
成像单元110可以耦合至电子设备100，并且可以耦合至外部装置。响应于成像单元110耦合至外部装置，通过成像单元110捕获的图像可以通过有线或无线通信而被发送到电子设备100。
成像单元110可以配置有多个相机。构成成像单元110的多个相机可以被设置成对360度区域进行成像。例如，成像单元110可以由两个具有180度或更大视场(FOV，field ofview)的相机配置而成。
根据本公开的一个实施方式，该多个相机可以是具有例如鱼眼镜头的广角镜头的相机。然而，这仅仅是示例性的用于描述本发明，因而不限于此。
为了清楚起见，在本公开中使用具有鱼眼镜头的鱼眼相机作为示例来描述本公开的实施方式。
根据本公开的一个实施方式，具有180度或更大FOV的两个鱼眼相机可以对360度整个空间进行成像。根据本公开的一个实施方式，成像单元110可以由至少四个鱼眼相机配置而成以获取具有低失真的360度图像。鱼眼相机中的每一个可以具有180度或更大的视场。鱼眼相机可以具有彼此相同的FOV，或者可以具有彼此不同的FOV。因而，成像单元110可以被设置成使用至少两个鱼眼相机对360度球形空间的整个区域的点进行成像。
处理器120可以将通过多个相机捕获的并从成像单元110接收到的多个图像划分为多个左眼图像和多个右眼图像。
例如，处理器120可以将通过鱼眼相机捕获的圆形图像映射为等矩形(equirectangular)图像。处理器120可以通过将等矩形图像在图像的中心轴处垂直分割而将等矩形图像划分为左眼图像和右眼图像。
处理器120可以通过将该多个左眼图像映射到左球体而生成左眼球形图像并通过将该多个右眼图像映射到右球体而生成右眼球形图像。短语“映射到左/右球体”可以表示“将左/右眼图像投影到单位球体表面”。
处理器120可以使用左眼球形图像和右眼球形图像来获取通过成像单元110捕获的多个图像的深度信息。稍后将参照图6a至图8b描述获取深度信息的方法。
处理器120可以使用所获取的图像的深度信息来生成360度3D立体图像。处理器120可以通过将从重叠的左眼球形图像和右眼球形图像获取的深度信息应用于左眼球形图像和右眼球形图像中的至少一个图像，而生成360度3D立体图像。处理器120可以包含在电子设备100的图像处理装置中。
图2是解释根据本公开的一个实施方式的多个相机的布置的图。
参照图2，图1中描述的成像单元110可以由多个相机配置而成。在本公开的一个实施方式中，成像单元110可以由至少四个鱼眼相机200-1、200-2、200-3和200-4配置而成。为了清楚起见，在本公开中例示了四个鱼眼相机。然而，鱼眼相机的数目和布置不限于此，成像单元110可以由四个以上的相机配置而成。例如，成像单元110可以由多个包含广角镜头的相机配置而成。广角镜头仅仅是示例性的，用于描述本公开，并且镜头的类型不限于此。
例如，如图2所示，第一鱼眼相机200-1可以在指定FOV范围内对第一鱼眼相机200-1的正前方进行成像。第二鱼眼相机200-2可以被布置为靠近第一鱼眼相机200-1并且可以在指定FOV范围内对第二鱼眼相机200-2的正前方进行成像。第三鱼眼相机200-3可以布置为靠近第二鱼眼相机200-2并且可以在指定FOV范围内对第三鱼眼相机200-3的正前方进行成像。第四鱼眼相机200-4可以布置为靠近第三鱼眼相机200-3并且可以在指定FOV范围内对第四鱼眼相机200-4的正前方进行成像。
因而，根据本公开的一个实施方式的该多个鱼眼相机200-1、200-2、200-3和200-4可以对360度空间的整个区域成像。
该多个鱼眼相机200-1、200-2、200-3和200-4可以固定到基座以在指定位置执行成像操作。该多个鱼眼相机200-1、200-2、200-3和200-4可以被设置成固定至相邻的相机。
在本公开中描述了该多个鱼眼相机200-1、200-2、200-3和200-4被设置成彼此靠近以对360度的整个区域成像的示例，但这仅是示例性的用于描述本公开，并且该多个相机可以被设置成使得该多个相机彼此不靠近。
图3是解释根据本公开的一个实施方式的使用多个相机来捕获360度3D立体图像的一个示例的图。
参照图3，第一相机200-1可以在指定FOV范围内捕获第一图像10-1。第二相机200-2可以在指定FOV范围内捕获第二图像10-2。第三相机200-3可以在指定FOV范围内捕获第三图像10-3。第四相机200-4可以在指定FOV范围内捕获第四图像10-4。
根据本公开的一个实施方式，该多个鱼眼相机200-1、200-2、200-3和200-4中的每一个例如可以具有180度或更大(例如，200度)的FOV。第一鱼眼相机200-1可以被设置在零(0)度方向，第二鱼眼相机200-2可以被设置在90度方向，第三鱼眼相机200-3可以被设置在180度方向，并且第四鱼眼相机200-4可以被设置在270度方向。
响应于鱼眼相机中的每一个的FOV最小为180度，可以使用两个鱼眼相机捕获360度图像。
在本公开中将描述成像单元由四个鱼眼相机配置而成以实现无失真360度3D立体图像的示例。然而，这仅仅是示例性的用于描述本公开，因而不限于此。
图4a至图4d是解释根据本公开的一个实施方式的多个相机的FOV的图。
电子设备100可以将通过多个相机捕获的多个图像分类为多个左眼图像和多个右眼图像。
图4a是解释根据本公开的一个实施方式的通过第一鱼眼相机200-1捕获的第一图像10-1的图。
参照图4a，第一鱼眼相机200-1可以在200度FOV范围内捕获第一图像10-1。电子设备100可以将第一图像10-1的左侧图像划分并分类为左眼图像20-1以及将第一图像20-1的右侧图像划分并分类为右眼图像30-1。
图4b是解释根据本公开的一个实施方式的通过第二鱼眼相机200-2捕获的第二图像10-2的图。
参照图4b，第二鱼眼相机200-2可以在200度FOV范围内捕获第二图像10-2。电子设备100可以将第二图像10-2的左侧图像划分并分类为左眼图像20-2以及将第二图像20-2的右侧图像划分并分类为右眼图像30-2。
图4c是解释根据本公开的一个实施方式的通过第三鱼眼相机200-3捕获的第三图像10-3的图。
参照图4c，第三鱼眼相机200-3可以在200度FOV范围内捕获第三图像10-3。电子设备100可以将第三图像10-3的左侧图像划分并分类为左眼图像20-3以及将第三图像20-3的右侧图像划分并分类为右眼图像30-3。
图4d是解释根据本公开的一个实施方式的通过第四鱼眼相机200-4捕获的第四图像10-4的图。
参照图4d，第四鱼眼相机200-4可以在200度FOV范围内捕获第二图像10-4。电子设备100可以将第四图像10-4的左侧图像划分并分类为左眼图像20-4以及将第二图像10-4的右侧图像划分并分类为右眼图像30-4。
例如，电子设备100可以使用图4a中例示的第一鱼眼相机200-1和图4c中例示的第三鱼眼相机200-3对360度整个空间的点进行成像。电子设备100可以使用图4b中例示的第二鱼眼相机200-2和图4d中例示的第四鱼眼相机200-4对360度整个空间的点成像。
如图3所示，通过鱼眼相机200-1、200-2、200-3和200-4捕获的图像10-1、10-2、10-3和10-4可以与通过该多个鱼眼相机200-1、200-2、200-3和200-4中其他相机捕获的图像重叠。
例如，如图4a所示，通过第一鱼眼相机200-1捕获的第一图像10-1可以与通过靠近第一鱼眼相机200-1的第二鱼眼相机200-2和第四鱼眼相机200-4捕获的第二图像10-2和第四图像10-4重叠。为了清楚起见，在本公开中描述了通过该多个鱼眼相机中的每一个捕获的图像与通过靠近这些鱼眼相机的其他相机捕获的图像重叠的示例，但这仅仅是示例性的，并不限于此。
具体而言，图4a中所示的第一图像10-1的左眼图像20-1可以与图4b中所示的第二图像10-2的右眼图像30-2重叠。图4a中所示的第一图像10-1的右眼图像30-1可以与图4d中所示的第四图像10-4的左眼图像30-4重叠。
在另一个示例中，图4b中所示的通过第二鱼眼相机200-2捕获的第二图像10-2可以与通过靠近第二鱼眼相机200-2的第三鱼眼相机200-2和第一相机200-1捕获的第三图像10-2和第一图像10-1重叠。
具体而言，图4b中所示的第二图像10-2的左眼图像20-2可以与图4c中所示的第三图像10-3的右眼图像30-3重叠。
在另一个示例中，图4c中所示的通过第三鱼眼相机200-3捕获的第三图像10-3可以与通过靠近第三鱼眼相机200-3的第二相机200-2捕获的第二图像10-2和通过靠近第三鱼眼相机200-3的第四相机200-4捕获的第四图像10-4重叠。
具体而言，图4c中所示的第三图像10-3的左眼图像20-3可以与图4d中所示的第四图像10-4的右眼图像30-4重叠。
因而，如图3所示，通过鱼眼相机200-1、200-2、200-3和200-4捕获的图像10-1、10-2、10-3和10-4中的左眼图像20-1、20-2、20-3和20-4可以与通过与这些鱼眼相机靠近的鱼眼相机捕获的右眼图像30-1、30-2、30-3和30-4重叠。
图5是解释根据本公开的一个实施方式的将通过多个相机捕获的图像映射到左球体和右球体的示例的图，
电子设备100可以通过将多个相机捕获的多个图像的左眼图像投影到左边的单位球体表面上而生成左眼球形图像，以及通过将该多个图像的右眼图像投影到右边的单位球体表面上而生成右眼球形图像。
参照图5，图2中所示的该多个鱼眼相机200-1、200-2、200-3和200-4可以在FOV区域内捕获与鱼眼相机相对应的第一图像10-1、第二图像10-2、第三图像10-3和第四图像10-4。通过鱼眼相机200-1、200-2、200-3和200-4捕获的图像可以是圆形图像10-1、10-2、10-3和10-4。
电子设备100可以将通过鱼眼相机捕获的该多个圆形图像10借助于鱼眼相机校准(calibration)而变换成多个等矩形图像20。
根据本公开的一个实施方式，电子设备100使用全向相机校准方法，但这仅仅是示例性的以描述本公开，因而并不限于此。将通过鱼眼相机捕获的圆形图像变换成等矩形图像的校准方法是公知技术，因此本文将省略对该校准方法的详细说明。
电子设备100可以将多个等矩形图像20-1、20-2、20-3和20-4划分为左眼图像30-1、30-2、30-3和30-4以及右眼图像40-1、40-2、40-3和40-4。电子设备100可以通过在等矩形图像20-1、20-2、20-3和20-4的中心轴处对该多个等矩形图像进行垂直分割，将多个等矩形图像20-1、20-2、20-3和20-4划分为左眼图像和右眼图像。
电子设备100可以通过将从等矩形图像20-1、20-2、20-3和20-4划分而得到的左眼图像30-1、30-2、30-3和30-4投影到左边的单位球体表面来生成左眼球形(全景)图像50。
电子设备100可以通过将从等矩形图像20-1、20-2、20-3和20-4划分而得到的右眼图像40-1、40-2、40-3和40-4投影到右边的单位球体表面而生成右眼球形(全景)图像60。
根据本公开的一个实施方式，电子设备可以使用全向校准(omnicalibration)来将通过鱼眼相机捕获的圆形图像10变换成等矩形图像20。电子设备100可以通过相机内部的固有参数来实现该变换。
然而，根据本公开的一个实施方式，为了通过将等矩形图像20投影到左边的单位球体表面和右边的单位球体表面上以生成球形图像50和球形图像60，电子设备100可以理解在由该多个鱼眼相机配置而成的相机设备(camerarig)中定义的外部参数。
为了将左眼等矩形图像和右眼等矩形图像投影到单位球体表面，电子设备100可以提取相机的外部参数R|t，该外部参数R|t定义了相机在相机设备中的位置。
例如，旋转矩阵R可以具有三个角参数，如偏航角(yaw)、俯仰角(pitch)和滚转角(roll)。根据本公开的一个实施方式，俯仰角和横摇角可以等于零(0)度，偏航角可以为0度、90度、180度和270度，以对应于图2中所例示的鱼眼相机200-1、200-2、200-3和200-4。
平移(translation)向量t可以由例如x、y和z三个参数配置而成，这三个参数从单位球体的中心点定义中心位移(displacement)和相机光学。
换言之，根据本公开的一个实施方式，可以将第一相机200-1的偏航角、俯仰角和滚转角设置为0度。
为了估计根据本公开的一个实施方式的相机的外部参数R|t，电子设备100可以选择与圆形鱼眼图像相对应的多个特征点。电子设备100可以使球体图上的对应点之间的距离的平方和最小化。电子设备100可以使用共轭梯度法来估计每个鱼眼相机的光学外部参数R。
[公式1]
Figure BDA0001572847770000121
这里，i和j可以是构成相机设备的鱼眼相机的数量，Nij可以是与相机i和相机j相对应的点的数目，Pi是具有外部参数pi的相机i中的投影函数，而Ck ij可以是相机i到相机j的第k个对应点的坐标。
电子设备100可以通过上述方法优化鱼眼相机的外部参数，然后将左等矩形图像30-1、30-2、30-3和30-4以及右等矩形图像40-1、40-2、40-3和40-4这8个半等矩形图像投影到左边的单位球体表面50和右边的单位球体表面60。
为了生成根据本公开的一个实施方式的3D立体图像，电子设备100可以获取对来自虚拟相机(例如，观看者的眼睛)的一个点成像的2D左眼图像和2D右眼图像。
电子设备100可以从通过由多个相机捕获的图像生成的左眼球形图像50和右眼球形图像60中提取图像的深度信息。
图6a和图6b是解释根据本公开的一个实施方式的从球形图像提取无失真子图像的一个示例的图。
图6a是解释根据本公开的一个实施方式的通过划分单位球体表面的局部区域来提取无失真子图像的方法的图。
电子设备100可以从左眼球形图像和右眼球形图像提取多个无失真子图像。电子设备100可以通过提取到的该多个子图像来提取左眼球形图像的深度和右眼球形图像的深度。
图6a是解释从球形图像(左眼球形图像或右眼球形图像)提取多个无失真子图像的一个示例的图。
为了清楚起见，在本公开中，将使用一个球形图像610来描述左眼球形图像和右眼球形图像。
参照图6a，电子设备100可以从左眼球形图像610的球体表面划分局部区域620。换言之，电子设备100可以从左眼球形图像划分与从左眼球形图像610的原点开始的指定FOVθ相对应的至少一个第一球体表面图像620。电子设备100可以划分与从右眼球形图像610的原点开始的指定FOVθ相对应的至少一个第二球体表面图像620。由于第一球体表面图像和第二球体表面图像620被生成在球体表面上，因此图像可能是失真图像620。
在从左眼球形图像划分的第一球体表面图像与从右眼球形图像划分的第二球体表面图像的重叠部分中，电子设备100可以提取通过将第一球体表面图像投影到与指定FOVθ相对应的平面而校正的第一子图像640。从右眼球形图像提取第二子图像的方法与提取第一子图像的方法相同。
为了清楚起见，第一子图像和第二子图像640在本公开中由直线指示，但该直线指示的子图像640可以意味着，球体表面图像620的极曲线(epipolarcurve)被线性变换，然后通过立体纠正(rectification)算法而被变换到与球体表面图像620相对应的平面图像630。
电子设备100可以将指定FOVθ设置为使得左眼球形图像和右眼球形图像的大小误差以及左眼球形图像和右眼球形图像的球形空间上的弧长误差在指定范围内。球形空间上的弧长可以表示响应于左眼球形图像和右眼球形图像在垂直和水平方向被划分成N个而在被划分成的N个球形空间上的弧长。例如，电子设备100可以同样地将左眼球形图像和右眼球形图像610垂直分割成N个。电子设备100可以将被垂直分割成N个的左眼球形图像和右眼球形图像同样地水平分割成N个。
例如，被分割成N份的左眼球形图像中的局部区域620可以具有从左眼球形图像的原点开始的指定FOVθ。
根据本公开的一个实施方式，电子设备100可以提取从左眼球形图像和右眼球形图像提取的子图像的深度，然后将提取到的子图像再次恢复为深度球形图像。因而，在将该多个子图像640混合以及再次恢复360度球形空间的过程中可能出现混合伪影(blendingartifact)。电子设备100可以通过已知的多种计算方法来确定用于提取子图像的FOVθ，以使得深度球形图像中的混合伪影最小化。
根据本公开的一个实施方式，电子设备100例如可以具有由四个鱼眼相机配置而成的相机设备。电子设备100可以从多个提取出的子图像中提取深度，并且通过将深度图像混合而将提取出的子图像恢复为360度球体深度图像。
电子设备100可以将左眼球形图像和右眼球形图像的球形空间例如分割为32个区域，以使得生成深度球形图像时的混合伪影最小化。
电子设备100需要用于将左眼球形图像和右眼球形图像分解到指定FOVθ的一致的纬度和经度，以从左眼球形图像和右眼球形图像中均匀地提取多个无失真子图像。根据本公开的一个实施方式，电子设备可以使用多面体(polyhedral)模型来从左眼球形图像和右眼球形图像中提取一致的纬度和经度。例如，电子设备可以将左眼球形图像的表面和右眼球形图像的表面变换成多面体。电子设备可以从左眼球形图像的中心和右眼球形图像的中心提取与构成多面体的每个表面的中心相对应的点的纬度和经度。
例如，电子设备可以将左眼球形图像和右眼球形图像中每一个的表面变换成正二十面体(icosahedron)、改进的正二十面体、截去顶端的(truncated)正二十面体等，并从左眼球形图像的中心和右眼球形图像的中心提取构成多面体的表面的每一个的中心的纬度和经度。
例如，电子设备100可以使用多面体模型来获取20个指定FOVθ。电子设备100可以使用改进的正多面体模型和截去顶端的正多面体模型来获取32个指定FOVθ。
在使用多面体模型时，多面体的平面由正五边形和正六边形构成。然而，在本公开中多面体模型用于获取指定FOVθ，但响应于多个子图像被提取，为了便于进行图像处理，可以提取具有矩形平面的无失真子图像。
电子设备100可以将左眼球形图像和右眼球形图像的大小误差以及在左眼球形图像和右眼球形图像的所划分球形空间上的弧长误差设置为例如2％以内，以提取多个无失真子图像。电子设备100可以例如通过采用改进的正二十面体模型来获取32个所划分的球形空间。响应于从该32个所划分的球形空间提取出的多个子图像再次生成360度球体深度图像，可以根据从子图像生成的深度图像之间的重叠比以不同方式实现360度球体深度图像的平滑。
例如，电子设备100可以将深度图像之间的重叠比设置为大约15％至20％。电子设备100可以将用于从左眼图像和右眼图像划分多个球体表面图像的指定左右FOVθ和指定上下FOVθ设置为45度至60度。然而，上述示例仅仅是示例性的，因此并不限于此。
电子设备100可以通过上述方法以指定FOV从左眼球形图像和右眼球形图像的球体表面的整个区域中提取多个子图像。
图6b是例示图6a中所述的失真球体表面图像和无失真子图像的图。
在图6b中可以看出，从图6a中所示的单位球体表面610划分而来的局部区域620以球体表面上的失真图像(SAMSUNG)620来表示。然而，可以看出投影到图6a中所示的四边形图像表面的校正图像640以失真校正的图像(SAMSUNG)640来表示。
图7是解释根据本公开的一个实施方式的从多个无失真子图像提取深度的一个示例的图。
如图3所示，根据本公开的一个实施方式，多个鱼眼相机可以具有至少180度或更大的FOV。因而，通过鱼眼相机捕获的图像可以与通过与其相邻的相机捕获的图像以及通过不与其相邻的相机捕获的图像充分重叠，并且电子设备100可以使用至少四个鱼眼相机在整个360度内生成左眼球形图像和右眼球形图像。
参照图7，电子设备100可以从立体投影到单位球体表面的图像中提取多个子图像。
电子设备100可以从覆盖单位球体表面的整个区域的多个立体投影的图像生成多个无失真子图像。
如图3以及图4a至图4d所述，通过多个相机捕获的多个图像可以与通过相邻相机捕获的图像和通过非相邻相机捕获的图像重叠。重叠图像的一部分可以是第一相机的左眼球形图像720，重叠图像的另一部分可以是第二相机的右眼图像730。
如图4a至图4d所述，例如，通过第一鱼眼相机200-1捕获的第一图像10-1的左眼球形图像20-1可以与通过第二鱼眼相机200-2捕获的第二图像10-2的右眼球形图像30-1重叠。
如图6a所示，电子设备100可以以指定FOV从第一图像10-1的左眼球形图像20-1划分第一球体表面图像，并且通过将第一球体表面图像投影到与指定FOV相对应的平面630上来提取无失真的第一子图像640。电子设备100可以通过与上述方法相同的方法从第二图像10-2的右眼球形图像30-1中提取无失真的第二子图像640。
为了清楚起见，在图7中限定了左眼球形图像720通过第一相机捕获，右眼球形图像730通过第二相机捕获。
在通过第一相机捕获的左眼球形图像720的第一球体表面图像720-1与通过第二相机捕获的右眼球形图像730的第二球体表面图像730-1的重叠部分中，电子设备100可以从彼此重叠的第一球体表面图像720-1和第二球体表面图像730-1中提取多个子图像720-2和730-2。在图6a中描述了提取多个子图像的方法，因此将省略对该方法的详细说明。
根据本公开的一个实施方式，电子设备100可以将球体表面图像720-1和730-1变换成矩形无失真子图像720-2和730-2。由于提取出的子图像720-2和730-2是左眼图像和右眼图像，因此电子设备100可以从该多个提取出的子图像740中检测深度信息。电子设备100可以使用立体匹配技术来获取该多个提取出的子图像的深度信息。立体匹配技术是公知技术，因此在本公开中将省略对该技术的详细说明。
图8a是解释根据本公开的一个实施方式的从左、右球形图像提取多个无失真子图像的一个示例的图。例如，根据本公开的一个实施方式，通过多个鱼眼相机捕获的图像可以是多个圆形图像。
参照图8a，电子设备100可以将通过多个鱼眼相机捕获的圆形图像变换成图5中所示的多个等矩形图像。电子设备100可以通过在等矩形图像的中心点将变换后的等矩形图像垂直分割，而将变换后的等矩形图像排列(align)成左半个等矩形图像30-1、30-2、30-3和30-4以及右半个等矩形图像40-1、40-2、40-3和40-4。
电子设备100可以通过将排列后的左半个图像和右半个图像中的左半个图像30-1、30-2、30-3和30-4投影并映射到左边的单位球体表面50而生成左眼球形图像50。电子设备100可以通过将右半个等矩形图像40-1、40-2、40-3和40-4投影并映射到右边的单位球体表面60而生成右眼球形图像60。
如图6a和图7所示，电子设备100可以从左眼球形图像50中提取多个无失真子图像50-1、50-2、50-3和50-4，并且从右眼球形图像60中提取多个无失真子图像60-1、60-2、60-3和60-4。如图8a所示，从与从左眼球形图像50提取的该多个无失真子图像50-1、50-2、50-3和50-4重叠的右眼球形图像60提取的该多个子图像60-1、60-2、60-3和60-4的提取顺序可以与该多个无失真子图像50-1、50-2、50-3和50-4的提取顺序不同。
换言之，电子设备100可以从第一子图像中提取多个子图像，在该第一子图像中，通过第一相机捕获的第一左眼球形图像与通过第二相机捕获的第二右眼球形图像以指定FOV重叠。
例如，如图4a和图4b所示，在通过第一鱼眼相机200-1捕获的第一图像10-1的左眼图像20-1与通过第二鱼眼相机200-2捕获的第二图像10-2的右眼图像30-1彼此重叠的区域中，电子设备100可以提取以指定FOV分割的多个子图像50-1和60-2。在通过第二鱼眼相机200-2捕获的第二图像10-2的左眼图像20-2与通过第三鱼眼相机200-3捕获的第三图像10-3的右眼图像30-3彼此重叠的区域中，电子设备100可以提取以指定FOV分割的多个子图像50-2和60-3。在通过第三鱼眼相机200-3捕获的第三图像10-3的左眼图像20-3与通过第四鱼眼相机200-4捕获的第四图像10-4的右眼图像30-4彼此重叠的区域中，电子设备100可以提取以指定FOV分割的多个子图像50-3和60-4。在通过第四鱼眼相机200-4捕获的第四图像10-4的左眼图像20-4与通过第一鱼眼相机200-1捕获的第一图像10-1的右眼图像30-1彼此重叠的区域中，电子设备100可以提取以指定FOV分割的多个子图像50-4和60-1。
然而，上述示例仅仅是示例性的用于描述本公开，并且可以响应于构成相机设备的鱼眼相机的数目为5个或更多或者3个或更少，而根据该多个相机的布置以不同方式实现该重叠区域。
图8b是解释根据本公开的一个实施方式的从多个提取出的子图像生成彩色球形图像和深度球形图像的示例的图。
参照图8b，电子设备100可以使用立体匹配算法从该多个提取出的子图像中获取深度信息。
例如，电子设备100可以通过从自左眼球形图像提取出的该多个子图像50-1以及自右眼球形图像提取出的与该多个子图像50-1重叠的该多个子图像60-2中获取深度信息而生成具有深度信息的深度图像70-1。电子设备100可以通过从其余左眼子图像50-2、50-3和50-4以及与这些左眼子图像50-2、50-3和50-4重叠的其余右眼子图像60-2、60-3和60-4中获取深度信息而生成具有深度信息的深度图像70-2、70-3和70-4。
电子设备100可以通过拼接(stitch)深度图像70-1、70-2、70-3和70-4并再次恢复球形图像而生成深度球形图像80。
电子设备100可以通过对从左眼球形图像中提取出的所有多个子图像50-1、50-2、50-3和50-4进行拼接而生成左边的彩色球形图像90-1。电子设备100可以通过对从右眼球形图像中提取出的所有多个子图像60-1、60-2、60-3和60-4进行拼接而生成右边的彩色球形图像90-2。
图9是解释根据本公开的一个实施方式的生成360度3D立体图像的一个示例的图。
参照图9，电子设备100可以通过将深度球形图像80渲染(render)为左边的球形图像90-1和右边的球形图像90-2中的至少一个而生成360度立体图像95-1和95-2。
电子设备100可以使用基于深度图像的渲染(DIBR)技术来将深度球形图像渲染为左、右彩色球形图像。由于左、右彩色球形图像是360度2D图像，因此电子设备100可以通过将深度球形图像渲染为左、右彩色球形图像而生成具有立体效果的360度3D立体图像。
根据本公开的一个实施方式，电子设备100可以通过使用例如无缝拼接的各种图像处理技术来对所生成的左、右彩色球形图像以及深度球形图像进行处理而生成360度彩色深度全景图像。电子设备100可以从左眼球形图像和右眼球形图像生成360度2D左/右彩色全景图像。电子设备100可以从深度球形图像生成360度深度全景图像。本公开中的短语“将球体深度图像渲染为左眼球形图像和右眼球形图像”可以表示将360度深度全景图像渲染为360度2D彩色全景图像。
根据本公开的一个实施方式，电子设备100可以使用基于深度图像的渲染(DIBR)，并且使用2D图像的DIBR可以不是闭环方案。为了根据本公开的一个实施方式生成360度虚拟现实(VR)内容，图像的最末列必须是闭环内容。
为了实现根据本公开的一个实施方式的基于深度的3D VR渲染，在DIBR中可以使用下述算法。
if(u<0),d'(u,v)＝d(u+width,v)
if(u<0),d'(u,v)＝d(u+width,v)
这里，(u，v)可以是所渲染的图像中的像素的位置。
如图8所示，电子设备100可以通过将深度球形图像渲染为左眼球形图像和右眼球形图像而生成360度3D立体图像。
图10和图11是例示根据本公开的一个实施方式的360度深度全景图像和360度彩色全景图像的图。
图10(a)例示了使用拼接技术从通过电子设备100生成的360度彩色球形图像1010生成的360度彩色全景图像。换言之，图像1010是2D图像。图10(b)例示了使用拼接技术从通过在图10(a)的图像中提取深度而生成的360度深度球形图像而得到的360度深度全景图像1020。因而，电子设备100可以通过渲染360度2D彩色全景图像1010和360度深度全景图像1020而生成360度3D立体图像。
图11(a)例示了从通过图9所述的多个鱼眼相机捕获的左眼球形图像生成的360度左彩色全景图像90-1。图11(b)例示了从通过图9所述的多个鱼眼相机捕获的右眼球形图像生成的360度右彩色全景图像90-2。图11(c)例示了从使用从图9所述的左眼球形图像和右眼球形图像中提取出的深度信息生成的深度球形图像而生成的360度深度全景图像80。
在根据本公开的一个实施方式的将图11(c)的图像渲染为图11(a)和图11(b)的图像时，可以生成无失真的专用360度3D立体全景图像。
换言之，根据本公开的一个实施方式，电子设备100可以提取360度球形空间的所有像素的深度信息。
因而，根据本公开的一个实施方式，电子设备100可以生成作为用于VR/AR的内容的360度3D立体图像，该360度3D立体图像的立体效果是受控的。本公开可以被实现为例如使用至少四个鱼眼相机生成无失真的360度3D立体全景图像，因此电子设备可以利用小系统生成具有大的立体效果的360度3D立体图像。
图12是解释根据本公开的一个实施方式的使用深度信息生成360度3D立体图像的的方法的流程图。
参照图12，在操作S1210中，电子设备100可以使用多个相机将多个图像捕获为对应于该多个相机的FOV。
例如，该多个相机可以是具有例如鱼眼镜头的广角镜头的鱼眼相机。根据本公开的一个实施方式，为了从360度空间的整个区域获取无失真立体图像，鱼眼相机可以包括至少四个相机，并且这些鱼眼相机中的每一个可以具有180度或更大的FOV。根据本公开的一个实施方式，该多个鱼眼相机可以包括至少两个相机，并且可以被设置成对360度整个区域成像。该多个鱼眼相机可以包括五个以上的相机。
在操作S1220中，电子设备100可以将该多个所捕获的图像分类为多个左眼图像和多个右眼图像。例如，根据本公开的一个实施方式，响应于该多个相机由具有例如鱼眼镜头的广角镜头的相机配置而成，电子设备100可以使用校准数据将所捕获的图像映射到等矩形图像。电子设备100可以通过对从圆形图像变换成等矩形图像的图像进行垂直分割，而将这些图像划分为左半个等矩形图像和右半个等矩形图像。
在步骤S1230中，电子设备100可以通过将该多个图像中的左眼图像投影/映射到左边的单位球体表面而生成左眼球形图像。电子设备100可以通过将该多个图像中的右眼图像投影/映射到右边的单位球体表面而生成右眼球形图像。
换言之，电子设备100可以将排列后的左/右等矩形图像的左等矩形图像投影到左边的单位球体表面，并且将右等矩形图像投影到右边的单位球体表面。例如，电子设备100可以通过将该多个鱼眼相机捕获的圆形图像变换成等矩形图像并将变换后的等矩形图像划分为左眼图像和右眼图像，而生成左眼球形图像和右眼球形图像。
在操作S1240中，电子设备100可以使用左眼球形图像和右眼球形图像来获取深度信息。电子设备100可以从左眼球形图像和右眼球形图像中的左眼球形图像和右眼球形图像以指定FOV彼此重叠的区域中提取多个无失真子图像。在本公开中详细描述了提取多个无失真子图像的方法，因此这里将省略其详细说明。
电子设备100可以使用立体匹配技术从该多个提取出的子图像中提取深度。电子设备100可以使用所提取的深度信息生成深度球形图像。
在操作S1250中，电子设备100可以通过将深度球形图像渲染为左眼球形图像和右眼球形图像而生成360度3D立体图像。
图13是例示根据本公开的一个实施方式的电子设备的配置的详细框图。如图13所示，电子设备100可以包括图像接收器1310、图像处理器1320、显示器1330、音频输出单元1340、存储单元1350、通信单元1360、用户操作单元1370和处理器120。
在图13举例说明了电子设备100是具有用于显示VR内容和AR内容的功能的设备的示例，并且各种元件被整体例示在图13中。因而，根据本公开的一个实施方式，图13中例示的元件的一部分可以省略或修改，并且可以进一步添加其他元件。
图像接收器1310从各种外部源接收图像内容。具体而言，图像接收器1310可以从外部装置(例如，服务器、数字通用盘(DVD)、外部相机)接收通过多个鱼眼相机捕获的360度图像的VR内容和AR内容。图像接收器1310可以通过外部广播站或互联网流接收各种图像内容。
图像处理器1320可以对从图像接收器1310接收到的图像数据进行处理。图像处理器1320可以对图像数据执行各种图像处理，例如解码、缩放、噪声过滤、帧率转换、分辨率转换等。
根据本公开的一个实施方式，图像处理器1320可以杯实现为执行在图1的处理器120中执行的图像处理。
显示器1330可以显示其中视频帧和在图形处理器1383中生成的各种屏幕中的至少一个，在图像接收器1310中接收到的该视频帧中的图像数据在图像处理器1320中被处理。
例如，显示器1330可以是可以显示VR内容和AR内容的显示设备，例如电视机(TV)、液晶显示器(LCD)、HDM、移动电话、平板个人计算机(PC)、膝上型计算机等。显示器1330可以耦合至电子设备100，并且可以是通过有线/无线网络或例如HDMI的接口而耦合和通信的外部装置。
音频输出单元1340可以配置为输出在音频处理器(未示出)中处理的音频数据以及各种告警声音或语音消息。具体而言，音频输出单元1340可以以音频形式输出多种类型的指导消息(例如，更新指导消息)。
存储单元1350可以存储对电子设备100进行驱动的各种模块。例如，存储单元1350可以存储包括基础模块、感测模块、通信模块、呈现模块、网络浏览器模块和服务模块的软件。基础模块是对从包含在电子设备100中的多个硬件传送的信号进行处理并将处理后的信号传送到上层模块的基本模块。感测模块是从各种传感器采集信息并对所采集的信息进行分析和管理的模块。感测模块可以包括面部识别模块、语音识别模块、运动识别模块、近场通信(NFC)识别模块等。呈现模块是被配置为构成显示屏幕的模块，并且可以包括被配置为用于重现并输出多媒体内容的多媒体模块和用于渲染执行UI和图形处理的模块的用户接口(UI)。通信模块是被配置为执行与外部的通信的模块。网络浏览器模块是被配置为通过执行网络浏览而访问网络服务器的模块。服务模块是包括用于提供各种服务的各种应用的模块。
存储单元1350可以用非易失性存储器、易失性存储器、闪速存储器、硬盘驱动器(HDD)、固态硬盘(SSD)等实现。存储单元1350可以被处理器1380访问，并且对数据的读取/记录/校正/删除/更新等可以通过处理器1380来执行。本公开中的术语“存储器”可以包括存储单元1350、只读存储器(ROM)1382和存储器1380中的随机存取存储器(RAM)1381，或者安装在电子设备100上的存储卡(未示出)(例如，微型安全数字(SD)卡、存储棒)。
存储单元1350可以存储用于对要在显示器1330的显示区域中显示的图像进行处理的程序、数据等。
根据本公开的一个实施方式，存储单元1350可以存储提取出的多个子图像。存储单元1350可以存储从子图像获取到的深度信息。存储单元1350可以存储使用所获取的深度信息而生成的深度球形图像。存储单元1350可以存储从子图像生成的左右彩色球体/全景图像。存储单元1350可以存储设置用于提取无失真子图像的指定FOV的操作算法、误差范围、划分区域的数目等。
如上所述，存储单元1350可以包括各种程序模块，但该各种程序模块的一部分可以根据电子设备100的类型和特性而省略或修改，并且可以添加另一个程序模块。
通信单元1360可以被配置为根据各种类型的通信方法与各种类型的外部装置进行通信。通信单元1360可以包括各种通信芯片，例如WIFI芯片、蓝牙芯片、NFC芯片、无线通信芯片和红外(IR)芯片。例如，WIFI芯片、蓝牙芯片、NFC芯片和IR芯片可以分别以WIFI方式、蓝牙方式、NFC方式和IR方式执行通信。在这些通信芯片中，NFC芯片可以是被配置为使用例如135kHz、13.56MHz、433MHz、860至960MHz和2.45GHz的各种射频识别(RF-ID)频带中的13.56MHz频带以NFC方式工作的芯片。响应于使用WIFI芯片或蓝牙芯片，通信单元1360可以首先发送/接收例如服务集标识符(SSID)和会话密钥的各种连接信息，使用连接信息执行通信连接，并发送/接收各种信息。无线通信芯片可以是被配置为根据例如电子电气工程师协会(IEEE)、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)或长期演进(LTE)的各种通信标准来执行通信的芯片。
具体而言，通信单元1360可以从外部服务器和外部装置获取图像内容(例如，VR内容和AR内容)。通信单元1360可以向外部服务器发送音频源的频率分量的信息，并从外部服务器接收与音频分量相对应的音频源的类型信息。
用户操作单元1370接收用于控制电子设备100的各种用户命令。用户操作单元1370可以利用包括四向密钥的远程控制器来实现，但这仅仅是示例性的，并且用户操作单元可以利用各种输入设备实现，例如包括运动传感器、键盘、鼠标的定点设备、具有相机的运动输入单元、具有麦克风的语音输入单元、触摸传感器等。
处理器120可以使用存储在存储单元1350中的各种类型的程序来控制电子设备100的整体操作。在图1至图12中已经描述了处理器120，因此这里将省略其详细说明。
本公开中所描述的方法可以被记录在计算机记录介质中然后由计算机执行，因此可以执行上述功能。
可以通过用于执行包含在例如计算机可读存储介质中所保存的程序的至少一个程序中的指令的至少一个计算机(例如，处理器120)来执行根据本公开的各种实施方式的设备(例如，电子设备100)或方法(例如，操作)。
响应于通过计算机(例如，处理器120)执行指令，至少一个计算机可以执行与该指令相对应的功能。计算机可读存储介质例如可以是存储器。
程序可以包含在例如计算机可读存储介质中，例如硬盘、软盘、磁介质(例如，磁带)、光介质(例如，压缩盘只读存储器(CD-ROM))、数字通用盘(DVD)、磁光介质(例如，光软盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪速存储器)等。存储介质可以通常被包含作为电子设备100的配置的一部分，可以通过电子设备100的端口安装，或者可以包含在位于电子设备100外部的外部装置(例如，云、服务器或其他电子设备)中。程序可以分离地存储在多个存储介质中，并且该多个存储介质中的至少一部分可以位于电子设备100的外部装置中。
指令可以包括例如由编译器生成的代码之类的机器语言代码以及可由计算机使用解释器等执行的高级语言代码。上述硬件设备可以被配置为作为一个或更多个软件模块工作以执行各种实施方式的操作，反之亦然。
前述示例性实施方式和优点仅是示例性的，而不应解释为对本发明构思的限制。示例性实施方式的描述是用于例示的目的，而不用于限制权利要求书的范围，并且对于本领域技术人员而言，许多可选方式、改进和修改是明显的。

Claims (13)

1.一种电子设备，包括：
成像单元，被配置为使用多个相机捕获多个图像，其中所述多个相机中的第一相机捕获的图像与第二相机捕获的图像存在重叠；以及
处理器，被配置为：
将所述多个图像中的每个划分为左眼图像和右眼图像以产生多个左眼图像和多个右眼图像，
通过将所述多个图像中的所述多个左眼图像投影到左边的单位球体表面而生成左眼球形图像，通过将所述多个图像中的所述多个右眼图像投影到右边的单位球体表面而生成右眼球形图像，
在所述左眼球形图像和所述右眼球形图像的重叠部分中，通过将重叠的左眼球形图像投影到与指定视场相对应的平面来提取第一子图像，并且通过将重叠的右眼球形图像投影到与指定视场相对应的平面来提取第二子图像，
使用所述第一子图像和所述第二子图像来获取深度信息，以及
使用所述深度信息来生成360度3D立体图像，
其中所述多个相机被布置成对360度区域进行成像。
2.根据权利要求1所述的电子设备，其中，所述处理器以所述指定视场将所述左眼球形图像和所述右眼球形图像中每一个的单位球体表面整个区域分割成N个左眼表面区域和N个右眼表面区域，并提取与所述N个区域相对应的多个子图像。
3.根据权利要求1所述的电子设备，其中，所述处理器从其中通过第一相机捕获的所述多个图像的第一左眼球形图像与通过第二相机捕获的所述多个图像的第二右眼球形图像以所述指定视场重叠的第一区域中提取所述第一子图像和所述第二子图像。
4.根据权利要求1所述的电子设备，其中，所述处理器使用立体匹配技术从所述第一子图像和所述第二子图像获取深度信息。
5.根据权利要求4所述的电子设备，其中，所述处理器生成包含所获取的深度信息的360度深度球形图像。
6.根据权利要求5所述的电子设备，其中，所述处理器通过将360度深度球形图像渲染为所述左眼球形图像和所述右眼球形图像中的至少一个而生成360度3D立体图像。
7.根据权利要求2所述的电子设备，其中，所述处理器将所述指定视场设置为使得所述N个左眼表面区域和所述N个右眼表面区域的大小误差以及所述N个左眼表面区域和所述N个右眼表面区域的球形空间上的弧长误差在指定范围内。
8.一种电子设备的图像处理方法，所述方法包括以下步骤：
使用多个相机捕获多个图像，其中所述多个相机中的第一相机捕获的图像与第二相机捕获的图像存在重叠；
将所述多个图像中的每个划分为左眼图像和右眼图像以产生多个左眼图像和多个右眼图像；
通过将所述多个图像中的所述左眼图像投影到左边的单位球体表面来生成左眼球形图像，并且通过将所述多个图像中的所述右眼图像投影到右边的单位球体表面来生成右眼球形图像；
在所述左眼球形图像和所述右眼球形图像的重叠部分中，通过将重叠的左眼球形图像投影到与指定视场相对应的平面来提取第一子图像，并且通过将重叠的右眼球形图像投影到与指定视场相对应的平面来提取第二子图像；
使用所述第一子图像和所述第二子图像来获取深度信息；以及
使用所述深度信息来生成360度3D立体图像，
其中所述多个相机被布置成对360度区域进行成像。
9.根据权利要求8所述的方法，其中，所述提取步骤包括：以所述指定视场将所述左眼球形图像和所述右眼球形图像中每一个的单位球体表面整个区域划分为N个左眼表面区域和N个右眼表面区域，并且提取与所述N个区域相对应的多个子图像。
10.根据权利要求8所述的方法，其中，所述提取步骤进一步包括如下步骤：从其中通过第一相机捕获的所述多个图像的第一左眼球形图像与第二右眼球形图像以所述指定视场彼此重叠的第一区域中，提取所述第一子图像和所述第二子图像。
11.根据权利要求8所述的方法，其中，获取所述深度信息的步骤包括：使用立体匹配技术从所述第一子图像和所述第二子图像获取所述深度信息。
12.根据权利要求8所述的方法，其中，生成所述360度3D立体图像的步骤进一步包括以下步骤：生成包括所获取的深度信息的360度深度球形图像。
13.根据权利要求12所述的方法，其中，生成所述360度3D立体图像的步骤进一步包括以下步骤：将所述360度深度球形图像渲染为所述左眼球形图像和所述右眼球形图像中的至少一个。
CN201680046576.9A 2015-08-07 2016-07-28 用于生成360度三维图像的电子设备及用于该电子设备的方法 Active CN107852487B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562202420P 2015-08-07 2015-08-07
US62/202,420 2015-08-07
KR10-2016-0041538 2016-04-05
KR1020160041538A KR102458339B1 (ko) 2015-08-07 2016-04-05 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
PCT/KR2016/008256 WO2017026705A1 (ko) 2015-08-07 2016-07-28 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법

Publications (2)

Publication Number Publication Date
CN107852487A CN107852487A (zh) 2018-03-27
CN107852487B true CN107852487B (zh) 2020-10-30

Family

ID=58111993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046576.9A Active CN107852487B (zh) 2015-08-07 2016-07-28 用于生成360度三维图像的电子设备及用于该电子设备的方法

Country Status (4)

Country Link
US (1) US10595004B2 (zh)
EP (1) EP3334156B1 (zh)
KR (1) KR102458339B1 (zh)
CN (1) CN107852487B (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269257B1 (en) * 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
US10217189B2 (en) 2015-09-16 2019-02-26 Google Llc General spherical capture methods
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
KR102133848B1 (ko) * 2017-03-20 2020-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018174531A1 (ko) * 2017-03-21 2018-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10523918B2 (en) 2017-03-24 2019-12-31 Samsung Electronics Co., Ltd. System and method for depth map
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US10891711B2 (en) 2017-04-13 2021-01-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
US10589860B2 (en) * 2017-05-23 2020-03-17 Gopro, Inc. Spherical infrared emitter
US10401872B2 (en) 2017-05-23 2019-09-03 Gopro, Inc. Method and system for collision avoidance
US10805514B2 (en) * 2017-05-25 2020-10-13 Eys3D Microelectronics, Co. Image processor and related image system
KR101939173B1 (ko) * 2017-06-09 2019-01-16 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
KR102454161B1 (ko) * 2017-06-15 2022-10-14 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
US10664948B2 (en) * 2017-06-15 2020-05-26 Samsung Electronics Co., Ltd Method and apparatus for processing omni-directional image
WO2019009750A1 (en) * 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd APPARATUS AND METHOD FOR PANORAMIC VIDEO CODING
US10575018B2 (en) * 2017-07-10 2020-02-25 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
KR102600011B1 (ko) * 2017-09-15 2023-11-09 인터디지털 브이씨 홀딩스 인코포레이티드 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
US11348265B1 (en) * 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
KR102389157B1 (ko) 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
WO2019059462A1 (ko) 2017-09-22 2019-03-28 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
EP3624446A4 (en) * 2017-10-24 2020-04-15 LG Electronics Inc. -1- METHOD FOR TRANSMITTING / RECEIVING 360 DEGREE VIDEO INCLUDING ULTRA-WIDE ANGLE VIDEO INFORMATION, AND ASSOCIATED DEVICE
US11212507B2 (en) 2017-11-16 2021-12-28 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional images
KR102023771B1 (ko) * 2017-12-01 2019-09-20 쿨사인 주식회사 Vr 콘텐츠를 복수의 디스플레이 장치에 재생하는 방법 및 장치
KR20190065736A (ko) * 2017-12-04 2019-06-12 삼성전자주식회사 3d 이미지를 생성하기 위한 전자 장치 및 방법
CN110099269B (zh) 2018-01-28 2021-07-09 钰立微电子股份有限公司 具有可调光强度的深度产生系统
KR102377499B1 (ko) * 2018-02-08 2022-03-24 이노베이션스 마인드트릭 인크. 뷰어-조정식 입체 이미지 디스플레이
JP2021514573A (ja) * 2018-02-17 2021-06-10 ドリームヴュ，インコーポレイテッド マルチセンサを使用してオムニステレオビデオを捕捉するためのシステム及び方法
KR20190100714A (ko) 2018-02-21 2019-08-29 삼성전자주식회사 정보 표시 방법 및 이를 위한 전자 장치
WO2019169344A1 (en) 2018-03-01 2019-09-06 Podop, Inc. User interface elements for content selection in media narrative presentation
JP7098980B2 (ja) * 2018-03-16 2022-07-12 株式会社リコー 撮像装置、画像処理装置および画像処理方法
WO2019190197A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
WO2020013977A1 (en) * 2018-07-13 2020-01-16 Interdigital Vc Holdings, Inc. Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream
KR102638377B1 (ko) 2018-08-14 2024-02-20 주식회사 케이티 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
KR102133090B1 (ko) * 2018-08-28 2020-07-13 한국과학기술원 실시간 3차원 360 영상 복원 방법 및 그 장치
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
US20200104030A1 (en) * 2018-10-02 2020-04-02 Podop, Inc. User interface elements for content selection in 360 video narrative presentations
GB2574487A (en) * 2018-10-26 2019-12-11 Kagenova Ltd Method and system for providing at least a portion of content having six degrees of freedom motion
US10825131B2 (en) * 2018-11-13 2020-11-03 Intel Corporation Circular fisheye camera array rectification
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
US10869000B2 (en) 2019-02-07 2020-12-15 Salvatore Erna System and method for providing wide-area imaging and communications capability to a handheld device
KR102192347B1 (ko) * 2019-03-12 2020-12-17 한국과학기술원 실시간 폴리곤 기반 360 영상 복원 방법 및 그 장치
JP7456077B2 (ja) * 2019-05-03 2024-03-27 モウロ ラブス、エス．エル． Ｌｉｄａｒシステムのための自己組み立てされる拡張視野レシーバを提供する方法
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
KR102295809B1 (ko) * 2019-10-25 2021-09-01 주식회사 멀티플아이 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN111314687B (zh) 2019-11-28 2021-06-25 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
CN111405269B (zh) * 2020-03-12 2021-09-28 深圳臻像科技有限公司 一种多目相机采集系统的视场重叠率调节方法
KR102522892B1 (ko) 2020-03-12 2023-04-18 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치
CN113840130A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 深度图生成方法、设备及存储介质
JP7372708B2 (ja) * 2020-08-20 2023-11-01 アルゴスビジョン インコーポレイテッド 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
KR102310958B1 (ko) * 2020-08-20 2021-10-12 (주)아고스비전 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
KR102430274B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 사람 추종 시스템 및 그 방법
KR102430273B1 (ko) * 2021-02-22 2022-08-09 (주)아고스비전 광시야각의 스테레오 카메라 기반 1인칭 비전 시스템 및 이를 이용한 영상 처리 방법
US12015755B2 (en) * 2021-03-25 2024-06-18 Korea Advanced Institute Of Science And Technology Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
KR102372298B1 (ko) * 2021-07-26 2022-03-10 주식회사 멀티플아이 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
KR102361133B1 (ko) * 2021-09-23 2022-02-14 주식회사 멀티플아이 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
CN101290467A (zh) * 2008-06-05 2008-10-22 北京理工大学 基于多投影机旋转屏三维影像可触摸的真三维显示方法
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2725291B1 (fr) * 1994-09-30 1996-11-29 Thomson Broadband Systems Procede de generation d'images de synthese par tampon spherique
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US7180663B2 (en) * 2002-06-19 2007-02-20 Robert Bruce Collender 3D motion picture theatre
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
US7460985B2 (en) * 2003-07-28 2008-12-02 Light Prescriptions Innovators, Llc Three-dimensional simultaneous multiple-surface method and free-form illumination-optics designed therefrom
JP2006054662A (ja) 2004-08-11 2006-02-23 Mitsubishi Electric Corp 運転支援装置
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
JP5046132B2 (ja) 2008-12-24 2012-10-10 株式会社富士通ゼネラル 画像データ変換装置
JP2010181826A (ja) 2009-02-09 2010-08-19 Panasonic Corp 立体画像形成装置
KR20110025020A (ko) 2009-09-03 2011-03-09 한국전자통신연구원 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20110050857A1 (en) 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
KR100957590B1 (ko) 2009-09-16 2010-05-13 딕스비전 주식회사 객체 영상 표출형 전방향 영상레이다 장치
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
US20120154519A1 (en) 2010-12-17 2012-06-21 Microsoft Corporation Chassis assembly for 360-degree stereoscopic video capture
US9407904B2 (en) * 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
JP5891388B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
EP2695385B8 (en) * 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US9007430B2 (en) * 2011-05-27 2015-04-14 Thomas Seidl System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
JP6113411B2 (ja) 2011-09-13 2017-04-12 シャープ株式会社 画像処理装置
KR20130063372A (ko) * 2011-12-06 2013-06-14 삼성디스플레이 주식회사 3차원 영상 표시 장치
US20140362176A1 (en) 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
CA2938159C (en) 2013-02-04 2021-07-27 Valorisation-Recherche, Limited Partnership Omnistereo imaging
KR20140118083A (ko) 2013-03-28 2014-10-08 인텔렉추얼디스커버리 주식회사 입체 영상 제작 시스템 및 깊이 정보 획득방법
US10104286B1 (en) * 2015-08-27 2018-10-16 Amazon Technologies, Inc. Motion de-blurring for panoramic frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
CN101290467A (zh) * 2008-06-05 2008-10-22 北京理工大学 基于多投影机旋转屏三维影像可触摸的真三维显示方法
CN102692806A (zh) * 2012-06-04 2012-09-26 济南大学 自由视点四维空间视频序列的采集与形成方法
CN104079918A (zh) * 2014-07-22 2014-10-01 北京蚁视科技有限公司 全景三维摄像装置

Also Published As

Publication number Publication date
KR20170017700A (ko) 2017-02-15
KR102458339B1 (ko) 2022-10-25
US10595004B2 (en) 2020-03-17
CN107852487A (zh) 2018-03-27
EP3334156A4 (en) 2018-08-01
EP3334156A1 (en) 2018-06-13
EP3334156B1 (en) 2021-03-31
US20180278916A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN107852487B (zh) 用于生成360度三维图像的电子设备及用于该电子设备的方法
US11388382B2 (en) Suggested viewport indication for panoramic video
KR101944050B1 (ko) 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링
JP7017866B2 (ja) 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム
EP3198866B1 (en) Reconstruction of three-dimensional video
CN109891465B (zh) 用于处理虚拟现实图像的方法和装置
EP3007038A2 (en) Interaction with three-dimensional video
US10681272B2 (en) Device for providing realistic media image
CN103905761A (zh) 图像处理系统和图像处理方法
CN110419224A (zh) 用于封装和流传输虚拟现实媒体内容的方法和装置
JP5743016B2 (ja) 画像を生成する装置および方法
WO2019179342A1 (zh) 图像处理方法、图像处理装置、图像处理系统及介质
Gurrieri et al. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review
CN111226255A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
TW201824176A (zh) 投影圖構建方法及裝置
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
JP6394682B2 (ja) 方法および画像処理装置
JP2020109955A (ja) 撮影装置、撮影システム、画像処理方法、及びプログラム
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant