CN112313947A - 用于处理360度图像的方法及设备 - Google Patents

用于处理360度图像的方法及设备 Download PDF

Info

Publication number
CN112313947A
CN112313947A CN201980041461.4A CN201980041461A CN112313947A CN 112313947 A CN112313947 A CN 112313947A CN 201980041461 A CN201980041461 A CN 201980041461A CN 112313947 A CN112313947 A CN 112313947A
Authority
CN
China
Prior art keywords
degree image
image
distortion
correction information
segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980041461.4A
Other languages
English (en)
Other versions
CN112313947B (zh
Inventor
A.穆申科
Y.博罗达夫卡
A.特卡奇
D.扎库泰罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112313947A publication Critical patent/CN112313947A/zh
Application granted granted Critical
Publication of CN112313947B publication Critical patent/CN112313947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种用于处理360度图像的方法包括：基于构成360度图像的多个片段中的位置和捕获360度图像的相机的参数来确定所述多个片段的每一个片段的处理顺序；根据基于光学设备—经由该光学设备投影了360度图像的至少部分区域—的参数预测的360度图像中的失真来获得失真校正信息；以及根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。

Description

用于处理360度图像的方法及设备
技术领域
本公开涉及用于处理360度图像的方法、用于处理360度图像的装置、以及用于执行该用于处理360度图像的方法的计算机程序。
背景技术
随着图像处理技术的发展，已经积极地对作为向用户提供更逼真的图像技术之一的提供360度图像的方法进行了研究。为了提供360度图像，需要一种处理图像数据的技术，使得360度图像与用户的注视相对应的区域可以实时地投影在用户的双眼上。
在投影360度图像的情况下，由于用于投影360度图像的光学系统的(非线性)特性导致要处理的数据量很大，因此可能要花费大量时间来处理图像。因此，可能需要高性能GPU或多个处理器来实时处理360度图像。
因此，有必要开发一种能够更高效地执行图像处理的技术，以便减少处理360度图像所需的时间和硬件成本。
发明内容
技术问题
根据本公开的实施例，提供了一种用于处理360度图像的方法和装置，其可以通过提高360度图像的处理效率来最小化处理360度图像所需的时间。根据本公开的另一实施例，提供了一种用于处理360度图像的方法和装置，其可以最小化用于处理360度图像的数据，因此即使在单个硬件芯片中也可以执行图像处理。
技术方案
本公开涉及一种用于处理360度图像的方法，包括：基于构成360度图像的多个片段的位置和拍摄360度图像的相机的参数来确定所述多个片段的每一个片段的处理顺序；根据基于经由其投影了所述360度图像的至少部分区域的光学设备的参数预测的360度图像中的失真来获得失真校正信息；并且根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。
附图说明
图1是说明根据实施例的用于处理360度图像的方法的概念图。
图2是说明根据实施例的用于处理360度图像的方法的流程图。
图3A至图3E是解释根据实施例的图像处理装置通过将360度图像划分为多个片段来确定处理顺序的方法的图。
图4是解释由根据实施例的图像处理装置定义的顶部顶点(top vertex)、以确定片段中的像素的处理顺序的图。
图5是解释根据实施例的图像处理装置处理片段中的像素的方法的图。
图6A和图6B是解释根据实施例的图像处理装置确定片段中的像素的处理顺序的方法的图。
图7是说明根据实施例的图像处理装置基于捕获360度图像的相机的参数来确定图像矢量的方法的图。
图8是说明根据实施例的图像处理装置校正360度图像处理的几何像差的方法的图。
图9A和图9B是解释根据实施例的图像处理装置处理360度图像以获得立体效果的方法的图。
图10是说明根据实施例的图像处理装置校正360度图像处理的色差的方法的图。
图11A是解释根据实施例的图像处理装置确定图像的像素矢量的方法的图。
图11B是解释根据实施例的图像处理装置在将图像的像素投影到球体上的情况下确定投影位置的方法的图。
图12A和图12B是更具体地说明根据实施例的图像处理装置处理360度图像的方法的流程图。
图13和图14是根据实施例的图像处理装置的框图。
具体实施方式
根据实施例，一种用于处理360度图像的方法可以包括：基于构成360度图像的多个片段(segment)中的每一个片段的位置和捕获360度图像的相机的参数来确定所述每一个片段的处理顺序；根据基于光学设备—经由其投影了所述360度图像的至少部分区域—的参数预测的所述360度图像中的失真来获得失真校正信息；以及根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。
在根据实施例的方法中，确定处理顺序可以包括将360度图像划分为多个片段。
在根据实施例的方法中，划分可包括：将360度图像划分为象限；以及将每个象限划分为多个片段，并且可以基于片段在象限上的位置和相机的俯仰值(pitch value)来确定处理顺序。
在根据实施例的方法中，确定处理顺序可以包括确定处理顺序以允许优先于其他像素处理边界区域中的像素，该像素来自于多个片段中的每个片段包括的像素中。
在根据实施方式的方法中，获得失真校正信息可以包括基于光学设备的参数来预测桶形失真和枕形失真中的至少一个，并且失真校正信息可以包括能够抵消桶形失真和枕形失真中的至少一个的像素校正信息。
根据实施例的方法还可包括：根据左眼图像和右眼图像的预定义的变换信息来确定包括在360度图像的至少部分区域中的像素的坐标变换值。
在根据实施例的方法中，获得失真校正信息可以包括基于光学设备的参数来预测包括在360度图像中的像素的色差，并且失真校正信息可以包括能够抵消预测的色差的每种颜色的像素校正信息。
在根据实施例的方法中，数据的处理可以包括根据所确定的处理顺序来读取预先存储在存储器中的图像的至少部分区域的数据。
根据实施例的方法还可以包括基于相机的参数来确定包括在360度图像的至少部分区域中的像素在球体上的坐标，并且数据的处理可以根据所确定的处理顺序和所获得的失真信息来处理所确定的坐标。
根据实施例的用于处理360度图像的装置可以包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的一个或多个指令，并且处理器可以被配置为，通过执行一个或多个指令，基于构成360度图像的多个片段中的位置和捕获360度图像的相机的参数来确定多个片段中的每一个片段的处理顺序，基于从经由其投影了360度图像的至少部分区域的光学设备的参数预测的360度图像中的失真来获得失真校正信息，并且根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。
将简要描述本说明书中使用的术语，并且将详细描述本公开。
考虑到本公开的功能，本公开中使用的术语选自当前广泛使用的通用术语，但是可以根据本领域普通技术人员的意图、或实践、或新技术的出现而变化。另外，在某些情况下，可能存在申请人可以任意选择的术语，并且在这种情况下，在相应的描述中描述了它们的含义。因此，本公开中使用的术语的定义应当基于本公开的全部内容以及术语的预期含义、而不是它们的简单名称或含义来确定。
虽然可以使用包括诸如第一、第二等序数的术语来描述各种元件，但是元件不限于这些术语。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一元件可以被命名为第二元件，并且类似地，第二元件也可以被命名为第一元件。术语“和/或”包括多个相关项目的组合或多个相关项目中的任何一个。
贯穿本说明书整体内容，当一个部分(part)被称为“包括”或“包含”任何元件时，这意味着可以进一步包括其他元件，而不是排除其他元件，除非另有描述。另外，本说明书中使用的术语“单元”是指诸如软件、现场可编程门阵列(FPGA)、或专用集成电路(ASIC)的硬件元件，并且“单元”执行特定功能。然而，“单元”不限于软件或硬件。“单元”可以被配置在可寻址存储介质中，或者可以被配置为操作一个或多个处理器。因此，例如，“单元”可以包括诸如软件元件、面向对象的软件元件、类元件、和任务元件之类的元件，并且可以包括进程、函数、属性(attribute)、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、阵列、和变量。在“单元”内提供的元件和功能可以组合成较少数量的元件和“单元”，或者可以进一步分成附加的元件和“单元”。
在下文中，将参考附图详细描述本公开的实施例，以使本领域普通技术人员能够毫无困难地执行实施例。然而，本公开可以以各种不同的形式实现，并且不限于本文描述的实施例。在附图中，省略了与描述无关的部分以清楚地描述本公开，并且在整个本说明书中，相同的附图标记表示相同的部分。
图1是说明根据实施例的用于处理360度图像的方法的概念图。
参考图1，用于处理360度图像的装置100(在下文中，称为图像处理装置)可以将图像投影在用户的双眼上以识别360度图像与用户的注视相对应的部分110，以允许用户通过360度图像体验虚拟现实。
同时，在处理360度图像时，由于要处理的数据量巨大，因此需要高性能图形处理单元(GPU)。另外，随着处理响应时间因海量数据而增加，在处理360度图像时难以实时响应用户的注视。
根据本公开的图像处理装置100可以提供一种用于更高效地处理360度图像中存在的非线性属性的方法，以便提高处理360度图像的速度。
例如，图像处理装置100可以根据非线性方向将360度图像划分为多个区域，并且可确定每个划分的区域的处理顺序。这里，可以根据360度图像中的每个区域的位置和捕获设备(诸如通过其捕获360度图像的相机)的参数来确定处理顺序。
根据另一实施例，图像处理装置100可以确定每个像素的失真校正信息，以校正在投影360度图像的至少部分区域时发生的几何像差和色差。例如，图像处理装置100可以将能够抵消投影中发生的失真的值预先应用于要投影的图像中所包括的每个像素。
根据另一实施例，在将360度图像的至少部分区域投影到用户双眼的每只眼睛上的情况下，图像处理装置100可以单独生成要投影到左眼和右眼上的图像，以允许用户感知立体感觉。考虑到人的左眼和右眼的视觉感知特性，图像处理装置100可以确定立体增量(delta)值，该立体增量值是生成左眼图像和右眼图像所需的像素变换值。
根据实施例的图像处理装置100可以根据所确定的处理顺序从360度图像加载片段数据或像素数据，并且通过将失真校正信息、立体增量值等应用于所加载的数据来处理图像，从而减少图像处理所需的时间、存储器等。
在本公开中，360度图像可包括鱼眼图像、球面全景图像和柱面全景图像中的至少一个。然而，这仅仅是示例，并且360度图像不限于上述示例。
图2是说明根据实施例的用于处理360度图像的方法的流程图。
在操作S210中，图像处理设备可基于构成360度图像的多个片段的位置和捕获360度图像的相机的参数来确定多个片段的每一个片段的处理顺序。
根据实施例的图像处理装置可以执行将屏幕划分为具有预定尺寸的多个片段的分割(segmentation)。当执行分割时，可以根据360度图像投影的非线性，基于片段的位置和相机的位置中的至少一个来确定片段处理顺序。
另外，图像处理装置可以确定关于片段中包括的多个像素的绕过(bypass)顺序。这里，图像处理装置可以优先加载位于片段的边界点处的像素，以便最小化延迟。然后，图像处理装置可以沿着预定义方向绕过来自设定的顶部顶点的像素。
在操作S220，图像处理装置可根据基于从其输出了360度图像的至少部分区域的光学设备的参数所预测的360度图像中的失真来获得失真校正信息。
根据实施例的图像处理装置可以基于经由其投影了360度图像的至少部分区域的光学系统中包括的透镜的参数，来预测在投影图像时发生的几何失真。图像处理设备可以使包括在360度图像的至少部分区域中的每个像素在相反方向上预失真，以便抵消预测的几何失真。
根据另一实施例的图像处理装置可以预测关于RGB分量的色差，每个RGB分量构成了包括在360度图像的至少部分区域中的像素。图像处理装置可以偏移预测的色差，并且可以使每种颜色的分量预失真，使得可以在单个焦点上形成RGB分量的图像。
同时，图像处理装置还可以根据基于视觉感知特性预定义的左眼图像和右眼图像的变换信息来确定包括在360度图像的至少部分区域中的像素的坐标变换值。这将参考图9A和9B更详细地描述。
在操作S230中，图像处理装置可以根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。
根据实施例的图像处理装置可以根据所确定的处理顺序来加载包括在360度图像的至少部分区域中的片段的数据、以及包括在每个片段中的像素的数据。另外，图像处理装置可以基于失真校正信息来变换加载的数据。
图3A至图3E是解释通过由根据实施例的图像处理装置将360度图像划分为多个片段来确定处理顺序的方法的图。
参考图3A，图像处理装置可以根据作为捕获360度图像300的设备的相机的中心轴将360度图像300划分为象限。
参考图3B，可以确认由图像处理装置从360度图像300划分的象限310、320、330和340中的每一个在不同方向上具有非线性。在将360度图像300的象限310、320、330和340中的每一个投影到球体上的情况下，它们的形状和尺寸可能失真。
为防止这种失真，可以对360度图像300的象限310、320、330和340中的每一个执行分割。例如，图像处理装置可以执行分割以将360度图像300的四个象限310、320、330和340中的每一个划分为7×7配置的多个片段。
在投影360度图像300的情况下，构成360度图像300的多个片段可以彼此重叠。因此，为了最大化使用预加载的片段，并且为了减少请求和读取片段的次数，根据实施例的图像处理装置可以在执行分割之后确定绕过多个片段的顺序。例如，图像处理装置可以基于片段的位置和捕获360度图像300的相机的参数来确定绕过多个片段的顺序。这将参考图3C至图3E进行描述。
参考图3C，示出了在照相机的俯仰(pitch)值大于或等于π/4并且在3π/4的范围内的情况下，由图像处理装置确定的多个片段的绕过顺序。在本实施例中，图像处理装置可以将包括在第一象限310和第四象限340中的多个片段被绕过的顺序确定为从右到左。另外，图像处理装置可以将包括在第二象限320和第三象限330中的多个片段被绕过的顺序确定为从左到右。
参考图3D，示出了在相机的俯仰值小于π/4的情况下的多个片段的绕过顺序。在本实施例中，图像处理装置可以将包括在第一象限310和第三象限330中的多个片段被绕过的顺序确定为从右到左。另外，图像处理装置可以将包括在第二象限320和第四象限340中的多个片段被绕过的顺序确定为从左到右。
参考图3E，示出了在相机的俯仰值大于3π/4的情况下的多个片段的绕过顺序。在本实施例中，图像处理装置可以将包括在第一象限310和第三象限330中的多个片段被绕过的顺序确定为从左到右。另外，图像处理装置可以将包括在第二象限320和第四象限340中的多个片段被绕过的顺序确定为从右到左。
图4是解释由根据实施例的图像处理装置定义的顶部顶点以确定片段中的像素的处理顺序的图。
根据实施例，在片段中处理像素的顺序可以基于参考图3描述的象限和相机的俯仰。可以在顶部顶点处发起(initiate)每个片段中的像素处理。参考图4，可以在片段400中的顶部顶点V0 410、V1 420、V2 430和V3 440中的任何一个处发起像素处理。
图5是说明由根据实施例的图像处理装置处理片段中的像素的方法的图。
参考图5，根据实施例的图像处理装置可以优先首先处理片段400的边界区域510，以便减少延迟。例如，在顶部顶点V3 440被确定为发起像素处理的顶部顶点的情况下，图像处理装置可以基于顶部顶点V3 440作为起点来优先处理片段400的边界区域510。图像处理装置可以通过优先处理片段400的边界区域510来预加载片段400的像素处理所需的数据。
图6A和图6B是解释由根据实施例的图像处理装置确定片段400中的像素的处理顺序的方法的图。
参考图6A，图像处理装置可以将顶部顶点V0 410确定为在片段400中发起像素处理的顶部顶点。图像处理装置可以基于片段的绕过顺序和相机的俯仰中的至少一个来确定发起像素处理的顶部顶点，但这仅是示例，并且可以基于其他方面任意地确定像素处理被发起的顶部顶点。图像处理装置可以基于作为起始点的顶部顶点V0 410，将包括在片段400中的10×10像素的处理顺序确定为从左到右。
参考图6B，根据另一实施例，图像处理装置可以将顶部顶点V3 440确定为在片段400中开始像素处理的顶部顶点。图像处理装置可以基于作为起始点的顶部顶点V3 440将包括在片段400中的10×10像素的处理顺序确定为从右到左。
图7是说明由根据实施例的图像处理装置基于捕获360度图像的相机的参数来确定图像矢量的方法的图。
参考图7，假设将360度图像投影到球体700上，图像处理装置可以基于相机的位置信息来确定图像矢量，该图像矢量是从将360度图像投影到其上的球体的中心710到图像的中心750的矢量。在下文中，将更详细地描述用于确定图像矢量的方法。
图像处理装置可以将相机的位置定义为偏航(yaw)、俯仰和滚转(roll)值。在本实施例中，假设相机的偏航、俯仰和滚转值分别为α，β，γ。
图像处理装置可以根据以下等式1，基于相机的位置来确定
Figure BDA0002846158320000081
720的(X，Y，Z)坐标，
Figure BDA0002846158320000082
720是相机方向矢量，与从球体的中心710垂直于图像的平面的方向相对应。
[等式1]
X＝sinβ·cosγ
Y＝sinβ·sinγ
Z＝cosβ
另外，图像处理装置可以根据以下等式2确定
Figure BDA0002846158320000091
730的(X，Y，Z)坐标.
Figure BDA0002846158320000092
730是从图像平面的中心750开始的相机的向上方向矢量。
[等式2]
X＝(cosα·cosβ·cosγ-sinα·sinγ)·γup
Y＝(cosα·cosβ·sinγ+sinα·cosγ)·γup
Z-cosα·sinβ·γup
在等式2中，Yup表示取决于相机的视场(FOV)的垂直系数。
图像处理装置可以根据以下等式3确定
Figure BDA0002846158320000093
740的(X，Y，Z)坐标.
Figure BDA0002846158320000094
740是从图像平面的中心750开始的相机的右方向矢量。
[等式3]
X＝(-sinα·cosβ·cosγ-cosα·sinγ)·γr
Y＝(-sinα·cosβ·sinγ+cosα·cosγ)·γr
Z＝sinα·sinβ·γr
在等式3中，γr表示取决于相机的视场(FOV)的水平系数。
图像处理装置可以根据以下等式4基于
Figure BDA0002846158320000095
720、
Figure BDA0002846158320000096
730、和
Figure BDA0002846158320000097
740的值来确定
Figure BDA0002846158320000098
其是从球体的中心710朝向图像的中心750的图像矢量。
[等式4]
Figure BDA0002846158320000099
图8是说明由根据实施例的图像处理装置校正用于360度图像处理的几何像差的方法的图。
参考图8，用于将360度图像的至少部分区域810投影到用户的双眼上的光学系统820可以包括一对透镜。同时，由于构成光学系统的该对透镜，可能发生诸如桶形失真或枕形失真的几何像差。
图像处理装置可以基于光学不变量(诸如拉格朗日不变量、或史密斯-亥姆霍兹不变量)来校正几何像差。
例如，在经由光学系统820投影360度图像的至少部分区域810时，图像处理装置可以获得发生几何像差的图像830。图像处理装置可以基于光学反向传播方法对包括在360度图像的至少部分区域810中的多个像素中的每个像素的值进行预校正。即，图像处理装置可以在与发生失真的方向相反的方向上使像素预失真。
在经由光学系统820投影预失真图像的情况下，由光学系统820产生的失真可以偏移，因此，可以获得不产生几何像差的投影图像840。
图9A和图9B是解释由根据实施例的图像处理装置处理360度图像以获得立体效果的方法的图。
图像处理装置可以通过将360度图像的至少部分区域910投影到用户的双眼上来允许用户感知立体感觉。在这种情况下，投影到用户的双眼上的图像可以彼此不同，使得用户可以感知立体感觉。
例如，参考图9A，在360度图像的至少部分区域910分别投影到用户的两只眼睛上的情况下，其中基于左眼的中心930投影的360度图像的至少部分区域的范围935可以不同于其中基于右眼的中心940投影的360度图像的至少部分区域的范围945。因此，图像处理装置可以通过将要分别投影到左眼和右眼上的图像生成为彼此不同来获得立体效果。
参考图9B，为了获得立体效果，根据实施例的图像处理装置可以确定在左眼和右眼中各确定一个点，该点上投影了作为包括在目标图像910中的像素的PSCR 912。例如，在将包括在目标图像910中的像素PSCR 912投影到其上的点是基于球体的中心的P 927的情况下，图像处理装置可以通过处理要投影到左眼的与图像中的PSCR 912相对应的像素、以投影到PL 937上，以及处理要投影到右眼的与图像中的PSCR 912相对应的像素、以投影到PR 947上，来生成应用了双眼视差的左眼图像和右眼图像。
同时，图像处理装置可以基于由左眼和右眼的特性预先生成的查找表来更高效地生成应用了双眼视差的左眼图像和右眼图像。
图10是说明由根据实施例的图像处理装置校正360度图像处理的色差的方法的图。
参考图10，可以看出，在构成像素的每种颜色经由光学系统1010投影的情况下，由于颜色具有彼此不同的波长值，因此在不同点处形成图像。例如，在像素由红色、绿色和蓝色(RGB)分量定义的情况下，参考形成绿色分量的图像的点1020，形成蓝色分量的图像的点1030可以位于前面，并且形成红色分量的图像的点1040可以位于后面。
如上面参考图9B所述，在已经确定要投影到用户的左眼和右眼上的图像的情况下，根据实施例的图像处理装置可以基于色差值来校正包括在所确定的左眼图像和右眼图像的每个像素中的RGB分量。在这种情况下，可以基于光学系统的参数，应用反向传播方法来补偿色差的发生。即，图像处理装置可以使R分量和B分量的值预失真，使得可以在形成G分量的图像的点处形成R分量和B分量的图像。在本实施例中，光学系统的参数可以包括构成光学系统1010的至少一个透镜的折射率、焦距、曲率半径等。
图11A是解释由根据实施例的图像处理装置确定图像的像素矢量的方法的图。
在图11A中，假设如上面参考图7所述，已经基于相机的位置信息获得了
Figure BDA0002846158320000111
1120、
Figure BDA0002846158320000112
1130、
Figure BDA0002846158320000113
1140和作为从球体的中心1110朝向图像的中心1150的图像矢量的
Figure BDA0002846158320000114
图11的
Figure BDA0002846158320000115
1120、
Figure BDA0002846158320000116
1130、
Figure BDA0002846158320000117
1140、和
Figure BDA0002846158320000118
分别对应于图7的
Figure BDA0002846158320000119
720、
Figure BDA00028461583200001110
730、
Figure BDA00028461583200001111
740、和
Figure BDA00028461583200001112
根据实施例的图像处理装置可以基于以下等式5来确定
Figure BDA00028461583200001113
1170，其是位于例如图像中的坐标(i，j)处的像素P1160的像素矢量。
[等式5]
Figure BDA00028461583200001114
在等式5中，kh和kw表示图像中的像素的相对位置，并且可以基于以下等式6来确定。
[等式6]
Figure BDA00028461583200001115
Figure BDA00028461583200001116
在等式6中，w和h分别表示图像的宽度和高度。
同时，在图11A中，像素P1160以蓝色像素为目标。考虑到上面参考图10描述的色差，可以基于已经校正色差的像素的位置来确定红色和绿色的像素矢量。
图11B是解释在将图像的像素投影到球体上的情况下、由根据实施例的图像处理装置确定投影位置的方法的图。
参考图11B，在参考图11A描述的将像素P1160投影到球体1100上的情况下，根据实施例的图像处理装置可以基于以下等式7来确定作为球体1100上的投影位置的P′(θ，φ)1180。
[等式7]
Figure BDA0002846158320000121
在等式7中，
Figure BDA0002846158320000122
1160可对应于上文参考图11A描述的像素矢量，且xR，yR，zR表示
Figure BDA0002846158320000123
1160的笛卡尔坐标。此外，在等式7中，kθ，kφ表示用于将以弧度为单位的角度单位变换为像素单位的比例因子。
图12A和图12B是更具体地说明由根据实施例的图像处理装置处理360度图像的方法的流程图。
在操作S1210中，图像处理装置可以获得输入数据。这里，输入数据可以包括源图像1211、相机参数1212和光学系统参数1213。源图像1211可以是360度图像。此外，相机参数1212可以包括相机的位置信息，并且光学系统参数1213可以包括构成光学系统的至少一个透镜的折射率、焦距、曲率半径等。
在操作S1215中，图像处理装置可以确定相机的位置。因此，图像处理装置可以获得三维相机坐标1216。
在操作S1220中，图像处理装置可以准备图像。
图像的准备可以包括分割S1221、和绕过片段中的像素S1222。
在操作S1221中，图像处理装置可以执行分割，将屏幕划分为具有预定尺寸的多个片段。当执行分割时，可以根据360度图像的投影的非线性，基于片段的位置和相机的位置中的至少一个来确定片段处理顺序。
在操作S1222中，图像处理装置可以确定关于片段中包括的多个像素的绕过顺序。这里，图像处理装置可以优先加载位于片段的边界点处的像素，以便最小化延迟。然后，图像处理装置可以从设定的顶部顶点沿着预定义方向绕过所述像素。
同时，当正在执行操作S1220的屏幕的准备时，可以获得片段中的像素的坐标1223。
在操作S1225中，图像处理装置可以校正几何像差。图像处理装置可以基于光学系统的参数来预测图像中可能发生的几何像差。这里，几何像差可以包括例如桶形失真、枕形失真等。
根据实施例的图像处理装置可以在预测的几何像差的相反方向上使像素的坐标预失真。因此，图像处理装置可以获得预失真的像素坐标1226。
在操作S1230中，图像处理装置可以获得图像中的像素矢量。这里，像素矢量可以是将图像投影到其上的球体的中心到预失真的像素坐标1226的矢量。因此，图像处理装置可以获得像素矢量的三维坐标1231。
在操作S1235中，图像处理装置可以将图像投影到球体上。
在将图像投影到球体上的情况下，根据实施例的图像处理装置可以获得表示球体上的像素的位置的球面坐标。这可以对应于参考图11B描述的那些内容。因此，图像处理装置可以获得投影像素的球面坐标1236。
在操作S1240中，图像处理装置可以确定像素的增量值(delta value)。这里，增量值可以包括用于立体效果的增量值和用于色差校正的增量值中的至少一个。
例如，在操作S1241，图像处理装置可以确定立体增量值。根据实施例的图像处理装置可以生成彼此不同的左眼图像和右眼图像，使得观看图像的用户可以感知立体深度。在这种情况下，可以通过根据人类的视觉特性移动包括在图像中的每个像素来生成左眼图像和右眼图像。图像处理装置可以确定用于移动像素的立体增量值以生成左眼图像和右眼图像。可以以查找表的形式来提供左眼图像和右眼图像的立体增量值1242。
另外，在操作S1243中，图像处理装置可以确定颜色增量值。构成图像中包括的每个像素的不同颜色分量在穿过光学系统的透镜时，由于每个波长的折射率之间的差异，可以具有彼此不同的焦距。图像处理装置可以确定颜色增量值，以校正针对每种颜色在不同位置处形成焦点的点。在这种情况下，在像素由红色、绿色和蓝色定义的情况下，图像处理装置可以基于绿色分量来确定关于红色分量和蓝色分量的增量值1244。
在操作S1250，图像处理装置可以基于像素的球面坐标1236、以及左眼图像和右眼图像的立体增量值1242来产生立体效果。
立体效果的产生可以包括校正左眼图像的坐标(S1251)和校正右眼图像的坐标(S1252)。在操作S1251中，图像处理装置可以基于左眼图像的立体增量值来校正像素的球面坐标1236。另外，在操作S1252，图像处理装置可以基于右眼图像的立体增量值来校正像素的球面坐标1236。
作为产生立体效果的结果，图像处理装置可以获得左眼图像和右眼图像的像素关于绿色分量的球面坐标1253。
在操作S1255中，图像处理装置可以基于左眼图像和右眼图像的像素关于绿色分量的球面坐标1253来校正色差。
色差的校正可以包括使左眼图像的颜色预失真(S1256)和使右眼图像的颜色预失真(S1257)。
在操作S1256，图像处理装置可以基于蓝色分量和红色分量的增量值来校正左眼图像的像素针对绿色分量的球面坐标。在这种情况下，可以使用上面参考图10描述的反向传播方法。
在操作S1257，图像处理装置可以基于蓝色分量和红色分量的增量值来校正右眼图像的像素针对绿色分量的球面坐标。
在操作S1260，图像处理装置可以基于通过执行色差校正获得的分段边界关于RGB颜色的球面坐标1258来分析分段边界。
在操作S1265，图像处理装置可以生成数据请求。为了减少延迟，在生成数据请求时，图像处理装置可以优先生成针对位于分段边界处的像素的数据请求顺序。另外，图像处理装置可以基于片段的位置、相机的位置等来确定数据请求顺序。
在操作S1270中，图像处理装置可以存储响应于数据请求而从源图像1211获得的数据。
在操作S1275中，图像处理装置可以基于源图像的片段1271以及左眼图像和右眼图像的像素关于RGB颜色的球面坐标1259来生成输出图像。
由图像处理装置生成输出图像可以包括生成左眼图像(S1276)和生成右眼图像(S1277)。
在操作S1280，图像处理装置可以输出所生成的图像。
同时，尽管为了便于描述，以时间序列描述了上面参考图12描述的操作，但是执行操作的顺序不限于上述示例。
图13和图14是根据实施例的图像处理装置1300的框图。
如图13所示，图像处理装置1300可以包括处理器1310和存储器1320。然而，并非所有示出的元件都是必不可少的元件。图像处理装置1300可以用比所示出的元件更多的元件来实现，或者图像处理装置1300可以用比所示出的元件更少的元件来实现。
例如，除了处理器1310和存储器1320之外，图像处理装置1300还可以包括输出单元1330、输入单元1340、通信单元1350和A/V输入单元1360。
在下文中，将详细描述这些元件。
处理器1310通常控制图像处理装置1300的整体操作和图像处理装置1300的内部组件之间的信号流，并处理数据。例如，处理器1310可以通过执行存储在存储器1320中的程序(一个或多个指令)来整体控制输出单元1330、输入单元1340、通信单元1350和A/V输入单元1360。
根据实施例的处理器1320可以基于构成360度图像的多个片段中的每一个片段的位置和捕获360度图像的相机的参数来确定每一个片段的处理顺序。另外，处理器1320可基于从经由其投影了360度图像的至少部分区域的光学设备的参数所预测的360度图像中的失真来获得失真校正信息。处理器1320可以根据所确定的处理顺序和所获得的失真校正信息来处理360度图像的至少部分区域的数据。
存储器1320可以存储用于处理和控制处理器1310的程序(例如，一个或多个指令和学习网络模型)，并且可以存储输入到图像处理装置1300或从图像处理装置1300输出的数据(例如，附加信息)。
输出单元1330可以以音频信号或视频信号的形式输出关于由处理器1310处理的360度图像的至少部分区域的信息，并且输出单元1330可以包括显示单元1331和音频输出单元1332。
显示单元1331可以显示由图像处理装置1300处理的信息。在由显示单元1331和触摸板形成层结构以构成触摸屏的情况下，显示单元1331可以用作输入设备以及输出设备。
音频输出单元1332可以输出从通信单元1350接收的或存储在存储器1320中的音频数据。音频输出单元1332可以输出与360度图像的至少部分区域对应的声音数据。
输入单元1340可以是用户输入数据用以控制图像处理装置1300的部件。例如，输入单元1340可以包括但不限于键盘、圆顶开关、触摸板(接触电容型触摸板、压阻型触摸板、红外感测型触摸板、表面声波型触摸板、积分应变仪型触摸板、压电效应型触摸板等)、滚轮、微动开关等。
根据实施例的通信单元1350可以接收由诸如相机的捕获设备捕获的360度图像。
另外，通信单元1350可以包括能够与外部服务器和其他外部设备(例如，对象)进行通信的一个或多个元件。例如，通信单元1350可以包括短距离无线通信单元1351和移动通信单元1352。
短距离无线通信单元1351可以包括但不限于蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信(NFC)/射频识别(RFID)通信单元、WLAN(Wi-Fi)通信单元、Zigbee紫蜂通信单元、红外数据协会(IrDA)通信单元、WFD(Wi-Fi直连)通信单元、超宽带(UWB)通信单元、Ant+通信单元等。
移动通信单元1352可以通过移动通信网络向基站、外部终端和服务器中的至少一个发送无线信号，以及从基站、外部终端和服务器中的至少一个接收无线信号。
A/V(音频/视频)输入单元1360用于输入音频信号或视频信号，并且可以包括相机1361、麦克风1362等。
相机1361可以在相机识别范围内捕获360度图像。根据实施例，由相机1361捕获的360度图像可以由处理器1310处理并经由显示单元1331显示。
麦克风1362可以接收与360度图像的处理相关的用户的语音输入。
根据本公开的实施例的方法可以以程序指令的形式实现，该程序指令可以由各种计算机方式(means)执行，并且可以记录在计算机可读介质中。计算机可读介质可以单独地或组合地包括程序指令、数据文件、数据结构等。要记录在介质中的程序指令可以是针对本公开专门设计和配置的，或者可以是计算机软件领域的普通技术人员已知的。计算机可读介质的示例包括：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD-ROM和DVD；磁光介质，诸如光软盘；以及硬件设备，专门配置以存储和执行程序指令，诸如ROM、RAM、闪存等。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)、以及可以由计算机使用解释器执行的高级语言代码。
根据实施例的装置可以包括：处理器；存储器，用于存储和执行程序数据；永久存储器，诸如磁盘驱动器；通信端口，用于与外部设备通信；以及用户接口设备，诸如触摸面板、键、按钮等。用软件模块或算法实现的方法可以作为可在处理器上执行的计算机可读代码或程序指令而存储在计算机可读记录介质上。计算机可读记录介质的示例包括磁存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘、硬盘等)、光记录介质(例如，CD-ROM、数字通用盘(DVDs))等。计算机可读记录介质可以分布在网络耦合的计算机系统上，使得计算机可读代码可以以分布式方式存储和执行。介质可以由计算机读取，存储在存储器中，并由处理器执行。
在附图所示的实施例中，使用了附图标记，并且使用了特定术语来描述实施例，但是本公开不限于特定术语，并且实施例可以包括本领域普通技术人员通常可以考虑的所有部件。
可以根据功能块组件和各种处理操作来描述实施例。这样的功能块可以以用于执行特定功能的各种硬件和/或软件配置来实现。例如，实施例可以采用各种集成电路组件，诸如存储器、处理、逻辑、查找表格等，其可以在一个或多个微处理器的控制下或由其他控制设备执行各种功能。此外，实施例可以采用相同种类或不同种类的核、或不同种类的CPU。类似地，在本公开的元件可以使用软件编程或软件元件来实现的情况下，实施例可以用编程或脚本语言(诸如C、C++、Java、汇编程序等)来实现，其中各种算法用数据结构、过程、例程或其他编程元件的任何组合来实现。功能方面可以用可在一个或多个处理器中执行的算法来实现。另外，实施例可以采用用于电子环境设置、信号处理、和/或数据处理的传统技术。术语“机械装置”、“元件”、“方式”、和“配置”可以广泛使用，并且不限于机械和物理配置。这些术语可以包括与处理器等结合的一系列软件例程的含义。
实施例中描述的具体实施方式仅是示例，并且实施例的范围不受任何方法的限制。为了简化本说明书，可以省略传统的电子配置、控制系统、软件、和系统的其他功能方面的描述。另外，附图中所示的元件之间的线的连接或连接构件示例性地说明功能连接和/或物理或电路连接，并且可以替代地或附加地表示为实际设备中的各种功能连接、物理连接或电路连接。另外，除非指定，诸如“必要的”或“重要的”，否则元件对于本公开的应用可能不是必需的。
在实施例的说明书(特别是权利要求书)中，术语“该”及其类似的指示性术语的使用可以对应于单数和复数。另外，当在实施方案中陈述范围时，其涵盖其中应用了包括在该范围中的单个值的本公开的内容(除非另有说明)，并且这种陈述等同于在本公开的具体实施方式中形成该范围的每个单个值的陈述。最后，除非明确陈述或另外陈述形成根据实施例的方法的操作顺序，否则可以以任何适当的顺序执行那些操作。所陈述的操作顺序不一定限制实施例。任何示例或示例性术语(例如，“等”)的使用仅旨在详细描述实施例，因此除非由权利要求限定，否则实施例的范围不受示例或示例性术语的限制。另外，本领域普通技术人员可以理解，在权利要求及其等同物的范围内，可以根据设计条件和因素进行各种修改、组合和改变。

Claims (15)

1.一种用于处理360度图像的方法，包括：
基于构成360度图像的多个片段的位置和捕获所述360度图像的相机的参数，确定所述多个片段的每一个片段的处理顺序；
根据基于从经由其投影了所述360度图像的至少部分区域的光学设备的参数预测的所述360度图像中的失真来获得失真校正信息；以及
根据所确定的处理顺序和所获得的失真校正信息来处理所述360度图像的所述至少部分区域的数据。
2.根据权利要求1所述的方法，其中，确定所述处理顺序包括：
将所述360度图像划分为多个片段；以及
基于所划分的片段在象限中的位置和所述相机的俯仰值来确定所述处理顺序。
3.根据权利要求1所述的方法，其中，确定所述处理顺序包括：确定所述处理顺序以允许优先于其他像素处理边界区域中的像素，该像素来自所述多个片段中的每个片段包括的像素之中。
4.根据权利要求1所述的方法，其中，获得所述失真校正信息包括：基于所述光学设备的参数来预测桶形失真和枕形失真中的至少一个，以及
失真校正信息包括能够抵消桶形失真和枕形失真中的至少一个的像素校正信息。
5.根据权利要求1所述的方法，还包括：根据预定义的左眼图像和右眼图像的变换信息来确定包括在所述360度图像的所述至少部分区域中的像素的坐标变换值。
6.根据权利要求1所述的方法，其中，获得所述失真校正信息包括：基于所述光学设备的参数来预测包括在所述360度图像中的像素的色差，以及
失真校正信息包括能够抵消预测色差的每种颜色的像素校正信息。
7.根据权利要求1所述的方法，还包括：基于所述相机的参数，确定包括在所述360度图像的所述至少部分区域中的像素在球体上的坐标，以及
数据的处理根据所确定的处理顺序和所获得的失真信息来处理所确定的坐标。
8.一种用于处理360度图像的装置，包括：
存储器，存储一个或多个指令；以及
处理器，被配置为执行存储在所述存储器中的所述一个或多个指令，其中
所述处理器被配置为，通过执行所述一个或多个指令，
基于构成360度图像的多个片段的的位置和捕获所述360度图像的相机的参数，确定所述多个片段中的每一个片段的处理顺序，
基于从经由其投影了所述360度图像的至少部分区域的光学设备的参数预测的所述360度图像中的失真来获得失真校正信息，以及
根据所确定的处理顺序和所获得的失真校正信息来处理所述360度图像的所述至少部分区域的数据。
9.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一个或多个指令，
将所述360度图像划分为所述多个片段，以及
基于所划分的片段在象限中的位置和所述相机的俯仰值来确定所述处理顺序。
10.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一个或多个指令来确定所述处理顺序，使得在所述多个片段中的每个片段包括的像素当中，优先于其他像素处理边界区域中的像素。
11.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一个或多个指令，基于所述光学设备的参数来预测桶形失真和枕形失真中的至少一个，以及
失真校正信息包括能够抵消桶形失真和枕形失真中的至少一个的像素校正信息。
12.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一个或多个指令，根据预定义的左眼图像和右眼图像的变换信息来确定包括在所述360度图像的所述至少部分区域中的像素的坐标变换值。
13.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一个或多个指令，基于所述光学设备的参数来预测包括在所述360度图像中的像素的色差，以及
失真校正信息包括能够抵消预测色差的每种颜色的像素校正信息。
14.如权利要求8所述的装置，其中，所述处理器被配置为，通过执行所述一条或多条指令，
基于所述相机的参数，确定包括在所述360度图像的所述至少部分区域中的像素在球体上的坐标，以及
根据所确定的处理顺序和所获得的失真信息来处理所确定的坐标。
15.一种计算机程序产品，包括存储程序的可计算可读记录介质，所述程序用于：
基于构成360度图像的多个片段的位置和捕获所述360度图像的相机的参数，确定所述多个片段中的每一个片段的处理顺序；
根据基于经由其投影了所述360度图像的至少部分区域的光学设备的参数预测的所述360度图像中的失真来获得失真校正信息；以及
根据所确定的处理顺序和所获得的失真校正信息来处理所述360度图像的所述至少部分区域的数据。
CN201980041461.4A 2018-06-20 2019-06-20 用于处理360度图像的方法及设备 Active CN112313947B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180070821A KR102435519B1 (ko) 2018-06-20 2018-06-20 360도 영상을 처리하는 방법 및 장치
KR10-2018-0070821 2018-06-20
PCT/KR2019/007444 WO2019245299A1 (ko) 2018-06-20 2019-06-20 360도 영상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN112313947A true CN112313947A (zh) 2021-02-02
CN112313947B CN112313947B (zh) 2023-07-18

Family

ID=68983308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041461.4A Active CN112313947B (zh) 2018-06-20 2019-06-20 用于处理360度图像的方法及设备

Country Status (5)

Country Link
US (1) US11989849B2 (zh)
EP (1) EP3764641A4 (zh)
KR (1) KR102435519B1 (zh)
CN (1) CN112313947B (zh)
WO (1) WO2019245299A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961178B2 (en) * 2019-05-10 2024-04-16 Roderick V. Kennedy Reduction of the effects of latency for extended reality experiences by split rendering of imagery types
KR102522892B1 (ko) * 2020-03-12 2023-04-18 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064710A (ja) * 2002-07-31 2004-02-26 Fuji Photo Film Co Ltd 撮像装置及びディストーション補正方法
JP2009218851A (ja) * 2008-03-11 2009-09-24 Hitachi Ltd 映像処理装置
JP2014123908A (ja) * 2012-12-21 2014-07-03 Jvc Kenwood Corp 画像処理装置、画像切り出し方法、及びプログラム
US20150055929A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Camera array including camera modules
WO2015184416A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
US20160077315A1 (en) * 2014-09-15 2016-03-17 Remotereality Corporation Compact panoramic camera: optical system, apparatus, image forming method
US20160314564A1 (en) * 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
CN106991650A (zh) * 2016-01-21 2017-07-28 北京三星通信技术研究有限公司 一种图像去模糊的方法和装置
US20170372481A1 (en) * 2016-06-28 2017-12-28 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2018009746A1 (en) * 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993023835A1 (en) 1992-05-08 1993-11-25 Apple Computer, Inc. Textured sphere and spherical environment map rendering using texture map double indirection
JP3711707B2 (ja) 1997-08-07 2005-11-02 ブラザー工業株式会社 画像２値化方法、画像２値化装置および記録媒体
US6486908B1 (en) 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
JP4324435B2 (ja) 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
KR101390810B1 (ko) * 2007-10-04 2014-05-26 삼성전자주식회사 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
US8538134B2 (en) 2007-10-04 2013-09-17 Samsung Electronics Co., Ltd. Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image
US8217956B1 (en) 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
JP5790345B2 (ja) 2011-09-07 2015-10-07 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび画像処理システム
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN104350745B (zh) 2012-07-04 2018-12-11 英特尔公司 基于全景的3d视频译码
WO2014043814A1 (en) 2012-09-21 2014-03-27 Tamaggo Inc. Methods and apparatus for displaying and manipulating a panoramic image by tiles
US20150346812A1 (en) 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US10368011B2 (en) * 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US9600929B1 (en) 2014-12-01 2017-03-21 Ngrain (Canada) Corporation System, computer-readable medium and method for 3D-differencing of 3D voxel models
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US10217189B2 (en) 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US10062151B2 (en) 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
KR102523997B1 (ko) * 2016-02-12 2023-04-21 삼성전자주식회사 360도 영상 처리 방법 및 장치
US10433025B2 (en) * 2016-05-10 2019-10-01 Jaunt Inc. Virtual reality resource scheduling of process in a cloud-based virtual reality processing system
US10437545B2 (en) * 2016-12-28 2019-10-08 Ricoh Company, Ltd. Apparatus, system, and method for controlling display, and recording medium
US10789671B2 (en) * 2016-12-28 2020-09-29 Ricoh Company, Ltd. Apparatus, system, and method of controlling display, and recording medium
US20190289206A1 (en) * 2018-03-15 2019-09-19 Keiichi Kawaguchi Image processing apparatus, image capturing system, image processing method, and recording medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064710A (ja) * 2002-07-31 2004-02-26 Fuji Photo Film Co Ltd 撮像装置及びディストーション補正方法
JP2009218851A (ja) * 2008-03-11 2009-09-24 Hitachi Ltd 映像処理装置
JP2014123908A (ja) * 2012-12-21 2014-07-03 Jvc Kenwood Corp 画像処理装置、画像切り出し方法、及びプログラム
US20150055929A1 (en) * 2013-08-21 2015-02-26 Jaunt Inc. Camera array including camera modules
WO2015184416A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
US20160077315A1 (en) * 2014-09-15 2016-03-17 Remotereality Corporation Compact panoramic camera: optical system, apparatus, image forming method
US20160314564A1 (en) * 2015-04-22 2016-10-27 Esight Corp. Methods and devices for optical aberration correction
CN106991650A (zh) * 2016-01-21 2017-07-28 北京三星通信技术研究有限公司 一种图像去模糊的方法和装置
US20170372481A1 (en) * 2016-06-28 2017-12-28 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2018009746A1 (en) * 2016-07-08 2018-01-11 Vid Scale, Inc. 360-degree video coding using geometry projection

Also Published As

Publication number Publication date
EP3764641A1 (en) 2021-01-13
US11989849B2 (en) 2024-05-21
CN112313947B (zh) 2023-07-18
US20210142442A1 (en) 2021-05-13
KR20190143186A (ko) 2019-12-30
EP3764641A4 (en) 2021-04-14
KR102435519B1 (ko) 2022-08-24
WO2019245299A1 (ko) 2019-12-26

Similar Documents

Publication Publication Date Title
US11533489B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
KR102641272B1 (ko) 재투영된 프레임을 위한 모션 스무딩
EP3334156B1 (en) Electronic device for generating 360 degree three-dimensional image, and method therefor
US11663691B2 (en) Method and apparatus for restoring image
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
EP2362345B1 (en) Method and apparatus for high-speed and low-complexity piecewise geometric transformation of signals
KR20220138403A (ko) 분산 시스템에서 모션 평활화
CN112313947B (zh) 用于处理360度图像的方法及设备
KR102637901B1 (ko) 전자 장치에 의한 돌리 줌 효과 제공 방법 및 상기 방법에서 사용되는 전자 장치
CN110546951A (zh) 合成立体视觉图像内容捕获
EP3526639A1 (en) Display of visual data with a virtual reality headset
JP2021523455A (ja) 顔に対する射影歪み補正
CN110874135B (zh) 光学畸变的校正方法、装置、终端设备及存储介质
US20230245344A1 (en) Electronic device and controlling method of electronic device
WO2017199495A1 (ja) 画像処理システム、画像処理装置、及びプログラム
US11258938B2 (en) Apparatus for mapping image to polyhedron according to location of region of interest of image, and processing method therefor
US11651475B2 (en) Image restoration method and device
US20230052104A1 (en) Virtual content experience system and control method for same
TW202217749A (zh) 三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置
CN109873999B (zh) 图像数据处理方法和装置
JP2020177618A (ja) 深度エンジンとデジタル信号プロセッサを用いた対話型画像処理の方法、装置、媒体
JP7214926B1 (ja) 画像処理方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
US10915989B2 (en) Apparatus and method of processing image data using IFFT
US20240129448A1 (en) Method and system for converting single-view image to 2.5d view for extended reality (xr) applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant