CN108605093B - 用于处理360度图像的方法和设备 - Google Patents

用于处理360度图像的方法和设备 Download PDF

Info

Publication number
CN108605093B
CN108605093B CN201780010857.3A CN201780010857A CN108605093B CN 108605093 B CN108605093 B CN 108605093B CN 201780010857 A CN201780010857 A CN 201780010857A CN 108605093 B CN108605093 B CN 108605093B
Authority
CN
China
Prior art keywords
image
axis
metadata
degree
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010857.3A
Other languages
English (en)
Other versions
CN108605093A (zh
Inventor
崔秉斗
E.伊普
宋在涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202210312792.0A priority Critical patent/CN114727091B/zh
Publication of CN108605093A publication Critical patent/CN108605093A/zh
Application granted granted Critical
Publication of CN108605093B publication Critical patent/CN108605093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了：一种用于与IoT技术合并的通信技术，一种用于支持比4G系统的数据传输速率高的数据传输速率的5G通信系统；以及用于此的一种系统。本公开可以基于5G通信技术和IoT相关技术应用于智能服务(例如，智能家居、智能建筑、智能城市、智能汽车或联网汽车、健康护理、数字教育、零售业务、以及安全性和安全相关服务等)。本发明涉及一种用于处理360度图像的方法，其包括：确定用于映射360度图像的三维(3D)模型；确定360度图像的划分尺寸；确定360度图像的x轴、y轴和z轴中的每一个的旋转角度；确定在将360度图像映射到二维(2D)图像时要应用的插值方法；以及基于所确定的3D模型、划分尺寸、旋转角度以及插值方法将360度图像转换成2D图像。

Description

用于处理360度图像的方法和设备
技术领域
本公开涉及用于处理360度图像的方法和设备，并且具体地，涉及用于处理360度图像的方法和设备，其可以适用于虚拟现实成像装置用于传统超HD(UHD)显示器的更沉浸式媒体图像服务。
背景技术
为了满足自4G通信系统上市以来无线数据业务量急剧增长的需求，目前正在努力开发增强型5G通信系统或前5G通信系统。因此，5G通信系统或前5G通信系统被称为超4G网络通信系统或后LTE系统。
对于更高的数据传输速率，5G通信系统被认为是在超高频带(毫米波)(诸如例如60GHz)上实现。为了缓解超高频带上的路径损耗并增加无线电波的范围，对于5G通信系统考虑以下技术：波束形成、大规模多输入多输出(MIMO)、全尺寸MIMO(FD-MIMO)、阵列天线、模拟波束形成以及大型天线。
另外正在开发的是用于5G通信系统的具有增强型网络的各种技术，诸如演进的或高级的小型小区、云无线电接入网络(云RAN)、超密集网络、装置到装置(D2D)通信、无线回程、移动网络、协作通信、协作多点(CoMP)以及干扰消除。
对于5G系统，还有其他各种正在开发的方案，包括例如混合FSK和QAM调制(FQAM)和滑动窗口叠加编码(SWSC)，它们是高级编码调制(ACM)方案，以及滤波器组多载波(FBMC)、非正交多址(NOMA)以及稀疏码多址(SCMA)，这些都是高级接入方案。
与此同时，互联网正在从人创建和消费信息的以人为中心的连接网络演变成物联网(IoT)网络，通过所述物联网网络，在事物或其他分布式部件之间传达和处理信息。万物互联(IoE)技术可以是通过例如与云服务器的连接将大数据处理技术与IoT技术组合的实例。
为了实现IoT，需要诸如感测技术、有线/无线通信和网络基础设施、服务接口技术以及安全技术的技术要素。目前正在进行对象间连接技术的研究，诸如传感器网络、机器对机器(M2M)或机器类型通信(MTC)。
在IoT环境中可能提供智能互联网技术(IT)服务，所述服务收集并分析彼此相关事物生成的数据以便为人类生活创造新的价值。通过现有的IT技术和各种行业的转换或集成，IoT可以具有各种应用，诸如智能家居、智能建筑、智能城市、智能汽车或联网汽车、智能电网、医疗保健或智能家电行业或最先进的医疗服务。
因此，进行各种努力将5G通信系统应用于IoT网络。例如，传感器网络、机器对机器(M2M)、机器类型通信(MTC)或其他5G技术通过诸如波束成形、多输入多输出(MIMO)和阵列天线方案的方法实现。云无线接入网络作为大数据处理技术的上述应用可以说是5G和IoT技术融合的一个实例。
同时，用于虚拟现实(VR)的360度图像处理装置可以通过将由多个照相机捕获的360度多视图图像映射到诸如三维(3D)模型(例如，球体、立方体或圆柱体)的表面来生成3D图像，并且显示装置(HMD)可以渲染与所生成的3D图像的特定视图相对应的场景，并且向用户显示渲染的场景。此时，向远处的用户传输360度图像内容所需的是能够压缩、存储和传输360度图像内容的装置以及传输格式，但当前不存在这种装置和传输格式。
因此，需要对能够压缩、存储和传输360度图像内容的装置以及传输格式进行研究。
发明内容
【技术问题】
根据本公开的实施例，提出一种用于处理360度图像的方法和设备。
根据本公开的实施例，提出一种用于将360度图像转换成2D图像的方法和设备。
根据本公开的实施例，提出一种用于创建在将360度图像转换成2D图像时考虑的参数的元数据的方法和设备。
根据本公开的实施例，提出一种用于基于在将360度图像转换成2D图像时考虑的参数将2D图像恢复成360度图像的方法和设备。
【技术方案】
根据本公开的实施例，一种用于处理360度多视图图像的方法包括：确定用于将360度多视图图像映射到3D图像的三维(3D)模型；基于确定的3D模型将360度多视图图像生成为3D图像；确定3D图像的划分尺寸；确定3D图像的x轴、y轴和z轴中的每一个的旋转角度；以及基于确定的划分尺寸和旋转角度将3D图像转换成二维(2D)图像。
根据本公开的另一实施例，一种用于处理360度多视图图像的方法包括：识别与将2D图像转换成360度多视图图像相关的元数据和2D图像；从元数据获得与360度多视图图像的划分尺寸和360度多视图图像的x轴、y轴和z轴中的每一个的旋转角度相关的信息；以及基于获得的信息将2D图像转换成360度图像。
根据本公开的实施例，一种用于处理360度多视图图像的装置包括控制器，其被配置成：确定用于将360度多视图图像映射到3D图像的3D模型；基于确定的3D模型将360度多视图图像生成为3D图像；确定3D图像的划分尺寸；确定3D图像的x轴、y轴和z轴中的每一个的旋转角度；以及转换器，其被配置成基于确定的划分尺寸和旋转角度将360度图像转换成2D图像。
根据本公开的另一实施例，一种用于处理360度多视图图像的装置包括：控制器，其被配置成识别与将2D图像转换成360度多视图图像相关的元数据和2D图像；并且从元数据获得与360度多视图图像的划分尺寸和360度多视图图像的x轴、y轴和z轴中的每一个的旋转角度相关的信息；以及逆转换器，其被配置成基于获得的信息将2D图像转换成360度图像。
根据结合附图的本公开的示例性实施例的以下详细描述，本领域普通技术人员将明白本公开的其他方面、优点和核心特征。
根据结合附图的本公开的示例性实施例的以下详细描述，本领域普通技术人员将明白本公开的其他方面、优点和核心特征。
【有益效果】
本公开的实施例具有处理360度图像的效果。
根据本公开的实施例，呈现将360度图像转换成2D图像的效果。
根据本公开的实施例，提出创建在将360度图像转换成2D图像时考虑的参数的元数据的效果。
根据本公开的实施例，给出基于在将360度图像转换成2D图像时考虑的参数将2D图像恢复成360度图像的效果。
附图说明
根据结合附图的以下详细描述，本公开的特定优选实施例以及前述和其他方面、特征和优点将更明显，其中：
图1是示出处理360度图像的图像处理装置的部件的框图；
图2a至2c是示出2D图像与3D图像之间的转换/逆转换的实例的视图；
图3是示出根据本公开的实施例的图像处理装置将360度图像转换成2D图像的操作的流程图；
图4a和4b是示出根据本公开的实施例的自适应地确定在将3D图像转换成2D图像时考虑的划分尺寸的实例的视图；
图5是示出根据本公开的另一实施例的自适应地确定在将3D图像转换成2D图像时考虑的旋转角度的实例的视图；
图6是示出根据本公开的再一实施例的自适应地确定是否应用在将3D图像转换成2D图像时考虑的控制网格插值方法的实例的视图；以及
图7是示出根据本公开的实施例的图像处理装置将2D图像恢复成360度图像的操作的流程图。
应注意，在整个附图中，可以使用相同或类似的参考符号来指代相同或类似的元件、特征或结构。
具体实施方式
以下将参考附图详细描述本公开的实施例。
根据本公开的各种实施例，电子装置包括虚拟现实(VR)装置(例如，360度图像照相机、头戴式装置(HMD)或智能眼镜)、智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、笔记本PC、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、照相机、可佩戴装置(例如，HMD)、电子服装、电子手镯、电子项链、电子配件、电子纹身或智能手表。
此外，根据本公开的实施例，电子装置可以包括例如智能家庭装置，例如电视机、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、电视盒、游戏机、电子词典、可携式摄像机或电子相框。
此外，根据本公开的实施例，电子装置包括例如，医疗装置、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航行电子装置、航空电子装置、安全装置或工业或家庭机器人。
根据本公开的各种实施例，电子装置可以是前述装置的组合。本领域的普通技术人员应理解，电子装置不限于上述装置。
图1是示出处理360度图像的图像处理装置的部件的框图。
参考图1，示出的图像处理装置包括映射器103、转换器105、编码器107、存储单元109、解码器111、逆转换器113以及回放单元115。
由多个照相机捕获的360度多视图图像100被输入到映射器103，并且映射器103将360度多视图图像100映射到例如球体表面的3D模型，生成并输出3D图像110。
3D图像110输入到转换器105，并且转换器105将输入的3D图像110转换成2D图像120并且输出2D图像。2D图像120输入到编码器107，并且编码器107使用预定的编码方案对输入的2D图像120进行编码并且输出编码的图像。编码的2D图像存储在存储单元109中。
从存储单元输出的2D图像输入到解码器111，并且解码器111使用预定的解码方案对输入图像进行解码并且输出解码的图像。解码的2D图像输入到逆转换器113，并且逆转换器113将输入的2D图像逆转换成3D图像并输出3D图像。
逆转换的3D图像130输入到回放单元115，并且回放单元115显示输入图像。
上述360度多视图图像可以是包含针对每个方向的图像的至少一个输入图像。此外，上述3D图像可以是360度视频、全向视频或全向媒体中的任何一个。全向媒体是头戴式装置(HMD)。2D图像可以是投影帧或打包帧。
具体地，投影意指将一组输入图像投影为投影帧。投影帧意指由360视频投影格式指示器指定的帧。打包帧意指源于投影帧的区域式打包的帧。在立体的360度视频中，一次性输入图像被拼接，生成表示两个视图的投影帧，每个眼睛一个。这两个视图被映射到相同的打包帧。
这样，图1所示的图像处理装置基于输入的360度多视图图像100生成3D图像110，随后转换成2D图像120并存储2D图像120，随后逆转换成3D图像130并传输3D图像130。图像处理装置的操作可以包括：生成步骤，其中映射器103基于360度多视图图像100生成3D图像110；存储/传输步骤，其中转换器105、编码器107和存储单元109将3D图像110转换成2D图像120并且存储和传输2D图像；以及呈现/播放步骤，其中回放单元115将2D图像120逆转换成3D图像130并显示3D图像130。
图2a至2c是示出2D图像与3D图像之间的转换/逆转换的实例的视图。
图2a示出将2D图像映射到作为3D模型的球体的表面的实例。假定2D图像的坐标是(s,t)，则球体表面上的3D图像坐标可表示为x＝r sin(πt)sin(2πs)、y＝r sin(πt)cos(2πs)、z＝r cos(πt)，并且2D图像与3D图像之间的转换/逆转换可以通过2D图像坐标和3D图像坐标执行。
图2b示出将2D图像映射到作为3D模型的圆柱体的表面的实例。假定2D图像的坐标是(s,t)，则圆柱体表面上的3D图像坐标可表示为x＝r sin(2πs)、y＝r cos(2πs)、z＝t，并且2D图像与3D图像之间的转换/逆转换可以通过2D图像坐标和3D图像坐标执行。
图2c示出将2D图像映射到作为3D模型的立方体的实例。2D图像可以用对应于立方体的六个面的六个纹理表示，并且每个纹理可以映射到立方体的相应一个面，从而转换成3D图像。通过将立方体的每个面解映射到六个纹理中相应的一个，可以将3D图像逆转换成2D图像。
可以由生成VR内容(即，3D图像)的发生器(例如，映射器)将2D图像映射到作为3D模型的球体、圆柱体和立方体之一的表面，并且与映射相关的信息以元数据的形式传输到用户终端。
尽管图2a至2c所示的映射方案各有优缺点，但它们在转换期间可能通常会导致图像失真。具体地，在将360度球面图像转换成2D图像的等矩形投影的情况下，2D图像的顶部、底部和角部可能比中心更扭曲，当在HMD装置上观看2D图像的顶部、底部和角部时显著劣化沉浸。
图3是示出根据本公开的实施例的图像处理装置将360度图像转换成2D图像的操作的流程图。
参考图3，在步骤302中，图像处理装置确定要将360度图像映射到的3D模型。这里，3D模型可以是例如球体、圆柱体、立方体、金字塔或多面体。在步骤304中，图像处理装置确定映射到在步骤302中选择的3D模型的3D图像的划分尺寸。划分尺寸可以用例如水平像素的数量和垂直像素的数量来表示，并且可以是例如256、128、64、32或16个像素。作为另一实例，划分尺寸可以表示为沿着水平和垂直方向的角度间隔，并且可以是例如90°、60°、45°、30°或15°。在步骤304中，考虑到整个图像的失真度和所生成的元数据量，将划分尺寸确定为使整个率-失真(RD)成本最小化的值。
在步骤306中，图像处理装置针对3D图像确定与三个方向(即，x轴、y轴和z轴)中的每一个相关的旋转角度。旋转角度可以是例如0、90或180度。在步骤308中，图像处理装置确定在将3D图像转换(或映射)成2D图像时要应用的插值方法。插值方法可以是例如最近邻插值、双线性插值或b样条插值。在步骤310中，图像处理装置确定在将3D图像转换成2D图像时是否应用控制网格插值。这里，控制网格插值意指通过在根据步骤304中确定的划分尺寸划分3D图像时以预定距离(dx、dy)移动被划分成多边形形状(例如，三角形或矩形)的区域的角部弯曲成不同形状。
在步骤312中，图像处理装置检查是否基于步骤302至310中确定的结果将3D图像转换为2D图像是以预定比特率最小化失真的最佳方式。其中，作为步骤312中的检查的结果，基于步骤302至310中确定的结果将3D图像转换为2D图像是最佳方法，图像处理装置继续进行步骤314，基于确定的最终结果将360度图像转换为2D图像并且创建与转换相关的信息的元数据。这里，转换相关信息基本上包括与在步骤302中确定的3D模型相关的信息，与在步骤304中确定的划分尺寸相关的信息，关于在步骤306中确定的旋转角度的信息，以及关于步骤308中确定的插值方法的信息，并且可以另外包括关于如在步骤310中确定的是否应用控制网格插值的信息。
在步骤316中，图像处理装置存储转换的2D图像数据和与转换相关的元数据。
图4a和4b是示出根据本公开的实施例的自适应地确定在将3D图像转换成2D图像时考虑的划分尺寸的实例的视图。
在用于VR的3D图像作为360度球形图像存在的情况下，如图4a所示，球形表面可被划分成各种尺寸。此外，360度球形图像可以使用诸如等矩形投影的制图映射转换为图4b所示的2D图像。此时，确定对应于2D图像的每个划分区域的像素值与对应于球形表面的每个划分区域的像素值相同，并且通过用于将3D图像转换成2D图像的算法来确定将2D图像的划分区域中的特定区域映射到球形图像的划分区域中的特定区域。
在将3D图像转换为2D图像时，360度球形图像的一个像素被精确地映射到2D图像的一个像素的情况下，2D图像的像素值被确定为360度球形图像的对应像素值。然而，在360度球形图像的一个像素被映射到2D图像的像素之间的中点的情况下，通过基于相邻像素的值的插值来确定2D图像的像素值。
对于存储器带宽和流水线处理，以块为单位的映射是有效的，并且如图4a所示的划分区域被映射到如图4b所示的划分区域。此时，如图4b所示的2D图像的划分区域取决于相关位置而在形状上不同，并且因此，转换方法(或方程式)和失真度可以针对2D的每个划分区域而变化。因此，为了使整个图像的失真最小化，图像中的材料内容可以被布置为划分区域中的低失真区域，而图像中的诸如背景的相对不重要的内容被布置在高失真区域中。结果，确定3D图像的每个划分区域按照每个内容被映射到的2D图像的划分区域是非常关键的，并且这种映射关系可以通过以下方式指定：向生成内容的映射器提供指导，通过分析图像内容以允许材料对象失真较少，或者通过按照每个映射位置将3D图像转换为2D图像，并且随后比较整个图像的失真度，使得失真最小化。
指示3D模型表面的每个划分图像的2D图像的哪个划分区域被映射到的映射关系可以用索引来表示。假定3D模型是球体，则用θx和θy指定的3D模型表面的划分区域可以用从2D图像的上部和左部位置开始按根据光栅扫描方案的顺序指定的索引映射。这里，光栅扫描方案意指扫描方案，其中从像素组成的水平扫描线从屏幕的顶行到底部一个一个地扫描，同时从每行的一侧扫到另一侧。将3D图像与2D图像之间的映射关系存储在比特流中，并且此时将映射关系创建为元数据，随后以查找表的形式存储所述元数据。
元数据指示关于在球体表面中平面图像(即2D图像)的分区被映射到的位置(θx、θy)和区域(dθx、dθy)的信息，所述平面图像具有沿着x轴的w个像素的宽度(其指示水平位置)以及沿着y轴的h个像素的高度(其指示垂直位置)。
同时，可以自适应地确定每个划分区域的尺寸和形状。图4a示出其中调整划分尺寸的实例。通常，当划分尺寸相对较大时，计算负担增加并且3D图像与2D图像的相应分区之间的映射的自由度减小，但是可以实现更精确的插值。当划分尺寸相对较小时，计算负担和插值精度降低，但3D图像与2D图像的分区之间的映射自由度增加。随着划分尺寸减小，映射的自由度增加，因此元数据量也会增加。反过来，考虑到所生成的元数据的量和整个图像中的失真度，确定划分尺寸和形状以最小化整个RD成本。
3D模型表面的划分区域的划分尺寸创建为元数据，并且表示划分尺寸所必需的元数据包括无符号int划分宽度、无符号int划分高度和int插值类型(unsigned intpartitionWidth,unsigned int partitionHeight,和int interpolType)。这里，无符号int划分宽度指示根据相关划分尺寸的分区的宽度，无符号int划分高度指示根据相关划分尺寸的分区的高度，并且int插值类型指示插值方法。Int插值类型以查找表格的形式定义，如下表1所示。
[表1]
值 插值类型
0x00 最近邻插值
0x01 双线性插值
0x02 B样条插值
0x03-0xFF 保留
在表1中，表示为0x00的最近邻插值意指预定间隔的网格顶点作为插值点，并且将与其最接近的点的值确定为插值点的值的方法。表示为0x01的双线性插值意指根据到两点的直线距离线性确定两点之间的值的方法的二维扩展。表示为0x02的B样条插值意指通过将整个部分分成子部分而用低阶多项式获得平滑函数的方法。此外，0x03-0xFF意指保留的值，用于指示除最近邻插值、双线性插值和B样条插值之外的其他插值方案。
图5是示出根据本公开的另一实施例的自适应地确定在将3D图像转换成2D图像时考虑的旋转角度的实例的视图。
参考图5，其中用于VR的3D图像是360度球形图像，360度球形图像可以沿三个方向旋转，例如x轴、y轴和z轴。图5示出其中360度球形图像以90度、180度和270度旋转的实例。
指示3D模型表面的每个划分图像被映射到2D图像的哪个划分区域的映射关系以查找表格形式的索引来表示，在这种情况下，存储在比特流中的元数据的量显着很大。为了减少整个RD成本，元数据量需要减少。为了减少元数据量，映射关系可以用指示旋转度的索引来表示。
尽管360度球形图像沿三个方向旋转并且随后被划分成多个区域，所述多个区域随后被映射到2D图像，但原始图像中的对象的位置基本上改变。也就是说，对于沿三个方向旋转的360度球形图像，每个旋转方向的旋转角度可以被表示为索引，并且虽然只有用于旋转角度的索引被存储在比特流中并被传输，但3D图像与2D图像的划分区域之间的映射的自由度增加。
指示3D模型表面的每个划分区域被映射到2D图像的哪个划分区域的映射关系可以被创建为元数据，并且通过自适应旋转来表示映射关系所需的元数据包含int角度X、int角度Y和int角度Z(int angleX,int angleY,和int angleZ)。这里，int角度X指示x轴方向的旋转角度，int角度Y指示y轴方向的旋转角度，并且int角度Z指示z轴方向的旋转角度。
图6是示出根据本公开的再一实施例的自适应地确定是否应用在将3D图像转换成2D图像时考虑的控制网格插值方法的实例的视图。
参考图6，其中用于VR的3D图像是360度球形图像，并且假定360度球形图像的表面被划分成多个区域，与三角形或矩形划分区域相对应的数据可以在维持形状的同时从3D图像转换/逆转换为2D图像或从2D图像转换/逆转换为3D图像。然而，为了更精确地映射每个划分的区域，可以在划分区域的角部向左和向右移动预定距离(dx、dy)的情况下执行转换。此时，如果先前的划分区域的形状是正方形，则转换的区域可以被弯曲成矩形或梯形形状。
也即，假定360度球形图像具有多个控制点610和由多个控制点610构成的控制多边形600，如果控制网格插值应用于如附图标记620所示排列的控制点，则划分区域的形状可以如附图标记630所示那样弯曲。
图7是示出根据本公开的实施例的图像处理装置将2D图像恢复成360度图像的操作的流程图。
参考图7，在步骤702中，图像处理装置解析存储的元数据。这里，元数据意指与将360度图像转换成2D图像相关的数据，并且包括以下各项中的至少一个：例如与x轴、y轴和z轴中的每一个的旋转角度和360度图像的划分尺寸相关的数据、与360度图像映射到的3D模型相关的数据、与在将360度图像映射到2D图像时要应用的插值方案相关的数据以及与是否应用控制网格插值相关的数据。
在步骤704中，图像处理装置基于解析的元数据中的3D模型相关数据生成图像记忆。在步骤706中，图像处理装置基于解析的元数据中的划分尺寸相关数据，以存储的2D图像中的划分尺寸相关数据指示的划分尺寸为单位来识别图像数据。这里假定，从2D图像的划分区域中的上部区域和左部区域开始以根据光栅扫描方案的顺序识别对应位置中的图像数据。
在步骤708中，图像处理装置基于解析的元数据中的插值相关数据将在步骤706中识别的图像数据映射到3D图像表面。这里，映射到3D图像表面时考虑的3D模型遵循步骤704的3D模型相关数据。在步骤710中，图像处理装置基于与解析的元数据中是否应用控制网格插值相关的数据来确定是否需要应用控制网格插值，并且必要时应用控制网格插值。
在步骤712中，图像处理装置检查通过步骤707至710恢复的3D图像中的区域是否是划分区域中的最后区域。如果作为步骤712的检查的结果，恢复的3D图像中的区域是划分区域中的最后区域，则图像处理装置继续进行步骤714，基于与360度图像的x轴、y轴和z轴中的每一个的旋转角度相关的数据旋转整个3D图像数据，并因此恢复360度图像。
另一方面，如果作为步骤712的检查的结果，恢复的3D图像中的区域不是划分区域中的最后一个，则图像处理装置返回到步骤706，根据光栅扫描方案在下一个区域上重复步骤706至710。重复此类操作直到达到最后区域的图像数据。
尽管以上已经描述了本公开的具体实施例，但是在不脱离本公开的范围的情况下可以对其做出各种改变。因此，本公开的范围不应限于上述实施例，而应该由所附权利要求及其等同物来限定。

Claims (12)

1.一种用于处理360度多视图图像的方法，所述方法包括：
识别基于将三维(3D)图像投影到平面空间而生成的二维(2D)图像以及与所述2D图像有关的元数据；以及
发送所识别的2D图像和所识别的元数据，
其中，所述3D图像是基于所述360度多视图图像生成的，以及
其中，所述元数据包括：
指示多个3D模型中的用于将2D图像映射到3D模型的3D模型的信息，以及
指示针对与所述3D图像相关的三个方向中的每个方向的旋转角度的信息，所述三个方向为x轴、y轴和z轴。
2.如权利要求1所述的方法，还包括：
通过将基于所述多个3D模型、多个划分尺寸、多个旋转角度和多个插值方法的2D图像的失真度进行比较，确定以预定比特率最小化失真的所述3D图像的3D模型、划分尺寸、针对三个方向中的每一个的旋转角度和插值方法，
其中，所述元数据还包括指示所述3D图像的确定的划分尺寸的信息和所述3D图像的确定的插值方法。
3.如权利要求1所述的方法，还包括：
确定是否应用控制网格插值方法，其中所述3D图像的划分区域中的控制点以将变化的预定距离延x轴和/或y轴方向移动，用于映射所述划分区域的每个角部，
其中，所述控制点是所述划分区域的角部。
4.如权利要求2所述的方法，其中基于所述元数据的量和2D图像的所述失真度，所述3D图像的所述划分尺寸被确定作为最小化整个率失真(RD)成本的值。
5.如权利要求1所述的方法，还包括：
将所述3D图像中的非背景内容转换为比所述2D图像中的第二区域少失真的第一区域，以及
将所述3D图像中的背景内容转换为所述2D图像中的第二区域。
6.一种用于处理360度多视图图像的方法，所述方法包括：
接收基于将三维(3D)图像投影到平面空间而生成的二维(2D)图像以及与所述2D图像有关的元数据，其中所述3D图像是基于所述360度多视图图像生成的，以及
基于所接收的元数据渲染所接收的2D图像，
其中，所述元数据包括：
指示多个3D模型中的用于将2D图像映射到3D模型的3D模型的信息，以及
指示针对与所述3D图像相关的三个方向中的每个方向的旋转角度的信息，所述三个方向为x轴、y轴和z轴。
7.如权利要求6所述的方法，其中渲染所接收的2D图像还包括：
基于指示所述3D模型的信息将所接收的2D图像映射到所述3D图像，以及
基于指示针对三个方向中的每一个的旋转角度的信息旋转所接收的2D图像。
8.如权利要求7所述的方法，还包括：
将控制网格插值方法应用到所述2D图像，
其中，所述控制网格插值方法是其中划分区域中的控制点以将变化的预定距离延x轴和/或y轴方向移动的方法。
9.一种用于处理360度多视图图像的装置，所述装置包括：
收发器，以及
处理器，耦接所述收发器，其中所述处理器被配置为：
识别基于将三维(3D)图像投影到平面空间而生成的二维(2D)图像以及与所述2D图像有关的元数据；以及
发送所识别的2D图像和所识别的元数据，
其中，所述3D图像是基于所述360度多视图图像生成的，
其中，所述元数据包括：
指示多个3D模型中的用于将2D图像映射到3D模型的3D模型的信息，以及
指示针对与所述3D图像相关的三个方向中的每个方向的旋转角度的信息，所述三个方向为x轴、y轴和z轴。
10.如权利要求9所述的装置，其中所述处理器还被配置为：
通过将基于所述多个3D模型、多个划分尺寸、多个旋转角度和多个插值方法的2D图像的失真度进行比较，确定以预定比特率最小化失真的用于所述3D图像的3D模型、划分尺寸、针对三个方向中的每一个的旋转角度和插值方法，
其中，所述元数据还包括指示所述3D图像的确定的划分尺寸的信息和所述3D图像的确定的插值方法。
11.一种用于处理360度多视图图像的装置，所述装置包括：
收发器，以及
处理器，耦接所述收发器，其中所述处理器被配置为：
接收基于将三维(3D)图像投影到平面空间而生成的二维(2D)图像以及与所述2D图像有关的元数据，其中所述3D图像是基于所述360度多视图图像生成的，以及
基于所接收的元数据渲染所接收的2D图像，
其中，所述元数据包括：
指示多个3D模型中的用于将2D图像映射到3D模型的3D模型的信息，以及
指示针对与所述3D图像相关的三个方向中的每个方向的旋转角度的信息，所述三个方向为x轴、y轴和z轴。
12.如权利要求11所述的装置，为了渲染所接收的2D图像，所述处理器还被配置为：
基于所接收的元数据将所接收的2D图像转换为所述3D图像。
CN201780010857.3A 2016-02-12 2017-02-13 用于处理360度图像的方法和设备 Active CN108605093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312792.0A CN114727091B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160016521A KR102523997B1 (ko) 2016-02-12 2016-02-12 360도 영상 처리 방법 및 장치
KR10-2016-0016521 2016-02-12
PCT/KR2017/001565 WO2017138801A1 (ko) 2016-02-12 2017-02-13 360도 영상 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210312792.0A Division CN114727091B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备

Publications (2)

Publication Number Publication Date
CN108605093A CN108605093A (zh) 2018-09-28
CN108605093B true CN108605093B (zh) 2022-04-15

Family

ID=59563373

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780010857.3A Active CN108605093B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备
CN202210312792.0A Active CN114727091B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210312792.0A Active CN114727091B (zh) 2016-02-12 2017-02-13 用于处理360度图像的方法和设备

Country Status (5)

Country Link
US (2) US10992918B2 (zh)
EP (2) EP3720114B1 (zh)
KR (2) KR102523997B1 (zh)
CN (2) CN108605093B (zh)
WO (1) WO2017138801A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10827160B2 (en) * 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
WO2018153267A1 (zh) * 2017-02-24 2018-08-30 腾讯科技（深圳）有限公司 群组视频会话的方法及网络设备
US10791316B2 (en) 2017-03-28 2020-09-29 Samsung Electronics Co., Ltd. Method for transmitting data about three-dimensional image
KR102277267B1 (ko) * 2017-03-29 2021-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10567734B2 (en) * 2017-08-29 2020-02-18 Qualcomm Incorporated Processing omnidirectional media with dynamic region-wise packing
KR20190033042A (ko) * 2017-09-20 2019-03-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
WO2019190203A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019203574A1 (ko) * 2018-04-17 2019-10-24 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
CN108961152B (zh) * 2018-05-30 2020-01-14 贝壳找房(北京)科技有限公司 平面户型图生成方法和装置
KR102435519B1 (ko) 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
KR102188270B1 (ko) 2018-07-06 2020-12-09 엘지전자 주식회사 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
WO2020013513A1 (ko) * 2018-07-09 2020-01-16 엘지전자 주식회사 비디오 송신 방법, 비디오 송신 장치, 비디오 수신 방법 및 비디오 수신 장치
US11481961B2 (en) * 2018-10-02 2022-10-25 Sony Corporation Information processing apparatus and information processing method
KR102249458B1 (ko) 2018-10-05 2021-05-07 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
KR102357262B1 (ko) 2018-10-05 2022-02-08 에스케이텔레콤 주식회사 통신 장치 및 그 영상통화 방법
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
CN110568769A (zh) * 2019-08-23 2019-12-13 广州佳恒工程技术有限公司 一种智能家居控制系统
US11922561B2 (en) * 2020-10-06 2024-03-05 Mediatek Singapore Pte. Ltd. Methods and systems for implementing scene descriptions using derived visual tracks
WO2024058369A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 프로젝션 장치 및 그 동작 방법
KR102653596B1 (ko) * 2023-11-22 2024-04-02 주식회사 브로즈 3d 이미지를 제공하는 방법 및 이를 이용한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170514A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置
CN102687177A (zh) * 2009-11-02 2012-09-19 阿尔切奥公司 采用三维和二维数字图像的系统和方法
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
CN104063843A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种基于中心投影的集成立体成像元素图像生成的方法
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754400B2 (en) 2001-02-06 2004-06-22 Richard Wilson, Jr. System and method for creation, processing and visualization of omni-directional images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7308131B2 (en) * 2002-12-03 2007-12-11 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
KR20070102989A (ko) * 2007-04-06 2007-10-22 실리콘 옵틱스 인코포레이션 2차원 공간변환을 표현하는 시스템과 방법
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US9135331B2 (en) * 2008-04-07 2015-09-15 Philip J. Rosenthal Interface including graphic representation of relationships between search results
KR101058274B1 (ko) * 2008-10-08 2011-08-22 삼성에스디에스 주식회사 가상현실 이미지 관리 시스템 및 방법
JP5036088B2 (ja) * 2011-01-14 2012-09-26 シャープ株式会社 立体画像処理装置、立体画像処理方法およびプログラム
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
WO2014043814A1 (en) 2012-09-21 2014-03-27 Tamaggo Inc. Methods and apparatus for displaying and manipulating a panoramic image by tiles
US20140085295A1 (en) * 2012-09-21 2014-03-27 Tamaggo Inc. Direct environmental mapping method and system
US20140282283A1 (en) * 2013-03-15 2014-09-18 Caesar Ian Glebocki Semantic Gesture Processing Device and Method Providing Novel User Interface Experience
KR102249577B1 (ko) * 2013-05-30 2021-05-07 찰스 안소니 스미스 Ｈｕｄ 객체 설계 및 방법
KR101340598B1 (ko) 2013-06-03 2013-12-11 송헌주 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
US9390548B2 (en) 2014-06-16 2016-07-12 Sap Se Three-dimensional volume rendering using an in-memory database

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170514A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置
CN102687177A (zh) * 2009-11-02 2012-09-19 阿尔切奥公司 采用三维和二维数字图像的系统和方法
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
CN104063843A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种基于中心投影的集成立体成像元素图像生成的方法
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及系统

Also Published As

Publication number Publication date
US11490065B2 (en) 2022-11-01
KR20230057315A (ko) 2023-04-28
US10992918B2 (en) 2021-04-27
EP3720114B1 (en) 2024-10-02
KR20170095035A (ko) 2017-08-22
CN114727091B (zh) 2024-04-23
KR102564732B1 (ko) 2023-08-09
CN108605093A (zh) 2018-09-28
KR102523997B1 (ko) 2023-04-21
EP3720114A1 (en) 2020-10-07
US20190052858A1 (en) 2019-02-14
EP3416372A1 (en) 2018-12-19
CN114727091A (zh) 2022-07-08
US20210243420A1 (en) 2021-08-05
EP3416372A4 (en) 2019-03-13
WO2017138801A1 (ko) 2017-08-17

Similar Documents

Publication Publication Date Title
CN108605093B (zh) 用于处理360度图像的方法和设备
CN111615715B (zh) 编码/解码体积视频的方法、装置和流
CN109478313B (zh) 处理三维图像的方法和设备
Jang et al. Video-based point-cloud-compression standard in MPEG: From evidence collection to committee draft [standards in a nutshell]
CN111034201B (zh) 编码和解码体积视频的方法、设备和流
CN109644279B (zh) 用于用信号通知360度视频信息的方法和系统
US11244584B2 (en) Image processing method and device for projecting image of virtual reality content
TWI678915B (zh) 一種視訊編解碼的方法及裝置
KR102527816B1 (ko) 전방향 이미지를 처리하는 방법 및 장치
KR102642418B1 (ko) 3차원 영상을 처리하는 방법 및 장치
CN110463196B (zh) 用于传输立体视频内容的方法和装置
JP2021502033A (ja) ボリュメトリックビデオを符号化／復号する方法、装置、およびストリーム
KR20190089115A (ko) 포인트 클라우드 압축 방법 및 장치
CN114189697B (zh) 一种视频数据处理方法、装置以及可读存储介质
US20240276013A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
TW202116063A (zh) 用以編碼、傳輸及解碼容積視訊之方法及裝置
EP4387238A1 (en) File encapsulation method and apparatus for free-viewpoint video, device and storage medium
US20240179347A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN118843885A (zh) 编码/解码在长方体体积中包含的点云的点的位置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant