CN108520232B - 立体环景影片产生方法及装置 - Google Patents

立体环景影片产生方法及装置 Download PDF

Info

Publication number
CN108520232B
CN108520232B CN201810306333.5A CN201810306333A CN108520232B CN 108520232 B CN108520232 B CN 108520232B CN 201810306333 A CN201810306333 A CN 201810306333A CN 108520232 B CN108520232 B CN 108520232B
Authority
CN
China
Prior art keywords
map
pixels
pixel
amount
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810306333.5A
Other languages
English (en)
Other versions
CN108520232A (zh
Inventor
郑廷威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW107100258A external-priority patent/TWI683280B/zh
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN108520232A publication Critical patent/CN108520232A/zh
Application granted granted Critical
Publication of CN108520232B publication Critical patent/CN108520232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/16—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种立体环景影片产生方法及装置。此方法撷取环景影片中的多个图帧，并将各图帧转换为多面体映射投影，其中多面体映射投影包括多个侧面图、上图及下图，接着依据各图帧转换后的多个侧面图计算侧面图中多个像素的移动量，并依据侧面图的移动量计算上图与下图中多个像素的移动量，然后依据所计算的多面体映射投影的移动量，将各图帧转换后的侧面图、上图及下图中的像素平移，以生成平移多面体映射投影，最后将平移多面体映射投影转换为具有二维空间格式的平移图帧，并将平移图帧与对应的图帧组成立体影像以编码成立体环景影片。

Description

立体环景影片产生方法及装置
技术领域
本发明有关于一种影片产生方法及装置，且特别是有关于一种立体环景影片产生方法及装置。
背景技术
球面环景相机系统中主要是利用一个或多个相机拍摄沿着水平轴的360度视野(field of view，FOV)和沿着垂直轴的180度视野的球面环景影片。如此，可以捕捉到相机系统(或者预期的观看者)周围各个方向上的整体环境，以用于例如虚拟实境(Virtualreality，VR)应用。近年来，技术已经发展到可以将球面环景相机系统所撷取的影片在显示设备上以立体的方式呈现。
然而，大部分的球面环景影片内容仅用于二维显示，因此，存在着将以二维球面环景影片呈现的数字内容转换为以立体球面环景影片呈现的需求。
发明内容
本发明提供一种立体环景影片产生方法及装置，其将环景影片的图帧投影到多面体上并计算各投影中像素的移动量，用以对像素进行平移以获得具视差的图帧，而可与原始图帧结合以产生立体环景影片。
本发明的立体环景影片产生方法适用于具有处理器的电子装置，此方法是撷取环景影片中的多个图帧，并将各图帧转换为多面体映射投影，其中多面体映射投影包括多个侧面图、上图及下图。接着依据各图帧转换后的多面体映射投影的侧面图计算侧面图中多个像素的移动量，并依据侧面图的移动量计算多面体映射投影的上图与下图中多个像素的移动量。然后依据所计算的多面体映射投影的移动量，将各图帧转换后的多面体映射投影的侧面图、上图及下图中的像素平移，以生成平移多面体映射投影。最后将平移多面体映射投影转换为具有二维空间格式的平移图帧，并将平移图帧与对应的图帧组成立体影像以编码成立体环景影片。
本发明的立体环景影片产生装置包括连接装置、储存装置及处理器。其中，连接装置连接影像来源装置，用以自影像来源装置接收环景影片。储存装置是用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括图帧撷取模块、映射模块、视差计算模块、像素平移模块、转换模块及影片编码模块。图帧撷取模块撷取环景影片中的多个图帧；映射模块将各图帧转换为多面体映射投影，其中多面体映射投影包括多个侧面图、上图及下图；视差计算模块取各图帧转换后的多面体映射投影的侧面图计算侧面图中多个像素的移动量，并依据侧面图的移动量计算多面体映射投影的上图与下图中多个像素的移动量；像素平移模块依据所计算的多面体映射投影的移动量，将各图帧转换后的多面体映射投影的侧面图、上图及下图中的像素平移，以生成平移多面体映射投影；转换模块将平移多面体映射投影转换为具有二维空间格式的平移图帧；影片编码模块将平移图帧与对应的图帧组成立体影像以编码成立体环景影片。
基于上述，本发明的立体环景影片产生方法及装置通过将具有二维空间格式的球面环景影片的各图帧转换为三维空间中多面体的映射投影，并计算该映射投影每一面像素的移动量，据以对像素进行平移，将平移后的图帧转回二维空间格式，借此使平移后的图帧与相对应的原始图帧可组成立体环景影像而用以编码成立体环景影片。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的立体环景影片产生装置的方块图。
图2是依照本发明一实施例所绘示的立体环景影片产生方法的流程图。
图3是依照本发明一实施例所绘示的图帧的等距长方投影对应于立方体映射投影的示意图。
图4A、图4B是依照本发明一实施例所绘示的立方体映射投影的示意图。
图5A及图5B是依照本发明一实施例所绘示的球面环景影片中图帧转换后的映射投影的侧面图的范例。
图6A至图6C是依照本发明一实施例所绘示的计算移动量的范例。
图7是依照本发明一实施例所绘示的图帧的立方体映射投影。
图8A至图8E是依照本发明一实施例所绘示的计算上图移动量的范例。
图9是依照本发明一实施例所绘示的立方体映射投影的上图旋转平移的示意图。
附图中符号的简单说明如下：
10：电子装置；12：连接装置；14：储存装置；141：图帧撷取模块；142：映射模块；143：视差计算模块；144：像素平移模块；145：转换模块；146：影片编码模块；16：处理器；30：等距长方投影图；40：立方体；70：立方体映射投影；32：侧面图；34、44、74、84、94：上图；36、46、76：下图；322、422、722：左图；324、424、724：前图；326、426、726：右图；328、428、728：后图；50a、50b：图帧；60a-60c：影像；72a-72d、72a’-72d’、74a-74d、76a-76d、84a-84d：边缘；942-948：三角形区块；S202-S210：本发明一实施例的立体环景影片产生方法的步骤。
具体实施方式
为了将二维的球面环景影片以立体的方式呈现，本发明的装置除了将球面环景影片中各图帧转换为三维空间中多面体(polyhedron)的映射投影，并计算各图帧的侧面图中各像素的移动量外，还依据侧面图边缘的移动量进行上图与下图中各像素的移动量的推算。依据上述计算或推算出来的移动量，平移各图帧中转换后的映射投影的侧面图、上图及下图中的各像素，从而获得平移映射投影。接着，将平移映射投影转换回具有二维空间格式的平移图帧，并且分别将平移图帧与相对应的原始图帧配置于左右眼而获得立体影像。最后，将所获得的立体影像编码，即可产生具立体效果的环景影片。
图1是依照本发明一实施例所绘示的立体环景影片产生装置的方块图。本实施例的立体环景影片产生装置是以图1中的电子装置10为例，其例如是具备运算功能的相机、摄影机、手机、个人计算机、VR头盔(headset)、云端服务器或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：
连接装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝芽、无线保真(Wireless fidelity，Wi-Fi)等有线或无线的传输接口，其可用以连接影像来源装置，从而自影像来源装置接收影片。所述的影像来源装置例如是可拍摄环景影片的环景相机、储存有环景影片的硬盘或存储器、或是位于远端用以储存环景影片的服务器，在此不设限。
储存装置14例如是任何形态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录图帧撷取模块141、映射模块142、视差计算模块143、像素平移模块144、转换模块145及影片编码模块146。
处理器16例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14连接。
在本实施例中，储存在储存装置14中的模块例如是计算机程序，而可由处理器16载入，据以执行本实施例的立体环景影片产生的方法。以下即举实施例说明此方法的详细步骤。
图2是依照本发明一实施例所绘示的立体环景影片产生方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例立体环景影片产生方法的详细步骤：
首先，由图帧撷取模块141从连接装置12所接收的影片中撷取多个图帧(步骤S202)。其中，所述图帧可以具有二维空间格式，但本发明不限于此。其中，所述的影片例如是电子装置10自影像来源装置接收的环景影片，所述的影像来源装置可以是配置于电子装置上的多个相机，用以拍摄电子装置前方、后方等视野的影片，并将多个视野影片中相对应的图帧拼接成例如是二维空间格式的球面环景图帧，以完成球面环景影片。影像来源装置也可以是电子装置本身的储存装置14，用以储存已拍摄的球面环景影片，但不限于此。
需说明的是，在本实施例中，用以拍摄影片的多个相机例如是鱼眼相机，其具有接近180度的视角，而多个视野影片可拍摄涵盖部分重叠的影像以便拼接。在其他实施例中，相机也可以是除鱼眼相机之外的相机，并且多个相机中相对应的各视野影片之间也可以是不重叠的。
此外，在本实施例中，球面环景影片中的各图帧是以等矩长方投影(Equirectangular projection)的格式来表示，其中等矩长方投影是将经度映射到恒定间距的垂直直线，以及纬度映射到恒定间距的水平直线。在其他实施例中，除了等矩长方投影之外，也可以是米勒圆柱投影(Miller cylindrical projection)、卡西尼投影(Cassiniprojection)等投影，用于表示球面环景影片中的各图帧。
回到图2的流程，在撷取多个图帧后，映射模块142将球面环景影片中各图帧转换为多面体映射投影(步骤S204)。在一实施例中，映射模块142例如会利用立方体映射投影(Cube map)，将球面环景影片中各图帧投影到三维空间中立方体的六个方形面，并将所述投影以六个方形纹理(texture)或展开为具有六个区域的单一纹理的方式储存。举例来说，图3是依照本发明一实施例所绘示的图帧的等距长方投影对应于立方体映射投影的示意图。请参照图3，本实施例各图帧的等距长方投影图30中包含对应立方体映射投影的多个侧面图32、上图34及下图36的影像部分。其中，上述的多个侧面图32包括左图322、前图324、右图326及后图328。在其他实施例中，映射模块142也可以使用除了立方体之外的多面体，例如三角棱柱、六角棱柱等，以用于球面环景影片中各图帧的环境映射投影。一般而言，球面环景影片中各图帧可投影到包括上面、下面及多个侧面的多面体上，而生成上图、下图及多个侧面图，其中上图及下图各自具有多个边缘，且上图/下图的每个边缘均对应于其中一个侧面图的上部/下部边缘。例如，在立方体映射投影的情况下，侧面图的数量为四个，上图及下图的边缘的数量皆为四个，而分别与四个侧面图的边缘相对应。
举例来说，图4A、图4B是依照本发明一实施例所绘示的立方体映射投影的示意图。请同时参照图3、图4A及图4B，其中图4B是立方体40的展开图。在本实施例中，球面环景影片中各图帧的等矩长方投影通过使用立方体40的六个面作为映射形状的立方体映射来进行映射投影。也就是说，球面环景影片中各图帧的等距长方投影图30中对应的左图322、前图324、右图326、后图328、上图34及下图36的影像部分分别被映射投影至立方体40的六个面而生成左图422、前图424、右图426、后图428、上图44及下图46，并储存为六个正方形。其中，用于实现等矩长方投影与立方体映射投影之间的转换方法为本领域技术人员所熟知，在此不再赘述。
值得注意的是，由于立方体映射是从代表每个立方体面的90度视锥体(viewfrustum)所定义的视点绘制景物六次而产生，因此与其他类型的映射投影相比，其像素计算可以以更线性的方式进行。另外，当要使用虚拟实境设备显示球面环景影片时，采用立方体映射投影格式的影片可更加受到立体图形硬件加速的支持。此外，在一实施例中，映射投影中的左图422、前图424、右图426、后图428、上图44及下图46是具有相同宽度(以像素为单位)的正方形。在另一实施例中，左图422、前图424、右图426及后图428的宽度W(以像素为单位)也可以是以等矩长方投影表示的球面环景影片中各图帧的水平分辨率(以像素为单位)的四分之一。然而，本发明并不限于此。在其他实施例中，其他的四边形(tetragon)、高度或宽度也可以用于上述的左图422、前图424、右图426、后图428、上图44及下图46。
回到图2的流程，在获得转换后的多面体映射投影后，视差计算模块143会取各图帧转换后的映射投影的多个侧面图来计算侧面图中多个像素的移动量，并依据侧面图的移动量来计算映射投影的上图与下图中多个像素的移动量(步骤S206)。需注意的是，由于深度感知是由眼睛的水平分离视差所引起的，因此上图和下图(其大致与眼睛分离所在的水平面平行)的移动量应当与多个侧面图(其大致与眼睛分离所在的水平面正交)的移动量以不同方法进行计算。
在一实施例中，为了取得球面环景影片中各图帧每个像素的移动量，可以对球面环景影片中各图帧转换后的映射投影的多个侧面图进行已知的深度估计技术，例如利用相对模糊(Relative blurriness)、基于区块匹配(Block-based matching)或光流(Opticalflow)等方法，来计算侧面图中各像素的初始移动量。
在上述深度估计技术中，相对模糊法是从相机焦点的角度来看，距相机较远的物体比较接近相机的物体模糊，因此，该方法是基于图帧中各像素的模糊程度来计算每个像素的移动量。
在基于区块匹配方法中，影片的一个或多个图帧被分割成多个区块，当前图帧的各区块可以与大小相同但在参考图帧中移位的区块进行比较。其中与最小匹配成本相关联的确定位移可以被识别为所述区块中的所有像素的估计移动幅度，且上述移动幅度可用来计算一个或多个图帧中像素的移动量。例如，移动幅度较大的像素可被认定为更靠近相机。
另一方面，光流法可以识别物体亮度模式的移动，例如，影片中各图帧的光流可被认为是移动场，其中每个点被指定有描述其移动的速度向量。光流技术可以包括经由亮度常数方程式(brightness constancy equation)将物件速度与基于像素梯度的亮度变化相关联，其可以使用全面或局部的优化技术来计算一个或多个图帧中像素的光流移动向量。合适的已知光流方法可以包括Farneback方法、Lucas-Kanade方法、主成份分析(principalcomponent analysis，PCA)方法等。在一些实施例中，可以使用任意的光流法来计算侧面图的初始移动量。
在本实施例中，侧面图中多个像素的移动量的计算是先计算各图帧转换后的映射投影的侧面图之间的光流场，其中上述的光流场表示为各图帧转换后的映射投影的侧面图中各像素在多个轴向上的初始移动量。接着，可选地，对初始移动量进行高斯平滑化计算而计算出平滑移动量；在一实施例中，上述的高斯平滑化计算可包括时间轴上的高斯平滑化计算或空间上的高斯平滑化计算。
举例来说，图5A及图5B是依照本发明一实施例所绘示的球面环景影片中图帧转换后的映射投影的侧面图的范例。请同时参照图5A及图5B，图帧50a为影片中时间T的图帧，图帧50b为影片中时间T+1的图帧。在本实施例中，影片中图帧50a的各像素与图帧T+1的各像素之间的移动的像素数量代表侧面图中各像素的初始移动量。其中，距离观看者较远的物件的像素具有较小的初始移动量，相反地，距离观看者较近的物件的像素具有较大的初始移动量。
详细来说，影片中图帧50a的每个像素(i,j)的初始移动量Δf(i,j),T可包括欧几里德坐标(Euclidian coordinates)中的水平移动量(Δx(i,j),T)和垂直移动量(Δy(i,j),T)：
Figure BDA0001621083360000091
可选地，可以进一步使用高斯滤波器对初始移动量进行时间平滑化以产生平滑移动量Δf(i,j),T,smooth，例如：
Figure BDA0001621083360000092
为了使像素移动量的幅度适用于不同显示器的影像分辨率，可以将初始移动量(或平滑移动量)乘以正规化(normalization)因子P，其中正规化因子P与球面环景影片中各图帧转换后的映射投影的侧面图的宽度W(以像素为单位)的分辨率成比例，而这亦可以与如上所述的一些实施例中以等矩长方投影格式表示的球面环景影片中各图帧的水平分辨率(以像素为单位)成比例，从而得到每个像素的最终移动量Δd(i,j)：
Δd(i,j)＝Δf(i,j),T×P
虽然最终移动量Δd(i,j)在下标中省略了时间T的标示，但本领域人员应当理解最终移动量也是针对各时间T进行计算。在另一实施例中，若显示器的影像分辨率刚好可配合球面环景影片中各图帧的水平分辨率，则正规化因子P可以是1，亦即最终移动量等于初始移动量。可选地，可以进一步使用例如高斯模糊滤波器对初始移动量进行空间平滑化以得到更平滑的最终移动量。且本领域技术人员应可理解，可以根据不同的情况改变执行正规化、时间平滑化及空间平滑化的顺序以得到最终移动量。此外，还可以调整在时间平滑化及空间平滑化中使用的参数和/或滤波器。
举例来说，图6A至图6C是依照本发明一实施例所绘示的计算移动量的范例。请参考图6A至图6C，影像60a是图帧转换后的映射投影的侧面图的光流场图，影像60b呈现图帧转换后的映射投影的侧面图的初始移动量，影像60c呈现图帧转换后的映射投影的侧面图套用高斯模糊后的平滑移动量。
视差计算模块143在计算各侧面图中每个像素的最终移动量后，取各侧面图中位于与上图及下图的边界的多个边缘像素的最终移动量计算上图及下图的多个边缘像素的移动量，以及以边缘像素的移动量作为初始值，计算上图及下图内其他像素的移动量。详细来说，上图的边缘及下图的边缘(即，上图/下图中像素的最外侧的一行)的每一行像素被指定有移动量(例如，最终移动量Δd(i,j))，上述被指定的移动量是根据侧面图的上部和下部边缘(即，侧面图中像素的最上面/最下面的一行)中每个相对应上图及下图的边缘像素的最终移动量来计算。
举例来说，图7是依照本发明一实施例所绘示的图帧的立方体映射投影。请参照图7，本实施例立方体映射投影70是由左图722、前图724、右图726、后图728、上图74及下图76六个正方形所构成。在本实施例中，上图74包括四个边缘74a、74b、74c及74d，左图722包括有与上图74对应的边缘72a及与下图76对应的边缘72a’，前图724包括有与上图74对应的边缘72b及与下图76对应的边缘72b’，右图726包括有与上图74对应的边缘72c及与下图76对应的边缘72c’，后图728包括有与上图74对应的边缘72d及与下图76对应的边缘72d’。下图76包括四个边缘76a、76b、76c及76d。
具体而言，在一实施例中，上图74的边缘74a、边缘74b、边缘74c及边缘74d各像素的移动量计算方法如下所述。将左面722的边缘72a各像素的最终移动量指定至对应的边缘74a，以成为边缘74a各像素的移动量；将前图724的边缘72b各像素的最终移动量指定至对应的边缘，以成为边缘74b各像素的移动量；将右图726的边缘72c的最终移动量指定至对应的边缘74c，以成为边缘74c各像素的移动量；将后图728的边缘72d的最终移动量指定至对应的边缘74d，以成为边缘74d各像素的移动量。其中，由于上图74的四个角上的四个像素可以分别对应于两个相邻图的两个最上端顶角的像素，因此可以将两个相邻图的两个最上端顶角像素的最终移动量中任一个或者两个最上端顶角像素的最终移动量的平均值分别指定至上述四个像素的移动量。下图76边缘像素的计算方法与上述上图74类似，因此不再赘述。
视差计算模块143如此指定上图与下图边缘像素的移动量之后，分别将上图及下图分割为多个区块，并针对上图及下图中的各像素，依照所属的区块使用周围多个相邻像素的移动量计算像素的移动量。简单来说，在确定上图及下图的边缘的每行像素的移动量后，上图及下图的其他内部各像素可以由外到内照顺序地依据其相邻像素的移动量计算而取得。
举例来说，图8A至图8E是依照本发明一实施例所绘示的计算上图移动量的范例。请参照图8A，本实施例的立方体映射投影的上图84被分割四个区块I～IV，且已指定边缘84a、边缘84b、边缘84c及边缘84d各像素的移动量。接着，计算上述区块I～IV中各区块内部像素的移动量的方法请参照图8B至8E。其中，图8B的实施例中内部像素(i,j)的移动量可以根据其三个相邻像素(例如像素(i-1,j)、像素(i-1,j-1)及像素(i,j-1))的移动量的算术平均来取得。图8C的另一实施例中内部像素(i,j)的移动量可以根据其三个相邻像素(例如像素(i-1,j-1)、像素(i,j-1)及像素(i+1,j-1))的移动量的算术平均来取得。图8D的另一实施例中内部像素(i,j)的移动量可以根据其两个相邻像素(例如像素(i-1,j)及像素(i,j-1))的移动量的算术平均来取得。图8E的另一实施例中内部像素(i,j)的移动量可以根据其四个相邻像素(例如像素(i-1,j)、像素(i-1,j-1)、像素(i,j-1)及像素(i+1,j-1))的移动量的算术平均来取得。
在本发明另一实施例中，以下述方程式来计算上述区块I～IV的内部像素的移动量，其中i＝0、i＝W-1、j＝0或j＝W-1(W为上图的宽度)对应于四个边缘的像素行/列：
区块I：
Figure BDA0001621083360000121
其中，
Figure BDA0001621083360000122
且
Figure BDA0001621083360000123
区块II：
Figure BDA0001621083360000124
其中，
Figure BDA0001621083360000125
且
Figure BDA0001621083360000126
区块III：
Figure BDA0001621083360000127
其中，
Figure BDA0001621083360000128
且
Figure BDA0001621083360000129
区块IV：
Figure BDA00016210833600001210
其中，
Figure BDA00016210833600001211
且
Figure BDA00016210833600001212
其中图8B绘示出了在上述区块I中各像素的计算方法所依据的三个相邻像素的相对位置。上述方程式中的递减参数g用于逐渐减小内部像素的移动量，使得越接近上图中心的像素，其移动量可以越接近零，并且递减参数g可以是0到1之间的任意数字(例如0.1)。在其他实施例中，也可以省略因子3/(3+g)，使得移动量不会逐渐减小。
值得注意的是，图8B至图8E所绘示计算移动量的方法仅只是本发明的一些实施范例，并不用以限缩本发明的范畴。且在另一个实施例中，上图84可以沿着对角线分成四个区块如图9所示以计算区块I’～IV’的内部像素的移动量，也可以分为其他数量的区块(如六个或八个区块)。以下是计算图9区块I’的内部像素的移动量的另一实施例：
区块I’：
Figure BDA0001621083360000131
其中，i＝1,...,W-2且
Figure BDA0001621083360000132
在其他实施例中，可以根据相邻像素的移动量的几何平均值或中值来确定内部像素的移动量。且虽然本实施例中将上图与下图的边缘像素的移动量指定为相对应的侧面图的上部和下部最边缘的一行边缘像素的最终移动量，但在另一实施例中也可以将上图与下图的边缘像素的移动量指定为相对应的侧面图的上部和下部边缘的边缘像素的最终移动量再乘以一常数；在又一实施例中也可以依据侧面图的上部和下部最边缘的数个边缘像素的最终移动量(例如是最边缘的二个边缘像素的最终移动量的平均值)决定相对应的上图与下图的边缘像素的移动量。此外，下图的详细实施方式与上述上图84类似，因此不再赘述。
回到图2的流程，在计算侧面图、上图及下图各像素的移动量后，可以根据各像素的移动量来确定各像素在立体球面环景影片中各图帧的左眼和右眼图帧之间的平移量和方向。在一实施例中，距离观看者较远的物件的像素应具有较小的平移量，而距离观看者较近的物件的像素应具有较大的平移量。在一实施例中，各像素在左眼和右眼图帧之间的平移量可以等于用前述方式所计算的各像素的移动量；在另一实施例中，各像素在左眼和右眼图帧之间的平移量可以等于用前述方式所计算的各像素的移动量再乘以一常数，且侧面图与上图及下图的各像素的移动量所乘的常数可以是相同或不同。然而，各像素的平移量与所述像素的移动量的关系并不限于此。像素平移模块144依据所计算的映射投影的移动量，平移各图帧转换后的映射投影的侧面图、上图及下图中的像素，以生成平移映射投影(步骤S208)。
关于侧面图的平移，像素平移模块144依据侧面图的移动量平移侧面图的像素以生成平移侧面图，所述侧面图例如以水平卷绕(horizontal wraparound)方式向右平移。举例来说，请参考图7的立方体映射投影70，当左图722、前图724、右图726及后图728向右平移时，后图728最右边缘被移出的像素会被平移回补至左图722的最左边缘。然而，侧面图平移的方向并不限于此，例如也可以向左平移。
关于上图及下图的平移，像素平移模块144依据上图的移动量以顺时针及逆时针其中之一的方向旋转上图中的像素以生成平移上图，以及依据下图的移动量以顺时针及逆时针中的另一方向旋转下图中的像素以生成平移下图，其中平移侧面图、平移上图及平移下图构成所述平移映射投影。在一实施例中，当侧面图的像素以水平卷绕方式向右平移时，上图的像素以逆时针方向旋转而下图的像素以顺时针方向旋转；当侧面图的像素以水平卷绕方式向左平移时，上图的像素以顺时针方向旋转而下图的像素以逆时针方向旋转。在上述旋转的细节方面，在一实施例中，像素平移模块144分别将上图及下图从中心依照各边缘分割为多个区块(例如是三角形的区块)，并依据上图及下图的移动量平移各区块内的各像素。各区块内的各像素平移的方向可以是平行于该区块对应的边缘的方向，也可以是接近于以该中心为圆心的顺时针或逆时针方向。其中当上图的像素的平移跨出所属区块至相邻区块时，依相邻区块内的平移方向转向以继续在相邻区块内平移，当下图的像素的平移跨出所属区块至相邻区块时，依相邻区块内的平移方向转向以继续在相邻区块内平移。
举例来说，图9是依照本发明一实施例所绘示的立方体映射投影的上图旋转平移的示意图。请参照图9的上图94，在本实施例中，上图94从中心沿着对角线被分割成四个三角形区块以对应四个边缘，包括三角形区块942、三角形区块944、三角形区块946以及三角形区块948。所述上图依据各像素的移动量以接近于逆时针方向旋转平移，其具体平移方式如下所述，三角形区块942的各像素向下平移，三角形区块944的各像素向右平移，三角形区块946的各像素向上平移，三角形区块948的各像素向左平移。
需注意的是，下图各像素的旋转方向与上图的旋转方向相反。在上述实施例中，下图各像素以接近于顺时针方向旋转平移。下图各区块旋转平移的详细实施方式与上图94类似，因此不再赘述。然而，上图及下图的旋转平移方向并不限于此。在另一实施例中，可以将上图及下图分割为其他数量或形状的区块，使得上图及下图以更接近逆时针或顺时针方向的平移。在另一实施例中，也可以不将上图及下图分割为区块而直接使用以中心为圆心的顺时针或逆时针方向平移所有上图及下图的像素。在其他实施例中，平移之后可能发生像素缺失的情况，上述情况可以通过已知的图像修补演算法(例如快速前进方法、Navier-Stokes方程方法等)来恢复。
回到图2的流程，在生成平移映射投影后，转换模块145转换平移映射投影为具有二维空间格式的平移图帧(步骤S210)。具体而言，在本发明一实施例中，将平移后的立方体映射投影格式的各图帧转换回等矩长方投影格式的图帧。然而，上述的二维空间格式并不限于此。
最后，在转换为平移图帧后，影片编码模块146将平移图帧与对应的原始图帧组成立体影像以编码成立体影片(步骤S210)。平移图帧的二维空间格式可以是与转换为多面体映射投影前的原始图帧的格式相同或不同。若平移图帧的二维空间格式与转换为多面体映射投影前的原始图帧的格式不同，可以另外再将平移图帧与对应的原始图帧转换成相同的二维空间格式。详细来说，在本发明一实施例中，将球形环景影片中平移后等矩长方投影格式的图帧以及相对应的原始等矩长方投影格式的图帧分别作为观看者的左眼影像和右眼影像，以提供立体影像的呈现。尽管上述实施例的平移图帧为左眼影像、原始图帧为右眼影像，但本领域技术人员应可理解，原始图帧可以在相反的方向上平移以产生平移图帧为右眼影像，而原始图帧为左眼影像的实施方式。在一实施例中左眼影像和右眼影像可以是同步分别呈现给观看者的左眼和右眼观看，但本发明不限于此。
在对球面环景影片中各图帧进行上述映射投影、视差计算、像素平移、转换格式及组成立体影像的步骤后，即可将各立体影像编码并产生立体球面环景影片。由于二维空间格式(例如等矩长方投影格式)的环景影片的影像具有高度的非线性特性，故无法直接使用已知的深度估计技术计算整个影像的所有像素的移动量。本发明中先转换环景影片为多面体映射投影格式，直接计算侧面图的移动量后再依据各侧面图的移动量计算上图与下图的移动量，如此可以准确且简便地决定左眼影像和右眼影像之间的平移量以产生立体球面环景影片。
综上所述，本发明的立体环景影片产生方法及装置通过将例如是二维空间格式的球面环景影片的各图帧转换为三维空间中多面体的映射投影，并对转换后各多面体映射投影图帧侧面图执行深度估计，计算各图帧中侧面图的各像素的移动量，且依据侧面图的移动量计算上图及下图的移动量，接着依据各像素的移动量对各像素进行平移，并将平移后的多面体映射投影图帧转回原始图帧的二维空间格式，借此使平移后的图帧与相对应的原始图帧可产生立体环景影像以编码成立体环景影片。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (20)

1.一种立体环景影片产生方法，其特征在于，适用于具有处理器的电子装置，该方法包括下列步骤：
撷取环景影片中的多个图帧；
转换各所述图帧为多面体映射投影，其中所述多面体映射投影包括多个侧面图、上图及下图；
依据各所述图帧转换后的该多面体映射投影的所述侧面图计算所述侧面图中多个像素的移动量，并依据所述侧面图的所述移动量计算该多面体映射投影的所述上图与所述下图中多个像素的移动量；
依据所计算的该多面体映射投影的所述移动量，平移各所述图帧转换后的该多面体映射投影的所述侧面图、所述上图及所述下图中的所述像素，以生成平移多面体映射投影；以及
转换所述平移多面体映射投影为具有二维空间格式的平移图帧，并将所述平移图帧与对应的所述图帧组成立体影像以编码成立体环景影片。
2.根据权利要求1所述的方法，其特征在于，依据各所述图帧转换后的该多面体映射投影的所述侧面图计算所述侧面图中所述像素的移动量的步骤包括：
计算各所述图帧转换后的该多面体映射投影的所述侧面图中各所述像素的初始移动量，并将所述初始移动量乘以正规化因子以得到各所述像素的所述移动量，其中所述正规化因子与所述环景影片中的所述图帧的水平分辨率成比例。
3.根据权利要求1所述的方法，其特征在于，依据所述侧面图的所述移动量计算该多面体映射投影的所述上图与所述下图中所述像素的移动量的步骤包括：
依据各所述侧面图中位于与所述上图及所述下图的边界的多个边缘像素的所述移动量计算所述上图及所述下图中位于与各所述侧面图的边界的多个边缘像素的所述移动量；以及
依据所述上图及所述下图的所述边缘像素的所述移动量计算所述上图及所述下图内其他像素的所述移动量。
4.根据权利要求3所述的方法，其特征在于，依据所述上图及所述下图的所述边缘像素的所述移动量计算所述上图及所述下图内所述其他像素的所述移动量的步骤包括：
分别分割所述上图及所述下图为多个区块，并针对所述上图及所述下图中的各所述像素，依照所属的所述区块使用各所述像素周围多个相邻像素的所述移动量计算该像素的所述移动量。
5.根据权利要求4所述的方法，其特征在于，依照所属的所述区块使用各所述像素周围所述相邻像素的所述移动量计算该像素的所述移动量的步骤包括：
依据各所述像素周围所述相邻像素的所述移动量及递减参数计算该像素的所述移动量，其中所述递减参数用于使所述上图及所述下图中越接近中心的内部像素的所述移动量越小。
6.根据权利要求1所述的方法，其特征在于，依据所计算的该多面体映射投影的所述移动量，平移各所述图帧转换后的该多面体映射投影的所述侧面图、所述上图及所述下图中的所述像素，以生成所述平移多面体映射投影的步骤包括：
依据所述侧面图的所述移动量以水平卷绕方式向右或向左平移该侧面图的所述像素以生成平移侧面图；
依据所述上图的所述移动量以顺时针及逆时针其中之一的方向旋转所述上图中的所述像素以生成平移上图；以及
依据所述下图的所述移动量以所述顺时针及逆时针中的另一方向旋转所述下图中的所述像素以生成平移下图，其中所述平移侧面图、所述平移上图及所述平移下图构成所述平移多面体映射投影。
7.根据权利要求6所述的方法，其特征在于，依据所述上图的所述移动量以所述顺时针及逆时针其中之一的方向旋转所述上图中的所述像素以生成所述平移上图以及依据所述下图的所述移动量以所述顺时针及逆时针中的另一方向旋转所述下图中的所述像素以生成所述平移下图的步骤包括：
将所述上图从中心分割为多个区块，并依据所述上图的所述移动量以接近所述顺时针及逆时针其中之一的方向平移各所述区块内的各所述像素，其中当所述像素的平移跨出所述区块至相邻区块时，依接近所述顺时针及逆时针其中之一的所述方向转向以继续在所述相邻区块内平移；以及
将所述下图从中心分割为多个区块，并依据所述下图的所述移动量以接近所述顺时针及逆时针中的另一方向的方向平移各所述区块内的各所述像素，其中当所述像素的平移跨出所述区块至相邻区块时，依接近所述顺时针及逆时针中的所述另一方向的所述方向转向以继续在所述相邻区块内平移。
8.根据权利要求6所述的方法，其特征在于，当所述侧面图的所述像素以水平卷绕方式向右平移时，所述上图的所述像素以逆时针方向旋转而所述下图的所述像素以顺时针方向旋转；当所述侧面图的所述像素以水平卷绕方式向左平移时，所述上图的所述像素以顺时针方向旋转而所述下图的所述像素以逆时针方向旋转。
9.根据权利要求1所述的方法，其特征在于，所述多面体映射投影是立方体映射投影。
10.根据权利要求1所述的方法，其特征在于，依据各所述图帧转换后的该多面体映射投影的所述侧面图计算所述侧面图中所述像素的移动量的步骤包括：
利用主成份分析光流法计算所述侧面图中所述像素的所述移动量。
11.一种立体环景影片产生装置，其特征在于，包括：
连接装置，连接影像来源装置，以自所述影像来源装置接收环景影片；
储存装置，储存多个模块；以及
处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述模块，所述模块包括：
图帧撷取模块，撷取所述环景影片中多个图帧；
映射模块，转换各所述图帧为多面体映射投影，其中所述多面体映射投影包括多个侧面图、上图及下图；
视差计算模块，取各所述图帧转换后的该多面体映射投影的所述侧面图计算所述侧面图中多个像素的移动量，并依据所述侧面图的所述移动量计算该多面体映射投影的所述上图与所述下图中多个像素的移动量；
像素平移模块，依据所计算的该多面体映射投影的所述移动量，平移各所述图帧转换后的该多面体映射投影的所述侧面图、所述上图及所述下图中的所述像素，以生成平移多面体映射投影；
转换模块，转换所述平移多面体映射投影为具有二维空间格式的平移图帧；以及
影片编码模块，将所述平移图帧与对应的所述图帧组成立体影像以编码成立体环景影片。
12.根据权利要求11所述的装置，其特征在于，所述视差计算模块包括计算各所述图帧转换后的该多面体映射投影的所述侧面图中各所述像素的初始移动量，并将所述初始移动量乘以正规化因子以得到各所述像素的所述移动量，其中所述正规化因子与所述环景影片中的所述图帧的水平分辨率成比例。
13.根据权利要求11所述的装置，其特征在于，所述视差计算模块包括依据各所述侧面图中位于与所述上图及所述下图的边界的多个边缘像素的所述移动量计算所述上图及所述下图中位于与各所述侧面图的边界的多个边缘像素的所述移动量，以及依据所述上图及所述下图的所述边缘像素的所述移动量计算所述上图及所述下图内其他像素的所述移动量。
14.根据权利要求13所述的装置，其特征在于，所述视差计算模块还分别分割所述上图及所述下图为多个区块，并针对所述上图及所述下图中的各所述像素，依照所属的所述区块使用各所述像素周围多个相邻像素的所述移动量计算该像素的所述移动量。
15.根据权利要求14所述的装置，其特征在于，所述视差计算模块还依据各所述像素周围所述相邻像素的所述移动量及递减参数计算该像素的所述移动量，其中所述递减参数用于使所述上图及所述下图中越接近中心的内部像素的所述移动量越小。
16.根据权利要求11所述的装置，其特征在于，像素平移模块包括依据所述侧面图的所述移动量以水平卷绕方式向右或向左平移该侧面图的所述像素以生成平移侧面图，并依据所述上图的所述移动量以顺时针及逆时针其中之一的方向旋转所述上图中的所述像素以生成平移上图，以及依据所述下图的所述移动量以所述顺时针及逆时针中的另一方向旋转所述下图中的所述像素以生成平移下图，其中所述平移侧面图、所述平移上图及所述平移下图构成所述平移多面体映射投影。
17.根据权利要求16所述的装置，其特征在于，像素平移模块还将所述上图从中心分割为多个区块，并依据所述上图的所述移动量以接近所述顺时针及逆时针其中之一的方向平移各所述区块内的各所述像素，其中当所述像素的平移跨出所述区块至相邻区块时，依接近所述顺时针及逆时针其中之一的所述方向转向以继续在所述相邻区块内平移；以及将所述下图从中心分割为多个区块，并依据所述下图的所述移动量以接近所述顺时针及逆时针中的另一方向的方向平移各所述区块内的各所述像素，其中当所述像素的平移跨出所述区块至相邻区块时，依接近所述顺时针及逆时针中的所述另一方向的所述方向转向以继续在所述相邻区块内平移。
18.根据权利要求16所述的装置，其特征在于，当所述侧面图的所述像素以水平卷绕方式向右平移时，所述上图的所述像素以逆时针方向旋转而所述下图的所述像素以顺时针方向旋转；当所述侧面图的所述像素以水平卷绕方式向左平移时，所述上图的所述像素以顺时针方向旋转而所述下图的所述像素以逆时针方向旋转。
19.根据权利要求11所述的装置，其特征在于，所述多面体映射投影是立方体映射投影。
20.根据权利要求11所述的装置，其特征在于，视差计算模块利用主成份分析光流法计算所述侧面图中所述像素的所述移动量。
CN201810306333.5A 2017-08-16 2018-04-08 立体环景影片产生方法及装置 Active CN108520232B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762546137P 2017-08-16 2017-08-16
US62/546,137 2017-08-16
TW107100258A TWI683280B (zh) 2017-08-16 2018-01-04 立體環景影片產生方法及裝置
TW107100258 2018-01-04

Publications (2)

Publication Number Publication Date
CN108520232A CN108520232A (zh) 2018-09-11
CN108520232B true CN108520232B (zh) 2020-07-24

Family

ID=63431697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810306333.5A Active CN108520232B (zh) 2017-08-16 2018-04-08 立体环景影片产生方法及装置

Country Status (2)

Country Link
US (1) US10643302B2 (zh)
CN (1) CN108520232B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
US11348315B2 (en) * 2019-03-19 2022-05-31 Obsess, Inc. Generating and presenting a 3D virtual shopping environment
GB2585645B (en) * 2019-07-08 2024-04-17 Toshiba Kk Computer vision method and system
CN114189739A (zh) * 2020-09-15 2022-03-15 英业达科技有限公司 产生循环影片的方法
CN112561793B (zh) * 2021-01-18 2021-07-06 深圳市图南文化设计有限公司 一种平面设计空间转换方法及系统
CN113163184B (zh) * 2021-03-25 2022-11-18 复旦大学 一种面向vr自适应传输的投影算法
CN114691068A (zh) * 2022-03-23 2022-07-01 北京优酷科技有限公司 基于投屏技术的信息显示方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544725A (zh) * 2013-11-19 2014-01-29 马宁 一种二维立体动画制作方法
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983251A (en) * 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
EP1413148B1 (en) 2001-07-23 2009-10-28 Koninklijke Philips Electronics N.V. Stereoscopic image processing apparatus and method
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
CN102918861A (zh) * 2011-04-28 2013-02-06 松下电器产业株式会社 立体视觉强度调整装置、立体视觉强度调整方法、程序、集成电路、记录介质
TWI486052B (zh) 2011-07-05 2015-05-21 Realtek Semiconductor Corp 立體影像處理裝置以及立體影像處理方法
EP2595393B1 (en) 2011-11-15 2015-03-11 ST-Ericsson SA Rectified stereoscopic 3d panoramic picture
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544725A (zh) * 2013-11-19 2014-01-29 马宁 一种二维立体动画制作方法
CN106162139A (zh) * 2016-08-04 2016-11-23 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置

Also Published As

Publication number Publication date
US20190057487A1 (en) 2019-02-21
CN108520232A (zh) 2018-09-11
US10643302B2 (en) 2020-05-05

Similar Documents

Publication Publication Date Title
CN108520232B (zh) 立体环景影片产生方法及装置
JP6021541B2 (ja) 画像処理装置及び方法
US9843776B2 (en) Multi-perspective stereoscopy from light fields
US7570280B2 (en) Image providing method and device
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
US20150235408A1 (en) Parallax Depth Rendering
EP3534336B1 (en) Panoramic image generating method and apparatus
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
US8681182B2 (en) Alternate viewpoint rendering
JP7105062B2 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN112970044A (zh) 根据广角图像的视差估计
Pathak et al. Virtual reality with motion parallax by dense optical flow-based depth generation from two spherical images
US10757345B2 (en) Image capture apparatus
TWI683280B (zh) 立體環景影片產生方法及裝置
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
Knorr et al. From 2D-to stereo-to multi-view video
Kuo et al. High efficiency depth image-based rendering with simplified inpainting-based hole filling
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
US9531943B2 (en) Block-based digital refocusing system and method thereof
Chaikalis et al. Hardware acceleration for 3D image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant