CN115118949A - 立体图像产生方法与使用该方法的电子装置 - Google Patents

Abstract

本发明提供一种立体图像产生方法与使用该方法的电子装置。立体图像产生方法包括下列步骤。获取对应至第一视角的二维原始图像，并估测二维原始图像的深度图。检测用户的瞳距信息。依据瞳距信息与深度图对二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像。对参考图像进行图像修复处理而获取经修复图像。合并经修复图像与二维原始图像而产生符合立体图像格式的立体图像。

Description

立体图像产生方法与使用该方法的电子装置

技术领域

本发明涉及一种电子装置，尤其涉及一种立体图像产生方法与使用该方法的电子装置。

背景技术

随着显示技术的进步，支持三维(three dimension，3D)图像播放的显示器已逐渐普及。3D显示与二维(two dimension，2D)显示的差异在于，3D显示技术可让观赏者感受到图像画面中的立体感，例如人物立体的五官与景深(depth of field)等等，而传统的2D图像则无法呈现出此种效果。3D显示技术的原理是让观赏者的左眼观看左眼图像及让观赏者的右眼观看右眼图像，以让观赏者感受到3D视觉效果。随着3D立体显示器技术的蓬勃发展，可提供人们视觉上有身历其境的感受。可知的，3D显示器需针对特定3D图像格式的图像采用对应的3D显示技术播放，否则将会造成显示器无法正确显示图像。此外，用户可自行获取的3D图像内容目前也非十分充足，因而即便用户具有一台裸视3D显示器，但用户还是无法充分且任意享受裸视3D显示器带来的显示效果。

发明内容

本公开有关于一种立体图像产生方法与使用该方法的电子装置，其可依据用户的真实瞳距将二维图像转换为符合立体图像格式的立体图像(stereo image)。

本发明实施例提供一种立体图像产生方法，其包括下列步骤。获取对应至第一视角的二维原始图像，并估测二维原始图像的深度图。检测用户的瞳距信息。依据瞳距信息与深度图对二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像。对参考图像进行图像修复处理而获取经修复图像。合并经修复图像与二维原始图像而产生符合立体图像格式的立体图像。

本发明实施例提供一种电子装置，其包括瞳距追踪装置、存储装置以及处理器。处理器连接存储装置与瞳距追踪装置，经配置以执行下列步骤。获取对应至第一视角的二维原始图像，并估测二维原始图像的深度图。通过瞳距追踪装置检测用户的瞳距信息。依据瞳距信息与深度图对二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像。对参考图像进行图像修复处理而获取经修复图像。合并经修复图像与二维原始图像而产生符合立体图像格式的立体图像。

基于上述，于本发明实施例中，可先依据一张二维原始图像产生其对应的深度图，再依据观看者的瞳距与深度图来产生符合立体图像格式的立体图像。据此，本发明实施例可大幅扩充3D显示器可显示的3D内容，并提供更舒适的立体视觉观看体验。

附图说明

图1A与图1B是依照本发明一实施例的电子装置的示意图；

图2是依照本发明一实施例的立体图像产生方法的流程图；

图3是依照本发明一实施例的立体图像产生方法的流程图；

图4是依照本发明一实施例的立体图像产生方法的示意图；

图5是依据本发明一实施例的产生符合立体图像格式的立体图像的范例示意图。

附图标记说明

10:电子装置；

110:瞳距检测装置；

120:存储装置；

130:处理器；

131:深度估测部件；

132:像素偏移处理部件；

133:图像修复部件；

134:图像合并部件；

135:图像编织部件；

20:3D显示器；

Img_int:初始图像；

IPD_1:瞳距信息；

Img_3D1、Img_3D2:立体图像；

Img_2D:二维原始图像；

d_m:深度图；

Img_ref:参考图像；

Img_rec:经修复图像；

S210～S250、S310～S380:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1A与图1B是依照本发明一实施例的电子装置的示意图。请参照图1A与图1B，电子装置10可包括瞳距检测装置110、存储装置120与处理器130。处理器130耦接存储装置120。于一实施例中，电子装置10可与立体(3D)显示器20组成3D显示系统。3D显示器20是立体显示设备，可经由有线或无线数据传输接口连接至电子装置10。3D显示器20可以是裸视3D显示器或眼镜式3D显示器。从另一方面来看，3D显示器可以是头戴显示设备或提供3D图像显示功能的计算机屏幕、台式屏幕或电视等等。3D显示系统可为单一整合系统或分离式系统。具体而言，3D显示系统中的3D显示器20、瞳距检测装置110、存储装置120与处理器130可实作成一体式(all-in-one，AIO)电子装置，例如头戴显示设备、笔记本电脑、智能手机、平板计算机或游戏机等等，而电子装置10的处理器130可经由系统总线连接3D显示器20。或者，3D显示器20可通过有线传输接口或是无线传输接口与计算机系统的处理器130相连，像是与计算机系统相连的头戴显示设备、台式屏幕或电子广告牌等等。

为了让用户通过3D显示器20感受到3D视觉效果，3D显示器20可基于多种设计让用户的左眼与右眼分别观看到对应至不同视角的图像内容(即左眼图像与右眼图像)。于本发明的实施例中，电子装置10可依据对应至单一视角的一张二维平面图像来产生符合立体图像格式的立体图像，而此立体图像可包括对应至不同视角的图像内容。据此，3D显示器20便可基于其3D显示技术显示符合立体图像格式的立体图像，以让用户观赏到立体图像内容。

瞳距检测装置110可用以检测用户的瞳距(Interpupillary Distance，IPD)信息，其例如是眼球追踪装置、眼动仪或图像捕获设备等等可获取眼球信息的相关装置。于一些实施例中，具备计算能力的装置(例如处理器130)可接收图像捕获设备所拍摄的用户图像，并可通过执行人脸识别、眼球识别等图像处理，计算出用户的瞳距信息。或者，于一些实施例中，眼球追踪装置可通过发射红外线光束来获取瞳孔位置而计算出瞳距信息。

存储装置120用以存储图像、数据与供处理器130存取的程序代码(例如操作系统、应用程序、驱动程序)等数据，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flashmemory)、硬盘或其组合。

处理器130耦接瞳距检测装置110与存储装置120，例如是中央处理单元(centralprocessing unit，CPU)、应用处理器(application processor，AP)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signalprocessor，DSP)、图像信号处理器(image signal processor，ISP)、图形处理器(graphicsprocessing unit，GPU)或其他类似装置、集成电路及其组合。于一实施例中，处理器130可存取并执行记录在存储装置120中的程序代码与软件模块，以实现本发明实施例中的立体图像产生方法。

请参照图1B，于一实施例中，处理器130可包括深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135。于一实施例中，深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135可由硬件实作而得。例如应用专用集成电路(ASIC)、可程序设计逻辑数组及其他硬件组件等专用硬件实作方式可被构造成实作为处理器130内的各部件。更详细而言，上述深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135的方块可以实现于集成电路(integrated circuit)上的逻辑电路。上述深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135的相关功能可以利用硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为硬件。举例来说，上述深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135的相关功能可以被实现于一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specificintegrated circuit，ASIC)、数字信号处理器(digital signal processor，DSP)和/或场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)。亦即，深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135可以是安装于电子装置10内的多个硬件部件。于一实施例中，深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135可以是多个特殊硬件电路，而处理器130是整合多个特殊硬件电路而构成的特殊处理器架构。深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135具有特定的连接关系，且深度估测部件131、像素偏移处理部件132、图像修复部件133、图像合并部件134与图像编织部件135可通过各自的数据输出接口与数据输入接口相互连接。

于一实施例中，深度估测部件131连接存储装置120，经配置以自存储装置120获取对应至第一视角的二维原始图像，估测二维原始图像的深度图，并输出深度图。深度估测部件131输出深度图至像素偏移处理部件132。像素偏移处理部件132连接瞳距检测装置110与深度估测部件131，经配置以接收瞳距信息与深度图，依据瞳距信息与深度图对二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像，并输出参考图像。像素偏移处理部件132输出参考图像至图像修复部件133。图像修复部件133连接像素偏移处理部件，经配置以接收参考图像，对参考图像进行图像修复处理而获取经修复图像，并输出经修复图像。图像修复部件133输出经修复图像至图像合并部件134。图像合并部件134连接图像修复部件133，经配置以接收经修复图像，合并经修复图像与二维原始图像而产生符合立体图像格式的立体图像，并输出立体图像。图像合并部件134连接存储装置120，经配置以自存储装置120获取对应至第一视角的二维原始图像。图像编织部件135连接图像合并部件134与瞳距检测装置110，经配置以接收立体图像与瞳距信息，依据瞳距信息对立体图像进行图像编织处理，以输出适于由立体显示设备播放的图像数据至立体显示设备(即3D显示器20)。如此一来，通过设置多个特殊硬件于电子装置10内，电子装置10可依据对应至单一视角的一张二维平面图像来产生符合立体图像格式的立体图像。

图2是依照本发明一实施例的立体图像产生方法的流程图。请参照图2，本实施例的方式适用于上述实施例中的电子装置10，以下即搭配电子装置10中的各项组件说明本实施例的详细步骤。

于步骤S210，处理器130获取对应至第一视角的二维原始图像，并估测二维原始图像的深度图。二维原始图像可以是一般摄像装置依据单一视角所拍摄的相片。二维原始图像也可以是由绘图软件所产生的图像内容。从另一方面来看，二维原始图像也可为操作于全屏幕模式下的某一应用程序所提供的图像内容。或者，此二维原始图像也可以是应用程序显示于显示器上的图像内容。或者，此二维原始图像也可为图像串流中的单帧图像。处理器130可使用像是Windows操作系统的“Desktop Duplication API”等等的屏幕获取技术来获取二维原始图像。又或者，处理器130可通过任何图像传输技术获取二维原始图像。需特别说明的是，二维原始图像是适于利用二维显示技术来进行显示的图像数据。

于一些实施例中，处理器130可利用各式单目深度估测技术来估测二维原始图像的深度图。单目深度估测技术可以利用卷积神经网络架构中的DenseNet模型、SeNet模型或MiDaS模型，或是生成对抗网络架构中的MegaDepth模型或CycleGAN模型来估测二维原始图像的深度信息。换言之，处理器130可将二维原始图像输入至训练完成的深度学习模型，而使深度学习模型可据以产生二维原始图像的深度图。经训练的深度学习模型的模型参数(例如神经网络层数目与各神经网络层的权重等等)已经由事前训练而决定并存储于存储装置120中。或者，于一些实施例中，处理器130可利用移动估算(Structure From Motion，SFM)等技术来估测出二维原始图像的深度图。

于步骤S220，处理器130通过瞳距检测装置110检测用户的瞳距信息。瞳距信息会因人而异，但主要与种族、性别、年龄较为相关。换言之，不同用户会具有不同的瞳距。一般而言，3D显示系统会依据用户的瞳距信息来进行立体显示。像是，处理器130会依据用户的瞳距信息来控制3D显示器20的硬件配置或执行对应的图像处理，从而进行立体显示。

于步骤S230，处理器130依据瞳距信息与深度图对二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像。基于二维原始图像而产生的深度图包括多个深度值，这些深度值一对一地对应至二维原始图像中的多个像素。为了产生对应至第二视角的图像数据，处理器130可参考深度图与用户的瞳距信息来建立出对应至第二视角的参考图像，而且第一视角不同于第二视角。更具体而言，处理器130可依据瞳距信息与深度图中各个深度值来决定二维原始图像中的各个像素所对应的像素偏移量(即像差信息)，并据此获取二维原始图像的图像数据来建立对应至第二视角的参考图像。可知的，深度越深表示像素偏移量越小，深度越浅表示像素偏移量越大。

于步骤S240，处理器130对参考图像进行图像修复处理而获取经修复图像。详细而言，由于参考图像是包括对应至新的第二视角的图像内容，因此部分原本于二维原始图像中被遮挡的场景信息可能会在参考图像中显露出来，这些场景信息是无法从对应至第一视角的二维原始图像中取得的。此外，对应至第二视角的参考图像的图像边缘也包括原本就不存在于对应至第一视角的二维原始图像中的场景信息。因此，基于深度图与二维原始图像而建立的参考图像会包括图像缺失区块。于一些实施例中，处理器130可进行图像修复处理来填补参考图像中的图像缺失区块(或称为破洞(hole))。于一些实施例中，处理器130可利用图像缺失区块周遭的像素信息来填补参考图像中的图像缺失区块。或者，于一些实施例中，处理器130可使用卷积神经网络模型来进行图像修复。举例而言，处理器130可通过常数补洞法(constant color filling)、基于深度的水平深度信息法(Horizontalextrapolation using depth information)、基于深度的变量修补法(variationalinpainting using depth information)或其他相关算法来对参考图像进行图像修复处理。

于步骤S250，处理器130合并经修复图像与二维原始图像而产生符合立体图像格式的立体图像。可知的，立体图像包括对应至第一视角的二维原始图像以及对应至第二视角的经修复图像。换言之，二维原始图像以及经修复图像可分别为左眼图像与右眼图像。立体图像格式包括左右并排(Side by Side，SBS)格式或上下并排(Top and Bottom，TB)格式。基于前述可知，对应至第二视角的经修复图像是依据瞳距检测装置110所检测的瞳距信息而产生，因此本发明实施例的电子装置10可依据不同用户的瞳距信息产生不同的立体图像。换言之，本发明实施例的电子装置10可依据二维原始图像产生符合用户真实瞳距的立体图像，因而提升立体图像的观看体验。

另外需要说明的是，于一些实施例中，处理器130需要依据用户的瞳距信息对符合立体图像格式的立体图像再进行其他图像处理，从而产生3D显示器20适于播放的图像数据。举例而言，当3D显示器20为裸眼式3D显示器时，其是通过透镜折射原理或光栅技术而提供具有视差(parallax)的两张图像给左眼与右眼，以让观看者体验到立体显示效果。因此，处理器130会对立体图像进行图像编织(image weaving)处理，以将左眼图像的像素数据与右眼图像的像素数据交错排列而产生适于由裸眼式3D显示器播放的单帧图像。为了将左眼图像与右眼图像准确地分别提供至左眼与右眼，处理器130需要依据用户的瞳距信息来进行图像编织处理，以决定如何交错排列左眼图像的像素数据与右眼图像的像素资料。据此，由于本发明实施例所产生的立体图像是依据用户的真实瞳距信息而产生，且处理器130是依据一致的瞳距信息来进行图像编织处理，因而可提升立体图像内容的观看舒适度并让用户可感受到三维效果更佳的3D视觉效果。

图3是依照本发明一实施例的立体图像产生方法的流程图。图4是依照本发明一实施例的立体图像产生方法的示意图。请参照图3与图4，本实施例的方式适用于上述实施例中的电子装置10，以下即搭配电子装置10中的各项组件说明本实施例的详细步骤。

于步骤S310，处理器130获取初始图像Img_int。举例而言，处理器130可获取电子装置10的桌面图像而获取初始图像Img_int。于步骤S320，处理器130通过瞳距检测装置110检测用户的瞳距信息IPD_1。于步骤S330，处理器130判断初始图像Img_int是否包括符合立体图像格式的立体图像Img_3D1。于一些实施例中，符合立体图像格式的立体图像Img_3D1为初始图像Img_int。于一些实施例中，符合立体图像格式的立体图像Img_3D1为初始图像Img_int中的部分图像区块。

若步骤S330判断为是，接续步骤S380，处理器130依据瞳距信息IPD_1对立体图像Img_3D1进行图像编织处理，以获取适于由3D显示设备20播放的图像数据。如同前述，处理器130将重新交错排列立体图像Img_3D1中的左眼图像的像素资料与右眼图像的像素数据，以产生3D显示设备20可播放的图像数据。

若步骤S330判断为否，于步骤S340，处理器130获取对应至第一视角的二维原始图像Img_2D，并估测二维原始图像Img_2D的深度图d_m。处理器130可将初始图像Img_int直接作为二维原始图像Img_2D，或是从初始图像Img_int获取部分图像区块而获取二维原始图像Img_2D。深度图d_m包括分别对应至二维原始图像Img_2D中各个像素的深度值，而这些深度值可介于一预设初始范围内，例如0至255。

于步骤S350，处理器130依据瞳距信息IPD_1与深度图d_m对二维原始图像Img_2D进行像素偏移处理而产生对应至第二视角的参考图像Img_ref。步骤S350可包括子步骤S351～S352。

于步骤S351，处理器130依据瞳距信息IPD_1与深度图d_m中对应于二维原始图像Img_2D中第一像素的深度值获取像素偏移量。具体而言，处理器130可依据瞳距信息IPD_1与深度图d_m中的各个深度值分别决定二维原始图像Img_2D中各个第一像素的像素偏移量。于一实施例中，像素偏移处理部件132更经配置以依据瞳距信息IPD_1与深度图d_m中对应于二维原始图像Img_2D中第一像素的深度值获取像素偏移量。

于一些实施例中，处理器130可将深度图d_m中的各深度值正规化至一预设数值范围内，例如0至1，以产生适于计算像素偏移量的深度信息。也就是说，处理器130可将介于一预设初始范围内的深度值正规化至一预设数值范围内。于一实施例中，像素偏移处理部件132更经配置以将深度图d_m中的各深度值正规化至预设数值范围内。

于一些实施例中，像素偏移量可为瞳距信息IPD_1与深度图d_m中的深度值之间的相乘结果。亦即，处理器130可通过分别将深度图d_m中的各深度值乘上用户的瞳距信息IPD_1，而获取二维原始图像Img_2D中各第一像素的像素偏移量。于一些实施例中，当深度图d_m中的各深度值正规化至介于0至1之间时，处理器130可依据四舍五入、无条件舍去或无条件进位等等整数化处理来决定像素偏移量。

于一些实施例中，像素偏移量可为瞳距信息IPD_1与相关于深度图d_m中的深度值的一函式输出值的相乘结果。换言之，处理器130可先将某一深度值输入至一函式而产生关于该深度值的函式输出值，再将此函式输出值乘上瞳距信息IPD_1而决定对应的像素偏移量。此函式可例如为一次线性函数。亦即，像素偏移量可通过公式(1)而产生。

像素偏移量＝瞳距×f(d)公式(1)

其中，f(˙)为将深度值d作为输入值的函数。相似的，当公式(1)所产生的像素偏移量并非为整数时，处理器130可依据四舍五入、无条件舍去或无条件进位等等整数化处理来决定像素偏移量。

于步骤S352，处理器130依据像素偏移量沿预设轴向位移二维原始图像Img_2D中第一像素而获取参考图像Img_ref中第二像素。上述预设轴向可包括正X轴方向或负X轴方向。亦即，处理器130可依据像素偏移量向右平移二维原始图像Img_2D中第一像素而获取参考图像Img_ref中第二像素，在此情况下，是将二维原始图像Img_2D作为右眼图像而建立左眼图像。或者，处理器130可依据像素偏移量向左平移二维原始图像Img_2D中第一像素而获取参考图像Img_ref中第二像素，在此情况下，是将二维原始图像Img_2D作为左眼图像而建立右眼图像。于一些实施例中，像素偏移处理部件132更经配置以依据像素偏移量沿预设轴向位移二维原始图像Img_2D中第一像素而获取参考图像Img_ref中第二像素。

于一些实施例中，在位移二维原始图像Img_2D中第一像素而获取第二像素之后，处理器130可判断此第二像素的像素坐标是否落在参考图像Img_ref之内。反应于第二像素的像素坐标未落在参考图像Img_ref之内，处理器130可舍弃第二像素。举例而言，假设第一像素的像素坐标为(0,0)且像素偏移量为Δs，若处理器130沿负X轴向平移第一像素会获取像素坐标为(-Δs,0)的第二像素。基此，处理器130可据以判定此第二像素未落在参考图像Img_ref之内而舍弃像素坐标为(-Δs,0)的第二像素。

于一些实施例中，处理器130可依据像素偏移量沿预设轴向位移二维原始图像Img_2D中第一像素。处理器130还可依据另一像素偏移量沿预设轴向位移二维原始图像Img_2D中的另一第一像素。反应于第一像素与另一第一像素皆对应至第二像素的像素坐标，处理器130可选择将第一像素设置为参考图像Img_ref中第二像素。换言之，若多个第一像素依据对应的像素位移量进行位移后皆对应至相同的像素坐标，处理器130可选择这些第一像素其中之一来作为参考图像Img_ref中第二像素。于一些实施例中，处理器130可依据各第一像素对应的深度值来决定参考图像Img_ref中第二像素。或者，于一些实施例中，处理器130可依据各第一像素对应的计算先后顺序来决定参考图像Img_ref中第二像素。

于一些实施例中，像素偏移处理部件132更经配置以判断此第二像素的像素坐标是否落在参考图像Img_ref之内。像素偏移处理部件132更经配置以反应于第二像素的像素坐标未落在参考图像Img_ref之内，舍弃第二像素。像素偏移处理部件132更经配置以依据像素偏移量沿预设轴向位移二维原始图像Img_2D中第一像素。像素偏移处理部件132更经配置以依据另一像素偏移量沿预设轴向位移二维原始图像Img_2D中的另一第一像素。像素偏移处理部件132更经配置以反应于第一像素与另一第一像素皆对应至第二像素的像素坐标，选择将第一像素设置为参考图像Img_ref中第二像素。

于步骤S360，处理器130对参考图像Img_ref进行图像修复处理而获取经修复图像Img_rec。于步骤S370，处理器130合并经修复图像Img_rec与二维原始图像Img_2D而产生符合立体图像格式的立体图像Img_3D2。图5是依据本发明一实施例的产生符合立体图像格式的立体图像Img_3D2的范例示意图。请参照图5，处理器130可将经修复图像Img_rec与二维原始图像Img_2D左右并排而获取符合并排格式的立体图像Img_3D2。于一些实施例中，处理器130也可先对经修复图像Img_rec与二维原始图像Img_2D进行图像缩放处理后再合并此两张经缩放的图像。之后，于步骤S380，处理器130依据瞳距信息IPD_1对立体图像Img_3D2进行一图像编织处理，以获取适于由立体显示设备20播放的图像数据。

需说明的是，于本发明的实施例中，像素偏移量是依据用户的真实瞳距信息而产生，因此基于这些像素偏移量而建立参考图像与二维原始图像之间的像差信息可符合用户的两眼真实距离。因此，当3D显示系统依据真实瞳距信息进行其他3D显示所需的硬件配置或其他后续图像处理时，由于符合立体图像格式的立体图像也是基于真实瞳距信息而产生，因而可大幅提升观看舒适度与感受到更佳的三维效果。

综上所述，于本发明实施例中，用户可将二维平面图像转换为符合立体图像格式的立体图像，以丰富3D显示器可显示的3D内容。此外，由于依据用户的真实瞳距信息来产生立体图像，因此可确保裸视3D显示技术中的图像编织处理所使用的瞳距信息与生成立体图像的瞳距信息一致。据以，可大幅提升观看舒适度并让用户可感受到更佳的三维效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种立体图像产生方法，适用于电子装置，其特征在于，包括：

获取对应至第一视角的二维原始图像，并估测所述二维原始图像的深度图；

检测用户的瞳距信息；

依据所述瞳距信息与所述深度图对所述二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像；

对所述参考图像进行图像修复处理而获取经修复图像；以及

合并所述经修复图像与所述二维原始图像而产生符合立体图像格式的立体图像。

2.根据权利要求1所述的立体图像产生方法，其特征在于，所述方法还包括：

依据所述瞳距信息对所述立体图像进行图像编织处理，以获取适于由立体显示设备播放的图像数据。

3.根据权利要求1所述的立体图像产生方法，其特征在于，所述立体图像格式包括左右并排格式或上下并排格式。

4.根据权利要求1所述的立体图像产生方法，其特征在于，依据所述瞳距信息与所述深度图对所述二维原始图像进行所述像素偏移处理而产生对应至所述第二视角的所述参考图像的步骤包括：

依据所述瞳距信息与所述深度图中对应于所述二维原始图像中第一像素的深度值获取像素偏移量；以及

依据所述像素偏移量沿预设轴向位移所述二维原始图像中所述第一像素而获取所述参考图像中第二像素。

5.根据权利要求4所述的立体图像产生方法，其特征在于，所述像素偏移量为所述瞳距信息与所述深度图中的所述深度值之间的相乘结果。

6.根据权利要求4所述的立体图像产生方法，其特征在于，所述像素偏移量为所述瞳距信息与相关于所述深度图中的所述深度值的函式输出值的相乘结果。

7.根据权利要求5所述的立体图像产生方法，其特征在于，依据所述瞳距信息与所述深度图进行所述像素偏移处理而产生所述参考图像的步骤还包括：

将所述深度图中的各深度值正规化至预设数值范围内。

8.根据权利要求4所述的立体图像产生方法，其特征在于，依据所述像素偏移量沿所述预设轴向位移所述二维原始图像中所述第一像素而获取所述参考图像中所述第二像素的步骤包括：

判断所述第二像素的像素坐标是否落在所述参考图像之内；以及

反应于所述第二像素的像素坐标未落在所述参考图像之内，舍弃所述第二像素。

9.根据权利要求4所述的立体图像产生方法，其特征在于，依据所述像素偏移量沿所述预设轴向位移所述二维原始图像中所述第一像素而获取所述参考图像中所述第二像素的步骤包括：

依据所述像素偏移量沿所述预设轴向位移所述二维原始图像中所述第一像素；

依据另一像素偏移量沿所述预设轴向位移所述二维原始图像中另一第一像素；以及

反应于所述第一像素与所述另一第一像素皆对应至所述第二像素的像素坐标，选择所述第一像素设置为所述参考图像中所述第二像素。

10.一种电子装置，其特征在于，包括：

瞳距检测装置；

存储装置，记录有多个模块；以及

处理器，连接所述瞳距检测装置与所述存储装置，经配置以：

获取对应至第一视角的二维原始图像，并估测所述二维原始图像的深度图；

通过所述瞳距检测装置检测用户的瞳距信息；

依据所述瞳距信息与所述深度图对所述二维原始图像进行像素偏移处理而产生对应至第二视角的参考图像；

对所述参考图像进行图像修复处理而获取经修复图像；以及

合并所述经修复图像与所述二维原始图像而产生符合立体图像格式的立体图像。

11.根据权利要求10所述的电子装置，其特征在于，所述处理器更经配置以：依据所述瞳距信息对所述立体图像进行图像编织处理，以获取适于由立体显示设备播放的图像数据。

12.根据权利要求11所述的电子装置，其特征在于，所述立体图像格式包括左右并排格式或上下并排格式。

13.根据权利要求11所述的电子装置，其特征在于，所述处理器更经配置以：

依据所述瞳距信息与所述深度图中对应于所述二维原始图像中第一像素的深度值获取像素偏移量；以及

依据所述像素偏移量沿预设轴向位移所述二维原始图像中所述第一像素而获取所述参考图像中第二像素。

14.根据权利要求13所述的电子装置，其特征在于，所述像素偏移量为所述瞳距信息与所述深度图中的所述深度值之间的相乘结果。

15.根据权利要求13所述的电子装置，其特征在于，所述像素偏移量为所述瞳距信息与相关于所述深度图中的所述深度值的函式输出值的相乘结果。

16.根据权利要求14所述的电子装置，其特征在于，所述处理器更经配置以：将所述深度图中的各深度值正规化至预设数值范围内。

17.根据权利要求13所述的电子装置，其特征在于，所述处理器更经配置以：

判断所述第二像素的像素坐标是否落在所述参考图像之内；以及

反应于所述第二像素的像素坐标未落在所述参考图像之内，舍弃所述第二像素。

18.根据权利要求13所述的电子装置，其特征在于，所述处理器更经配置以：

依据所述像素偏移量沿所述预设轴向位移所述二维原始图像中所述第一像素；

依据另一像素偏移量沿所述预设轴向位移所述二维原始图像中另一第一像素；以及

反应于所述第一像素与所述另一第一像素皆对应至所述第二像素的像素坐标，选择所述第一像素设置为所述参考图像中所述第二像素。

Images