CN107517369A - 立体图像产生方法及使用此方法的电子装置 - Google Patents

Abstract

本发明提供一种立体图像产生方法及使用此方法的电子装置，此电子装置包括适于拍摄立体图像的第一相机与第二相机，且第一相机的解析度大于第二相机的解析度。此方法利用第一相机拍摄第一图像，并利用第二相机拍摄第二图像，接着将第二图像放大至第一相机的解析度，而利用第一图像与放大后的第二图像产生深度图。然后，参考此深度图，将第一图像重新投射以重建第二图像的参考图像。之后则检测参考图像中的遮蔽区域，并利用放大后的第二图像填补此遮蔽区域。最后产生包括第一图像及填补后的参考图像的立体图像。通过对低解析度相机及高解析度相机所拍摄图像进行处理，可产生高解析度的立体图像。

Description

立体图像产生方法及使用此方法的电子装置

技术领域

本发明是有关于一种图像处理方法及装置，且特别是有关于一种立体图像产生方法及使用此方法的电子装置。

背景技术

随着图像获取技术的日益进步，数码相机的像素大幅增加，但相机尺寸则相对缩小，而可配置在手机、平板电脑等便携式电子装置上，让使用者能够随时随地拍摄图像。目前市面上有部分手机还配置有双镜头相机，通过双镜头相机拍摄左右不同视角的图像，可生成立体图像提供使用者观看。此外，根据左右图像中对应物件之间的视差，相机可进一步计算出图像中各个物件的深度信息，并应用于物件检测、景深调整、焦距切换等进阶功能，而增加相机的运用空间。

然而，在相机上配置规格相同的双镜头等同增加一倍的成本，此将使得配置双镜头相机的装置成本大幅增加。因此，如何能以最少的成本实现类似上述双镜头相机所提供的功能，实为本领域业者极欲解决的问题之一。

发明内容

本发明提供一种电子装置及其立体图像产生方法，通过对低解析度相机及高解析度相机所拍摄图像进行处理，可产生高解析度的立体图像。

本发明的立体图像产生方法适用于包括第一相机与第二相机的电子装置，其中第一相机与第二相机适于拍摄立体图像，且第一相机的解析度大于第二相机的解析度。此方法利用第一相机拍摄第一图像，并利用第二相机拍摄第二图像，并将第二图像放大(upscale)至第一相机的解析度，而利用第一图像与放大后的第二图像产生深度图。然后，参考此深度图，将第一图像重新投射以重建第二图像的参考图像。之后则检测参考图像中的遮蔽区域，并利用放大后的第二图像填补此遮蔽区域。最后产生包括第一图像及填补后的参考图像的立体图像。

在本发明的一实施例中，上述参考深度图，将该第一图像重新投射以重建第二图像的参考图像的步骤还包括参考深度图中的深度信息及第一相机与第二相机之间的基线(baseline)距离，计算第一图像与第二图像的参考图像之间的视差信息，而根据此视差信息获取重新投射于三维空间中的第一图像的图像数据，以作为第二图像的参考图像。

在本发明的一实施例中，上述参考深度图，将第一图像重新投射以重建第二图像的参考图像的步骤还包括检测电子装置的使用者的两眼距离，而根据两眼距离及第一相机与第二相机之间的基线距离，计算基线距离调整值，然后参考深度图及此基线距离调整值，将第一图像重新投射以重建第二图像的参考图像，使得参考图像与第一图像之间的视差信息符合所述两眼距离。

在本发明的一实施例中，上述参考深度图及基线距离调整值，重新投射第一图像以重建第二图像的参考图像的步骤包括根据基线距离调整值，调整第二相机的位置并计算调整后的位置坐标，获取深度图中的深度信息，并转换深度信息的坐标至世界坐标系(world coordinate system)，以及根据转换后的深度信息及第二相机的调整后的位置坐标，将第一图像重新投射以重建第二图像的参考图像。

在本发明的一实施例中，上述检测参考图像中的遮蔽区域的步骤包括将参考图像与放大后该第二图像进行匹配，并取参考图像中未与第二图像匹配的区域作为遮蔽区域。

在本发明的一实施例中，上述检测参考图像中的遮蔽区域的步骤包括将检测参考图像中的空白区域以作为遮蔽区域。

在本发明的一实施例中，在上述检测参考图像中的遮蔽区域，并利用放大后的第二图像填补遮蔽区域的步骤之后，所述方法还检测第一图像与第二图像中的主要物件，并调整第二图像的参考图像与第一图像之间的视差，使得主要物件聚集于电子装置的显示平面。

本发明的电子装置包括第一相机、第二相机及图像处理电路。其中，图像处理电路是耦接该第一相机与第二相机，用以处理分别由第一相机与第二相机拍摄的第一图像与第二图像。图像处理电路中包括解析度放大模块、深度产生模块、图像重建模块、遮蔽区域检测模块、遮蔽区域填补模块及立体图像产生模块。其中，第一相机与第二相机用以分别获取产生立体图像所需的左眼图像与右眼图像其中之一，其中第一相机的解析度大于第二相机的解析度。解析度放大模块是用以将第二图像放大至第一相机的解析度。深度产生模块是用以利用第一图像与放大后的第二图像产生深度图。图像重建模块是用以参考深度图，而将第一图像重新投射以重建第二图像的参考图像。遮蔽区域检测模块是用以检测参考图像中的遮蔽区域，遮蔽区域填补模块则是用以利用放大后的第二图像填补遮蔽区域。立体图像产生模块是用以产生包括第一图像及填补后的参考图像的立体图像。

在本发明的一实施例中，上述的图像重建模块会参考深度图中的深度信息及第一相机与第二相机之间的基线距离，计算第一图像与第二图像的参考图像之间的视差信息，并据此获取重新投射于三维空间中的第一图像的图像数据，以重建第二图像的参考图像。

在本发明的一实施例中，上述的图像处理电路还包括两眼距离检测模块，其是用以检测电子装置的使用者的两眼距离。而上述的图像重建模块则会根据两眼距离及第一相机与第二相机之间的基线距离，计算基线距离调整值，并参考深度图及基线距离调整值，将第一图像重新投射以重建第二图像的参考图像，使得参考图像与第一图像之间的视差信息符合两眼距离。

在本发明的一实施例中，上述的图像重建模块还根据基线距离调整值，调整第二相机的位置并计算调整后的位置坐标，获取深度图中的深度信息，并将此深度信息的坐标转换至世界坐标系，以及根据转换后的深度信息及第二相机的调整后的位置坐标，将第一图像重新投射以重建第二图像的参考图像。

在本发明的一实施例中，上述的遮蔽区域检测模块包括将参考图像与放大后的第二图像进行匹配，并取参考图像中未与第二图像匹配的区域作为遮蔽区域。

在本发明的一实施例中，上述的遮蔽区域检测模块包括检测参考图像中的空白区域以作为遮蔽区域。

在本发明的一实施例中，上述的图像处理电路还包括物件检测模块及视差调整模块，其中物件检测模块是用以检测第一图像与第二图像中的主要物件，视差调整模块则是用以调整第二图像的参考图像与第一图像之间的视差，使得主要物件聚集于电子装置的显示平面。

基于上述，本发明的电子装置及其立体图像产生方法通过将低解析度相机所拍摄的图像放大，并与高解析度相机所拍摄的图像结合以算出图像的深度图，据此重建出与低解析度相机所拍摄图像相对应的高解析度参考图像，而可与高解析度相机所拍摄的高解析度图像结合而生成高解析度的立体图像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所示出的电子装置的方块图。

图2是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。

图3A至图3D是依照本发明一实施例所示出的遮蔽区域的范例。

图4是依照本发明一实施例所示出的电子装置的方块图。

图5是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。

图6A及图6B是依照本发明一实施例所示出的依据基线距离调整值重建参考图像的范例。

图7是依照本发明一实施例所示出的电子装置的方块图。

图8是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。

图9A及图9B是依照本发明一实施例所示出的依据主要物件调整图像视差的范例。

附图标号说明：

10、40、70：电子装置；

12、42、72：第一相机；

14、44、74：第二相机；

16、46、76：图像处理电路；

161、461、761：解析度放大模块；

162、462、762：深度产生模块；

163、463、763：图像重建模块；

164、464、764：遮蔽区域检测模块；

165、465、765：遮蔽区域填补模块；

166、466、766：立体图像产生模块；

32：图像；

32a、36a：区域；

34：放大图像；

36：参考图像；

467、767：第一图像处理模块；

468、768：第二图像处理模块；

469：两眼距离检测模块；

48：前相机；

50、78：显示装置；

62：左相机；

64：右相机；

62a、62b：左眼图像；

64a、64b：右眼图像；

66、92：左眼；

68、94：右眼；

769：物件检测模块；

770：视差调整模块；

A、B、C、D、96：物件；

d1：基线距离；

d2：两眼距离；

S202～S212、S502～S516、S802～S814：本发明一实施例的立体图像产生方法的步骤。

具体实施方式

本发明采用低解析度相机搭配高解析度相机的架构，借以减少装置成本。其中，本发明利用高解析度相机所拍摄的高解析度图像重建低解析度相机的图像，并利用低解析度相机所拍摄的低解析度图像填补此重建图像中的遮蔽区域，最终将此重建图像与高解析度相机所拍摄的图像结合，而可产生高解析度的立体图像。本发明还进一步检测使用者的两眼距离，而用以调整相机的基线(baseline)距离，并据以重建低解析度相机的图像，使得重建图像与高解析度相机所拍摄的图像之间的视差信息符合使用者的两眼距离，并使得所产生的立体图像适于使用者观看。

图1是依照本发明一实施例所示出的电子装置的方块图。请参照图1，本实施例的电子装置10例如是数码相机、数码摄影机(Digital Video Camcorder，DVC)，或是手机、平板电脑等便携式电子装置，其可提供摄像功能。电子装置10中包括第一相机12、第二相机14与图像处理电路16，其功能分述如下：

第一相机12与第二相机14分别包括光学镜头、致动器、光圈、快门及图像传感器等元件，其中光学镜头是由数个凹凸透镜组合而成，其是由步进马达或音圈马达(Voice CoilMotor，VCM)等致动器驱动以改变透镜之间的相对位置，从而改变相机的焦距。快门是用以控制光进入相机的时间长短，其与光圈的组合会影响图像传感器所获取图像的曝光量。图像传感器中配置有电荷耦合元件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他种类的感光元件，而可感测进入光学镜头的光线强度以产生图像。在本实施例中，第一相机12与第二相机14分别为用以拍摄立体图像的左相机及右相机其中之一，而用以获取产生立体图像所需的左眼图像与右眼图像，其中第一相机12的解析度预设大于第二相机14的解析度。

图像处理电路16中包括解析度放大模块161、深度产生模块162、图像重建模块163、遮蔽区域检测模块164、遮蔽区域填补模块165及立体图像产生模块166。在一实施例中，上述图像处理电路16中的各个模块例如是以积体电路(Integrate Circuit，IC)实作，而可实现本发明实施例所述的立体图像产生方法。在另一实施例中，上述的图像处理电路16例如包括储存装置及处理器，其中储存装置例如是具有数据储存功能的硬盘或存储器，而处理器则例如是中央处理单元(Central Processing Unit，CPU)、微处理器(Microprocessor)、数字信号处理器、可编程控制器、特殊应用积体电路(ApplicationSpecific Integrated Circuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)或其他具有数据运算功能的装置。上述图像处理电路16中的各个模块例如是储存在储存装置中的电脑程序，这些程序可经由处理器载入，而执行本发明实施例所述的立体图像产生方法。

详言之，图2是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项元件，说明本实施例的立体图像产生方法的详细步骤：

首先，利用第一相机12拍摄第一图像，并利用第二相机14拍摄第二图像(步骤S202)。其中，电子装置10例如是在使用者按下快门键后，即同时触发第一相机12及第二相机14拍摄图像。

接着，由解析度放大模块161将第二相机14所拍摄的第二图像放大至第一相机12的解析度(步骤S204)。其中，解析度放大模块161例如是采用内插法(interpolation)将低解析度的第二图像放大至与高解析度的第一图像相同的解析度。即，放大后的第二图像的尺寸将与第一图像的尺寸相同。

上述由解析度放大模块161放大后的第二图像将与第一相机12所获取的第一图像一同传输至深度产生模块162，而由深度产生模块162利用此第一图像与放大后的第二图像产生深度图(步骤S206)。详言之，深度产生模块162例如会直接计算第一图像及放大后第二图像中相对应的各个像素的视差，并依据第一相机12及第二相机14拍摄第一图像及第二图像的焦距、相机间的基线距离以及各个像素的视差，估测各个像素的深度。其中，深度产生模块162例如是依据各个像素在第一图像及放大后第二图像中的位置，计算各个像素在第一图像及放大后第二图像之间的位移，以作为视差。

深度产生模块162所产生的深度图将传输至图像重建模块163，而图像重建模块163则会参考此深度图，重新投射第一图像以重建第二图像的参考图像(步骤S208)。详言之，图像重建模块163例如会参考深度图中的深度信息及第一相机12与第二相机14之间的基线距离，计算第一图像与第二图像的参考图像之间的视差信息，并据此获取重新投射于三维空间的第一图像的图像数据，以重建第二图像的参考图像。借此，可模拟出由第二相机14所在位置拍摄所得的高解析度图像。

需说明的是，在本实施例中，图像重建模块163是参考深度产生模块162所产生的深度图来重建第二图像的参考图像。然而，在其他实施例中，图像重建模块163也可以参考由视差产生模块(未示出)所产生的视差图(disparity map)来重建第二图像的参考图像。上述的视差产生模块例如会计算第一图像及放大后第二图像中相对应的各个像素的视差(即各个像素在第一图像及放大后第二图像之间的位移)，以产生视差图。

然后，由遮蔽区域检测模块164检测参考图像中的遮蔽区域，并由遮蔽区域填补模块165利用放大后的第二图像填补此遮蔽区域(步骤S210)。其中，在一实施例中，由于参考图像与放大后第二图像所涵盖的区域是相同的，故通过比较参考图像与放大后第二图像的差异即可找到遮蔽区域。据此，遮蔽区域检测模块164例如会将参考图像与前述放大后的第二图像进行匹配，并取参考图像中未与第二图像匹配的区域作为遮蔽区域。在另一实施例中，由于参考图像是由第一图像重新投射而得，因此原本第一图像中就被遮蔽的区域在重建图像中将会是空白的。据此，遮蔽区域检测模块164可直接检测参考图像中的空白区域以作为遮蔽区域。而遮蔽区域填补模块165则会直接使用放大后的第二图像中与此遮蔽区域相对应的区域的图像来填补遮蔽区域，最终生成高解析度的第二图像的参考图像。

举例来说，图3A至图3D是依照本发明一实施例所示出的遮蔽区域的范例。其中，图3A及图3B分别示出电子装置的左相机(预设具有较高的解析度)所拍摄的图像32以及右相机(预设具有较低的解析度)所拍摄图像的放大图像34，其中放大图像34的解析度与图像32的解析度相同。比较图3A及图3B中物件A与物件B的相对位置可知，由于左相机的位置偏左，故可拍摄到视角相对偏左的图像，而由于右相机的位置偏右，故可拍摄到视角相对偏右的图像。其中，若将图像32类比为上述较高解析度的第一图像，则当电子装置要以此图像32重建图像34的参考图像36时，则会因为图像32中的物件A的右下部分区域32a(如图3C所示)被物件B遮蔽，而无法在参考图像36中重建出与区域32a重叠的区域36a的图像。此时，电子装置即可取用图像34中与区域36a相对应区域的图像数据来填补区域36a，最终生成高解析度的参考图像36。

回到图2的流程，在完成遮蔽区域的填补之后，最后立体图像产生模块166即可产生包括由第一相机12所拍摄的第一图像以及由遮蔽区域填补模块165填补后的参考图像的立体图像(步骤S212)。

通过上述方法，本实施例的电子装置即可在使用一个低解析度相机的情况下，仍可产生具有高解析度的左右眼图像的立体图像。

需说明的是，电子装置可能会因为尺寸较小、元件配置较复杂等因素，而局限相机的配置空间。因此，一般配置双镜头相机的手机，其相机间距仅有1厘米至2厘米，此距离与一般人的两眼距离7.7厘米有段差距。而此差距将会使得电子装置所拍摄的立体图像的视差不足，致使观看此立体图像的使用者会认为立体效果不佳。针对此问题，本发明即基于上述高低解析度相机的配置，提供了一种可适应性调整第二图像的重建图像与第一图像之间的视差的方法，借以补偿上述差距。

详言之，图4是依照本发明一实施例所示出的电子装置的方块图。请参照图4，本实施例的电子装置40例如是数码相机、数码摄影机，或是手机、平板电脑等便携式电子装置，其可提供摄像功能。电子装置40中包括第一相机42、第二相机44、图像处理电路46、前相机48及显示装置50，其中第一相机42、第二相机44与图1实施例的第一相机12、第二相机14相同或相似，故其详细内容在此不再赘述。

与图1实施例不同的是，本实施例的电子装置40额外包括前相机48与显示装置50。其中，前相机48例如是配置于电子装置40的正面(相对于第一相机42与第二相机44所配置的背面)，用以拍摄电子装置40的使用者的图像。显示装置50则例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他显示器，其可显示电子装置40所拍摄的立体图像，也可与触控面板结合为触控屏幕，而可在显示拍摄图像的同时，提供使用者通过触碰的方式对电子装置40进行操作。

另一方面，本实施例的图像处理电路46中包括解析度放大模块461、深度产生模块462、图像重建模块463、遮蔽区域检测模块464、遮蔽区域填补模块465、立体图像产生模块466、第一图像处理模块467、第二图像处理模块468及两眼距离检测模块469。其中，解析度放大模块461、深度产生模块462、遮蔽区域检测模块464、遮蔽区域填补模块465、立体图像产生模块466 的功能与前述实施例的解析度放大模块161、深度产生模块162、遮蔽区域检测模块164、遮蔽区域填补模块165、立体图像产生模块166相同或相似，故其详细内容在此不再赘述。

与图1实施例不同的是，本实施例的图像处理电路46额外包括第一图像处理模块467、第二图像处理模块468及两眼距离检测模块469。其中，第一图像处理模块467及第二图像处理模块468例如会针对第一相机42及第二相机44所获取的图像信号进行处理，而得到第一图像及第二图像。第一图像处理模块467及第二图像处理模块468还可对此图像执行亮度、对比度、色温、白平衡、锐利度或鲜艳度调整，或是噪声消除等处理，使得处理后的图像适用于后续立体图像的生成。此外，两眼距离检测模块469例如会接收前镜头48所拍摄的使用者图像，并可通过执行人脸辨识、眼球辨识等图像处理，计算出使用者的两眼距离。两眼距离检测模块469所计算的两眼距离将会传输至图像重建模块463，而用以作为其重建第二图像的参考图像的参考。

详言之，图5是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。请同时参照图4及图5，本实施例的方法适用于上述图4的电子装置40，以下即搭配图4中电子装置40的各项元件，说明本实施例的立体图像产生方法的详细步骤：

首先，利用第一相机42拍摄第一图像，并利用第二相机44拍摄第二图像(步骤S502)。之后，由解析度放大模块461将第二相机44所拍摄的第二图像放大至第一相机42的解析度(步骤S504)，并由深度产生模块462利用此第一图像与放大后的第二图像产生深度图(步骤S506)。上述步骤S502～S506的实施方式与前述实施例中步骤S202～S206的实施方式相同或相似，故其详细内容在此不再赘述。

与图1实施例不同的是，本实施例在第一相机42及第二相机44拍摄图像的同时，还使用前相机48拍摄使用者的图像，并由两眼距离检测模块469通过分析此图像，而检测出电子装置40的使用者的两眼距离(步骤S508)。此两眼距离将被传输至图像重建模块463，而由图像重建模块463根据两眼距离及第一相机42与第二相机44之间的基线距离，计算基线距离调整值(步骤S510)。举例来说，若第一相机42与第二相机44之间的基线距离为1.5厘米，而所检测到的两眼距离为6.5厘米，则可得到基线距离调整值为5厘米。

然后，图像重建模块463会参考深度产生模块162所产生的深度图及上述的基线距离调整值，重新投射第一图像以重建第二图像的参考图像，使得参考图像与该第一图像之间的视差信息符合两眼距离(步骤S512)。详言之，图像重建模块463例如会根据基线距离调整值，调整第二相机42的位置并计算调整后的位置坐标，另外也会获取深度图中的深度信息，并转换深度信息的坐标至世界坐标系(world coordinate system)，最后则根据转换后的深度信息及第二相机42的调整后位置坐标，重新投射第一图像以重建第二图像的参考图像。

举例来说，图6A及图6B是依照本发明一实施例所示出的依据基线距离调整值重建参考图像的范例。请先参照图6A，本实施例的电子装置的左相机62及右相机64之间的基线距离为d1，其中左眼图像62a是由左相机62所拍摄的图像，而右眼图像64a则是由电子装置根据上述实施例的方法所重建的右相机64所拍摄图像的参考图像。接着，请参照图6B，使用者的左眼66与右眼68的距离为d2。电子装置即可通过上述的基线距离为d1及使用者的两眼距离d2，计算出基线距离调整值，并用以调整所重建的参考图像。详言之，比较左眼图像62a与左眼图像62b可知，其中物件的位置没变，而比较右眼图像64a与右眼图像64b可知，其中物件的位置已向左位移，此将使得这些物件的视差加大，而符合使用者的两眼距离d2。需说明的是，在本实施例中，电子装置仅根据两眼距离d2调整重建的右眼图像64a，以使左眼图像62b与右眼图像64b的视差符合使用者的两眼距离d2。然而在其他实施例中，电子装置也可以同时调整较左眼图像62a与右眼图像64a，或是仅调整左眼图像64a，以使调整后的左右眼图像的视差符合使用者的两眼距离d2，在此不设限。

回到图5的流程，在完成图像的调整后，接着由遮蔽区域检测模块464检测参考图像中的遮蔽区域，并由遮蔽区域填补模块465利用放大后的第二图像填补此遮蔽区域(步骤S514)。最后则由立体图像产生模块466产生包括由第一相机42所拍摄的第一图像以及由遮蔽区域填补模块465填补后的参考图像的立体图像(步骤S516)，此立体图像例如会进一步被传输到显示装置50上显示，而提供使用者观看。上述步骤S514～S516的实施方式与前述实施例中步骤S210～S212的实施方式相同或相似，故其详细内容在此不再赘述。

通过上述方法，使用者在使用电子装置拍摄立体图像的同时，即可在电子装置的显示装置50上观看到立体效果较佳的立体图像。

需说明的是，为了让使用者两眼产生立体感，电子装置会将具有视角(parallax)差的两张图像(即左眼图像及右眼图像)显示在同一个显示平面上，而在两张图像中出现的物件则会依其视差(disparity)收敛在相对于显示平面的不同位置。举例来说，具有负视差的物件将会呈现在显示平面的前方；具有正视差的物件将会呈现在显示平面的后方；而具有零视差的物件则会呈现在显示平面上。通过上述视差的差异，使用者将会感知到这些物件的远近，进而产生立体感。其中，由于使用者的两眼会尝试聚焦在显示平面上，但图像中的某些物件会收敛于不同于显示平面的其他位置，此将造成使用者容易感到头晕。

对此，基于使用者在观看立体图像时，通常会聚焦在图像中的主要物件上，例如电影中演员的脸部，因此若将出现在左右眼图像中的演员脸部区域调整为零视差，将可提供使用者一个相对较为舒适的观看体验。据此，本发明提供一种可依据主要物件位置调整所产生立体图像的方法，以提供适于使用者观看的立体图像。

详言之，图7是依照本发明一实施例所示出的电子装置的方块图。请参照图7，本实施例的电子装置70例如是数码相机、数码摄影机，或是手机、平板电脑等便携式电子装置，其可提供摄像功能。电子装置70中包括第一相机72、第二相机74、图像处理电路76及显示装置78，其中第一相机72、第二相机74与图1实施例中的第一相机12、第二相机14相同或相似，故其详细内容在此不再赘述。

与图1实施例不同的是，本实施例的电子装置40额外包括显示装置78，其例如是液晶显示器、发光二极管显示器或其他显示器，其可显示电子装置70所拍摄的立体图像。显示装置78也可与触控面板结合为触控屏幕，而可在显示拍摄图像的同时，提供使用者通过触碰的方式对电子装置70进行操作。

另一方面，本实施例的图像处理电路76中包括解析度放大模块761、深度产生模块762、图像重建模块763、遮蔽区域检测模块764、遮蔽区域填补模块765、立体图像产生模块766、第一图像处理模块767、第二图像处理模块768、物件检测模块769及视差调整模块770。其中，解析度放大模块761、深度产生模块762、图像重建模块763、遮蔽区域检测模块764、遮蔽区域填补模块465、立体图像产生模块466的功能与图1实施例的解析度放大模块161、深度产生模块162、图像重建模块163、遮蔽区域检测模块164、遮蔽区域填补模块165、立体图像产生模块166相同或相似，故其详细内容在此不再赘述。

与图1实施例不同的是，本实施例的图像处理电路76额外包括第一图像处理模块767、第二图像处理模块768、物件检测模块769及视差调整模块770。其中，第一图像处理模块767及第二图像处理模块768例如会针对第一相机72及第二相机74所获取的图像信号进行处理，而得到第一图像及第二图像。第一图像处理模块767及第二图像处理模块768还可对此图像执行亮度、对比度、色温、白平衡、锐利度或鲜艳度调整，或是噪声消除等处理，使得处理后的图像适用于后续立体图像的生成。此外，物件检测模块769则会接收第一图像处理模块767与第二图像处理模块768处理后的第一图像与第二图像，进而检测此第一图像与第二图像中的主要物件，并提供给视差调整模块770。视差调整模块770则会针对物件检测模块769所检测到的主要物件，调整第二图像的参考图像与第一图像之间的视差，使得主要物件聚集于电子装置70的显示平面。

详言之，图8是依照本发明一实施例所示出的电子装置的立体图像产生方法的流程图。请同时参照图7及图8，本实施例的方法适用于上述图7的电子装置70，以下即搭配图7中电子装置10的各项元件，说明本实施例的立体图像产生方法的详细步骤：

本实施例与图2实施例的不同之处在于，本实施例额外包括步骤S812，其中是由物件检测模块769检测第一图像与第二图像中的主要物件，并由视差调整模块770调整第二图像的参考图像与第一图像之间的视差，使得主要物件可聚集于电子装置的显示平面。借此，可提供使用者一个舒适的观看体验。

举例来说，图9A及图9B是依照本发明一实施例所示出的依据主要物件调整图像视差的范例。其中，图9A示出使用者左眼92与右眼94所观看的物件与显示平面之间的关系。其中，具有负视差的物件C将会呈现在显示平面的前方；具有正视差的物件D将会呈现在显示平面的后方。假设物件96是立体图像中的主要物件，而由于物件96具有负视差，故使用者左眼92与右眼94在立体图像中观看到的物件96是位于显示平面的前方，此将造成使用者容易感到头晕。对此，本实施例的电子装置即会调整立体图像中左右眼图像的视差，使得物件96的视差为零。请参照图9B，在调整立体图像的视差后，使用者左眼92与右眼94在调整后立体图像中观看到的物件96将是位于显示平面上，从而提供使用者一个较为舒适的观看体验。

综上所述，本发明的立体图像产生方法及使用此方法的电子装置采用高解析度相机搭配低解析度相机的架构，利用高解析度相机所拍摄的高解析度图像重建低解析度相机的图像，并利用低解析度相机所拍摄的低解析度图像填补此重建图像中的遮蔽区域，从而可产生高解析度的立体图像。本发明还可进一步根据使用者的两眼距离及图像中主要物件的深度信息，调整图像的视差，从而提供一个立体效果较佳或观看上较为舒适的立体图像。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视随附的权利要求书所界定的范围为准。

Claims (14)

1.一种立体图像产生方法，适用于包括第一相机与第二相机的电子装置，其中所述第一相机与所述第二相机适于拍摄立体图像，且所述第一相机的解析度大于所述第二相机的解析度，所述方法包括下列步骤：

利用所述第一相机拍摄第一图像，并利用所述第二相机拍摄第二图像；

放大所述第二图像至所述第一相机的解析度；

利用所述第一图像与放大后的所述第二图像产生深度图；

参考所述深度图，重新投射所述第一图像以重建所述第二图像的参考图像；

检测所述参考图像中的遮蔽区域，并利用放大后的所述第二图像填补所述遮蔽区域；以及

产生包括所述第一图像及填补后的所述参考图像的所述立体图像。

2.根据权利要求1所述的方法，其中参考所述深度图，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤还包括：

参考所述深度图中的深度信息及所述第一相机与所述第二相机之间的基线距离，计算所述第一图像与所述第二图像的所述参考图像之间的视差信息；以及

根据所述视差信息获取重新投射于三维空间中的所述第一图像的图像数据，以重建所述第二图像的所述参考图像。

3.根据权利要求1所述的方法，其中参考所述深度图，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤还包括：

检测所述电子装置的使用者的两眼距离；

根据所述两眼距离及所述第一相机与所述第二相机之间的基线距离，计算基线距离调整值；以及

参考所述深度图及所述基线距离调整值，重新投射所述第一图像以重建所述第二图像的所述参考图像，使得所述参考图像与所述第一图像之间的视差信息符合所述两眼距离。

4.根据权利要求3所述的方法，其中参考所述深度图及所述基线距离调整值，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤包括：

根据所述基线距离调整值，调整所述第二相机的位置并计算调整后的位置坐标；

获取所述深度图中的深度信息，并转换所述深度信息的坐标至世界坐标系；以及

根据转换后的所述深度信息及所述第二相机的调整后的所述位置坐标，重新投射所述第一图像以重建所述第二图像的所述参考图像。

5.根据权利要求1所述的方法，其中检测所述参考图像中的所述遮蔽区域的步骤包括：

将所述参考图像与放大后的所述第二图像进行匹配；以及

取所述参考图像中未与所述第二图像匹配的区域作为所述遮蔽区域。

6.根据权利要求1所述的方法，其中检测所述参考图像中的所述遮蔽区域的步骤包括：

检测所述参考图像中的空白区域作为所述遮蔽区域。

7.根据权利要求1所述的方法，其中在检测所述参考图像中的遮蔽区域，并利用放大后的所述第二图像填补所述遮蔽区域的步骤之后，还包括：

检测所述第一图像与所述第二图像中的主要物件；以及

调整所述第二图像的所述参考图像与所述第一图像之间的视差，使得所述主要物件聚集于所述电子装置的显示平面。

8.一种电子装置，包括：

第一相机与第二相机，分别获取产生立体图像所需的左眼图像与右眼图像其中之一，其中所述第一相机的解析度大于所述第二相机的解析度；以及图像处理电路，耦接所述第一相机与所述第二相机，处理分别由所述第一相机与所述第二相机拍摄的第一图像与第二图像，包括：

解析度放大模块，放大所述第二图像至所述第一相机的解析度；

深度产生模块，利用所述第一图像与放大后的所述第二图像产生深度图；

图像重建模块，参考所述深度图，重新投射所述第一图像以重建所述第二图像的参考图像；

遮蔽区域检测模块，检测所述参考图像中的遮蔽区域；

遮蔽区域填补模块，利用放大后的所述第二图像填补所述遮蔽区域；以及

立体图像产生模块，产生包括所述第一图像及填补后的所述参考图像的所述立体图像。

9.根据权利要求8所述的电子装置，其中所述图像重建模块包括参考所述深度图中的深度信息及所述第一相机与所述第二相机之间的基线距离，计算所述第一图像与所述第二图像的所述参考图像之间的视差信息，并据此获取重新投射于三维空间中的所述第一图像的图像数据，以重建所述第二图像的所述参考图像。

10.根据权利要求8所述的电子装置，其中所述图像处理电路还包括：

两眼距离检测模块，检测所述电子装置的使用者的两眼距离，其中

所述图像重建模块包括根据所述两眼距离及所述第一相机与所述第二相机之间的基线距离，计算基线距离调整值，并参考所述深度图及所述基线距离调整值，重新投射所述第一图像以重建所述第二图像的所述参考图像，使得所述参考图像与所述第一图像之间的视差信息符合所述两眼距离。

11.根据权利要求10所述的电子装置，其中所述图像重建模块还根据所述基线距离调整值，调整所述第二相机的位置并计算调整后的位置坐标，获取所述深度图中的深度信息，并转换所述深度信息的坐标至世界坐标系，以及根据转换后的所述深度信息及所述第二相机的调整后的所述位置坐标，重新投射所述第一图像以重建所述第二图像的所述参考图像。

12.根据权利要求8所述的电子装置，其中所述遮蔽区域检测模块包括将所述参考图像与放大后的所述第二图像进行匹配，并取所述参考图像中未与所述第二图像匹配的区域作为所述遮蔽区域。

13.根据权利要求8所述的电子装置，其中所述遮蔽区域检测模块包括检测所述参考图像中的空白区域以作为所述遮蔽区域。

14.根据权利要求8所述的电子装置，其中所述图像处理电路还包括：

物件检测模块，检测所述第一图像与所述第二图像中的主要物件；以及视差调整模块，调整所述第二图像的所述参考图像与所述第一图像之间的视差，使得所述主要物件聚集于所述电子装置的显示平面。