CN105657237B - 图像获取装置及其数字变焦方法 - Google Patents

Abstract

本发明提供一种图像获取装置及其数字变焦方法，此方法包括下列步骤。利用主镜头及副镜头获取一场景的图像，以产生主图像及副图像。针对主图像及副图像进行图像校正处理，以产生主校正图像及副校正图像。针对主校正图像及副校正图像进行特征点检测，以检测主副校正图像的重叠区域，进而取得其像素位移信息及像素深度信息。根据缩放倍率、像素位移信息及像素深度信息，分别针对主校正图像及副校正图像进行图像缩放处理与图像形变处理，以产生主形变图像及副形变图像。根据缩放倍率，针对主副形变图像的重叠区域进行图像融合处理，以产生数字变焦图像。

Description

图像获取装置及其数字变焦方法

技术领域

本发明是有关于一种图像获取装置及其数字变焦方法，且特别是有关于一种具有双镜头的图像获取装置及其数字变焦方法。

背景技术

随着科技的发展，各式各样的智能电子装置，举凡平板型电脑、个人数字化助理、及智能手机等，已成为现代人不可或缺的工具。其中，高档款的智能电子装置所搭载的相机镜头已经与传统消费型相机不相上下，甚至可以取而代之，少数高档款还具有接近数字单眼相机的画素和画质或是拍摄三维图像的功能。

一般此类电子装置在进行数字变焦以放大图像时，往往具有图像模糊失真的问题。以单镜头的数字变焦来说，其是利用图像处理技术，针对单张图像直接进行数字放大。然而，图像经过数字放大后，往往无法保留图像的细节，而放大倍率越高，图像越模糊失真。

另一方面，以双镜头的数字变焦来说，其是利用双镜头的一广角镜头(wide-anglelens)拍摄广角图像，并且利用另一远摄镜头(telephoto lens)拍摄窄角图像，再依据放大倍率选择广角图像或是窄角图像为标的图像，进行单张标的图像的数字放大。然而，在图像持续放大的过程中，若标的图像须更替为广角图像或是窄角图像时，图像画面会产生不顺畅或是跳跃的现象。

基此，如何在针对图像进行数字变焦时，随时能呈现符合人眼期待的图像，为此领域技术人员所关心的议题。

发明内容

本发明提供一种图像获取装置及其数字变焦方法，其可于图像持续放大倍率的过程中，输出具有高品质的数字变焦图像。

本发明提出一种图像获取装置的数字变焦方法，适用于具有主镜头以及副镜头的图像获取装置。此数字变焦方法包括下列步骤：分别利用主镜头以及副镜头获取一场景的图像，以产生主图像以及副图像；针对主图像以及副图像进行图像校正处理，以产生主校正图像以及副校正图像；针对主校正图像以及副校正图像进行特征点检测，藉以检测出主校正图像以及副校正图像中的重叠区域，进而取得两重叠区域的像素位移特性以及深度信息。根据缩放倍率、像素位移特性以及像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，据以产生主形变图像以及副形变图像；最终，根据缩放倍率，针对主形变图像与副形变图像的重叠区域进行图像融合处理，以产生符合缩放倍率的数字变焦图像。

在本发明的一实施例中，上述针对主图像以及副图像进行图像校正处理，以产生主校正图像以及副校正图像的步骤包括：取得关联于主镜头以及副镜头的校正参数；以及根据所述校正参数，校正主图像以及副图像，以产生主校正图像以及副校正图像。

在本发明的一实施例中，上述针对主校正图像以及副校正图像进行特征点检测，藉以检测出主校正图像与副校正图像的重叠区域，进而取得两重叠区域的像素位移特性以及像素深度信息的步骤包括：检测主校正图像以及副校正图像中的多个特征点，依据特征点与邻近点的色彩信息，从两校正图像中，找出多组对应特征点组合，以计算单应性矩阵(Homography matrix)，并依据此单应性矩阵找出两校正图像的重叠区域位置；除可利用单应性矩阵知悉两重叠区域像素的位移特性外，两重叠区域由于视角雷同，可用以进行立体比对，以估测各像素点的深度信息。

在本发明的一实施例中，主镜头与副镜头具有不同的拍摄视角以及相同的变形程度，主镜头的拍摄视角大于副镜头的拍摄视角，副校正图像与主校正图像之间的主副图像倍率固定且事先已知。当缩放倍率介于1与主副图像倍率之间时，上述根据缩放倍率、像素位移特性以及像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，据以产生主形变图像以及副形变图像的步骤包括：根据缩放倍率，放大主校正图像，以产生放大后的主校正图像；根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像；以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像，其中图像形变的幅度关联于各所述像素深度信息。若缩放倍率小于1，仅以主校正图像进行数字缩小处理；若缩放倍率大于主副图像倍率，则仅以副校正图像进行数字放大处理。

在本发明的另一实施例中，主镜头与副镜头具有相同的拍摄视角以及相同的变形程度，而在分别自主镜头以及副镜头接收主图像以及副图像之后，数字变焦方法的步骤包括：针对主校正图像进行图像装箱处理，以产生装箱主校正图像；针对副校正图像进行图像中间区域裁剪处理，以产生裁剪副校正图像，其中装箱主校正图像与裁剪副校正图像的尺寸相同；以及分别设定装箱主校正图像以及裁剪副校正图像为主校正图像以及副校正图像。此外，当缩放倍率介于1与主副图像倍率之间时，上述根据缩放倍率、像素位移特性以及像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，据以产生主形变图像以及副形变图像的步骤包括：根据缩放倍率，放大主校正图像，以产生放大后的主校正图像；根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像；以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像，其中图像形变的幅度关联于各所述像素深度信息。若缩放倍率小于1，则仅以主校正图像进行数字缩小处理；若缩放倍率大于主副图像倍率，则仅以副校正图像进行数字放大处理。

在本发明的又一实施例中，主镜头与副镜头具有相同的拍摄视角以及不同的变形程度，主镜头的变形程度远小于副镜头的变形程度，主副图像的视角雷同，经过镜头校正处理后，两校正图像的重叠区域可含括近乎完整图像，像素深度估测更为完整。主校正图像中心区域与副校正图像中心区域具有固定且事先已知的主副中心图像倍率；针对副校正图像进行图像中心区域裁剪处理，以产生裁剪副校正图像，并设定为副校正图像。当缩放倍率介于1与主副中心图像倍率之间时，上述根据缩放倍率、像素位移特性以及像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，据以产生主形变图像以及副形变图像的步骤包括：根据缩放倍率，放大主校正图像，以产生放大后的主校正图像；根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像；以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像，其中图像形变的幅度关联于像素深度信息。若缩放倍率小于1，则仅以主校正图像进行数字缩小处理；若缩放倍率大于主副图像中心倍率，则仅以副校正图像进行数字放大处理。

在本发明的一实施例中，上述根据缩放倍率，针对主形变图像与副形变图像的重叠区域进行图像融合处理，据以产生数字变焦图像的步骤包括：根据缩放倍率，设定分别对应于主形变图像以及副形变图像的第一权重以及第二权重；以第一权重与第二权重，融合主形变图像与副形变图像的重叠区域，以产生融合重叠区域；以及以融合重叠区域取代位于主形变图像的重叠区域，以产生数字变焦图像。

本发明另提出一种图像获取装置，包括主镜头、副镜头、存储单元以及一或多个处理单元，其中所述处理单元耦接主镜头、副镜头以及存储单元。存储单元用以记录多个模块。处理单元用以存取并执行存储单元中记录的所述模块，其中所述模块包括图像获取模块、图像前处理模块、特征点分析模块、图像缩放变形模块以及图像融合模块。图像获取模块分别利用主镜头以及镜头获取一场景的图像，以产生主图像以及副图像。图像前处理模块针对主图像以及副图像进行图像校正处理，以产生主校正图像以及副校正图像。特征点分析模块分别针对主校正图像以及副校正图像获取多个特征点，并进行配对与过滤，利用过滤后的多对特征点组合，计算单应性矩阵，并据以找出两校正图像的重叠区域位置，进而取得两重叠区域的像素位移特性以及像素深度信息。图像缩放变形模块根据缩放倍率、像素位移特性以及像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，据以产生主形变图像以及副形变图像。图像融合模块根据缩放倍率，针对主形变图像与副形变图像的重叠区域进行图像融合处理，以产生数字变焦图像。

在本发明的一实施例中，上述的图像前处理模块取得关联于主镜头以及副镜头的多个校正参数，以及根据所述校正参数，校正主图像以及副图像，以产生主校正图像以及副校正图像。

在本发明的一实施例中，上述的特征点分析模块检测主校正图像以及副校正图像中的多个特征点，又根据所述特征点与邻近像素点的色彩信息，进行特征点的配对与过滤，利用过滤后的特征点组合计算单应性矩阵，并据以找出两校正图像的重叠区域位置，并且分析得知两重叠区域的像素位移特性；两重叠区域的各像素也可进行立体比对，以取得重叠区域内各像素点所对应的深度信息。

在本发明的一实施例中，主镜头与副镜头具有不同的拍摄视角以及相同的变形程度，主镜头的拍摄视角大于副镜头的拍摄视角，副校正图像与主校正图像之间的主副图像倍率固定且事先已知。上述的图像缩放变形模块根据缩放倍率，放大主校正图像，以产生放大后的主校正图像，又根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像，以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像。

在本发明的另一实施例中，主镜头与副镜头具有相同的拍摄视角以及相同的变形程度。上述的图像获取装置包括图像前处理模块，用以针对主校正图像进行图像装箱处理，以产生装箱主校正图像，又针对副校正图像进行图像中心区域裁剪处理，以产生裁剪副校正图像，以及分别设定装箱主校正图像以及裁剪副校正图像为主校正图像以及副校正图像，其中装箱主校正图像与裁剪副校正图像的尺寸相同。上述的图像缩放变形模块根据缩放倍率，放大主校正图像，以产生放大后的主校正图像，又根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像，以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像。

在本发明的又一实施例中，主镜头与副镜头具有相同的拍摄视角以及不同的变形程度，主镜头的变形程度远小于副镜头的变形程度。主校正图像中心区域与副校正图像中心区域具有固定且事先已知的主副中心图像倍率；针对副校正图像进行图像中心区域裁剪处理，以产生裁剪副校正图像，并将裁剪副校正图像设定为副校正图像。上述的图像缩放变形模块根据缩放倍率，放大主校正图像，以产生放大后的主校正图像；并根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像；以及根据两校正图像的重叠区域估测所得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行图像形变处理，以产生主形变图像以及副形变图像。

在本发明的一实施例中，图像融合模块根据缩放倍率，设定分别对应于主形变图像以及副形变图像的第一权重以及第二权重，又以第一权重与第二权重，融合主形变图像与副形变图像的重叠区域，以产生融合重叠区域，以及以融合重叠区域取代位于主形变图像的重叠区域，以产生数字变焦图像。

基于上述，本发明所提出的图像获取装置及其数字变焦方法，其通过分析双镜头的不同成像特性以及变异程度，依据放大倍率自动缩放与形变双镜头各自所获取的图像，成为焦段、尺寸与视角类似的形变图像，再以加权的方式，融合两张形变图像，得到符合缩放倍率的数字变焦图像。相较于现有数字变焦技术，本发明所提出的图像获取装置及其数字变焦方法可于图像持续放大倍率的过程中，输出具有高品质的数字变焦图像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明一实施例所示的图像获取装置的方块图；

图2为根据本发明的一实施例所示的图像获取装置的数字变焦方法的流程图；

图3为根据本发明的一实施例所示的主校正图像以及副校正图像的示意图；

图4为根据本发明的另一实施例所示的主校正图像以及副校正图像的示意图；

图5为根据本发明的又一实施例所示的主图像以及副图像的示意图；

图6为根据本发明的一实施例所示的图像获取装置的数字变焦方法的功能方块示意图。

附图标记说明：

100：图像获取装置；

10a：主镜头；

10b：副镜头；

20：存储单元；

30：处理单元；

121：图像获取模块；

122：图像前处理模块；

123：特征点分析模块；

124：图像缩放变形模块；

125：图像融合模块；

S202～S210、S603～S609：数字变焦方法的流程；

310a、400a、603a：主校正图像；

310b、400b、603b：副校正图像；

500a、601a：主图像；

500b、601b：副图像；

410a：装箱主校正图像；

410b：裁剪副校正图像；

315a、315b、415a、405b、505a、505b、508a、508b：区域；

606：缩放倍率；

607a：主形变图像；

607b：副形变图像；

611：数字变焦图像。

具体实施方式

本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的装置与方法的范例。

图1是根据本发明一实施例所示的图像获取装置的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍图像获取装置的所有构件以及配置关系，详细功能将配合图2一并公开。

请参照图1，图像获取装置100包括主镜头10a、副镜头10b、存储单元20以及一或多个处理单元30。在本实施例中，图像获取装置100例如是数字相机、单眼相机、数字摄影机或是其他具有图像获取功能的智能手机、平板电脑、个人数字助理等电子装置，本发明不以此为限。

主镜头10a以及副镜头10b包括感光元件，用以分别感测进入主镜头10a以及副镜头10b的光线强度，进而分别产生图像。所述的感光元件例如是电荷耦合元件(ChargeCoupled Device，简称CCD)、互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，简称CMOS)元件或其他元件。另外，主镜头10a以及副镜头10b的焦段、感光尺寸、拍摄视角范围以及变形程度(distortion)可以是相同或是不同，本发明不在此设限。

存储单元20例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，简称RAM)、只读存储器(Read-Only Memory，简称ROM)、快闪存储器(Flashmemory)、硬盘或其他类似装置或这些装置的组合。存储单元20用以记录可由处理单元30执行的多个模块，这些模块可载入处理单元30，以对图像获取装置100所产生的图像执行数字变焦的功能。

处理单元30可以例如是中央处理单元(Central Processing Unit，简称CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，简称DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，简称ASIC)、可程序化逻辑装置(Programmable Logic Device，简称PLD)或其他类似装置或这些装置的组合。处理单元30耦接主镜头10a、副镜头10b以及存储单元20，其可存取并执行记录在存储单元20中的模块，以对图像获取装置100所产生的图像执行数字变焦的功能。

上述模块包括图像获取模块121、图像前处理模块122、特征点分析模块123、图像缩放变形模块124以及图像融合模块125，其可载入处理单元30，从而执行数字变焦的功能。以下即列举实施例说明针对图像获取装置100执行数字变焦方法的详细步骤。

图2为根据本发明的一实施例所示的图像获取装置的数字变焦方法的流程图，而图2的图像获取装置的数字变焦方法可以图1的图像获取装置100的各元件实现。

请同时参照图1以及图2，首先，图像获取装置100的图像获取模块121分别利用主镜头10a以及副镜头10b获取一场景的图像，以产生主图像以及副图像(步骤S202)。换言之，当使用者欲利用图像获取装置100拍摄所述场景的图像时，图像获取模块121将产生对应于主镜头10a的主图像以及对应于副镜头10b的副图像。在本实施例中，主图像为使用者观看以及取像的来源，其图像品质较低，但涵盖较大的视角范围；副图像不提供给使用者观看或是取像，其图像品质较高，但涵盖较小的视角范围，用以在后续步骤中做为数字变焦的辅助。在后续的实施例中，将会针对主图像以及副图像做更详尽的说明。

接着，图像前处理模块122针对主图像以及副图像进行图像校正处理，以产生主校正图像以及副校正图像(步骤S204)。详言之，图像前处理模块122将会针对主镜头10a以及副镜头10b所分别造成主图像以及副图像的亮度、色彩与几何位置上的偏差进行校正。

在本实施例中，图像前处理模块122将自存储单元20取得关联于主镜头以及副镜头的多个校正参数。校正参数可以例如是相机的内部参数(intrinsic parameters)与外部参数(extrinsic parameters)等用以进行图像矫正(image rectification)的参数。内部参数可用来描述相机坐标(camera coordinates)与图像坐标(image coordinates)之间的转换关系，也就是利用针孔(pinhole)成像原理将相机坐标投影到成像平面(projectiveplane)。举例而言，内部参数包括焦距(focal length)、图像中心(image center)、主轴点(principal point)以及镜头扭曲变形系数(distortion coefficients)等参数。外部参数则是用来描述世界坐标系统(world coordinate system)与相机坐标系统(cameracoordinate system)之间的转换关系。举例而言，图像获取装置100在三维坐标中的位置与拍摄方向，包括旋转矩阵(rotation matrix)与位移向量(translation vector)等与图像获取装置100摆放位置与拍摄方向相关的参数。此外，校正参数也可以是亮度补偿(illumination compensation)或是色彩修正(color correction)等相关参数，本发明不在此设限。图像前处理模块122将根据上述校正参数来校正主图像以及副图像，而在此将校正过后的主图像以及副图像分别定义为“主校正图像”以及“副校正图像”。

接着，特征点分析模块123针对主校正图像以及副校正图像进行特征点检测，藉以检测出主校正图像与副校正图像的重叠区域，进而取得主校正图像与副校正图像的重叠区域的像素位移特性以及像素深度信息(步骤S206)。在此的重叠区域即为主校正图像与副校正图像中所涵盖的视角范围相互重叠的区域。

详言之，特征点分析模块123可利用边缘检测(edge detection)、角检测(cornerdetection)、区域检测(blob detection)或其它特征点检测演算法(feature detectionalgorithm)来检测主校正图像以及副校正图像中的多个特征点。接着，特征点分析模块123将自所述特征点中找出相同特性特征点的对应组合，以及分别于主校正图像以及副校正图像中区分出重叠的区域。

在一实施例中，特征点分析模块123可检测主校正图像以及副校正图像中的多个特征点，依据特征点与邻近点的色彩信息，从两校正图像中，找出多组对应特征点组合，以计算单应性矩阵(Homography matrix)。此方式除可利用单应性矩阵知悉两重叠区域像素的位移特性外，两重叠区域由于视角雷同，特征点分析模块123还可用以进行立体比对，以估测各像素点的深度信息。

详言之，特征点分析模块123可判断各个相同特征点的位移以及偏斜特性，以取得各个相同特征点所对应的位移信息。另一方面，特征点分析模块123又将针对主校正图像与副校正图像中的各个像素点进行立体比对(stereo matching)，以取得各个像素点所对应的深度信息。换言之，特征点分析模块123可针对主镜头10a以及副镜头10b的重叠区域的各个像素进行景深程度的计算，以得到重叠区域的深度信息，并且以例如是深度图(depthmap)的形式记录。

接着，当缩放倍率介于1与主副图像倍率之间时，图像缩放变形模块124根据缩放倍率、各所述像素位移特性以及各所述像素深度信息，分别针对主校正图像以及副校正图像进行图像缩放处理(image zooming)与图像形变处理(image warping)，据以产生主形变图像以及副形变图像(步骤S208)。在此的“主副图像倍率”为主校正图像与副校正图像之间的大小倍率，其为固定且事先已知，而缩放倍率为使用者欲针对所要观看的主要画面的大小变化幅度，其可以为使用者设定或是图像获取装置的预设值。图像缩放变形模块124可利用两个重叠区域的相对位移、偏斜以及深度特性，并且依据缩放倍率，分别对主校正图像以及副校正图像进行图像缩放处理与图像形变处理，以产生符合使用者的缩放倍率需求并且重叠区域视角与外观雷同的图像。此外，图像形变的幅度关联于两个重叠区域的深度信息。当深度值越大时，图像形变的幅度较小；当深度值越小时，图像形变的幅度较大。在后续的实施例中，将会针对图像缩放处理以及图像形变处理的详尽步骤进行说明。

之后，图像融合模块125根据缩放倍率，针对主形变图像与副形变图像的重叠区域进行图像融合处理(image blending)，以产生数字变焦图像(步骤S210)。详言之，图像融合模块125可根据缩放倍率，设定主形变图像以及副形变图像的重叠区域进行图像融合时所需的权重，在此分别定义为“第一权重”以及“第二权重”。接着，图像融合模块125将以第一权重与第二权重来加权两个重叠区域的像素色彩的混合比例，针对两个重叠区域进行图像融合处理。在此将经过图像融合处理后所产生的结果定义为“融合重叠区域”。之后，图像融合模块125将以融合重叠区域取代原主形变图像中的重叠区域，从而产生高品质的数字变焦图像。

在另一实施例中，当缩放倍率小于1时，则仅以主校正图像进行数字缩小处理以及后续的图像形变处理，以产生主形变图像，并且直接设定此主形变图像为数字变焦图像。另一方面，当缩放倍率大于主副图像倍率时，则仅以副校正图像进行数字放大处理以及后续的图像形变处理，以产生副形变图像，并且直接设定此副形变图像为数字变焦图像。

本发明的图像获取装置可用于多种镜头组合，而以下将列举三个不同镜头组合所拍摄的图像来说明数字变焦方法流程。

图3为根据本发明的一实施例所示的主校正图像以及副校正图像的示意图。必须先说明的是，在本实施例中，图像获取装置100的主镜头10a与副镜头10b具有不同的拍摄视角以及相同的变形程度，其中主镜头10a的拍摄视角大于副镜头10b的拍摄视角。在此，主图像所涵盖的拍摄范围大于副图像所涵盖的拍摄范围，然而副图像的图像品质较优于主图像的图像品质。换言之，主图像以及副图像分别为广角图像以及窄角图像，并且副图像的画面具有较为清晰放大的效果。虽然副图像的图像品质较好，但其是用以辅助主图像来进行数字变焦之用，并非为提供使用者观看与取像的来源。

请参照图3，主校正图像310a以及副校正图像310b分别为图像获取模块121利用主镜头10a以及副镜头10b所获取的主图像以及副图像经过图像前处理模块122对其进行图像校正处理后，所分別产生的图像。区域315a以及区域315b则为特征点分析模块123分别自主校正图像310a以及副校正图像310b中检测出重叠区域。在本实施例中，由于副校正图像310b为窄角图像，因此副校正图像310b与位于副校正图像310b的重叠区域315b则会相同；也即，整个副校正图像310b将会与位于主校正图像310a的重叠区域315a的画面一致。

在本实施例中，图像缩放变形模块124将根据缩放倍率，放大主校正图像，以产生放大后的主校正图像。主校正图像在放大的过程中，其中间区域将会逐渐地与副校正图像接近。此外，图像缩放变形模块124又根据缩放倍率，缩小副校正图像，以产生缩小后的副校正图像。接着图像缩放变形模块124再根据特征点分析模块123所取得的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行形变处理，以产生主形变图像以及副形变图像。

图像融合模块125根据缩放倍率来分配主形变图像以及副形变图像的重叠区域进行图像融合的第一权重以及第二权重。在此的权重是依照缩放倍率相对于主图像以及副图像之间的倍率来分配。在本实施例中，主图像所对应的倍率为1，若副图像所对应的倍率为2。如果欲进行的图像缩放倍率为1.5，其为1与2的中值，因此图像融合模块125将分别设定第一权重以及第二权重为0.5。在另一实施例中，如果欲进行的图像缩放倍率为1.2，则图像融合模块125将分别设定第一权重以及第二权重为0.8以及0.2。然而，图像融合模块125分配权重的方式并不限于线性关系而分配。在其它实施例中，图像融合模块125可根据其它关系式来对第一权重与第二权重进行分配，本发明不在此设限。图像融合模块125在进行图像融合之后所产生的数字变焦图像，即为平顺且清晰的放大图像。

图4为根据本发明的另一实施例所示的主校正图像以及副校正图像的示意图。

请参照图4，在本实施例中，图像获取装置100的主镜头10a与副镜头10b具有相同的拍摄视角以及相同的变形程度，因此图像获取模块121利用主镜头10a以及副镜头10b所获取的主图像以及副图像将会是具有相同的视角范围。在本实施例中，图像获取装置100的图像前处理模块122将分别针对主校正图像400a以及副校正图像400b进行装箱处理与裁剪处理，以产生两个不同视角范围的画面。附带一提的是，本实施例较适用于具有缩图检视需求的数字摄影设备。

详细来说，图像前处理模块122将针对主校正图像400a进行图像装箱处理(imagebinning)，以产生尺寸较小的装箱主校正图像410a。在本实施例中，装箱主校正图像410a为主校正图像400a的1/4大小。换句话说，图像前处理模块122将针对主校正图像400a进行2x2装箱处理(2x2 pixel binning)，以将主校正图像400a中的每四个邻近像素合并至单一像素，从而产生装箱主校正图像410a。相较于主校正图像400a，装箱主校正图像410a具有较高的传输速度，然而其解析度较低。

另一方面，图像前处理模块122又将针对副校正图像400b中间区域进行图像裁剪处理(image cropping)，以产生裁剪副校正图像410b。在本实施例中，裁剪副校正图像410b也为副校正图像400b的1/4大小。换句话说，图像前处理模块122将剪取副校正图像400b的1/4大小的中间区域405b，从而产生裁剪副校正图像410b。

基此，图像前处理模块122可模拟出相同尺寸而不同视角范围的装箱主校正图像410a以及裁剪副校正图像410b，并且将两者重新设定为主校正图像以及副校正图像。接着，可再针对新设定的主校正图像以及副校正图像进行类似于图3的实施例中的图像处理方式来产生数字变焦图像，其中装箱主校正图像410a中的区域415a会与裁剪副校正图像410b形成重叠区域。详细处理方式请参照前述段落的相关说明，于此不再赘述。

图5为根据本发明的又一实施例所示的主图像以及副图像的示意图。必须先说明的是，在本实施例中，图像获取装置100的主镜头10a与副镜头10b具有相同的拍摄视角以及不同的变形程度，其中主镜头10a的变形程度远小于副镜头10b的变形程度。在本实施例中，主镜头10a为不具有特殊变形的镜头，而副镜头10b为具有特殊设计的变形镜头。

请参照图5，在本实施例中，图像获取模块121利用主镜头10a所获取的主图像500a则是一般正常的图像画面，而图像获取模块121利用副镜头10b所获取的副图像500b则是经过特殊变形的图像画面，其特殊之处在于将原拍摄场景中间区域(例如是对应于主图像500a中的区域505a)投射到副镜头10b的感光元件的中间较大比例的区域，其中此较大比例的中间区域为副图像500b中的区域505b并且其变形程度较小。另一方面，原拍摄场景的视角外围区域(也即，对应于主图像500a中的区域508a)投射到副镜头10b的感光元件则是剩余的外围区域，其中此外围区域则是副图像500b中的区域508b并且其变形程度较大。

之后，图像前处理模块122将对主图像500a以及副图像500b进行图像校正处理，以产生主校正图像以及副校正图像。副校正图像的较大比例中间区域(也即，对应于副图像的区域505b)被裁剪，并重新设定副校正图像。副校正图像比主校正图像具有较小的视角，但有较大解析度与重叠区域尺寸大小。图像缩放变形模块124将根据缩放倍率，放大主校正图像以及缩小副校正图像，以产生放大后的主校正图像以及缩小后的副校正图像。接着图像缩放变形模块124再根据特征点分析模块123所取得重叠区域的像素位移特性以及像素深度信息，分别针对放大后的主校正图像以及缩小后的副校正图像进行形变处理，以产生主形变图像以及副形变图像。

附带说明的是，副图像500b中的外围区域508b在经过关联于镜头变形的校正(lens distortion correction)后，由于原始副校正图像可与主校正图像的视角相同，因此图像获取装置100可在此辅助进行整张图像的景深估测(depth estimation)。

前述图像获取装置的数字变焦方法可利用图6依据本发明一实施例所示的功能方块图来总结。

请参照图6，此方法会在图像获取装置100利用主镜头10a以及副镜头10b分别获取一场景的图像，产生主图像601a以及副图像601b后。接着，针对主图像601a以及副图像601b进行图像校正处理S603，以分别产生主校正图像603a以及副校正图像603b。接着，针对主校正图像603a以及副校正图像603b进行特征点检测S605，以取得两个图像的重叠区域的像素位移特性以及像素深度信息。之后，根据缩放倍率606以及特征点检测S605所取得的像素位移特性以及像素深度信息，针对主校正图像603a以及副校正图像603b进行图像缩放处理与图像形变处理S607，以分别产生主形变图像607a以及副形变图像607b。最后，针对主形变图像607a以及副形变图像607b进行图像融合处理，而处理后将输出画面平顺且清晰的数字变焦图像611。

综上所述，本发明所提出的图像获取装置及其数字变焦方法，其通过分析双镜头的不同成像特性以及变异程度，依据放大倍率自动缩放与形变双镜头各自所获取的图像，成为焦段、尺寸与视角类似的形变图像，再以加权的方式，融合两张形变图像，得到符合缩放倍率的数字变焦图像。相较于现有数字变焦技术，本发明所提出的图像获取装置及其数字变焦方法可于图像持续放大倍率的过程中，输出具有高品质的数字变焦图像。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种图像获取装置的数字变焦方法，其特征在于，适用于具有主镜头以及副镜头的图像获取装置，该数字变焦方法包括：

分别利用该主镜头以及该副镜头获取场景的图像，以产生主图像以及副图像；

针对该主图像以及该副图像进行图像校正处理，以产生主校正图像以及副校正图像；

针对该主校正图像以及该副校正图像进行特征点检测，藉以检测出该主校正图像与该副校正图像的重叠区域，进而取得该主校正图像与该副校正图像的该重叠区域的多个像素位移特性以及多个像素深度信息；

当缩放倍率介于1与主副图像倍率之间时，根据该缩放倍率分别针对该主校正图像以及该副校正图像进行图像缩放处理并根据各所述像素位移特性以及各所述像素深度信息分别针对该主校正图像以及该副校正图像进行图像形变处理，据以产生主形变图像以及副形变图像，其中该主副图像倍率为该主校正图像与该副校正图像之间的大小倍率，图像形变的幅度关联于各所述像素深度信息；以及

根据该缩放倍率，针对该主形变图像与该副形变图像的重叠区域进行图像融合处理，以产生数字变焦图像。

2.根据权利要求1所述的数字变焦方法，其特征在于，针对该主图像以及该副图像进行图像校正处理，以产生该主校正图像以及该副校正图像的步骤包括：

取得关联于该主镜头以及该副镜头的多个校正参数；以及

根据所述校正参数，校正该主图像以及该副图像，以产生该主校正图像以及该副校正图像。

3.根据权利要求1所述的数字变焦方法，其特征在于，针对该主校正图像以及该副校正图像进行特征点检测，藉以检测出该主校正图像与该副校正图像的该重叠区域，进而取得该主校正图像与该副校正图像中的该重叠区域的所述像素位移特性以及所述像素深度信息的步骤包括：

检测该主校正图像以及该副校正图像中的多个特征点；

根据该主校正图像以及该副校正图像中的各所述特征点与各所述特征点的多个邻近点的色彩信息，找出多个对应特征点组合，以计算单应性矩阵；

根据该单应性矩阵，取得该主校正图像与该副校正图像的该重叠区域，进而取得各所述像素位移特性；以及

针对该主校正图像以及该副校正图像中各所述特征点进行立体比对，以取得各所述特征点所对应的该像素深度信息。

4.根据权利要求1所述的数字变焦方法，其特征在于，该主镜头与该副镜头具有不同的拍摄视角以及相同的变形程度，该主镜头的拍摄视角大于该副镜头的拍摄视角，而当该缩放倍率介于1与该主副图像倍率之间时，根据该缩放倍率、各所述像素位移特性以及各所述像素深度信息，分别针对该主校正图像以及该副校正图像进行图像缩放处理与图像形变处理，据以产生该主形变图像以及该副形变图像的步骤包括：

根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像；

根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像；以及

根据各所述像素位移特性以及各所述像素深度信息，分别针对该放大后的主校正图像以及该缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

5.根据权利要求1所述的数字变焦方法，其特征在于，该主镜头与该副镜头具有相同的拍摄视角以及相同的变形程度，而在针对该主图像以及该副图像进行图像校正处理，以产生该主校正图像以及该副校正图像的步骤之后，该数字变焦方法还包括：

针对该主校正图像进行图像装箱处理，以产生装箱主校正图像；

针对该副校正图像进行图像裁剪处理，以产生裁剪副校正图像，其中该装箱主校正图像与该裁剪副校正图像的尺寸相同；

分别设定该装箱主校正图像以及该裁剪副校正图像为该主校正图像以及该副校正图像。

6.根据权利要求5所述的数字变焦方法，其特征在于，当该缩放倍率介于1与该主副图像倍率之间时，根据该缩放倍率、各所述像素位移特性以及各所述像素深度信息，分别针对该主校正图像以及该副校正图像进行图像缩放处理与图像形变处理，据以产生该主形变图像以及该副形变图像的步骤包括：

根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像；

根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像；以及

根据各所述像素位移特性以及各所述像素深度信息，分别针对该放大后的主校正图像以及该缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

7.根据权利要求1所述的数字变焦方法，其特征在于，该主镜头与该副镜头具有相同的拍摄视角以及不同的变形程度，该主镜头的变形程度远小于该副镜头的变形程度，而在针对该主图像以及该副图像进行图像校正处理，以产生该主校正图像以及该副校正图像的步骤之后，该数字变焦方法还包括：

针对该副校正图像的中心区域进行图像裁剪处理，以产生裁剪副校正图像；

设定该裁剪副校正图像为该副校正图像。

8.根据权利要求7所述的数字变焦方法，其特征在于，当该缩放倍率介于1与该主副图像倍率之间时，根据该缩放倍率、各所述像素位移特性以及各所述像素深度信息，分别针对该主校正图像以及该副校正图像进行图像缩放处理与图像形变处理，据以产生该主形变图像以及该副形变图像的步骤包括：

根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像；

根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像；以及

根据各所述像素位移特性以及各所述像素深度信息，分别针对该放大后的主校正图像以及该缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

9.根据权利要求1所述的数字变焦方法，其特征在于，根据该缩放倍率，针对该主形变图像与该副形变图像的该重叠区域进行图像融合处理，据以产生该数字变焦图像的步骤包括：

根据该缩放倍率，设定分别对应于该该主形变图像以及该副形变图像的第一权重以及第二权重；

以该第一权重与该第二权重，融合该主形变图像与该副形变图像的该重叠区域，以产生融合重叠区域；以及

以该融合重叠区域取代位于该主形变图像的该重叠区域，以产生该数字变焦图像。

10.根据权利要求1所述的数字变焦方法，其特征在于，当该缩放倍率大于该主副图像倍率时，该数字变焦方法还包括：

根据该缩放倍率，放大该副校正图像，以产生放大后的副校正图像；

根据各所述像素位移特性以及各所述像素深度信息，针对该放大后的副校正图像进行图像形变处理，以产生该副形变图像；以及

设定该副形变图像为该数字变焦图像。

11.根据权利要求1所述的数字变焦方法，其特征在于，当该缩放倍率小于1时，该数字变焦方法还包括：

根据该缩放倍率，缩小该主校正图像，以产生缩小后的主校正图像；

根据各所述像素位移特性以及各所述像素深度信息，针对该缩小后的主校正图像进行图像形变处理，以产生该主形变图像，其中图像形变的幅度关联于各所述像素深度信息；以及

设定该主形变图像为该数字变焦图像。

12.一种图像获取装置，其特征在于，包括：

主镜头；

副镜头；

存储单元，记录多个模块；以及

一或多个处理单元，耦接该主镜头、该副镜头以及该存储单元，以存取并执行该存储单元中记录的所述模块，所述模块包括：

图像获取模块，分别利用该主镜头以及该副镜头获取场景的图像，以产生主图像以及副图像；

图像前处理模块，针对该主图像以及该副图像进行图像校正处理，以产生主校正图像以及副校正图像；

特征点分析模块，针对该主校正图像以及该副校正图像进行检测，藉以检测出该主校正图像与该副校正图像的重叠区域，进而该主校正图像与该副校正图像的该重叠区域的多个像素位移特性以及多个像素深度信息；

图像缩放变形模块，当缩放倍率介于1与主副图像倍率之间时，根据该缩放倍率分别针对该主校正图像以及该副校正图像进行图像缩放处理并根据各所述像素位移特性以及各所述像素深度信息分别针对该主校正图像以及该副校正图像进行图像形变处理，据以产生主形变图像以及副形变图像，其中该主副图像倍率为该主校正图像与该副校正图像之间的大小倍率，图像形变的幅度关联于各所述像素深度信息；以及

图像融合模块，根据该缩放倍率，针对该主形变图像与该副形变图像的重叠区域进行图像融合处理，以产生数字变焦图像。

13.根据权利要求12所述的图像获取装置，其特征在于，该图像前处理模块取得关联于该主镜头以及该副镜头的多个校正参数，以及根据所述校正参数，校正该主图像以及该副图像，以产生该主校正图像以及该副校正图像。

14.根据权利要求12所述的图像获取装置，其特征在于，该特征点分析模块检测该主校正图像以及该副校正图像中的多个特征点，根据该主校正图像以及该副校正图像中的各所述特征点与各所述特征点的多个邻近点的色彩信息，找出多个对应特征点组合，以计算单应性矩阵，又根据该单应性矩阵，取得该主校正图像与该副校正图像的该重叠区域，进而取得各所述像素位移特性，以及针对该主校正图像以及该副校正图像中各所述特征点进行立体比对，以取得各所述特征点所对应的该像素深度信息。

15.根据权利要求12所述的图像获取装置，其特征在于，该主镜头与该副镜头具有不同的拍摄视角以及相同的变形程度，该主镜头的拍摄视角大于该副镜头的拍摄视角，而当该缩放倍率介于1与该主副图像倍率之间时，该图像缩放变形模块根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像，又根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像，以及根据各所述像素位移信息特性以及各所述像素深度信息，分别针对该放大后的主校正图像以及该缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

16.根据权利要求12所述的图像获取装置，其特征在于，该主镜头与该副镜头具有相同的拍摄视角以及相同的变形程度，并且该图像前处理模块还针对该主校正图像进行图像装箱处理，以产生装箱主校正图像，又针对该副校正图像进行图像裁剪处理，以产生裁剪副校正图像，以及分别设定该装箱主校正图像以及该裁剪副校正图像为该主校正图像以及该副校正图像，其中该装箱主校正图像与该裁剪副校正图像的尺寸相同。

17.根据权利要求16所述的图像获取装置，其特征在于，当该缩放倍率介于1与该主副图像倍率之间时，该图像缩放变形模块根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像，又根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像，以及根据各所述像素位移特性以及各所述像素深度信息，分别针对该放大后的主校正图像以及该缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

18.根据权利要求12所述的图像获取装置，其特征在于，该主镜头与该副镜头具有相同的拍摄视角以及不同的变形程度，该主镜头的变形程度远小于该副镜头的变形程度，而该图像前处理模块还针对该副校正图像的中心区域进行图像裁剪处理，以产生裁剪副校正图像，并且设定该裁剪副校正图像为该副校正图像。

19.根据权利要求18所述的图像获取装置，其特征在于，当该缩放倍率介于1与该主副图像倍率之间时，该图像缩放变形模块根据该缩放倍率，放大该主校正图像，以产生放大后的主校正图像，又根据该缩放倍率，缩小该副校正图像，以产生缩小后的副校正图像，以及根据各所述像素位移特性信息以及各所述像素深度信息，分别针对该放大后的主校正图像以及该放大缩小后的副校正图像进行图像形变处理，以产生该主形变图像以及该副形变图像。

20.根据权利要求12所述的图像获取装置，其特征在于，该图像融合模块根据该缩放倍率，设定分别对应于该主形变图像以及该副形变图像的第一权重以及第二权重，又以该第一权重与该第二权重，融合该主形变图像与该副形变图像的该重叠区域，以产生融合重叠区域，以及以该融合重叠区域取代位于该主形变图像的该重叠区域，以产生该数字变焦图像。

21.根据权利要求12所述的图像获取装置，其特征在于，当该缩放倍率大于该主副图像倍率时，该图像缩放变形模块还根据该缩放倍率，放大该副校正图像，以产生放大后的副校正图像，又根据各所述像素位移特性以及各所述像素深度信息，针对该放大后的副校正图像进行图像形变处理，以产生该副形变图像，以及设定该副形变图像为该数字变焦图像。

22.根据权利要求12所述的图像获取装置，其特征在于，当该缩放倍率小于1时，该图像缩放变形模块还根据该缩放倍率，缩小该主校正图像，以产生缩小后的主校正图像，又根据各所述像素位移特性以及各所述像素深度信息，针对该缩小后的主校正图像进行图像形变处理，以产生该主形变图像，以及设定该主形变图像为该数字变焦图像。