CN105491278B - 影像撷取装置及数字变焦显示方法 - Google Patents

Abstract

本发明提供一种影像撷取装置及数字变焦显示方法，影像撷取装置装置包含二镜头模块、预览处理单元、特征撷取单元、影像缩放及变形单元及影像融合单元。二镜头模块的摄影范围大致相等，各撷取第一影像及第二影像。预览处理单元根据显示单元的分辨率对第一影像降取样以产生第三影像，并根据第三影像的大小由第二影像裁切出第四影像。特征撷取单元产生第三影像及第四影像之间的像素位移特征。影像缩放及变形单元将第三影像及第四影像根据像素位移特征及缩放比例产生第五影像及第六影像，供影像融合单元依据缩放比例融合而产生结合影像并显示于显示单元。本发明可有效地降低数字变焦于显示时造成的模糊失真及提供流畅的数字变焦的长短焦段变化。

Description

影像撷取装置及数字变焦显示方法

技术领域

本发明是有关于一种数字变焦技术，特别是有关于一种利用多个镜头来提高数字变焦显示质量的影像撷取装置及数字变焦显示方法。

背景技术

与光学变焦技术相比，数字变焦技术不须额外的光学机构，以有利于相机轻薄化以及降低成本。然而，数字变焦技术也有其待解决的问题。由于数字影像放大后并无法增加影像细节，所以会造成放大倍率越高影像越模糊失真的现象。

如果摄像装置的屏幕的分辨率低于摄像镜头的分辨率时，当影像预览时，摄像装置大多会把所撷取的影像进行降取样以符合屏幕的分辨率。如此，当用户在预览影像时进行缩放，则数字变焦技术所造成的模糊失真会更明显。

发明内容

有鉴于上述问题，本发明的目的提供一种影像撷取装置及数字变焦显示方法，其利用多镜头以避免数字变焦时产生的细节模糊现象。

基于上述目的，本发明提供一种影像撷取装置，影像撷取装置包含第一镜头模块、第二镜头模块、预览处理单元、特征撷取单元、影像缩放及变形单元及影像融合单元。第一镜头模块可撷取第一影像。第二镜头模块可撷取第二影像，且第二镜头模块的一摄影范围大致等于第一镜头模块。预览处理单元可根据显示单元的分辨率对第一影像进行降取样以产生第三影像，并根据第三影像的分辨率大小从第二影像裁切出相同大小的第四影像。特征撷取单元可撷取第三影像的多个第一影像特征以及第四影像中的多个第二影像特征，并根据多个第一影像特征及多个第二影像特征产生第三影像及第四影像之间的像素位移特征。影像缩放及变形单元用以当影像缩放及变形单元根据缩放比例缩放第三影像以产生第五影像时时，影像缩放及变形单元将第四影像根据像素位移特征及缩放比例以产生第六影像；第六影像的视角及摄影范围近似于第五影像的中央区域。影像融合单元依据缩放比例融合第五影像及第六影像以产生结合影像，并将结合影像显示于显示单元上。

优选地，特征撷取单元自动进行多个第一影像特征与多个第二影像特征的比对与匹配以产生像素位移特征。

优选地，影像融合单元更依据一动态加权方式以融合第五影像及第六影像；动态加权方式依据缩放比例与第五影像的多个第一像素的位置及第六影像的多个第二像素的位置，以自动决定多个第一像素及多个第二像素的权重值。

基于上述目的，本发明再提供一种数字变焦显示方法，其适用于具有第一镜头模块、第二镜头模块、输入单元、显示单元、特征撷取单元、影像缩放及变形单元、影像融合单元以及预览处理单元的影像撷取装置。其中，第二镜头模块的一摄影范围大致等于第一镜头模块。数字变焦显示方法包含下列步骤：(a)使用第一镜头模块以及第二镜头模块分别撷取第一影像以及第二影像。(b)使用预览处理单元根据显示单元的分辨率对第一影像进行降取样以产生第三影像，并根据第三影像的分辨率大小从第二影像中裁切出相同的第四影像。(c)使用特征撷取单元撷取第三影像的多个第一影像特征以及第四影像中的多个第二影像特征，并根据多个第一影像特征及多个第二影像特征产生第三影像及第四影像之间的像素位移特征。(d)经由输入单元接收缩放比例，并由影像缩放及变形单元根据缩放比例缩放第三影像以产生第五影像，再根据像素位移特征及缩放比例以缩放并变形第四影像以产生第六影像；其中，第六影像的视角及摄影范围近似于第五影像的中央区域。以及(e)使用影像融合单元依据缩放比例融合第五影像与第六影像以产生结合影像，并显示结合影像至显示单元上。

优选地，像素位移特征由自动比对与匹配多个第一影像特征与多个第二影像特征而产生。

优选地，步骤(e)更包含:依据一动态加权方式以融合第五影像及第六影像；动态加权方式依据缩放比例与第五影像的多个第一像素的位置及第六影像的多个第二像素的位置，以自动决定多个第一像素及多个第二像素的权重值。

承上所述，依本发明的影像撷取装置及数字变焦显示方法，其可具有一或多个下述优点：

第一，本发明的影像撷取装置及数字变焦显示方法可有效地降低数字变焦于显示时造成的模糊失真。

第二，本发明的影像撷取装置及数字变焦显示方法可提供流畅的数字变焦的长短焦段变化。

附图说明

本发明的上述及其他特征及优势将藉由参照附图详细说明其例示性实施例而变得更显而易知，其中：

图1为根据本发明实施例的影像撷取装置的方块图。

图2为根据本发明实施例的影像撷取装置的第一示意图。

图3为根据本发明实施例的影像撷取装置的第二示意图。

图4为本发明实施例的数字变焦显示方法的流程图。

符号说明

10 第一镜头模块

11 第一影像

12 第三影像

20 第二镜头模块

21 第二影像

22 第四影像

30 特征撷取单元

31 影像特征

32、321 对应区域

33 像素位移特征

34 中央区域

40 影像缩放及变形单元

41 缩放比例

42 第五影像

43 第六影像

50 影像融合单元

53 结合影像

60 输入单元

70 显示单元

71 显示尺寸

80 影像撷取装置

90 预览处理单元

S11～S15 步骤

具体实施方式

于此使用，词汇“与/或”包含一或多个相关条列项目的任何或所有组合。当“至少其一”的叙述前缀于一组件列表前时，为修饰整个列表组件而非修饰列表中的个别组件。

参阅图1，其为根据本发明的实施例的影像撷取装置的方块图。图中，影像撷取装置80包含一第一镜头模块10、一第二镜头模块20、一特征撷取单元30、一影像缩放及变形单元40、一影像融合单元50以及一预览处理单元90。本发明的影像撷取装置80，第一镜头模块10与第二镜头模块20设置在影像撷取装置80的同一侧上并朝向同一方向。

特征撷取单元30、影像缩放及变形单元40、影像融合单元50以及预览处理单元90可为影像撷取装置80内的处理单元以软件方式执行，例如特征撷取单元30、影像缩放及变形单元40、影像融合单元50或是预览处理单元90分别为处理单元可执行的程序代码；或是以硬件方式执行，特征撷取单元30、影像缩放及变形单元40、影像融合单元50或是预览处理单元90分别为处理单元内的特定电路；或是以软件以及硬件混合搭配执行，例如部分单元以软件方式执行，而部分单元以硬件方式执行。此外，影像撷取装置80另外包含输入单元60以及显示单元70。

第一镜头模块10可撷取第一影像11。第二镜头模块20可撷取第二影像21，第二镜头模块20的一摄影范围大致等于第一镜头模块10，且第二镜头模块20的一视角大致等于第一镜头模块10。实施上，第一镜头模块10以及第二镜头模块20分别包含一取像镜头以及一影像传感器，第一镜头模块10的取像镜头的取像角度范围大致等于第二镜头模块20的取像镜头的取像角度范围，且第一影像11及第二影像21包含有相同的影像特征。

上述影像传感器可包含使用感光耦合组件(Charge-coupled Device；CCD)或是使用互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor；CMOS)的影像传感器。

请同时参阅图2与图3，其分别为根据本发明实施例的影像撷取装置的第一示意图及第二示意图。因为第一影像11或第二影像21的分辨率大于显示单元70，所以当用户欲预览影像时，必须先对第一影像11或第二影像21做降取样处理，使其能够在显示单元70上显示。以第一影像11为例，预览处理单元90根据显示单元70的分辨率对第一影像11进行降取样以产生一第三影像12。如图2的(C)部分所示，图中所绘示的第三影像12的尺寸对应显示单元70的尺寸，用以表示显示单元70的尺寸或分辨率是小于第一影像11。另外，值得一提的是，第一影像11及第二影像21同时包含有相同的影像特征31，如图2的(A)与(B)部分所示。

接着，预览处理单元90根据第三影像12的分辨率大小从第二影像21中裁切出相同大小的一第四影像22，如图2的(D)部分所示。由比较图2的(C)部分与(D)部分可得知，由于没有经过降取样的处理，预览处理单元90输出的第四影像22的影像视野较窄，但是在相同景色上有更多的影像细节，亦即影像特征31可以看得更清楚。

其次，再由特征撷取单元30分别撷取第三影像12中的多个第一影像特征及第四影像22中的多个第二影像特征，并根据此多个第一影像特征及多个第二影像特征产生第三影像12与第四影像22间的一像素位移特征33。如图3所示，图中(A)部份绘示第三影像12，(B)部份绘示第四影像22，因为第一镜头模块10与第二镜头模块20设置在影像撷取装置80的同一侧上，且朝向同一方向，所以虽然视角略有不同，但是中间区域所撷取的景色大致上是相同的，因此可透过影像特征萃取以及影像特征比对的手段判断出第四影像22在第三影像12内的一对应区域32。

影像缩放及变形单元40可根据输入单元60提供的缩放比例41(Zoom in factor)分别缩放及调整第三影像12及第四影像22。此缩放比例41可由用户在影像撷取装置80的输入单元60上，如相机的触控屏幕或是智能型手机的触控屏幕，利用手指在输入单元60上的滑动来控制缩放比例41。之后，再由影像缩放及变形单元40根据此缩放比例41对第三影像12及第四影像22进行缩放及变形，以分别产生一第五影像42及一第六影像43，如图3的(C)及(D)部分所示。实施上，输入单元60除了触控模块之外，亦可以包含一按键组，如键盘。

详细地说，当影像缩放及变形单元40根据缩放比例41对第三影像12进行缩放以产生第五影像42时，此时影像缩放及变形单元40亦同时对第四影像22进行一缩放变形处理，其利用像素位移特征33及所设定的缩放比例41以产生一第六影像43，其中此第六影像43的摄影范围近似于第五影像42的中央区域34，如图3的(C)及(D)部分所示。进一步的举例，当使用者透过缩放比例41来放大第三影像12为1.1倍(此时，所形成的第五影像42大于显示单元70的一显示尺寸71)，并将第四影像22缩小至约0.5倍以形成第六影像43，由特征撷取单元30撷取第五影像42及第六影像43中所相对应的影像特征(如在第三影像12中的第一影像特征以及在第四影像22中的第二影像特征)来进行变形调整，使第六影像43的对应区域321可以与第五影像42的对应区域32进行对齐，其对齐方式可以利用对应区域的像素坐标来进行彼此对齐。

接着，影像融合单元50可以再根据输入单元60所提供的缩放比例41，决定在影像融合过程(blending)中第五影像42及第六影像43所占的权重，亦即此两张影像的融合权重，并对第五影像42及第六影像43进行影像融合，以产生一结合影像53，如图3的(E)部份所示。举例来说，当缩放比例41为1.1时，第五影像42所占的权重为0.9，而第六影像43所占的权重为0.1；当缩放比例41为1.8时，第五影像42所占的权重为0.2，而第六影像43所占的权重为0.8。

更进一步地，一动态加权方式可以被实施于影像融合单元50中以融合第五影像42及第六影像43，此动态加权方式可依据缩放比例41、第五影像42中的多个第一像素的位置及第六影像43中的多个第二像素的位置以自动决定多个第一像素及多个第二像素的权重值，再根据此权重值以决定第五影像42及第六影像43在进行融合时所占的权重比例。

最后，再将此结合影像53显示于显示单元70上，让用户可以透过此显示单元70清晰地看见所拍摄的影像。

综上所述，使用两个相同视野范围的镜头的影像撷取装置在预览时，可以根据缩放比例41选择性产生结合影像53，藉此以降低数字变焦在显示时造成的模糊失真，同时兼顾数字变焦在长短焦段切换的流畅感。

请参阅图4，其根据本发明实施例的数字变焦显示方法的流程图。图中，数字变焦显示方法适用于具有第一镜头模块10、第二镜头模块20、特征撷取单元30、影像缩放及变形单元40、影像融合单元50、输入单元60、显示单元70以及一预览处理单元90的影像撷取装置80，其中此第二镜头模块20的摄影范围大致上等于第一镜头模块10。数字变焦显示方法搭配图1进行说明，包含下列步骤。

在步骤S11，使用第一镜头模块10以及第二镜头模块20分别撷取一第一影像11以及一第二影像21。由于第一镜头模块10及第二镜头模块20是设置在影像撷取装置80的同一侧且朝向同一方向，故两者所撷取出的第一影像11及第二影像21的中间区域的景色是大致相同，且第一影像11及第二影像21可包含有相同的影像特征31。其中值得注意的是，此第一影像11及第二影像21的分辨率大于显示单元70。

在步骤S12，使用预览处理单元90根据显示单元70的分辨率对第一影像11进行降取样以产生一第三影像12，并根据第三影像12的分辨率大小从第二影像21中裁切出一相同大小的第四影像22。

在步骤S13，使用特征撷取单元30撷取第三影像12的多个第一影像特征以及第四影像22中的多个第二影像特征，并根据此多个第一影像特征及多个第二影像特征，产生第三影像12及第四影像22间的一像素位移特征33。

在步骤S14，经由输入单元60接收一缩放比例41，由影像缩放及变形单元40根据缩放比例41缩放第三影像12以产生一第五影像42，再根据像素位移特征33及缩放比例41对第四影像22进行缩放或变形，以产生一第六影像43。其中经过缩放或变形的第六影像43的摄影范围近似于第五影像42的中间区域的影像范围。

进一步地说明，此影像缩放及变形单元40可利用特征撷取单元30撷取第五影像42及第六影像43所对应的影像特征，来进行变形调整，使第五影像42及第六影像43彼此相对应的区域可以对齐。

在步骤S15，使用影像融合单元50依据缩放比例41融合第五影像42与第六影像43以产生一结合影像53，并显示结合影像53至显示单元70上。其中，此结合影像53的清晰度高于第六影像43，如此可降低数字变焦在显示时造成的模糊失真。

其中，在步骤S15中更可包含依据一动态加权方式以融合第五影像42及第六影像43，其中此动态加权方式可依据缩放比例41与第五影像42的多个第一像素的位置及第六影像43的多个第二像素的位置以自动决定多个第一像素及多个第二像素的权重值。

透过本发明的数字变焦显示方法，于预览影像时，可以根据缩放比例选择性产生结合影像，藉此以降低数字变焦在显示时造成的模糊失真，同时兼顾数字变焦在长短焦段切换的流畅感。

在优选的实施例的详细说明中所提出的具体实施例仅用以方便说明本发明的技术内容，而非将本发明狭义地限制于上述实施例，在不超出本发明的精神及所附的权利要求要书的情况，所做的种种变化实施，皆属于本发明的保护范围。

Claims (4)

1.一种影像撷取装置，其特征在于，所述影像撷取装置包含：

显示单元；

第一镜头模块，撷取第一影像；

第二镜头模块，撷取第二影像，所述第二镜头模块的摄影范围等于所述第一镜头模块；

预览处理单元，根据所述显示单元的分辨率对所述第一影像进行降取样以产生第三影像，并根据所述第三影像的分辨率大小从所述第二影像裁切出相同大小的一第四影像；

特征撷取单元，撷取所述第三影像的多个第一影像特征以及所述第四影像中的多个第二影像特征，并根据所述多个第一影像特征及所述多个第二影像特征产生所述第三影像及所述第四影像之间的像素位移特征；

影像缩放及变形单元，当所述影像缩放及变形单元根据经由输入单元接收的缩放比例缩放所述第三影像以产生第五影像时，所述影像缩放及变形单元将所述第四影像根据所述像素位移特征及所述缩放比例以产生第六影像，其中所述第六影像的视角及摄影范围等于所述第五影像的中央区域，其中根据所述缩放比例将所述第四影像缩放形成所述第六影像，并根据所述像素位移特征使所述第六影像的中央区域对齐所述第五影像的中央区域；以及

影像融合单元，依据所述缩放比例决定在影像融合过程中所述第五影像及所述第六影像所占的权重，并对所述第五影像及所述第六影像进行影像融合，以产生结合影像，并将所述结合影像显示于所述显示单元上，其中动态加权方式依据所述缩放比例、所述第五影像中的多个第一像素的位置及所述第六影像中的多个第二像素的位置以自动决定所述多个第一像素及所述多个第二像素的权重值，再根据所述权重值以决定所述第五影像及所述第六影像在进行融合时所占的权重比例。

2.如权利要求1所述的影像撷取装置，其特征在于，所述特征撷取单元自动进行所述多个第一影像特征与所述多个第二影像特征的比对与匹配以产生所述像素位移特征。

3.一种数字变焦显示方法，其特征在于，适用于具有第一镜头模块、第二镜头模块、输入单元、显示单元、特征撷取单元、影像缩放及变形单元、影像融合单元以及预览处理单元的影像撷取装置，所述第二镜头模块的摄影范围等于所述第一镜头模块，所述数字变焦显示方法包含：

(a)使用所述第一镜头模块以及所述第二镜头模块分别撷取第一影像以及第二影像；

(b)使用所述预览处理单元根据所述显示单元的分辨率对所述第一影像进行降取样以产生第三影像，并根据所述第三影像的分辨率大小从所述第二影像中裁切出相同大小的第四影像；

(c)使用所述特征撷取单元撷取所述第三影像的多个第一影像特征以及所述第四影像中的多个第二影像特征，并根据所述多个第一影像特征及所述多个第二影像特征产生所述第三影像及所述第四影像之间的像素位移特征；

(d)经由所述输入单元接收缩放比例，并由所述影像缩放及变形单元根据所述缩放比例缩放所述第三影像以产生第五影像，再根据所述像素位移特征及所述缩放比例以缩放并变形所述第四影像以产生第六影像，其中所述第六影像的视角及摄影范围等于所述第五影像的中央区域，其中根据所述缩放比例将所述第四影像缩放形成所述第六影像，并根据所述像素位移特征使所述第六影像的中央区域对齐所述第五影像的中央区域；以及

(e)使用所述影像融合单元依据所述缩放比例决定在影像融合过程中所述第五影像及所述第六影像所占的权重，并对所述第五影像及所述第六影像进行影像融合，以产生结合影像融合所述第五影像与所述第六影像以产生结合影像，并显示所述结合影像至所述显示单元上，其中动态加权方式依据所述缩放比例、所述第五影像中的多个第一像素的位置及所述第六影像中的多个第二像素的位置以自动决定所述多个第一像素及所述多个第二像素的权重值，再根据所述权重值以决定所述第五影像及所述第六影像在进行融合时所占的权重比例。

4.如权利要求3所述的数字变焦显示方法，其特征在于，所述像素位移特征由自动比对与匹配所述多个第一影像特征与所述多个第二影像特征而产生。