CN103095977A - 影像撷取方法及应用其的影像处理系统及影像撷取装置 - Google Patents

Abstract

一种影像撷取方法及应用其的影像处理系统及影像撷取装置，影像处理方法应用于影像撷取装置中，其中包括下列步骤。首先找出影像撷取装置中一影像撷取模块所提供的多笔摄像参数。接着根据此些摄像参数找出多笔超解析参数。然后经由影像撷取模块找出撷取影像。之后根据此些超解析参数来针对撷取影像执行超解析运算。

Description

影像撷取方法及应用其的影像处理系统及影像撷取装置

技术领域

本发明涉及一种影像处理方法及应用其的影像处理系统与影像撷取装置，且特别涉及一种可响应于摄像参数的改变来调整超解析(Super Resolution)操作的影像处理方法及应用其的影像处理系统与影像撷取装置。

可自动化地进行高动态范围影像合成操作的影像撷取方法及应用其的影像撷取装置。

背景技术

消费性数字影像撷取装置，例如是数字相机、数字单眼相机(Digital SingleLens Reflex Camera，DSLR)、数字录像机(Digital Video Recorder)及其它具有拍摄单元的手持式装置，已广泛地被市场所接受。一般来说，可交换影像文件(Exchangeable Image File Format，EXIF)为广泛应用于数字相机、智能型手机、扫描仪及其它手持式影音技术器中的数据格式，以对应地指示拍摄条件信息。

然而，现有技术并未提供任何可参考可交换影像文件信息，来提升前述各种影像撷取装置的影像处理效能的技术。据此，如何设计出可参考可交换影像文件信息来提升影像撷取装置的影像处理效能的影像处理方法为业界不断致力的方向之一。

发明内容

本发明的目的在于提供一种影像处理方法及应用其的影像处理系统与影像撷取装置，其是应用于影像处理系统及影像撷取装置中。本发明相关的影像处理方法首先自影像撷取装置的影像撷取模块中找出摄像参数，并对应地据以找出超解析(Super Resolution)参数。接着，本发明相关的影像处理方法还对应地根据前述超解析参数来针对撷取影像执行超解析处理。据此，相较于传统影像处理方法，本发明相关的影像处理方法及应用其的影像处理系统与影像撷取装置具有可有效地参考摄像参数来调整超解析影像处理操作的优点。

根据本发明的第一方面，提出一种影像撷取装置，其中包括一影像撷取模块及影像处理系统，影像撷取模块撷取影像。影像处理系统包括参数单元、控制单元及超解析单元。参数单元耦接至影像撷取模块，以找出影像撷取模块提供的多笔摄像参数。控制单元接收此些摄像参数，并找出多笔超解析参数。超解析单元接收撷取影像，并根据控制单元提供的此些超解析参数来对撷取影像进行超解析运算操作。

根据本发明的第二方面，提出一种影像处理方法，应用于一可撷取影像的电子装置，其中包括下列步骤。首先定义一影像撷取模块所提供的多笔摄像参数。接着根据此些摄像参数定义至少一笔超解析参数。然后经由影像撷取模块找出撷取影像。之后根据此些超解析参数对撷取影像执行超解析运算。

根据本发明的第三方面，提出一种影像处理系统，应用于电子装置，其中电子装置包括数字传感器。影像处理系统包括参数单元、控制单元及超解析单元。参数单元耦接至一影像撷取模块，以找出至少一笔摄像参数。控制单元接收此些摄像参数，并找出多笔超解析参数。超解析单元根据此些超解析参数对一影像进行超解析运算操作。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1绘示本发明实施例的影像撷取装置的方框图；

图2绘示可交换影像文件参数Pa的示意图；

图3绘示乃控制单元220的详细方框图；

图4绘示乃可交换影像文件数据库子单元220a的示意图；

图5绘示乃超解析单元230的详细方框图；

图6A及图6B绘示乃超解析单元230的相关信号的频率响应示意图；

图7绘示依照本发明实施例的影像处理方法的流程图。

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

请参照图1，其绘示本发明实施例的影像撷取装置的方框图。影像撷取装置1包括影像撷取模块10及影像处理系统20。举例来说，影像撷取装置1为数字相机，而影像撷取模块10包括镜头单元、快门单元及数字影像传感器。据此，影像撷取装置1可对应地撷取撷取影像Ic。

影像处理系统20接收撷取影像Ic，并对其进行影像处理。影像处理系统20包括参数单元210、控制单元220及超解析(Super Resolution)单元230。参数单元210耦接至影像撷取模块10，以找出影像撷取模块10提供的多笔摄像参数。举例来说，参数单元210包括可交换影像文件(Exchangeable Image FileFormat，EXIF)参数撷取子单元210a，而参数单元210找出的摄像参数为可交换影像文件参数Pa。换言之，可交换影像文件参数Pa是被参数单元210应用来做为摄像参数。

请参照图2，其绘示可交换影像文件参数Pa的示意图。举例来说，可交换影像文件参数Pa包括对应至撷取影像Ic的曝光时间、F值(光圈数值)、感光度设定值(ISO数值)、快门速度、镜头焦长、数字变焦比例、对焦距离等等。影像撷取装置1还包括全球定位系统(Global Positioning System，GPS)单元30，耦接至可交换影像文件参数撷取子单元210a，以提供全球定位系统参数，如此全球定位系统参数也包括于可交换影像文件参数Pa中。

控制单元220接收可交换影像文件参数Pa，并找出多笔超解析参数Pb。超解析单元230接收撷取影像Ic，且根据控制单元220提供的超解析参数Pb，来针对撷取影像Ic执行超解析操作，以对应地找出处理后的撷取影像Ic′。据此，影像撷取装置1可有效地参考摄像参数来执行超解析操作。接下来，列举操作实例，来针对影像撷取装置1中的各单元的操作提供进一步的说明。

请参照图3，其绘示乃控制单元220的详细方框图。举例来说，控制单元220包括可交换影像文件数据库子单元220a及可交换影像文件控制子单元220b。可交换影像文件数据库子单元220a包括多个数据字段分别与可交换影像文件参数Pa对应，各数据字段储存至少一超解析影像处理方案。可交换影像文件控制子单元220b接收可交换影像文件参数撷取子单元210a提供的可交换影像文件参数Pa，并据以查询可交换影像文件数据库子单元220a，以找出选取超解析影像处理方案及其对应的多笔选取超解析参数Pb。

请参照图4，其绘示乃可交换影像文件数据库子单元220a的示意图。举例来说，可交换影像文件参数中的「曝光时间」是对应至短曝光时间影像处理方案及长曝光时间影像处理方案。当可交换影像文件参数Pa指示一暗背景条件(例如是曝光时间大于1/60秒时对应的条件)时，对应找出的长曝光时间影像处理方案对应至锐化频率峰值(Sharpness Frequency Peak)降低、高频噪声抹除(High Frequency Noise Reduction)提高及波形还原(Waveform Restoration)提高的超解析运算操作。

相对地，当可交换影像文件参数Pa指示一亮背景条件(例如是曝光时间小于1/60秒时对应的条件)时，对应找出的短曝光时间影像处理方案对应至锐化频率峰值提高、高频噪声抹除降低及波形还原降低的超解析运算操作。据此，控制单元220可经由参考可交换影像文件参数中的「曝光时间」，来选择性地执行长曝光时间或短曝光时间影像处理方案，并提供对应的超解析参数Pb。

相似地，各个「F数值」、「ISO数值」、「快门速度」及「光圈数值」等可交换影像文件参数，也可选择性地对应至小光圈/大光圈影像处理方案其中的一、低ISO/高ISO影像处理方案其中的一及慢速快门/高速快门影像处理方案其中的一。据此，控制单元220可参考前述的各个可交换影像文件参数来找出对应的超解析参数Pb。

在另一个例子中，可交换影像文件参数「镜头焦长(Focal Length)/对焦距离(Focus Distance)」对应至长焦长/近焦距影像处理方案、长焦长/远焦距影像处理方案、短焦长/近焦距影像处理方案及短焦长/远焦距影像处理方案其中之一。举例来说，50厘米(Millimeter)为镜头焦长的临界值，而100公分(Centimeter)为对焦距离的临界值。当可交换影像文件参数Pa指示长于50mm的镜头焦长及近于100cm的对焦距离时，对应找出的长焦长/近焦距影像处理方案对应至省略撷取影像的背景部分处理操作、锐化频率峰值降低及波形还原降低的超解析运算操作。

当可交换影像文件参数Pa指示长于50mm的镜头焦长及远于100cm的对焦距离时，对应找出的长焦长/远焦距影像处理方案对应地至锐化频率峰值降低的超解析运算操作。当可交换影像文件参数Pa指示短于50mm的镜头焦长及近于100cm的对焦距离时，对应找出的短焦长/近焦距影像处理方案对应至锐化频率峰值提高及波形还原降低的超解析运算操作。当可交换影像文件参数Pa指示短于50mm的镜头焦长及远于100cm的对焦距离时，对应找出的短焦长/远焦距影像处理方案对应至锐化频率峰值提高及波形还原降低的超解析运算操作。

在再一个例子中，可交换影像文件参数「数字变焦比例」对应至高数字变焦影像处理方案及低数字变焦影像处理方案。当可交换影像文件参数Pa指示撷取影像Ic对应至高数字变焦设定时，对应取得的超解析影像处理方案对应至锐化频率峰值降低、高频噪声抹除提高及波形还原提高的超解析运算操作。当可交换影像文件参数Pa指示撷取影像Ic对应至低数字变焦设定时，对应取得的超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除降低及波形还原降低的超解析运算操作。

在再一个例子中，可交换影像文件参数「全球定位系统」对应至人工环境超解析影像处理方案及自然环境超解析影像处理方案。当可交换影像文件参数Pa指示影像撷取装置1处于人工场景(例如是在大都会环境中)时，对应取得的超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除提高及波形还原提高的超解析运算操作。相对地，当可交换影像文件参数Pa指示影像撷取装置1处于自然场景(例如是自然环境中)时，对应取得的超解析影像处理方案对应至锐化频率峰值降低、高频噪声抹除降低及波形还原降低的超解析运算操作。

在再一个例子中，可交换影像文件参数「微距」对应至微距超解析影像处理方案及非微距超解析影像处理方案。当可交换影像文件参数Pa指示影像撷取装置1操作于微距拍摄模式时，对应取得的超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除提高及波形还原提高的超解析运算操作。相对地，当可交换影像文件参数Pa指示影像撷取装置1处于自然场景(例如是自然环境中)时，对应取得的超解析影像处理方案对应至省略撷取影像的背景部分处理操作及锐化频率峰值降低的超解析运算操作。相对地，当可交换影像文件参数Pa指示影像撷取装置1操作于非微距拍摄模式时，对应取得的超解析影像处理方案对应至锐化频率峰值提高的超解析运算操作。

综合以上，控制单元220可参考前述各可交换影像文件参数Pa，来找出对应的超解析影像处理方案及其对应的超解析参数Pb。

请参照图5，其绘示乃超解析单元230的详细方框图。举例来说，超解析参数Pb包括锐化控制参数Cont1及增益参数Gain1、高频噪声抹除控制参数Cont2增益参数Gain2与波形还原控制参数Cont3及增益参数Gain3。在这样子的例子中，超解析单元230包括锐化控制子单元u1、噪声抹除控制子单元u2及波形还原控制子单元u3，其分别受控于锐化、噪声抹除及波形还原控制参数Cont1至Cont3。超解析单元230还包括锐化增益子单元u4、噪声抹除增益子单元u5及波形还原增益子单元u6，其分别受控于锐化、噪声抹除及波形还原增益参数Gain1至Gain3。超解析单元230还例如包括混合子单元u7，耦接至增益控制子单元u4至u6。混合子单元u7接收并对应地混和增益控制子单元u4至u6的输出信号，以得到处理后的撷取影像Ic′。

请参照图6A及图6B，其绘示乃超解析单元230的相关信号的频率响应示意图。举例来说，图6A及图6B绘示锐化控制单元(包括锐化控制子单元u1及锐化增益子单元u4)的频率响应。进一步的说，曲线500、600及700分别绘示撷取影像Ic(输入信号)、处理后的撷取影像Ic′(输出信号)及锐化控制单元的增益曲线。相似地，曲线510、610及710分别绘示撷取影像Ic(输入信号)、处理后的撷取影像Ic′(输出信号)及锐化控制单元的增益曲线。举例来说，增益曲线700及710是根据具有不同数值的锐化增益参数Gain1及不同的锐化频率峰值f_A及f_B来决定。

在一个例子中，影像处理系统20还包括影像处理单元240，其用以执行动态迦玛曲线调整(Active Gamma Curve Control，ALC)及自动白平衡(AutoWhite balance，AWB)处理操作。举例来说，影像处理系统20包括处理子单元240a及控制子单元240b，其中控制子单元240b提供ACL及AWB处理信息至参数单元210，如此，此些信息(例如包括色温及迦玛转换曲线等)也可被包含在可交换影像文件参数Pa中。

在一个例子中，影像撷取装置1还包括编码器40、多任务器50及储存单元60，其分别执行影像储存格式(例如是JPEG格式)编码、将可交换影像文件参数Pa整合至JPEG文件中及将处理后的影像文件储存在储存媒体(例如是记忆卡)中。

请参照图7，其绘示依照本发明实施例的影像处理方法的流程图。本实施例的影像处理方法首先执行步骤(a)，于其中参数单元210定义影像撷取模块10提供的摄像参数，其例如包括可交换影像文件参数Pa。接着，本实施例的影像处理方法执行步骤(b)，于其中控制单元220根据前述摄像参数定义至少一笔超解析参数Pb。然后本实施例的影像处理方法执行步骤(c)，于其中影像撷取模块10取得撷取影像Ic。本实施例的影像处理方法之后如步骤(d)，于其中超解析单元230接收撷取影像Ic，并根据超解析参数Pb对其进行超解析操作。

本实施例的影像处理方法首先自影像撷取装置的影像撷取模块中找出摄像参数，并对应地据以找出超解析参数。接着，本实施例的影像处理方法还对应地根据前述超解析参数来针对撷取影像执行超解析处理。据此，相较于传统影像处理方法，本实施例的影像处理方法及应用其的影像处理系统与影像撷取装置具有可有效地参考摄像参数来调整超解析影像处理操作的优点。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (16)

1.一种影像撷取装置，其特征在于，包括：

一影像撷取模块，用以撷取一撷取影像；以及

一影像处理系统，包括：

一参数单元，耦接至该影像撷取模块，以找出该影像撷取模块提供的多笔摄像参数；

一控制单元，接收该些摄像参数，并找出多笔超解析参数；及

一超解析单元，接收该撷取影像，并根据该控制单元提供的该些超解析参数来对该撷取影像进行超解析运算操作。

2.根据权利要求1所述的影像撷取装置，其特征在于，该参数单元还包括一可交换影像文件参数撷取子单元，用以找出该撷取影像的多笔可交换影像文件参数，藉此找出该些摄像参数，其中该控制单元还包括：

一可交换影像文件数据库子单元，包括多笔数据字段分别与该些可交换影像文件参数对应，各该些数据字段储存至少一超解析影像处理方案；及

一可交换影像文件控制子单元，接收该可交换影像文件参数撷取子单元提供的该些可交换影像文件参数，并对应地查询该可交换影像文件数据库子单元，以找出一选取超解析影像处理方案及其对应的多笔选取超解析参数。

3.根据权利要求2所述的影像撷取装置，其特征在于，当该些可交换影像文件参数指示一暗背景条件时，该选取超解析影像处理方案对应至锐化频率峰值降低、高频噪声抹除提高及波形还原提高的超解析运算操作；

其中，当该些可交换影像文件参数指示一亮背景条件时，该选取超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除降低及波形还原降低的超解析运算操作。

4.根据权利要求3所述的影像撷取装置，其特征在于，该暗背景条件根据该撷取影像的一曝光时间、一光圈数值、一快门速度及该影像撷取装置的一数字传感器的感度值来决定。

5.根据权利要求2所述的影像撷取装置，其特征在于，当该可交换影像文件参数指示一长焦长及近焦距条件时，该选取超解析影像处理方案对应至省略该撷取影像的背景部分处理操作、锐化频率峰值降低及波形还原降低的超解析运算操作。

6.根据权利要求2所述的影像撷取装置，其特征在于，当该可交换影像文件参数指示一长焦长及远焦距条件时，该选取超解析影像处理方案对应至锐化频率峰值降低的超解析运算操作。

7.根据权利要求2所述的影像撷取装置，其特征在于，当该可交换影像文件参数指示一短焦长及近焦距条件时，该选取超解析影像处理方案对应至锐化频率峰值提高及波形还原降低的超解析运算操作。

8.根据权利要求2所述的影像撷取装置，其特征在于，当该可交换影像文件参数指示一短焦长及远焦距条件时，该选取超解析影像处理方案对应至锐化频率峰值提高的超解析运算操作。

9.根据权利要求2所述的影像撷取装置，其特征在于，当该可交换影像文件参数指示该撷取影像对应至一高数字变焦设定时，该选取超解析影像处理方案对应至锐化频率峰值降低、高频噪声抹除提高及波形还原提高的超解析运算操作；

其中，当该可交换影像文件参数指示该撷取影像对应至一低数字变焦设定时，该选取超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除降低及波形还原降低的超解析运算操作。

10.根据权利要求1所述的影像撷取装置，其特征在于，该参数单元还包括一全球定位系统参数撷取子单元，用以找出指示该影像撷取装置位置的多笔全球定位系统参数，藉此找出该些摄像参数，其中该控制单元还包括：

一全球定位系统数据库子单元，包括多笔数据字段分别与指示多个拍摄位置信息的该些全球定位系统参数对应，各该些数据字段储存至少一超解析影像处理方案；及

一全球定位系统控制子单元，接收该全球定位系统参数撷取子单元提供的该些全球定位系统参数，并对应地查询该全球定位系统数据库子单元，以找出一选取超解析影像处理方案及其对应的多笔选取超解析参数。

11.根据权利要求10所述的影像撷取装置，其特征在于，当该全球定位系统参数指示该影像撷取装置处于一城市环境时，该选取超解析影像处理方案对应至锐化频率峰值提高、高频噪声抹除提高及波形还原提高的超解析运算操作。

12.根据权利要求10所述的影像撷取装置，其特征在于，当该全球定位系统参数指示该影像撷取装置处于一自然景观环境时，该选取超解析影像处理方案对应至锐化频率峰值降低、高频噪声抹除降低及波形还原降低的超解析运算操作。

13.一种影像处理方法，应用于一可撷取影像的电子装置，其特征在于，包括：

定义一影像撷取模块所提供的多笔摄像参数；

根据该些摄像参数定义至少一笔超解析参数；

经由该影像撷取模块撷取一撷取影像；以及

根据该些超解析参数，对该撷取影像执行一超解析运算。

14.根据权利要求13所述的影像处理方法，其特征在于，找出该些摄像参数的步骤还包括：

应用一可交换影像文件参数撷取子单元来找出该撷取影像对应的多笔可交换影像文件参数，藉此定义该些摄像参数；

建立一可交换影像文件数据库子单元，其中包括多笔数据字段分别与该些可交换影像文件参数对应，各该些数据字段储存至少一超解析影像处理方案；及

根据该可交换影像文件参数撷取子单元提供的该些可交换影像文件参数来查询该可交换影像文件数据库子单元，以找出一选取超解析影像处理方案及其对应的多笔选取超解析参数。

15.根据权利要求13所述的影像处理方法，其特征在于，找出该些摄像参数的步骤还包括：

应用一全球定位系统参数撷取子单元，来找出指示该影像撷取装置位置的多笔全球定位系统参数，藉此找出该些摄像参数；

建立一全球定位系统数据库子单元，其中包括多笔数据字段分别与指示多个拍摄位置信息的该些全球定位系统参数对应，各该些数据字段储存至少一超解析影像处理方案；及

根据该全球定位系统参数撷取子单元提供的该些全球定位系统参数查询该全球定位系统数据库子单元，以找出一选取超解析影像处理方案及其对应的多笔选取超解析参数。

16.一种影像处理系统，应用于一电子装置，其中该电子装置包括一数字传感器，其特征在于，该影像处理系统包括：

一参数单元，耦接至一影像撷取模块，以找出至少一笔摄像参数；

一控制单元，接收该些摄像参数，并确定多笔超解析参数；以及

一超解析单元，根据该些超解析参数对一影像进行运算。

Images