CN104103034A - 超分辨率图像处理方法及其图像处理装置 - Google Patents

Abstract

本发明提供一种超分辨率图像处理方法及其图像处理装置。此方法包括依据目标图像对多个未选择图像执行移动量估测。并根据相对应的区块是否有旋转而设定置信度，并对未选择图像分别执行移动校正，以产生校正后图像。依序对目标图像中的每一像素点与校正后图像中对应的每一像素点执行场景物体移动检测。参考置信度来设定多个物体移动指标。最后，依据物体移动指标对目标图像的各个像素点与校正后图像的各个像素点进行算术运算以产生超分辨率图像。

Description

超分辨率图像处理方法及其图像处理装置

技术领域

本发明涉及一种图像放大（image enlargement）技术，尤其涉及一种超分辨率图像处理方法及其图像处理装置。

背景技术

图像放大技术是图像处理中一项重要的研究方向。超分辨率图像放大方法是将多张低分辨率图像视为额外的信息，来估算出一张高分辨率图像。因此，超分辨率图像放大方法相较于利用单一图像来完成图像放大的方法有较好的图像品质。

现有的超分辨率研究大致可分为静态图像超分辨率和动态图像超分辨率两类。其中，动态图像超分辨率方法又可区分为三类：统计学方法、非均匀空间内插（non-uniform interpolation）方法以及迭代反投影法（iterativeback-projection）。详细地说，统计学方法是利用统计几率模型来求解并还原问题。非均匀空间内插方法以动态补偿的方式从多张低分辨率图像中找出互补的信息，进而重建高分辨率图像。迭代反投影法则利用迭代方式来重建高分辨率图像。

利用多张低分辨率图像进行混合以产生高分辨率图像最常见的副作用（side effect）即为鬼影（ghost）现象。第一类鬼影现象产生的主要原因是因为在拍摄多张图像时，场景中有物体在移动，因此多张图像进行混合时，移动的物体并不会校正在相同位置，所以混合后会产生鬼影现象。第二类鬼影现象产生的主要原因是因为在拍摄多张图像时，使用者手持图像检索装置时，因手持不稳（手振）使得图像检索装置不只产生位移还有旋转的情况发生，所以混合后会产生鬼影现象。

发明内容

本发明提供一种超分辨率图像处理方法及其图像处理装置，可利用多张动态图像序列进行混合以产生超分辨率图像，并且可避免第一类与第二类鬼影现象的问题。

本发明的超分辨率图像处理方法，用于处理多个源图像，其中，源图像其中之一作为目标图像，其余的源图像作为未选择图像。超分辨率图像处理方法包括下列步骤。依据目标图像对未选择图像执行移动量估测（motionestimation），根据相对应的区块是否有旋转而设定多个置信度（confidencevalue），并对未选择图像分别执行移动校正（motion correction），以产生多个校正后图像。依序对目标图像中的每一像素点与校正后图像中对应的每一像素点执行场景物体移动检测（local motion object detection）。并参考置信度来设定多个物体移动指标。最后，依据物体移动指标对目标图像的各个像素点与校正后图像的各个像素点进行算术运算以产生超分辨率图像。

在本发明的一实施例中，上述依据目标图像对未选择图像执行移动量估测，并根据相对应的区块是否有旋转而设定置信度的步骤包括：依据目标图像对未选择图像执行区域移动量估测（local motion estimation）后，再执行全域移动量估测（global motion estimation），以产生多个旋转角度；以及依据旋转角度来设定置信度。

在本发明的一实施例中，上述执行场景物体移动检测并参考置信度来设定物体移动指标的步骤包括：依据各个像素点的相邻区块的区块移动量差值与对应的置信度来设定物体移动几率（Local Motion Probability，简称LMP）。参考此物体移动几率并依据各个像素点的区域频率特性来设定物体移动指标。

在本发明的一实施例中，上述依据各个像素点的相邻区块的区块移动量差值与对应的置信度来设定物体移动几率的步骤包括：判断各个像素点的相邻区块的区块移动量差值是否至少有其中之一大于第一差值门限值。若是，则将物体移动几率设定为第一设定值；若否，则将物体移动几率设定为0。并且依据对应的置信度来调整此物体移动几率。

在本发明的一实施例中，上述的超分辨率图像处理方法还包括判断各个像素点的相邻区块的区块移动量差值是否至少有其中之一大于第二差值门限值。若是，则将物体移动几率设定为第二设定值。其中此第二设定值小于上述的第一设定值。

在本发明的一实施例中，上述依据对应的置信度来调整物体移动几率的步骤包括：判断置信度是否大于置信门限值。若是，则上述的物体移动几率维持不变；若否，则增加上述的物体移动几率。

在本发明的一实施例中，上述依据各个像素点的区域频率特性设定各个物体移动指标的步骤包括下列步骤。分别计算各个像素点的绝对误差和（Sumof Absolute Difference，简称SAD）门限值。计算各个像素点在目标图像与校正后图像之间的绝对误差和。当各个像素点的各个绝对误差和大于此绝对误差和门限值，则使能（enable）物体移动指标。当各个像素点的各个绝对误差和不大于此绝对误差和门限值，则禁能（disable）物体移动指标。

在本发明的一实施例中，上述分别计算各个像素点的绝对误差和门限值的步骤包括：先分别计算各个像素点在目标图像中的第一平均绝对误差值（Mean Absolute Error，简称MAE）与各个像素点在校正后图像中的第二平均绝对误差值。选择第一与第二平均绝对误差值中的较小者进行查表，以获得参考门限值。再依据此参考门限值与物体移动几率进行运算，以获得绝对误差和门限值。

在本发明的一实施例中，上述的参考门限值与物体移动几率是依据下式进行运算：绝对误差和门限值=（100%－物体移动几率）×参考门限值。

在本发明的一实施例中，上述在进行算术运算的步骤之前还包括先在各个像素点所属的掩膜（mask）内执行平均绝对误差运算，以获得多个平均绝对误差值。

在本发明的一实施例中，上述进行算术运算以产生超分辨率图像的步骤包括：对目标图像的各个像素点与校正后图像的各个像素点设定多个比重，据以执行比重和（weighting sum）运算。其中，当物体移动指标为使能时，则将比重设定为零，当物体移动指标为禁能时，则将比重设定为平均绝对误差值。

本发明的一种图像处理装置包括镜头模块、存储器单元以及处理器。其中，镜头模块用以拍摄多个源图像，其中源图像的其中之一作为目标图像，其余的源图像作为未选择图像。存储器单元耦接至镜头模块，用以储存源图像。处理器耦接至镜头模块与存储器单元，其用以依据目标图像对未选择图像执行移动量估测，根据相对应的区块是否有旋转而设定多个置信度，并对未选择图像分别执行移动校正，以产生校正后图像。处理器依序对目标图像中的每一像素点与校正后图像中对应的每一像素点执行场景物体移动检测，并参考该些置信度来设定物体移动指标。处理器还依据物体移动指标对目标图像的各个像素点与校正后图像的各个像素点执行算术运算以产生超分辨率图像。

基于上述，本发明所提供的超分辨率图像处理方法及其图像处理装置，可利用多张动态图像序列进行混合以产生超分辨率图像，并且可避免第一类与第二类鬼影现象的问题。此外，超分辨率图像在高频区域可以增加分辨率并且在平坦区域有去干扰效果。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1A是依照本发明一实施例所示出的图像处理装置的方块图；

图1B是依照本发明一实施例所示出的处理器100的方块图；

图2是依照本发明一实施例所示出的执行平均绝对误差运算的掩膜示意图；

图3是依照本发明一实施例所示出的执行场景物体移动检测的方法流程图；

图4为本发明一实施例的物体移动检测模块130依据所选取像素点的区域频率特性设定物体移动指标的方法流程图；

图5是依照本发明一实施例所示出的查找表示意图。

附图标记说明：

10：图像处理装置；

100：处理器；

102：镜头模块；

104：储存单元；

110：移动量估测模块；

112：区域移动量估测器；

114：全域移动量估测器；

120：移动量校正模块；

130：物体移动检测模块；

140：图像混合模块；

Img1_HR：目标图像；

Img2_HR～Img4_HR：未选择图像；

CorrImg2_HR～CorrImg4_HR：校正后图像；

CV2～CV4：置信度；

Map2～Map4：物体移动指标；

Img1_SR：超分辨率图像；

MAE：平均绝对误差值；

MAE1：第一平均绝对误差值；

MAE2：第二平均绝对误差值；

TH_SAD：绝对误差和门限值；

TH_ref：参考门限值；

S301～S323：执行场景物体移动检测的方法的各步骤；

S401～S417：设定物体移动指标的方法的各步骤。

具体实施方式

本发明提出一种以动态图像序列进行混合以产生超分辨率图像的放大方法，利用移动量及频率特性对图像序列做个别移动物体的检测，在有物体移动的区域会将其做单一图像放大，而不做混合多张的动作，藉此可避免第一类鬼影现象的产生。此外，本发明在执行全域移动量估测的同时，还会估测图像旋转量的大小，作为图像混合的依据，藉此可避免第二类鬼影现象的产生。本发明便是基于上述观点进而发展出的一种超分辨率图像处理方法。为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。

图1A是依照本发明一实施例所示出的图像处理装置的方块图。请参照图1A，本实施例的图像处理装置10例如是数码相机、数码单反（Digital SingleLens Reflex，简称DSLR）相机、数码摄像机（Digital Video Camcorder，简称DVC）等，或是其他具有图像检索/处理功能的智能型手机等电子装置，不限于上述。在本实施例中，图像处理装置10包括处理器100、镜头模块102以及储存单元104。以下对各构件进行说明：

镜头模块102包括镜头以及感光元件等，感光元件例如是互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，简称CMOS）感光元件。CMOS感光元件的特点是能高速连拍，因此能对一个场景进行连续拍摄。镜头模块102用以拍摄多个第一分辨率图像。储存单元104例如是任意型式的固定式或可移动式随机存取存储器（Random Access Memory，简称RAM）、只读存储器（Read-Only Memory，简称ROM）、闪存（Flash memory）或硬盘等，而可用以储存多个第一分辨率图像及其他数据。

处理器100耦接至镜头模块102以及储存单元104，其可由软件、硬件或其组合实作而得，在此不加以限制。软件例如是程序码、操作系统、应用软件或驱动程序等。硬件例如是中央处理机（Central Processing Unit，简称CPU），或是其他可编程的一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（Digital Signal Processor，简称DSP）等装置。处理器100的详细功能说明如下：

图1B是依照本发明一实施例所示出的处理器100的方块图。请参照图1B，处理器100包括移动量估测模块110、移动量校正模块120、物体移动检测模块130以及图像混合模块140。其中，移动量估测模块110还包括区域移动量估测器112以及全域移动量估测器114。

需先说明的是，当使用者手持图像处理装置10进行连续拍摄时，容易发生手振现象，因此第一分辨率图像之间会存在着次像素移动（sub-pixel shift）。处理器100先将多个第一分辨率图像进行放大以产生多个第二分辨率图像。处理器100可依实际需求采用本领域具通常知识者所熟知的图像放大方法来对多个第一分辨率图像进行放大，在此不加以限制。在本实施例中，处理器100选择第二分辨率图像（即源图像）其中之一作为目标图像，其余的第二分辨率图像作为未选择图像。

请参照图1B，移动量估测模块110中的区域移动量估测器112用以接收依据4个第一分辨率（本实施例举例为低分辨率）图像进行放大而产生的4个第二分辨率（本实施例举例为高分辨率）图像Img1_HR、Img2_HR、Img3_HR以及Img4_HR。为方便后续说明，在本实施例中，源图像（即高分辨率图像）的个数举例为4个，但本发明并不限制源图像的个数。

详细地说，区域移动量估测器112例如将高分辨率图像Img1_HR设定为目标图像，因此，高分辨率图像Img2_HR、Img3_HR以及Img4_HR即为未选择图像。区域移动量估测器112将目标图像Img1_HR与未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR以相同方法分割成多个区块，分割方法可依实际需求做设定并不加以限制。接着，区域移动量估测器112估测未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR的每一区块相对于目标图像Img1_HR的区块移动量，估测方法例如是区块比对方式等等。

接下来，全域移动量估测器114分别对每一未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR进行全域移动量估测。举例来说，全域移动量估测的方法可对多个区块移动量取众数，也就是先将区块移动量进行统计，选择出现最多次的区块移动量作为全域移动量，或是将所有的区块移动量取平均而得到全域移动量等等。因此，每一未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR会产生各自的全域移动量。

在此需说明的是，全域移动量估测器114执行全域移动量估测的同时会产生旋转角度θ，当旋转角度θ愈大代表图像四周产生鬼影现象的机会愈大，因此给予较低的置信度（confidence value）；相反的，当旋转角度θ愈小，则给予较大的置信度。举例来说，置信度可设定为在0～1范围内的数值。在本实施例中，全域移动量估测器114分别将每一未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR对应的置信度CV2、置信度CV3以及置信度CV4数据传送至物体移动检测模块130。

移动量校正模块120根据上述的全域移动量执行移动量校正，移动量校正可利用仿射矩阵（Affine transformation matrix）将未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR的起始像素点位置校正至与目标图像Img1_HR的起始像素点位置相同。仿射矩阵可以作旋转与移动校正，其中矩阵的系数可由全域移动量估测所得。基于上述处理可得到校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR。

接着，物体移动检测模块130将每一校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR分别与目标图像Img1_HR做场景物体移动检测，据以产生物体移动指标Map2、物体移动指标Map3以及物体移动指标Map4。其中，物体移动检测模块130执行场景物体移动检测的详细步骤容后详述。

图像混合模块140将目标图像Img1_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR中的每一个像素点进行混合，混合过程中需配合参考物体移动指标Map2、物体移动指标Map3以及物体移动指标Map4以产生超分辨率图像Img1_SR。举例来说，超分辨率图像Img1_SR的第一个像素点即为目标图像Img1_HR的第一个像素点与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR的第一个像素点混合而成。

详细的混合方法如下所述：将目标图像Img1_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR中，相对应的一像素点，各自计算其灰阶度的平均绝对误差值（Mean AbsoluteError，简称MAE）。再以各像素点的平均绝对误差值MAE作为比重，将目标图像Img1_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR中相对应的像素点的灰阶值乘上其比重，计算出混合后图像的灰阶值。详细的判断式及比重和的公式如下式（1）所示：

if(Map＝1)

Weight[n]＝0

else

Weight[n]＝MAE

$\mathrm{Final}\_\mathrm{value}=\frac{\underset{n=0}{\mathrm{\Σ}}\left(\mathrm{Weight}\right[n]\×\mathrm{img}[n\left]\right)}{\underset{n=0}{\mathrm{\Σ}}\left(\mathrm{Weight}\right[n\left]\right)}$         式（1）

其中，Final_value为该像素点混合后的灰阶值；Weight[n]为第n个像素点的比重，Weight[n]可设定为0（即Weight[n]=0）或者设定为该像素点的平均绝对误差值MAE（即Weight[n]=MAE）；img[n]为第n个像素点的灰阶值。

上述像素点的平均绝对误差值MAE的计算方式为：先选定目标图像Img1_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR中相对应的一个像素点，在各自所属的掩膜（mask）区域内执行各自灰阶值的平均绝对误差（Mean Absolute Error，简称MAE）运算。举例来说，图2是依照本发明一实施例所示出的执行平均绝对误差运算的掩膜示意图。请参照图2，图2所示为一种5×5大小的掩膜，其中执行平均绝对误差值MAE运算的公式如下式（2）所示：

$\mathrm{MAE}\left[n\right]=\frac{1}{9}\underset{i=\mathrm{0,2,4}}{\mathrm{\Σ}}\underset{j=\mathrm{0,2,4}}{\mathrm{\Σ}}|Y{\left[n\right]}_{\mathrm{ij}}-\stackrel{\‾}{Y}[n\left]\right|,$ $\stackrel{\‾}{Y}\left[n\right]=\frac{1}{9}\underset{i=\mathrm{0,2,4}}{\mathrm{\Σ}}\underset{j=\mathrm{0,2,4}}{\mathrm{\Σ}}Y{\left[n\right]}_{\mathrm{ij}}$      式（2）

其中，n代表第n个像素点，i代表列索引值，j代表行索引值，Y[n]_ij代表第n个像素的灰阶值，代表平均灰阶值，MAE[n]代表第n个像素点执行5×5掩膜运算后的平均绝对误差值。

因为平均绝对误差值MAE愈大代表所选取的像素点的邻近图像区块可能有纹理或边缘的存在，因此要将其保留。也就是说，图像混合模块300在混合各个像素点时，必须以平均绝对误差值MAE当作比重（weighting）。同时，为了避免产生鬼影现象，因此图像混合模块300还必须参考物体移动指标Map2、物体移动指标Map3以及物体移动指标Map4来进行混合。若是物体移动指标在该像素点为使能（即设定为1）时，代表有物体移动，因此将比重设为0，使得该像素点不会作混合的动作。相反地，当物体移动指标在该像素点为禁能（即设定为0）时，则图像混合模块300将比重设定为此像素点的平均绝对误差值MAE。

因此，图像混合模块300对目标图像Img1_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR中的每一个像素点皆进行如上所述的图像混合后，即可输出超分辨率图像Img1_SR。

为了更进一步说明上述物体移动检测模块130执行场景物体移动检测的详细运作方式，以下将举一实施范例来对此进行说明。图3是依照本发明一实施例所示出的执行场景物体移动检测的方法流程图，请同时配合参照图1B与图3。

于步骤S301，物体移动检测模块130先选取目标图像Img1_HR的第一个像素点分别与对应的校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像CorrImg4_HR执行场景物体移动检测。由于在区域移动量估测器112与全域移动量估测器114可获得区块移动量以及全域移动量，因此在步骤S303中，计算区块移动量和全域移动量之间的差值Diff_ij，计算公式如下式（3）：

Diff_ij＝|X_LM_ij-X_GM|+|Y_LM_ij-Y_GM|       式（3）

其中，X_LM_ij、Y_LM_ij分别代表区块移动量的水平分量与垂直分量，i代表此像素点所属图像的第i列第j行区块，i、j为大于零的正整数，X_GM、Y_GM代表图像的全域移动量的水平分量与垂直分量。

接着，依据此像素点的相邻区块的区块移动量差值来设定物体移动几率（Local Motion Probability，简称LMP）。举例来说，于步骤S305，若判断此像素点的邻近四个区块的差值Diff_ij的至少其中之一大于第一差值门限值TH1，则认定此像素点所属区块存在物体移动，因此将物体移动几率设为100%（步骤S307）。若步骤S305判断为否，则接续步骤S309，若判断此像素点的邻近九个区块的差值Diff_ij的至少其中之一大于第二差值门限值TH2，则认定此像素点所属区块可能存在物体移动，因此将物体移动几率设为50%。反之，若步骤S309判断为否，则认定此像素点区块不存在物体移动，因此将物体移动几率设为0%。

接下来于步骤S315，物体移动检测模块130依据置信度CV2、置信度CV3以及置信度CV4来调整物体移动几率，当置信度大于置信门限值TH3时，物体移动检测模块130判定此张图像的旋转角度θ较小，因此因旋转产生的鬼影现象较不明显，所以物体移动几率维持不变，并接续步骤S319。反之，当置信度不大于置信门限值时，则接续步骤S317，物体移动检测模块130判定此张图像的旋转角度θ较大，因此因旋转产生的鬼影现象较明显，所以物体移动几率要增加。因为旋转造成的鬼影现象在图像的四周会越明显，所以物体移动检测模块130会根据此像素点所属区块与图像中心的距离，来调整物体移动几率。

于步骤S319，物体移动检测模块130依据所选取像素点的区域频率特性设定物体移动指标。设定物体移动指标的详细实施方式请同时配合参照图1B与图4，图4为本发明一实施例的物体移动检测模块130依据所选取像素点的区域频率特性设定物体移动指标的方法流程图。

如步骤S401与S403所述，物体移动检测模块130先计算此像素点在目标图像中的第一平均绝对误差值（Mean Absolute Error，简称MAE）MAE1和此像素点在校正后图像中的第二平均绝对误差值MAE2，来表示此像素点的频率特性。接着于步骤S405，选择第一平均绝对误差值MAE1与第二平均绝对误差值MAE2中的较小者进行查表，以获得参考门限值TH_ref。图5是依照本发明一实施例所示出的查找表示意图。请参照图5，当平均绝对误差值MAE愈高，代表此像素点具有高频特性（像素点属于纹理或边缘区域），因此参考门限值TH_ref愈高；反之，当平均绝对误差值MAE愈低，代表此像素点具有低频特性（像素点属于平坦区域），因此参考门限值TH_ref愈低。

得到参考门限值TH_ref之后，便可接续步骤S409利用下式（4）来计算绝对误差和门限值TH_SAD：

TH_SAD=（100%－LMP）×TH_ref       式（4）

由式（4）可知：当物体移动几率为100%，则绝对误差和门限值TH_SAD等于0。当物体移动几率为0%，则绝对误差和门限值TH_SAD等于参考门限值TH_ref。

接续步骤S411，物体移动检测模块130计算此像素点在目标图像与校正后图像中的绝对误差和（Sum of Absolute Defference，简称SAD），用来表示两张图像在此像素点的差异值。在此像素点的目标图像与校正图像利用一5x5的掩膜（如图2所示），计算掩膜中目标图像与校正图像相同位置的每个像素点（共25点）的差值和后再取平均，即为绝对误差和SAD值。若此绝对误差和SAD值大于上数的绝对误差和门限值TH_SAD，则表示此像素点存在移动物体，因此物体移动检测模块130使能物体移动指标（本实施例举例为将物体移动指标设为1）。反之，若绝对误差和SAD值不大于绝对误差和门限值TH_SAD，则表示此像素点不存在物体移动，因此物体移动检测模块130禁能物体移动指标（本实施例举例为将物体移动指标设为0）。图像中每一像素点都经过图4的确认过程，即能检测出此像素点是否存在物体移动。

回到图3的步骤S321，物体移动检测模块130判断是否为图像中的最后一个像素点，若是则结束此场景物体移动检测流程；若否，则进入下一个像素点的计算与判断。

需说明的是，上述各实施例中所使用的各种门限值，可由本领域具通常知识者依据实际应用情况做预先的设定，在此不做限制。此外，物体移动几率也不限定设定为0%、50%以及100%，同样可由本领域具通常知识者依据实际应用情况做调整。再者，本发明所提出的超分辨率图像处理方法不仅可应用在数码相机、数码摄像机，由于可提供高清晰、高分辨率的图像给使用者，因此还可应用在行车纪录器、安全监控、医疗图像等具有安全性考量的图像处理产品。

综上所述，本发明所提供的超分辨率图像处理方法，可利用多张动态图像序列进行混合以产生超分辨率图像，并且可避免如先前技术所述的第一类与第二类鬼影现象的问题。此外，超分辨率图像在高频区域可以增加分辨率并且在平坦区域可达到降低干扰的效果。此外，本发明所提出的超分辨率图像处理方法不仅可应用在数码相机、数码摄像机，因为可提供较高分辨率的图像，因此还可应用在行车纪录器、安全监控、医疗图像等具有安全性考量的相关产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种超分辨率图像处理方法，用于处理多个源图像，其中，该些源图像其中之一为一目标图像，其余的该些源图像为多个未选择图像，其特征在于，包括：

依据该目标图像对该些未选择图像执行移动量估测，根据相对应的区块是否有旋转而设定多个置信度，并对该些未选择图像分别执行移动校正，以产生多个校正后图像；

依序对该目标图像中的每一像素点与该些校正后图像中对应的每一像素点执行一场景物体移动检测，并参考该些置信度来设定多个物体移动指标；以及

依据该些物体移动指标对该目标图像的各该像素点与该些校正后图像的各该像素点进行一算术运算以产生一超分辨率图像。

2.根据权利要求1所述的超分辨率图像处理方法，其特征在于，依据该目标图像对该些未选择图像执行移动量估测，根据相对应的区块是否有旋转而设定该些置信度的步骤包括：

依据该目标图像对该些未选择图像执行一区域移动量估测后，再执行一全域移动量估测，以产生多个旋转角度；以及

依据该些旋转角度来设定该些置信度。

3.根据权利要求1所述的超分辨率图像处理方法，其特征在于，执行该场景物体移动检测，并参考该些置信度来设定该些物体移动指标的步骤包括：

依据各该像素点的多个相邻区块的多个区块移动量差值与对应的该置信度来设定一物体移动几率；以及

参考该物体移动几率并依据各该像素点的一区域频率特性来设定该些物体移动指标。

4.根据权利要求3所述的超分辨率图像处理方法，其特征在于，依据各该像素点的该些相邻区块的该些区块移动量差值与对应的该置信度来设定该物体移动几率的步骤包括：

判断各该像素点的该些相邻区块的该些区块移动量差值是否大于一第一差值门限值，若是，将该物体移动几率设定为一第一设定值，若否，将该物体移动几率设定为0；以及

依据对应的该置信度来调整该物体移动几率。

5.根据权利要求4所述的超分辨率图像处理方法，其特征在于，还包括：

判断各该像素点的该些相邻区块的该些区块移动量差值的是否大于一第二差值门限值，若是，将该物体移动几率设定为一第二设定值，其中该第二设定值小于该第一设定值。

6.根据权利要求4所述的超分辨率图像处理方法，其特征在于，依据对应的该置信度来调整该物体移动几率的步骤包括：

判断该置信度是否大于一置信门限值；以及

若是，该物体移动几率维持不变，若否，增加该物体移动几率。

7.根据权利要求3所述的超分辨率图像处理方法，其特征在于，依据各该像素点的该区域频率特性来设定各该物体移动指标的步骤包括：

分别计算各该像素点的一绝对误差和门限值；

计算各该像素点在该目标图像与该些校正后图像之间的一绝对误差和；以及

当各该像素点的各该绝对误差和大于该绝对误差和门限值时，使能该些物体移动指标，当各该像素点的各该绝对误差和不大于该绝对误差和门限值时，禁能该些物体移动指标。

8.根据权利要求7所述的超分辨率图像处理方法，其特征在于，分别计算各该像素点的该绝对误差和门限值的步骤包括：

先分别计算各该像素点在该目标图像中的一第一平均绝对误差值与各该像素点在该些校正后图像中的一第二平均绝对误差值；

选择该第一与该第二平均绝对误差值中的较小者进行查表，以获得一参考门限值；以及

依据该参考门限值与该物体移动几率进行运算，以获得该绝对误差和门限值。

9.根据权利要求8所述的超分辨率图像处理方法，其特征在于，该参考门限值与该物体移动几率是依据下式进行运算：

该绝对误差和门限值=（100%－该物体移动几率）×该参考门限值。

10.根据权利要求1所述的超分辨率图像处理方法，其特征在于，在进行该算术运算的步骤之前，还包括：

在各该像素点所属的一掩膜内执行一平均绝对误差运算，以获得多个平均绝对误差值。

11.根据权利要求10所述的超分辨率图像处理方法，其特征在于，进行该算术运算以产生该超分辨率图像的步骤包括：

对该目标图像的各该像素点与该些校正后图像的各该像素点设定多个比重，据以执行一比重和运算，

其中，当该些物体移动指标为使能时，将该些比重设定为零，当该些物体移动指标为禁能时，将该些比重设定为该些平均绝对误差值。

12.一种图像处理装置，其特征在于，包括：

一镜头模块，拍摄多个源图像，该些源图像其中之一为一目标图像，其余的该些源图像为多个未选择图像；

一存储器单元，耦接该镜头模块，用以储存该些源图像；以及

一处理器，耦接该镜头模块与该存储器单元，该处理器依据该目标图像对该些未选择图像执行移动量估测，根据相对应的区块是否有旋转而设定多个置信度，并对该些未选择图像分别执行移动校正，以产生多个校正后图像，该处理器依序对该目标图像中的每一像素点与该些校正后图像中对应的每一像素点执行一场景物体移动检测，并参考该些置信度来设定多个物体移动指标，该处理器还依据该些物体移动指标对该目标图像的各该像素点与该些校正后图像的各该像素点进行一算术运算以产生一超分辨率图像。

13.根据权利要求12所述的图像处理装置，其特征在于，该处理器包括：

一移动量估测模块，包括一区域移动量估测器以及一全域移动量估测器，该区域移动量估测器先依据该目标图像对该些未选择图像执行一区域移动量估测，该全域移动量估测器再对该些未选择图像执行一全域移动量估测，以产生多个旋转角度，并依据该些旋转角度来设定该些置信度；以及

一场景移动检测模块，耦接该移动量估测模块以接收该些置信度，该场景移动检测模块依据各该像素点的多个相邻区块的多个区块移动量差值与对应的该置信度来设定一物体移动几率，并参考该物体移动几率以及各该像素点的一区域频率特性来设定该些物体移动指标。

14.根据权利要求12所述的图像处理装置，其特征在于，该处理器包括：

一图像混合模块，对该目标图像的各该像素点与该些校正后图像的各该像素点设定多个比重，据以执行一比重和运算，其中，当该些物体移动指标被使能时，该图像混合模块将该些比重设定为零，当该些物体移动指标被禁能时，该图像混合模块将该些比重设定为该些平均绝对误差值。