CN101164082A - 超分辨处理的高速化方法 - Google Patents

Abstract

本发明提供一种超分辨处理的高速化方法，在重构式超分辨处理中，通过将评价函数和评价函数对高分辨率图像的微分的计算高速化，实现超分辨处理的高速化。该超分辨处理的高速化方法用于将根据具有位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化，通过基本的图像运算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的计算。

Description

超分辨处理的高速化方法

技术领域

本发明涉及将根据多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化的超分辨处理的高速化方法，本发明特别涉及如下的超分辨处理的高速化方法，在重构式超分辨处理(Reconstruction-basedSuper-resolution)中，通过大幅削减超分辨处理的计算成本，实现超分辨处理的高速化。

背景技术

关于根据具有位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理，近年来在很多研究中都有所报告(参照非专利文献1)。例如，提出了非专利文献2中公开的ML(Maximum-likelihood：最大似然)法、非专利文献3中公开的MAP(Maximum A Posterior：最大后验概率)法及非专利文献4中公开的POCS(Projection Onto Convex Sets：凸集投影)法等各种超分辨处理方法。

ML法是基于最大似然估计原理的超分辨处理方法，其中，将由假设的高分辨率图像得到的估计像素值和实际观测到的像素值的平方误差设为评价函数，将该评价函数最小化的高分辨率图像作为估计图像。

并且，MAP法是指如下的超分辨处理方法，估计出使平方误差上附加有高分辨率图像的概率信息的评价函数最小化的高分辨率图像，即，利用针对高分辨率图像的某个预测信息，将后验概率最大化，以此为优化问题，估计出高分辨率图像。

而且，POCS法是指如下的超分辨处理方法，通过对高分辨率图像和低分辨率图像的像素值建立联立方程式，逐一对该方程式求解，从而得到高分辨率图像。

上述任意的超分辨处理方法具有如下的共同特征：首先，假设高分辨率图像，然后从假设的高分辨率图像中，根据从照相机模型得到的点扩散函数(PSF函数)，对所有低分辨率图像的每个像素，估计其像素值，搜索该估计值与观测到的像素值(观测值)之差减小的高分辨率图像，这些超分辨处理方法被称为重构式超分辨处理方法。

如上所述，重构式超分辨处理被公式化为对高分辨率图像进行定义的评价函数的优化问题。即，重构式超分辨处理归为基于估计出的低分辨率图像与观测到的观测图像的平方误差的评价函数的优化问题。

重构式超分辨处理中，需要对未知数进行非常大的优化计算，因此，为了该评价函数的优化，经常利用例如最速下降法(steepest descentmethod)等重复计算法。此时，每次重复时，都需要计算评价函数和评价函数对高分辨率图像的微分。而且，该重复计算的成本非常大。此外，在重复计算中，对于一次重复，需要对所有低分辨率图像的像素进行估计，该计算成本也非常大。

即，在重构式超分辨处理中，计算成本大，因此，减少计算成本成为重要的课题。

为了解决该课题，本发明的发明人，从减少用于计算评价函数的像素值估计计算次数的观点出发，提出了日本专利申请2004-316154中公开的“超分辨处理的高速化方法”。即，该超分辨处理的高速化方法的特征在于，对齐多个低分辨率图像的位置，在高分辨率图像空间中设定离散化点，利用与离散化点附近对应的像素的平均像素值。此时，通过考虑将与离散化点附近对应的像素的个数设为权重，可以进行快速计算，且不会降低估计精度。

即，本发明的发明人在日本专利申请2004-316154中提出了如下的超分辨处理的高速化方法，在较少的低分辨率像素的像素值估计计算中，利用了能够重构高分辨率图像而不降低精度的评价函数。

更详细地说明为，在日本专利申请2004-316154中公开的“超分辨处理的高速化方法”具有如下特征：将配准(Registration)后(位置对齐后)的多个低分辨率图像的像素认为是在高分辨率图像空间中以非等间隔采样的像素，将高分辨率图像空间分割成小区域，利用该小区域中包含的像素的平均像素值。对该小区域的评价函数如下述式1表示。

[式1]

$I=M{|\stackrel{\‾}{f}-\hat{f}(x_c,y_c)|}^2$

此处，下述式2成立。

[式2]

$\stackrel{\‾}{f}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{f}_i$

其中，I表示针对小区域的评价函数，M表示小区域中包含的像素个数，f_i表示小区域内的第i个像素的像素值，(x_c，y_c)表示小区域的代表位置，

表示针对小区域的代表位置的像素值的估计值。在实际的计算中，针对所有小区域的评价函数之和为超分辨处理整体的评价函数。

并且，本发明的发明人进一步利用日本专利申请2004-316154中提出的评价函数，从将该评价函数和评价函数对高分辨率图像的微分的计算高速化的观点出发，提出了本发明的超分辨处理的高速化方法。

发明内容

为此，本发明是鉴于上述情况而提出的，本发明的目的在于，提供一种超分辨处理的高速化方法，该方法在重构式超分辨处理中，通过将评价函数和评价函数对高分辨率图像的微分的计算高速化，实现了超分辨处理的高速化。

本发明涉及超分辨处理的高速化方法，该方法用于将根据具有位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化，本发明的上述目的可以通过如下方式有效实现，通过基本的图像运算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的计算。

并且，本发明的上述目的可以通过如下方式有效实现，针对空间区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(h\right)={\left|\right|b*h-f\left|\right|}_w^2+\mathrm{\α}{\left|\right|c*h\left|\right|}_2^2$

所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\∂I}{\∂h}=2b^{\text{'}}*(w\⊗(b*h-f))+2\mathrm{\α}{c}^{\text{'}}*c*h$

其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，α表示约束参数，该约束参数表示约束的强度，^*表示卷积积分，表示每个要素的乘法运算。

此处，两个范数(norm)||X||_W ²，||X||₂ ²以下述方式定义，

${\left|\right|x\left|\right|}_w^2=\stackrel{-T}{x}(w\⊗x)$

${\left|\right|x\left|\right|}_2^2=\stackrel{-T}{x}x$

其中，^-表示复共轭，T表示转置。

并且，b′、c′如下定义，

$b^{\text{'}}=F^{-1}\left[\stackrel{\‾}{F\left[b\right]}\right]$

$c^{\text{'}}=F^{-1}\left[\stackrel{\‾}{F\left[c\right]}\right]$

其中，F表示傅立叶变换，F^-1表示傅立叶逆变换。而且，本发明的上述目的可以通过如下方式有效实现，针对空间区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(h\right)={\left|\right|F^{-1}[\tilde{b}\⊗F[h\left]\right]-f\left|\right|}_w^2+{\mathrm{\α}\left|\right|F^{-1}[\tilde{c}\⊗F[h\left]\right]\left|\right|}_2^2$

所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\∂I}{\∂h}=2F^{-1}[\widetilde{b^{\text{'}}}\⊗F[w\⊗\left(F^{-1}\right[\tilde{b}\⊗F\left[h\right]]-f)\left]\right]+2\mathrm{\α}{F}^{-1}[\widetilde{c^{\text{'}}}\⊗\tilde{c}\⊗F[h\left]\right]$

其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像的向量，

表示b的傅立叶变换，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，

表示c的傅立叶变换，

表示b′的傅立叶变换，

表示c′的傅立叶变换，f表示平均观测图像的向量，w表示加权图像的向量，α表示约束参数，该约束参数表示约束的强度，^*表示卷积积分，表示每个要素的乘法运算，F表示傅立叶变换，F^-1表示傅立叶逆变换。

而且，本发明的上述目的可以通过如下方式有效实现，针对频率区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(\tilde{h}\right)={\left|\right|F^{-1}[\tilde{b}\⊗\tilde{h}]-f\left|\right|}_w^2+\frac{\mathrm{\α}}{\mathrm{\ρ}}{\left|\right|\tilde{c}\⊗\tilde{h}\left|\right|}_2^2$

所述评价函数对频率区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\∂I}{\∂\tilde{h}}=2\widetilde{b^{\text{'}}}\⊗F[w\⊗\left(F^{-1}\right[\tilde{b}\⊗\tilde{h}]-f)]+2\frac{\mathrm{\α}}{\mathrm{\ρ}}\widetilde{c^{\text{'}}}\⊗\tilde{c}\⊗\tilde{h}$

其中，

表示频率区域的所述高分辨率图像的向量，b表示PSF图像的向量，

表示b的傅立叶变换，

表示b′的傅立叶变换，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，

表示c的傅立叶变换，

表示c′的傅立叶变换，α表示约束参数，该约束参数表示约束的强度，ρ表示将傅立叶变换所引起的常数倍的差异归一化的常数，^*表示卷积积分，表示每个要素的乘法运算，F表示傅立叶变换，F^-1表示傅立叶逆变换。

附图说明

图1是表示本发明实施例1的超分辨处理的高速化方法(方法1)中使用的评价函数的误差项以及该误差项对高分辨率图像的微分的计算步骤的框图。

图2是表示本发明实施例1的超分辨处理的高速化方法(方法1)中使用的评价函数的约束项以及该约束项对高分辨率图像的微分的计算步骤的框图。

图3是表示本发明实施例2的超分辨处理的高速化方法(方法2)中使用的评价函数的误差项以及该误差项对高分辨率图像的微分的计算步骤的框图。

图4是表示本发明实施例2的超分辨处理的高速化方法(方法2)中使用的评价函数的约束项以及该约束项对高分辨率图像的微分的计算步骤的框图。

图5是表示本发明实施例3的超分辨处理的高速化方法(方法3)中使用的评价函数的误差项以及该误差项对频率区域上的高分辨率图像的微分的计算步骤的框图。

图6是表示本发明实施例3的超分辨处理的高速化方法(方法3)中使用的评价函数的约束项以及该约束项对频率区域上的高分辨率图像的微分的计算步骤的框图。

图7是表示应用了本发明的超分辨处理的高速化方法的超分辨处理的结果的图。图7(A)表示基于式3所示的基于“基于平均像素值的评价函数”的超分辨处理的结果，图7(B)表示应用了本发明实施例1的超分辨处理的高速化方法的超分辨处理的结果，图7(C)表示应用了本发明实施例2的超分辨处理的高速化方法的超分辨处理的结果，图7(D)表示应用了本发明实施例3的超分辨处理的高速化方法的超分辨处理的结果。

具体实施方式

下面，参照附图，说明用于实施本发明的优选实施方式。

本发明中，利用日本专利申请2004-316154中公开的评价函数，通过基本的图像运算的组合，计算出该评价函数和评价函数对高分辨率图像的微分，并且，通过进一步应用傅立叶变换，实现超分辨处理的高速化。

但是，在超分辨处理中，对于存在位置偏差的多张观测图像(低分辨率图像)的各像素，通过配准(位置对齐)，在高分辨率图像空间的某一位置上将各像素对应起来。即，配准后，多张观测图像可以认为是在高分辨率空间内以非等间隔采样得到的像素。

考虑将该以非等间隔采样得到的像素位置(下面简称为观测像素位置)近似为高分辨率图像的像素位置(下面简称为高分辨率像素位置)。此时，可以想到近似为某一高分辨率像素位置的观测像素(观测像素位置)存在多个的情况。相反，也具有不存在所近似的观测像素(观测像素位置)的高分辨率像素位置。

此处，通过分别计算出近似为各高分辨率像素位置的多个观测像素的平均像素值，从而能够生成1个图像。将该图像称为平均观测图像。平均观测图像相当于如下的图像：即，其像素间隔(像素数)与高分辨率图像相等，利用从照相机模型得到的点扩散函数(PSF函数)将高分辨率图像晕色的图像。其中，对于不存在所近似的观测像素的像素位置，不定义其像素值。被近似为各高分辨率像素位置的观测像素的个数也同样成为1个图像。将该图像称为加权图像。

并且，PSF也看作是1个图像。这样，计算评价函数和评价函数对高分辨率图像的微分时，必须要考虑的图像有高分辨率图像h[i，j]、PSF图像b[i，j]、平均观测图像f[i，j]、加权图像w[i，j]这四个。本发明中，通过该4类图像之间的图像运算的组合，可以计算出评价函数和评价函数对高分辨率图像的微分。

具体地说，本发明中以如下情况为前提，即，在日本专利申请2004-316154中公开的评价函数中，将小区域的大小设定为与高分辨率图像的像素相等，将小区域的代表位置设为像素中心。

此时，如下述式3所示，超分辨处理整体的评价函数由误差项(式3的右边第1项)和约束项(式3的右边第2项)构成。另外，将下述式3所示的评价函数设为“基于平均像素值的评价函数”。

[式3]

$I=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i{\{b_i^{T}h-\stackrel{\‾}{f_i}\}}^2+\mathrm{\α}{\left|\right|c*h\left|\right|}_2^2$

此处，h表示高分辨率图像的向量，N表示小区域的个数，b_i表示与第i个小区域的代表位置对应的PSF的向量，w_i表示第i个小区域中包含的像素个数，

表示第i个小区域中包含的像素的平均像素值，c表示核心，该核心表示高分辨率图像的先验信息，α表示约束参数，该约束参数表示约束的强度，^*表示卷积运算。

另外，如上所述，作为小区域设定高分辨率图像的像素的大小，因此，小区域的数量N与高分辨率图像的像素的数量相等，小区域的代表位置与高分辨率图像的像素中心相等。并且，还可以考虑到约束参数α为0的情况(α＝0)，此时，超分辨处理整体的评价函数仅由误差项(式3的右边第1项)构成。

本发明的超分辨处理的高速化方法应用于基于式3所示的由误差项和约束项构成的评价函数的重构式超分辨处理。

本发明中，使用上述的4类图像、即高分辨率图像、PSF图像、平均观测图像、加权图像，对式3所示的“基于平均像素值的评价函数”进行再定义，将再定义后得到的函数设为超分辨处理整体的评价函数，根据再定义的评价函数及其微分的计算方法(详情在实施例中说明)，计算评价函数及其微分，能够实现超分辨处理的高速化。并且，本发明中，利用4类图像再定义的评价函数均由误差项和约束项构成。

【实施例1】

实施例1的超分辨处理的高速化方法(下面简称为方法1)中，利用上述的4类图像，针对高分辨率图像的空间(下面简称为空间区域的高分辨率图像h、或高分辨率图像h)，再定义式3所示的“基于平均像素值的评价函数”。并且，在所有空间区域中，计算再定义的评价函数和评价函数对高分辨率图像的微分。

首先，实施例1的超分辨处理的高速化方法中，使用上述的4类图像，以下述式4将超分辨处理整体的评价函数公式化，并且以下述式5将评价函数对高分辨率图像的微分公式化。

另外，将式4的右边第1项称为方法1的误差项，将式4的右边第2项称为方法1的约束项，将式5的右边第1项称为方法1的误差项对高分辨率图像的微分，将式5的右边第2项称为方法1的约束项对高分辨率图像的微分。

[式4]

$I\left(h\right)={\left|\right|b*h-f\left|\right|}_w^2+\mathrm{\α}{\left|\right|c*h\left|\right|}_2^2$

[式5]

$\frac{\∂I}{\∂h}=2b^{\text{'}}*(w\⊗(b*h-f))+2\mathrm{\α}{c}^{\text{'}}*c*h$

此处，h表示高分辨率图像的向量，b表示PSF图像的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示高分辨率图像的先验信息，α表示约束参数，该约束参数表示约束的强度。并且，*表示卷积积分，表示每个要素的乘法运算。

此外，两个范数||X||_W ²，||X||₂ ²如下述式6、式7所定义。

[式6]

${\left|\right|x\left|\right|}_w^2=\stackrel{-T}{x}(w\⊗x)$

[式7]

${\left|\right|x\left|\right|}_2^2=\stackrel{-T}{x}x$

此处，^-表示复共轭，T表示转置。

并且，b′、c′如下述式8、式9所定义。

[式8]

$b^{\text{'}}=F^{-1}\left[\stackrel{\‾}{F\left[b\right]}\right]$

[式9]

$c^{\text{'}}=F^{-1}\left[\stackrel{\‾}{F\left[c\right]}\right]$

此处，F表示傅立叶变换，F^-1表示傅立叶逆变换。

接着，将方法1的误差项以及该误差项对高分辨率图像的微分的计算步骤示于图1的框图。并且，将方法1的约束项以及该约束项对高分辨率图像的微分的计算步骤示于图2的框图。

另外，图1和图2中，^*表示卷积积分运算，+表示每个要素的加法运算，表示每个要素的乘法运算，∑表示计算要素总和的运算。

如图1的框图所示，方法1的误差项以及该误差项对高分辨率图像的微分的计算步骤按照如下方式进行。

步骤1A：进行高分辨率图像h和PSF图像b之间的卷积积分运算。

步骤1B：进行从步骤1A中的卷积积分运算结果减去平均观测图像f的运算。

步骤1C：将步骤1B中的运算结果与加权图像w相乘。

步骤1D：通过进行步骤1C中的相乘结果与PSF图像b′之间的卷积积分运算，从而得到方法1的评价函数的误差项的微分。

步骤1E：将步骤1B中的运算结果与步骤1C中的相乘结果相乘。

步骤1F：根据步骤1E中的相乘结果，计算出要素的总和，通过该运算，得到方法1的评价函数的误差项的值。

并且，如图2的框图所示，方法1的约束项以及该约束项对高分辨率图像的微分的计算步骤按照如下方式进行。

步骤1a：进行高分辨率图像h与表示高分辨率图像的先验信息的核心图像c之间的卷积积分运算。

步骤1b：通过进行步骤1a中的卷积积分运算结果与核心图像c′之间的卷积积分运算，得到方法1的评价函数的约束项的微分。

步骤1c：将步骤1a中的卷积积分运算结果与步骤1a中的卷积积分运算结果相乘。

步骤1d：根据步骤1c中的相乘结果，计算出要素的总和，通过该运算，得到方法1的评价函数的约束项的值。

【实施例2】

实施例2的超分辨处理的高速化方法(下面简称为方法2)中，利用上述的4类图像，针对高分辨率图像的空间，再定义式3所示的“基于平均像素值的评价函数”。与方法1的不同之处在于，方法2利用傅立叶变换，进行卷积运算的计算。

实施例2的超分辨处理的高速化方法中，利用上述的4类图像，以下述式10将超分辨处理整体的评价函数公式化，并且，以下述式11将评价函数对高分辨率图像的微分公式化。

另外，式10的右边第1项称为方法2的误差项，将式10的右边第2项称为方法2的约束项，将式11的右边第1项称为方法2的误差项对高分辨率图像的微分，将式11的右边第2项称为方法2的约束项对高分辨率图像的微分。

[式10]

$I\left(h\right)={\left|\right|F^{-1}\[\tilde{b}\⊗F\[h\]-f\left|\right|}_w^2+\mathrm{\α}{\left|\right|F^{-1}\[\tilde{c}\⊗F\[h\]\left|\right|}_2^2$

[式11]

$\frac{\∂I}{\∂h}={2F}^{-1}[{\tilde{b}}^{\′}\⊗F[w\⊗\left(F^{-1}\right[\tilde{b}\⊗F\left[h\right]]-f)\left]\right]+2\mathrm{\α}{F}^{-1}[{\tilde{c}}^{\′}\⊗\tilde{c}\⊗F[h\left]\right]$

此处，

表示b的傅立叶变换，表示c的傅立叶变换，

表示b′的傅立叶变换，

表示c′的傅立叶变换。并且，式10和式11中，其它各标号与方法1相同，因此省略说明。

接着，将方法2的误差项以及该误差项对高分辨率图像的微分的计算步骤示于图3的框图。并且，将方法2的约束项以及该约束项对高分辨率图像的微分的计算步骤示于图4的框图。

另外，图3和图4中，F表示傅立叶变换，F^-1傅立叶逆变换，并且，+表示每个要素的加法运算，表示每个要素的乘法运算，∑表示计算要素总和的运算。

如图3的框图所示，方法2的误差项以及该误差项对高分辨率图像的微分的计算步骤按照如下方式进行。

步骤2A：对高分辨率图像h进行傅立叶变换。

步骤2B：将步骤2A中的傅立叶变换结果与PSF图像

相乘。

步骤2C：对步骤2B的相乘结果进行傅立叶逆变换。

步骤2D：进行从步骤2C中的傅立叶逆变换结果减去平均观测图像f的运算。

步骤2E：将步骤2D中的运算结果与加权图像w相乘。

步骤2F：对步骤2E中的相乘结果进行傅立叶变换。

步骤2G：将步骤2F中的傅立叶变换结果与PSF图像相乘。

步骤2H：通过对步骤2G中的相乘结果进行傅立叶逆变换，从而得到方法2的评价函数的误差项的微分。

步骤2I：将步骤2D中的运算结果与步骤2E中的相乘结果相乘。

步骤2J：根据步骤2I中的相乘结果，计算要素的总和，通过该运算，得到方法2的评价函数的误差项的值。

如图4的框图所示，方法2的约束项以及该约束项对高分辨率图像的微分的计算步骤按照如下方式进行。

步骤2a：对高分辨率图像h进行傅立叶变换。

步骤2b：将步骤2a中的傅立叶变换结果与核心图像

相乘。

步骤2c：对步骤2b中的相乘结果进行傅立叶逆变换。

步骤2d：对步骤2c中的傅立叶逆变换结果进行傅立叶变换。

步骤2e：将步骤2d中的傅立叶变换结果与核心图像

相乘。

步骤2f：通过对步骤2e中的相乘结果进行傅立叶逆变换，从而得到方法2的评价函数的约束项的微分。

步骤2g：将步骤2c中的傅立叶逆变换结果与步骤2c中的傅立叶逆变换结果相乘。

步骤2h：根据步骤2g中的相乘结果，计算出要素的总和，通过该运算，得到方法2的评价函数的约束项的值。

【实施例3】

实施例l和实施例2中说明了如下方法，针对空间区域的高分辨率图像h，再定义式3所示的“基于平均像素值的评价函数”，将空间区域的高分辨率图像优化。

但是，众所周知，空间区域的高分辨率图像h和与该傅立叶变换对应的频率区域的高分辨率图像(下面简称为频率区域的高分辨率图像

)上存在一对一的关系。因此，可以说将频率区域上的高分辨率图像优化与将空间区域上的高分辨率图像优化属于等效的处理。

因此，除了对空间区域的高分辨率图像h进行优化计算之外，还可以对频率区域的高分辨率图像

进行优化计算，重构高分辨率图像。若考虑像这样对频率区域中的高分辨率图像

进行优化，则该评价函数

如下述式12所示。

即，实施例3的超分辨处理的高速化方法(下面简称为方法3)中，式3所示的“基于平均像素值的评价函数”是对高分辨率图像的频率，即、对频率区域上的高分辨率图像

进行再定义。与方法l和方法2相比，方法3的最大特征在于，评价函数对高分辨率图像的频率进行再定义。

实施例3的超分辨处理的高速化方法中，以下述式12将超分辨处理整体的评价函数公式化，以下述式13将评价函数对频率区域上的高分辨率图像的微分

公式化。

另外，将式12的右边第1项称为方法3的误差项，将式12的右边第2项称为方法3的约束项，将式13的右边第1项称为方法3的误差项对频率区域上的高分辨率图像

的微分，将式13的右边第2项称为方法3的约束项对频率区域上的高分辨率图像

的微分。

[式12]

$I\left(\tilde{h}\right)={\left|\right|F^{-1}[\tilde{b}\⊗\tilde{h}]-f\left|\right|}_w^2+\frac{\mathrm{\α}}{\mathrm{\ρ}}{\left|\right|\tilde{c}\⊗\tilde{h}\left|\right|}_2^2$

[式13]

$\frac{\∂I}{\∂\tilde{h}}=2\widetilde{b^{\text{'}}}\⊗F[w\⊗\left(F^{-1}\right[\tilde{b}\⊗\tilde{h}]-f)]+2\frac{\mathrm{\α}}{\mathrm{\ρ}}\widetilde{c^{\text{'}}}\⊗\tilde{c}\⊗\tilde{h}$

此处，

表示频率区域上的高分辨率图像的向量，ρ表示将傅立叶变换所引起的常数倍的差异归一化的常数。并且，式12和式13中，其它各标号与方法1、方法2相同，因此省略说明。

接着，将方法3的误差项以及该误差项对频率区域上的高分辨率图像的微分的计算步骤示于图5的框图。并且，将方法3的约束项以及该约束项对频率区域上的高分辨率图像的微分的计算步骤示于图6的框图。

另外，图5和图6中，F表示傅立叶变换，F^-1傅立叶逆变换，并且，+表示每个要素的加法运算，表示每个要素的乘法运算，∑表示计算要素总和的运算，Conj.表示取各要素的复共轭的运算。

如图5的框图所示，方法3的误差项以及该误差项对频率区域的高分辨率图像

的微分的计算步骤按照如下方式进行。

步骤3A：将频率区域上的高分辨率图像

与PSF图像

相乘。

步骤3B：对步骤3A中的相乘结果进行傅立叶逆变换。

步骤3C：进行从步骤3B中的傅立叶逆变换结果减去平均观测图像f的运算。

步骤3D：将步骤3C中的运算结果与加权图像w相乘。

步骤3E：对步骤3D中的相乘结果进行傅立叶变换。

步骤3F：通过将步骤3E中的傅立叶变换结果与PSF图像

相乘，从而得到方法3的评价函数的误差项对频率区域中的高分辨率图像

的微分。

步骤3G：将步骤3C中的运算结果与步骤3D中的相乘结果相乘。

步骤3H：根据步骤3G中的相乘结果，计算出要素的总和，通过该运算，得到方法3的评价函数的误差项的值。

并且，如图6的框图所示，方法3的约束项以及该约束项对频率区域上的高分辨率图像

的微分的计算步骤按照如下方式进行。

步骤3a：将频率区域上的高分辨率图像

与核心图像

相乘。

步骤3b：通过将步骤3a中的相乘结果与核心图像相乘，得到方法3的评价函数的约束项对频率区域上的高分辨率图像

的微分。

步骤3c：针对步骤3a中的相乘结果，进行取各要素的复共轭的运算。

步骤3d：将步骤3c中的运算结果与步骤3a中的相乘结果相乘。

步骤3e：根据步骤3d中的相乘结果，计算出要素的总和，通过该运算，得到方法3的评价函数的约束项的值。

如上所述，对本发明的具体实施例进行了说明，接着，针对通过手持照相机拍摄到的实际图像应用本发明的超分辨处理的高速化方法，确认本发明的有效性。超分辨处理中将16张(bayer排列)的观测图像用作低分辨率图像。以4×4倍率对低分辨率图像的60×60的区域进行超分辨处理，重构240×240的高分辨率图像。PSF利用了高斯PSF。作为约束核心，利用了拉普拉斯(Laplacian)约束核心。优化计算利用最速下降法，重复计算次数为20次。考虑到是手持照相机，所以配准利用了非专利文献5中公开的“假设了投影变换的梯度法”。另外，计算中使用了2.8[GHz](Pentium4)(注册商标)的CPU。

图7中示出应用了本发明的发明人提出的日本专利申请2004-316154中公开的“超分辨处理的高速化方法”的超分辨处理的结果和应用了本发明的超分辨处理的高速化方法的超分辨处理的结果。

具体地说，图7(A)表示基于式3所示的基于“基于平均像素值的评价函数”的超分辨处理的结果，图7(B)表示应用了本发明实施例1的超分辨处理的高速化方法的超分辨处理的结果，图7(C)表示应用了本发明实施例2的超分辨处理的高速化方法的超分辨处理的结果，图7(D)表示应用了本发明实施例3的超分辨处理的高速化方法的超分辨处理的结果。

图7(A)、图7(B)、图7(C)、图7(D)所示的4类超分辨处理结果，作为主观评价，大致相同。接着，看一下超分辨处理的计算时间。图7(A)的用于得到超分辨处理结果的计算时间为9.62[sec]，图7(B)的用于得到超分辨处理结果的计算时间为1.38[sec]，图7(C)的用于得到超分辨处理结果的计算时间为1.01[sec]，图7(D)  的用于得到超分辨处理结果的计算时间为0.59[sec]。

而且，如日本专利申请2004-316154中所公开的，应用了日本专利申请2004-316154的超分辨处理的高速化方法的超分辨处理、即基于式3所示的“基于平均像素值的评价函数”的超分辨处理与现有的超分辨处理相比速度更快。若比较上述的超分辨处理的计算时间，比起利用日本专利申请2004-316154中公开的方法进行的超分辨处理，利用本发明的超分辨处理的高速化方法进行的超分辨处理能够实现更高速化。

即，与根据“基于平均像素值的评价函数”的超分辨处理相比，本发明的方法1的计算时间为6.97分之一，方法2的计算时间为9.52分之一，方法3的计算时间为16.3分之一，计算速度加快。

产业上的可利用性

如上所述，若使用本发明的超分辨处理的高速化方法，则通过基本的图像运算的组合来对评价函数和评价函数对高解像图像的微分进行计算，能够大幅度削减超分辨处理所需的计算成本，因此，具有能够实现超分辨处理的高速化的效果。

并且，通过对实际图像应用本发明的超分辨处理的高速化方法，能够实现超分辨处理的高速化。

<参考文献一览>

非专利文献1：Sung C.P.和Min K.P合著“Super-Resolution ImageReconstruction：A Technical Overview”IEEE Signal Proc.Magazine，第26卷，第3号，p.21-36，2003年

非专利文献2：B.C.Tom和A.K.Katsaggelos合著，“Reconstruction ofa high-resolution image by simultaneous registration，restoration，andinterpolation of low-resolution images”，Proc.IEEE Int.Conf.Image Processing，第2卷，P.539-542，1995年

非专利文献3：R.R.Schulz和R.L.Stevenson合著，“Extraction ofhigh-resolution frames from video sequences”，IEEE Trans.Image Processing，第5卷，p.996-1011，1996年

非专利文献4：H.Stark和P.Oskoui合著，“High resolution imagerecovery from image-plane arrays，using convex projections”，J.Opt.Soc.Am.A，第6卷，P.1715-1726，1989年

非专利文献5：S.Baker和I.Matthews合著，“Lucas-Kanade 20 YearsOn：A Unifying Framework”，Inter[national Journal of Computer Vision，第56卷，第3号，p.221-255，2004年

Claims (4)

1.一种超分辨处理的高速化方法，该高速化方法用于将根据存在位置偏差的多个低分辨率图像估计出一个高分辨率图像的超分辨处理高速化，所述超分辨处理的高速化方法的特征在于，通过基本的图像运算的组合，进行评价函数和所述评价函数对所述高分辨率图像的微分的计算。

2.根据权利要求1所述的超分辨处理的高速化方法，其中，针对空间区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(h\right)={\left|\right|b*h-f\left|\right|}_w^2+\mathrm{\&alpha;}{\left|\right|c*h\left|\right|}_2^2$

所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\&PartialD;I}{\&PartialD;h}=2b^{\text{'}}*(w\&CircleTimes;(b*h-f))+2\mathrm{\&alpha;}{c}^{\text{'}}*c*h$

其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像的向量，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，α表示约束参数，该约束参数表示约束的强度，*表示卷积积分，表示每个要素的乘法运算，

两个范数||X||_W ²，||X||₂ ²以下述方式定义，

${\left|\right|x\left|\right|}_w^2=\stackrel{-T}{x}(w\&CircleTimes;x)$

${\left|\right|x\left|\right|}_2^2=\stackrel{-T}{x}x$

其中，^-表示复共轭，T表示转置，

并且，b′、c′如下定义，

$b^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[b\right]}\right]$

$c^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[c\right]}\right]$

其中，F表示傅立叶变换，F^-1表示傅立叶逆变换。

3.根据权利要求1所述的超分辨处理的高速化方法，其中，

针对空间区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(\tilde{h}\right)={\left|\right|F^{-1}[\tilde{b}\&CircleTimes;\tilde{h}]-f\left|\right|}_w^2+\frac{\mathrm{\&alpha;}}{\mathrm{\&rho;}}{\left|\right|\tilde{c}\&CircleTimes;\tilde{h}\left|\right|}_2^2$

所述评价函数对空间区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\&PartialD;I}{\&PartialD;h}=2F^{-1}[\widetilde{b^{\text{'}}}\&CircleTimes;F[w\&CircleTimes;\left(F^{-1}\right[\tilde{b}\&CircleTimes;F\left[h\right]]-f)\left]\right]+2\mathrm{\&alpha;}{F}^{-1}[\widetilde{c^{\text{'}}}\&CircleTimes;\tilde{c}\&CircleTimes;F[h\left]\right]$

其中，h表示空间区域的所述高分辨率图像的向量，b表示PSF图像的向量，

表示b的傅立叶变换，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，

表示c的傅立叶变换，

表示b′的傅立叶变换，

表示c′的傅立叶变换，f表示平均观测图像的向量，w表示加权图像的向量，α表示约束参数，该约束参数表示约束的强度，^*表示卷积积分，表示每个要素的乘法运算，F表示傅立叶变换，F^-1表示傅立叶逆变换，

两个范数||X||_W ²，||X||₂ ²以下述方式定义，

${\left|\right|x\left|\right|}_w^2=\stackrel{-T}{x}(w\&CircleTimes;x)$

${\left|\right|x\left|\right|}_2^2=\stackrel{-T}{x}x$

其中，^-表示复共轭，T表示转置，并且，b′、c′如下定义，

$b^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[b\right]}\right]$

$c^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[c\right]}\right]$

其中，F表示傅立叶变换，F^-1表示傅立叶逆变换。

4.根据权利要求1所述的超分辨处理的高速化方法，其中，针对频率区域的所述高分辨率图像以如下方式对所述评价函数进行公式化，

$I\left(\tilde{h}\right)={\left|\right|F^{-1}[\tilde{b}\&CircleTimes;\tilde{h}]-f\left|\right|}_w^2+\frac{\mathrm{\&alpha;}}{\mathrm{\&rho;}}{\left|\right|\tilde{c}\&CircleTimes;\tilde{h}\left|\right|}_2^2$

所述评价函数对频率区域的所述高分辨率图像的微分以如下方式公式化，

$\frac{\&PartialD;I}{\&PartialD;\tilde{h}}=2\widetilde{b^{\text{'}}}\&CircleTimes;F[w\&CircleTimes;\left(F^{-1}\right[\tilde{b}\&CircleTimes;\tilde{h}]-f)]+2\frac{\mathrm{\&alpha;}}{\mathrm{\&rho;}}\widetilde{c^{\text{'}}}\&CircleTimes;\tilde{c}\&CircleTimes;\tilde{h}$

其中，

表示频率区域的所述高分辨率图像的向量，b表示PSF图像的向量，

表示b的傅立叶变换，

表示b′的傅立叶变换，f表示平均观测图像的向量，w表示加权图像的向量，c表示核心图像的向量，该核心图像表示所述高分辨率图像的先验信息，

表示c的傅立叶变换，表示c′的傅立叶变换，α表示约束参数，该约束参数表示约束的强度，ρ表示将傅立叶变换所引起的常数倍的差异归一化的常数，^*表示卷积积分，表示每个要素的乘法运算，F表示傅立叶变换，F^-1表示傅立叶逆变换，

两个范数||X||_W ²，||X||₂ ²以下述方式定义，

${\left|\right|x\left|\right|}_w^2=\stackrel{-T}{x}(w\&CircleTimes;x)$

${\left|\right|x\left|\right|}_2^2=\stackrel{-T}{x}x$

其中，^-表示复共轭，T表示转置，

并且，b′、c′如下定义，

$b^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[b\right]}\right]$

$c^{\text{'}}=F^{-1}\left[\stackrel{\&OverBar;}{F\left[c\right]}\right]$

其中，F表示傅立叶变换，F^-1表示傅立叶逆变换。

Images