CN112184549A - 基于时空变换技术的超分辨图像重建方法 - Google Patents

Abstract

本发明公开了一种基于时空变换技术的超分辨图像重建方法，将图像分成R、G和B三个分量；把每个低分辨率图像序列的R、G和B分量分别组成矢量l_R、l_G、l_B；利用时空变换技术构建各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B；通过共轭梯度算法运算利用高分辨率元素的线性公式Ah＝l得出高时间分辨率图像序列的矢量h_R、h_G、h_B；根据h_R、h_G和h_B数值使用迭代反投影方式重新构建空间超分辨率，获得超分辨率图像序列中R、G和B分量对应的X_R、X_G和X_B；将X_R、X_G和X_B进行合成，得到超分辨率图像。本发明中的图像重建方法可以有效解决图像重建分辨率低、准确率低以及计算复杂等问题，从而得到质量佳的图像；操作简单、成本低，具有较高鲁棒性。

Description

基于时空变换技术的超分辨图像重建方法

技术领域

本发明涉及图像重建技术领域，尤其涉及基于时空变换技术的超分辨图像重建方法。

背景技术

像素分辨率是影响图质量的直接要素，较高分辨率更利于图像做深一步处理与合成。超分辨率图像重建是指将若干幅分辨率较低图像相结合，重新构建一幅超高分辨率的图像。这里“超”代表超分辨率图像重建方法可以突破传统传感设备已有采样频率的控制。数字图像的分辨率不单代表图像的像素，其还代表图像细节的分辨能力。图像分辨率是衡量图像细节关键因素。图像插值可以任意放大或者缩小一幅图像的比例，但并不代表提升与降低其图像分辨力，而超分辨率图像重建是根据相同场景若干幅较低分辨率图像相互运动的数据，把他们结合到一幅图像中，使该图像具有极高的分辨率。该方法最大的亮点就是降低成本，同时已有的较低分辨率图像依旧可以利用。

近年来，超分辨图像重建已成为视频监控、军事以及医疗等相关领域研究的热点。战玉丽，迟静等人根据传统图像在重建流程中极易发生细节数据丢失，或者增强细节时极易发生图像边缘失真与噪声等现象，提出采用跨尺度与特征组合方式对图像进行超分辨率重建。先根据图像的跨尺度特征使用邻近方法构建高、低分辨率图像间像素与梯度特性的映射联系；再使用映射联系将初始输入图像重建，并通过奇异值阈值化方法得出初始输入图像的高频数据；最后采用梯度特征映射方式把高频数据进行分块叠加处理，并将得出数据融合到高分辨率图像上，获得最终图像。该方法可以有效增强图像细节，提升图像分辨率，增强视觉效果，但操作流程复杂，浪费大量成本；

徐军，刘慧研究发现医学领域中传统图像合成存在分辨率不高的问题，严重影响临床诊疗的准确率。因此提出利用非局部自回归学习方式对医学图像进行重建。根据医学图像特有的非局部特性，并利用自回归函数和通过聚类获得的分类字典构建新模型，最终得出重建后的高分辨率图像。该方法很大程度上提升医学图像分辨率，但是计算过程仍过于繁琐，浪费大量时间；

杨飚，邸苗依据当前分辨率图像重建存在速度慢、图像质量不佳等问题，提出通过块对称对叠方式对两幅或者两幅以上幅图像分辨率进行重建。先采用ORB方式对较低分辨率图像序列做图像配准处理，再将处理后图像进行PSyCo重建，然后将重建后图像做像素灰度极大值融合处理，得到超高分辨率图像。该方法重建图像分辨率较高，但分辨率图像重建正确率较低，严重影响图像质量。

发明内容

针对上述存在的问题，本发明旨在提供基于时空变换技术的超分辨图像重建方法，可以有效解决图像重建分辨率低、准确率低以及计算复杂等问题，从而得到图像质量极佳。

为了实现上述目的，本发明所采用的技术方案如下：

基于时空变换技术的超分辨图像重建方法，其特征在于，包括以下步骤，

S1：采用分量方式将图像分成R、G和B三个分量；

S2：把每个低分辨率图像序列的R、G和B分量分别组成矢量l_R、l_G、l_B，其中l_R、l_G、l_B代表对应分量中全部低分辨率观察数值的矢量；

S3：利用时空变换技术构建各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B；

S4：利用高分辨率元素的线性公式Ah＝l得出高时间分辨率图像序列的矢量h_R、h_G、h_B；其中，h_R、h_G、h_B代表重建图像帧序列X中所有未知高分辨率数值的不同分量矢量；

S5：根据步骤S4得出的h_R、h_G和h_B数值重新构建空间超分辨率，获得超分辨率图像序列中R、G和B分量对应的X_R、X_G和X_B；

S6：将R、G和B分量X_R、X_G和X_B进行合成，最终得到超分辨率图像。

进一步的，步骤S3的具体操作包括以下步骤，

S31：对低分辨率图像序列做匹配处理，得到N个低分辨率图像序列，对N个低分辨率图像序列观察模型进行时空下采样，得到N个基于时空变换采样矩阵D₁、D₂，……，D_N；

S32：找出物空间不会随着视场运动而改变空间中各点的坐标，得出N个低分辨率图像照射的时空坐标变换矩阵T₁、T₂，……，T_N；

S33：获取N个低分辨率图像的相机点扩展函数H₁，H₂，……，H_N，以及低分辨率图像序列对应的的时间模糊矩阵M₁，M₂，……，M_N；

S34：建立若干个图像的观测模型；

S35：从观测模型中可以得出第i个低分辨率图像序列与预测高分辨率序列X之间的关系为Y_i＝D_iM_iH_iT_iX+n_i，1≤i≤N，其中，N_i表示第i个低分辨率图像的观察噪声；Y_i也即各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A；

S36：各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A的R、G和B分量即为各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B。

进一步的，步骤S4中利用共轭梯度算法获得高时间分辨率图像序列的矢量h_R、h_G、h_B。

进一步的，利用共轭梯度算法获得高时间分辨率图像序列的矢量h_R、h_G、h_B的具体操作包括以下步骤，

S41：根据高分辨率元素的线性公式Ah＝l可得最小平方图像序列模型min E(h)＝min{||Ah-l||²}；

S42：对最小平方图像序列模型进行正规化处理，得出图像序列超分辨率重建方程式min E(h)＝min{||Ah-l||²+α||WCh||²}；式中，W表示记载各时间点上期望正规化情况的对角线权值矩阵函数；α表示整局正规化因子；C表示记载时空平方价导数的矩阵，被选为laplace算符；

S43：初始设定β＝0，h₀＝0，b＝A^Tl，r＝b，p＝b；

S44：从k＝1，2...进行迭代运算，其中，算法搜索方向为p＝r+βp，q＝(A^TA+αC^TW^TWC)p；算法搜索步长为α＝r^Tr/p^Tp，算法梯度为r₀＝r，r＝r₀-αq，

S45：则得出实际搜索h_k＝h_k-1+αp，其中，h＝h_R、h_G、h_B。

进一步的，步骤S5使用迭代反投影方式进行空间超分辨率重新构建。

进一步的，使用迭代反投影方式进行空间超分辨率重建的方法可表示为

其中，m描述为迭代次数；p描述为在低分辨率图像中的帧数量；

描述为第m+1次进行迭代获得的超分辨率图像帧；

描述为第m次进行迭代获得的超分辨率图像帧；

描述为迭代反投影实践次数；

描述为

在低分辨率观测模型中实验获得的低分辨率图像帧；λ描述为梯度步长；f描述为参考帧；Δ描述为平方价微分的拉普拉斯算符。

本发明的有益效果是：

本发明中基于时空变换技术的超分辨率图像重建方法采用匹配方法重新构建高时间分辨率图像序列，将得出的序列采用迭代反投影方式做时空超分辨率重建处理，最终得出超分辨率图像，经过仿真实验验证，该方法计算简单、重建速度快、提升图像分辨率，并有效解决图像重建过程发生变形、噪声以及模糊等问题。

附图说明

图1为本发明中若干个低分辨率图像的观测模型；

图2为为本发明仿真实验中foreman规则下图像序列重建情况；

图3为本发明仿真实验中基于实际text序列的图像重建情况；

图4为本发明仿真实验中foreman序列迭代计算对比情况；

图5为本发明仿真实验中基于实际text序列迭代计算对比情况。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

基于时空变换技术的超分辨图像重建方法，包括以下步骤，

S1：采用分量方式将图像分成R、G和B三个分量；

S2：把每个低分辨率图像序列的R、G和B分量分别组成矢量l_R、l_G、l_B，其中l_R、l_G、l_B代表对应分量中全部低分辨率观察数值的矢量；

S3：利用时空变换技术构建各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B；

针对一些线性与径向运动等不清晰的空间退化函数，可以试着找出1个坐标空间，物空间不会随着视场运动而改变空间中各点的坐标，所以可以在该空间利用各种图像复原方法完成图像复原，然后再变换回初始图像空间，这就是图像时空变换基本过程。

线性运动会造成空间图像发生改变，通过系统像场弯曲与纵横差获得空间图像变化程度，如果图像代表某种形式，则可以用空间变换方式进行转换得到

式中，P表示初始图像，(u，v)与(x，y)表示物空间与像空间的坐标，α(x，y)，β(u，v)，c_n(x，y)，b_n(u，v)，c_I2(x，y)，b_I2(u，v)分别表示相对应可逆函数点坐标，并在全部空间中α(x，y)≠0，β(u，v)≠0，P_I(·)可以进行傅里叶变换函数，得到

由此可见，时空坐标变换是一种既直接又简单的超分辨率图像重建方法，为提高后续图像重建精准度奠定基础。

具体的，在本发明中利用时空变换技术构建各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B的具体操作包括以下步骤，

S31：对低分辨率图像序列做匹配处理，得到N个低分辨率图像序列，对N个低分辨率图像序列观察模型进行时空下采样，得到N个基于时空变换采样矩阵D₁、D₂，……，D_N；

S32：找出物空间不会随着视场运动而改变空间中各点的坐标，得出N个低分辨率图像照射的时空坐标变换矩阵T₁、T₂，……，T_N；

S33：获取N个低分辨率图像的相机点扩展函数H₁，H₂，……，H_N，以及低分辨率图像序列对应的的时间模糊矩阵M₁，M₂，……，M_N；

S34：建立若干个图像的观测模型，如附图1所示，在附图1中，n_i表示第i个低分辨率图像的观察噪声；

S35：根据观测模型可以得出，第i个低分辨率图像序列与预测高分辨率序列X之间的关系为Y_i＝D_iM_iH_iT_iX+n_i，1≤i≤N，其中，n_i表示第i个低分辨率图像的观察噪声；Y_i也即各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A；

S36：各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A的R、G和B分量即为各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B。

S4：利用高分辨率元素的线性公式Ah＝l得出高时间分辨率图像序列的矢量h_R、h_G、h_B；其中，h_R、h_G、h_B代表重建图像帧序列X中所有未知高分别率数值的不同分量矢量；

具体的，利用共轭梯度算法获得高时间分辨率图像序列的矢量h_R、h_G、h_B。

S41：根据高分辨率元素的线性公式Ah＝l可得最小平方图像序列模型min E(h)＝min{||Ah-l||²}；

S42：对最小平方图像序列模型进行正规化处理，得出图像序列超分辨率重建方程式min E(h)＝min{||Ah-l||²+α||WCh||²}；式中，W表示记载各时间点上期望正规化情况的对角线权值矩阵函数；α表示整局正规化因子；C表示记载时空平方价导数的矩阵，被选为laplace算符；

S43：初始设定β＝0，h₀＝0，b＝A^Tl，r＝b，p＝b；

S44：从k＝1，2...进行迭代运算，其中，算法搜索方向为p＝r+βp，q＝(A^TA+αC^TW^TWC)p；算法搜索步长为α＝r^Tr/p^Tp，算法梯度为r₀＝r，r＝r₀-αq，

S45：则得出实际搜索h_k＝h_k-1+αp，其中，h＝h_R、h_G、h_B。

S5：根据步骤S4得出的h_R、h_G和h_B数值重新构建空间超分辨率，获得超分辨率图像序列中R、G和B分量对应的X_R、X_G和X_B；

具体的，使用迭代反投影方式进行空间超分辨率重新构建。

使用迭代反投影方式进行空间超分辨率重建的方法可表示为

其中，m描述为迭代次数；p描述为在低分辨率图像中的帧数量；

描述为第m+1次进行迭代获得的超分辨率图像帧；

描述为第m次进行迭代获得的超分辨率图像帧；

描述为迭代反投影实践次数；

描述为

在低分辨率观测模型中实验获得的低分辨率图像帧；λ描述为梯度步长；f描述为参考帧；Δ描述为平方价微分的拉普拉斯算符。

S6：将R、G和B分量X_R、X_G和X_B进行分量矩阵合成，最终得到超分辨率图像。

仿真实验：

为了验证本发明中基于时空变换技术的超分辨率图像重建方法具有较高实效性，本发明进行了两组仿真实验：第1组采用CIF模式的foreman规则图像序列，该序列对象运动较为强烈，人脸部分发生部分变形与错位，运动场景也发生改变；第2组是现实拍照的text图像序列，运动场景含有汉字、表格线以及数字等，相机在拍照过程中会发生激烈抖动。

在第1组仿真实验中，设定foreman图像序列第33帧为中间参考帧，在时间上进行3:1比例采样获得6帧高分辨率初始图像，对这6帧图像采用3×3大小的高斯模块做卷积模糊处理；之后在时间上进行2:1比例采样得出6帧低分辨率图像；最后对参考图像帧做双线性插值处理，并将其当作超分辨率图像重建的原始预测数据。

在进行第2组仿真实验时，由于采用非规则序列，则可以任意抽取1个帧当作中间参考帧，使用与第1组仿真实验一样的方法得出6帧低分辨率图像。

分别采用基于z轴权重的麦粒图像三维重建方法(基于z轴权重的麦粒图像三维；重建,张红涛,常艳,谭联,等.光学学报,2019,39(3)：127-135)，以下简称方法一，与本发明中基于时空变换技术的超分辨率图像重建方法对图像进行重建，第1组仿真实验的结果如附图2所示，其中，(a)为初始高分辨率参考图像，(b)为低分辨率参考图像，(c)为利用方法一重建的图像，(d)为利用本发明中的方法重建的图像。

第2组仿真实验的结果如附图3所示，其中，(a)为初始高分辨率参考图像，(b)为低分辨率参考图像，(c)为利用方法一重建的图像，(d)为利用本发明中的方法重建的图像。

根据以上两组仿真实验，两种方法迭代计算次数都是相同的，各方法参数设定都是根据重建图像质量近于最优的基本原则，需要严格控制参数有：方法一修正残差阈值δ₀第1组仿真实验设定为4，第2组仿真实验设定为3，松弛参数都设定为2；本发明中的图像重建方法修正残差函数中的反比例参数第1组A＝40，第2组A＝20。

从附图2和附图3可以看出，两组仿真实验中低分辨率图像都存在大量噪声，同时由于处于剧烈运动中会导致图像帧运动预测发生极大误差，方法一不能有效解决以上问题，为此处理后得出的结果出现一部分细节损失，特别是表格线上，同时该图像噪声极大(如附图2中(c)和附图3中(c)部分所示)。

而本发明中基于时空变换技术的超分辨率图像重建方法，不仅可以有效降低噪声放大，还可以降低强烈运动导致预测误差。通过附图2中(d)与附图3中(d)部分可知，图像细节更加清晰，图像边缘部分比方法一处理结果有着显著提升，同时噪声也得到了很好地控制，从而得出图像质量极佳。

下表1为方法一与本发明中图像重建方法在进行两组仿真实验时迭代流程中所对应的现实指标情况，附图4和附图5分别为方法一与本发明中图像重建方法在迭代流程中所对应的现实指标迭代次数改变而发生变化曲线。

表1不同方法的重建图像与现实指标情况

根据曲线对比情况发现，迭代次数不断增多，即使这两种方法信噪比与均方差结果情况都很快接近于平稳，但本发明方法的信噪比数值更大一些，均方差数值较小一些，提升重建图像的信噪比，降低均方误差，从而使重建后图像视觉极佳，为此证实本文提出时空变换技术的超分辨图像重建方法具有较高实效性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于时空变换技术的超分辨图像重建方法，其特征在于，包括以下步骤，

S1：采用分量方式将图像分成R、G和B三个分量；

S2：把每个低分辨率图像序列的R、G和B分量分别组成矢量l_R、l_G、l_B，其中l_R、l_G、l_B代表对应分量中全部低分辨率观察数值的矢量；

S3：利用时空变换技术构建各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B；

S4：利用高分辨率元素的线性公式Ah＝l得出高时间分辨率图像序列的矢量h_R、h_G、h_B；其中，h_R、h_G、h_B代表重建图像帧序列X中所有未知高分辨率数值的不同分量矢量；

S5：根据步骤S4得出的h_R、h_G和h_B数值重新构建空间超分辨率，获得超分辨率图像序列中R、G和B分量对应的X_R、X_G和X_B；

S6：将R、G和B分量X_R、X_G和X_B进行合成，最终得到超分辨率图像。

2.根据权利要求1所述的基于时空变换技术的超分辨图像重建方法，其特征在于，步骤S3的具体操作包括以下步骤，

S31：对低分辨率图像序列做匹配处理，得到N个低分辨率图像序列，对N个低分辨率图像序列观察模型进行时空下采样，得到N个基于时空变换采样矩阵D₁、D₂，……，D_N；

S32：找出物空间不会随着视场运动而改变空间中各点的坐标，得出N个低分辨率图像照射的时空坐标变换矩阵T₁、T₂，……，T_N；

S33：获取N个低分辨率图像的相机点扩展函数H₁，H₂，……，H_N，以及低分辨率图像序列对应的的时间模糊矩阵M₁，M₂，……，M_N；

S34：建立若干个图像的观测模型；

S35：从观测模型中可以得出第i个低分辨率图像序列与预测高分辨率序列X之间的关系为Y_i＝D_iM_iH_iT_iX+n_i，1≤i≤N，其中，N_i表示第i个低分辨率图像的观察噪声；Y_i也即各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A；

S36：各高分辨率时空点所对应的低分辨率时空点的贡献矩阵A的R、G和B分量即为各高分辨率时空点对应低分辨率时空点的贡献矩阵A_R、A_G、A_B。

3.根据权利要求2所述的基于时空变换技术的超分辨图像重建方法，其特征在于，步骤S4中利用共轭梯度算法获得高时间分辨率图像序列的矢量h_R、h_G、h_B。

4.根据权利要求3所述的基于时空变换技术的超分辨图像重建方法，其特征在于，利用共轭梯度算法获得高时间分辨率图像序列的矢量h_R、h_G、h_B的具体操作包括以下步骤，

S41：根据高分辨率元素的线性公式Ah＝l可得最小平方图像序列模型min E(h)＝min{||Ah-l||²}；

S42：对最小平方图像序列模型进行正规化处理，得出图像序列超分辨率重建方程式min E(h)＝min{||Ah-l||²+α||WCh||²}；式中，W表示记载各时间点上期望正规化情况的对角线权值矩阵函数；α表示整局正规化因子；C表示记载时空平方价导数的矩阵，被选为laplace算符；

S43：初始设定β＝0，h₀＝0，b＝A^Tl，r＝b，p＝b；

S44：从k＝1，2...进行迭代运算，其中，算法搜索方向为p＝r+βp，q＝(A^TA+αC^TW^TWC)p；算法搜索步长为α＝r^Tr//p^Tp，算法梯度为r₀＝r，r＝r₀-αq，

S45：则得出实际搜索h_k＝h_k-1+αp，其中，h＝h_R、h_G、h_B。

5.根据权利要求4所述的基于时空变换技术的超分辨图像重建方法，其特征在于，步骤S5使用迭代反投影方式进行空间超分辨率重新构建。

6.根据权利要求5所述的基于时空变换技术的超分辨图像重建方法，其特征在于，使用迭代反投影方式进行空间超分辨率重建的方法可表示为

其中，m描述为迭代次数；p描述为在低分辨率图像中的帧数量；

描述为第m+1次进行迭代获得的超分辨率图像帧；

描述为第m次进行迭代获得的超分辨率图像帧；

描述为迭代反投影实践次数；

描述为

在低分辨率观测模型中实验获得的低分辨率图像帧；λ描述为梯度步长；f描述为参考帧；Δ描述为平方价微分的拉普拉斯算符。

Images