CN107767337A - 一种图像超分辨率重建方法、装置、移动终端及存储介质 - Google Patents
一种图像超分辨率重建方法、装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN107767337A CN107767337A CN201710904036.6A CN201710904036A CN107767337A CN 107767337 A CN107767337 A CN 107767337A CN 201710904036 A CN201710904036 A CN 201710904036A CN 107767337 A CN107767337 A CN 107767337A
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- dictionary
- image
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 83
- 230000000903 blocking effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 24
- 230000015556 catabolic process Effects 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像超分辨率重建方法、装置、移动终端及存储介质，该方法包括：采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典，利用低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数，利用稀疏表示系数及高分辨率字典，得到待重建的低分辨率图像重建后的高分辨率图像，使得能够缩短字典训练时间，不需要过大的样本集就可以得到普遍适用且结构更加清晰的过完备高低字典对，且有效的提高重建后的高分辨率图像的分辨率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、装置、移动终端及存储介质。
背景技术
现有技术中，图像超分辨率算法主要分为两类，一类是基于重建算法的图像超分辨率算法，另一类是基于学习算法的图像超分辨率算法，其中，现有的基于重建算法的图像超分辨率算法对于图像的分辨率提高的不太明显，尤其是对于复杂结构的图像，其恢复出来的图像仍然比较模糊；现有的基于学习算法的图像超分辨率算法，所需要的样本集过大，训练时间过长，且训练得到的字典不能普遍适用。
因此，现有的图像超分辨率算法存在着图像的分辨率提高的不太明显、所需要的样本集过大、训练时间过长以及训练得到的字典不能普遍适用的技术问题。
发明内容
本发明实施例的主要目的在于提供一种图像超分辨率重建方法、装置、移动终端及存储介质，解决现有的图像超分辨率算法存在的图像的分辨率提高的不太明显、所需要的样本集过大、训练时间过长以及训练得到的字典不能普遍适用的技术问题。
为实现上述目的，本发明实施例第一方面提供一种图像超分辨率重建方法，所述方法包括：
采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，所述过完备高低字典对包括低分辨率字典及高分辨率字典；
利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像。
进一步的，所述采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，包括：
对所述低分辨率样本图像及所述高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
对所述若干低分辨率样本图像块及所述若干高分辨率样本图像块进行特征提取，得到所述若干低分辨率样本图像块的第一特征数据Py及所述若干高分辨率样本图像块的第二特征数据Px；
将所述第一特征数据Py与预设的低分辨率特征算子Fy相乘，将所述第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对。
进一步的，所述采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对，包括：
对所述第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
利用预设的联合训练稀疏编码公式，对所述第二特征图像块对进行联合字典训练，得到所述过完备高低字典对；
其中，所述第二特征图像块对为:
Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理；
其中，预设的联合训练稀疏编码公式为：
Φ表示所述过完备高低字典对，P表示所述第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
进一步的，所述利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数，包括：
将所述待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
对所述若干待重建的低分辨率图像块进行特征提取，得到所述若干待重建的低分辨率图像块的第三特征数据；
利用所述低分辨率字典对所述第三特征数据进行测试，得到所述稀疏表示系数。
进一步的，所述利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像，包括：
利用预设的迭代公式，对所述稀疏表示系数进行迭代运算，得到所述第三特征数据的最稀疏的稀疏表示系数
利用所述高分辨率字典及所述最稀疏的稀疏表示系数得到用于重建所述高分辨率图像的第四特征数据；
基于所述第四特征数据及所述高分辨率特征算子Fx，得到所述待重建的低分辨率图像重建后的高分辨率图像；
其中，预设的迭代公式为：
表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示所述低分辨率特征算子，Φl表示所述低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
为实现上述目的，本发明实施例第二方面提供一种图像超分辨率重建装置，所述装置包括：
训练模块，用于采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，所述过完备高低字典对包括低分辨率字典及高分辨率字典；
第一确定模块，用于利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
第二确定模块，用于利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像。
进一步的，所述训练模块，包括：
第一分块单元，用于对所述低分辨率样本图像及所述高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
第一提取单元，用于对所述若干低分辨率样本图像块及所述若干高分辨率样本图像块进行特征提取，得到所述若干低分辨率样本图像块的第一特征数据Py及所述若干高分辨率样本图像块的第二特征数据Px；
第一确定单元，用于将所述第一特征数据Py与预设的低分辨率特征算子Fy相乘，将所述第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
第二确定单元，用于采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对。
进一步的，所述第二确定单元具体用于：
对所述第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
利用预设的联合训练稀疏编码公式，对所述第二特征图像块对进行联合字典训练，得到所述过完备高低字典对；
其中，所述第二特征图像块对为:
Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理；
其中，预设的联合训练稀疏编码公式为：
Φ表示所述过完备高低字典对，P表示所述第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
进一步的，所述第一确定模块，包括：
第二分块单元，用于分块处理将所述待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
第二提取单元，用于对所述若干待重建的低分辨率图像块进行特征提取，得到所述若干待重建的低分辨率图像块的第三特征数据；
第三确定单元，用于利用所述低分辨率字典对所述第三特征数据进行测试，得到所述稀疏表示系数。
进一步的，所述第二确定模块，包括：
迭代单元，用于利用预设的迭代公式，对所述稀疏表示系数进行迭代运算，得到所述第三特征数据的最稀疏的稀疏表示系数
第四确定单元，用于利用所述高分辨率字典及所述最稀疏的稀疏表示系数得到用于重建所述高分辨率图像的第四特征数据；
第五确定单元，用于基于所述第四特征数据及所述高分辨率特征算子Fx，得到所述待重建的低分辨率图像重建后的高分辨率图像；
其中，预设的迭代公式为：
表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示所述低分辨率特征算子，Φl表示所述低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
为实现上述目的，本发明实施例第三方面提供一种移动终端，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现第一方面所述的图像超分辨率重建方法中的各个步骤。
为实现上述目的，本发明实施例第四方面提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现第一方面所述的图像超分辨率重建方法中的各个步骤。
本发明与现有技术相比，有益效果在于：
本发明实施例提供一种图像超分辨率重建方法，该方法包括：采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典，利用低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数，利用稀疏表示系数及高分辨率字典，得到待重建的低分辨率图像重建后的高分辨率图像。与现有技术相比，采用稀疏编码进行字典训练，得到过完备高低字典对，因稀疏编码计算简便，可以缩短训练时间，并且因稀疏编码具有自适应性以及较强的联想记忆能力，不需要过大的样本集就可以得到普遍适用且结构更加清晰的过完备高低字典对，在图像重建时，有效的提高重建后的高分辨率图像的分辨率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的一种图像超分辨率重建方法的流程示意图；
图2为图1所示实施例中的步骤101的细化步骤流程示意图；
图3为图2所示实施例中的步骤204的细化步骤流程示意图；
图4为图1所示实施例中的步骤102的细化步骤流程示意图；
图5为图1所示实施例中的步骤103的细化步骤流程示意图；
图6为本发明第二实施例提供的一种图像超分辨率重建装置的结构示意图；
图7为图6所示实施例中的训练模块601的细化结构示意图；
图8为图6所示实施例中的第一确定模块602的细化结构示意图；
图9为图6所示实施例中的第二确定模块603的细化结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本发明第一实施例提供的一种图像超分辨率重建方法的流程示意图，该方法包括：
步骤101、采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典；
在本发明实施例中，图像超分辨率重建方法包括两个阶段，第一阶段为：联合字典训练阶段，第二阶段为：待重建的低分辨率图像的测试及重建阶段。其中，步骤101描述的内容为联合字典训练阶段。
请参阅图2，为图1所示实施例中的步骤101的细化步骤的流程示意图，具体包括如下步骤：
步骤201、对低分辨率样本图像及高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
在本发明实施例中，字典训练是对低分辨率样本图像及高分辨率样本图像进行训练，从而找到低分辨率样本图像与高分辨率样本图像之间的对应关系，因为字典训练是针对图像块进行训练，所以在训练之前，需要预先对低分辨率样本图像Ty及高分辨率样本图像Tx进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块
步骤202、对若干低分辨率样本图像块及若干高分辨率样本图像块进行特征提取，得到若干低分辨率样本图像块的第一特征数据Py及若干高分辨率样本图像块的第二特征数据Px；
在本发明实施例中，在进行字典训练之前，需要预先对若干低分辨率样本图像块及若干高分辨率样本图像块进行特征提取，得到若干低分辨率样本图像块的第一特征数据Py及若干高分辨率样本图像块的第二特征数据Px，例如，提取每一个低分辨率样本图像块的高频分量及中频分量，得到第一特征数据Py，提取每一个高分辨率样本图像块的高频分量及中频分量，得到第二特征数据Px；或者，提取每一个低分辨率样本图像块的一阶梯度特征及二阶梯度特征，得到第一特征数据Py，提取每一个高分辨率样本图像块的一阶梯度特征及二阶梯度特征，得到第二特征数据Px。
其中，因高频分量及中频分量，一阶梯度特征及二阶梯度特征均为公知内容，此处不详加赘述。
步骤203、将第一特征数据Py与预设的低分辨率特征算子Fy相乘，将第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
在本发明实施例中，将第一特征数据Py与预设的低分辨率特征算子Fy相乘，得到低分辨率特征图像块FyPy，将第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到高分辨率特征图像块FxPx，将低分辨率特征图像块FyPy与高分辨率特征图像块FxPx联合成待训练的第一特征图像块对{FxPx,FyPy}。
在本发明实施例中，上述步骤1011-步骤1013描述的是对低分辨率样本图像及高分辨率样本图像的预处理方法，此外，预处理方法还可以为：先对低分辨率样本图像及高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块将若干低分辨率样本图像块与若干高分辨率样本图像块联合成样本图像块对{Tx,Ty}，再对样本图像块对进行特征提取，得到特征数据对{Px,Py}，将特征数据对{Px,Py}中的特征数据Py与预设的低分辨率特征算子Fy相乘，将特征图像块对{Px,Py}中的特征数据Px与预设的高分辨率特征算子Fx相乘，得到第一特征图像块对{FxPx,FyPy}，其中，在字典训练阶段，可根据实际需求对上述两种预处理方法进行选择。
步骤204、采用稀疏编码对第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典。
进一步的，请参阅图3，为图2所示实施例中的步骤204的细化步骤流程示意图，具体包括如下步骤：
步骤301、对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
在本发明实施例中，为保证训练的高低字典对中的低分辨率字典的稀疏系数及高分辨率字典的稀疏系数一致，需要将第一特征图像块对{FxPx,FyPy}中的低分辨率特征图像块FyPy及高分辨率特征图像块FxPx联合起来同时训练，因此，需要对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对。
其中，归一化处理得到的第二特征图像块对为：
其中，Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理。
步骤302、利用预设的联合训练稀疏编码公式，对第二特征图像块对进行联合字典训练，得到过完备高低字典对。
在本发明实施例中，预设的联合训练稀疏编码公式为:
其中，Φ表示过完备高低字典对，P表示第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
其中，预设的联合训练稀疏编码公式是通过退化模型Y＝DBX+n推导出的，具体的推导过程为：
低分辨率图像是由高分辨率图像退化得到的，对于单图像超分辨率重建问题，基于退化模型来进行求解，退化模型为：
Y＝DBX+n (1)
其中，Y为待重建的低分辨率图像，X为待重建的低分辨率图像重建后的高分辨率图像，D为下采样算子，B为模糊算子，n为噪声。
为求解出待重建的低分辨率图像重建后的高分辨率图像X，本发明实施例中的基于稀疏表示的超分辨重建思想就是将图像的稀疏先验作为正则化准则来求出欠定方程的解，在本发明实施例中，将退化模型Y＝DBX+n(1)作为欠定方程。
求解过程为：
设定Y为待重建的低分辨率图像，Xn为从给定的待重建的低分辨率图像Y重建出的若干原始图像，高分辨率图像到低分辨率图像的降质操作用A表示，降质操作即为高分辨率图像的质量降低到低分辨率图像的质量的操作，从给定的待重建的低分辨率图像Y重建出的若干原始图像Xn，可以通过Y得到无穷个Xn，从Xn中找到最合适的X即为求的解，在本发明实施例中最合适的X表示重建后的具有最稀疏的稀疏系数的高分辨率图像，在数学上可以用欠定方程定义方程A*Xn＝Y，其中，A表示一个行数为m，列数为n的的矩阵[m，n]，欠定方程中要求行数m小于列数n，而m<n对于A*Xn＝Y会有无穷多个解(Xn)，若需要一个单一的解，需要额外的正则化条件来缩窄选择范围，因此，定义通用最优化问题(PJ)：
最优化问题(PJ)为：
正则化条件来缩窄选择范围的目的是，将可以求出若干Xn的方程A*Xn＝Y变成一个凸函数，从而缩小Xn的范围，其中，利用欧式范数||Xn||p来实现正则化，欧式范数||Xn||p是最典型的J(X)，故试图解决的问题为：
min||Xn||0 Y＝A*Xn (3)
一个稀疏信号可以由一个过完备字典里的少量称之为原子的基本信息线性组合而成，稀疏信号的表示就是寻找少数位置非零元素的线性系统的解：
min||α||0 Φα＝Xn (4)，其中，k svd算法中，||α||0<k时，称α是稀疏k svd，α是在Φ下的稀疏表示，其中，在式(4)中，α相当于上述的待重建的低分辨率图像Y，Φ相当于上述的降质操作A。
基于过完备字典上的稀疏先验信息是针对图像块而言的，实际处理时要将图像分块处理，y表示低分辨率图像块，x表示对应的高分辨率图像块，则求稀疏表示的过程为：
在式(5)中，αl表示低分辨率图像块的稀疏系数，Φl表示低分辨率字典，y表示对应的低分辨率图像块，ε表示自定义的极小值，则高分辨率图像块可以表示为高分辨率字典Φh的稀疏线性组合：
x≈Φhαh s.t. |αh||0≤Nh (6)
在式(6)中，αh表示高分辨率图像块的稀疏系数，Φh表示高分辨率字典，x表示重建后的高分辨率图像块，Nh表示稀疏系数αh里面大部分元素都为稀疏的，即里面大部分元素为0或者为比较小的数，例如，稀疏系数αh是一个行数为5列数也为5的矩阵，则元素的个数为25个，有20个元素(大部分元素)为0或者为比较小的数。
如步骤201、步骤202及步骤203所述的，得到第一特征图像块对{FxPx,FyPy}，根据可以得到高分辨率字典Φh。
其中，Φh表示高分辨率字典，FxPx表示高分辨率特征图像块，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
根据可以得到低分辨率字典Φl。
其中，Φl表示低分辨率字典，FyPy表示低分辨率特征图像块，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
为了保证低分辨率图像块在低分辨率字典上的稀疏系数αl与高分辨率图像块在高分辨率字典上的稀疏系数αh相等，对第一特征图像块对{FxPx,FyPy}联合训练，如步骤301中，对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到第二特征图像块对，将式(7)及式(8)进行展开分析得到预设的联合训练稀疏编码公式
需要注意的是，利用预设的联合训练稀疏编码公式对第二特征图像块进行训练是一个稀疏编码过程，本发明实施例中需要用到k svd算法对该稀疏编码过程进行求解，即可得到过完备高低字典对，得到的过完备高低字典对的表达式为：
其中，将整体作为联合训练到的到高分辨率字典，将整体作为联合训练到的到低分辨率字典。
需要注意的是，本发明实施例对该稀疏编码过程进行求解用到的是k svd算法，还可以用基追踪算法(Basis Pursuit,BP)，(正交匹配追踪法Orthogonal MatchingPursuit，OMP)、最小绝对收缩和选择算子(Least Absolute Shrinkage and SelectionOperator，LASSO)等。
步骤102、利用低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
在本发明实施例中，步骤102描述的内容为图像超分辨率重建方法的第二阶段中的待重建的低分辨率图像的测试阶段。
进一步地，请参阅图4，为图1所示实施例中的步骤102的细化步骤的流程示意图，具体包括如下步骤：
步骤401、将待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
在本发明实施例中，在训练之前，需要预先对待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块。
步骤402、对若干待重建的低分辨率图像块进行特征提取，得到若干待重建的低分辨率图像块的第三特征数据；
在本发明实施例中，在进行字典训练之前，需要预先对若干待重建的低分辨率图像块进行特征提取，得到若干待重建的低分辨率图像块的第三特征数据，例如，提取每一个待重建的低分辨率图像块的高频分量及中频分量，得到第三特征数据；或者，提取每一个待重建的低分辨率图像块的一阶梯度特征及二阶梯度特征，得到第三特征数据。
步骤403、利用低分辨率字典对第三特征数据进行测试，得到稀疏表示系数。
步骤103、利用稀疏表示系数及高分辨率字典，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，步骤103描述的内容为图像超分辨率重建方法的第二阶段中的待重建的低分辨率图像的重建阶段。
进一步地，请参阅图5，为图1所示实施例中的步骤103的细化步骤的流程示意图，具体包括如下步骤：
步骤501、利用预设的迭代公式，对稀疏表示系数进行迭代运算，得到第三特征数据的最稀疏的稀疏表示系数
在本发明实施例中，预设的迭代公式为：
其中，表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示低分辨率特征算子，Φl表示低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
其中，将利用低分辨率字典得到的稀疏表示系数α，代入预设的迭代公式，得到新的稀疏表示系数α，若该新的稀疏表示系数α不是最稀疏的稀疏表示系数，则将新的稀疏表示系数α再次代入预设的迭代公式，进行迭代运算，知道迭代到稀疏系数收敛，得到最稀疏的稀疏表示系数
其中，有两种方法可以得到最稀疏的稀疏表示系数第一种是通过OMP算法判断是否得到最稀疏的稀疏表示系数需要预先设定了一个最小稀疏表示误差τ，迭代条件为：则继续迭代，知道小于或等于τ，则迭代结束，得到最稀疏的稀疏表示系数其中，Rm为迭代表示残留，m为大于0的正整数。第一种是利用k svd算法自主进行迭代，当得到一个最小值后，则迭代结束，得到最稀疏的稀疏表示系数
步骤502、利用高分辨率字典及最稀疏的稀疏表示系数得到用于重建高分辨率图像的第四特征数据；
在本发明实施例中，因将第一特征图像块对{FxPx,FyPy}中的低分辨率特征图像块FyPy及高分辨率特征图像块FxPx联合起来同时训练，从而保证了训练出的高低字典对中的低分辨率字典的稀疏系数及高分辨率字典的稀疏系数一致，所以待重建的低分辨率图像块的第三特征数据的最稀疏的稀疏表示系数即为用于重建高分辨率图像的最稀疏的稀疏表示系数，利用预设的图像重建公式，得到用于重建高分辨率图像的第四特征数据。
其中，预设的图像重建公式为：
其中，为待重建的低分辨率图像重建后的高分辨率图像的最稀疏的稀疏表示系数，该也为待重建的低分辨率图像块的第三特征数据的最稀疏的稀疏表示系数Φh为高分辨率字典，y为若干待重建的低分辨率图像块，为高分辨率特征算子Fx的逆过程，因此，本发明实施例中的Fx必须是可逆的。
步骤503、基于第四特征数据及高分辨率特征算子Fx，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，将第四特征数据与高分辨率特征算子Fx相乘，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，采用稀疏编码进行字典训练，得到过完备高低字典对，因稀疏编码计算简便，可以缩短训练时间，并且因稀疏编码具有自适应性以及较强的联想记忆能力，不需要过大的样本集就可以得到普遍适用且结构更加清晰的过完备高低字典对，在图像重建时，有效的提高重建后的高分辨率图像的分辨率，例如，电子计算机断层扫描(Computed Tomography，CT)是一种有效的医学检查手段，将本发明运用于重建CT超分辨率图像，可以得到高分辨率CT图像，从而提高诊断精确度。
请参阅图6，为本发明第二实施例提供的一种图像超分辨率重建装置的结构示意图，包括：
训练模块601，用于采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典；
在本发明实施例中，图像超分辨率重建方法包括两个阶段，第一阶段为：联合字典训练阶段，第二阶段为：待重建的低分辨率图像的测试及重建阶段。其中，训练模块601描述的内容为联合字典训练阶段。
请参阅图7，为图6所示实施例中的训练模块601的细化结构示意图，包括：
第一分块单元701，用于对低分辨率样本图像及高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
在本发明实施例中，字典训练是对低分辨率样本图像及高分辨率样本图像进行训练，从而找到低分辨率样本图像与高分辨率样本图像之间的对应关系，因为字典训练是针对图像块进行训练，所以在训练之前，第一分块单元701需要预先对低分辨率样本图像Ty及高分辨率样本图像Tx进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块
第一提取单元702，用于对若干低分辨率样本图像块及若干高分辨率样本图像块进行特征提取，得到若干低分辨率样本图像块的第一特征数据Py及若干高分辨率样本图像块的第二特征数据Px；
在本发明实施例中，在进行字典训练之前，第一提取单元702需要预先对若干低分辨率样本图像块及若干高分辨率样本图像块进行特征提取，得到若干低分辨率样本图像块的第一特征数据Py及若干高分辨率样本图像块的第二特征数据Px，例如，提取每一个低分辨率样本图像块的高频分量及中频分量，得到第一特征数据Py，提取每一个高分辨率样本图像块的高频分量及中频分量，得到第二特征数据Px；或者，提取每一个低分辨率样本图像块的一阶梯度特征及二阶梯度特征，得到第一特征数据Py，提取每一个高分辨率样本图像块的一阶梯度特征及二阶梯度特征，得到第二特征数据Px。
其中，因高频分量及中频分量，一阶梯度特征及二阶梯度特征均为公知内容，此处不详加赘述。
第一确定单元703，用于将第一特征数据Py与预设的低分辨率特征算子Fy相乘，将第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
在本发明实施例中，将第一特征数据Py与预设的低分辨率特征算子Fy相乘，得到低分辨率特征图像块FyPy，将第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到高分辨率特征图像块FxPx，将低分辨率特征图像块FyPy与高分辨率特征图像块FxPx联合成待训练的第一特征图像块对{FxPx,FyPy}。
在本发明实施例中，上述第一分块单元701、第一提取单元702及第一确定单元703描述的是对低分辨率样本图像及高分辨率样本图像的预处理方法，此外，预处理方法还可以为：先对低分辨率样本图像及高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块将若干低分辨率样本图像块与若干高分辨率样本图像块联合成样本图像块对{Tx,Ty}，再对样本图像块对进行特征提取，得到特征数据对{Px,Py}，将特征数据对{Px,Py}中的特征数据Py与预设的低分辨率特征算子Fy相乘，将特征图像块对{Px,Py}中的特征数据Px与预设的高分辨率特征算子Fx相乘，得到第一特征图像块对{FxPx,FyPy}，其中，在字典训练阶段，可根据实际需求对上述两种预处理方法进行选择。
第二确定单元704，用于采用稀疏编码对第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到过完备高低字典对，其中，过完备高低字典对包括低分辨率字典及高分辨率字典。
进一步的，第二确定单元704具体用于：
对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
在本发明实施例中，为保证训练的高低字典对中的低分辨率字典的稀疏系数及高分辨率字典的稀疏系数一致，需要将第一特征图像块对{FxPx,FyPy}中的低分辨率特征图像块FyPy及高分辨率特征图像块FxPx联合起来同时训练，因此，需要对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对。
其中，归一化处理得到的第二特征图像块对为：
其中，Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理。
利用预设的联合训练稀疏编码公式，对第二特征图像块对进行联合字典训练，得到过完备高低字典对。
在本发明实施例中，预设的联合训练稀疏编码公式为:
其中，Φ表示过完备高低字典对，P表示第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
其中，预设的联合训练稀疏编码公式是通过退化模型Y＝DBX+n推导出的，具体的推导过程为：
低分辨率图像是由高分辨率图像退化得到的，对于单图像超分辨率重建问题，基于退化模型来进行求解，退化模型为：
Y＝DBX+n (1)
其中，Y为待重建的低分辨率图像，X为待重建的低分辨率图像重建后的高分辨率图像，D为下采样算子，B为模糊算子，n为噪声。
为求解出待重建的低分辨率图像重建后的高分辨率图像X，本发明实施例中的基于稀疏表示的超分辨重建思想就是将图像的稀疏先验作为正则化准则来求出欠定方程的解，在本发明实施例中，将退化模型Y＝DBX+n(1)作为欠定方程。
求解过程为：
设定Y为待重建的低分辨率图像，Xn为从给定的待重建的低分辨率图像Y重建出的若干原始图像，高分辨率图像到低分辨率图像的降质操作用A表示，降质操作即为高分辨率图像的质量降低到低分辨率图像的质量的操作，从给定的待重建的低分辨率图像Y重建出的若干原始图像Xn，可以通过Y得到无穷个Xn，从Xn中找到最合适的X即为求的解，在本发明实施例中最合适的X表示重建后的具有最稀疏的稀疏系数的高分辨率图像，在数学上可以用欠定方程定义方程A*Xn＝Y，其中，A表示一个行数为m，列数为n的的矩阵[m，n]，欠定方程中要求行数m小于列数n，而m<n对于A*Xn＝Y会有无穷多个解(Xn)，若需要一个单一的解，需要额外的正则化条件来缩窄选择范围，因此，定义通用最优化问题(PJ)：
最优化问题(PJ)为：
正则化条件来缩窄选择范围的目的是，将可以求出若干Xn的方程A*Xn＝Y变成一个凸函数，从而缩小Xn的范围，其中，利用欧式范数||Xn||p来实现正则化，欧式范数||Xn||p是最典型的J(X)，故试图解决的问题为：
min||Xn||0 Y＝A*Xn (3)
一个稀疏信号可以由一个过完备字典里的少量称之为原子的基本信息线性组合而成，稀疏信号的表示就是寻找少数位置非零元素的线性系统的解：
min||α||0 Φα＝Xn (4)，
其中，k svd算法中，||α||0<k时，称α是稀疏k svd，α是在Φ下的稀疏表示，其中，在式(4)中，α相当于上述的待重建的低分辨率图像Y，Φ相当于上述的降质操作A。
基于过完备字典上的稀疏先验信息是针对图像块而言的，实际处理时要将图像分块处理，y表示低分辨率图像块，x表示对应的高分辨率图像块，则求稀疏表示的过程为：
在式(5)中，αl表示低分辨率图像块的稀疏系数，Φl表示低分辨率字典，y表示对应的低分辨率图像块，ε表示自定义的极小值，则高分辨率图像块可以表示为高分辨率字典Φh的稀疏线性组合：
x≈Φhαh s.t. |αh||0≤Nh (6)
在式(6)中，αh表示高分辨率图像块的稀疏系数，Φh表示高分辨率字典，x表示重建后的高分辨率图像块，Nh表示稀疏系数αh里面大部分元素都为稀疏的，即里面大部分元素为0或者为比较小的数，例如，稀疏系数αh是一个行数为5列数也为5的矩阵，则元素的个数为25个，有20个元素(大部分元素)为0或者为比较小的数。
如第一分块单元701、第一提取单元702及第一确定单元703描述的内容，得到第一特征图像块对{FxPx,FyPy}，根据可以得到高分辨率字典Φh。
其中，Φh表示高分辨率字典，FxPx表示高分辨率特征图像块，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
根据可以得到低分辨率字典Φl。
其中，Φl表示低分辨率字典，FyPy表示低分辨率特征图像块，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
为了保证低分辨率图像块在低分辨率字典上的稀疏系数αl与高分辨率图像块在高分辨率字典上的稀疏系数αh相等，对第一特征图像块对{FxPx,FyPy}联合训练，如第二确定单元704中，对第一特征图像块对{FxPx,FyPy}进行归一化处理，得到第二特征图像块对，将式(7)及式(8)进行展开分析得到预设的联合训练稀疏编码公式
需要注意的是，利用预设的联合训练稀疏编码公式对第二特征图像块进行训练是一个稀疏编码过程，本发明实施例中需要用到k svd算法对该稀疏编码过程进行求解，即可得到过完备高低字典对，得到的过完备高低字典对的表达式为：
其中，将整体作为联合训练到的到高分辨率字典，将整体作为联合训练到的到低分辨率字典。
需要注意的是，本发明实施例对该稀疏编码过程进行求解用到的是k svd算法，还可以用基追踪算法(Basis Pursuit,BP)，(正交匹配追踪法Orthogonal MatchingPursuit，OMP)、最小绝对收缩和选择算子(Least Absolute Shrinkage and SelectionOperator，LASSO)等。
第一确定模块602，用于利用低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
在本发明实施例中，第一确定模块602描述的内容为图像超分辨率重建方法的第二阶段中的待重建的低分辨率图像的测试阶段。
进一步地，请参阅图8，为图6所示实施例中的第一确定模块602的细化结构示意图，包括：
第二分块单元801，用于将待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
在本发明实施例中，在训练之前，需要预先对待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块。
第二提取单元802，用于对若干待重建的低分辨率图像块进行特征提取，得到若干待重建的低分辨率图像块的第三特征数据；
在本发明实施例中，在进行字典训练之前，需要预先对若干待重建的低分辨率图像块进行特征提取，得到若干待重建的低分辨率图像块的第三特征数据，例如，提取每一个待重建的低分辨率图像块的高频分量及中频分量，得到第三特征数据；或者，提取每一个待重建的低分辨率图像块的一阶梯度特征及二阶梯度特征，得到第三特征数据。
第三确定单元803，用于利用低分辨率字典对第三特征数据进行测试，得到稀疏表示系数。
第二确定模块603，用于利用稀疏表示系数及高分辨率字典，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，第二确定模块603描述的内容为图像超分辨率重建方法的第二阶段中的待重建的低分辨率图像的重建阶段。
进一步地，请参阅图9，为图6所示实施例中的第二确定模块603的细化结构示意图，包括：
迭代单元901，用于利用预设的迭代公式，对稀疏表示系数进行迭代运算，得到第三特征数据的最稀疏的稀疏表示系数
在本发明实施例中，预设的迭代公式为：
其中，表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示低分辨率特征算子，Φl表示低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
其中，将利用低分辨率字典得到的稀疏表示系数α，代入预设的迭代公式，得到新的稀疏表示系数α，若该新的稀疏表示系数α不是最稀疏的稀疏表示系数，则将新的稀疏表示系数α再次代入预设的迭代公式，进行迭代运算，知道迭代到稀疏系数收敛，得到最稀疏的稀疏表示系数
其中，有两种方法可以得到最稀疏的稀疏表示系数第一种是通过OMP算法判断是否得到最稀疏的稀疏表示系数需要预先设定了一个最小稀疏表示误差τ，迭代条件为：则继续迭代，知道小于或等于τ，则迭代结束，得到最稀疏的稀疏表示系数其中，Rm为迭代表示残留，m为大于0的正整数。第一种是利用k svd算法自主进行迭代，当得到一个最小值后，则迭代结束，得到最稀疏的稀疏表示系数
第四确定单元902，用于利用高分辨率字典及最稀疏的稀疏表示系数得到用于重建高分辨率图像的第四特征数据；
在本发明实施例中，因将第一特征图像块对{FxPx,FyPy}中的低分辨率特征图像块FyPy及高分辨率特征图像块FxPx联合起来同时训练，从而保证了训练出的高低字典对中的低分辨率字典的稀疏系数及高分辨率字典的稀疏系数一致，所以待重建的低分辨率图像块的第三特征数据的最稀疏的稀疏表示系数即为用于重建高分辨率图像的最稀疏的稀疏表示系数，利用预设的图像重建公式，得到用于重建高分辨率图像的第四特征数据。
其中，预设的图像重建公式为：
其中，为待重建的低分辨率图像重建后的高分辨率图像的最稀疏的稀疏表示系数，该也为待重建的低分辨率图像块的第三特征数据的最稀疏的稀疏表示系数Φh为高分辨率字典，y为若干待重建的低分辨率图像块，为高分辨率特征算子Fx的逆过程，因此，本发明实施例中的Fx必须是可逆的。
第五确定单元903，用于基于第四特征数据及高分辨率特征算子Fx，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，将第四特征数据与高分辨率特征算子Fx相乘，得到待重建的低分辨率图像重建后的高分辨率图像。
在本发明实施例中，采用稀疏编码进行字典训练，得到过完备高低字典对，因稀疏编码计算简便，可以缩短训练时间，并且因稀疏编码具有自适应性以及较强的联想记忆能力，不需要过大的样本集就可以得到普遍适用且结构更加清晰的过完备高低字典对，在图像重建时，有效的提高重建后的高分辨率图像的分辨率，例如，电子计算机断层扫描(Computed Tomography，CT)是一种有效的医学检查手段，将本发明运用于重建CT超分辨率图像，可以得到高分辨率CT图像，从而提高诊断精确度。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种图像超分辨率重建方法、装置、移动终端及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种图像超分辨率重建方法，其特征在于，所述方法包括：
采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，所述过完备高低字典对包括低分辨率字典及高分辨率字典；
利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，包括：
对所述低分辨率样本图像及所述高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
对所述若干低分辨率样本图像块及所述若干高分辨率样本图像块进行特征提取，得到所述若干低分辨率样本图像块的第一特征数据Py及所述若干高分辨率样本图像块的第二特征数据Px；
将所述第一特征数据Py与预设的低分辨率特征算子Fy相乘，将所述第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对。
3.根据权利要求2所述的方法，其特征在于，所述采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对，包括：
对所述第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
利用预设的联合训练稀疏编码公式，对所述第二特征图像块对进行联合字典训练，得到所述过完备高低字典对；
其中，所述第二特征图像块对为:
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>C</mi>
<mi>h</mi>
</msub>
</msqrt>
</mfrac>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>x</mi>
</msub>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</msqrt>
</mfrac>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理；
其中，预设的联合训练稀疏编码公式为：
Φ表示所述过完备高低字典对，P表示所述第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
4.根据权利要求2所述的方法，其特征在于，所述利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数，包括：
将所述待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
对所述若干待重建的低分辨率图像块进行特征提取，得到所述若干待重建的低分辨率图像块的第三特征数据；
利用所述低分辨率字典对所述第三特征数据进行测试，得到所述稀疏表示系数。
5.根据权利要求4所述的方法，其特征在于，所述利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像，包括：
利用预设的迭代公式，对所述稀疏表示系数进行迭代运算，得到所述第三特征数据的最稀疏的稀疏表示系数
利用所述高分辨率字典及所述最稀疏的稀疏表示系数得到用于重建所述高分辨率图像的第四特征数据；
基于所述第四特征数据及所述高分辨率特征算子Fx，得到所述待重建的低分辨率图像重建后的高分辨率图像；
其中，预设的迭代公式为：
<mrow>
<mover>
<mi>&alpha;</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>&alpha;</mi>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&Phi;</mi>
<mi>l</mi>
</msub>
<mi>&alpha;</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>}</mo>
</mrow>
表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示所述低分辨率特征算子，Φl表示所述低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
6.一种图像超分辨率重建装置，其特征在于，所述装置包括：
训练模块，用于采用稀疏编码对低分辨率样本图像及高分辨率样本图像进行联合字典训练，得到过完备高低字典对，其中，所述过完备高低字典对包括低分辨率字典及高分辨率字典；
第一确定模块，用于利用所述低分辨率字典，得到待重建的低分辨率图像的稀疏表示系数；
第二确定模块，用于利用所述稀疏表示系数及所述高分辨率字典，得到所述待重建的低分辨率图像重建后的高分辨率图像。
7.根据权利要求6所述的装置，其特征在于，所述训练模块，包括：
第一分块单元，用于对所述低分辨率样本图像及所述高分辨率样本图像进行分块处理，得到若干低分辨率样本图像块及若干高分辨率样本图像块；
第一提取单元，用于对所述若干低分辨率样本图像块及所述若干高分辨率样本图像块进行特征提取，得到所述若干低分辨率样本图像块的第一特征数据Py及所述若干高分辨率样本图像块的第二特征数据Px；
第一确定单元，用于将所述第一特征数据Py与预设的低分辨率特征算子Fy相乘，将所述第二特征数据Px与预设的高分辨率特征算子Fx相乘，得到待训练的第一特征图像块对{FxPx,FyPy}；
第二确定单元，用于采用稀疏编码对所述第一特征图像块对{FxPx,FyPy}进行联合字典训练，得到所述过完备高低字典对。
8.根据权利要求7所述的装置，其特征在于，所述第二确定单元具体用于：
对所述第一特征图像块对{FxPx,FyPy}进行归一化处理，得到待训练的第二特征图像块对；
利用预设的联合训练稀疏编码公式，对所述第二特征图像块对进行联合字典训练，得到所述过完备高低字典对；
其中，所述第二特征图像块对为:
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>C</mi>
<mi>h</mi>
</msub>
</msqrt>
</mfrac>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>x</mi>
</msub>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</msqrt>
</mfrac>
<mi>n</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<msub>
<mi>P</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Ch为第二特征数据Px的矢量维数，Cl为第一特征数据Py的矢量维数，norm(.)为归一化处理；
其中，预设的联合训练稀疏编码公式为：
Φ表示所述过完备高低字典对，P表示所述第二特征图像块对，Λ为稀疏表示系数矩阵，αi为第i个稀疏表示系数，i是从1到L的正整数，λ为平衡系数的稀疏性和对原始信号的逼近能力。
9.根据权利要求7所述的装置，其特征在于，所述第一确定模块，包括：
第二分块单元，用于分块处理将所述待重建的低分辨率图像进行分块处理，得到若干待重建的低分辨率图像块；
第二提取单元，用于对所述若干待重建的低分辨率图像块进行特征提取，得到所述若干待重建的低分辨率图像块的第三特征数据；
第三确定单元，用于利用所述低分辨率字典对所述第三特征数据进行测试，得到所述稀疏表示系数。
10.根据权利要求9所述的装置，其特征在于，所述第二确定模块，包括：
迭代单元，用于利用预设的迭代公式，对所述稀疏表示系数进行迭代运算，得到所述第三特征数据的最稀疏的稀疏表示系数
第四确定单元，用于利用所述高分辨率字典及所述最稀疏的稀疏表示系数得到用于重建所述高分辨率图像的第四特征数据；
第五确定单元，用于基于所述第四特征数据及所述高分辨率特征算子Fx，得到所述待重建的低分辨率图像重建后的高分辨率图像；
其中，预设的迭代公式为：
<mrow>
<mover>
<mi>&alpha;</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>&alpha;</mi>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&Phi;</mi>
<mi>l</mi>
</msub>
<mi>&alpha;</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>}</mo>
</mrow>
表示最稀疏的稀疏表示系数，α表示稀疏表示系数，Fy表示所述低分辨率特征算子，Φl表示所述低分辨率字典，λ表示平衡系数的稀疏性和对原始信号的逼近能力。
11.一种移动终端，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至5任意一项所述的图像超分辨率重建方法中的各个步骤。
12.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5任意一项所述的图像超分辨率重建方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710904036.6A CN107767337A (zh) | 2017-09-29 | 2017-09-29 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710904036.6A CN107767337A (zh) | 2017-09-29 | 2017-09-29 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107767337A true CN107767337A (zh) | 2018-03-06 |
Family
ID=61266330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710904036.6A Pending CN107767337A (zh) | 2017-09-29 | 2017-09-29 | 一种图像超分辨率重建方法、装置、移动终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767337A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
| CN108985371A (zh) * | 2018-07-10 | 2018-12-11 | 哈尔滨工业大学（深圳） | 一种图像多分辨率字典学习方法及其应用 |
| CN109714616A (zh) * | 2019-01-15 | 2019-05-03 | 汕头职业技术学院 | 一种基于物联网和超高清视频技术的智能公交站牌系统 |
| CN109741254A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
| CN109741255A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 基于决策树的pet图像超分辨重建方法、装置、设备及介质 |
| CN109785235A (zh) * | 2018-12-29 | 2019-05-21 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 基于压缩感知的红外行人图像超分辨率重建方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
| US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
-
2017
- 2017-09-29 CN CN201710904036.6A patent/CN107767337A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| CN103077505A (zh) * | 2013-01-25 | 2013-05-01 | 西安电子科技大学 | 基于字典学习和结构聚类的图像超分辨率重建方法 |
| US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 李欣: "基于稀疏表示的图像超分辨率重建研究", 《中国博士学位论文全文数据库（信息科技辑）》 * |
| 沈辉: "基于稀疏编码的图像超分辨率", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 陈伟超 等: "基于高频和中频信息的图像超分辨率重建", 《杭州电子科技大学学报( 自然科学版)》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
| CN108734675B (zh) * | 2018-05-17 | 2021-09-28 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
| CN108985371A (zh) * | 2018-07-10 | 2018-12-11 | 哈尔滨工业大学（深圳） | 一种图像多分辨率字典学习方法及其应用 |
| CN108985371B (zh) * | 2018-07-10 | 2020-04-14 | 哈尔滨工业大学（深圳） | 一种图像多分辨率字典学习方法及其应用 |
| CN109741254A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
| CN109741255A (zh) * | 2018-12-12 | 2019-05-10 | 深圳先进技术研究院 | 基于决策树的pet图像超分辨重建方法、装置、设备及介质 |
| CN109741254B (zh) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
| CN109785235A (zh) * | 2018-12-29 | 2019-05-21 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 基于压缩感知的红外行人图像超分辨率重建方法及系统 |
| CN109714616A (zh) * | 2019-01-15 | 2019-05-03 | 汕头职业技术学院 | 一种基于物联网和超高清视频技术的智能公交站牌系统 |
| CN109714616B (zh) * | 2019-01-15 | 2021-04-02 | 汕头职业技术学院 | 一种基于物联网和超高清视频技术的智能公交站牌系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767337A (zh) | 一种图像超分辨率重建方法、装置、移动终端及存储介质 | |
| Liu et al. | Image restoration using total variation with overlapping group sparsity | |
| US20100166332A1 (en) | Methods of deblurring image and recording mediums having the same recorded thereon | |
| CN104867119B (zh) | 基于低秩矩阵重建的结构性缺失图像填充方法 | |
| CN109920013B (zh) | 基于渐进式卷积测量网络的图像重构方法及装置 | |
| US9495734B2 (en) | Information processing apparatus, system, method, and medium storing program | |
| CN108830791B (zh) | 基于自身样例和稀疏表示的图像超分辨率方法 | |
| KR101427854B1 (ko) | 단일 영상의 초고해상도 영상 복원 장치 및 방법 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN105957022A (zh) | 低秩矩阵重建带有随机值脉冲噪声缺失图像恢复方法 | |
| CN109685738A (zh) | 一种提升图像清晰度的方法及装置 | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN107895387B (zh) | Mri图像重建方法及装置 | |
| Gong et al. | Guided depth upsampling via a cosparse analysis model | |
| CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
| CN108765287A (zh) | 一种基于非局部均值的图像超分辨率方法 | |
| CN108460723A (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
| CN111243047A (zh) | 基于自适应非线性网络的图像压缩感知方法及相关产品 | |
| CN114926557A (zh) | 一种结合注意力机制的多尺度图像压缩重构方法 | |
| CN113689336A (zh) | 一种电力设备红外图像非盲超分辨率方法 | |
| Sreeja et al. | Single image super-resolution based on compressive sensing and TV minimization sparse recovery for remote sensing images | |
| Liu et al. | Restoration of Poissonian Images Using Nonconvex Regularizer with Overlapping Group Sparsity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180306 |