CN103632356B - 提高图像空间分辨率的方法及装置 - Google Patents
提高图像空间分辨率的方法及装置 Download PDFInfo
- Publication number
- CN103632356B CN103632356B CN201210312851.0A CN201210312851A CN103632356B CN 103632356 B CN103632356 B CN 103632356B CN 201210312851 A CN201210312851 A CN 201210312851A CN 103632356 B CN103632356 B CN 103632356B
- Authority
- CN
- China
- Prior art keywords
- weight
- weight value
- value
- resolution image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 134
- 238000012216 screening Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 33
- 230000003044 adaptive effect Effects 0.000 claims description 31
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 10
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000005856 abnormality Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种提高图像空间分辨率的方法及装置，涉及图像信息处理领域，为提高图像的空间分辨率而发明。所述方法包括：对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。本发明主要应用于超分辨重建技术中。
Description
技术领域
本发明涉及图像信息处理领域，尤其涉及一种提高图像空间分辨率的方法及装置。
背景技术
图像是人类获取信息的主要来源。据统计，在人类接受的信息中，有75％来自视觉。与其它诸如听觉、味觉、触觉、嗅觉等信息形式相比，视觉信息具有直观、具体、生动等优点，因此，图像/视频采集是数字图像处理系统中不可或缺的关键技术之一。目前应用最为广泛的图像传感器是电荷耦合器件(Charge-coupled Device，简称CCD)。成像系统通过其内部的CCD传感器阵列进行采样，产生数字图像。为了避免“混叠”现象，通常要求采样频率应该满足Nyquist采样准则。
然而在图像数字化采集过程中有很多因素会导致图像分辨率的下降，例如在用CCD等光电成像器件对图像进行采集和保存时，由于采样频率的影响会产生欠采样效应而造成图像的频谱交叠，使获取的图像因频谱混叠而发生降质；其次，大气扰动、CCD传感器的形状和尺寸、光学系统的像差、散焦以及相机和被拍摄物体之间的相对运动等因素也会造成图像的模糊；另外，在对图像信息进行成像、传输、存储过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，这些噪声会直接影响到图像的质量和分辨率。因此，如何对光学系统，光电成像器件，以及图像后期处理做出改进，以便提高图像的分辨率，使采集的图像尽可能的接近于目标原型，成为近年来研究的热点之一。
提高图像空间分辨率的最直接的措施是采用CCD传感器制造工艺减少像元尺寸，也就是增加CCD传感器单位面积内的像元数。但是当像元尺寸减小时，它所能接收到的真实信号的电磁波辐射能量也减小了，因此很容易受到噪声影响，降低图像质量。为了避免像素尺寸减小引起的图像质量下降，像元尺寸大小存在一个最低下限。据估算，0.35μm规格的互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称CMOS)元件，最小允许的像元尺寸为40μm2。目前的CCD传感器制造工艺已经达到了这一极限水平。
提高图像空间分辨率的另一种措施是增加集成电路板的尺寸，但这会导致电容的增加。较大的电容会抑制电荷转移速率，因此这种措施也不被认为是一种有效措施。并且，在商业应用中制造高空间分辨率的光学CCD传感器的高成本也是要考虑的一个主要因素。
发明内容
本发明的实施例提供一种提高图像空间分辨率的方法及装置，能够提高图像的空间分辨率。
一方面，本发明实施例提供了一种提高图像空间分辨率的方法，包括：
对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；
根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像；
所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，具体包括：
根据第一预设算法获得自适应权重阈值；
保留所述至少一个权重值中属于所述自适应权重阈值范围内的权重值，将所述至少一个权重值中不属于所述自适应权重阈值范围内的权重值置为0；
所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，进一步具体包括：
将所述至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；
根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
保留所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0。
另一方面，本发明实施例提供了一种提高图像空间分辨率的装置，包括：
权重估计单元，用于对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
权重筛选单元，用于根据预设算法对所述权重估计单元估计的所述至少一个权重值进行筛选，剔除异常权重值；
图像融合单元，用于根据所述权重筛选单元筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像；
所述权重筛选单元具体包括：
阈值获取子单元，用于根据第一预设算法获得自适应权重阈值；
第一权重处理子单元，用于保留所述权重估计单元估计的至少一个权重值中属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值，将所述权重估计单元估计的至少一个权重值中不属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值置为0；
所述权重筛选单元还包括：
权重确定子单元，用于将所述权重估计单元估计的至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；根据第二预设算法以及所述主权重值，在所述权重估计单元估计的至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
第二权重处理子单元，用于保留所述权重确定子单元确定的所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0。
本发明实施例提供的提高图像空间分辨率的方法及装置，能够估计预设算法对用于描述像素点在运动概率场中运动可能性的权重值进行筛选，剔除异常权重值，然后根据筛选后的权重值将多帧低分辨率图像融合成一幅超分辨率图像，由此提高图像的空间分辨率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中像素点运动概率场的示意图；
图2为本发明实施例中提高图像空间分辨率的方法流程图；
图3为本发明实施例中另一个像素点运动概率场的示意图；
图4为本发明实施例中另一个提高图像空间分辨率的方法流程图；
图5为本发明实施例中再一个像素点运动概率场的示意图；
图6为本发明实施例中确定主辅权重值的示意图；
图7为本发明实施例中提高图像空间分辨率的装置的结构示意图；
图8为本发明实施例中另一个提高图像空间分辨率的装置的结构示意图；
图9为本发明实施例中再一个提高图像空间分辨率的装置的结构示意图；
图10为本发明实施例中又一个提高图像空间分辨率的装置的结构示意图；
图11为本发明实施例中二维高斯滤波的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本发明实施例基于的超分辨重建技术作简要介绍。超分辨率(Super-Resolution,简称SR)重建技术是一种分辨率增强技术，它的主要优势是成本较低，无需对硬件进行改变，利用现有的低分辨率(Low-Resolution,简称LR)成像传感器，使用软件技术来提高图像的分辨率。超分辨重建技术的目标是要从多幅降质的低分辨率图像中，提取有用信息，重建具有丰富细节的高分辨率(High-Resolution,简称HR)图像。本质上，超分辨率重建技术是一种图像融合技术，其基本思想在于根据需要把相关性和互补性很强的多幅图像的有用信息综合在一起，以弥补原始单源观测图像承载信息的局限性。超分辨率重建技术的具体实现可分为“配准”和“融合”两个阶段，在第一个阶段，将多帧低分辨率图像配准后映射到待重建的高分辨率图像平面空间上。在第二阶段，将放置到高分辨率图像平面空间上的低分辨图像进行融合，得到所需要的超分辨率图像。
图像配准从本质上可以看作是根据运动模型进行参数估计的过程，属于运动估计问题。为了减小求解超分辨重建问题的难度，传统的超分辨率重建算法，需要假设各帧低分辨率图像之间只存在全局移动，例如在使用相机拍照时，CCD传感器获取的图像中所有的对象都按照相同的方向相同的位移量进行移动。而这样简单的假设对于自然图像来说很难成立，因为自然图像中往往存在多个具有不同运动形式的对象，例如CCD传感器获取的图像中汽车向左运动，人向右运动。也就是说自然图像中通常存在局部而非全局的运动形式，为了解决这个问题，Protter等人受到非局部平均(Non-Local Means，简称NLM)滤波算法的启发，提出了一种基于运动概率场的超分辨率重建算法。基于运动概率场的超分辨重建算法，首先把低分辨率图像中的每一个像素点看作是相互独立的对象，然后分别对这些像素点的运动形式做出估计，这样就使得超分辨率算法不再局限于全局运动的假设，而是每一个局部像素点都可以有自己不同的运动形式。此外，与传统的算法不同，考虑到运动估计可能不够精确，基于运动概率场的超分辨算法并不直接给出每一个像素的准确运动形式，而是给出该像素可能属于哪一种运动形式的概率，即运动概率场。所谓的运动概率场就是首先假设在原始高分辨率图像中，每一个像素点只能够在半径为D的范围内移动，因此每一个像素点最多只能具有M＝(2D+1)2种可能的运动形式，Protter等人将其称为该像素点的运动场。如图1所示，当D＝2时，图中的像素点只能够在以D为半边长的正方形区域中运动，所以该像素点具有25种可能的运动形式(5×5)，即像素点的运动概率场如图1中粗线围成的正方形区域所示。然后，对该像素点移动到运动场的中任一位置的可能性大小进行评估，给出相应的概率权重，该概率权重即为本发明实施例所述的权重值。下面结合图1所示的运动概率场对本发明实施例进行说明。
本发明实施例提供一种提高图像空间分辨率的方法，如图2所示，所述方法包括如下步骤：
201、对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值。
所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小。图1为低分辨率图像中像素点的运动概率场，在图1中，像素点具有25种运动形式(或者说像素点有25个可能移动到的位置)，则需要获得针对该像素点25种运动形式的25个权重值，所述权重值用于描述像素点移动到某个位置的概率大小，其中，每个权重值的取值范围为[0,1]。
图3给出了运动概率场中部分运动形式的权重值，可以看出像素点由原始位置运动到位置1的权重值(或者说概率)为0.2，运动到位置2的权重值为0.01，运动到位置3的权重值3为0.3。需要说明的是，图3中所示箭头仅表示像素点的运动形式，即箭头的方向代表像素点从原始位置移动到箭头指向的位置，而箭头的长度与权重值之间并不具有对应关系。
所述对低分辨率图像中像素点的运动形式进行权重估计为对低分辨率图像中所有像素点都进行权重估计，假设一帧低分辨率图像中的像素点个数为10000个，并且每个像素点的运动概率场都如图1所示，则一帧低分辨率图像需要估计的权重值数量为250000个。
由于超分辨重建技术是将多帧低分辨率图像配准、融合为一幅超分辨率图像的过程，所以步骤201中需要对所有低分辨率图像中的像素点进行权重估计。
202、根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值。
如前所述，超分辨重建技术需要对所有低分辨率图像中的所有像素点进行权重估计，为方便表述，后续以对一帧低分辨率图像中的某一个像素点进行权重估计为例进行说明，后续所述的至少一个权重值指用于描述一个像素点在一帧低分辨率图像中的至少一种运动形式的权重值。
由于低分辨率图像是由原始高分辨率图像经过下采样得到的，对原始高分辨率图像进行下采样会造成原始高分辨率图像中高频信息的损失和频谱混叠，因此由经过下采样得到的低分辨率图像插值得到的高分辨率图像与原始高分辨率图像相比会存在误差。这些误差引入到权重估计中会导致权重计算错误，进而导致重建质量的下降。根据预设算法对权重值进行筛选可以剔除至少一个权重值中的错误权重值，由此提高重建的质量。
203、根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
低分辨率图像融合过程需要使用上述估计的权重值，由于已将异常权重值剔除，所以可以避免权重值估计错误所导致的误差在融合过程中的积累和传播。
本发明实施例提供的提高图像空间分辨率的方法，可以对估计的权重值进行筛选，将误差值较大的异常权重剔除，然后根据筛选后的权重值对低分辨率图像进行融合，由此提高超分辨率重建的质量。
作为对图2所示实施例的进一步扩展及说明，本发明实施例还提供了一种提高图像空间分辨率的方法，如图4所示，所述方法包括如下步骤：
401、对低分辨率图像进行低通滤波。
低通滤波的目的在于滤除低分辨率图像中高于预设频率门限值的频率成分。根据奈奎斯特(NYQUIST)采样定理，在进行模拟/数字信号的转换过程中，当采样频率(F)大于信号(本实施例中为低分辨率图像)中最高频率的2倍时，采样之后的数字信号可以完整地保留原始信号中的信息。当用采样频率(F)低于信号中最高频率的2倍时,信号中低于F/2的低频成分会对称映象到高于F/2的频带中,并且使F/2以上的原有频率成分和低频成分叠加起来,形成混叠现象(ALIASING)。
通常，消除混叠现象的方式有两种：1)提高采样频率,即缩小采样时间间隔.然而实际的信号处理系统无法提供很大的采样频率。另外,许多信号本身可能含有全频带的频率成分,不可能将采样频率提高到无穷大.所以,通过提高采样频率避免混叠现象是有所限制的。2)采用抗混叠滤波器，在采样频率一定的前提下,通过低通滤波器滤掉高于采样频率一半的频率成分,通过低通滤波器的信号则可避免出现频率混叠。
本发明实施例中，涉及权重估计的低分辨率图像包括已知低分辨率图像和经下采样获得的低分辨率图像，其中，下采样获得的低分辨率图像是由原始高分辨率图像经下采样得到的，而原始高分辨率图像中包含了部分高频成分，由于下采样频率往往不能满足奈奎斯特采样定理的要求(即下采样频率大于原始高分辨率图像中最高频率的2倍)，所以经下采样得到的低分辨率图像中会存在频谱混叠的现象。为了减小频谱混叠对权重估计的影响，在权重估计之前，需要对已知低分辨率图像和下采样获得的低分辨率图像进行低通滤波，低通滤波器的预设频率门限值设置为采样频率的一半，可以将低分辨率图像中高于采样频率一半的高频信息滤除掉，由此消除低分辨率图像中的混叠现象。以对已知低分辨率图像进行滤波为例，具体的操作方式如公式(1)所示：
其中，yt为已知低分辨率图像，为抗混叠处理后的低分辨率图像，T为低分辨率图像的总帧数，t为当前滤波的低分辨率图像的帧数，G为低通滤波器。公式(1)表示对参与超分辨率重建的T帧已知低分辨率图像进行低通滤波。
本发明实施例中以二维高斯滤波器作为低通滤波器(或称为抗混叠滤波器)对低分辨率图像进行滤波，二维高斯滤波的公式如公式(2)所示：
其中，r为模糊半径，等于σ为模糊核标准差，二维高斯滤波如图11所示。
402、对低分辨率图像中像素点的运动形式进行权重估计。
权重估计的公式如公式(3)所示：
其中，m表示像素点的某种运动形式，在图1中，像素点具有25种运动形式(或称为25个可能运动到的位置)，则像素点的运动概率场M为25，m的取值范围为M，即m为M中的某一种运动形式；t表示低分辨率图像的帧数；[k,l]表示像素点在第t帧低分辨率图像中的坐标；Wm,t[k,l]表示在第t帧低分辨率图像中，坐标为[k,l]的像素点的第m种运动形式的权重值；exp{}表示以e为底的指数函数，σ为归一化参数；D为下采样算子，表示将原始高分辨率图像下采样为低分辨率图像的操作；Fm为移动算子，表示将原始高分辨率图像整体(即所有像素点)按照运动概率场中的第m中运动形式进行移动的操作；Z为原始高分辨率图像；DFmZ表示将对原始高分辨率图像按照第m种运动形式整体移动后，进行下采样得到低分辨率图像；yt为已知低分辨率图像；(DFmZ-yt)表示对经下采样得到的低分辨率图像与已知低分辨率图像进行比较，获得两者之间的差值，通常，(DFmZ-yt)越小表示经下采样得到的低分辨率图像与已知低分辨率图像越接近；Rk,l为邻域提取算子，表示以像素点[k,l]为原点提取某一邻域；Rk,l(DFmZ-yt)表示对某一像素点在下采样得到的低分辨率图像中取邻域，对该像素点在已知低分辨率图像中取邻域，然后对同一像素点的两个邻域做差；表示求平方和的运算。
由于在权重估计之前需要对下采样得到的低分辨率图像以及已知低分辨率图像进行低通滤波，所以将低通滤波后的下采样得到的低分辨率图像以及已知低分辨率图像代入公式(3)中，就得到了公式(4)：
其中，GDFmZ表示对下采样得到的低分辨率图像进行二维高斯滤波，表示根据公式(1)对已知低分辨率图像进行二维高斯滤波。本发明实施例中使用公式(4)对像素点进行权重估计。
为了检测步骤401中抗混叠处理对步骤402权重估计正确率的影响，本发明实施例对经过抗混叠处理和未经抗混叠处理的权重估计进行了比对实验，通过三组数据内容不同的测试序列(等同于低分辨率图像)对权重估计的正确性比对进行说明。如下表所示：
| 测试序列 | 邻域尺寸(M) | 高斯核σ | 正确率(未抗混叠) | 正确率(抗混叠) |
| A | 13×13 | 1.5 | 0.74 | 0.90 |
| B | 13×13 | 1.5 | 0.87 | 0.97 |
| C | 13×13 | 1.5 | 0.88 | 0.93 |
| A | 3×3 | 0.5 | 0.43 | 0.47 |
| B | 3×3 | 0.5 | 0.56 | 0.63 |
| C | 3×3 | 0.5 | 0.56 | 0.62 |
由上表可以看出，虽然测试序列内容、邻域尺寸及高斯核各不相同，但经过步骤401抗混叠处理后权重估计的正确率普遍高于未经步骤401抗混叠处理后权重估计的正确率，因此步骤401的抗混叠处理可以有效提高权重估计的准确性。
403、根据预设算法对至少一个权重值进行筛选，剔除异常权重值。
在步骤402中已对某一像素点在运动概率场中的各个运动形式估计出了权重值，然后进一步的对估计出的至少一个权重值进行筛选，剔除异常权重值，以减小错误权重值对超分辨率图像重建结果的影响。具体的，筛选权重值的方式包括：A)自适应权重筛选，B)确定主辅运动。下面分别对两种筛选权重值的方式进行详细说明。
A)自适应权重筛选
S1、根据第一预设算法获得自适应权重阈值；
S2、保留至少一个权重值中属于自适应权重阈值范围内的权重值，将至少一个权重值中不属于自适应权重阈值范围内的权重值置为0。
由于权重值的大小与像素点所在邻域的位置和大小密切相关，所以设定统一的权重阈值无法适应不同像素点不同邻域的权重值筛选，因此本发明实施例提供了一种自适应权重阈值计算的方法，如步骤S1所述，根据第一预设算法获得自适应权重阈值，其中所述第一算法如公式(5)所示：
M′＝{m||dx(m)|≤s,|dy(m)|≤s}
其中，threshold[k,l]为坐标为[k,l]的像素点的自适应权重阈值；β为调节参数，用于调节自适应权重阈值的严格程度；表示在像素点的各种运动形式M′中的最大值；M′＝{m||dx(m)|≤s,|dy(m)≤s}表示只取与参考帧存在亚像素级运动的运动形式，其中，dx(m)和dy(m)分别表示在第m种运动形式下像素点分别在水平和竖直方向上移动的距离，s为放大系数，用于对像素点的运动形式(即M′)进行限制。如图5所示，s小于D，所以s限制的运动形式M′属于但小于图5中的运动概率场M。根据超分辨原理，只有具有亚像素级位移的低分辨率图像才能够为超分辨重建提供有效信息，而具有亚像素级位移的运动形式被M′所限制，在M′范围以外的运动形式(例如位置1)则超出亚像素级位移的标准。所以将对应M′范围内运动形式m的权重值筛选出来，而剔除掉对应M′范围以外运动形式m的权重值，可以剔除对超分辨重建结果产生错误影响的异常权重值。
在获得自适应权重阈值之后，自适应权重筛选的实现方式如公式(6)所示：
其中，distm,t[k,l]称作距离函数，等于公式(6)表示将对应于M′范围内运动形式m的权重值保留，将对应于M′范围以外运动形式m的权重值置为0(即剔除异常权重值)。
B)确定主辅运动
在估计出的多个权重值中，将权重值最大的权重值确定为主权重值，将主权重值对应(描述)的运动形式确定为像素点的主运动。根据第二预设算法以及确定的主权重值，在多个权重值中确定至少一个辅权重值，将至少一个辅权重值对应的至少一种运动形式确定为像素点的辅运动。然后保留主权重值以及至少一个辅权重值，将多个权重值中除主权重值以及至少一个辅权重值以外的其他权重值置为0。
具体的，确定辅权重值的方式包括下述三种：
1)将与主权重值差值小于预设权重差值的权重值确定为辅权重值。所述第二预设算法如公式(7)所示：
(Wm,t[k,l]-Wp,t[k,l])≤Ws (7)
其中，Wm,t[k,l]为主权重值，Wp,t[k,l]为辅权重值，Ws为预设权重差值。将步骤402中获得的至少一个权重值除主权重值以外依次代入公式(7)，若满足公式(7)的条件则该权重值为辅权重值，不满足公式(7)条件的权重值为需要剔除的权重值。
例如如图6所示，在步骤402中获得了8个权重值，每个权重值的数值如图6中所示。首先将权重值1(0.3)确定为主权重值，然后将剩余的权重值2至8依次代入公式(7)中判断是否满足公式(7)的条件，其中预设权重差值为0.2。经过比较可以获得4个辅权重值：权重值2(0.2)、权重值3(0.1)、权重值4(0.12)和权重值5(0.15)，而权重值6至8为需要剔除的权重值。
2)将与主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值。所述第二预设算法如公式(8)所示：
其中，α为差异调节因子，用于调整主权重值与辅权重值之间所允许的差异大小。将步骤402中获得的至少一个权重值中除主权重值以外的其他权重值依次代入公式(8)，若满足公式(8)的条件则该权重值为辅权重值，不满足公式(8)条件的权重值为需要剔除的权重值。
例如在图6中，首先将权重值1(0.3)确定为主权重值，然后将剩余的权重值2至8依次代入公式(8)中判断是否满足公式(8)的条件，其中差异调节因子设置为2。经过比较可以获得4个辅权重值：权重值2(0.2)、权重值3(0.1)、权重值4(0.12)和权重值5(0.15)，而权重值6至8为需要剔除的权重值。
3)将至少一个权重值中除主权重值以外最大的权重值确定为辅权重值。
在本方式中可以采用剩余最大原则，具体的，当辅权重值数量为1时，将除主权重值以外最大的权重值确定为辅权重值；当辅权重值数量大于1，例如4时，将除主权重值以外剩余权重值中4个最大的权重值确定为辅权重值，例如在图6中，将权重值2至5确定为辅权重值。
在上述三种确定辅权重值的方式中，辅权重值的数量可以是一个也可以是多个，在某些情况下，还可以将除主权重值以外的所有权重值都确定为辅权重值，本发明实施例对辅权重值的数量不做限制。
在本发明实施例中，权重值的大小用于表示像素点按照某种运动形式运动的概率大小，将权重值最大的权重值确定为主权重值即为将像素点最有可能的运动形式确定为主运动。实际应用中，当主权重值明显大于其他权重值时(例如主权重值为0.9，其他权重值最大不超过0.2)，则可以明确的将主运动确定为像素点的运动形式，此时无需再确定辅权重值；当主权重值与其他权重值的差值不明显时(例如权重差值符合公式(7)或公式(8)所限定的条件时)，需要适当确定一个或几个辅权重值，以便当主权重值所对应的主运动估计错误时(即主运动不为像素点的实际运动形式)，提供一种或几种主辅运动作为对像素点运动形式的估计，从而使重建算法保留一定的冗余，提高重建算法的鲁棒性。
事实上，重建质量与鲁棒性之间具有反向关系，(或者说两者之间具有此消彼长的关系)，当提高辅权重值的数量(即提高鲁棒性)时，由于参与重建的权重值数量增加，会增加引入错误权重值的概率，从而导致重建质量下降；当降低辅权重值的数量(即降低鲁棒性)时，由于参与重建的权重值数量减少，会导致某些正确的权重值无法参与到重建过程中，由此造成重建质量的严重下降。对权重值的筛选实际上就是在重建质量和鲁棒性之间寻找一个平衡点，使在保证重建质量的基础上，适当保留重建算法的冗余性，由此提高重建算法的鲁棒性。
在确定完主权重值和辅权重值后，保留主权重值和辅权重值的权重值，然后将其他权重值置为0(即将其他权重值剔除)。
在本发明实施例中，保留辅权重值的意义在于让重建算法具有一定的冗余性，通过保留适当的冗余性，可以使在主权重值估计错误时，通过保留下来的辅权重值为重建提供一定的重建信息，可以避免重建质量的严重下降，从而提高重建算法的鲁棒性。
以上介绍了A)自适应权重筛选和B)确定主辅运动两种筛选权重值的实现方式，在步骤403中，可以任选其一对权重值进行筛选，也可以选择两者对权重值进行重复筛选(或称为二次筛选)。在本发明实施例的一个优选方案中，在执行完步骤402后进行自适应权重筛选，然后在自适应权重筛选后的权重值中进一步确定主辅权重值，进一步剔除可能引起计算错误的权重值，并且使重建算法保留一定的冗余性，从而在避免重建质量下降的同时进一步提高重建的鲁棒性。
404、根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
具体的，将步骤403中筛选出的权重值依次代入公式(9)，完成对多帧低分辨率图像进行融合。具体的，所述公式(9)如下所示：
其中，为重建后的超分辨率图像上的第[i,j]个像素点，N(i,j)为该像素的一个邻域集，该邻域集定义如下：
s·k＝i+dx(m),s·l＝j+dy(m)}
其中，s为放大倍数，dx(m)和dy(m)分别表示第m种运动形式下高分辨率图像分别在水平和竖直方向上所要移动的距离。
需要说明的是，在前述步骤401至步骤403中是以估计某一像素点在某一帧低分辨率图像中的多个权重值为例进行说明的。实际应用中，需要对每一帧低分辨率图像中的所有像素点估计多个权重值，并且在步骤404中，需要将为每一帧低分辨率图像中所有像素点估计的多个权重值都代入公式(9)中进行计算。其中，经筛选被保留下来的权重值和被置为0的权重值(即被剔除的权重值)都需要代入公式(9)中进行计算，由于被剔除的权重值被置为了0，所以这些权重值不对融合过程产生影响，相当于被剔除。
405、根据预设去模糊算法对超分辨率图像进行去模糊处理。
可选的，在对多帧低分辨率图像进行融合获得超分辨率图像Z后，可以对获得的超分辨率图像进行去模糊处理，获得清晰的超分辨率图像X，进一步提高超分辨率图像的图像质量。去模糊处理的方式包括盲去模糊处理和非盲去模糊处理，在非盲去模糊处理中，预设的约束条件包括：吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差(Bilateral TV，简称BTV)正则化算法以及自然图像梯度先验正则化算法。
下面以BTV正则化算法作为去模糊问题的正则化条件(预设的约束条件)对去模糊过程进行说明。
BTV正则化算法的迭代公式如公式(10)所示：
其中，X为经去模糊处理后的清晰的超分辨率图像，表示将图像X在水平方向上移位l个像素点；表示将图像X在竖直方向上移位m个像素点；p为邻域半径；α是一个距离衰减常数，取值范围为(0,1)；β表示最速下降法的搜索步长；sign为符号函数。在公式(10)中，令等于Z进行迭代就可以得到最终清晰的超分辨率图像X。
上述步骤401至步骤405对多帧低分辨率图像进行抗混叠、权重估计、权重筛选、融合以及去模糊处理，从而获得一幅清晰的超分辨率图像。而在现有技术中，只根据公式(3)对多帧低分辨率图像进行权重估计，然后根据公式(9)对多帧低分辨率图像进行融合。相对于现有技术，本发明实施例提供的提高图像空间分辨率的方法，能够在权重估计之前对低分辨率图像进行抗混叠处理，防止混叠现象导致的误差在重建过程中的积累和传播，可以保证后续的重建质量；在权重估计之后能够对估计的权重进行自适应筛选，以剔除误差值较大的异常权重，提高权重估计算法的准确性；在自适应权重筛选之后能够进一步确定主辅权重值，通过分析权重值差异对筛选过的权重值进行二次筛选，进一步保证后续的重建质量，同时通过确定主辅权重值保证重建算法具有一定的冗余性，从而提高超分辨重建的鲁棒性；在获得融合后的超分辨率图像之后，能够对模糊的超分辨率图像进行去模糊处理，以获得清晰的超分辨率图像，由此进一步提高超分辨率图像的清晰度。综上，本发明实施例提供的提高图像空间分辨率的方法，在超分辨重建过程中通过增加抗混叠处理、权重筛选处理以及去模糊处理，由此能够获得相对现有技术更加清晰的超分辨率图像，从而提高图像的空间分辨率。
参考上述方法实施例的实现，本发明实施例还提供了一种提高图像空间分辨率的装置，用以实现上述方法实施例。如图7所示，所述装置包括：权重估计单元71、权重筛选单元72以及图像融合单元73，其中，
所述权重估计单元71，用于对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小。
所述权重筛选单元72，用于根据预设算法对所述权重估计单元71估计的所述至少一个权重值进行筛选，剔除异常权重值。
所述图像融合单元73，用于根据所述权重筛选单元72筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
进一步的，如图8所示，所述权重筛选单元72具体包括：阈值获取子单元81、第一权重处理子单元82、权重确定子单元83以及第二权重处理子单元84，其中，
所述阈值获取子单元81，用于根据第一预设算法获得自适应权重阈值。
所述第一权重处理子单元82，用于保留所述权重估计单元71估计的至少一个权重值中属于所述阈值获取子单元81获得的所述自适应权重阈值范围内的权重值，将所述权重估计单元71估计的至少一个权重值中不属于所述阈值获取子单元81获得的所述自适应权重阈值范围内的权重值置为0。
所述权重确定子单元83，用于将所述权重估计单元71估计的至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；根据第二预设算法以及所述主权重值，在所述权重估计单元71估计的至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动。
所述第二权重处理子单元84，用于保留所述权重确定子单元83确定的所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0。
进一步的，所述权重确定子单元83具体用于：将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值；将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值；将所述权重估计单元估计的至少一个权重值中除所述主权重值以外最大的权重值确定为辅权重值。
进一步的，如图9所示，所述装置还包括：图像滤波单元91以及图像去模糊单元92，其中，
所述图像滤波单元91，用于在所述权重估计单元71对低分辨率图像中像素点的运动形式进行权重估计之前，对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波。
所述图像去模糊单元92，用于在所述图像融合单元73根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括：吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差(Bilateral TV，简称BTV)正则化算法以及自然图像梯度先验正则化算法。
本发明实施例提供的提高图像空间分辨率的装置，能够在权重估计之前对低分辨率图像进行抗混叠处理，防止混叠现象导致的误差在重建过程中的积累和传播，可以保证后续的重建质量；在权重估计之后能够对估计的权重进行自适应筛选，以剔除误差值较大的异常权重，提高权重估计算法的准确性；在自适应权重筛选之后能够进一步确定主辅权重值，通过分析权重值差异对筛选过的权重值进行二次筛选，进一步保证后续的重建质量，同时通过确定主辅权重值保证重建算法具有一定的冗余性，从而提高超分辨重建的鲁棒性；在获得融合后的超分辨率图像之后，能够对模糊的超分辨率图像进行去模糊处理，以获得清晰的超分辨率图像，由此进一步提高超分辨率图像的清晰度。综上，本发明实施例提供的提高图像空间分辨率的方法，在超分辨重建过程中通过增加抗混叠处理、权重筛选处理以及去模糊处理，由此能够获得相对现有技术更加清晰的超分辨率图像，从而提高图像的空间分辨率。
进一步的，本发明实施例还提供了一种提高图像空间分辨率的装置，如图10所示，所述装置包括：接收器1001、处理器1002以及发射器1003，其中，
所述接收器1001，用于接收至少一帧低分辨率图像。
所述处理器1002，用于：
对所述接收器1001接收的至少一帧低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；
根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
其中，所述处理器1002具体用于：
根据第一预设算法获得自适应权重阈值；
保留所述至少一个权重值中属于所述自适应权重阈值范围内的权重值，将所述至少一个权重值中不属于所述自适应权重阈值范围内的权重值置为0；
将所述至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
保留所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0；
其中，所述在所述至少一个权重值中确定至少一个辅权重值具体包括：将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值；将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值；将所述权重估计单元估计的至少一个权重值中除所述主权重值以外最大的权重值确定为辅权重值。
进一步的，所述处理器1002还用于在对低分辨率图像中像素点的运动形式进行权重估计之前，对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波；
在根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括：吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差(Bilateral TV，简称BTV)正则化算法以及自然图像梯度先验正则化算法。
所述发射器1003，用于将所述处理器1002去模糊后的超分辨率图像发送给下一级处理器，所述下一级处理器包括但不限于是显示器，所述发射器1003将所述处理器1002去模糊后的超分辨率图像发送给显示器，以便所述显示器显示所述去模糊后的超分辨率图像。
本发明实施例提供的提高图像空间分辨率的装置，能够在权重估计之前对低分辨率图像进行抗混叠处理，防止混叠现象导致的误差在重建过程中的积累和传播，可以保证后续的重建质量；在权重估计之后能够对估计的权重进行自适应筛选，以剔除误差值较大的异常权重，提高权重估计算法的准确性；在自适应权重筛选之后能够进一步确定主辅权重值，通过分析权重值差异对筛选过的权重值进行二次筛选，进一步保证后续的重建质量，同时通过确定主辅权重值保证重建算法具有一定的冗余性，从而提高超分辨重建的鲁棒性；在获得融合后的超分辨率图像之后，能够对模糊的超分辨率图像进行去模糊处理，以获得清晰的超分辨率图像，由此进一步提高超分辨率图像的清晰度。综上，本发明实施例提供的提高图像空间分辨率的方法，在超分辨重建过程中通过增加抗混叠处理、权重筛选处理以及去模糊处理，由此能够获得相对现有技术更加清晰的超分辨率图像，从而提高图像的空间分辨率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种提高图像空间分辨率的方法，其特征在于，包括：
对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值；
根据筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像；
所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值包括：根据第一预设算法获得自适应权重阈值；保留所述至少一个权重值中属于所述自适应权重阈值范围内的权重值，将所述至少一个权重值中不属于所述自适应权重阈值范围内的权重值置为0；
其中，所述第一预设算法为：
<mrow>
<mi>t</mi>
<mi>h</mi>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
<mi>h</mi>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>&beta;</mi>
<mo>&times;</mo>
<munder>
<mrow>
<mi>M</mi>
<mi>A</mi>
<mi>X</mi>
</mrow>
<mrow>
<mi>m</mi>
<mo>&Element;</mo>
<msup>
<mi>M</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>GDF</mi>
<mi>m</mi>
</msub>
<mi>Z</mi>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>t</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>}</mo>
</mrow>
M′＝{m| |dx(m)|≤s,|dy(m)|≤s}
其中，threshold[k,l]为坐标为[k,l]的像素点的自适应权重阈值；β为调节参数，用于调节自适应权重阈值的严格程度；Rk,l为邻域提取算子，表示以像素点[k,l]为原点提取某一邻域；D为下采样算子，表示将原始高分辨率图像下采样为低分辨率图像的操作；G为低通滤波器；Fm为移动算子，表示将原始高分辨率图像整体按照运动概率场中的第m种运动形式进行移动的操作；Z为原始高分辨率图像；为抗混叠处理后的低分辨率图像；表示在像素点的各种运动形式M′中的最大值；M′＝{m||dx(m)|≤s,|dy(m)|≤s}表示只取与参考帧存在亚像素级运动的运动形式，dx(m)和dy(m)分别表示在第m种运动形式下像素点分别在水平和竖直方向上移动的距离，s为放大系数，用于对像素点的各种运动形式M′进行限制。
2.根据权利要求1所述的方法，其特征在于，所述根据预设算法对所述至少一个权重值进行筛选，剔除异常权重值，进一步具体包括：
将所述至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动；
根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
保留所述主权重值以及所述至少一个辅权重值，将所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0。
3.根据权利要求2所述的方法，其特征在于，所述根据第二预设算法以及所述主权重值，在所述至少一个权重值中确定至少一个辅权重值，具体包括：
将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值；或者，
将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值；或者，
将所述至少一个权重值中除所述主权重值以外最大的权重值确定为辅权重值。
4.根据权利要求3所述的方法，其特征在于，在所述对低分辨率图像中像素点的运动形式进行权重估计之前，所述方法进一步包括：
对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波。
5.根据权利要求4所述的方法，其特征在于，在所述根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，所述方法进一步包括：
根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括：吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差BTV正则化算法以及自然图像梯度先验正则化算法。
6.一种提高图像空间分辨率的装置，其特征在于，包括：
权重估计单元，用于对低分辨率图像中像素点的运动形式进行权重估计，获得所述像素点的至少一个权重值，所述至少一个权重值用于描述所述像素点至少一种运动形式的可能性大小；
权重筛选单元，用于根据预设算法对所述权重估计单元估计的所述至少一个权重值进行筛选，剔除异常权重值，其中，所述权重筛选单元具体包括阈值获取子单元以及第一权重处理子单元：所述阈值获取子单元，用于根据第一预设算法获得自适应权重阈值；所述第一权重处理子单元，用于保留所述权重估计单元估计的至少一个权重值中属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值，将所述权重估计单元估计的至少一个权重值中不属于所述阈值获取子单元获得的所述自适应权重阈值范围内的权重值置为0；
其中，所述第一预设算法为：
<mrow>
<mi>t</mi>
<mi>h</mi>
<mi>r</mi>
<mi>e</mi>
<mi>s</mi>
<mi>h</mi>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>&beta;</mi>
<mo>&times;</mo>
<munder>
<mrow>
<mi>M</mi>
<mi>A</mi>
<mi>X</mi>
</mrow>
<mrow>
<mi>m</mi>
<mo>&Element;</mo>
<msup>
<mi>M</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>GDF</mi>
<mi>m</mi>
</msub>
<mi>Z</mi>
<mo>-</mo>
<msubsup>
<mi>y</mi>
<mi>t</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>}</mo>
</mrow>
M′＝{m| |dx(m)|≤s,|dy(m)|≤s}
其中，threshold[k,l]为坐标为[k,l]的像素点的自适应权重阈值；β为调节参数，用于调节自适应权重阈值的严格程度；Rk,l为邻域提取算子，表示以像素点[k,l]为原点提取某一邻域；D为下采样算子，表示将原始高分辨率图像下采样为低分辨率图像的操作；G为低通滤波器；Fm为移动算子，表示将原始高分辨率图像整体按照运动概率场中的第m种运动形式进行移动的操作；Z为原始高分辨率图像；为抗混叠处理后的低分辨率图像；表示在像素点的各种运动形式M′中的最大值；M′＝{m| |dx(m)|≤s,|dy(m)|≤s}表示只取与参考帧存在亚像素级运动的运动形式，dx(m)和dy(m)分别表示在第m种运动形式下像素点分别在水平和竖直方向上移动的距离，s为放大系数，用于对像素点的各种运动形式M′进行限制；图像融合单元，用于根据所述权重筛选单元筛选后的权重值对至少一帧低分辨率图像进行融合，获得超分辨率图像。
7.根据权利要求6所述的装置，其特征在于，所述权重筛选单元还包括：
权重确定子单元，用于将所述权重估计单元估计的至少一个权重值中最大的权重值确定为主权重值，将所述主权重值描述的运动形式确定为所述像素点的主运动，根据第二预设算法以及所述主权重值，在所述权重估计单元估计的至少一个权重值中确定至少一个辅权重值，将所述至少一个辅权重值描述的至少一种运动形式确定为所述像素点的辅运动；
第二权重处理子单元，用于保留所述权重确定子单元确定的所述主权重值以及所述至少一个辅权重值，将所述权重估计单元估计的所述至少一个权重值中除所述主权重值以及所述至少一个辅权重值以外的其他权重值置为0。
8.根据权利要求7所述的装置，其特征在于，所述权重确定子单元具体用于：
将与所述主权重值差值小于预设权重差值的权重值确定为辅权重值；
将与所述主权重值差值占自身权重值比例小于差异调节因子的权重值确定为辅权重值；
将除所述主权重值以外最大的权重值确定为辅权重值。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
图像滤波单元，用于在所述权重估计单元对低分辨率图像中像素点的运动形式进行权重估计之前，对所述低分辨率图像进行低通滤波，滤除所述低分辨率图像中高于预设频率门限值的频率成分，其中，所述低通滤波包括二维高斯滤波。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
图像去模糊单元，用于在所述图像融合单元根据筛选后的权重值对至少一帧低分辨率图像进行融合之后，根据预设去模糊算法对所述超分辨率图像进行去模糊处理，其中，所述去模糊算法包括盲去模糊算法以及非盲去模糊算法，在所述非盲去模糊算法中，预设的约束条件包括：吉洪诺夫TIKHONOV正则化算法、全变差TV正则化算法、双边全变差BTV正则化算法以及自然图像梯度先验正则化算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210312851.0A CN103632356B (zh) | 2012-08-29 | 2012-08-29 | 提高图像空间分辨率的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210312851.0A CN103632356B (zh) | 2012-08-29 | 2012-08-29 | 提高图像空间分辨率的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103632356A CN103632356A (zh) | 2014-03-12 |
| CN103632356B true CN103632356B (zh) | 2017-08-18 |
Family
ID=50213373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210312851.0A Active CN103632356B (zh) | 2012-08-29 | 2012-08-29 | 提高图像空间分辨率的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103632356B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104994397B (zh) * | 2015-07-08 | 2018-11-09 | 北京大学深圳研究生院 | 基于时域信息的自适应视频预处理方法 |
| CN105513014B (zh) * | 2016-01-21 | 2019-02-01 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建系统 |
| CN106204445A (zh) * | 2016-06-30 | 2016-12-07 | 北京大学 | 基于结构张量全变差的图像视频超分辨率方法 |
| CN109754817A (zh) * | 2017-11-02 | 2019-05-14 | 北京三星通信技术研究有限公司 | 信号处理方法及终端设备 |
| CN109949332B (zh) * | 2017-12-20 | 2021-09-17 | 北京京东尚科信息技术有限公司 | 用于处理图像的方法和装置 |
| CN111179199B (zh) * | 2019-12-31 | 2022-07-15 | 展讯通信（上海）有限公司 | 图像处理方法、装置及可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102194222B (zh) * | 2011-04-26 | 2012-12-12 | 浙江大学 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
| CN102256065B (zh) * | 2011-07-25 | 2012-12-12 | 中国科学院自动化研究所 | 基于视频监控网络的视频自动浓缩方法 |
| CN102682442B (zh) * | 2012-04-28 | 2015-02-11 | 东南大学 | 基于光流场的运动目标超分辨率图像重建方法 |
-
2012
- 2012-08-29 CN CN201210312851.0A patent/CN103632356B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103632356A (zh) | 2014-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Image super-resolution: Historical overview and future challenges | |
| Lau et al. | Restoration of atmospheric turbulence-distorted images via RPCA and quasiconformal maps | |
| CN103632356B (zh) | 提高图像空间分辨率的方法及装置 | |
| US9998666B2 (en) | Systems and methods for burst image deblurring | |
| JP5315157B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
| Belekos et al. | Maximum a posteriori video super-resolution using a new multichannel image prior | |
| Yue et al. | A locally adaptive L1− L2 norm for multi-frame super-resolution of images with mixed noise and outliers | |
| EP2489007B1 (en) | Image deblurring using a spatial image prior | |
| US8379120B2 (en) | Image deblurring using a combined differential image | |
| EP2201783A2 (en) | Apparatus and method for improving image resolution using fuzzy motion estimation | |
| Valsesia et al. | Permutation invariance and uncertainty in multitemporal image super-resolution | |
| CN113992861A (zh) | 一种图像处理方法及图像处理装置 | |
| Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
| Anger et al. | Fast and accurate multi-frame super-resolution of satellite images | |
| Nasonov et al. | Fast super-resolution using weighted median filtering | |
| CN110503611A (zh) | 图像处理的方法和装置 | |
| Cristóbal et al. | Superresolution imaging: a survey of current techniques | |
| CN112419161B (zh) | 图像处理方法及装置、存储介质及电子设备 | |
| Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
| Wang et al. | Remote sensing image magnification study based on the adaptive mixture diffusion model | |
| Lakshman | Combining deblurring and denoising for handheld HDR imaging in low light conditions | |
| JP5855210B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
| Gunturk | Super-resolution imaging | |
| Sadaka et al. | Super-resolution using a wavelet-based adaptive wiener filter | |
| Khattab et al. | Computer and Information Sciences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210425 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |