CN106548452A - 一种图像增强设备和方法 - Google Patents
一种图像增强设备和方法 Download PDFInfo
- Publication number
- CN106548452A CN106548452A CN201611055339.7A CN201611055339A CN106548452A CN 106548452 A CN106548452 A CN 106548452A CN 201611055339 A CN201611055339 A CN 201611055339A CN 106548452 A CN106548452 A CN 106548452A
- Authority
- CN
- China
- Prior art keywords
- block
- pixels
- image
- high frequency
- hfs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims description 50
- 238000005070 sampling Methods 0.000 claims description 24
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 23
- 230000003321 amplification Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000001939 inductive effect Effects 0.000 claims description 12
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种图像增强方法。该方法包括：根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；获取所述图像的高频部分；对所述放大图像的低频部分划块，以匹配所述图像的像素块；利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。该方法简单、高效，大大降低了图像处理的计算量，能够实现高清图像的实时转换和观看。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像增强设备和方法。
背景技术
在图像处理领域，图像增强技术是很重要的研究方向。图像增强技术主要研究将原来不清晰的图像变得清晰或者增强某些关注的特征，抑制非关注的特征，以达到改善图像质量、丰富信息量，加强图像判读和识别效果的目的。
现有的增加图像分辨率的技术可分为两大类，一类是基于多张低分辨率图像，通过对图像进行校正，然后利用插值、重建或者学习等方式得到一副高分辨率图像，这类方法效果的优劣很大程度上取决于两副图像之间的运动参数，而且计算复杂度较高。第二类方法是基于单张低分辨率图像，通过各种插值算法得到高分辨率图像。由于这种方法只涉及低分辨率图像本身，因此适用范围更广。
广泛采用的插值算法包括最近邻插值、双线性插值和立方卷积插值等。其中，最邻近插值算法最简单，但最邻近插值算法也最易产生像素值不连续，从而导致块效应，进而造成图像模糊，放大后图像质量效果一般不够理想。双线性插值算法较为复杂，双线性插值算法不会出现像素值不连续的情况，放大后的图像质量较高，但由于双线性插值具有低通滤波器的性质，使高频分量受损，所以可能会使图像中各个主题的边缘轮廓和细节部分在一定程度上变得模糊。立方卷积插值算法复杂，可以保留相对较为清晰的边缘轮廓和细节，可降低或避免放大后的图像中各个主题边缘轮廓的锯齿现象及细节部分的梳状现象，插值效果相对真实，使放大后图像质量更加完善化，然而计算复杂度也最高。
发明内容
本发明的目的是提供一种通过增加图像分辨率来生成高清图像的方法，以解决现有增加图像分辨率的方法计算复杂度高、无法实现实时转换和观看的缺点。
根据本发明的一个方面，提供一种图像增强方法，包括：a)根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；b)获取所述图像的高频部分；c)对所述放大图像的低频部分划块，以匹配所述图像的像素块；d)利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；e)将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。
进一步，该方法还包括判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像，并对其进行步骤a)至步骤e)。
进一步，根据预定的放大比率对图像进行放大包括对所述图像进行多次逐级放大。
进一步，多次逐级放大中的每次逐级放大的放大比率为N+1/N，N为整数。
进一步，利用所述图像的像素块建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系包括：对所述图像进行模糊，然后下采样，得到缩小图像，所述缩小图像的缩小倍数与放大图像的放大比率对应，在所述图像中搜索与所述放大图像的低频部分中的第一像素块对应的第二像素块，在所述缩小图像中搜索到与第二像素块最相似的第三像素块，其中将所述图像中与第三像素块对应的第四像素块的高频部分叠加到第一像素块。
进一步，该方法还包括通过最近邻算法增加与特定位置匹配的高频部分的像素块。
进一步，该方法还包括：通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；从k个候选的高频部分的像素块获得一个暂定的最优像素块；利用暂定的最优像素块进行拼接，以获得初始的高频图像；通过归纳法获得最终高频图像，所述归纳法包括：1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，2)利用最优像素块拼接高频图像N+1，3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。
根据本发明的另一个方面，提供一种图像增强设备，包括：图像放大单元，用于根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；高频获取单元，用于获取所述图像的高频部分；划块匹配单元，用于对所述放大图像的低频部分划块，以匹配所述图像的像素块；对应关系建立单元，用于利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；叠加单元，用于将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。
进一步，该设备还包括判断单元，用于判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像输入到所述图像放大单元和所述高频获取单元进行处理。
进一步，所述图像放大单元对所述图像进行多次逐级放大。
进一步，所述多次逐级放大中的每次逐级放大的放大比率为N+1/N，N为整数。
进一步，所述对应关系建立单元包括：下采样单元，用于对所述图像进行模糊，然后下采样，得到缩小图像，所述缩小图像的缩小倍数与放大图像的放大比率对应，第一搜索单元，用于在所述图像中搜索与所述放大图像的低频部分中的第一像素块对应的第二像素块，第二搜索单元，用于在所述缩小图像中搜索到与第二像素块最相似的第三像素块，其中所述叠加单元将所述图像中与第三像素块对应的第四像素块的高频部分叠加到第一像素块。
进一步，该设备还包括像素块拼接单元，用于通过最近邻算法增加与特定位置匹配的高频部分的像素块。
进一步，所述像素块拼接单元用于：通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；从k个候选的高频部分的像素块获得一个暂定的最优像素块；利用暂定的最优像素块进行拼接，以获得初始的高频图像；通过归纳法获得最终高频图像，所述归纳法包括：1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，2)利用最优像素块拼接高频图像N+1，3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。
与现有技术相比，本发明的优点包括：
与现有的插值算法相比，本发明公开的增加图像分辨率的方法简单、高效，大大降低了图像处理的计算量，能够实现高清图像的实时转换和观看。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的提高图像分辨率的方法100的流程图。
图2示出根据本发明的一个实施例提高图像分辨率的示例示意图。
图3示出根据本发明的一个实施例为提高图像匹配精确度在不同频率的图像中搜索对应像素块的示意图。
图4示出根据本发明的一个实施例用于确保拼接连贯性的示意图
图5示出根据本发明的一个实施例提高图像分辨率的设备。
图6示出根据本发明的一个实施例的对应关系建立单元。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的方法或操作以免造成本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。
图像包含高频部分和低频部分，其中高频部分主要分布于图像中的各个主体的边缘轮廓部分和细节部分，低频部分主要分布于图像中的各个主体的非边缘轮廓部分。通过分别获取原图像的高频部分和放大图像，对放大图像划块匹配原图像的低频部分，可以得到匹配的块在原图像中的坐标，根据该块在原图像中的坐标可以得到原图像对应位置的高频部分，将高频部分叠加到被放大图像的低频部分，从而获得新的全频率图像，即高分辨率图像。
图1示出根据本发明的一个实施例的提高图像分辨率的方法100的流程图。
首先，在步骤101，接收图像。在步骤102，根据预定的放大比率，对原图像I0进行放大，获得原图像I0的放大图像，放大又称为上采样(upsampling)或图像插值(interpolating)，其主要目的是放大原图像，对图像的缩放操作并不能带来更多关于该图像的信息，图像的质量将不可避免地受到影响。因此，在步骤102中，通过对原图像I0进行上采样插值获得的图像当作被放大图像的低频部分L1。
在步骤103，获取原图像I0的高频部分H0。在步骤103中，根据预定的缩小比率1/a，对原图像I0进行缩小，获得原图像I0的缩小图像，缩小图像又称为下采样。根据放大比率a，对缩小图像进行上采样，从而获得低频图像L0。由于对原图像先进行下采样然后进行上采样，与原图像相比，低频图像L0减少了高频部分，因此低频图像L0为相对于原图像I0的低频部分。将原图像I0减去低频图像L0得到高频部分H0。
在步骤104，对放大图像的低频部分划块，以匹配原图像的低频部分。在步骤104中，可将放大图像的低频部分划分成预定大小的像素块。在本发明的实施例中，预定大小的像素块可以是5×5的像素区域，然而本发明的范围不限于该大小的像素区域。然后在原图像中搜索与低频部分像素块最相似的原图像像素块，从而可以得到低频部分像素块在原图像中的坐标。
在步骤105，根据低频部分像素块在原图像中的坐标，在高频部分H0中获取与原图像像素块对应的高频图像像素块。
根据低频部分像素块与原图像像素块、原图像像素块与高频图像像素块的对应关系，建立低频部分像素块与高频图像像素块的对应关系。
在步骤106，根据位置对应关系，将高频图像像素块叠加到放大图像的低频部分，从而获得分辨率增加的图像。
在本发明的实施例中，图1所示的方法100还可任选地包括步骤107，在步骤107，如果该分辨率增加的图像满足分辨率要求，则方法100结束并输出满足分辨率要求的图像，否则对于该分辨率增加的图像重复步骤101-106，直到所获得的图像满足分辨率要求。
接下来，结合具体实施例进一步详细描述本发明的提高图像分辨率的方法。
图2示出根据本发明的一个实施例提高图像分辨率的示例示意图。如图2所示，对原图像I0进行上采样插值获得放大图像的低频部分L1。根据预定的缩小比率1/a，对原图像I0进行下采样，获得原图像I0的缩小图像，再根据放大比率a，对缩小图像进行上采样，从而获得低频图像L0。将原图像I0减去低频图像L0得到高频部分H0。根据低频部分像素块与原图像像素块、原图像像素块与高频图像像素块的对应关系，建立低频部分像素块与高频图像像素块的对应关系。将高频部分H0叠加到被放大图像的低频部分L1，从而获得高分辨率图像。
在本发明的一个具体实施例中，所处理的图像采用YCbCr空间编码方案。对于YCbCr空间，Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在实际图像处理过程中，Y分量所采用的处理方法可不同于CbCr分量的处理方法。在本实施例中，CbCr分量直接进行双立方插值。而下面详细描述的提高图像分辨率的方法针对Y分量的数值，即，下面计算中的出现的参数Ik、Lk、Hk皆指Y空间的数值。
表1示出对原图像I0进行分级缩放的过程。
在表1中，U表示上采样处理，D表示下采样处理。
对于网格G0，图像效果为原图像I0，根据预定的缩小比率1/a，对原图像I0进行下采样，再根据放大比率a，对缩小图像进行上采样，从而获得低频图像L0。将原图像I0减去低频图像L0得到高频部分H0。
从网格G1到网格Gl，对图像进行逐级上采样差值。假设由G0到Gl的放大系数为α，通过G1到Gl共l级上采样差值，实现α倍放大。例如，假设放大系数α＝3，可以使用5:4、5:4、4:3和3:2上采样差值，即，G0到G1为5→4上采样，G1到G2为5→4上采样，G2到G3为4→3上采样，G3到G4为3→2上采样，所得到的最终的放大系数为3+1/8，接近3倍的放大系数。在本发明的其它实施例中，各级上采样差值可以使用其它的放大比例，可根据实际需要确定总的放大级数以及从G0到Gl每一级所使用的放大系数。例如，假设预期从G0到Gl的放大系数为3，可利用五级5→4上采样差值，最终实际获得的放大系数为1.255＝3.05。
在本发明的一个实施例中，将N→N+1(N为整数)上采样进行如下定义：
将原图I分成N份:
现在要将Ik关于uk放大为↑Ik,
放大后,最终得到的放大图像为↑I
此处uk(i)＝uk(-i)，为常数。在本发明的实施例中，可根据具体的放大系数和图像层级设定每一层图像所使用的常数uk。
在本发明的一个实施例中，将N+1→N下采样进行如下定义：
其中，p＝n mod N,q＝(n-p)/N,dp有N种取法：d0,d1,···,dN-1。在本发明的实施例中，d0,d1,···,dN-1为常数，可根据具体的放大系数和图像层级设定每一层图像所使用的常数d0,d1,···,dN-1。
例如，N＝2，此时，p有两种取值法。
关于常数dp,uk的设定方法，可以通过一些测试样本获得。
现在，返回表1，对于网格Gl，
Il(p)＝Ll(p)+Hl(p)＝Ll(p)+H0(q(p)) [5]
设由G0到Gl的放大系数为α，p是Gl中的中心坐标为(x,y)的5×5像素块，由于原图像I0与放大图像Ll的尺寸不同，因此需要将放大图像像素块p放入原图像I0中进行搜索，搜索与该放大图像像素块最相似的原图像像素块。将原图像I0的待搜索区域设置为中心(x/α，y/α)、大小10×10像素块，在该待搜索区域中获取与p最相似的原图像像素块q(p)，因此p和q(p)对应的都是5×5的小块。然后重复上述过程，对放大图像的其它像素块进行搜索匹配和叠加，最终获得高分辨率图像。
在本发明的实施例中，采用N→N+1逐级放大，其优点在于在渐进的放大过程中尽可能多的保持图像精度，与一次性将图像放大到位的方法相比，逐级放大所得图像精度更高。
由于在图像放大过程中，可能会导致图像中各元素的旋转、偏移、扭曲等变形，造成在后续的叠加和拼接过程中出现对齐不准确的问题。为了解决这一问题，图3示出为提高图像匹配精确度在不同频率的图像中搜索对应像素块的示意图。
对原图像I0进行模糊，然后下采样，得到
L-l＝(I0*Bl)↓sl [6]
其中，sl代表缩放的倍数，Bl为模糊内核。
参照图3，与L-l相对应的放大sl倍数的低频部分为Ll，在L-l与Ll之间的是原图像I0＝L。
为匹配Ll的中的低频块A，首先在原图像L0中搜索到与低频块A对应的块A’，然后，在L-l中搜索到与块A’最相似的块B’，然后将原图像L中与块B’对应的块B的高频部分叠加到低频块A。通过上述过程可加大块匹配过程中的搜索范围，使得匹配更加精确。
在本发明的实施例中，为确保各个高频的块之间的拼接尽可能的连贯，可通过k个最近邻算法增加匹配的像素块的库。
设p∈Gl是以(px,py)为中心的N×N像素块，q＝q(p)∈G0是以(qx,qy)为中心的N×N像素块，则范数为：
对该范数进行轻度归一化会得到更好的结果：
其中
Truncate为截断函数：
Distance(p,q)表示在G0层的q像素块和与之对应的Gl层的p像素块的差异大小，即，两个像素块的相似度。对于多层图像，可得到多个Distance(p,q)。将这些Distance(p,q)按从小到大的顺序进行排序，值最小的Distance(p,q)表示两像素块之间的差异最小。
图像的块信息的重复，主要体现在平移、缩放、旋转。前面的描述主要针对平移和缩放，如果考虑旋转的重复性，则可提供匹配的质量。由于图像时点阵图的形式，因此只要考虑图像L0(qx+i,qy+j)至J(qx+i,qy+j)的八种旋转：
J(qx+i，qy+j)＝L0(qr+a·i，qy+b·j)，或
J(qx+i，qy+j)＝L0(qx+a·j，qy+b·i) [11]
其中a＝±1，b＝±1。
然后，将上述归一化范数修改为：
其中γ为非负参数。
由前面范数可取得k个最优的像素块，例如，对于5×5的像素块，可取k＝9。为确保像素块的质量，假设每个块所对应的最优块至多k个，当存在更多的候选块是，则丢弃其中的一部分。
参照图4，为确保各个高频像素块之间的拼接尽可能的连贯，需要满足以下两个条件：
1.获取候选的k个像素块，设所使用的低频像素块为M×M,M>N。即要求他们所对应的低频部分具有连续性，这种连续性是全局性的。
2.对拼接后的N×N高频像素块，要求彼此之间的边界有连续性，即其扩展的边界A×A，B×B要尽可能和相应的边界重合。这种连续性，是局部的。
下面介绍如何通过迭代法实现连贯性。
首先，由k个候选的像素块可以获得一个暂定的最优,并将这些像素块拼接起来获得一个初始的高频图像Image(0)，下面进行归纳法：
1.设已经获得第n次的图像Image(n)，现在计算图像Image(n+1)。
对每次以图像Image(n)中(px,py)为中心的像素块分析，现在要从候选的k个像素块{J}找到像素块P，其中像素块P满足以下条件：该像素块扩展的边界Ω,Ξ要尽可能和图像Image(n)的相应区域的取值一致：
其中
·ISPreviousPatch为布尔型，代表是否与图像Image(n)所选用的像素块为同一个。
·H1(Ω)仅在区域Ω中，区域Ω不包括中心的N×N像素块。
像素块J包含了其像素块位置(qx,qy)和旋转度(a,b)，以及其在公式[11]中的类型。
关于H1(Ξ)的定义与H1(Ω)类似，区别在于H1(Ξ)仅在区域Ξ中，而不包括区域Ω和N×N像素块。θ,α,β为特定的参数。
2.将这些像素块拼接成Image(n+1)
3.重复直至所得的图像不再有变动，或者达到迭代的最大次数。
通过上述归纳法得到最终的高频图像。
图5示出根据本发明的一个实施例提高图像分辨率的设备500。如图5所示，提高图像分辨率的设备500包括：图像放大单元501、高频获取单元502、划块匹配单元503、对应关系建立单元504、叠加单元505。
图像放大单元501根据预定的放大比率，对原图像I0进行放大，获得原图像I0的放大图像，通过对原图像I0进行上采样插值获得的图像当作被放大图像的低频部分L1。
高频获取单元502获取原图像I0的高频部分H0。高频获取单元502根据预定的缩小比率1/a，对原图像I0进行缩小，获得原图像I0的缩小图像，缩小图像又称为下采样。根据放大比率a，对缩小图像进行上采样，从而获得低频图像L0。由于对原图像先进行下采样然后进行上采样，与原图像相比，低频图像L0减少了高频部分，因此低频图像L0为相对于原图像I0的低频部分。将原图像I0减去低频图像L0得到高频部分H0。
划块匹配单元503对放大图像的低频部分划块，以匹配原图像的低频部分。划块匹配单元503可将放大图像的低频部分划分成预定大小的像素块。在本发明的实施例中，预定大小的像素块可以是5×5的像素区域，然而本发明的范围不限于该大小的像素区域。然后在原图像中搜索与低频部分像素块最相似的原图像像素块，从而可以得到低频部分像素块在原图像中的坐标。
对应关系建立单元504根据低频部分像素块在原图像中的坐标，在高频部分H0中获取与原图像像素块对应的高频图像像素块。
叠加单元505根据位置对应关系，将高频图像像素块叠加到放大图像的低频部分，从而获得分辨率增加的图像。
在本发明的实施例中，提高图像分辨率的设备500还可任选地包括判断单元506，用于判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像输入到所述图像放大单元和所述高频获取单元进行处理。
在本发明的实施例中，图像放大单元501采用N→N+1逐级放大，其优点在于在渐进的放大过程中尽可能多的保持图像精度，与一次性将图像放大到位的方法相比，逐级放大所得图像精度更高。
由于在图像放大过程中，可能会导致图像中各元素的旋转、偏移、扭曲等变形，造成在后续的叠加和拼接过程中出现对齐不准确的问题。为了解决这一问题，图6所示的对应关系建立单元600进一步包括：下采样单元601、第一搜索单元602、第二搜索单元603。
下采样单元601对原图像I0进行模糊，然后下采样，得到
L-l＝(I0*Bl)↓8l [6]
其中，sl代表缩放的倍数，Bl为模糊内核。
参照图3，与L-l相对应的放大sl倍数的低频部分为Ll，在L-l与Ll之间的是原图像I0＝L。
为匹配Ll的中的低频块A，第一搜索单元602在原图像L0中搜索到与低频块A对应的块A’，然后，第二搜索单元603在L-l中搜索到与块A’最相似的块B’。叠加单元505将原图像L中与块B’对应的块B的高频部分叠加到低频块A。
在本发明的实施例中，为确保各个高频的块之间的拼接尽可能的连贯，提高图像分辨率的设备500可利用像素块拼接单元，该像素块拼接单元用于：通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；从k个候选的高频部分的像素块获得一个暂定的最优像素块；利用暂定的最优像素块进行拼接，以获得初始的高频图像；通过归纳法获得最终高频图像，所述归纳法包括：
1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，
2)利用最优像素块拼接高频图像N+1，
3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。
可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。
对“一种实施例”、“一个实施例”、“示例实施例”、“各种实施例”等等的引用指示这样描述的本发明的(各)实施例可以包括具体的特征、结构或特性，但并非每一实施例必定包括具体的特征、结构或特性。进一步，一些实施例可以具有相对于其他实施例所描述的特征中的一些、全部，或没有任何这些特征。
在下列描述和权利要求中，可以使用术语“耦合”及其派生词。“耦合”用来指示两个或更多个元素协同操作或相互交互，但在它们之间可以具有或不具有中介物理或电气组件。
如权利要求中所使用的，除非另有说明，把序数形容词“第一”、“第二”、“第三”等等用来描述共同的元素，仅仅指示提及类似元素的不同实例，且不预期暗示这样描述的元素必须处于给定的序列，无论是时间、空间、分级或以任何其他方式。
附图和前面的描述给出了各实施例的示例。本领域中的技术人员将明白，所描述的元素中的一种或多个可以很好地组合成单个功能元素。备选地，可以把些元素拆分成多个功能元素。可以把来自一种实施例的元素添加到另一实施例。例如，可以改变在此描述的处理的顺序，且不限于在此描述的方式。此外，不必按所显示的次序实现任何流程图的动作；也不必然需要执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行执行。各实施例的范围决不限于这些特定的示例。无论是否在说明书中明确地给出，诸如材料的结构、尺寸和使用的差异等的众多变更都是可能的。各实施例的范围至少是下列的权利要求所指定的那样宽广。
以上描述了本发明的若干实施例。然而，本发明可具体化为其它具体形式而不背离其精神或本质特征。所描述的实施例在所有方面都应被认为仅是说明性而非限制性的。因此，本发明的范围由所附权利要求书而非前述描述限定。落入权利要求书的等效方案的含义和范围内的所有改变被权利要求书的范围所涵盖。
Claims (14)
1.一种图像增强方法，包括：
a)根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；
b)获取所述图像的高频部分；
c)对所述放大图像的低频部分划块，以匹配所述图像的像素块；
d)利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；
e)将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。
2.如权利要求1所述的方法，其特征在于，还包括判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像，并对其进行步骤a)至步骤e)。
3.如权利要求1所述的方法，其特征在于，根据预定的放大比率对图像进行放大包括对所述图像进行多次逐级放大。
4.如权利要求3所述的方法，其特征在于，所述多次逐级放大中的每次逐级放大的放大比率为N+1/N，N为整数。
5.如权利要求1所述的方法，其特征在于，利用所述图像的像素块建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系包括：
对所述图像进行模糊，然后下采样，得到缩小图像，所述缩小图像的缩小倍数与放大图像的放大比率对应，
在所述图像中搜索与所述放大图像的低频部分中的第一像素块对应的第二像素块，
在所述缩小图像中搜索到与第二像素块最相似的第三像素块，
其中将所述图像中与第三像素块对应的第四像素块的高频部分叠加到第一像素块。
6.如权利要求1所述的方法，其特征在于，还包括通过最近邻算法增加与特定位置匹配的高频部分的像素块。
7.如权利要求6所述的方法，其特征在于，还包括：
通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；
从k个候选的高频部分的像素块获得一个暂定的最优像素块；
利用暂定的最优像素块进行拼接，以获得初始的高频图像；
通过归纳法获得最终高频图像，所述归纳法包括：
1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，
2)利用最优像素块拼接高频图像N+1，
3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。
8.一种图像增强设备，包括：
图像放大单元，用于根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；
高频获取单元，用于获取所述图像的高频部分；
划块匹配单元，用于对所述放大图像的低频部分划块，以匹配所述图像的像素块；
对应关系建立单元，用于利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；
叠加单元，用于将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。
9.如权利要求8所述的设备，其特征在于，还包括判断单元，用于判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像输入到所述图像放大单元和所述高频获取单元进行处理。
10.如权利要求8所述的设备，其特征在于，所述图像放大单元对所述图像进行多次逐级放大。
11.如权利要求10所述的设备，其特征在于，所述多次逐级放大中的每次逐级放大的放大比率为N+1/N，N为整数。
12.如权利要求8所述的设备，其特征在于，所述对应关系建立单元包括：
下采样单元，用于对所述图像进行模糊，然后下采样，得到缩小图像，所述缩小图像的缩小倍数与放大图像的放大比率对应，
第一搜索单元，用于在所述图像中搜索与所述放大图像的低频部分中的第一像素块对应的第二像素块，
第二搜索单元，用于在所述缩小图像中搜索到与第二像素块最相似的第三像素块，
其中所述叠加单元将所述图像中与第三像素块对应的第四像素块的高频部分叠加到第一像素块。
13.如权利要求8所述的设备，其特征在于，还包括像素块拼接单元，用于通过最近邻算法增加与特定位置匹配的高频部分的像素块。
14.如权利要求13所述的设备，其特征在于，所述像素块拼接单元用于：
通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；
从k个候选的高频部分的像素块获得一个暂定的最优像素块；
利用暂定的最优像素块进行拼接，以获得初始的高频图像；
通过归纳法获得最终高频图像，所述归纳法包括：
1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，
2)利用最优像素块拼接高频图像N+1，
3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611055339.7A CN106548452B (zh) | 2016-11-25 | 2016-11-25 | 一种图像增强设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611055339.7A CN106548452B (zh) | 2016-11-25 | 2016-11-25 | 一种图像增强设备和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106548452A true CN106548452A (zh) | 2017-03-29 |
| CN106548452B CN106548452B (zh) | 2019-07-26 |
Family
ID=58395308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611055339.7A Active CN106548452B (zh) | 2016-11-25 | 2016-11-25 | 一种图像增强设备和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106548452B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451963A (zh) * | 2017-07-05 | 2017-12-08 | 广东欧谱曼迪科技有限公司 | 多光谱鼻腔内窥镜实时图像增强方法及内窥镜成像系统 |
| CN108876716A (zh) * | 2017-05-11 | 2018-11-23 | Tcl集团股份有限公司 | 超分辨率重建方法及装置 |
| CN111654627A (zh) * | 2020-06-09 | 2020-09-11 | 展讯通信（上海）有限公司 | 一种数字变焦方法、装置、设备及存储介质 |
| CN113344831A (zh) * | 2021-05-26 | 2021-09-03 | 中国农业大学 | 图像增强方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子（中国）研发中心 | 图像超分辨率放大的方法和装置 |
| CN105590303A (zh) * | 2014-10-20 | 2016-05-18 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和系统 |
-
2016
- 2016-11-25 CN CN201611055339.7A patent/CN106548452B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子（中国）研发中心 | 图像超分辨率放大的方法和装置 |
| CN105590303A (zh) * | 2014-10-20 | 2016-05-18 | Tcl集团股份有限公司 | 一种增加图像分辨率的方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| ANTONI BUADES 等: "A non-local algorithm for image denoising", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| GILAD FREEDMAN 等: "Image and Video Upscaling from Local Self-Examples", 《ACM TRANSACTIONS ON GRAPHICS》 * |
| 江鹤: "基于自相似模型的视频超分辨细节增强和帧率上变换技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876716A (zh) * | 2017-05-11 | 2018-11-23 | Tcl集团股份有限公司 | 超分辨率重建方法及装置 |
| CN107451963A (zh) * | 2017-07-05 | 2017-12-08 | 广东欧谱曼迪科技有限公司 | 多光谱鼻腔内窥镜实时图像增强方法及内窥镜成像系统 |
| CN107451963B (zh) * | 2017-07-05 | 2020-09-25 | 广东欧谱曼迪科技有限公司 | 多光谱鼻腔内窥镜实时图像增强方法及内窥镜成像系统 |
| CN111654627A (zh) * | 2020-06-09 | 2020-09-11 | 展讯通信（上海）有限公司 | 一种数字变焦方法、装置、设备及存储介质 |
| CN111654627B (zh) * | 2020-06-09 | 2021-11-26 | 展讯通信（上海）有限公司 | 一种数字变焦方法、装置、设备及存储介质 |
| CN113344831A (zh) * | 2021-05-26 | 2021-09-03 | 中国农业大学 | 图像增强方法及装置 |
| CN113344831B (zh) * | 2021-05-26 | 2024-05-14 | 中国农业大学 | 图像增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106548452B (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution | |
| Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
| Tappen et al. | A bayesian approach to alignment-based image hallucination | |
| CN106548452B (zh) | 一种图像增强设备和方法 | |
| Tang et al. | Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution | |
| CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
| Sun et al. | Multiscale generative adversarial network for real‐world super‐resolution | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Ji et al. | Image interpolation using multi-scale attention-aware inception network | |
| Shi et al. | (SARN) spatial-wise attention residual network for image super-resolution | |
| Gong et al. | Learning deep resonant prior for hyperspectral image super-resolution | |
| CN108335265B (zh) | 一种基于样本学习的快速图像超分辨率重建方法及装置 | |
| Wen et al. | Residual network with detail perception loss for single image super-resolution | |
| Tarasiewicz et al. | A graph neural network for multiple-image super-resolution | |
| CN108876716A (zh) | 超分辨率重建方法及装置 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| Wang et al. | Asymmetric dual-direction quasi-recursive network for single hyperspectral image super-resolution | |
| Chen et al. | Underwater-image super-resolution via range-dependency learning of multiscale features | |
| Lu et al. | A lightweight generative adversarial network for single image super-resolution | |
| CN117541475A (zh) | 一种图像超分辨率方法、装置、系统及介质 | |
| Wang et al. | Neighbor Spectra Maintenance and Context Affinity Enhancement for Single Hyperspectral Image Super-Resolution | |
| Chudasama et al. | E-ProSRNet: An enhanced progressive single image super-resolution approach | |
| CN116469172A (zh) | 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统 | |
| Xiu et al. | Double discriminative face super-resolution network with facial landmark heatmaps | |
| CN106780418B (zh) | 一种图像增强系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |