CN103679631A - 一种放大图像的方法 - Google Patents
一种放大图像的方法 Download PDFInfo
- Publication number
- CN103679631A CN103679631A CN201210346575.XA CN201210346575A CN103679631A CN 103679631 A CN103679631 A CN 103679631A CN 201210346575 A CN201210346575 A CN 201210346575A CN 103679631 A CN103679631 A CN 103679631A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- class
- pixels
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 49
- 238000005303 weighing Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000004304 visual acuity Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010276 construction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放大速度问题，提供了一种放大图像的方法，包括：将所述低分辨率hr图像的像素点按像素特性分为低分辨率lr像素类和hr像素类；依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；构造非局部nl滤波器的参数；其中，仅通过计算高分辨率像素类与高分辨率像素类的像素点的相似距离来生成nl滤波器的参数，简化了nl滤波器参数的计算复杂度。
Description
技术领域
本发明属于计算机领域，涉及一种放大图像方法及其装置。
背景技术
随着多媒体技术和计算机网络技术的发展，图像信息在人们工作、学习和生活中发挥越来越重要的作用。图像分辨率是成像系统对输出图像细节分辨能力的一种度量，分辨率越高意味着像素密度越高，细节越精细，提供的信息也越丰富。然而由于成像仪器本身物理属性的限制以及外界环境条件的干扰，图像分辨率往往不能满足某些应用场景的要求，比如3D视频编码中，受传输带宽限制，通常将深度图在服务端进行缩小，在终端进行放大，这其中用到了图像放大技术来提高图像的分辨率。另外一些使用场景还对实时的要求很高，例如视频会议、视频通话的图像放大，如果不能满足实时的要求会影响用户体验，因此需要快速的图像放大技术在保证效果的同时提高速度。
早期的图像放大方法大都不能较好的还原图像中人眼较为敏感的边缘和纹理。比如上述3D视频编码中，可以把图像看做一种信号，并且把放大后的图像与原来深度图在服务端进行缩小前的源图之间的误差视为一种噪声，因此可以在图像放大过程中加入滤波过程来去除噪声。
非局部(non-local，nl)滤波器是目前公认的去噪效果最好的滤波器。目前已经有一些图像放大中使用非局部滤波器来去噪，其中又以基于插值算法的非局部滤波器应用最为广泛，但是非局部滤波器参数构造过程中却存在计算量高的问题。
发明内容
本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放大速度问题：
第一方面，本发明实施例提供了一种图像放大方法，该方法包括：将低分辨率(lr)图像通过图像插值算法生成高分辨率(hr)图像，对所述hr图像进行边缘检测获取图像中边缘的像素点；将所述hr图像的像素点按像素特性分为lr像素 类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；利用所述nl滤波器过滤经过放大算法初始放大的图像从而得到最终的放大图像。
结合第一方面的第一种可能的实现方式中，在所述插值算法的放大倍数为N时，其中，N为大于1的自然数，则所述将所述hr图像按像素特性分为lr像素类和hr像素类，具体包括：将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-l组hr像素类，生成N2-l组hr像素类图像；所述第一组lr像素类图像和N2-l组hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，其中，当具体确定出坐标为(X，Y)的边缘的像素点满足归属于hr像素类时，则计算所述确定的hr像素类的像素点(X，Y)与所述lr像素类中的像素点的相似距离的过程，具体包括：依据所述边缘的像素点坐标(X，Y)，在判断(X，Y)属于hr像素类中的像素点后，确定所述像素点具体归属于第k组的hr像素类图像，并且在所述第k组的hr像素类图像中的坐标为(xk，yk)，其中k∈[2，N2]；分别计算第一组lr像素类图像中各像素点与所述第k组的hr像素类图像中坐标为(xk，yk)的像素点的相似距离。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，当具体计算到第一组lr像素类图像中坐标为(x1，y1)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为：获取hr图像中以(X1，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(x1，y1)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr 像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
结合第一方面的第一种实现方式、第二种实现方式或第三种实现方式，在第四种可能的实现方式中，在所述放大倍数N为2时，所述以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-l组hr像素类，并生成N2-l组hr像素类图像，具体包括：以第一组lr像素类中各像素点为参考点，按顺时针方向将所述hr图像划分为各2×2的像素块；在基于所述参考点划分出来的各2×2像素块中，以所述参考点作参考按顺时针方向依次将所述各2×2像素块中除所述参考点外的其余三个hr像素类的像素点分别归属于第二组hr像素类、第三组hr像素类和第四组hr像素类；分别根据所述第一组lr像素类、第二组hr像素类、第三组hr像素类和第四组hr像素类所包含的像素点生成对应的第一组lr像素类图像、第二组hr像素类图像、第三组hr像素类图像和第四组hr像素类图像。
结合第一方面的第三种实现方式或第四种实现方式，在第五种实现方式中，所述第三像素块和第四像素块大小都为M×M，则所述计算第三像素块和第四像素块的绝对误差和，具体包括：获取第三像素块中各像素点的像素值为v1，v2，v3，......，vn(M×M＝n)和第四像素块中对应像素点的像素值为u1，u2，u3，......，un；并通过公式SAD＝|u1-v1|+|u2-v2|+|u3-v3|+......+|un-vn|计算得到第三像素块和第四像素块的绝对误差和。
结合第一方面或者结合上述任意一种可能的实现方式，在第六种可能的实 现方式中，所述对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离满足相似性的像素点，具体包括：对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离最小的P个像素点作为满足相似性的像素点，其中P为大于1的自然数。
结合上述任意一种可能的实现方式，在第七种可能的实现方式中，所述依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数，具体包括：根据所述确定的hr像素类中的第一个像素点和对应所述第一个像素点满足相似性的P个lr像素类中的像素点作为参数，计算得到所述P个lr像素类的像素点的权值；保存所述第一个像素点对应在hr图像中的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；按照所述hr像素类中第一个像素点的方法，处理完所述确定的各hr像素类中其余的像素点。
结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像，具体包括：获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；按照所述第一个像素点方法依次基于所述nl滤波器的参数中保存的其他hr像素类的像素点处理初始放大图像。
结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果，具体包括：根据nl滤波器的参数中保存的P个与所述第一个像素点满足相似性的像素点的坐标，获取放大后图像中在所述P个坐标上的像素值 H(i)，i＝1，2，...，P，并利用公式
计算得到加权计算结果，其中
表示当前高分辨率位置像素参与加权求和使用的权值，
是取前面P个权值中的最大值；其中ω(i)是P个lr像素类的像素点的权值，通过模拟噪声衰减程度的参数t和hr图像中像素块的大小n，依据公式
其中i＝1，2，...，P计算获得。
本发明的第二方面，提供一种放大图像装置，包括：像素分类模块，用于将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；相似距离计算模块，用于依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离；相似点获取模块，用于获取lr像素类中相似距离满足相似性的像素点；非局部nl滤波器的参数生成模块，用于依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；过滤模块，用于利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像。
结合第二方面的第一种可能的实现方式中，所述像素分类模块，还包括：像素类图像生成子模块，用于将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，并生成N2-1组hr像素类图像；其中，N为所述插值算法的放大倍数，N为大于1的自然数； 所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点都分别拥有在各自像素类图像中的坐标以及在hr图像中的坐标。
结合第二方面的第二种可能的实现方式中，所述相似距离计算模块还包括映射生成模块，用于当具体计算到第一组lr像素类图像中坐标为(x1，y1)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为：获取hr图像中以(X1，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(x1，y1)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；所述相似距离计算模块，还用于计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
本发明通过上述一种放大图像的方法和装置，根据插值算法放大后图像中的像素特性分为高分辨率像素类图像和低分辨率像素类图像，仅通过计算高分辨率像素类与高分辨率像素类的像素点的相似距离来生成nl滤波器的参数，简化了nl滤波器参数的计算复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种放大图像的方法的流程示意图；
图2是本发明实施例的lr像素类和hr像素类划分的流程示意图；
图3是本发明实施例的在放大倍数为2时的nl滤波器参数的构造流程示意 图；
图4是本发明实施例的一种放大图像的方法的流程示意图；
图5是本发明实施例的一种放大图像装置的结构示意图；
图6是本发明实施例的一种放大图像装置的结构示意图；
图7是本发明中按顺时针方向将hr图像划分成多个2×2的像素块的示意图；
图8是本发明中在hr图像中计算像素点相似性示意图；
图9是本发明中在hr图像中计算像素点相似性对应表现在各像素类图像中的关系示意图；
图10是本发明中hr图像中计算相似性的像素点对应在像素类图像中的关系示意图；
图11是本发明实施例的一种nl滤波器参数的关系结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明中低分辨率图像就是原始图像，而高分辨率图像则是相比原始图像经过插值算法放大后的图像，其中低分辨率和高分辨率仅仅作为两者区别的限定，并非对于图像的分辨率大小的特殊要求。
本发明提供的一种放大图像方法实施例100，本实施例方法是基于将低分辨率(low resolution，lr)图像通过图像插值算法生成高分辨率(high resolution，hr)图像，对所述hr图像进行边缘检测获取图像中边缘的像素点的基础上完成，如图1所示，过程如下：
S101、将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点。
所述像素特性具体为：所述在经过插值算法生成的hr图像中包含的像素点是来自于lr图像上的像素点，还是通过插值算法计算生成的插值像素点。因此所述lr像素类可以描述为由lr图像中像素点构成。
在所述插值算法的放大倍数为N时，其中，N为大于1的自然数；优选的，所述将所述hr图像按像素特性分为lr像素类和hr像素类，具体可以实现为：
将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，生成N2-1组hr像素类图像；其中，优选的是所述生成的第一组lr像素类图像和生成N2-1组hr像素类图像都的是按照相同的分辨率、按照相同的排列顺序生成(即不同像素类图像中相同坐标上的像素点同属于上述N×N的像素块中的某一个像素块)。
所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点都分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标。
在所述插值算法的放大倍数为N时，优选的，所述预定划分规则具体为：以第一组lr像素类中各像素点为参考点或者起始点，按顺时针方向并按N×N作为大小将hr图像划分出各像素块，并将各像素块按照从外到内的顺时针螺旋顺序将上述除参考点外的N2-1像素点依次划分并生成N2-1组hr像素类图像(由于lr像素类和lr图像的关系，可以直接采用lr图像作为lr像素类图像)。
所述插值算法的放大倍数为N时，可选的，所述预定划分规则为：以第一组lr像素类中各像素点为参考点或者起始点，按逆时针方向并按N×N作为大小将hr图像划分出各像素块，并将各像素块按照从外到内的逆时针螺旋顺序将上述除参考点外的N2-1像素点依次划分并生成N2-1组hr像素类图像。实际中的所述预定划分规则不仅仅局限于上述方式，还可以是其他依据插值放大倍数N，按照N×N作为大小将hr图像划分出像素块，如：可以采用从外向内螺旋顺序或者从内向外螺旋顺序，如图7所示。
本实施例不局限于上面两种方式，其中描述的“以第一组lr像素类中各像素点为参考点”是因为从hr划分出的各像素块中归属于各组hr像素类的像素点与所述lr像素类的像素点具有相同的位置关系，具体还可以是以其他具有相同特性的点作为参考，此处描述不对参考点的选取做特殊限定。
S102、依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相 似距离。
本发明的相似距离的计算方法优选的是：对于计算hr图像中像素点(X1，Y1)和像素点(Xk，Yk)的相似距离的方法是以所述两个像素点为中心分别取第一像素块和第二像素块首先将hr图像按照放大倍数N划分为第一组lr像素类图像和第2至N2组hr像素类图像，判定所述(X1，Y1)和(Xk，Yk)两个像素点分别属于第一组lr像素类图像和第k组hr像素类图像，k∈[2，N2】；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；
所述获取所述第一像素块中所有归属于第一组lr像素类的像素点具体为：由于hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标，可以根据所述对应关系获取到所述第一像素块中所有归属于第一组lr像素类的像素点；
在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；
在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；
在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；
计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。其中第三像素块、第四像素块、第五像素块和第六像素块的名称仅为了方便相互间区别。
S103、获取lr像素类中相似距离满足相似性的像素点；
优选的，lr像素类中各像素点到所述确定的hr像素类的某个像素点的相似距离最小的P个像素点为满足相似性的像素点。
所述P优选的根据经验值来确定，如：优选的，在放大倍数为2时所述P优选的值为5；
可选的，在放大倍数不为2时，还可以通过与放大倍数建立函数关系来计算获得，如P＝2*放大倍数+1。
S104、依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；
优选的依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数，具体包括：
根据所述确定的hr像素类中的第一个像素点和对应所述第一个像素点满足相似性的P个lr像素类中的像素点作为参数，计算得到所述P个lr像素类的像素点的权值；
保存所述第一个像素点对应在hr图像中的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；
按照所述hr像素类中第一个像素点的方法，处理完所述确定的各hr像素类中其余的像素点，得到依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点各自对应的满足相似性的P个lr像素类的像素点对应在hr图像中的坐标和相应的权值，并按照所述确定的各hr像素类中像素点对应在hr图像中的坐标、与所述确定的各hr像素类中像素点满足相似性的lr像素类的像素点对应在hr图像中的坐标、还有对应所述lr像素类的像素点的权值，三者之间的对应关系保存，于是就完成了所述nl滤波器的参数构造。
S105、利用配置了所述nl滤波器参数的nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像。
优选的，所述利用所述nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像，具体为：
获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；
基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；
将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；
按照所述第一个像素点方法依次处理完所述nl滤波器的参数中保存的其他hr像素类的像素点，于是就完成了对所述初始放大图像的nl滤波。
本实施例100通过将插值算法生成的hr图像，根据像素特性分为lr像素类 和hr像素类，并通过避免计算现有算法中对最后求解相似距离没有关键性影响的hr像素类的像素点之间的绝对误差和的计算，在保证计算精确度的基础上改进了现有算法的效率。
下面的实施例200是对本发明中的lr像素类和hr像素类划分的详细描述，其中以放大倍数为2倍的插值图像算法生成的hr图像为操作对象，如图2所示，具体包括：
S201、以第一组lr像素类中各像素点为参考点，按顺时针方向将hr图像划分成多个2×2的像素块，如图7所示。其中，将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像。对各2×2像素块以像素类中的各像素点为参考点，按顺时针螺旋顺序将除参考点外的像素点一次归为像素类2、像素类3和像素类4。
图7中所有标有数字1的像素点统称为像素类1即lr像素类，其对应位置上的像素点的像素值和lr图像中对应位置的像素点的像素值相同，而所有标有数字2、数字3和数字4的像素点分别称为像素类2、像素类3和像素类4，它们均归属于hr像素类，其像素点的像素值是通过lr图像中像素点的插值算法计算得到。
对于未能按照所述规定划分成2×2的像素块的剩余像素点，可选的，按照该剩余像素点在预定划分规则中的位置划分为像素类1、像素类2、像素类3或像素类4；可选的，还可以做省略处理，因为所述剩余像素点都是些图像中的边框上的点，而nl过滤处理主要是为了增加图像边缘效果。造成对于未能按照所述规定划分成2×2的像素块的剩余像素点，这种情况可能是划分规则规定时，图像边框上像素点未能完整的分成2×2的像素块造成。
S202、提取像素类1的像素点生成第一组lr像素类图像L1，提取像素类2的像素点生成第二组hr像素类图像L2，提取像素类3的像素点生成第三组hr像素类图像L3，提取像素类4的像素点生成第四组hr像素类图像L4；生成后的lr像素类图像和hr像素类图像如图9所示。其中生成各像素类图像的方式为，每组像素类中像素点根据其所归属的像素块按照图7所示49个素块的排列顺序，从左到右，从上到下的顺序生成，生成后的4个像素类图像如图9所示。
其中，像素类图像L1、像素类图像L2、像素类图像L3和像素类图像L4分辨率大小相同，各像素类图像中的像素点都有各自在所属的像素类图像中的 坐标以及在hr图像中的对应坐标。
S203、保存第一组lr像素类图像、第二组hr像素类图像、第三组hr像素类图像和第四组hr像素类图像中各像素点坐标与在hr图像中对应像素点的坐标映射关系。
优选的，保存各像素类图像的坐标原点在hr图像中的坐标，从而结合划分规则和放大倍数，就能完成各像素类图像中像素点坐标与hr图像中相同像素点坐标的转换。
例如：第一组lr像素类图像中坐标为(1，1)的像素点，转换为hr图像中像素点坐标具体为：首先根据以像素类1各像素点作为参考点，并顺时针的划分规则得出，像素类1图像的原点和hr图像的原点偏移量off_origina1_x＝off_origina1_y＝0，且放大倍数是2；则第一组lr像素类图像中坐标为(1，1)的像素点在hr图像中对应相同的像素点的坐标为(off_origina1_x+1*2，off_origina1_y+1*2)＝(2，2)。
可选的，还可以通过hr图像以及各组像素类图像为区分，对应保存各组像素类图像中的像素点对应在hr图像中的坐标，其保存形式可以如下表所示：
其中符号“\”代表不存在对应的坐标点，其中(X1，Y1)按照hr图像中的边缘的像素点个数作为脚标，而(x21，y21)则是依次以该边缘hr像素点所归属的像素类图像是第几组和在表中对应hr像素类图像列中出现顺序作为脚标。
通过实施例200完成了各像素类图像的生成，该像素类图像的生成是根据插值算法特性，将hr图像中与lr像素类的像素点拥有相同的偏移关系的hr像素类的像素点规划到同一组hr像素类图像中。虽然该实施例是基于放大倍数2实现，但是本领域技术人员能够根据本实施例已经揭示的技术内容，将该方法衍生到其他放大倍数中使用，在此不再赘述。接着的实施例300将在此基础上将现有的相似距离计算做进一步的简化。
本发明提供的一种放大图像方法实施例300，本实施例是基于方法实施例200，对于方法实施例100的具体运用。本实施例涉及在实施例200中未涉及到的像素块，在实施例200中的像素块是用来划分像素类使用，而本实施例中涉及用来计算像素点间的相似距离的像素块，两者间的像素块的本质区别在于其划分的规则及用途不相同。本实施例中的放大倍数为2倍，现以放大算法中的非局部nl滤波器的参数的构造方法来说明本实施例在速度上的改进，其流程图如图3所示，其过程具体为：
如图8所示，为现有技术中计算坐标为B_L1((cx-1)*2+1，(cy-1)*2+1)的像素点和坐标为B_L2((x-1)*2，(y-1)*2+1)的像素点的相似性示意图。首先构造以坐标B_L1((cx-1)*2+1，(cy-1)*2+1)为中心以7个像素点为边长构成的第一像素块B_L1，接着构造以坐标B_L2((x-1)*2，(y-1)*2+1)为中心以7个像素点为边长构成的第二像素块B_L2，然后将像素块B_L1和像素块B_L2中对应位置像素点，即49个像素点分别求绝对误差和，则所述绝对误差和的值即为坐标为B_L1((cx-1)*2+1，(cy-1)*2+1)像素点和坐标为B_L2((x-1)*2，(y-1)*2+1)像素点的之间的相似距离。
本发明通过分析上述现有技术中相似距离的计算过程发现，在计算像素点1和像素点2的相似距离的过程中真正有效的实际是B_L1中像素点1和像素点2构成的矩阵与B_L2中像素点2和像素点1构成的矩阵的绝对误差和；像素点3和像素点4是通过插值算法(在放大图像中还可以采用其他放大算法)计算获得，像素点3和像素点4的绝对误差和的计算过程在增加了整体计算量的情况下，却并不能带来相似距离的精确性的提高)，根据所述分析进一步得到本发明方法。
S301、基于各参考点，按顺时针方向划分出各2×2像素块，所述参考点在本实施例中为原本属于lr图像的像素点；在基于所述参考点构成的各2×2像素块中，记录各参考点为第一组lr像素类，并按顺时针方向记录所述各2×2像素块的其余三个hr像素点为第二组hr像素类、第三组hr像素类和第四组hr像素类；
S302、分别针对所述第一组lr像素类、第二组hr像素类、第三组hr像素类和第四组hr像素类所包含的像素点生成对应的第一组lr像素类图像L1、第二组hr像素类图像L2、第三组hr像素类图像L3和第四组hr像素类图像L4， 如图9所示。保存像素类图像L1、L2、L3和L4中各像素点与hr图像中各像素点的映射关系。
S303、依据边缘的像素点确定hr图像中既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；
当求解边缘的像素点坐标为B_L2((x-1)*2，(y-1)*2+1)和属于lr像素类的坐标为B_L1((cx-1)*2+1，(cy-1)*2+1)像素点像素点相似距离时；
B_L1像素块(即S102中第一像素块)和B_L2像素块(即S102中第二像素块)都包含了像素点1和像素点2(即B_L1像素块中的所有像素点1和B_L2像素块中的所有像素点2进行了第一次绝对误差和运算，B_L1像素块中的所有像素点2和B_L2像素块中的所有像素点1进行了第二次绝对误差和运算)，而生成的第一组lr像素类图像L1和第二组hr像素类图像L2均只包含了同一类的像素点1和像素点2，因此在完成了L1(cx，xy)为中心的像素块(即S102中第三像素块)和L2(x，y)为中心的像素块(即S102中第四像素块)的绝对误差和计算后(即B_L1像素块中的所有像素点1到B_L2像素块中的所有像素点2的绝对误差和)，还要计算L1(x，y)为中心的像素块(即S102中第五像素块)和L2(cx-1，cy)为中心的像素块(即S102中第六像素块)的绝对误差和(即B_L2像素块中的所有像素点1到B_L1像素块中的所有像素点2的绝对误差和)，并将上述得到的2个绝对误差和结果相加后取均值，所述相加后取均值的结果就是图8中坐标为B_L1((cx-1)*2+1，(cy-1)*2+1)像素点和坐标为B_L2((x-1)*2，(y-1)*2+1)像素点的之间的相似距离，上述像素类图像1中的L1(cx，xy)和L1(x，y)与像素类图像2中的L2(x，y)和L2(cx-1，cy)坐标的确认，可以由B_L1像素块和B_L2像素块到第一组lr像素类图像L1和第二组hr像素类图像L2的映射关系获得，所述映射关系可以采用S203中任意一种。
S304、构造nl滤波器的参数。
构造nl滤波器的参数方法具体包括：
根据所述确定的hr像素类中的B_L2((x-1)*2，(y-1)*2+1)像素点和对应所述B_L2((x-1)*2，(y-1)*2+1)像素点满足相似性的P个lr像素类中的像素点作为参数，计算得到所述P个lr像素类的像素点的权值；
保存所述B_L2((x-1)*2，(y-1)*2+1)像素点对应在hr图像中的坐标、所述P 个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；
其中B_L2((x-1)*2，(y-1)*2+1)像素点计算权值的方法具体为：
对应B_L2((x-1)*2，(y-1)*2+1)像素点记录与之对应的P个满足相似性的L1的像素点坐标，并依据公式
其中i＝1，2，...，P计算得到P个lr像素点的权值，其中，SAD(i)是B_L2((x-1)*2，(y-1)*2+1)像素点与第i个满足相似性的像素点的相似距离，t是模拟噪声衰减程度的参数，n是hr图像中像素块的大小。
按照所述hr像素类中B_L2((x-1)*2，(y-1)*2+1)像素点的方法，依据S303遍历完所述确定的各hr像素类中其余的像素点。便完成了nl滤波器的参数的构造，该滤波器的参数可以是以图11的形式存在；其中第一列是hr图像中既是边缘的像素点又是hr像素类的像素点坐标，第二列是满足相似性的P个lr像素类点在hr图像中的坐标，第三类是满足相似性的P个lr像素类点的权值。本实施例中在放大倍数为2时，所述P优选的值为5。
本发明提供的一种放大图像方法实施例400，本实施例通过一个具体方法流程展示上述nl滤波器的参数实施例在放大图像算法中的应用，并在提取出边缘的像素点之后进行了边缘扩散处理，使得nl滤波器的滤波效果进一步得到提高。本实施例采用2倍放大插值算法作为描述对象，如图4所示，其流程具体为：
S401、将低分辨率lr图像通过图像插值算法生成高分辨率hr图像。
所述图像插值算法可以是最临近点插值算法、双线性插值算法、双立方插值算法或自适应样条插值算法。
S402、对所述hr图像进行边缘检测获取图像中边缘的像素点。
所述边缘检测方法可以是但不局限于Roberts、Sobel、Prewitt、LOG或Canny算子中的任意一种。
S403、对图像中由边缘的像素点构成的边缘轮廓进行边缘扩散处理。
在具体实施中边缘扩散可以采用多种方式，比如以每个边缘的像素点作为中心点，按照特定的形状进行扩散，这个形状中的所有的点都属于扩散后的边缘，所述特定的形状可以是菱形、正方形等。所述特定的形状的大小优选的取大于等于放大倍数的最小奇数，如采用正方形并且放大倍数为2倍时，该正方 形的边长为3个像素点；如采用正方形并且放大倍数为3倍时，该正方形的边长为3个像素点；如采用正方形并且放大倍数为4倍时，该正方形的边长为5。
S404、通过方法实施例300中的步骤S301-S304构造nl滤波器的参数。
本发明中除采用S303的映射关系获取对应坐标关系外，还可以采用根据以第一组lr像素类的像素点与其他各组hr像素类的像素点的相似距离计算得到的模型，来作为后续的计算方法，(x1，y1)为第一组lr像素类中坐标，(xk，yk)为第k组hr像素类中坐标；对照图8和图9其模型获取方法为：
根据hr图像中以(X1，Y1)为中心的第二像素块与(Xk，Yk)为中心的第一像素块的相似距离，其中(X1，Y1)和(Xk，Yk)分别是坐标(x1，y1)和(xk，yk)在hr图像中的对应坐标；
在第一组lr像素类图像中获取所述第一像素块(图8中所述第一像素块表现为B_L1)中所有属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块
计算第三像素块和第四像素块的绝对误差和，并计算第五像素块和第六像素块的绝对误差和，然后将两个绝对误差和求和便能得到第一组lr像素类中坐标为(x1，y1)与第X组hr像素类中坐标为(xX，yX)间的相似距离。依据上述过程将第三像素块、第四像素块、第五像素块和第六像素块生成对应模型。
本实施例的放大倍数为2，对于上述形成的第三像素块、第四像素块、第五像素块和第六像素块生成对应模型，具体描述如下：
依据所述边缘的像素点获取像素类图像L1、像素类图像L2、像素类图像L3或像素类图像L4中对应的像素点，记录下获取到的该像素点坐标为(x，y)；遍历第一组lr像素类中像素点，并计算与所述遍历到的(x，y)与第一组lr像素类的像素点的相似距离，其过程具体为：
当(x，y)像素点在L2中时，依次遍历L1中各像素点与(x，y)的相似性。假设当前遍历到L1(cx，cy)时，则要计算L1中以点(cx，cy)为中心的第三像素块模型和L2中以点(x，y)为中心的第四像素块模型的SAD再加上L1中以点(x，y)为中 心的第五像素块模型和L2中以点(cx-1，cy)为中心的第六像素块模型的SAD，取两个SAD的和作为最终的SAD值。
当(x，y)像素点在L3中时，依次遍历L1中各像素点与(x，y)的相似性。假设当前遍历到L1(cx，cy)时，则要计算L1中以点(cx，cy)为中心的第三像素块模型和L3中以点(x，y)为中心的第四像素块模型的SAD再加上L1中以点(x，y)为中心的第五像素块模型和L3中以点(cx，cy-1)为中心的第六像素块模型的SAD，取两个SAD的和作为最终的SAD值。
当(x，y)像素点在L4中时，依次遍历L1中各像素点与(x，y)的相似性。假设当前遍历到L1(cx，cy)时，则要计算L1中以点(cx，cy)为中心的第三像素块模型和L4中以点(x，y)为中心的第四像素块模型的SAD再加上L1中以点(x，y)为中心的第五像素块模型和L4中以点(cx--1，cy-1)为中心的第六像素块模型的SAD，取两个SAD的和作为最终的SAD值。
所述第三像素块和第四像素块大小都为M×M时，则所述计算第三像素块和第四像素块的绝对误差和，具体包括：获取第三像素块中各像素点的像素值为v1，v2，v3，......，vn(M×M＝n)和第四像素块中对应像素点的像素值为u1，u2，u3，......，un；并通过公式SAD＝|u1-v1|+|u2-v2|+|u3-v3|+......+|un-vn|计算得到第三像素块和第四像素块的绝对误差和。
lr像素类中各像素点到hr像素类的某个像素点的相似距离最小的P个像素点为满足相似性的像素点。在放大倍数为2倍时，所述P值优选的为5。
记录各hr像素点和对应的P个满足相似性的lr像素点对应在hr图像中的坐标，计算得到P个lr像素点的权值。
S405、利用放大算法放大lr图像。
所述放大算法可以是最临近点插值算法、双线性插值算法、双立方插值算法或自适应样条插值算法。
S406、利用nl滤波器过滤所述经过放大算法放大后的图像。
获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；按照 所述第一个像素点方法依次基于所述nl滤波器的参数中保存的其他hr像素类的像素点处理初始放大图像。
其中并依据所述P个lr像素类的像素点的权值得到加权计算结果，具体方法为：
获取模拟噪声衰减程度的参数t和像素块的大小n，在放大图像方法实施例300中得出，在放大倍数为2倍时n的优选值为7；依据公式 
i＝1，2，...，P计算对于P个lr像素类的像素点的权值；其中，SAD(i)为P个lr像素类的像素点中第i点与对应hr像素类的像素点的绝对误差和；
获取P个lr像素了的像素点的像素值H(i)，i＝1，2，...，P，并利用公式 
计算得到像素值替换hr像素点的像素值，其中
表示当前高分辨率位置像素参与加权求和使用的权值，它是取前面P个权值中的最大值；
其中ω(i)是P个lr像素类的像素点的权值，通过模拟噪声衰减程度的参数t和hr图像中像素块的大小n，依据公式
其中i＝1，2，...，P计算获得。
本实施例通过结合具体的计算算法，对之前的方法实施例300得到的滤波器的参数如何具体使用做了细化描述，利用本方法实施例便能完整的实现本方法所要实现的放大图像方法。通过避免计算现有算法中对最后求解相似距离没有关键性影响的hr像素类的像素点之间的绝对误差和的计算，在保证计算精确度的基础上改进了现有算法的效率。
本发明提供的一种放大图像装置实施例500，其结构示意图如图5所示，具体包括：
像素分类模块101，用于将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；
相似距离计算模块102，用于依据所述边缘图像确定既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离；
相似点获取模块103，用于获取lr像素类中相似距离满足相似性的像素点；
非局部nl滤波器的参数生成模块104，用于依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；
过滤模块105，用于利用所述nl滤波器的参数过滤经过放大算法初始放大图像从而得到最终的放大图像。
优选的，所述像素分类模块101，还包括：
像素类图像生成子模块201，用于将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；
以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，其中N为插值算法的放大倍数，N为大于1的自然数；并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，并生成N2-1组hr像素类图像；所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点都分别拥有在各自像素类图像中的坐标以及在hr图像中的坐标。
优选的，所述相似距离计算模块102还包括映射生成模块202，用于获取hr图像中以(X1，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(x1，y1)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；
在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；
在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；
在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；
在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块。
此时，所述相似距离计算模块102，还用于计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第 一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
本发明提供的一种放大图像装置实施例600，如图6所示。包括至少一个处理器(301)，例如CPU，至少一个网络接口304或者其他通信接口303，存储器305，和至少一个通信总线302。通信总线302用于实现这些装置之间的连接通信。可选的用户接口903可以是显示器，键盘或者点击设备。存储器305可能包含高速Ram存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器305可选的可以包含至少一个位于远离前述CPU302的存储装置。在一些实施方式中，存储器305存储了如下的元素，模块或者数据结构，或者他们的子集，或者他们的扩展集：
操作系统306，包含各种程序，用于实现各种基础业务以及处理基于硬件的任务；
应用模块307，包含如下模块组合：像素分类模块101，相似距离计算模块102，相似点获取模块103，非局部nl滤波器的参数生成模块104，过滤模块105，上述模块的功能可以参考图3或者图4的工作原理图的说明部分，也可以参考图5的说明部分；此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或步骤可以用硬件、处理器执行的软件程序，或者二者的结合来实施。软件程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术 人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内。
Claims (13)
1.一种放大图像的方法，将低分辨率(lr)图像通过图像插值算法生成高分辨率(hr)图像，对所述hr图像进行边缘检测获取图像中边缘的像素点，其特征在于，包括：
将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；
依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；
依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；
利用所述nl滤波器过滤经过放大算法初始放大的图像从而得到最终的放大图像。
2.根据权利要求1所述方法，其特征在于，在所述插值算法的放大倍数为N时，其中，N为大于1的自然数，则所述将所述hr图像按像素特性分为lr像素类和hr像素类，具体包括：
将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；
以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，生成N2-1组hr像素类图像；
所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标。
3.根据权利要求2所述的方法，其特征在于，所述依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，其中，当具体确定出坐标为(X，Y)的边缘的像素点满足归属于hr像素类时，则计算所述确定的hr像素类的像素点(X，Y)与所述lr像素类中的像素点的相似距离的过程，具体包括：
依据所述边缘的像素点坐标(X，Y)，在判断(X，Y)属于hr像素类中的像素点后，确定所述像素点具体归属于第k组的hr像素类图像，并且在所述第k组的hr像素类图像中的坐标为(xk，yk)，其中k∈[2，N2]；
分别计算第一组lr像素类图像中各像素点与所述第k组的hr像素类图像中坐标为(xk，yk)的像素点的相似距离。
4.根据权利要求3所述的方法，其特征在于，当具体计算到第一组lr像素类图像中坐标为(x1，y1)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为：
获取hr图像中以(X1，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(x1，y1)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；
在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；
在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；
在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；
在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；
计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
5.根据权利要求2-4任一所述的方法，其特征在于，在所述放大倍数N为2时，所述以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，并生成N2-1组hr像素类图像，具体包括：
以第一组lr像素类中各像素点为参考点，按顺时针方向将所述hr图像划分为各2×2的像素块；
在基于所述参考点划分出来的各2×2像素块中，以所述参考点作参考按顺时针方向依次将所述各2×2像素块中除所述参考点外的其余三个hr像素类的像素点分别归属于第二组hr像素类、第三组hr像素类和第四组hr像素类；
分别根据所述第一组lr像素类、第二组hr像素类、第三组hr像素类和第四组hr像素类所包含的像素点生成对应的第一组lr像素类图像、第二组hr像素类图像、第三组hr像素类图像和第四组hr像素类图像。
6.根据权利要求4或5所述的方法，其特征在于，所述第三像素块和第四像素块大小都为M×M，则所述计算第三像素块和第四像素块的绝对误差和，具体包括：
获取第三像素块中各像素点的像素值为v1，v2，v3，......，vn(M×M＝n)和第四像素块中对应像素点的像素值为u1，u2，u3，......，un；并通过公式SAD＝|u1-v1|+|u2-v2|+|u3-v3|+......+|un-vn|计算得到第三像素块和第四像素块的绝对误差和。
7.根据权利要求1-6任一所述的方法，其特征在于，所述对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离满足相似性的像素点，具体包括：
对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离最小的P个像素点作为满足相似性的像素点，其中P为大于1的自然数。
8.根据权利要求2-7任一所述的方法，其特征在于，所述依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数，具体包括：
根据所述确定的hr像素类中的第一个像素点和对应所述第一个像素点满足相似性的P个lr像素类中的像素点作为参数，计算得到所述P个lr像素类的像素点的权值；
保存所述第一个像素点对应在hr图像中的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；
按照所述hr像素类中第一个像素点的方法，处理完所述确定的各hr像素类中其余的像素点。
9.根据权利要求8所述方法，其特征在于，所述利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像，具体包括：
获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；
基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；
将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；
按照所述第一个像素点方法依次基于所述nl滤波器的参数中保存的其他hr像素类的像素点处理初始放大图像。
10.根据权利要求9所述的方法，其特征在于，所述基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果，具体包括：
根据nl滤波器的参数中保存的P个与所述第一个像素点满足相似性的像素点的坐标，获取放大后图像中在所述P个坐标上的像素值H(i)，i＝1，2，...，P，并利用公式
计算得到加权计算结果，其中表示当前高分辨率位置像素参与加权求和使用的权值，
是取前面P个权值中的最大值；
其中ω(i)是P个lr像素类的像素点的权值，通过模拟噪声衰减程度的参数t和hr图像中像素块的大小n，依据公式
其中i＝1，2，...，P计算获得。
11.一种放大图像装置，其特征在于，包括：
像素分类模块，用于将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；
相似距离计算模块，用于依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离；
相似点获取模块，用于获取lr像素类中相似距离满足相似性的像素点；
非局部nl滤波器的参数生成模块，用于依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；
过滤模块，用于利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像。
12.根据权利要求11所述的装置，其特征在于，所述像素分类模块，还包括：
像素类图像生成子模块，用于将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；
以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个N×N的像素块，并将各N×N的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，并生成N2-1组hr像素类图像；其中，N为所述插值算法的放大倍数，N为大于1的自然数；
所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点都分别拥有在各自像素类图像中的坐标以及在hr图像中的坐标。
13.根据权利要求11所述的装置，其特征在于，所述相似距离计算模块还包括映射生成模块，用于当具体计算到第一组lr像素类图像中坐标为(x1，y1)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为：
获取hr图像中以(X1，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(x1，y1)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；
在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；
在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；
在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；
在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；
所述相似距离计算模块，还用于计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1，y1)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210346575.XA CN103679631B (zh) | 2012-09-18 | 2012-09-18 | 一种放大图像的方法 |
| PCT/CN2013/071098 WO2014044027A1 (zh) | 2012-09-18 | 2013-01-30 | 一种放大图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210346575.XA CN103679631B (zh) | 2012-09-18 | 2012-09-18 | 一种放大图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103679631A true CN103679631A (zh) | 2014-03-26 |
| CN103679631B CN103679631B (zh) | 2018-01-23 |
Family
ID=50317089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210346575.XA Active CN103679631B (zh) | 2012-09-18 | 2012-09-18 | 一种放大图像的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103679631B (zh) |
| WO (1) | WO2014044027A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215761A (zh) * | 2019-07-12 | 2021-01-12 | 华为技术有限公司 | 图像处理方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101833753A (zh) * | 2010-04-30 | 2010-09-15 | 西安电子科技大学 | 基于改进贝叶斯非局部均值滤波器的sar图像去斑方法 |
| US7856150B2 (en) * | 2007-04-10 | 2010-12-21 | Arcsoft, Inc. | Denoise method on image pyramid |
| CN102298773A (zh) * | 2011-09-19 | 2011-12-28 | 西安电子科技大学 | 一种形状自适应的非局部均值去噪方法 |
| US20120189051A1 (en) * | 2008-04-11 | 2012-07-26 | Yunfei Zheng | Methods and apparatus for deblocking filtering of non-local intra prediction |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2045773B1 (en) * | 2007-10-02 | 2012-02-22 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
| CN101499164B (zh) * | 2009-02-27 | 2011-02-09 | 西安交通大学 | 一种基于单张低分辨率图像的图像插值重构方法 |
| CN101661611B (zh) * | 2009-09-25 | 2011-08-24 | 西安电子科技大学 | 基于贝叶斯非局部均值滤波器的实现方法 |
-
2012
- 2012-09-18 CN CN201210346575.XA patent/CN103679631B/zh active Active
-
2013
- 2013-01-30 WO PCT/CN2013/071098 patent/WO2014044027A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7856150B2 (en) * | 2007-04-10 | 2010-12-21 | Arcsoft, Inc. | Denoise method on image pyramid |
| US20120189051A1 (en) * | 2008-04-11 | 2012-07-26 | Yunfei Zheng | Methods and apparatus for deblocking filtering of non-local intra prediction |
| CN101833753A (zh) * | 2010-04-30 | 2010-09-15 | 西安电子科技大学 | 基于改进贝叶斯非局部均值滤波器的sar图像去斑方法 |
| CN102298773A (zh) * | 2011-09-19 | 2011-12-28 | 西安电子科技大学 | 一种形状自适应的非局部均值去噪方法 |
Non-Patent Citations (4)
| Title |
|---|
| ANTONI BUADES等: "A non-local algorithm for image denoising", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
| JIN WANG等: "fast non-local algorithm for image denoising", 《2006 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 许光宇等: "有效保持细节特征的快速非局部滤波方法", 《计算机工程与应用》 * |
| 许光宇等: "自适应的有效非局部图像滤波", 《中国国家图形学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103679631B (zh) | 2018-01-23 |
| WO2014044027A1 (zh) | 2014-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815755B (zh) | 虚拟物体被遮挡的区域确定方法、装置及终端设备 | |
| CN109840881B (zh) | 一种3d特效图像生成方法、装置及设备 | |
| CN108876792B (zh) | 语义分割方法、装置和系统及存储介质 | |
| CN112771573B (zh) | 基于散斑图像的深度估计方法及装置、人脸识别系统 | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN108986197B (zh) | 3d骨架线构建方法及装置 | |
| CN105046213A (zh) | 一种增强现实的方法 | |
| CN110288520B (zh) | 图像美化方法、装置及电子设备 | |
| CN110084155B (zh) | 一种密集人数计数的方法、装置、设备以及存储介质 | |
| CN105930464B (zh) | Web富媒体跨屏适配方法和装置 | |
| CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
| CN108197596B (zh) | 一种手势识别方法和装置 | |
| CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
| CN107808388B (zh) | 包含运动目标的图像处理方法、装置及电子设备 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN106023147A (zh) | 一种基于gpu的线阵遥感影像dsm快速提取方法 | |
| CN114239508A (zh) | 表格还原方法和装置、存储介质及电子设备 | |
| CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
| CN107464272A (zh) | 基于关键点的中心扩散式气象传真图等值线的插值方法 | |
| CN110120085B (zh) | 一种动态纹理视频生成方法、装置、服务器及存储介质 | |
| CN103679631A (zh) | 一种放大图像的方法 | |
| CN109801300B (zh) | 棋盘格角点的坐标提取方法、装置、设备及计算机可读存储介质 | |
| CN111353007A (zh) | 基于矢量切片的地理要素拾取方法、编码方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |