CN103700062B - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN103700062B CN103700062B CN201310697591.8A CN201310697591A CN103700062B CN 103700062 B CN103700062 B CN 103700062B CN 201310697591 A CN201310697591 A CN 201310697591A CN 103700062 B CN103700062 B CN 103700062B
- Authority
- CN
- China
- Prior art keywords
- block
- pixel
- resolution image
- similar block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 18
- 230000003321 amplification Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法和装置,其中,该图像处理方法,包括:对低分辨率图像进行图像放大处理,得到初始高分辨率图像;从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。采用本发明实施例的技术方案,能有效降低计算的复杂度和占用的存储器资源。
Description
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种图像处理方法和装置。
背景技术
在现代社会,人们对于高质量、高清晰的图像信息要求越来越高。例如,在家庭数字媒体应用中,1080p以及4K×2K电视的越来越普及,然而现在的大多数电视节目源以及DVD格式视频都是标清格式的视频,这就需要超分辨率技术将标清格式视频转换到高清或者超高清格式视频;另外,在网络视频应用中,由于受带宽的影响,许多网上的视频的质量都比较差,要将其在大屏幕的移动终端、PC或者Digital TV上显示时,就可以利用超分辨率技术。另外,图像超分辨率在医学成像,遥感卫星等领域也都有着重要的应用。
在现有技术中,超分辨率技术一般需要将低分辨率的图像先转换成初始高分辨率图像,再基于该初始高分辨率图像进行图像处理,转换成真正的高分辨率图像。但是,由于初始高分辨率图像的分辨率已经较大,像素点较多,因此,在对初始高分辨率图像进行图像处理的过程中,系统的计算复杂度较高,在硬件实现时占用的存储器资源比较多。
发明内容
本发明实施例提供一种图像处理方法和装置,以降低计算的复杂度和占用的存储器资源。
第一个方面,本发明实施例提供一种图像处理方法,包括:
对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在第一种可能的实现方式中,所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,还包括:
对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块,包括:
根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
结合第一方面或是第一个方面的第一种可能的实现方式,在第二种可能的实现方式中,所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块,可以包括:
从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
结合第一个方面的第二种可能的实现方式,在第三种可能的实现方式中,所述对所述初始中心相似块进行像素融合,得到所述中心相似块,包括:
采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
结合第一个方面或是第一个方面的第一种、第二种和第三种可能的实现方式,在第四种可能的实现方式中,所述根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值,可以包括:
计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性,包括:
计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
第二个方面,本发明实施例提供一种图像处理装置,包括:
图像放大处理模块,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块,用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
第二获取模块,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在第一种可能的实现方式中,本发明实施例提供一种图像处理装置,还包括:
图像纹理分析模块,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述第二获取模块,具体用于根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
结合第二方面或是第二个方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一获取模块,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
结合第二个方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第一获取模块,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
结合第二个方面或是第二个方面的第一种、第二种和第三种可能的实现方式,在第四种可能的实现方式中,所述像素值确定模块,包括:
计算单元,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述计算单元,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
本发明实施例,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可降低处理过程中的存储资源的占用率;并且还可以从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明图像处理方法实施例一的流程图;
图2为本发明图像处理方法实施例二的流程图;
图3为图2所示方法实施例二中像素融合的一种处理方式;
图4为本发明图像处理装置实施例一的结构示意图;
图5为本发明图像处理装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明图像处理方法实施例一的流程图,如图1所示,本实施例的方法可以包括:
S101、对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
在将低分辨率图像转换为高分辨率图像时,图像处理装置可以获取待处理的低分辨率图像,并对该低分辨率图像进行图像放大处理,得到初始高分辨率图像,该初始高分辨率图像并非最终得到的高分辨率图像,而是中间过程。
在具体实现时,图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法,将低分辨率图像放大处理得到初始高分辨率图像,本实施例并不对图像放大处理的具体算法进行限定。
S102、从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
S103、从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
具体来说,在现有技术中,中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是,搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多,搜索块就会越大,在图像处理时所占用的存储资源就较多,计算复杂度也会显著增大。
为此,本实施例中,中心相似块还是从初始高分辨率图像中选取,而搜索块可以从低分辨率图像中选取。
从初始高分辨率图像中选取与第一像素点对应的中心相似块,具体可以以第一像素为中心选取中心相似块。
由于低分辨率图像中的相似块较少,搜索块的范围就会较小,所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块,进一步确定搜索块中的相似块。具体可以以第一像素点为中心选取搜索块,再以搜索块中的各个像素点为中心选取各相似块,其中,搜索块的大小可以为15个像素点,相似块大小可以为3×3,相似块的个数与搜索块中的像素点个数相对应。
其中,所述中心相似块与所述搜索块的块大小相同,具体来说,在S102中从初始高分辨率图像中选取中心相似块时,中心相似块的大小选取应与S103中搜索块内的相似块的大小选取相同,均为3×3。
另外,在本实施例中S102和S103的执行顺序并不限于此,可以先执行S102再执行S103,也可以先执行S103再执行S102,还可以S102,S103同时执行。
S104、根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在具体实现时,S104可以具体采用如下过程实现:
计算获取中心相似块与搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
对于初始高分辨率图像中的所有像素点,均可以使用以上S101~S104的方法得到对应的超分辨率值并进行代替后,即可得到最终的高分辨率图像。
本发明实施例一提供的图像处理方法,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可降低处理过程中的存储资源的占用率;并且还可以对从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值。
下面采用一个具体的实施例对图1所示技术方案进行详细说明。
图2为本发明图像处理方法实施例二的流程图,如图2所示,本实施例的方法可以包括:
S201、对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
在将低分辨率图像转换为高分辨率图像时,图像处理装置可以获取待处理的低分辨率图像,并对该低分辨率图像进行图像放大处理,得到初始高分辨率图像,该初始高分辨率图像并非最终得到的高分辨率图像,而是中间过程。
在具体实现时,图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法,将低分辨率图像放大处理得到初始高分辨率图像,本实施例并不对图像放大处理的具体算法进行限定。
S202、从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
具体来说,在初始高分辨率图像中选取中心相似块的大小时,如果选择的相似块比较小,例如选择3×3的相似块时,较相似的像素点就越多,图像看起来越锐利清晰,但是在斜边处锯齿很难消除;如果选择比较大的相似块,例如5×5的相似块时,图像会变得模糊,但是边缘的锯齿现象会控制的比较好。
为此,针对当前处理的第一像素点,本实施例在初始高分辨率图像中选取与其对应的中心相似块,优选的,首先从初始高分辨图像中选取与第一像素点对应的初始中心相似块,再对所述初始中心相似块进行像素融合,得到中心相似块。具体实现时可以采用像素点降低处理算法,对初始中心相似块进行像素融合得到中心相似块。
具体来说,可以在初始高分辨率图像中以第一像素点为中心选择比较大的初始中心相似块,例如5×5,然后可以采用像素点降低处理算法,对该初始中心相似块进行像素融合,得到比较小的中心相似块,例如3×3,这样可以在保证图像的清晰度的同时有效控制图像边缘的锯齿现象。
图3为图2所示方法实施例二中像素融合的一种处理方式,如图3所示,举例说明将5×5的初始中心块融合成3×3的中心相似块的过程:首先将初始中心块中5×5的像素点分成9部分:中心点和8个虚线框,再将每个虚线框内的多个像素点(使用细×来表示)加权平均成一个像素点(使用粗×来表示),最后得到像素点为3×3的中心相似块。
S203、对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
具体来说,现有技术中,搜索块的选取都是以当前像素点为中心的正方形的块,但是与中心相似块具有相似性的各相似块的分布可能趋向于横向,也可能趋向于纵向,这样如果搜索整个正方形的搜索块,一些没有相似性的像素点就会被搜索到,不但增加了计算量而且占用存储资源。
为此,本实施例中在低分辨率图像中选取搜索块之前,先进行图像纹理分析。
具体来说,对低分辨率图像进行图像纹理分析是判断低分辨率图像中第一像素点邻域范围的纹理是X方向还是Y方向,具体方法是首先计算在低分辨率图像中第一像素点邻域范围内的像素点(可以以第一像素点为中心选取一个3×3的块)的X方向的方差X_dir以及Y方向的方差Y_dir,然后比较X_dir与Y_dir之间的大小,如果X_dir较小,则说明纹理方向为X方向,如果Y_dir较小,则说明纹理方向为Y方向。
S204、根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
具体来说,在现有技术中,中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是,搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多,搜索块就会越大,在图像处理时所占用的存储资源就较多,计算复杂度也会显著增大。
所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块,并确定搜索块中的相似块,不仅可以减少计算量还可以减少占用的存储资源。而在进行选取搜索块时再根据图像的纹理分析结果,就会减少对结果作用不大的像素点的搜索,进一步地减少计算量和占用的存储资源。
具体来说,根据S203获得的图像纹理分析结果,从低分辨率图像中以第一像素点为中心选取搜索块,具体地,当图像纹理方向为X方向时,搜索块的选取趋向于X方向,具体可以以第一像素点为中心选取3×5大小的搜索块,当图像纹理方向为Y方向时,搜索块的选取趋向于Y方向,具体可以以第一像素点为中心选取5×3大小的搜索块。这样就可以减少一些对结果作用不大的点的搜索,从而减少计算量。
进一步地,确定所述搜索块中的各相似块,具体可以为以搜索块中的各个像素点为中心选取大小为3×3的相似块,其中所述相似块的个数与搜索块中的像素点个数相对应。
其中,所述中心相似块与所述搜索块的块大小相同,具体来说,在S202中将初始中心相似块进行像素融合得到中心相似块时,中心相似块的大小选取需与S204中搜索块内的相似块的大小选取相同,均为3×3。
S205、计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
在具体实现时,所述相似性可以采用欧式距离来度量。
具体来说,图像处理装置可以计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。欧氏距离的计算如下公式(1)所示:
其中,Distance为欧氏距离,Zt为初始高分辨率图像,yt为低分辨率图像,为当前帧的初始高分辨率图像上以(k,l)点为中心的初始中心相似块,f为像素点降低处理算法,为融合后的中心相似块,为原始低分辩率图像中以点(i,j)为中心的相似块,即搜索块中的相似块;
S206、根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
举例来说,所述权重值一般利用指数函数来得到,可以采用下述公式(2)来实现:
Weight=exp{-Distance/2σ2} (2)
其中,Weight为权重值,σ为控制权重的参数,该σ是和噪声等级有关的一个预设值;
S207、采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
其中,加权累加的计算如下式(3)所示:
其中,为第一像素点(k,l)的超分辨率值,NL(k,l)为第一像素点在低分辨率图像中的对应的邻域范围,(i,j)为低分辨率图像中的对应的邻域中的像素点,yt[i,j]为所述搜索块中的各相似块对应的低分辨率图像中的像素点。
S208、采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
对于初始高分辨率图像中的所有像素点,均可以使用以上S201~S208的方法得到对应的超分辨率值并进行代替后,即可得到最终的高分辨率图像。
本发明实施例二提供的图像处理方法,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是根据图像的纹理从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可以降低处理过程中的存储资源的占用率;并且还可以对从初始高分辨率图像中选取的初始中心相似块进行像素融合,得到与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值,这样不但可以保证图像的清晰度,而且可以很好的控制锯齿现象,使图像边缘平滑。
图4为本发明图像处理装置实施例一的结构示意图,如图4所示,本实施例的装置可以包括:图像放大处理模块11、第一获取模块12、第二获取模块13以及像素值确定模块14;
其中,图像放大处理模块11,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块12,用于从所述初始高分辨率图像中选取与第一像素点对应中心相似块;
第二获取模块13,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块14,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
本实施例的装置可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图5为本发明图像处理装置实施例二的结构示意图,如图5所示,本实施例的装置在图4所示装置结构的基础上,进一步地,还包括:图像纹理分析模块15,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;相应地,第二获取模块13,具体用于根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
进一步地,第一获取模块12,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
在具体实现时,第一获取模块12,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
进一步地,像素值确定模块14,包括:
计算单元141,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元142,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元143,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元144,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
在具体实现时,计算单元141,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
本实施例的装置可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤S可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤S;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值;
所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,还包括:
对所述低分辨率图像进行图像纹理方向分析,得到图像纹理方向分析结果;
所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块,包括:
根据所述图像纹理方向分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
2.根据权利要求1所述的方法,其特征在于,所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块,包括:
从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
3.根据权利要求2所述的方法,其特征在于,所述对所述初始中心相似块进行像素融合,得到所述中心相似块,包括:
采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
4.根据权利要求1~3中任一项所述的方法,其特征在于,所述根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值,包括:
计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
5.根据权利要求4所述的方法,其特征在于,所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性,包括:
计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
6.一种图像处理装置,其特征在于,包括:
图像放大处理模块,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块,用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
第二获取模块,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值;
还包括:
图像纹理分析模块,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理方向分析,得到图像纹理方向分析结果;
所述第二获取模块,具体用于根据所述图像纹理方向分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
7.根据权利要求6所述的装置,其特征在于,所述第一获取模块,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
8.根据权利要求7所述的装置,其特征在于,所述第一获取模块,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
9.根据权利要求6~8中任一项所述的装置,其特征在于,所述像素值确定模块,包括:
计算单元,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
10.根据权利要求9所述的装置,其特征在于,所述计算单元,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310697591.8A CN103700062B (zh) | 2013-12-18 | 2013-12-18 | 图像处理方法和装置 |
US14/570,693 US9471958B2 (en) | 2013-12-18 | 2014-12-15 | Image processing method and apparatus |
EP14198225.6A EP2887306B1 (en) | 2013-12-18 | 2014-12-16 | Image processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310697591.8A CN103700062B (zh) | 2013-12-18 | 2013-12-18 | 图像处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103700062A CN103700062A (zh) | 2014-04-02 |
CN103700062B true CN103700062B (zh) | 2017-06-06 |
Family
ID=50361581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310697591.8A Active CN103700062B (zh) | 2013-12-18 | 2013-12-18 | 图像处理方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9471958B2 (zh) |
EP (1) | EP2887306B1 (zh) |
CN (1) | CN103700062B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170206633A1 (en) * | 2014-07-10 | 2017-07-20 | Thomson Licensing | Method and apparatus for up-scaling an image |
CN107508967A (zh) * | 2017-07-21 | 2017-12-22 | 努比亚技术有限公司 | 一种图像放大方法、终端和计算机可读存储介质 |
CN109740508B (zh) * | 2018-12-29 | 2021-07-23 | 北京灵汐科技有限公司 | 一种基于神经网络系统的图像处理方法及神经网络系统 |
CN110298789B (zh) * | 2019-06-03 | 2023-04-14 | 辽宁师范大学 | 基于tv先验的单幅图像超分辨率重建方法 |
CN114008666A (zh) * | 2019-06-18 | 2022-02-01 | 华为技术有限公司 | 动态图像分辨率评估 |
CN114584673B (zh) * | 2020-12-01 | 2024-01-09 | 京东方科技集团股份有限公司 | 一种图像处理方法和装置 |
CN112907443B (zh) * | 2021-02-05 | 2023-06-16 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101388977A (zh) * | 2007-09-13 | 2009-03-18 | 株式会社东芝 | 图像处理设备和图像处理方法 |
CN102770887A (zh) * | 2010-01-28 | 2012-11-07 | 耶路撒冷希伯来大学伊森姆研究发展有限公司 | 用于从输入图像产生像素分辨率提高的输出图像的方法和系统 |
CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、系统和方法 |
CN103049340A (zh) * | 2012-10-26 | 2013-04-17 | 中山大学 | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 |
CN103167218A (zh) * | 2011-12-14 | 2013-06-19 | 北京大学 | 一种基于非局部性的超分辨率重建方法和设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070229498A1 (en) * | 2006-03-29 | 2007-10-04 | Wojciech Matusik | Statistical modeling for synthesis of detailed facial geometry |
JP4157568B2 (ja) * | 2006-04-11 | 2008-10-01 | 株式会社東芝 | 画像の高解像度化方法及び装置 |
JP5450600B2 (ja) * | 2008-05-21 | 2014-03-26 | ティーピー ビジョン ホールディング ビー ヴィ | 画像解像度の向上 |
US8520736B2 (en) * | 2009-04-14 | 2013-08-27 | Fastvdo, Llc | Real-time superresolution and video transmission |
JP5743615B2 (ja) * | 2010-03-11 | 2015-07-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置、集積回路およびプログラム |
US9324133B2 (en) * | 2012-01-04 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Image content enhancement using a dictionary technique |
US8620073B2 (en) * | 2012-02-24 | 2013-12-31 | Mitsubishi Electric Research Laboratories, Inc. | Upscaling natural images |
WO2013131851A2 (en) | 2012-03-05 | 2013-09-12 | Thomson Licensing | Method and apparatus for performing hierarchical super-resolution of an input image |
CN102881000B (zh) * | 2012-09-07 | 2016-05-18 | 华为技术有限公司 | 一种视频图像的超分辨率方法、装置和设备 |
US9208539B2 (en) * | 2013-11-30 | 2015-12-08 | Sharp Laboratories Of America, Inc. | Image enhancement using semantic components |
-
2013
- 2013-12-18 CN CN201310697591.8A patent/CN103700062B/zh active Active
-
2014
- 2014-12-15 US US14/570,693 patent/US9471958B2/en active Active
- 2014-12-16 EP EP14198225.6A patent/EP2887306B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101388977A (zh) * | 2007-09-13 | 2009-03-18 | 株式会社东芝 | 图像处理设备和图像处理方法 |
CN102770887A (zh) * | 2010-01-28 | 2012-11-07 | 耶路撒冷希伯来大学伊森姆研究发展有限公司 | 用于从输入图像产生像素分辨率提高的输出图像的方法和系统 |
CN103167218A (zh) * | 2011-12-14 | 2013-06-19 | 北京大学 | 一种基于非局部性的超分辨率重建方法和设备 |
CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、系统和方法 |
CN103049340A (zh) * | 2012-10-26 | 2013-04-17 | 中山大学 | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103700062A (zh) | 2014-04-02 |
US20150170338A1 (en) | 2015-06-18 |
EP2887306B1 (en) | 2018-01-31 |
EP2887306A2 (en) | 2015-06-24 |
EP2887306A3 (en) | 2015-09-23 |
US9471958B2 (en) | 2016-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103700062B (zh) | 图像处理方法和装置 | |
CN110675404B (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
US10003768B2 (en) | Apparatus and methods for frame interpolation based on spatial considerations | |
US20170024920A1 (en) | Method and Related Apparatus for Capturing and Processing Image Data | |
EP2355038A1 (en) | Image processor and image processing method | |
US20150117540A1 (en) | Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program | |
CN110392282A (zh) | 一种视频插帧的方法、计算机存储介质及服务器 | |
US10284810B1 (en) | Using low-resolution frames to increase frame rate of high-resolution frames | |
WO2020253103A1 (zh) | 视频图像处理方法、装置、设备及存储介质 | |
JP6039657B2 (ja) | 3dコンテンツをリターゲティングするための方法およびデバイス | |
CN112866803B (zh) | 电子装置及其控制方法 | |
JP2013031163A (ja) | 超解像処理装置及び超解像処理方法 | |
Yoshikawa et al. | Super resolution image reconstruction using total variation regularization and learning-based method | |
US20190141332A1 (en) | Use of synthetic frames in video coding | |
JP2014522596A5 (zh) | ||
CN105931189B (zh) | 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置 | |
CN110889809A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
US10034016B2 (en) | Coding apparatus, computer system, coding method, and computer product | |
JP2019207603A (ja) | エッジ強度最大化によるトーンマッピング処理方法及びhdr映像変換装置 | |
JP4617883B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
JP2013114510A (ja) | 画像空間超解像装置及びプログラム | |
CN110570441B (zh) | 一种超高清低延时视频控制方法及系统 | |
JP5812808B2 (ja) | 画像処理装置及び画像処理方法 | |
CN115278189A (zh) | 图像色调映射方法及装置、计算机可读介质和电子设备 | |
CN112565819A (zh) | 一种视频数据处理的方法及装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |