CN103700062A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN103700062A
CN103700062A CN201310697591.8A CN201310697591A CN103700062A CN 103700062 A CN103700062 A CN 103700062A CN 201310697591 A CN201310697591 A CN 201310697591A CN 103700062 A CN103700062 A CN 103700062A
Authority
CN
China
Prior art keywords
similar
pixel
center
resolution image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310697591.8A
Other languages
English (en)
Other versions
CN103700062B (zh
Inventor
郑成林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310697591.8A priority Critical patent/CN103700062B/zh
Publication of CN103700062A publication Critical patent/CN103700062A/zh
Priority to US14/570,693 priority patent/US9471958B2/en
Priority to EP14198225.6A priority patent/EP2887306B1/en
Application granted granted Critical
Publication of CN103700062B publication Critical patent/CN103700062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法和装置,其中,该图像处理方法,包括:对低分辨率图像进行图像放大处理,得到初始高分辨率图像;从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。采用本发明实施例的技术方案,能有效降低计算的复杂度和占用的存储器资源。

Description

图像处理方法和装置
技术领域
本发明实施例涉及图像处理技术,尤其涉及一种图像处理方法和装置。
背景技术
在现代社会,人们对于高质量、高清晰的图像信息要求越来越高。例如,在家庭数字媒体应用中,1080p以及4K×2K电视的越来越普及,然而现在的大多数电视节目源以及DVD格式视频都是标清格式的视频,这就需要超分辨率技术将标清格式视频转换到高清或者超高清格式视频;另外,在网络视频应用中,由于受带宽的影响,许多网上的视频的质量都比较差,要将其在大屏幕的移动终端、PC或者Digital TV上显示时,就可以利用超分辨率技术。另外,图像超分辨率在医学成像,遥感卫星等领域也都有着重要的应用。
在现有技术中,超分辨率技术一般需要将低分辨率的图像先转换成初始高分辨率图像,再基于该初始高分辨率图像进行图像处理,转换成真正的高分辨率图像。但是,由于初始高分辨率图像的分辨率已经较大,像素点较多,因此,在对初始高分辨率图像进行图像处理的过程中,系统的计算复杂度较高,在硬件实现时占用的存储器资源比较多。
发明内容
本发明实施例提供一种图像处理方法和装置,以降低计算的复杂度和占用的存储器资源。
第一个方面,本发明实施例提供一种图像处理方法,包括:
对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在第一种可能的实现方式中,所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,还包括:
对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块,包括:
根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
结合第一方面或是第一个方面的第一种可能的实现方式,在第二种可能的实现方式中,所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块,可以包括:
从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
结合第一个方面的第二种可能的实现方式,在第三种可能的实现方式中,所述对所述初始中心相似块进行像素融合,得到所述中心相似块,包括:
采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
结合第一个方面或是第一个方面的第一种、第二种和第三种可能的实现方式,在第四种可能的实现方式中,所述根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值,可以包括:
计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性,包括:
计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
第二个方面,本发明实施例提供一种图像处理装置,包括:
图像放大处理模块,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块,用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
第二获取模块,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在第一种可能的实现方式中,本发明实施例提供一种图像处理装置,还包括:
图像纹理分析模块,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述第二获取模块,具体用于根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
结合第二方面或是第二个方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一获取模块,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
结合第二个方面的第二种可能的实现方式,在第三种可能的实现方式中,所述第一获取模块,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
结合第二个方面或是第二个方面的第一种、第二种和第三种可能的实现方式,在第四种可能的实现方式中,所述像素值确定模块,包括:
计算单元,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述计算单元,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
本发明实施例,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可降低处理过程中的存储资源的占用率;并且还可以从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明图像处理方法实施例一的流程图;
图2为本发明图像处理方法实施例二的流程图;
图3为图2所示方法实施例二中像素融合的一种处理方式;
图4为本发明图像处理装置实施例一的结构示意图;
图5为本发明图像处理装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明图像处理方法实施例一的流程图,如图1所示,本实施例的方法可以包括:
S101、对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
在将低分辨率图像转换为高分辨率图像时,图像处理装置可以获取待处理的低分辨率图像,并对该低分辨率图像进行图像放大处理,得到初始高分辨率图像,该初始高分辨率图像并非最终得到的高分辨率图像,而是中间过程。
在具体实现时,图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法,将低分辨率图像放大处理得到初始高分辨率图像,本实施例并不对图像放大处理的具体算法进行限定。
S102、从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
S103、从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
具体来说,在现有技术中,中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是,搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多,搜索块就会越大,在图像处理时所占用的存储资源就较多,计算复杂度也会显著增大。
为此,本实施例中,中心相似块还是从初始高分辨率图像中选取,而搜索块可以从低分辨率图像中选取。
从初始高分辨率图像中选取与第一像素点对应的中心相似块,具体可以以第一像素为中心选取中心相似块。
由于低分辨率图像中的相似块较少,搜索块的范围就会较小,所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块,进一步确定搜索块中的相似块。具体可以以第一像素点为中心选取搜索块,再以搜索块中的各个像素点为中心选取各相似块,其中,搜索块的大小可以为15个像素点,相似块大小可以为3×3,相似块的个数与搜索块中的像素点个数相对应。
其中,所述中心相似块与所述搜索块的块大小相同,具体来说,在S102中从初始高分辨率图像中选取中心相似块时,中心相似块的大小选取应与S103中搜索块内的相似块的大小选取相同,均为3×3。
另外,在本实施例中S102和S103的执行顺序并不限于此,可以先执行S102再执行S103,也可以先执行S103再执行S102,还可以S102,S103同时执行。
S104、根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
在具体实现时,S104可以具体采用如下过程实现:
计算获取中心相似块与搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
对于初始高分辨率图像中的所有像素点,均可以使用以上S101~S104的方法得到对应的超分辨率值并进行代替后,即可得到最终的高分辨率图像。
本发明实施例一提供的图像处理方法,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可降低处理过程中的存储资源的占用率;并且还可以对从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值。
下面采用一个具体的实施例对图1所示技术方案进行详细说明。
图2为本发明图像处理方法实施例二的流程图,如图2所示,本实施例的方法可以包括:
S201、对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
在将低分辨率图像转换为高分辨率图像时,图像处理装置可以获取待处理的低分辨率图像,并对该低分辨率图像进行图像放大处理,得到初始高分辨率图像,该初始高分辨率图像并非最终得到的高分辨率图像,而是中间过程。
在具体实现时,图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法,将低分辨率图像放大处理得到初始高分辨率图像,本实施例并不对图像放大处理的具体算法进行限定。
S202、从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
具体来说,在初始高分辨率图像中选取中心相似块的大小时,如果选择的相似块比较小,例如选择3×3的相似块时,较相似的像素点就越多,图像看起来越锐利清晰,但是在斜边处锯齿很难消除;如果选择比较大的相似块,例如5×5的相似块时,图像会变得模糊,但是边缘的锯齿现象会控制的比较好。
为此,针对当前处理的第一像素点,本实施例在初始高分辨率图像中选取与其对应的中心相似块,优选的,首先从初始高分辨图像中选取与第一像素点对应的初始中心相似块,再对所述初始中心相似块进行像素融合,得到中心相似块。具体实现时可以采用像素点降低处理算法,对初始中心相似块进行像素融合得到中心相似块。
具体来说,可以在初始高分辨率图像中以第一像素点为中心选择比较大的初始中心相似块,例如5×5,然后可以采用像素点降低处理算法,对该初始中心相似块进行像素融合,得到比较小的中心相似块,例如3×3,这样可以在保证图像的清晰度的同时有效控制图像边缘的锯齿现象。
图3为图2所示方法实施例二中像素融合的一种处理方式,如图3所示,举例说明将5×5的初始中心块融合成3×3的中心相似块的过程:首先将初始中心块中5×5的像素点分成9部分:中心点和8个虚线框,再将每个虚线框内的多个像素点(使用细×来表示)加权平均成一个像素点(使用粗×来表示),最后得到像素点为3×3的中心相似块。
S203、对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
具体来说,现有技术中,搜索块的选取都是以当前像素点为中心的正方形的块,但是与中心相似块具有相似性的各相似块的分布可能趋向于横向,也可能趋向于纵向,这样如果搜索整个正方形的搜索块,一些没有相似性的像素点就会被搜索到,不但增加了计算量而且占用存储资源。
为此,本实施例中在低分辨率图像中选取搜索块之前,先进行图像纹理分析。
具体来说,对低分辨率图像进行图像纹理分析是判断低分辨率图像中第一像素点邻域范围的纹理是X方向还是Y方向,具体方法是首先计算在低分辨率图像中第一像素点邻域范围内的像素点(可以以第一像素点为中心选取一个3×3的块)的X方向的方差X_dir以及Y方向的方差Y_dir,然后比较X_dir与Y_dir之间的大小,如果X_dir较小,则说明纹理方向为X方向,如果Y_dir较小,则说明纹理方向为Y方向。
S204、根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
具体来说,在现有技术中,中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是,搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多,搜索块就会越大,在图像处理时所占用的存储资源就较多,计算复杂度也会显著增大。
所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块,并确定搜索块中的相似块,不仅可以减少计算量还可以减少占用的存储资源。而在进行选取搜索块时再根据图像的纹理分析结果,就会减少对结果作用不大的像素点的搜索,进一步地减少计算量和占用的存储资源。
具体来说,根据S203获得的图像纹理分析结果,从低分辨率图像中以第一像素点为中心选取搜索块,具体地,当图像纹理方向为X方向时,搜索块的选取趋向于X方向,具体可以以第一像素点为中心选取3×5大小的搜索块,当图像纹理方向为Y方向时,搜索块的选取趋向于Y方向,具体可以以第一像素点为中心选取5×3大小的搜索块。这样就可以减少一些对结果作用不大的点的搜索,从而减少计算量。
进一步地,确定所述搜索块中的各相似块,具体可以为以搜索块中的各个像素点为中心选取大小为3×3的相似块,其中所述相似块的个数与搜索块中的像素点个数相对应。
其中,所述中心相似块与所述搜索块的块大小相同,具体来说,在S202中将初始中心相似块进行像素融合得到中心相似块时,中心相似块的大小选取需与S204中搜索块内的相似块的大小选取相同,均为3×3。
S205、计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
在具体实现时,所述相似性可以采用欧式距离来度量。
具体来说,图像处理装置可以计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。欧氏距离的计算如下公式(1)所示:
Dis tan ce = | | f ( R ^ k , l Z t ) - R ^ i , j y t | | 2 2 - - - ( 1 )
其中,Distance为欧氏距离,Zt为初始高分辨率图像,yt为低分辨率图像,
Figure BDA0000440320620000092
为当前帧的初始高分辨率图像上以(k,l)点为中心的初始中心相似块,f为像素点降低处理算法,
Figure BDA0000440320620000093
为融合后的中心相似块,
Figure BDA0000440320620000094
为原始低分辩率图像中以点(i,j)为中心的相似块,即搜索块中的相似块;
S206、根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
举例来说,所述权重值一般利用指数函数来得到,可以采用下述公式(2)来实现:
Weight=exp{-Distance/2σ2}   (2)
其中,Weight为权重值,σ为控制权重的参数,该σ是和噪声等级有关的一个预设值;
S207、采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
其中,加权累加的计算如下式(3)所示:
Z ^ [ k , l ] = Σ ( i , j ) ∈ N L ( k , l ) Weight [ k , l , i , j ] y t [ i , j ] Σ ( i , j ) ∈ N L ( k , l ) Weight [ k , l , i , j ] - - - ( 3 )
其中,
Figure BDA0000440320620000096
为第一像素点(k,l)的超分辨率值,NL(k,l)为第一像素点在低分辨率图像中的对应的邻域范围,(i,j)为低分辨率图像中的对应的邻域中的像素点,yt[i,j]为所述搜索块中的各相似块对应的低分辨率图像中的像素点。
S208、采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
对于初始高分辨率图像中的所有像素点,均可以使用以上S201~S208的方法得到对应的超分辨率值并进行代替后,即可得到最终的高分辨率图像。
本发明实施例二提供的图像处理方法,在选取搜索块时,并非如现有技术从初始高分辨率图像中选取搜索块,而是根据图像的纹理从低分辨率图像中选取搜索块,从而使得选择的搜索块的像素点较少,计算复杂度较低,还可以降低处理过程中的存储资源的占用率;并且还可以对从初始高分辨率图像中选取的初始中心相似块进行像素融合,得到与搜索块中各相似块的像素点相同的中心相似块,进而根据该中心相似块和搜索块中的各相似块,确定当前处理像素点的高分辨率的像素值,这样不但可以保证图像的清晰度,而且可以很好的控制锯齿现象,使图像边缘平滑。
图4为本发明图像处理装置实施例一的结构示意图,如图4所示,本实施例的装置可以包括:图像放大处理模块11、第一获取模块12、第二获取模块13以及像素值确定模块14;
其中,图像放大处理模块11,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块12,用于从所述初始高分辨率图像中选取与第一像素点对应中心相似块;
第二获取模块13,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块14,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
本实施例的装置可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图5为本发明图像处理装置实施例二的结构示意图,如图5所示,本实施例的装置在图4所示装置结构的基础上,进一步地,还包括:图像纹理分析模块15,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;相应地,第二获取模块13,具体用于根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
进一步地,第一获取模块12,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
在具体实现时,第一获取模块12,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
进一步地,像素值确定模块14,包括:
计算单元141,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元142,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元143,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元144,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
在具体实现时,计算单元141,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
本实施例的装置可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤S可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤S;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像处理方法,其特征在于,包括:
对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
2.根据权利要求1所述的方法,其特征在于,所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,还包括:
对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块,包括:
根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
3.根据权利要求1或2所述的方法,其特征在于,所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块,包括:
从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
4.根据权利要求3所述的方法,其特征在于,所述对所述初始中心相似块进行像素融合,得到所述中心相似块,包括:
采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
5.根据权利要求1~4中任一项所述的方法,其特征在于,所述根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值,包括:
计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
6.根据权利要求5所述的方法,其特征在于,所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性,包括:
计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
7.一种图像处理装置,其特征在于,包括:
图像放大处理模块,用于对低分辨率图像进行图像放大处理,得到初始高分辨率图像;
第一获取模块,用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块;
第二获取模块,用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块,并确定所述搜索块中的各相似块,所述中心相似块与所述搜索块的块大小相同;
像素值确定模块,用于根据所述中心相似块和所述搜索块中的各相似块,确定所述第一像素点的像素值。
8.根据权利要求7所述的装置,其特征在于,还包括:
图像纹理分析模块,用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前,对所述低分辨率图像进行图像纹理分析,得到图像纹理分析结果;
所述第二获取模块,具体用于根据所述图像纹理分析结果,从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
9.根据权利要求7或8所述的装置,其特征在于,所述第一获取模块,具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块,并对所述初始中心相似块进行像素融合,得到中心相似块。
10.根据权利要求9所述的装置,其特征在于,所述第一获取模块,具体用于采用像素点降低处理算法,对所述初始中心相似块进行像素融合,得到所述中心相似块。
11.根据权利要求7~10中任一项所述的装置,其特征在于,所述像素值确定模块,包括:
计算单元,用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性;
权重确定单元,用于根据获取的相似性,确定与所述搜索块中的各相似块对应的权重值;
加权平均单元,用于采用确定的权重值,对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均,得到超分辨率像素值;
像素替代单元,用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
12.根据权利要求11所述的装置,其特征在于,所述计算单元,具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离,所述欧式距离的值作为所述相似性的度量。
CN201310697591.8A 2013-12-18 2013-12-18 图像处理方法和装置 Active CN103700062B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310697591.8A CN103700062B (zh) 2013-12-18 2013-12-18 图像处理方法和装置
US14/570,693 US9471958B2 (en) 2013-12-18 2014-12-15 Image processing method and apparatus
EP14198225.6A EP2887306B1 (en) 2013-12-18 2014-12-16 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310697591.8A CN103700062B (zh) 2013-12-18 2013-12-18 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN103700062A true CN103700062A (zh) 2014-04-02
CN103700062B CN103700062B (zh) 2017-06-06

Family

ID=50361581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310697591.8A Active CN103700062B (zh) 2013-12-18 2013-12-18 图像处理方法和装置

Country Status (3)

Country Link
US (1) US9471958B2 (zh)
EP (1) EP2887306B1 (zh)
CN (1) CN103700062B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206633A1 (en) * 2014-07-10 2017-07-20 Thomson Licensing Method and apparatus for up-scaling an image
CN107508967A (zh) * 2017-07-21 2017-12-22 努比亚技术有限公司 一种图像放大方法、终端和计算机可读存储介质
CN114584673A (zh) * 2020-12-01 2022-06-03 京东方科技集团股份有限公司 一种图像处理方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740508B (zh) * 2018-12-29 2021-07-23 北京灵汐科技有限公司 一种基于神经网络系统的图像处理方法及神经网络系统
CN110298789B (zh) * 2019-06-03 2023-04-14 辽宁师范大学 基于tv先验的单幅图像超分辨率重建方法
WO2020256698A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Dynamic image resolution assessment
CN112907443B (zh) * 2021-02-05 2023-06-16 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237425A1 (en) * 2006-04-11 2007-10-11 Yasunori Taguchi Image resolution increasing method and apparatus for the same
CN101388977A (zh) * 2007-09-13 2009-03-18 株式会社东芝 图像处理设备和图像处理方法
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
CN103020897A (zh) * 2012-09-28 2013-04-03 香港应用科技研究院有限公司 基于多区块的单帧图像的超分辨率重建的装置、系统和方法
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN103167218A (zh) * 2011-12-14 2013-06-19 北京大学 一种基于非局部性的超分辨率重建方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229498A1 (en) * 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
EP2291822A1 (en) * 2008-05-21 2011-03-09 Koninklijke Philips Electronics N.V. Image resolution enhancement
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
JP5743615B2 (ja) * 2010-03-11 2015-07-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像処理方法、画像処理装置、集積回路およびプログラム
US9324133B2 (en) * 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
US8620073B2 (en) * 2012-02-24 2013-12-31 Mitsubishi Electric Research Laboratories, Inc. Upscaling natural images
US9652830B2 (en) * 2012-03-05 2017-05-16 Thomson Licensing Dtv Method and apparatus for performing hierarchical super-resolution of an input image
CN102881000B (zh) * 2012-09-07 2016-05-18 华为技术有限公司 一种视频图像的超分辨率方法、装置和设备
US9208539B2 (en) * 2013-11-30 2015-12-08 Sharp Laboratories Of America, Inc. Image enhancement using semantic components

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237425A1 (en) * 2006-04-11 2007-10-11 Yasunori Taguchi Image resolution increasing method and apparatus for the same
CN101388977A (zh) * 2007-09-13 2009-03-18 株式会社东芝 图像处理设备和图像处理方法
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
CN103167218A (zh) * 2011-12-14 2013-06-19 北京大学 一种基于非局部性的超分辨率重建方法和设备
CN103020897A (zh) * 2012-09-28 2013-04-03 香港应用科技研究院有限公司 基于多区块的单帧图像的超分辨率重建的装置、系统和方法
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206633A1 (en) * 2014-07-10 2017-07-20 Thomson Licensing Method and apparatus for up-scaling an image
CN107508967A (zh) * 2017-07-21 2017-12-22 努比亚技术有限公司 一种图像放大方法、终端和计算机可读存储介质
CN114584673A (zh) * 2020-12-01 2022-06-03 京东方科技集团股份有限公司 一种图像处理方法和装置
CN114584673B (zh) * 2020-12-01 2024-01-09 京东方科技集团股份有限公司 一种图像处理方法和装置

Also Published As

Publication number Publication date
US20150170338A1 (en) 2015-06-18
CN103700062B (zh) 2017-06-06
US9471958B2 (en) 2016-10-18
EP2887306A2 (en) 2015-06-24
EP2887306B1 (en) 2018-01-31
EP2887306A3 (en) 2015-09-23

Similar Documents

Publication Publication Date Title
CN110675404B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN103700062A (zh) 图像处理方法和装置
KR102519085B1 (ko) 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치
CN110572579B (zh) 图像处理方法、装置及电子设备
CN107392189B (zh) 用于确定无人车的驾驶行为的方法和装置
US11687773B2 (en) Learning method and recording medium
EP3545686B1 (en) Methods and apparatus for generating video content
US9734599B2 (en) Cross-level image blending
CN110503619B (zh) 图像处理方法、装置及可读存储介质
CN103702032A (zh) 图像处理方法、装置和终端设备
US9743062B2 (en) Method and device for retargeting a 3D content
JP2017515188A (ja) ピクチャを処理する方法及びデバイス
CN112866803B (zh) 电子装置及其控制方法
CN110427915B (zh) 用于输出信息的方法和装置
CN110166798B (zh) 一种基于4k hdr编辑的下变换方法及装置
CN114419322B (zh) 一种图像实例分割方法、装置、电子设备及存储介质
CN110570441A (zh) 一种超高清低延时视频控制方法及系统
US20220327663A1 (en) Video Super-Resolution using Deep Neural Networks
Zhang et al. Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching
US9723216B2 (en) Method and system for generating an image including optically zoomed and digitally zoomed regions
US11617024B2 (en) Dual camera regions of interest display
CN111382696A (zh) 用于检测目标的边界点的方法和装置
Li et al. Novel image restoration method based on multi‐frame super‐resolution for atmospherically distorted images
Yousaf et al. Robust and computationally efficient online image stabilisation framework based on adaptive dual motion vector integration
WO2023056833A1 (zh) 背景图生成、图像融合方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant