CN105354795A - 一种基于相位相关的自学习超分辨率图像获取方法及系统 - Google Patents
一种基于相位相关的自学习超分辨率图像获取方法及系统 Download PDFInfo
- Publication number
- CN105354795A CN105354795A CN201510648190.2A CN201510648190A CN105354795A CN 105354795 A CN105354795 A CN 105354795A CN 201510648190 A CN201510648190 A CN 201510648190A CN 105354795 A CN105354795 A CN 105354795A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- frequency
- frequency image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000003321 amplification Effects 0.000 claims abstract description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000008878 coupling Effects 0.000 claims description 33
- 238000010168 coupling process Methods 0.000 claims description 30
- 238000005859 coupling reaction Methods 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 16
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000013011 mating Effects 0.000 claims description 4
- 238000012856 packing Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于相位相关的自学习超分辨率图像获取方法及系统,所述方法包括:获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;将第二低频图像与第一低频图像进行位置匹配;在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。本发明可快速准确的完成自学习过程中的图像块间的匹配工作,无需搜索即可完成匹配,降低计算量,加快了超分辨率图像的重建速度,同时可以得到清晰的超分辨率图像。
Description
技术领域
本发明涉及数字图像处理领域,尤其涉及一种基于相位相关的自学习超分辨率图像获取方法及系统。
背景技术
随着显示技术发展,显示屏幕的逐步扩大,常规的低分辨率片源越来越难以满足人们的需求,在日常生活中,人们对超分辨率图像的需求越来越大。从硬件层面上来讲,超分辨率图像的获取需要昂贵的设备,实现代价较高。
常用的超分辨率重建算法分包括基于低分辨率图像序列的超分辨率重建和基于单帧的超分辨率重建两个方向。基于图像序列的超分辨率重建图像重建的可用参考信息较多,但如何对相邻图像进行准确的配准和运动估计是一大难题,错误的估计会导致重建结果图像出现严重的错误。基于单帧的超分辨率重建技术,比较常用的是传统的插值放大算法,但简单的插值会引入严重的模糊现象。
现有的自学习超分辨率重建算法重建结果的优劣严重依赖于对高频信息匹配的准确度,而且对每个重建像素点的全搜索匹配耗费大量的计算时间。
因此,现有技术有待改进和提高。
发明内容
鉴于现有技术的不足,本发明目的在于提供一种基于相位相关的自学习超分辨率图像获取方法及系统,旨在解决现有技术中超分辨率图像重建算法中的图像匹配耗费大量计算时间,且现有图像超分辨率图像重建中有严重的模糊现象的缺陷。
本发明的技术方案如下:
一种基于相位相关的自学习超分辨率图像获取方法,其中,方法包括:
A、获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;
B、对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;
C、将第二低频图像与第一低频图像进行位置匹配;
D、在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。
所述基于相位相关的自学习超分辨率图像获取方法,其中,所述步骤A具体包括:
A1、对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;
A2、用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像。
所述基于相位相关的自学习超分辨率图像获取方法,其中,所述步骤C具体包括:
C1、用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;
C2、将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;
C3、按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;
C4、在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;
C5、以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值;
C6、将第二低频图像分成的图像块,按照上述步骤C2-C5进行匹配,生成第二低频图像匹配后的第三低频图像。
所述基于相位相关的自学习超分辨率图像获取方法,其中,所述步骤C6之后还包括:
C7、判断第二低频图像匹配后的第三低频图像是否匹配成功;
C8、若匹配成功,则输出匹配结果;
C9、若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果。
所述基于相位相关的自学习超分辨率图像获取方法,其中,所述步骤C7具体包括:
C71、判断主次峰比值是否小于预定的阈值,若主次峰比值不小于预定的阈值则匹配成功,若主次峰比值小于预定的阈值则匹配失败。
所述基于相位相关的自学习超分辨率图像获取方法,其中,所述步骤C9具体包括:
C91、当第二低频图像匹配失败时,应用邻域校正法重新选取匹配位置中心进行匹配;
C92、对匹配结果采用主次峰比值进行判定,若判定成功则执行步骤C95;
C93、若判定不成功则搜索其他像素点位置,直到主次峰比值大于预定阈值的匹配位置时,执行步骤C95;
C94、若完成搜索后仍无法找到主次峰比值大于阈值的匹配位置,则用邻域校正法选择匹配位置中心作为匹配结果,执行步骤C95;
C95、输出匹配结果。
一种基于相位相关的自学习超分辨率图像获取系统,其中,系统包括:
图像获取模块,用于获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;
插值计算模块,用于对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;
匹配模块,用于将第二低频图像与第一低频图像进行位置匹配;
填充模块,用于在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。
所述基于相位相关的自学习超分辨率图像获取系统,其中,所述图像获取模块具体包括:
第一获取单元,用于对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;
第二获取单元,用于用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像。
所述基于相位相关的自学习超分辨率图像获取系统,其中,所述匹配模块具体包括:
图像增强单元,用于用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;
第一匹配单元,用于将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;
压缩单元,用于按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;
第二匹配单元,用于在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;
记录单元,用于以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值并存储;
图像生成单元,用于将第二低频图像分成的图像块匹配后,生成第二低频图像匹配后的第三低频图像;
判断单元,用于判断第二低频图像匹配后的第三低频图像是否匹配成功;
第一判定及输出单元,用于若匹配成功,则输出匹配结果;
第二判定及输出单元,用于若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果。
所述基于相位相关的自学习超分辨率图像获取系统,其中,
所述判断单元具体包括:
第一判断单元,用于判断主次峰比值是否小于预定的阈值,若主次峰比值不小于预定的阈值则匹配成功,若主次峰比值小于预定的阈值则匹配失败;
所述第二判定及输出单元具体包括:
第三匹配单元,用于当第二低频图像匹配失败时,应用邻域校正法重新选取匹配位置中心进行匹配;
第三判定及输出单元,用于对匹配结果采用主次峰比值进行判定,若判定成功则输出匹配结果;
第四判定及输出单元,若判定不成功则搜索其他像素点位置,直到主次峰比值大于预定阈值的匹配位置时,输出匹配结果;
第五判定及输出单元,若完成搜索后仍无法找到主次峰比值大于阈值的匹配位置,则用邻域校正法选择匹配位置中心作为匹配结果,输出匹配结果;
输出单元,用于输出匹配结果。
有益效果:本发明在通过在匹配时对图像进行纹理增强,然后相位相关算法对图像进行匹配,之后应用主次峰值比对匹配结果进行筛选,最后对匹配中心进行确定并根据邻域信息和两步法对匹配位置进行校正。本发明可快速准确的完成自学习过程中的图像块间的匹配工作,无需搜索即可完成匹配,降低计算量,加快了超分辨率图像的重建速度,同时可以得到清晰的超分辨率图像。
附图说明
图1为本发明的一种基于相位相关的自学习超分辨率图像获取方法的较佳实施例的流程图。
图2为本发明的一种基于相位相关的自学习超分辨率图像获取方法的具体应用实施例的获取低分辨率图像高频信息和低频信息的示意图。
图3为本发明的一种基于相位相关的自学习超分辨率图像获取方法的具体应用实施例的图像匹配示意图。
图4为本发明的一种基于相位相关的自学习超分辨率图像获取方法的具体应用实施例的二步搜索法的中心选择示意图。
图5为本发明的一种基于相位相关的自学习超分辨率图像获取系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种基于相位相关的自学习超分辨率图像获取方法的较佳实施例的流程图,如图1所示,所述方法包括:
步骤S100、获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像。
进一步地,所述步骤S100具体包括:
步骤S101、对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;
步骤S102、用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像。
具体实施时,对低分辨率图像L进行下采样后上采样,获得原图的低频部分L0。L0中仅包含原图的低频信息。用原图L减去原图的低频部分L0可以得到原图的高频信息H0。在获取低频部分图像过程中,首先需要获取更小尺度的低频图像L0。其中,图像下采样缩小使用的缩小比例2/3。该比例可以按需求选取。图像上采样放大使用的放大比例3/2,该比例可以按需求选取,本发明实施例中的上采样放大与下采样缩小比例保持一致。即原图像先缩小后放大后尺寸要保持不变。
步骤S200、对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像。
具体实施时,如图3所示,对输入原图L进行上采样,得到放大后的低频图L1。L1是L经过简单的插值放大得到的,不包含高频信息。需要将原图的高频信息H0匹配填入L1中,才能得到最终的重建图像结果。其中。对低分辨率图像进行向下取样,又称downsample,获得更小尺度的低分辨率图像L0。上采样放大使用的放大比例3/2,该比例可以按需求选取,此处的上采样放大与之前下采样的缩小比例保持一致。
步骤S300、将第二低频图像与第一低频图像进行位置匹配。
进一步地,所述步骤S300具体包括:
步骤S301、用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;
步骤S302、将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;
步骤S303、按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;
步骤S304、在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;
步骤S305、以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值;
步骤S306、将第二低频图像分成的图像块,按照上述步骤S302-S305进行匹配,生成第二低频图像匹配后的第三低频图像。
具体实施时,应用高通滤波器模板对图像进行纹理增强,以提高图像匹配准确性。
式中,f为高通滤波模板,如下式所示:
应用高通滤波器对图像处理后得到增强图像L_enhc:
L_enhc(x,y)=L(x,y)+L_tex(x,y)。
具体实施时,传统的基于自相关的超分辨率重建算法通常选用灰度域的SAD标准差算法作为匹配程度的评价准则,通过对一定区域内的全部像素依次进行SAD运算,求得标准差,来选取最终的匹配像素点。灰度域的SAD算法只能表征两个区域内的灰度匹配程度,而且搜索耗费的代价较大。因此本发明的实施例采用基于相位相关算法进行匹配。
基本的相位相关算法是根据图像移位后在频率域的互相关特性来进行处理,以得到图像间的移位信息。设两幅离散图像i1(x,y)和i2(x,y)间存在简单的平移关系:
i2(x,y)=i1(x-x0,y-y0)
那么这两幅图像的傅里叶变换也是相关的:
他们互功率谱的反傅里叶变换存在以下特点:
相位相关算法就是通过对二者的功率谱密度进行傅里叶反变换,其峰值所在位置就表征了两幅图像的平移位置(x0,y0)。在图像重建的过程中,待匹配的两幅图像间不仅存在平移,还存在小尺度的缩放现象。这里先将待匹配的图像块缩小至原尺度,求得匹配的中心位置,再取匹配块填充高频信息。
进一步的实施例中,如图2所示,L1中每个待匹配图像块Ref(p_L1)中心像素坐标为(x,y),其中待匹配的图像块优选为9*9,也可根据情况选取其他的图像块。首先找到其在原图的低频部分L0中对应的映射位置为(xn,yn),然后按照缩放比例将待匹配图像块压缩回原大小得到Mat(p_L1),原图像块的大小优选为6*6,压缩比例为2/3。如图2所示,之后在待匹配的L0中以(xn,yn)为中心取图像块Tar(p_L0),应用相位相关算法,对Mat(p_L1)和Tar(p_L0)进行匹配,求得匹配结果(xout,yout),并以(xout,yout)为中心取按比例放大后的区域作为Ref(p_L1)对应的匹配区域,同时记录各点的主次峰比。
进一步地,所述步骤S306之后还包括:
步骤S307、判断第二低频图像匹配后的第三低频图像是否匹配成功;
进一步地,所述步骤S307具体为判断主次峰比值是否小于预定的阈值,若主次峰比值不小于预定的阈值则匹配成功,若主次峰比值小于预定的阈值则匹配失败。
步骤S308、若匹配成功,则输出匹配结果;
步骤S309、若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果。
所述步骤S309具体包括:
步骤S391、当第二低频图像匹配失败时,应用邻域校正法重新选取匹配位置中心进行匹配;
步骤S392、对匹配结果采用主次峰比值进行判定,若判定成功则执行步骤S395;
步骤S393、若判定不成功则搜索其他像素点位置,直到主次峰比值大于预定阈值的匹配位置时,执行步骤S395;
步骤S394、若完成搜索后仍无法找到主次峰比值大于阈值的匹配位置,则用邻域校正法选择匹配位置中心作为匹配结果,执行步骤S395;
步骤S395、输出匹配结果。
具体实施时,在实际的图像匹配过程中,由于两个待匹配图像块间不仅存在平移,而且在缩放过程中产生了微小的差异。而相位相关算法是通过对图像进行互功率谱的傅里叶反变换后,寻找极值点位置来实现的:图像间差异增大,极值会相对降低;图像完全不相关,则不存在明显的极值点,不能通过峰值位置判断图像块间平移信息。
为得到精准的匹配信息,首先本发明引入主次峰比来对相位相关的匹配结果进行判定。在互功率谱的傅里叶反变换中选取主峰值vmax和次峰值vlmax,具体地,相位相关的结果是一个二维数组,主次峰值就是这个二维数组的极大值和次大值。设置主次峰比判定阈值λmlm=1.5。当主次峰比值不小于判定阈值时,认定存在明显峰值,匹配成功;当主次峰比较小,说明无明显峰值,匹配失败。判定准则如下:
若两个图像块进行相位相关匹配的结果判定失败,则首先应用邻域校正对匹配中心进行重选。取中心点周围N×N范围内像素点的匹配位置进行排序处理,取中值作为中心点匹配位置的估计(xm,ym)。在估计位置(xm,ym)处重新取图像块进行相位相关。若校正后的相位相关主次峰比满足阈值要求,则匹配成功,否则应用两步法对匹配位置进行再搜索。
进一步地,如图2所示,对大部分像素来说,像素点对应的主次峰比大于阈值,可直接将对应位置的高频信息填充到结果图像中来。对主次峰比较小的点,首先应用邻域内匹配坐标的中值对该区域对应的匹配位置中心进行估计,得到估计值(xm,ym),然后以(xm,ym)为中心在L0中重新取待匹配图像块Tar(p_L0),重新进行相位相关匹配,若此次匹配主次峰比判定成功,则以匹配位置为中心提取高频信息填充至L1。若匹配失败,则应用两步法,如图1所示,按顺序对周围一定区域内像素点进行匹配,直至寻找到主次峰比达标的匹配位置。若完成搜索最终仍无法找到主次峰比大于阈值的匹配,则取(xm,ym)作为最终的匹配结果。
两步法搜索如图4所示:第一步在原中心点及其周围取9个像素进行匹配,若匹配成功,则结束匹配。若第一步9个点匹配失败,选取峰值比最高点作为下一步搜索的中心。第二步对第一步中的最佳匹配点位置周围的8个像素(在图4中假设右下角为第一步最佳匹配点)进一步进行匹配,若匹配成功,输出匹配结果;若失败,则仍选用邻域估计的结果(xm,ym)作为最终的匹配结果。
步骤S400、在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。
具体实施时,用采用相关相位法匹配后生成的第二低频图像的对应位置,用对应的仅含有原图像高频信息的第一调频图像进行填充,生成一幅清晰的超分辨率重建图像。
进一步地,如图3所示,原图L上采样操作后得到放大后的低频图像,对原图像进行分解,得到原图的低频部分,用原图减去低频图像可得到对应位置的高频图H0,将放大后的低频图与原图低频部分进行匹配,用高频图的高频部分对匹配后的低频图的低频处填充,得到最终的分辨率较高的重建图像。
由以上方法实施例可知,本发明提供了一种基于相位相关的自学习超分辨率图像获取方法,通过在匹配时对图像进行纹理增强,然后相位相关算法对图像进行匹配,之后应用主次峰值比对匹配结果进行筛选,最后对匹配中心进行确定并根据邻域信息和两步法对匹配位置进行校正。本发明可快速准确的完成自学习过程中的图像块间的匹配工作,无需搜索即可完成匹配,降低计算量,加快了超分辨率图像的重建速度,同时可以得到清晰的超分辨率图像。
在上述方法实施例的基础上,本发明还提供了一种基于相位相关的自学习超分辨率图像获取系统的较佳实施例的功能原理框图,如图5所示,所述系统包括:
图像获取模块100,用于获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;具体如上所述。
插值计算模块200,用于对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;具体如上所述。
匹配模块300,用于将第二低频图像与第一低频图像进行位置匹配;具体如上所述。
填充模块400,用于在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像;具体如上所述。
所述基于相位相关的自学习超分辨率图像获取系统,其中,所述图像获取模块具体包括:
第一获取单元,用于对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;具体如上所述。
第二获取单元,用于用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像;具体如上所述。
所述基于相位相关的自学习超分辨率图像获取系统,其中,所述匹配模块具体包括:
图像增强单元,用于用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;具体如上所述。
第一匹配单元,用于将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;具体如上所述。
压缩单元,用于按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;具体如上所述。
第二匹配单元,用于在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;具体如上所述。
记录单元,用于以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值并存储;具体如上所述。
图像生成单元,用于将第二低频图像分成的图像块匹配后,生成第二低频图像匹配后的第三低频图像;具体如上所述。
判断单元,用于判断第二低频图像匹配后的第三低频图像是否匹配成功;具体如上所述。
第一判定及输出单元,用于若匹配成功,则输出匹配结果;具体如上所述。
第二判定及输出单元,用于若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果;具体如上所述。
Claims (10)
1.一种基于相位相关的自学习超分辨率图像获取方法,其特征在于,方法包括:
A、获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;
B、对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;
C、将第二低频图像与第一低频图像进行位置匹配;
D、在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。
2.根据权利要求1所述基于相位相关的自学习超分辨率图像获取方法,其特征在于,所述步骤A具体包括:
A1、对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;
A2、用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像。
3.根据权利要求2所述基于相位相关的自学习超分辨率图像获取方法,其特征在于,所述步骤C具体包括:
C1、用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;
C2、将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;
C3、按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;
C4、在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;
C5、以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值;
C6、将第二低频图像分成的图像块,按照上述步骤C2-C5进行匹配,生成第二低频图像匹配后的第三低频图像。
4.根据权利要求3所述基于相位相关的自学习超分辨率图像获取方法,其特征在于,所述步骤C6之后还包括:
C7、判断第二低频图像匹配后的第三低频图像是否匹配成功;
C8、若匹配成功,则输出匹配结果;
C9、若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果。
5.根据权利要求4所述基于相位相关的自学习超分辨率图像获取方法,其特征在于,所述步骤C7具体包括:
C71、判断主次峰比值是否小于预定的阈值,若主次峰比值不小于预定的阈值则匹配成功,若主次峰比值小于预定的阈值则匹配失败。
6.根据权利要求5所述基于相位相关的自学习超分辨率图像获取方法,其特征在于,所述步骤C9具体包括:
C91、当第二低频图像匹配失败时,应用邻域校正法重新选取匹配位置中心进行匹配;
C92、对匹配结果采用主次峰比值进行判定,若判定成功则执行步骤C95;
C93、若判定不成功则搜索其他像素点位置,直到主次峰比值大于预定阈值的匹配位置时,执行步骤C95;
C94、若完成搜索后仍无法找到主次峰比值大于阈值的匹配位置,则用邻域校正法选择匹配位置中心作为匹配结果,执行步骤C95;
C95、输出匹配结果。
7.一种基于相位相关的自学习超分辨率图像获取系统,其特征在于,系统包括:
图像获取模块,用于获取低分辨率图像的只包含原图像低频信息的第一低频图像,根据所述第一低频图像获取只包含原图像高频信息的第一高频图像;
插值计算模块,用于对低分辨率图像进行插值放大计算后,获取放大后的第二低频图像;
匹配模块,用于将第二低频图像与第一低频图像进行位置匹配;
填充模块,用于在匹配后的第二低频图像的对应位置填充第一高频图像,生成最终的超分辨率图像。
8.根据权利要求7所述基于相位相关的自学习超分辨率图像获取系统,其特征在于,所述图像获取模块具体包括:
第一获取单元,用于对低分辨率图像进行下采样后再进行上采样,获取只包含原图像低频信息的第一低频图像;
第二获取单元,用于用低分辨率图像减去第一低频图像获取只包含原图像调频信息的第一高频图像。
9.根据权利要求8所述基于相位相关的自学习超分辨率图像获取系统,其特征在于,所述匹配模块具体包括:
图像增强单元,用于用预先设定的高通滤波器模板对第一低频图像和第二低频图像进行图像纹理增强;
第一匹配单元,用于将第二低频图像中的待匹配的第一图像块的第一中心像素坐标与第一低频图像中对应的映射位置的第二坐标进行匹配;
压缩单元,用于按照缩放比例将待匹配的图像块压缩回原大小得到第二图像块;
第二匹配单元,用于在待匹配的第一低频图像中的第二坐标为中以获取第三图像块,利用相位相关算法,对第二图像块和第三图像块进行匹配,获取匹配结果的第三坐标;
记录单元,用于以第三坐标为中心取按比例放大后的第四图像块作为第一图像块匹配的匹配位置,记录主次峰比值并存储;
图像生成单元,用于将第二低频图像分成的图像块匹配后,生成第二低频图像匹配后的第三低频图像;
判断单元,用于判断第二低频图像匹配后的第三低频图像是否匹配成功;
第一判定及输出单元,用于若匹配成功,则输出匹配结果;
第二判定及输出单元,用于若匹配失败,则采用邻域校正法和两步搜索法重新匹配,并输出匹配结果。
10.根据权利要求8所述基于相位相关的自学习超分辨率图像获取系统,其特征在于,
所述判断单元具体包括:
第一判断单元,用于判断主次峰比值是否小于预定的阈值,若主次峰比值不小于预定的阈值则匹配成功,若主次峰比值小于预定的阈值则匹配失败;
所述第二判定及输出单元具体包括:
第三匹配单元,用于当第二低频图像匹配失败时,应用邻域校正法重新选取匹配位置中心进行匹配;
第三判定及输出单元,用于对匹配结果采用主次峰比值进行判定,若判定成功则输出匹配结果;
第四判定及输出单元,若判定不成功则搜索其他像素点位置,直到主次峰比值大于预定阈值的匹配位置时,输出匹配结果;
第五判定及输出单元,若完成搜索后仍无法找到主次峰比值大于阈值的匹配位置,则用邻域校正法选择匹配位置中心作为匹配结果,输出匹配结果;
输出单元,用于输出匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510648190.2A CN105354795B (zh) | 2015-10-08 | 2015-10-08 | 一种基于相位相关的自学习超分辨率图像获取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510648190.2A CN105354795B (zh) | 2015-10-08 | 2015-10-08 | 一种基于相位相关的自学习超分辨率图像获取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105354795A true CN105354795A (zh) | 2016-02-24 |
CN105354795B CN105354795B (zh) | 2019-09-10 |
Family
ID=55330762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510648190.2A Active CN105354795B (zh) | 2015-10-08 | 2015-10-08 | 一种基于相位相关的自学习超分辨率图像获取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354795B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932694A (zh) * | 2017-05-26 | 2018-12-04 | 深圳赛奥航空科技有限公司 | 一种优化图像分辨率的模组 |
CN109429030A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 利用超分辨率算法重建视频的方法 |
CN110838085A (zh) * | 2018-08-15 | 2020-02-25 | Tcl集团股份有限公司 | 一种图像的超分辨率重建方法、装置及电子设备 |
CN111124896A (zh) * | 2019-12-06 | 2020-05-08 | 北京京航计算通讯研究所 | 一种主次峰值比计算算法的蜕变测试系统 |
CN111124895A (zh) * | 2019-12-06 | 2020-05-08 | 北京京航计算通讯研究所 | 一种主次峰值比计算算法的蜕变测试方法 |
CN111307163A (zh) * | 2018-12-11 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 可移动设备的定位方法、定位装置及电子设备 |
CN112450983A (zh) * | 2020-11-19 | 2021-03-09 | 深圳先进技术研究院 | 一种超分辨成像方法及系统 |
CN112907443A (zh) * | 2021-02-05 | 2021-06-04 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及系统 |
CN114266696A (zh) * | 2020-09-16 | 2022-04-01 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090219387A1 (en) * | 2008-02-28 | 2009-09-03 | Videolq, Inc. | Intelligent high resolution video system |
CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
CN103632358A (zh) * | 2013-09-27 | 2014-03-12 | 浙江师范大学 | 用于将低分辨率图像转换为高分辨率图像的方法 |
CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子(中国)研发中心 | 图像超分辨率放大的方法和装置 |
CN104050652A (zh) * | 2014-07-02 | 2014-09-17 | 中国科学院长春光学精密机械与物理研究所 | 构造金字塔自学习的超分辨率重构方法 |
-
2015
- 2015-10-08 CN CN201510648190.2A patent/CN105354795B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090219387A1 (en) * | 2008-02-28 | 2009-09-03 | Videolq, Inc. | Intelligent high resolution video system |
CN103632358A (zh) * | 2013-09-27 | 2014-03-12 | 浙江师范大学 | 用于将低分辨率图像转换为高分辨率图像的方法 |
CN103593825A (zh) * | 2013-10-17 | 2014-02-19 | 西安电子科技大学 | 基于改进的非局部约束和局部自相似性的图像超分辨方法 |
CN103985085A (zh) * | 2014-05-26 | 2014-08-13 | 三星电子(中国)研发中心 | 图像超分辨率放大的方法和装置 |
CN104050652A (zh) * | 2014-07-02 | 2014-09-17 | 中国科学院长春光学精密机械与物理研究所 | 构造金字塔自学习的超分辨率重构方法 |
Non-Patent Citations (2)
Title |
---|
FREEMAN G 等: "Image and Video Upscaling from Local Self-Examples", 《ACM TRANSACTIONS ON GRAPHICS》 * |
李达 等: "基于相位相关的图像三维重建算法", 《微电子学与计算机》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108932694A (zh) * | 2017-05-26 | 2018-12-04 | 深圳赛奥航空科技有限公司 | 一种优化图像分辨率的模组 |
CN109429030A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 利用超分辨率算法重建视频的方法 |
CN110838085A (zh) * | 2018-08-15 | 2020-02-25 | Tcl集团股份有限公司 | 一种图像的超分辨率重建方法、装置及电子设备 |
CN110838085B (zh) * | 2018-08-15 | 2021-09-24 | Tcl科技集团股份有限公司 | 一种图像的超分辨率重建方法、装置及电子设备 |
CN111307163A (zh) * | 2018-12-11 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 可移动设备的定位方法、定位装置及电子设备 |
CN111124896A (zh) * | 2019-12-06 | 2020-05-08 | 北京京航计算通讯研究所 | 一种主次峰值比计算算法的蜕变测试系统 |
CN111124895A (zh) * | 2019-12-06 | 2020-05-08 | 北京京航计算通讯研究所 | 一种主次峰值比计算算法的蜕变测试方法 |
CN114266696A (zh) * | 2020-09-16 | 2022-04-01 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN112450983A (zh) * | 2020-11-19 | 2021-03-09 | 深圳先进技术研究院 | 一种超分辨成像方法及系统 |
CN112450983B (zh) * | 2020-11-19 | 2022-03-01 | 深圳先进技术研究院 | 一种超分辨成像方法及系统 |
CN112907443A (zh) * | 2021-02-05 | 2021-06-04 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及系统 |
CN112907443B (zh) * | 2021-02-05 | 2023-06-16 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105354795B (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354795A (zh) | 一种基于相位相关的自学习超分辨率图像获取方法及系统 | |
CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
CN110782490B (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
CN101477684B (zh) | 一种利用位置图像块重建的人脸图像超分辨率方法 | |
US10531093B2 (en) | Method and system for video frame interpolation based on optical flow method | |
EP2209090B1 (en) | Image restoring apparatus and method thereof | |
US7885455B2 (en) | Method of combining images of multiple resolutions to produce an enhanced active appearance model | |
CN101872472B (zh) | 一种基于样本学习的人脸图像超分辨率重建方法 | |
CN104079914B (zh) | 基于深度信息的多视点图像超分辨方法 | |
CN103020898B (zh) | 序列虹膜图像超分辨率重建方法 | |
CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
CN105761233A (zh) | 一种基于fpga的实时全景图像拼接方法 | |
CN109191511B (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN101247489A (zh) | 一种用于数字电视细节实时重现的方法 | |
CN107341776A (zh) | 基于稀疏编码与组合映射的单帧超分辨率重建方法 | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN115345866B (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
CN111626308A (zh) | 一种基于轻量卷积神经网络的实时光流估计方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN116524062B (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
CN115841422A (zh) | 基于金字塔结构超分辨率网络的图像拼接方法 | |
CN116030357A (zh) | 一种高分辨率遥感图像变化检测深度网络及检测方法 | |
CN111861888A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN103914807B (zh) | 一种缩放尺度补偿的非局部性图像超分辨率方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |