CN108765343A - 图像处理的方法、装置、终端及计算机可读存储介质 - Google Patents

图像处理的方法、装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN108765343A
CN108765343A CN201810536626.2A CN201810536626A CN108765343A CN 108765343 A CN108765343 A CN 108765343A CN 201810536626 A CN201810536626 A CN 201810536626A CN 108765343 A CN108765343 A CN 108765343A
Authority
CN
China
Prior art keywords
image
definition picture
resolution
image block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810536626.2A
Other languages
English (en)
Other versions
CN108765343B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201810536626.2A priority Critical patent/CN108765343B/zh
Publication of CN108765343A publication Critical patent/CN108765343A/zh
Application granted granted Critical
Publication of CN108765343B publication Critical patent/CN108765343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域,尤其涉及一种图像处理的方法、装置、终端及计算机可读存储介质,其中,所述方法包括:对待处理图像进行上采样得到第一高分辨率图像;将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像,解决了传统技术中图像处理方法无法得到较清晰的图像的技术问题。

Description

图像处理的方法、装置、终端及计算机可读存储介质
技术领域
本申请属于图像处理技术领域,尤其涉及一种图像处理的方法、装置、终端及计算机可读存储介质。
背景技术
在拍照过程中,一些退化因素会导致拍摄的图像出现模糊的情况。例如,亚采样、雾霾等大气模糊、相机运动、成像传感器的光学极限、拍摄对象的几何运动和成像传感器自身的噪声都会使得拍摄的图像不够清晰。
为了改善这种情况,使图像尽量的清晰,传统技术中可以通过图像插值、图像锐化的方法进行处理。但是图像插值方法只能把已知的像素值进行简单、固定的组合以添加新的像素,无法重建图像的高清细节。而对于图像锐化的方法则仅仅是增强图像中已有的高频部分,丢失的部分并不能补全。因此,传统技术中的图像处理方法仍存在一定缺陷,无法得到较清晰的图像。
发明内容
本申请实施例提供一种图像处理的方法、装置、终端及计算机可读存储介质,可以解决传统技术中图像处理方法无法得到较清晰的图像的技术问题。
本申请实施例第一方面提供一种图像处理的方法,包括:
对待处理图像进行上采样得到第一高分辨率图像;
将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;
根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;
将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
本申请实施例第二方面提供一种图像处理的装置,包括:
采样单元,用于对待处理图像进行上采样得到第一高分辨率图像;
分割单元,用于将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;
滤波单元,用于根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;
融合单元,用于将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
本申请实施例第三方面提供一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中,通过对待处理图像进行上采样得到补充好缺失部分的第一高分辨率图像,再计算所述第一高分辨率图像的每个第一图像块的特征值,以便快速地根据所述特征值查询到与所述第一高分辨率图像的每个图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块滤波得到第二高分辨率图像,同时将所述第二高分辨率图像与所述第一高分辨率图像进行融合得到超分辨率图像,以减少融合后的超分辨图像中每个图像块之间的人工痕迹,保持图像的结构信息并得到清晰的图像,解决了传统技术中图像处理方法无法得到较清晰的图像的技术问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种图像处理的方法的实现流程示意图;
图2是本申请实施例提供的训练滤波器的方法的实现流程示意图;
图3是本申请实施例提供的图像处理的装置的结构示意图;
图4是本申请实施例提供的终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图像超分辨率也称超分辨率图像重建,是指用图像处理的方法,将已有的低分辨率图像转换成高分辨率图像的技术,相对于传统的图像插值和图像锐化等方法获得的高分辨率图像来说,超分辨率图像重建得到的超分辨率图像具有更多的细节信息和更细腻的画质,使得超分辨率图像重建得到的超分辨率图像在高清电视、医学成像、遥感卫星成像等领域有着重要的应用价值。
本申请实施例中,通过对待处理图像进行上采样得到补充好缺失部分的第一高分辨率图像,再计算所述第一高分辨率图像的每个第一图像块的特征值,以便快速地根据所述特征值查询到与所述第一高分辨率图像的每个图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块滤波得到第二高分辨率图像,同时将所述第二高分辨率图像与所述第一高分辨率图像进行融合得到超分辨率图像,以减少融合后的超分辨图像中每个图像块之间的人工痕迹,保持图像的结构信息并得到清晰的图像,解决了传统技术中图像处理方法无法得到较清晰的图像的技术问题。
如图1示出了本申请实施例提供的一种图像处理的方法实现流程示意图,所述方法应用于终端,可以由所述终端上配置的图像处理的装置执行,所述图像处理的装置适用于需提高图像清晰度的情形。所述方法可以包括步骤101至步骤104。
步骤101中,对待处理图像进行上采样得到第一高分辨率图像。
上采样是指对原始的待处理图像采用合适的插值算法插入新的元素。例如,传统差值算法、基于边缘图像的插值算法和基于区域的图像插值算法。
其中,传统差值算法包括双线性插值算法、双三次插值算法和三次样条插值算法。
这些传统插值算法可以使插值生成的像素灰度值延续原图像灰度变化的连续性,从而使放大图像浓淡变化自然平滑。但是在图像处理中,有些像素与相邻像素间灰度值存在突变,即存在灰度不连续性。这些具有灰度值突变的像素就是图像处理中描述对象的轮廓或纹理图像的边缘像素。在图像放大中,对这些具有不连续灰度特性的像素,如果采用传统的插值算法生成新增加的像素,势必会使放大图像的轮廓和纹理模糊,降低图像质量。
而基于边缘图像的插值算法,首先检测低分辨率图像的边缘,然后根据检测的边缘将像素分类处理,以达到保持边缘细节的目的,而对于平坦区域的像素,则采用传统方法插值,使得图像的视觉效果更好。因此,在本申请实施例中,所述对待处理图像进行上采样的方法可以采用基于边缘图像的插值算法。
需要说明的是,在传统技术中,对图像进行上采样的目的一般是放大原图像(待处理图像),从而将原图像显示在更高分辨率的显示设备上。而在本申请实施例中,所述对待处理图像进行上采样用于补充待处理图像中缺失的部分,提高待处理图像的完整度,并使融合得到的超分辨率图像更加清晰。
步骤102中,将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值。
本申请实施例中,通过将所述第一高分辨率图像分割成多个第一图像块,以便为每一个第一图像块查询与其特征值对应的训练好的滤波器,并利用训练好的滤波器对其进行滤波,得到滤波后的图像块。
本申请的一些实施方式中,所述将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值包括:将所述第一高分辨率图像分割成与训练好的滤波器的大小相同的多个第一图像块,以便利用训练好的滤波器对对应的第一图像块进行滤波。其中,所述滤波器的大小可以为11×11或13×13的矩阵,与11×11的滤波器大小相同的图像块的大小为11个像素点乘以11个像素点。
可选地,所述获取每个第一图像块的特征值包括:获取每个第一图像块的梯度信息、多尺度局部二值模式LBP特征信息和尺度不变特征转换SIFT特征信息,并利用哈希算法计算所述梯度信息、LBP特征信息和SIFT特征信息得到每个第一图像块的特征值。所述梯度信息包括梯度角信息、梯度强度信息和梯度向量信息。
需要说明的是,本申请实施中,通过获取每个第一图像块的多个特征信息并进行计算得到所述第一图像块的特征值,可以使得通过所述特征值查询到的滤波器与所述第一图像块更加地匹配,滤波效果更好。在本申请的一些实施方式中,所述第一图像块的特征信息还可以根据应用场景提取更多或更少的特征信息。
步骤103中,根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像。
本申请实施例中,所述训练好的滤波器配置有与其对应的特征值,根据第一图像块的特征值,即可快速地获取与所述第一图像块对应的训练好的滤波器。其中,所述训练好的滤波器用于表示第一高分辨率图像的图像块到第二高分辨率图像的图像块的映射关系。
本申请实施例中,利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到的第二高分辨率图像所具有的特征信息比所述第一高分辨率图像更加丰富,因此,利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像提高了待处理图像的清晰度。
步骤104中,将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
在本申请实施中,为了避免所述第二高分辨率图像有可能存在较多的人工痕迹,在利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像之后,还将所述第二高分辨率图像与所述第一高分辨率图像进行融合,才得到超分辨率图像,使得所述超分辨率图像更加的光滑和自然。
可选地,所述将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像,包括:利用Blending的方式将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。其中,所述Blending的方式包括平均混合(uniformblending)、线性混合(linear blending)和任何混合(any blending)等方式。
在本发明的一些实施方式中,所述第二高分辨率图像与所述第一高分辨率图像的融合过程可以在像素级、特征级、决策级等不同层级上进行。其中,像素级的融合方法可以包括基于小波变换的图像融合方法和基于塔形分解的图像融合方法,例如,高斯金字塔融合方法、拉普拉斯金字塔融合方法和比率塔融合方法。
本申请实施例中,在对待处理图像进行超分辨率图像重建时,首先通过对待处理图像进行上采样得到第一高分辨率图像,以补充待处理图像中缺失的部分,并提高了待处理图像的清晰度。接着,再计算所述第一高分辨率图像的每个第一图像块的特征值,以便快速地根据所述特征值查询到与所述第一高分辨率图像的每个图像块对应的训练好的滤波器,提高了图像处理的效率。然后,利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块滤波得到第二高分辨率图像,将所述第二高分辨率图像与所述第一高分辨率图像进行融合得到超分辨率图像,以减少融合后的超分辨图像中每个图像块之间的人工痕迹,保持图像的结构信息并得到清晰的图像,解决了传统技术中图像处理方法无法得到较清晰的图像的技术问题。
在本申请的一些实施方式中,所述根据所述特征值确定每个第一图像块对应的训练好的滤波器之前,需要先得到训练好的滤波器。如图2示出了本申请实施例提供的训练滤波器的方法的实现流程示意图,包括步骤201至步骤205。
在步骤201中,获取成对的低分辨率样本图像和高分辨率样本图像,对所述低分辨率样本图像进行上采样得到第三高分辨率图像。
所述成对的低分辨率样本图像和高分辨率样本图像是指具有相同目标对象的低分辨率图像和高分辨率图像。
可选地,所述获取成对的低分辨率样本图像和高分辨率样本图像,包括:对所述高分辨率样本图像进行下采样得到与所述高分辨率样本图像配对的低分辨率样本图像;或者,分别利用高分辨率摄像机和低分辨率摄像机对目标对象进行拍摄得到成对的低分辨率样本图像和高分辨率样本图像。
本申请实施例中,所述对所述高分辨率样本图像进行下采样是指对所述高分辨率样本图像S×S窗口内的像素点编成一个像素。例如,该像素的像素值取所述高分辨率样本图像S×S窗口内S2个像素点的像素平均值,以便快速地得到与所述高分辨率样本图像配对的低分辨率样本图像。
所述分别利用高分辨率摄像机和低分辨率摄像机对目标对象进行拍摄得到成对的低分辨率样本图像和高分辨率样本图像是指,利用具有拍摄高分辨率图像功能的摄像机拍摄目标对象得到高分辨率样本图像,并利用只能拍摄出低分辨率图像的摄像机对同一目标对象进行拍摄得到低分辨率样本图像,使得所述高分辨率样本图像中包含的目标对象与所述低分辨率样本图像中包含的目标对象相同,即得到成对的低分辨率样本图像和高分辨率样本图像。
需要说明的是,由于低分辨率样本图像是由只能拍摄出低分辨率图像的摄像机拍摄得到的,因此,所述低分辨率样本图像可以更加地贴合实际应用场景中,对低分辨率摄像机拍摄的低分辨率图像进行超分辨率重建的情况。因此,本申请实施例中利用高分辨率摄像机和低分辨率摄像机对目标对象进行拍摄获取的成对的低分辨率样本图像和高分辨率样本图像对待训练的滤波器进行训练时,可以得到更加符合训练目标的滤波器。
所述对所述低分辨率样本图像进行上采样得到第三高分辨率图像的具体实现方式可以参考上述实施例中步骤101的相关描述,此处不再赘述。
在步骤202中,将所述第三高分辨率图像分割成多个第二图像块,以及将所述高分辨率样本图像分割成多个第三图像块,并计算所述第三高分辨率图像中每个第二图像块的特征值。
其中,所述第三高分辨率图像分割成多个第二图像块,以及将所述高分辨率样本图像分割成多个第三图像块可以通过遍历第三高分辨率图像以及所述高分辨率样本图像,每次在所述第三高分辨率图像以及所述高分辨率样本图像上分别移动一个图像块的长度,例如,一个图像块的长度可以为11个像素点的长度或13个像素点的长度。
所述计算所述第三高分辨率图像中每个第二图像块的特征值的方式可以参考上述实施例步骤102的相关描述,此处不再赘述。
在步骤203中,利用所述第三高分辨率图像的第二图像块,以及所述高分辨率样本图像中与所述第二图像块位置对应的第三图像块对待训练的滤波器进行训练。
所述对待训练的滤波器进行训练是指利用待训练的滤波器根据第二图像块学习第三图像块中的特征信息,建立所述第二图像块到所述第三图像块的映射关系。
在步骤204中,计算待训练的滤波器滤波后的图像块与对应的第二图像块的均方差,在所述均方差达到最小化时,得到所述第二图像块对应的训练好的滤波器。
例如,当训练的滤波器滤波后的图像块与对应的第二图像块的均方差不再变化或者变化值小于预定阈值时,表示所述均方差已达到最小化,即所述待训练的滤波器已经训练好。
在步骤205中,存储所述训练好的滤波器以及所述训练好的滤波器对应的第二图像块的特征值。
本申请实施例中,通过存储所述训练好的滤波器以及所述训练好的滤波器对应的第二图像块的特征值,以便在超分辨率图像重建时,可以根据所述特征值查询到所述训练好的滤波器。
需要说明的是,所述训练好的滤波器携带有图像块的梯度信息、多尺度局部二值模式LBP特征信息和尺度不变特征转换SIFT特征信息,并且具有不同特征信息的图像块对应不同的训练好的滤波器。相应的,在使用所述训练好的滤波器进行图像重建时,也需要提取第一高分辨率图像的梯度信息、多尺度局部二值模式LBP特征信息和尺度不变特征转换SIFT特征信息,以便查询到与所述第一高分辨率图像的第一图像块对应的训练好的滤波器。
可选地,在本申请的一些实施方式中,所述对所述低分辨率样本图像进行上采样得到第三高分辨率图像包括:对所述低分辨率样本图像进行上采样得到与所述高分辨率样本图像具有相同图像分辨率的第三高分辨率图像。
也就是说,所述第三高分辨率图像与所述高分辨率样本图像的分辨率相同。所述第三高分辨率图像利用训练好的滤波器进行滤波时只改变其特征信息,而不改变图像的分辨率。
相应的,在本申请的一些实施方式中,所述对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块包括:对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块,所述第二图像块与所述第三图像块的图像大小相同,以便进行准确地训练待训练的滤波器。
图3示出了本申请实施例提供的一种图像处理的装置300的结构示意图,包括采样单元301、分割单元302、滤波单元303和融合单元304。
采样单元301,用于对待处理图像进行上采样得到第一高分辨率图像;
分割单元302,用于将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;
滤波单元303,用于根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;
融合单元304,用于将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
在本申请的一些实施方式中,所述装置还包括训练单元,具体用于在所述根据所述特征值确定每个第一图像块对应的训练好的滤波器之前,获取成对的低分辨率样本图像和高分辨率样本图像,对所述低分辨率样本图像进行上采样得到第三高分辨率图像;将所述第三高分辨率图像分割成多个第二图像块,以及将所述高分辨率样本图像分割成多个第三图像块,并获取所述第三高分辨率图像中每个第二图像块的特征值;利用所述第三高分辨率图像的第二图像块,以及所述高分辨率样本图像中与所述第二图像块位置对应的第三图像块对待训练的滤波器进行训练;计算待训练的滤波器滤波后的图像块与对应的第二图像块的均方差,在所述均方差达到最小化时,得到所述第二图像块对应的训练好的滤波器;存储所述训练好的滤波器以及所述训练好的滤波器对应的第二图像块的特征值。
在本申请的一些实施方式中,所述训练单元,还具体用于对所述低分辨率样本图像进行上采样得到与所述高分辨率样本图像具有相同图像分辨率的第三高分辨率图像。相应的,所述对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块包括:对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块,所述第二图像块与所述第三图像块的图像大小相同。
在本申请的一些实施方式中,所述训练单元,还具体用于对所述高分辨率样本图像进行下采样得到与所述高分辨率样本图像配对的低分辨率样本图像;或者,分别利用高分辨率摄像机和低分辨率摄像机对目标对象进行拍摄得到成对的低分辨率样本图像和高分辨率样本图像。
可选地,所述分割单元还具体用于将所述第一高分辨率图像分割成与训练好的滤波器大小相同的多个第一图像块。
可选地,所述分割单元还具体用于获取每个第一图像块的梯度信息、多尺度局部二值模式LBP特征信息和尺度不变特征转换SIFT特征信息,并利用哈希算法计算所述梯度信息、LBP特征信息和SIFT特征信息得到每个第一图像块的特征值。
需要说明的是,为描述的方便和简洁,上述描述的图像处理的装置300的具体工作过程,可以参考上述图1至图2中所述方法的对应过程,在此不再赘述。
如图4所示,本申请提供一种用于实现上述图像处理的方法的终端,所述终端可以为智能手机、平板电脑、个人电脑(PC)、个人数字助理(PDA)、学习机等终端,包括:一个或多个输入设备43(图4中仅示出一个)和一个或多个输出设备44(图4中仅示出一个)。处理器41、存储器42、输入设备43和输出设备44通过总线45连接。
应当理解,在本申请实施例中,所称处理器41可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备43可以包括虚拟键盘、触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备44可以包括显示器、扬声器等。
存储器42可以包括只读存储器和随机存取存储器,并向处理器41提供指令和数据。存储器42的一部分或全部还可以包括非易失性随机存取存储器。例如,存储器42还可以存储设备类型的信息。
所述存储器42存储有计算机程序,所述计算机程序可在所述处理器41上运行,例如,所述计算机程序为图像处理的方法的程序。所述处理器41执行所述计算机程序时实现上述图像处理的方法实施例中的步骤,例如图1所示的步骤101至步骤104。或者,所述处理器41执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图3所示单元301至304的功能。
所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器42中,并由所述处理器41执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述进行图像处理的终端中的执行过程。例如,所述计算机程序可以被分割成采样单元、分割单元、滤波单元和融合单元,各单元具体功能如下:采样单元,用于对待处理图像进行上采样得到第一高分辨率图像;分割单元,用于将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;滤波单元,用于根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;融合单元,用于将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理的方法,其特征在于,包括:
对待处理图像进行上采样得到第一高分辨率图像;
将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;
根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;
将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
2.如权利要求1所述的方法,其特征在于,在所述根据所述特征值确定每个第一图像块对应的训练好的滤波器之前,包括:
获取成对的低分辨率样本图像和高分辨率样本图像,对所述低分辨率样本图像进行上采样得到第三高分辨率图像;
将所述第三高分辨率图像分割成多个第二图像块,以及将所述高分辨率样本图像分割成多个第三图像块,并获取所述第三高分辨率图像中每个第二图像块的特征值;
利用所述第三高分辨率图像的第二图像块,以及所述高分辨率样本图像中与所述第二图像块位置对应的第三图像块对待训练的滤波器进行训练;
计算待训练的滤波器滤波后的图像块与对应的第二图像块的均方差,在所述均方差达到最小化时,得到所述第二图像块对应的训练好的滤波器;
存储所述训练好的滤波器以及所述训练好的滤波器对应的第二图像块的特征值。
3.如权利要求2所述的方法,其特征在于,所述对所述低分辨率样本图像进行上采样得到第三高分辨率图像包括:
对所述低分辨率样本图像进行上采样得到与所述高分辨率样本图像具有相同图像分辨率的第三高分辨率图像。
4.如权利要求2所述的方法,其特征在于,所述对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块包括:
对所述第三高分辨率图像分割成多个第二图像块,以及对所述高分辨率样本图像分割成多个第三图像块,所述第二图像块与所述第三图像块的图像大小相同。
5.如权利要求2所述的方法,其特征在于,所述获取成对的低分辨率样本图像和高分辨率样本图像,包括:
对所述高分辨率样本图像进行下采样得到与所述高分辨率样本图像配对的低分辨率样本图像;或者,
分别利用高分辨率摄像机和低分辨率摄像机对目标对象进行拍摄得到成对的低分辨率样本图像和高分辨率样本图像。
6.如权利要求1所述的方法,其特征在于,所述将所述第一高分辨率图像分割成多个第一图像块,包括:
将所述第一高分辨率图像分割成与训练好的滤波器大小相同的多个第一图像块。
7.如权利要求1至6任一所述的方法,其特征在于,所述获取每个第一图像块的特征值包括:
获取每个第一图像块的梯度信息、多尺度局部二值模式LBP特征信息和尺度不变特征转换SIFT特征信息,并利用哈希算法计算所述梯度信息、LBP特征信息和SIFT特征信息得到每个第一图像块的特征值。
8.一种图像处理的装置,其特征在于,包括:
采样单元,用于对待处理图像进行上采样得到第一高分辨率图像;
分割单元,用于将所述第一高分辨率图像分割成多个第一图像块,并获取每个第一图像块的特征值;
滤波单元,用于根据所述特征值确定每个第一图像块对应的训练好的滤波器,并利用每个训练好的滤波器对所述第一高分辨率图像中对应的第一图像块进行滤波得到第二高分辨率图像;
融合单元,用于将所述第二高分辨率图像与所述第一高分辨率图像进行融合,得到超分辨率图像。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN201810536626.2A 2018-05-29 2018-05-29 图像处理的方法、装置、终端及计算机可读存储介质 Active CN108765343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810536626.2A CN108765343B (zh) 2018-05-29 2018-05-29 图像处理的方法、装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810536626.2A CN108765343B (zh) 2018-05-29 2018-05-29 图像处理的方法、装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108765343A true CN108765343A (zh) 2018-11-06
CN108765343B CN108765343B (zh) 2021-07-20

Family

ID=64004035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810536626.2A Active CN108765343B (zh) 2018-05-29 2018-05-29 图像处理的方法、装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108765343B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310229A (zh) * 2019-06-28 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110517267A (zh) * 2019-08-02 2019-11-29 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质
CN111311606A (zh) * 2020-01-20 2020-06-19 四川大学 连续相位图获取方法、装置、计算机设备和可读存储介质
CN111445424A (zh) * 2019-07-23 2020-07-24 广州市百果园信息技术有限公司 图像处理和移动终端视频处理方法、装置、设备和介质
CN112215761A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 图像处理方法、装置及设备
CN112508780A (zh) * 2019-09-16 2021-03-16 中移(苏州)软件技术有限公司 一种图像处理模型的训练方法、装置及存储介质
CN112652382A (zh) * 2020-12-31 2021-04-13 山东大学齐鲁医院 一种基于移动终端的胆胰疾病多学科联合咨询会诊系统
CN112991165A (zh) * 2019-12-13 2021-06-18 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN113808020A (zh) * 2021-09-18 2021-12-17 北京字节跳动网络技术有限公司 图像处理方法及设备
WO2021258529A1 (zh) * 2020-06-22 2021-12-30 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN114266696A (zh) * 2020-09-16 2022-04-01 广州虎牙科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US20220237741A1 (en) * 2021-01-25 2022-07-28 Lemon Inc. Image/video processing
CN115829842A (zh) * 2023-01-05 2023-03-21 武汉图科智能科技有限公司 一种基于fpga实现图片超分辨率重建的装置
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备
CN116757231A (zh) * 2023-08-22 2023-09-15 北京紫光青藤微系统有限公司 用于条码图像的超分辨率训练图集的生成方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
US20160093022A1 (en) * 2014-09-30 2016-03-31 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106157244A (zh) * 2016-06-08 2016-11-23 南京航空航天大学 一种基于稀疏表示的QR Code图像超分辨重建方法
CN106485656A (zh) * 2016-09-19 2017-03-08 华南理工大学 一种图像超分辨率重构的方法
CN106796716A (zh) * 2014-08-08 2017-05-31 北京市商汤科技开发有限公司 用于为低分辨率图像提供超分辨率的设备和方法
CN106846250A (zh) * 2017-01-22 2017-06-13 宁波星帆信息科技有限公司 一种基于多尺度滤波的超分辨率重建方法
CN106920214A (zh) * 2016-07-01 2017-07-04 北京航空航天大学 空间目标图像超分辨率重建方法
CN107103585A (zh) * 2017-04-28 2017-08-29 广东工业大学 一种图像超分辨率系统
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN108009989A (zh) * 2017-12-18 2018-05-08 华中科技大学 一种基于srcnn的微波遥感图像超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN106796716A (zh) * 2014-08-08 2017-05-31 北京市商汤科技开发有限公司 用于为低分辨率图像提供超分辨率的设备和方法
US20160093022A1 (en) * 2014-09-30 2016-03-31 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CN106157244A (zh) * 2016-06-08 2016-11-23 南京航空航天大学 一种基于稀疏表示的QR Code图像超分辨重建方法
CN106127684A (zh) * 2016-06-22 2016-11-16 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106920214A (zh) * 2016-07-01 2017-07-04 北京航空航天大学 空间目标图像超分辨率重建方法
CN106485656A (zh) * 2016-09-19 2017-03-08 华南理工大学 一种图像超分辨率重构的方法
CN106846250A (zh) * 2017-01-22 2017-06-13 宁波星帆信息科技有限公司 一种基于多尺度滤波的超分辨率重建方法
CN107103585A (zh) * 2017-04-28 2017-08-29 广东工业大学 一种图像超分辨率系统
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN108009989A (zh) * 2017-12-18 2018-05-08 华中科技大学 一种基于srcnn的微波遥感图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DE-TIANHUANG等: "Image super-resolution reconstruction based on regularization technique and guided filter", 《INFRARED PHYSICS & TECHNOLOGY》 *
杨宇翔: "图像超分辨率重建算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310229A (zh) * 2019-06-28 2019-10-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN112215761A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 图像处理方法、装置及设备
CN111445424A (zh) * 2019-07-23 2020-07-24 广州市百果园信息技术有限公司 图像处理和移动终端视频处理方法、装置、设备和介质
WO2021012965A1 (zh) * 2019-07-23 2021-01-28 广州市百果园信息技术有限公司 图像处理和移动终端视频处理方法、装置、设备和介质
EP4006824A4 (en) * 2019-07-23 2022-11-30 Bigo Technology Pte. Ltd. IMAGE PROCESSING METHOD AND APPARATUS, MOBILE TERMINAL VIDEO PROCESSING METHOD AND APPARATUS, DEVICE AND MEDIA
CN110517267B (zh) * 2019-08-02 2022-05-10 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质
CN110517267A (zh) * 2019-08-02 2019-11-29 Oppo广东移动通信有限公司 一种图像分割方法及装置、存储介质
CN112508780A (zh) * 2019-09-16 2021-03-16 中移(苏州)软件技术有限公司 一种图像处理模型的训练方法、装置及存储介质
CN112991165B (zh) * 2019-12-13 2023-07-14 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN112991165A (zh) * 2019-12-13 2021-06-18 深圳市中兴微电子技术有限公司 一种图像的处理方法及装置
CN111311606B (zh) * 2020-01-20 2023-05-05 四川大学 连续相位图获取方法、装置、计算机设备和可读存储介质
CN111311606A (zh) * 2020-01-20 2020-06-19 四川大学 连续相位图获取方法、装置、计算机设备和可读存储介质
WO2021258529A1 (zh) * 2020-06-22 2021-12-30 北京大学深圳研究生院 图像降分辨率及复原方法、设备及可读存储介质
CN114266696A (zh) * 2020-09-16 2022-04-01 广州虎牙科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN114266696B (zh) * 2020-09-16 2024-06-11 广州虎牙科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112652382A (zh) * 2020-12-31 2021-04-13 山东大学齐鲁医院 一种基于移动终端的胆胰疾病多学科联合咨询会诊系统
CN112652382B (zh) * 2020-12-31 2022-05-06 山东大学齐鲁医院 一种基于移动终端的胆胰疾病多学科联合咨询会诊系统
US20220237741A1 (en) * 2021-01-25 2022-07-28 Lemon Inc. Image/video processing
US11823350B2 (en) * 2021-01-25 2023-11-21 Lemon Inc. Image/video processing
CN113808020A (zh) * 2021-09-18 2021-12-17 北京字节跳动网络技术有限公司 图像处理方法及设备
CN115829842B (zh) * 2023-01-05 2023-04-25 武汉图科智能科技有限公司 一种基于fpga实现图片超分辨率重建的装置
CN115829842A (zh) * 2023-01-05 2023-03-21 武汉图科智能科技有限公司 一种基于fpga实现图片超分辨率重建的装置
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备
CN116757231A (zh) * 2023-08-22 2023-09-15 北京紫光青藤微系统有限公司 用于条码图像的超分辨率训练图集的生成方法及装置

Also Published As

Publication number Publication date
CN108765343B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN108765343A (zh) 图像处理的方法、装置、终端及计算机可读存储介质
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
Sun et al. Gradient profile prior and its applications in image super-resolution and enhancement
Dai et al. Softcuts: a soft edge smoothness prior for color image super-resolution
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
RU2706891C1 (ru) Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
JPH06245113A (ja) ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
Hou et al. Deep feature consistent deep image transformations: Downscaling, decolorization and HDR tone mapping
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111311482A (zh) 背景虚化方法、装置、终端设备及存储介质
Chadha et al. iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Yue et al. Recaptured screen image demoiréing
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
WO2010050914A1 (en) Method and system for enhancing image signals to alter the perception of depth by human viewers
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
Temiz et al. Super resolution of B-mode ultrasound images with deep learning
Kim et al. Deep image demosaicing for submicron image sensors
Xu et al. Exploiting raw images for real-scene super-resolution
CN116580028B (zh) 一种物体表面缺陷检测方法、装置、设备及存储介质
Bhowmik et al. Training-free, single-image super-resolution using a dynamic convolutional network
Park et al. Color filter array demosaicking using densely connected residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant