CN106558020B - 一种基于网络图像块检索的图像重建方法及系统 - Google Patents

一种基于网络图像块检索的图像重建方法及系统 Download PDF

Info

Publication number
CN106558020B
CN106558020B CN201510633384.5A CN201510633384A CN106558020B CN 106558020 B CN106558020 B CN 106558020B CN 201510633384 A CN201510633384 A CN 201510633384A CN 106558020 B CN106558020 B CN 106558020B
Authority
CN
China
Prior art keywords
image
reconstructed
dictionary
subgraph
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510633384.5A
Other languages
English (en)
Other versions
CN106558020A (zh
Inventor
杨文瀚
刘家瑛
杨帅
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University
Priority to CN201510633384.5A priority Critical patent/CN106558020B/zh
Publication of CN106558020A publication Critical patent/CN106558020A/zh
Application granted granted Critical
Publication of CN106558020B publication Critical patent/CN106558020B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Abstract

本发明涉及一种基于网络图像块检索的图像重建方法及系统,该方法包括:检索与待重建图像内容相同的网络图像;将两种图像拆分成子图像,计算每个子图像的纹理特征,对每个待重建图像的子图像,在网络图像中查找纹理特征相似的子图像;将纹理特征相似的子图像分别拆分成图像块,查找联合特征相似的图像块,训练得到外部字典;将待重建图像进行多尺度采样后拆分成图像块,训练得到内部字典;将外部字典和内部字典合并形成重建字典并对待重建图像进行重建,得到重建后的图像。本发明在图像重建过程中,不仅考虑了图像内部的自相似性,还考虑了其他图像的相似信息,并在字典训练时考虑了字典组织的结构性信息,提升了重建图像的分辨率。

Description

一种基于网络图像块检索的图像重建方法及系统
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于网络图像块检索的图像重建方法及系统。
背景技术
图像插值的目标是利用低分辨率图像提供的信息,生成更高分辨率的图像。由于在图像降质过程中的信息丢失,图像复原的过程是欠定的,也就是对于给定的问题,存在无穷多个解。为了更好地约束问题的求解,必须施加先验信息。根据先验信息的形式,超分辨率方法可以分为两类:基于样例的方法和基于重建的方法。
基于样例的方法根据高低分辨率图像对集合对图像进行建模。高分辨率图像能够基于对应低分辨率图像块和其在低分辨率空间中的最近匹配进行估计。图像训练集中大量的高频信息提升了高分辨率图像中的高频图像细节。但是,不好的一些视觉细节可能被引入,并且重建使用固定的训练集,限制了重建的性能。
为了增加选择图像块的自适应性,两类方法被提出,基于域自适应性的重建算法和基于Web图像的重建算法。基于自适应域的方法允许图像训练集根据低分辨率图像进行变换。基于Web图像的方法通过在互联网上检索内容相关或者分布相似的图像,利用外部的冗余和重复对高分辨率图像进行估计。Yue等人提出了一个地标图的超分辨率算法。他们首先使用SIFT特征检索相关的地标图,然后使用校准后的图像来增强高频细节。
另一类超分辨率方法是基于重构的方法,针对图像降质带来问题的病态性问题,正则项被引入对先验信息建模,比较重要的先验信息包括梯度先验、非局部自相似先验和稀疏性先验。这些不同的先验从不同方面刻画了自然图像的性质。
稀疏性先验是图像重构中使用的最重要先验之一。在稀疏类方法中,字典的选取是一个基本的问题。人为设计的字典,如小波字典、曲线波字典和轮廓波字典,形式简洁,实现速度快,但是缺乏对图像局部结构的自适应性。基于稀疏编码联合问题的学习型字典,如Yang等人提出的ScSR,增加了算法的自适应性。但是,基于过完备字典的稀疏编码不稳定,也容易导致视觉伪迹。于是,基于自相似的算法被提出。Dong等人提出的ASDS算法首先在多尺度下对图像块进行聚类,然后针对每一类,训练得到一个PCA变换。对于某一个图像块,首先选取某一个类,然后使用对应的PCA变换进行稀疏编码和重建。这类方法增加了稀疏编码的稳定性,但是它们仅关注了自相似性,而自然图像中广泛存在的外部冗余和相似性被忽略了。
发明内容
针对上述问题,本发明提供一种基于网络图像块检索的图像重建方法及系统,在图像重建过程中,不仅使用了图像内部的自相似性,还考虑了其他图像的相似信息,并在字典训练时考虑了字典组织的结构性信息,提升了重建图像的分辨率。
本发明的一个方面提出了一种基于网络图像块检索的图像重建方法,其特征在于,包括:
S1、基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
S2、分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
S3、将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
S4、对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样,并将其拆分成图像块,作为内部训练集,训练得到内部字典;
S5、根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
S6、使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像。
其中,所述步骤S1具体包括:
使用特征检测器检测待重建图像中的关键点,并将每个关键点所在的区域定义为显著块;
提取每个显著块的颜色和边缘方向性描述特征,形成待重建图像的颜色和边缘方向性描述特征集合;
将所有的待重建图像的颜色和边缘方向性描述特征量化后形成量化的颜色和边缘方向性描述特征集合;
将所有量化的颜色和边缘方向性描述特征合并后形成待重建图像特征集合;
根据所述待重建图像特征集合,选择与所述待重建图像的内容相同的图像。
其中,所述步骤S2具体包括:
分别将检索的网络图像和待重建的图像拆分成子图像;
使用二值图像分解算法,将每个子图像分割为一系列的二值子图像,并计算每个二值子图像的二值部分特征;
根据待重建图像的每个子图像的二值部分特征,在所述网络图像中查找特征显示的子图像。
其中,所述二值部分特征包括二值子图像的大小、像素值的平均灰度和边界的维度。
其中,所述步骤S3具体包括:
将所述待重建图像的子图像和网络图像中对应的纹理特征相似的子图像拆分成图像块;
使用高斯差分算子估算所述待重建图像中的每个图像块的高频部分,构件涵盖内容信息、纹理特征和图像块高频信息的联合特征;
根据所述联合特征,在所述网络图像的图像块中查找待重建图像中的每个图像块的像素图像块。
其中,所述步骤S4还包括:
使用预设的基于聚类的字典算法,将外部训练集训练得到外部字典,将所述内部训练集训练得到内部字典。
其中,所述使用预设的基于聚类的字典算法,将外部训练集训练得到外部字典,将所述内部训练集训练得到内部字典,具体包括:
将所述训练集中的过平滑的图像块滤掉;
使用高斯差分算子,将过滤后的训练集变化为高频训练集;
并将所述高频训练集使用k-means算法分割成多个高频训练子集;
对所述高频训练子集进行PCA变换,得到每个高频训练子集的正交变换字典表示;
通过所述正交变换字典表示对所述外部训练集和内部训练集分别进行优化,得到所述外部字典和内部字典。
其中,所述步骤S5具体包括:
根据所述外部字典和内部字典的结构信息,将所述外部字典和内部字典中的不稳定的聚类结构分拆或合并,保留稳定的聚类结构,组成所述重建字典。
其中,所述步骤S6具体包括:
使用稀疏表示的方法对所述待重建的图像进行重建,所述重建模型为:
其中,y是待重建图像,H是模糊核,Φf是所述重建字典,α是稀疏分解后得到的稀疏表示系数,β是对α的非局部估计,x是重建后得到的完整图像,i表示处理图像块的序号,αi和βi表示第i个图像块对应的稀疏表示系数和经过非局部约束平滑后的稀疏表示系数;λ1和λ2为比重参数;
通过上述重建模型,对待重建图像进行重建:
x=Φfαx
根据本发明的另一个方面,提供一种基于网络图像块检索的图像重建系统,其特征在于,包括:
图像检索单元,用于基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
相似子图像查找单元,用于分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
外部训练集形成单元,用于将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
外部字典和内部字典形成单元,用于对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样,并将其拆分成图像块,作为内部训练集,训练得到内部字典;
重建字典形成单元,用于根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
图像重建单元,用于使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像。
本发明的基于网络图像块检索的图像重建方法和系统,采用一个多层次的检索、匹配方法,逐层找到与待重建图像相似的图像部分,并通过查找的相似图像形成外部字典,将低分辨率图像的多尺度采样图像拆分成为图像块,形成内部字典,然后考虑字典的内部结构信息,合并成一个重建字典并进行图像重建,由于该方法在图像重建过程中不仅使用了图像内部的自相似性,还考虑了其他图像的相似信息,并在字典训练时考虑了字典组织的结构性信息,提升了重建图像的分辨率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中一种基于网络图像块检索的图像重建方法的流程图;
图2是本发明一个实施例的基于网络图像块检索的图像重建系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的方法是针对现有的基于稀疏表示的超分辨率的图像重建方法存在的问题进行的改进,在本发明中,在字典训练和图像重建过程中同时考虑外部和内部的有用信息,并根据字典内部的结构化信息来对字典进行精炼。首先,采用一个多层次的检索、匹配方法,根据高层语义、中层结构和底层块信息逐层找到与待重建图像相似的图像部分。在图像块进行距离度量和匹配时,使用一个包含内容、纹理和图像块三类信息的联合特征向量来表征描述一个图像块。找到的若干相似块,作为外部训练集,成为整个字典训练集的一部分。然后使用一个基于聚类的字典,低分辨率图像的多尺度采样图像拆分成为图像块,作为内部训练集。内部训练集和外部训练集分别用于训练内部字典和外部字典。之后,考虑字典的内部结构信息,将不稳定的聚类结构分拆或合并,保留稳定的聚类结构,使外部字典和内部字典被合并成一个重建字典。最后,使用训练好的重建字典,采用迭代的方法进行超分辨率重建。由于考虑了外部信息,并在字典训练时考虑了字典组织的结构性信息,提升了基于稀疏表示的超分辨率方法的性能。
以下通过具体实施例详细描述本发明的基于网络图像块检索的图像重建方法和系统。
图1是本发明一个实施例中一种基于网络图像块检索的图像重建方法的流程图。
参照图1,本发明的一个实施例提供了一种基于网络图像块检索的图像重建方法,具体包括:
S1、基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
具体地,上述步骤包括:
首先,使用SURF检测器检测图像中的关键点{P1,P2,...,Ps},s是关键点的个数,Ps所在的方形区域被定义为显著块Lj
然后对于Lj,提取颜色和边缘方向性描述特征Ej。每一幅图像可以转化为一个颜色和边缘方向性描述特征的集合{Ej|j=1,2,...,s}。
之后,将{Ej|j=1,2,...,s}进行量化,得到
将所有量化后的图像特征表示为:W={wj|j=1,2,...,t},其中,t为不重复的特征总数,W包含所有量化后的特征,即W包含所有图像对应的中的所有元素,且W内元素不重复。于是,单个的图像特征可以表示为:{(w1,n1),(w2,n2),...,(wt,nt)},其中nt为给定图像中视觉词汇wt的数目。
最后,两幅图像Iu,Iv之间的距离被定义为:
其中,分别是第u幅和第r幅图像中的第k个视觉单词。
计算得到这些特征后,距离最小的t个图像被选取为内容相同的图像。
因此,通过上述过程,计算得到与重建图像相似的网络图像。
S2、分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
具体地,首先分别将检索的网络图像和待重建的图像拆分成子图像Sm
然后使用二值图像分解算法,将Sm分割为一系列的二值子图像对于每个二值子图像计算三个统计量其中,的大小,中像素值的平均灰度,中边界的维度。
之后分别将每个子图像的二值部分特征组成一个联合向量,用来表征子图像。
最后对于每个待重建图像的子图像,在内容相似的图像中查找纹理特征相近的子图像。
S3、将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
具体地,上述步骤S3包括:
将所述待重建图像的子图像和网络图像中对应的纹理特征相似的子图像拆分成图像块;
使用高斯差分算子估算所述待重建图像中的每个图像块的高频部分,构件涵盖内容信息、纹理特征和图像块高频信息的联合特征;
根据所述联合特征,在所述网络图像的图像块中查找待重建图像中的每个图像块的像素图像块。
S4、对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样,并将其拆分成图像块,作为内部训练集,训练得到内部字典;
上述步骤S4中:使用预设的基于聚类的字典算法,将外部训练集训练得到外部字典,将所述内部训练集训练得到内部字典。
上述对训练集集进行训练得到字典的过程具体为:
对于给定的训练集,首先将过平滑的图像块过滤掉,过滤条件为var(pε)<c,其中var(.)是给定图像块的方差,c是给定的阈值。
过滤后,得到训练集T={p1,p2,...,pω},其中ω是T中图像块的数目。使用高斯差分算子,将T={p1,p2,...,pω}变换为高频版本使用k-means算法将Tg分为M个分割
使用PCA变换,得到每个子类上的正交字典表示。对于每个聚类,使用Ωa表示第a个分割的方差矩阵。对Ωa进行PCA变换,可以得到一个正交表示系数:
为了更好地建模并减少过拟合,我们限制上述正交表示系数的个数,也即参与重建的特征向量的个数b。通过下面的最优化方程来确定最优的b:
其中,||.||F是F范数。
使用上述过程训练内部训练集和外部训练集,得到内部字典ΦI和外部字典ΦE
S5、根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
上述过程中,根据所述外部字典和内部字典的结构信息,将所述外部字典和内部字典中的不稳定的聚类结构分拆或合并,保留稳定的聚类结构,组成所述重建字典;
在本实施例中,形式化表示字典如下:
其中,M是字典中聚类的个数,mf是一个聚类Cf中图像块的数目,rf参与构建字典的特征向量的数目,Vf是Cf的聚类中心,df是Cf中图像块和聚类中心Vf之间平均距离。使用t1,t2,t3,t4表示用户定义的参数,γ123是平衡参数。
针对上述内部字典和外部字典,对下面三种情况进行考虑:
1)不稳定的内部聚类将和一个最近的外部聚类合并,判断条件为:
2)包含丰富信息的内部类将被拆分为两个类,判断条件为:
3)一个内部类包含十分少的信息,并且跨过很多外部类,则将该内部类拆分:
通过上述的拆分和合并,形成一个训练字典Φf
S6、使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像。
具体地,使用步骤S5得到的字典,对低分辨率图像进行重建,得到高分辨率图像估计。具体地,在每次迭代,算法搜索非局部相似块,并使用非局部相似块加权后的结果作为对低分辨率图像进行增强。非局部增强可能会引入一些不真实的视觉效果和几何结构,因此,使用稀疏表示的方法对其进行重构,重建模型为:
其中,其中,y是待重建图像,H是模糊核,Φf是所述重建字典,α是稀疏分解后得到的稀疏表示系数,β是对α的非局部估计,x是重建后得到的完整图像,i表示处理图像块的序号,αi和βi表示第i个图像块对应的稀疏表示系数和经过非局部约束平滑后的稀疏表示系数,λ1和λ2为比重参数,当λ1较大时使重建结果更符合平滑前的稀疏系数估计,λ2较大时使重建结果更符合平滑后的稀疏系数估计。在上述式子中,第一项为数据保真项,第二项为稀疏约束项,第三项为非局部中心约束项目。
稀疏编码的时候,对于给定图像块,首先在Φf中找到聚类中心最近的聚类使用其对应的变换对图像块进行变换,并施加收缩算子的作用,得到稀疏编码。然后,求解上述方程后,可以得到高分辨率估计为:
x=Φfα。
图2是本发明一个实施例的基于网络图像块检索的图像重建系统的结构框图。
参照图2,在本发明的另一个实施例中,提供一种基于网络图像块检索的图像重建系统,包括:
图像检索单元10,用于基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
相似子图像查找单元20,用于分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
外部训练集形成单元30,用于将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
外部字典和内部字典形成单元40,用于对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样,并将其拆分成图像块,作为内部训练集,训练得到内部字典;
重建字典形成单元50,用于根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
图像重建单元60,用于使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像。
本发明的基于网络图像块检索的图像重建方法和系统,采用一个多层次的检索、匹配方法,逐层找到与待重建图像相似的图像部分,并通过查找的相似图像形成外部字典,将低分辨率图像的多尺度采样图像拆分成为图像块,形成内部字典,然后考虑字典的内部结构信息,合并成一个重建字典并进行图像重建,由于该方法在图像重建过程中不仅使用了图像内部的自相似性,还考虑了其他图像的相似信息,并在字典训练时考虑了字典组织的结构性信息,提升了重建图像的分辨率。
本实施例为本发明的系统的实施例,由于与方法的实施例基本相似,所以描述的比较简单,相关之处请参见方法实施例部分的说明。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
本发明的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种基于网络图像块检索的图像重建方法,其特征在于,包括:
S1、基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
S2、分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
S3、将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
S4、对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样后拆分成图像块,并将拆分的图像块作为内部训练集,对所述内部训练集训练得到内部字典;
S5、根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
S6、使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像,具体包括:
使用稀疏表示的方法对所述待重建的图像进行重建,所述重建模型为:
其中,y是待重建图像,H是模糊核,Φf是所述重建字典,α是稀疏分解后得到的稀疏表示系数,β是对α的非局部估计,x是重建后得到的完整图像,i表示处理图像块的序号,αi和βi表示第i个图像块对应的稀疏表示系数和经过非局部约束平滑后的稀疏表示系数;λ1和λ2为比重参数;
通过上述重建模型,对待重建图像进行重建:
x=Φfαx
2.根据权利要求1所述的图像重建方法,其特征在于,所述步骤S1具体包括:
使用特征检测器检测待重建图像中的关键点,并将每个关键点所在的区域定义为显著块;
提取每个显著块的颜色和边缘方向性描述特征,形成待重建图像的颜色和边缘方向性描述特征集合;
将所有的待重建图像的颜色和边缘方向性描述特征量化后形成量化的颜色和边缘方向性描述特征集合;
将所有量化的颜色和边缘方向性描述特征合并后形成待重建图像特征集合;
根据所述待重建图像特征集合,选择与所述待重建图像的内容相同的图像。
3.根据权利要求1所述的图像重建方法,其特征在于,所述步骤S2具体包括:
分别将检索的网络图像和待重建的图像拆分成子图像;
使用二值图像分解算法,将每个子图像分割为一系列的二值子图像,并计算每个二值子图像的二值部分特征;
根据待重建图像的每个子图像的二值部分特征,在所述网络图像中查找纹理特征相似的子图像。
4.根据权利要求3所述的图像重建方法,其特征在于,所述二值部分特征包括二值子图像的大小、像素值的平均灰度和边界的维度。
5.根据权利要求1所述的图像重建方法,其特征在于,所述步骤S3具体包括:
将所述待重建图像的子图像和网络图像中对应的纹理特征相似的子图像拆分成图像块;
使用高斯差分算子估算所述待重建图像中的每个图像块的高频部分,构件涵盖内容信息、纹理特征和图像块高频信息的联合特征;
根据所述联合特征,在所述网络图像的图像块中查找待重建图像中的每个图像块的像素图像块。
6.根据权利要求1所述的图像重建方法,其特征在于,所述步骤S4还包括:
使用预设的基于聚类的字典算法,将外部训练集训练得到外部字典,将所述内部训练集训练得到内部字典。
7.根据权利要求6所述的图像重建方法,其特征在于,所述使用预设的基于聚类的字典算法,将外部训练集训练得到外部字典,将所述内部训练集训练得到内部字典,具体包括:
将所述训练集中的过平滑的图像块滤掉;
使用高斯差分算子,将过滤后的训练集变化为高频训练集;
并将所述高频训练集使用k-means算法分割成多个高频训练子集;
对所述高频训练子集进行PCA变换,得到每个高频训练子集的正交变换字典表示;
通过所述正交变换字典表示对所述外部训练集和内部训练集分别进行优化,得到所述外部字典和内部字典。
8.根据权利要求1所述的图像重建方法,其特征在于,所述步骤S5具体包括:
根据所述外部字典和内部字典的结构信息,将所述外部字典和内部字典中的不稳定的聚类结构分拆或合并,保留稳定的聚类结构,组成所述重建字典。
9.一种基于网络图像块检索的图像重建系统,其特征在于,包括:
图像检索单元,用于基于内容的图像检索技术,检索与待重建图像内容相同的网络图像;
相似子图像查找单元,用于分别将检索的网络图像和待重建的图像拆分成子图像,计算每个所述子图像的纹理特征,并且对每个待重建图像的子图像,在所述网络图像中查找纹理特征相似的子图像;
外部训练集形成单元,用于将网络图像中纹理特征相似的子图像和待重建子图像分别拆分成图像块,计算每个图像块的联合特征,并根据所述待重建图像的图像块在所示网络图像中查找联合特征相似的图像块,将查找的联合特征相似的图像块作为外部训练集;
外部字典和内部字典形成单元,用于对所述外部训练集进行训练得到外部字典;将待重建图像进行多尺度采样,并将其拆分成图像块,作为内部训练集,训练得到内部字典;
重建字典形成单元,用于根据所述内部字典和外部字典内部结构信息,将所述外部字典和内部字典合并形成重建字典;
图像重建单元,用于使用预设的基于迭代的图像重建模型,根据所述重建字典对待重建图像进行重建,得到重建后的图像,具体包括:
使用稀疏表示的方法对所述待重建的图像进行重建,所述重建模型为:
其中,y是待重建图像,H是模糊核,Φf是所述重建字典,α是稀疏分解后得到的稀疏表示系数,β是对α的非局部估计,x是重建后得到的完整图像,i表示处理图像块的序号,αi和βi表示第i个图像块对应的稀疏表示系数和经过非局部约束平滑后的稀疏表示系数;λ1和λ2为比重参数;
通过上述重建模型,对待重建图像进行重建:
x=Φfαx
CN201510633384.5A 2015-09-29 2015-09-29 一种基于网络图像块检索的图像重建方法及系统 Expired - Fee Related CN106558020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510633384.5A CN106558020B (zh) 2015-09-29 2015-09-29 一种基于网络图像块检索的图像重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510633384.5A CN106558020B (zh) 2015-09-29 2015-09-29 一种基于网络图像块检索的图像重建方法及系统

Publications (2)

Publication Number Publication Date
CN106558020A CN106558020A (zh) 2017-04-05
CN106558020B true CN106558020B (zh) 2019-08-30

Family

ID=58417159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510633384.5A Expired - Fee Related CN106558020B (zh) 2015-09-29 2015-09-29 一种基于网络图像块检索的图像重建方法及系统

Country Status (1)

Country Link
CN (1) CN106558020B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146263B (zh) * 2017-04-27 2019-11-01 浙江大学 一种基于张量字典约束的动态pet图像重建方法
CN109325903A (zh) * 2017-07-31 2019-02-12 北京大学 图像风格化重建的方法及装置
CN108595649B (zh) * 2018-04-27 2021-09-07 郑州轻工业大学 基于几何形状的局部不变纹理特征的织物图像检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800076A (zh) * 2012-07-16 2012-11-28 西安电子科技大学 基于双字典学习的图像超分辨重建方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN104200498A (zh) * 2014-08-18 2014-12-10 北京理工大学珠海学院 融合Cortex-A7的实时视频超分辨率处理方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800076A (zh) * 2012-07-16 2012-11-28 西安电子科技大学 基于双字典学习的图像超分辨重建方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法
CN104200498A (zh) * 2014-08-18 2014-12-10 北京理工大学珠海学院 融合Cortex-A7的实时视频超分辨率处理方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Also Published As

Publication number Publication date
CN106558020A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
Radford et al. Unsupervised representation learning with deep convolutional generative adversarial networks
Divakar et al. Image denoising via CNNs: An adversarial approach
CN109461495A (zh) 一种医学图像的识别方法、模型训练的方法及服务器
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN106156793A (zh) 结合深层特征提取和浅层特征提取的医学图像分类方法
CN110533683B (zh) 一种融合传统特征与深度特征的影像组学分析方法
Akl et al. A survey of exemplar-based texture synthesis methods
CN103279933A (zh) 一种基于双层模型的单幅图像超分辨率重建方法
Dai et al. Agricultural pest super-resolution and identification with attention enhanced residual and dense fusion generative and adversarial network
Hosseini-Asl et al. 3-D lung segmentation by incremental constrained nonnegative matrix factorization
CN110503614A (zh) 一种基于稀疏字典学习的磁共振图像去噪方法
CN106558020B (zh) 一种基于网络图像块检索的图像重建方法及系统
Benou et al. De-noising of contrast-enhanced MRI sequences by an ensemble of expert deep neural networks
Li et al. A self-learning image super-resolution method via sparse representation and non-local similarity
Quan et al. An intelligent system approach for probabilistic volume rendering using hierarchical 3D convolutional sparse coding
Salem et al. Semantic image inpainting using self-learning encoder-decoder and adversarial loss
CN106803105B (zh) 一种基于稀疏表示字典学习的图像分类方法
Shocher et al. Internal distribution matching for natural image retargeting
CN108470209B (zh) 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
Kanters et al. On image reconstruction from multiscale top points
Wang et al. Generalized convolutional sparse coding with unknown noise
Zhang et al. Image categorization using non-negative kernel sparse representation
Jayamohan et al. Domain classification using B+ trees in fractal image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220629

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Patentee after: New founder holdings development Co.,Ltd.

Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230412

Address after: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee after: Peking University

Address before: 100871 No. 5, the Summer Palace Road, Beijing, Haidian District

Patentee before: Peking University

Patentee before: New founder holdings development Co.,Ltd.

Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190830

CF01 Termination of patent right due to non-payment of annual fee