CN112801908B - 图像去噪方法、装置、计算机设备和存储介质 - Google Patents
图像去噪方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112801908B CN112801908B CN202110159110.2A CN202110159110A CN112801908B CN 112801908 B CN112801908 B CN 112801908B CN 202110159110 A CN202110159110 A CN 202110159110A CN 112801908 B CN112801908 B CN 112801908B
- Authority
- CN
- China
- Prior art keywords
- noise ratio
- image data
- high signal
- signal
- low signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007499 fusion processing Methods 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims description 66
- 238000009826 distribution Methods 0.000 claims description 37
- 230000004927 fusion Effects 0.000 claims description 27
- 238000010801 machine learning Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本申请涉及一种图像去噪方法、装置、计算机设备和存储介质。所述方法包括:获取待去噪的低信噪比图像数据;从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;所述高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。采用本方法能够有效避免去噪过程中产生的图像失真。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像去噪方法、装置、计算机设备和存储介质。
背景技术
图像去噪(denoising)是一类可以通过从低信噪比图像中恢复高信噪比图像的技术,可以用来减少图像获取时间(因为一般来说获得低信噪比图片所需要的时间较短),它还可以用于增强现有的数据集,以获得更好的视觉感知和统计学分析(例如功能磁共振数据的分析)。图像去噪在医学领域应用十分广泛,对于医学图像数据(例如CT、MRI、超声),为了提高诊断的效率和准确率,使用者(医生或相关科研人员)可以通过图像去噪在较短的时间内取得信噪比(signal-to-noise ratio)更高的图片。
传统技术中,在进行图像去噪时,通常通过训练图像去噪模型,将待去噪的图像输入图像去噪模型中,以得到去噪后的目标高信噪比图像,这种去噪方式效果并不好,在提升信噪比的同时,常常会导致图像失真。
发明内容
基于此,有必要针对上述技术问题,提供一种能够有效避免去噪过程中图像失真的图像去噪方法、装置、计算机设备和存储介质。
一种图像去噪方法,所述方法包括:
获取待去噪的低信噪比图像数据;
从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;所述高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;
对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,所述对所述低信噪比图像数据和所述参考图像数据进行融合处理包括:
分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征,得到所述低信噪比图像数据对应的低信噪比纹理特征及所述参考图像数据对应的高信噪比纹理特征;
根据所述低信噪比纹理特征及所述高信噪比纹理特征进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,在所述分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征之前,所述方法还包括:
获取训练后的机器学习模型;所述机器学习模型包括特征提取层;
所述分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征包括:
将所述低信噪比图像数据与所述参考图像数据输入所述特征提取层,在所述特征提取层分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征;
所述根据所述低信噪比纹理特征及所述高信噪比纹理特征进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
通过所述机器学习模型对所述低信噪比纹理特征及所述高信噪比纹理特征进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,所述机器学习模型还包括特征比对层和特征融合层;所述通过所述机器学习模型对所述低信噪比纹理特征及所述高信噪比纹理特征进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
将所述低信噪比纹理特征及所述高信噪比纹理特征输入所述特征比对层,在所述特征比对层对所述低信噪比纹理特征及所述高信噪比纹理特征进行相似度比对,获得相似特征分布;
将所述低信噪比图像数据及所述相似特征分布输入所述特征融合层,在所述特征融合层根据相似特征分布及所述低信噪比图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,所述对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
分别对所述低信噪比图像数据和所述参考图像数据进行分块,得到所述低信噪比图像数据对应的低信噪比图块集合以及所述参考图像数据对应的参考图块集合;
对于所述低信噪比图块集合中每一个低信噪比图块,从所述参考图块集合中确定满足相似度条件的目标参考图块;
根据所述目标参考图块进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,所述根据所述目标参考图块进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
将每一个低信噪比图块与其对应的目标参考图块组成相似图块组,对每一个相似图块组执行以下步骤中的任意一个:
对所述相似图块组进行非局部平均处理,得到去噪后的目标图块;
对所述相似图块组进行协同滤波处理,得到去噪后的目标图块;
对所述相似图块组进行加权核范数最小化处理,得到去噪后的目标图块;
组合各个所述目标图块,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,所述高信噪比图像数据库的建立步骤包括:
获取多个不同对象对应的高信噪比图像数据;
对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量;
将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立所述高信噪比图像数据库。
一种图像去噪装置,所述装置包括:
数据获取模块,用于获取待去噪的低信噪比图像数据;
搜索模块,用于从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;所述高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;
融合处理模块,对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待去噪的低信噪比图像数据;
从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;所述高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;
对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待去噪的低信噪比图像数据;
从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;所述高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;
对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
上述图像去噪方法、装置、计算机设备和存储介质,通过获取待去噪的低信噪比图像数据,从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据,一方面通过与参考图像进行融合,去噪过程中融合了真实的高信噪比图像数据,得到的图像去噪效果更好,可以有效避免失真现象,另一方面,由于参考图像数据是根据相似度从高信噪比图像数据库中获取的,高信噪比图像数据库中的高信噪比图像数据对应多个不同对象,使得在去噪的过程中,不局限于同一对象,扩展了参考图像数据的来源,从而使得图像去噪方法的应用范围更广。
附图说明
图1为一个实施例中图像去噪方法的应用环境图;
图2为一个实施例中图像去噪方法的流程示意图;
图3为一个实施例中高信噪比图像数据库的建立步骤的流程示意图;
图4为另一个实施例中图像去噪方法的流程示意图;
图5为一个实施例中图像去噪方法的整体架构图;
图6为一个实施例中图像去噪装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像去噪方法,可以应用于如图1所示的应用环境中。其中,图像采集设备102通过网络与服务器104进行通信,服务器上存储预先建立的高信噪比图像数据库,该高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到。图像采集设备102采集低信噪比图像数据并发送至服务器104,服务器104在接收到低信噪比图像数据后,从该高信噪比图像数据库中获取满足相似度条件的参考图像数据,对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。其中,图像采集设备102可以是各种具备图像数据采集功能的计算机设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中,如图2所示,提供了一种图像去噪方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取待去噪的低信噪比图像数据。
其中,低信噪比图像数据指的是信噪比低的图像数据。信噪比低指的是信噪比小于第一信噪比阈值;相应的,高信噪比图像数据指的是信噪比高的图像数据,信噪比高指的是信噪比大于第二信噪比阈值。其中第一信噪比阈值、第二信噪比阈值可以根据需要进行设定,且第二信噪比阈值大于第一信噪比阈值。因此,图像去噪可以看作是一个提升信噪比的过程。
具体地,图像数据采集设备可以通过拍摄、扫描等方式采集低信噪比图像数据,将低信噪比图像数据发送至服务器,从而服务器可以获取到低信噪比图像数据。
在一些实施例中,本申请实施例提到的低信噪比图像数据、高信噪比图像数据可以为医学图像数据,该医学图像数据可以为三维医学图像,服务器在获取到三维医学图像后,对该三维医学图像进行切分,转换为对应的二维图像,再执行本申请的图像去噪方法,最终去噪得到的也是二维图像;在其他一些实施例中,服务器在获取到三维医学图像后,直接将该三维医学图像作为待去噪的低信噪比图像,执行本申请的图像去噪方法,最终去噪得到的为三维图像。
在另外一些实施例中,上述的医学图像数据可以是医学图像的原始数据,例如MRI(Magnetic Resonance Imaging,磁共振成像)得到的K空间数据。K空间是寻常空间在傅里叶转换下的对偶空间,因此,K空间数据也称为傅里叶空间数据,服务器在获取到低信噪比的K空间数据后,将该K空间数据作为待去噪的低信噪比图像数据,执行本申请的图像去噪方法,最终去噪得到为高信噪比的K空间数据,服务器可以进一步通过傅里叶转换得到图像。
步骤204,从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到。
其中,相似度条件指的预先设置的用于搜索相似图像的条件。高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到。其中,多个不同的对象与待去噪的低信噪比图像数据对应的对象通常为不同的对象。可以理解的是,这里提到的对象指的是图像数据中所包含的主体对象,该主体对象可以是生物体或者非生物体,生物体可以是人体或者动物,该主体对象可以是整个生物体或者非生物体,也可以是生物体或者非生物体的局部,例如,当本申请的图像数据为医学数据时,该主体对象可以是人体器官。
具体地,服务器对高信噪比图像数据库进行搜索,在搜索的过程中计算待去噪的低信噪比图像数据与高信噪比图像数据库中的高信噪比图像数据之间的相似度,根据计算结果选择满足相似度条件的高信噪比图像数据作为搜索得到的参考图像数据。参考图像数据可以是一个或者多个。这里的多个指的是至少两个。
在一些实施例中,相似度条件可以是相似度大于预设相似度阈值,那么服务器可以根据相似度计算结果,从预先建立的高信噪比图像数据库中获取与待去噪的低信噪比图像数据之间的相似度大于该预设相似度阈值的高信噪比图像数据,作为参考图像数据。相似度阈值可以根据经验进行设定。
在另一些实施例中,相似度条件可以是与待去噪的低信噪比图像数据之间的相似度按照大小关系排序时,排列靠前,那么服务器可以根据相似度计算结果进行相似度排序,选取相似度排序靠前的高信噪比图像数据作为参考图像数据。例如,服务器可以选择相似度最大的高信噪比图像数据作为参考图像数据。
在一些实施例中,为提高搜索效率,服务器可以对高信噪比图像数据库中的高信噪比图像数据进行乘积量化(Product Quantization,PQ)。在另一些实施例中,服务器可以采用基于分层的小世界图(Hierarchical Navigable Small World graphs,HNSW)的算法方法实现搜索。
步骤206,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
具体地,服务器可以获取参考图像数据中的相似数据,将相似数据与待去噪的低信噪比图像数据进行融合,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。其中,相似数据可以是相似图像区域或者相似图像特征,相似图像特征具体可以是相似纹理特征。
在一些实施例中,对低信噪比图像数据和参考图像数据进行融合处理包括:分别提取低信噪比图像数据和参考图像数据的纹理特征,得到低信噪比图像数据对应的低信噪比纹理特征及参考图像数据对应的高信噪比纹理特征;根据低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
具体地,服务器提取低信噪比图像数据的纹理特征,得到低信噪比图像数据对应的低信噪比纹理特征,提取参考图像数据的纹理特征,得到参考图像数据对应的高信噪比纹理特征。服务器进一步根据低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,服务器可以基于神经网络分别提取低信噪比图像数据和参考图像数据的纹理特征。
在一些实施例中,服务器在进行融合处理时,可以采用传统的数学方式,例如对低信噪比纹理特征及高信噪比纹理特征的像素进行按权重加和,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。在另一些实施例中,服务器可以通过神经网络对低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
上述图像去噪方法中,通过获取待去噪的低信噪比图像数据,从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据,一方面通过与参考图像进行融合,去噪过程中融合了真实的高信噪比图像数据,得到的图像去噪效果更好,可以有效避免失真现象,另一方面,由于参考图像数据是根据相似度从高信噪比图像数据库中获取的,高信噪比图像数据库中的高信噪比图像数据对应多个不同对象,使得在去噪的过程中,不局限于同一对象,扩展了参考图像数据的来源,从而使得图像去噪方法的应用范围更广。
在一些实施例中,如图3所示,高信噪比图像数据库的建立步骤包括:
步骤302,获取多个不同对象对应的高信噪比图像数据。
具体地,服务器可以获取大量不同对象对应的高信噪比图像数据,用以建立高信噪比数据库,这些高信噪比图像数据可以作为图像去噪时的参考图像数据。以本申请的图像数据为医学图像数据为例,服务器可以获取大量不同受试者的高信噪比图像数据用于数据库的建立。
步骤304,对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量。
具体地,服务器可以通过特征提取器分别提取各个高信噪比图像数据的图像特征,并对提取的图像特征进行向量化,获得各个高信噪比图像数据各自对应的高信噪比特征向量。
在一些实施例中,服务器可以使用GIST特征抽取器,在40x40矩阵大小下进行向量化,获得各个高信噪比图像数据各自对应的高信噪比特征向量。
在一些实施例中,相似图像搜索模块中的特征提取器也可以使用SIFT特征、HOG特征、pHASH特征。对于SIFT等不定长特征,可以进一步通过BoW(Bag of visual word)、VLAD(Aggregating local descriptors)以及Fisher Vector(Fisher Vector)等方式进行编码,转化为固定长度的向量。
在一些实施例中,特征提取器可以使用基于卷积神经网络(CNN)的模型,对卷积神经网络在图像样本上进行预训练,然后提取网络中间或者最后的一层的输出作为特征提取的输出。训练时,可以加入随机噪声,或者对训练样本进行随机变形翻转等操作以对样本数据进行增强。
步骤306,将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立高信噪比图像数据库。
具体地,在获得各个高信噪比图像数据各自对应的高信噪比特征向量后,服务器将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,从而建立高信噪比图像数据库。服务器可以通过高信噪比特征向量从该数据库中查询对应的高信噪比图像数据。
在一些实施例中,如图4所示,提供了一种图像去噪方法,包括以下步骤:
步骤402,获取多个不同对象对应的高信噪比图像数据。
步骤404,对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量。
步骤406,将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立高信噪比图像数据库。
步骤408,获取待去噪的低信噪比图像数据。
步骤410,对低信噪比图像数据提取特征,以得到低信噪比图像数据对应的低信噪比特征向量。
步骤412,从高信噪比图像数据库中获取与低信噪比特征向量的向量距离满足距离条件的目标高信噪比特征向量,将目标高信噪比特征向量对应的高信噪比图像数据确定为参考图像数据。
其中,向量距离可以是L2范数距离或者余弦距离。
在一些实施例中,距离条件可以是距离大于预设距离阈值,预设距离阈值可以根据经验进行设定。在另一些实施例中,距离条件可以是距离最短,服务器可以将距离最短的一个或多个高信噪比特征向量确定为目标高信噪比特征向量,例如,将向量距离按照从小到大排序,将排序靠前的一个或多个向量距离对应的高信噪比特征向量确定为目标高信噪比特征向量。
步骤414,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,服务器可以分别提取低信噪比图像数据和参考图像数据的纹理特征,得到低信噪比图像数据对应的低信噪比纹理特征及参考图像数据对应的高信噪比纹理特征,根据低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
上述实施例中,在建立数据库时,通过将高信噪比图像数据对应的特征向量对应存储,从而可以在搜索时,基于向量距离进行搜索,提高了搜索效率。
在一些实施例中,在根据各个高信噪比图像数据各自对应的高信噪比特征向量建立高信噪比图像数据库之后,上述方法还包括:对各个高信噪比特征向量进行聚类处理,得到多个特征向量簇;各个特征向量簇存在对应的聚类中心;将各个特征向量簇对应的聚类中心作为索引项,将各个特征向量簇中的高信噪比特征向量作为倒排文件,建立倒排索引。
具体地,服务器对各个高信噪比特征向量按照相似度进行聚类处理,聚类处理后,会得到多个特征向量簇,那么每一个特征向量簇中的高信噪比特征向量之间都是相似的,这里的相似可以理解为相似度大于预设的相似度阈值。各个特征向量簇存在对应的聚类中心。在聚类的过程中,可采用传统的聚类算法,本申请在此不赘述。
进一步,服务器可以将各个聚类中心作为索引项,将各个特征向量簇中的高信噪比特征向量作为倒排文件,建立倒排索引。从而服务器在搜索与待去噪的低信噪比图像数据满足相似度条件的参考图像数据时,可以在提取到低信噪比图像数据的特征向量后,计算该特征向量与索引项中各个聚类中心之间的相似度,选择出相似程度高的索引项,从而服务器可以只在这些索引项对应的特征向量簇中进行搜索,对于其他特征向量簇可以不进行搜索,减少搜索数据的范围。
上述实施例中,通过获取不同对象对应的高信噪比图像数据,提取各个高信噪比图像数据的特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量建立高信噪比图像数据库,并进一步对数据库中的数据聚类建立倒排索引,那么在搜索时,可以减少数据搜索范围,从而提高搜索效率,进而提高图像去噪的效率。
在一些实施例中,在分别提取低信噪比图像数据和参考图像数据的纹理特征之前,上述图像去噪还包括:获取训练后的机器学习模型;机器学习模型包括特征提取层;分别提取低信噪比图像数据和参考图像数据的纹理特征包括:将低信噪比图像数据与参考图像数据输入特征提取层,在特征提取层分别提取低信噪比图像数据和参考图像数据的纹理特征;根据低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据包括:通过机器学习模型对低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
其中,机器学习模型可以为基于神经网络的模型,例如,转换神经网络(transformer neural network)、卷积神经网络、循环神经网络等等。
在一些实施例中,本申请的图像数据为医学图像数据,在训练机器学习模型时,可以首先在非医学类数据上(例如相机照片)上进行预训练,然后在特定模态(CT、MRI、或超声)的医学图像上进行训练。训练过程中,可以使用基于L1距离和对抗性损失的损失函数,使用随机梯度下降法优化模型参数直到收敛。
具体地,服务器将低信噪比图像数据与参考图像数据输入特征提取层,在特征提取层分别提取低信噪比图像数据和参考图像数据的纹理特征。在提取得到纹理特征后,服务器可以继续通过机器学习模型对提取的低信噪比纹理特征和高信噪比纹理特征进行融合处理,最终,机器学习模型输出目标高信噪比图像数据,完成图像去噪。可以理解,此处的纹理特征为纹理特征图。
在一些实施例中,机器学习模型还包括特征比对层和特征融合层;通过机器学习模型对低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据包括:将低信噪比纹理特征及高信噪比纹理特征输入特征比对层,在特征比对层对低信噪比纹理特征及高信噪比纹理特征进行相似度比对,获得相似特征分布;将低信噪比图像数据及相似特征分布输入特征融合层,在特征融合层根据相似特征分布及低信噪比图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
其中,相似特征分布用于表征高信噪比纹理特征中与低信噪比纹理特征相似的特征的位置分布。在一些实施例中,相似特征分布还用于表征各个位置分布对应的相似度。
在一些实施例中,服务器可以将低信噪比纹理特征中各个像素分别与高信噪比纹理特征中对应位置像素进行比对,以得到相似度分布。
在另一些实施例中,服务器可以对低信噪比纹理特征和高信噪比纹理特征进行分块,例如,可以分别将低信噪比纹理特征和高信噪比纹理特征等分为N块(N>=2),得到低信噪比纹理特征对应的N个低信噪比子纹理特征以及高信噪比纹理特征对应的N个高信噪比子纹理特征,然后分别将各个低信噪比子纹理特征与对应位置的高信噪比纹理特征进行比对,以得到相似特征分布。
在一些实施例中,特征比对层可以是相关卷积层(correlation),服务器在通过机器学习模型提取到低信噪比纹理特征和高信噪比纹理特征后,继续将低信噪比纹理特征和高信噪比纹理特征输入该相关卷积层,在该相关卷积层对低信噪比纹理特征和高信噪比纹理特征进行互相关操作,得到相关特征图,该相关特征图即为得到的相似特征分布。
服务器在获得相似特征分布后,继续将低信噪比图像数据及相似特征分布输入特征融合层,由于纹理特征相似度可以反映相似特征的位置分布,那么在特征融合层,服务器可以基于相似特征分布将参考图像数据中的相似特征与低信噪比图像数据进行融合,最终去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,相似特征分布还用于表征各个位置分布对应的相似度,那么在特征融合层,服务器还可以基于各个位置分布对应的相似度确定注意力权重,在进行融合时,可以基于注意力权重进行融合。例如,在具体实施例时,服务器可以首先将各个位置分布对应的相似特征与注意力权重对应相乘,将相乘后的结果作为各个位置分布的相似特征以更新各个位置分布对应的相似特征,然后将更新后的相似特征与待去噪的低信噪比图像数据进行融合;或者,服务器可以先将相似特征与待去噪的低信噪比图像数据进行融合,融合完成后,再乘以注意力权重。
可以理解,在一些实施例中,上述的特征提取层、特征比对层和特征融合层均可通过一层或多层神经网络实现。
上述实施例中,通过将对低信噪比纹理特征及高信噪比纹理特征进行相似度比对,获得相似特征分布,进而在融合时可以准确地融合相似特征,从而使得去噪得到的目标高信噪比图像数据更加准确。
在一些实施例中,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据包括:
具体地,服务器对低信噪比图像数据进行分块,得到低信噪比图像数据对应的多个低信噪比图块(patch),多个低信噪比图块组成低信噪比图块集合;服务器还对参考图像数据进行分块,得到参考图像数据对应的多个参考图块,多个参考图块组成参考图块集合。
进一步,对于每一个低信噪比图块,服务器可以对该低信噪比图块与参考图块集合中每一个参考图块计算相似度,以确定满足相似度条件的参考图块,作为该低信噪比图块对应的目标参考图块。每一个低信噪比图块对应的目标参考图块可以是一个或者多个。相似度条件可以是相似度大于预设阈值或者相似度按照大小关系排序时排序靠前,例如,相似度最大。
最后,服务器可以将低信噪比图块与对应的目标参考图块进行融合,以完成去噪,得到目标高信噪比图像数据。在一些具体实施例中,当低信噪比图块存在多个目标参考图块时,服务器可以根据相似度确定融合权重,根据融合权重对目标参考图块进行融合处理。
在一些实施例中,根据目标参考图块进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据包括:首先将每一个低信噪比图块与其对应的目标参考图块组成相似图块组,然后通过以下方式1-方式3中的任意一种方式得到去噪后的目标图块,最后组合各个目标图块,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
方式一:对相似图块组进行非局部平均处理,得到去噪后的目标图块。
具体地,服务器对相似图块组求平均,得到去噪后的目标图块。
方式二:对相似图块组进行协同滤波处理,得到去噪后的目标图块。
具体地,服务器将相似图块组组合为三维矩阵,首先将该三维矩阵中的二维的块(即低信噪比图中的图块)进行二维变换,可采用小波变换或DCT变换等。二维变换结束后,在矩阵的第三个维度进行一维变换,变换完成后对三维矩阵进行阈值处理,将小于阈值的系数置0,然后通过在第三维的一维反变换和二维反变换得到去噪后的目标图块。
方式三:对相似图块组进行加权核范数最小化处理,得到去噪后的目标图块。
具体地,服务器将相似图块组组合为二维矩阵,进行奇异值分解(Singular ValueDecomposition,SVD)得到奇异值和变换矩阵,对奇异值做加权阈值化处理,然后将变换矩阵乘回,得到去噪后的目标图块。
最后,服务器将各个目标图块按照其对应的低信噪比图块的位置进行组合,得到去噪后的目标高信噪比图像数据。
在一个具体的实施例中,图像去噪方法的整体架构如图5所示,参考图5,服务器首先获取多张高信噪比图像,对这些图像进行向量化,然后将得到的高信噪比向量与高信噪比图像对应存储至数据库中,以构建高信噪比图像数据库,进而在进行图像去噪时,服务器在获取到待去噪的低信噪比图像时,可以在对低信噪比图像向量化后,根据得到的低信噪比特征向量从高信噪比图像数据库中进行搜索,以获得至少一张与待重建的低信噪比图像相似的高信噪比图像作为参考图像,最后将待去噪的低信噪比图像与参考图像一起输入训练后的神经网络中,最后输出去噪得到的目标高信噪比图像。
可以理解,图5中的神经网络用于执行本申请实施例中的融合处理的步骤,该神经网络还可以用其他方式替代,例如上文提到的非局部平均、协同滤波、加权核范数最小化等等。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种图像去噪装置600,包括:
数据获取模块602,用于获取待去噪的低信噪比图像数据;
搜索模块604,用于从预先建立的高信噪比图像数据库中获取满足相似度条件的参考图像数据;高信噪比图像数据库根据多个不同对象对应的高信噪比图像数据建立得到;
融合处理模块606,对低信噪比图像数据和参考图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,融合处理模块606还用于分别提取低信噪比图像数据和参考图像数据的纹理特征,得到低信噪比图像数据对应的低信噪比纹理特征及参考图像数据对应的高信噪比纹理特征;根据低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,上述装置还包括模型获取模块,用于获取训练后的机器学习模型;机器学习模型包括特征提取层;融合处理模块606还用于将低信噪比图像数据与参考图像数据输入特征提取层,在特征提取层分别提取低信噪比图像数据和参考图像数据的纹理特征;通过机器学习模型对低信噪比纹理特征及高信噪比纹理特征进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,机器学习模型还包括特征比对层和特征融合层;融合处理模块606还用于将低信噪比纹理特征及高信噪比纹理特征输入特征比对层,在特征比对层对低信噪比纹理特征及高信噪比纹理特征进行相似度比对,获得相似特征分布;将低信噪比图像数据及相似特征分布输入特征融合层,在特征融合层根据相似特征分布及低信噪比图像数据进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,融合处理模块606还用于分别对低信噪比图像数据和参考图像数据进行分块,得到低信噪比图像数据对应的低信噪比图块集合以及参考图像数据对应的参考图块集合;对于低信噪比图块集合中每一个低信噪比图块,从参考图块集合中确定满足相似度条件的目标参考图块;根据目标参考图块进行融合处理,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,融合处理模块606还用于将每一个低信噪比图块与其对应的目标参考图块组成相似图块组,对每一个相似图块组执行以下步骤中的任意一个:
对相似图块组进行非局部平均处理,得到去噪后的目标图块;
对相似图块组进行协同滤波处理,得到去噪后的目标图块;
对相似图块组进行加权核范数最小化处理,得到去噪后的目标图块;
组合各个目标图块,以去噪得到低信噪比图像数据对应的目标高信噪比图像数据。
在一些实施例中,上述装置还包括数据库建立模块,用于获取多个不同对象对应的高信噪比图像数据;对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量;将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立高信噪比图像数据库。
关于图像去噪装置的具体限定可以参见上文中对于图像去噪方法的限定,在此不再赘述。上述图像去噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储高信噪比图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像去噪方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述任意实施例中的图像去噪方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意实施例中的图像去噪方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像去噪方法,其特征在于,所述方法包括:
获取待去噪的低信噪比图像数据;
对所述低信噪比图像数据提取特征,以得到低信噪比图像数据对应的低信噪比特征向量,从高信噪比图像数据库中获取与低信噪比特征向量的向量距离满足距离条件的目标高信噪比特征向量,将目标高信噪比特征向量对应的高信噪比图像数据确定为参考图像数据;
其中,所述高信噪比图像数据库是通过获取多个不同对象对应的高信噪比图像数据,对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量,将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中建立得到的;
对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据;
所述对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据,包括:
获取训练后的机器学习模型;所述机器学习模型包括特征提取层、特征比对层和特征融合层;
将所述低信噪比图像数据与所述参考图像数据输入所述特征提取层,在所述特征提取层分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征,得到所述低信噪比图像数据对应的低信噪比纹理特征及所述参考图像数据对应的高信噪比纹理特征;
将所述低信噪比纹理特征及所述高信噪比纹理特征输入所述特征比对层,在所述特征比对层对所述低信噪比纹理特征及所述高信噪比纹理特征进行相似度比对,获得相似特征分布;所述相似特征分布用于表征所述高信噪比纹理特征中与所述低信噪比纹理特征相似的特征的位置分布;
将所述低信噪比图像数据及所述相似特征分布输入所述特征融合层,在所述特征融合层根据相似特征分布及所述低信噪比图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
2.根据权利要求1所述的方法,其特征在于,所述对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
分别对所述低信噪比图像数据和所述参考图像数据进行分块,得到所述低信噪比图像数据对应的低信噪比图块集合以及所述参考图像数据对应的参考图块集合;
对于所述低信噪比图块集合中每一个低信噪比图块,从所述参考图块集合中确定满足相似度条件的目标参考图块;
根据所述目标参考图块进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标参考图块进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据包括:
将每一个低信噪比图块与其对应的目标参考图块组成相似图块组,对每一个相似图块组执行以下步骤中的任意一个:
对所述相似图块组进行非局部平均处理,得到去噪后的目标图块;
对所述相似图块组进行协同滤波处理,得到去噪后的目标图块;
对所述相似图块组进行加权核范数最小化处理,得到去噪后的目标图块;
组合各个所述目标图块,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述高信噪比图像数据库的建立步骤包括:
获取多个不同对象对应的高信噪比图像数据;
对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量;
将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立所述高信噪比图像数据库。
5.一种图像去噪装置,其特征在于,所述装置包括:
数据获取模块,用于获取待去噪的低信噪比图像数据;
搜索模块,用于对所述低信噪比图像数据提取特征,以得到低信噪比图像数据对应的低信噪比特征向量,从高信噪比图像数据库中获取与低信噪比特征向量的向量距离满足距离条件的目标高信噪比特征向量,将目标高信噪比特征向量对应的高信噪比图像数据确定为参考图像数据;其中,所述高信噪比图像数据库是通过获取多个不同对象对应的高信噪比图像数据,对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量,将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中建立得到的;
融合处理模块,对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据;所述对所述低信噪比图像数据和所述参考图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据,包括:获取训练后的机器学习模型;所述机器学习模型包括特征提取层、特征比对层和特征融合层;将所述低信噪比图像数据与所述参考图像数据输入所述特征提取层,在所述特征提取层分别提取所述低信噪比图像数据和所述参考图像数据的纹理特征,得到所述低信噪比图像数据对应的低信噪比纹理特征及所述参考图像数据对应的高信噪比纹理特征;将所述低信噪比纹理特征及所述高信噪比纹理特征输入所述特征比对层,在所述特征比对层对所述低信噪比纹理特征及所述高信噪比纹理特征进行相似度比对,获得相似特征分布;所述相似特征分布用于表征所述高信噪比纹理特征中与所述低信噪比纹理特征相似的特征的位置分布;将所述低信噪比图像数据及所述相似特征分布输入所述特征融合层,在所述特征融合层根据相似特征分布及所述低信噪比图像数据进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
6.根据权利要求5所述的装置,其特征在于,融合处理模块还用于分别对所述低信噪比图像数据和所述参考图像数据进行分块,得到所述低信噪比图像数据对应的低信噪比图块集合以及所述参考图像数据对应的参考图块集合;对于所述低信噪比图块集合中每一个低信噪比图块,从所述参考图块集合中确定满足相似度条件的目标参考图块;根据所述目标参考图块进行融合处理,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
7.根据权利要求6所述的装置,其特征在于,融合处理模块还用于将每一个低信噪比图块与其对应的目标参考图块组成相似图块组,对每一个相似图块组执行以下步骤中的任意一个:对所述相似图块组进行非局部平均处理,得到去噪后的目标图块;对所述相似图块组进行协同滤波处理,得到去噪后的目标图块;对所述相似图块组进行加权核范数最小化处理,得到去噪后的目标图块;组合各个所述目标图块,以去噪得到所述低信噪比图像数据对应的目标高信噪比图像数据。
8.根据权利要求5至7中任意一项所述的装置,其特征在于,所述装置还包括数据库建立模块,用于获取多个不同对象对应的高信噪比图像数据;对各个高信噪比图像数据提取特征,以得到各个高信噪比图像数据各自对应的高信噪比特征向量;将各个高信噪比图像数据与各自对应的高信噪比特征向量对应存储至数据库中,以建立所述高信噪比图像数据库。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159110.2A CN112801908B (zh) | 2021-02-05 | 2021-02-05 | 图像去噪方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159110.2A CN112801908B (zh) | 2021-02-05 | 2021-02-05 | 图像去噪方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801908A CN112801908A (zh) | 2021-05-14 |
CN112801908B true CN112801908B (zh) | 2022-04-22 |
Family
ID=75814348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110159110.2A Active CN112801908B (zh) | 2021-02-05 | 2021-02-05 | 图像去噪方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801908B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920212B (zh) * | 2021-09-27 | 2022-07-05 | 深圳技术大学 | 磁共振重建模型训练方法、计算机装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096281A (zh) * | 2014-05-14 | 2015-11-25 | 佳能株式会社 | 图像处理装置及图像处理方法 |
EP3416369A1 (en) * | 2016-03-09 | 2018-12-19 | Huawei Technologies Co., Ltd. | Image processing method and apparatus for terminal, and terminal |
CN109978774A (zh) * | 2017-12-27 | 2019-07-05 | 展讯通信(上海)有限公司 | 多帧连续等曝光图像的去噪融合方法及装置 |
CN110728639A (zh) * | 2019-09-29 | 2020-01-24 | 三星电子(中国)研发中心 | 图片修复方法及系统 |
CN111353948A (zh) * | 2018-12-24 | 2020-06-30 | Tcl集团股份有限公司 | 一种图像降噪方法、装置及设备 |
CN112001861A (zh) * | 2020-08-18 | 2020-11-27 | 香港中文大学(深圳) | 图像处理方法和装置、计算机设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639934B (zh) * | 2009-09-04 | 2012-07-04 | 西安电子科技大学 | 基于轮廓波域块隐马尔可夫模型sar图像去噪方法 |
JP6999576B2 (ja) * | 2016-05-06 | 2022-01-18 | メイヨ フォンデーシヨン フォー メディカル エジュケーション アンド リサーチ | 空間とスペクトル情報に基づく複数エネルギーのct画像におけるノイズ制御のためのシステムと方法 |
CN111383182B (zh) * | 2018-12-28 | 2022-09-30 | 展讯通信(上海)有限公司 | 图像去噪方法、装置及计算机可读存储介质 |
CN111652829B (zh) * | 2020-06-09 | 2022-12-06 | 展讯通信(上海)有限公司 | 图像融合方法、装置、电子设备及存储介质 |
-
2021
- 2021-02-05 CN CN202110159110.2A patent/CN112801908B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105096281A (zh) * | 2014-05-14 | 2015-11-25 | 佳能株式会社 | 图像处理装置及图像处理方法 |
EP3416369A1 (en) * | 2016-03-09 | 2018-12-19 | Huawei Technologies Co., Ltd. | Image processing method and apparatus for terminal, and terminal |
CN109978774A (zh) * | 2017-12-27 | 2019-07-05 | 展讯通信(上海)有限公司 | 多帧连续等曝光图像的去噪融合方法及装置 |
CN111353948A (zh) * | 2018-12-24 | 2020-06-30 | Tcl集团股份有限公司 | 一种图像降噪方法、装置及设备 |
CN110728639A (zh) * | 2019-09-29 | 2020-01-24 | 三星电子(中国)研发中心 | 图片修复方法及系统 |
CN112001861A (zh) * | 2020-08-18 | 2020-11-27 | 香港中文大学(深圳) | 图像处理方法和装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
FFA-DMRI: A Network Based on Feature Fusion and Attention Mechanism for Brain MRI Denoising;Dan Hong 等,;《ORIGINAL RESEARCH》;20200916;第2020年卷;第1-9页 * |
多指标融合的小波去噪最佳分解尺度选择方法;陶珂 等,;《测绘学报》;20121031;第41卷(第5期);第749-755页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112801908A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551333B2 (en) | Image reconstruction method and device | |
CN112801875B (zh) | 超分辨率重建方法、装置、计算机设备和存储介质 | |
US10740897B2 (en) | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation | |
Huang et al. | Simultaneous super-resolution and cross-modality synthesis of 3D medical images using weakly-supervised joint convolutional sparse coding | |
Fang et al. | Blind visual quality assessment for image super-resolution by convolutional neural network | |
CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
CN110473196B (zh) | 一种基于深度学习的腹部ct图像目标器官配准方法 | |
Huang et al. | MCMT-GAN: multi-task coherent modality transferable GAN for 3D brain image synthesis | |
CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
CN110838125B (zh) | 医学图像的目标检测方法、装置、设备、存储介质 | |
WO2022247147A1 (en) | Methods and systems for posture prediction | |
Shi et al. | Face hallucination via coarse-to-fine recursive kernel regression structure | |
WO2023142602A1 (zh) | 图像处理方法、装置和计算机可读存储介质 | |
Cai et al. | Superpixel contracted neighborhood contrastive subspace clustering network for hyperspectral images | |
CN111783506A (zh) | 目标特征的确定方法、装置和计算机可读存储介质 | |
WO2022166604A1 (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
CN113112518A (zh) | 基于拼接图像的特征提取器生成方法、装置和计算机设备 | |
CN112801908B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
CN111354076A (zh) | 一种基于嵌入空间的单幅图像三维零件组合式建模方法 | |
CN111178187A (zh) | 一种基于卷积神经网络的人脸识别方法及装置 | |
CN115115676A (zh) | 图像配准方法、装置、设备和存储介质 | |
Cherian et al. | A Novel AlphaSRGAN for Underwater Image Super Resolution. | |
CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理系统 | |
CN115995079A (zh) | 图像语义相似度分析方法和同语义图像检索方法 | |
CN114519729A (zh) | 图像配准质量评估模型训练方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |