CN111095349B - 减少图像中的噪声 - Google Patents
减少图像中的噪声 Download PDFInfo
- Publication number
- CN111095349B CN111095349B CN201880045967.8A CN201880045967A CN111095349B CN 111095349 B CN111095349 B CN 111095349B CN 201880045967 A CN201880045967 A CN 201880045967A CN 111095349 B CN111095349 B CN 111095349B
- Authority
- CN
- China
- Prior art keywords
- training
- images
- image
- input
- input images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims abstract description 234
- 238000013528 artificial neural network Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000012014 optical coherence tomography Methods 0.000 claims description 38
- 230000009467 reduction Effects 0.000 claims description 19
- 210000001525 retina Anatomy 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002207 retinal effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 235000020054 awamori Nutrition 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- -1 metallic structures Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种训练神经网络以减少图像中的噪声的方法，包括从成像设备获得多个输入图像。该方法包括通过组合各自描绘相同对象的输入图像的子集来生成多个目标图像，以减少目标图像的噪声。该方法包括生成多个训练对，其中，训练对包括目标图像之一和训练图像，该训练图像基于与目标图像之一对应的输入图像的子集中的至少一个输入图像但不是全部输入图像。该方法包括使用多个训练对来训练神经网络。
Description
技术领域
本发明涉及用于减少图像中的噪声，特别是斑点噪声的方法和装置。更具体地，本发明涉及减少OCT图像中的斑点噪声。
背景技术
成像设备通常可以基于从一个或多个传感器接收的信号来生成数字图像。生成的图像包含噪声。过去已经进行了许多研究来减少所生成图像中的噪声。
光学相干断层扫描(OCT)是一种非侵入性成像方式，可提供微米分辨率的生物组织和其他样品的多维图像。在最常见的配置中，OCT图像是通过两种宽带激光束的干涉形成的：一种是从静态反射镜(“参考光束”)反射而另一种是从被测样品(“样品束”)反射出来的。在OCT术语中，A扫描是指由静态样本光束获取的单个列；B扫描是指通过样品光束相对于样品沿一条线移动而获得的二维截面图像；以及C扫描是指通过样品束以专用光栅图案相对于样品移动而获得的3维立体图像。
尽管技术取得了重大进步，但OCT图像仍然受到斑点噪声的影响。斑点噪声可能是由热、电、多重散射效应以及数字处理算法的复杂组合引起的。实际上，在许多应用中，重构的OCT信号的频谱能量的75％是噪声。
因此，减少斑点或降噪技术是一项深入研究的问题。第一种也是最简单的方法涉及对从同一样本位置获取的多个B扫描进行平均。由于斑点噪声是随机过程的结果，并且因此是去相关的，因此，平均n次B扫描会导致信噪比(SNR)提高因子
通常在最终的重建图像中执行平均，而不是在干扰信号中执行。
数字去噪算法试图对采集的图像进行后处理，以减少斑点噪声的数量，而不会损害其中包含的结构信息。此类方法的示例包括中值滤波以及其他各向同性和各向异性平滑技术。
2013年应用光学中的第52卷第21号中的M.R.N.阿瓦纳基等人的“使用人工神经网络算法的斑点减少(Speckle reduction using an artificial neural networkalgorith)”中公开了使用人工神经网络算法的斑点降噪方法。为了训练ANN，需要使用已知sigma值的噪声图像。瑞利噪声发生器用于产生已知sigma值的噪声图像。
发明内容
提供一种减少通过测量技术获得的图像的噪声的改进方法将是有利的。
为了解决这个问题，本发明的一方面提供了一种训练神经网络以减少图像中的噪声的方法，包括
从成像设备获得多个输入图像；
识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与该子集的其他输入图像相同；
生成多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；
生成多个训练对，其中，训练对包括
目标图像之一，以及
训练图像，训练图像基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及
使用多个训练对训练神经网络。
如此训练的神经网络能够减少噪声，因为它可以将噪声图像映射到相应的噪声减少的图像。因为神经网络是使用训练图像来训练的，该训练图像基于成像设备实际创建的图像和作为其噪声减少的版本的目标图像，所以神经网络可以了解成像设备及其生成的噪声的特性，并相应地消除检测到的噪声。当使用本文公开的技术时，由于训练图像固有地表示相关的噪声，所以不必事先确定所生成的噪声的细节(例如标准偏差)。
如果训练图像基于一个以上的输入图像，则可以通过组合输入图像的子集中的所述一个以上但不是全部输入图像来生成训练图像，以减少训练图像的噪声。这允许网络从具有训练图像(包含部分减少的噪声)的对中学习。出人意料的是，这种方法可以改善神经网络训练的效果。
生成多个训练图像的步骤可以包括：基于不同数量的输入图像来生成训练图像，通过组合不同数量的输入图像以获得训练图像。
多个训练对可以包括第一训练对和第二训练对，第一训练对包括基于第一数量K1个输入图像的第一训练图像，第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，第一数量K1不同于第二数量K2。被组合的可变数量的图像导致训练图像中的噪声水平可变。第一训练图像将具有与第二训练图像不同的平滑度。这导致改进的神经网络训练结果。
多个训练对可以包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。因此，相同目标图像可能会出现在多个训练对中，以训练不同级别的噪声。这提供了改进的训练结果。
对于每个目标图像及其对应的N个输入图像的子集，对于小于N的所有正整数K，可以基于N个输入图像的子集中的K生成训练图像。发明人发现这可以改善神经网络的训练结果。
对于任何值K，如果存在来自N个输入图像的子集中有K个输入图像的一个以上可能选择，则可以针对N个输入图像的子集中的K个输入图像中的一个以上选择生成训练图像。发明人发现这可以改善神经网络的训练结果。
输入图像的组合可以包括对组合的输入图像的对应值求平均。这是减少目标图像和训练图像中的噪声的有效方法。
该方法可以包括在生成目标图像和训练图像之前在空间上配准子集的输入图像。这可以改善组合图像的结果。
该方法可以包括在训练神经网络之前，通过添加噪声或改变训练图像的方向来增强训练图像。这可以改善网络训练的结果。
可以从光学计算机断层摄影术OCT获得输入图像。本公开中描述的方法特别适合于OCT成像中的降噪。
例如，输入图像的特定子集的输入图像是从单个C扫描图像提取的B扫描图像。C扫描的这些B扫描图像具有在扫描之间以最少的时间获取图像的优点。因此，可以发生较少的运动失真，这使得更容易组合图像以减少噪声。此外，除了获取B扫描之外或替代于B扫描，还可以获取M扫描。在此，M扫描是随时间的在相同点上重复的B扫描。通过组合M扫描，可以减少图像中的噪声。
例如，输入图像可以描绘视网膜的至少一部分。本公开中描述的方法特别适合于视网膜成像，特别是OCT视网膜成像中的降噪。
不同子集的输入图像可以包括不同受试者中相同类型的组织或相同类型的器官的图像。这允许神经网络专门用于特定类型的组织或器官类型的图像。以这种方式，噪声可能更容易与对象本身的实际特征区分开。类似地，不同子集的输入图像可以包括相同类型的不同对象的图像。
获得多个输入图像可以包括从多个不同的成像设备获得输入图像。这些图像可用于与来自不同成像设备的图像创建训练对。这可以为神经网络提供设备概括的能力。使用来自多个设备的图像对训练对进行训练可能有助于发现基础图像结构中的其他信息。当不同的成像设备具有不同的能力时，也是如此。例如，从组织穿透性更好的设备中添加样本可以使神经网络改善组织穿透性较差的设备上的深层组织质量。
在训练之后，该方法可以包括：从成像设备接收新图像，并将新图像作为输入图像提供给神经网络，并从神经网络获得输出图像。在这一步中，可以将经训练的神经网络应用于减少任何图像中的噪声。
根据本发明的另一方面，提供了一种成像设备的降噪设备。该设备包括
输入单元，用于从成像设备接收图像；
控制单元，用于根据经训练的神经网络处理图像，以生成输出图像；以及
神经网络通过以下方式创建：从成像设备获得多个输入图像；识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘与该子集的其他输入图像相同的对象；生成多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；生成多个训练对，其中，训练对包括目标图像之一和训练图像，训练图像基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及使用多个训练对训练神经网络。
根据本发明的另一方面，提供了一种用于训练神经网络以减少图像中的噪声的系统。该系统包括
输入单元，用于从成像设备获得多个输入图像；
控制单元，其配置为：
识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘与该子集的其他输入图像相同的对象；
生成多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；
生成多个训练对，其中，训练对包括
目标图像之一，以及
训练图像，基于与所述目标图像之一对应的子集的至
少一个输入图像但不是全部输入图像；以及
使用多个训练对训练神经网络。
本领域技术人员将理解，可以以认为有用的任何方式组合上述特征。此外，关于该方法描述的修改和变型可以同样地应用于实现该设备和/或计算机程序产品，并且关于该设备描述的修改和变体可以同样地应用于该方法和该计算机程序产品。
附图说明
在下文中，将通过示例并参考附图来阐明本发明的各方面。这些图是示意性的，并可能未按比例绘制。在所有附图中，相似的项可以用相同的附图标记表示。
图1示出准备训练数据集、训练神经网络和应用神经网络的方法的流程图。
图2示出训练神经网络的方法的流程图。
图3示出几种去噪方法的比较。
图4示出降噪装置的框图。
图5示出不同的OCT扫描及其平铺的示例。
图6A示出U形网络(“U-net”)的结构图。
图6B示出出现在图6A中的输入块、输出块、块D和块u的内容的图。
具体实施方式
将参照附图更详细地描述某些示例性实施例。
提供说明书中公开的内容，例如详细的构造和元件，以帮助全面理解示例性实施例。因此，显而易见的是，可以在没有那些具体定义的事项的情况下执行示例性实施例。另外，由于公知的操作或结构将在不必要的细节上使描述不清楚，因此不对其进行详细描述。
根据本公开的一方面，可以通过消除斑点噪声而不损害OCT扫描中编码的结构信息来提高图像质量。根据本公开，神经网络“学习”以将与每种类型的组织相对应的特定斑点图案与背景噪声区分开，并且能够在维持有关组织的信息的同时消除噪声。另外，本文公开的解决方案可以近乎实时地运行以减少所获取图像中的噪声，从而使其与临床环境相关。
根据本公开的一个方面，降噪问题被视为监督的机器学习任务，其中，试图学习一个非线性变换函数f(IN)→I，该函数将一个噪声/损坏的图像IN映射到一个去噪/纯净的图像I。
根据本公开的一个方面，基于例如OCT图像精心地准备数据集，以便捕获用于监督训练的必要信息。使用特定协议获取此数据集，并以特定方式对其进行后处理，以使其分别包含噪声图像和纯净图像对{IN，I}。
可以使用一组广泛的数学转换来增强每个{IN，I}对，以实现对常见图像变化的不变性。
根据本公开的一方面，通过在{IN，I}对上训练卷积神经网络直到收敛来确定高阶非线性变换函数f。
图1示出训练神经网络以减少图像中的噪声的方法的框图。训练数据集是成功训练神经网络的重要组成部分。步骤101至106涉及准备训练数据集，而步骤107涉及使用准备的训练数据集对神经网络的实际训练。
该方法通过获得多个输入图像而在步骤101开始。该步骤可以包括操作图像检测设备以应用传感器来测量图像数据。而且，步骤101可以包括执行图像重建技术，例如计算机断层摄影或相关技术，以获得输入图像。可以获取相似类型对象的不同示例的图像。例如，不同受试者中的视网膜可以被视为相似类型的对象。同一受试者的不同视网膜也可以视为相似类型的对象。此外，如果这些不同部分具有相似的图像特征，则可以获取相同对象的不同部分的图像。在某些应用中，需要相对于每个对象以相同的相对位置全部获取图像。在其他应用中，对对象的哪一部分进行成像的重要性就不那么重要了。这可以通过反复试验来确定。
图像可以是光学相干断层扫描(OCT)图像。这些OCT图像可能已被重建以在其空间域中描绘对象。对象类型可以是视网膜，例如人类视网膜。可以对多个不同受试者(例如，人)的视网膜成像以获得不同受试者的图像。
而且，相同受试者可以被成像多次，在两次测量之间有相当大的延迟，例如以检测疾病的进展。在这种情况下，可以将这些获取视为不同对象的图像(因为在获取之间对象可能已更改)。
在步骤101a中，图像也可以被分组为子集，使得如上定义的相同对象的图像在相同子集中被分组在一起。这使得执行后续处理步骤更加容易。
其他实施例可以涉及例如超声图像或CT图像而不是OCT图像。
在步骤102中，可以将与相同对象相对应的图像的子集的图像彼此配准。该步骤可以是运动补偿步骤。可以从稍有不同的位置获取同一对象的连续图像，或者该对象可能已在连续图像之间移动。配准步骤使图像彼此匹配以补偿任何这种运动。该步骤是可选的，因为在某些实施例中，可以忽略运动量。步骤102的输出是一组图像，其中，相同对象的不同图像相对于彼此运动补偿。换句话说，每个子集中的图像相对于该子集中的其他图像进行运动补偿。
在步骤103中，可以执行可选步骤以拒绝离群值。例如，如果运动补偿失败，或者子集内的图像在运动补偿后相差太大，则图像可能会被丢弃。可选地，如果图像本身具有异常属性(太暗、不切实际的尖峰等)，则可以丢弃此类图像。步骤103的输出是一个通过丢弃异常值进行了运动补偿和清理的数据集。注意，可以在步骤101和102之间执行替代的或附加的异常排除步骤。
在步骤104中，从现有图像生成质量改善的图像。例如，描绘相同对象的图像的每个子集中的图像可以被平均或以其他方式组合以获得质量改善的图像。由于每个子集中的图像都经过了运动补偿，因此图像的平均可以降噪，同时增强实际的组织信息。这些改进质量的图像在下文中被称为“目标图像”。
在步骤105中，生成具有不同噪声水平的图像。这可以通过对来自图像的每个子集的不同数量的图像进行平均或以其他方式组合来执行。即，如果图像的子集具有N个图像，则N个平均的图像(子集中所有图像的平均值)就是目标图像。但是，少于N个图像的平均图像构成训练图像。从K＝1到K＝N-1的任何数量的图像K可以被平均。同样，对于K的每个值，可以从N个图像的子集中选择K个图像。所有这些选择导致不同的训练图像。因此，所有这些选择可以用于生成许多训练图像。在某些实施例中，使用从1到N-1的K的所有值，并且使用K个图像的所有可能的选择来生成尽可能多的训练图像。可选地，做出关于应该实际使用哪些可能性的选择。例如，对于任何K值的选择数量可以被限制为预定数量的随机选择。可选地，并非使用K的每个值，而是仅使用K的某些值。例如，可以使用奇数值K(K＝1、3、5，...，其中，K<N)或K的每第三个值(K＝1，4、7，...，其中，K<N)。对于要被组合的图像的选择的其他选择对于本领域技术人员将是显而易见的。将注意，尽管本示例详细说明了图像的平均，但是对于步骤104和105而言，其他种类的组合(例如中值)也是可以的。
在步骤105的简化版本中，每个训练图像基于图像子集的至少一个但不是全部输入图像。例如，对于每个目标图像只能制作一个训练图像。或者，仅单个输入图像(K＝1)可用作训练图像。因此，可以省略不同数量的K。
在步骤106中，准备成对的噪声图像和去噪图像。每对包含训练图像和目标图像。一对训练图像和目标图像基于描述对象的同一图像子集。由于在步骤105中为每个子集创建了多个目标对象，因此相同的目标图像将被包括在多个不同的对中。这些对在下文中被称为“训练对”。
在步骤107中，使用训练对来训练神经网络。为此，可以使用任何合适的神经网络拓扑和训练过程。神经网络的输入是训练图像，并且目标输出是与训练图像相对应的目标图像。图2示出步骤107的示例实现。
当训练过程完成时，可以应用神经网络来减少图像中的噪声。为此，如步骤108所示，当获取新图像时，该图像可以被应用于神经网络。神经网络的输出可以被用作减少噪声的图像。
图2示出使用如本公开中所述准备的训练数据集来训练神经网络的方法。将理解的是，该图仅被提供为说明性示例。用于训练神经网络的其他方案是本领域技术人员已知的，并且可以相应地应用。
在步骤201中，从可用的训练对中随机选择n个训练对。每个训练对包括有噪图像Snoisy(也称为训练图像)和去噪图像Sdenoised(也称为目标图像)。可以通过反复试验确定合适的数量n(其中n小于可用训练对的数量)。
在步骤202中，将随机选择的训练对的训练图像应用于神经网络。这可以由公式
表示，其中，FCNN表示神经网络。神经网络FCNN可以是卷积神经网络或其他类型的监督学习神经网络。
在步骤203，确定误差函数；将神经网络的每个输出
与对应的目标图像Sdenoised比较以确定误差。可以将误差值确定为例如差的平方和。例如，对于图像的每个像素或体素，可以确定平方差。可以添加这些平方差。可以针对所有n个随机选择的图像重复该过程。可以计算所有平方差的总和并将其除以n以补偿图像数量n。这可以得到以下示例公式：
其中，E是确定的误差值。
在步骤204中，可以以减小误差值E的方式来适配神经网络的参数。如本领域本身已知的，该步骤可以通过反向传播的过程来执行。
在步骤205，测试该过程是否已经收敛。这可以通过将误差值E与预定阈值进行比较来执行。可选地，可以跟踪E减小的速度，并且如果误差值E的减小速度减慢，则可以确定处理已经收敛。可选地，可以确定在预定次数的迭代之后该过程已经收敛。如果该过程尚未收敛，则该过程从步骤201开始重复。如果该过程已经收敛，则该过程在步骤206结束，并且可以存储所得的神经网络以供将来使用。
在高水平上，本文公开的技术可以允许利用OCT图像的稀疏性，即特定样本的可能OCT足迹的总数远低于可能图像的总数这一事实，以便学习变换函数f的有效表示。例如，即使是高度病理性的眼睛(例如，玻璃体液位于视网膜上方，而脉络膜位于下方)的情况下，对人视网膜的OCT扫描也显示出非常特殊的分层结构。通过对CNN进行足够数量的代表性视网膜扫描训练，可以学习从噪声IN扫描到基础结构的基础纯净I图像的转换功能，而不会出现斑点噪声或斑点噪声降低。由于可能的有效I图像的数量少于可能的噪声IN扫描的数量，因此可以将该转换函数视为一种压缩策略，将压缩系数编码为CNN的结构和权重。
监督学习可以允许将特定样本的OCT结构先验提取到CNN中。{IN，I}训练数据集使CNN能够发现变换函数f(IN)→I，这仅在噪声或纯净样本的情况下才可能实现。数据集增强使CNN可以学习有关变换函数的不变式，同时保持{IN，I}的数量或必要的输入图像的数量易于处理。最后，使用CNN允许(a)使用随机梯度下降法找到f的有效高参数近似值；(b)从训练数据集中推广到从不同设备获取的不同受试者的相似图像；(c)使用现代GPU加速来实现近实时性能。
本文公开的技术具有许多优点。在以下段落中，将更详细地讨论一些特性和可能的优点。
采集时间。在视网膜OCT的情况下，取决于样品和成像设备，该技术可实现的SNR相当于20-50倍的平均水平。本质上，对于相同的图像质量，这将使获取时间减少20-50倍，或者对于相同的获取时间，将使图像质量增加。
样本归纳。发明人发现，对包含特定样本位置的2D B扫描的训练数据的训练允许对相似样本的完整3D C扫描进行降噪。例如，对视网膜的B扫描进行训练可以对其他任何视网膜的C扫描进行降噪。
设备概括。发明人发现，通过对特定设备的样本进行训练，可以对由具有相似特征(例如体素尺寸和分辨率)的其他设备创建的样本图像进行降噪。对多个设备的组合样本进行训练可有助于发现底层OCT结构中的其他信息(例如，从具有更好组织渗透性的设备中添加样本可以改善组织渗透性较差的设备的深层组织质量。)
性能。与先前的迭代方法不同，本文公开的神经网络方法可以使用通过CNN的单个“前向”传递对图像进行降噪。结合广泛的GPU加速，可以在当前系统上实现接近实时的性能。
灵活性。给定适当的数据集，此方法可用于对任何种类的生物组织(例如视网膜、角膜、皮肤、脑组织、牙齿、动脉/血管或结肠)或非生物样本(例如油漆、金属结构、半导体)进行降噪。实际上，该技术不仅可以应用于OCT，而且可以应用于遭受斑点噪声的任何成像方式(例如，X射线、计算机断层扫描(CT)、磁共振成像(MRI)、超声或荧光/自发荧光图像)。
降低成本。本文公开的技术可允许构造成本仅一小部分即可胜过高端临床设备的OCT设备。
数据压缩。通过消除斑点噪声，即使使用无损压缩，也可以大幅减少每次获取的B扫描的存储空间。例如，当使用无损PNG压缩时，发明人能够实现3倍更大的压缩比。
在下文中，将详细公开示例训练过程。然而，本文公开的细节仅旨在帮助理解本发明。它们无意于限制本公开的范围。而且，将结合OCT成像的特定应用来解释该技术。但是，在提到OCT的地方，可以用另一种成像技术替代它。在OCT术语中，“A扫描”表示一维图像，代表沿激光束直线的特征。“B扫描”表示二维图像，该二维图像表示平面或表面中的特征，该二维图像是通过沿一定路径(可以是直线)扫描激光束而获得的。“C扫描”表示通过以二维图案扫描激光束而获得的三维图像。图5(a)示出B扫描，其中Y轴表示沿着光束的方向，而X方向表示沿着扫描表面的扫描方向。图5(b)示出可以如何组合在y方向上获取的几个图块以形成单个B扫描。如图5(b)所示，可以以几种不同的方式执行平铺。例如，如图5(b)右侧数字1')所示，图块可能仅覆盖X方向的一部分，但原始图像的整个范围都沿Y方向延伸。如图5(b)的左侧所示，也可以沿X方向和Y方向进行平铺，例如，沿Y方向获得四个图块1)、2)、3)和4)。例如，正方形图块可以以此方式制成。图5(c)示出C扫描，其中检测器也扫描z方向。在整个本公开中，在讨论输入图像、训练图像和目标图像的地方，这种图像可以是较大图像的图块。
神经网络的训练涉及创建数据集，该数据集包括相同样本的噪声图像IN和纯净图像I的对{IN，I}。在OCT的情况下，例如，这些图像可以是B扫描。我们将概念上纯净的I B扫描近似为同一样本位置的一组噪声IN B扫描的平均值。
为了获得可以被平均以获得高质量的平均B扫描的适当的噪声图像集，可以应用几种不同的技术。由于标准的商用OCT设备只能提供IN(单个非平均B扫描)或I(单个n平均B扫描，使用设备特定的专有算法进行后处理)，但不能同时提供两个，公开了两种可选方法来获取创建{IN，I}对所需的数据：
作为第一种可能性，可以使用定制的OCT设备，该OCT设备可以同时提供n个平均的I B扫描和单独的IN B扫描。例如，通过快速重复地获取相同样本位置的10个B扫描，可以获得10个IN B扫描，可以对其进行平均以获得相应的高质量I B扫描。
可选地，可以获取密集的非平均C扫描。在那种情况下，C扫描的每个单独的B扫描形成一个带噪的IN图像，并且C扫描的n个平均B扫描的块形成纯净的I图像。在这种情况下，n最好应足够低，以避免运动模糊对不同样本位置的B扫描取平均(例如，n在3到5之间)。
又或者，可以获取高平均的B扫描作为纯净的I图像，并使用加性或乘性噪声来合成带噪的IN图像。虽然这允许基本的去斑点处理，但是此方法可能会产生定性较差的结果。
为了训练网络以提供降噪，可以执行以下步骤。
1.对齐B扫描。阿波斯托洛普洛斯等人公开了对准B扫描的示例方法(即使用基于强度的配准来平整视网膜曲率和所有B扫描)。
2.对齐后，平均n组图像以构造纯净的I样本。
a.举一个有用的例子，当有10个B扫描描述相同位置的数据集可用时，n＝10效果很好。
b.如果从C扫描中提取B扫描(作为一个有用的示例)，则n＝5可以很好地平衡平均图像质量和运动模糊(因为每个单独的B扫描都描绘了较大C扫描的不同部分)。在某些应用中，C扫描数据集非常密集，以至于n＝5等于y轴上的0.0586μm，这在一定程度上没有运动和伪影。
3.对于每个n平均基本事实，产生其完整的m＝1..n个平均带噪的IN样本集合。例如，对于n＝3的纯净I样本，带噪的IN样本的完整集合包括：
a.3倍样本，其中m＝1
b.3倍样本，其中m＝2
c.1倍样本，其中m＝3(“基本事实”图像)
d.总共6倍{IN，I}对。
4.增强数据集。注意，以下每个扩充都是示例，并非在所有实现中都是必需的。此外，除了下面列出的增强以外，还可以使用其他增强。
a.随机水平翻转(同时应用于训练图像和目标图像)。
b.随机高斯噪声(应用于训练图像，而不应用于目标图像)。
c.随机瑞利噪声(应用于训练图像，而不应用于目标图像)。
d.x轴和z轴上的随机高斯模糊(应用于训练图像，而不是目标图像)。
e.随机移位和剪切(同时应用于训练图像和目标图像)可用于提高鲁棒性。
5.如图5(b)所示，可以选择将图像拆分为图块。与沿z轴进行平铺相比，沿x轴进行平铺可能会导致更好的训练结果和更少的伪影(因为z图块有时可能包含纯噪声，这会导致伪影)。在某些实施例中，平铺使得图像是正方形的，即，在平铺的每个方向上的像素数量是相等的或大约相同。
作为神经网络，可以采用卷积神经网络。例如，U形网络(“U-net”)。例如，从龙内伯格、O.等人的，“U-Net：用于生物医学图像分割的卷积网络”，医学图像计算和计算机辅助干预(MICCAI)，施普林格，LNCS，Vol.9351：234-241，2015中可以知道用于生物医学图像分割的深U型卷积神经网络。可以使用本文公开的数据集对这种网络进行调整和训练，以创建减少噪声的神经网络。图6A示出网络架构的合适示例的图。该架构包括卷积、整流线性单元、池化和上采样层。图6B示出在图6a的图中使用的BlockD、BlockU、输入和输出块的示例内容。在其他实施例中，可以替代地使用其他类型和架构的神经网络。
例如，如果图像具有N×M个像素，并且每个像素具有一个与之关联的强度值，则神经网络可以具有N×M个输入单元和N×M个输出单元，一个输入单元对应于(训练图像的)每个像素值，并且一个输出单元，对应于(目标图像的)每个像素值。当每个像素有更多像素值(例如不同的颜色通道)时，然后，可以在神经网络中相应地提供更多的输入单元和输出单元，一个输入单元用于图像中的每个像素值，并且一个输出单元用于神经网络的输出图像中的每个像素值。为了支持不同分辨率的图像，可以在应用神经网络之前或之后执行重采样步骤，以将图像的期望分辨率调整为可用输入/输出单元的数量。
本文公开的技术允许神经网络学习手头的对象的类型的结构，例如不同层上的视网膜，并通过从OCT散斑图案推断最可能的结构来重建丢失的信息。结果是显着改善了图像质量，并几乎完全消除了斑点噪声。实际上，由于完全没有运动伪像和模糊，因此此结果有时比等效的N平均扫描更好。
在单个B扫描位置上进行训练似乎可以提供足够的信息，以对整个C扫描进行降噪，即使它包含病理也是如此。但是，可以预见的是，将带有病理的基本事实添加到训练集中将提高结果的质量。
用随机数量的高斯和瑞利噪声破坏训练图像似乎在很大程度上有助于训练过程和结果质量(即，外观更平滑、噪声更少)。
用高斯模糊破坏训练样本可能会导致结果形状更清晰。这也可能导致整体图像稍微模糊。
针对m(m<n)的许多不同值使用m平均扫描可以显著提高图像质量。
在分辨率或直方图方面，重新训练对于使神经网络适应具有极大不同成像特性的设备可能是有用的。
神经网络既占用大量内存，又占用大量计算量。使用以上配置，可以在例如4的小批量大小下进行训练，并且在Nvidia GeForce GTX 1080(Nvidia，美国加利福尼亚州圣塔克拉拉)上，可能达到约2-4次B扫描/秒的推断速率。
具有较少级别或较少参数的网络配置可以一次以例如8或10次B扫描的小批量进行训练，对应的推断速率为约8-16次B扫描/秒。
使用基于图块的方法所获得的图像质量似乎要低于使用全图像处理所获得的质量。原因似乎是缺乏更大的背景。当使用整个图像时，图像中看到的结构可以通过神经网络相互关联。例如，脉络膜结构总是出现在视网膜下方。一个良好的基于图块的折衷方案似乎涉及覆盖扫描的整个z轴的薄垂直图块。这尤其适用于OCT和视网膜成像，但扩展到某些其他类型的材料和组织中的其他OCT结果。
基于3D的方法可用于提高重建的图像质量。这可能包括3D卷积或多通道2D卷积，它们会将多个相邻的输入B扫描组合为一个输出。实际上，使用多个通道可以以较小的存储成本提高图像质量。该架构的示例将由与上述示例相似的基线结构组成，但将卷积(conv)增加到第3维，包括相邻的B扫描。
在体内成像的情况下，由于运动伪像，单纯的平均可能会导致图像模糊。通过首先在它们之间(例如通过互相关或模板匹配)或与公共参考图像对齐或配准n个B扫描中的每一个，可以获得更好的结果。后者可以通过使用眼动仪(例如扫描激光检眼镜(SLO)或常规红外摄像机)对眼底进行成像，并使用检测到的眼动来校正每个B扫描的位置来实现。
图3示出几种降噪方法的比较。图3a示出原始图像，没有执行降噪。图3b示出使用小波降噪之后的图像。图3c示出使用块匹配和3D滤波(BM3D)方法降噪后的图像。图3d示出降噪20倍平均后的图像。图3e示出使用根据本公开的方法降噪之后的图像。
图4示出成像设备的框图，该成像设备可以使用神经网络来减少噪声。该设备包括存储器400。存储器400可以包括任何类型的存储器设备或存储介质，包括易失性或非易失性存储器，或者不同类型的存储器的组合。存储器400可以包括人工神经网络的定义，包括网络的结构和网络的参数。神经网络的参数可能已经借助于本公开中更详细的其他地方阐述的训练过程来计算。训练过程可以包括：从成像设备获得多个输入图像；识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘与该子集的其他输入图像相同的对象；生成多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；生成多个训练对，其中，训练对包括目标图像之一和训练图像，该训练图像基于与目标图像之一相对应的子集的至少一个但不是全部输入图像；以及使用多个训练对训练神经网络。
存储器400可以进一步用于存储图像数据402。可以在控制单元410的控制下经由输入单元411接收这些图像数据并将其存储在存储器400中。而且神经网络401的输出(例如降噪图像数据)可以存储在存储器400中。
存储器400可以进一步存储程序代码403，以配置控制单元410以控制某些任务，诸如处理经由输入单元411接收的输入图像，使神经网络401处理图像数据，以及输出并存储神经网络输出的图像。
该设备可以进一步包括输入单元411，该输入单元411可以经由外部数据存储系统414从成像设备413接收图像数据。输入单元411可以包括例如用于有线通信的通信端口或用于无线通信的收发器。
设备可以进一步包括输出单元412，以将图像输出到例如显示器415或外部存储系统414。类似于输入单元，输出单元可以包括通信端口和/或无线通信设备。一件硬件可以同时实现输入单元和输出单元。
外部存储系统414可以包括配置用于数据存储和检索的计算机服务器，例如按患者档案组织。
显示器415可以包括任何显示设备，例如计算机监视器，或者可以替代地包括工作站，该工作站包括计算机和监视器。
成像设备413包括被配置为执行某些测量的传感器。合适的成像设备的示例是光学相干断层扫描(OCT)扫描仪，计算机断层扫描仪或磁共振成像扫描仪。成像设备413可以包括用于将图像数据重构到空间或时空域中的重构单元。成像设备可以被配置为将重构的图像数据输出到外部存储系统414或直接输出到输入单元411。
控制单元410可以是能够控制系统的组件并执行存储在存储器400中的计算机代码403以实现本文公开的功能的任何可编程处理器或控制器。可以通过程序代码403对控制单元410进行编程，以执行神经网络401的训练，或者在训练之后，通过应用经训练的神经网络401处理新的图像数据。
其他实施例，例如基于云的实施方式也是可能的。
本发明的一些或所有方面适合于以软件，特别是计算机程序产品的形式实现。例如，处理图像的子集以生成训练数据集所涉及的步骤适合于在计算机程序中实现。神经网络的训练过程也可以由计算机程序执行。类似地，可以通过计算机程序来将神经网络应用于新图像。该计算机程序产品可以包括存储在非暂时性计算机可读介质上的计算机程序。而且，计算机程序可以由诸如光纤电缆或空气的传输介质所承载的信号(诸如光信号或电磁信号)来表示。该计算机程序可以部分或全部具有适用于由计算机系统执行的源代码、目标代码或伪代码的形式。例如，该代码可以由控制单元执行，该控制单元可以包括一个或多个处理器或控制器。
本文描述的示例和实施例用于说明而不是限制本发明。如所附权利要求及其等同物所限定的，本领域技术人员将能够设计替代实施例而不脱离本公开的精神和范围。不应将权利要求中括号内的附图标记解释为限制权利要求的范围。在权利要求或说明书中被描述为单独实体的项目可以被实现为结合了所描述项目的特征的单个硬件或软件项目。
在以下项中公开了示例。
1.一种训练神经网络以减少图像中的噪声的方法，包括：
从成像设备获得(101)多个输入图像；
识别(101a)输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与该子集的其他输入图像相同；
生成(104)多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；
生成(105)多个训练对，其中，训练对包括
目标图像之一，以及
训练图像，训练图像基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及
使用多个训练对训练(107)神经网络。
2.根据项1的方法，还包括：如果训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上输入图像但不是所有输入图像来生成训练图像，以减少训练图像的噪声。
3.根据项2的方法，其中，多个训练对包括第一训练对和第二训练对，第一训练对包括基于第一数量K1个输入图像的第一训练图像；第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，第一数量K1不同于第二数量K2。
4.根据项3的方法，其中，多个训练对包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。
5.根据前述项中的任一项的方法，其中，对于每个目标图像及其对应的N个输入图像的子集，针对小于N的所有正整数值K，基于N个输入图像的子集的K生成训练图像。
6.根据前述项中任一项的方法，其中，对于任何值K，如果存在来自N个输入图像的子集的K个输入图像的一个以上的可能选择，则从N个输入图像的子集中针对K个输入图像中的一个以上选择生成训练图像。
7.根据前述项中任一项的方法，
其中，输入图像的组合包括对组合后的输入图像的相应值求平均，或者
还包括在生成目标图像和训练图像之前在空间上配准子集的输入图像，或者
还包括在训练神经网络之前，通过添加噪声或改变训练图像的方向来增强训练图像。
8.根据前述项中任一项的方法，其中，输入图像是通过光学计算机断层摄影术OCT获得的。
9.根据项8的方法，其中，输入图像的特定子集的输入图像包括从单个C扫描图像中提取的多个B扫描图像。
10.根据前述项中任一项的方法，其中，输入图像描绘视网膜的至少一部分。
11.根据前述项中任一项的方法，其中，不同子集的输入图像包括不同受试者中相同类型的组织或相同类型的器官的图像，或者其中，不同子集的输入图像包括相同类型的不同对象的图像。
12.根据前述项中任一项的方法，其中，获得多个输入图像包括从多个不同的成像设备获得输入图像。
13.根据前述项中任一项的方法，进一步包括，在训练之后，从成像设备接收新图像，并将新图像作为输入图像提供(108)到神经网络，并从神经网络获得输出图像。
14.一种成像设备的降噪设备，包括
输入单元(411)，用于从成像设备接收图像；
控制单元(410)，用于根据经训练的神经网络(401)处理图像，以生成输出图像；以及
神经网络(401)通过以下方式创建：从成像设备获得多个输入图像；识别输入图像的子集，其中，输入图像的子集的每个输入图像描绘与该子集的其他输入图像相同的对象；生成多个目标图像，其中，通过组合子集之一的输入图像以减少噪声来生成目标图像；生成多个训练对，其中，训练对包括目标图像之一和训练图像，训练图像基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及使用多个训练对训练神经网络。
15.一种用于训练神经网络以减少图像中的噪声的系统，包括：
输入单元(411)，用于从成像设备获得多个输入图像；
控制单元(410)，其被配置为：
识别(101a)输入图像的子集，其中，输入图像的子集的每个输入图像描绘与该子集的其他输入图像相同的对象；
生成(104)多个目标图像，其中，通过组合子集之一的输入图像来生成目标图像以减少噪声；
生成(105)多个训练对，其中，训练对包括
目标图像之一，以及
训练图像，其基于与所述目标图像之一对应的子集的至少一个输入图像但不是全部输入图像；以及
使用多个训练对训练(107)神经网络(401)。
Claims (12)
1.一种训练神经网络以减少图像中的噪声的方法，包括：
从成像设备获得多个输入图像；
识别所述输入图像的子集，其中，输入图像的子集的每个输入图像描绘的对象与所述子集的其他输入图像相同；
生成多个目标图像，其中，通过组合所述子集之一的所述输入图像来生成目标图像以减少噪声；
生成多个训练对，其中，训练对包括
所述目标图像之一，以及
训练图像，所述训练图像基于与所述目标图像之一对应的所述子集的至少一个所述输入图像但不是全部所述输入图像，其中，如果所述训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上所述输入图像但不是所有所述输入图像来生成所述训练图像，以减少所述训练图像的噪声；以及
使用所述多个训练对训练神经网络，其中，至所述神经网络的输入包括所述多个训练对中的某一训练对的所述训练图像，并且所述神经网络的目标输出包括所述某一训练对的所述目标图像，
其中，所述多个训练对包括第一训练对和第二训练对，所述第一训练对包括基于第一数量K1个输入图像的第一训练图像，所述第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，所述第一数量K1不同于所述第二数量K2，其中，所述多个训练对包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。
2.根据权利要求1所述的方法，其中，对于每个目标图像及其对应的N个输入图像的子集，针对小于N的所有正整数值K3，基于所述N个输入图像的子集的K3生成训练图像。
3.根据前述权利要求2所述的方法，其中，对于任何值K4，如果存在来自所述N个输入图像的子集的K4个输入图像的一个以上的可能选择，则从所述N个输入图像的子集中针对所述K4个输入图像中的一个以上选择生成训练图像。
4.根据权利要求1至2中任一项所述的方法，
其中，所述输入图像的组合包括对组合后的输入图像的相应值求平均，或者
还包括在生成所述目标图像和训练图像之前在空间上配准子集的所述输入图像，或者
还包括在训练所述神经网络之前，通过添加噪声或改变所述训练图像的方向来增强所述训练图像。
5.根据权利要求1至2中任一项所述的方法，其中，所述输入图像是通过光学计算机断层摄影术OCT获得的。
6.根据权利要求5所述的方法，其中，输入图像的特定子集的所述输入图像包括从单个C扫描图像中提取的多个B扫描图像。
7.根据权利要求1至2中任一项所述的方法，其中，所述输入图像描绘视网膜的至少一部分。
8.根据权利要求1至2中的任一项所述的方法，其中，不同子集的所述输入图像包括不同受试者中相同类型的组织或相同类型的器官的图像，或者其中，不同子集的所述输入图像包括相同类型的不同对象的图像。
9.根据权利要求1至2中任一项所述的方法，其中，获得所述多个输入图像包括从多个不同的成像设备获得输入图像。
10.根据权利要求1至2中任一项所述的方法，进一步包括，在训练之后，从成像设备接收新图像，并将所述新图像作为输入图像提供到所述神经网络，并从所述神经网络获得输出图像。
11.一种成像设备的降噪设备，包括
输入单元，用于从成像设备接收图像；
控制单元，用于根据经训练的神经网络处理所述图像，以生成输出图像；以及
所述神经网络通过以下方式创建：从成像设备获得多个输入图像；识别所述输入图像的子集，其中，输入图像的子集的每个输入图像描绘与所述子集的其他输入图像相同的对象；生成多个目标图像，其中，通过组合所述子集之一的所述输入图像以减少噪声来生成目标图像；生成多个训练对，其中，训练对包括所述目标图像之一和训练图像，所述训练图像基于与所述目标图像之一对应的所述子集的至少一个所述输入图像但不是全部所述输入图像，其中，如果所述训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上所述输入图像但不是所有所述输入图像来生成所述训练图像，以减少所述训练图像的噪声；以及使用所述多个训练对训练所述神经网络，其中，至所述神经网络的输入包括所述多个训练对中的某一训练对的所述训练图像，并且所述神经网络的目标输出包括所述某一训练对的所述目标图像，
其中，所述多个训练对包括第一训练对和第二训练对，所述第一训练对包括基于第一数量K1个输入图像的第一训练图像，所述第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，所述第一数量K1不同于所述第二数量K2，其中，所述多个训练对包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。
12.一种用于训练神经网络以减少图像中的噪声的系统，包括：
输入单元，用于从成像设备获得多个输入图像；以及
控制单元，被配置为：
识别所述输入图像的子集，其中，输入图像的子集的每个输入图像描绘与所述子集的其他输入图像相同的对象；
生成多个目标图像，其中，通过组合所述子集之一的所述输入图像来生成目标图像以减少噪声；
生成多个训练对，其中，训练对包括
所述目标图像之一，以及
训练图像，所述训练图像基于与所述目标图像之一对应的所述子集的至少一个所述输入图像但不是全部所述输入图像，其中，如果所述训练图像基于一个以上输入图像，则通过组合输入图像的子集中的所述一个以上所述输入图像但不是所有所述输入图像来生成所述训练图像，以减少所述训练图像的噪声；以及
使用所述多个训练对训练神经网络其中，至所述神经网络的输入包括所述多个训练对中的某一训练对的所述训练图像，并且所述神经网络的目标输出包括所述某一训练对的所述目标图像，
其中，所述多个训练对包括第一训练对和第二训练对，所述第一训练对包括基于第一数量K1个输入图像的第一训练图像，所述第二训练对包括基于第二数量K2个输入图像的第二训练图像，其中，
所述第一数量K1不同于所述第二数量K2，其中，所述多个训练对包括具有相同目标图像但是基于不同数量的输入图像的不同训练图像的训练对。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17172039.4A EP3404611A1 (en) | 2017-05-19 | 2017-05-19 | Reducing noise in an image |
| EP17172039.4 | 2017-05-19 | ||
| PCT/EP2018/062824 WO2018210978A1 (en) | 2017-05-19 | 2018-05-16 | Reducing noise in an image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111095349A CN111095349A (zh) | 2020-05-01 |
| CN111095349B true CN111095349B (zh) | 2023-05-12 |
Family
ID=58994831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880045967.8A Active CN111095349B (zh) | 2017-05-19 | 2018-05-16 | 减少图像中的噪声 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11170258B2 (zh) |
| EP (2) | EP3404611A1 (zh) |
| JP (1) | JP7189940B2 (zh) |
| CN (1) | CN111095349B (zh) |
| ES (1) | ES2958934T3 (zh) |
| PL (1) | PL3625759T3 (zh) |
| WO (1) | WO2018210978A1 (zh) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119077A1 (en) | 2016-12-21 | 2018-06-28 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
| JP7402866B2 (ja) | 2018-06-20 | 2023-12-21 | アキュセラ インコーポレイテッド | 家庭用眼科用途のための小型化モバイル低コスト光干渉断層撮影システム |
| EP3815599A4 (en) * | 2018-06-29 | 2022-03-09 | Nidek Co., Ltd. | OPHTHALMIC IMAGE PROCESSING DEVICE, OCT DEVICE, OPHTHALMIC IMAGE PROCESSING PROGRAM, AND MATHEMATICAL MODEL CONSTRUCTION METHOD |
| CN109685743B (zh) * | 2018-12-30 | 2023-01-17 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
| EP3924931A1 (en) * | 2019-02-14 | 2021-12-22 | Carl Zeiss Meditec, Inc. | System for oct image translation, ophthalmic image denoising, and neural network therefor |
| CA3131154A1 (en) * | 2019-02-21 | 2020-08-27 | Case Western Reserve University | Processing three-dimensional (3d) ultrasound images |
| US11257190B2 (en) * | 2019-03-01 | 2022-02-22 | Topcon Corporation | Image quality improvement methods for optical coherence tomography |
| JP7258604B2 (ja) * | 2019-03-05 | 2023-04-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法 |
| US11315221B2 (en) | 2019-04-01 | 2022-04-26 | Canon Medical Systems Corporation | Apparatus and method for image reconstruction using feature-aware deep learning |
| WO2020219915A1 (en) * | 2019-04-24 | 2020-10-29 | University Of Virginia Patent Foundation | Denoising magnetic resonance images using unsupervised deep convolutional neural networks |
| DE102019205962A1 (de) * | 2019-04-25 | 2020-10-29 | Robert Bosch Gmbh | Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze |
| KR102366557B1 (ko) * | 2019-05-03 | 2022-02-23 | 한국광기술원 | 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법 |
| US11100612B2 (en) * | 2019-05-07 | 2021-08-24 | Fei Company | Acquisition strategy for neural network based image restoration |
| CN112102423A (zh) * | 2019-06-17 | 2020-12-18 | 通用电气精准医疗有限责任公司 | 医学成像方法及系统 |
| GB2585232B (en) * | 2019-07-04 | 2021-12-08 | Apical Ltd | Image data pre-processing for neural networks |
| JP7469858B2 (ja) | 2019-08-06 | 2024-04-17 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理方法、および画像処理装置 |
| WO2021045019A1 (ja) * | 2019-09-04 | 2021-03-11 | 株式会社ニデック | 眼科画像処理プログラムおよび眼科画像処理装置 |
| US11798159B2 (en) * | 2019-09-20 | 2023-10-24 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for radiology image classification from noisy images |
| JP2021060847A (ja) * | 2019-10-08 | 2021-04-15 | 株式会社ザクティ | ノイズ除去システム |
| KR20210073135A (ko) * | 2019-12-10 | 2021-06-18 | 삼성전자주식회사 | 눈 복원 기반의 눈 추적 방법 및 장치 |
| US11790492B1 (en) * | 2019-12-18 | 2023-10-17 | Thales Sa | Method of and system for customized image denoising with model interpretations |
| WO2021134087A1 (en) | 2019-12-26 | 2021-07-01 | Acucela Inc. | Optical coherence tomography patient alignment system for home based ophthalmic applications |
| CN111105417B (zh) * | 2020-03-17 | 2023-07-07 | 珠海欧比特宇航科技股份有限公司 | 影像噪声定位方法及系统 |
| US20210290191A1 (en) * | 2020-03-18 | 2021-09-23 | The Regents Of The University Of California | Method and system for denoising ct images using a neural network |
| US11222406B2 (en) * | 2020-06-05 | 2022-01-11 | Canon Medical Systems Corporation | Method and system for training a machine learning-based image denoising system |
| US11468551B1 (en) * | 2020-07-24 | 2022-10-11 | Norfolk Southern Corporation | Machine-learning framework for detecting defects or conditions of railcar systems |
| US10959613B1 (en) | 2020-08-04 | 2021-03-30 | Acucela Inc. | Scan pattern and signal processing for optical coherence tomography |
| WO2022035809A1 (en) | 2020-08-14 | 2022-02-17 | Acucela Inc. | System and method for optical coherence tomography a-scan decurving |
| US11393094B2 (en) * | 2020-09-11 | 2022-07-19 | Acucela Inc. | Artificial intelligence for evaluation of optical coherence tomography images |
| CN116322471A (zh) | 2020-09-30 | 2023-06-23 | 奥克塞拉有限公司 | 近视预测、诊断、计划和监测设备 |
| EP4226316A1 (en) * | 2020-10-07 | 2023-08-16 | Hyperfine Operations, Inc. | Deep learning methods for noise suppression in medical imaging |
| US20220138911A1 (en) * | 2020-11-05 | 2022-05-05 | Massachusetts Institute Of Technology | Neural network systems and methods for removing noise from signals |
| CN112487880B (zh) * | 2020-11-13 | 2021-09-24 | 河北省科学院应用数学研究所 | 基于最大误差准则的中值滤波器、设备和系统 |
| US11461881B2 (en) * | 2020-11-25 | 2022-10-04 | United States Of America As Represented By The Secretary Of The Navy | Method for restoring images and video using self-supervised learning |
| WO2022204622A1 (en) | 2021-03-24 | 2022-09-29 | Acucela Inc. | Axial length measurement monitor |
| CN113239980B (zh) * | 2021-04-23 | 2022-07-05 | 华中科技大学 | 基于小样本机器学习与超参数优化的水下目标检测方法 |
| WO2022265321A1 (en) * | 2021-06-15 | 2022-12-22 | Samsung Electronics Co., Ltd. | Methods and systems for low light media enhancement |
| CN113361455B (zh) * | 2021-06-28 | 2022-09-02 | 北京百度网讯科技有限公司 | 人脸鉴伪模型的训练方法、相关装置及计算机程序产品 |
| US20230153957A1 (en) * | 2021-11-15 | 2023-05-18 | Samsung Electronics Co., Ltd. | System and method for training of noise model using noisy signal pairs |
| CN114596896A (zh) * | 2022-03-15 | 2022-06-07 | 雷麟半导体科技(苏州)有限公司 | 一种基于忆阻器的图像降噪实现方法 |
| CN114529484B (zh) * | 2022-04-25 | 2022-07-12 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002373339A (ja) * | 2001-06-15 | 2002-12-26 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| CN103971342A (zh) * | 2014-05-21 | 2014-08-06 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像噪点检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11196296A (ja) * | 1997-12-26 | 1999-07-21 | Canon Inc | 画像処理装置および方法、非線形フィルタ、記録媒体 |
| US20130051516A1 (en) * | 2011-08-31 | 2013-02-28 | Carestream Health, Inc. | Noise suppression for low x-ray dose cone-beam image reconstruction |
| US8971612B2 (en) * | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
| US9922272B2 (en) * | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| US20160321523A1 (en) * | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
| US10169864B1 (en) * | 2015-08-27 | 2019-01-01 | Carl Zeiss Meditec, Inc. | Methods and systems to detect and classify retinal structures in interferometric imaging data |
-
2017
- 2017-05-19 EP EP17172039.4A patent/EP3404611A1/en not_active Withdrawn
-
2018
- 2018-05-16 US US16/614,391 patent/US11170258B2/en active Active
- 2018-05-16 ES ES18723041T patent/ES2958934T3/es active Active
- 2018-05-16 WO PCT/EP2018/062824 patent/WO2018210978A1/en active Application Filing
- 2018-05-16 EP EP18723041.2A patent/EP3625759B1/en active Active
- 2018-05-16 CN CN201880045967.8A patent/CN111095349B/zh active Active
- 2018-05-16 PL PL18723041.2T patent/PL3625759T3/pl unknown
- 2018-05-16 JP JP2020514334A patent/JP7189940B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002373339A (ja) * | 2001-06-15 | 2002-12-26 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| CN103971342A (zh) * | 2014-05-21 | 2014-08-06 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像噪点检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| PL3625759T3 (pl) | 2024-01-29 |
| JP7189940B2 (ja) | 2022-12-14 |
| EP3625759C0 (en) | 2023-07-05 |
| US20200234080A1 (en) | 2020-07-23 |
| WO2018210978A1 (en) | 2018-11-22 |
| EP3404611A1 (en) | 2018-11-21 |
| CN111095349A (zh) | 2020-05-01 |
| EP3625759A1 (en) | 2020-03-25 |
| EP3625759B1 (en) | 2023-07-05 |
| ES2958934T3 (es) | 2024-02-16 |
| JP2020521262A (ja) | 2020-07-16 |
| US11170258B2 (en) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111095349B (zh) | 减少图像中的噪声 | |
| Chen et al. | DN-GAN: Denoising generative adversarial networks for speckle noise reduction in optical coherence tomography images | |
| Fang et al. | Fast acquisition and reconstruction of optical coherence tomography images via sparse representation | |
| JP6731919B2 (ja) | 光コヒーレンス断層撮影像におけるスペックル低減 | |
| JP5832523B2 (ja) | 光コヒーレンストモグラフィのための動き補正および画像改善の方法および装置 | |
| JP2020093076A (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
| JP6679505B2 (ja) | 光干渉断層撮影画像内のスペックルノイズの低減 | |
| JP7010983B2 (ja) | 低コヒーレンス干渉法のための画質改善方法及びシステム | |
| JP2023543172A (ja) | 動き補償されたレーザスペックルコントラストイメージング | |
| WO2020183791A1 (ja) | 画像処理装置および画像処理方法 | |
| Rabbani et al. | Optical coherence tomography noise reduction using anisotropic local bivariate Gaussian mixture prior in 3D complex wavelet domain | |
| CN107862724A (zh) | 一种改进的微血管血流成像方法 | |
| JP2021083919A (ja) | 医用画像処理装置、光干渉断層撮影装置、医用画像処理方法、及びプログラム | |
| JP2021122559A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11972544B2 (en) | Method and apparatus for optical coherence tomography angiography | |
| CN113543695A (zh) | 图像处理装置和图像处理方法 | |
| CN109389567A (zh) | 一种快速光学成像数据的稀疏滤波方法 | |
| CN117391955A (zh) | 基于多帧光学相干层析图像的凸集投影超分辨率重建方法 | |
| WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Stankiewicz et al. | Matching 3d oct retina images into super-resolution dataset | |
| JP2022134615A (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
| JP2021069667A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111951315B (zh) | 皮肤光学相干层析图像配准的方法 | |
| Li et al. | Oct Image Blind Despeckling Based on Gradient Guided Filter with Speckle Statistical Prior | |
| Adiga | Retinal Image Quality Improvement via Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |