CN110461228A - 使用多对比度和深度学习改进医学图像的质量 - Google Patents
使用多对比度和深度学习改进医学图像的质量 Download PDFInfo
- Publication number
- CN110461228A CN110461228A CN201880022949.8A CN201880022949A CN110461228A CN 110461228 A CN110461228 A CN 110461228A CN 201880022949 A CN201880022949 A CN 201880022949A CN 110461228 A CN110461228 A CN 110461228A
- Authority
- CN
- China
- Prior art keywords
- image
- picture
- input
- input picture
- method described
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 230000006872 improvement Effects 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 210000004556 brain Anatomy 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 238000004904 shortening Methods 0.000 claims description 2
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 238000005094 computer simulation Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000001965 increasing effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000010412 perfusion Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000002224 dissection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 238000002598 diffusion tensor imaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012307 MRI technique Methods 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001951 hemoperfusion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供了改进诊断成像和功能成像的方法，通过以下步骤：使用医学成像仪获得对象的至少两个输入图像，其中每个输入图像包括不同的对比度；使用经适当编程的计算机、使用非局部均值(NLM)滤波生成输入图像的多个副本，其中对象的每个输入图像副本包括不同的空间特征；使用医学成像仪获得对象的至少一个参考图像，其中参考图像包括与对象的输入图像不同的成像特征；使用经适当编程的计算机上的数据扩充来训练深度网络模型以自适应地调整模型参数，从而从初始集合的输入图像和参考图像来近似参考图像，并且目标为输出其他集合的低SNR低分辨率图像的改进质量的图像以供由医生分析。
Description
技术领域
本发明涉及医学成像。更具体地，本发明涉及使用多对比度成像、多边滤波器和深度学习方法来改进医学图像的质量。
背景技术
对于医学图像降噪，已经提出了多个方法，包括高斯滤波、小波滤波和非局部均值(NLM)算法，其中实验已显示出NLM(可能组合小波)是优越的方法。然而，所有这些方法仍共有一些诸如针对不同图像的参数调整的依赖性之类的缺点。在一个实例中，提出的方法使用多对比度图像中的冗余和多对比度图像的关系作为图像降噪的先验。相关工作成果已用于组合CMOS传感器和相机的模糊且有噪声的图像对。进一步的实现方式将群稀疏度表示用于图像降噪，群稀疏度表示也使用多对比度信息，但是群稀疏度不被用于增强高SNR对比度以改进噪声更大的对比度。在与多对比度图像的冗余有关的另一概念中，展示了用于欠采样多对比度图像的压缩感测重构的正则化。
在深度学习研究中已经有了最近的发展。具体而言，在具有深度残差网络的用于图像识别的卷积神经网络(CNN)和使用CNN的超分辨率方面的最近进展已显示出改进图像分辨率的巨大前景。在最近5年中，深度学习技术已经增强了计算机视觉、特别是在图像识别方面的性能。深度残差网络(ResNet)方法已被验证为用于卷积神经网络(CNN)的优越网络结构，因为其旁路连接有助于CNN的性能。CNN的这些进步为计算机视觉算法提供了超越人类的识别能力。然而，模型能够被更好地训练用于医学成像是不明朗的，因为存在可用于训练的少得多的数据集，并且由于模型中参数的数量，深度网络通常需要数千或数百万样本。此外，由于医学图像的固有属性，因为医学图像与识别照片内的常见物体不同，不清楚什么网络结构最适合用于医学图像。最后，不完全知晓如何确保模型不引入图像中没有的伪影或不缺失模型未从训练数据见到的病理细节。
超分辨率(SR)CNN方法被用于生成图像和(多帧)视频的超分辨率。在一个演示中，利用(来自公共基准测试数据集的)91个图像，SRCNN模型可以实现与在大数据集(具有数百万个子图像的图像网)上训练的模型相比良好且相似的性能。这是因为SRCNN模型大小(大约10K)不如用于其他图像识别方法的模型大。此外，可以将模型见到的训练样本计数为较小的局部补块(patch)，这些较小的局部补块产生用于91个完整图像的成千上万个补块。另外，相对较少的样本已经能够捕获自然图像补块的足够的可变性。SR工作成果尝试实现针对美学感知的更好性能，但是不解决在保留医学图像中的细节和病理的同时要避免的需要。
动脉自旋标记(ASL)MRI使用标记图像与对照图像之间的信号差来量化血液灌注。它是一种强大的MRI技术，并且越来越多地应用于神经系统、脑血管和精神疾病的研究、学习和临床诊断。然而，ASL灌注图由于其信号相减通常遭受低SNR。如果对于临床将ASL扫描重复三次或更多次以实现可接受的图像质量，则可以提高SNR。然而这种扫描的重复显著地增加测试时间。最近提出的多延迟ASL(eASL)可以补偿各种渡越延迟的影响以得到灌注测量的更好的灵敏度。然而，由于时间约束，获取不同的延迟进一步增加时间成本并且导致甚至更低的SNR和分辨率。
需要的是改进具有多对比度的医学图像的图像降噪方法而不是生成超分辨率的方法。
发明概述
为了满足本领域的需要，提供了缩短用于诊断成像和功能成像的成像时间的方法，该方法包括：使用医学成像仪获得对象的至少两个输入图像，其中每个输入图像具有不同的对比度；使用经适当编程的计算机、使用非局部均值(NLM)滤波生成对象的输入图像的多个副本，其中对象的每个输入图像副本包括不同的空间特征；使用医学成像仪获得对象的至少一个参考图像，其中对象的至少一个参考图像包括与对象的输入图像不同的成像特征；使用经适当编程的计算机上的数据扩充训练深度网络模型以自适应地调整模型参数，从而从初始集合的输入图像来近似参考图像；并且输出对象的改进质量的图像以供由医生分析。一旦设置了模型参数，可在无需采集参考图像的情况下获取改进质量的图像。
根据本发明的一方面，医学成像仪包括磁共振成像仪(MRI)或计算断层摄影(CT)扫描仪。
在本发明的另一方面，数据扩充包括裁剪、旋转或翻转对象的输入图像。
在本发明的进一步的方面，与对象的输入图像不同的对象的至少一个参考图像的成像特征包括：更高的SNR、更高的分辨率、更少的伪影、不同的图像对比度、使用CT成像仪获得的图像或使用MRI成像仪获得的图像。
在本发明的另一方面，数据集包括动脉自旋标记(ASL)数据集、MRI数据集或者CT数据集。
根据本发明的一个方面，数据扩充包括：对用于数据扩充的对象的输入图像的多个补块训练深度网络模型，其中对象的输出图像从各个输入图像补块重新组装。
在本发明的另一方面，多对比度信息被用作用于NLM的正则化以实现改进的正则化的降噪以及过度平滑避免。
在本发明的进一步的方面，数据扩充进一步包括：将对象的输入图像和来自非线性滤波器的输出用作用于深度网络模型的输入，其中对象的输入图像从动脉自旋标记(ASL)和大脑的其他对比度图像采集，其中对ASL图像使用NLM滤波，并且使用其他对比度图像进行正则化，其中对于对象的全部输入图像并对从NLM滤波器创建的图像使用数据扩充，其中全部经增强的数据被拟合到深度网络模型中。在此，深度网络模型包括：将其他图像的多对比度补块用于与对象的输入图像的卷积和去卷积，这避开了使用整个数据集来实现残差学习。
在本发明的又另一方面，输入图像和参考图像来自不同的医学成像仪，其中对象的输入图像包括用于预测对象的CT图像的对象的MRI图像。
根据本发明的一方面，对象的输入图像、对象的输入图像的多个副本和对象的至少一个参考图像包括数据集。
在本发明的进一步的方面，经训练的深度网络被应用于对任何相对低质量的医学图像进行改进和降噪。
附图说明
图1示出了根据本发明的一个实施例的用于改进的图像目标对比度的成像处理算法的流程图。
图2A-2B示出了根据本发明的一个实施例的用于ASL降噪的改进的训练的流程图(图2A)和应用算法的流程图(图2B)。
具体实施方式
本发明提供了用于改进医学图像的图像质量的方法。本发明提供了采用原始图像数据和非线性滤波器结果的新的端到端深度学习框架，该深度学习框架包括具有不同降噪级别的经降噪的原始图像，并添加具有相似解剖信息、具有不同对比度的多对比度图像数据，以及生成分辨率和SNR方面具有更高质量的改进的图像数据。本发明的端到端框架实现了更好的性能和更快的速度。
在一个实施例中，本发明改进了通常具有低SNR和低分辨率的MRI成像(例如，动脉自旋标记(ASL)MRI图像)的图像质量。本发明通过使用来自具有相同解剖结构但是具有不同对比度的其他图像的多对比度信息，并且将深度学习技术用作有效且高效的方法来改进图像质量。
图1示出了本发明的一个实施例的流程图，其包括使用医学成像仪获得感兴趣的对象的图像，其中该图像是输入到适当编程的计算机的噪声相对较大的、低分辨率的图像。在可选实例中，相同的感兴趣的对象(解剖)并且具有不同对比度的其他图像也被输入到计算机。根据当前实施例，具有不同参数的多个非局部均值(NLM)滤波器被应用于输入图像，以生成多个版本的经滤波的图像。执行多对比度图像共同配准，随后生成多对比度图像。提供用于数据扩充的具有不同对比度和相同解剖的图像，其中数据扩充包括裁剪、旋转、平移和翻转。再次将感兴趣的对象的图像与多对比度图像一起输入。算法提供了图像-补块生成器，以完全执行扩充。这些经扩充图像被输入到包括残差学习和卷积神经网络的深度网络。使用具有相对高的SNR和更好分辨率的具有目标对比度的参考图像来训练模型，其中该图像被输入到图像-补块生成器以输出具有高SNR和更好分辨率的具有目标对比度的参考图像补块以供训练中使用。具有目标对比度的改进的补块被生成并输入到补块-目标生成器，其中输出具有改进的SNR和分辨率的具有目标对比度的改进的图像。
本发明提供使用数据驱动的方法的优越的降噪，该数据驱动的方法基于基础事实、使用较长扫描而获取的高SNR和高分辨率图像来训练模型(有监督学习)。模型是从低图像质量到参考高图像质量图像的高度非线性映射。以此方式，模型针对其特定应用实现显著更好的性能。在一个实施例中，多对比度图像被用于降噪，其中多对比度图像信息被用在多个步骤中，这些步骤包括但不限于改进非局部均值(NLM)算法，在非局部均值(NLM)算法中，用于降噪的相似性权重取决于图像之间或图像的经裁剪部分之间的多个对比度的相似性。出现改进部分是因为多对比度图像中的SNR比用于改进的原始图像(诸如，ASL等)高得多，使得可以更准确地计算相似性。在此，如果存在仅以对比度中的一些对比度能见到的病理，则差异将在多对比度比较中示出，并且病变将不会被过度平滑。本发明将多对比度信息用作用于诸如NLM滤波器之类的非线性滤波器的正则化，这更好地对降噪正则化并且避免过度平滑。
此外，多对比度图像被直接地输入到深度网络，其中深度网络合并了多个版本的经降噪的(ASL)图像和多对比度图像。由于深度网络，随后训练模型以非线性地集成全部经降噪的图像来实现最佳图像质量，该最佳图像质量包括更好的SNR和更好的分辨率。
在实践中，通过将CNN方法与由深度学习框架支持的硬件(GPU)加速一起使用，方法可以高效地实现改进。
以前，深度网络通常采用数百万个样本来优化其识别性能。在本发明的深度学习方面，类似于SRCNN模型，使用非常小的数据集完成训练。模型学习的是原始图像数据与基础事实图像数据之间的差的残差，这对于使用网络结构进行近似更稀疏且复杂性更低。本发明使用旁路连接来实现残差学习。在此，使用残差网络，并且直接模型输出是低质量图像与高质量图像之间的估计残差/误差。该“残差训练”方法降低了训练的复杂性，并在输出水平较小的情况下实现了更好的性能，即使当模型无法完美预测时，也降低了引入大的图像伪影的可能性。这对于医学图像是重要的，因为引入大的伪影是不可接受的。
现在转向本发明的基于补块的解决方案方面。训练中基于补块的方法以及将其应用于深度网络降低了模型的复杂性，并且解决了医学数据的不足，其中数据扩充包括从图像获取补块以改进最终结果。本发明通过将来自非线性滤波器的输出作为用于深度网络的输入来实施这种“特征扩充”，这改进了性能。模型被配置用于对多对比度图像补块进行训练，模型随后输出改进版本的补块，其中改进版本的补块稍后再被用于合成整个图像。可以通过数据扩充来导出数千个图像补块，数据扩充包括对一个单个的图像的裁剪、旋转和翻转。这种基于补块的方法降低了模型的复杂性，加速了训练，解决了数据不足，避免了过度拟合，并且增加了更多数据随机性，这有助于实现更好的性能。残差训练和多对比度信息还有助于减少伪影并保留病理。
此外，本发明以非常规方式使用多对比度信息，并且实现了SRCNN+ResNet结构以获得更好的医学图像质量。
对于在其中可以从以前的扫描和未来的扫描获取图像并且生成改进版本的图像的本发明具有许多潜在应用。这对于所有医学成像设备和PACS系统都是有价值的。在一个实施例中，本发明可被用作扫描仪上重构的一部分以直接输出改进版本的图像，该改进版本的图像可以被集成到各种医学成像序列应用中。在进一步的实施例中，本发明提供了用于动脉自旋标记(ASL)MRI的特定应用，ASL MRI被用于许多神经系统疾病的诊断。对其他类型的图像的应用在本发明的范围内，并且可以想到对于高度采样的多方向扩散张量成像(DTI)的即刻改进。另外，本发明可以实现欠采样图像(诸如，快速MRI)的重构的改进。
动脉自旋标记(ASL)MRI是一种强大的神经成像工具，其提供定量灌注图。然而，ASL灌注图通常遭受低SNR和低分辨率。从多次扫描取平均值(高Nex值)可以改进SNR，但以显著增加的采集时间为代价。在一个实施例中，本发明通过以下方式提供了用于具有提高的SNR和/或分辨率的改进的ASL图像质量的技术：合并多对比度图像的信息，使用非线性、非局部、空间变化的多边滤波，并且训练深度网络模型以自适应地调整最终降噪级别并且进一步提高SNR以改进图像质量。发明人的各种体内实验证明了本发明的优越性能，其显著加速了ASL采集并且改进了图像质量。本发明提供了对于ASL和eASL中的SNR匮乏这一紧迫问题的解决方案，这显著地改进了图像质量并且加速了ASL测试。
在此总结一下，本发明有三个主要的创新，包括：在ASL降噪中合并多对比度信息；用非线性空间变化的滤波器以防止过度平滑的边缘；以及使用深度网络生成最终的降噪/还原结果。
图2A-2B示出了根据本发明的训练和应用算法的流程图，其包括基于低SNR的ASL图像和其他对比度MRI、使用多边引导滤波器来生成具有不同降噪级别的经降噪的ASL。算法从原始的低SNR的ASL创建多对比度MRI补块，该原始的低SNR的ASL包括其多个经降的噪版本和共同配准的解剖MRI，其中示出了T2w和PDw。此外，算法训练了深度网络以从多对比度MRI补块和高SNR的参考ASL图像中的相应补块学习最终降噪。最后，算法从输出补块合成最终降噪的ASL。
在使用多对比度信息的示例性多边引导滤波中，针对ASL检查，总是具有未经标记而拍摄的一张质子密度加权(PDw)图像。也很可能会有其他解剖扫描，诸如，T1w、T2w、FLAIR等，因为这些扫描通常作为例行的MRI检查的一部分被采集。这些图像共享基本结构信息，并且具有高得多的SNR。在此，本发明使用多边引导滤波器来对每个像素实施位置变化的加权平均。权重基于来自每个像素及其相邻像素的ASL信号与多对比度解剖MR(T2w、PDw等)信号的差。与常规的基于高斯或基于小波的降噪不同，此步骤是非局部非线性位置变化的滤波器，其倾向于更好地保留结构并避免过度平滑。此处的加权参数控制平滑度。
在利用多对比度MRI补块形成图像时，在降噪后，获得具有不同加权参数的多个经降噪的ASL。形成多对比度图像的堆叠，包括：原始的低SNR的ASL、具有不同平滑级别的多个经降噪的ASL图像、以及共同配准的T2w和PDw图像。随后从这些多对比度图像裁剪出(16x16等)小的多对比度补块。最终的降噪作用于加速计算的这些补块的局部堆叠，降低了模型复杂性，并增加了训练样本尺寸(来自一个切片的大约10000个)以防止深度网络训练中的任何过度拟合。
接下来，实现将深度网络用于降噪重构的过程，该过程包括训练深度网络以输出最终的降噪和还原结果。在此，将卷积-去卷积神经网络与如图2A中所示的图像的结构一起使用。深度网络的输入是多对比度MRI补块，并且输出是最终的降噪版本。将高SNR/高分辨率ASL用作基础事实，对切片集合或图像集训练深度网络，并将深度网络应用于不同的扫描和切片。通过合成输出补块形成最终降噪的ASL。
现在转向图2B，为了应用算法，使用非局部(NLM)和多对比度引导滤波器来提供非线性ASL信号降噪。然后从高SNR的ASL参考图像、低SNR的原始ASL图像、多级经降噪的ASL图像和解剖MR图像生成补块。应用经训练的深度网络以从多对比度补块生成非线性图像还原。最后，从所存储的补块生成的经还原的图像供由医生输出和实施。
进行了多个体内实验。验证了用于改进SNR的算法的性能。将6个重复(Nex＝6)用作高SNR的参考ASL，结果表明，根据本发明的算法减小了以Nex＝1获取的低SNR的ASL的误差和噪声，与高SNR的参考扫描相比，其是多于四倍的绝对采集时间的减少。随后在改善多延迟ASL的SNR和分辨率两者方面验证了算法的性能。结果表明了针对每个延迟时间的更好的图像质量、以及由此计算出的改进的渡越时间图。
体内实验表明，本发明提供了对于以更高的SNR和/或分辨率(有效地约为6倍Nex或4倍+的时间的减少)还原ASL图像的优越性能。与常规的重构和降噪结果相比，本发明可以更好地降低噪声、保留结构，并提供更详细的功能度量(诸如，CBF和渡越时间图)。本发明还可以被应用于补充并行成像和压缩感测，以进一步采集ASL扫描。
现在已经根据若干示例性实施例描述了本发明，这些示例性实施例旨在在所有方面都是说明性而不是限制性的。因此，本发明能够具有在详细的实现方式上的许多变型，这可以由从本领域的普通技术人员从本文包含的描述中推导出。例如，使用这种方法也可以有效地对较高分辨率和SNR的常规MR图像(诸如，T2w或FLAIR图像)进行降噪。或者，可以训练模型以将MRI图像的集合作为输入并且将CT扫描作为参考图像，从而在其中未采集患者的CT扫描的情况下创建患者的CT扫描的估计。
所有这些变型都被认为在如由所附权利要求及其合法等效方案所限定的本发明的范围和精神内。
Claims (12)
1.一种缩短用于诊断成像和功能成像的成像时间的方法，包括：
a)使用医学成像仪获得对象的至少两个输入图像，其中每个所述输入图像包括不同的对比度；
b)使用经适当编程的计算机、使用非局部均值(NLM)滤波生成所述对象的所述输入图像的多个副本，其中所述对象的每个所述输入图像副本包括不同的空间特征；
c)使用所述医学成像仪获得所述对象的至少一个参考图像，其中所述对象的所述至少一个参考图像包括与所述对象的所述输入图像不同的成像特征；
d)使用所述经适当编程的计算机上的数据扩充来训练深度网络模型以自适应地调整模型参数，从而从初始集合的所述输入图像来近似所述参考图像；以及
e)输出所述对象的改进质量的图像以供由医生分析。
2.根据权利要求1所述的方法，其中所述医学成像仪包括磁共振成像仪(MRI)或计算断层摄影(CT)扫描仪。
3.根据权利要求1所述的方法，其中所述数据扩充从由以下各项组成的组选择：裁剪、旋转或翻转所述对象的所述输入图像。
4.根据权利要求1所述的方法，其中与所述对象的所述输入图像不同的所述对象的所述至少一个参考图像的所述成像特征从由以下各项组成的组选择：更高的SNR、更高的分辨率、更少的伪影、不同的图像对比度、使用CT成像仪获得的图像和使用MRI成像仪获得的图像。
5.根据权利要求1所述的方法，其中所述数据集从由以下各项组成的组选择：动脉自旋标记(ASL)数据集、MRI数据集和CT数据集。
6.根据权利要求1所述的方法，其中所述数据扩充包括：对用于所述数据扩充的所述对象的所述输入图像的多个补块训练深度网络模型，其中所述对象的输出图像从各个所述输入图像补块重新组装。
7.根据权利要求1所述的方法，其中多对比度信息被用作用于所述NLM的正则化以实现改进的正则化的降噪以及过度平滑避免。
8.根据权利要求1所述的方法，其中所述数据扩充进一步包括：将所述对象的所述输入图像和来自非线性滤波器的输出用作用于所述深度网络模型的输入，其中所述对象的所述输入图像从动脉自旋标记(ASL)和大脑的其他对比度图像采集，其中对所述ASL图像使用所述NLM滤波并且使用所述其他对比度图像进行正则化，其中对所述对象的全部所述输入图像并对从所述NLM滤波器创建的图像使用所述数据扩充，其中全部所述经增强的数据被拟合到所述深度网络模型中。
9.根据权利要求8所述的方法，其中所述深度网络模型包括：将所述其他图像的多对比度补块用于与所述对象的所述输入图像的卷积和去卷积，所述将所述其他图像的多对比度补块用于与所述对象的所述输入图像的卷积和去卷积避开使用整个数据集来实现残差学习。
10.根据权利要求1所述的方法，其中所述输入图像和所述参考图像来自不同的所述医学成像仪，其中所述对象的所述输入图像包括用于预测所述对象的CT图像的所述对象的MRI图像。
11.根据权利要求1所述的方法，其中所述对象的所述输入图像、所述对象的所述输入图像的所述多个副本和所述对象的所述至少一个参考图像包括数据集。
12.根据权利要求1所述的方法，其中所述经训练的深度网络被应用于对任何相对低质量的医学图像进行改进和降噪。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/475,760 | 2017-03-31 | ||
| US15/475,760 US10096109B1 (en) | 2017-03-31 | 2017-03-31 | Quality of medical images using multi-contrast and deep learning |
| PCT/US2018/023383 WO2018183044A1 (en) | 2017-03-31 | 2018-03-20 | Improving quality of medical images using multi-contrast and deep learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110461228A true CN110461228A (zh) | 2019-11-15 |
| CN110461228B CN110461228B (zh) | 2024-01-30 |
Family
ID=63670653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880022949.8A Active CN110461228B (zh) | 2017-03-31 | 2018-03-20 | 使用多对比度和深度学习改进医学图像的质量 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10096109B1 (zh) |
| EP (3) | EP3600026B1 (zh) |
| CN (1) | CN110461228B (zh) |
| DK (2) | DK3600026T3 (zh) |
| ES (3) | ES2974495T3 (zh) |
| PL (2) | PL3971824T3 (zh) |
| WO (1) | WO2018183044A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN114121230A (zh) * | 2021-11-09 | 2022-03-01 | 杭州太美星程医药科技有限公司 | 医学图像显示方法及其装置、电子设备和计算机存储介质 |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726573B2 (en) * | 2016-08-26 | 2020-07-28 | Pixart Imaging Inc. | Object detection method and system based on machine learning |
| CN107786867A (zh) | 2016-08-26 | 2018-03-09 | 原相科技股份有限公司 | 基于深度学习架构的图像辨识方法及系统 |
| US10902559B2 (en) | 2017-08-04 | 2021-01-26 | Outward, Inc. | Machine learning based image processing techniques |
| CN107527069A (zh) * | 2017-08-22 | 2017-12-29 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
| CA3078728A1 (en) * | 2017-10-09 | 2019-04-18 | The Board Of Trustees Of The Leland Stanford Junior University | Contrast dose reduction for medical imaging using deep learning |
| CN111447877A (zh) | 2017-10-23 | 2020-07-24 | 皇家飞利浦有限公司 | 使用深度成像的正电子发射断层摄影(pet)系统设计优化 |
| WO2019161043A1 (en) * | 2018-02-15 | 2019-08-22 | GE Precision Healthcare LLC | System and method for synthesizing magnetic resonance images |
| US10393842B1 (en) * | 2018-02-20 | 2019-08-27 | The Board Of Trustees Of The Leland Stanford Junior University | Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering |
| WO2019204406A1 (en) * | 2018-04-19 | 2019-10-24 | Subtle Medical, Inc. | Systems and methods for improving magnetic resonance imaging using deep learning |
| JP6725733B2 (ja) * | 2018-07-31 | 2020-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
| WO2020027233A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び車両制御システム |
| CN112703509A (zh) * | 2018-08-07 | 2021-04-23 | 布赖凯科技股份有限公司 | 用于图像增强的人工智能技术 |
| US10915990B2 (en) | 2018-10-18 | 2021-02-09 | General Electric Company | Systems and methods for denoising medical images with deep learning network |
| CN109472351A (zh) * | 2018-10-25 | 2019-03-15 | 深圳市康拓普信息技术有限公司 | 一种快速训练深度学习模型的方法及系统 |
| US10818386B2 (en) | 2018-11-21 | 2020-10-27 | Enlitic, Inc. | Multi-label heat map generating system |
| WO2020122606A1 (ko) * | 2018-12-11 | 2020-06-18 | 시너지에이아이 주식회사 | 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치 |
| CN109658357A (zh) * | 2018-12-24 | 2019-04-19 | 北京理工大学 | 一种面向遥感卫星图像的去噪方法 |
| CN109978764B (zh) * | 2019-03-11 | 2021-03-02 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN109949240B (zh) * | 2019-03-11 | 2021-05-04 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| EP3939003B1 (en) | 2019-03-12 | 2024-04-03 | Bayer HealthCare, LLC | Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof |
| WO2020231016A1 (en) | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Image optimization method, apparatus, device and storage medium |
| CN110309713A (zh) * | 2019-05-22 | 2019-10-08 | 深圳壹账通智能科技有限公司 | 表情识别模型训练方法、装置、设备和存储介质 |
| US11166022B2 (en) | 2019-06-04 | 2021-11-02 | Google Llc | Quantization constrained neural image coding |
| CN112133410A (zh) * | 2019-06-25 | 2020-12-25 | 西门子医疗有限公司 | 使用机器学习的mri图像重建 |
| CN110335217A (zh) * | 2019-07-10 | 2019-10-15 | 东北大学 | 一种基于3d残差编码解码的医学图像降噪方法 |
| CN110428415B (zh) * | 2019-08-05 | 2022-05-13 | 上海联影医疗科技股份有限公司 | 医学图像的质量评估方法、装置、设备及存储介质 |
| JP2022548716A (ja) | 2019-09-18 | 2022-11-21 | バイエル、アクチエンゲゼルシャフト | 肝臓のｍｒｉ画像の生成 |
| CN113329688B (zh) | 2019-09-18 | 2023-11-28 | 拜耳公司 | 用于确定组织体素的特征的方法、系统和计算机可读介质 |
| ES2955349T3 (es) | 2019-09-18 | 2023-11-30 | Bayer Ag | Predicción de imágenes MRI mediante un modelo de predicción entrenado por aprendizaje supervisado |
| WO2021061710A1 (en) | 2019-09-25 | 2021-04-01 | Subtle Medical, Inc. | Systems and methods for improving low dose volumetric contrast-enhanced mri |
| JP2022550688A (ja) * | 2019-09-25 | 2022-12-05 | サトゥル メディカル，インコーポレイテッド | 低投与量容積造影ｍｒｉを改良するためのシステム及び方法 |
| CA3157469A1 (en) | 2019-10-11 | 2021-04-15 | Bayer Aktiengesellschaft | Acceleration of mri examinations |
| US11320357B2 (en) | 2019-12-23 | 2022-05-03 | Chevron U.S.A. Inc. | System and method for estimation of rock properties from core images |
| CN111242846B (zh) * | 2020-01-07 | 2022-03-22 | 福州大学 | 基于非局部增强网络的细粒度尺度图像超分辨率方法 |
| US11348243B2 (en) | 2020-01-24 | 2022-05-31 | GE Precision Healthcare LLC | Systems and methods for medical image style transfer using deep neural networks |
| CN111553860B (zh) * | 2020-04-29 | 2023-04-28 | 北京理工大学 | 水色遥感影像的深度学习非邻域均值化处理方法及系统 |
| EP3916417A1 (en) | 2020-05-28 | 2021-12-01 | Koninklijke Philips N.V. | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations |
| CN111870245B (zh) * | 2020-07-02 | 2022-02-11 | 西安交通大学 | 一种跨对比度引导的超快速核磁共振成像深度学习方法 |
| US11346912B2 (en) | 2020-07-23 | 2022-05-31 | GE Precision Healthcare LLC | Systems and methods of generating robust phase images in magnetic resonance images |
| KR20230066560A (ko) * | 2020-09-15 | 2023-05-16 | 삼성전자주식회사 | 미디어 내 아티팩트/저하를 검출 및 제거하는 방법 및 전자 장치 |
| CN113012077B (zh) * | 2020-10-20 | 2023-04-07 | 杭州微帧信息科技有限公司 | 一种基于卷积导向图滤波的去噪方法 |
| CN112801128B (zh) * | 2020-12-14 | 2023-10-13 | 深圳云天励飞技术股份有限公司 | 非机动车识别方法、装置、电子设备及存储介质 |
| CA3212207A1 (en) | 2021-03-02 | 2022-09-09 | Bayer Aktiengesellschaft | Machine learning in the field of contrast-enhanced radiology |
| JP2024512369A (ja) | 2021-03-09 | 2024-03-19 | バイエル・アクチエンゲゼルシヤフト | 造影放射線学の分野における機械学習 |
| JP2022178846A (ja) * | 2021-05-21 | 2022-12-02 | 学校法人藤田学園 | 医用情報処理方法、医用情報処理装置および医用画像処理装置 |
| CN114092520B (zh) * | 2021-11-19 | 2023-12-26 | 电子科技大学长三角研究院(湖州) | 基于生成对抗网络的地面运动目标重聚焦方法及系统 |
| CN114129171B (zh) * | 2021-12-01 | 2022-06-03 | 山东省人工智能研究院 | 一种基于改进的残差密集网络的心电信号降噪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120303151A1 (en) * | 2011-05-25 | 2012-11-29 | Asml Netherlands B.V. | Computational Process Control |
| US20130202079A1 (en) * | 2012-02-07 | 2013-08-08 | Lifeng Yu | System and Method for Controlling Radiation Dose for Radiological Applications |
| US20130278261A1 (en) * | 2012-04-20 | 2013-10-24 | University Of Virginia Licensing & Ventures Group | Systems and methods for regularized reconstructions in mri using side information |
| US20150282719A1 (en) * | 2014-04-02 | 2015-10-08 | University Of Virginia Patent Foundation | Systems and methods for medical imaging incorporating prior knowledge |
| US20160171727A1 (en) * | 2014-12-16 | 2016-06-16 | The Regents Of The University Of California | Feature-preserving noise removal |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010041107A1 (de) * | 2010-09-21 | 2012-01-19 | Siemens Aktiengesellschaft | Bildverarbeitungsverfahren für medizinische Bilddaten |
| WO2013082207A1 (en) * | 2011-12-01 | 2013-06-06 | St. Jude Children's Research Hospital | T2 spectral analysis for myelin water imaging |
| WO2015009830A1 (en) * | 2013-07-16 | 2015-01-22 | Children's National Medical Center | Three dimensional printed replicas of patient's anatomy for medical applications |
| EP3295202B1 (en) * | 2015-05-08 | 2018-07-25 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method and device for magnetic resonance imaging with improved sensitivity by noise reduction |
| US10561337B2 (en) * | 2015-08-04 | 2020-02-18 | University Of Virginia Patent Foundation | Rapid 3D dynamic arterial spin labeling with a sparse model-based image reconstruction |
| US10049446B2 (en) * | 2015-12-18 | 2018-08-14 | Carestream Health, Inc. | Accelerated statistical iterative reconstruction |
| US9875527B2 (en) * | 2016-01-15 | 2018-01-23 | Toshiba Medical Systems Corporation | Apparatus and method for noise reduction of spectral computed tomography images and sinograms using a whitening transform |
| WO2017204886A1 (en) * | 2016-05-23 | 2017-11-30 | Massachusetts Institute Of Technology | System and method for providing real-time super-resolution for compressed videos |
| US10311552B2 (en) * | 2017-04-06 | 2019-06-04 | Pixar | De-noising images using machine learning |
-
2017
- 2017-03-31 US US15/475,760 patent/US10096109B1/en active Active
-
2018
- 2018-03-20 PL PL21207739.0T patent/PL3971824T3/pl unknown
- 2018-03-20 EP EP18774771.2A patent/EP3600026B1/en active Active
- 2018-03-20 CN CN201880022949.8A patent/CN110461228B/zh active Active
- 2018-03-20 WO PCT/US2018/023383 patent/WO2018183044A1/en active Application Filing
- 2018-03-20 PL PL18774771T patent/PL3600026T3/pl unknown
- 2018-03-20 DK DK18774771.2T patent/DK3600026T3/da active
- 2018-03-20 ES ES22204287T patent/ES2974495T3/es active Active
- 2018-03-20 EP EP21207739.0A patent/EP3971824B1/en active Active
- 2018-03-20 ES ES18774771T patent/ES2906349T3/es active Active
- 2018-03-20 EP EP22204287.1A patent/EP4148660B1/en active Active
- 2018-03-20 DK DK21207739.0T patent/DK3971824T3/da active
- 2018-03-20 ES ES21207739T patent/ES2937424T3/es active Active
- 2018-10-04 US US16/152,185 patent/US10467751B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120303151A1 (en) * | 2011-05-25 | 2012-11-29 | Asml Netherlands B.V. | Computational Process Control |
| US20130202079A1 (en) * | 2012-02-07 | 2013-08-08 | Lifeng Yu | System and Method for Controlling Radiation Dose for Radiological Applications |
| US20130278261A1 (en) * | 2012-04-20 | 2013-10-24 | University Of Virginia Licensing & Ventures Group | Systems and methods for regularized reconstructions in mri using side information |
| US20150282719A1 (en) * | 2014-04-02 | 2015-10-08 | University Of Virginia Patent Foundation | Systems and methods for medical imaging incorporating prior knowledge |
| US20160171727A1 (en) * | 2014-12-16 | 2016-06-16 | The Regents Of The University Of California | Feature-preserving noise removal |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN114121230A (zh) * | 2021-11-09 | 2022-03-01 | 杭州太美星程医药科技有限公司 | 医学图像显示方法及其装置、电子设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3600026A1 (en) | 2020-02-05 |
| ES2974495T3 (es) | 2024-06-27 |
| EP4148660A1 (en) | 2023-03-15 |
| EP4148660B1 (en) | 2024-03-06 |
| ES2906349T3 (es) | 2022-04-18 |
| PL3971824T3 (pl) | 2023-03-06 |
| ES2937424T3 (es) | 2023-03-28 |
| EP3971824A1 (en) | 2022-03-23 |
| US10467751B2 (en) | 2019-11-05 |
| CN110461228B (zh) | 2024-01-30 |
| DK3600026T3 (da) | 2022-02-07 |
| PL3600026T3 (pl) | 2022-03-07 |
| US20190035078A1 (en) | 2019-01-31 |
| EP3600026A4 (en) | 2020-12-30 |
| US20180286037A1 (en) | 2018-10-04 |
| EP3600026B1 (en) | 2021-11-17 |
| US10096109B1 (en) | 2018-10-09 |
| DK3971824T3 (da) | 2023-01-30 |
| WO2018183044A1 (en) | 2018-10-04 |
| EP3971824B1 (en) | 2022-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110461228A (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
| Lyu et al. | Multi-contrast super-resolution MRI through a progressive network | |
| JP7527554B2 (ja) | 厚い画像スライスから薄い画像スライスを生成するためのシステム及び方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| WO2023045482A1 (zh) | 基于长距离注意力模型重建的多层磁共振成像方法及装置 | |
| CN111598964B (zh) | 一种基于空间自适应网络的定量磁化率图像重建方法 | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| Bahrami et al. | Hierarchical reconstruction of 7T-like images from 3T MRI using multi-level CCA and group sparsity | |
| Do et al. | 7T MRI super-resolution with Generative Adversarial Network | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| Belov et al. | Towards ultrafast MRI via extreme k-space undersampling and superresolution | |
| Iddrisu et al. | 3D reconstructions of brain from MRI scans using neural radiance fields | |
| Pham | Deep learning for medical image super resolution and segmentation | |
| Zhao et al. | Medical image super-resolution with deep networks | |
| Nimitha et al. | Multi image super resolution of MRI images using generative adversarial network | |
| CN118469821B (zh) | 一种基于扩散模型的医学图像体积超分辨率方法 | |
| Yang et al. | Reconstruction of 3D Fetal Brain MRI from 2D Cross-Sectional Acquisitions Using Unsupervised Learning Network | |
| CN117218004B (zh) | 一种T1 mapping快速成像方法及系统 | |
| Roy Choudhury et al. | Distortion Removal and Deblurring of Single-Shot DWI MRI Scans | |
| Bhadauria et al. | Enhancing Brain Imaging Using Super Resolution: Challenges and Benefits | |
| Lyu | Deep Neural Networks for MRI Applications | |
| Siam et al. | Improving MRI Resolution: A Cycle Consistent Generative Adversarial Network-based Approach for 3T to 7T Translation | |
| Tourbier | Novel Image Processing Methods for Improved Fetal Brain MRI | |
| Ikuta et al. | Super-Resolution for Brain MR Images from a Significantly Small Amount of Training Data. Comput | |
| Bommireddy | Distortion Removal and Deblurring of Single-Shot DWI MRI Scans |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: G. zhahachuk Inventor after: Gong Enhao Inventor after: J.M. poly Inventor before: G. zhahachuk Inventor before: E.Gong Inventor before: J.M. poly |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |