CN110009613A - 基于深度稠密网络的低剂量ct成像方法、装置及系统 - Google Patents
基于深度稠密网络的低剂量ct成像方法、装置及系统 Download PDFInfo
- Publication number
- CN110009613A CN110009613A CN201910244956.9A CN201910244956A CN110009613A CN 110009613 A CN110009613 A CN 110009613A CN 201910244956 A CN201910244956 A CN 201910244956A CN 110009613 A CN110009613 A CN 110009613A
- Authority
- CN
- China
- Prior art keywords
- dose
- data
- network
- low
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Algebra (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于深度稠密网络的低剂量CT成像方法、装置及系统,创新性地将深度稠密网络DenseNet应用于投影空间前处理和图像空间后处理两种处理方法中,利用卷积残差神经网络充分理解CT图像数据和CT投影数据的信息。本发明通过DenseNet对图像特征的充分利用,有效分辨出星条状伪影和人体组织器官的区别,实现其中星条状伪影及噪声和组织器官特征结构成分有效的分离,因此图像质量有着较大的提升;DenseNet与其他相同规模的网络相比,参数量在一定程度上减少,因此存储空间的需求大大降低,运算速度显著提升,处理效果优于其他多种传统图像去噪算法和深度学习方法。
Description
技术领域
本发明属于计算机断层成像技术领域,涉及CT成像技术,尤其涉及一种基于深度稠密网络的低剂量CT成像方法、装置及系统。
背景技术
X射线计算机断层成像(X-ray Computer Tomography,CT)技术是通过对人体进行X射线投影测量从而获取精确无损的横截面射线衰减信息的成像技术,是目前应用最为广泛的常规有效的临床医学诊断工具之一,能够为临床医生的检测和诊断提供详实而丰富的人体器官组织信息,已成为医学成像领域内一种不可或缺的检查诊断方法。然而,随着CT断层扫描在临床诊断尤其是常规检查中的普及,CT扫描中的射线辐射剂量问题已经逐渐引起了人们的关注。大量的临床研究表明,超过人体正常接受剂量范围的CT辐射易诱发人体新陈代谢异常,甚至会增加引发癌症等疾病的风险。但另一方面,为了获取更加清晰的临床CT图像,提高检测效果和确诊率,常见的做法是增加CT扫描时的电流值、电压值,或者增加投影的角度数,但这几种方法将显著增加患者所受的X射线辐射剂量。X射线剂量的控制和临床上对CT图像质量的需求一直以来都是不可避免的矛盾。如何在保证CT图像质量满足临床需求的基础上,最大程度地降低辐射剂量已成为行业内的热点问题。
近年来,随着人工智能的兴起和计算能力的提升,深度学习在如图像分割、目标检测、目标跟踪、图像超分辨率等计算机视觉和图像处理领域均取得了令人瞩目的进展。在医学成像领域,深度学习也已经应用于如分割识别等图像分析课题,并有广泛拓展到其他应用方向的潜力。使用基于深度学习技术的方法对图像空间建模,通过卷积神经网络强大的特征表示能力来分辨伪影噪声与人体器官组织结构。基于卷积神经网络的方法,测试时间短、处理效果好,是数据量充足时应首先考虑的算法。深度稠密网络是近年来非常热门的一种卷积神经网络,能够更有效地利用和表征图像的特征,并且进一步减少了参数量,降低了存储成本和运算时间。
当前提高低剂量CT图像成像质量的方法主要分为两大类:基于投影空间数据处理的和基于图像空间数据处理。基于投影空间数据的方法主要通过对低剂量CT投影数据的校正,通过恢复、复原和去噪来为重建提供更准确、更低噪声的投影数据,以提高其重建图像的质量,如结构自适应滤波器和双边滤波器。还有一些学者和公司通过研究投影空间的数据模型并基于此建立不同算法来抑制低剂量投影数据中的噪声,提高成像质量。另一类方法是直接通过图像空间处理技术来提高已重建的低剂量CT图像质量,具有不依赖原始投影数据和处理速度快的优点,通常使用非线性的处理方法进行,如小波(Wavelet)变换方法通过保持图像边缘信息来去除伪影及噪声,但其缺点在于处理效果过分依赖于小波基的选择,且容易丢失组织结构内部细节。再如基于字典学习的稀疏表示图像处理算法,这种方法通过训练得到一组过完备字典(基),在基于字典表示的低剂量CT图像处理过程中,通过控制参数,可以使伪影及噪声得不到较好的表示,从而达到去除伪影及噪声的目的,但缺点在于处理时间过长。
基于字典学习的稀疏表示方法已经被证明在低剂量腹部CT图像处理中具有一定的效果,腹部低剂量CT图像通过训练后的稀疏字典处理后,能够获得较好的图像效果,可以使病人在腹部CT扫描中把所受剂量降低到原来的五分之一。但是这种方法需要训练不同方向的高频细节图像,缺乏断层图像之间的相关性,难以扩展到三维体数据的处理,计算量过大且耗时,难以在实际三维医疗图像处理系统中广泛应用。为了有效抑制三维伪影及噪声,中国专利申请201510590901.5提出了一种基于三维区别性特征表示的低剂量CT图像分解方法,通过利用特征字典和伪影及噪声字典组成的三维区别性字典来表示临床低剂量CT图像,得到特征字典表示的特征图像和伪影及噪声字典表示的伪影及噪声图像,从而实现低剂量CT图像的分解,能够有效滤除低剂量三维CT图像内的伪影及噪声,但是这种方法的缺陷在于容易把低剂量条件下CT图像中较强的星条状或者块状伪影当做图像的结构信息,从而无法对其进行有效的抑制,在低剂量星条状伪影严重的条件下,容易在最终的CT图像中引入块状伪影。
发明内容
为解决上述问题,本发明提供一种基于深度稠密网络的低剂量CT成像方法、装置及系统,能够改善现在后处理算法的效果,提高处理剂量过低、噪声过高的低剂量CT图像的能力,并克服现有低剂量CT图像处理方法存在的不能较好分辨星条状伪影和器官组织细节的问题。
本发明将深度稠密网络DenseNet应用于投影空间前处理和图像空间后处理两种处理方法中。本发明方法在投影空间前处理上的应用,首先获得多组常规剂量三维CT投影数据,通过低剂量仿真得到其相对应的低剂量三维CT投影数据;之后在投影空间建立深度稠密网络DenseNet-P,该网络输入为低剂量CT投影数据,输出为预测的数据噪声,在低剂量投影上除去预测噪声,以减轻低剂量投影CT数据中的噪声及伪影,经过滤波反投影重建后即得到满足临床应用需求的高质量CT图像。本发明方法在图像空间后处理上的应用,首先将常规剂量三维CT投影数据和低剂量仿真得到的对应低剂量三维CT投影数据,经过FBP变换成CT图像数据;之后在图像空间建立深度稠密网络DenseNet-I,该网络输入为低剂量CT图像数据,输出为预测的伪影和噪声,在低剂量图像上除去预测伪影噪声,即可得到高质量CT图像。
为了达到上述目的,本发明提供如下技术方案:
一种基于深度稠密网络的低剂量CT成像方法,包括以下步骤:
(1)获得多组对应的低剂量CT投影数据Pld和正常剂量CT投影数据Phd,通过计算得到Pld中包含的需要去除的伪影及噪声NP=Pld-Phd,作为投影空间前处理任务的训练集;
(2)建立投影空间前处理深度稠密网络DenseNet-P,将训练集中的低剂量投影数据Pld经过预处理后输入DenseNet-P中,网络输出结果为预测的伪影和噪声采用损失函数计算网络收敛性,计算网络中各节点的梯度,根据梯度值更新网络各节点权重参数,从而降低输出的噪声与拟去除的噪声NP之间的欧氏距离,当损失函数收敛至极小值且稳定时,投影空间前处理网络即训练完毕;
(3)将用于测试的低剂量CT投影数据输入训练完成的DenseNet-P得到预测的投影噪声,在输入低剂量CT投影数据中减去预测噪声后得到高质量投影数据,将投影数据从投影空间重建到图像空间后即得到低剂量CT投影空间前处理结果;
(4)将步骤(1)中获得的多组对应的低剂量CT投影数据Pld和正常剂量CT投影数据Phd,从投影空间重建到图像空间得到对应的高低剂量CT图像数据Ihd和Ild,以及图像空间拟去除的伪影噪声图像NI=Ild-Ihd,作为图像空间后处理任务的训练集;
(5)建立图像空间后处理深度稠密网络DenseNet-I,将训练集中的低剂量图像数据Ild经过预处理后输入DenseNet-I中,网络输出结果为预测的Ild中包含的伪影和噪声采用损失函数计算网络收敛性,计算网络中各节点的梯度,根据梯度值更新网络各节点权重参数,从而降低输出的噪声与拟去除的噪声NI之间的欧氏距离,当损失函数收敛至极小值且稳定时,CT图像后处理网络即训练完毕;
(6)将用于测试的低剂量CT图像数据输入训练完成的DenseNet-I得到预测的图像噪声伪影数据,在输入低剂量CT图像数据中减去预测噪声伪影后得到高质量图像数据,即为低剂量CT图像空间后处理结果。
进一步的,所述步骤(1)中低剂量CT投影数据Pld通过对正常剂量的CT投影数据Phd仿真模拟得到。
进一步的,所述步骤(2)中,经过预处理后,低剂量CT投影数据Pld和对投影空间噪声分量NP按照一定的尺寸n×n×t和像素间隔l1×l2×l3进行分块,分别得到分割后的pld、nP,再将训练集中的小块pld与nP放入网络中。
进一步的,所述步骤(4)具体包括如下过程:
首先初始化图像空间后处理深度稠密网络DenseNet-I,将训练集中低剂量CT投影数据小块pld输入网络DenseNet-I,得到伪影噪声小块
将训练集中低剂量CT投影数据小块pld减去伪影噪声小块得到处理后的CT投影数据小块
再将得到的小块组合成完整的三维CT投影数据并加上均值乘以方差;
使用Ramp滤波核的FBP算法重建,将训练集处理后的CT投影数据和原正常剂量CT投影数据Phd重建到图像空间分别得到Ild、Ihd,和拟去除的重建图像空间的伪影噪声分量NI=Ild-Ihd。
进一步的,所述步骤(4)还包括如下过程:将训练集中低剂量CT图像数据Ild和图像空间噪声伪影图像NI进行分块,作为下一步DenseNet-I网络的输入。
进一步的,所述步骤(2)和步骤(5)中对训练集中数据进行预处理的过程包括去均值和归一化处理。
进一步的,所述步骤(3)和步骤(4)中是通过滤波反投影CT重建方法将CT投影数据从投影空间变换到图像空间。
进一步的,所述投影空间前处理深度稠密网络DenseNet-P的训练中使用L2损失与L2正则化,使用BP算法进行反向传播计算网络中各节点的梯度,通过随机梯度下降算法根据梯度值的大小进行网络参数权重更新;所述图像空间后处理深度稠密网络DenseNet-I的训练使用L1损失与L1正则化,使用BP算法进行反向传播计算网络中各节点的梯度,通过Adam优化方法进行网络参数权重更新。
进一步的,本发明还提供了基于深度稠密网络的低剂量CT成像装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现上述基于深度稠密网络的低剂量CT成像方法。
进一步的,本发明还提供了基于深度稠密网络的低剂量CT成像系统,包括:
投影空间前处理训练集获取与处理模块,用于获得多组正常剂量的CT投影数据Phd,经过低剂量仿真生成对应的低剂量CT投影数据Pld,以及拟去除的伪影及噪声数据NP=Pld-Phd,作为投影空间的训练集;
投影空间DenseNet-P网络训练模块,用于建立投影空间前处理网络DenseNet-P,输入训练集中低剂量投影数据Pld,输出相对应的噪声学习投影空间训练集的数据,通过BP算法和SGD算法更新网络参数,损失函数收敛,从而降低输出的噪声与拟去除的噪声NP之间的欧氏距离,得到训练好的DenseNet-P;
图像空间后处理训练集获取与处理模块,用于将获得的多组低剂量投影集数据Pld和正常剂量投影数据Phd从投影空间重建转换到图像空间分别得到Ild、Ihd,以及图像空间拟去除的伪影噪声图像NI=Ild-Ihd,作为图像空间后处理的训练集;
图像空间网络训练模块,用于建立图像空间深度稠密网络DenseNet-I,将训练集中的低剂量CT图像Ild输入DenseNet-I中,输出网络预测的噪声伪影通过学习图像空间训练集的数据,通过Adam优化方法更新网络参数,从而降低输出的噪声与拟去除的噪声NI之间的欧氏距离,得到训练好的DenseNet-I。
与现有技术相比,本发明具有如下优点和有益效果:
1.与现有技术相比,本发明创新性地将深度稠密网络DenseNet应用于投影空间前处理和图像空间后处理两种处理方法中,利用卷积残差神经网络充分理解CT图像数据和CT投影数据的信息。通过DenseNet对图像特征的充分利用,能够有效分辨出星条状伪影和人体组织器官的区别,实现其中星条状伪影及噪声和组织器官特征结构成分有效的分离,因此图像质量有着较大的提升;DenseNet与其他相同规模的网络相比,参数量在一定程度上减少,因此存储空间的需求大大降低,运算速度显著提升,处理效果优于其他多种传统图像去噪算法和深度学习方法。
2.本发明在投影空间前处理中,建立基于深度稠密网络DenseNet,输入低剂量CT投影数据,并将其相对应的常规剂量CT投影数据残差作为对照标签,进行网络训练,通过拟合多组训练数据中对应的低剂量投影数据和其噪声残差的变换,网络能够分辨低剂量CT投影数据中的噪声信息,实现低剂量CT投影数据中的噪声减弱,并提高其信噪比,提升重建后的图像质量,并能够实现投影数据处理网络的轻量化,运算的快速化;在图像数据后处理中,输入低剂量CT图像数据,使用与其对应的常规剂量CT图像数据的残差为对照标签,利用DenseNet中稠密连接对特征的高效利用,能够有效辨别低剂量CT图像中的多种混合噪声和复杂伪影,通过网络实现从低剂量CT图像到噪声伪影残差的映射,在原始图像中减去网络输出残差,即可得到高质量的CT图像。本发明可应用于投影数据前处理和CT图像后处理中,均能有效降低低剂量带来的噪声和伪影的影响,对数据质量的提升满足临床分析、诊断的要求。
3.本发明可以处理高噪声低分辨率的低剂量CT图像,得到的低剂量CT图像质量能够更好的满足临床分析和诊断的要求,为降低CT扫描中的射线辐射强度,减少扫描者受到的辐射剂量伤害做出贡献。
附图说明
图1为本发明实例的低剂量CT投影空间前处理网络。
图2为本发明实例的低剂量CT图像空间后处理网络。
图3为本发明实施例中轴向低剂量CT图像。
图4为本发明实施例中轴向正常剂量CT图像。
图5为本发明实施例中轴向低剂量CT图像使用ResNet图像空间后处理结果图。
图6为本发明实施例中轴向低剂量CT图像使用ResNet投影空间前处理结果图。
图7为本发明实施例中轴向低剂量CT图像使用本发明DenseNet-I图像空间后处理的结果图。
图8为本发明实施例中轴向低剂量CT图像使用本发明DenseNet-P投影空间前处理的结果图。
图9为本发明实施例中轴向低剂量、正常剂量、ResNet图像空间后处理、ResNet投影空间前处理、DenseNet-I图像空间后处理、DenseNet-P投影空间前处理方法的对比图;其中(a)为低剂量CT图像,(b)为ResNet图像空间后处理结果,(c)为ResNet投影空间前处理结果,(d)为正常剂量CT图像,(e)为DenseNet-I图像空间后处理结果,(f)为DenseNet-P投影空间前处理。
图10为本发明实施例中轴向低剂量、正常剂量、ResNet图像空间后处理、ResNet投影空间前处理、DenseNet-I图像空间后处理、DenseNet-P投影空间前处理方法的对比图;其中(a)为低剂量CT图像,(b)为ResNet图像空间后处理结果,(c)为ResNet投影空间前处理结果,(d)为正常剂量CT图像,(e)为DenseNet-I图像空间后处理结果,(f)为DenseNet-P投影空间前处理。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
如图1所示,本发明实施例公开的一种基于深度稠密网络的低剂量CT成像方法,利用DenseNet强大的特征表示能力和低参数量、低存储空间的快速计算能力,应用于投影空间前处理和图像空间后处理两项任务中。具体包括以下步骤:
步骤1、投影空间数据获取与预处理:模拟获得多组对应的低剂量CT投影数据Pld和正常剂量CT投影数据Phd(均为三维数据),将低剂量CT投影数据Pld减去正常剂量CT投影数据Phd得到拟去除的投影空间噪声分量NP=Phd-Pld。在具体实验过程中,低剂量CT投影数据Pld可以通过对正常剂量数据低剂量仿真获得。将本步骤获得的对应的多组数据作为投影空间的训练集,为了验证本实例方法的有效性,分割出一部分数据作为本实验的测试集。
步骤2、投影空间前处理网络DenseNet-P训练:首先建立投影空间深度稠密网络DenseNet-P,目的是将训练集中低剂量数据Pld输入DenseNet-P中,输出相对应的噪声通过学习训练集的数据来更新卷积残差神经网络中的参数,从而降低投影空间内卷积残差神经网络输出的噪声与拟去除的噪声NP之间的欧氏距离。通过海量投影数据的输入,最终得到泛化能力较强的深度稠密网络。DenseNet与其他相同规模的网络相比,参数量在一定程度上减少,因此存储空间的需求大大降低,运算速度显著提升,因此该步骤所需训练时间和存储空间都相应减少,模型仍能保持高水平的泛化能力。
具体地,首先对训练集中低剂量CT投影数据Pld进行去均值和归一化的预处理操作,同样,对投影空间噪声残差NP归一化,并将预处理后的投影数据和噪声残差输入DenseNet-P中。训练集中低剂量CT投影数据Pld和对投影空间噪声分量NP按照一定的尺寸n×n×t和像素间隔l1×l2×l3进行分块(如:图块尺寸为60×60×12像素,分块间隔为40×40×8像素),分别得到pld、nP(未分割的图像用大写字母表示,分割后的图像用小写字母表示,下同)。将训练集中的小块pld与nP放入网络中,更新DenseNet-P网络中的参数来学习训练集的投影数据,从而降低投影空间内网络输出的小块与拟去除的伪影噪声小块nP的欧氏距离,使预测噪声伪影与真实结果更加接近。训练轮数为200轮,训练过程中采用均方误差(MSE)作为损失函数计算网络收敛性,即使用L2损失与L2正则化,使用反向传播算法(BP)进行反向传播计算网络中各节点的梯度,通过随机梯度下降算法(SGD)根据梯度值的大小更新网络各节点权重参数,优化网络性能,当训练集中的验证误差稳定且损失函数收敛到极小值时训练结束,最终得到训练好的深度稠密网络DenseNet-P。
步骤3、将测试的低剂量CT投影数据输入训练完成的DenseNet-P得到预测的投影噪声数据,在输入低剂量CT投影数据中减去预测噪声伪影后得到高质量投影数据,即为低剂量CT投影空间前处理结果。
具体地,将测试的低剂量CT投影数据输入训练完成的DenseNet-P得到预测的投影噪声,在输入低剂量CT投影数据中减去预测噪声后得到高质量投影数据,通过滤波反投影重建(FBP)到图像空间后即得到低剂量CT投影空间前处理结果。
步骤4、图像空间数据获取与预处理:首先将投影空间训练集中的低剂量数据Pld和正常剂量数据Phd通过使用Ramp核的滤波反投影(Filtered Back Projection,FBP)转换到图像空间分别得到Ild、Ihd。将重建后得到的低剂量CT图像数据Ild减去正常剂量CT图像数据Ihd得到拟去除的图像空间伪影噪声图像NI=Ild-Ihd,作为图像空间的训练集。然后,将训练集中低剂量CT图像数据Ild和图像空间噪声伪影图像NI按照尺寸60×60×12和像素间隔40×40×8进行分块,作为下一步DenseNet-I网络的输入。
具体地,首先初始化图像空间后处理深度稠密网络DenseNet-I,将训练集中低剂量CT投影数据小块pld输入网络DenseNet-I,得到伪影噪声小块再将训练集中低剂量CT投影数据小块pld减去伪影噪声小块得到处理后的CT投影数据小块再将得到的小块组合成完整的三维CT投影数据并加上均值乘以方差;使用Ramp滤波核的FBP算法重建,将训练集处理后的CT投影数据和原正常剂量CT投影数据Phd重建到图像空间分别得到Ild、Ihd,和拟去除的重建图像空间的伪影噪声分量NI=Ild-Ihd。
步骤5、图像空间后处理深度稠密网络DenseNet-I训练:与步骤2类似,首先建立图像空间深度稠密网络DenseNet-I并进行网络参数初始化,向网络中输入训练集中的低剂量CT图像,学习输入图像中的噪声和伪影,从而降低图像空间内DenseNet-I输出的噪声与拟去除的伪影噪声NI之间的欧氏距离,网络输出结果为预测的Ild中包含的伪影和噪声得到泛化能力较强的深度稠密网络。因为图像空间的伪影噪声种类较多,人体组织器官结构复杂,该步骤训练需要大量数据和相对较多的时间,从而得到训练完成的泛化能力较强的DenseNet-I网络。
具体地,对训练集中低剂量CT图像Ild去均值和归一化,同样,对伪影及噪声图像NI归一化。将训练集中低剂量CT图像Ild和伪影噪声图像NI按照一定的尺寸n×n×t和像素间隔l1×l2×l3进行分块(如:图块尺寸为60×60×12像素,分块间隔为40×40×8像素),分别得到ild、nI。将训练集中的小块ild与nI放入网络中,建立深度稠密网络DenseNet-I并向网络中输入训练集中的CT图像,以降低图像空间内网络输出的伪影噪声与拟去除的伪影噪声nI的欧氏距离。训练轮数为400轮,训练中采用L1范数作为损失函数计算网络收敛性,能够有效提升CT图像中器官组织边缘对比度,使用BP算法进行反向传播计算网络中各节点的梯度,通过Adam优化方法加速网络各节点权重参数更新速度,优化网络效果和性能,当训练集中的验证误差收敛到一个平稳的极小值时训练结束,得到泛化能力较强的图像空间后处理深度稠密网络DenseNet-I。
步骤6、将测试的低剂量CT图像数据输入训练完成的DenseNet-I得到预测的图像噪声伪影数据,在输入低剂量CT图像数据中减去预测噪声伪影后得到高质量图像数据,即为低剂量CT图像空间后处理结果。
具体地,将低剂量CT图像数据Ild分割后低剂量图像小块ild输入训练完成的网络DenseNet-I,得到处理后的CT图像最后将组合完整并逆归一化得到Ihd,Ihd为该成像过程的最终结果。
本发明实施例中的深度稠密网络的基本单元是DenseBlock,DenseBlock是一种能够减轻梯度消失、加强特征传递、提高特征利用率和表征能力、减少参数量、降低存储空间、缩短运算时间的网络设计模块,通过在模块内的每一个卷积层之间建立稠密的特征连接,提高模型的复杂度,在保证网络中层与层之间最大程度的信息传输的前提下,将模块内的所有层进行连接。在传统的卷积神经网络中,如果有N层,就有N个连接,但是在DenseNet中,会有N(N+1)/2个连接,也就是说每一层的输入来自于DenseBlock模块中前面所有层的输出。DenseNet的一个优点是网络更窄,参数更少,这一优点也得益于DenseBlock的设计。相比较于其他常用网络,DenseBlock中的每个卷积层的输出特征图的通道数都很小,同时这种连接方式使得特征和梯度的传递更加有效,显著减轻梯度消失现象,深层网络也就更加容易训练。投影空间前处理与图像空间后处理使用的深度稠密网络是不相同的,基于两种空间内训练数据的差别而分别设计。投影空间的数据结构更加简单,噪声种类单一且分布规律性强,任务较为简单;图像空间的数据包含各种组织器官细节,结构复杂,噪声和伪影种类繁多且相互交叠,分辨难度大。所以两者训练过程不同,投影空间前处理网络DenseNet-P中使用L2损失与L2正则化,图像空间后处理网络DenseNet-I中使用L1损失与L1正则化,训练时训练误差会随着之间逐渐减小,而训练时的验证误差会呈现先下降后增加的趋势,在训练集中的验证误差达到最小值时,可以认为该网络在应用于其他训练集之外的数据也达到了误差的最小值,即当训练集中的验证误差达到谷底左右时训练结束。其次,两者网络的具体结构不同,具体结构差异可以参考表1和表2。
表1:投影空间前处理深度稠密网络结构
表2:图像空间后处理深度稠密网络结构
为了验证本发明方法效果,进行实验对比如下:
首先获得多组腹部数据,实验中所使用LowdoseChallenge比赛公布的数据[https://www.aapm.org/GrandChallenge/LowDoseCT]。使用其中的正常剂量CT图像,投影获得模拟的CT投影数据作为正常剂量的投影数据。将正常剂量的投影数据加入泊松噪声,作为低剂量CT投影数据。再使用Ramp滤波核的FBP算法将低剂量的投影数据重建为CT图像,作为低剂量CT图像。正常剂量CT图像扫描管电压为120kVp,有效电流为200mAS,层厚为1mm,图像的三维连续性较好。
采集同一部位正常剂量CT图像(图4)和低剂量CT图像(图3)。其中低剂量CT图像、正常剂量CT图像和分解后特征图像窗宽为300HU(Housfield Units,HU),窗位为20HU;伪影及噪声图窗宽为50HU,窗位为-1000HU。
通过观察图3-10的低剂量和正常剂量的CT图像,以及ResNet图像空间后处理、ResNet投影空间前处理、DenseNet-I图像空间后处理、DenseNet-P投影空间前处理的图像。可以看到不论是在投影空间还是图像空间,DenseNet出处理结果均好于ResNet。
为了量化的验证本发明方法的有效性,我们通过计算比较了不同的二维CT图像(低剂量CT图、ResNet图像空间后处理、ResNet投影空间前处理、DenseNet-I图像空间后处理、DenseNet-P投影空间前处理)与正常剂量CT参考图像的峰值信噪比与结构相似度,这里峰值信噪比PSNR的定义为:
其中I此处代表正常剂量重建的高质量CT图像(本专利中所用的是正常剂量的Ramp核的FBP重建结果),K代表含伪影及噪声的图像,此处代表低剂量CT图像或者处理后的数据。i,j分别代表了像素点在图像上的坐标,MAXI代表图像可代表的最大像素值。
结构相似度SSIM的定义为:
其中x与y是两幅图像,μx、μy分别是x与y的均值,σx、σy分别是x与y的标准差,σxy是x与y的协方差。CT值单位是HU(HousfieldUnits,HU)。从表3可知本发明的低剂量CT成像方法可以提高CT重建图像的均值信噪比与结构相似度,深度稠密网络DenseNet方式明显优于其他常用深度学习网络的低剂量CT成像方法。上述实验结果表明,采用本发明的方法可以有效抑制低剂量CT图像中的伪影及噪声,提高低剂量CT图像质量,在低剂量条件下获得接近正常剂量水平的CT图像质量,以满足低剂量CT扫描条件下对CT图像的临床分析和诊断的质量要求。
表3效果比较
峰值信噪比PSNR | 结构相似度SSIM | |
低剂量CT图像 | 27.391180±2.617332 | 0.522512±0.114968 |
ResNet投影空间前处理 | 37.920729±1.398038 | 0.915401±0.018168 |
ResNet图像空间后处理 | 38.263918±0.890268 | 0.9228044±0.013938 |
DenseNet投影空间前处理 | 39.878113±1.490915 | 0.947100±0.018350 |
DenseNet图像空间后处理 | 40.374140±1.499282 | 0.957269±0.013828 |
本发明还提供了一种基于深度稠密网络的低剂量CT成像装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被加载至处理器时实现所述的基于深度稠密网络的低剂量CT成像方法。
本发明还提供了一种基于深度稠密网络的低剂量CT成像系统,包括:投影空间训练集获取与处理模块,用于获得多组正常剂量的CT投影数据Phd和对应的低剂量CT投影数据Pld,以及拟去除的伪影及噪声数据NP=Pld-Phd,作为投影空间的训练集,具体处理过程同前述方法中步骤1;投影空间前处理网络训练模块,用于建立投影空间深度稠密网络DenseNet-P,将训练集中低剂量数据Pld输入DenseNet-P中,输出相对应的噪声通过学习投影空间训练集的数据更新网络参数,从而降低输出的噪声与拟去除的噪声NP之间的欧氏距离,得到训练好的DenseNet-P,具体处理过程同前述方法中步骤2;图像空间后处理训练集获取与处理模块,用于将投影空间训练集中低剂量投影数据Pld和正常剂量投影数据Phd从投影空间经过滤波反投影变换转换到图像空间分别得到Ild、Ihd,以及图像空间拟去除的伪影噪声图像NI=Ild-Ihd,作为图像空间的训练集,具体处理过程同前述方法中步骤4;图像空间网络训练模块,用于建立图像空间后处理深度稠密网络DenseNet-I,将训练集中低剂量图像Ild输入DenseNet-I中,输出相对应的噪声通过学习图像空间训练集的数据更新网络参数,从而降低输出的噪声与拟去除的噪声NI之间的欧氏距离,得到训练好的DenseNet-I,具体处理过程同前述方法中步骤5。
该基于深度稠密网络的低剂量CT成像装置可以用于执行上述基于深度稠密网络的低剂量CT成像方法,其技术原理、所解决的技术问题及产生的技术效果相似,具体实现细节此处不再赘述。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于深度稠密网络的低剂量CT成像方法,其特征在于,包括以下步骤:
(1)获得多组对应的低剂量CT投影数据Pld和正常剂量CT投影数据Phd,通过计算得到Pld中包含的需要去除的伪影及噪声NP=Pld-Phd,作为投影空间前处理任务的训练集;
(2)建立投影空间前处理深度稠密网络DenseNet-P,将训练集中的低剂量投影数据Pld经过预处理后输入DenseNet-P中,网络输出结果为预测的伪影和噪声采用损失函数计算网络收敛性,计算网络中各节点的梯度,根据梯度值更新网络各节点权重参数,从而降低输出的噪声与拟去除的噪声NP之间的欧氏距离,当损失函数收敛至极小值且稳定时,投影空间前处理网络即训练完毕;
(3)将用于测试的低剂量CT投影数据输入训练完成的DenseNet-P得到预测的投影噪声,在输入低剂量CT投影数据中减去预测噪声后得到高质量投影数据,将投影数据从投影空间重建到图像空间后即得到低剂量CT投影空间前处理结果;
(4)将步骤(1)中获得的多组对应的低剂量CT投影数据Pld和正常剂量CT投影数据Phd,从投影空间重建到图像空间得到对应的高低剂量CT图像数据Ihd和Ild,以及图像空间拟去除的伪影噪声图像NI=Ild-Ihd,作为图像空间后处理任务的训练集;
(5)建立图像空间后处理深度稠密网络DenseNet-I,将训练集中的低剂量图像数据Ild经过预处理后输入DenseNet-I中,网络输出结果为预测的Ild中包含的伪影和噪声采用损失函数计算网络收敛性,计算网络中各节点的梯度,根据梯度值更新网络各节点权重参数,从而降低输出的噪声与拟去除的噪声NI之间的欧氏距离,当损失函数收敛至极小值且稳定时,CT图像后处理网络即训练完毕;
(6)将用于测试的低剂量CT图像数据输入训练完成的DenseNet-I得到预测的图像噪声伪影数据,在输入低剂量CT图像数据中减去预测噪声伪影后得到高质量图像数据,即为低剂量CT图像空间后处理结果。
2.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述步骤(1)中低剂量CT投影数据Pld通过对正常剂量的CT投影数据Phd仿真模拟得到。
3.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述步骤(2)中,经过预处理后,低剂量CT投影数据Pld和对投影空间噪声分量NP按照一定的尺寸n×n×t和像素间隔l1×l2×l3进行分块,分别得到分割后的pld、nP,再将训练集中的小块pld与nP放入网络中。
4.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述步骤(4)具体包括如下过程:
首先初始化图像空间后处理深度稠密网络DenseNet-I,将训练集中低剂量CT投影数据小块pld输入网络DenseNet-I,得到伪影噪声小块
将训练集中低剂量CT投影数据小块pld减去伪影噪声小块得到处理后的CT投影数据小块
再将得到的小块组合成完整的三维CT投影数据并加上均值乘以方差;
使用Ramp滤波核的FBP算法重建,将训练集处理后的CT投影数据和原正常剂量CT投影数据Phd重建到图像空间分别得到Ild、Ihd,和拟去除的重建图像空间的伪影噪声分量NI=Ild-Ihd。
5.根据权利要求4所述的基于深度稠密网络的低剂量CT成像方法,其特征在于:所述步骤(4)还包括如下过程:将训练集中低剂量CT图像数据Ild和图像空间噪声伪影图像NI进行分块,作为下一步DenseNet-I网络的输入。
6.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述步骤(2)和步骤(5)中对训练集中数据进行预处理的过程包括去均值和归一化处理。
7.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述步骤(3)和步骤(4)中是通过滤波反投影CT重建方法将CT投影数据从投影空间变换到图像空间。
8.根据权利要求1所述的基于深度稠密网络的低剂量CT成像方法,其特征在于,所述投影空间前处理深度稠密网络DenseNet-P的训练中使用L2损失与L2正则化,使用BP算法进行反向传播计算网络中各节点的梯度,通过随机梯度下降算法根据梯度值的大小进行网络参数权重更新;所述图像空间后处理深度稠密网络DenseNet-I的训练使用L1损失与L1正则化,使用BP算法进行反向传播计算网络中各节点的梯度,通过Adam优化方法进行网络参数权重更新。
9.一种基于深度稠密网络的低剂量CT成像装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被加载至处理器时实现根据权利要求1-8中任意一项所述的基于深度稠密网络的低剂量CT成像方法。
10.一种基于深度稠密网络的低剂量CT成像系统,包括:
投影空间前处理训练集获取与处理模块,用于获得多组正常剂量的CT投影数据Phd,经过低剂量仿真生成对应的低剂量CT投影数据Pld,以及拟去除的伪影及噪声数据NP=Pld-Phd,作为投影空间的训练集;
投影空间DenseNet-P网络训练模块,用于建立投影空间前处理网络DenseNet-P,输入训练集中低剂量投影数据Pld,输出相对应的噪声学习投影空间训练集的数据,通过BP算法和SGD算法更新网络参数,损失函数收敛,从而降低输出的噪声与拟去除的噪声NP之间的欧氏距离,得到训练好的DenseNet-P;
图像空间后处理训练集获取与处理模块,用于将获得的多组低剂量投影集数据Pld和正常剂量投影数据Phd从投影空间重建转换到图像空间分别得到Ild、Ihd,以及图像空间拟去除的伪影噪声图像NI=Ild-Ihd,作为图像空间后处理的训练集;
图像空间网络训练模块,用于建立图像空间深度稠密网络DenseNet-I,将训练集中的低剂量CT图像Ild输入DenseNet-I中,输出网络预测的噪声伪影通过学习图像空间训练集的数据,通过Adam优化方法更新网络参数,从而降低输出的噪声与拟去除的噪声NI之间的欧氏距离,得到训练好的DenseNet-I。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910244956.9A CN110009613A (zh) | 2019-03-28 | 2019-03-28 | 基于深度稠密网络的低剂量ct成像方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910244956.9A CN110009613A (zh) | 2019-03-28 | 2019-03-28 | 基于深度稠密网络的低剂量ct成像方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110009613A true CN110009613A (zh) | 2019-07-12 |
Family
ID=67168686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910244956.9A Pending CN110009613A (zh) | 2019-03-28 | 2019-03-28 | 基于深度稠密网络的低剂量ct成像方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110009613A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
CN111968110A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | Ct成像方法、装置、存储介质及计算机设备 |
CN112529796A (zh) * | 2020-12-02 | 2021-03-19 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
CN113379868A (zh) * | 2021-07-08 | 2021-09-10 | 安徽工程大学 | 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法 |
CN115209808A (zh) * | 2020-02-26 | 2022-10-18 | 株式会社岛津制作所 | 学习完毕模型的制作方法、图像生成方法以及图像处理装置 |
CN116312983A (zh) * | 2023-03-21 | 2023-06-23 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
CN108961237A (zh) * | 2018-06-28 | 2018-12-07 | 安徽工程大学 | 一种基于卷积神经网络的低剂量ct图像分解方法 |
CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
-
2019
- 2019-03-28 CN CN201910244956.9A patent/CN110009613A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
CN109102550A (zh) * | 2018-06-08 | 2018-12-28 | 东南大学 | 基于卷积残差网络的全网络低剂量ct成像方法及装置 |
CN108961237A (zh) * | 2018-06-28 | 2018-12-07 | 安徽工程大学 | 一种基于卷积神经网络的低剂量ct图像分解方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325686A (zh) * | 2020-02-11 | 2020-06-23 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
CN111325686B (zh) * | 2020-02-11 | 2021-03-30 | 之江实验室 | 一种基于深度学习的低剂量pet三维重建方法 |
CN115209808A (zh) * | 2020-02-26 | 2022-10-18 | 株式会社岛津制作所 | 学习完毕模型的制作方法、图像生成方法以及图像处理装置 |
CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
CN111815692B (zh) * | 2020-07-15 | 2023-12-01 | 东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、系统及存储介质 |
CN111968110A (zh) * | 2020-09-02 | 2020-11-20 | 广州海兆印丰信息科技有限公司 | Ct成像方法、装置、存储介质及计算机设备 |
CN111968110B (zh) * | 2020-09-02 | 2023-12-22 | 广州海兆印丰信息科技有限公司 | Ct成像方法、装置、存储介质及计算机设备 |
CN112529796A (zh) * | 2020-12-02 | 2021-03-19 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
CN112529796B (zh) * | 2020-12-02 | 2022-07-05 | 华北理工大学 | 一种基于多特征提取的cnn医学ct图像去噪方法 |
CN113379868A (zh) * | 2021-07-08 | 2021-09-10 | 安徽工程大学 | 基于卷积稀疏编码网络的低剂量ct图像噪声伪影分解方法 |
CN116312983A (zh) * | 2023-03-21 | 2023-06-23 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
CN116312983B (zh) * | 2023-03-21 | 2023-09-22 | 西安交通大学 | 基于噪声生成机制的隐正则化低剂量ct图像重建方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009613A (zh) | 基于深度稠密网络的低剂量ct成像方法、装置及系统 | |
Huang et al. | Metal artifact reduction on cervical CT images by deep residual learning | |
CN109166161B (zh) | 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统 | |
Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
Wolterink et al. | Generative adversarial networks for noise reduction in low-dose CT | |
Yang et al. | Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss | |
CN109102550A (zh) | 基于卷积残差网络的全网络低剂量ct成像方法及装置 | |
Ma et al. | Low-dose CT image denoising using a generative adversarial network with a hybrid loss function for noise learning | |
CN108961237B (zh) | 一种基于卷积神经网络的低剂量ct图像分解方法 | |
CN108898642A (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
CN108564553A (zh) | 基于卷积神经网络的低剂量ct图像噪声抑制方法 | |
CN109949235A (zh) | 一种基于深度卷积神经网络的胸部x光片去噪方法 | |
CN106373163B (zh) | 一种基于三维投影图区别性特征表示的低剂量ct成像方法 | |
CN110930318A (zh) | 一种低剂量ct图像修复去噪方法 | |
CN112348936A (zh) | 一种基于深度学习的低剂量锥束ct图像重建方法 | |
Ataei et al. | Cascaded convolutional neural networks with perceptual loss for low dose CT denoising | |
CN108885781A (zh) | 用于根据低剂量或低kV计算机断层扫描图像合成虚拟高剂量或高kV计算机断层扫描图像的方法和系统 | |
Li et al. | Incorporation of residual attention modules into two neural networks for low‐dose CT denoising | |
Shi et al. | A Virtual Monochromatic Imaging Method for Spectral CT Based on Wasserstein Generative Adversarial Network With a Hybrid Loss. | |
Chan et al. | An attention-based deep convolutional neural network for ultra-sparse-view CT reconstruction | |
Fu et al. | Learning domain transfer for unsupervised magnetic resonance imaging restoration and edge enhancement | |
Du et al. | X-ray CT image denoising with MINF: A modularized iterative network framework for data from multiple dose levels | |
Liu et al. | SDCNet: Smoothed dense-convolution network for restoring low-dose cerebral CT perfusion | |
Ye et al. | Momentum-net for low-dose CT image reconstruction | |
Bai et al. | Deep interactive denoiser (DID) for X-ray computed tomography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |