CN110570492A - 神经网络训练方法和设备、图像处理方法和设备以及介质 - Google Patents

神经网络训练方法和设备、图像处理方法和设备以及介质 Download PDF

Info

Publication number
CN110570492A
CN110570492A CN201910861446.6A CN201910861446A CN110570492A CN 110570492 A CN110570492 A CN 110570492A CN 201910861446 A CN201910861446 A CN 201910861446A CN 110570492 A CN110570492 A CN 110570492A
Authority
CN
China
Prior art keywords
artifact
training
image
domain
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910861446.6A
Other languages
English (en)
Other versions
CN110570492B (zh
Inventor
邢宇翔
杜牧歌
高河伟
刘以农
张丽
梁凯超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910861446.6A priority Critical patent/CN110570492B/zh
Publication of CN110570492A publication Critical patent/CN110570492A/zh
Application granted granted Critical
Publication of CN110570492B publication Critical patent/CN110570492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种用于训练神经网络的方法和设备、图像处理方法和设备以及存储介质。用于训练神经网络的方法包括：构建主干网络和域分类器。主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像，域分类器用于对主干网络的域适应层的输出进行处理，得到对于带伪影CT图像所属类别的判别结果。域适应层用于提取所述带伪影CT图像的伪影特征。该类别包括带仿真伪影的CT图像和带实际伪影的CT图像。对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为目标神经网络。利用上述训练得到的目标神经网络能够实现针对实际扫描下带伪影CT图像的有效伪影抑制。

Description

神经网络训练方法和设备、图像处理方法和设备以及介质
技术领域
本公开的实施例涉及辐射成像，具体涉及一种用于训练神经网络的方法和设备、图像处理方法和设备、以及存储介质。
背景技术
X光断层成像技术(X-Ray Computed Tomography，X-CT)应用于医疗、安检、工业无损检测等领域，已有几十年的历史。由于多种物理因素如束流硬化、光子数过少、散射、数据采样率不足等的影响，CT重建图像中可能出现伪影(Artifacts)，会降低图像质量，从而影响医生等使用者的判断。CT图像中的伪影有很多种，包括条状和带状伪影、风车伪影、环状伪影和运动模糊等。
在过去的几十年里，针对CT图像中的伪影，研究了许多伪影抑制方法。这些方法依赖于对CT扫描中的物理因素的建模，在CT成像的不同阶段进行校正。尽管其中一些方法成功部署在商用CT设备中，但这些传统的伪影抑制方法的性能并不能让人满意。由于对物理作用的建模无法做到完全准确，只是某种意义上的近似，故传统的伪影抑制算法的准确性不足，从而导致实用价值不高。
发明内容
根据本公开实施例，提出了一种用于训练神经网络的方法和设备、图像处理方法和设备、以及存储介质，利用训练得到的目标神经网络能够实现针对实际扫描下带伪影CT图像(即带实际伪影的CT图像)的有效伪影抑制。
在本公开的一个方面，提出了一种用于训练神经网络的方法，包括：构建主干网络和域分类器。然后对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为目标神经网络。
其中，主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像。域分类器用于对主干网络的域适应层的输出进行处理，得到对于带伪影CT图像所属类别的判别结果。域适应层用于提取带伪影CT图像的伪影特征。上述类别包括：带仿真伪影的CT图像和带实际伪影的CT图像。
根据本公开实施例，域适应层包括：主干网络的前第一预定数量个网络层。
根据本公开实施例，域分类器包括特征组合层和判别模块。域适应层的输出包括：域适应层中的第一预定数量个网络层的输出特征。上述域分类器用于对主干网络的域适应层的输出进行处理包括：域分类器用于将域适应层中的第一预定数量个网络层的输出特征作为输入，利用特征组合层对所述第一预定数量个网络层的输出特征进行组合得到组合特征，并利用判别模块确定所述组合特征所属类别。
根据本公开实施例，上述对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整包括：对主干网络进行有监督训练，以便基于第一损失函数对主干网络的参数进行调整。同时，对域适应层和域分类器进行对抗训练，以便基于第二损失函数对域适应层和域分类器的参数进行调整。在此基础上，上述当损失函数实现收敛时确定训练完成包括：当第一损失函数和第二损失函数均实现收敛时，确定训练完成。
根据本公开实施例，上述方法还包括：在对主干网络和域分类器进行联合训练之前，先对主干网络进行初步有监督训练。在此基础上，上述对主干网络和域分类器进行联合训练包括：当上述初步有监督训练进行第二预定数量次时，再对主干网络和域分类器进行联合训练。
根据本公开实施例，上述对主干网络进行有监督训练包括：获取多个无伪影CT图像。然后分别对多个无伪影CT图像进行伪影仿真，得到多个带仿真伪影的CT图像。将多个带仿真伪影的CT图像作为多个训练样本组成训练集。其中，对于训练集中的任一训练样本，与该任一训练样本对应的无伪影CT图像作为该任一训练样本的标签。接着利用带有标签的训练集对主干网络进行有监督训练。
根据本公开实施例，上述对域适应层和域分类器进行对抗训练包括：将带仿真伪影的CT图像和带实际伪影的CT图像作为主干网络的输入，并利用域适应层和域分类器进行对抗训练，以使域适应层能够提取伪影特征且域分类器能够分辨仿真伪影和实际伪影。
根据本公开实施例，第一损失函数包括l-范数。和/或，第二损失函数包括如下至少一项：原始GAN损失函数、WGAN损失函数、以及LSGAN损失函数。
根据本公开的另一方面，提供了一种图像处理方法，包括：获取待处理的带伪影CT图像。获取基于如上所述的用于训练神经网络的方法训练得到的目标神经网络。然后基于该目标神经网络对带伪影CT图像进行处理，以得到去除该带伪影CT图像中的伪影的伪影抑制CT图像。
根据本公开的另一方面，提供了一种用于训练神经网络的设备，包括：存储器和处理器。其中，存储器用于存储指令和数据。处理器配置为执行上述指令，以便：构建主干网络和域分类器，并对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为目标神经网络。
其中，主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像。域分类器用于对主干网络的域适应层的输出进行处理，得到对于带伪影CT图像所属类别的判别结果。域适应层用于提取带伪影CT图像的伪影特征。上述类别包括：带仿真伪影的CT图像和带实际伪影的CT图像。
根据本公开的另一方面，提供了一种图像处理设备，包括：存储器和处理器。其中，存储器用于存储指令和数据。处理器配置为执行上述指令，以便：获取待处理的带伪影CT图像，获取基于如上所述的用于训练神经网络的设备训练得到的目标神经网络。然后基于该目标神经网络对带伪影CT图像进行处理，以去除带伪影CT图像中的伪影，得到相应的伪影抑制CT图像。
根据本公开的另一方面，提供了一种计算机可读存储介质，其中存储有计算机指令，当所述指令被处理器执行时实现根据本公开的方法。
利用本公开上述实施例的方案，构建了主干网络和域分类器，将主干网络的域适应层的输出作为域分类器的输入。利用主干网络进行伪影去除，利用域适应层将来自于源域和目标域的CT图像的伪影特征映射到一个特征空间，利用域适应层对主干网络的输入来源进行域分类。通过对主干网络和域分类器的联合训练，使得训练得到的神经网络无论对于带仿真伪影的CT图像还是带实际伪影的CT图像都可以进行有效的伪影抑制。
附图说明
为了更好地理解本公开实施例，将根据以下附图对本公开实施例进行详细描述：
图1示意性示出了根据本公开实施例的用于训练神经网络的方法和设备、图像处理方法和设备以及存储介质的应用场景；
图2示意性示出了根据本公开实施例的用于训练神经网络的方法的流程图；
图3A示意性示出了根据本公开实施例的待训练的整体网络的结构示意图；
图3B、图3C和图3D示意性示出了根据本公开另一实施例的待训练的整体网络的结构示意图；
图3E示意性示出了根据本公开实施例的训练方式的示意图；
图4示意性示出了根据本公开实施例的图像处理方法的流程图；
图5A示意性示出了根据本公开实施例的主干网络的示例结构示意图；
图5B示意性示出了根据本公开实施例的域分类器的示例结构示意图；以及
图6示意性示出了根据本公开实施例的用于实现上文所描述的方法的电子设备的框图。
具体实施方式
下面将详细描述本公开实的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本公开实施例。在以下描述中，为了提供对本公开实施例的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本公开实施例。在其他实例中，为了避免混淆本公开实施例，未具体描述公知的结构、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本公开至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
本公开的实施例提出了一种用于训练神经网络的方法和设备、图像处理方法和设备以及存储介质。其中，用于训练神经网络的方法包括构建过程和训练过程。在构建过程中，构建主干网络和域分类器。其中主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像。域分类器用于对主干网络的域适应层的输出进行处理，得到对于带伪影CT图像所属类别的判别结果。域适应层用于提取所述带伪影CT图像的伪影特征。域分类器所判别的类别包括：带仿真伪影的CT图像和带实际伪影的CT图像。构建过程结束后，可以进入训练过程，对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为本方案进行伪影抑制所需的目标神经网络。利用该目标神经网络能够实现针对带实际伪影的CT图像的有效伪影抑制。
图1示意性示出了根据本公开实施例的用于训练神经网络的方法和设备、图像处理方法和设备以及存储介质的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该应用场景示例性地展示了CT设备100的结构示意图。在根据本实施例的CT设备100可以包括X射线源10、机械运动装置50、探测器和数据采集系统20、以及控制和数据处理装置60。CT设备100对被检查对象40进行CT扫描和数据处理，例如神经网络的训练和利用训练后的目标神经网络对CT图像进行伪影抑制处理等。
X射线源10例如可以为X光机，可以根据成像的分辨率选择合适的X光机焦点尺寸。在其他实施例中也可以不使用X光机，而是使用直线加速器等产生X射线束。
机械运动装置50包括载物台和机架以及控制系统等。载物台可平移以调整旋转中心的位置，机架可平移以使X射线源(X光机)10、探测器和旋转中心三者对准。本实施例中按照旋转载物台、固定机架的圆周扫描轨迹或者螺旋轨迹进行描述。由于载物台与机架的运动属于相对运动，也可采用载物台静止、机架旋转的方式实现本实施例的方法。
探测器及数据采集系统20包括X射线探测器和数据采集电路等。X射线探测器可以使用固体探测器，也可以使用气体探测器或者其他探测器，本公开的实施例不限于此。数据采集电路包括读出电路、采集触发电路及数据传输电路等。
控制和数据处理装置60例如包括安装有控制程序和数据处理程序的计算机设备，负责完成CT系统运行过程的控制，包括机械平移、机械转动、电气控制、安全联锁控制等，还可以训练神经网络，并且利用训练得到的目标神经网络对CT图像进行处理等。
需要说明的是，本公开实施例所提供的用于训练神经网络的方法一般可以由控制和数据处理装置60执行。本公开实施例所提供的用于训练神经网络的方法也可以由不同于控制和数据处理装置60且能够与控制和数据处理装置60通信的服务器或服务器集群执行。本公开实施例所提供的图像处理方法一般可以由控制和数据处理装置60执行。本公开实施例所提供的图像处理方法也可以由不同于控制和数据处理装置60且能够与控制和数据处理装置60通信的服务器或服务器集群执行。本公开实施例所提供的用于训练神经网络的方法和图像处理方法可以在相同设备中执行，也可以在不同设备中执行，在此不做限制。
图2示意性示出了根据本公开实施例的用于训练神经网络的方法的流程图，该方法用于训练得到能够实现CT伪影抑制的神经网络结构。
如图2所示，该方法可以包括以下操作S201～S203。
在操作S201，构建主干网络和域分类器。
本操作在开始训练之前，先构建待训练的整体网络，该整体网络由两个子网络构成。第一个子网络是主干网络，例如可以将该主干网络称为伪影抑制主干网络，其作用是进行伪影抑制。第二个子网络是域分类器，作用是区分主干网络的输入来源是仿真数据域还是实际数据域，例如分辨输入主干网络的CT图像来自仿真图像域还是实际图像域。下面参考图3A对这两个子网络进行示例性说明。
图3A示意性示出了根据本公开实施例的待训练的整体网络的结构示意图。如图3A所示，整体网络包括主干网络G 310和域分类器C 320。主干网络G的输入为带伪影CT图像，其既可以是带仿真伪影的CT图像，也可以是带实际伪影的CT图像。主干网络G 310的输出为伪影被抑制的CT图像，称为伪影抑制CT图像，即主干网络G 310用于对带伪影CT图像进行处理，得到伪影抑制CT图像。
主干网络G 310的一个重要内部模块为域适应层311，域适应层311的作用是提取输入主干网络G 310的带伪影CT图像的伪影特征。域分类器C 320将域适应层311的输出作为输入，其中域适应层311的输出可以包括域适应层311中的各个网络层的输出特征。域分类器C 320的输出是对主干网络G 310的输入来源所属类别的判别结果，即域分类器C 320用于对主干网络G 310的域适应层311的输出进行处理，得到对于输入主干网络G 310的带伪影CT图像所属类别的判别结果。其中，输入主干网络G 310的带伪影CT图像所属类别可以包括：带仿真伪影的CT图像和带实际伪影的CT图像。例如，域分类器C 320的输出是对域适应层311的输入来自于带仿真伪影的CT图像的概率判断，概率的形式可以为单个像素或单幅图，域分类器C 320识别出域适应层311的输入来自于带仿真伪影的CT图像的概率越高，则输出的值越大。
可以理解，图3A中的主干网络G 310实质用于抑制输入其中的CT图像中的伪影，域分类器C 320实质用于分辨输入主干网络G 310的CT图像是来自于带仿真伪影的CT图像(可将带仿真伪影的CT图像的集合称作“仿真域”)还是来自于带实际伪影的CT图像(可将带实际伪影的CT图像的集合称作“实际域”)。本操作S201初始构建的主干网络G 310的伪影抑制能力和域分类器C 320的域分辨能力较差，尚不能直接进行数据处理，需进行下一步的训练过程。
接着，在操作S202，对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。
其中，基于上述待训练的整体网络的结构，对主干网络和域分类器进行联合训练可以包括对主干网络的域适应层和域分类器的对抗训练，还可以包括对主干网络自身的训练。示例性地，可以采用类似生成对抗网络(Generative Adversarial Network，GAN)的对抗训练方式，主干网络的训练目标是使得域适应层针对不同来源的CT图像所提取的伪影特征尽可能接近，以使域分类器难以识别其来源的不同。同时，域分类器的训练目标是尽量提高对于输入主干网络的CT图像的域分辨能力。通过域适应层和域分类器的对抗训练，使得域适应层仅提取带伪影CT图像的伪影特征且排除仿真伪影和实际伪影之间的细节特征差异，即不受域差异影响，缩小带仿真伪影的CT图像与带实际伪影的CT图像之间的特征差异，进而使得主干网络对于带仿真伪影的CT图像的去伪影效果与主干网络对于带实际伪影的CT图像的去伪影效果之间趋于一致。
接着，在操作S203，当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为目标神经网络。
其中，目标神经网络为能够实现CT伪影抑制的神经网络结构。
本领域技术人员可以理解，在相关技术中，基于深度学习的CT图像伪影抑制方案均是利用带仿真伪影的CT图像训练神经网络的有监督学习。由于仿真过程无法准确模拟CT图像的实际成像物理过程，导致仿真伪影与实际伪影存在一定差异，使得当将利用带仿真伪影的CT图像训练得到的神经网络应用于带实际伪影的CT图像时，去伪影效果会显著降低。
为解决上述技术问题，图2所示的方法基于领域自适应(Domain Adaptation)理论，将带仿真伪影的CT图像的集合(仿真域)作为源域(Source Domain)，即具有较丰富的监督信息的数据。将带实际伪影的CT图像的集合(实际域)作为目标域(Target Domain)，即不具有监督信息但最终进行实际测试的数据。构建了主干网络和域分类器，将主干网络的域适应层的输出作为域分类器的输入。利用主干网络进行伪影去除，利用域适应层将来自于源域和目标域的CT图像的伪影特征映射到一个特征空间，利用域适应层对主干网络的输入来源进行域分类。通过对主干网络和域分类器的联合训练，使得最终的博弈结果是来自于源域的CT图像与来自于目标域的CT图像的伪影特征在上述特征空间的分布趋于一致。由此训练得到的主干网络无论对于来自于源域的CT图像还是来自于目标域的CT图像都可以进行有效的伪影抑制，特别是在对来自于目标域的CT图像(即带实际伪影的CT图像)进行处理时，去伪影效果能够保持较好水平，从而更准确、更彻底地对实际图像的伪影进行抑制。
在本公开的实施例中，带仿真伪影的CT图像和带实际伪影的CT图像之间的差异通常在于浅层特征，故域适应层用于提取输入主干网络的CT图像的浅层特征，以作为域分类器的输入。因为一个编码网络的浅层网络可以编码图像的浅层特征，因此可以将主干网络的浅层网络作为域适应层，可以适应仿真伪影和实际伪影之间的差异。示例性地，域适应层可以为主干网络的前第一预定数量个网络层。
在此基础上，域适应层的输出可以包括域适应层中的第一预定数量个网络层中的输出特征。在本公开的一个实施例中，域分类器可以包括特征组合层和判别模块。例如，域分类器可以将域适应层中的第一预定数量个网络层的输出特征作为输入，利用特征组合层对域适应层中的第一预定数量个网络层的输出特征进行组合得到组合特征，并利用判别模块确定该组合特征所属类别。
图3B、图3C和图3D示意性示出了根据本公开另一实施例的待训练的整体网络的结构示意图。
如图3B所示，主干网络G 310的浅层网络作为域适应层311，域适应层311的作用是提取浅层特征，对应于输入主干网络G 310的带伪影CT图像的伪影特征。域分类器C 320包括特征组合层321和判别模块322，域适应层311中的各网络层的输出特征(即第一预定数量个输出特征)输入至特征组合层321，特征组合层321对上述第一预定数量个输出特征进行组合得到组合特征并输入至判别模块322。判别模块322用于对组合特征进行判断，确定该组合特征的来源是仿真域还是实际域。
如图3C所示，域适应层311中的各网络层的输出特征在进入特征组合层321后，可以先对其中一个或多个输出特征进行降采样处理，以调整为相同的特征尺度，然后再进行特征合并以得到组合特征。如图3D所示，域适应层311中的各网络层的输出特征在进入特征组合层321后，也可以先对其中一个或多个输出特征进行升采样处理，以调整为相同的特征尺度，然后再进行特征合并以得到组合特征。其中，主干网络可以是卷积神经网络(Convolutional Neural Networks，CNN)，也可以是深度神经网络(Deep NeuralNetworks，DNN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型等，也可以包括以上各种神经网络的变形或迁移。
下面通过两个实施例说明对于上述构建的待训练的整体网络的训练过程。
实施例一
在上述对主干网络和所述域分类器进行联合训练之前，可以先进行第一阶段训练：对主干网络进行初步有监督训练，以便基于第一损失函数对主干网络的参数进行调整。在该初步有监督进行第二预定数量次(epoch)时，再执行第二阶段训练，即执行上述对主干网络和域分类器进行联合训练的过程。
其中，上述对主干网络和域分类器进行联合训练的过程可以按照以下方式进行：一方面，对主干网络进行有监督训练，以便基于第一损失函数对主干网络的参数进行调整。另一方面，对域适应层和域分类器进行对抗训练，以便基于第二损失函数对域适应层和域分类器的参数进行调整。当第一损失函数和第二损失函数均实现收敛时，确定训练完成。
由于第一阶段和第二阶段均需进行主干网络的有监督训练过程，在本公开的一个实施例中，第一阶段的初步有监督训练和第二阶段的有监督训练的训练逻辑可以相同，而训练结果不同。第一阶段的初步有监督训练在进行第二预定数量次后，可以实现初步收敛，也可未实现收敛，例如第一阶段的初步有监督训练接近收敛时，再执行第二阶段的联合训练过程。且在初步有监督训练实现初步收敛的情况下，第二阶段中第一损失函数的收敛效果不应当劣于第一阶段中第一损失函数的收敛效果即，第二阶段中第一损失函数的收敛效果优于或等于第一阶段中第一损失函数的收敛效果。
实施例二
在实施例二中，也可以不执行上述第一阶段训练，而直接执行上述第二阶段训练，即执行上述对主干网络和域分类器进行联合训练的过程。
其中，上述对主干网络和域分类器进行联合训练的过程可以按照以下方式进行：一方面，对主干网络进行有监督训练，以便基于第一损失函数对主干网络的参数进行调整。另一方面，对域适应层和域分类器进行对抗训练，以便基于第二损失函数对域适应层和域分类器的参数进行调整。当第一损失函数和第二损失函数均实现收敛时，确定训练完成。
在进行神经网络的训练时，可以根据实际需要选择上述实施例一或实施例二的方式进行训练，实施例一相比于实施例二通常会具有更高的训练效率。
示例性地，在进行上述实施例一或实施例二的训练过程时，需要预先获取源域数据和目标域数据。本例中，一方面，获取源域数据的过程可以为：获取多个实际的无伪影CT图像，然后基于所获取的无伪影CT图像，通过物理仿真来设计并制造源域(仿真域)的带仿真伪影的CT图像。其中，对于仿真得到的每个带仿真伪影的CT图像，使用与该带仿真伪影的CT图像的无伪影CT图像作为该带仿真伪影的CT图像的图像真值标签。另一方面，获取目标域数据的过程可以为：将实际的带实际伪影CT图像，作为目标域(实际域)的带实际伪影的CT图像。
训练过程包括两部分：(1)有监督训练：利用源域的带仿真伪影的CT图像和其相应的真值标签对主干网络进行有监督训练。(2)领域自适应：使用源域的带仿真伪影的CT图像和目标域的带实际伪影的CT图像作为主干网络的输入，利用域适应层和域分类器进行对抗训练。
在训练时，依据上述实施例一，可以分为两个阶段，请参见图3D。
图3E示意性示出了根据本公开实施例的训练方式的示意图。如图3E所示，第一阶段只进行(1)的训练，即利用源域的带仿真伪影的CT图像和其相应的真值标签对主干网络G310进行有监督训练，在带仿真伪影的CT图像上的有监督损失接近收敛时进入第二阶段，进行(1)和(2)的联合训练，即在进行主干网络G 310的有监督训练的同时，还进行域适应层311和域分类器C 320的对抗训练，直至第一损失函数和第二损失函数均实现收敛。
在训练时，依据上述实施例二，也可以直接进入第二阶段，只进行(1)和(2)的联合训练。
根据本公开的实施例，在带仿真伪影的CT图像上的有监督学习部分的损失函数(即第一损失函数)可以使用但不限于常用的l-范数。例如，第一损失函数为l-范数||f-f*||l，其中，f＝{f1，f2，…，fn}为主干网络输出的伪影抑制CT图像，f*为输入对应的真值标签。对领域自适应部分的损失函数(即第二损失函数)可以使用与GAN相关的损失函数的形式，可以包括：原始GAN损失函数、WGAN(Wasserstein GAN)损失函数、LSGAN(Least-squareGAN)损失函数等，在此不做限制。
根据本公开实施例的用于训练神经网络的方法能够训练得到用于进行CT图像伪影抑制的目标神经网络。在训练得到目标神经网络后，即可进行如下图像处理过程。
图4示意性示出了根据本公开实施例的图像处理方法的流程图。
如图4所示，该方法可以包括以下操作S401～S403。
在操作S401，获取待处理的带伪影CT图像。
其中，待处理的带伪影CT图像可以是带实际伪影的CT图像，也可以是带仿真伪影的CT图像，在此不做限制。
在操作S402，获取目标神经网络。
其中，目标神经网络是基于如上文所述的用于训练神经网络的方法训练得到的，即为经上文中各实施例训练得到的主干网络。
在操作S403，基于目标神经网络对待处理的带伪影CT图像进行处理，以在去除该带伪影CT图像中的伪影后得到伪影抑制CT图像。
其中，所获得的伪影抑制CT图像即为实际应用中所需要的去除伪影的CT图像。
本领域技术人员可以理解，图4所示的方法利用上文训练得到的目标神经网络对带伪影CT图像进行处理，由于该目标神经网络是基于领域自适应通过主干网络和域分类器的联合训练得到的，使得最终训练得到的目标神经网络无论对于带仿真伪影的CT图像还是带实际伪影的CT图像都可以进行有效的伪影抑制，从而更准确、更彻底地对实际图像的伪影进行去除。
下面结合具体实施例对根据本公开实施例的神经网络训练过程和图像处理过程进行示例性说明。
在实际CT系统中，金属伪影是一类常见而且对实际应用有重要影响的伪影，它由多种物理作用引发，包括射束硬化、光子不足和散射等，所以具有典型性。本例中以金属伪影影响最显著的牙科CT为例，进行实施方式实例介绍。
对于牙科CT，源域的带仿真伪影的CT图像可以采用如下仿真流程得到：在实际的不带有金属部分的CT图像中，手工圈出部分牙齿的轮廓，采用来自其他真实患者案例的图像中的金属部分来填充其中。将该CT图像分割成组织、骨头、金属，对每一种成分在物质本身的密度基础上，根据待植入金属伪影所在的实际牙科CT重建图像中具体的值，对上述密度乘以一个比例系数得到每个像素点的实际密度。使用系统标称能量下的能谱(例如实验中采用120Kvp)对上述CT图像计算仿真投影。其中需要用上述仿真投影替换原始投影中与金属相关的投影，其他位置仍用原始投影。使用常规方法(或者商业牙科CT系统自带的重建方法)重建后，得到带有仿真金属伪影的CT图像，作为源域的输入图像。对源域的真值标签，将上述过程中填充金属后的CT图像作为相应的真值标签。对于目标域的输入图像，采用实际的带金属伪影的CT图像，即带有真实金属伪影的CT图像。
在获取到源域数据和目标域数据后，可以开始训练过程，构建如上文中图3A～图3D所示的由主干网络G和域分类器C组成的待训练整体网络，下面通过图5A～图5B对该整体网络内部进行说明。
图5A示意性示出了根据本公开实施例的主干网络的示例结构示意图。
如图5A所示，示例性地，主干网络G 310可以采用了类似U-Net(图像分割卷积神经网络)的结构，例如可以包括：一个Conv(卷积)层、多个ReLU-Conv-Norm(ReLU激活-卷积-批标准化)组、一个ReLU-Conv(ReLU激活-卷积)组、多个ReLU-UpConv-Norm(ReLU激活-上采样卷积-批标准化)组、以及一个ReLU-UpConv-Tanh(ReLU激活-升采样卷积-Tanh激活)组。其中，在不同层的输出之间还进行通道合并(Concatenate)。主干网络G 310的输入是上文中获取到的来自于源域或来自于目标域的带伪影CT图像。将主干网络G 310的编码器路径前若干层取出，经过降采样或升采样，调整为相同尺寸后合并，作为域适应层311。
图5B示意性示出了根据本公开实施例的域分类器的示例结构示意图。
如图5B所示，示例性地，域分类器C 320可以采用类似PatchGAN discriminator(块GAN判别器)的结构，例如可以包括：一个Conv-LeakyReLU(卷积-LeakyReLU激活)组、多个Residual Block(残差模块)结构、多个Conv-Norm-LeakyReLU(卷积-批标准化-LeakyReLU激活)组、以及一个Conv(卷积)层。域分类器C 320的输入是域适应层311的输出，域分类器C 320的输出图像的每个像素取值为[0，1]。
在本实施例中，上述整体网络的训练采用同时进行有监督学习和领域自适应的方式。有监督学习的损失函数(第一损失函数)使用1-范数，例如损失函数Lsupervised的表达方式可以如公式(1)所示：
Lsupervised(G(Ax)，Ay)＝L1(G(Ax)，Ay)＝||G(Ax)-Ay||1 (1)
其中，Ax是输入主干网络G 310的带仿真伪影的CT图像，Ay是相应的无伪影真值标签。
在本实施例中，领域自适应的损失函数(第二损失函数)可以采用LSGAN损失函数的形式，例如域适应层311的损失函数和域分类器C 320的损失函数的计算方式可以分别如公式(2)～(3)所示：
其中，Guda是域适应层，Bx是输入主干网络G 310的带实际伪影的CT图像。运算符代表期望，例如，表示在全部Ax的空间中，(C(Guda(Ax))-1)2的期望值。
在有监督学习的训练中，将带仿真伪影的CT图像作为主干网络G 310的输入，计算输出与真值标签之间的1-范数损失，反向传播，更新主干网络G 310的参数。
在领域自适应的训练中，主干网络G 310的输入既可以是带仿真伪影的CT图像，也可以是带实际伪影的CT图像。领域自适应采用的是域适应层311和域分类器C 320的对抗训练。在训练域分类器311时，固定主干网络G 310的参数，对以带仿真伪影的CT图像作为输入的域适应层311，域分类器C 320输出的值应接近1。对以带实际伪影的CT图像作为输入的域适应层311，域分类器C 320输出的值应接近0。因此，分别计算二者与1和0的2-范数损失，反向传播，更新域分类器C 320的参数。在训练域适应层311时，固定域分类器C 320的参数和主干网络G 310中域适应层311之后的参数，对以带仿真伪影的CT图像作为输入的域适应层311，域分类器C 320输出的值应接近0，而对以带实际伪影的CT图像作为输入的域适应层311，域分类器C 320输出的值应接近1。因此，分别计算二者与0和1的2-范数损失，反向传播，更新域适应层311的参数。
在训练结束时，将最终更新得到的主干网络G 310作为目标神经网络，可以利用该目标神经网络对未知的带伪影CT图像进行伪影抑制处理，得到相应的去伪影后的伪影抑制图像。
在本实施例中，使用1000对仿真数据(带仿真伪影的CT图像)和1800个临床数据(带实际伪影的CT图像)进行训练。在其他实施例中，可以根据需要选择数据的数量，在此不做限制。
基于上述说明，根据本公开实施例的用于训练神经网络的方法以及图像处理方法可以至少具有以下有益效果：
1、通过施加于域适应层的领域自适应，带仿真伪影的CT图像和带实际伪影的CT图像中的伪影在编码过程中去除了浅层特征中伪影的差异性。从而在通过主干网络后，仿真图像和实际图像具有相似的去伪影水平。
2、通过本公开实施例训练得到用于进行伪影抑制的目标神经网络，在应用于实际CT图像时，相比于相关技术中单纯依靠有监督方法训练得到的神经网络，有更好的去伪影效果。
3、本公开实施例训练得到用于进行伪影抑制的目标神经网络，在应用于实际CT图像时，可以快速地去除伪影，无论该伪影是仿真伪影还是实际伪影。
图6示意性示出了根据本公开实施例的用于实现上文所描述的方法的电子设备的框图。图6示出的设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，根据本公开实施例的设备600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中，存储有设备600操作所需的各种程序和数据。处理器601、ROM 602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例，上文所述的电子设备可以作为用于训练神经网络的设备，包括：存储器和处理器。其中，存储器用于存储指令和数据。处理器配置为执行上述指令，以便：构建主干网络和域分类器，并对主干网络和域分类器进行联合训练，以便基于损失函数对主干网络和域分类器的参数进行调整。当损失函数实现收敛时确定训练完成，将训练得到的主干网络作为目标神经网络。其中，主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像。域分类器用于对主干网络的域适应层的输出进行处理，得到对于带伪影CT图像所属类别的判别结果。域适应层用于提取带伪影CT图像的伪影特征。上述类别包括：带仿真伪影的CT图像和带实际伪影的CT图像。
根据本公开的实施例，上文所述的电子设备也可以作为图像处理设备，包括：存储器和处理器。其中，存储器用于存储指令和数据。处理器配置为执行上述指令，以便：获取待处理的带伪影CT图像，获取基于如上所述的用于训练神经网络的设备训练得到的目标神经网络。然后基于该目标神经网络对带伪影CT图像进行处理，以去除带伪影CT图像中的伪影，得到相应的伪影抑制CT图像。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种用于训练神经网络的方法，包括：
构建主干网络和域分类器；其中，所述主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像，所述域分类器用于对所述主干网络的域适应层的输出进行处理，得到对于所述带伪影CT图像所属类别的判别结果，所述域适应层用于提取所述带伪影CT图像的伪影特征，所述类别包括：带仿真伪影的CT图像和带实际伪影的CT图像；
对所述主干网络和所述域分类器进行联合训练，以便基于损失函数对所述主干网络和所述域分类器的参数进行调整；以及
当所述损失函数实现收敛时确定训练完成，将训练得到的所述主干网络作为所述目标神经网络。
2.如权利要求1所述的方法，其中，所述域适应层包括：所述主干网络的前第一预定数量个网络层。
3.如权利要求2所述的方法，其中，所述域分类器包括特征组合层和判别模块，所述域适应层的输出包括：所述域适应层中的第一预定数量个网络层的输出特征；
所述域分类器用于对所述主干网络的域适应层的输出进行处理包括：所述域分类器用于将所述第一预定数量个网络层的输出特征作为输入，利用所述特征组合层对所述第一预定数量个网络层的输出特征进行组合得到组合特征，并利用所述判别模块确定所述组合特征所属类别。
4.如权利要求1所述的方法，其中，所述对所述主干网络和所述域分类器进行联合训练，以便基于损失函数对所述主干网络和所述域分类器的参数进行调整包括：
对所述主干网络进行有监督训练，以便基于第一损失函数对所述主干网络的参数进行调整；以及
对所述域适应层和所述域分类器进行对抗训练，以便基于第二损失函数对所述域适应层和所述域分类器的参数进行调整；
所述当所述损失函数实现收敛时确定训练完成包括：当所述第一损失函数和所述第二损失函数实现收敛时，确定训练完成。
5.如权利要求4所述的方法，还包括：
在所述对所述主干网络和所述域分类器进行联合训练之前，对所述主干网络进行初步有监督训练；
所述对所述主干网络和所述域分类器进行联合训练包括：当所述初步有监督训练进行第二预定数量次时，对所述主干网络和所述域分类器进行联合训练。
6.如权利要求4或5所述的方法，其中，所述对所述主干网络进行有监督训练包括：
获取多个无伪影CT图像；
分别对所述多个无伪影CT图像进行伪影仿真，得到针对所述多个无伪影CT图像的多个带仿真伪影的CT图像；
将所述多个带仿真伪影的CT图像作为多个训练样本组成训练集，其中，对于所述训练集中的任一训练样本，与所述任一训练样本对应的无伪影CT图像作为所述任一训练样本的标签；以及
利用带有所述标签的所述训练集对所述主干网络进行有监督训练。
7.如权利要求4所述的方法，其中，所述对所述域适应层和所述域分类器进行对抗训练包括：
将带仿真伪影的CT图像和带实际伪影的CT图像作为所述主干网络的输入，并利用所述域适应层和所述域分类器进行对抗训练，以使所述域适应层能够提取伪影特征且所述域分类器能够分辨仿真伪影和实际伪影。
8.如权利要求4所述的方法，其中，
所述第一损失函数包括l-范数；和/或
所述第二损失函数包括如下至少一项：原始GAN损失函数、WGAN损失函数、以及LSGAN损失函数。
9.一种图像处理方法，包括：
获取待处理的带伪影CT图像；
获取基于如权利要求1～8中任一项所述的用于训练神经网络的方法训练得到的目标神经网络；以及
基于所述目标神经网络对所述带伪影CT图像进行处理，以在去除所述带伪影CT图像中的伪影后得到伪影抑制CT图像。
10.一种用于训练神经网络的设备，包括：
存储器，用于存储指令和数据；以及
处理器，配置为执行所述指令，以便：
构建主干网络和域分类器；
对所述主干网络和所述域分类器进行联合训练，以便基于损失函数对所述主干网络和所述域分类器的参数进行调整；以及
当所述损失函数实现收敛时确定训练完成，将训练得到的所述主干网络作为目标神经网络，
其中，所述主干网络用于对带伪影CT图像进行处理，得到伪影抑制CT图像，所述域分类器用于对所述主干网络的域适应层的输出进行处理，得到对于所述带伪影CT图像所属类别的判别结果，所述域适应层用于提取所述带伪影CT图像的伪影特征，所述类别包括：带仿真伪影的CT图像和带实际伪影的CT图像。
11.一种图像处理设备，包括：
存储器，用于存储指令和数据；以及
处理器，配置为执行所述指令，以便：
获取待处理的带伪影CT图像；
获取基于如权利要求10所述的设备训练得到的目标神经网络；以及
基于所述目标神经网络对所述带伪影CT图像进行处理，以在去除所述带伪影CT图像中的伪影后得到伪影抑制CT图像。
12.一种计算机可读存储介质，其中存储有计算机指令，当所述指令被处理器执行时实现如权利要求1～9中任一项所述的方法。
CN201910861446.6A 2019-09-11 2019-09-11 一种基于神经网络的ct伪影抑制方法、设备以及介质 Active CN110570492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910861446.6A CN110570492B (zh) 2019-09-11 2019-09-11 一种基于神经网络的ct伪影抑制方法、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910861446.6A CN110570492B (zh) 2019-09-11 2019-09-11 一种基于神经网络的ct伪影抑制方法、设备以及介质

Publications (2)

Publication Number Publication Date
CN110570492A true CN110570492A (zh) 2019-12-13
CN110570492B CN110570492B (zh) 2021-09-03

Family

ID=68779435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910861446.6A Active CN110570492B (zh) 2019-09-11 2019-09-11 一种基于神经网络的ct伪影抑制方法、设备以及介质

Country Status (1)

Country Link
CN (1) CN110570492B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223066A (zh) * 2020-01-17 2020-06-02 上海联影医疗科技有限公司 运动伪影校正方法、装置、计算机设备和可读存储介质
CN111242947A (zh) * 2020-03-12 2020-06-05 南京安科医疗科技有限公司 一种ct扫描图像质量评价方法、计算机可读存储介质、ct扫描装置
CN111428803A (zh) * 2020-03-31 2020-07-17 山东大学 一种基于Wasserstein距离的深度域适应图像分类方法
CN111652803A (zh) * 2020-05-22 2020-09-11 中国科学技术大学 一种横向束流截面超分辨率重建方法
CN111815692A (zh) * 2020-07-15 2020-10-23 大连东软教育科技集团有限公司 无伪影数据及有伪影数据的生成方法、系统及存储介质
CN111815730A (zh) * 2020-07-15 2020-10-23 大连东软教育科技集团有限公司 生成含有运动伪影的ct图像的方法、装置及存储介质
CN111862258A (zh) * 2020-07-23 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种图像金属伪影抑制方法
CN112037146A (zh) * 2020-09-02 2020-12-04 广州海兆印丰信息科技有限公司 医学图像伪影自动校正方法、装置和计算机设备
CN112258438A (zh) * 2020-10-28 2021-01-22 清华大学深圳国际研究生院 一种基于非配对数据的ldct图像恢复算法
CN112380777A (zh) * 2020-11-25 2021-02-19 杭州知衣科技有限公司 一种基于深度学习的服装线稿生成方法
CN112419175A (zh) * 2020-11-06 2021-02-26 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN113221935A (zh) * 2021-02-02 2021-08-06 清华大学 基于环境感知深度卷积神经网络的图像识别方法及系统
WO2022000804A1 (zh) * 2020-06-29 2022-01-06 中国电子科技集团公司第十四研究所 一种利用区域搜索和像素值抑制的安检图像伪影去除方法
WO2022016461A1 (zh) * 2020-07-23 2022-01-27 深圳高性能医疗器械国家研究院有限公司 一种图像金属伪影抑制方法
CN114241070A (zh) * 2021-12-01 2022-03-25 北京长木谷医疗科技有限公司 Ct图像去金属伪影以及模型训练的方法和装置
WO2022094911A1 (zh) * 2020-11-06 2022-05-12 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN115063641A (zh) * 2022-08-19 2022-09-16 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN116740218A (zh) * 2023-08-11 2023-09-12 南京安科医疗科技有限公司 一种心脏ct成像图像质量优化方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714513A (zh) * 2012-09-29 2014-04-09 清华大学 Ct成像中的伪影校正方法以及设备
CN107038692A (zh) * 2017-04-16 2017-08-11 南方医科大学 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法
WO2018109505A1 (en) * 2016-12-15 2018-06-21 Google Llc Transforming source domain images into target domain images
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109242924A (zh) * 2018-08-31 2019-01-18 南方医科大学 一种基于深度学习的核磁共振图像的降采样伪影去除方法
WO2019038693A1 (en) * 2017-08-23 2019-02-28 Telefonaktiebolaget Lm Ericsson (Publ) NEURAL NETWORKS FOR DECODING
CN109816742A (zh) * 2018-12-14 2019-05-28 中国人民解放军战略支援部队信息工程大学 基于全连接卷积神经网络的锥束ct几何伪影去除方法
CN110097130A (zh) * 2019-05-07 2019-08-06 深圳市腾讯计算机系统有限公司 分类任务模型的训练方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714513A (zh) * 2012-09-29 2014-04-09 清华大学 Ct成像中的伪影校正方法以及设备
WO2018109505A1 (en) * 2016-12-15 2018-06-21 Google Llc Transforming source domain images into target domain images
CN107038692A (zh) * 2017-04-16 2017-08-11 南方医科大学 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法
WO2019038693A1 (en) * 2017-08-23 2019-02-28 Telefonaktiebolaget Lm Ericsson (Publ) NEURAL NETWORKS FOR DECODING
CN109166161A (zh) * 2018-07-04 2019-01-08 东南大学 一种基于噪声伪影抑制卷积神经网络的低剂量ct图像处理系统
CN109242924A (zh) * 2018-08-31 2019-01-18 南方医科大学 一种基于深度学习的核磁共振图像的降采样伪影去除方法
CN109816742A (zh) * 2018-12-14 2019-05-28 中国人民解放军战略支援部队信息工程大学 基于全连接卷积神经网络的锥束ct几何伪影去除方法
CN110097130A (zh) * 2019-05-07 2019-08-06 深圳市腾讯计算机系统有限公司 分类任务模型的训练方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵中玮: "能谱CT 图像的背景噪声和伪影消减", 《中国体视学与图像分析》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223066A (zh) * 2020-01-17 2020-06-02 上海联影医疗科技有限公司 运动伪影校正方法、装置、计算机设备和可读存储介质
CN111242947A (zh) * 2020-03-12 2020-06-05 南京安科医疗科技有限公司 一种ct扫描图像质量评价方法、计算机可读存储介质、ct扫描装置
CN111242947B (zh) * 2020-03-12 2024-02-20 南京安科医疗科技有限公司 一种ct扫描图像质量评价方法、计算机可读存储介质、ct扫描装置
CN111428803A (zh) * 2020-03-31 2020-07-17 山东大学 一种基于Wasserstein距离的深度域适应图像分类方法
CN111652803A (zh) * 2020-05-22 2020-09-11 中国科学技术大学 一种横向束流截面超分辨率重建方法
CN111652803B (zh) * 2020-05-22 2023-04-25 中国科学技术大学 一种横向束流截面超分辨率重建方法
WO2022000804A1 (zh) * 2020-06-29 2022-01-06 中国电子科技集团公司第十四研究所 一种利用区域搜索和像素值抑制的安检图像伪影去除方法
CN111815692A (zh) * 2020-07-15 2020-10-23 大连东软教育科技集团有限公司 无伪影数据及有伪影数据的生成方法、系统及存储介质
CN111815730A (zh) * 2020-07-15 2020-10-23 大连东软教育科技集团有限公司 生成含有运动伪影的ct图像的方法、装置及存储介质
CN111815730B (zh) * 2020-07-15 2024-03-29 东软教育科技集团有限公司 生成含有运动伪影的ct图像的方法、装置及存储介质
CN111815692B (zh) * 2020-07-15 2023-12-01 东软教育科技集团有限公司 无伪影数据及有伪影数据的生成方法、系统及存储介质
CN111862258A (zh) * 2020-07-23 2020-10-30 深圳高性能医疗器械国家研究院有限公司 一种图像金属伪影抑制方法
WO2022016461A1 (zh) * 2020-07-23 2022-01-27 深圳高性能医疗器械国家研究院有限公司 一种图像金属伪影抑制方法
CN112037146A (zh) * 2020-09-02 2020-12-04 广州海兆印丰信息科技有限公司 医学图像伪影自动校正方法、装置和计算机设备
CN112037146B (zh) * 2020-09-02 2023-12-22 广州海兆印丰信息科技有限公司 医学图像伪影自动校正方法、装置和计算机设备
CN112258438B (zh) * 2020-10-28 2023-07-25 清华大学深圳国际研究生院 一种基于非配对数据的ldct图像恢复方法
CN112258438A (zh) * 2020-10-28 2021-01-22 清华大学深圳国际研究生院 一种基于非配对数据的ldct图像恢复算法
WO2022094911A1 (zh) * 2020-11-06 2022-05-12 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN112419175A (zh) * 2020-11-06 2021-02-26 深圳先进技术研究院 一种共享权重的双区域生成对抗网络及其图像生成方法
CN112380777A (zh) * 2020-11-25 2021-02-19 杭州知衣科技有限公司 一种基于深度学习的服装线稿生成方法
CN113221935A (zh) * 2021-02-02 2021-08-06 清华大学 基于环境感知深度卷积神经网络的图像识别方法及系统
CN114241070A (zh) * 2021-12-01 2022-03-25 北京长木谷医疗科技有限公司 Ct图像去金属伪影以及模型训练的方法和装置
CN114241070B (zh) * 2021-12-01 2022-09-16 北京长木谷医疗科技有限公司 Ct图像去金属伪影以及模型训练的方法和装置
CN115063641B (zh) * 2022-08-19 2022-11-29 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN115063641A (zh) * 2022-08-19 2022-09-16 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置
CN116740218B (zh) * 2023-08-11 2023-10-27 南京安科医疗科技有限公司 一种心脏ct成像图像质量优化方法、设备及介质
CN116740218A (zh) * 2023-08-11 2023-09-12 南京安科医疗科技有限公司 一种心脏ct成像图像质量优化方法、设备及介质

Also Published As

Publication number Publication date
CN110570492B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN110570492B (zh) 一种基于神经网络的ct伪影抑制方法、设备以及介质
CN110648337A (zh) 髋关节分割方法、装置、电子设备和存储介质
US11494957B2 (en) Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
Karimi et al. Segmentation of artifacts and anatomy in CT metal artifact reduction
CN110998602A (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
US11872070B2 (en) Deep neural network for CT metal artifact reduction
CN110378982B (zh) 重建图像处理方法、装置、设备及存储介质
Chun et al. MRI super‐resolution reconstruction for MRI‐guided adaptive radiotherapy using cascaded deep learning: In the presence of limited training data and unknown translation model
CN112348936B (zh) 一种基于深度学习的低剂量锥束ct图像重建方法
JP2004174253A (ja) 軟組織空間の視覚化の方法及び装置
Lu et al. A learning‐based material decomposition pipeline for multi‐energy x‐ray imaging
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
CN114511497A (zh) 应用于锥束ct稀疏采样的成像方法及装置
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
US20050018889A1 (en) Systems and methods for filtering images
Zhang et al. Metal artifact reduction based on the combined prior image
CN113592968A (zh) 断层扫描图像中金属伪影的消减方法和装置
CN111358492A (zh) 一种四维造影图像生成方法、装置、设备及存储介质
Magonov et al. Reducing windmill artifacts in clinical spiral CT using a deep learning‐based projection raw data upsampling: Method and robustness evaluation
JP7494125B2 (ja) ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正
CN110840479B (zh) 一种骨成分确定方法、装置、设备及存储介质
Lin et al. Correction of the Beam Hardening Artifacts in CT Images Using Pix2pixGAN Network
Liang et al. A model-based deep learning reconstruction for X-Ray CT
CN111067561B (zh) 能谱ct物质分解方法、装置、ct设备及ct系统
US20230067596A1 (en) Projection based deep learning with frequency splitting for computed tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant