CN112233198B - 一种乳腺钼靶图像到能谱重组图像合成方法及系统 - Google Patents

一种乳腺钼靶图像到能谱重组图像合成方法及系统 Download PDF

Info

Publication number
CN112233198B
CN112233198B CN202010908957.1A CN202010908957A CN112233198B CN 112233198 B CN112233198 B CN 112233198B CN 202010908957 A CN202010908957 A CN 202010908957A CN 112233198 B CN112233198 B CN 112233198B
Authority
CN
China
Prior art keywords
image
molybdenum target
attribute
content
energy spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010908957.1A
Other languages
English (en)
Other versions
CN112233198A (zh
Inventor
郑元杰
姜岩芸
隋晓丹
贾伟宽
赵艳娜
牛屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202010908957.1A priority Critical patent/CN112233198B/zh
Publication of CN112233198A publication Critical patent/CN112233198A/zh
Application granted granted Critical
Publication of CN112233198B publication Critical patent/CN112233198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种乳腺钼靶图像到能谱重组图像合成方法即系统，输入待处理的乳腺钼靶图像；利用经过训练的分离表示模型，提取乳腺钼靶图像的内容特征和属性特征；融合CC相和MLO相图像的属性特征；对内容特征和融合后的属性特征进行解码，得到模态转换的合成图像。本发明建立的模型能够自动实现乳腺钼靶图像到能谱重组图像合成，而不需要医生手动标记出肿瘤区域，完全实现自动化图像合成。

Description

一种乳腺钼靶图像到能谱重组图像合成方法及系统
技术领域
本发明属于图像处理技术领域，涉及一种乳腺钼靶图像到能谱重组图像合成方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
医学图像合成是医学图像处理的一个重要研究分支，是目前医学图像处理中的热点，具有重要的临床和治疗价值。医学图像合成是使用已有的医学影像合成另一种用于分析的医学影像数据。
对比增强乳腺钼靶造影是诊断和分析原发性乳腺癌的重要工具，可以提供病变周围血管异常的对比增强图像。与在30kVp左右的低能量X射线曝光的数字化乳房X线摄影图像(又称钼靶图像)相比，对比增强乳腺钼靶造影成像需要对患者预先注射非离子型低渗碘造影剂，然后使用双重能量对乳房进行曝光，以生成低能量图和高能量图两种图像。获取能量分别为26-33kVp和44-50kVp。低能量图与钼靶图像图像获取能量范围类似，可近似认为是钼靶图像。低能图像和高能图像用于生成能谱重组图像，能谱重组图像抑制乳房组织并突出碘摄入的区域。
作为一种新兴的成像工具，对比增强乳腺钼靶造影具有很高的特异性和灵敏度，可以作为乳腺MRI的替代工具。不仅能够降低诊断成本，而且速度快，能够改善患者的体验，减少等待时间。然而，静脉注射造影剂可能会引起偶然的过敏反应，严重的会引起造影剂诱发的肾病。对造影剂有过敏史或造影剂诱发肾病高风险的患者，不可能采用对比增强乳腺钼靶造影。因此，从单能量图像(低能图像或钼靶图像)映射到能谱重组图像对乳腺癌筛查和确定异常范围非常有意义。
针对医学图像合成已经提出了很多方法，主要用于CT到MRI的合成，但据发明人了解，合成的方法都是针对单一视图，没有一种合成的方法能够融合乳腺摄影的双视图信息。如基于分割的方法、稀疏表示、标签传播、遗传算法，由于钼靶图像到能谱重组图像为非线性映射且有双视图，此类方法应用于钼靶图像往往存在一定的局限性。近年来，基于学习的方法将图像合成定义为有参数的函数，该函数对从源图像到目标图像的非线性映射进行建模。理论上讲，基于学习的图像到图像的合成技术可以用于钼靶图像到能谱重组图像的合成任务，但让存在双视图单独分析的的缺点。
综上所述，现有技术用于钼靶图像到能谱重组图像的合成的问题，尚缺乏行之有效的解决方案。
发明内容
本发明为了解决上述问题，提出了一种乳腺钼靶图像到能谱重组图像合成方法及系统，本发明不需要注射非离子型低渗碘造影剂的钼靶图像估计能谱重组图像，实现从钼靶图像到能谱重组图像的全图合成的任务。
根据一些实施例，本发明采用如下技术方案：
第一方面，本发明提供一种乳腺钼靶图像到能谱重组图像合成方法，包括以下步骤：
输入待处理的乳腺钼靶图像；
利用经过训练的分离表示模型，提取乳腺钼靶图像的内容特征和属性特征；
融合CC相和MLO相图像的属性特征；
对内容特征和融合后的属性特征进行解码，得到模态转换的合成图像。
作为可选择的实施方式，所述分离表示模型的训练过程包括：利用已获取的钼靶图像和能谱重组图像作为训练数据，分别训练对应的分离表示模型。
作为可选择的实施方式，所述分离表示模型包括内容编码器、属性编码器、还原解码器和内容判别器，其中：
所述内容编码器，被配置为提取图像的内容编码；
所述属性编码器，被配置为提取图像的属性编码；
所述还原解码器，被配置为将提取的内容编码和属性编码还原回源图像，使用L1损失函数作为约束，最小化还原解码器输出的还原图像与源图像之间的差异；
所述内容判别器，被配置为判断提取的内容信息是否正确，辅助内容编码器提取正确的内容编码。
作为可选择的实施方式，融合CC相和MLO相图像的属性特征时，利用双视图特征融合层融合来自同一乳房CC相和MLO相属性特征。
作为可选择的实施方式，构建生成器，具体包括经过训练的内容编码器和属性编码器、双视图特征融合层和混合解码器，所述双视图特征融合层，被配置为融合CC相和MLO相图像的属性特征；所述混合解码器，被配置为对内容特征和融合后的属性特征进行解码。
作为可选择的实施方式，还包括对生成器的优化步骤，使用对抗学习策略，判断生成的图像与训练数据所在域是否一致，通过对抗学习，提高生成器的生成能力。
作为可选择的实施方式，还包括以下步骤：
乳腺钼靶图像合成能谱重组图像后，合成的能谱重组图像经过一反向生成器还原回乳腺钼靶图像，使用周期一致性损失约束限制输入图像经过两次变换后的图像之间的差异。
从而减少由丰富细节图像到较少细节图像转换过程中的信息丢失。
第二方面，本发明提供一种乳腺钼靶图像到能谱重组图像合成系统，包括：
输入模块，被配置为选择输入图像和使用模型；
图像合成模块，被配置为利用经过训练的分离表示模型，提取乳腺钼靶图像的内容特征和属性特征；融合CC相和MLO相图像的属性特征；对内容特征和融合后的属性特征进行解码，得到模态转换的合成图像；
输出模块，被配置为提取的内容特征和属性特征以及生成的能谱重组图像。
第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种乳腺钼靶图像到能谱重组图像合成方法。
第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种乳腺钼靶图像到能谱重组图像合成方法。
与现有技术相比，本发明的有益效果为：
1.在合成效果上，本发明首次提出一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成方法，并使用周期一致性约束。该模型能够自动完成钼靶到能谱重组图像的合成，并且考虑双视图信息，使用内容和属性编码器分别提取图像的内容和属性编码，联合解码能够融合双视图上与肿瘤相关的属性信息，提高了合成结果的准确率。
2.在实用性和扩展性上，本发明建立的模型能够自动实现乳腺钼靶图像到能谱重组图像合成，而不需要医生手动标记出肿瘤区域，完全实现自动化图像合成。同时本发明提出的算法具有一定的鲁棒性，方法适用于多种医学图像的合成，可用于其他模态医学图像的模态间转换。
3.在计算效率和运算速度上，本发明基于深度学习模型，建立了乳腺钼靶图像和能谱重组图像之间的映射关系的模型，经过训练的模型可以通过一次前传实现从钼靶图像到能谱重组图像的自动合成，因此运算速度快。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成方法的流程图；
图2是本发明一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成方法模型图；
图3是分离表示模块模型图；
图4是生成器模型图；
图5是正常乳房的低能图像原始数据(左胸轴位相；左侧为低能图像，右侧为能谱重组图像)；
图6是正常乳房的低能图像原始数据(左胸中外侧斜位相；左侧为低能图像，右侧为能谱重组图像)；
图7是带有肿瘤的低能图像乳房原始数据(右胸轴位相；左侧为低能图像，右侧为能谱重组图像)；
图8是带有肿瘤的低能图像乳房原始数据(右胸中外侧斜位相；左侧为低能图像，右侧为能谱重组图像)；
图9是国际诊断标准BI-RADS分级标准；
图10是本发明使用正常乳房和带有肿瘤的乳房的低能图像的合成结果示意图；
图11是本发明方法与其他方法合成结果图比较；
图12是本发明方法与其他方法合成结果图比较。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成方法，包括训练部分和实施部分。
训练部分包括采集能谱图像数据集。数据采集使用能谱采集设备在一定时间内完成对两个乳房的图像采集。可以采集右胸轴位相(RCC)、左胸轴位相(LCC)、右胸中外侧斜位相(RMLO)、左胸中外侧斜位相(LMLO)的低能图像和高能图像。低能图像和高能图像运算获得能谱重组图像。
构建分离表示模块。分离表示模块由四部分组成：
内容编码器提取图像的内容编码；
属性编码器提取图像的属性编码；
还原解码器将内容编码器提取的内容编码和属性编码器提取的属性编码还原为原图像；
内容判别器用于判别内容编码器提取的内容编码，帮助内容编码器生成正确的内容表示。
以右胸轴位相低能图像为例，低能图像作为输入图像，经过内容编码器和属性编码器提取内容和属性编码，还原解码器解码将编码向量解码为源低能图像；
使用自我重建损失函数监督模型的训练，同时内容判别器用于判别内容编码器提取的内容编码；
经过训练的模型能够实现图像的内容和属性特征提取，并还原图像。
利用训练后的内容编码器和属性编码器分别提取内容和属性编码，用于进一步解码分析。
设计双视图特征融合层，将来自同一乳房的CC相和MLO相的属性编码融合为一条属性编码。
设计混合解码器，将内容编码和融合后的属性编码进行解码。
经过训练的内容编码器和属性编码器、双视图特征融合层、混合解码器组成生成器，实现乳腺钼靶图像到能谱重组合成；输入为乳腺钼靶图像，经过内容编码器和属性编码器编码图像的内容和属性特征，组合双视图属性特征，解码器解码，输出为预测的能谱重组图像。
使用对抗学习策略，生成器生成合成的图像，判别器用于判断生成的图像与训练数据所在域是否一致；
通过对抗学习，提高生成器的生成能力。
乳腺钼靶图像经过生成器合成能谱重组图像，合成的能谱重组图像经过另一反向生成器还原回乳腺钼靶图像，使用周期一致性损失约束限制输入图像经过两次变换后的图像之间的差异，从而减少由丰富细节图像到较少细节图像转换过程中的信息丢失。
在实施部分，利用经过训练的生成器模型可用于提取乳腺钼靶图像的内容编码、属性编码，进一步解码生成合成的能谱重组图像。
在具体的一个实施例中，如图1所示，提供一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成处理方法，该方法包括以下步骤：
步骤1-1：获取乳腺钼靶图像和能谱重组图像。
具体的，训练数据所使用的图像为乳腺能谱图像采集设备采集到的采集到的待处理图像或预先存储在存储器中的图像。测试时也可以使用乳腺钼靶图像采集到的钼靶图像或预先存储在存储器中的图像。其中，所使用的图像均包含CC相和MLO相采集的图像。
需要说明的是，训练模型所使用的数据集需包含钼靶图像和能谱重组图像数据，使网络可以学习到来自两个数据集空间域的特征，并建立两个特征域之间的关联，实现两个空间域之间的图像模态转换；测试数据仅需乳腺钼靶图像，模型由乳腺钼靶图像估计能谱重组图像。本实施对获取乳腺钼靶图像的具体方式不做限定。
如图5、图6、图7、图9左侧图像所示，一组乳房钼靶图像包含左胸轴位相、左胸中外侧斜位相、右胸轴位相、右胸中外侧斜位相。左胸轴位相和左胸中外侧斜位相分别为左侧乳房在轴位和中外斜侧位拍摄的钼靶图像，为同一目标的两个图像采集位置，具有相似的图像信息。右胸轴位相和右胸中外侧斜位相分别为右侧乳房在轴位和中外斜侧位拍摄的钼靶图像，为同一目标的两个图像采集位置，具有相似的图像信息。
可选的，乳腺影像诊断执行BI-RADS(Breast Imaging Reportingand DataSystem，美国放射学会乳腺影像报告和数据系统)标准将乳腺病分为1～6级，图9为各个级别的具体含义。
步骤2-1：内容编码器提取钼靶图像内容编码。
步骤2-21：属性编码器提取钼靶图像属性编码。
上述步骤2-1和步骤2-21的内容编码器和属性编码器通过如图3所示的分离表示模型训练。分离表示模型由内容编码器、属性编码器、还原解码器和内容判别器四部分构成。其中，内容编码器提取图像的内容编码，属性编码器提取图像的属性编码，还原解码器将提取的内容编码和属性编码还原回源图像；使用L1损失函数作为约束，最小化还原解码器输出的还原图像与源图像之间的差异；内容判别器用于判断提取的内容信息是否正确，帮助内容编码器提取正确的内容编码。
乳腺钼靶图像和能谱重组图像数据分别训练对应的分离表示模型。
经过训练的分离表示模型中的内容编码器和属性编码器可以很好的提取图像的内容编码和属性编码，可看作为特征提取函数，将图像映射到对应的内容特征空间和属性特征空间。固定编码器的卷积参数可以直接用于提取图像的内容编码和属性编码。
步骤2-22：双视图特征融合层融合来自同一乳房CC相和MLO相属性编码。
具体的，如图4所示生成模型，获取的CC相乳房钼靶图像分别经过内容编码器和属性编码器提取图像的内容编码和属性编码；同时，MLO相乳房钼靶图像分别经过内容编码器和属性编码器提取图像的内容编码和属性编码。内容编码指的是图像的领域不变属性，主要包含图像的空间结构；属性编码指的是领域特定属性，主要包含图像的外观特征，在我们的应用中，指的是由物理学成像确定的结构渲染，也包含肿瘤信息。由于CC相和MLO相是同一乳房的两个图像采集相位，来自两个相位的属性编码能够在一定程度上互为补充特征。提出双视图特征融合层融合来自两个相位的属性编码，融合属性编码用于后续图像生成步骤能够减少图像生成过程中的细节丢失。
步骤3-1：在得到实施例内容编码和混合的属性编码后，使用混合解码对特征码进行解码，得到与乳腺钼靶图像相对应的预测的乳腺能谱重组图像。
卷积神经网络中的解码器可用于将编码器提取的特征进行解码，根据任务的不同生成特定的分割图、转换图像、融合图等。在本发明提出的混合解码器接收内容编码器提取的内容编码和混合的属性编码，用于生成转换图像，即提取钼靶图像的特征用于生成能谱重组图像。
需要说明的是，使用乳腺钼靶图像生成乳腺能谱重组图像为本发明的预期目标。为实现上述目标，该方法采用图2所示模型完成生成器训练：
模型以条件生成对抗模型cGAN为基础，采用周期一致性策略。
具体地，来自CC相和MLO相乳腺钼靶图像经过生成器GAB转换为CC相和MLO相的合成能谱重组图像。生成器GAB的结构如图4所示，包含CC相和MLO相的内容编码器、属性编码器，双视图特征融合层和混合解码器。为了实现生成器中混合解码器的训练，使用L1损失函数最小化生成图像与真实的能谱重组图像之间的差异：
Figure BDA0002662571010000121
同时，使用生成对抗策略，生成器生成合成图像，判别器DB用于判别生成图像是否符合能谱重组图像的空间域，从而辅助GAB网络结果的优化。对抗损失函数的定义如下：
Figure BDA0002662571010000131
与上述生成器GAB类似，由能谱重组图像到乳腺钼靶图像的生成器GBA的约束为
Figure BDA0002662571010000132
和
Figure BDA0002662571010000133
L1损失函数定义为：
Figure BDA0002662571010000134
对抗损失函数的定义为：
Figure BDA0002662571010000135
此外，采用周期一致性约束,模型不仅能够将乳腺钼靶图像转换为乳腺能谱重组图像，而且可以将生成的能谱重组图像返回为原本的乳腺钼靶图像，以实现自监督。也就是，GBA(GAB(a))≈a且GAB(GBA(b))≈b。
周期一致性函数定义为：
Figure BDA0002662571010000136
此约束实现了以下假设：将图像转换为另一个域，然后再返回，则两次转换后的图像与原始图像相同。
总的损失函数可以表示为：
Figure BDA0002662571010000141
这里，λ1和λ2是损失的权重系数，用于平衡几项损失。在此项方法中，设置权重为λ1＝0.1和λ2＝0.01。
内容编码器和属性编码器经过上述分离表示模型训练，能够达到提取图像内容编码和属性编码的目的；训练好的内容编码器和属性编码器直接用于生成器过程中；在训练生成器时，编码器为锁定状态，编码器内参数不会根据梯度回传而改变，只能作为特征提取器提取特定的特征编码；提取的特征编码经过融合处理后进入解码器进行解码。因此，生成器的优化实际上是优化混合解码器中的参数。
在对抗学习模型中，生成器提取内容和属性特征，并尽可能的捕获数据集中的数据分布；判别器旨在区分真实数据和合成数据，两者同时训练，直到达到均衡，用于辅助生成器获得越来越好的近似数据集数据分布的数据。随着模型的训练，生成器生成的图像越来越接近训练集的图像分布，生成数据与真实样本几乎无区别，鉴别器也无法区分生成数据和真实数据。
生成对抗学习可用于图像生成、风格迁移、超分辨率等图像处理任务。
周期一致性约束通过一个循环，首先将图像从一个域转换到另一个域，然后再转换回来，如果两次转换都很精准的话，经过两次转换的图像会与输入图像基本一致。因此，模型包含四个主要部分，两个生成器模型，一个用于从乳腺钼靶图像转换为乳腺能谱重组图像，一个用于从能谱重组图像转换为钼靶图像；四个判别器模型，负责判断生成的图像是否与训练集图像属于同一个域。周期一致性约束使模型类似于有监督学习，能够明显提升转换效果。
本发明的第二目的是提供一种基于条件GAN的乳腺钼靶图像到能谱重组图像合成系统，该系统的具体限定可以参考发明的第一目的基于条件GAN的乳腺钼靶图像到能谱重组图像合成方法的限定，在此不再赘述。上述合成系统可通过硬件、软件及其组合实现。
执行该系统的设备可以是包含计算处理节点的计算机或可连接终端设备的计算机。包含计算处理节点的计算机设备包括输入装置(鼠标、键盘)、主板，CPU处理器、GPU处理器、内存储器、非易失性存储介质、电源、显示器；可连接终端设备的计算机设备需包括输入装置(鼠标、键盘)、主板，CPU处理器、网络接口、内存储器、非易失性存储介质、电源、显示器；其中，硬件不包含钼靶和能谱重组图像采集设备。
模型以软件的形式存储于计算机设备的存储器中，以便存储器调用各个计算机硬件执行对应的操作。软件执行包括模型训练阶段和模型测试阶段。
模型训练阶段是使用样本数据对深度学习模型进行训练，得到训练好的深度学习模型。模型训练执行以下步骤：
步骤1，收集样本数据，样本数据来自通过SenoBrightTM HD设备采集的来自98个病人的196组乳腺低能图和能谱重组图像，设备采集包括CC相和MLO相的乳腺钼靶图像和乳腺能谱重组图像。每组包含四张图像，分别为CC相钼靶图像、MLO相钼靶图像、CC相能谱重组图像。样本数据被预先分为训练集、验证集和测试集。
步骤2，使用收集的样本数据训练Lee等人提出的分离表示模型。乳腺低能图像作为分离表示模型A的输入，经过内容编码器和属性编码器提取内容和属性编码，后经过解码器解码为源乳腺低能图像；乳腺能谱重组图像作为分离表示模型B的输入，经过内容编码器和属性编码器提取内容和属性编码，后经过解码器解码为源能谱重组图像。
设置分离表示模型使用数据路径、初始化、偏差、正则化、学习率、优化算法、迭代次数、模型存储路径等，实现奋力表示模型的训练。
步骤3，训练基于条件GAN的乳腺钼靶图像到能谱重组图像合成模型。此步骤使用上述第一目的提出的基于条件GAN的乳腺钼靶图像到能谱重组图像合成模型。生成器中的编码器使用步骤2中完成训练的内容编码器和属性编码器，训练过程中固定编码器的卷积参数，内容编码器模块和属性编码器模块作为特征提取器直接用于提取图像的内容编码和属性编码。内容编码器模块和属性编码器模块与双视图特征融合、混合解码器组成生成器。模型经过对抗训练优化生成器中解码器参数和判别器参数，使生成器达到模态转换的目的。
设置基于条件GAN的乳腺钼靶图像到能谱重组图像合成模型使用数据路径、初始化、偏差、正则化、初始学习率、学习率降低方式、优化算法、迭代次数、模型存储路径等，实现合成模型的训练。
可选地，模型训练可以在初始化模型上完成，也可以使用预训练的模型迁移学习，或在经过训练的模型上继续训练。
模型测试阶段是使用经过训练的模型将低能图像或钼靶图像合成为能谱重组图像。确切的说，是使用训练好的模型中的生成器实现合成任务。模型测试执行以下步骤：
步骤1：输入模块，用于选择输入图像，使用模型等。
在一个实施例中，输入包括测试文件夹路径、测试模型路径、测试模型、测试图像数量、测试结果输出路径。可选地，是否存储内容编码和属性编码。
步骤2：模型运算，使用训练好的模型提取乳腺钼靶图像的图像特征并生成对应的能谱重组图像。
在一个实施例中，模型对乳腺钼靶图像进行图像合成，转换为乳腺能谱重组图像。
步骤3：输出模块，输出提取的内容编码和属性编码以及生成的能谱重组图像，可视化能谱重组图像。
在一个实施例中，输出模块包括文件存储和可视化显示。生成的文件存储于计算机设备的存储器中，且可视化显示生成的能谱重组图像。可选地，是否存储内容编码和属性编码。
从图10-图12可以看出，本发明的技术方案保证了乳腺钼靶图像转换为乳腺能谱重组图像的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种乳腺钼靶图像到能谱重组图像合成方法，其特征是：包括以下步骤：
输入待处理的乳腺钼靶图像；
利用经过训练的分离表示模型，提取乳腺钼靶图像的内容特征和属性特征；
所述分离表示模型包括内容编码器、属性编码器、还原解码器和内容判别器，其中：
所述内容编码器，被配置为提取图像的内容编码；
所述属性编码器，被配置为提取图像的属性编码；
所述还原解码器，被配置为将提取的内容编码和属性编码还原回源图像，使用L1损失函数作为约束，最小化还原解码器输出的还原图像与源图像之间的差异；
Figure FDA0003974477260000011
所述内容判别器，被配置为判断提取的内容信息是否正确，辅助内容编码器提取正确的内容编码；
融合CC相和MLO相图像的属性特征；
其中，CC相和MLO相是同一乳房的两个图像采集相位，利用双视图特征融合层融合来自同一乳房CC相和MLO相属性特征；具体的，获取的CC相乳房钼靶图像分别经过内容编码器和属性编码器提取图像的内容编码和属性编码；同时，MLO相乳房钼靶图像分别经过内容编码器和属性编码器提取图像的内容编码和属性编码；
对内容特征和融合后的属性特征进行解码，得到模态转换的合成图像；
合成图像经过一反向生成器还原回乳腺钼靶图像，使用周期一致性损失约束限制输入图像经过两次变换后的图像之间的差异；
其中，采用周期一致性约束，模型不仅能够将乳腺钼靶图像转换为乳腺能谱重组图像，而且可以将生成的能谱重组图像返回为原本的乳腺钼靶图像，以实现自监督，即，GBA(GAB(a))≈a且GAB(GBA(b))≈b；
周期一致性函数定义为：
Figure FDA0003974477260000021
2.如权利要求1所述的一种乳腺钼靶图像到能谱重组图像合成方法，其特征是：所述分离表示模型的训练过程包括：利用已获取的钼靶图像和能谱重组图像作为训练数据，分别训练对应的分离表示模型。
3.如权利要求1所述的一种乳腺钼靶图像到能谱重组图像合成方法，其特征是：构建生成器，具体包括经过训练的内容编码器和属性编码器、双视图特征融合层和混合解码器，所述双视图特征融合层，被配置为融合CC相和MLO相图像的属性特征；所述混合解码器，被配置为对内容特征和融合后的属性特征进行解码。
4.如权利要求1所述的一种乳腺钼靶图像到能谱重组图像合成方法，其特征是：还包括对生成器的优化步骤，使用对抗学习策略，判断生成的图像与训练数据所在域是否一致，通过对抗学习，提高生成器的生成能力。
5.一种乳腺钼靶图像到能谱重组图像合成系统，用于执行权利要求1所述的一种乳腺钼靶图像到能谱重组图像合成方法，其特征是：包括：
输入模块，被配置为选择输入图像和使用模型；
图像合成模块，被配置为利用经过训练的分离表示模型，提取乳腺钼靶图像的内容特征和属性特征；融合CC相和MLO相图像的属性特征；对内容特征和融合后的属性特征进行解码，得到模态转换的合成图像；
输出模块，被配置为提取的内容特征和属性特征以及生成的能谱重组图像。
6.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-4中任一项所述的一种乳腺钼靶图像到能谱重组图像合成方法。
7.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-4中任一项所述的一种乳腺钼靶图像到能谱重组图像合成方法。
CN202010908957.1A 2020-09-02 2020-09-02 一种乳腺钼靶图像到能谱重组图像合成方法及系统 Active CN112233198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010908957.1A CN112233198B (zh) 2020-09-02 2020-09-02 一种乳腺钼靶图像到能谱重组图像合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010908957.1A CN112233198B (zh) 2020-09-02 2020-09-02 一种乳腺钼靶图像到能谱重组图像合成方法及系统

Publications (2)

Publication Number Publication Date
CN112233198A CN112233198A (zh) 2021-01-15
CN112233198B true CN112233198B (zh) 2023-04-07

Family

ID=74115865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010908957.1A Active CN112233198B (zh) 2020-09-02 2020-09-02 一种乳腺钼靶图像到能谱重组图像合成方法及系统

Country Status (1)

Country Link
CN (1) CN112233198B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191393A (zh) * 2021-04-07 2021-07-30 山东师范大学 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110123347A (zh) * 2019-03-22 2019-08-16 杭州深睿博联科技有限公司 用于乳腺钼靶的图像处理方法及装置
CN110364250A (zh) * 2019-04-26 2019-10-22 深圳大学 乳腺钼靶图像的自动标注方法、系统及存储介质
CN110503147A (zh) * 2019-08-22 2019-11-26 山东大学 基于相关性学习的多模图像分类系统
CN110610498A (zh) * 2019-08-13 2019-12-24 上海联影智能医疗科技有限公司 乳腺钼靶图像处理方法、系统、存储介质及设备
CN111325266A (zh) * 2020-02-18 2020-06-23 慧影医疗科技（北京）有限公司 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法
CN110123347A (zh) * 2019-03-22 2019-08-16 杭州深睿博联科技有限公司 用于乳腺钼靶的图像处理方法及装置
CN110364250A (zh) * 2019-04-26 2019-10-22 深圳大学 乳腺钼靶图像的自动标注方法、系统及存储介质
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110610498A (zh) * 2019-08-13 2019-12-24 上海联影智能医疗科技有限公司 乳腺钼靶图像处理方法、系统、存储介质及设备
CN110503147A (zh) * 2019-08-22 2019-11-26 山东大学 基于相关性学习的多模图像分类系统
CN111325266A (zh) * 2020-02-18 2020-06-23 慧影医疗科技（北京）有限公司 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《DGR-Net：Deep Groupwise Registration of Multispectral Images》;Tongtong Che等;《第26届医学影像信息处理双年国际会议》;20190522;全文 *
医药卫生科技 ; 信息科技》.2019, *
姜岩芸.《基于3D卷积神经网络的海马体配准技术研究》.《 基础科学 *

Also Published As

Publication number Publication date
CN112233198A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
Liu et al. Learning disentangled representations in the imaging domain
US11132792B2 (en) Cross domain medical image segmentation
Huang et al. Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images
WO2021248187A1 (en) Systems and methods for automated analysis of medical images
CN112819914A (zh) 一种pet图像处理方法
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN111951281A (zh) 图像分割方法、装置、设备及存储介质
JP2022077991A (ja) 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
CN112233198B (zh) 一种乳腺钼靶图像到能谱重组图像合成方法及系统
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
Ben-Cohen et al. Liver lesion detection in CT using deep learning techniques
Dayarathna et al. Deep learning based synthesis of MRI, CT and PET: Review and analysis
Chen et al. MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation
Zhu et al. Transformers and their application to medical image processing: A review
Dietrichstein et al. Anomaly detection using generative models and sum-product networks in mammography scans
EP4287114A1 (en) Learned model generation method, machine learning system, program, and medical image processing device
Wang et al. Disentangling disease-related representation from obscure for disease prediction
Du et al. Consistency label-activated region generating network for weakly supervised medical image segmentation
Jiang et al. Synthesis of contrast-enhanced spectral mammograms from low-energy mammograms using cGAN-based synthesis network
Wu et al. Beyond radiologist-level liver lesion detection on multi-phase contrast-enhanced CT images by deep learning
CN113902912A (zh) Cbct影像的处理方法、神经网络系统的创建方法、以及装置
Singh et al. Osteoporosis prescreening and bone mineral density prediction using dental panoramic radiographs
CN107799166B (zh) 医学成像系统
Morís et al. Generation of novel synthetic portable chest x-ray images for automatic covid-19 screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant