CN109745062B - Ct图像的生成方法、装置、设备及存储介质 - Google Patents

Ct图像的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109745062B
CN109745062B CN201910093446.6A CN201910093446A CN109745062B CN 109745062 B CN109745062 B CN 109745062B CN 201910093446 A CN201910093446 A CN 201910093446A CN 109745062 B CN109745062 B CN 109745062B
Authority
CN
China
Prior art keywords
dimensional
decoding
information
image
ray film
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910093446.6A
Other languages
English (en)
Other versions
CN109745062A (zh
Inventor
郭恒
应兴德
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910093446.6A priority Critical patent/CN109745062B/zh
Publication of CN109745062A publication Critical patent/CN109745062A/zh
Application granted granted Critical
Publication of CN109745062B publication Critical patent/CN109745062B/zh
Priority to JP2021521978A priority patent/JP7150166B2/ja
Priority to PCT/CN2020/072393 priority patent/WO2020156195A1/zh
Priority to EP20749748.8A priority patent/EP3919002B1/en
Priority to US17/246,339 priority patent/US12016717B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种CT图像的生成方法、装置及设备，所述方法包括：获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片；调用生成器对所述第一X光片和所述第二X光片进行三维重建，得到所述目标对象的三维模型；根据所述目标对象的三维模型，得到所述目标对象的所述CT图。本申请通过将两个正交的X光片输入至生成器中，来重建出目标对象的CT图像，使得只需要X光片机就能够得到相当于或近似相当于CT扫描设备的医学图像，不仅减少了给目标对象的辐射危害，还能够节约检查费用，缩短检查流程耗时。

Description

CT图像的生成方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机程序领域，特别涉及一种CT图像的生成方法、装置、设备及存储介质。
背景技术
计算机断层扫描(Computed Tomography，CT)能够提供病人体内的三维结构信息，帮助医生进行更为精确的诊断。
相关技术中，CT扫描设备采用X射线束(或超声波，或γ射线)对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器(analog/digital Converter)转为数字信号，将数字信号输入计算机处理得到多层CT图像。
但与X光片相比，CT扫描设备会给病人带来更多的辐射危害。
发明内容
本申请实施例提供了一种CT图像的生成方法、装置、设备及存储介质，可以解决CT扫描设备会给病人带来更多的辐射危害的问题。所述技术方案如下：
根据本申请的一个方面，提供了一种CT图像的生成方法，所述方法包括：
获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片；
调用生成器对所述第一X光片和所述第二X光片进行三维重建，得到所述目标对象的三维模型；
根据所述目标对象的三维模型，得到所述目标对象的所述CT图像。
根据本申请的另一方面，提供了一种CT图像的生成装置，所述装置包括：
获取模块，用于获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片；
生成模块，用于对所述第一X光片和所述第二X光片进行三维重建，得到所述目标对象的三维模型；
输出模块，根据所述目标对象的三维模型，得到所述目标对象的所述CT图像。
根据本申请的另一方面，提供了一种三维图像的合成方法，所述方法包括：
获取第一剖面图像和第二剖面图像，所述第一剖面图像和所述第二剖面图像是采用正交的两个剖面对目标对象进行剖切得到的图像；
获取编码器和解码器，所述编码器包括第一编码部和第二编码部，所述解码器包括第一解码部、第二解码部和融合解码部；
调用所述第一编码部对所述第一剖面图像进行二维编码，得到所述第一编码信息；调用所述第一解码部对所述第一编码信息进行解码，得到第一解码信息；
调用所述第二编码部对所述第二剖面图像进行二维编码，得到所述第二编码信息；调用所述第二解码部对所述第二编码信息进行解码，得到第二解码信息；
调用所述融合解码部将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维图像。
根据本申请的另一方面，提供了一种三维图像的合成装置，所述装置包括：
获取模块，用于获取第一剖面图像和第二剖面图像，所述第一剖面图像和所述第二剖面图像是采用正交的两个剖面对目标对象进行剖切得到的图像；
所述获取模块，还用于获取编码器和解码器，所述编码器包括第一编码部和第二编码部，所述解码器包括第一解码部、第二解码部和融合解码部；
所述第一编码部，用于对所述第一剖面图像进行二维编码，得到所述第一编码信息；
所述第一解码部，用于对所述第一编码信息进行解码，得到第一解码信息；
所述第二编码部，用于对所述第二剖面图像进行二维编码，得到所述第二编码信息；
所述第二解码部，用于对所述第二编码信息进行解码，得到第二解码信息；
所述融合解码部，用于将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维图像。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器存储有至少一条程序，所述至少一条程序由所述处理器加载并执行以实现如上所述的CT图像的生成方法，或，上述的三维图像的合成方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序，所述至少一条程序由处理器加载并执行以实现如上所述的CT图像的生成方法，或，上述的三维图像的合成方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过将两个正交的X光片输入至生成器中，由生成器三维重建出目标对象的CT图像，使得只需要X光片机进行两次二维形式的X光片扫描，就能够得到相当于或近似相当于CT扫描设备的三维医学图像，不仅减少了给目标对象的辐射危害，还能够节约目标对象的检查费用，缩短目标对象的检查流程耗时。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的CT图像的生成方法的流程图；
图2是本申请另一个示意性实施例提供的CT图像的生成方法的原理示意图；
图3是本申请一个示意性实施例提供的生成器的结构框图；
图4是本申请另一个示意性实施例提供的生成器的结构框图；
图5是本申请一个示意性实施例提供的A连接、B连接和C连接的结构示意图；
图6是本申请一个示意性实施例提供的复合C连接的结构示意图；
图7是本申请一个示意性实施例提供的神经网络模块的框图；
图8是本申请一个示意性实施例提供的生成对抗网络的框图；
图9是本申请一个示意性实施例提供的生成器的训练方法的流程图；
图10是本申请一个示意性实施例提供的不同神经网络模型在重建CT图像时的效果对比图；
图11是本申请一个示意性实施例提供的真实X光片和虚拟X光片的映射示意图；
图12是本申请一个示意性实施例提供的单个病例的重建CT图像和真实CT图像的逐张切片比对的对比示意图；
图13是本申请一个示意性实施例提供的CycleGAN模型的转换原理图；
图14是本申请一个示意性实施例提供的生成器的应用场景图；
图15是本申请一个示意性实施例提供的生成器的应用场景图；
图16是本申请一个示意性实施例提供的生成器的应用场景图；
图17是本申请一个示意性实施例提供的三维图像的合成方法的流程图；
图18是本申请一个示意性实施例提供的CT图像的生成装置的框图；
图19是本申请一个示意性实施例提供的三维图像的合成装置的框图；
图20是本申请一个示意性实施例提供的计算机设备的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区域分开。例如，在不脱离各种所述示例的范围的情况下，第一用户状态选项可以被称为第二用户状态选项，并且类似地，第二用户状态选项可以被称为第一用户状态选项。第一用户状态选项和第二用户状态选项都可以是用户状态选项，并且在某些情况下，可以是单独且不同的用户状态选项。
在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“,an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“inCludes”“inCluding”“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
根据上下文，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
首先对本申请实施例涉及的若干个名词进行简介：
X-ray：X光片，一种二维形式的医学影像模态。X光片对骨质区域成像清晰，常作为骨科医生的诊断依据。
CT图像：是一种三维形式的医学影像模态。CT图像包含的信息更为丰富，但辐射剂量也更大。
生成对抗网络(Generative Adversarial Network,GAN)：是近几年被广泛研究的一种生成模型，具备捕捉真实数据分布的能力。
生成器(Generator)：是GAN中重要的组成部分，负责生成足够真实的数据。
判别器(Discriminator)：是GAN中与生成器相互博弈的部分，负责判断生成器生成的数据是否接近真实数据。
DRR(Digitally Reconstructured Radiographs，数字重建放射图像)：是一种数字重建影像，本文借助于DRR技术产生虚拟的X光片作为GAN的训练数据集。
CycleGAN：一种能够实现两个不配对的数据集之间进行风格转换的模型。
在医学领域中，CT图像能够提供病人体内的三维结构信息，帮助医生进行更为精确的诊断，但是与X光片相比，CT不仅会给病人带来更多的辐射危害，并且存在检查费用偏高、检查过程耗时长的缺点。此外，CT扫描设备高昂的价格导致其难以覆盖到所有的医疗区域。传统的CT重建方法通常需要上百张覆盖病人全身的X光投影，这在一般的X光片采集设备上是难以实现的。
本申请实施例提出一种新的思路，即在生成对抗网络(Generative AdversarialNetwork,GAN)的框架下，仅利用两张正交的X光片重建出完整的三维CT。为此，本申请实施例提出了一种生成器(或者说神经网络架构)负责将二维数据(X光片)提升到三维数据(CT图像)。同时本申请实施例也提出了一种在端到端学习的过程中融合两个视角信息的方法。对于缺乏CT扫描设备的地区，本申请实施例提出的方法提供了一种利用低成本的X光片采集设备，以获得人体内部的三维信息的可能性。
图1示出了本申请一个示意性实施例提供的CT图像的生成方法的流程图。该方法可以由计算机设备来执行。该方法包括：
步骤101，获取第一X光片和第二X光片，第一X光片和第二X光片是采用正交的两个视角对目标对象采集的X光片；
目标对象是待检测的医学目标活体。目标对象可以是人、狗、牛等动物，但不排除目标对象是其他植物或物体的可能性。
可选地，第一X光片和第二X光片是对同一目标对象在较为接近的两个时刻，采用正交的两个视角所采集的X光片。
结合参考图2，第一X光片12是采用正视角对目标对象采集的X光片，第二X光片14是采用侧视角对目标对象采集的X光片。
步骤102，调用生成器对第一X光片和第二X光片进行三维重建，得到目标对象的三维模型；
可选地，该生成器是基于生成对抗网络构建的。该生成器中包括编码器和解码器。
计算机设备调用编码器对第一X光片和所述第二X光片分别进行编码，得到第一编码信息和第二编码信息；调用解码器对第一编码信息和第二编码信息进行三维重建解码，得到目标对象的三维模型。
步骤103，根据目标对象的三维模型，得到目标对象的CT图像。
结合参考图2，生成器300将第一X光片12和第二X光片14进行三维重建，得到目标对象的三维模型。计算机设备根据该三维模型，生成目标对象的CT图像16。
通常，CT图像包括若干层二维图像。基于对目标对象重建得到的三维模型，可生成该目标对象的CT图像。
综上所述，本实施例提供的方法，通过将两个正交的X光片输入至生成器中，由生成器三维重建出目标对象的CT图像，使得只需要X光片机进行两次二维形式的X光片扫描，就能够得到相当于或近似相当于CT扫描设备的三维医学图像，不仅减少了给目标对象的辐射危害，还能够节约目标对象的检查费用，缩短目标对象的检查流程耗时。
生成器结构
上述生成器300可以是基于GAN训练得到的生成器。该生成器具有将两个正交视角的二维图像进行三维重建，得到三维模型的能力。图3示出了本申请一个示意性实施例提供的生成器300的结构框图。该生成器300包括编码器和解码器。其中：
编码器包括第一编码部31和第二编码部32。可选地，第一编码部31和第二编码部32具有相同的网络结构。
计算机设备调用第一编码部31对第一X光片进行二维编码，得到第一编码信息；调用第二编码部32对第二X光片进行二维编码，得到第二编码信息。
解码器包括第一解码部33、第二解码部34和融合解码部35。可选地，第一编码部33和第二编码部34具有相同的网络结构。
计算机设备调用第一解码部33对第一编码信息进行解码，得到第一解码信息；调用第二解码部34对第二编码信息进行解码，得到第二解码信息；调用融合解码部35将第一解码信息和第二解码信息作为三维空间中不同视角的数据进行三维融合，得到目标对象的三维模型。
也即，由融合解码部35将第一解码部33和第二解码部34的两个不同视角的解码信息进行融合，得到目标对象的三维模型。
示意性的，上述生成器300命名为X2CT-CNN。第一编码部31和第一解码部33可视为一路编解码网络，第二编码部32和第二解码部34可视为一路编解码网络。生成器300采用两路结构相同的编解码网络并行地对正视图输入和侧视图输入进行编解码，以及采用中间的融合解码部35进行三维重建。编解码网络旨在学习X光片到CT的映射关系，中间的融合解码部35旨在利用来自于两个编解码网络的特征信息重建出相应的三维CT结构。为了完成富有挑战性的跨模态跨维度的数据转换，在生成器300设计的过程中还采用了如图4所示的示意性设计。
第一编码部31包括n+2个编码层：二维卷积层、级联的n个稠密连接(Dense)层和池化层。二维卷积层与第1个稠密连接层相连，第n个稠密连接层与池化层相连。n为大于1的正整数。
第二编码部32与第一编码部31具有相同的结构，不再赘述。
第一编码部31和第一解码部33之间还采用第一A连接相连，第一A连接用于将第一编码信息从二维形式转换为三维形式。第二编码部32和第二解码部34之间还采用第二A连接相连，第二A连接用于将第二编码信息从二维形式转换为三维形式。A连接是基于全连接层实现的连接。
第一解码部33包括n+2个解码层：上采样(UP)层、级联的n个上卷积(UP-Conv)层和三维卷积层。上采样层与第1个上卷积层相连，第n个上卷积层与三维卷积层相连。上述各层成为n+2个解码层。可选地，第一解码部33还包括n个C连接，每个C连接包括两个输入端和一个输出端。第i个C连接的第一输入端与第一解码部33中的第i个解码层的输出端相连，第i个C连接的第二输入端与第一编码部31中的第i+1个编码层的输出端相连，第i个C连接的输出端与第一解码部33中的第i+1个解码层的输入端相连。
可选地，第i个C连接的第二输入端还通过B连接与第一编码部31中的第i个编码层的输出端相连。B连接用于将编码层输出的二维编码信息转换为三维编码信息，C连接用于将第一输入端输入的三维解码信息与第二输入端输入的三维编码信息进行加权求和，输出为下一解码层的三维解码信息。
第二解码部34与第一解码部33具有相同的结构，不再赘述。
图5示出了上述三种连接的结构示意图。
图5的(a)部分示出了A连接的结构示意图，A连接用于将二维形式的编码信息展开为第一单维向量51，通过全连接模块52将第一单维向量51拉伸为第二单维向量53，再将第二单维向量53重组为三维形式的编码信息。可选地，全连接模块中包括全连接层(FullConnection，FC)、Dropout层和线性整流函数(Rectified Linear Unit，ReLU)层。
图5的(b)部分示出了B连接的结构示意图，B连接用于将第i个编码层输出的二维编码信息在垂直维度上扩展为m层，将扩展后的m层二维编码信息确定为三维编码信息，m为正整数。可选地，B连接包括二维卷积层和三维卷积层。B连接通过一个二维卷积层将二维特征的通道数转换为对应解码层的三维特征的通道数；对于改变过通道数的二维特征，增加一个与二维编码信息相垂直的垂直维度，然后在此垂直维度上复制出m层二维编码信息，使其变成伪三维编码信息；再通过一个三维卷积层对伪三维编码信息进行再编码。
这种跨越连接更加自然地桥接了二维编码信息与三维编码信息，使得一些低层级的和X光片密切相关的二维编码信息能够充分地抵达输出端并直接产生影响，带来的最大收益便是在输入和输出之间引入了很强的形状和空间相关性。
图5的(c)部分示出了C连接的结构示意图，C连接用于将第一输入端输入的三维编解码信息和第二输入端输入的三维编/解码信息变换至同一三维空间后，将三维空间中的两个三维编/解码信息进行加权求和，输出为下一解码层的输入。示意性的，由于第一输入端输入的三维编解码信息55是基于正视角采集的第一X光片编解码得到的，第二输入端输入的三维编/解码信息56是基于侧视角采集的第二X光片编解码得到的，两个三维编/解码信息的视角不同，因此先将一个或两个三维编/解码信息进行变换，使得两个三维编/解码信息57和58位于同一三维空间中，再将三维空间中的两个三维编/解码信息57和58进行加权平均，得到合成后的三维解码信息，作为下一解码层的输入。
融合解码部35包括n+2个融合解码层：上采样层、级联的n个上卷积层和三维卷积层。上采样层的输出端与第1个上卷积层相连，第n个上卷积层与三维卷积层相连。
可选地，融合解码部35还包括C连接，C连接的第一输入端与第一解码部33的输入端相连，C连接的第二输入端与第二解码部34的输入端相连，C连接的输出端与上采样层的输入端相连。在融合解码部35中，C连接用于将第一输入端输入的三维编码信息与第二输入端输入的三维编码信息进行加权求和，输出为下一融合解码层的输入。
可选地，融合解码部35还包括n个复合C连接，如图6所示。每个复合C连接60包括第一C连接61和第二C连接62，第i个第一C连接的第一输入端与第一解码部33中的第i+1个解码层的输出端相连，第i个第一C连接的第二输入端与第二解码部31中的第i+1个编码层的输出端相连，第i个第一C连接的输出端与第i个第二C连接的第一输入端相连，第i个第二C连接的第二输入端与融合解码部33中的第i个融合解码层的输出端相连，第i个第二C连接的输出端与融合解码部33中的第i+1个融合解码层的输入端相连。
上述生成器300至少包括如下特点：
(1)稠密连接的编码器设计；
每个稠密连接(Dense)层由降采样块(Down)、稠密连接块(Dense Block)和通道压缩块(Compress)组成。降采样块用于进行步长为2的二维卷积操作，通道压缩块用于将输出通道减半。
稠密连接层在特征提取过程中有很大的优势，比如减缓深层网络的梯度消失问题以及有利于多级特征复用，能够从二维形式的X光片中提取出充足的信息。
(2)二维特征与三维特征的桥接模块；
一些编解码网络通常使用卷积的方式连接编码器和解码器。这种做法在纯二维或者纯三维的网络中没有任何问题，但本申请实施例所要解决的问题特殊性在于跨越了数据的维度，需要一种新的模块来连接两个不同维度的信息。虽然在近几年的神经网络架构设计中，全连接层由于参数量巨大的缺点多数已经被卷积层取代了。但是在很多神经网络架构中，还是采用了大量的全连接的方式来处理不同维度信息之间的连接。在GAN相关的工作中，从一维噪声到二维图像的升维过程也多是由全连接层完成，充分说明了全连接层在特定场景中依然有着独特的价值。本申请实施例将全连接层扩展为一种新的连接模块，命名为A连接(见图5的a部分)。A连接负责在生成器的中间节点连接二维编码器和三维解码器。值得注意的是，这种连接方式在一定程度上会打乱特征的空间排列和相邻位置关系，并且全连接层的参数量巨大的问题依然无法回避，导致这种连接方式无法推广到生成器相对较浅的层级。为了解决这些问题，同时使得跨越连接在本申请实施例提出的生成器中发挥作用，B连接(见图5的b部分)应运而生。
A连接通过全连接层的方式实现二维特征与三维特征的过渡，在编码器的最后一层得到多通道的二维形式的编码信息之后，A连接首先将其展开为一个一维向量51，然后拉伸成一个更长的一维向量(这个长度由期望得到的三维特征尺度计算可得)53，最后通过对更长的一维向量53进行重排列操作，使其排列为一个三维特征。由于这种连接方式可能会丢失很多二维空间信息，因此本申请实施例中也只是在编码器的最后一层和解码器的第一层之间使用A连接。
生成器的其他层级都采用B连接这种跨越连接，来促进编码器的二维特征信息直接流通到解码器的三维特征层。
(3)双视角信息融合；
正向的二维投影无法捕捉一个三维物体的侧向信息，反过来亦如此。因此，本申请借助于采集于两个正交方向的双视角X光片，利用二者互补的信息以生成更精确的重建结果。两个结构相同的编解码网络并行独立地对正视图输入和侧视图输入进行编解码，两个编解码网络中间的融合解码部负责双视角信息进行融合。本申请实施例假设这两张正交的双视角X光片采集的时间间隔可以忽略，也就意味着没有因为病人的身体移动所造成的数据偏移，那么将双视角信息转换到相同的三维坐标空间之后，就可以直接做加权平均，正如图5的c部分所展示的那样。两个视角的编码器输出的任何空间上的不一致都会被融合解码部捕捉到，并通过反向传播将这些误差信息回传到各自的编解码网络。
表一和图7总结了生成器300的主干网络中各层参数的详细设置情况，其中，稠密连接层中的s＝2表示下采样卷积的步长为2。与之对应的，上采样层中的sf＝2表示转置卷积的步长为2。每一个上卷积层的输入是上采样得到的特征和跨越连接传递过来的特征的结合，因此先使用一层卷积对通道数进行压缩。示意性的，网络的输入为128x128大小的X光片，输出为128x128x128大小的CT图像。
表一生成器的网络详细设置
Figure BDA0001963900850000111
Figure BDA0001963900850000121
在表一中，sf代表步长，IN代表实例正则化，ReLU代表线性整流函数或修正线性单元。
在图7中的(1)至(7)所示，稠密连接(Dense)层包括依次相连的降采样块、稠密连接块和通道压缩块；通道压缩(Compress)包括实例正则化、线性修正单元和二维卷积；上卷积(Up-Conv)包括三维卷积块、*N块和上采样；上采样(UP)包括三维反卷积、实例正则化、线性修正单元；下采样包括实例正则化、线性修正单元和步长为2的二维卷积；二维卷积块包括二维卷积、实例正则化和线性修正单元；三维卷积块包括三维卷积、实例正则化和线性修正单元。
需要说明的是，上述网络参数设置仅为示意性说明。本申请实施例对输入图像和输出图像的尺寸不加以限定，当输入图像和输出图像的尺寸为其它尺寸时，可以相应地调整神经网络架构的设置。
生成器的训练
上述生成器是基于GAN训练得到的。图8示出了X2CT-GAN的整体结构。该GAN网络中包括：生成器300和判别器400。生成器300的输入为正交的第一X光片(正视图)和第二X光片(侧视图)，生成器300的输出为重建的三维模型，简称重建CT。训练数据集中提供有样本CT，判别器400用于分辨重建CT和样本CT之间的对抗损失，当该对抗损失越小，则生成器300的重建效果越好。
区别于传统GAN仅使用对抗损失来作为生成器的损失函数，本申请实施例提供的生成器的损失函数可以采用如下形式中的任意一种：
对抗损失；
或者，对抗损失和重建损失RL；
或者，对抗损失和投影损失PL；
或者，对抗损失、重建损失RL和投影损失PL；
其中，对抗损失用于表征生成器重建的三维模型与样本CT图像之间的语义损失，重建损失用于表示生成器重建的三维模型与样本CT图像之间的像素级差异损失，投影损失用于表示生成器重建的三维模型与样本CT图像在至少一个投影平面上的差异损失。
以训练过程同时采用三部分损失函数为例，分别为对抗损失、重建损失和投影损失。下面分别介绍：
(1)对抗损失；
使用最小二乘损失取代了原始GAN中对数损失的形式，在训练稳定性、图像生成质量和多样性上都取得了提高。发明人尝试了几种GAN的不同形式之后发现最小二乘损失(Least Squares GAN，LSGAN)在重建任务中表现也十分优秀，此外，由于重建任务的强约束性，本实施例中的条件LSGAN损失定义为：
Figure BDA0001963900850000131
其中，x为输入的两张正交的双视角X光片，y是其对应的CT图像，D(y|x)表示判别器，G(x)代表生成器。
(2)重建损失；
对抗损失试图让生成数据更加接近真实数据，但是在一个对精确性要求十分高的重建任务中，仅有对抗损失是远远不够的。原因在于对抗损失总体来讲是一种高级语义损失，比如X2CT-GAN的判别器仅仅输出真或是假，可能重建的肺部缩小一点在判别器看起来依然是真，然而可能已经和期望结果相差甚远了。因此，单一的对抗损失并不能保证输出的结果在形状上和输入信息保持一致性。此外，医学影像虽然不像自然图像丰富多彩变化多端，但是在精度上的要求却更高。基于这些考虑，本文将体素级的重建损失也加入到X2CT-GAN模型的训练过程中，对三维空间中每一个点都进行相应的约束。本文的重建损失基于均方误差(Mean Squared Error,MSE)定义如下：
其中，G(x)代表生成器，y代表CT图像。
(3)投影损失；
重建损失在三维空间中对每一个点进行细致的约束。除此之外，本申请实施例还采取了在二维空间中对投影进行约束的策略。这种想法源自于如果重建CT图像在三维空间中和基准CT图像能够很好吻合，它们的二维投影也应该能够吻合，那么训练过程中直接对投影施加约束应该可以提高三维物体的重建精度。为了简化投影操作，本实施例采取了正交投影而非透视投影，但在其它实施例中也可以采用透视投影来进行表达。为使投影能够携带更多的信息，本实施例选择了三个投影平面，分别为横断面、冠状面以及矢状面，数学表达形式如下：
Figure BDA0001963900850000141
其中，Pax，Pco，Psa分别表示横断面、冠状面以及矢状面。
当同时采用对抗损失、重建损失以及投影损失时，可以采用加权求和的方式计算得到总损失表达为：
Figure BDA0001963900850000142
其中，λ1为对抗损失对应的权重，λ2为重建损失对应的权重，λ3为投影损失对应的权重。在一个示意性的例子中，λ1＝0.1，λ2＝λ3＝10。
图9示出了本申请一个示例性实施例示出的生成器的训练方法的流程图。本训练方法可以由计算机设备来执行，该方法包括：
步骤901，获取训练数据集，训练数据集包括至少两份训练样本；
生成器的训练任务需要大量成对的X光片与CT图像组成训练数据集，供X2CT-GAN模型学习二者之间的映射关系。然而目前尚不存在这样的公开数据集，因此本实施例采用DRR技术从真实CT图像生成虚拟的X光片。示意性的包括如下步骤：
第一，获取至少两份真实CT图像作为样本CT图像；
第二，对于至少两份真实CT图像中的每份真实CT图像，生成对应的第一虚拟X光片和第二虚拟X光片；
其中，第一虚拟X光片是正视角的X光片，第二虚拟X光片是侧视角的X光片。
第三，将相互对应的第一虚拟X光片、第二虚拟X光片和真实CT图像，确定为至少两份训练样本。
由于真实CT图像可能采集自不同厂家的不同设备，导致在数据尺度和分辨率上呈现出严重的差异性。比如，有些CT图像的切片数多，有些CT图像的切片数相对较少；又比如切片内两个坐标轴上的分辨率虽然相同，但是这个分辨率对于不同的CT图像仍然存在差异性。因此，本申请做了一些预处理对真实CT图像进行标准化。具体分为两步：
(1)通过重采样将真实CT图像各个方向上的分辨率统一到1x1x1mm3；
(2)从各份真实CT图像的顶端统一截取320x320x320mm3的立方区域，长度不足320mm的轴用零值填充。
经过上述两个步骤处理的真实CT图像呈现出各向同性的特点，同时每一份真实CT图像都能涵盖完整的胸腔区域。假设采用已经有的肺部公开数据集LIDC-IDRI进行上述处理，经过增强的LIDC-IDRI包含1018份虚拟双视角X光片及其对应的真实CT图像，一份双视角X光片与其对应的真实CT图像组成一个样本，本实施例随机选取916个样本作为训练数据集，剩下的102个样本作为测试数据集，训练数据集和测试数据集的比例约为9:1。
步骤902，设置与生成器对应的判别器；
判别器的构建基于pix2pix工作中的PatchDiscriminator，本申请实施例将其推广到三维形式，命名为3DPatchDiscriminator。它首先由3个卷积核尺寸为4步长为2的conv3d-norm-relu模块组成，紧接着是1个卷积核尺寸为4步长为1的conv3d-norm-relu模块，最后接一个conv3d层，并通过sigmoid激活函数输出。具体参数设置见表二。
表二判别器的网络详细设置
层名称 设置 输出尺寸
Conv_0 [4x4x4,64,s＝2],IN,ReLU 64x64x64
Conv_1 [4x4x4,128,s＝2],IN,ReLU 32x32x32
Conv_2 [4x4x4,256,s＝2],IN,ReLU 16x16x16
Conv_3 [4x4x4,512],IN,ReLU 16x16x16
Conv_4 [4x4x4,1],Sigmoid 16x16x16
X2CT-GAN的训练方式和原始GAN稍有不同，不过总体训练思路依然是交替进行判别器和生成器的训练。训练基于增强的LIDC-IDRI数据集进行，过程中采用基于梯度损失的优化算法更新网路的参数，今(x，y)表示成对的双视角X光片与CT数据集的一个样本。该基于梯度损失的优化算法包括：Adam优化算法、SGD优化算法、RMSProp优化算法中的任意一种。
步骤903，在第i训练阶段，固定生成器中的第一神经网络参数，使用训练数据集中的一份训练样本对判别器中的第二神经网络参数进行优化；
采用如下公式(3-5)计算判别器的梯度，然后使用基于梯度损失的优化算法更新判别器中的第二神经网络参数。
Figure BDA0001963900850000161
其中，m是训练样本的总数，θd是判别器中的第二神经网络参数。
步骤904，在第i+1训练阶段，固定判别器中的第二神经网络参数，使用训练数据集中的另一份训练样本对生成器中的第一神经网络参数进行优化；
生成器的梯度计算相对复杂，首先根据公式(3-6)计算生成器对抗损失，根据公式(3-7)计算重建损失，根据公式(3-8)计算投影损失，其次根据公式(3-9)计算梯度(式中λ1＝0.1，λ2＝λ3＝10)，然后使用基于梯度损失的优化算法更新生成器中的第一神经网络参数。
Figure BDA0001963900850000163
Figure BDA0001963900850000165
其中，m是训练样本的总数，θg是生成器中的第一神经网络参数。
步骤905，交替执行上述训练阶段，直至第一神经网络参数和第二神经网络参数稳定收敛。
以使用Adam优化器优化网络的参数为例，初始学习率Lrinit＝2e-4，动量参数β1＝0.5，β2＝0.99。在前50个迭代周期这组参数保持不变，之后采取学习率线性衰减的策略，相比于恒定不变的学习率设置，这种方式有利于网络收敛于更好的位置。具体的做法是按照公式(3-10)将学习率衰减到0，其中Lr_iter表示当前迭代周期的学习率，iter表示当前迭代次数，max_iter表示总的迭代次数，实验中设置为100。
图10展示了在实验过程中采用不同的神经网络模型进行CT图像重建的重建结果对比。首先对图10中第一行中进行对比的模型类型做简单阐释，“GT”即Groundtruth代表着重建的标杆，也即作为参考基准的CT图像(比如真实的CT图像)；“2DCNN”表示采用二维卷积神经网络进行CT图像重建的模型；“X2CT-CNN+S”表示采用一张X光片作为单视角输入，采用三维卷积神经网络进行CT图像重建的模型，与之对应的，`X2CT-CNN+B'意为采用正交的两张X光片双视角输入，采用三维卷积神经网络进行CT图像重建的模型；“X2CT-GAN”是上述实施例提出的基于GAN监督信号的模型。图10中的第二行第一列展示了从测试集中选取的某个病人的CT图像的一张切片，该行余下列展示了各个神经网络模型的重建结果。图10中第三行和第四行分别为该样本数据的正视角和侧视角的三维可视化结果，能够方便读者在三维空间中更加直观地对比不同神经网络模型的重建结果差异。
由于2DCNN模型只能处理单视角输入的情况，故这里没有给出该2DCNN模型的双视角输入的结果。从图10中可以很明显的可出，2DCNN模型得到的结果相当模糊，并且外形畸变严重。相比之下，X2CT-CNN模型能够捕捉到清晰的边界，充分说明二维和三维卷积相结合的模型在拟合能力上远胜于纯二维卷积网络。此外，为了验证双视角输入相比于单视角输入的优势，从图10中侧向的三维可视化结果可以看出，单视角输入模型由于没有这个方向的输入信息，重建结果出现了较大的偏差，而双视角输入模型能够很好地在重建过程中施加正确的约束，从而产生更准确的重建结果。
此外，还可以从图10中直观地看到X2CT-GAN对于细节的提升效果。双视角输入的X2CT-CNN由于仅采用体素级的重建损失进行网络优化，所得到的结果对于大体形状、轮廓的把握还是相当不错的，但是边缘处过于平滑，缺乏很多细节，人眼非常容易就能区分出真实数据和重建数据。基于GAN的X2CT-GAN模型充分发挥了GAN对于真实数据分布的学习能力，重建结果能够捕捉到像肺部血管一类的精细结构，视觉上也更加接近于真实的CT图像。对于缺乏医学专业知识训练的常人，短时间内很难区分模型生成的重建数据和真实数据。双视角输入的X2CT-GAN模型对于主要器官(比如肺、心脏等)的重建已经较为精确，具备了一定的临床价值，比如器官大小的测量，胸廓畸形诊断以及放疗剂量规划等。
以单个病例为例，图11示出了本申请实施例提供的生成器所重建出的重建CT图像和真实CT图像进行逐张对比时的对比示意图。
由于本申请实施例的初衷是从真实的X光片中重建出完整CT数据，那么必不可少的环节就是使用真实X光片检验本申请实施例提出的模型。尽管X2CT-GAN模型在虚拟数据上训练完成，但借助于CycleGAN模型，本申请实现了真实X光片到虚拟X光片的跨越。在一个示例性的例子中，搜集200张真实的X光片以及200张虚拟的X光片，通过CycleGAN模型学习两者之间的互相转换，如图12所示。X代表由200张真实的X光片所形成的图像域，Y代表由200张虚拟的X光片所形成的的图像域，设需要学习的从域X到域Y的映射为G(生成器)，反向映射为F(生成器)。在域Y有判别器DY，在域X有判别器DX，用对抗学习的方式训练，不仅要求判别器能够尽可能区分真实的X光片与虚拟的X光片，而且要求两次映射后的误差尽量小，即F(G(X))≈X,G(F(Y))≈Y，该误差可以采用循环一致性损失来表示。代表映射后的X，代表映射后的Y。
CycleGAN模型稳定收敛之后，在使用真实X光片测试X2CT-GAN模型之前，只需要使用CycleGAN中真实X光片到虚拟X光片的生成器，将真实X光片转换为虚拟X光片的风格，然后使用转换后的X光片进行CT重建测试。测试结果如图13所示，前两列是两个不同视角的真实X光片，紧接着的两列是经过CycleGAN转换的X光片，最后两列展示了重建CT的内部结构和表面结构的三维可视化结果。的椭圆虚线圈标明了高质量的重建区域。从重建结果中可以看出，本实施例提出的X2CT-GAN模型对于真实X光片的重建也是非常合理的，尤其是肺部区域以及表面轮廓。图13中椭圆虚线在真实X光片中圈出的区域可以看到明显的线条弯曲变化，这种变化能够被模型精确捕捉到并在重建结果中得以体现。
生成器的应用场景
在图14所示出的一种可选的实施例中，上述生成器300可部署在服务器1420中，当客户端1410向服务器1420发送正交的两个X光片后，服务器1420调用生成器300生成重建CT图像，服务器1420将重建的CT图像发送给客户端1410。
在图15所示出的另一种可选的实施例中，上述生成器300可部署在服务器1420中，当第一客户端1410向服务器1420发送正交的两个X光片后，服务器1420调用生成器300生成重建CT图像，服务器1420将重建的CT图像发送给第二客户端1430。
在图16所示出的另一种可选的实施例中，上述生成器300可部署在与X光片机相连的计算机设备1440中，当X光片机向计算机设备1440发送正交的两个X光片后，计算机设备1440调用生成器300生成重建CT图像，计算机设备1440将重建的CT图像显示给医生或患者查看。
图17示出了本申请一个示例性实施例提供的三维图像的合成方法的流程图。该方法可以由计算机设备来实现，该方法包括：
步骤1701，获取第一剖面图像和第二剖面图像，第一剖面图像和第二剖面图像是采用正交的两个视角对目标对象采集的图像；
可选地，第一剖面图像是采用第一视角对目标对象采集的图像，第二剖面图像是采用第二视角对目标对象采集的图像。第一视角和第二视角是相互正交的两个视角。
步骤1702，获取编码器和解码器，编码器包括第一编码部和第二编码部，解码器包括第一解码部、第二解码部和融合解码部；
可选地，该编码器和解码器采用如图3和图4所示出的神经网络架构来实现。该编码器和解码器是采用生成对抗网络来构建得到。
本实施例中，对编码器和解码器的网络结构不再赘述。
步骤1703，调用第一编码部对第一剖面图像进行二维编码，得到第一编码信息；
步骤1704，调用第一解码部对第一编码信息进行解码，得到第一解码信息；
步骤1705，调用第二编码部对第二剖面图像进行二维编码，得到第二编码信息；
步骤1706，调用第二解码部对第二编码信息进行解码，得到第二解码信息；
步骤1707，调用融合解码部将第一解码信息和第二解码信息作为三维空间中不同视角的数据进行三维融合，得到目标对象的三维图像。
综上所述，本实施例提供的方法，通过将两个正交的剖面图像输入至编码器分别进行编码，然后通过解码器中的两个解码部对编码信息进行解码，然后通过解码器中的融合解码部对两种解码信息进行融合解码，从而融合出目标对象的三维图像，使得仅需要获得两张剖面图像，即可复原出目标对象的三维图像的效果，不需要三维扫描设备也能够得到目标对象的三维图像的效果。
图18示出了本申请一个示例性实施例提供的CT图像的生成装置的框图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。该装置包括：获取模块1820、生成模块1840和输出模块1860；
获取模块1820，用于获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片；
生成模块1840，用于对所述第一X光片和所述第二X光片进行三维重建，得到所述目标对象的三维模型；
输出模块1860，根据所述目标对象的三维模型，得到所述目标对象的所述CT图像。
在一个可选的实施例中，所述生成模块1840包括：编码器1842和解码器1844；
所述编码器1842，用于对所述第一X光片和所述第二X光片分别进行编码，得到第一编码信息和第二编码信息；所述解码器1844，用于对所述第一编码信息和所述第二编码信息进行三维重建解码，得到所述目标对象的三维模型。
在一个可选的实施例中，所述编码器1842包括第一编码部和第二编码部；所述解码器1844包括第一解码部、第二解码部和融合解码部；
所述第一编码部，用于对所述第一X光片进行二维编码，得到所述第一编码信息；
所述第二编码部，用于对所述第二X光片进行二维编码，得到所述第二编码信息；
所述第一解码部，用于对所述第一编码信息进行解码，得到第一解码信息；
所述第二解码部，用于对所述第二编码信息进行解码，得到第二解码信息；
所述融合解码部，用于将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维模型。
在一个可选的实施例中，所述第一编码部和所述第二编码部的至少一个编码部包括n+2个编码层，所述n+2个编码层包括：
二维卷积层、级联的n个稠密连接层和池化层，所述二维卷积层与第1个稠密连接层相连，第n个稠密连接层与所述池化层相连，n为正整数。
在一个可选的实施例中，所述第一编码部和所述第一解码部之间采用A连接相连；和/或，所述第二编码部和所述第二解码部之间采用所述A连接相连；
其中，所述A连接用于将二维形式的编码信息转换为三维形式的编码信息。
在一个可选的实施例中，所述A连接用于将所述二维形式的编码信息展开为第一单维向量，将所述第一单维向量拉伸为第二单维向量，将所述第二单维向量重组为所述三维形式的编码信息。
在一个可选的实施例中，所述第一解码部和所述第二解码部中的至少一个解码部包括n+2个解码层，所述n+2个解码层包括:
上采样层、级联的n个上卷积层和三维卷积层，所述上采样层与第1个上卷积层相连，第n个上卷积层与所述三维卷积层相连，n为正整数。
在一个可选的实施例中，所述解码部1844还包括：n个C连接，第i个C连接的第一输入端与所述解码部中的第i个解码层的输出端相连，所述第i个C连接的第二输入端与对应编码部中的第i+1个编码层的输出端相连，所述第i个C连接的输出端与所述解码部中的第i+1个解码层的输入端相连；
其中，所述C连接用于将所述第一输入端输入的三维解码信息与所述第二输入端输入的三维编码信息进行加权求和，输出为下一解码层的输入。
在一个可选的实施例中，所述C连接用于将所述第一输入端输入的三维解码信息和所述第二输入端输入的三维编码信息变换至同一三维空间后，将所述三维空间中的所述三维解码信息和所述三维编码信息进行加权求和，输出为所述下一解码层的输入。
在一个可选的实施例中，所述第i个C连接的第二输入端还通过第i个B连接与对应编码部中的第i个编码层的输出端相连；
所述第i个B连接用于将所述第i个编码层输出的二维编码信息转换为三维编码信息。
在一个可选的实施例中，所述第i个B连接用于将所述第i个编码层输出的二维编码信息在垂直维度上扩展为m层，将扩展后的m层二维编码信息确定为所述三维编码信息，m为正整数。
在一个可选的实施例中，所述融合解码部包括n+2个融合解码层，所述n+2个融合解码层包括：
上采样层、级联的n个上卷积层和三维卷积层，所述上采样层的输出端与第1个上卷积层相连，第n个上卷积层与所述三维卷积层相连。
在一个可选的实施例中，所述融合解码部还包括C连接，所述C连接的第一输入端与所述第一解码部的输入端相连，所述C连接的第二输入端与所述第二解码部的输入端相连，所述C连接的输出端与所述上采样层的输入端相连；
所述C连接用于将所述第一输入端输入的三维编码信息与所述第二输入端输入的三维编码信息进行加权求和，输出为下一融合解码层的输入。
在一个可选的实施例中，所述融合解码部还包括n个复合C连接，每个所述复合C连接包括第一C连接和第二C连接，
第i个第一C连接的第一输入端与第一解码部中的第i+1个解码层的输出端相连，所述第i个第一C连接的第二输入端与第二解码部中的第i+1个编码层的输出端相连，所述第i个第一C连接的输出端与第i个第二C连接的第一输入端相连，所述第i个第二C连接的第二输入端与所述融合解码部中的第i个融合解码层的输出端相连，所述第i个第二C连接的输出端与所述融合解码部中的第i+1个融合解码层的输入端相连。
在一个可选的实施例中，所述生成器是基于生成对抗网络训练得到的，所述生成器的损失函数包括：
对抗损失；
或者，所述对抗损失和重建损失；
或者，所述对抗损失和投影损失；
或者，所述对抗损失、所述重建损失和所述投影损失；
其中，所述对抗损失用于表征所述生成器重建的所述三维模型与样本CT图像之间的语义损失，所述重建损失用于表示所述生成器重建的所述三维模型与所述样本CT图像之间的像素级差异损失，所述投影损失用于表示所述生成器重建的所述三维模型与所述样本CT图像在至少一个投影平面上的差异损失。
在一个可选的实施例中，所述装置还包括：训练模块1880；
所述训练模块1880，用于获取训练数据集，所述训练数据集包括至少两份训练样本；设置与所述生成器对应的判别器；在第i训练阶段，固定所述生成器中的第一神经网络参数，使用所述训练数据集中的一份训练样本对判别器中的第二神经网络参数进行优化；在第i+1训练阶段，固定所述判别器中的第二神经网络参数，使用所述训练数据集中的另一份训练样本对生成器中的第一神经网络参数进行优化；交替执行上述两个训练阶段，直至所述第一神经网络参数和所述第二神经网络参数稳定收敛。
在一个可选的实施例中，所述训练模块1880，用于获取至少两份真实CT图像作为所述样本CT图像；对于所述至少两份真实CT图像中的每份真实CT图像，生成对应的第一虚拟X光片和第二虚拟X光片；将相互对应的所述第一虚拟X光片、所述第二虚拟X光片和所述真实CT图像，确定为所述至少两份训练样本。
图19示出了本申请一个示例性实施例提供的三维图像的合成装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，所述装置包括：获取模块1920、第一编码部1942、第一解码部1944、第二编码部1962、第二解码部1964和融合解码部1966。
获取模块1920，用于获取第一剖面图像和第二剖面图像，所述第一剖面图像和所述第二剖面图像是采用正交的两个剖面对目标对象剖切后的图像。
所述获取模块1920，还用于获取编码器和解码器，所述编码器包括第一编码部1942和第二编码部1944，所述解码器包括第一解码部1962、第二解码部1964和融合解码部1966。
所述第一编码部1942，用于对所述第一剖面图像进行二维编码，得到所述第一编码信息。
所述第一解码部1962，用于对所述第一编码信息进行解码，得到第一解码信息。
所述第二编码部1944，用于对所述第二剖面图像进行二维编码，得到所述第二编码信息。
所述第二解码部1964，用于对所述第二编码信息进行解码，得到第二解码信息。
所述融合解码部1966，用于将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维图像。
综上所述，本实施例提供的装置，通过将两个正交的剖面图像输入至编码器分别进行编码，然后通过解码器中的两个解码部对编码信息进行解码，然后通过解码器中的融合解码部对两种解码信息进行融合解码，从而融合出目标对象的三维图像，使得仅需要获得两张剖面图像，即可复原出目标对象的三维图像的效果，不需要三维扫描设备也能够得到目标对象的三维图像的效果。
图20示出了本申请一个示例性实施例提供的计算机设备的结构示意图。示意性的，计算机设备2000包括中央处理单元(Central Processing Unit，简称：CPU)2001、包括随机存取存储器(random access memory，简称：RAM)2002和只读存储器(read-onlymemory，简称：ROM)2003的系统存储器2004，以及连接系统存储器2004和中央处理单元2001的系统总线2005。所述计算机设备2000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)2006，和用于存储操作系统2013、客户端2014和其他程序模块2015的大容量存储设备2007。
所述基本输入/输出系统2006包括有用于显示信息的显示器2008和用于用户输入信息的诸如鼠标、键盘之类的输入设备2009。其中所述显示器2008和输入设备2009都通过连接到系统总线2005的输入/输出控制器2010连接到中央处理单元2001。所述基本输入/输出系统2006还可以包括输入/输出控制器2010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器2010还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备2007通过连接到系统总线2005的大容量存储控制器(未示出)连接到中央处理单元2001。所述大容量存储设备2007及其相关联的计算机可读介质为计算机设备2000提供非易失性存储。也就是说，所述大容量存储设备2007可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(erasable programmable read-only memory，简称：EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(DigitalVersatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器2004和大容量存储设备2007可以统称为存储器。
根据本申请的各种实施例，所述计算机设备2000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备2000可以通过连接在所述系统总线2005上的网络接口单元2011连接到网络2012，或者说，也可以使用网络接口单元2011来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的CT图像的生成方法或三维图像的合成方法。
可选地，本申请还提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述各个方法实施例所提供的CT图像的生成方法或三维图像的合成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (21)

1.一种CT图像的生成方法，其特征在于，所述方法包括：
获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片，所述第一X光片是采用正视角对所述目标对象采集的X光片，所述第二X光片是采用侧视角对所述目标对象采集的X光片；
调用生成器的编码器对所述第一X光片和所述第二X光片分别进行编码，得到第一编码信息和第二编码信息；所述生成器的解码器包括第一解码部、第二解码部和融合解码部；
调用所述第一解码部对所述第一编码信息进行解码，得到第一解码信息；
调用所述第二解码部对所述第二编码信息进行解码，得到第二解码信息；
调用所述融合解码部将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维模型；
根据所述目标对象的三维模型，得到所述目标对象的所述CT图像。
2.根据权利要求1所述的方法，其特征在于，所述编码器包括第一编码部和第二编码部；
所述调用所述编码器对所述第一X光片和所述第二X光片分别进行编码，得到第一编码信息和第二编码信息，包括：
调用所述第一编码部对所述第一X光片进行二维编码，得到所述第一编码信息；调用所述第二编码部对所述第二X光片进行二维编码，得到所述第二编码信息。
3.根据权利要求2所述的方法，其特征在于，所述第一编码部和所述第二编码部的至少一个编码部包括n+2个编码层，所述n+2个编码层包括：
二维卷积层、级联的n个稠密连接层和池化层，所述二维卷积层与第1个稠密连接层相连，第n个稠密连接层与所述池化层相连，n为正整数。
4.根据权利要求2所述的方法，其特征在于，
所述第一编码部和所述第一解码部之间采用A连接相连；和/或，所述第二编码部和所述第二解码部之间采用所述A连接相连；
其中，所述A连接用于将二维形式的编码信息转换为三维形式的编码信息。
5.根据权利要求4所述的方法，其特征在于，所述A连接用于将所述二维形式的编码信息展开为第一单维向量，将所述第一单维向量拉伸为第二单维向量，将所述第二单维向量重组为所述三维形式的编码信息。
6.根据权利要求2所述的方法，其特征在于，所述第一解码部和所述第二解码部中的至少一个解码部包括n+2个解码层，所述n+2个解码层包括:
上采样层、级联的n个上卷积层和三维卷积层，所述上采样层与第1个上卷积层相连，第n个上卷积层与所述三维卷积层相连，n为正整数。
7.根据权利要求6所述的方法，其特征在于，所述解码部还包括：n个C连接，第i个C连接的第一输入端与所述解码部中的第i个解码层的输出端相连，所述第i个C连接的第二输入端与对应编码部中的第i+1个编码层的输出端相连，所述第i个C连接的输出端与所述解码部中的第i+1个解码层的输入端相连；
其中，所述C连接用于将所述第一输入端输入的三维解码信息与所述第二输入端输入的三维编码信息进行加权求和，输出为下一解码层的输入。
8.根据权利要求7所述的方法，其特征在于，所述C连接用于将所述第一输入端输入的三维解码信息和所述第二输入端输入的三维编码信息变换至同一三维空间后，将所述三维空间中的所述三维解码信息和所述三维编码信息进行加权求和，输出为所述下一解码层的输入。
9.根据权利要求7所述的方法，其特征在于，所述第i个C连接的第二输入端还通过第i个B连接与对应编码部中的第i个编码层的输出端相连；
所述第i个B连接用于将所述第i个编码层输出的二维编码信息转换为三维编码信息。
10.根据权利要求9所述的方法，其特征在于，所述第i个B连接用于将所述第i个编码层输出的二维编码信息在垂直维度上扩展为m层，将扩展后的m层二维编码信息确定为所述三维编码信息，m为正整数。
11.根据权利要求2所述的方法，其特征在于，所述融合解码部包括n+2个融合解码层，所述n+2个融合解码层包括：
上采样层、级联的n个上卷积层和三维卷积层，所述上采样层的输出端与第1个上卷积层相连，第n个上卷积层与所述三维卷积层相连。
12.根据权利要求11所述的方法，其特征在于，所述融合解码部还包括C连接，所述C连接的第一输入端与所述第一解码部的输入端相连，所述C连接的第二输入端与所述第二解码部的输入端相连，所述C连接的输出端与所述上采样层的输入端相连；
所述C连接用于将所述第一输入端输入的三维编码信息与所述第二输入端输入的三维编码信息进行加权求和，输出为下一融合解码层的输入。
13.根据权利要求11所述的方法，其特征在于，所述融合解码部还包括n个复合C连接，每个所述复合C连接包括第一C连接和第二C连接，
第i个第一C连接的第一输入端与第一解码部中的第i+1个解码层的输出端相连，所述第i个第一C连接的第二输入端与第二解码部中的第i+1个编码层的输出端相连，所述第i个第一C连接的输出端与第i个第二C连接的第一输入端相连，所述第i个第二C连接的第二输入端与所述融合解码部中的第i个融合解码层的输出端相连，所述第i个第二C连接的输出端与所述融合解码部中的第i+1个融合解码层的输入端相连。
14.根据权利要求1至13任一所述的方法，其特征在于，所述生成器是基于生成对抗网络训练得到的，所述生成器的损失函数包括：
对抗损失；
或者，所述对抗损失和重建损失；
或者，所述对抗损失和投影损失；
或者，所述对抗损失、所述重建损失和所述投影损失；
其中，所述对抗损失用于表征所述生成器重建的所述三维模型与样本CT图像之间的语义损失，所述重建损失用于表示所述生成器重建的所述三维模型与所述样本CT图像之间的像素级差异损失，所述投影损失用于表示所述生成器重建的所述三维模型与所述样本CT图像在至少一个投影平面上的差异损失。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
获取训练数据集，所述训练数据集包括至少两份训练样本；
设置与所述生成器对应的判别器；
在第i训练阶段，固定所述生成器中的第一神经网络参数，使用所述训练数据集中的一份训练样本对判别器中的第二神经网络参数进行优化；
在第i+1训练阶段，固定所述判别器中的第二神经网络参数，使用所述训练数据集中的另一份训练样本对生成器中的第一神经网络参数进行优化；
交替执行上述两个训练阶段，直至所述第一神经网络参数和所述第二神经网络参数稳定收敛。
16.根据权利要求15所述的方法，其特征在于，所述获取训练数据集，包括：
获取至少两份真实CT图像作为所述样本CT图像；
对于所述至少两份真实CT图像中的每份真实CT图像，生成对应的第一虚拟X光片和第二虚拟X光片；
将相互对应的所述第一虚拟X光片、所述第二虚拟X光片和所述真实CT图像，确定为所述至少两份训练样本。
17.一种三维图像的合成方法，其特征在于，所述方法包括：
获取第一剖面图像和第二剖面图像，所述第一剖面图像和所述第二剖面图像是采用正交的两个剖面对目标对象进行剖切得到的图像；
获取编码器和解码器，所述编码器包括第一编码部和第二编码部，所述解码器包括第一解码部、第二解码部和融合解码部；
调用所述第一编码部对所述第一剖面图像进行二维编码，得到第一编码信息；调用所述第一解码部对所述第一编码信息进行解码，得到第一解码信息；
调用所述第二编码部对所述第二剖面图像进行二维编码，得到第二编码信息；调用所述第二解码部对所述第二编码信息进行解码，得到第二解码信息；
调用所述融合解码部将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维图像。
18.一种CT图像的生成装置，其特征在于，所述装置包括：
获取模块，用于获取第一X光片和第二X光片，所述第一X光片和所述第二X光片是采用正交的两个视角对目标对象采集的X光片；
生成模块，用于对所述第一X光片和所述第二X光片进行三维重建，得到所述目标对象的三维模型；
输出模块，根据所述目标对象的三维模型，得到所述目标对象的所述CT图像；
其中，所述生成模块包括：编码器和解码器；
所述编码器，用于对所述第一X光片和所述第二X光片分别进行编码，得到第一编码信息和第二编码信息；
所述解码器，用于对所述第一编码信息和所述第二编码信息进行三维重建解码，得到所述目标对象的三维模型；其中，所述解码器包括第一解码部、第二解码部和融合解码部，所述第一解码部用于对所述第一编码信息进行解码得到第一解码信息，所述第二解码部用于对所述第二编码信息进行解码得到第二解码信息，所述融合解码部用于将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合。
19.一种三维图像的合成装置，其特征在于，所述装置包括：
获取模块，用于获取第一剖面图像和第二剖面图像，所述第一剖面图像和所述第二剖面图像是采用正交的两个剖面对目标对象进行剖切得到的图像；
所述获取模块，还用于获取编码器和解码器，所述编码器包括第一编码部和第二编码部，所述解码器包括第一解码部、第二解码部和融合解码部；
所述第一编码部，用于对所述第一剖面图像进行二维编码，得到第一编码信息；
所述第一解码部，用于对所述第一编码信息进行解码，得到第一解码信息；
所述第二编码部，用于对所述第二剖面图像进行二维编码，得到第二编码信息；
所述第二解码部，用于对所述第二编码信息进行解码，得到第二解码信息；
所述融合解码部，用于将所述第一解码信息和所述第二解码信息作为三维空间中不同视角的数据进行三维融合，得到所述目标对象的三维图像。
20.一种计算机设备，其特征在于，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至16任一所述的CT图像的生成方法，或者，如权利要求17所述的三维图像的合成方法。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上权利要求1至16任一所述的CT图像的生成方法，或者，如权利要求17所述的三维图像的合成方法。
CN201910093446.6A 2019-01-30 2019-01-30 Ct图像的生成方法、装置、设备及存储介质 Active CN109745062B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910093446.6A CN109745062B (zh) 2019-01-30 2019-01-30 Ct图像的生成方法、装置、设备及存储介质
JP2021521978A JP7150166B2 (ja) 2019-01-30 2020-01-16 Ｃｔ画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
PCT/CN2020/072393 WO2020156195A1 (zh) 2019-01-30 2020-01-16 Ct图像的生成方法、装置、计算机设备及计算机可读存储介质
EP20749748.8A EP3919002B1 (en) 2019-01-30 2020-01-16 Ct image generation method and apparatus, computer device and computer-readable storage medium
US17/246,339 US12016717B2 (en) 2019-01-30 2021-04-30 CT image generation method and apparatus, computer device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910093446.6A CN109745062B (zh) 2019-01-30 2019-01-30 Ct图像的生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109745062A CN109745062A (zh) 2019-05-14
CN109745062B true CN109745062B (zh) 2020-01-10

Family

ID=66407182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910093446.6A Active CN109745062B (zh) 2019-01-30 2019-01-30 Ct图像的生成方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US12016717B2 (zh)
EP (1) EP3919002B1 (zh)
JP (1) JP7150166B2 (zh)
CN (1) CN109745062B (zh)
WO (1) WO2020156195A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132529B2 (en) * 2016-11-16 2021-09-28 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
CN109745062B (zh) * 2019-01-30 2020-01-10 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
CN110148084B (zh) * 2019-05-21 2023-09-19 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN112862944B (zh) * 2019-11-09 2024-04-12 无锡祥生医疗科技股份有限公司 人体组织超声建模方法、超声设备及存储介质
CN110916701A (zh) * 2019-11-28 2020-03-27 腾讯医疗健康(深圳)有限公司 图像扫描时间预测方法、装置、设备及存储介质
CN111193254B (zh) * 2019-12-06 2021-10-29 北京国电通网络技术有限公司 一种住宅日用电负荷预测方法和设备
CN111105475B (zh) * 2019-12-24 2022-11-22 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111476764B (zh) * 2020-03-27 2021-08-24 西安科技大学 一种运动模糊ct图像三维重建的方法
CN111597946B (zh) * 2020-05-11 2022-04-08 腾讯医疗健康(深圳)有限公司 图像生成器的处理方法、图像生成方法及装置
CN111950584B (zh) * 2020-06-16 2024-05-14 江西中科九峰智慧医疗科技有限公司 一种x光胸片中部位完整度的智能鉴别方法及系统
CN112001846A (zh) * 2020-08-21 2020-11-27 深圳职业技术学院 具有较高分辨率的多目标x光安检图像合成方法
CN112541566B (zh) * 2020-09-17 2023-07-04 中国石油大学(华东) 一种基于重构损失的图像翻译方法
CN112734907B (zh) * 2020-12-30 2022-07-08 华东师范大学 一种超声或ct医学影像三维重建方法
CN113538336A (zh) * 2021-06-11 2021-10-22 上海联影医疗科技股份有限公司 全心脏多期相定位图像生成方法、装置、设备和介质
CN113436177A (zh) * 2021-07-01 2021-09-24 万里云医疗信息科技（北京）有限公司 图像处理的方法、装置、电子设备及计算机可读存储介质
CN113570569B (zh) * 2021-07-26 2024-04-16 东北大学 一种基于深度学习的心脏室间隔抖动自动检测系统
CN113793422B (zh) * 2021-08-13 2024-02-23 深圳安泰创新科技股份有限公司 三维模型的显示控制方法、电子设备及可读存储介质
CN113936182A (zh) * 2021-09-03 2022-01-14 北京理工大学 一种基于深度本征分解的图像编辑方法及系统
CN113781376B (zh) * 2021-09-16 2024-02-23 浙江工业大学 一种基于分治融合的高清人脸属性编辑方法
CN114038546A (zh) * 2021-11-17 2022-02-11 四川大学华西医院 Ct设备能力的综合评价方法和系统
CN114240950B (zh) * 2021-11-23 2023-04-07 电子科技大学 一种基于深度神经网络的脑部肿瘤图像生成和分割方法
CN114581605A (zh) * 2022-02-22 2022-06-03 清华大学 工件的扫描图像生成方法、装置、设备及计算机存储介质
CN115393534B (zh) * 2022-10-31 2023-01-20 深圳市宝润科技有限公司 一种基于深度学习的锥束三维dr重建方法及系统
CN115587928A (zh) * 2022-10-31 2023-01-10 中国科学院深圳先进技术研究院 一种三维重建方法、设备及计算机存储介质
CN116385665A (zh) * 2023-06-02 2023-07-04 合肥吉麦智能装备有限公司 一种面向双模g臂x光机多视角x光图像三维重建方法
CN117540789B (zh) * 2024-01-09 2024-04-26 腾讯科技（深圳）有限公司 模型训练方法、面部表情迁移方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854270A (zh) * 2012-11-28 2014-06-11 广州医学院第一附属医院 一种ct和mr异机三维图像融合的配准方法及系统
CN106204511A (zh) * 2016-07-15 2016-12-07 西安交通大学第附属医院 一种二维图像与ct、mr图像的三维融合方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004513673A (ja) * 2000-05-09 2004-05-13 ペイエオン・インコーポレーテツド 動脈の三次元的再構成のシステムと方法
FR2856170B1 (fr) * 2003-06-10 2005-08-26 Biospace Instr Procede d'imagerie radiographique pour la reconstruction tridimensionnelle, dispositif et programme d'ordinateur pour mettre en oeuvre ce procede
JP2016159116A (ja) * 2015-03-05 2016-09-05 パナソニックＩｐマネジメント株式会社 ３次元モデル生成装置及び方法、及び、３次元モデル生成用プログラム
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
GB201710877D0 (en) * 2017-07-06 2017-08-23 Nokia Technologies Oy A method and an apparatus for evaluating generative machine learning model
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
US10709394B2 (en) * 2018-01-15 2020-07-14 Siemens Healthcare Gmbh Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs
CN108876907A (zh) * 2018-05-31 2018-11-23 大连理工大学 一种面向目标对象的主动式三维重建方法
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN109166130B (zh) 2018-08-06 2021-06-22 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN109745062B (zh) 2019-01-30 2020-01-10 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854270A (zh) * 2012-11-28 2014-06-11 广州医学院第一附属医院 一种ct和mr异机三维图像融合的配准方法及系统
CN106204511A (zh) * 2016-07-15 2016-12-07 西安交通大学第附属医院 一种二维图像与ct、mr图像的三维融合方法

Also Published As

Publication number Publication date
US12016717B2 (en) 2024-06-25
EP3919002B1 (en) 2024-03-06
CN109745062A (zh) 2019-05-14
WO2020156195A1 (zh) 2020-08-06
JP7150166B2 (ja) 2022-10-07
EP3919002A1 (en) 2021-12-08
JP2022505587A (ja) 2022-01-14
EP3919002A4 (en) 2022-03-23
US20210251590A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN109745062B (zh) Ct图像的生成方法、装置、设备及存储介质
CN111373448B (zh) 使用机器学习正则化器的图像重建
CN109410273B (zh) 根据医学成像中表面数据的定位片预测
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
Kyung et al. Perspective projection-based 3d CT reconstruction from biplanar X-rays
CN112102251B (zh) 一种分割影像的方法及装置、电子设备和存储介质
CA2854992C (en) Process and apparatus for data registration
CN115797611B (zh) 三维医学图像模态转换模型训练方法及设备
CN112037299B (zh) 一种影像重建的方法及装置、电子设备和存储介质
CN113272869A (zh) 医学成像中从定位片进行三维形状重构
CN112967379B (zh) 一种基于感知一致生成对抗网络的三维医学图像重建方法
CN115100306A (zh) 针对胰腺区域的四维锥束ct成像方法和装置
CN117745856B (zh) 基于平扫ct的cta图像生成方法及系统
CN116228903B (zh) 基于csa模块及深度学习模型的高清ct图像重建方法
US20240185417A1 (en) Systems and methods for processing mammography images
CN117745856A (zh) 基于平扫ct的cta图像生成方法及系统
CN114331921A (zh) 一种低剂量ct图像降噪方法及装置
Zhu et al. Initial Results of CT Volume Metal Artifacts Reduction based on 3D U-net
CN117911553A (zh) 基于深度可分离卷积与并行网络架构的x光重建ct方法
CN117291928A (zh) 融合扩散模型和投票机制的胰腺实性假乳头状瘤病灶分割方法
CN117333371A (zh) 基于生成对抗网络的自适应域医学图像跨模态转换方法
CN117349230A (zh) 一种ct体数据转换mri体数据的自动生成方法
Liu et al. Multiscale deep-learning network based reconstruction of PET images from sinogram domain
CN117058259A (zh) 影像重建模型训练、ct影像重建方法、装置
CN116912497A (zh) 脊柱提取模型的生成方法、脊柱清晰度的增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant