CN113554742A - 一种三维图像的重建方法、装置、设备及存储介质 - Google Patents

一种三维图像的重建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113554742A
CN113554742A CN202010339046.1A CN202010339046A CN113554742A CN 113554742 A CN113554742 A CN 113554742A CN 202010339046 A CN202010339046 A CN 202010339046A CN 113554742 A CN113554742 A CN 113554742A
Authority
CN
China
Prior art keywords
image
dimensional
reconstructed
module
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010339046.1A
Other languages
English (en)
Other versions
CN113554742B (zh
Inventor
王旭
黄宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202010339046.1A priority Critical patent/CN113554742B/zh
Priority to PCT/CN2020/140288 priority patent/WO2021218214A1/en
Publication of CN113554742A publication Critical patent/CN113554742A/zh
Priority to US18/050,036 priority patent/US20230060131A1/en
Application granted granted Critical
Publication of CN113554742B publication Critical patent/CN113554742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例公开了一种三维图像的重建方法、装置、设备及存储介质，该方法包括：获取待重建定位像；提取所述待重建定位像中目标区域的待重建目标图像；基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。本发明实施例的技术方案，通过预先训练的网络模型，对定位像进行三维重建，提高了重建的精度。

Description

一种三维图像的重建方法、装置、设备及存储介质
技术领域
本发明实施例涉及CT图像重建技术领域，尤其涉及一种三维图像的重建方法、装置、设备及存储介质。
背景技术
现如今，CT(X射线电子计算机断层扫描技术，Computed Tomography)，由于其图像分辨率高，扫描速度快等优点，被广泛应用于医疗诊断。在获取CT定位像之后，往往需要对CT定位像进行图像重建，即根据信号的变化对人体尺寸和范围进行粗略估计，以进行剂量调制。
现有的图像重建方法，主要通过估算目标部位的宽度，通过目标部位对应的预设规则形状，如球形、椭球形等，确定该部位的三维状态。现有技术采用预设规则形状进行图像重建，重建精度低，且其使用的前提为假设目标部位密度分布大致均匀，对应密度相差较大的部位无法进行重建，应用范围受限。
发明内容
本发明提供了一种三维图像的重建方法、装置、设备及存储介质，以提高图像重建的精度、效率和适用性。
第一方面，本发明实施例提供了一种三维图像的重建方法，该方法包括：
获取待重建定位像；
提取所述待重建定位像中目标区域的待重建目标图像；
基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将相对应的下采样模块和上采样模块进行跨层连接，所述维度扩展模块包括通道重组单元和第二卷积单元，所述通道重组单元用于将下采样模块输出的各个通道的二维特征图重组为三维特征图。
第二方面，本发明实施例还提供了一种三维图像的重建装置，该装置包括：
定位图像获取模块，用于获取待重建定位像；
待重建图像提取模块，用于提取所述待重建定位像中目标区域的待重建目标图像；
图像三维重建模块，用于基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。
第三方面，本发明实施例还提供了一种三维图像的重建设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的三维图像的重建方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例提供的三维图像的重建方法。
本发明实施例的技术方案，通过对待重建定位像进行目标区域提取，减少待处理的数据量，提高了重建效率；通过预先训练的网络模型，对定位像进行三维图像重建，提高了三维重建的精度，且对定位像的成像部位未进行限定，提高了三维重建的应用范围；且该网络模型具有维度扩展模块，以跨层连接的方式连接，加快了网络训练过程同时进一步提高了重建的精度。本发明实施例所提供的三维图像的重建方法，重建适用范围广、精度高。
附图说明
图1是本发明实施例一中的一种三维图像的重建方法的流程图；
图2A是本发明实施例二中的一种三维图像的重建方法的流程图；
图2B是本发明实施例二中的一种网络模型的结构示意图；
图3是本发明实施例三中的一种三维图像的重建装置的结构示意图；
图4是本发明实施例四中的一种三维图像的重建设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种三维图像的重建方法的流程图，本实施例可适用于对CT扫描定位像的进行三维重建的情况，该方法可以由三维图像的重建装置来执行，如图1所示，该方法具体包括如下步骤：
步骤110、获取待重建定位像。
其中，待重建定位像是一种CT扫描的二维定位像，可以是正位定位像或者侧位定位像，如可以是头部、胸部或者颈部的二维定位像。
步骤120、提取所述待重建定位像中目标区域的待重建目标图像。
其中，目标区域可以是包括设定部位的区域，如眼睛、乳腺、甲状腺等。目标区域也可以是用户设定的区域。待重建目标图像指的是包括目标区域的图像。
具体的，该步骤是对待重建定位图像进行分割或者定位，以得到包括目标区域的待重建目标图像。可以是根据待重建定位像的灰度值分布以及目标区域的属性，对待重建定位像进行图像分割，以得到所述待重建目标图像。
进一步地，可以预先建立目标区域的类型与图像分割算法的对应关系，首先确定目标区域的类型，进而，根据目标区域的类型及对应关系确定图像分割算法，根据该图像分割算法提取所述待重建定位像中目标区域的待重建目标图像。
可选的，在提取待重建目标图像之后，还可以对待重建目标图像进行重采样。
步骤130、基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像。
其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块，上采样模块接收该三维特征，并输出三维重建图像。
其中，下采样模块、维度扩展模块和上采样模块的各自的数量可以是多个，如3个、5个或者其他数值。下采样模块主要包括卷积层和激活函数，以对输入的待重建目标图像进行卷积操作。上采样模块主要包括转置卷积层(反卷积层)和激活函数，用于对维度扩展模块输出的数据进行转置卷积操作，最终输出三维重建图像。激活函数可以是Sigmoid函数、Tanh函数、ReLU(Rectified Linear Unit，整流线性单元)函数、Swish函数或者其他函数。维度扩展模块与上采样模块和下采样模块的连接方式为skip connection(跨层连接)，以增加特征图的维度，同时加快收敛速度。
具体的，该网络模型具有类U-Net结构，其训练过程可以是：
由各个历史CT扫描数据库中获取训练所需的包括各个目标区域的二维样本图像，通常该二维样本图像是完整的定位像(正位或侧位)，需要对样本进行目标区域提取，即步骤120的操作，将原始的二维样本图像进行图像分割，得到包括目标区域的二维样本图像，以形成网络模型训练所需的训练集；同时，可以由人工或者预设算法得到二维样本图像对应的三维重建图像的金标准，以作为模型输出的验证集。首先，初始化网络模型的各个参数，将训练集的数据输入网络模型中进行迭代计算，通过损失函数得到损失值，通过反向传播更新网络模型中的各个参数，直至损失函数的损失值满足预设条件。通过验证集对训练后的网络模型进行验证，当误差小于设定值时，则表示网络训练成功。
其中，损失函数可以是现有的任意一种损失函数，如可以是平均绝对误差(MeanAbsolute Error，MAE)函数，也称为L1损失函数，可以是均方误差(Mean Square Error，MSE)函数，也称为L2损失函数，也可以是平均偏差误差(Mean Bias Error，MBE)函数，当然也可以选用其他损失函数或者自定义损失函数。
可选的，所述网络模型包括侧位网络模型和正位网络模型，其中，所述侧位网络模型对应的待重建定位像为侧位定位像，正位网络模型对应的待重建定位像为正位定位像。
对于不同类型的定位像，采用不同的网络模型进行三维重建，提高了重建的精度。
本发明实施例的技术方案，通过对待重建定位像进行目标区域提取，减少待处理的数据量，提高了重建效率；通过预先训练的网络模型，对定位像进行三维图像重建，提高了三维重建的精度，且对定位像的成像部位未进行限定，提高了三维重建的应用范围；且该网络模型具有维度扩展模块，以跨层连接的方式连接，加快了网络训练过程同时进一步提高了重建的精度。本发明实施例所提供的三维图像的重建方法，重建适用范围广、精度高。
实施例二
图2A为本发明实施例二提供的一种三维图像的重建方法的流程图，本实施例是对上一实施例的进一步细化和补充，本实施例所提供的三维图像的重建方法还包括：识别所述待重建定位像的类型，其中，所述待重建定位图像包括侧位定位像和正位定位像两类。
如图2A所示，该三维图像的重建方法包括如下步骤：
步骤210、获取待重建定位像；
步骤220、识别所述待重建定位像的类型，其中，所述待重建定位图像包括侧位定位像或正位定位像。
具体的，识别所述待重建定位像的类型，指的是识别所述待重建定位像为侧位定位像还是正位定位像。
可选的，所述识别所述待重建定位像的类型，包括：
基于预先训练的神经网络模型确定所述待重建定位像的类型，或，识别所述待重建定位像的轮廓信息，并根据所述轮廓信息确定所述待重建定位像的类型，或，获取所述待重建定位像的采集设备的摆位信息，并根据所述摆位信息确定所述待重建定位像的类型。
具体的，神经网络模型主要是用来进行正位或侧位二分类的网络模型，可以是VGG(Visual Geometry Group)卷积神经网络模型、ResNet分类网络或者其他二分类神经网络模型。轮廓信息指的是目标区域的外轮廓的形状和尺寸信息，如头部的轮廓信息可以是周长为20～60cm的椭圆。采集设备可以是CT成像设备，通常在进行正位定位像的采集和侧位定位像的采集时，设备的摆位信息是不同的，通过在获取该待重建定位像的同时，获取其采集设备的摆位信息，从而可以根据摆位信息确定待重建定位像是正位定位像还是侧位定位像。
步骤230、根据目标区域的属性，确定所述待重建目标图像对应的定位框的尺寸和预设识别算法。
其中，定位框是用来确定重建目标图像范围的。目标区域可以是头部、胸部、颈部等部位。目标区域的属性可以是目标区域的类型，也可以是目标区域的轮廓信息。定位框的尺寸具体可以是定位框的长度和宽度，也可以是定位框的轮廓。预设识别算法是用于识别目标区域的算法。
具体的，可以预先建立各个目标区域及其预设识别算法的对应关系，根据目标区域的类型以及对应关系确定预设识别算法。
进一步地，可以根据目标区域的灰度分布规律，确定预设识别算法的具体内容。
步骤240、基于预设识别算法确定所述待重建目标图像对应的定位框的初始位置。
示例性的，预设识别算法确定初始位置的步骤为：
从上之下遍历待重建目标图像的各个行，判断当前行各个像素对应的灰度值是否满足预设灰度条件，若是，则确定当前行为定位框的初始位置，其中，预设灰度条件为：当前行的像素的灰度值处于预设灰度阈值范围内的个数达到预设个数，其中，预设灰度阈值范围为(Tv1，Tv2)，预设灰度阈值范围具体由目标区域的灰度分布决定。以目标区域为头部为例，Tv1可以是-900、-950、-1000或者其他值，Tv2可以是-800、-850、-900或者其他值，预设个数可以是80～700之间。
步骤250、基于所述定位框的尺寸和初始位置，提取所述待重建定位像中的所述目标区域的待重建目标图像。
具体的，当确定了定位框的初始位置和尺寸之后，相当于确定了定位框的位置，从而，提取定位框所包围的区域，即为所述目标区域的待重建目标图像。
步骤260、基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像。
其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将下采样模块和上采样模块进行跨层连接，所述维度扩展模块包括通道生成单元和第二卷积单元，所述通道生成单元用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。所述下采样模块包括第一卷积单元和第一残差单元，所述上采样模块包括转置卷积单元和第二残差单元，所述第一卷积单元包括二维卷积层、批归一化层和激活层，该二维卷积层跨步为2；所述第一残差单元为二维残差模块；所述第二卷积层包括三维卷积层、批归一化层和激活层；所述转置卷积单元包括三维转置卷积层、批归一化层和激活层；所述第二残差单元为三维残差模块。
具体的，二维残差模块将输入图像或特征图x，经过两个或多个二维卷积层生成卷积层输出F(x)，该输出与模块输入图像x进行加操作，并经过一个激活层ReLU作为残差模块的输出。三维残差模块与二维残差模块的区别在于卷积层的维度不同，三维残差模块对应的卷积层为三维卷积。
示例性的，图2B是本发明实施例二提供的一种网络模型的结构示意图，如图2B所示，该网络模型包括4个下采样模块(Down)、4个维度扩展模块(Expand)和4个上采样模块(Up)，其中，In表示网络模型的输入，即上述待重建目标图像，Out表示网络模型的输出，即上述三维重建图像。其中，下采样模块(Down)由一个二维卷积层、批归一化层、ReLU激活层和二维残差模块组成，维度扩展模块(Expand)由通道重组模块、三维卷积层、批归一化层和ReLU激活层组成，上采样模块(Up)由一个三维转置卷积层、批归一化层、ReLU激活层和三维残差模块组成。
具体的，该网络模型以目标区域提取后的二维样本图像为输入，以三维图像的金标准为输出，进行网络参数训练。
可选的，所述三维重建图像的金标准的生成过程为：
获取三维样本图像以及对应的二维样本图像；确定所述二维样本图像中二维样本图像中目标区域的中心；根据所述目标区域的中心以及目标区域的尺寸，确定所述三维样本图像对应的金标准的三维中心；基于所述金标准的三维中心以及目标区域的尺寸，对所述三维样本图像进行目标区域截取，以生成所述二维样本图像的三维重建图像的金标准，以根据所述金标准对网络模型进行验证。
具体的，在确定金标准的三维中心之后，根据所述金标准的三维中心的位置，对所述三维样本图像的分割标记进行移动，以得到以所述三维中心为中心的金标准。
具体的，二维样本图像可以是CT扫描的历史定位像数据通过目标区域提取后的图像。具体的，可以根据定位框的初始位置以及目标区域的属性确定目标区域的中心。
具体的，所述目标区域的尺寸包括目标区域的重心或深度，基于投影算法生成所述二维样本图像的投影图，根据所述目标区域的中心计算所述投影图的重心，根据所述投影图的重心确定所述目标区域的深度，根据目标区域的中心和深度确定目标区域的重心。进而可以根据所述目标区域的中心和深度，确定所述维样本图像对应的金标准的三维中心。
具体的，还可以在确定目标区域的中心之后，在中心位置的轴向方向上下预设范围内计算目标区域的重心，并记录其深度方向的坐标值，从而得到目标区域的深度，并基于所述目标区域的中心、重心以及深度生成所述二维样本图像的三维图像的金标准。
进一步地，在得到三维图像的金标准之后，还可以对三维图像的金标准进行重采样。
可选的，该三维图像的重建方法，还包括：
根据判别模型判断所述三维重建图像是否合格；若是，则输出所述三维重建图像。
具体的，以上述生成的网络模型为生成器，并构建该生成器对应的判别器(判别器又称为判别模型)，从而形成生成对抗网络，以提高输出的质量，即提高三维重建的精度。
可选的，该判别模型可以是3D PatchGAN判别器，其中，3D PatchGAN判别器又称为马尔科夫判别器。
本发明实施例的技术方案，通过自动识别定位像的类型，并根据不同的类型设置相应的网络模型进行三维重建，提高了三维重建的精准度；基于重心定位方法确定用于网络验证的金标准，实现了金标准与输入的定位像的对齐，提高了网络验证的准确度；同时，该网络模型引入的批归一化层和残差层，提高了网络的深度和收敛速度，进而提高了三维重建的效率；同时，引入生成对抗网络，以网络模型为生成器，同时建立对应的判别器对输出的三维重建图像进行判别，进一步提高了输出的三维重建图像的质量和精度。
实施例三
图3是本发明实施例三提供的一种三维图像的重建装置的结构示意图，如图3所示，该装置包括：定位图像获取模块310、待重建图像提取模块320和图像三维重建模块330。
其中，定位图像获取模块310，用于获取待重建定位像；待重建图像提取模块320，用于提取所述待重建定位像中目标区域的待重建目标图像；图像三维重建模块330，用于基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。
本发明实施例的技术方案，通过对待重建定位像进行目标区域提取，减少待处理的数据量，提高了重建效率；通过预先训练的网络模型，对定位像进行三维图像重建，提高了三维重建的精度，且对定位像的成像部位未进行限定，提高了三维重建的应用范围；且该网络模型具有维度扩展模块，以跨层连接的方式连接，加快了网络训练过程同时进一步提高了重建的精度。本发明实施例所提供的三维图像的重建方法，重建适用范围广、精度高。
可选的，所述网络模型包括侧位网络模型和正位网络模型，其中，所述侧位网络模型对应的待重建定位像为侧位定位像，正位网络模型对应的待重建定位像为正位定位像。
可选的，该三维图像的重建装置，还包括：
类型识别模块，用于识别所述待重建定位像的类型。
其中，所述待重建定位图像包括侧位定位像和正位定位像两类。
可选的，所述类型识别模块，具体用于：
基于预先训练的神经网络模型确定所述待重建定位像的类型，或，识别所述待重建定位像的轮廓信息，并根据所述轮廓信息确定所述待重建定位像的类型，或，获取所述待重建定位像的采集设备的摆位信息，并根据所述摆位信息确定所述待重建定位像的类型。
可选的，所述三维重建图像的金标准的生成过程为：
获取三维样本图像以及对应的二维样本图像；确定所述二维样本图像中目标区域的中心；根据所述二维样本图像中目标区域的中心以及目标区域的尺寸，确定所述二维样本图像对应的金标准的三维中心；基于所述金标准的三维中心对所述三维样本图像进行目标区域截取，以生成所述二维样本图像的三维重建图像的金标准，以根据所述金标准对网络模型进行验证。
可选的，待重建图像提取模块320，具体用于：
根据目标区域的属性，确定所述待重建目标图像对应的定位框的尺寸和预设识别算法；基于预设识别算法确定所述待重建目标图像对应的定位框的初始位置；基于所述定位框的尺寸和初始位置，提取所述待重建定位像中的所述目标区域的待重建目标图像。
可选的，所述下采样模块包括第一卷积单元和第一残差单元，所述上采样模块包括转置卷积单元和第二残差单元，所述第一卷积单元包括二维卷积层、批归一化层和激活层；所述第一残差单元为二维残差模块；所述转置卷积单元包括三维转置卷积层、批归一化层和激活层；所述第二残差单元为三维残差模块。
可选的，该三维图像的重建装置，还包括：
输出判别模块，用于根据判别模型判断所述三维重建图像是否合格；若是，则输出所述三维重建图像。
本发明实施例所提供的三维图像的重建装置可执行本发明任意实施例所提供的三维图像的重建方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种三维图像的重建设备的结构示意图，如图4所示，该设备包括处理器410、存储器420、输入装置430和输出装置440；设备处理器410的数量可以是一个或多个，图4中以一个处理器410为例；设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维图像的重建方法对应的程序指令/模块(例如，三维图像的重建装置中的定位图像获取模块310、待重建图像提取模块320和图像三维重建模块330)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的三维图像的重建方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维图像的重建方法，该方法包括：
获取待重建定位像；
提取所述待重建定位像中目标区域的待重建目标图像；
基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维图像的重建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述三维图像的重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种三维图像的重建方法，其特征在于，包括：
获取待重建定位像；
提取所述待重建定位像中目标区域的待重建目标图像；
基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。
2.根据权利要求1所述的方法，其特征在于，所述网络模型包括侧位网络模型和正位网络模型，其中，所述侧位网络模型对应的待重建定位像为侧位定位像，正位网络模型对应的待重建定位像为正位定位像。
3.根据权利要求1所述的方法，其特征在于，在获取待重建定位像之后，还包括：
识别所述待重建定位像的类型，其中，所述待重建定位图像包括侧位定位像或正位定位像。
4.根据权利要求3所述的方法，其特征在于，所述识别所述待重建定位像的类型，包括：
基于预先训练的神经网络模型确定所述待重建定位像的类型，或，
识别所述待重建定位像的轮廓信息，并根据所述轮廓信息确定所述待重建定位像的类型，或，
获取所述待重建定位像的采集设备的摆位信息，并根据所述摆位信息确定所述待重建定位像的类型。
5.根据权利要求1所述的方法，其特征在于，所述三维重建图像的金标准的生成过程为：
获取三维样本图像以及对应的二维样本图像；
确定所述二维样本图像中目标区域的中心；
根据所述二维样本图像中目标区域的中心以及目标区域的尺寸，确定所述二维样本图像对应的金标准的三维中心；
基于所述金标准的三维中心对所述三维样本图像进行目标区域截取，以生成所述二维样本图像的三维重建图像的金标准。
6.根据权利要求1所述的方法，其特征在于，所述提取所述待重建定位像中目标区域的待重建目标图像，包括：
根据目标区域的属性，确定所述待重建目标图像对应的定位框的尺寸和预设识别算法；
基于所述预设识别算法确定所述待重建目标图像对应的定位框的初始位置；
基于所述定位框的尺寸和初始位置，提取所述待重建定位像中的所述目标区域的待重建目标图像。
7.根据权利要求1所述的方法，其特征在于，所述下采样模块包括第一卷积单元和第一残差单元，所述上采样模块包括转置卷积单元和第二残差单元。
8.根据权利要求7所述的方法，其特征在于，所述第一卷积单元包括二维卷积层、批归一化层和激活层；所述第一残差单元为二维残差模块；所述转置卷积单元包括三维转置卷积层、批归一化层和激活层；所述第二残差单元为三维残差模块。
9.根据权利要求1所述的方法，其特征在于，还包括：
根据判别模型判断所述三维重建图像是否合格；
若是，则输出所述三维重建图像。
10.一种三维图像的重建装置，其特征在于，包括：
定位图像获取模块，用于获取待重建定位像；
待重建图像提取模块，用于提取所述待重建定位像中目标区域的待重建目标图像；
图像三维重建模块，用于基于预先训练的网络模型，生成所述待重建目标图像的三维重建图像，其中，所述网络模型包括下采样模块、维度扩展模块和上采样模块，所述维度扩展模块将所述下采样模块和上采样模块进行跨层连接，所述维度扩展模块用于将下采样模块输出的各个通道的二维特征图重组为三维特征图，并将所述三维特征图发送至所述上采样模块。
11.一种三维图像的重建设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的三维图像的重建方法。
12.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一项所述的三维图像的重建方法。
CN202010339046.1A 2020-04-26 2020-04-26 一种三维图像的重建方法、装置、设备及存储介质 Active CN113554742B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010339046.1A CN113554742B (zh) 2020-04-26 2020-04-26 一种三维图像的重建方法、装置、设备及存储介质
PCT/CN2020/140288 WO2021218214A1 (en) 2020-04-26 2020-12-28 Systems and methods for generating three-dimensional images
US18/050,036 US20230060131A1 (en) 2020-04-26 2022-10-26 Systems and methods for generating three-dimensional images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010339046.1A CN113554742B (zh) 2020-04-26 2020-04-26 一种三维图像的重建方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113554742A true CN113554742A (zh) 2021-10-26
CN113554742B CN113554742B (zh) 2024-02-02

Family

ID=78101537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010339046.1A Active CN113554742B (zh) 2020-04-26 2020-04-26 一种三维图像的重建方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20230060131A1 (zh)
CN (1) CN113554742B (zh)
WO (1) WO2021218214A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN117274418A (zh) * 2023-10-08 2023-12-22 北京长木谷医疗科技股份有限公司 基于正侧位x线图像的ct图像生成方法、装置及设备
CN118229913A (zh) * 2024-03-29 2024-06-21 北京大希科技有限公司 基于特征描述符的室内三维重建方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation
CN115170749B (zh) * 2022-06-01 2023-09-22 山东翰林科技有限公司 基于Cesium的WEBGIS三维可视化构建方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301496B1 (en) * 1998-07-24 2001-10-09 Biosense, Inc. Vector mapping of three-dimensionally reconstructed intrabody organs and method of display
CN105374023A (zh) * 2015-08-25 2016-03-02 上海联影医疗科技有限公司 一种分割目标区域方法，及其图像重建方法和装置
US20160163101A1 (en) * 2014-12-04 2016-06-09 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing skeletal image
CN106504253A (zh) * 2016-10-14 2017-03-15 国政通科技股份有限公司 一种医疗影像照片的处理方法及系统
CN110338830A (zh) * 2019-07-30 2019-10-18 赛诺威盛科技（北京）有限公司 自动提取cta影像中头颈血管中心路径的方法
CN110660123A (zh) * 2018-06-29 2020-01-07 清华大学 基于神经网络的三维ct图像重建方法和设备以及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474161B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
CN109492755B (zh) * 2018-11-07 2022-03-01 北京旷视科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN109584164B (zh) * 2018-12-18 2023-05-26 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN109816037B (zh) * 2019-01-31 2021-05-25 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109815964A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301496B1 (en) * 1998-07-24 2001-10-09 Biosense, Inc. Vector mapping of three-dimensionally reconstructed intrabody organs and method of display
US20160163101A1 (en) * 2014-12-04 2016-06-09 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing skeletal image
CN105374023A (zh) * 2015-08-25 2016-03-02 上海联影医疗科技有限公司 一种分割目标区域方法，及其图像重建方法和装置
CN106504253A (zh) * 2016-10-14 2017-03-15 国政通科技股份有限公司 一种医疗影像照片的处理方法及系统
CN110660123A (zh) * 2018-06-29 2020-01-07 清华大学 基于神经网络的三维ct图像重建方法和设备以及存储介质
CN110338830A (zh) * 2019-07-30 2019-10-18 赛诺威盛科技（北京）有限公司 自动提取cta影像中头颈血管中心路径的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAILAN KUANG ET AL.: "3D Face Reconstruction With Texture Details From a Single Image Based On Gan", 《2019 11TH INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION (ICMTMA)》 *
LIYUE SHEN ET AL.: "Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning", 《NATURE BIOMEDICAL ENGINEERING》 *
LIYUE SHEN ET AL.: "Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning", NATURE BIOMEDICAL ENGINEERING *
V. V. KNIAZ ET AL.: "GENERATIVE ADVERSARIAL NETWORKS FOR SINGLE PHOTO 3D RECONSTRUCTION", THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES *
徐宏伟等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 《计算机应用研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质
CN116797726A (zh) * 2023-05-20 2023-09-22 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116797726B (zh) * 2023-05-20 2024-05-07 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN117274418A (zh) * 2023-10-08 2023-12-22 北京长木谷医疗科技股份有限公司 基于正侧位x线图像的ct图像生成方法、装置及设备
CN117274418B (zh) * 2023-10-08 2024-04-02 北京长木谷医疗科技股份有限公司 基于正侧位x线图像的ct图像生成方法、装置及设备
CN118229913A (zh) * 2024-03-29 2024-06-21 北京大希科技有限公司 基于特征描述符的室内三维重建方法

Also Published As

Publication number Publication date
US20230060131A1 (en) 2023-03-02
CN113554742B (zh) 2024-02-02
WO2021218214A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN113554742B (zh) 一种三维图像的重建方法、装置、设备及存储介质
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
JP7446457B2 (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
US11024027B2 (en) Manipulable object synthesis in 3D medical images with structured image decomposition
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
CN112907569B (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
CN113936090A (zh) 三维人体重建的方法、装置、电子设备及存储介质
CN112613460B (zh) 人脸生成模型的建立方法和人脸生成方法
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
CN113705358B (zh) 一种基于特征映射的多角度侧脸正面化方法
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
Li et al. Silhouette-assisted 3d object instance reconstruction from a cluttered scene
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN116993926B (zh) 单视图人体三维重建方法
CN116563303B (zh) 一种场景可泛化的交互式辐射场分割方法
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant