CN116958414A - 一种基于医学图像的三维重建方法和系统 - Google Patents

一种基于医学图像的三维重建方法和系统 Download PDF

Info

Publication number
CN116958414A
CN116958414A CN202310764245.0A CN202310764245A CN116958414A CN 116958414 A CN116958414 A CN 116958414A CN 202310764245 A CN202310764245 A CN 202310764245A CN 116958414 A CN116958414 A CN 116958414A
Authority
CN
China
Prior art keywords
dimensional
image data
medical image
reconstruction
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310764245.0A
Other languages
English (en)
Inventor
钟思
袁天然
高兴宇
王海舰
帅剑平
李碧青
黄观凤
吴荔萍
张敏娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202310764245.0A priority Critical patent/CN116958414A/zh
Publication of CN116958414A publication Critical patent/CN116958414A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开一种基于医学图像的三维重建方法和系统，包括以下步骤：步骤S1、获取医学影像数据；步骤S2、对所述医学影像数据进行三维视觉重建，得到立体影像数据。采用本发明技术方案，方便对患者进行术前心理建设，有效改善患者的不良心理状态，并降低心理建设的人力成本和时间成本。

Description

一种基于医学图像的三维重建方法和系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于医学图像的三维重建方法和系统。
背景技术
目前，大多医患谈话大多是面对面的谈话，由医生向患者展示CT、磁共振等影像。由于患者对于病情的认知受限于医生的解释，医生在电脑上或者拿着片子向患者展示CT、磁共振等影像，限制了患者的直观认知。
发明内容
本发明要解决的技术问题是，提供一种基于医学图像的三维重建方法和系统，使得医生在对病人解释病情的时候，可以全方位的向病人展示病变的位置、大小。
为实现上述目的，本发明采用如下的技术方案：
一种基于医学图像的三维重建方法，包括以下步骤：
步骤S1、获取医学影像数据；
步骤S2、对所述医学影像数据进行三维视觉重建，得到立体影像数据。
作为优选，所述医学影像数据包含：CT影像数据和磁共振影像数据。
作为优选，步骤S2包括：
根据医学影像数据，得到待成像重建物体的稀疏二维图像；
将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
作为优选，通过滤波反投影重建算法对各密集二维图像进行重建。
本发明还提供一种基于医学图像的三维重建系统，包括：
获取装置，用于获取医学影像数据；
重建装置，用于对所述医学影像数据进行三维视觉重建，得到立体影像数据。
作为优选，所述医学影像数据包含：CT影像数据和磁共振影像数据。
作为优选，重建装置包括：
第一处理模块，用于根据医学影像数据，得到待成像重建物体的稀疏二维图像；
第二处理模块，用于将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
重建单元，用于对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
作为优选，所述重建单元通过滤波反投影重建算法对密集二维图像进行重建。
通过本发明医生在对病人解释病情的时候，可以全方位的向病人展示病变的位置、大小，也可以同时观察不同时期拍的片子。此外，不仅可用来向病人解释病情变化，也可用于术前谈话。通过CT断层扫描，可以向患者解释病变大小、位置，以及与周围脏器、血管、神经的关系，向患者解释手术的入路及大概流程。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本发明实施例基于医学图像的三维重建方法流程图；
图2为本发明实施例基于医学图像的三维重建系统结构示意图。
具体实施方案
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
如图1所示，本发明实施例提供一种基于医学图像的三维重建方法，包括以下步骤：
步骤S1、获取医学影像数据；
步骤S2、对所述医学影像数据进行三维视觉重建，得到立体影像数据。
作为本发明实施的一种实施方式，所述医学影像数据包含：CT影像数据和磁共振影像数据。
作为本发明实施的一种实施方式，步骤S2之前包括：对医学影像数据进行预处理，包括数据清洗，消除数据原有量纲对结果的影响，得到预处理后的医学影像数据，步骤S2中，对预处理后的医学影像数据进行三维视觉重建，得到立体影像数据
其中，本发明实施例中，对医学影像数据进行预处理，包括：
从所述医学影像数据中筛除乱码数据和越位数据，得到筛选指标数据；
对所述筛选指标数据进行向量化操作，得到筛选指标向量集，为所述筛选指标向量集中的各个筛选指标向量添加时空向量，得到时空向量集；
对所述时空向量集进行特征聚类，得到聚类中心数据集；
根据所述聚类中心数据集对所述筛选指标数据中的各个空值数据进行填充，得到预处理后的医学影像数据。
作为本发明实施的一种实施方式，步骤S2包括：
根据预处理后的医学影像数据，得到待成像重建物体的稀疏二维图像；
将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
进一步，所述生成对抗网络模型包括五个扩散搜索注意力机制卷积模块；所述扩散搜索注意力机制卷积模块基于依次连接的邻域点平均扩散卷积子网络、自注意力融合网络和激活函数层构建；前四个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为LeakyReLU，第五个扩散搜索注意力机制卷积模块中激活函数层采用的激活函数为双曲正切函数；
所述邻域点平均扩散卷积子网络，配置为通过编码函数对下采样后的稀疏二维图像进行顺序编码，得到顺序编码图像；对各顺序编码图像进行区域卷积运算，获取各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息；
所述自注意力融合网络，配置为将各顺序编码图像的粒子浓度信息、角度信息和图像间的关联度信息与对应的权重矩阵相乘进行线性变换，并通过多头注意力机制进行融合，融合后进行上采样，得到密集二维图像；
所述判别模型包括五个卷积神经网络模块；所述卷积神经网络模块基于依次连接的卷积层、正则化层和激活函数层构建；前四个卷积神经网络模块的激活函数层采用的激活函数为LeakyReLU，第五个卷积神经网络模块的激活函数层采用的激活函数为softmax。
作为本发明实施的一种实施方式，通过滤波反投影重建算法对各密集二维图像进行重建。
作为本发明实施的一种实施方式，还包括：
基于立体影像数据、所述医患展示方式建立交互展现场景；
监测用户交互过程，基于用户交互反馈实时调整所述交互展示场景。
进一步，所述基于所述立体影像数据、所述医患展示方式建立交互展现场景，包括：
所述医患展示方式包括患者展示方式、医生展示方式；
患者端按照所述患者展示方式建立所述交互展示场景，医生端按照所述医生展示方式建立所述交互展示场景。
进一步，所述监测用户交互过程，基于用户交互反馈实时对所述交互展示场景调整，包括：
监测用户交互过程，包括：监测患者生命体征参数、表情变化情况；
当所述患者生命体征参数发生异常，和/或，所述表情变化情况满足调整情况，和/或，所述患者端发出调整请求信息时，对所述交互展示场景进行调整以完成病情沟通。
实施例2：
如图2所示，本发明实施例还提供一种基于医学图像的三维重建系统，包括：
获取装置，用于获取医学影像数据；
重建装置，用于对所述医学影像数据进行三维视觉重建，得到立体影像数据。
作为本发明实施例的一种实施方式，所述医学影像数据包含：CT影像数据和磁共振影像数据。
作为本发明实施例的一种实施方式，重建装置包括：
第一处理模块，用于根据医学影像数据，得到待成像重建物体的稀疏二维图像；
第二处理模块，用于将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
重建单元，用于对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
作为本发明实施例的一种实施方式，所述重建单元通过滤波反投影重建算法对密集二维图像进行重建。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于医学图像的三维重建方法，其特征在于，包括以下步骤：
步骤S1、获取医学影像数据；
步骤S2、对所述医学影像数据进行三维视觉重建，得到立体影像数据。
2.如权利要求1所述的基于医学图像的三维重建方法，其特征在于，所述医学影像数据包含：CT影像数据和磁共振影像数据。
3.如权利要求1所述的基于医学图像的三维重建方法，其特征在于，步骤S2包括：
根据医学影像数据，得到待成像重建物体的稀疏二维图像；
将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
4.如权利要求1所述的基于医学图像的三维重建方法，其特征在于，通过滤波反投影重建算法对密集二维图像进行重建。
5.一种基于医学图像的三维重建系统，其特征在于，包括：
获取装置，用于获取医学影像数据；
重建装置，用于对所述医学影像数据进行三维视觉重建，得到立体影像数据。
6.如权利要求5所述的基于医学图像的三维重建系统，其特征在于，所述医学影像数据包含：CT影像数据和磁共振影像数据。
7.如权利要求6所述的基于医学图像的三维重建系统，其特征在于，重建装置包括：
第一处理模块，用于根据医学影像数据，得到待成像重建物体的稀疏二维图像；
第二处理模块，用于将稀疏二维图像输入训练好的生成对抗网络模型中，得到密集二维图像；
重建单元，用于对密集二维图像进行重建，最终得到待成像重建物体的三维图像。
8.如权利要求7所述的基于医学图像的三维重建系统，其特征在于，所述重建单元通过滤波反投影重建算法对密集二维图像进行重建。
CN202310764245.0A 2023-06-27 2023-06-27 一种基于医学图像的三维重建方法和系统 Pending CN116958414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310764245.0A CN116958414A (zh) 2023-06-27 2023-06-27 一种基于医学图像的三维重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310764245.0A CN116958414A (zh) 2023-06-27 2023-06-27 一种基于医学图像的三维重建方法和系统

Publications (1)

Publication Number Publication Date
CN116958414A true CN116958414A (zh) 2023-10-27

Family

ID=88459498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310764245.0A Pending CN116958414A (zh) 2023-06-27 2023-06-27 一种基于医学图像的三维重建方法和系统

Country Status (1)

Country Link
CN (1) CN116958414A (zh)

Similar Documents

Publication Publication Date Title
Shen et al. Patient-specific reconstruction of volumetric computed tomography images from a single projection view via deep learning
WO2018183548A1 (en) System and method for hierarchical multi-level feature image synthesis and representation
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN111815766B (zh) 基于2d-dsa图像重建血管三维模型处理方法及系统
CN116433605A (zh) 基于云智能的医学影像分析移动增强现实系统和方法
CN111369562A (zh) 图像处理方法、装置、电子设备及存储介质
WO2023142781A1 (zh) 图像三维重建方法、装置、电子设备及存储介质
Tan et al. XctNet: Reconstruction network of volumetric images from a single X-ray image
CN113052936A (zh) 集成fdk和深度学习的单视角ct重建方法
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
WO2023207416A1 (zh) 图像补全方法、装置、设备及存储介质
Yang et al. Deep learning in medical image super resolution: a review
CN112819914A (zh) 一种pet图像处理方法
Su et al. A deep learning method for eliminating head motion artifacts in computed tomography
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Zhao et al. Medical images super resolution reconstruction based on residual network
Malekzadeh et al. Pet image denoising using unsupervised domain translation
Xia et al. Deep residual neural network based image enhancement algorithm for low dose CT images
Nishimaki et al. Loc-vae: Learning structurally localized representation from 3d brain mr images for content-based image retrieval
Lee et al. Study on Optimal Generative Network for Synthesizing Brain Tumor‐Segmented MR Images
CN116958414A (zh) 一种基于医学图像的三维重建方法和系统
Li et al. 4× Super‐resolution of unsupervised CT images based on GAN
Cui et al. 3D Point-based Multi-Modal Context Clusters GAN for Low-Dose PET Image Denoising
CN111462067B (zh) 图像分割方法及装置
CN113053496A (zh) 一种用于医学图像低剂量估计的深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination