CN113963159A - 一种基于神经网络的三维医学图像分割方法 - Google Patents

一种基于神经网络的三维医学图像分割方法 Download PDF

Info

Publication number
CN113963159A
CN113963159A CN202111181770.7A CN202111181770A CN113963159A CN 113963159 A CN113963159 A CN 113963159A CN 202111181770 A CN202111181770 A CN 202111181770A CN 113963159 A CN113963159 A CN 113963159A
Authority
CN
China
Prior art keywords
dimensional
slice
image
neural network
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111181770.7A
Other languages
English (en)
Inventor
崔婧楠
何克晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111181770.7A priority Critical patent/CN113963159A/zh
Publication of CN113963159A publication Critical patent/CN113963159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于神经网络的三维医学图像分割方法，具体步骤包括获取三维医学图像，且进行图像预处理；将预处理得到的二维图像切片序列输入第一神经网络进行语义分割，抽取片内信息；以及将语义分割后得到的语义分割图输入第二神经网络中，抽取片间信息；根据片内信息与片间信息，获取不同二维图像切片中的同一类别物体的关联性，以及进行优化的语义分割；将语义分割好的二维切片图像沿同轴拼接形成三维分割图像。本发明通过获取三维医学图像初步分割为二维图像切片序列，再将U‑Net网络和LSTM网络相结合，获取片内信息和片间信息，得到关联性再分割后拼接为更优化的三维分割图像，实现对二维图像切片的准确分割，实现更好的三维图像分割。

Description

一种基于神经网络的三维医学图像分割方法
技术领域
本发明涉及图像分析处理技术领域，特别涉及一种基于神经网络的三维医学图像分割方法。
背景技术
在生物医学图像分析中，一个基本问题是三维医学图像的分割，对于三维医学图像分割的方法有很多，但在实际的各种生物医学图像分割任务上，深度学习方法在准确性方面取得了巨大成功。
对于三维医学图像分割，现有的深度学习方案可大致分为几类：(1)诸如U-Net和DCAN之类的二维全卷积网络(FCN)可以应用于每个二维图像切片，然后简单串联二维结果生成三维图像分割。(2)用三维卷积替换二维卷积，如3D-UNet，或将三维卷积与二维卷积组合成混合网络。(3)三平面方案应用三个基于正交平面(即xy，yz和xz平面)的二维卷积网络进行体素分类。(4)三维图像分割也可以通过递归神经网络(RNN)进行。
现有技术的不足之处在于，其一是将二维分片简单链接成三维图像不能利用沿z方向的空间相关性。其二是结合三维卷积可能会导致极高的计算成本，包括高内存消耗和长训练时间。
发明内容
本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于神经网络的三维医学图像分割方法，以解决上述背景技术中提出的问题。
一种基于神经网络的三维医学图像分割方法，具体步骤包括：
获取三维医学图像，且进行图像预处理；
将预处理得到的二维图像切片序列输入第一神经网络进行语义分割，抽取片内信息；以及
将语义分割后得到的语义分割图输入第二神经网络中，抽取片间信息；
根据得到的片内信息与片间信息，获取不同二维图像切片中的同一类别物体的关联性，以及对每一个二维切片图像进行优化的语义分割；
将语义分割好的二维切片图像沿同轴拼接形成三维分割图像。
作为本发明的进一步的方案：分割成二维图像切片序列的具体步骤包括：
获取三维医学图像；
再将三维医学图像沿Z轴，以1像素为分割单位进行分割，得到二维图像切片序列。
作为本发明的进一步的方案：片内信息为二维图像切片获取的分层特征，所述分层特征为二维图像切片中每个像素的类别与位置。
作为本发明的进一步的方案：片间信息为获取的二维图像切片之间的空间相关性。
作为本发明的进一步的方案：第一神经网络采用U-Net网络，所述第二神经网络采用LSTM网络。
作为本发明的进一步的方案：将第一神经网络与第二神经网络结合，分别获取二维图像切片的片内信息和片间信息，并进行信息组合，得到更优化的三维图像分割。
与现有技术相比，本发明存在以下技术效果：
通过采用上述的技术方案，利用获取的三维医学图像沿z轴进行初步分割为二维图像切片序列，再将U-Net网络和LSTM网络相结合，抽取二维图像切片的片内信息和片间信息，根据得到的空间相关性得到，切片中同一类别物体的关联性，进而进一步的优化的语义分割，得到的二维切片图像沿同轴拼接形成三维分割图像。从而实现对二维图像切片的准确分割，实现更好的三维图像分割。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1为本申请公开的一些实施例的三维医学图像分割方法的步骤示意图；
图2为本申请公开的一些实施例的三维医学图像分割方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1和图2，本发明实施例中，一种基于神经网络的三维医学图像分割方法，具体步骤包括包括：
S1、获取三维医学图像，且分割成二维图像切片序列；具体实施方式中，将三维医学图像沿Z轴，以1像素为分割单位进行分割，得到二维图像切片序列。
S2、将单位分割得到的二维图像切片序列依次通过U-Net网络进行语义分割，抽取片内信息，获取二维图像切片的分层特征，其中所述分层特征为二维图像切片中每个像素的类别与位置。以及
S3、将语义分割后得到的语义分割图依次输入LSTM网络中，抽取片间信息，获取二维图像切片之间的空间相关性；
S4、根据得到的片内信息的分层特征与片间信息的空间相关性，获取不同二维图像切片中的同一类别物体的关联性，以及对每一个二维切片图像进行优化的语义分割；具体实施方式，将U-Net网络在二维切片中获得的分层特征与LSTM网络二维图像切片之间获取的空间相关性对每一个二维切片图像进行更好的语义分割。
S5、最后将语义分割好的二维切片图像沿同轴拼接形成三维分割图像。具体实施例中，所述同轴可沿Z轴进行拼接。
在一些具体的实施例中，将第一神经网络与第二神经网络结合,即将U-Net网络与LSTM网络结合，利用U-Net网络获取二维图像切片的片内信息，利用LSTM网络获取二维图像切片的片间信息，组合片内信息和片间信息，获取更优化的三维图像分割。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于神经网络的三维医学图像分割方法，其特征在于，具体步骤包括：
获取三维医学图像，且进行图像预处理；
将预处理得到的二维图像切片序列输入第一神经网络进行语义分割，抽取片内信息；以及
将语义分割后得到的语义分割图输入第二神经网络中，抽取片间信息；
根据得到的片内信息与片间信息，获取不同二维图像切片中的同一类别物体的关联性，以及对每一个二维切片图像进行优化的语义分割；
将语义分割好的二维切片图像沿同轴拼接形成三维分割图像。
2.根据权利要求1所述一种基于神经网络的三维医学图像分割方法，其特征在于，所述分割成二维图像切片序列的具体步骤包括：
获取三维医学图像；
再将三维医学图像沿Z轴，以1像素为分割单位进行分割，得到二维图像切片序列。
3.根据权利要求1所述一种基于神经网络的三维医学图像分割方法，其特征在于，所述片内信息为二维图像切片获取的分层特征，所述分层特征为二维图像切片中每个像素的类别与位置。
4.根据权利要求1所述一种基于神经网络的三维医学图像分割方法，其特征在于，所述片间信息为获取的二维图像切片之间的空间相关性。
5.根据权利要求1所述一种基于神经网络的三维医学图像分割方法，其特征在于，所述第一神经网络采用U-Net网络，所述第二神经网络采用LSTM网络。
6.根据权利要求1或5任一项所述一种基于神经网络的三维医学图像分割方法，其特征在于，将第一神经网络与第二神经网络结合，分别获取二维图像切片的片内信息和片间信息，并进行信息组合，得到更优化的三维图像分割。
CN202111181770.7A 2021-10-11 2021-10-11 一种基于神经网络的三维医学图像分割方法 Pending CN113963159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111181770.7A CN113963159A (zh) 2021-10-11 2021-10-11 一种基于神经网络的三维医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111181770.7A CN113963159A (zh) 2021-10-11 2021-10-11 一种基于神经网络的三维医学图像分割方法

Publications (1)

Publication Number Publication Date
CN113963159A true CN113963159A (zh) 2022-01-21

Family

ID=79463772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111181770.7A Pending CN113963159A (zh) 2021-10-11 2021-10-11 一种基于神经网络的三维医学图像分割方法

Country Status (1)

Country Link
CN (1) CN113963159A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332087A (zh) * 2022-03-15 2022-04-12 杭州电子科技大学 Octa图像的三维皮层表面分割方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332087A (zh) * 2022-03-15 2022-04-12 杭州电子科技大学 Octa图像的三维皮层表面分割方法及系统

Similar Documents

Publication Publication Date Title
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
CN111027590B (zh) 一种结合深度网络特征和机器学习模型的乳腺癌数据分类方法
Zhou et al. Adaptive image enhancement for tracing 3D morphologies of neurons and brain vasculatures
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
CN112001218A (zh) 一种基于卷积神经网络的三维颗粒类别检测方法及系统
CN112347964B (zh) 一种基于图网络的行为检测方法及装置
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
CN109978888A (zh) 一种图像分割方法、装置及计算机可读存储介质
CN110942464A (zh) 一种融合2维和3维模型的pet图像分割方法
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
CN113963159A (zh) 一种基于神经网络的三维医学图像分割方法
CN112420170A (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN114332086A (zh) 基于风格迁移和人工智能的纺织品缺陷检测方法及系统
CN117333440A (zh) 输配电线路缺陷检测方法、装置、设备、介质和程序产品
Goutham et al. Brain tumor classification using EfficientNet-B0 model
Mayerich et al. Hardware accelerated segmentation of complex volumetric filament networks
Wang et al. Vision measurement of gear pitting based on DCGAN and U-Net
CN113012168B (zh) 一种基于卷积神经网络的脑胶质瘤mri图像分割方法
Han et al. Three dimensional nuclei segmentation and classification of fluorescence microscopy images
Mansour et al. Kidney segmentations using cnn models
CN113409324A (zh) 一种融合微分几何信息的脑分割方法
Sun et al. Research on point cloud hole filling and 3D reconstruction in reflective area
CN113421270B (zh) 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination