CN111932513A - 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统 - Google Patents

一种超声图像中胎儿脑沟回三维立体图像成像方法和系统 Download PDF

Info

Publication number
CN111932513A
CN111932513A CN202010790445.XA CN202010790445A CN111932513A CN 111932513 A CN111932513 A CN 111932513A CN 202010790445 A CN202010790445 A CN 202010790445A CN 111932513 A CN111932513 A CN 111932513A
Authority
CN
China
Prior art keywords
layer
size
dimensional
fetal
sulcus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790445.XA
Other languages
English (en)
Other versions
CN111932513B (zh
Inventor
李胜利
文华轩
张梦雨
郑美玉
温昕
谭莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Maternity And Child Healthcare Hospital
Original Assignee
Shenzhen Maternity And Child Healthcare Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Maternity And Child Healthcare Hospital filed Critical Shenzhen Maternity And Child Healthcare Hospital
Priority to CN202010790445.XA priority Critical patent/CN111932513B/zh
Publication of CN111932513A publication Critical patent/CN111932513A/zh
Application granted granted Critical
Publication of CN111932513B publication Critical patent/CN111932513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声图像中胎儿脑沟回三维立体图像成像方法，旨在通过胎儿颅脑三维容积数据，采用人工智能的方法，快速、直观地评估胎儿脑沟回的发育情况，该方法包括以下步骤：获取大量胎儿颅脑三维超声容积数据；输入容积数据到智能成像处理系统并经人工标注出脑沟回，得到胎儿颅脑三维脑沟回容积图像数据；将胎儿颅脑三维脑沟回容积图像数据输入到训练好的3D FCN网络中，得到胎儿颅脑三维脑沟回容积图像的体素；使用胎儿颅脑三维脑沟回容积图像的体素，自动重建出胎儿颅脑脑沟回三维立体图像并输出。本发明能够解决现有临床医生不会重建胎儿脑沟回三维立体图像，重建步骤复杂、重建个体差异大、缺乏客观分析依据、结果重复性差等技术问题。

Description

一种超声图像中胎儿脑沟回三维立体图像成像方法和系统
技术领域
本发明属于产前超声检查技术领域，更具体地，涉及一种在超声图像中对胎儿头部容积自动重建出胎儿颅脑脑沟回三维数据并对该数据进行自动分析的方法和系统。
背景技术
胎儿颅内结构异常是最常见的先天畸形之一，其发生率为1％-3％，不同程度的影响母体内胎儿及其出生后的神经功能。因此检测孕期胎儿颅脑发育状态具有重要的临床意义。目前，产前超声主要对胎儿颅脑的解剖结构进行评估和测量，可诊断出多种重要颅脑结构畸形，如无脑畸形、露脑畸形、全前脑、脑积水、小头、胼胝发育异常等多种明显的颅脑结构异常，但对于除脑裂以外的神经元迁移异常还缺乏有效诊断方法。
目前国内外仅有少数医疗机构在研究胎儿神经元迁移异常的产前超声诊断，因不易重建出脑沟回三维结构，其诊断指标较少基于三维容积超声，且没有统一诊断标准，这类异常的产前超声诊断存在较高的假阳性率和假阴性率。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种超声图像中胎儿脑沟回三维立体图像成像方法和系统，其目的在于，通过获取大量胎儿颅脑三维超声容积图像，用获取的数据集经过智能图像处理和人工标注后训练全卷积网络，将新的胎儿颅脑三维超声影像输入到训练好的全卷积网络中，以计算出每个三维超声影像中的体素并自动生成胎儿颅脑脑沟回三维立体图像，解决现有三维观测胎儿颅脑脑沟回中存在的图像清晰度和准确性较差的技术问题，以及超声医师较大工作量导致影响脑沟回表面准确观测的技术问题，以及由于不同水平的超声医生使用该检测方法会得到不同的诊断结果所导致的检测结果不一致的问题。
为实现上述目的，按照本发明的一个方面，提供了一种超声图像中胎儿脑沟回三维立体图像成像方法，包括以下步骤：
步骤S1，获取原始数据集，其包括多张胎儿颅脑三维超声容积图像；
步骤S2，将原始数据集的胎儿颅脑三维超声容积图像输入到智能成像处理系统中进行自动处理并人工标注，得到胎儿颅脑三维脑沟回容积图像；
步骤S3，将得到的胎儿颅脑三维脑沟回容积图像输入到训练好的3DFCN网络中，得到胎儿颅脑三维脑沟回容积图像的体素；
步骤S4，使用得到的胎儿颅脑三维脑沟回容积图像的体素，自动重建出胎儿颅脑脑沟回三维立体图像并输出。
优选地，在步骤S2中，所述智能成像处理系统对原始数据集的胎儿颅脑三维超声容积图像进行自动处理包括：
对胎儿颅脑三维超声容积图像进行三维表面成像，获得表面成像数据；
对胎儿颅脑三维超声容积图像进行三维反转成像，只留下脑沟回结构，获得反转成像数据；
将表面成像数据和反转成像数据叠加并进行降噪处理；
输出处理后的超声图像。
优选地，所述智能成像处理系统包括：
表面成像模型层，用于对超声图像进行三维表面成像，获得表面成像数据；
反转成像模型层，用于对超声图像进行三维反转成像，只留下脑沟回结构，获得反转成像数据；
成像叠加模型层，用于对表面成像数据和反转成像数据叠加并进行降噪处理；
成像输出层，用于输出经表面成像、反转成像、叠加、降噪处理后的超声图像。
优选地，3D FCN网络是通过如下步骤训练得到的：
A、获取数据集，包括从三维超声设备获取的胎儿颅脑三维超声容积图像、智能成像处理系统处理过的颅脑三维超声容积图像数据以及超声医师为每个胎儿颅脑三维超声容积图像手工标注的胎儿颅脑三维脑沟回容积图像；
B、对步骤A获取的数据集进行去噪处理，以得到预处理后的数据集，将预处理后的数据集随机划分为训练集、验证集、以及测试集；
C、将步骤B预处理后的数据集中的训练集输入到3D FCN网络中，以获得胎儿头部容积数据的推理输出，将该推理输出输入到3D FCN网络中的损失函数中，以获取损失值；
D、根据随机梯度下降算法并使用步骤C得到的损失值对3D FCN网络中的损失函数进行优化，以更新3D FCN网络；
E、针对步骤B得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤C和步骤D，直到3D FCN网络收敛到最佳为止，从而得到训练好的3D FCN网络；
F、使用步骤B中得到的数据集中的验证集对训练好的3D FCN网络进行验证；
G、使用步骤B中得到的数据集中的测试集对训练好的3D FCN网络进行测试。
优选地，损失函数是：L(x,y)＝(x-y)2，其中x是超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的胎儿脑沟回表面参数，其具体等于超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的体素与单位体素的体积之间的乘积，y是胎儿脑沟回表面参数的推理输出。
优选地，3D FCN网络的网络结构如下：
第一层为输入层，其输入为128*128*128*1像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第三层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为64*64*64*72；
第四层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第五层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为32*32*32*144；
第六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第七层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第八层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为16*16*16*288，记为pooling3；
第九层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十一层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为32*32*32*288的矩阵；
第十二层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十三层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十四层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为64*64*64*144的矩阵；
第十五层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十七层为反卷积层，其反卷积核尺寸为4*4*4，反卷积核个数为32，该层使用2倍上采样操作，输出大小为128*128*128*32的矩阵；
第十八层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为128*128*128*72的矩阵；
第十九层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十一层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*1的矩阵。
按照本发明的另一方面，提供了一种超声图像中胎儿颅脑脑沟回的自动检测系统，包括：
采集模块，用于获取数据集；
预处理模块，用于通过智能成像处理系统对采集模块获取的数据集进行自动处理并人工标注出脑沟回，以得到胎儿颅脑三维脑沟回容积图像；
分析处理模块，用于将胎儿颅脑三维脑沟回容积图像集输入到训练好的3D FCN网络中，以得到胎儿颅脑三维脑沟回容积图像的体素；
图像生成模块，用于使用分析处理模块得到的胎儿胎儿颅脑三维脑沟回容积图像的体素自动生成胎儿颅脑脑沟回三维立体图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明使用的是三维图像成像方法，可以提供任意层面的独立影像，消除前后重叠组织对影像的影响，因此能够解决现有胎儿颅脑影像获取中存在的图像的清晰度和准确性不高的技术问题；
(2)由于本发明是通过深度学习智能化、自动化从而自动生成胎儿颅脑脑沟回三维立体图像，该方法能够降低对医生的技术要求和工作量，因此能够解决现有对胎儿头部脑沟回表面观测中对医生专业水平要求高，导致其难以广泛应用的技术问题；
(3)由于本发明采用的胎儿颅脑容积数据集均由专业的超声医师所筛选，训练所使用的数据对容积的评估有唯一确定的标准，因此能够解决现有胎儿头部脑沟回表面观测中不同医生的评估结果之间的差异造成的检测结果不一致的技术问题。
附图说明
图1是本发明超声图像中胎儿脑沟回三维立体图像成像方法的流程图；
图2(a)是胎儿颅脑三维超声容积图像；
图2(b)是超声医师手工标注的胎儿颅脑三维脑沟回容积图像；
图2(c)是自动生成的胎儿颅脑脑沟回三维成像；
图3为本发明超声图像中胎儿脑沟回三维立体图像成像系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的目的在于提供一种超声图像中胎儿脑沟回三维立体图像成像方法，通过深度学习大量的早孕期正常和异常的胎儿颅脑三维超声容积影像数据，实现自动生成胎儿颅脑脑沟回的三维图像，以更直观和客观地评估胎儿脑的发育情况。
本发明的基本思路在于，通过基于三维容积超声获取的胎儿头部容积数据，然后通过人工智能超声对该数据进行分析，自动生成胎儿颅脑脑沟回的三维成像。这样，就能够准确、直观地观测胎儿头部脑沟回表面情况，并克服现有三维胎儿头部脑沟回表面观测情况中当胎头受压变形时出现测量假阳性或假阴性结果的技术缺陷。
如图1所示，本发明提供了一种超声图像中胎儿大脑表面三维成像技术，包括以下步骤：
步骤S1，获取原始数据集；
具体而言，数据集包括从市场上主流厂商(包括迈瑞、开立、西门子等)制造的三维超声设备获取的多张胎儿颅脑三维超声容积图像(如图2(a)所示)。
步骤S2，将原始数据集的胎儿颅脑三维超声容积图像输入到智能成像处理系统中进行自动处理并人工标注、再进行降噪处理，得到预处理后的胎儿颅脑三维脑沟回容积图像(如图2(b)所示)，目的在于将脑沟回结构与其他颅内背景结构分开；
具体而言，本发明中的智能成像处理系统的结构如下：
表面成像模型层，用于对超声图像进行三维表面成像，获得表面成像数据。
反转成像模型层，用于对超声图像进行三维反转成像，只留下脑沟回结构，获得反转成像数据。
成像叠加模型层，用于对表面成像数据和反转成像数据叠加并进行降噪处理。
成像输出层，用于输出经表面成像、反转成像、叠加、降噪处理后的超声图像。
步骤S3，将得到的胎儿颅脑三维脑沟回容积图像输入到训练好的三维全卷积网络(Three-dimentional fully Convolutional Network，简称3D FCN网络)中，得到胎儿颅脑三维脑沟回容积图像的体素(如图2(b)所示)，目的在于将胎儿脑沟回结构的体素单独提取，为重建胎儿颅脑脑沟回三维立体图像做准备；
步骤S4，使用得到的胎儿颅脑三维脑沟回容积图像的体素，自动重建出胎儿颅脑脑沟回三维立体图像并输出(如图2(c)所示)。
具体而言，本发明中的3D FCN(Three-dimentional fully ConvolutionalNetwork，简称3D FCN网络)网络是通过如下步骤训练得到的：
A、获取原始数据集，其包括从市场上主流厂商(包括迈瑞、开立、西门子等)制造的三维超声设备获取的胎儿颅脑三维超声容积图像；
B、对步骤A获取的原始数据集进行智能成像处理系统自动处理、超声医师为每个胎儿颅脑三维超声容积图像手工标注，再进行去噪处理后得到预处理后的胎儿颅脑三维脑沟回容积图像并计算出体素，将预处理后的数据集随机划分为训练集、验证集、以及测试集；
具体而言，预处理后的数据集被随机划分为3部分，其中70％作为训练集(Trainset)，20％作为验证集(Validation set)，10％作为测试集(Testset)。在本示例中，一共有200个数据集，其训练集包括80个数据集，其验证集包括80个数据集，其测试集包括40个数据集；
对于本发明中使用的3D FCN网络而言，其网络结构如下：
第一层为输入层，其输入为128*128*128*1像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵，其中SAME模式是指执行卷积时保持卷积前后特征图大小不变的模式。
第三层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为64*64*64*72；
第四层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第五层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为32*32*32*144；
第六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第七层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第八层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为16*16*16*288，记为pooling3；
第九层卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十一层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小32*32*32*288的矩阵；
第十二层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十三层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十四层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为64*64*64*144的矩阵；
第十五层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十七层为反卷积层，其反卷积核尺寸为4*4*4，反卷积核个数为32，该层使用2倍上采样操作，输出大小为128*128*128*32的矩阵；
第十八层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为128*128*128*72的矩阵；
第十九层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十一层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*1的矩阵。
C、将步骤B预处理后的数据集中的训练集(在本示例中是80个数据集)输入到3DFCN网络中，以获得胎儿脑沟回表面参数的推理输出，将该推理输出输入到3D FCN网络中的损失函数中，以获取损失值；
具体而言，损失函数是：L(x,y)＝(x-y)2，其中x是超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的胎儿脑沟回表面参数，其具体等于超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的体素与单位体素的体积之间的乘积，y是胎儿脑沟回表面参数的推理输出。
D根据随机梯度下降(Stochastic Gradient Descent，简称SGD)算法并使用步骤C得到的损失值对3D FCN网络中的损失函数进行优化，以更新3D FCN网络；
E、针对步骤B得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤C和步骤D，直到3D FCN网络收敛到最佳为止，从而得到训练好的3D FCN网络；
F、使用步骤B中得到的数据集中的验证集(在本示例中是80个数据集)对训练好的3D FCN网络进行验证；
G、使用步骤B中得到的数据集中的测试集(在本示例中是40个数据集)对训练好的3D FCN网络进行测试。
请参阅图3，是本发明胎儿颅脑脑沟回三维立体图像成像系统。所述胎儿颅脑脑沟回三维立体图像成像系统包括采集模块10、预处理模块20、分析处理模块30和图像生成模块40。
所述采集模块10用于获取原始数据集，例如，可通过市场上主流厂商(包括迈瑞、开立、西门子等)制造的三维超声设备获取的胎儿颅脑三维超声容积图像。
取其中200个原始数据集为例，三维超声采用静态模式，采集时间7.5～15.0s，采集角度为20°～40°，取样框应尽量包括外侧裂(laterals ulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation of septumpellucidum，简称CSP)、第三脑室(Thirdventricle，简称TV)、脑中线(Brain middle，简称BM)以及颅骨(Skull，简称S)，外侧裂(laterals ulcus，简称LS)在扫查过程中无声影遮挡，采集条件设置为BRAIN，扫描容积角度为80°，使用高等质量模式(extreme quality mode)，启动容积功能，在胎儿安静状态下开始超声三维扫描，一般获取1～3个容积图像。
所述预处理模块20接收来自所述采集模块10所采集的原始数据集，并依次经过智能成像处理系统自动处理、超声医师为每个胎儿颅脑三维超声容积图像手工标注出脑沟回、去噪处理后，得到胎儿颅脑三维脑沟回容积图像，将胎儿脑沟回结构和其他颅内背景结构分开显示。
取其中200个原始数据集为例，当对该原始数据集进行预处理时，所述滤波去噪处理是指使用中值滤波方法对经过智能成像处理系统自动处理、超声医师手工标注的胎儿颅脑三维脑沟回容积图像数据集进行去噪以得到去噪后的胎儿颅脑三维脑沟回容积图像。针对来自所述采集模块10所采集的所有胎儿颅脑三维原始超声容积数据集分别进行预处理后，所述多个预处理后的三维超声容积图像组成预处理后的三维超声容积图像数据集。
所述分析处理模块30接收来自所述预处理模块20预处理后的胎儿颅脑三维脑沟回容积图像，并通过深度学习网络3D FCN模型对预处理后的胎儿颅脑三维脑沟回容积图像进行处理，以输出胎儿颅脑三维脑沟回容积图像的体素。
在本实施方式中，所述分析处理模块30内设置训练成熟的深度学习网络3D FCN模型，所述分析处理模块30接收预处理后的三维胎儿超声数据，所述深度学习网络3D FCN模型对该数据进行深度学习处理后，将所述分析处理后的三维胎儿超声数据输出胎儿颅脑三维脑沟回容积图像的体素，目的在于单独提取胎儿脑沟回结构的体素。
其中所述深度学习网络3D FCN模型的网络结构如下：
第一层为输入层，其输入为128*128*128*1像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵，其中SAME模式是指执行卷积时保持卷积前后特征图大小不变的模式。
第三层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为64*64*64*72；
第四层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第五层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为32*32*32*144；
第六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第七层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第八层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为16*16*16*288，记为pooling3；
第九层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十一层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为32*32*32*288的矩阵；
第十二层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十三层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十四层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为64*64*64*144的矩阵；
第十五层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十七层为反卷积层，其反卷积核尺寸为4*4*4，反卷积核个数为32，该层使用2倍上采样操作，输出大小为128*128*128*32的矩阵；
第十八层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为128*128*128*72的矩阵；
第十九层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十一层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*1的矩阵。
所述图像生成模块40接收来自所述分析处理模块30的体素结果，并依据该体素结果自动重建出胎儿颅脑脑沟回三维立体图像。
具体而言，所述图像生成模块40接收的所述分析处理模块30的体素结果，即胎儿颅脑脑沟回体素结果，依据此结果胎儿颅脑脑沟回体素按照脑沟回结构位置关系自动重建后，得到胎儿颅脑脑沟回三维立体图像。
测试结果验证
将测试集中的胎儿颅脑三维超声影像(在本示例中是80个数据集)输入到训练好的3D FCN网络中，3D FCN网络可以自动生成胎儿颅脑脑沟回三维立体图像。
本发明使用均方误差(Mean square error，简称MSE)来衡量胎儿颅脑超声图像的相似度。
具体而言，均方误差的计算公式是：
Figure BDA0002623577950000141
其中n是数据集中的样本个数、yi是胎儿脑沟回表面参数的实际值、
Figure BDA0002623577950000142
是胎儿脑沟回表面参数的推理输出。训练好的模型在新的测试集上的脑沟回表面参数检测率、脑沟回表面参数误检率如下表1所示。
表1
Figure BDA0002623577950000143
从表1可以看出，本发明方法的脑沟回表面参数检测率很高，且均方误差(MSE)和误检率很低。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明使用的是三维图像成像方法，可以提供任意层面的独立影像，消除前后重叠组织对影像的影响，因此能够解决现有胎儿颅脑影像获取中存在的图像的清晰度和准确性不高的技术问题；
(2)由于本发明是通过深度学习智能化、自动化从而自动生成胎儿颅脑脑沟回三维立体图像，该方法能够降低对医生的技术要求和工作量，因此能够解决现有对胎儿头部脑沟回表面观测中对医生专业水平要求高，导致其难以广泛应用的技术问题；
(3)由于本发明采用的胎儿颅脑容积数据集均由专业的超声医师所筛选，训练所使用的数据对容积的评估有唯一确定的标准，因此能够解决现有胎儿头部脑沟回表面观测中不同医生的评估结果之间的差异造成的检测结果不一致的技术问题。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，包括以下步骤：
步骤S1，获取原始数据集，其包括多张胎儿颅脑三维超声容积图像；
步骤S2，将原始数据集的胎儿颅脑三维超声容积图像输入到智能成像处理系统中进行自动处理并人工标注，得到胎儿颅脑三维脑沟回容积图像；
步骤S3，将得到的胎儿颅脑三维脑沟回容积图像输入到训练好的3D FCN网络中，得到胎儿颅脑三维脑沟回容积图像的体素；
步骤S4，使用得到的胎儿颅脑三维脑沟回容积图像的体素，自动重建出胎儿颅脑脑沟回三维立体图像并输出。
2.根据权利要求1所述的超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，在步骤S2中，所述智能成像处理系统对原始数据集的胎儿颅脑三维超声容积图像进行自动处理包括：
对胎儿颅脑三维超声容积图像进行三维表面成像，获得表面成像数据；
对胎儿颅脑三维超声容积图像进行三维反转成像，只留下脑沟回结构，获得反转成像数据；
将表面成像数据和反转成像数据叠加并进行降噪处理；
输出处理后的超声图像。
3.根据权利要求1所述的超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，所述智能成像处理系统包括：
表面成像模型层，用于对超声图像进行三维表面成像，获得表面成像数据；
反转成像模型层，用于对超声图像进行三维反转成像，只留下脑沟回结构，获得反转成像数据；
成像叠加模型层，用于对表面成像数据和反转成像数据叠加并进行降噪处理；
成像输出层，用于输出经表面成像、反转成像、叠加、降噪处理后的超声图像。
4.根据权利要求1所述的超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，所述3D FCN网络是通过如下步骤训练得到的：
A、获取数据集，包括从三维超声设备获取的胎儿颅脑三维超声容积图像、智能成像处理系统处理过的数据以及超声医师为每个胎儿颅脑三维超声容积图像手工标注的胎儿颅脑三维脑沟回容积图像；
B、对步骤A获取的数据集进行去噪处理，以得到预处理后的数据集，将预处理后的数据集随机划分为训练集、验证集、以及测试集；
C、将步骤B预处理后的数据集中的训练集输入到3D FCN网络中，以获得胎儿头部容积数据的推理输出，将该推理输出输入到3D FCN网络中的损失函数中，以获取损失值；
D、根据随机梯度下降算法并使用步骤C得到的损失值对3D FCN网络中的损失函数进行优化，以更新3D FCN网络；
E、针对步骤B得到的数据集中的训练集部分中的剩余数据集，重复执行上述步骤C和步骤D，直到3D FCN网络收敛到最佳为止，从而得到训练好的3D FCN网络；
F、使用步骤B中得到的数据集中的验证集对训练好的3D FCN网络进行验证；
G、使用步骤B中得到的数据集中的测试集对训练好的3D FCN网络进行测试。
5.根据权利要求4所述的超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，损失函数为：L(x,y)＝(x-y)2，其中x是超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的脑沟回表面参数，其具体等于超声医师根据手工标注的胎儿颅脑三维脑沟回容积图像获取的体素与单位体素的体积之间的乘积，y是胎儿脑沟回表面参数的推理输出。
6.根据权利要求4所述的超声图像中胎儿脑沟回三维立体图像成像方法，其特征在于，所述3D FCN网络的网络结构如下：
第一层为输入层，其输入为128*128*128*1像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第三层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为64*64*64*72；
第四层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第五层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为32*32*32*144；
第六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第七层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第八层为池化层，池化窗口尺寸为2*2，长、宽、高的步长均为2，该层输出矩阵为16*16*16*288，记为pooling3；
第九层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为16*16*16*576的矩阵；
第十一层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为32*32*32*288的矩阵；
第十二层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十三层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为32*32*32*288的矩阵；
第十四层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为64*64*64*144的矩阵；
第十五层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十六层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为64*64*64*144的矩阵；
第十七层为反卷积层，其反卷积核尺寸为4*4*4，反卷积核个数为32，该层使用2倍上采样操作，输出大小为128*128*128*32的矩阵；
第十八层为反卷积层，其卷积核尺寸为4*4*4，该层使用2倍上采样操作，输出大小为128*128*128*72的矩阵；
第十九层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十层为卷积层，其卷积核尺寸为3*3*3，步长为1，该层使用SAME模式填充，输出大小为128*128*128*72的矩阵；
第二十一层为卷积层，其卷积核尺寸为1*1*1，步长为1，该层使用SAME模式填充，输出大小为128*128*128*1的矩阵。
7.一种超声图像中胎儿脑沟回三维立体图像成像系统，其特征在于，包括：
采集模块，用于获取数据集；
预处理模块，用于通过智能成像处理系统对采集模块获取的数据集进行自动处理并人工标注出脑沟回，以得到胎儿颅脑三维脑沟回容积图像；
分析处理模块，用于将胎儿颅脑三维脑沟回容积图像集输入到训练好的3D FCN网络中，以得到胎儿颅脑三维脑沟回容积图像的体素；
图像生成模块，用于使用分析处理模块得到的胎儿胎儿颅脑三维脑沟回容积图像的体素自动生成胎儿颅脑脑沟回三维立体图像。
CN202010790445.XA 2020-08-07 2020-08-07 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统 Active CN111932513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790445.XA CN111932513B (zh) 2020-08-07 2020-08-07 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790445.XA CN111932513B (zh) 2020-08-07 2020-08-07 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统

Publications (2)

Publication Number Publication Date
CN111932513A true CN111932513A (zh) 2020-11-13
CN111932513B CN111932513B (zh) 2024-07-05

Family

ID=73307581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790445.XA Active CN111932513B (zh) 2020-08-07 2020-08-07 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统

Country Status (1)

Country Link
CN (1) CN111932513B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114646913A (zh) * 2020-12-21 2022-06-21 北京大学第三医院（北京大学第三临床医学院） 生物组织微观结构的无创测量方法
CN114782457A (zh) * 2022-05-23 2022-07-22 中山大学附属第一医院 基于三维卷积神经网络胎儿颅脑超声结构分割方法及装置
CN117611542A (zh) * 2023-11-23 2024-02-27 上海慈卫信息技术有限公司 一种基于胎儿宫内颅脑影像检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555836A (zh) * 2019-09-05 2019-12-10 李肯立 一种超声图像中胎儿标准切面的自动识别方法和系统
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN110613483A (zh) * 2019-09-09 2019-12-27 李胜利 一种基于机器学习检测胎儿颅脑异常的方法和系统
CN110738702A (zh) * 2019-05-22 2020-01-31 深圳度影医疗科技有限公司 一种三维超声图像的处理方法、装置、设备及存储介质
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN110974302A (zh) * 2019-10-21 2020-04-10 李胜利 一种超声图像中胎儿头部容积的自动检测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738702A (zh) * 2019-05-22 2020-01-31 深圳度影医疗科技有限公司 一种三维超声图像的处理方法、装置、设备及存储介质
CN110599585A (zh) * 2019-08-05 2019-12-20 清华大学 基于深度学习的单图像人体三维重建方法及装置
CN110555836A (zh) * 2019-09-05 2019-12-10 李肯立 一种超声图像中胎儿标准切面的自动识别方法和系统
CN110613483A (zh) * 2019-09-09 2019-12-27 李胜利 一种基于机器学习检测胎儿颅脑异常的方法和系统
CN110974302A (zh) * 2019-10-21 2020-04-10 李胜利 一种超声图像中胎儿头部容积的自动检测方法和系统
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114646913A (zh) * 2020-12-21 2022-06-21 北京大学第三医院（北京大学第三临床医学院） 生物组织微观结构的无创测量方法
CN114646913B (zh) * 2020-12-21 2023-06-02 北京大学第三医院（北京大学第三临床医学院） 生物组织微观结构的无创测量方法
CN114782457A (zh) * 2022-05-23 2022-07-22 中山大学附属第一医院 基于三维卷积神经网络胎儿颅脑超声结构分割方法及装置
CN117611542A (zh) * 2023-11-23 2024-02-27 上海慈卫信息技术有限公司 一种基于胎儿宫内颅脑影像检测方法及系统
CN117611542B (zh) * 2023-11-23 2024-05-28 上海慈卫信息技术有限公司 一种基于胎儿宫内颅脑影像检测方法及系统

Also Published As

Publication number Publication date
CN111932513B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN111932513A (zh) 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统
Ahmed et al. Single volume image generator and deep learning-based ASD classification
CN110613483B (zh) 一种基于机器学习检测胎儿颅脑异常的系统
CN108898135B (zh) 一种大脑边缘系统图谱构建方法
CN111223092A (zh) 胎儿超声切面图像自动质控系统及检测方法
WO2007023522A1 (ja) 脳疾患の診断支援方法及び装置
CN109543623B (zh) 一种基于核磁共振成像的胎儿发育状况预测装置
CN110969614B (zh) 基于三维卷积神经网络的脑龄预测方法及系统
CN110974302B (zh) 一种超声图像中胎儿头部容积的自动检测方法和系统
Clark et al. Developing and testing an algorithm for automatic segmentation of the fetal face from three-dimensional ultrasound images
CN116468655A (zh) 基于胎儿磁共振成像的脑发育图谱与影像处理系统
CN116503548A (zh) 牙齿和牙槽骨图像分割重构方法及系统
CN112837807B (zh) 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法
CN113907793A (zh) 一种妇科超声检查用的超声影像重建与评估方法
CN112489150B (zh) 面向快速mri的深度神经网络的多尺度序贯训练方法
Gong et al. Dual temporal and spatial sparse representation for inferring group-wise brain networks from resting-state fMRI dataset
CN209770401U (zh) 医学图像快速分析处理系统
D Tao et al. Advanced magnetic resonance imaging techniques in the preterm brain: methods and applications
Rutherford et al. Observing the origins of human brain development: automated processing of fetal fMRI
CN113100780B (zh) 同步脑电-功能磁共振数据的自动化处理方法
CN108720870A (zh) 一种基于超声衰减系数的脂肪肝检测系统
CN108280832A (zh) 医学图像分析方法、医学图像分析系统以及存储介质
Corroenne et al. Tractography of fetal visual pathway.
US20210264596A1 (en) System and method for producing a multiparameter graphic indicator from an image of a histological section
CN112634277A (zh) 图像分割方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant