CN110613483B - 一种基于机器学习检测胎儿颅脑异常的系统 - Google Patents

一种基于机器学习检测胎儿颅脑异常的系统 Download PDF

Info

Publication number
CN110613483B
CN110613483B CN201910845939.0A CN201910845939A CN110613483B CN 110613483 B CN110613483 B CN 110613483B CN 201910845939 A CN201910845939 A CN 201910845939A CN 110613483 B CN110613483 B CN 110613483B
Authority
CN
China
Prior art keywords
layer
size
craniocerebral
convolution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910845939.0A
Other languages
English (en)
Other versions
CN110613483A (zh
Inventor
李胜利
李肯立
文华轩
谭光华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lanxiang Zhiying Technology Co ltd
Original Assignee
Hunan University
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University, Southern Medical University filed Critical Hunan University
Priority to CN201910845939.0A priority Critical patent/CN110613483B/zh
Publication of CN110613483A publication Critical patent/CN110613483A/zh
Application granted granted Critical
Publication of CN110613483B publication Critical patent/CN110613483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0808—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习检测胎儿颅脑异常的方法，具体是在胎儿颅脑的发育过程中，检测颅脑的主要组织结构是否存在异常和异常会导致哪些相关的颅脑疾病。本发明主要通过获取不同孕周系列颅脑标准切面的数据，对数据预处理，训练一个模型来检测颅脑主要组织结构是否存在异常。采用深度卷积网络提取特征，区域生成网络RPN生成候选区域，感兴趣池化层层收集输入的特征图和候选区域，并利用softmax分类器进行分类和回归检测，最后利用检测结果来分析主要的结构是否存在异常。如果未发现存在异常，则判断为正常。本发明旨在利用计算机辅助诊断，不需要医生或者人为的过多参与诊断的情况下，辅助诊断颅脑是否异常。

Description

一种基于机器学习检测胎儿颅脑异常的系统
技术领域
本发明属于计算机辅助诊断技术领域，更具体地，涉及一种基于机器学习检测胎儿颅脑异常的系统。
背景技术
在胎儿整个身体的发育过程中，颅脑的健康发育具有异常重要的意义，颅脑发育不全会直接影响胎儿的智力，严重会引起脑瘫、精神运动发育迟缓、智力低下、癫痫等。鉴于此，产前超声对胎儿颅脑进行详细的检查非常必要。
然而，现有超声对胎儿颅脑检测存在一些不可忽略的缺点：第一，由于胎儿颅脑检测过程相当复杂，而目前临床经验丰富、擅长胎儿颅脑异常产前检查的超声医师严重缺乏，因而大大的加大了那些有经验超声医师的工作任务，并造成优质医疗资源不平衡的问题；第二，利用超声采集颅脑图像时，存在的诸多干扰因素(例如超声伪像的干扰、超声医师的技术不娴熟等)都会造成超声图像采集的质量不高，从而导致最终难以根据检测结果对胎儿的颅脑发育状况做出准确分析；第三，胎儿颅脑的产前超声检查对于超声医师的技术要求非常高，不同水平的超声医师针对同样的检测对象，可能会得出不同的颅脑检测结果，从而影响最终检测结果的准确性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器学习检测胎儿颅脑异常的系统，其目的在于，通过人工智能(Artificial intelligence，简称AI)深度学习大样本量的正常和异常胎儿颅脑超声影像数据，解决现有基于超声成像的胎儿颅脑检测中存在的上述技术问题，本发明在对胎儿进行实时超声扫描过程中，结合胎儿的孕周和病史等资料，实时不间断地监测与分析胎儿颅脑超声影像智能识别出胎儿颅脑发育的系列标准切面，自动化获取并存储智能识别出的标准切面，最后自动测量和分析胎儿颅脑的发育参数，并识别出可能存在的胎儿颅脑异常。
为实现上述目的，按照本发明的一个方面，提供了一种基于机器学习检测胎儿颅脑异常的系统，包括：
第一模块，用于获取不同孕周系列的胎儿颅脑标准切面数据集；
第二模块，用于对第一模块获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；
第三模块，用于将第二模块预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果。
第四模块，用于根据第三模块得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束。
优选地，第二模块包括以下子模块：
第一子模块，用于针对胎儿颅脑标准切面数据集中的每一幅标准切面图像而言，利用自适应均值滤波法对该标准切面图像进行去噪处理，并将去噪处理后的标准切面图像裁剪成统一的尺寸，以得到裁剪后的标准切面图像；
第二子模块，用于利用自适应中值滤波法对第一子模块得到的裁剪后的每一幅标准切面图像进行去噪处理，将去燥处理后的每一幅标准切面图像发送到放射科专家处进行标记，并获得标记后的每一幅标准切面图像；
第三子模块，用于对第二子模块得到的标记后的每一幅标准切面图像进行归一化处理，以获得归一化后的标准切面图像，所有归一化后的标准切面图像构成预处理后的胎儿颅脑标准切面数据集。
优选地，具体而言，标准切面图像的颅脑部分中的关键组织包括标记外侧沟、丘脑、脉络丛、透明间隔腔、第三脑室、脑中线、颅骨等。
优选地，颅脑组织检测网络包括顺次连接的深度卷积神经网络、RPN网络、ROI池化层、以及分类与回归部分。
优选地，颅脑组织检测网络中的深度卷积神经网络结构为：
第一层是输入层，输入为512*512*3的像素矩阵。
第二层是第一卷积层，其接收来自输入层的512*512*3的像素矩阵，该层使用32个大小为3*3的卷积核，该层步长为1，后面接入RELU激活函数和BN，该层输出矩阵大小为512*512*32；
第三层是第二卷积层，该层使用64个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，该层输出矩阵为512*512*64；
第四层是第三卷积层，使用64个大小尺寸为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，该层的输出的矩阵为512*512*64；
第五层为第一池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为256*256*64；
第六层是第四卷积层，该层使用128个大小为3*3的卷积核，步长为1，输出的矩阵为256*256*128；
第七层是第五卷积层，该层使用256个大小为3*3的卷积核，步长为2，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第八层是第六卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第九层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为64*64*256；
第十层是第七卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十一层是第八卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十二层是第九卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为64*64*256；
第十三层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为32*32*256；
第十四层是第十卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的特征矩阵为32*32*256。
优选地，颅脑组织检测网络中的RPN网络结构为：
第一层为输入层，其输入是步骤(3-1)得到的大小为32*32*256的特征矩阵；
第二层为卷积层，该层使用3*3的卷积核，得到一个32*32*256的矩阵；
第三层为一个1*1的卷积核的卷积层，其输入为32*32*256矩阵，经过卷积，随后接入Sigmoid函数激活，得到32*32*18矩阵，包括32*32*9个结果，每个结果包含2个得分分数，分别是前景和后景的得分分数。
第四层为一个1*1的卷积核的卷积层，其输入为第二层的输出，也是32*32*256矩阵，经过卷积，随后接入线性函数激活，得到32*32*36矩阵，包括32*32*9个结果，每个结果包含4个坐标，这4个坐标对应一个用于锚点平移缩放的候选区域，每个候选区域分别与第三层输出的2个得分分数对应；
第五层是输出层，其输入是第三层输出的32*32*18矩阵、以及第四层的输出的32*32*36矩阵，然后从输出的9个背景区域中选出前景分数最高的N个候选区域，然后非极大值法从得到的N个候选区域中选取前景分数最高的M个候选区域，这M个候选区域被送入ROI池化层。
颅脑组织检测网络中的ROI池化层首先接收颅脑组织检测网络最后一层输出的大小为32*32*256的特征、以及RPN网络筛选得到的M个候选区域作为输入，然后采用RoiPoolingConv函数对其进行处理，从而将多个候选区域映射为固定大小的特征图，并输出该固定大小的特征图。
优选地，颅脑组织检测网络中的分类与回归部分结构为：
第一层为第一全连接层，该层接收ROI池化层得到的特征图，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。
第二层为第二全连接层，该层接收第一全连接层输出的4096个特征向量，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。
第三层为第三全连接层，该层接收第二全连接层输出的4096个特征向量，输出节点为7，并接入Softmax激活函数，以得到7个分类得分值。
第四层为第四全连接层，该层接收第二全连接层输出的4096个特征向量，以得到7*4维向量，4个维度表示检测框的四个坐标。
优选地，颅脑组织检测网络是通过以下步骤训练得到的：
(a1)获取胎儿颅脑的标准切面图像；
(a2)利用深度卷积神经网络对步骤(a1)得到的数据集进行特征提取，以得到特征图，利用RPN网络在得到的特征图上提取候选框，利用ROI池化层获取特征图和提取的候选框，将候选框对应的候选区域映射到特征图中，以将该特征图池化为统一大小的区域特征图，将该区域特征图送入全连接层，从而得到固定大小的特征图，将该特征图输入分类与回归部，经过该分类与回归部中全连接层的两个分支后，得到胎儿颅脑中关键组织的分类、以及关键组织的精确位置坐标。
(a3)利用Adam算法对颅脑组织检测网络进行优化，并利用Keras框架对优化后的颅脑组织检测网络进行迭代训练。
优选地，优化过程中的学习率lr＝0.001，迭代训练过程中，批次大小batchsize＝32，共有165个批次，迭代次数为200次。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明使用了深度卷积网络、RPN网络、网络、ROI池化层、以及分类与回归部分联合训练来训练模型，不需要有经验的医师就可以智能地检测的颅脑中的关键组织是否存在异常，通过该检测结果对颅脑标准切面进行正常和异常的分析和判断，并可以根据先验专家知识来自动判断具体的胎儿颅脑发育状况，从而大大降低了超声医师的工作任务，在一定程度上缓解了优质医疗资源不平衡的情况。并填补了目前计算机辅助超声技术检测胎儿颅脑发育疾病这一领域的空白；
(2)由于本发明自适应均值滤波法对该标准切面图像进行去噪处理，降低图像的超声噪声干扰，同时利用深度卷积网络来提取高阶抽象特征，从而采用计算机辅助医生对胎儿颅脑主要组织结构是否异常做出较为准确性诊断；
(3)由于本发明采用了第二模块对数据进行标注和检测，并采取主要细胞结构的矩形框标记，因此本发明的方法能够检测到颅脑的细胞结构层面，并保证检测结果的高准确性。
附图说明
图1是本发明基于机器学习检测胎儿颅脑异常的方法流程的示意图；
图2是本发明方法中使用的颅脑组织检测网络的网络架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供了一种基于机器学习检测胎儿颅脑异常的方法，包括以下步骤：
(1)获取不同孕周系列的胎儿颅脑标准切面数据集；
具体而言，胎儿颅脑标准切面数据集是从市场上主流厂商的超声设备获取的多张胎儿颅脑的标准切面图像所构成。
由于医生对胎儿颅脑异常是否的诊断是通过胎儿颅脑标准切面图像中组织结构是否存在、形态是否异常、径线是否异常等指标来实现，所以本步骤主要是收集胎儿颅脑标准切面数据集。
(2)对步骤(1)获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；
本步骤包括以下子步骤：
(2-1)针对胎儿颅脑标准切面数据集中的每一幅标准切面图像而言，利用自适应均值滤波法对该标准切面图像进行去噪处理，并将去噪处理后的标准切面图像裁剪成统一的尺寸，以得到裁剪后的标准切面图像；
具体而言，在本步骤中，裁剪后的标准切面图像大小是512x512像素；
(2-2)利用自适应中值滤波法对步骤(2-1)得到的裁剪后的每一幅标准切面图像进行去噪处理，将去燥处理后的每一幅标准切面图像发送到放射科专家处进行标记，并获得标记后的每一幅标准切面图像；
具体而言，由于标准切面图像中的斑点噪声会影响诊断的准确性和可靠性，同时源数据的噪声会直接影响最终的诊断结果，因此本步骤利用自适应中值滤波法去除噪声；
产前超声胎儿颅脑诊断专家是手动对去燥处理后的每一幅标准切面图像进行标注，具体是使用矩形框标记出标准切面图像的颅脑部分中的关键组织，即标记外侧沟(lateral sulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation of septum pellucidum，简称CSP)、第三脑室(Third ventricle，简称TV)、脑中线(Brain middle，简称BM)、颅骨(Skull，简称S)等。
(2-3)对步骤(2-2)得到的标记后的每一幅标准切面图像进行归一化处理，以获得归一化后的标准切面图像，所有归一化后的标准切面图像构成预处理后的胎儿颅脑标准切面数据集。
具体而言，归一化过程采用以下公式：
Figure GDA0003283311920000081
该方法实现对原始图像的等比例缩放，其中Xnorm为归一化后的标准切面图像，X为标记后的标准切面图像，Xmax、Xmin分别为标记后的标准切面图像的最大像素值和最小像素值。归一化后的标准切面图像的灰度值落在[0，1]之间。
(3)将步骤(2)预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果。
具体而言，本步骤中使用的颅脑组织检测网络包括顺次连接的深度卷积神经网络、区域生成网络(Region Proposal Network，简称RPN)、感兴趣区域(Region ofinterest，简称ROI)池化(Pooling)层、以及分类与回归部分，如图2所示。
颅脑组织检测网络中的深度卷积神经网络结构为：
第一层是输入层，输入为512*512*3的像素矩阵。
第二层是第一卷积层，其接收来自输入层的512*512*3的像素矩阵，该层使用32个大小为3*3的卷积核，该层步长为1，后面接入RELU激活函数和批量正则化(BatchNormalization，简称BN)，该层输出矩阵大小为512*512*32：
第三层是第二卷积层，该层使用64个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，该层输出矩阵为512*512*64；
第四层是第三卷积层，使用64个大小尺寸为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，该层的输出的矩阵为512*512*64；
第五层为第一池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为256*256*64；
第六层是第四卷积层，该层使用128个大小为3*3的卷积核，步长为1，输出的矩阵为256*256*128；
第七层是第五卷积层，该层使用256个大小为3*3的卷积核，步长为2，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第八层是第六卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第九层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为64*64*256；
第十层是第七卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十一层是第八卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十二层是第九卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为64*64*256；
第十三层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为32*32*256；
第十四层是第十卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的特征矩阵为32*32*256；
颅脑组织检测网络中的RPN网络结构为：
第一层为输入层，其输入是步骤(3-1)得到的大小为32*32*256的特征矩阵；
第二层为卷积层，该层使用3*3的卷积核，得到一个32*32*256的矩阵；
第三层为一个1*1的卷积核的卷积层，其输入为32*32*256矩阵，经过卷积，随后接入sigmoid函数激活，得到32*32*18矩阵，包括32*32*9个结果，每个结果包含2个得分分数，分别是前景和后景的得分分数。
第四层为一个1*1的卷积核的卷积层，其输入为第二层的输出，也是32*32*256矩阵，经过卷积，随后接入线性(Linear)函数激活，得到32*32*36矩阵，包括32*32*9个结果，每个结果包含4个坐标，这4个坐标对应一个用于锚点(Anchor)平移缩放的候选区域，每个候选区域分别与第三层输出的2个得分分数对应；
第五层是输出层，其输入是第三层输出的32*32*18矩阵、以及第四层的输出的32*32*36矩阵，然后从输出的9个背景区域中选出前景分数最高的N个候选区域(N的取值范围是2000到10000，优选是2000、2500或3000)，然后非极大值法从得到的N个候选区域中选取前景分数最高的M个候选区域(M的取值范围是200到1000，优选是200或300)，这M个候选区域(Proposal)被送入ROI池化层。
颅脑组织检测网络中的ROI池化层首先接收颅脑组织检测网络最后一层输出的大小为32*32*256的特征、以及RPN网络筛选得到的M个候选区域作为输入，然后采用RoiPoolingConv函数对其进行处理，从而将多个候选区域映射为固定大小的特征图，并输出该固定大小的特征图；
颅脑组织检测网络中的分类与回归部分结构为：
第一层为第一全连接层，该层接收ROI池化层得到的特征图，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。
第二层为第二全连接层，该层接收第一全连接层输出的4096个特征向量，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。
第三层为第三全连接层，该层接收第二全连接层输出的4096个特征向量，输出节点为7，并接入Softmax激活函数，以得到7个分类得分值。
第四层为第四全连接层，该层接收第二全连接层输出的4096个特征向量，以得到7*4维向量，4个维度表示检测框的四个坐标。
本发明的颅脑组织检测网络是通过以下步骤训练得到的：
(a1)获取胎儿颅脑的标准切面图像；
具体而言，数据集包括6600张胎儿发育中期的胎儿颅脑的标准切面图像，数据集被随机划分为3个部分，其中80％数据集用于训练模型，10％用于测试模型，10％数据集用于验证模型。使用80％的胎儿颅脑标准切面数据集对该颅脑组织检测网络进行训练。
(a2)利用深度卷积神经网络对步骤(a1)得到的数据集进行特征提取，以得到特征图，利用RPN网络在得到的特征图上提取候选框(包括候选框的分数和候选框的坐标)，利用ROI池化层获取特征图和提取的候选框，将候选框对应的候选区域映射到特征图中，以将该特征图池化为统一大小的区域特征图，将该区域特征图送入全连接层，从而得到固定大小的特征图，将该特征图输入分类与回归部，经过该分类与回归部中全连接层的两个分支后，得到胎儿颅脑中关键组织的分类、以及关键组织的精确位置坐标。
(a3)利用Adam算法对颅脑组织检测网络进行优化，并利用Keras框架对优化后的颅脑组织检测网络进行迭代训练。
具体而言，优化过程中的学习率lr＝0.001。
迭代训练过程中，批次大小batchsize＝32，共有165个批次，迭代次数为200次。
利用Keras框架进行训练，得到可以检测胎儿颅脑组织结构完成性与常见疾病之间映射关系的颅脑组织检测网络。
(4)根据步骤(3)得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束。
例如：
透明间隔缺如，表明胎儿可能患有孤立性透明隔缺如、视隔发育不良、全前脑等疾病。
外侧沟形态异常，表明胎儿可能存在无脑回/巨脑回、多小脑回、脑裂畸形等。
丘脑出现异常，表明胎儿可能存在无叶或半叶全前脑、脑干脑桥发育不良、豆纹动脑病变、丘脑岀血等。
脉络丛出现异常，表明胎儿可能存在脉络丛囊肿、全前脑、脑室内出血、脉络丛乳头瘤等。
性能测试结果
以下我们利用来自660张孕期中期产检的超声颅脑图片数据，进行测试，以准确率(Accuracy)和召回率(Recall)来对孕妇的三个孕期都进行测试，平均的准确率和召回率如下表1所示。
表1
准确率 召回率
外侧沟(LS) 94.96％ 87.90％
丘脑(T) 90.16％ 89.20％
脉络丛(CP) 94.96％ 88.90％
透明间隔腔(CSP) 95.96％ 89.90％
第三脑室(TV) 90.96％ 91.90％
脑中线(BM) 88.96％ 84.90％
颅骨(S) 93.96％ 88.90％
通过上表1可以看出：在三个孕期的准确率和召回率都较高，根据缺失的结构然后给出胎儿颅脑发育可能患有的发育疾病做出智能的判断，总体上本发明的识别判断还是相当理想。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器学习检测胎儿颅脑异常的系统，其特征在于，包括：
第一模块，用于获取不同孕周系列的胎儿颅脑标准切面数据集；
第二模块，用于对第一模块获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；第二模块包括以下子模块：
第一子模块，用于针对胎儿颅脑标准切面数据集中的每一幅标准切面图像而言，利用自适应均值滤波法对该标准切面图像进行去噪处理，并将去噪处理后的标准切面图像裁剪成统一的尺寸，以得到裁剪后的标准切面图像；
第二子模块，用于利用自适应中值滤波法对第一子模块得到的裁剪后的每一幅标准切面图像进行去噪处理，将去噪 处理后的每一幅标准切面图像发送到放射科专家处进行标记，并获得标记后的每一幅标准切面图像；
第三子模块，用于对第二子模块得到的标记后的每一幅标准切面图像进行归一化处理，以获得归一化后的标准切面图像，所有归一化后的标准切面图像构成预处理后的胎儿颅脑标准切面数据集；
第三模块，用于将第二模块预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果；颅脑组织检测网络包括顺次连接的深度卷积神经网络、RPN网络、ROI池化层、以及分类与回归部分；颅脑组织检测网络是通过以下步骤训练得到的：
(a1)获取胎儿颅脑的标准切面图像；
(a2)利用深度卷积神经网络对步骤(a1)得到的数据集进行特征提取，以得到特征图，利用RPN网络在得到的特征图上提取候选框，利用ROI池化层获取特征图和提取的候选框，将候选框对应的候选区域映射到特征图中，以将该特征图池化为统一大小的区域特征图，将该区域特征图送入全连接层，从而得到固定大小的特征图，将该特征图输入分类与回归部，经过该分类与回归部中全连接层的两个分支后，得到胎儿颅脑中关键组织的分类、以及关键组织的精确位置坐标；
(a3)利用Adam算法对颅脑组织检测网络进行优化，并利用Keras框架对优化后的颅脑组织检测网络进行迭代训练；
第四模块，用于根据第三模块得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束；其中颅脑组织检测网络中的深度卷积神经网络结构为：
第一层是输入层，输入为512*512*3的像素矩阵；
第二层是第一卷积层，其接收来自输入层的512*512*3的像素矩阵，该层使用32个大小为3*3的卷积核，该层步长为1，后面接入RELU激活函数和BN，该层输出矩阵大小为512*512*32；
第三层是第二卷积层，该层使用64个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，该层输出矩阵为512*512*64；
第四层是第三卷积层，使用64个大小尺寸为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，该层的输出的矩阵为512*512*64；
第五层为第一池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为256*256*64；
第六层是第四卷积层，该层使用128个大小为3*3的卷积核，步长为1，输出的矩阵为256*256*128；
第七层是第五卷积层，该层使用256个大小为3*3的卷积核，步长为2，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第八层是第六卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；
第九层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为64*64*256；
第十层是第七卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十一层是第八卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；
第十二层是第九卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为64*64*256；
第十三层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为32*32*256；
第十四层是第十卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的特征矩阵为32*32*256。
2.根据权利要求1所述的基于机器学习检测胎儿颅脑异常的系统，其特征在于，标准切面图像的颅脑部分中的关键组织包括标记外侧沟、丘脑、脉络丛、透明间隔腔、第三脑室、脑中线、以及颅骨。
3.根据权利要求1所述的基于机器学习检测胎儿颅脑异常的系统，其特征在于，颅脑组织检测网络中的RPN网络结构为：
第一层为输入层，其输入是步骤(3-1)得到的大小为32*32*256的特征矩阵；
第二层为卷积层，该层使用3*3的卷积核，得到一个32*32*256的矩阵；
第三层为一个1*1的卷积核的卷积层，其输入为32*32*256矩阵，经过卷积，随后接入Sigmoid函数激活，得到32*32*18矩阵，包括32*32*9个结果，每个结果包含2个得分分数，分别是前景和后景的得分分数；
第四层为一个1*1的卷积核的卷积层，其输入为第二层的输出，也是32*32*256矩阵，经过卷积，随后接入线性函数激活，得到32*32*36矩阵，包括32*32*9个结果，每个结果包含4个坐标，这4个坐标对应一个用于锚点平移缩放的候选区域，每个候选区域分别与第三层输出的2个得分分数对应；
第五层是输出层，其输入是第三层输出的32*32*18矩阵、以及第四层的输出的32*32*36矩阵，然后从输出的9个背景区域中选出前景分数最高的N个候选区域，然后非极大值法从得到的N个候选区域中选取前景分数最高的M个候选区域，这M个候选区域被送入ROI池化层；
颅脑组织检测网络中的ROI池化层首先接收颅脑组织检测网络最后一层输出的大小为32*32*256的特征、以及RPN网络筛选得到的M个候选区域作为输入，然后采用RoiPoolingConv函数对其进行处理，从而将多个候选区域映射为固定大小的特征图，并输出该固定大小的特征图。
4.根据权利要求1所述的基于机器学习检测胎儿颅脑异常的系统，其特征在于，颅脑组织检测网络中的分类与回归部分结构为：
第一层为第一全连接层，该层接收ROI池化层得到的特征图，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合；
第二层为第二全连接层，该层接收第一全连接层输出的4096个特征向量，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合；
第三层为第三全连接层，该层接收第二全连接层输出的4096个特征向量，输出节点为7，并接入Softmax激活函数，以得到7个分类得分值；
第四层为第四全连接层，该层接收第二全连接层输出的4096个特征向量，以得到7*4维向量，4个维度表示检测框的四个坐标。
5.根据权利要求1所述的基于机器学习检测胎儿颅脑异常的系统，其特征在于，
优化过程中的学习率lr＝0.001；
迭代训练过程中，批次大小batchsize＝32，共有165个批次，迭代次数为200次。
CN201910845939.0A 2019-09-09 2019-09-09 一种基于机器学习检测胎儿颅脑异常的系统 Active CN110613483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845939.0A CN110613483B (zh) 2019-09-09 2019-09-09 一种基于机器学习检测胎儿颅脑异常的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845939.0A CN110613483B (zh) 2019-09-09 2019-09-09 一种基于机器学习检测胎儿颅脑异常的系统

Publications (2)

Publication Number Publication Date
CN110613483A CN110613483A (zh) 2019-12-27
CN110613483B true CN110613483B (zh) 2022-05-20

Family

ID=68922624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845939.0A Active CN110613483B (zh) 2019-09-09 2019-09-09 一种基于机器学习检测胎儿颅脑异常的系统

Country Status (1)

Country Link
CN (1) CN110613483B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223092A (zh) * 2020-02-28 2020-06-02 长沙大端信息科技有限公司 胎儿超声切面图像自动质控系统及检测方法
CN111932513A (zh) * 2020-08-07 2020-11-13 深圳市妇幼保健院 一种超声图像中胎儿脑沟回三维立体图像成像方法和系统
CN111899253B (zh) * 2020-08-07 2024-06-07 深圳蓝湘智影科技有限公司 胎儿颅脑切面图像的异常判断分析方法及装置
CN111951268B (zh) * 2020-08-11 2024-06-07 深圳蓝湘智影科技有限公司 颅脑超声图像并行分割方法及装置
CN112215806A (zh) * 2020-09-24 2021-01-12 广州爱孕记信息科技有限公司 胎儿超声影像的检测结果的输出控制方法、装置及系统
CN112155604B (zh) * 2020-09-24 2023-03-31 广州爱孕记信息科技有限公司 基于胎儿超声图像的胎儿严重畸形检测方法及装置
CN114399493B (zh) * 2022-01-14 2024-06-11 汕头市超声仪器研究所股份有限公司 超声颅脑异常区域自动检测及显示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019034546A1 (en) * 2017-08-17 2019-02-21 Koninklijke Philips N.V. ULTRASONIC SYSTEM CAPABLE OF EXTRACTING IMAGE PLANS FROM IMAGE INTERACTION VOLUME DATA WITH AN IMAGE
CN107563446B (zh) * 2017-09-05 2020-08-18 华中科技大学 一种微操作系统目标检测方法
CN107569257A (zh) * 2017-09-29 2018-01-12 深圳开立生物医疗科技股份有限公司 超声图像处理方法及系统、超声诊断设备
WO2019074339A1 (ko) * 2017-10-15 2019-04-18 알레시오 주식회사 신호 변환 시스템 및 신호 변환 방법
CN110033020A (zh) * 2019-03-07 2019-07-19 李胜利 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统

Also Published As

Publication number Publication date
CN110613483A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110613483B (zh) 一种基于机器学习检测胎儿颅脑异常的系统
Rong et al. Surrogate-assisted retinal OCT image classification based on convolutional neural networks
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
Ahmed et al. Single volume image generator and deep learning-based ASD classification
CN110506278A (zh) 隐空间中的目标检测
CN112164082A (zh) 基于3d卷积神经网络分割多模态mr脑部图像方法
CN112348785B (zh) 一种癫痫病灶定位方法及系统
CN111402198B (zh) 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
CN112465058A (zh) 改进GoogLeNet神经网络下多模态医学图像分类方法
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN113052800B (zh) 一种阿尔茨海默症影像分析方法与装置
Suberi et al. Deep transfer learning application for automated ischemic classification in posterior fossa CT images
CN114926396A (zh) 一种精神障碍类磁共振图像初步筛查模型构建方法
CN114266774A (zh) 一种基于平扫ct图像诊断肺栓塞的方法、设备及系统
CN114332910A (zh) 一种面向远红外图像的相似特征计算的人体部位分割方法
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN117352164A (zh) 基于人工智能的多模态肿瘤检测诊断平台及其处理方法
CN113786185B (zh) 一种基于卷积神经网络的静态脑网络特征提取方法和系统
CN110930349A (zh) 一种利用卷积神经网络的医学图像处理装置与方法
CN114305387A (zh) 基于磁共振成像的脑小血管病变图像分类方法、设备及介质
CN114419309A (zh) 一种基于大脑T1-w磁共振影像的高维特征自动提取方法
Lekshmi et al. Detection of glaucoma and diabetic retinopathy using image processing technique by Raspberry pi
CN112837807A (zh) 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法
Alsuwat et al. Prediction of Diabetic Retinopathy using Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200518

Address after: Room 515a266, block BCD, Lugu business center, 199 Lulong Road, Changsha hi tech Development Zone, Hunan 410205

Applicant after: Changsha Datang Information Technology Co.,Ltd.

Address before: 518028 Department of ultrasound, 4th floor, building 1, Shenzhen maternal and child health hospital, No. 2004, Hongli Road, Futian District, Shenzhen City, Guangdong Province

Applicant before: Li Shengli

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211123

Address after: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Applicant after: SOUTHERN MEDICAL University

Applicant after: Hunan University

Address before: 410205 room 515a266, block BCD, Lugu business center, No. 199 Lulong Road, high tech Development Zone, Changsha, Hunan

Applicant before: Changsha Datang Information Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: 518000, 6th Floor, Building A3, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Lanxiang Zhiying Technology Co.,Ltd.

Address before: No.1023-1063, shatai South Road, Guangzhou, Guangdong 510515

Patentee before: SOUTHERN MEDICAL University

Patentee before: HUNAN University

TR01 Transfer of patent right