CN110827236B - 基于神经网络的脑组织分层方法、装置、计算机设备 - Google Patents
基于神经网络的脑组织分层方法、装置、计算机设备 Download PDFInfo
- Publication number
- CN110827236B CN110827236B CN201910909092.8A CN201910909092A CN110827236B CN 110827236 B CN110827236 B CN 110827236B CN 201910909092 A CN201910909092 A CN 201910909092A CN 110827236 B CN110827236 B CN 110827236B
- Authority
- CN
- China
- Prior art keywords
- brain
- image
- neural network
- instance
- candidate frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 39
- 210000005013 brain tissue Anatomy 0.000 title claims abstract description 33
- 210000004556 brain Anatomy 0.000 claims abstract description 149
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 230000011157 brain segmentation Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 84
- 238000011176 pooling Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000002601 intratumoral effect Effects 0.000 description 1
- 210000003140 lateral ventricle Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能领域，涉及一种基于神经网络的脑组织分层方法、装置、计算机设备及存储介质，方法包括：获取脑CT的影像信息；通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。通过融合脑切割卷积神经网络和脑分层神经网络，以一个模型同时得到脑分割以及脑分层的结果，减少了运算时间以及运算资源的消耗，并使得脑分割和脑分层两个任务可以共享特征信息，从而提高了脑分层的准确率。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于神经网络的脑组织分层方法、装置、计算机设备及存储介质。
背景技术
近年来，深度学习技术被广泛运用在各大领域，特别是计算机视觉，被用来实现脸部识别、目标检测、图像分割等。在医学领域，通常需要对脑部CT影像进行分析，包含很多信息的分析，可能需要脑出血检测、脑组织分割以外，甚至脑分层也是很重要的一项信息需要提供。目前，普遍采用深度学习技术中的神经网络来构建模型以实现检测、分类、预测等任务，但通常采用多个模型分别对应处理多个任务，比如说针对脑出血出一个检测模型，脑组织分割出一个分割模型，脑分层再出一个分类模型，这样的多个模型解决多个任务的策略会造成运算时间加倍、运算资源消耗也加倍，并因为单一分类模型信息不全面导致模型对没见过的脑部CT影像错误分类的状况，从而降低了脑分层的准确度。
发明内容
本申请实施例的目的在于提出一种基于神经网络的脑组织分层方法、装置、计算机设备及存储介质，提高脑组织分层的准确率。
为了解决上述技术问题，本申请实施例提供一种基于神经网络的脑组织分层方法，包括下述步骤：
获取脑CT的影像信息；
通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；
将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；
将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。
进一步的，在所述获取脑CT的影像信息的步骤之前，还包括步骤：
将脑CT图进行通道预处理得到脑CT影像信息。
进一步的，所述通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图的步骤具体包括：
将获取到的脑CT影像信息输入到训练好的ResNet卷积神经网络，提取所述脑CT影像的特征图。
进一步的，所述将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息的步骤具体包括：
获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作；
将进行候选框对齐操作后的特征图输入到全连接层网络，得到特征图的实例类别的语义信息和实例像素级的位置信息。
进一步的，在所述获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作的步骤之后，还包括步骤：
通过全卷积神经网络为每一个候选框对齐操作后的像素点生成掩码，将实例分割出来。
进一步的，所述将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果的步骤具体包括：
将实例类别的语义信息和实例像素级的位置信息联合输入到分层神经网络的卷积层再次提取特征；
将分层神经网络的卷积层提取到的特征输入到分层神经网络的全连接层进行分类，得到所述脑CT影像的分层结果并输出。
为了解决上述技术问题，本申请实施例还提供一种基于神经网络的脑组织分层装置，采用了如下所述的技术方案：
基于神经网络的脑组织分层装置，包括：
第一获取模块，用于获取脑CT的影像信息；
提取模块，用于通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；
第二获取模块，用于将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；
输出模块，用于将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。
进一步的，在所述第一获取模块之前还包括：
预处理模块，用于将脑CT图进行通道预处理得到脑CT影像信息。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
所述计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于神经网络的脑组织分层方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于神经网络的脑组织分层方法的步骤。
在本实施例中，获取脑CT的影像信息；通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。由预训练好的脑切割卷积神经网络提取脑CT影像信息得到特征图，将特征图进行候选框对齐操作后得到实例类别的语义信息和实例像素级的位置信息并作为脑分割的结果，然后将实例的语义信息和像素级位置信息通过预训练好的分层神经网络得到脑CT影像的脑分层结果，通过融合脑切割卷积神经网络和脑分层神经网络，可以以一个模型同时得到脑分割以及脑分层的结果，减少了运算时间以及运算资源的消耗，并使得脑分割和脑分层两个任务可以共享特征信息，从而提高了脑分层的准确率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于神经网络的脑组织分层的方法的一个实施例的流程图；
图3是图2中步骤202的一种具体实施方式的流程图；
图4是图2中步骤203的一种具体实施方式的流程图；
图5是图2中步骤204的一种具体实施方式的流程图；
图6是根据本申请的基于神经网络的脑组织分层的装置的一个实施例的结构示意图；
图7是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，图1是本申请可能会用到的系统架构图，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息、数据等。终端设备101、102、103上可以安装有各种通讯客户端应用APP，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于神经网络的脑组织分层方法一般由服务器/终端设备执行，相应地，基于神经网络的脑组织分层装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于神经网络的脑组织分层的方法的一个实施例的流程图。所述的基于神经网络的脑组织分层方法，包括以下步骤：
步骤201，获取脑CT的影像信息。
在本实施例中，基于神经网络的脑组织分层方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式获取脑CT的影像信息。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
上述的脑CT影像信息可以通过CT机对目标对象进行扫描得到，然后通过上述有线连接方式或者无线连接方式从CT机获取，也可以由CT机中导出的数据包得到，还可以通过提取以DICOM数据格式存储于数据库中的脑CT影像数据得到。通过有线连接方式或者无线连接的网络方式，可以同时获取多个CT机的脑CT影像信息，提高数据传输能力。
步骤202，通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图。
在本实施例中，卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络包括：数据输入层、卷积计算层、ReLU激励层、池化层、全连接层，目的是以一定的模型对事物进行特征提取，而后根据特征对该事物进行分类、识别、预测或决策等。
上述的脑切割卷积神经网络通过对输入的脑CT影像数据进行卷积计算，得到对应的切割特征图。需要说明的是上述的特征图为脑切割卷积神经网络中的中间图像数据，而不是最终的脑切割图像数据。
步骤203，将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息。
在本实施例中，得到上述脑CT影像的特征图后，为每一个像素点生成后候选框并进行候选框对齐操作，候选框是特征图上像素点的位置，可以直接通过一个区域生成网络(Region Proposal Network，RPN)生成；然后通过全卷积神经网络(FCN网络)为每一个候选框对齐操作后的候选框生成实例掩码，从而将实例分割出来；最后将掩码分割出来的实例输入到全连接层网络，得到特征图的实例类别的语义信息和实例的像素级位置信息，作为脑切割的结果；实例类别的语义信息包括上述实例的类别标签，位置信息包括实例在特征图上的坐标。
步骤204，将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。
在本实施例中，上述分层神经网络包括卷积层和全连接层，卷积层用于对分割出来的实例进行二次特征提取，得到实例的高度可分的局部特征，然后将局部特征输入给全连接层进行特征组合再经过该层的逻辑回归进行分类，得到类别标签并作为上述脑CT影像的分层结果输出。通过共享脑切割卷积神经网络提取的实例特征信息，可以提高脑分层的准确率。
需要说明的是，上述脑切割卷积神经网络及分层神经网络需要预训练好，即构建好神经网络模型后向模型输入训练数据集使模型的输出符合预期或误差尽可能小。其中，需要对获取到的样本数据集进行预处理，例如正例负例采样、过滤等，在本实施例中，得到脑CT影像样本数据后会应用交叉验正，将样本数据分为四分，利用其中三份训练一份测试，可以将测试集中明显差异的样本剃除，过滤后的样本数据为真正的训练样本和验证样本。
在本实施例中，获取脑CT的影像信息；通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。由预训练好的脑切割卷积神经网络提取脑CT影像信息得到特征图，将特征图进行候选框对齐操作后得到实例类别的语义信息和实例像素级的位置信息并作为脑分割的结果，然后将实例的语义信息和像素级位置信息通过预训练好的分层神经网络得到脑CT影像的脑分层结果，通过融合脑切割卷积神经网络和脑分层神经网络，可以以一个模型同时得到脑分割以及脑分层的结果，减少了运算时间以及运算资源的消耗，并使得脑分割和脑分层两个任务可以共享特征信息，从而提高了脑分层的准确率。
进一步的，在所述获取脑CT的影像信息的步骤201之前，还包括：
步骤200，将脑CT图进行通道预处理得到脑CT影像信息。
其中，CT(Computed Tomography)成像，是利用计算机技术对被测物体断层扫描图像进行重建获得三维断层图像的扫描方式。该扫描方式是通过单一轴面的射线穿透被测物体，根据被测物体各部分对射线的吸收与透过率不同，由计算机采集透过射线并通过三维重构成像。脑CT图像包括脑组织的结构、形状信息，可通过这些信息来明确显示颅内肿瘤的数目、部位、大小、轮廓、密度、瘤内出血、钙化以及扩散程度等。
上述的脑CT图可以通过CT机对目标对象进行扫描得到并多以DICOM数据格式储存，获取脑CT影像数据需要解析DICOM档案。DICOM的结构化信息主要可以分为Patient,Study,Series和Image四层，每个信息(IE，Information entity)由“键-值”(Tag，Value)组合存储，通过解析Tag定位到脑部信息才可由DICOM档案转为HU值影像，再经过通道预处理得到上述脑CT影像信息，具体为将脑CT的HU值影像图依据全窗(值域为0-4096)、脑窗(40,120)、骨窗(450,2000)三种窗宽窗位转为三通道灰度影像值。
进一步的，如图3所示，上述步骤202具体包括：
步骤2021，将获取到的脑CT影像信息输入到训练好的ResNet卷积神经网络，提取所述脑CT影像的特征图。
在本实施例中，可以选择标准的卷积神经网络(通常来说是ResNet50和ResNet101)经过训练后作为特征提取器，该卷积神经网络的底层检测的是低级特征(边缘和角等)，较高层检测的是更高级的特征(汽车、人、天空等)。将上述通道预处理后的脑CT影像数据输入到上述标准的训练好的卷积神经网络的输入层，经过卷积计算、池化降维和全连接分类后得到该影像的特征图，并将该特征图将作为下一步骤的输入数据。
进一步的，如图4所示，上述步骤203具体包括：
步骤2031，获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作。
在本实施例中，首先通过区域生成网络(RPN)为上述特征图上的每一个像素点生成9种锚点anchor，这9种初始anchor可以包含三种面积(128×128，256×256，512×512)，每种面积又可以包含三种长宽比(1:1，1:2，2:1)。对于生成的anchor，RPN第一是判断anchor是前景还是背景，即判断这个anchor到底有没有覆盖目标，第二是为属于前景的anchor进行第一次坐标修正，从而得到每一个像素点的候选框。然后根据得到的候选框再回到特征图上进行特征选中，将实例通过候选框标注出来。
步骤2032，将进行候选框对齐操作后的特征图输入到全连接层网络，得到特征图的实例类别的语义信息和实例像素级的位置信息。
其中，全连接层(fully connected layers，FC)在神经网络中起到“分类器”的作用，可以整合卷积层或者池化层中具有类别区分性的局部信息。例如在卷积神经网络中，如在CNN中，全连接层常出现在最后几层，卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。
在本实施例中，将上述经过候选框对齐后获得的候选框标注出来的实例输入全连接层网络，进行候选框分类后得到实例的语义信息(即实例的类别标签)，然后进行候选框回归(进一步精调候选框的位置和尺寸)得到实例的像素级位置信息(包括实例像素点及像素点在特征图上的坐标)。
进一步的，在步骤2031之后、步骤2032之前，还可以包括：
步骤20311，通过全卷积神经网络为每一个候选框对齐操作后的像素点生成掩码，将实例分割出来。
在本实施例中，通过一个包含全卷积神经网络(FCN)的mask(掩码)神经网络分支来为每一个候选框对齐操作后的像素点逐像素生成实例掩码，从而可以分割出特征图上不同的实例。其中，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图上进行逐像素分类。
进一步的，如图5所示，上述步骤204具体包括：
步骤2041，将实例类别的语义信息和实例像素级的位置信息联合输入到分层神经网络的卷积层再次提取特征。
其中，全连接层(fully connected layers，FC)在神经网络中起到“分类器”的作用，可以整合卷积层或者池化层中具有类别区分性的局部信息。在本实施例中，分层网络的卷积层可以用来对输入网络的实例的联合信息(即实例类别的语义信息和实例像素级的位置信息)进行卷积和池化操作，进行二次特征提取，从而得到实例的高度可分的局部特征，便于对脑CT影像准确分层。
步骤2042，将分层神经网络的卷积层提取到的特征输入到分层神经网络的全连接层进行分类，得到所述脑CT影像的分层结果并输出。
在本发明实施例中，将上述二次特征提取得到的局部特征输入给全连接层进行特征组合后再经过该层的softmax逻辑回归进行分类和预测，也就是几个类别和对应的概率，其中概率最大的那个类别即是脑CT影像分层的结果然后将结果输出，具体而言，对于脑CT影像图，可以获得该影像显示的是大脑的哪一层，如颅底蝶鞍层、鞍上池层、侧脑室顶部层等。
需要说明的是，上述脑切割卷积神经网络及分层神经网络需要预训练好，即构建好神经网络模型后向模型输入训练数据集使模型的输出符合预期或误差尽可能小。其中，需要对获取到的脑CT影像样本数据集进行预处理，例如正例负例采样、过滤等，在本实施例中，得到脑CT影像数据后会应用交叉验正，将样本数据分为四分，利用其中三份训练一份测试，可以将测试集中明显差异的样本剃除，过滤后的样本数据集为真正的训练数据，然后输入到上述脑切割卷积神经网络及分层神经网络进行预训练和验证。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图6，作为对上述图2所示基于神经网络的脑组织分层方法的实现，本申请提供了一种基于神经网络的脑组织分层装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例所述的基于神经网络的脑组织分层装置300包括：第一获取模块301、提取模块302、第二获取模块303、输出模块304。其中：
第一获取模块301，用于获取脑CT的影像信息；
提取模块302，用于通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；
第二获取模块303，用于将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；
输出模块304，用于将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果。
在本实施例的一些可选的实现方式中，上述装置300还包括：
预处理模块305，用于将脑CT图进行通道预处理得到脑CT影像信息。
本申请实施例提供的基于神经网络的脑组织分层装置能够实现图2至图5的方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是，图中仅示出了具有组件71-73的计算机设备7，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器71至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器71可以是所述计算机设备7的内部存储单元，例如该计算机设备7的硬盘或内存。在另一些实施例中，所述存储器71也可以是所述计算机设备7的外部存储设备，例如该计算机设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器71还可以既包括所述计算机设备7的内部存储单元也包括其外部存储设备。本实施例中，所述存储器71通常用于存储安装于所述计算机设备7的操作系统和各类应用软件，例如基于神经网络的脑组织分层方法的程序代码等。此外，所述存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器72在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制所述计算机设备7的总体操作。本实施例中，所述处理器72用于运行所述存储器71中存储的程序代码或者处理数据，例如运行所述基于神经网络的脑组织分层方法的程序代码。
所述网络接口73可包括无线网络接口或有线网络接口，该网络接口73通常用于在所述计算机设备7与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于神经网络的脑组织分层程序，所述基于神经网络的脑组织分层程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于神经网络的脑组织分层方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (9)
1.一种基于神经网络的脑组织分层方法，其特征在于，包括：
获取脑CT的影像信息；
通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；
将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；
将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果；
其中，所述将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息的步骤具体包括：
获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作；
将进行候选框对齐操作后的特征图输入到全连接层网络，得到特征图的实例类别的语义信息和实例像素级的位置信息；
其中，所述获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作的步骤具体包括：
通过区域生成网络为所述特征图上的每一个像素点生成9种锚点；其中，这9种初始锚点包含三种面积，每种面积包含三种长宽比；
对于生成的锚点，区域生成网络第一是判断anchor是前景还是背景，即判断这个锚点到底有没有覆盖目标，第二是为属于前景的锚点进行第一次坐标修正，从而得到每一个像素点的候选框；
根据得到的候选框再回到特征图上进行特征选中，将实例通过候选框标注出来。
2.如权利要求1所述的方法，其特征在于，在所述获取脑CT的影像信息的步骤之前，还包括步骤：
将脑CT图进行通道预处理得到脑CT影像信息。
3.如权利要求1所述的方法，其特征在于，所述通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图的步骤具体包括：
将获取到的脑CT影像信息输入到训练好的ResNet卷积神经网络，提取所述脑CT影像的特征图。
4.如权利要求1所述的方法，其特征在于，在所述获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作的步骤之后，还包括步骤：
通过全卷积神经网络为每一个候选框对齐操作后的像素点生成掩码，将实例分割出来。
5.如权利要求1所述的方法，其特征在于，所述将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果的步骤具体包括：
将实例类别的语义信息和实例像素级的位置信息联合输入到分层神经网络的卷积层再次提取特征；
将分层神经网络的卷积层提取到的特征输入到分层神经网络的全连接层进行分类，得到所述脑CT影像的分层结果并输出。
6.一种基于神经网络的脑组织分层装置，其特征在于，包括：
第一获取模块，用于获取脑CT的影像信息；
提取模块，用于通过预训练好的脑切割卷积神经网络提取所述脑CT影像信息的特征，得到所述脑CT影像的特征图；
第二获取模块，用于将所述脑CT影像的特征图进行候选框对齐操作之后获取实例类别的语义信息和实例像素级的位置信息；
输出模块，用于将所述实例类别的语义信息和实例像素级的位置信息输入到预训练好的分层神经网络，输出所述脑CT影像的分层结果；
其中，所述第二获取模块具体用于：
获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作；
将进行候选框对齐操作后的特征图输入到全连接层网络，得到特征图的实例类别的语义信息和实例像素级的位置信息；
其中，所述获取脑CT影像的特征图上每一个像素点的候选框并对获取到的候选框进行候选框对齐操作包括：
通过区域生成网络为所述特征图上的每一个像素点生成9种锚点；其中，这9种初始锚点包含三种面积，每种面积包含三种长宽比；
对于生成的锚点，区域生成网络第一是判断anchor是前景还是背景，即判断这个锚点到底有没有覆盖目标，第二是为属于前景的锚点进行第一次坐标修正，从而得到每一个像素点的候选框；
根据得到的候选框再回到特征图上进行特征选中，将实例通过候选框标注出来。
7.如权利要求6所述装置，其特征在于，在所述第一获取模块之前还包括：
预处理模块，用于将脑CT图进行通道预处理得到脑CT影像信息。
8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于神经网络的脑组织分层方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于神经网络的脑组织分层方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909092.8A CN110827236B (zh) | 2019-09-25 | 2019-09-25 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
| PCT/CN2020/098936 WO2021057148A1 (zh) | 2019-09-25 | 2020-06-29 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910909092.8A CN110827236B (zh) | 2019-09-25 | 2019-09-25 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827236A CN110827236A (zh) | 2020-02-21 |
| CN110827236B true CN110827236B (zh) | 2024-04-05 |
Family
ID=69548241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910909092.8A Active CN110827236B (zh) | 2019-09-25 | 2019-09-25 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110827236B (zh) |
| WO (1) | WO2021057148A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827236B (zh) * | 2019-09-25 | 2024-04-05 | 平安科技（深圳）有限公司 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
| CN111754520B (zh) * | 2020-06-09 | 2023-09-15 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
| CN112102239B (zh) * | 2020-08-10 | 2024-05-21 | 北京工业大学 | 一种用于全层脑ct图像的图像处理方法及系统 |
| CN113768528A (zh) * | 2021-09-26 | 2021-12-10 | 华中科技大学 | 一种ct影像脑出血辅助定位系统 |
| CN115953345B (zh) * | 2023-03-09 | 2023-06-02 | 同心智医科技(北京)有限公司 | 脑出血医学图像的病变合成方法、装置及存储介质 |
| CN116342603B (zh) * | 2023-05-30 | 2023-08-29 | 杭州脉流科技有限公司 | 获得动脉输入函数的方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10303979B2 (en) * | 2016-11-16 | 2019-05-28 | Phenomic Ai Inc. | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| US20190139216A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Healthcare Gmbh | Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning |
| CN109493330A (zh) * | 2018-11-06 | 2019-03-19 | 电子科技大学 | 一种基于多任务学习的细胞核实例分割方法 |
| CN110060244B (zh) * | 2019-04-15 | 2023-07-14 | 深圳市麦迪普科技有限公司 | 基于深度学习神经网络的细胞检测与分割的系统和方法 |
| CN110263656B (zh) * | 2019-05-24 | 2023-09-29 | 南方科技大学 | 一种癌细胞识别方法、装置和系统 |
| CN110827236B (zh) * | 2019-09-25 | 2024-04-05 | 平安科技（深圳）有限公司 | 基于神经网络的脑组织分层方法、装置、计算机设备 |
-
2019
- 2019-09-25 CN CN201910909092.8A patent/CN110827236B/zh active Active
-
2020
- 2020-06-29 WO PCT/CN2020/098936 patent/WO2021057148A1/zh active Application Filing
Non-Patent Citations (2)
| Title |
|---|
| "Mask R-CNN";He Kaiming等;《2017 IEEE International Conference on Computer Vission》;第2980-2987页 * |
| "基于深度学习的心室核磁共振图像分割研究与应用";尹航;《中国优秀硕士学位论文全文数据库信息科技辑，第9期》;I138-812 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021057148A1 (zh) | 2021-04-01 |
| CN110827236A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
| US10482603B1 (en) | Medical image segmentation using an integrated edge guidance module and object segmentation network | |
| JP6843086B2 (ja) | 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体 | |
| CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| US10936919B2 (en) | Method and apparatus for detecting human face | |
| Wells et al. | Artificial intelligence in dermatopathology: Diagnosis, education, and research | |
| JP2022505775A (ja) | 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム | |
| CN112262395A (zh) | 基于注释信息的分类 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN112368712A (zh) | 基于注释信息的分类和定位 | |
| CN112396613B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN111160569A (zh) | 基于机器学习模型的应用开发方法、装置及电子设备 | |
| CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
| WO2020190480A1 (en) | Classifying an input data set within a data category using multiple data recognition tools | |
| CN111199541A (zh) | 图像质量评价方法、装置、电子设备及存储介质 | |
| CN112330624A (zh) | 医学图像处理方法和装置 | |
| Ghosh et al. | Automated detection and classification of pavement distresses using 3D pavement surface images and deep learning | |
| Lin et al. | An analysis of English classroom behavior by intelligent image recognition in IoT | |
| Xu et al. | A novel image edge smoothing method based on convolutional neural network | |
| CN114332553A (zh) | 图像处理方法、装置、设备以及存储介质 | |
| CN112613425A (zh) | 一种面向小样本水下图像的目标识别方法及系统 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN111275035B (zh) | 一种识别背景信息的方法及系统 | |
| CN113516182A (zh) | 视觉问答模型训练、视觉问答方法和装置 | |
| CN111291829A (zh) | 一种精选图片的自动确定方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40019666 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |