CN113077418A - 基于卷积神经网络的ct影像骨骼分割方法及装置 - Google Patents
基于卷积神经网络的ct影像骨骼分割方法及装置 Download PDFInfo
- Publication number
- CN113077418A CN113077418A CN202110290523.4A CN202110290523A CN113077418A CN 113077418 A CN113077418 A CN 113077418A CN 202110290523 A CN202110290523 A CN 202110290523A CN 113077418 A CN113077418 A CN 113077418A
- Authority
- CN
- China
- Prior art keywords
- feature output
- feature
- graph
- map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000011176 pooling Methods 0.000 claims abstract description 97
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 78
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 239000002131 composite material Substances 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 139
- 230000004913 activation Effects 0.000 claims description 75
- 150000001875 compounds Chemical class 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000013329 compounding Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 73
- 238000004364 calculation method Methods 0.000 description 24
- 238000011084 recovery Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了基于卷积神经网络的CT影像骨骼分割方法及装置,涉及计算机视觉、深度学习技术领域。所述方法包括:获取CT影像数据输入至骨骼识别模型中;所述CT影像数据经卷积操作处理后得到特征输出图C1;对特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN;所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,获取特征输出图PL;多个特征输出图PL进行堆叠操作得到融合特征PF1;所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;将融合特征PF2进行卷积操作后,获取分割图S。本申请能够准确并快速的将CT影像进行骨骼分割,节约了时间成本,对GPU要求也不高。
Description
技术领域
本发明涉及计算机视觉、深度学习技术领域,具体涉及基于卷积神经网络的CT影像骨骼分割方法及装置。
背景技术
CT影像自动去骨是医生对患者CT影像评估中一个重要步骤,在CT影像中骨骼会影响医生对血管疾病的判断。目前骨骼分割方式是通过传统数字图像处理中的方法实现,即先确定出阈值,再对图像进行二值分割等。该种方式只有在特殊情况下分割结果较为理想,在血管分布密集时分割结果并不精准。
现有技术中CT图像去骨一般采用两次CT扫描,一次是正常CT扫描,第二次为造影CT扫描,将骨骼用造影剂标记得到标记后的CT图像。将两次图像做相减处理,得到去骨后的图像。但在医生查阅患者CT影像时,由于血液和骨骼在CT影像中的显示较为相近,使用传统数字图像处理的方法将骨骼和血液分离的效果并不理想。而现有的深度学习方法计算速度慢,无法在短时间内做到快速分割。考虑到大型网络对GPU也有一定要求,故会导致成本高等问题出现。
发明内容
针对现有技术存在上述问题,本申请提供一种基于卷积神经网络的CT影像骨骼分割方法及装置,其能够准确并快速的将CT影像进行骨骼分割,节约了时间成本,对GPU要求也不高。
为实现上述目的,本发明提供一种基于卷积神经网络的CT影像骨骼分割方法,该方法包括:
获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:
所述CT影像数据经卷积操作处理后得到特征输出图C1;
对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
优选地,还包括:使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。
优选地,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,具体为:
将所述特征输出图C1输入至瓶颈模块B1,经所述瓶颈模块B1复合操作处理后得到特征输出图C2;
将所述特征输出图C2输入至瓶颈模块B2,经所述瓶颈模块B2复合操作处理后得到特征输出图C3;
……
将所述特征输出图CN-1输入至瓶颈模块BN-1,经所述瓶颈模块BN-1复合操作处理后得到特征输出图CN。
优选地,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。
优选地,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。
优选地,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,具体为:
将所述特征输出图CN+1输入到池化核A1进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P1;
所述特征输出图P1进行卷积操作处理后得到特征输出图P1’;
所述特征输出图P1’进行双线性插值操作,所述双线性插值操作将特征输出图P1’恢复成与特征输出图CN+1尺寸一致的特征图PL1’;
将所述特征输出图CN+1输入到池化核A2进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P2;
所述特征输出图P2进行卷积操作处理后得到特征输出图P2’;
所述特征输出图P2’进行双线性插值操作,所述双线性插值操作将特征输出图P2’恢复成与特征输出图CN+1尺寸一致的特征图PL2’;
将所述特征输出图CN+1输入到池化核A3进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P3;
所述特征输出图P3进行卷积操作处理后得到特征输出图P3’;
所述特征输出图P3’进行双线性插值操作,所述双线性插值操作将特征输出图P3’恢复成与特征输出图CN+1尺寸一致的特征图PL3’。
优选地,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
将所述特征输出图CN+1输入到池化核A4进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P4;
所述特征输出图P4进行卷积操作处理后得到特征输出图P4’;
所述特征输出图P4’进行双线性插值操作,所述双线性插值操作将特征输出图P4’恢复成与特征输出图CN+1尺寸一致的特征图PL4’。
优选地,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
将所述特征输出图CN+1输入到池化核A5进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P5;
所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;
所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图CN+1尺寸一致的特征图PL5’。
优选地,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。
本发明还提供一种基于卷积神经网络的CT影像骨骼分割装置,该装置包括:
影像数据获取模块,获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;
特征图C1获取模块,所述CT影像数据经卷积操作处理后得到特征输出图C1;
特征图CN获取模块,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
特征图CN+1获取模块,所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
特征图PL获取模块,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
特征PF1获取模块,多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
特征PF2获取模块,所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
分割结果获取模块,将融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
经由上述方案可知,本申请提供的基于卷积神经网络的CT影像骨骼分割方法及装置,通过足够的数据量以及参数量,使得骨骼识别模型可以学习到更加复杂以及更高维度的特征。深度可分离卷积层的引入,在保证模型复杂度的同时减小了参数量。本发明在能够保持特征学习的同时提升了运行速度;增加多尺度特征融合操作,能够让骨骼识别模型深度学习到不同尺度的CT影像骨骼特征;由此使得骨骼识别模型准确率高、骨骼分割速度快,节约了时间成本,对GPU要求也不高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法流程示意图;
图2为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法原理图;
图3为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割系统结构框图;
图4为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割的电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在三维医学影像的分割中,由于骨骼区域在CT影像中的信号强度值较高,而其它软组织的信号强度值一般均低于骨骼的信号强度值,常规基于阈值分割的方法普遍被用于骨骼分割。但是,临床上CT的骨骼信号强度分布并不总是高于其它组织,某些骨骼区域的信号强度值甚至接近于软组织信号强度值,若选用固定的阈值就会出现“过分割”和“欠分割”现象。因此,常规的阈值分割方法很难满足临床上对骨骼精准分割效果的要求。图1为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割方法流程示意图,本实施例可适用于CT影像需要骨骼分割的情况,该方法可以由基于卷积神经网络的CT影像骨骼分割装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于计算机设备中。如图1所示,本实施例的方法具体包括:
S1.获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;
获取CT影像属性信息,读取原始影像,显示CT影像尺寸(即显示出影像的分辨率,例如大小为512X512),Spacing信息;背景标注为0,骨骼标注为1。在CT影像中非骨骼位置即为背景数据,骨骼位置即为骨骼数据。所述骨骼识别模型训练方式如步骤2-8所示。
S2.所述CT影像数据经卷积操作处理后得到特征输出图C1;
将CT影像X进行卷积操作,利用计算机经卷积操作处理后得到特征输出图C1(X)。卷积操作就是图像处理时,给定输入图像,输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素。特征输出图为经过卷积操作后得到的图片。
S3.对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X),再将特征输出图C2(X)瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X),重复此操作直至获得特征输出图CN(X);所述复合操作由瓶颈模块内的不同层进行处理。
对于CT影像,需要获取病变位置和正常位置对比的全局信息,也需要获取某些特征区域的局部信息。同时网络参数不宜过多,容易造成过拟合。故N值可以取4-8之间的整数,N的数值越小说明该特征图所具备的特征信息少,N值小于4时特征图所包含的特征大多数为位置特征,N值为4-8时就同时兼备影像的位置特征和细节特征,经试验得出N值取8效果最佳。当N值取8时,C1-C8采用的是对称结构,C1-C4对图像采用下采样。C5-C8对图像采用上采样,添加了很多特征通道,允许更多的原影像纹理的信息在高分辨率的层中进行传播。4次上采样也使得分割图恢复边缘等信息更加精细。对于CT影像每个尺度的信息都很重要,这种结构可以实现不同尺度下特征的融合,提高模型的结果精确度。
S4.所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
利用计算机将更新后的特征输出图CN(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图CN+1(X)。
S5.将所述特征输出图CN+1(X)输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
所述多个池化核为3-5个不同大小的池化核;平均池化操作是将特征图所有像素值相加求平均,得到一个数值,即用该数值表示对应特征图;进行了平均池化操作后即为压缩;双线性插值,又称为双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值;特征图PL是由所选池化核的种类决定的。池化层主要用于特征降维,压缩数据和参数的数量,减少过拟合,同时提高模型的容错性。最常用的池化核的大小为2×2,对图像进行下采样,可以将其中大部分激活信息都丢掉,选择其中最大的特征信息保留下来,去除一些噪音信息。
S6.多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
利用计算机将特征输出图进行堆叠得到融合特征PF1(X)。堆叠操作是将多个特征图堆叠成一个特征图;进行堆叠操作这个过程称之为融合特征。
S7.所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
利用计算机将融合特征PF1(X)与特征输出图CN+1(X)进行堆叠操作,得到融合特征PF2(X)。
S8.将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
利用计算机将特征PF2(X)进行卷积操作,利用计算机进行卷积操作后得到与输入CT图像尺寸一致的分割图S(X)。
本申请实施例提供的一种基于卷积神经网络的CT影像骨骼分割方法,通过足够的数据量以及参数量,使得骨骼识别模型可以学习到更加复杂以及更高维度的特征。通过步骤S1-S8训练使得骨骼识别模型准确率高、骨骼分割速度快,节约了时间成本,对GPU要求也不高。
在一种可能的实现方式中,还可以包括使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。
交叉熵损失函数交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布间的差异性;原图数据标注指的是标注好背景数据、骨骼数据的图。反向传播更新参数是通过已经标注好的图与网络的预测图,让网络去更新现存的网络参数;多轮的反向传播结束后即为收敛;模型参数指的是进行骨骼预测所需要的参数。
在一种可能的实现方式中,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,当N为4时,具体实施方式为:
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);
利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);
利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)。
当N为5时,具体实施方式为:
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);
利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);
利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X);
利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X)。
当N为6时,具体实施方式为:
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);
利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);
利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)
利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);
利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X)。
当N为7时,具体实施方式为:
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);
利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);
利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)
利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);
利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X);
利用计算机将更新后的特征输出图C6(X)输入三个组合后的瓶颈模块B6,利用计算机经瓶颈模块B6复合操作处理后得到特征输出图C7(X);
当N为8时,参见图2,具体实施方式为:
利用计算机将更新后的特征输出图C1(X)输入瓶颈模块B1,利用计算机经瓶颈模块B1复合操作处理后得到特征输出图C2(X);
利用计算机将更新后的特征输出图C2(X)输入两个组合后的瓶颈模块B2,利用计算机经瓶颈模块B2复合操作处理后得到特征输出图C3(X);
利用计算机将更新后的特征输出图C3(X)输入三个组合后的瓶颈模块B3,利用计算机经瓶颈模块B3复合操作处理后得到特征输出图C4(X)
利用计算机将更新后的特征输出图C4(X)输入四个组合后的瓶颈模块B4,利用计算机经瓶颈模块B4复合操作处理后得到特征输出图C5(X);
利用计算机将更新后的特征输出图C5(X)输入三个组合后的瓶颈模块B5,利用计算机经瓶颈模块B5复合操作处理后得到特征输出图C6(X);
利用计算机将更新后的特征输出图C6(X)输入三个组合后的瓶颈模块B6,利用计算机经瓶颈模块B6复合操作处理后得到特征输出图C7(X)
利用计算机将更新后的特征输出图C7(X)输入瓶颈模块B7,利用计算机经瓶颈模块B7复合操作处理后得到特征输出图C8(X)。
上述组合后的瓶颈模块,即为对应个数的相同瓶颈模块串联。
在一种可能的实现方式中,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。
在一种可能的实现方式中,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B1由一个模块构成,即卷积层、ReLU6激活函数层、步长为1的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为1的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B2由两个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B3由三个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B4由四个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B5由三个相同模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述瓶颈模块B6由三个相同的模块构成,每个模块包括卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
所述的瓶颈模块B7由一个模块构成,即卷积层、ReLU6激活函数层、步长为2的深度可分离卷积层、ReLU6激活函数层、卷积层、Linear激活函数层依次顺序串联构成,CT影像X依次经过卷积层处理、经ReLU6激活函数层计算、经步长为2的深度可分离卷积进行二次卷积处理、经ReLU6激活函数层二次计算、经过卷积层三次卷积处理、经过Linear激活函数层三次计算。
在一种可能的实现方式中,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,具体可以为:
利用计算机将特征输出图CN+1(X)输入到池化核A1进行平均池化操作,压缩特征图CN+1(X),得到更新后的特征输出图P1(X);
将更新后的特征输出图P1(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P1’(X);
利用计算机将特征输出图P1’(X)进行双线性插值操作,所述双线性插值操作将特征输出图P1’(X)恢复成与特征图CN+1(X)尺寸一致的特征图PL1’(X);
利用计算机将特征输出图CN+1(X)输入到池化核A2进行平均池化操作,压缩特征图CN+1(X),得到更新后的特征输出图P2(X)。
将更新后的特征输出图P2(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P2’(X)
利用计算机将特征输出图PC2’(X)进行双线性插值操作,双线性插值操作将特征输出图PL2’(X)恢复成与特征图CN+1(X)尺寸一致的特征图PL2’(X);
利用计算机将特征输出图CN+1(X)输入到池化核A3进行平均池化操作,压缩特征图CN+1(X),得到更新后的特征输出图P3(X)。
将更新后的特征输出图P3(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P3’(X)
利用计算机将特征输出图P3’(X)进行双线性插值操作,双线性插值操作将特征输出图P3’(X)恢复成与特征图CN+1(X)尺寸一致的特征图PL3’(X)。
经试验得知池化核小于3个,丢弃特征信息的特征图对比不明显,或者丢弃的过多,或者丢弃的过少。
在一种可能的实现方式中,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
利用计算机将特征输出图CN+1(X)输入到池化核A4进行平均池化操作,压缩特征图CN+1(X),得到更新后的特征输出图P4(X);
将更新后的特征图输出图P4(X)进行卷积操作,利用计算机经卷积操作处理后得到特征输出图P4’(X);
利用计算机将特征图输出图P4’(X)进行双线性插值操作,双线性插值操作将特征图P4’(X)恢复成与输入CT图像尺寸一致的特征图PL4’(X)。
使用多种池化核进行对比发现,采用池化核的大小为1×1;池化核的大小为2×2;池化核的大小为3×3;池化核的大小为6×6四种,效果最佳。
在一种可能的实现方式中,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
将所述特征输出图CN+1输入到池化核A5进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P5;
所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;
所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图CN+1尺寸一致的特征图PL5’。
经试验得知池化核大于5个,可能造成过冗余。
在一种可能的实现方式中,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。
在CT图像的医学诊断中,由于骨骼和血液的CT图像较为接近,故利用传统数字图像处理的手段很难做到骨骼与血液的分离。利用计算机深度学习的方法处理时间又太长,很难满足医院短时、大量处理图像的要求。利用大型网络可以解决以上问题,但又面临GPU成本高的问题。
图3为本申请实施例提供的一种基于卷积神经网络的CT影像骨骼分割装置,该装置可以包括:影像数据获取模块11、特征图C1获取模块12、特征图CN获取模块13、特征图CN+1获取模块14、特征图PL获取模块15、特征PF1获取模块16、特征PF2获取模块17、分割结果获取模块18;其中:
影像数据获取模块11,获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;
特征图C1获取模块12,所述CT影像数据经卷积操作处理后得到特征输出图C1;
特征图CN获取模块13,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
特征图CN+1获取模块14,所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
特征图PL获取模块15,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
特征PF1获取模块16,多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
特征PF2获取模块17,所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
分割结果获取模块18,将融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
本申请实施例提供的基于卷积神经网络的CT影像骨骼分割装置,通过用mobileNET_V2和PSPNET两个轻量级网络组合使用为CT影像做自动去骨处理,这两个轻量级网络的组合效果能够最大程度上保证去骨精度,同时因为网络复杂度低,大大节约了时间成本,对GPU要求也不高。
在一种可能的实现方式中,还包括:
判断模块,使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。
在一种可能的实现方式中,特征图CN获取模块13内具体实现方式为:
将所述特征输出图C1输入至瓶颈模块B1,经所述瓶颈模块B1复合操作处理后得到特征输出图C2;
将所述特征输出图C2输入至瓶颈模块B2,经所述瓶颈模块B2复合操作处理后得到特征输出图C3;
……
将所述特征输出图CN-1输入至瓶颈模块BN-1,经所述瓶颈模块BN-1复合操作处理后得到特征输出图CN。
在一种可能的实现方式中,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。
在一种可能的实现方式中,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。
在一种可能的实现方式中,特征图PL获取模块,包括为:
特征图P1获取模块,将所述特征输出图CN+1输入到池化核A1进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P1;
特征图P1’获取模块,所述特征输出图P1进行卷积操作处理后得到特征输出图P1’;
特征图P1’尺寸恢复模块,所述特征输出图P1’进行双线性插值操作,所述双线性插值操作将特征输出图P1’恢复成与特征输出图CN+1尺寸一致的特征图PL1’;
特征图P2获取模块,将所述特征输出图CN+1输入到池化核A2进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P2;
特征图P2’获取模块,所述特征输出图P2进行卷积操作处理后得到特征输出图P2’;
特征图P2’尺寸恢复模块,所述特征输出图P2’进行双线性插值操作,所述双线性插值操作将特征输出图P2’恢复成与特征输出图CN+1尺寸一致的特征图PL2’;
特征图P3获取模块,将所述特征输出图CN+1输入到池化核A3进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P3;
特征图P3’获取模块,所述特征输出图P3进行卷积操作处理后得到特征输出图P3’;
特征图P3’尺寸恢复模块,所述特征输出图P3’进行双线性插值操作,所述双线性插值操作将特征输出图P3’恢复成与特征输出图CN+1尺寸一致的特征图PL3’。
在一种可能的实现方式中,特征图PL获取模块,还包括为:
特征图P4获取模块,将所述特征输出图CN+1输入到池化核A4进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P4;
特征图P4’获取模块,所述特征输出图P4进行卷积操作处理后得到特征输出图P4’;
特征图P4’尺寸恢复模块,所述特征输出图P4’进行双线性插值操作,所述双线性插值操作将特征输出图P4’恢复成与特征输出图CN+1尺寸一致的特征图PL4’。
在一种可能的实现方式中,特征图PL获取模块,还包括为:
特征图P5获取模块,将所述特征输出图CN+1输入到池化核A5进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P5;
特征图P5’获取模块,所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;
特征图P5’尺寸恢复模块,所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图CN+1尺寸一致的特征图PL5’。
在一种可能的实现方式中,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。
图4为本申请实施例提供的基于卷积神经网络的CT影像骨骼分割的电子设备结构示意图。该电子设备可以包括:至少一个处理器41,至少一个通信接口42,至少一个存储器43和至少一个通信总线44;且处理器41、通信接口42、存储器43通过通信总线44完成相互间的通信;
处理器41可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific IntegratedCircuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器43可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:
所述CT影像数据经卷积操作处理后得到特征输出图C1;
对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN;
所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述基于卷积神经网络的CT影像骨骼分割方法。其中,可读介质中存储的程序被处理器执行时,可以使处理器主要实现如下方法:
获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:
所述CT影像数据经卷积操作处理后得到特征输出图C1;
对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN;
所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
本实施例提出的可读存储介质与上述的基于卷积神经网络的CT影像骨骼分割方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。
对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.基于卷积神经网络的CT影像骨骼分割方法,其特征在于,该方法包括:
获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;所述骨骼识别模型训练方式为:
所述CT影像数据经卷积操作处理后得到特征输出图C1;
对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
将所述融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
2.根据权利要求1所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,还包括:使用交叉熵损失函数获取分割图S与原图数据标注之间的损失,利用Adam优化器对骨骼识别模型进行反向传播更新参数,若骨骼识别模型已经收敛则保存模型参数,否则继续训练。
3.根据权利要求1所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,具体为:
将所述特征输出图C1输入至瓶颈模块B1,经所述瓶颈模块B1复合操作处理后得到特征输出图C2;
将所述特征输出图C2输入至瓶颈模块B2,经所述瓶颈模块B2复合操作处理后得到特征输出图C3;
……
将所述特征输出图CN-1输入至瓶颈模块BN-1,经所述瓶颈模块BN-1复合操作处理后得到特征输出图CN。
4.根据权利要求3所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,每个瓶颈模块均包括卷积层和激活函数层;所述卷积层用于提供线性特征,所述激活函数层用于加入非线性因素。
5.根据权利要求3所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,每个瓶颈模块由两个或三个或四个相同模块构成,所述模块包括次顺序串联的卷积层a、ReLU6激活函数层a、步长为1或2的深度可分离卷积层、ReLU6激活函数层b、卷积层b、Linear激活函数层,CT影像依次经过卷积层a处理、经ReLU6激活函数层a计算、经步长为1或2的深度可分离卷积层进行二次卷积处理、经ReLU6激活函数层b二次计算、经过卷积层b三次卷积处理、经过Linear激活函数层三次计算。
6.根据权利要求1所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,具体为:
将所述特征输出图CN+1输入到池化核A1进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P1;
所述特征输出图P1进行卷积操作处理后得到特征输出图P1’;
所述特征输出图P1’进行双线性插值操作,所述双线性插值操作将特征输出图P1’恢复成与特征输出图CN+1尺寸一致的特征图PL1’;
将所述特征输出图CN+1输入到池化核A2进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P2;
所述特征输出图P2进行卷积操作处理后得到特征输出图P2’;
所述特征输出图P2’进行双线性插值操作,所述双线性插值操作将特征输出图P2’恢复成与特征输出图CN+1尺寸一致的特征图PL2’;
将所述特征输出图CN+1输入到池化核A3进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P3;
所述特征输出图P3进行卷积操作处理后得到特征输出图P3’;
所述特征输出图P3’进行双线性插值操作,所述双线性插值操作将特征输出图P3’恢复成与特征输出图CN+1尺寸一致的特征图PL3’。
7.根据权利要求6所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
将所述特征输出图CN+1输入到池化核A4进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P4;
所述特征输出图P4进行卷积操作处理后得到特征输出图P4’;
所述特征输出图P4’进行双线性插值操作,所述双线性插值操作将特征输出图P4’恢复成与特征输出图CN+1尺寸一致的特征图PL4’。
8.根据权利要求7所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL,还包括:
将所述特征输出图CN+1输入到池化核A5进行平均池化操作,压缩特征输出图CN+1,得到特征输出图P5;
所述特征输出图P5进行卷积操作处理后得到特征输出图P5’;
所述特征输出图P5’进行双线性插值操作,所述双线性插值操作将特征输出图P5’恢复成与特征输出图CN+1尺寸一致的特征图PL5’。
9.根据权利要求8所述基于卷积神经网络的CT影像骨骼分割方法,其特征在于,所述池化核A1的大小为1×1;所述池化核A2的大小为2×2;所述池化核A3的大小为3×3;所述池化核A4的大小为6×6,所述池化核A5的大小为4×4。
10.一种基于卷积神经网络的CT影像骨骼分割装置,其特征在于,该装置包括:
影像数据获取模块,获取CT影像数据输入至骨骼识别模型中,将所述CT影像数据按照背景数据、骨骼数据进行标注;
特征图C1获取模块,所述CT影像数据经卷积操作处理后得到特征输出图C1;
特征图CN获取模块,对所述特征输出图C1经瓶颈模块进行多次复合操作处理后获得特征输出图CN,N的取值为4-8;
特征图CN+1获取模块,所述特征输出图CN经卷积操作处理后得到特征输出图CN+1;
特征图PL获取模块,将所述特征输出图CN+1输入到多个池化核分别进行平均池化操作,压缩特征输出图CN+1获取特征输出图P,对所述特征输出图P进行卷积操作、双线性插值操作得到尺寸一致的特征输出图PL;
特征PF1获取模块,多个所述特征输出图PL进行堆叠操作得到融合特征PF1;
特征PF2获取模块,所述融合特征PF1与特征输出图CN+1进行堆叠操作得到融合特征PF2;
分割结果获取模块,将融合特征PF2进行卷积操作后,获取与输入CT影像尺寸一致的分割图S。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110290523.4A CN113077418A (zh) | 2021-03-18 | 2021-03-18 | 基于卷积神经网络的ct影像骨骼分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110290523.4A CN113077418A (zh) | 2021-03-18 | 2021-03-18 | 基于卷积神经网络的ct影像骨骼分割方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113077418A true CN113077418A (zh) | 2021-07-06 |
Family
ID=76613884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110290523.4A Pending CN113077418A (zh) | 2021-03-18 | 2021-03-18 | 基于卷积神经网络的ct影像骨骼分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113077418A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN114022491A (zh) * | 2021-10-27 | 2022-02-08 | 安徽医科大学 | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
CN110414585A (zh) * | 2019-07-22 | 2019-11-05 | 武汉理工大学 | 基于改进的嵌入式平台的实时颗粒物检测方法 |
CN111145181A (zh) * | 2019-12-25 | 2020-05-12 | 华侨大学 | 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 |
CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
CN111414882A (zh) * | 2019-11-07 | 2020-07-14 | 天津大学 | 一种基于多级分辨率平衡网络的红外目标检测方法 |
US20200302297A1 (en) * | 2019-03-21 | 2020-09-24 | Illumina, Inc. | Artificial Intelligence-Based Base Calling |
CN112365514A (zh) * | 2020-12-09 | 2021-02-12 | 辽宁科技大学 | 基于改进PSPNet的语义分割方法 |
-
2021
- 2021-03-18 CN CN202110290523.4A patent/CN113077418A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
US20200302297A1 (en) * | 2019-03-21 | 2020-09-24 | Illumina, Inc. | Artificial Intelligence-Based Base Calling |
CN110188598A (zh) * | 2019-04-13 | 2019-08-30 | 大连理工大学 | 一种基于MobileNet-v2的实时手部姿态估计方法 |
CN110147794A (zh) * | 2019-05-21 | 2019-08-20 | 东北大学 | 一种基于深度学习的无人车室外场景实时分割方法 |
CN110188817A (zh) * | 2019-05-28 | 2019-08-30 | 厦门大学 | 一种基于深度学习的实时高性能街景图像语义分割方法 |
CN110414585A (zh) * | 2019-07-22 | 2019-11-05 | 武汉理工大学 | 基于改进的嵌入式平台的实时颗粒物检测方法 |
CN111414882A (zh) * | 2019-11-07 | 2020-07-14 | 天津大学 | 一种基于多级分辨率平衡网络的红外目标检测方法 |
CN111145181A (zh) * | 2019-12-25 | 2020-05-12 | 华侨大学 | 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 |
CN111259905A (zh) * | 2020-01-17 | 2020-06-09 | 山西大学 | 一种基于下采样的特征融合遥感图像语义分割方法 |
CN112365514A (zh) * | 2020-12-09 | 2021-02-12 | 辽宁科技大学 | 基于改进PSPNet的语义分割方法 |
Non-Patent Citations (2)
Title |
---|
BHAKTI BAHETI等: "Semantic scene segmentation in unstructured environment with modified DeepLabV3 +", 《PATTERN RECOGNITION LETTERS》, vol. 138, 18 July 2020 (2020-07-18), pages 223 - 229, XP086293521, DOI: 10.1016/j.patrec.2020.07.029 * |
李帅: "基于深度学习的遥感图像分类技术研究", 《中国硕士学位论文全文数据库(工程科技Ⅱ辑)》, no. 2021, 15 January 2021 (2021-01-15), pages 028 - 204 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113706695B (zh) * | 2021-09-01 | 2023-06-23 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN114022491A (zh) * | 2021-10-27 | 2022-02-08 | 安徽医科大学 | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN113689402B (zh) | 基于深度学习的股骨髓腔形态识别方法、装置及存储介质 | |
CN110337669B (zh) | 一种用于多标签分割医学图像中的解剖结构的管线方法 | |
CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
CN111080660B (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
CN110298844B (zh) | X光造影图像血管分割与识别方法及装置 | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
CN109146891B (zh) | 一种应用于mri的海马体分割方法、装置及电子设备 | |
CN113077418A (zh) | 基于卷积神经网络的ct影像骨骼分割方法及装置 | |
CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
CN111091604B (zh) | 快速成像模型的训练方法、装置及服务器 | |
CN111080670A (zh) | 图像提取方法、装置、设备及存储介质 | |
CN109919954B (zh) | 目标对象的识别方法和装置 | |
CN112700460B (zh) | 图像分割方法及系统 | |
CN110880001A (zh) | 一种语义分割神经网络的训练方法、设备和存储介质 | |
CN112529918A (zh) | 一种脑部ct图像中脑室区域分割的方法、装置及设备 | |
CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与系统 | |
CN113269774A (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
CN115359046B (zh) | 一种脏器血管分割方法、装置、存储介质及电子设备 | |
CN114943670A (zh) | 医学图像的识别方法、装置、电子设备及存储介质 | |
CN116580187A (zh) | 基于人工智能的膝关节图像分割方法、装置及电子设备 | |
CN115131361A (zh) | 目标分割模型的训练、病灶分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |