CN117132616A - 一种医学图像器官分割方法、系统及病灶分类系统 - Google Patents
一种医学图像器官分割方法、系统及病灶分类系统 Download PDFInfo
- Publication number
- CN117132616A CN117132616A CN202311384494.3A CN202311384494A CN117132616A CN 117132616 A CN117132616 A CN 117132616A CN 202311384494 A CN202311384494 A CN 202311384494A CN 117132616 A CN117132616 A CN 117132616A
- Authority
- CN
- China
- Prior art keywords
- feature
- scale
- weighted
- composite
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 210000000056 organ Anatomy 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 69
- 239000002131 composite material Substances 0.000 claims abstract description 64
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 17
- 230000009901 attention process Effects 0.000 claims description 15
- 230000003902 lesion Effects 0.000 claims description 14
- 208000018650 Intervertebral disc disease Diseases 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 1
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 208000029761 vertebral disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种医学图像器官分割方法、系统及病灶分类系统,涉及医学图像处理技术领域,包括:对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,得到每个尺度下的加权特征图;对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。解决不同损失程度下病灶区域分类界限不强的问题,提高分割精度。
Description
技术领域
本发明涉及医学图像处理技术领域,特别是涉及一种医学图像器官分割方法、系统及病灶分类系统。
背景技术
目前基于深度学习的器官病灶检测方法主要分为两种:一种是基于磁共振图像(Magnetic Resonance Imaging, MRI)的病灶检测方法,另一种是基于计算机断层扫描图像(Computed Tomography, CT)的病灶检测方法。MRI图像是通过对静磁场中的人体施加某种特定频率的射频脉冲,使人体中的氢质子受到激励而发生磁共振现象。停止脉冲后,质子在弛豫过程中产生磁共振(Magnetic Resonance,MR)信号。通过对MR信号的接收、空间编码和图像重建等处理过程,即产生MR信号。CT图像是用X射线束对人体某部一定厚度的层面进行扫描,由探测器接收透过该层面的X射线,转变为可见光后,由光电转换变为电信号,再经模拟/数字转换器转为数字,输入计算机处理。
根据对图像成像原理的解释可知,在器官扫描中,MRI图像具有较高的分辨率和组织识别度,但高于CT数倍的检测价格导致数据采集成本昂贵,多数患者在医生诊断过程中会优先选择CT图像作为初期诊断的成像形式。
基于CT图像的疾病辅助诊断系统需要设计器官分割、感兴趣区域特征提取和病灶类型分类。在常用方法中,分割和分类任务主要将重心集中在网络模型构建、特征选择等方面上,特征提取常用的方法包括:基于卷积的提取方法、基于注意力机制模块的方法等。这些方法虽然可以作为通用模型得到分割分类结果,但因为对于特定任务的病灶边缘特征学习的欠缺,精度往往会很低。
腰椎间盘根据损伤程度大致分为正常、膨出、突出、脱出、游离、许莫氏结节共六类。膨出是最为常见的椎间盘突出,是由于髓核以及纤维环的退行性改变,并且有纤维环的部分碎裂或者内层纤维环破裂,单纯的髓核从该部分形成一部分突出,而外层纤维环比较完整。突出是在膨出基础上,内部纤维环劈裂的同时,外层纤维环也受挤压变形,整个髓核从纤维环破裂的地方凸出来。脱出是情况更加严重的突出的一种表现,由于外部纤维环破裂,整个髓核从纤维环破裂处流出。游离是最严重的突出表现,整个髓核被挤压出椎间盘,呈现游离状态。许莫氏结节为椎骨疾病导致的椎间盘内部挤压凹陷。
从病灶种类分类可以看出,病灶中并未含有较强的分类界限,也就是不同的损伤程度在图像表现上未有明显区分,分类界限不清楚;在腰椎部位,由于受限于公开数据集少且标记困难,以及病灶种类间的图像表现差距小等原因,对病灶部位的分割与分类提出了更高的挑战。
发明内容
为了解决上述问题,本发明提出了一种医学图像器官分割方法、系统及病灶分类系统,考虑三维空间中三个方向的特征信息,通过引入多尺度特征融合模块实现跨尺度的特征学习,解决不同损失程度下病灶区域分类界限不强的问题,以获得准确的病变预测区域,同时通过复合边界约束函数收敛到边界,以更好的约束分割结果的边界。
为了实现上述目的,本发明采用如下技术方案:
第一方面,本发明提供一种医学图像器官分割方法,包括:
获取待分割的CT医学图像;
对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
作为可选择的实施方式,提取不同方向的特征图的过程中,首先采用横截面方向、矢状面方向和冠状面方向的条卷积对对应方向的特征图进行提取;然后采用横截面方向、矢状面方向和冠状面方向的面卷积对条卷积输出的加权特征图进行不同方向的特征图的提取;其中,条卷积为将三维卷积核设置成三个维度上单独的条纹卷积,面卷积为将三维卷积核设置成三个维度上单独的面状卷积。
作为可选择的实施方式,将两种处理结果相加后得到复合加权特征的过程中,将转置通道注意力处理的结果和通道注意力处理的结果按通道维度相加并求平均后,得到复合加权特征,从而对复合加权特征从通道维度进行权重的排序,并选择具有最大权重的设定个数的通道特征。
作为可选择的实施方式,复合边界约束函数包括边界分割损失函数,具体为:
;
;
;
其中,为超参;/>为第n个像素;/>为第n个像素的类别;/>为第/>个输入图像的背景中第/>个难分类像素的预测概率;/>为第/>个输入图像的病灶中第/>个难分类像素的预测概率;/>为背景像素所在连通域的面积权重,/>为病灶像素所在连通域的面积权重,为背景中第n个像素,/>为病灶中第n个像素,/>为连通域面积,/>为常数;/>为超参。
作为可选择的实施方式,复合边界约束函数包括结构相似性损失函数,具体为:
;
其中,、/>和/>、/>分别是x和y的均值和方差,/>为x和y的协方差,x为参考图像,y为待评价图像,C1和C2均为常量。
作为可选择的实施方式,复合边界约束函数包括集合相似度损失函数,具体为:
;
其中,X表示预测值,Y表示真实值;表示两个集合对应元素点乘,然后逐元素相乘的结果相加求和。
第二方面,本发明提供一种医学图像器官分割系统,包括:
获取模块,被配置为获取待分割的CT医学图像;
池化处理模块,被配置为对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
第三方面,本发明提供一种腰椎间盘病灶分类系统,包括:
获取模块,被配置为获取待分割的腰椎间盘CT医学图像;
池化处理模块,被配置为对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
分类模块,被配置为对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
作为可选择的实施方式,在分类模块中,在分类预测时增加SE通道注意力和金字塔池化处理,具体地,在构建的分类网络的层与层间均增加SE通道注意力模块,在其中两层之间额外增加金字塔池化模块,以处理不同尺寸的池化特征,从而学习全局池化特征。
作为可选择的实施方式,将分类预测时分类网络中全局池化后的权重与各个特征层相乘并叠加,由此得到类激活图,将类激活图恢复到原图像尺寸后融合到腰椎间盘区域分割过程中,以辅助分割。
第四方面,本发明提供一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成腰椎间盘病灶分类方法,所述腰椎间盘病灶分类包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
第五方面,本发明提供一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成腰椎间盘病灶分类方法,所述腰椎间盘病灶分类包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
与现有技术相比,本发明的有益效果为:
本发明在对CT医学图像进行目标器官分割时,在分割网络的跳跃连接上串联增加了条纹池化模块、面池化模块和多尺度特征融合模块,从不同视角下,对目标器官,如腰椎间盘扁平、类圆的几何特征进行针对性学习,最大化特征利用率,解决不同损失程度下病灶区域分类界限不强的问题,以获得准确的病变预测区域,同时通过复合边界约束函数收敛到边界,以更好的约束分割结果的边界。
本发明基于分割结果进行病灶类型的分类时,通过病变位置和距离特征矩阵同进行分类预测,通过分类后构建的类激活图再融合到分割过程中,以辅助分割,实现分割与分类的协同优化,提高分割和分类精度。
本发明考虑三维空间中三个方向的特征信息,通过引入多尺度特征融合模块实现跨尺度的特征学习,提高分割结果的同时,为分类提供了更丰富的输入信息,通过混合损失函数,优化边缘学习,限制了由于空洞导致的腰椎间盘边缘,通过距离特征矩阵帮助分类任务学习更好的腰椎间盘几何形状,提高分类精度,能够广泛应用于不同目标的分割,辅助各医疗领域的诊断。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例1提供的医学图像器官分割方法流程图;
图2是本发明实施例1的条纹池化模块示意图;
图3是本发明实施例1的多尺度特征融合模块示意图;
图4是本发明实施例3的腰椎间盘病灶分类整体流程图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“包含”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示,本实施例提供一种医学图像器官分割方法,包括:
获取待分割的CT医学图像;
对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
在本实施例中,对待分割的CT医学图像进行预处理及数据增强操作;具体包括:
(1)将所有CT医学图像重采样到对应数据集的平均体素间距,以保持CT医学图像的空间语义。
假设输入d层w*h的CT医学图像,w为宽度,h为高度,则总体素个数N为N=w*h*d个,如果预分割为K个具有相同尺寸的正方体,为保证正方体的规则性,使每个正方体的大小为N/K,即S*S*S的正方体,,S为正方体的边长。
(2)将重采样后的CT医学图像裁剪到整个影像值对应百分位,利用每个模态影像的均值和标准差进行Z-score归一化;
(3)调整CT医学图像的窗宽窗位;本实施例以腰椎间盘CT医学图像为例,窗宽设置350,窗位设置40;
(4)默认去除整个序列中前后几张没有任何器官的切片(Slices);
(5)使用随机弹性形变、随机旋转、随机缩放或随机镜像的数据增强方法对CT医学图像进行数据增强。
在本实施例中,以3D-Unet网络为骨架网络构建分割网络,包括6层下采样和6层上采样,在网络的跳跃连接上串联增加了条纹池化模块、面池化模块和多尺度特征融合(Multi-scale Feature Fusion,MFF)模块,以此构建分割网络。
具体的处理流程包括:
(1)对CT医学图像提取多尺度特征,对每个尺度特征均进行以下操作;
(2)如图2所示;在条纹池化模块中,采用三种不同方向的条卷积对每个尺度特征进行不同方向特征图的提取,提取得到横截面方向特征图、矢状面方向特征图和冠状面方向特征图;并将三种不同方向特征图相加融合后,通过单位卷积降维和通过Sigmoid激活函数获得特征权重,将特征权重与输入的对应尺度下的特征相乘后得到加权特征图;
其中,在处理三维图像时,传统方法常使用正方体卷积核,但在本实施例中,结合数据特点,设计将三维卷积核设置成三个维度上的条纹卷积;例如传统卷积核为3*3*3,条纹卷积为1*1*3、1*3*1和3*1*1。
(3)在面池化模块中,采用三种不同方向的面卷积对条纹池化模块输出的加权特征图进行不同方向特征图的提取,同样包括横截面方向、矢状面方向和冠状面方向;然后将得到的三种不同方向特征图相加融合后,通过单位卷积降维和通过Sigmoid激活函数获得特征权重,再与输入的加权特征图相乘,得到最终的加权特征图;
其中,面卷积是将三维卷积核设置成三个维度上单独的面状卷积;例如传统卷积核为3*3*3,面状卷积为1*3*3、3*3*1和3*1*3。
在本实施例中,将面池化模块输出的加权特征图输入至MFF模块中,MFF模块由通道注意力(Squeeze-and-Excitation Networks,SE-Net)模块和转置通道注意力(转置SE-Net)模块构成,设置在分割网络的跳层连接处,负责融合多尺度特征,并通过权重降序排序方法筛选出权重最大的特征作为分类指导信息。
MFF模块将传统的通道注意力模块与转置通道注意力模块相结合,将输入的同一特征进行两种操作后相加,得到复合特征;本实施例构建的分割网络共使用4层跳跃连接,因此共设置4个MFF模块提取不同尺度的复合特征,再经排序选择共计16层特征图作为最终的分类指导特征。
其中,通道注意力模块通过全局平均池(GAP)和两个全连接层输入特征,获得的特征映射;其中,第一完全连接层中的神经元数量为C/16,第二完全连接层的神经元数量是C,这一优势增加了更多非线性处理,可以拟合信道之间的复杂关系;然后,在sigmoid激活函数层之后获得/>特征图;最后,将输入特征乘以/>特征图,获得不同通道重要性不同的特征图,C为通道数。
转置通道注意力模块首先将输入特征进行转置操作,获得不同于通道注意力的特征提取策略,之后与传统的通道注意力模块相似,只是在最后需要乘以惩罚系数将特征转换回原始表达形式。
如图3所示,具体过程包括:
(1)在转置通道注意力模块中,将面池化模块输出的加权特征图输入MFF模块之前,根据高度维度将特征图转换为/>;从高度维度捕获有价值的信息,以增强高度维度上的每个特征图张量;
;
其中,为转置操作,/>为面池化模块输出的加权特征图,C、H、W分别为通道数、高度和宽度。
(2)使用全局平均压缩特征图/>,以获得特征向量/>;
;
其中,i、j均为像素点,此处可表示为通道方向和宽度方向上的像素点。
(3)采用两层全连接层,降低模型复杂度,提高泛化能力;首先经过第一全连接层(其中包含激活函数)进行降维,然后通过第二全连接层恢复原尺寸的同时完成特征学习,具体表示为;
;
其中,,/>是超参数;/>表示两层全连接层操作;/>表示第一全连接层;/>表示第二全连接层。
(4)将与/>相乘,得到重新校准的转置特征图/>;
;
在转置通道注意力模块和通道注意力模块中均执行步骤(2)-步骤(4)。
(5)最后,在转置通道注意力模块中,额外采用惩罚系数应用于挤压激励后的/>,然后/>恢复到/>维度;
;
(6)将转置通道注意力模块的输出和通道注意力模块的输出/>按通道维度相加并求平均后,得到复合加权特征/>;
;
其中,为平均函数;
(7)将复合加权特征从通道维度进行权重的降序排序,每个跳层连接中的MFF模块从通道维度选择具有最大权重的四个通道特征,最后使用/>卷积核获得具有四层特征选择的特征图;
;
其中,,/>表示从通道维度选择的特征图,/>表示排序权重从大到小。
在本实施例中,通过分割网络后,得到病灶区域的分割掩码;使用最大连通域和边框回归,将每一个椎间盘单独裁切出来;使用label函数,标出二值化后图像的所有连通区域;label函数的返回值有很多的属性,包括求连通区域的面积、中心坐标、画边界框等,本实施例使用的是画边界框。
在本实施例中,采用条纹池化和面状池化从XOZ、OYZ和XYO视角下,对腰椎间盘扁平、类圆的几何特征进行针对性学习,最大化特征的利用率,解决腰椎间盘不同损失程度下病灶区域分类界限不强的问题。
对于分割任务,边界部位的分割是最为困难的,为了更好的约束分割结果的边界,本实施例设计复合边界约束函数;
;
其中,为超参数,负责调节权重。
具体地:
边界分割损失函数,利用边界点预测概率和边界点所在区域连通域面积相结合,解决目标区域内外边界分割难的问题;具体为:
;
;
;
其中,为超参,根据每批前向传播后的误差,分别对病灶和背景的像素进行排序,即选择错误最大的像素点;/>为第n个像素;/>为第n个像素的类别,等于1表示病灶,等于0表示背景;/>表示第/>个输入图像(即CT医学图像)的背景中第/>个难分类像素的预测概率;/>表示第/>个输入图像的病灶中第/>个难分类像素的预测概率;/>为背景像素所在连通域的面积权重,/>为病灶像素所在连通域的面积权重,/>为背景中第n个像素,/>为病灶中第n个像素,/>是连通域面积,/>是常数,通常设置为85,连通域面积越大,连通域的面积权重越小,反之亦然;/>为超参,控制差异,即在训练阶段严格执行/>。
结构相似性损失函数,具体为:
;
其中,、/>和/>、/>分别是x和y的均值和方差;/>为x和y的协方差;x为参考图像,y为待评价图像;C1和C2均为常量,目的是避免x和y的值接近0时不稳定。
集合相似度损失函数,用于计算两个样本的相似度,值域通常在0到1之间;具体为:
;
其中,X表示预测值,Y表示真实值(由0或1表示);表示两个集合对应元素点乘,然后逐元素相乘的结果相加求和。
实施例2
本实施例提供一种医学图像器官分割系统,包括:
获取模块,被配置为获取待分割的CT医学图像;
池化处理模块,被配置为对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
此处需要说明的是,上述模块对应于实施例1中所述的步骤,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例3
如图4所示,本实施例提供一种腰椎间盘病灶分类系统,包括:
获取模块,被配置为获取待分割的腰椎间盘CT医学图像;
池化处理模块,被配置为对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
分类模块,被配置为对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
在本实施例中,将整个三维分割结果看作一个整体,该整体由体素组成,通过基于体素的几何距离特征矩阵建立距离特征矩阵,并以病变边界到几何中心的距离作为度量;
由此,建立距离特征矩阵的过程具体包括:
(1)提取感兴趣区域中每层的边界,为每个点建立坐标系,并提供几何信息。
(2)计算分割边界体素点到其他体素的欧式距离,计算平均距离以定位中心坐标。
(3)随机下采样边缘体素点(本实施例以200个点为例),以获得每个层的边缘特征点,降低计算成本的同时,随机选择特征点有利于提升后续模型鲁棒性。
(4)计算从边缘体素点到中心坐标的欧几里德距离。
需要注意的是,未选择边缘的点使用最近邻聚类方法给出最近点距离作为特征,非边缘点(背景点和内部点)被赋予较大的距离作为异常点,从而得到距离特征矩阵。
在本实施例中,基于3D-Resnet18为主框架构建分类网络,增加SE通道注意力模块(Squeeze-and-Excitation block)和金字塔池化(Pyramid Scene Parseing,PSP)模块增加椎间盘病灶部位的特征学习,将MFF模块筛选出的特征图、裁剪后得到的腰椎间盘区域和距离特征矩阵融合后作为分类网络的输入进行分类预测。
具体地:在分类网络的层与层都增加SE通道注意力模块;在第8层与9层之间额外增加PSP模块学习全局特征。PSP模块能够聚合不同区域的上下文信息,从而提高获取全局信息的能力;融合4种不同金字塔尺度的特征,第一行为最粗糙的特征,后面三行是不同尺度的池化特征;为了保证全局特征的权重,如果金字塔共有N个级别,则在每个级别后使用的卷积将对于级别通道降为原本的1/N,再通过双线性插值获得未池化前的大小,最终连接到一起。
在本实施例中,在分类网络的输出中,共分为两个方向;第一是输出分类预测概率;第二是将全局池化后的权重与各个特征层相乘并叠加,得到类激活图(classactivation mapping,CAM);
具体地:对于最后一个卷积层的特征图经过全局平均池化之后得到一个I维的向量P,然后连接一个分类器,选取概率最大的一类作为最后的输出类别。此时P中的每一个单元与类别之间都有一个权重,/>得到了被分类概率,那每一个W就分别代表P中每一个单元值对于最后分类结果的影响;每一个单元对应特征图的一个通道,那么W反映特征图中每个通道对最后分类的影响,因此对于特征图的每个通道进行加权求和,然后将得到的图像与原图进行叠加就可以完成类激活映射。
将CAM图恢复到原始图像尺寸后融合到分割网络上采样过程中,与上采样特征融合,在上一次参数模型基础上继续训练,以达到定位感兴趣区域的作用,辅助分割网络重新学习;其中,CAM图根据包围盒定位信息将图像大小恢复到与上采样阶段的特征图相同。本实施例实现了分割特征与分割结果的辅助分类,分类得到的CAM图辅助分割,分割再辅助分类的协同学习。
本实施例不仅考虑了三维空间中三个方向的特征信息,更通过引入提出的MFF模块实现了跨尺度的特征学习,提高分割结果的同时,为分类提供了更丰富的输入信息;通过距离特征矩阵帮助分类任务学习更好的腰椎间盘几何形状,提高分类精度;提出一种新的混合损失函数,不仅优化了边缘学习,而且还限制了由于空洞导致的腰椎间盘边缘,能够广泛应用于人体不同目标的分割,辅助各医疗领域的诊断。
在更多实施例中,还提供:
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成实施例1中所述的方法,或者,腰椎间盘病灶分类方法,包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例1中所述的方法;或者,腰椎间盘病灶分类方法,包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
上述方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元及算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种医学图像器官分割方法,其特征在于,包括:
获取待分割的CT医学图像;
对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
2.如权利要求1所述的一种医学图像器官分割方法,其特征在于,提取不同方向的特征图的过程中,首先采用横截面方向、矢状面方向和冠状面方向的条卷积对对应方向的特征图进行提取;然后采用横截面方向、矢状面方向和冠状面方向的面卷积对条卷积输出的加权特征图进行不同方向的特征图的提取;其中,条卷积为将三维卷积核设置成三个维度上单独的条纹卷积,面卷积为将三维卷积核设置成三个维度上单独的面状卷积。
3.如权利要求1所述的一种医学图像器官分割方法,其特征在于,将两种处理结果相加后得到复合加权特征的过程中,将转置通道注意力处理的结果和通道注意力处理的结果按通道维度相加并求平均后,得到复合加权特征,从而对复合加权特征从通道维度进行权重的排序,并选择具有最大权重的设定个数的通道特征。
4.如权利要求1所述的一种医学图像器官分割方法,其特征在于,复合边界约束函数包括:
边界分割损失函数,具体为:
;
;
;
其中,为超参;/>为第n个像素;/>为第n个像素的类别;/>为第/>个输入图像的背景中第/>个难分类像素的预测概率;/>为第/>个输入图像的病灶中第/>个难分类像素的预测概率;/>为背景像素所在连通域的面积权重,/>为病灶像素所在连通域的面积权重,/>为背景中第n个像素,/>为病灶中第n个像素,/>为连通域面积,/>为常数;/>为超参;
结构相似性损失函数,具体为:
;
其中,、/>和/>、/>分别是x和y的均值和方差,/>为x和y的协方差;x为参考图像,y为待评价图像;C1和C2均为常量;
集合相似度损失函数,具体为:
;
其中,X表示预测值,Y表示真实值;表示两个集合对应元素点乘,然后逐元素相乘的结果相加求和。
5.一种医学图像器官分割系统,其特征在于,包括:
获取模块,被配置为获取待分割的CT医学图像;
池化处理模块,被配置为对CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出目标器官区域。
6.一种腰椎间盘病灶分类系统,其特征在于,包括:
获取模块,被配置为获取待分割的腰椎间盘CT医学图像;
池化处理模块,被配置为对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
融合处理模块,被配置为对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
分割模块,被配置为对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
分类模块,被配置为对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
7.如权利要求6所述的一种腰椎间盘病灶分类系统,其特征在于,在分类模块中,在分类预测时增加SE通道注意力和金字塔池化处理,具体地,在构建的分类网络的层与层间均增加SE通道注意力模块,在其中两层之间额外增加金字塔池化模块,以处理不同尺寸的池化特征,从而学习全局池化特征。
8.如权利要求7所述的一种腰椎间盘病灶分类系统,其特征在于,在分类模块中,将分类预测时分类网络中全局池化后的权重与各个特征层相乘并叠加,由此得到类激活图,将类激活图恢复到原图像尺寸后融合到腰椎间盘区域分割过程中,以辅助分割。
9.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成腰椎间盘病灶分类方法,所述腰椎间盘病灶分类包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
10.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成腰椎间盘病灶分类方法,所述腰椎间盘病灶分类包括:
获取待分割的腰椎间盘CT医学图像;
对腰椎间盘CT医学图像提取多尺度特征,对每个尺度特征在横截面方向、矢状面方向和冠状面方向分别提取特征图,并将不同方向的特征图进行融合后降维得到特征权重,由此得到每个尺度下的加权特征图;
对每个尺度下的加权特征图分别经转置通道注意力处理和通道注意力处理,并将两种处理结果相加后得到复合加权特征;其中,转置通道注意力处理为对输入的加权特征图进行转置操作,且在输出时通过惩罚系数进行恢复;
对每个尺度下的复合加权特征从通道维度根据权重大小进行选择,将多尺度下选择的特征连接后,结合复合边界约束,分割出腰椎间盘区域;
对腰椎间盘区域计算边界到几何中心的距离,由此得到距离特征矩阵,将多尺度下选择的特征连接后与腰椎间盘区域和距离特征矩阵共同进行分类预测,由此得到病灶类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311384494.3A CN117132616A (zh) | 2023-10-25 | 2023-10-25 | 一种医学图像器官分割方法、系统及病灶分类系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311384494.3A CN117132616A (zh) | 2023-10-25 | 2023-10-25 | 一种医学图像器官分割方法、系统及病灶分类系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117132616A true CN117132616A (zh) | 2023-11-28 |
Family
ID=88860355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311384494.3A Pending CN117132616A (zh) | 2023-10-25 | 2023-10-25 | 一种医学图像器官分割方法、系统及病灶分类系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132616A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437493A (zh) * | 2023-12-20 | 2024-01-23 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913183A (zh) * | 2021-02-07 | 2022-08-16 | 上海交通大学 | 基于约束的图像分割方法、系统、装置和介质 |
CN116228792A (zh) * | 2023-02-14 | 2023-06-06 | 中国科学院苏州生物医学工程技术研究所 | 一种医学图像分割方法、系统及电子装置 |
-
2023
- 2023-10-25 CN CN202311384494.3A patent/CN117132616A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913183A (zh) * | 2021-02-07 | 2022-08-16 | 上海交通大学 | 基于约束的图像分割方法、系统、装置和介质 |
CN116228792A (zh) * | 2023-02-14 | 2023-06-06 | 中国科学院苏州生物医学工程技术研究所 | 一种医学图像分割方法、系统及电子装置 |
Non-Patent Citations (3)
Title |
---|
SHUYI LU 等: "Collaborative Multi-Metadata Fusion to Improve the Classification of Lumbar Disc Herniation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, pages 1 - 12 * |
SHUYI LU 等: "Collaborative Multi-Metadata Fusion to Improve the Classification of Lumbar Disc Herniation:Collaborative Multi-Metadata Fusion to Improve the Classification of Lumbar Disc Herniation", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, pages 1 - 12 * |
乔大雷 等: "《海上态势视觉感知方法研究》", pages: 21 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117437493A (zh) * | 2023-12-20 | 2024-01-23 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
CN117437493B (zh) * | 2023-12-20 | 2024-03-29 | 泰山学院 | 联合一阶和二阶特征的脑肿瘤mri图像分类方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tang et al. | High-resolution 3D abdominal segmentation with random patch network fusion | |
Choi et al. | Convolutional neural network-based MR image analysis for Alzheimer’s disease classification | |
US8135189B2 (en) | System and method for organ segmentation using surface patch classification in 2D and 3D images | |
CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
EP3712849B1 (en) | Automated uncertainty estimation of lesion segmentation | |
RU2654199C1 (ru) | Сегментация тканей человека на компьютерном изображении | |
CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及系统 | |
CN112102373A (zh) | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 | |
CN117132616A (zh) | 一种医学图像器官分割方法、系统及病灶分类系统 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN112465754B (zh) | 基于分层感知融合的3d医疗图像分割方法、装置及存储介质 | |
CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
Mooij et al. | Automatic segmentation of prostate zones | |
CN111462071A (zh) | 一种图像处理方法和系统 | |
Gaweł et al. | Automatic spine tissue segmentation from MRI data based on cascade of boosted classifiers and active appearance model | |
CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
Gilani et al. | Skin lesion analysis using generative adversarial networks: a review | |
Dong et al. | Hole-filling based on content loss indexed 3D partial convolution network for freehand ultrasound reconstruction | |
CN113706684A (zh) | 三维血管图像重建方法、系统、医疗设备以及存储介质 | |
CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
Korez et al. | Intervertebral disc segmentation in MR images with 3D convolutional networks | |
Baumgartner et al. | Fully convolutional networks in medical imaging: Applications to image enhancement and recognition | |
CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |