CN109859210B - 一种医学数据处理装置及方法 - Google Patents
一种医学数据处理装置及方法 Download PDFInfo
- Publication number
- CN109859210B CN109859210B CN201811590594.0A CN201811590594A CN109859210B CN 109859210 B CN109859210 B CN 109859210B CN 201811590594 A CN201811590594 A CN 201811590594A CN 109859210 B CN109859210 B CN 109859210B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- module
- damage
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种医学数据处理装置及方法,属于医学图像处理技术领域,所述装置包括:获取模块,用于获取待处理医学图像;图像分割模块,用于将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像;提取模块,用于提取所述目标图像中目标损伤对象的几何形态学特征参数;损伤等级确定模块,用于将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级。本发明提高了目标图像的分割精度和准确性,从而提高了目标损伤对象的损伤等级确定的准确率和效率。
Description
技术领域
本发明涉及医学图像处理技术领域,特别涉及一种医学数据处理装置及方法。
背景技术
在膝关节损伤的病例中,半月板撕裂占70%左右,全球每年150万例关节镜手术中有50%以上病例与半月板有关。在半月板损伤早期进行治疗干预,其愈合的可能性极大,而如不及时治疗将会继发关节软骨损伤,进而可能引起创伤性膝关节骨关节炎。因此,及早诊断和及早治疗对于半月板损伤至关重要,而在半月板的诊断与治疗中,半月板损伤部位以及损伤严重程度的准确判断对于临床治疗方案的选择和后续的判断均有重要意义,例如,半月板红区纵型撕裂可通过直夹板固定4-6周保守治疗便可实现愈合。
膝关节MRI(Magnetic Resonance Imaging,核磁共振成像)由于能够对膝关节半月板显影,成为确定半月板损伤的主要影像基础。目前确定半月板损伤的方法通常先将半月板结构从膝关节MRI图像中分割出来,然后再根据分割出的图像人工确定其损伤严重程度。在从膝关节MRI图像中分割半月板结构时,目前主要采用的为手动分割或者基于图像处理软件进行的分割。
在实现本发明的过程中,发明人发现现有技术中至少存在以下缺陷:
在从膝关节MRI图像中分割出半月板结构时,存在半月板分割精度不高、准确性不足的问题,导致确定的损伤严重程度不准确。
因此,需要提供更加有效或者可靠的方案,以提高膝关节半月板分割的准确性,进而提高对于半月板损伤程度确定的准确性。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种医学数据处理装置及方法。所述技术方案如下:
一方面,提供了一种医学数据处理装置,所述装置包括:
获取模块,用于获取待处理医学图像;
图像分割模块,用于将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像;
提取模块,用于提取所述目标图像中目标损伤对象的几何形态学特征参数;
损伤等级确定模块,用于将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级。
进一步地,所述待处理医学图像包括基于多个成像参数对所述目标损伤对象进行成像处理得到的多个图像,所述多个图像与所述多个成像参数相对应;
所述目标分割网络模型包括编码模块和解码模块,所述编码模块包括与所述多个图像对应的多个编码单元;
所述图像分割模块包括:
第一输入模块,用于将所述多个图像分别输入至对应的编码单元中进行编码处理,得到对应的多个特征图像;
融合模块,用于融合所述多个特征图像,得到特征融合图像;
第二输入模块,用于将所述特征融合图像输入至所述解码模块进行解码处理,并基于所述解码处理的结果得到包含所述目标损伤对象的目标图像。
可选的,所述编码单元至少包括两个编码层;其中,第一编码层包括特征提取层和下采样层,第二编码层包括特征提取层。
可选的,所述解码模块至少包括一个解码层;其中,所述解码层包括上采样层和特征提取层。
可选的,所述多个图像包括核磁共振多个序列图像。
可选的,所述装置还包括:
调整模块,用于在将所述待处理医学图像输入至目标分割网络模型中进行目标分割之前,调整所述待处理医学图像的尺寸至预设图像尺寸。
可选的,所述目标图像包括包含完整目标损伤对象的第一目标图像,以及包含所述目标损伤对象的损伤部位的第二目标图像;
所述提取模块包括:
第一获取子模块,用于根据所述第一目标图像,获取所述完整目标损伤对象的第一几何形态学特征参数;
第二获取子模块,用于根据所述第二目标图像,获取所述损伤部位的第二几何形态学特征参数;
第三获取子模块,用于根据所述第一目标图像和第二目标图像,获取所述损伤部位相对于所述完整目标损伤对象的相对特征参数;
生成模块,用于根据所述第一几何形态学特征参数、第二几何形态学特征参数以及相对特征参数,生成所述目标损伤对象的几何形态学特征参数。
另一方面,提供了一种医学数据处理方法,所述方法包括:
获取待处理医学图像;
将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像;
提取所述目标图像中目标损伤对象的几何形态学特征参数;
将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级。
进一步地,所述待处理医学图像包括基于多个成像参数对所述目标损伤对象进行成像处理得到的多个图像,所述多个图像与所述多个成像参数相对应;
所述目标分割网络模型包括编码模块和解码模块,所述编码模块包括与所述多个图像对应的多个编码单元;
所述将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像包括:
将所述多个图像分别输入至对应的编码单元中进行编码处理,得到对应的多个特征图像;
融合所述多个特征图像,得到特征融合图像;
将所述特征融合图像输入至所述解码模块进行解码处理,并基于所述解码处理的结果得到包含所述目标损伤对象的目标图像。
另一方面,提供了一种医学数据处理方法,所述方法包括:
获取待处理医学图像;
将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像;
提取所述目标图像中目标损伤对象的几何形态学特征参数。
本发明实施例提供的技术方案带来的有益效果是:
本发明的医学数据处理装置通过获取模块获取待处理医学图像,图像分割模块将待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像,提取模块提取所述目标图像中目标损伤对象的几何形态学特征参数,并基于损伤等级确定模块将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,从而得到目标损伤对象所对应的损伤等级,提高了目标图像的分割精度和准确性,进而提高了目标损伤对象的损伤等级确定的准确率和效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种医学数据处理装置的结构示意图;
图2是本发明实施例提供的图像分割模块的一种结构示意图;
图3是本发明实施例提供的目标分割网络模型的一种架构图;
图4是图3的目标分割网络模型进行半月板分割得到的包含半月板的目标图像以及对应的金标准图像;
图5是本发明实施例提供的提取模型的一种结构示意图;
图6是本发明实施例提供的另一种医学数据处理装置的结构示意图;
图7是本发明实施例提供的一种医学数据处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其所示为本发明实施例提供的一种医学数据处理装置的结构示意图,如图1所示,该装置可以包括获取模块110,图像分割模块120,提取模块130和损伤等级确定模块140。
具体的,获取模块110用于获取待处理医学图像。
在本说明书实施例中,待处理医学图像可以是通过核磁共振成像(MagneticResonance Imaging,MRI)得到的同一病人的MRI图像,例如,可以是同一病人的膝关节MRI图像,也可以是同一病人的其他部位MRI图像。该MRI图像可以为核磁共振单个序列的多个图像,也可以为核磁共振多个序列的多个图像。例如,待处理医学图像可以是同一病人的多个质子加权压脂序列图像,也可以是同一病人的质子加权压脂序列图像、T1加权序列图像、T2加权序列图像等等,当MRI图像包含核磁共振多个序列的多个图像时,每个核磁共振序列图像也可以包含多个该序列的图像。
需要说明的是,待处理医学图像不限于上述的MRI图像,还可以是其它类型的医学图像,例如,还可以是CT(Computed Tomography)图像,X光图像,超声图像,PET(PositronEmission-computed Tomography)图像等等,本发明对此不作限定。
此外,待处理医学图像可以是医学成像设备直接成像的图像,也可以是对医学成像设备直接成像的图像进行预处理后的图像,预处理方式可以包括对图像的去噪处理、灰度处理等等。
具体的,图像分割模块120用于将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像。
在本说明书实施例中,目标分割网络模型为基于预设深度学习模型进行目标分割训练得到的模型,在目标分割训练中调整预设深度学习模型的模型参数(权重)至该预设深度学习模型输出的目标分割结果与输入的目标样本相匹配。其中,预设深度学习模型可以为V-Net、U-Net、SegNet、DeepLab、FCN、ENet、LinkNet等等。
在一个具体实施方式中,目标损伤对象可以为关节,例如膝关节,具体的可以为膝关节的各个部位,其中,各个部位可以包括骨头(如股骨,胫骨,腓骨,髌骨),软骨(如股骨软骨,胫骨软骨,腓骨软骨,髌骨软骨),半月板等等,当然也可以包括上述各个部位的局部结构,例如半月板的损伤部位等等。现有技术中,在从待处理图像中分割膝关节或者膝关节的各个部位时,一般都是基于膝关节的单一核磁共振序列图像,例如基于膝关节的质子加权压脂序列图像,由于医学成像设备的原因以及部分病理性膝关节或者膝关节部位的特殊性,单一核磁共振序列图像对于膝关节或者膝关节中的某些部位的显示效果较差,例如质子加权压脂序列图像对于膝关节或者膝关节中的半月板的边界显示效果差,导致基于单一核磁共振序列图像分割得到的包含膝关节或者半月板的目标图像的精确度较低。
因此,在本说明书实施例中,待处理医学图像为包括基于多个成像参数对膝关节进行成像处理得到多个图像,且该多个图像与多个成像参数相对应。例如,多个图像可以为核磁共振多个序列图像,则成像参数为对应于核磁共振单个序列图像的成像过程参数,即通过将核磁共振成像的过程参数调整至与某个核磁共振序列图像相对应的成像参数即可得到对应的该核磁共振序列图像。应理解的,每个成像参数可以包括多组成像过程参数。
相应的,目标分割网络模型可以包括编码模块和解码模块,编码模块包括与基于多个成像参数对膝关节进行成像处理得到的多个图像相对应的多个编码单元。每个编码单元至少可以包括两个编码层,其中,第一编码层包括特征提取层和下采样层,第二编码层包括特征提取层。解码模块至少可以包括一个解码层,该解码层可以包括上采样层和特征提取层。
需要说明的是,编码模块和解码模块可以是残差结构,以增加网络模型的特征表达能力和信息复原能力。
具体的,特征提取层可以是卷积层,通过卷积层对图像进行卷积处理,实现对目标损伤对象的特征提取。
具体的,下采样层可以用于对上一特征提取层的输出进行降采样操作,即返回采样窗口中最大值作为降采样的输出。一方面可以使图像缩小,简化计算复杂度;另一方面可以进行特征压缩,提取主要特征。在一个具体实施例中,每一个下采样层可以将上一特征提取层的输出特征缩小一半。此外,在下采样过程中可以引入残差学习来加速收敛。
具体的,上采样层可以用于进行特征图扩大,得到的稀疏特征图与卷积层卷积可以得到致密的特征图,从而将低分辨率的编码特征图映射到全分辨率的特征图。在一个具体实施例中,每一个上采样层可以将特征图扩大一倍。此外,在上采样过程中可以引入下采样时的特征来进行残差学习以加速收敛。
在一个具体的实施例中,可以采用softmax分类器对映射得到的全分辨率的特征图进行处理,得到特征图中每个像素点属于目标损伤对象的概率,从而对特征图中的每个像素点进行分类,并可以基于分类后的像素点得到包含目标损伤对象的目标图像。上述softmax分类器为预先采用包含目标损伤对象标签的样本图像训练得到。
在上述目标分割网络模型中,每一层输出的都是上一层输入的线性函数,考虑到在实际应用中数据往往不是线性可分的,可以通过增加激活函数的方式引入非线性因数。即增加线性校正层,以激活函数PReLu(Parametric Rectified Linear Unit,带参数的线性校正单元)为例,具体的,PReLu层即带参数的线性校正层是对上一层数据结果进行修正的层,可以将上一层小于0的输入赋予一个非零斜率,该非零斜率为随机计算产生,大于0的输出不变。
基于上述目标分割网络模型,在本说明书实施例中,如图2所示,图像分割模块120可以包括第一输入模块1210,融合模块1220和第二输入模块1230。
具体的,第一输入模块1210用于将所述多个图像分别输入至对应的编码单元中进行编码处理,得到对应的多个特征图像。在本说明书实施例中,可以将不同成像参数对应的待处理医学图像分别输入至与其对应的编码单元中进行编码处理,例如,可以将膝关节核磁共振T1加权序列图像输入至第一编码单元中进行编码处理,得到对应的第一特征图;将膝关节核磁共振质子加权压脂序列图像输入至第二编码单元中进行编码处理,得到对应的第二特征图。
具体的,融合模块1220用于融合所述多个特征图像,得到特征融合图像。在本说明书实施例中,可以将各个编码单元输出的特征图进行融合,例如可以将各个编码单元输出的特征图进行叠加,从而得到特征融合后的特征融合图像。
具体的,第二输入模块1230用于将所述特征融合图像输入至所述解码模块进行解码处理,并基于所述解码处理的结果得到包含所述膝关节的目标图像。在本说明书实施例中,对于特征融合图像进行解码处理后可以得到全分辨率的特征图,该特征图经过softmax分类器处理即可输出包含膝关节的目标图像。需要说明的是,此处的膝关节可以是膝关节的整体,也可以为膝关节的各个部位,其中,各个部位可以包括骨头(如股骨,胫骨,腓骨,髌骨),软骨(如股骨软骨,胫骨软骨,腓骨软骨,髌骨软骨),半月板等等,当然也可以包括上述各个部位的局部结构,例如半月板的损伤部位等等。
具体的,输出目标图像的类型可以根据设置的softmax分类器来确定,例如,需要输出包含半月板的目标图像以及包含半月板的局部部位的目标图像,则可以分别设置两个softmax分类器,其中一个softmax分类器预先采用包含半月板标签的样本图像训练得到,另一个softmax分类器预先采用包含半月板的局部部位标签的样本图像训练得到。那么,在将全分辨率的特征图分别输入至两个softmax分类器中处理后,其中一个softmax分类器输出的即为包含半月板的目标图像,另一个softmax分类器输出的即为半月板的局部部位的目标图像。
应理解的,softmax分类器的设置数量并不限于上述示例,还可以根据需要设置为其它数量个,本发明对此不作限定。
请参阅图3,其所示为本发明实施例提供的目标分割网络模型的一种架构图。如图3所示,该目标分割网络模型的编码模块包括两个编码单元,这两个编码单元的输入分别为膝关节核磁共振T1加权序列图像和膝关节核磁共振质子加权压脂序列图像,每个编码单元包括4个第一编码层和1个第二编码层,每个第一编码层包括1个下采样层,以及多个卷积层和激活函数层。该目标分割网络模型的解码模块的输入为两个编码单元输出的特征图经过叠加后的图像,解码模块包括4个解码层,每个解码层包括1个上采样层,以及多个卷积层和激活函数层。该目标分割网络模型的解码模块的输出端连接有两个softmax分类器,分别用于分割出包含完整半月板的目标图像,以及包含半月板的损伤部位的目标图像。
图3所示的目标分割网络模型的主要处理过程如下:
每个编码单元的处理过程:(1)经过第1个第一编码层处理:将调整后尺寸为512x512x 3的图像输入到对应的编码单元,经过1个卷积层和PReLU激活函数层,图像尺寸为512x 512x 3,卷积核大小为5x 5x 5,填充(padding)为2,通道数为16;经过第1个下采样层和PReLU激活函数层,图像尺寸为256x 256x 16,卷积核大小为2x 2x 2,步长为2,通道数为32;(2)经过第2个第一编码层处理:经过2个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像尺寸为256x 256x 16,卷积核大小为5x 5x 5,填充(padding)为2,通道数为32;经过第2个下采样层和PReLU激活函数层,图像尺寸为128x128x8,卷积核大小为2x2x2,步长为2,通道数为64;(3)经过第3个第一编码层处理:经过3个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为128x128x8,卷积核大小为5x5x5,填充(padding)为2,通道数为64;经过第3个下采样层和个下采样层和PReLU激活函数层,图像大小为64x64x4,卷积核大小为2x2x2,步长为2,通道数为128;(4)经过第4个第一编码层处理:经过3个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为64x64x4,卷积核大小为5x5x5,填充(padding)为2,通道数为128;经过第4个下采样层和PReLU激活函数层,图像大小为32x32x2,卷积核大小为2x2x2,步长为2,通道数为256;(5)经过第二编码层处理:经过3个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为32x32x2,卷积核大小为5x5x5,填充(padding)为2,通道数为256。
膝关节核磁共振T1加权序列图像和膝关节核磁共振质子加权压脂序列图像在经过各自的编码单元处理后,得到的特征图直接叠加作为解码模块的输入。
解码模块的处理过程:(1)经过第1个解码层处理:经过第1个上采样层和PReLU激活函数层,图像大小为64x64x4,卷积核大小为2x2x2,步长为2,通道数为256;经过3个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为64x64x4,卷积核大小为5x5x5,填充(padding)为2,通道数为256;(2)经过第2个解码层处理:经过第2个上采样层和PReLU激活函数层,图像大小为128x128x8,卷积核大小为2x2x2,步长为2,通道数为128;经过3个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为128x128x8,卷积核大小为5x5x5,填充(padding)为2,通道数为128;(3)经过第3个解码层处理:经过第3个上采样层和PReLU激活函数层,图像大小为256x256x16,卷积核大小为2x2x2,步长为2,通道数为64;经过2个卷积层,每个卷积层后面经过一个PReLU激活函数层,图像大小为256x256x16,卷积核大小为5x5x5,填充(padding)为2,通道数为64;(4)经过第4个解码层处理:经过第4个上采样层和PReLU激活函数层,图像大小为512x512x32,卷积核大小为2x2x2,步长为2,通道数为32;经过2个卷积层,每个卷积层后面经过一个一个PReLU激活函数层,图像大小为512x512x32,卷积核大小为5x5x5,填充(padding)为2,通道数为32。
经过解码模块处理后的图像再经过一个卷积层和一个PReLU激活函数层,图像大小为512x512x32,卷积核为1x1x1,通道数为4,然后经过两个softmax分类器,分割出包含完整半月板的目标图像和包含半月板的损伤部位的目标图像。
图4所示为图3的目标分割网络模型进行半月板分割得到的包含半月板的目标图像,可见,本发明分割出的半月板结构的精确度以及准确性都很高。
需要说明的是,以上只是给出了目标分割网络模型的一种结构示例,实际应用中还可以根据需要设置为其他的结构,例如,可以包含更多或者更少个第一编码层,也可以包含更多或者更少个解码层,还可以包含更多个softmax分类器,本发明对此不作具体限定。
在上述的具体示例中,目标分割网络模型的输入分别为膝关节核磁共振T1加权序列图像和膝关节核磁共振质子加权压脂序列图像,由于膝关节核磁共振T1加权序列图像对于半月板的边界显示效果相对于膝关节核磁共振质子加权压脂序列图像来说更加的清晰,因此,在本说明书实施例提供的目标分割网络模型的基础上,将膝关节核磁共振T1加权序列图像和核磁共振质子加权压脂序列图像同时作为模型的输入可以更加快速、准确地实现膝关节核磁共振图像中半月板以及半月板的损伤部位的自动分割,进而可以提高损伤等级确定的准确性和效率。
具体的,提取模块130用于提取所述目标图像中目标损伤对象的几何形态学特征参数。
在本说明书实施例中,几何形态学特征参数可以根据目标图像中目标损伤对象的具体形式来设定,例如,目标图像为包含目标损伤对象的损伤部位的图像时,几何形态学特征参数可以包括目标损伤对象的体积、形状、尺寸、损伤部位在目标损伤对象上的位置以及损伤部位的大小、体积等等。
具体的,通过目标分割网络模型得到的目标图像可以包括包含完整目标损伤对象的第一目标图像,以及包含所述目标损伤对象的损伤部位的第二目标图像。相应的,如图5所示,提取模块130可以包括第一获取子模块1310,第二获取子模块1320,第三获取子模块1330和生成模块1340。
其中,第一获取子模块1310用于根据所述第一目标图像,获取所述完整目标损伤对象的第一几何形态学特征参数;第二获取子模块1320用于根据所述第二目标图像,获取所述损伤部位的第二几何形态学特征参数;第三获取子模块1330用于根据所述第一目标图像和第二目标图像,获取所述损伤部位相对于所述完整目标损伤对象的相对特征参数;生成模块1340用于根据所述第一几何形态学特征参数、第二几何形态学特征参数以及相对特征参数,生成所述目标损伤对象的几何形态学特征参数。
其中,第一几何形态学特征参数可以为完整目标损伤对象如半月板的体积、形状参数等;第二几何形态学特征参数可以为损伤部位的形状、体积参数等;相对特征参数可以为损伤部位与完整目标损伤对象如半月板的边缘的距离、三维空间中完整目标损伤对象如半月板与损伤部位的位置关系以及二者的体积比参数等等。
需要说明的是,目标损伤对象的几何形态学特征参数不限于上述例举出的参数,还可以根据需要设置为其他的参数,本发明对此不作限定。
具体的,损伤等级确定模块140用于将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级。
在本说明书实施例中,损伤等级确定模型用于确定目标损伤对象的受损程度,以得到其损伤等级,例如,损伤等级由低到高可以包括Ⅰ级、Ⅱ级、Ⅲ级等。
具体的,损伤等级确定模型可以但不限于是训练好的SVM分类器,将提取的几何形态学特征参数作为训练好的SVM分类器的输入,则SVM分类器可以输出对应的分类结果,该分类结果即为损伤等级。
在本说明书实施例中,SVM分类器的训练过程可以采用确定了损伤等级的样本数据作为训练数据集,该训练数据集中包括与固定损伤等级相匹配的训练数据子集,每个训练数据子集可以包括对应的几何形态学特征参数,如可以包括完整目标损伤对象的体积、形状参数,损伤部位的形状、体积参数以及损伤部位与完整目标损伤对象的边缘的距离、三维空间中完整目标损伤对象与损伤部位的位置关系以及二者的体积比参数等。
具体的,获取训练数据子集即对应于固定损伤等级的数据的途径可以采用实际治疗过程中收集的对应几何形态学特征参数,也可以是将确定了损伤等级的医学图像输入至本说明书的前述目标分割网络模型中进行目标分割,得到包含完整目标损伤对象的目标图像以及包含目标损伤对象的损伤部位的目标图像,然后基于得到的包含完整目标损伤对象的目标图像以及包含目标损伤对象的损伤部位的目标图像提取出对应的几何形态学特征参数,从而得到与固定损伤等级相匹配的训练数据子集。
将对应于训练数据子集的损伤等级作为该训练数据子集的训练标签。训练标签用于表示已知的分类结果。训练标签的取值范围可以根据实际损伤等级的划分来确定,一个训练标签是对训练数据子集所属的分类类别的标记。
在采用训练数据集进行SVM分类器的训练时,可以根据分类模型输出的分类结果与训练标签的差异,调整分类模型的模型参数并继续训练,直至满足训练停止条件时结束训练。其中,训练停止条件可以是达到预设的迭代次数,也可以是调整模型参数后的分类模型的分类性能指标达到预设指标。
在上述实施例中,采用前述的目标分割网络模型进行固定损伤等级的医学图像中的目标图像的分割,由于目标分割网络模型的输入为与多个成像参数相对应的多个图像,因此分割出的目标图像的精确度高,基于该高精确度的目标图像可以得到更加精确的几何形态特征参数,使得训练数据集的准确性高,进而使得基于该训练数据集训练得到的SVM分类器的分类结果的准确性更高,即提高了对于目标损伤对象的损伤等级确定的准确性。
请参阅图6,其所示为本发明实施例提供的另一种医学数据处理装置,该装置可以包括获取模块610,图像分割模块620,提取模块630,损伤等级确定模块640和调整模块650。
其中,获取模块610,图像分割模块620,提取模块630和损伤等级确定模块640的具体功能可以参见前述图1的装置实施例,在此不再赘述。
由于各个成像设备成像得到的图像的尺寸往往是不一致的,为了使得输入到目标分割网络中的图像的尺寸保持一致以及使得经过编码模块处理后得到的特征为整数,如图6所示,医学数据处理装置还可以包括调整模块650,该调整模块650用于在将所述待处理医学图像输入至目标分割网络模型中进行目标分割之前,调整所述待处理医学图像的尺寸至预设图像尺寸。该预设图像尺寸可以为训练目标分割网络模型时输入的样本图像的尺寸,具体的样本图像的尺寸可以根据实际训练过程进行设置,例如,预设图像尺寸可以设置为512x 512x 32,采用像素单位。
综上,本发明的医学数据处理装置通过获取模块获取待处理医学图像,图像分割模块将待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像,提取模块提取所述目标图像中目标损伤对象的几何形态学特征参数,并基于损伤等级确定模块将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,从而得到目标损伤对象所对应的损伤等级,提高了目标图像的分割精度和准确性,在实现目标损伤对象的损伤等级的全自动确定的同时,提高了损伤等级确定的准确率和效率。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
与上述几种实施例提供的医学数据处理装置相对应,本发明实施例还提供一种医学数据处理方法,由于本发明实施例提供的医学数据处理装置与上述几种实施例提供的医学数据处理方法相对应,因此前述医学数据处理装置的实施方式也适用于本实施例提供的医学数据处理方法,在本实施例中不再详细描述。
请参阅图7,其所示为本发明实施例提供的一种医学数据处理方法的流程示意图,需要说明的是,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图6所示,所述方法可以包括:
S701,获取待处理医学图像。
S703,将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像。
具体的,待处理医学图像可以包括基于多个成像参数对所述目标损伤对象进行成像处理得到的多个图像,所述多个图像与所述多个成像参数相对应。所述目标分割网络模型包括编码模块和解码模块,所述编码模块包括与所述多个图像对应的多个编码单元。所述目标损伤对象可以为关节,例如膝关节,具体的可以为膝关节的各个部位,其中,各个部位可以包括骨头(如股骨,胫骨,腓骨,髌骨),软骨(如股骨软骨,胫骨软骨,腓骨软骨,髌骨软骨),半月板等等,当然也可以包括上述各个部位的局部结构,例如半月板的损伤部位等等。。
相应的,所述将待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含膝关节的目标图像可以包括:将所述多个图像分别输入至对应的编码单元中进行编码处理,得到对应的多个特征图像;融合所述多个特征图像,得到特征融合图像;将所述特征融合图像输入至所述解码模块进行解码处理,并基于所述解码处理的结果得到包含所述目标损伤对象的目标图像。
S705,提取所述目标图像中目标损伤对象的几何形态学特征参数。
具体的,通过目标分割网络模型得到的目标图像可以包括包含完整目标损伤对象的第一目标图像,以及包含所述目标损伤对象的损伤部位的第二目标图像。相应的,所述提取所述目标图像中目标损伤对象的几何形态学特征参数可以包括根据所述第一目标图像,获取所述完整目标损伤对象的第一几何形态学特征参数;根据所述第二目标图像,获取所述损伤部位的第二几何形态学特征参数;根据所述第一目标图像和第二目标图像,获取所述损伤部位相对于所述完整目标损伤对象的相对特征参数;根据所述第一几何形态学特征参数、第二几何形态学特征参数以及相对特征参数,生成所述目标损伤对象的几何形态学特征参数。
S707,将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级。
具体的,损伤等级确定模型可以但不限于是训练好的SVM分类器,将提取的几何形态学特征参数作为训练好的SVM分类器的输入,则SVM分类器可以输出对应的分类结果,该分类结果即为损伤等级。
综上,本发明的医学数据处理方法通过获取待处理医学图像,将该待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像,并进一步提取目标图像中目标损伤对象的几何形态学特征参数,将该几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,进而得到目标损伤对象所对应的损伤等级,从而快速、准确地实现了目标图像的全自动分割以及目标损伤对象的损伤等级的自动确定,提高了损伤等级确定的准确率以及效率。
此外,本发明还提供了另一种医学数据处理方法,该方法包括:获取待处理医学图像;将所述待处理医学图像输入至目标分割网络模型中进行目标分割,得到包含目标损伤对象的目标图像;提取所述目标图像中目标损伤对象的几何形态学特征参数。具体的,所述待处理医学图像包括基于多个成像参数对所述目标损伤对象进行成像处理得到的多个图像,所述多个图像与所述多个成像参数相对应;所述目标损伤对象可以为关节,例如膝关节,具体的可以为膝关节的各个部位,其中,各个部位可以包括骨头(如股骨,胫骨,腓骨,髌骨),软骨(如股骨软骨,胫骨软骨,腓骨软骨,髌骨软骨),半月板等等,当然也可以包括上述各个部位的局部结构,例如半月板的损伤部位等等。。其中的各个步骤可以参见图7的方法实施例中的相应步骤,在此不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种医学数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理医学图像,所述待处理医学图像包括基于目标损伤对象的核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像;
第一输入模块,用于将所述核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像分别输入至编码模块中对应的编码单元进行编码处理,得到对应的多个特征图像;所述编码模块包括分别与所述核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像对应的编码单元;
融合模块,用于融合所述多个特征图像,得到特征融合图像;
第二输入模块,用于将所述特征融合图像输入至解码模块进行解码处理,并基于所述解码处理的结果得到包含目标损伤对象的目标图像;
提取模块,用于提取所述目标图像中目标损伤对象的几何形态学特征参数;
损伤等级确定模块,用于将所述几何形态学特征参数输入至损伤等级确定模型中进行损伤等级确定,得到所述目标损伤对象所对应的损伤等级;
其中,用于训练所述损伤等级确定模型的训练数据集包括与固定损伤等级相匹配的训练数据子集,每个训练数据子集包括对应的几何形态学特征参数,将对应于每个训练数据子集的固定损伤等级作为所述训练数据子集的训练标签。
2.根据权利要求1所述的医学数据处理装置,其特征在于,所述编码单元至少包括两个编码层;其中,第一编码层包括特征提取层和下采样层,第二编码层包括特征提取层。
3.根据权利要求1所述的医学数据处理装置,其特征在于,所述解码模块至少包括一个解码层;其中,所述解码层包括上采样层和特征提取层。
4.根据权利要求1所述的医学数据处理装置,其特征在于,所述装置还包括:
调整模块,用于在将所述待处理医学图像输入至目标分割网络模型中进行目标分割之前,调整所述待处理医学图像的尺寸至预设图像尺寸。
5.根据权利要求1所述的医学数据处理装置,其特征在于,所述目标图像包括包含完整目标损伤对象的第一目标图像,以及包含所述目标损伤对象的损伤部位的第二目标图像;
所述提取模块包括:
第一获取子模块,用于根据所述第一目标图像,获取所述完整目标损伤对象的第一几何形态学特征参数;
第二获取子模块,用于根据所述第二目标图像,获取所述损伤部位的第二几何形态学特征参数;
第三获取子模块,用于根据所述第一目标图像和第二目标图像,获取所述损伤部位相对于所述完整目标损伤对象的相对特征参数;
生成模块,用于根据所述第一几何形态学特征参数、第二几何形态学特征参数以及相对特征参数,生成所述目标损伤对象的几何形态学特征参数。
6.一种医学数据处理方法,其特征在于,所述方法包括:
获取待处理医学图像,所述待处理医学图像包括基于目标损伤对象的核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像;
将所述的核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像分别输入至编码模块中对应的编码单元进行编码处理,得到对应的多个特征图像;所述编码模块包括分别与所述的核磁共振质子加权压脂序列图像和核磁共振T1加权序列图像对应的编码单元;
融合所述多个特征图像,得到特征融合图像;
将所述特征融合图像输入至解码模块进行解码处理,并基于所述解码处理的结果得到包含目标损伤对象的目标图像;
提取所述目标图像中目标损伤对象的几何形态学特征参数。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令或者至少一段程序,所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求6 所述的医学数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590594.0A CN109859210B (zh) | 2018-12-25 | 2018-12-25 | 一种医学数据处理装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590594.0A CN109859210B (zh) | 2018-12-25 | 2018-12-25 | 一种医学数据处理装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859210A CN109859210A (zh) | 2019-06-07 |
CN109859210B true CN109859210B (zh) | 2021-08-06 |
Family
ID=66892074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811590594.0A Active CN109859210B (zh) | 2018-12-25 | 2018-12-25 | 一种医学数据处理装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859210B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335217A (zh) * | 2019-07-10 | 2019-10-15 | 东北大学 | 一种基于3d残差编码解码的医学图像降噪方法 |
WO2021017006A1 (zh) * | 2019-08-01 | 2021-02-04 | 京东方科技集团股份有限公司 | 图像处理方法及装置、神经网络及训练方法、存储介质 |
CN110889859A (zh) * | 2019-11-11 | 2020-03-17 | 珠海上工医信科技有限公司 | 一种用于眼底图像血管分割的u型网络 |
CN111178428B (zh) * | 2019-12-27 | 2024-03-22 | 上海联影智能医疗科技有限公司 | 软骨损伤分类方法、装置、计算机设备和存储介质 |
CN111539937A (zh) * | 2020-04-24 | 2020-08-14 | 北京海益同展信息科技有限公司 | 一种物体指标的检测方法、家畜重量的检测方法及装置 |
CN113656706A (zh) * | 2021-08-31 | 2021-11-16 | 平安医疗健康管理股份有限公司 | 基于多模态深度学习模型的信息推送方法及装置 |
CN117437459B (zh) * | 2023-10-08 | 2024-03-22 | 昆山市第一人民医院 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108682044A (zh) * | 2018-05-21 | 2018-10-19 | 深圳市唯特视科技有限公司 | 一种基于双路径风格化网络的立体风格转移模型 |
CN109035356A (zh) * | 2018-07-05 | 2018-12-18 | 四川大学 | 一种基于pet图形成像的系统及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050020945A1 (en) * | 2002-07-02 | 2005-01-27 | Tosaya Carol A. | Acoustically-aided cerebrospinal-fluid manipulation for neurodegenerative disease therapy |
CN108665506B (zh) * | 2018-05-10 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及服务器 |
CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
CN108846840B (zh) * | 2018-06-26 | 2021-11-09 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
-
2018
- 2018-12-25 CN CN201811590594.0A patent/CN109859210B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108682044A (zh) * | 2018-05-21 | 2018-10-19 | 深圳市唯特视科技有限公司 | 一种基于双路径风格化网络的立体风格转移模型 |
CN109035356A (zh) * | 2018-07-05 | 2018-12-18 | 四川大学 | 一种基于pet图形成像的系统及方法 |
Non-Patent Citations (1)
Title |
---|
Fast and robust 3D T-1 mapping using spiral encoding and steady RF excitation at 7T: application to cardiac manganese enhanced MRI (MEMRI) in mice;Castets, CR et al;《NMR IN BIOMEDICINE》;20151231;第28卷(第7期);881-889 * |
Also Published As
Publication number | Publication date |
---|---|
CN109859210A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859210B (zh) | 一种医学数据处理装置及方法 | |
CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
US10997466B2 (en) | Method and system for image segmentation and identification | |
EP3611699A1 (en) | Image segmentation using deep learning techniques | |
CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
KR101930644B1 (ko) | 환자 맞춤형 최적 이진화 방법과 분수령 알고리즘에 기반한 관절의 완전 자동 영상 분할 방법 및 장치 | |
CN113076987B (zh) | 骨赘识别方法、装置、电子设备及存储介质 | |
KR102211688B1 (ko) | 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치 | |
CN112036506A (zh) | 图像识别方法及相关装置、设备 | |
CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及系统 | |
CN112308835A (zh) | 一种融合密集连接与注意力机制的颅内出血分割方法 | |
Zhang et al. | LPAQR-Net: efficient vertebra segmentation from biplanar whole-spine radiographs | |
KR20160001316A (ko) | 3d 조영기술을 이용한 환자 맞춤형 임플란트 모형제작방법 | |
Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
CN112365512B (zh) | 训练图像分割模型的方法、图像分割的方法及其装置 | |
AU2020223750B2 (en) | Method and System for Image Annotation | |
Bukas et al. | Patient-specific virtual spine straightening and vertebra inpainting: an automatic framework for osteoplasty planning | |
CN115131301B (zh) | 基于深度学习的智能识别骨关节炎的方法及系统 | |
Podsiadlo et al. | Automated selection of trabecular bone regions in knee radiographs | |
CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
CN115953416A (zh) | 基于深度学习的膝骨关节核磁共振图像自动分割方法 | |
Gooßen et al. | Model-based segmentation of pediatric and adult joints for orthopedic measurements in digital radiographs of the lower limbs | |
CN113255760A (zh) | 训练图像处理模型的方法、图像处理的方法及装置 | |
Xu et al. | Auto-segmentation of Hip Joints Using MultiPlanar UNet with Transfer Learning | |
Čech et al. | Piecewise rigid multimodal spine registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |