CN115861248A - 医学图像分割方法、医学模型训练方法、装置和存储介质 - Google Patents

医学图像分割方法、医学模型训练方法、装置和存储介质 Download PDF

Info

Publication number
CN115861248A
CN115861248A CN202211590185.7A CN202211590185A CN115861248A CN 115861248 A CN115861248 A CN 115861248A CN 202211590185 A CN202211590185 A CN 202211590185A CN 115861248 A CN115861248 A CN 115861248A
Authority
CN
China
Prior art keywords
dimensional
feature
sample
features
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211590185.7A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiehang Robot Co ltd
Original Assignee
Shanghai Jiehang Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiehang Robot Co ltd filed Critical Shanghai Jiehang Robot Co ltd
Priority to CN202211590185.7A priority Critical patent/CN115861248A/zh
Publication of CN115861248A publication Critical patent/CN115861248A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种医学图像分割方法、医学模型训练方法、装置和存储介质。所述方法包括:获取待分割医学图像;对所述待分割医学图像进行特征提取得到目标二维特征;对所述待分割医学图像进行特征提取得到初始三维特征;将所述目标二维特征和所述初始三维特征进行拼接;对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。采用本方法能够减少资源消耗的同时提高图像分割准确性。

Description

医学图像分割方法、医学模型训练方法、装置和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种医学图像分割方法、医学模型训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
目前基于深度学习的前列腺器官区域分割方法,大多都是单一的利用3D卷积将核磁图像的序列作为三维数据输入,通过3D卷积堆叠成端到端的卷积神经网络模型,在核磁图像的横断面上勾勒前列腺区域,或是通过增加输入特征项数提高整体序列上的勾勒精度。
然而,由于核磁图像T2W序列的每个切片显示的前列腺是多变的,3D卷积可以捕获切片之间的联系,但并未增加对切片信息的捕获能力,单一地使用3D卷积会使模型对某个切片信息的不完整捕获造成整体的分割精度偏低,而增加输入特征项的方式需要消耗大量的计算资源、图像数据。
发明内容
基于此,有必要针对上述技术问题,提供一种能够减少资源消耗的同时提高图像分割准确性的医学图像分割方法、医学模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供一种医学图像分割方法,所述方法包括:
获取待分割医学图像;
对所述待分割医学图像进行特征提取得到目标二维特征;
对所述待分割医学图像进行特征提取得到初始三维特征;
将所述目标二维特征和所述初始三维特征进行拼接;
对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
在其中一个实施例中,所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
分别对当前输入特征提取不同感受野大小的当前二维特征,其中第一个输入的所述当前输入特征是基于所述待分割医学图像生成的;
将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,并将所述下一输入特征作为当前输入特征,并继续分别对当前输入特征提取不同感受野大小的当前二维特征,将最后输出的下一输入特征作为目标二维特征。
在其中一个实施例中,所述医学图像的分割结果是通过预先训练得到的医学模型进行预测得到的,所述医学模型包括二维卷积特征提取模块、第一三维卷积特征提取模块、拼接模块以及第二三维卷积特征提取模块;
所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
通过所述二维卷积特征提取模块对所述待分割医学图像进行特征提取得到目标二维特征;
所述对所述待分割医学图像进行特征提取得到初始三维特征,包括:
通过所述第一三维卷积特征提取模块对所述待分割医学图像进行特征提取得到初始三维特征;
所述将所述目标二维特征和所述初始三维特征进行拼接,包括:
通过所述拼接模块将所述目标二维特征和所述初始三维特征进行拼接;
所述对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果,包括:
通过第二三维卷积特征提取模块对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
在其中一个实施例中,所述二维卷积特征提取模块包括多分支卷积特征提取单元以及拼接单元;
所述分别对当前输入特征提取不同感受野大小的当前二维特征,包括:
通过所述多分支卷积特征提取单元分别对当前输入特征提取不同感受野大小的当前二维特征;
所述将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,包括:
通过所述拼接单元将各不同感受野大小的当前二维特征进行拼接得到下一输入特征。
在其中一个实施例中,所述将所述目标二维特征和所述初始三维特征进行拼接,包括:
按照所述待分割医学图像中的切片索引顺序,将各所述目标二维特征进行排序得到融合三维特征;
将所述融合三维特征和所述初始三维特征进行拼接。
在其中一个实施例中,所述获取待分割医学图像之后,还包括:
对所述待分割医学图像进行格式转换得到三维医学图像和按照顺序排列的二维切片图像;
所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
对各所述二维切片图像分别进行特征提取得到目标二维特征;
所述对所述待分割医学图像进行特征提取得到初始三维特征,包括:
对所述三维医学图像进行特征提取得到初始三维特征。
第二方面,本申请还提供一种医学模型训练方法,所述医学模型训练方法包括:
获取医学样本数据,所述医学样本数据包括样本医学图像以及对应的目标标签;
提取所述样本医学图像的样本二维卷积特征;
提取模块提取所述样本医学图像的第一样本三维卷积特征;
将所述样本二维卷积特征和所述第一样本三维卷积特征进行拼接得到第二样本三维卷积特征;
对所述第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果;
基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值;
根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
在其中一个实施例中,所述基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,包括:
通过第一损失函数基于所述样本二维卷积特征以及所述目标标签,生成第一损失函数值;
所述基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值,包括:
通过第二损失函数,基于所述第一样本三维卷积特征以及所述目标标签,生成第二损失函数值;通过第二损失函数,基于所述模型输出结果以及所述目标标签,生成第三损失函数值。
在其中一个实施例中,所述根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型,包括:
基于所述第一损失函数值对所述医学模型的二维卷积特征提取模块进行优化,基于所述第二损失函数值对所述医学模型的第一三维卷积特征提取模块进行优化,基于所述第三损失函数值对所述医学模型的第二三维卷积特征提取模块进行优化,得到训练完成的医学模型。
在其中一个实施例中,所述通过医学模型的二维卷积特征提取模块提取所述样本医学图像的样本二维卷积特征,包括:
分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,其中第一个输入的所述当前样本输入特征是基于所述样本医学图像生成的;
将各不同感受野大小的当前样本二维特征进行拼接得到下一样本输入特征,并将所述下一样本输入特征作为当前样本输入特征,并继续分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,将最后输出的下一样本输入特征作为样本二维卷积特征。
第三方面,本申请还提供一种医学图像分割装置,所述装置包括:
待分割医学图像获取模块,用于获取待分割医学图像;
目标二维特征提取模块,用于对所述待分割医学图像进行特征提取得到目标二维特征;
初始三维特征提取模块,用于对所述待分割医学图像进行特征提取得到初始三维特征;
第一拼接模块,用于将所述目标二维特征和所述初始三维特征进行拼接;
分割模块,用于对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
第四方面,本申请还提供一种医学模型训练装置,所述医学模型训练装置包括:
医学样本数据获取模块,用于获取医学样本数据,所述医学样本数据包括样本医学图像以及对应的目标标签;
样本二维卷积特征提取模块,用于提取所述样本医学图像的样本二维卷积特征;
样本三维卷积特征提取模块,用于提取所述样本医学图像的第一样本三维卷积特征;
第二拼接模块,用于将所述样本二维卷积特征和所述第一样本三维卷积特征进行拼接得到第二样本三维卷积特征;
模型处理模块,用于对所述第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果;
网络参数更新模块,用于基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值;根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
第五方面,本申请还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中所述的方法的步骤。
第六方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。
第七方面,本申请还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。
上述医学图像分割方法、医学模型训练方法、装置、计算机设备、存储介质和计算机程序产品,分别对待分割医学图像进行特征提取得到目标二维特征和初始三维特征,这样将所述目标二维特征和所述初始三维特征进行拼接后进行图像分割,可以通过目标二维特征增加初始三维特征中单个切片的特征,从而提高整体的分割精度,且不需要输入特征,从而在保证了准确性的前提下,减少了资源消耗。
附图说明
图1为一个实施例中医学图像分割方法的应用环境图;
图2为一个实施例中医学图像分割方法的流程示意图;
图3为一个实施例中二维卷积处理的原理图;
图4为一个实施例中目标二维特征的示意图;
图5为一个实施例中三维卷积处理的原理图;
图6为一个实施例中的拼接融合处理的示意图;
图7为一个实施例中的轮廓线坐标计算步骤对应的结果示意图;
图8为一个实施例中的轮廓线的示意图;
图9为一个实施例中的空洞卷积的示意图;
图10为一个实施例中的二维卷积特征提取模块的结构示意图;
图11为一个实施例中的卷积块的结构示意图;
图12为一个实施例中的医学模型的结构示意图;
图13为一个实施例中的三维卷积特征提取模块的结构示意图;
图14为一个实施例中的待分割医学图像的格式处理步骤的示意图;
图15为一个实施例中前列腺核磁图像分割流程的示意图;
图16为一个实施例中医学模型训练方法的流程示意图;
图17为一个实施例中的第一损失函数的计算示意图;
图18为一个实施例中的第二损失函数的计算示意图;
图19为一个实施例中的训练过程的示意图;
图20为一个实施例中医学图像分割装置的结构框图;
图21为一个实施例中医学模型训练装置的结构框图;
图22为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的医学图像分割方法以及医学模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与医学成像设备104进行通信。终端102可以接收到医学成像设备104所扫描得到的待分割医学图像;对待分割医学图像进行特征提取得到目标二维特征;对待分割医学图像进行特征提取得到初始三维特征;将目标二维特征和初始三维特征进行拼接;对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果。这样将目标二维特征和初始三维特征进行拼接后进行图像分割,可以通目标二维特征增加初始三维特征中单个切片的特征,从而提高整体的分割精度,且不需要输入特征,从而在保证了准确性的前提下,减少了资源消耗。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,医疗成像设备104包括但不限于各种成像设备,例如CT成像设备(CT:Computed Tomography,它是利用精确准直的X线束与灵敏度极高的探测器一同围绕人体的某一个部位做一个接一个的断面扫描,并且通过CT扫描可以重建出肿瘤等的精确三维位置图像)、磁共振设备(其是断层成像的一种,它利用磁共振现象从人体中获得电磁信号,并重建出人体信息图像)、正电子发射型计算机断层显像(Positron Emission ComputedTomography)设备、正电子发射型磁共振成像系统(PET/MR)等。待分割医学图像则可以为医学成像设备104所采集的图像序列,例如核磁图像T2W序列。
在一个实施例中,如图2所示,提供了一种医学图像分割方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S202:获取待分割医学图像。
具体地,待分割医学图像是需要进行目标分割的图像,其可以是医学成像设备所采集的图像序列,例如核磁图像T2W序列。例如需要对前列腺识别时,通过医学成像设备采集前列腺医学图像,在其他的实施例中,该待分割医学图像可以为其他的组织或器官对应的医学图像,从而可以通过下文中的处理从待分割医学图像中分割出对应的医学目标,也即组织或器官等,这样后续可以根据分割结果进行手术规划,以提高手术的效率。
S204:对待分割医学图像进行特征提取得到目标二维特征。
具体地,目标二维特征是针对待分割医学图像中的每一个切片图像提取得到的,例如将每个切片图像看做二维图像,然后对二维图像进行二维卷积处理,以进行二维特征提取。其中终端对待分割医学图像中的每一切片图像分别进行特征提取得到,每一切片图像对应的目标二维特征。
具体地,结合图3所示,图3为一个实施例中二维卷积处理的原理图,在该实施例中,将每一切片图像看作二维图像,然后利用卷积核大小为3*3,对二维图像进行卷积运算,提取特征。
此外,结合图4所示,图4为一个实施例中目标二维特征的示意图,在该实施例中,选取了病人的第11的切片图像。其中image为图像,label为标注的是标签图,output为输出的预测图,也即目标二维特征。
S206:对待分割医学图像进行特征提取得到初始三维特征。
具体地,初始三维特征是对待分割医学图像的所有切片提取的,也即待分割医学图像是三维图像,例如将核磁图像T2W序列看做三维图像,然后对该三维图像进行三维卷积处理得到初始三维特征。
具体地,结合图5所示,图5为一个实施例中三维卷积处理的原理图,在该实施例中,对待分割医学图像利用卷积核大小为3*3的三维卷积对三维图像进行卷积运算,提取三维特征。
S208:将目标二维特征和初始三维特征进行拼接。
具体地,拼接是指将目标二维特征和初始三维特征相互拼接,为此,先将目标二维特征转换为融合三维特征,然后将融合三维特征与初始三维特征进行拼接,例如将两者连接在一起。以前列腺核磁图像数据为例,这样在较少的前列腺核磁图像数据和低计算资源下,通过拼接目标二维特征和初始三维特征输出的前列腺区域特征,在切片的相同位置上增加目标二维特征,提高模型对前列腺的分割准确率。
具体地,结合图6所示,图6为一个实施例中的拼接融合处理的示意图,在该实施例中,首先将目标二维特征转换为融合三维特征,然后再将融合三维特征与初始三维特征进行拼接。其中融合三维特征是根据每个切片图像的索引顺序进行排序堆叠得到的,即将每个切片图像对应的目标二维特征按照切片图像的索引顺序进行排序,从而增加一个维度,得到融合三维特征,也就是说若切片图像的数量为N,则存在N个目标二维特征,将这N个目标二维特征进行堆叠转换就得到了与初始三维特征一致的特征维度,将两者拼接,得到拼接特征的数量为2N。
S210:对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果。
目标三维特征是对拼接后的特征进行三维卷积处理得到的结果,其中该三维卷积处理可以与初始三维特征的三维卷积处理的方式相同,或不相同。
最后基于提取的目标三维特征得到医学图像的分割结果,具体地,可以基于目标三维特征进行分类,以的得到医学图像的分割结果,例如通过分类网络进行处理,该分类网络可以包括卷积层和sigmoid层,其中的卷积层是1*1的卷积,将卷积通道数将为1,sigmoid则是将输出的概率归一化。
具体地,结合图7所示,图7为一个实施例中的轮廓线坐标计算步骤对应的结果示意图,在该实施例中,得到的医学图像的分割结果即为图7中的白色区域,也即前列腺器官,将其看做二值图像,利用阈值分割算法找寻图像外边界坐标点,保存前列腺外围轮廓的坐标点。
结合图8所示,图8为一个实施例中的轮廓线的示意图,在该实施例中,对于医学模型输出的二值图,先找出外围轮廓点坐标,再将轮廓点坐标写入核磁图像上,显示带有轮廓线的图像。
上述医学图像分割方法,分别对待分割医学图像进行特征提取得到目标二维特征和初始三维特征,这样将所述目标二维特征和所述初始三维特征进行拼接后进行图像分割,可以通过目标二维特征增加初始三维特征中单个切片的特征,从而提高整体的分割精度,且不需要输入特征,从而在保证了准确性的前提下,减少了资源消耗。此外,精准识别前列腺区域是判别前列腺癌变区域的基础,为自动治疗前列腺癌打下基础,进一步的推进深度学习在医疗行业的应用。
在其中一个实施例中,对待分割医学图像进行特征提取得到目标二维特征,包括:分别对当前输入特征提取不同感受野大小的当前二维特征,其中第一个输入的当前输入特征是基于待分割医学图像生成的;将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,并将下一输入特征作为当前输入特征,并继续分别对当前输入特征提取不同感受野大小的当前二维特征,将最后输出的下一输入特征作为目标二维特征。
感受野是指的是神经网络中神经元“看到的”输入区域,在卷积神经网络中,特征图上某个元素的计算受输入图像上某个区域的影响,这个区域即该元素的感受野。其中,本实施例中通过空洞卷积的方式提取不同感受野大小的当前二维特征。具体地,结合图9所示,图9为一个实施例中的空洞卷积的示意图,其中结合图3所示,普通的卷积,卷积核大小为3×3,在特征图上的视野范围也只是3×3的大小区域,而3×3大小膨胀系数为1的空洞卷积在特征图上对特征的捕获范围就相当于5×5,等于在不增加计算量的情形下,可以获得更大范围的特征抓取。
具体地,结合图10和图11所示,图10为一个实施例中的二维卷积特征提取模块的结构示意图,图11为一个实施例中的卷积块的结构示意图;二维卷积特征提取模块包括多分支卷积特征提取单元以及拼接单元。
在其中一个可选的实施例中,分别对当前输入特征提取不同感受野大小的当前二维特征,包括:通过多分支卷积特征提取单元分别对当前输入特征提取不同感受野大小的当前二维特征;将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,包括:通过拼接单元将各不同感受野大小的当前二维特征进行拼接得到下一输入特征。
结合图11,利用分支形式的结合不同感受野大小获取的特征,可以获取对同一输入的不同输出,在将输出拼接后,就可以增加同一位置的不同表征,同时采取不改变图像尺寸的形式进行学习,可以不丢失某些像素点信息。其中图11中示出两个分支,在其他的实施例中还可以是其他数量的分支,在此不做具体限定,如图10中包括3*3普通卷积分支,以及膨胀系数为1的空洞卷积分支,每个分支后还包括一1*1的普通卷积,用于降低特征图数量,最后通过拼接单元将特征图进行拼接得到本卷积块的输出,也即下一输入特征。
其中先基于待分割医学图像生成第一个当前输入特征,并将第一个当前输入特征输入至第一个卷积块中,通过第一个卷积块来进行特征提取得到下一输入特征,并将下一输入特征作为当前输入特征,并继续输入下一卷积块中,直至得到最后一个卷积块输出的下一输入特征,将最后输出的下一输入特征作为目标二维特征,然后在输出层中用激活函数将预测的特征值转为概率矩阵,保留大于0.6阈值,得到组织器官为1,其余部分为0的二值图,也即二维卷积的结果。
本实施例中,通过设计增强对特征信息捕获能力的卷积块进一步增加二维卷积对组织器官的分割,获取更优的结果,其对每个序列的切片按索引逐渐转为输入特征输入到输入层,对二维卷积的特征图数量进行变换,再通过多个设计的卷积块,对组织器官的特征进行提取,在输出层中用激活函数将预测的特征值转为概率矩阵,保留大于0.6阈值,得到组织器官为1,其余部分为0的二值图。
上述实施例中,设计不同感受野特征提取的卷积块,可以在不增加数据量的情形下,通过增强同一位置的不同范围特征,丰富器官组织的空间信息,进而提升二维卷积结构对切片层的特征提取能力,能更优地获取二维分割结果。
在其中一个实施例中,医学图像的分割结果是通过预先训练得到的医学模型进行预测得到的,医学模型包括二维卷积特征提取模块、第一三维卷积特征提取模块、拼接模块以及第二三维卷积特征提取模块;对待分割医学图像进行特征提取得到目标二维特征,包括:通过二维卷积特征提取模块对待分割医学图像进行特征提取得到目标二维特征;对待分割医学图像进行特征提取得到初始三维特征,包括:通过第一三维卷积特征提取模块对待分割医学图像进行特征提取得到初始三维特征;将目标二维特征和初始三维特征进行拼接,包括:通过拼接模块将目标二维特征和初始三维特征进行拼接;对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果,包括:通过第二三维卷积特征提取模块对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果。
结合图12所示,图12为一个实施例中的医学模型的结构示意图,在该实施例中,医学模型包括二维卷积特征提取模块、第一三维卷积特征提取模块、拼接模块以及第二三维卷积特征提取模块。
其中二维卷积特征提取模块用于对待分割医学图像进行特征提取得到目标二维特征,具体地,二维卷积特征提取模块读取待分割医学图像的整个序列,然后转换为第一个当前输入特征,具体地,按照序列的索引,对每个切片图像进行依次转换得到各个切片图像对应的第一个当前输入特征,按照切片图像的索引依次处理,为了方便,仅以第一张切片图像为例进行说明,通过各个卷积块对第一张切片图像进行处理得到目标二维特征,具体地,该目标二维特征可以为二值图,即在输出层中用激活函数将预测的特征值转为概率矩阵,保留大于0.6阈值,得到组织器官为1,其余部分为0的二值图,同样地,对于其他的切片图像也是得到对应的二值图。
第一三维卷积特征提取模块和第二三维卷积特征提取模块均是用于提取三维特征的,其中第一三维卷积特征提取模块用于对待分割医学图像进行处理提取初始三维特征,第二三维卷积特征提取模块用于对拼接后的特征进行处理,以进一步提取目标三维特征。具体地,结合图13所示,图13为一个实施例中的三维卷积特征提取模块的结构示意图,其中第一三维卷积特征提取模块以及第二三维卷积特征提取模块的结构都可以采用图13所示的结构,在其他的实施例中,第一三维卷积特征提取模块以及第二三维卷积特征提取模块的结构也可以采用其他的结构,且两个模块的结构可以相同或不相同,在此不做具体限定。
如图13中所示,三维卷积特征提取模块采用基本的3D Unet结构对待分割医学图像和拼接后的特征进行特征提取。其中对输入特征进行通道数量变换的输入层、卷积层、上采样层、下采样层、和最后的输出层。下采样是缩小图像尺寸(同时每次下采样后都会增加通道数量),上采样与下采样相反,上下采样变换尺度可以增加通道数量实现对特征的清晰表征,也利用浅层特征信息。特征图拼接是将第一层的输出与倒数第二层上采样后进行拼接,实现特征重复利用。
拼接模块可以参见图6所示,在其中一个实施例中,将所述目标二维特征和初始三维特征进行拼接,包括:按照待分割医学图像中的切片索引顺序,将各目标二维特征进行排序得到融合三维特征;将融合三维特征和初始三维特征进行拼接。
具体地,按照待分割医学图像中的切片索引顺序,将各目标二维特征进行堆叠,以得到三维形式的融合特征,例如切片数量为N,则存在N个目标二维特征,并将这N个目标二维特征进行堆叠即可以得到与初始三维特征结果一致的特征维度,从而将两者拼接,得到拼接特征的数量为2N。
最后将拼接后的拼接特征输入至第二三维卷积特征提取模块,进行三维卷积特征提取后,得到待分割医学图像的分割结果。
这样通过二维卷积补偿三维卷积输出方法,增加每个片层的图像信息,不需要大量的病人图像数据即可达到对前列腺的精准分割,通过分割区域能准确的重建三维结构,减少医生手动判别前列腺时间,提高工作效率,且利用二维卷积输出拼接三维卷积输出的方式,可以降低二维卷积输出因直接拼接原始图像数据造成对二维提取特征的弱化,影响二维卷积输出特征的利用。
在其中一个实施例中,获取待分割医学图像之后,还包括:对待分割医学图像进行格式转换得到三维医学图像和按照顺序排列的二维切片图像;对待分割医学图像进行特征提取得到目标二维特征,包括:对各二维切片图像分别进行特征提取得到目标二维特征;对待分割医学图像进行特征提取得到初始三维特征,包括:对三维医学图像进行特征提取得到初始三维特征。
结合图14所示,图14为一个实施例中的待分割医学图像的格式处理步骤的示意图,在该实施例中获取到的待分割医学图像的格式为dicom(Digital Imaging andCommunications in Medicine,医学数字成像通信),是为二维的一个个切片图像。
对待分割医学图像进行格式转换得到三维医学图像,可以是将dicom格式转换为nifti格式,nifti格式是将这一个个切片图像转为三维图像数据储存。也就是说,将dicom图像转为nifti格式用于3D卷积提取前列腺特征,直接按切片图像顺序逐个读取dicom图像用于二维卷积提取特征。
具体地,结合图15所示,图15为一个实施例中前列腺核磁图像分割流程的示意图,在该实施例中,获取到原始图像数据,并将原始图像处理为二维图像和三维图像,将二维图像输入至二维卷积特征提取模块得到目标二维特征,将三维图像输入至第一三维卷积特征提取模块得到初始三维特征,然后将目标二维特征和初始三维特征进行拼接,将拼接后的特征继续输入至第二三维卷积特征提取模块得到目标三维特征。其中目标二维特征是对每个切片层的分割结果,首先需要将目标二维特征按索引进行堆叠,再转为融合三维特征;再将这两个分割结果进行拼接融合,作为后续三维卷积的输入特征,用于进一步提取融合特征里面的前列腺信息,输出前列腺的三维分割结果。
上述实施例中,通过二维卷积补偿三维卷积输出方法,增加每个片层的图像信息,不需要大量的病人图像数据即可达到对前列腺的精准分割,通过分割区域能准确的重建三维结构,减少医生手动判别前列腺时间,提高工作效率。
在一个实施例中,如图16所示,提供了一种医学模型训练方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
S1602:获取医学样本数据,医学样本数据包括样本医学图像以及对应的目标标签。
S1604:提取样本医学图像的样本二维卷积特征。
S1606:提取模块提取样本医学图像的第一样本三维卷积特征。
S1608:将样本二维卷积特征和第一样本三维卷积特征进行拼接得到第二样本三维卷积特征。
S1610:对第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果。
在其中一个可选的实施例中,通过医学模型的二维卷积特征提取模块提取样本医学图像的样本二维卷积特征,包括:分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,其中第一个输入的当前样本输入特征是基于样本医学图像生成的;将各不同感受野大小的当前样本二维特征进行拼接得到下一样本输入特征,并将下一样本输入特征作为当前样本输入特征,并继续分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,将最后输出的下一样本输入特征作为样本二维卷积特征。
具体地,对于样本医学图像的限定可以参见待分割医学图像,对于样本二维卷积特征的提取可以参见上文中的目标二维卷积特征,对于第一样本三维卷积特征的提取可以参见上文的初始三维卷积特征,对于第二样本卷积特征的提取可以参见上文中的目标三维卷积特征,对于模型输出结果的限定可以参见上文中的医学图像的分割结果的限定,在此不再限定。
其中目标标签是样本医学图像中目标的区域,具体地,为了方便目标标签是每个切片图像中的目标的区域,从而该目标标签不仅包括二维目标的区域,还包括三维目标的区域。
S1612:基于样本二维卷积特征以及目标标签生成第一损失函数值,基于第一样本三维卷积特征以及目标标签生成第二损失函数值,基于模型输出结果以及目标标签生成第三损失函数值;根据第一损失函数值、第二损失函数值以及第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
在其中一个实施例中,根据所述第一损失函数值、第二损失函数值以及第三损失函数值对医学模型进行优化,得到训练完成的医学模型,包括:基于所述第一损失函数值对所述医学模型的二维卷积特征提取模块进行优化,基于所述第二损失函数值对所述医学模型的第一三维卷积特征提取模块进行优化,基于所述第三损失函数值对所述医学模型的第二三维卷积特征提取模块进行优化,得到训练完成的医学模型。
具体地,结合图12所示,对提取二维和三维图像中的组织器官结果,分别用不同的损失函数计算并联部分的二维卷积和三维卷积通道损失,实行双损失并行回传,同时对两个卷积通道进行梯度更新,分别监督两个卷积通道的学习。后续还对第二三维卷积特征提取模块进行损失值计算,优化第二三维卷积特征提取模块。
其中,二维卷积和三维卷积并联,双通道为相互独立、同时进行,二维卷积输出用交叉熵计算损失Loss1,三维卷积输出用Dice Loss计算损失Loss2,Loss1回传二维通道进行梯度更新,Loss2回传三维通道进行梯度更新。后续Loss3回传至第二三维卷积特征提取模块进行梯度更新。
上述实施例中,分别用不同的损失函数计算并联部分的二维卷积和三维卷积通道损失,实行双损失并行回传,同时对两个卷积通道进行梯度更新,分别监督两个卷积通道的学习,可以降低二维卷积和三维卷积之间存在的影响,以提高准确性。
在其中一个实施例中,基于样本二维卷积特征以及目标标签生成第一损失函数值,包括:通过第一损失函数基于样本二维卷积特征以及目标标签,生成第一损失函数值;基于第一样本三维卷积特征以及目标标签生成第二损失函数值,基于模型输出结果以及目标标签生成第三损失函数值,包括:通过第二损失函数,基于第一样本三维卷积特征以及目标标签,生成第二损失函数值;通过第二损失函数,基于模型输出结果以及目标标签,生成第三损失函数值。
具体地,结合图17所示,图17为一个实施例中的第一损失函数的计算示意图,在其中一个实施例中,第一损失函数为交叉熵损失函数,其中,交叉熵计算公式为:
L=-[pt*log(pr)+(1-pt)*log(1-pr)]
其中L为第一损失函数值,pt为目标标签,pr为目标二维特征对应的分割结果,也就是说基于目标标签和目标二维特征对应的分割结果生成第一损失函数值,因此,对整个图进行交叉熵计算公式为:
L=∑-[pt*log(pr)+(1-pt)*log(1-pr)]
对整个图计算出的交叉熵进行加和,得到损失的总值,本申请采用的是平均值,即加和后的损失值对整个图求平均,用以该次输出计算的损失值,在其他的实施例中可以采用其他的方式,在此不做具体限定。
具体地,结合图18所示,图18为一个实施例中的第二损失函数的计算示意图,在其中一个实施例中,第二损失函数为Dice损失函数,其中,Dice是获取两个图片的相似度,其计算方法为:
Dice=2*∑T*P/∑(T+P)
DiceLoss=1-Dice
其中DiceLoss为第二损失函数值或第三损失函数值,T为目标标签,P为初始三维卷积特征或目标三维卷积特征生成的分割结果,也就是说第二损失函数值是基于目标标签和初始三维卷积特征生成的分割结果得到的,第三损失函数值是基于目标标签和目标三维卷积特征生成的分割结果得到的,分子部分只留目标区域的预测值,也即初始三维卷积特征生成的分割结果或目标三维卷积特征生成的分割结果,即DiceLoss越小,Dice值越高,两张图片越接近。
上述实施例中,双卷积通道采用不同的损失函数计算损失值,对其分别更新网络参数,可以降低两者之间存在的影响(因为二者分割结果不同),进一步提高获取的目标二维特征和初始三维特征。分别用Cross Entropy Loss和Dice Loss计算目标二维特征和初始三维特征与真实前列腺区域的偏差,反馈回并联部分的不同的卷积通道,同时进行不同卷积通道的梯度更新,规范深度学习模型对核磁图像的T2W整体序列的前列腺区域学习。
具体地,结合图19所示,图19为一个实施例中的训练过程的示意图,在该实施例中下获取到数据集,然后对数据进行处理变换,双卷积通道分别进行二维和三维训练,这样分别将二维和三维的结果用不同的损失函数计算损失值,这样不同的损失值在对应的卷积通道进行参数更新,此外,还将二维和三维的分割结果进行拼接融合,后续三维卷积对拼接融合特征进一步提取特征,输出三维分割结果,从而多次训练选取最优结果保存。
上述实施例中,双卷积通道采用不同的损失函数计算损失值,对其分别更新网络参数,可以降低两者之间存在的影响,进一步提高获取的目标二维特征和初始三维特征。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的医学图像分割方法、医学模型训练方法的医学图像分割装置、医学模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个医学图像分割装置、医学模型训练装置实施例中的具体限定可以参见上文中对于医学图像分割方法、医学模型训练方法的限定,在此不再赘述。
在一个实施例中,如图20所示,提供了一种医学图像分割装置,包括:
待分割医学图像获取模块,用于获取待分割医学图像;
目标二维特征提取模块,用于对待分割医学图像进行特征提取得到目标二维特征;
初始三维特征提取模块,用于对待分割医学图像进行特征提取得到初始三维特征;
第一拼接模块,用于将目标二维特征和初始三维特征进行拼接;
分割模块,用于对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果。
在其中一个实施例中,上述目标二维特征提取模块包括:
提取单元,用于分别对当前输入特征提取不同感受野大小的当前二维特征,其中第一个输入的当前输入特征是基于待分割医学图像生成的;
拼接单元,用于将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,并将下一输入特征作为当前输入特征,并继续分别对当前输入特征提取不同感受野大小的当前二维特征,将最后输出的下一输入特征作为目标二维特征。
在其中一个实施例中,医学图像的分割结果是通过预先训练得到的医学模型进行预测得到的,医学模型包括二维卷积特征提取模块、第一三维卷积特征提取模块、拼接模块以及第二三维卷积特征提取模块;
上述目标二维特征提取模块还用于通过二维卷积特征提取模块对待分割医学图像进行特征提取得到目标二维特征;
上述初始三维特征提取模块还用于通过第一三维卷积特征提取模块对待分割医学图像进行特征提取得到初始三维特征;
上述第一拼接模块还用于通过拼接模块将目标二维特征和初始三维特征进行拼接;
上述分割模块还用于通过第二三维卷积特征提取模块对拼接后的特征进行特征提取得到目标三维特征,并基于目标三维特征得到医学图像的分割结果。
在其中一个实施例中,二维卷积特征提取模块包括多分支卷积特征提取单元以及拼接单元;
上述提取单元还用于通过多分支卷积特征提取单元分别对当前输入特征提取不同感受野大小的当前二维特征;
上述拼接单元还用于通过拼接单元将各不同感受野大小的当前二维特征进行拼接得到下一输入特征。
在其中一个实施例中,上述第一拼接模块还用于按照待分割医学图像中的切片索引顺序,将各目标二维特征进行排序得到融合三维特征;将融合三维特征和初始三维特征进行拼接。
在其中一个实施例中,上述装置还包括预处理模块,预处理模块用于对待分割医学图像进行格式转换得到三维医学图像和按照顺序排列的二维切片图像;
目标二维特征提取模块还用于对各二维切片图像分别进行特征提取得到目标二维特征;
初始三维特征提取模块还用于对三维医学图像进行特征提取得到初始三维特征。
在一个实施例中,如图21所示,提供了一种医学模型训练装置,包括:
医学样本数据获取模块,用于获取医学样本数据,医学样本数据包括样本医学图像以及对应的目标标签;
样本二维卷积特征提取模块,用于提取样本医学图像的样本二维卷积特征;
样本三维卷积特征提取模块,用于提取样本医学图像的第一样本三维卷积特征;
第二拼接模块,用于将样本二维卷积特征和第一样本三维卷积特征进行拼接得到第二样本三维卷积特征;
模型处理模块,用于对第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果;
网络参数更新模块,用于基于样本二维卷积特征以及目标标签生成第一损失函数值,基于第一样本三维卷积特征以及目标标签生成第二损失函数值,基于模型输出结果以及目标标签生成第三损失函数值;根据第一损失函数值、第二损失函数值以及第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
在其中一个实施例中,上述训练模块还用于通过第一损失函数基于样本二维卷积特征以及目标标签,生成第一损失函数值;通过第二损失函数,基于第一样本三维卷积特征以及目标标签,生成第二损失函数值;通过第二损失函数,基于模型输出结果以及目标标签,生成第三损失函数值。
在其中一个实施例中,上述训练模块还用于分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,其中第一个输入的当前样本输入特征是基于样本医学图像生成的;将各不同感受野大小的当前样本二维特征进行拼接得到下一样本输入特征,并将下一样本输入特征作为当前样本输入特征,并继续分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,将最后输出的下一样本输入特征作为样本二维卷积特征。
上述医学图像分割装置、医学模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图22所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像分割方法、医学模型训练方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图22中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种医学图像分割方法,其特征在于,所述方法包括:
获取待分割医学图像;
对所述待分割医学图像进行特征提取得到目标二维特征;
对所述待分割医学图像进行特征提取得到初始三维特征;
将所述目标二维特征和所述初始三维特征进行拼接;
对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
分别对当前输入特征提取不同感受野大小的当前二维特征,其中第一个输入的所述当前输入特征是基于所述待分割医学图像生成的;
将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,并将所述下一输入特征作为当前输入特征,并继续分别对当前输入特征提取不同感受野大小的当前二维特征,将最后输出的下一输入特征作为目标二维特征。
3.根据权利要求2所述的方法,其特征在于,所述医学图像的分割结果是通过预先训练得到的医学模型进行预测得到的,所述医学模型包括二维卷积特征提取模块、第一三维卷积特征提取模块、拼接模块以及第二三维卷积特征提取模块;
所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
通过所述二维卷积特征提取模块对所述待分割医学图像进行特征提取得到目标二维特征;
所述对所述待分割医学图像进行特征提取得到初始三维特征,包括:
通过所述第一三维卷积特征提取模块对所述待分割医学图像进行特征提取得到初始三维特征;
所述将所述目标二维特征和所述初始三维特征进行拼接,包括:
通过所述拼接模块将所述目标二维特征和所述初始三维特征进行拼接;
所述对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果,包括:
通过第二三维卷积特征提取模块对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
4.根据权利要求3所述的方法,其特征在于,所述二维卷积特征提取模块包括多分支卷积特征提取单元以及拼接单元,其中至少一个分支卷积特征提取单元是通过空洞卷积实现的;
所述分别对当前输入特征提取不同感受野大小的当前二维特征,包括:
通过所述多分支卷积特征提取单元分别对当前输入特征提取不同感受野大小的当前二维特征;
所述将各不同感受野大小的当前二维特征进行拼接得到下一输入特征,包括:
通过所述拼接单元将各不同感受野大小的当前二维特征进行拼接得到下一输入特征。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标二维特征和所述初始三维特征进行拼接,包括:
按照所述待分割医学图像中的切片索引顺序,将各所述目标二维特征进行排序得到融合三维特征;
将所述融合三维特征和所述初始三维特征进行拼接。
6.根据权利要求1所述的方法,其特征在于,所述获取待分割医学图像之后,还包括:
对所述待分割医学图像进行格式转换得到三维医学图像和按照顺序排列的二维切片图像;
所述对所述待分割医学图像进行特征提取得到目标二维特征,包括:
对各所述二维切片图像分别进行特征提取得到目标二维特征;
所述对所述待分割医学图像进行特征提取得到初始三维特征,包括:
对所述三维医学图像进行特征提取得到初始三维特征。
7.一种医学模型训练方法,其特征在于,所述医学模型训练方法包括:
获取医学样本数据,所述医学样本数据包括样本医学图像以及对应的目标标签;
提取所述样本医学图像的样本二维卷积特征;
提取模块提取所述样本医学图像的第一样本三维卷积特征;
将所述样本二维卷积特征和所述第一样本三维卷积特征进行拼接得到第二样本三维卷积特征;
对所述第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果;
基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值;
根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
8.根据权利要求7所述的医学模型训练方法,其特征在于,所述基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,包括:
通过第一损失函数基于所述样本二维卷积特征以及所述目标标签,生成第一损失函数值;
所述基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值,包括:
通过第二损失函数,基于所述第一样本三维卷积特征以及所述目标标签,生成第二损失函数值;通过第二损失函数,基于所述模型输出结果以及所述目标标签,生成第三损失函数值。
9.根据权利要求7所述的医学模型训练方法,其特征在于,所述根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型,包括:
基于所述第一损失函数值对所述医学模型的二维卷积特征提取模块进行优化,基于所述第二损失函数值对所述医学模型的第一三维卷积特征提取模块进行优化,基于所述第三损失函数值对所述医学模型的第二三维卷积特征提取模块进行优化,得到训练完成的医学模型。
10.根据权利要求7所述的医学模型训练方法,其特征在于,所述通过医学模型的二维卷积特征提取模块提取所述样本医学图像的样本二维卷积特征,包括:
分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,其中第一个输入的所述当前样本输入特征是基于所述样本医学图像生成的;
将各不同感受野大小的当前样本二维特征进行拼接得到下一样本输入特征,并将所述下一样本输入特征作为当前样本输入特征,并继续分别对当前样本输入特征提取不同感受野大小的当前样本二维特征,将最后输出的下一样本输入特征作为样本二维卷积特征。
11.一种医学图像分割装置,其特征在于,所述装置包括:
待分割医学图像获取模块,用于获取待分割医学图像;
目标二维特征提取模块,用于对所述待分割医学图像进行特征提取得到目标二维特征;
初始三维特征提取模块,用于对所述待分割医学图像进行特征提取得到初始三维特征;
第一拼接模块,用于将所述目标二维特征和所述初始三维特征进行拼接;
分割模块,用于对拼接后的特征进行特征提取得到目标三维特征,并基于所述目标三维特征得到医学图像的分割结果。
12.一种医学模型训练装置,其特征在于,所述医学模型训练装置包括:
医学样本数据获取模块,用于获取医学样本数据,所述医学样本数据包括样本医学图像以及对应的目标标签;
样本二维卷积特征提取模块,用于提取所述样本医学图像的样本二维卷积特征;
样本三维卷积特征提取模块,用于提取所述样本医学图像的第一样本三维卷积特征;
第二拼接模块,用于将所述样本二维卷积特征和所述第一样本三维卷积特征进行拼接得到第二样本三维卷积特征;
模型处理模块,用于对所述第二样本三维卷积特征进行特征提取,并基于特征提取的结果得到模型输出结果;
网络参数更新模块,用于基于所述样本二维卷积特征以及所述目标标签生成第一损失函数值,基于所述第一样本三维卷积特征以及所述目标标签生成第二损失函数值,基于所述模型输出结果以及所述目标标签生成第三损失函数值;根据所述第一损失函数值、所述第二损失函数值以及所述第三损失函数值对医学模型进行优化,得到训练完成的医学模型。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6或7至10中任一项所述的方法的步骤。
CN202211590185.7A 2022-12-12 2022-12-12 医学图像分割方法、医学模型训练方法、装置和存储介质 Pending CN115861248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211590185.7A CN115861248A (zh) 2022-12-12 2022-12-12 医学图像分割方法、医学模型训练方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211590185.7A CN115861248A (zh) 2022-12-12 2022-12-12 医学图像分割方法、医学模型训练方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN115861248A true CN115861248A (zh) 2023-03-28

Family

ID=85672137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211590185.7A Pending CN115861248A (zh) 2022-12-12 2022-12-12 医学图像分割方法、医学模型训练方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN115861248A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351215A (zh) * 2023-12-06 2024-01-05 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351215A (zh) * 2023-12-06 2024-01-05 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法
CN117351215B (zh) * 2023-12-06 2024-02-23 上海交通大学宁波人工智能研究院 一种人工肩关节假体设计系统及方法

Similar Documents

Publication Publication Date Title
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110148192B (zh) 医学影像成像方法、装置、计算机设备和存储介质
CN111311578B (zh) 基于人工智能的对象分类方法以及装置、医学影像设备
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111192269B (zh) 模型训练、医学影像分割方法和装置
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN113112559A (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN109903269A (zh) 确定脊柱横断面图像的异常类型的方法及计算设备
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
Katzmann et al. Explaining clinical decision support systems in medical imaging using cycle-consistent activation maximization
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN113362350B (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
CN113962990B (zh) 胸部ct图像识别方法、装置、计算机设备和存储介质
CN112669450B (zh) 人体模型构建方法和个性化人体模型构建方法
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN114241198A (zh) 获取局部影像组学特征的方法、装置、设备以及存储介质
CN114299010A (zh) 脑部肿瘤图像的分割方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination