图像衰减校正方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像衰减校正方法、装置、计算机设备和存储介质。
背景技术
正电子发射计算机断层成像PET技术是目标医学影像技术的重要组成部分,其可以通过定量分析示踪剂在体内的代谢过程来进行成像,然而一般PET成像过程中都会出现射线衰减,为了得到更好的PET图像,就需要对PET图像进行衰减校正。
相关技术中在对PET图像进行衰减校正时,有的是采用计算机断层扫描CT图像直接对PET图像进行衰减校正,当然还有一些是利用神经网络算法将衰减校正前的PET图像或其他模态(非CT模态)的图像转换成伪CT图像,然后利用伪CT图像对PET图像进行衰减校正。
然而上述技术难以保证PET图像衰减校正的准确性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像衰减校正准确性的图像衰减校正方法、装置、计算机设备和存储介质。
一种图像衰减校正方法,该方法包括:
根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
一种图像衰减校正装置,该装置包括:
获取模块,用于根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
校正模块,用于将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
上述图像衰减校正方法、装置、计算机设备和存储介质,根据获取的待检测对象的扫描数据,得到原始医学图像,该原始医学图像为衰减校正前的图像,包括感兴趣区域,将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像,该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。在该方法中,由于可以利用神经网络模型通过衰减校正前的图像直接得到衰减校正后的图像,因此该方法得到衰减校正图像的过程更加简单、更加直接;同时该方法不需要借助其他模态的图像进行衰减校正,因此可以避免在借助其他模态的图像在进行衰减校正时,由于其他模态的图像自身的误差所导致的衰减校正过程误差较大的问题,从而可以使得到的衰减校正图像的准确性更高。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2a为一个实施例中图像衰减校正方法的流程示意图;
图2b为一个实施例中神经网络模型的结构示意图;
图2c为一个实施例中利用神经网络模型得到的衰减校正图像的示意图;
图3为另一个实施例中图像衰减校正方法的流程示意图;
图4为另一个实施例中图像衰减校正方法的流程示意图;
图5为另一个实施例中图像衰减校正方法的流程示意图;
图6为另一个实施例中图像衰减校正方法的流程示意图;
图7为一个实施例中图像衰减校正装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
目前,在PET成像过程中,衰减校正是必不可少的一步,同时也是最为影响图像质量与定量精确性的物理校正过程,CT图像表征放射线穿过组织的衰减系数图,因而在PET-CT系统中,通过特定转换方法对CT图像进行调整,从而实现PET图像的衰减校正,然而,该基于CT的衰减校正技术仍旧存在以下问题:1)CT扫描具有放射性,长时间的扫描会对人体造成伤害,尤其对于儿童,造成的辐射伤害更大;2)由于患者的移动或者呼吸等生理现象,使得PET图像和CT图像几乎不能够完全对齐,这在一定程度也会影响PET衰减校正的精确性,可见,利用CT图像对PET图像进行衰减校正的过程中比较依赖CT图像,从而不可避免的需要承受CT扫描带来的辐射伤害。此外,还有一些是利用神经网络算法将衰减校正前的PET图像或其他模态(非CT模态)的图像转换成伪CT图像,然后利用伪CT图像对PET图像进行衰减校正,例如有将PET-MR扫描得到的MR图像作为输入,通过网络映射出伪CT图像,然后利用伪CT图像进行PET图像的衰减校正,然而这些方法均难以保证PET图像衰减校正的定量准确性。本申请实施例提供一种图像衰减校正方法、装置、计算机设备和存储介质,旨在解决上述技术存在的问题。
本申请实施例提供的图像衰减校正方法,可以应用于计算机设备,该计算机设备可以是终端,例如笔记本电脑、台式电脑、工业电脑等,其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像衰减校正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,本申请实施例的执行主体可以是图像衰减校正装置,也可以是计算机设备,下面就以计算机设备为执行主体来对本申请的方法进行说明。
在一个实施例中,提供了一种图像衰减校正方法,本实施例涉及的是如何利用衰减校正前的图像得到衰减校正后的图像的具体过程。如图2a所示,该方法可以包括以下步骤:
S202,根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域。
其中,待检测对象一般为人类,当然也可以是非人类,本实施例不作具体限定;在本实施例中,扫描数据可以是采用PET(Positron Emission Computed Tomography,正电子发射型计算机断层显像)设备对待检测对象的感兴趣区域进行扫描得到的数据,对应的,得到的原始医学图像就是PET医学图像,当然,本实施例的扫描数据也不局限与此,也可以是其他模态的扫描设备得到的扫描数据。同时,本申请实施例主要针对的是PET模态和其他模态结合的多模态设备对待检测对象进行扫描时的图像衰减校正。
另外,这里的原始医学图像可以是一维图像、二维图像、三维图像等,原始医学图像中的感兴趣区域可以是待检测对象任意部位的病灶,感兴趣区域的数量可以是一个或多个。
具体的,计算机设备可以利用PET扫描设备对待检测对象进行扫描,得到扫描数据,并直接对扫描数据进行图像重建等,得到原始医学图像;或者,利用PET扫描设备得到的扫描数据也可以预先扫描好并存储在计算机设备中,当需要对其进行处理时,直接从计算机设备的存储器中读取该扫描数据,并进行图像重建得到得到原始医学图像;又或者,计算机设备也可以从外部设备中获取扫描数据,并进行图像重建得到得到原始医学图像,比如,将PET扫描设备得到的扫描数据存储在云端,当需要进行处理操作时,计算机设备从云端获取该扫描数据,并进行图像重建得到原始医学图像。本实施例对获取扫描数据的获取方式不作限定。
S204,将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
其中,这里的神经网络模型可以是机器学习网络模型,当然也可以是其他网络模型,机器学习网络模型可以是DNN(Deep Neural Networks,深度神经网络)、CNN(Convolutional Neural Networks,卷积神经网络)、RNN(Recurrent Neural Network,循环神经网络)等,在是CNN时,其可以是V-Net模型、U-Net模型、生成式对抗网络GenerativeAdversarial Nets模型等,本申请实施例主要是对U-Net模型的网络结构进行了一些改进,得到了一种新的神经网络模型,记为HierLinkResUNet神经网络模型,这里可以称作层级连接残差网络。
参见图2b所示,在该神经网络模型中,最顶层是从输入到输出的长残差连接(longresidual connection),使得神经网络模型可以直接学习目标图像和输入图像之间的残差,加速神经网络的收敛,该神经网络模型从上到下,在浅层图像维度较大,分辨率较大,采用稠密连接,减少信息的丢失,越到底层图像维度越小,分辨率越低,信息越少,采用稀疏连接;另外,可选的,该神经网络模型包括第一残差块和深度可分离残差块,第一残差块和深度可分离残差块的卷积结构不同,第一残差块为普通的残差块(residual block),其卷积层的大小为5*5*5,步长可以是1、2等其他数值,在神经网络模型中可以有多个第一残差块,这样在提升网络性能的同时也可以防止梯度消失的问题,从而可以确保神经网络模型的收敛;同时,为了为了避免神经网络参数过多影响泛化能力和运行时间,神经网络中也添加了由depthwise separable convolution深度可分离卷积、bn批归一化和relu线性整流函数层组合的残差块,记为深度可分离残差块(depthwise separable block),该深度可分离残差块的卷积结构与第一残差块的卷积结构不同,该深度可分离残差块的卷积结构包括深度卷积(depthwise convolution)和一个1×1的卷积(pointwise convolution),示例地,深度卷积的大小可以是3*3,在本实施例的神经网络模型中,由于深度可分离残差块的使用可以极大地减少网络参数量和运行成本,使得网络在具有强大拟合能力的同时,又能够耗时短、更轻量级。同时,可选的,上述第一残差块和深度可分离残差块均用于对原始医学图像进行上采样卷积操作和下采样卷积操作,也就是说,使用第一残差块和深度可分离残差块对原始输入图像进行上采样和下采样,能够使神经网络结合多尺度信息,增大神经网络的感受野,从而增强网络整体的泛化能力,使神经网络最终输出的图像更加准确。
具体的,计算机设备在得到原始医学图像之后,可以将该原始医学图像输入至预设的神经网络模型中,利用第一残差块和深度可分离残差块对该原始医学图像进行下采样处理,得到下采样特征图,并将下采样特征图通过第一残差块和深度可分离残差块进行上采样处理,得到上采样特征图,中间可以将上下采样过程中尺寸相同的特征图进行跳层连接,进行多层次特征组合,并输入到下一层的卷积结构中,这样可以防止网络梯度消失,同时这里的多层次特征组合的形式也一定程度上有助于恢复输出图像的细节信息,最后可以将神经网络最后一层输出的上采样特征图和原始医学图像进行特征融合后,最终映射出衰减校正图像,参见图2c所示,从左到右依次为衰减校正前的图像、本申请神经网络模型得到的衰减校正图像、金标准衰减校正图像,可见,本申请得到的衰减校正图像与金标准衰减校正图像的几乎相同,也就是说,本申请得到的衰减校正图像的精度是足够的,同时也可以避免借助CT图像校正时带来的辐射,进一步降低对人体的伤害。
在本实施例中,该神经网络模型为预先训练好的神经网络模型,该神经网络模型是根据金标准衰减校正图像进行训练的,通过该训练好的神经网络模型,就可以得到原始医学图像所对应的衰减校正图像。其中,该金标准衰减校正图像是通过物理校正方法得到的,这里的物理校正方法指的是在PET图像和CT图像完全对齐的情况下,利用CT图像对衰减校正前的PET图像进行衰减校正的方法,因此这里得到的金标准衰减校正图像是比较准确的,从而利用该准确的金标准图像训练出来的神经网络模型也是比较准确的。
上述图像衰减校正方法中,根据获取的待检测对象的扫描数据,得到原始医学图像,该原始医学图像为衰减校正前的图像,包括感兴趣区域,将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像,该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。在该方法中,由于可以利用神经网络模型通过衰减校正前的图像直接得到衰减校正后的图像,因此该方法得到衰减校正图像的过程更加简单、更加直接;同时该方法不需要借助其他模态的图像进行衰减校正,因此可以避免在借助其他模态的图像在进行衰减校正时,由于其他模态的图像自身的误差所导致的衰减校正过程误差较大的问题,从而可以使得到的衰减校正图像的准确性更高。
在一个实施例中,提供了另一种图像衰减校正方法,本实施例涉及的是对神经网络模型进行训练的具体过程。在上述实施例的基础上,如图3所示,神经网络模型的训练方法可以包括以下步骤:
S302,获取训练样本图像集;该训练样本图像集包括各训练样本图像以及各训练样本图像对应的金标准衰减校正图像,各训练样本图像和各金标准衰减校正图像均包括感兴趣区域。
在本实施例中,训练样本图像集中一般包括多个训练样本图像,每个训练样本图像的获取方式可以是与上述S202得到原始医学图像相同的方式,或者还可以是其他方式,本实施例不作具体限定。以训练样本图像为PET图像,并对PET图像进行衰减校正为例,这里可以是对每个训练样本图像进行物理校正处理,得到每个训练样本图像对应的金标准衰减校正图像,这里的物理校正方法和上述S204提到的相同,指的是在PET图像和CT图像完全对齐的情况下,利用CT图像对衰减校正前的PET图像进行衰减校正的方法。
在得到每个训练样本图像以及对应的各金标准衰减校正图像后,可以对各训练样本图像和各金标准衰减校正图像进行重采样,将所有训练样本图像和所有金标准衰减图像采样到相同的分辨率,得到重采样后的训练样本图像和重采样后的金标准衰减图像,分别记为INAC和IAC,这里的分辨率大小可以根据实际情况而定,本实施例不作具体限定;之后可以计算重采样后所有训练样本图像的均值和标准差,记为μNAC和σNAC,同时可以计算重采样后所有金标准衰减校正图像的均值和标准差,记为μgt和σgt,然后采用如下公式(1)分别对重采样后的训练样本图像和重采样后的金标准衰减图像进行标准化处理,公式(1)如下:
其中,I'为标准化后的图像,I为标准化之前的图像,μ为均值,σ为标准差;
将上述重采样后的训练样本图像INAC、以及对应的均值和标准差,μNAC和σNAC代入公式(1),就可以得到标准化后的训练样本图像,同样,将重采样后的金标准衰减图像IAC、以及对应的均值和标准差,μgt和σgt代入公式(1),就可以得到标准化后的金标准衰减校正图像。在这里对各训练样本图像和各金标准衰减校正图像进行重采样和标准化,可以有利于后续利用这些图像训练神经网络模型时,神经网络模型的快速收敛。
S304,基于训练样本图像集对初始神经网络模型进行训练,得到神经网络模型。
在本步骤中,在利用训练样本图像集对神经网络模型进行训练时,可选的,可以采用如图4所示的方法进行训练,如图4所示,基于训练样本图像集的训练过程可以包括如下步骤S402-S406:
S402,将各训练样本图像输入至初始神经网络模型,得到各训练样本图像对应的预测衰减校正图像。
S404,计算各训练样本图像对应的预测衰减校正图像和各训练样本图像对应的金标准衰减校正图像之间的损失,并将损失作为目标损失函数的值。
S406,利用目标损失函数的值对初始神经网络模型进行训练,得到神经网络模型。
具体的,计算机设备在得到标准化处理后的各训练样本图像之后,可以将标准化处理后的各训练样本图像输入至初始神经网络模型中,得到每个训练样本图像对应的预测衰减校正图像,这里各训练样本图像、各金标准衰减校正图像和各预测衰减校正图像上均包括感兴趣区域;然后可以计算每个预测衰减校正图像上的每个像素和对应的金标准衰减校正图像上的每个像素之间的损失,记为每个训练样本图像上的像素损失;同时也可以计算每个预测衰减校正图像上的感兴趣区域和对应的金标准衰减校正图像上的感兴趣区域之间的损失,记为每个训练样本图像上的感兴趣区域损失;接着可以将每个训练样本图像上的像素损失作为第一损失函数的值,并将第一损失函数的值作为目标损失函数的值,或者,还可以是将每个训练样本图像上的感兴趣区域损失作为第二损失函数的值,并将第二损失函数的值作为目标损失函数的值,或者,还可以是将第一损失函数的值和第二损失函数的值共同作为目标损失函数的值,最后利用目标损失函数的值对初始神经网络模型进行训练,得到训练好的神经网络模型。
其中,这里的损失函数可以根据实际情况而定,可以是L1损失函数、L2损失函数、Dice损失函数等等;若损失函数的值是训练样本图像上的像素损失,则损失可以是预测衰减校正图像上的每个像素和对应的金标准衰减校正图像上的每个像素之间的误差、方差、范数等;若损失函数的值是训练样本图像上的感兴趣区域损失,则损失可以是预测衰减校正图像上的感兴趣区域对应的金标准衰减校正图像上的感兴趣区域之间的误差、方差、范数等;若损失函数的值是训练样本图像上的像素损失和训练样本图像上的感兴趣区域损失,则损失可以是训练样本图像上的像素损失和训练样本图像上的感兴趣区域损失的均值、方差、和值等等;当神经网络模型的损失函数的值小于预设的阈值时,或者当损失函数的和值基本稳定时(即不再发生变化时),则可以确定神经网络模型已经训练好,否则还要继续训练,当训练好时可以固定神经网络模型的参数,便于下一步使用。
另外,由于这里在神经网络模型训练时,输入图像是经过标准化处理的,那么输出图像就需要经过与标准化相反的处理,即将输入图像转换到和标准化之前的输入图像相同的尺寸下。因此,在实际使用过程中,即在利用神经网络模型对原始医学图像进行衰减校正时,可以采用训练过程中针对训练样本图像计算出的均值和标准差,即采用μNAC和σNAC对原始医学图像进行标准化处理,然后再将标准化处理后的原始医学图像输入至神经网络模型中,得到校正输出图像,这时也需要对校正输出图像进行与标准化相反的处理,可以采用上述针对金标准衰减校正图像计算出的均值和标准差,即采用μgt和σgt对校正输出图像进行反标准化处理,可以采用如下公式(2)进行:
I2=I1*σgt+μgt (2),其中,I2为反标准化处理之后得到的衰减校正图像,I1为校正输出图像,通过公式(2)就可以实现对校正输出图像的反标准化处理,最终得到的衰减校正图像即为原始医学图像对应的衰减校正图像。
进一步地,上述神经网络模型在训练时,可以选择Adam优化器对神经网络模型进行优化,从而可以使神经网络模型能够快速收敛,并具有很好的泛化能力。
在上述利用Adam优化器对神经网络模型进行优化时,也可以为优化器设置一个学习率,在这里可以采用学习率范围测试(LR Range Test)的技术选择最佳学习率,并设置给优化器。该测试技术的学习率选择过程为:首先将学习率设置为一个很小的值,接着将神经网络模型和图像数据简单的迭代几次,每次迭代完成后增加学习率,并记录每次的训练损失(loss),然后绘制LR Range Test图,一般理想的LR Range Test图包含三个区域:第一个区域学习率太小损失基本不变,第二个区域损失减小收敛很快,最后一个区域学习率太大以至于损失开始发散,那么可以将LR Range Test图中的最低点所对应的学习率作为最佳学习率,并将该最佳学习率作为Adam优化器的初始学习率,设置给优化器。
本实施例提供的图像衰减校正方法,通过获取训练样本图像集,该训练样本图像集中包括各训练样本图像和对应的金标准衰减校正图像,并基于训练样本图像集对初始神经网络模型进行训练,得到训练好的神经网络模型。在本实施例中,由于神经网络模型是利用金标准衰减校正图像进行训练得到的,因此得到的神经网络模型是比较准确的,进而在利用该准确的神经网络模型对原始医学图像进行衰减校正处理时,得到的衰减校正图像也是比较准确的。
在一个实施例中,提供了另一种图像衰减校正方法,本实施例涉及的是在对神经网络模型进行训练时,如何得到目标损失函数的值的具体过程。在上述实施例的基础上,如图5所示,上述S404可以包括以下步骤:
S502,计算各预测衰减校正图像上每个像素和各金标准衰减校正图像上对应像素之间的第一损失,并将第一损失作为第一损失函数的值。
S504,计算各预测衰减校正图像的感兴趣区域和各金标准衰减校正图像上对应的感兴趣区域之间的第二损失,并将第二损失作为第二损失函数的值。
S506,根据第一损失函数的值和第二损失函数的值,得到目标损失函数的值。
在本实施例中,第一损失也可以记为像素之间的损失,第二损失也可以记为感兴趣区域之间的损失,在计算第一损失时,可以采用如下公式(3)进行计算:
在公式(3)中,xi为预测衰减校正图像上的像素,yi为对应的金标准衰减校正图像上的像素,可以是像素值,i为像素的索引,h为像素总数。
通过公式(3)就可以计算得到每个训练样本图像的像素之间的损失,然后就可以将该像素之间的损失作为第一损失函数的值。
在计算第二损失时,可以采用如下公式(4)进行计算:
在公式(4)中,x为预测衰减校正图像,y为对应的金标准衰减校正图像,
为预测衰减校正图像上每个感兴趣区域(ROI,Region of Interesting)的均值,
为金标准衰减校正图像上每个感兴趣区域的均值,j为感兴趣区域的索引,n为感兴趣区域的总数,mean表示求均值。
通过公式(4)就可以计算得到每个训练样本图像的感兴趣区域之间的损失,然后就可以将该感兴趣区域之间的损失作为第二损失函数的值。同时,通过计算预测衰减校正图像上感兴趣区域和对应的金标准衰减校正图像上感兴趣区域之间的相对误差,即可以定量对感兴趣区域的误差进行计算,从而可以确保神经网络模型输出的预测衰减校正图像的定量准确性。
在计算得到每个训练样本图像的第一损失函数的值和第二损失函数的值之后,可以将第一损失函数的值和第二损失函数的值求均值、方差、和值等,并将得到的均值、方差、和值作为目标损失函数的值,然后利用目标损失函数的值对初始神经网络模型进行训练,得到最终的神经网络模型。
本实施例提供的图像衰减校正,通过计算预测衰减校正图像和金标准衰减校正图像上像素之间的损失,以及计算预测衰减校正图像和金标准衰减校正图像上感兴趣区域之间的损失,并将像素之间的损失的值和感兴趣区域之间的损失的值共同作为目标损失函数的值,利用目标损失函数的值对初始神经网络模型进行训练,得到最终的神经网络模型。在本实施例中,由于可以计算预测衰减校正图像和金标准衰减校正图像上感兴趣区域之间的损失,并利用感兴趣区域之间的损失的值和像素之间的损失的值共同对初始神经网络模型进行训练,从而可以保证利用训练好的神经网络模型对图像进行衰减校正时,得到的预测衰减校正图像的定量准确性。
在一个实施例中,提供了另一种图像衰减校正方法,本实施例涉及的是若原始医学图像包括N个切片图像,则如何利用该N个切片图像,得到原始医学图像对应的衰减校正图像的具体过程。在上述实施例的基础上,如图6所示,上述S204可以包括以下步骤:
S602,将原始医学图像的连续m个切片图像输入至预设的神经网络模型,得到各连续m个切片图像对应的衰减校正切片图像;m小于N。
S604,将各连续m个切片图像对应的衰减校正切片图像进行组合处理,得到原始医学图像对应的衰减校正图像。
在本实施例中,为了进一步保证得到的衰减校正图像的定量准确性,可以在神经网络模型训练时,对输入的训练样本图像进行2.5D处理,2.5D处理指的是在神经网络模型训练时,使每次的训练过程在图像块中进行,而不是在输入图像的整个体积中进行,例如5个2D的训练样本图像输入神经网络,得到1个2D的预测衰减校正图像,具体的,若每个训练样本图像均包括N个切片图像,每个金标准样本衰减校正图像均包括N个对应的金标准切片图像,利用2.5D在对神经网络模型进行训练时,可以采用如下步骤A1-A3进行:
步骤A1,将每个训练样本图像的连续m个切片图像输入至初始神经网络模型,得到每个训练样本图像的连续m个切片图像对应的预测衰减校正切片图像;m小于N。
步骤A2,计算每个预测衰减校正切片图像和对应的金标准切片图像之间的损失,并将损失作为损失函数的值。
步骤A3,利用损失函数的值对初始神经网络模型进行训练,得到神经网络模型。
在步骤A1-A3中,以N为5、m为3为例进行说明,每个训练样本图像的5个切片分别为1、2、3、4、5,第一次可以将第1、2、3切片输入至初始神经网络模型,得到第2切片对应的衰减校正图像,然后可以计算第2切片的衰减校正图像和第2切片的金标准衰减校正图像之间的损失,第二次可以将第2、3、4切片输入至初始神经网络模型,得到第3切片对应的衰减校正图像,然后可以计算第3切片的衰减校正图像和第3切片的金标准衰减校正图像之间的损失,第三次可以将第3、4、5切片输入至初始神经网络模型,得到第4切片对应的衰减校正图像,然后可以计算第4切片的衰减校正图像和第4切片的金标准衰减校正图像之间的损失,第四次可以将第4、5、1切片输入至初始神经网络模型,得到第5切片对应的衰减校正图像,然后可以计算第5切片的衰减校正图像和第5切片的金标准衰减校正图像之间的损失,第五次可以将第5、1、2切片输入至初始神经网络模型,得到第1切片对应的衰减校正图像,然后可以计算第1切片的衰减校正图像和第1切片的金标准衰减校正图像之间的损失,这里的损失可以是像素之间的损失和感兴趣区域之间的损失,然后利用五次的损失和值或者每次的损失值对初始神经网络模型进行训练,得到神经网络模型。
另外,在这里对神经网络模型进行训练时,也可以先对训练样本图像进行标准化处理,之后可以对标准化处理后的训练样本图像进行裁剪,裁剪的大小可以根据实际情况而定,例如可以是[64,64,5],同时在对训练样本图像进行裁剪的同时,也得将对应的金标准衰减校正图像进行与训练样本图像相同的裁剪,这里相同的裁剪指的是每次裁剪的位置必须对应。例如,训练样本图像和金标准衰减校正图像均有10个切片,那么可以将训练样本图像的1-5个切片、6-10个切片分别裁剪出来,同样的可以将金标准衰减校正图像的1-5个切片、6-10个切片分别裁剪出来。
在神经网络模型训练好之后,继续以上述N为5、m为3为例,那么原始医学图像也是有5个切片,那么可以将原始医学图像的每连续3个切片图像输入至训练好的神经网络模型,得到对应的一个衰减校正切片,那么就可以得到原始医学图像的5个切片对应的5个衰减校正切片,然后可以将这5个衰减校正切片按顺序组合起来,组合起来的切片就是原始医学图像对应的衰减校正图像。
本实施例提供的图像衰减校正,可以利用2.5D对神经网络模型进行训练,在使用神经网络模型进行衰减校正时,若原始医学图像包括N个切片,那么就可以原始医学图像的连续m个切片图像输入至神经网络模型,得到各连续m个切片图像对应的衰减校正切片图像,并将各连续m个切片图像对应的衰减校正切片图像进行组合处理,得到原始医学图像对应的衰减校正图像。在本实施例中,由于可以对神经网络模型进行2.5D训练,而利用2.5D可以使每次的训练过程在图像块中进行,而不是在输入图像的整个体积中进行,这样可以避免因训练样本图像尺寸太大造成的模型训练出现定量不准确的问题,从而可以进一步提高模型的定量准确性,也就是说可以使最终得到的衰减校正图像定量准确性更高。
应该理解的是,虽然图2a、3-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2a、3-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种图像衰减校正装置,包括:获取模块10和校正模块11,其中:
获取模块10,用于根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
校正模块11,用于将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
可选的,上述神经网络模型包括第一残差块和深度可分离残差块,第一残差块和深度可分离残差块的卷积结构不同。
可选的,上述第一残差块和深度可分离残差块均用于对原始医学图像进行上采样卷积操作和下采样卷积操作。
关于图像衰减校正装置的具体限定可以参见上文中对于图像衰减校正法的限定,在此不再赘述。
在另一个实施例中,提供了另一种图像衰减校正装置,在上述实施例的基础上,上述装置还可以包括训练模块,该训练模块包括:获取单元和训练单元,其中:
获取单元,用于获取训练样本图像集;该训练样本图像集包括各训练样本图像以及各训练样本图像对应的金标准衰减校正图像,各训练样本图像和各金标准衰减校正图像均包括感兴趣区域;
训练单元,用于基于训练样本图像集对初始神经网络模型进行训练,得到神经网络模型。
可选的,上述训练单元可以包括:预测子单元、计算子单元和训练子单元,其中:
预测子单元,用于将各训练样本图像输入至初始神经网络模型,得到各训练样本图像对应的预测衰减校正图像;
计算子单元,用于计算各训练样本图像对应的预测衰减校正图像和各训练样本图像对应的金标准衰减校正图像之间的损失,并将损失作为目标损失函数的值;
训练子单元,用于利用目标损失函数的值对初始神经网络模型进行训练,得到神经网络模型。
可选的,上述计算子单元,具体用于计算各预测衰减校正图像上每个像素和各金标准衰减校正图像上对应像素之间的第一损失,并将第一损失作为第一损失函数的值;计算各预测衰减校正图像的感兴趣区域和各金标准衰减校正图像上对应的感兴趣区域之间的第二损失,并将第二损失作为第二损失函数的值;根据第一损失函数的值和第二损失函数的值,得到目标损失函数的值。
在另一个实施例中,提供了另一种图像衰减校正装置,在上述实施例的基础上,若上述原始医学图像包括N个切片图像,则上述校正模块11可以包括:确定单元和组合单元,其中:
确定单元,用于将原始医学图像的连续m个切片图像输入至预设的神经网络模型,得到各连续m个切片图像对应的衰减校正切片图像;m小于N;
组合单元,用于将各连续m个切片图像对应的衰减校正切片图像进行组合处理,得到原始医学图像对应的衰减校正图像。
关于图像衰减校正装置的具体限定可以参见上文中对于图像衰减校正法的限定,在此不再赘述。
上述图像衰减校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
在一个实施例中,上述神经网络模型包括第一残差块和深度可分离残差块,第一残差块和深度可分离残差块的卷积结构不同。
在一个实施例中,上述第一残差块和深度可分离残差块均用于对原始医学图像进行上采样卷积操作和下采样卷积操作。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练样本图像集;该训练样本图像集包括各训练样本图像以及各训练样本图像对应的金标准衰减校正图像,各训练样本图像和各金标准衰减校正图像均包括感兴趣区域;基于训练样本图像集对初始神经网络模型进行训练,得到神经网络模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将各训练样本图像输入至初始神经网络模型,得到各训练样本图像对应的预测衰减校正图像;计算各训练样本图像对应的预测衰减校正图像和各训练样本图像对应的金标准衰减校正图像之间的损失,并将损失作为目标损失函数的值;利用目标损失函数的值对初始神经网络模型进行训练,得到神经网络模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算各预测衰减校正图像上每个像素和各金标准衰减校正图像上对应像素之间的第一损失,并将第一损失作为第一损失函数的值;计算各预测衰减校正图像的感兴趣区域和各金标准衰减校正图像上对应的感兴趣区域之间的第二损失,并将第二损失作为第二损失函数的值;根据第一损失函数的值和第二损失函数的值,得到目标损失函数的值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将原始医学图像的连续m个切片图像输入至预设的神经网络模型,得到各连续m个切片图像对应的衰减校正切片图像;m小于N;将各连续m个切片图像对应的衰减校正切片图像进行组合处理,得到原始医学图像对应的衰减校正图像。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据获取的待检测对象的扫描数据,得到原始医学图像;该原始医学图像为衰减校正前的图像,包括感兴趣区域;
将原始医学图像输入至预设的神经网络模型中,确定原始医学图像对应的衰减校正图像;该神经网络模型是根据金标准衰减校正图像进行训练得到的,衰减校正图像包括感兴趣区域。
在一个实施例中,上述神经网络模型包括第一残差块和深度可分离残差块,第一残差块和深度可分离残差块的卷积结构不同。
在一个实施例中,上述第一残差块和深度可分离残差块均用于对原始医学图像进行上采样卷积操作和下采样卷积操作。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练样本图像集;该训练样本图像集包括各训练样本图像以及各训练样本图像对应的金标准衰减校正图像,各训练样本图像和各金标准衰减校正图像均包括感兴趣区域;基于训练样本图像集对初始神经网络模型进行训练,得到神经网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各训练样本图像输入至初始神经网络模型,得到各训练样本图像对应的预测衰减校正图像;计算各训练样本图像对应的预测衰减校正图像和各训练样本图像对应的金标准衰减校正图像之间的损失,并将损失作为目标损失函数的值;利用目标损失函数的值对初始神经网络模型进行训练,得到神经网络模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
计算各预测衰减校正图像上每个像素和各金标准衰减校正图像上对应像素之间的第一损失,并将第一损失作为第一损失函数的值;计算各预测衰减校正图像的感兴趣区域和各金标准衰减校正图像上对应的感兴趣区域之间的第二损失,并将第二损失作为第二损失函数的值;根据第一损失函数的值和第二损失函数的值,得到目标损失函数的值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将原始医学图像的连续m个切片图像输入至预设的神经网络模型,得到各连续m个切片图像对应的衰减校正切片图像;m小于N;将各连续m个切片图像对应的衰减校正切片图像进行组合处理,得到原始医学图像对应的衰减校正图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。