CN116416239B - 胰腺ct图像分类方法、图像分类模型、电子设备及介质 - Google Patents

胰腺ct图像分类方法、图像分类模型、电子设备及介质 Download PDF

Info

Publication number
CN116416239B
CN116416239B CN202310397241.3A CN202310397241A CN116416239B CN 116416239 B CN116416239 B CN 116416239B CN 202310397241 A CN202310397241 A CN 202310397241A CN 116416239 B CN116416239 B CN 116416239B
Authority
CN
China
Prior art keywords
image
mask
model
flat
scan period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310397241.3A
Other languages
English (en)
Other versions
CN116416239A (zh
Inventor
边云
邵成伟
刘鸣谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Naval Military Medical University of PLA
Original Assignee
First Affiliated Hospital of Naval Military Medical University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Naval Military Medical University of PLA filed Critical First Affiliated Hospital of Naval Military Medical University of PLA
Priority to CN202310397241.3A priority Critical patent/CN116416239B/zh
Publication of CN116416239A publication Critical patent/CN116416239A/zh
Application granted granted Critical
Publication of CN116416239B publication Critical patent/CN116416239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

本申请提供了一种胰腺CT图像分类方法、图像分类模型、电子设备及介质,方法包括,获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,所述第一平扫期图像和所述动脉期图像经过图像配准;对所述动脉期图像中的胰腺和肿瘤分割,分别获得第一掩模和第二掩模;利用所述第一掩模、所述第二掩模和所述第一平扫期图像训练第一模型,得到训练后的第一模型;获取待检测病人的第二平扫期图像,并将所述第二平扫期图像输入至所述训练后的第一模型;基于所述训练后的第一模型的输出对所述第二平扫期图像进行分类。

Description

胰腺CT图像分类方法、图像分类模型、电子设备及介质
技术领域
本发明涉及医学图像处理领域,特别涉及一种胰腺CT图像分类方法、图像分类模型、电子设备及介质。
背景技术
胰腺癌是最致命的恶性肿瘤之一,5年生存率不到10%。较差的预后与其难以早期诊断有很大相关性。相对于较中晚期胰腺癌,早期胰腺癌(病理分期T1-2N0M0)有更好的预后。因此,对高危人群进行胰腺癌的筛查对早期诊断胰腺癌有很大帮助。
在相关技术中,通常采用胰腺增强CT进行胰腺癌的筛查和诊断。然而,有文献报道胰腺增强CT诊断胰腺癌的敏感度在76%-96%,约40%小于2cm的胰腺癌被漏诊。此外,增强CT辐射量大,对于患者会有碘过敏的危险,同时肝肾功能不良的患者不适合接受增强CT检查。相较于增强CT,平扫CT不仅辐射剂量低,而且经济、快捷,也不会因为造影剂带来的副作用。
发明内容
本申请提供了一种胰腺CT图像分类方法、图像分类模型、电子设备及介质,可以应用于诊断小胰癌和早期胰腺癌筛查。
本申请的第一方面公开了一种胰腺CT图像分类方法,所述方法包括,获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,所述第一平扫期图像和所述动脉期图像经过图像配准;对所述动脉期图像中的胰腺和肿瘤分割,分别获得第一掩模和第二掩模;利用所述第一掩模、所述第二掩模和所述第一平扫期图像训练第一模型,得到训练后的第一模型;获取待检测病人的第二平扫期图像,并将所述第二平扫期图像输入至所述训练后的第一模型;基于所述训练后的第一模型的输出对所述第二平扫期图像进行分类。
在上述第一方面的一种可能的实现中,所述方法还包括,将所述第二平扫期图像输入至所述训练后的第一模型包括,将所述第二平扫期图像输入至所述训练后的第一模型得到第三掩膜和第四掩膜;以及融合所述第三掩膜和所述第四掩膜。
在上述第一方面的一种可能的实现中,基于所述训练后的第一模型的输出对所述第二平扫期图像进行分类包括,基于所述训练后的第一模型的输出逐层提取特征;以及基于提取的特征对所述第二平扫期图像进行分类。
在上述第一方面的一种可能的实现中,还包括,使用Densenet121模型进行分类。
在上述第一方面的一种可能的实现中,所述第一模型是基于3D-UNET算法得到。
在上述第一方面的一种可能的实现中,利用所述第一掩模、所述第二掩模和所述第一平扫期图像训练第一模型,得到训练后的第一模型还包括,获取第三平扫期图像,根据所述第一掩模、所述第二掩膜、所述第一平扫期图像和所述第三平扫期图像训练所述第一模型。
本申请的第二方面公开了一种图像分类模型,所述模型包括,分割子模型和分类子模型,其中,所述分割子模型在接收平扫期图像后,获取胰腺掩模;所述分类子模型根据所述胰腺掩模对所述平扫期图像进行分类;其中,所述分割子模型是经以下方法训练得到:获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,所述第一平扫期图像和所述动脉期图像经过图像配准;对所述动脉期图像中的胰腺和肿瘤分割,分别获得第一掩模和第二掩模;利用所述第一掩模、所述第二掩模和所述第一平扫期图像训练第一模型,得到分割子模型。
本申请的第三方面公开了一种电子设备,所述设备包括存储有计算机可执行指令的存储器和处理器;当所述指令被所述处理器执行时,使得所述设备实施根据本申请第一方面的所述的胰腺CT图像分类方法。
本申请的第四方面公开了一种计算机可读介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本申请第一方面的所述的胰腺CT图像分类方法。
本申请的第五方面公开了一种计算机程序产品,所述计算机程序被处理器执行时实现本申请第一方面的所述的胰腺CT图像分类方法。
本申请提供的胰腺CT图像分类方法、图像分类模型、电子设备及介质,基于胰腺癌病人的经过配准的平扫期CT图像和动脉期CT图像获得对应于胰腺和肿瘤的掩膜,并通过迁移学习利用平扫期图像和掩膜来训练基于平扫期图像的图像分割模型。将训练好的图像分割模型用于获取待检测病人的平扫期图像的掩膜,并基于该掩膜利用分类模型对待检测病人的平扫期图像进行分类。这样,在做胰腺癌的早期筛查时,无需获取患者的胰腺增强CT图像,仅需获取患者的平扫CT图像。这种方法利用已有的确诊患者的增强CT图像,结合深度学习来实现基于非增强CT图像胰腺癌的早期筛查,从而代替采用增强CT的方法,并具有无创、无碘过敏的风险,廉价并且对肝肾功能不良的人群友好等优点。
附图说明
图1为本申请一个实施例的胰腺CT图像分类方法100的流程示意图;
图2为将本申请一个实施例的图像分类模型200的示意图;
图3A-3D为本申请的一个实施例中的分类模型被应用于放射科医生的诊断的对比图;
图4为本申请的一个实施例的电子设备400的框图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是,本公开的说明性实施例包括但不限于胰腺CT图像分类方法、图像分类模型、电子设备及介质,此处描述的具体实施例仅仅是为了解释本申请,而非对本申请的限定。此外,为了便于描述,附图中仅示出了与本申请相关的部分而非全部的结构或过程。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
胰腺癌因其生存率较低是具有较高致命性的恶性肿瘤。胰腺癌的早期诊断和预后具有较大的相关性。因此,胰腺癌的筛查对早期诊断胰腺癌有很大帮助。
近来基于CT的人工智能在胰腺癌的诊断和筛查方面已经有所应用,但是这些技术大多利用的是胰腺增强CT。增强CT的优势在于肿瘤和周围胰腺组织对比度大,易于真诊断。胰腺增强CT是初步评估疑似胰腺癌的最广泛使用的成像方式。胰腺增强CT还可以在胰腺癌诊断中起到重要的作用,用于全面评估胰腺癌。然而,对于诊断小胰癌和早期的胰腺癌,使用胰腺增强CT的方式是具有挑战性的。另外,增强CT的X射线剂量较大导致的碘过敏的风险,以及肝肾功能不良的人不适合接受增强CT检查等因素均限制了增强CT在胰腺癌筛查中的应用。
为了解决上述问题,本申请的一个实施例提供了一种胰腺CT图像分类方法100,参见图1。
在S110中,获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,第一平扫期图像和动脉期图像经过图像配准。
在增强CT扫描中,通常将造影剂静脉注入血管后,造影剂随着血液的流动流向各个器官和病灶。平扫期图像是指造影剂显影之前获取的CT扫描图像。造影剂显影由三个时段,分别是动脉期、门脉期、和延迟期。动脉期指动脉血管充盈显影期,可以展现造影剂流入动脉后所表现出来的特点;门脉期是指门静脉血管充盈显影期,可以展现动脉期后血液经过门静脉时所表现出的特点;延迟期是在动脉期和门脉期之后所表现出的特点。注射造影剂后的动脉期时间范围在20-25秒,门脉期时间范围在60-70秒,延迟期时间范围在110-130秒。
在S110中的胰腺癌病人是指经过病例确诊的胰腺癌病人。另外,对应的平扫期图像和动脉期图像经过图像配准,配准原则是以动脉期图像为基准。在一些实施方式中,可以以动脉期图像为基准,将平扫期、动脉期、门脉期、和延迟期的图像均进行校准。
在S120中,对动脉期图像中的胰腺和肿瘤分割,分别获得第一掩模和第二掩模。
可以利用图像分割模型对S110中勾画好的动脉期胰腺和肿瘤进行分割,获得分割掩膜(mask)。第一掩膜为分割出的胰腺掩膜,对应地,第二掩膜为分割出的肿瘤掩膜。
在一些实施方式中,图像分割模型可以是Unet、Segnet,Mask RCNN,DeepLabv3+中的任一种。
在S130中,利用第一掩模、第二掩模和第一平扫期图像训练第一模型,得到训练后的第一模型。
因为第一平扫期图像已和动脉期图像经过配准,因此可以根据分割出的第一掩膜、第二掩膜得到在第一平扫期图像的对应的掩膜。根据第一平扫期图像以及其中的胰腺掩膜、肿瘤掩膜来训练第一模型,得到训练后的第一模型。这样,训练好的第一模型为基于平扫期图像的胰腺和肿瘤的分割模型。
在一些实施方式中,第一模型是基于3D-Unet算法得到。Unet网络主要包括两部分,前半部分为特征提取,后半部分用于上采样。也可以把这种结构叫做编码器-解码器结构。由于Unet网络的整体结构是一个大写的英文字母U,所以叫做Unet。由于医学影像很多时候都是块状的,即由很多个切片构成一整张。在这种情况下,如果使用2D的图像处理模型2D-Unet去处理就必须将医学影像的图片处理成一个个切片,再送进模型进行训练,因而过程较为繁琐,效率较低。
3D UNet是基于2D-UNet创建得到,同样包含了编码器部分和解码器部分。编码器部分是用来分析整张图片并且进行特征提取与分析,而与之相对应的解码器部分是生成一张分割好的块状图。与跟2D-UNet相比,不同的就是将全部2D操作换成了3D操作。这样,无需将单张的切片输入,而是可以采取整张图片作为输入至模型中。
在一些实施方式中,利用第一掩模、第二掩模和第一平扫期图像训练第一模型,得到训练后的第一模型还包括,获取第三平扫期图像,根据第一掩模、第二掩膜、第一平扫期图像和第三平扫期图像训练第一模型。即利用第一掩模、第二掩膜、第一平扫期图像作为正样本,第三平扫期图像作为负样本,共同训练第一模型。在一些示例中,第三平扫期图像来源于已确定未患胰腺癌的正常人的平扫期图像。
在S140中,获取待检测病人的第二平扫期图像,并将第二平扫期图像输入至训练后的第一模型。
对于待检测病人,只需获取平扫期的图像,而无需采用增强CT的图像。将待检测病人的平扫期的图像输入至训练后的分割模型之后,得到训练后的分割模型的输出。
在一些实施方式中,将待检测病人的第二平扫期图像输入至训练后的第一模型,得到对应于胰腺和肿瘤的第三掩膜和第四掩膜。再将第三掩膜和第四掩膜融合,融合过程如下:
1)创建胰腺指标函数lA:
其中A为与平扫期图像相同大小的体素;
2)分割的融合图像Xf=X*lA(x),其中X为非增强CT;
3)利用lA(xmin,xmax,ymin,ymax,zmin,zmax)分割边界体素BA
4)对融合后的图像边界分别进行z-score归一化处理,Nf=XfBAxf,Np
XpBAxp,Nt=XtBAxt,x为边界盒中每个体素的归一化函数;其中,Xp为原始图像加上胰腺分割掩膜的图像,Xt为原始图像加上胰腺肿瘤分割掩膜的图像,f为融合后的图像。
在S150中,基于训练后的第一模型的输出对第二平扫期图像进行分类。
根据模型的输出得到是否为胰腺癌的概率,从而对平扫期图像进行分类。
在一些实施方式中,基于训练后的第一模型的输出对第二平扫期图像进行分类包括,基于训练后的第一模型的输出逐层提取特征,再基于提取的特征对第二平扫期图像进行分类。
对于上述融合过程1)-4),可以建立3-通道融合切片为Xv(i)={Nf(i),{Np(i),{Nt(i)},i∈轴图像系列。即可以将模型输出进行逐层切片,对于每个切片给出胰腺癌的概率,并将所有切片对应的最高概率作为最终结果。这种使用最高概率的切片给出最终结果的方法能够提高分类和肿瘤定位的准确性。
在一些示例中,训练后的第一模型的输出为对应于胰腺和肿瘤的第三掩膜和第四掩膜,可以将第三掩膜和第四掩膜融合的结果进行逐层切片,对于每个切片给出胰腺癌的概率,并将所有切片对应的最高概率作为最终结果。
在一些实施方式中,可以基于卷积神经网络对第二平扫期图像进行分类。例如,分类模型可以为VGGNet、Inception、ResNet或Densenet模型中的任一种。VGGNet、Inception为常规的卷积神经网络(CNN)模型。理论上来说,神经网络越深,分类模型的效果越好。但是过深的神经网络会导致梯度消失、梯度爆炸和模型退化等问题,从而降低准确率。对此ResNet可以利用其中的残差网络模块有效解决这些问题。ResNet可以训练出更深的CNN模型,从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”,这有助于训练过程中梯度的反向传播,从而能训练出更深的CNN网络。DenseNet模型与ResNet类似,但是DenseNet模型建立的是前面所有层与后面层的密集连接。另外,DenseNet还可以通过特征在通道上的连接来实现特征重用(feature reuse)。这些特点让DenseNet可以降低参数和计算成本。
在一些实施方式中,可以采用DenseNet-121、DenseNet-161、DenseNet-169、DenseNet-201中的任一种模型作为分类模型。
方法100基于胰腺癌病人的经过配准的平扫期CT图像和动脉期CT图像获得对应于胰腺和肿瘤的掩膜,并通过迁移学习利用平扫期图像和掩膜来训练基于平扫期图像的图像分割模型。将训练好的图像分割模型用于获取待检测病人的平扫期图像的掩膜,并基于该掩膜利用分类模型对待检测病人的平扫期图像进行分类。这样,在做胰腺癌的早期筛查时,无需获取患者的胰腺增强CT图像,仅需获取患者的平扫CT图像。这种方法利用已有的确诊患者的增强CT图像,结合深度学习来实现基于非增强CT图像胰腺癌的早期筛查,从而代替采用增强CT的方法,具有无创、无碘过敏的风险,廉价并且对肝肾功能不良的人群友好等优点。
图2为本申请的一个实施例的图像分类模型200的示意图。分类模型200包括分割子模型210和分类子模型220。分割子模型210可以接收待检测病人的平扫期图像,输出胰腺掩模。分类子模型220根据胰腺掩模对平扫期图像进行分类。分割子模型210是经以下方法训练得到。
首先,获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,第一平扫期图像和所述动脉期图像经过图像配准;
其次,对动脉期图像中的胰腺和肿瘤分割,分别获得第一掩模和第二掩模;
再次,利用第一掩模、第二掩模和第一平扫期图像训练第一模型,得到分割子模型210。
分类模型200中的分割子模型210增加了分类子模型220的注意机制。在分类模型200的辅助下,放射科医生可以将分割和分类的结果与临床、CT特征相结合,并给出最终结果。
在一些实施方式中,将待检测病人的平扫期图像输入至分割子模型210,得到对应于胰腺的掩膜和肿瘤的掩膜。再将这两个掩膜融合输入至分类子模型220中。
在一些实施方式中,此外,分类子模型220可以给出融合掩膜的每个切片为胰腺癌的概率,并将所有切片对应的最高概率作为最终结果。
在一些示例中,胰腺和肿瘤的位置被可视化为热图。
图2提供一种端到端的图像分类模型,将待检测病人的平扫期图像输入至分割子模型,并将分割子模型的输出输入至分类子模型,从而得到分类结果。在做胰腺癌的早期筛查时,无需获取患者的胰腺增强CT图像,仅需获取患者的平扫CT图像。模型200利用已有的确诊患者的增强CT图像,结合深度学习来实现基于非增强CT图像胰腺癌的早期筛查,从而代替采用增强CT的方法,具有无创、无碘过敏的风险,廉价并且对肝肾功能不良的人群友好等优点。
图3A-3D为本申请的一个实施例中的分类模型被应用于放射科医生的诊断的对比图,图3A-3D中示出了具有不同工作经验(分别为5、8、15、20年)的放射科医生1-4在没有分类模型辅助和具有分类模型辅助下的A曲线下面积(AUC)、B敏感性、C特异性、以及D准确性的对比。
在图3A中可以看出,放射科医生4(最高级别的医生)在有/无分类模型辅助时的AUC最接近。而放射科医生1、2和3在有/无分类模型辅助时的AUC具有显著差异,说明模型诊断能力达到最高年资放射科医生的诊断水平;并且在模型的辅助下,提升低年资放射科医生诊断水平。
根据图3A-3D在没有分类模型辅助的情况下,四位放射科医生的AUC在0.87和0.94之间,敏感性在87.4%-94.4%,特异性在85.8%-94.0%,准确性在86.6%-94.2%。通过分类模型的辅助,放射科医生的AUC在0.95-0.99,敏感性在95.3%-98.5%,特异性在96.1%-98.9%,准确性在95.1%-98.7%。因此,通过图像分类模型的辅助,四位放射科医生的AUC、敏感性和特异性均有明显增加。
另外,和没有图像分类模型辅助的情况相比,在图像分类模型的辅助下4名影像科医生诊断早期胰腺癌(病理T1N0M0)和小胰腺癌(直径<2cm)诊敏感度显著提高(P<0.0001)。
现在参考图4,所示为根据本申请的一个实施例的电子设备400的框图。电子设备400可以包括一个或多个处理器402,与处理器402中的至少一个连接的系统控制逻辑408,与系统控制逻辑408连接的系统内存404,与系统控制逻辑408连接的非易失性存储器(NVM)406,以及与系统控制逻辑408连接的网络接口410。
处理器402可以包括一个或多个单核或多核处理器。处理器402可以包括通用处理器和专用处理器(例如,图形处理器,应用处理器,基带处理器等)的任何组合。在本文的实施例中,处理器402可以被配置为执行根据如图1-2所示的各种实施例的一个或多个实施例。
在一些实施例中,系统控制逻辑408可以包括任意合适的接口控制器,以向处理器402中的至少一个和/或与系统控制逻辑408通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中,系统控制逻辑408可以包括一个或多个存储器控制器,以提供连接到系统内存404的接口。系统内存404可以用于加载以及存储数据和/或指令。在一些实施例中设备400的内存404可以包括任意合适的易失性存储器,例如合适的动态随机存取存储器(DRAM)。
NVM/存储器406可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中,NVM/存储器406可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备,例如HDD(Hard Disk Drive,硬盘驱动器),CD(Compact Disc,光盘)驱动器,DVD(Digital Versatile Disc,数字通用光盘)驱动器中的至少一个。
NVM/存储器406可以包括安装在设备400的装置上的一部分存储资源,或者它可以由设备访问,但不一定是设备的一部分。例如,可以经由网络接口410通过网络访问NVM/存储406。
特别地,系统内存404和NVM/存储器406可以分别包括:指令420的暂时副本和永久副本。指令420可以包括:由处理器402中的至少一个执行时导致设备400实施如图1所示的方法的指令。在一些实施例中,指令420、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑408,网络接口410和/或处理器402中。
网络接口410可以包括收发器,用于为设备400提供无线电接口,进而通过一个或多个网络与任意其他合适的设备(如前端模块,天线等)进行通信。在一些实施例中,网络接口410可以集成于设备400的其他组件。例如,网络接口410可以集成于处理器402的,系统内存404,NVM/存储器406,和具有指令的固件设备(未示出)中的至少一种,当处理器402中的至少一个执行所述指令时,设备400实现图1-2所示的各种实施例的一个或多个实施例。
网络接口410可以进一步包括任意合适的硬件和/或固件,以提供多输入多输出无线电接口。例如,网络接口410可以是网络适配器,无线网络适配器,电话调制解调器和/或无线调制解调器。
在一个实施例中,处理器402中的至少一个可以与用于系统控制逻辑408的一个或多个控制器的逻辑封装在一起,以形成系统封装(SiP)。在一个实施例中,处理器402中的至少一个可以与用于系统控制逻辑408的一个或多个控制器的逻辑集成在同一管芯上,以形成片上系统(SoC)。
设备400可以进一步包括:输入/输出(I/O)设备412。I/O设备412可以包括用户界面,使得用户能够与设备400进行交互;外围组件接口的设计使得外围组件也能够与设备400交互。
在一些实施例中,用户界面可包括但不限于显示器(例如,液晶显示器,触摸屏显示器等),扬声器,麦克风,一个或多个相机(例如,静止图像照相机和/或摄像机),手电筒(例如,发光二极管闪光灯)和键盘。
在一些实施例中,外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
本申请的各方法实施方式均可以以软件、磁件、固件等方式实现。
可将程序代码应用于输入指令,以执行本文描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本文中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在计算机可读存储介质上的表示性指令来实现,指令表示处理器中的各种逻辑,指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的计算机可读存储介质上,并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
本申请的一个实施例公开了一种计算机可读介质,存储有可被一个或者多个处理器执行的一个或者多个程序,以实现本申请的胰腺CT图像分类方法。
本申请的一个实施例公开了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请的胰腺CT图像分类方法。
以上由特定的具体实施例说明本申请的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其他优点及功效。虽然本申请的描述将结合较佳实施例一起介绍,但这并不代表此发明的特征仅限于该实施方式。恰恰相反,结合实施方式作发明介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解,以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外,为了避免混乱或模糊本申请的重点,有些具体细节将在描述中被省略。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
此外,各种操作将以最有助于理解说明性实施例的方式被描述为多个离散操作;然而,描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是,这些操作不需要按呈现顺序执行。
除非上下文另有规定,否则术语“包含”,“具有”和“包括”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A和B)或者(A或B)”。
如这里所使用的,术语“模块”或“单元”可以指代、是或者包括:专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的(共享、专用或组)处理器和/或存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质的途径分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制、但不限于、软盘、光盘、光盘、只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于通过电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)通过因特网传输信息的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可以不需要这样的特定布置和/或排序。在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外,在特定图中包含结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元或是数据,但是这些单元或数据不应当受这些术语限制。使用这些术语仅仅是为了将一个特征与另一个特征进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一特征可以被称为第二特征,并且类似地第二特征可以被称为第一特征。
应注意的是,在本说明书中,相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
虽然通过参照本发明的某些优选实施例,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (11)

1.一种胰腺CT图像分类方法,其特征在于,所述方法包括,
获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,所述第一平扫期图像和所述动脉期图像经过图像配准;
对所述动脉期图像中的胰腺和肿瘤分割,分别获得第一掩膜和第二掩膜;
利用所述第一掩膜、所述第二掩膜和所述第一平扫期图像训练第一模型,得到训练后的第一模型;
获取待检测病人的第二平扫期图像,并将所述第二平扫期图像输入至所述训练后的第一模型,包括:
将所述第二平扫期图像输入至所述训练后的第一模型得到对应于所述第二平扫期图像中的胰腺和肿瘤的第三掩膜和第四掩膜;以及
融合所述第三掩膜和所述第四掩膜,得到融合图像;以及
基于所述训练后的第一模型的输出对所述第二平扫期图像进行分类,包括:
基于所述融合图像逐层提取特征;以及
基于提取的特征对所述第二平扫期图像进行分类。
2.根据权利要求1所述的方法,其特征在于,融合所述第三掩膜和所述第四掩膜,得到融合图像包括:
创建胰腺指标函数lA:
其中,A为与所述第二平扫期图像相同大小的体素;
分割的融合图像Xf=X*lA(x),其中X为非增强CT;
利用lA(xmin,xmax,ymin,ymax,zmin,zmax)分割边界体素BA;以及
对所述融合图像的边界分别进行z-score归一化处理,Nf=XfBAxf,Np=XpBAxp,Nt=XtBAxt,x为边界盒中每个体素的归一化函数;其中,Xp为所述第二平扫期图像加上所述第三掩膜的图像,Xt为所述第二平扫期图像加上所述第四掩膜的图像,f为所述融合图像。
3.根据权利要求1所述的方法,其特征在于,
基于所述融合图像逐层提取特征包括,
对所述融合图像逐层切片并确定每个切片的概率。
4.根据权利要求3所述的方法,其特征在于,基于提取的特征对所述第二平扫期图像进行分类包括,
基于所有切片中对应的最高概率对所述第二平扫期图像进行分类。
5.根据权利要求1所述的方法,其特征在于,还包括,使用Densenet121模型进行分类。
6.根据权利要求1所述的方法,其特征在于,所述第一模型是基于3D-Unet算法得到。
7.根据权利要求1所述的方法,其特征在于,利用所述第一掩膜、所述第二掩膜和所述第一平扫期图像训练第一模型,得到训练后的第一模型还包括,
获取第三平扫期图像,根据所述第一掩膜、所述第二掩膜、所述第一平扫期图像和所述第三平扫期图像训练所述第一模型。
8.一种图像分类模型,其特征在于,所述模型包括,分割子模型和分类子模型,
其中,所述分割子模型在接收平扫期图像后,获取胰腺掩膜;所述分类子模型根据所述胰腺掩膜对所述平扫期图像进行分类;
其中,所述分割子模型是经以下方法训练得到:
获取胰腺癌病人的胰腺增强CT图像的第一平扫期图像和动脉期图像,其中,所述第一平扫期图像和所述动脉期图像经过图像配准;
对所述动脉期图像中的胰腺和肿瘤分割,分别获得第一掩膜和第二掩膜;
利用所述第一掩膜、所述第二掩膜和所述第一平扫期图像训练第一模型,得到分割子模型;
其中,所述分割子模型在接收平扫期图像后,获取胰腺掩膜包括,将所述平扫期图像输入分割子模型得到对应于第二平扫期图像中的胰腺和肿瘤的第三掩膜和第四掩膜;以及融合所述第三掩膜和所述第四掩膜,得到融合图像;
其中,所述分类子模型根据所述胰腺掩膜对所述平扫期图像进行分类包括,基于所述融合图像逐层提取特征;以及基于提取的特征对所述平扫期图像进行分类。
9.一种电子设备,其特征在于,所述设备包括存储有计算机可执行指令的存储器和处理器;当所述指令被所述处理器执行时,使得所述设备实施根据权利要求1至7中任一项所述的方法。
10.一种计算机可读介质,其特征在于,存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至7中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202310397241.3A 2023-04-13 2023-04-13 胰腺ct图像分类方法、图像分类模型、电子设备及介质 Active CN116416239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310397241.3A CN116416239B (zh) 2023-04-13 2023-04-13 胰腺ct图像分类方法、图像分类模型、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310397241.3A CN116416239B (zh) 2023-04-13 2023-04-13 胰腺ct图像分类方法、图像分类模型、电子设备及介质

Publications (2)

Publication Number Publication Date
CN116416239A CN116416239A (zh) 2023-07-11
CN116416239B true CN116416239B (zh) 2024-03-12

Family

ID=87057735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310397241.3A Active CN116416239B (zh) 2023-04-13 2023-04-13 胰腺ct图像分类方法、图像分类模型、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116416239B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技(深圳)有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技(深圳)有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110047082A (zh) * 2019-03-27 2019-07-23 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN112070809A (zh) * 2020-07-22 2020-12-11 中国科学院苏州生物医学工程技术研究所 基于pet/ct双时成像的胰腺癌精准诊断系统
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN112990344A (zh) * 2021-04-09 2021-06-18 重庆大学 一种肺结节多视图分类方法
CN113017670A (zh) * 2021-03-01 2021-06-25 北京小白世纪网络科技有限公司 一种基于3D UNet的纵隔肿物识别方法、装置及存储介质
CN113537357A (zh) * 2021-07-19 2021-10-22 烟台毓璜顶医院 一种基于深度残差网络的甲状腺癌ct影像分类系统
CN114343687A (zh) * 2022-01-18 2022-04-15 平安科技(深圳)有限公司 肾上腺功能性肿瘤分型定位设备、装置及存储介质
CN114830175A (zh) * 2019-12-20 2022-07-29 基因泰克公司 利用医学图像的自动肿瘤识别与分割
CN115239637A (zh) * 2022-06-28 2022-10-25 中国科学院深圳先进技术研究院 一种ct胰腺肿瘤自动分割方法、系统、终端以及存储介质
CN115330732A (zh) * 2022-08-18 2022-11-11 中国人民解放军海军军医大学第一附属医院 一种确定胰腺癌的方法及装置
CN115526843A (zh) * 2022-09-14 2022-12-27 阿里巴巴(中国)有限公司 医学图像的处理方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475278B2 (en) * 2019-10-28 2022-10-18 Ai4Medimaging—Medical Solutions, S.A. Artificial intelligence based cardiac motion classification
US11900592B2 (en) * 2020-12-03 2024-02-13 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and storage medium for pancreatic mass segmentation, diagnosis, and quantitative patient management
US11967084B2 (en) * 2021-03-09 2024-04-23 Ping An Technology (Shenzhen) Co., Ltd. PDAC image segmentation method, electronic device and storage medium

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712111A (zh) * 2018-11-22 2019-05-03 平安科技(深圳)有限公司 一种皮肤癌种类识别方法、系统、计算机设备和存储介质
CN109829880A (zh) * 2018-12-07 2019-05-31 清影医疗科技(深圳)有限公司 一种基于深度学习的ct图像检测方法、装置和控制设备
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110047082A (zh) * 2019-03-27 2019-07-23 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN114830175A (zh) * 2019-12-20 2022-07-29 基因泰克公司 利用医学图像的自动肿瘤识别与分割
CN112070809A (zh) * 2020-07-22 2020-12-11 中国科学院苏州生物医学工程技术研究所 基于pet/ct双时成像的胰腺癌精准诊断系统
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112785617A (zh) * 2021-02-23 2021-05-11 青岛科技大学 残差UNet直肠癌肿瘤磁共振图像自动分割方法
CN113017670A (zh) * 2021-03-01 2021-06-25 北京小白世纪网络科技有限公司 一种基于3D UNet的纵隔肿物识别方法、装置及存储介质
CN112990344A (zh) * 2021-04-09 2021-06-18 重庆大学 一种肺结节多视图分类方法
CN113537357A (zh) * 2021-07-19 2021-10-22 烟台毓璜顶医院 一种基于深度残差网络的甲状腺癌ct影像分类系统
CN114343687A (zh) * 2022-01-18 2022-04-15 平安科技(深圳)有限公司 肾上腺功能性肿瘤分型定位设备、装置及存储介质
CN115239637A (zh) * 2022-06-28 2022-10-25 中国科学院深圳先进技术研究院 一种ct胰腺肿瘤自动分割方法、系统、终端以及存储介质
CN115330732A (zh) * 2022-08-18 2022-11-11 中国人民解放军海军军医大学第一附属医院 一种确定胰腺癌的方法及装置
CN115526843A (zh) * 2022-09-14 2022-12-27 阿里巴巴(中国)有限公司 医学图像的处理方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Junzhong Zhang等.An Algorithm for Automatic Rib Fracture Recognition Combined with nnU-Net and DenseNet.《Hindawi》.2022,1-9. *
Nasser Alalwan等.Efficient 3D Deep Learning Model for Medical Image Semantic Segmentation.《Alexandria Engineering Journal》.2021,第60卷(第1期),1231-1239. *
基于信息互补的多层次图像分割;林丰;《中国博士学位论文全文数据库 信息科技辑》;20210915;第2021年卷(第9期);I138-53 *
结合上下文特征与CNN多层特征融合的语义分割;张云;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115;第2020年卷(第1期);I138-1401 *

Also Published As

Publication number Publication date
CN116416239A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US10878569B2 (en) Systems and methods for automatic detection of an indication of abnormality in an anatomical image
Sumathipala et al. Prostate cancer detection from multi-institution multiparametric MRIs using deep convolutional neural networks
US7876947B2 (en) System and method for detecting tagged material using alpha matting
US20180000441A1 (en) Methods and systems for extracting blood vessel
Banerjee et al. A novel GBM saliency detection model using multi-channel MRI
US10424411B2 (en) Biopsy-free detection and staging of cancer using a virtual staging score
US11934634B2 (en) System, user interface and method for interactive negative explanation of machine learning localization models in health care applications
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
KR102258756B1 (ko) 의료 영상을 이용한 암의 병기 결정 방법 및 의료 영상 분석 장치
WO2021121415A1 (en) Systems and methods for image-based nerve fiber extraction
Li et al. Discriminating between benign and malignant breast tumors using 3D convolutional neural network in dynamic contrast enhanced-MR images
Heidari et al. Improving performance of breast cancer risk prediction using a new CAD-based region segmentation scheme
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
Tan et al. Segmentation of malignant lesions in 3D breast ultrasound using a depth‐dependent model
CN110363776B (zh) 图像处理方法及电子设备
CN117152442B (zh) 影像靶区自动勾画方法、装置、电子设备和可读存储介质
Pham et al. Identifying an optimal machine learning generated image marker to predict survival of gastric cancer patients
Chang et al. Clinical radiomics-based machine learning versus three-dimension convolutional neural network analysis for differentiation of thymic epithelial tumors from other prevascular mediastinal tumors on chest computed tomography scan
CN116416239B (zh) 胰腺ct图像分类方法、图像分类模型、电子设备及介质
Tampu et al. Diseased thyroid tissue classification in OCT images using deep learning: Towards surgical decision support
Zheng et al. Coordinate-guided U-Net for automated breast segmentation on MRI images
JP2011067594A (ja) 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム
Chalasani et al. Lung CT image recognition using deep learning techniques to detect lung cancer
Yanyun et al. Automated brain tumor segmentation in magnetic resonance imaging based on sliding-window technique and symmetry analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant