CN111899265A - 图像分析方法、装置、计算机设备和存储介质 - Google Patents

图像分析方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111899265A
CN111899265A CN202010586791.6A CN202010586791A CN111899265A CN 111899265 A CN111899265 A CN 111899265A CN 202010586791 A CN202010586791 A CN 202010586791A CN 111899265 A CN111899265 A CN 111899265A
Authority
CN
China
Prior art keywords
image
medical image
feature map
network
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010586791.6A
Other languages
English (en)
Inventor
张文海
高耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010586791.6A priority Critical patent/CN111899265A/zh
Publication of CN111899265A publication Critical patent/CN111899265A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种图像分析方法、装置、计算机设备和存储介质。所述方法包括：获取待分析的医学图像；将医学图像输入预设的分割网络中，通过分割网络对医学图像中的感兴趣区域进行分割，得到分割图像；将分割图像和医学图像输入预设的分类网络中，得到感兴趣区域的分析结果。采用本方法能够提高得到的感兴趣区域的分析结果的准确度。

Description

图像分析方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学图像技术领域，特别是涉及一种图像分析方法、装置、计算机设备和存储介质。
背景技术
随着医学影像技术的发展，出现了包括X射线成像的多种成像技术，通过医学影像可以对待检测者的病变部位进行准确地检测，医学影像已成为临床上进行医学诊断的主要手段。
传统技术中，对医学影像中的病变区域的分析方法主要是通过人工的方式确定出医学影像中的观察靶区部位，然后对观察靶区部位的形态特点进行判断，从而得到该医学图像中病变区域的分析结果。以对食管影像分析为例，目前主要是通过X射线钡餐造影对待检测者的食管进行检测，得到待检测者的食管影像，人工的确定出食管影像中的食管观察靶区部位，然后对观察靶区部位的形态特点进行判断，从而得到待检测者食管的病变部位。
然而，传统的对医学影像中的病变区域的分析方法，存在分析准确度较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对医学影像中的病变区域的分析准确度的图像分析方法、装置、计算机设备和存储介质。
一种图像分析方法，所述方法包括：
获取待分析的医学图像；
将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
在其中一个实施例中，所述分类网络包括特征提取子网络、特征融合子网络和分类子网络；所述将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果，包括：
将所述分割图像和所述医学图像输入所述特征提取子网络，通过所述特征提取子网络分别对所述分割图像和所述医学图像进行特征提取，得到所述分割图像的特征图以及所述医学图像的特征图；
将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，通过所述特征融合子网络对所述分割图像的特征图和所述医学图像的特征图进行特征融合，得到融合特征图；
将所述融合特征图输入所述分类子网络，通过所述分类子网络对所述融合特征图进行分析，得到所述感兴趣区域的分析结果。
在其中一个实施例中，所述分类子网络包括下采样层、全局池化层和分类层；所述将所述融合特征图输入所述分类子网络，得到所述感兴趣区域的分析结果，包括：
将所述融合特征图输入所述下采样层，通过所述下采样层对所述融合特征图进行多级下采样操作，得到下采样特征图；
将所述下采样特征图输入所述全局池化层，通过所述全局池化层对所述下采样特征图进行全局池化操作，得到目标特征图；所述目标特征图在X轴和Y轴方向的大小为1*1，在Z轴方向的大小与所述融合特征图在Z轴方向的大小相同；
将所述目标特征图输入所述分类层，通过所述分类层对所述目标特征图进行分析，得到所述感兴趣区域的分析结果。
在其中一个实施例中，所述将所述目标特征图输入所述分类层，得到所述感兴趣区域的分析结果，包括：
将所述目标特征图输入所述分类层，通过所述分类层对所述目标特征图进行分类，得到所述目标特征图对应的概率值；
根据所述目标特征图对应的概率值和预设的概率阈值，得到所述感兴趣区域的分析结果。
在其中一个实施例中，所述将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，得到融合特征图，包括：
将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，通过所述特征融合子网络对所述分割图像的特征图和所述医学图像的特征图进行拼接，得到所述融合特征图。
在其中一个实施例中，所述分割网络的训练过程，包括：
获取第一样本医学图像以及所述第一样本医学图像对应的金标准分割图像；所述金标准分割图像中包括所述第一样本医学图像的感兴趣区域；
将所述第一样本医学图像输入预设的初始分割网络中，得到样本分割图像；
根据所述样本分割图像和所述金标准分割图像，对所述初始分割网络进行训练，得到所述分割网络。
在其中一个实施例中，所述分类网络的训练过程，包括：
获取第二样本医学图像以及所述第二样本医学图像中感兴趣区域的分析结果；
对所述第二样本医学图像中的感兴趣区域进行分割，得到所述第二样本医学图像中的感兴趣区域的分割图像；
将所述第二样本医学图像中的感兴趣区域的分割图像和所述第二样本医学图像输入预设的初始分类网络中，得到所述第二样本医学图像中感兴趣区域的样本分析结果；
根据所述第二样本医学图像中感兴趣区域的样本分析结果和所述第二样本医学图像中感兴趣区域的分析结果，对所述初始分类网络进行训练，得到所述分类网络。
一种图像分析装置，所述装置包括：
第一获取模块，用于获取待分析的医学图像；
第一分割模块，用于将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
分类模块，用于将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分析的医学图像；
将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分析的医学图像；
将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
上述图像分析方法、装置、计算机设备和存储介质，计算机设备将获取的待分析的医学图像输入预设的分割网络中，通过分割网络能够对医学图像中的感兴趣区域进行准确地分割，能够得到准确度较高的分割图像，进而将得到的分割图像和获取的医学图像作为双数据源输入到预设的分类网络中，能够引导分类网络结合医学图像从该医学图像的感兴趣区域范围内进行学习，去除了背景干扰，从而提高了得到的感兴趣区域的分析结果的准确度。
附图说明
图1为一个实施例中图像分析方法的应用环境图；
图2为一个实施例中图像分析方法的流程示意图；
图2a为一个实施例提供的医学图像示意图；
图2b为一个实施例中图像分析方法的流程示意图；
图3为一个实施例中图像分析方法的流程示意图；
图4为一个实施例中图像分析方法的流程示意图；
图4a为一个实施例中图像分析方法的流程示意图；
图5为一个实施例中图像分析方法的流程示意图；
图6为一个实施例中图像分析方法的流程示意图
图7为一个实施例中图像分析装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像分析方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中，如图2所示，提供了一种图像分析方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S201，获取待分析的医学图像。
其中，待分析的医学图像为通过医学影像设备采集的图像。可选的，待分析的医学图像可以为计算机断层扫描(Computed Tomography,CT)图像，也可以为X射线图像，也可以为磁共振(Magnetic Resonance Imaging,MRI)图像。可选的，待分析的医学图像可以为胸部图像，也可以为其他部位的图像。
具体地，计算机设备首先获取待分析的医学图像。可选的，计算机设备可以从PACS(Picture Archiving and Communication Systems，影像归档和通信系统)服务器中获取待分析的医学图像，也可以从医学影像设备中实时地获取待分析的医学图像。
S202，将医学图像输入预设的分割网络中，通过分割网络对医学图像中的感兴趣区域进行分割，得到分割图像。
具体地，计算机设备将上述获取的待分析的医学图像输入预设的分割网络中，通过该分割网络对医学图像中的特征进行提取，进而对该医学图像中的感兴趣区域进行分割，得到分割图像。可选的，分割网络可以V-Net网络，也可以为PSPNet网络(金字塔场景解析网络)，也可以为DeepLabV3网络。示例性地，以输入的医学图像为包括食管的CT图像(如图2a所示)为例，则计算机设备将该医学图像输入预设的分割网络后，分割网络将对该医学图像中的食管进行分割，得到食管的分割图像。
S203，将分割图像和医学图像输入预设的分类网络中，得到感兴趣区域的分析结果。
具体地，如图2b所示，计算机设备将得到的医学图像的分割图像和该分割图像作为双数据源输入到预设的分类网络中，引导分类网络结合医学图像从该医学图像的感兴趣区域范围内进行学习，得到对该医学图像中的感兴趣区域的分析结果。可选的，计算机设备将医学图像的分割图像和该医学图像输入分类网络后，分类网络可以利用分割图像的特征和医学图像的特征，对该医学图像中的感兴趣区域进行分析，得到感兴趣区域的分析结果。可选的，计算机设备可以将医学图像的分割图和医学图像按照预设的尺寸裁剪为图像块，依次将图像块输入分类网络，也可以将医学图像的分割图和医学图像直接输入分类网络。
上述图像分析方法中，计算机设备将获取的待分析的医学图像输入预设的分割网络中，通过分割网络能够对医学图像中的感兴趣区域进行准确地分割，能够得到准确度较高的分割图像，进而将得到的分割图像和获取的医学图像作为双数据源输入到预设的分类网络中，能够引导分类网络结合医学图像从该医学图像的感兴趣区域范围内进行学习，去除了背景干扰，从而提高了得到的感兴趣区域的分析结果的准确度。
在上述将医学图像的分割图像和医学图像输入预设的分类网络中，得到该医学图像的感兴趣区域的分析结果的场景中，计算机设备可以根据分割图像的特征和医学图像的特征，得到医学图像的感兴趣区域的分析结果。在一个实施例中，上述预设的分类网络包括特征提取子网络、特征融合子网络和分类子网络，如图3所示，上述S203，包括：
S301，将分割图像和医学图像输入特征提取子网络，通过特征提取子网络分别对分割图像和医学图像进行特征提取，得到分割图像的特征图以及医学图像的特征图。
具体地，计算机设备将医学图像的分割图像和该医学图像输入分类网络的特征提取子网络，通过特征提取子网络分别对分割图像和医学图像进行特征提取，得到分割图像的特征图以及医学图像的特征图。可选的，计算机设备将医学图像的分割图像和该医学图像输入特征提取子网络后，特征提取子网络可以同时得到分割图像的特征图以及医学图像的特征图，也可以先得到分割图像的特征图再得到医学图像的特征图，或者先得到医学图像的特征图再得到分割图像的特征图。
S302，将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络对分割图像的特征图和医学图像的特征图进行特征融合，得到融合特征图。
具体地，计算机设备将得到的分割图像的特征图和医学图像的特征图输入分类网络的特征融合子网络，通过该特征融合子网络对分割图像的特征图和医学图像的特征图进行融合，得到融合特征图。可选的，特征融合子网络可以采用通道拼接的方法对分割图像的特征图和医学图像的特征图进行融合，也可以采用元素逐点相加的方法对分割图像的特征图和医学图像的特征图进行融合，得到融合特征图。
S303，将融合特征图输入分类子网络，通过分类子网络对融合特征图进行分析，得到感兴趣区域的分析结果。
具体地，计算机设备将得到的融合特征图输入分类网络的分类子网络，通过分类子网络对融合特征图进行分析，得到医学图像的感兴趣区域的分析结果。可选的，分类子网络可以对融合特征图进行多级下采样操作，根据每级下采样操作融合特征图z轴方向上的信息，得到医学图像的感兴趣区域的分析结果。
在本实施例中，计算机设备将医学图像的分割图像和医学图像输入特征提取子网络，通过特征提取子网络能够分别对分割图像和医学图像进行准确地特征提取，提高了得到的分割图像的特征图以及医学图像的特征图的准确度，这样将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络能够对分割图像的特征图和医学图像的特征图进行准确地融合，提高了得到融合特征图的准确度，进而将融合特征图输入分类子网络通过分类子网络能够对融合特征图进行准确地分析，从而得到准确度较高的感兴趣区域的分析结果，提高了得到的感兴趣区域的分析结果的准确度。
在上述将医学图像的分割图像和医学图像的融合特征图输入分类子网络，得到该医学图像的感兴趣区域的分析结果的场景中，计算机设备可以对医学图像的分割图像和医学图像的融合特征图进行采样、池化等处理，得到医学图像的感兴趣区域的分析结果。在一个实施例中，上述分类子网络包括下采样层、全局池化层和分类层，如图4所示，上述S303，包括：
S401，将融合特征图输入下采样层，通过下采样层对融合特征图进行多级下采样操作，得到下采样特征图。
具体地，计算机设备将医学图像的分割图像和医学图像的融合特征图输入分类子网络的下采样层，通过下采样层对融合特征图进行多级下采样操作，得到下采样特征图。示例性地，以输入的融合特征图的尺寸大小为96*96*96，进行3级下采样操作为例，如图4a所示，每一级下采样操作都使得融合特征图在X方向和Y方向的分辨率下降为原来的1/2，而Z方向的分辨率保持不变，这样能够保证不牺牲融合特征图在Z轴方向上的细节信息，如图4a所示，经过第一级下采样操作和特征谱相加操作(特征谱相加即特征融合)，融合特征图的大小变为48*48*96，经过第二级下采样操作和特征谱相加操作，融合特征图的大小变为24*24*96，经过第三级下采样操作和特征谱相加操作，融合特征图的大小变为12*12*96，也就是最终得到的下采样特征图的大小变为12*12*96。
S402，将下采样特征图输入全局池化层，通过全局池化层对下采样特征图进行全局池化操作，得到目标特征图；目标特征图在X轴和Y轴方向的大小为1*1，在Z轴方向的大小与融合特征图在Z轴方向的大小相同。
具体地，计算机设备将得到的下采样特征图输入分类子网络的全局池化层，通过全局池化层对下采样特征图进行全局池化操作，得到目标特征图，其中，目标特征图在X轴和Y轴方向的大小为1*1，在Z轴方向的大小与融合特征图在Z轴方向的大小相同。请继续参见图4a，经过三级下采样操作后，得到的下采样特征图的大小变为12*12*96，通过对该下采样特征图进行全局池化操作和特征谱相加操作，最终得到如图4a所示的大小为1*1*96的目标特征图。
S403，将目标特征图输入分类层，通过分类层对目标特征图进行分析，得到感兴趣区域的分析结果。
具体地，计算机设备将得到的目标特征图输入分类子网络的分类层，通过该分类层对目标特征图进行分析，得到医学图像的感兴趣区域的分析结果。可选的，计算机设备可以将目标特征图输入分类层，通过分类层对目标特征图进行分类，得到目标特征图对应的概率值，根据得到的目标特征图对应的概率值和预设的概率阈值，得到感兴趣区域的分析结果。需要说明的是，分类层是根据目标特征图Z轴方向的信息对目标特征图进行的分类，得到的目标特征图对应的概率值。
在本实施例中，计算机设备将融合特征图输入分类子网络的下采样层，通过下采样层对融合特征图进行多级下采样操作，能够得到准确度较高的下采样特征图，进而将下采样特征图输入全局池化层，能够通过全局池化层对下采样特征图进行准确地全局池化操作，提高了得到目标特征图的准确度，这样可以将准确度较高的目标特征图输入分类层，通过分类层准确地对目标特征图进行分析，得到准确度较高的感兴趣区域的分析结果，提高了得到的感兴趣区域的分析结果的准确度。
在上述将医学图像的分割图像的特征图和医学图像的特征图输入特征融合子网络，得到融合特征图的场景中，是通过特征融合子网络对分割图像的特征图和医学图像的特征图进行拼接，得到的上述融合特征图。在一个实施例中，在上述实施例的基础上，上述S302，包括：将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络对分割图像的特征图和医学图像的特征图进行拼接，得到融合特征图。
具体地，计算机设备将上述得到的分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络对分割图像的特征图和医学图像的特征图进行拼接，得到上述融合特征图。这里需要说明的是，特征融合的方法包括通道拼接的方法和元素逐点相加的方法，其中，通道拼接的方法是图像对应的通道数的增加，也就是说描述图像本身的特征数(通道数)增加了，而每一特征下的信息是没有增加的；而元素逐点相加的方法是特征图相加，通道数不变，描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加。也就是，本实施例中，对分割图像的特征图和医学图像的特征图进行拼接，是将分割图像的特征图对应的通道和医学图像的特征图对应的通道进行拼接，得到的融合特征图对应的通道数为分割图像的特征图对应的通道数和医学图像的特征图对应的通道数之和。
在本实施例中，计算机设备将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过对特征融合子网络能够对分割图像的特征图和医学图像的特征图进行拼接，得到的融合特征图为通道数增加的特征图，从而提高了得到的融合特征图中包括的特征信息，进而可以根据融合特征图准确地得到医学图像的感兴趣区域的分析结果，提高了得到的医学图像的感兴趣区域的分析结果的准确度。
在上述将医学图像输入预设的分割网络的场景中，分割网络为预先训练好的网络。在一个实施例中，如图5所示，上述分割网络的训练过程包括：
S501，获取第一样本医学图像以及第一样本医学图像对应的金标准分割图像；金标准分割图像中包括第一样本医学图像的感兴趣区域。
具体地，计算机设备获取第一样本医学图像以及第一样本医学图像对应的金标准分割图像。其中，金标准分割图像中包括第一样本医学图像的感兴趣区域。可选的，第一样本医学图像可以为CT图像，也可以为X射线图像，也可以为MRI图像。可选的，第一样本医学图像可以为胸部图像，也可以为其他部位的图像。示例性地，以第一样本医学图像为包括食管的医学图像为例，则该第一样本医学图像对应的金标准分割图像为食管的分割图像。可选的，计算机设备可以从PACS(Picture Archiving and Communication Systems，影像归档和通信系统)服务器中获取第一样本医学图像，也可以从医学影像设备中实时地获取第一样本医学图像。
S502，将第一样本医学图像输入预设的初始分割网络中，得到样本分割图像。
具体地，计算机设备将第一样本医学图像输入预设的初始分割网络中，得到第一样本图像对应的样本分割图像。可选的，初始分割网络可以V-Net网络，也可以为PSPNet网络(金字塔场景解析网络)，也可以为DeepLabV3网络。示例性地，继续以第一样本医学图像为包括食管的医学图像为例，则得到的样本分割图像为该医学图像中食管的样本分割图像。
S503，根据样本分割图像和金标准分割图像，对初始分割网络进行训练，得到分割网络。
具体地，计算机设备根据得到的样本分割图像和获取的第一样本医学图像对应的金标准分割图像，得到初始分割网络的损失函数的值，根据初始分割网络的损失函数的值，对初始分割网络进行训练，直至得到的初始分割网络的损失函数的值达到稳定值时，并将初始分割网络的损失函数的值达到稳定值时对应的初始分割网络确定为上述分割网络。
在本实施例中，计算机设备首先获取第一样本医学图像以及第一样本医学图像对应的金标准分割图像，将第一样本医学图像输入预设的初始分割网络中，能够得到样本分割图像，进而可以根据样本分割图像和获取的金标准分割图像，对初始分割网络进行准确地训练，进而可以得到准确度较高的分割网络，提高了得到的分割网络的准确度。
在上述将医学图像的分割图像和医学图像输入预设的分类网络的场景中，分类网络为预先训练好的网络。在一个实施例中，如图6所示，上述分类网络的训练过程包括：
S601，获取第二样本医学图像以及第二样本医学图像中感兴趣区域的分析结果。
具体地，计算机设备获取第二样本医学图像以及第二样本医学图像中感兴趣区域的分析结果。可选的，第二样本医学图像可以为CT图像，也可以为X射线图像，也可以为MRI图像。可选的，第二样本医学图像可以为胸部图像，也可以为其他部位的图像。示例性地，以第二样本医学图像为包括食管的医学图像为例，则该第二样本医学图像中感兴趣区域的分析结果为对该第二样本医学图像中食管的分析结果。可选的，计算机设备可以从PACS(Picture Archiving and Communication Systems，影像归档和通信系统)服务器中获取第二样本医学图像，也可以从医学影像设备中实时地获取第二样本医学图像。可选的，计算机设备可以从医学图像对应的影像报告数据库中获取第二样本医学图像中感兴趣区域的分析结果。
S602，对第二样本医学图像中的感兴趣区域进行分割，得到第二样本医学图像中的感兴趣区域的分割图像。
具体地，计算机设备对第二样本医学图像中的感兴趣区域进行分割，得到第二样本医学图像中的感兴趣区域的分割图像。可选的，计算机设备可以根据预设的分割模板对第二样本医学图像中的感兴趣区域进行分割，得到第二样本医学图像中的感兴趣区域的分割图像，也可以将第二样本医学图像输入预设的分割网络中，得到第二样本医学图像中的感兴趣区域的分割图像。
S603，将第二样本医学图像中的感兴趣区域的分割图像和第二样本医学图像输入预设的初始分类网络中，得到第二样本医学图像中感兴趣区域的样本分析结果。
具体地，计算机设备将得到的第二样本医学图像中的感兴趣区域的分割图和第二样本医学图像输入预设的初始分类网络中，得到第二样本医学图像中感兴趣区域的样本分析结果。示例性地，继续以第二样本医学图像为包括食管的医学图像为例，则得到的第二样本医学图像中感兴趣区域的样本分析结果为对该第二样本医学图像中食管的样本分析结果。
S604，根据第二样本医学图像中感兴趣区域的样本分析结果和第二样本医学图像中感兴趣区域的分析结果，对初始分类网络进行训练，得到分类网络。
具体地，计算机设备根据得到的第二样本医学图像中感兴趣区域的样本分析结果和第二样本医学图像中感兴趣区域的分析结果，得到初始分类网络的损失函数的值，根据初始分类网络的损失函数的值对初始分类网络进行训练，直至初始分类网络的损失函数的值达到稳定值，并将初始分类网络的损失函数的值达到稳定值时对应的初始分类网络确定为上述分类网络。
在本实施例中，计算机设备首先获取第二样本医学图像以及第二样本医学图像中感兴趣区域的分析结果，然后对第二样本医学图像中的感兴趣区域进行分割，得到第二样本医学图像中的感兴趣区域的分割图像，将第二样本医学图像中的感兴趣区域的分割图像和第二样本医学图像输入预设的初始分类网络中，能够得到第二样本医学图像中感兴趣区域的样本分析结果，进而可以根据第二样本医学图像中感兴趣区域的样本分析结果和获取的第二样本医学图像中感兴趣区域的分析结果，对初始分类网络进行准确地训练，进而可以得到准确度较高的分类网络，提高了得到的分类网络的准确度。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像分析装置，包括：第一获取模块、第一分割模块和分类模块，其中：
第一获取模块，用于获取待分析的医学图像。
第一分割模块，用于将医学图像输入预设的分割网络中，通过分割网络对医学图像中的感兴趣区域进行分割，得到分割图像。
分类模块，用于将分割图像和医学图像输入预设的分类网络中，得到感兴趣区域的分析结果。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，分类网络包括特征提取子网络、特征融合子网络和分类子网络；可选的，上述分类模块包括：特征提取单元、特征融合单元和分析单元，其中：
特征提取单元，用于将分割图像和医学图像输入特征提取子网络，通过特征提取子网络分别对分割图像和医学图像进行特征提取，得到分割图像的特征图以及医学图像的特征图。
特征融合单元，用于将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络对分割图像的特征图和医学图像的特征图进行特征融合，得到融合特征图。
分析单元，用于将融合特征图输入分类子网络，通过分类子网络对融合特征图进行分析，得到感兴趣区域的分析结果。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，分类子网络包括下采样层、全局池化层和分类层；可选的，上述分析单元具体用于将融合特征图输入下采样层，通过下采样层对融合特征图进行多级下采样操作，得到下采样特征图；将下采样特征图输入全局池化层，通过全局池化层对下采样特征图进行全局池化操作，得到目标特征图；目标特征图在X轴和Y轴方向的大小为1*1，在Z轴方向的大小与融合特征图在Z轴方向的大小相同；将目标特征图输入分类层，通过分类层对目标特征图进行分析，得到感兴趣区域的分析结果。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述分析单元具体用于将目标特征图输入分类层，通过分类层对目标特征图进行分类，得到目标特征图对应的概率值；根据目标特征图对应的概率值和预设的概率阈值，得到感兴趣区域的分析结果。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述特征融合单元，具体用于将分割图像的特征图和医学图像的特征图输入特征融合子网络，通过特征融合子网络对分割图像的特征图和医学图像的特征图进行拼接，得到融合特征图。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第二获取模块、第三获取模块和第一训练模块，其中：
第二获取模块，用于获取第一样本医学图像以及第一样本医学图像对应的金标准分割图像；金标准分割图像中包括第一样本医学图像的感兴趣区域。
第三获取模块，用于将第一样本医学图像输入预设的初始分割网络中，得到样本分割图像。
第一训练模块，用于根据样本分割图像和金标准分割图像，对初始分割网络进行训练，得到分割网络。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，可选的，上述装置还包括：第四获取模块、第二分割模块、第五获取模块和第二训练模块，其中：
第四获取模块，用于获取第二样本医学图像以及第二样本医学图像中感兴趣区域的分析结果。
第二分割模块，用于对第二样本医学图像中的感兴趣区域进行分割，得到第二样本医学图像中的感兴趣区域的分割图像。
第五获取模块，用于将第二样本医学图像中的感兴趣区域的分割图像和第二样本医学图像输入预设的初始分类网络中，得到第二样本医学图像中感兴趣区域的样本分析结果。
第二训练模块，用于根据第二样本医学图像中感兴趣区域的样本分析结果和第二样本医学图像中感兴趣区域的分析结果，对初始分类网络进行训练，得到分类网络。
本实施例提供的图像分析装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像分析装置的具体限定可以参见上文中对于图像分析方法的限定，在此不再赘述。上述图像分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待分析的医学图像；
将医学图像输入预设的分割网络中，通过分割网络对医学图像中的感兴趣区域进行分割，得到分割图像；
将分割图像和医学图像输入预设的分类网络中，得到感兴趣区域的分析结果。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分析的医学图像；
将医学图像输入预设的分割网络中，通过分割网络对医学图像中的感兴趣区域进行分割，得到分割图像；
将分割图像和医学图像输入预设的分类网络中，得到感兴趣区域的分析结果。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分析方法，其特征在于，所述方法包括：
获取待分析的医学图像；
将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
2.根据权利要求1所述的方法，其特征在于，所述分类网络包括特征提取子网络、特征融合子网络和分类子网络；所述将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果，包括：
将所述分割图像和所述医学图像输入所述特征提取子网络，通过所述特征提取子网络分别对所述分割图像和所述医学图像进行特征提取，得到所述分割图像的特征图以及所述医学图像的特征图；
将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，通过所述特征融合子网络对所述分割图像的特征图和所述医学图像的特征图进行特征融合，得到融合特征图；
将所述融合特征图输入所述分类子网络，通过所述分类子网络对所述融合特征图进行分析，得到所述感兴趣区域的分析结果。
3.根据权利要求2所述的方法，其特征在于，所述分类子网络包括下采样层、全局池化层和分类层；所述将所述融合特征图输入所述分类子网络，得到所述感兴趣区域的分析结果，包括：
将所述融合特征图输入所述下采样层，通过所述下采样层对所述融合特征图进行多级下采样操作，得到下采样特征图；
将所述下采样特征图输入所述全局池化层，通过所述全局池化层对所述下采样特征图进行全局池化操作，得到目标特征图；所述目标特征图在X轴和Y轴方向的大小为1*1，在Z轴方向的大小与所述融合特征图在Z轴方向的大小相同；
将所述目标特征图输入所述分类层，通过所述分类层对所述目标特征图进行分析，得到所述感兴趣区域的分析结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标特征图输入所述分类层，得到所述感兴趣区域的分析结果，包括：
将所述目标特征图输入所述分类层，通过所述分类层对所述目标特征图进行分类，得到所述目标特征图对应的概率值；
根据所述目标特征图对应的概率值和预设的概率阈值，得到所述感兴趣区域的分析结果。
5.根据权利要求2所述的方法，其特征在于，所述将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，得到融合特征图，包括：
将所述分割图像的特征图和所述医学图像的特征图输入所述特征融合子网络，通过所述特征融合子网络对所述分割图像的特征图和所述医学图像的特征图进行拼接，得到所述融合特征图。
6.根据权利要求1所述的方法，其特征在于，所述分割网络的训练过程，包括：
获取第一样本医学图像以及所述第一样本医学图像对应的金标准分割图像；所述金标准分割图像中包括所述第一样本医学图像的感兴趣区域；
将所述第一样本医学图像输入预设的初始分割网络中，得到样本分割图像；
根据所述样本分割图像和所述金标准分割图像，对所述初始分割网络进行训练，得到所述分割网络。
7.根据权利要求1所述的方法，其特征在于，所述分类网络的训练过程，包括：
获取第二样本医学图像以及所述第二样本医学图像中感兴趣区域的分析结果；
对所述第二样本医学图像中的感兴趣区域进行分割，得到所述第二样本医学图像中的感兴趣区域的分割图像；
将所述第二样本医学图像中的感兴趣区域的分割图像和所述第二样本医学图像输入预设的初始分类网络中，得到所述第二样本医学图像中感兴趣区域的样本分析结果；
根据所述第二样本医学图像中感兴趣区域的样本分析结果和所述第二样本医学图像中感兴趣区域的分析结果，对所述初始分类网络进行训练，得到所述分类网络。
8.一种图像分析装置，其特征在于，所述装置包括：
第一获取模块，用于获取待分析的医学图像；
第一分割模块，用于将所述医学图像输入预设的分割网络中，通过所述分割网络对所述医学图像中的感兴趣区域进行分割，得到分割图像；
分类模块，用于将所述分割图像和所述医学图像输入预设的分类网络中，得到所述感兴趣区域的分析结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010586791.6A 2020-06-24 2020-06-24 图像分析方法、装置、计算机设备和存储介质 Pending CN111899265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586791.6A CN111899265A (zh) 2020-06-24 2020-06-24 图像分析方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586791.6A CN111899265A (zh) 2020-06-24 2020-06-24 图像分析方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111899265A true CN111899265A (zh) 2020-11-06

Family

ID=73207838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586791.6A Pending CN111899265A (zh) 2020-06-24 2020-06-24 图像分析方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111899265A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222989A (zh) * 2021-06-09 2021-08-06 联仁健康医疗大数据科技股份有限公司 一种图像分级方法、装置、存储介质及电子设备
CN116245832A (zh) * 2023-01-30 2023-06-09 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222989A (zh) * 2021-06-09 2021-08-06 联仁健康医疗大数据科技股份有限公司 一种图像分级方法、装置、存储介质及电子设备
CN116245832A (zh) * 2023-01-30 2023-06-09 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116245832B (zh) * 2023-01-30 2023-11-14 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
US20220198775A1 (en) Image processing method and apparatus, electronic device, storage medium and computer program
US20220180521A1 (en) Image processing method and apparatus, and electronic device, storage medium and computer program
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111369542B (zh) 血管标记方法、图像处理系统和存储介质
CN111209916B (zh) 病灶识别方法及系统、识别设备
EP3940585A1 (en) Image processing method based on artificial intelligence, microscope, system and medium
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
CN112151179B (zh) 影像数据评估方法、装置、设备及存储介质
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
CN111583199B (zh) 样本图像标注方法、装置、计算机设备和存储介质
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN111899265A (zh) 图像分析方法、装置、计算机设备和存储介质
CN111028212B (zh) 关键点检测方法、装置、计算机设备和存储介质
CN110210519B (zh) 分类方法、计算机设备和存储介质
CN112102235B (zh) 人体部位识别方法、计算机设备和存储介质
US8306354B2 (en) Image processing apparatus, method, and program
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113192031A (zh) 血管分析方法、装置、计算机设备和存储介质
CN108765413B (zh) 用于图像分类的方法、装置及计算机可读介质
CN111462005A (zh) 处理显微图像的方法、装置、计算机设备及存储介质
CN111353407B (zh) 医学图像处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination