CN111325714A - 感兴趣区域的处理方法、计算机设备和可读存储介质 - Google Patents

感兴趣区域的处理方法、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN111325714A
CN111325714A CN202010070636.9A CN202010070636A CN111325714A CN 111325714 A CN111325714 A CN 111325714A CN 202010070636 A CN202010070636 A CN 202010070636A CN 111325714 A CN111325714 A CN 111325714A
Authority
CN
China
Prior art keywords
region
interest
image
modality
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010070636.9A
Other languages
English (en)
Other versions
CN111325714B (zh
Inventor
张阳
廖术
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010070636.9A priority Critical patent/CN111325714B/zh
Publication of CN111325714A publication Critical patent/CN111325714A/zh
Application granted granted Critical
Publication of CN111325714B publication Critical patent/CN111325714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种感兴趣区域的处理方法、计算机设备和可读存储介质。该方法包括：获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。该方法可以使得分割得到的感兴趣区域图像更加精确。

Description

感兴趣区域的处理方法、计算机设备和可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种感兴趣区域的处理方法、计算机设备和可读存储介质。
背景技术
PET-MR设备为由正电子发射型计算机断层扫描(Positron Emission ComputedTomography，PET)和核磁共振扫描(Magnetic Resonance，MR)两强结合一体化而成的大型影像诊断设备，其具有PET的功能成像特点和MR的高清晰解剖结构信息及高软组织对比度特点，对许多疾病尤其是肿瘤和心脑疾病具有早期发现、早期诊断和准确评估的价值。
对于肿瘤类疾病，肿瘤的准确分割有助于病灶区域的检测、描绘和识别，而PET图像因易受噪声和容积效应的影响，分辨率较低，在肿瘤分割效果上欠佳，因此PET-MR设备可以同时使用PET和MR图像序列，提高PET图像肿瘤分割的精确度。传统技术中，通常是使用基于图像像素特征的分析方法，对PET图像和MR图像进行综合分析，得到PET图像和MR图像的肿瘤分割结果。
但是，传统技术中得到的肿瘤分割结果准确率较低。
发明内容
基于此，有必要针对传统技术中肿瘤分割结果准确率较低的问题，提供一种感兴趣区域的处理方法、计算机设备和可读存储介质。
一种感兴趣区域的处理方法，该方法包括：
获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
一种感兴趣区域的处理装置，该装置包括：
获取模块，用于获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
分割模块，用于将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
确定模块，用于根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
上述感兴趣区域的处理方法、装置、计算机设备和可读存储介质，能够获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。该方法中，经过多尺度特征信息的提取，可以使得分割结果更加精确，并且考虑感兴趣区域边界信息可以对感兴趣区域的边界精准定位，进一步提高分割结果的精确性；再者，将第一模态图像和第二模态图像的特征信息进行融合，还可进一步提高分辨率较低的模态图像的分割效果。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中感兴趣区域的处理方法的流程示意图；
图3为另一个实施例中感兴趣区域的处理方法的流程示意图；
图4为一个实施例中感兴趣区域分割模型的网络结构示意图；
图5为又一个实施例中感兴趣区域的处理方法的流程示意图；
图6为又一个实施例中感兴趣区域的处理方法的流程示意图；
图6a为一个实施例中感兴趣区域分类模型的处理过程示意图；
图7为又一个实施例中感兴趣区域的处理方法的流程示意图；
图7a为一个实施例中对感兴趣区域进行处理的过程示意图；
图8为一个实施例中感兴趣区域的处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的感兴趣区域的处理方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是个人计算机(personal computer，简称PC)，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑(portable android device，简称PAD)、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。该方法可以通过综合不同模态的医学图像的特征信息，以实现感兴趣区域的分割过程，以及感兴趣区域的类别(如肿瘤的良恶性分类)。
在一个实施例中，如图2所示，提供了一种感兴趣区域的处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S101，获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像。
其中，第一模态图像与第二模态图像为对患者的同一扫描区域(如都对头部或都对胸部)进行扫描得到的不同模态的医学图像，该第一模态图像和第二模态图像可以由集成医学设备扫描而得，也可以由不同医学设备在同一时间段扫描而得。例如，由PET/MR设备对患者进行扫描得到的PET图像和MR图像、由PET/CT设备对患者进行扫描得到的PET图像和CT图像，或者在同一时间段由单独的PET设备得到的PET图像、由单独的MR设备得到的MR图像、由单独的CT设备得到的CT图像。
在本实施例中，以两种模态的医学图像为例进行说明，上述第一模态图像和第二模态图像可以为由PET/MR设备对患者进行扫描得到的PET图像和MR图像。通常，在PET/MR设备采集到医学图像后，会将医学图像上传至影像归档和通信系统(Picture Archiving andCommunication Systems，PACS)，那么计算机设备可以从该PACS系统中获取同一患者的PET图像和MR图像。当然，计算机设备也可以从其他系统中获取PET图像和MR图像，例如从医院信息管理系统(Hospital Information System，HIS)、临床信息系统(ClinicalInformation System，CIS)、放射科信息管理系统(Radiology Information System，RIS)、电子病历系统(Electronic Medical Record，EMR)以及相关的医学影像云存储平台获取。
S102，将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像。
具体的，计算机设备可以将获取的第一模态图像和第二模态图像同时输入预设的感兴趣区域分割模型中，由感兴趣区域分割模型综合第一模态图像和第二模态图像的特征信息，进而得到感兴趣区域的二值化掩模图像。其中，感兴趣区域分割模型可以对第一模态图像和第二模态图像进行多尺度特征信息的提取以及感兴趣区域边界信息的提取，然后将多尺度特征信息和感兴趣区域边界信息进行融合分析，以得到感兴趣区域的二值化掩模图像。可选的，感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合分析后，可以先得到感兴趣区域的概率图，即原始模态图像中每个像素点属于感兴趣点的概率集合，将概率值大于预设阈值的像素点作为感兴趣区域内的像素点；然后根据该概率图得到感兴趣区域的二值化掩模图像，如将感兴趣区域内像素点的值置为1，非感兴趣区域内像素点的值置为0，进而得到感兴趣区域的二值化掩模图像。
其中，上述感兴趣区域的二值化掩模图像(Mask)可以理解为由感兴趣区域分割模型预测出来的感兴趣区域的图像模板，通过该二值化掩模图像可以获知感兴趣区域的位置和形状轮廓。其和原始医学图像具有相同分辨率，但是一种二值图像(如黑白图像)，感兴趣区域可以为黑色，其他区域为白色。上述多尺度特征信息可以为由感兴趣区域分割模型经过不同尺度的卷积层进行卷积所得到的信息，如分别由2×2、3×3、5×5尺度的卷积层进行卷积，经过多尺度特征信息的提取，可以使得分割结果更加精确。而考虑上述感兴趣区域边界信息可以对感兴趣区域的边界精准定位，进一步提高分割结果的精确性。以PET图像和MR图像为例，由于PET图像的分辨率较低，在感兴趣区域的分割过程(特别是边界区域)效果不佳，那么感兴趣区域分割模型综合PET图像和MR图像的融合信息和感兴趣区域的边界信息，得到感兴趣区域的二值化掩模图像，进而对PET图像进行分割，可以极大提高PET图像的分割效果，且也可以提高MR图像的分割效果。
可选的，上述感兴趣区域分割模型可以为神经网络模型，如卷积神经网络、循环神经网络、全卷积神经网络等，也可以为其他机器学习模型，本实施例对此不做限制。可选的，该感兴趣区域分割模型可以为VNet模型、UNet模型等。
S103，根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
具体的，由于上述感兴趣区域的二值化掩模图像和原始医学图像具有相同分辨率，即与第一模态图像和第二模态图像具有相同分辨率，那么该二值化掩模图像与第一模态图像中的像素点位置对应，也与第二模态图像中的像素点位置对应，则计算机设备通过二值化掩模图像，可以根据其中的像素点位置映射到第一模态图像和第二模态图像的对应位置，进而得到第一模态图像的第一感兴趣区域图像和第二模态图像的第二感兴趣区域图像。
本实施例提供的感兴趣区域的处理方法，计算机设备将获取的第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像，然后根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。该方法中，经过多尺度特征信息的提取，可以使得分割结果更加精确，并且考虑感兴趣区域边界信息可以对感兴趣区域的边界精准定位，进一步提高分割结果的精确性；再者，将第一模态图像和第二模态图像的特征信息进行融合，可以将不同模态之间的信息进行互补，进一步提高分辨率较低的模态图像的分割效果。
在一个实施例中，感兴趣区域分割模型的输出结果还包括感兴趣区域的概率图，那么上述方法还包括：将概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别；感兴趣区域的类别用于表征感兴趣区域的良恶性分类。
其中，在分割出第一模态图像的第一感兴趣区域图像和第二模态图像的第二感兴趣区域图像后，还可以对感兴趣区域的类别进行判断，例如，若感兴趣区域为肿瘤区域，则可以判断其是良性肿瘤还是恶性肿瘤。具体的，计算机设备将上述概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，通过感兴趣区域分类模型的一系列卷积、池化和全连接操作，可以得到感兴趣区域的类别概率，然后根据该类别概率得到感兴趣区域的类别(如将最大概率值对应的类别作为感兴趣区域的类别)，该类别用于表征感兴趣区域的良恶性分类。其中，概率图用于分类过程中，对感兴趣区域分类模型辅助指导，使得感兴趣区域分类模型更加集中关注感兴趣区域的特征。
可选的，上述感兴趣区域分类模型可以为神经网络模型，如卷积神经网路、循环神经网络等，可选的，其可以为Resnet模型、ResNext模型或Densenet模型等。由此，该方法可以实现感兴趣区域的自动分割和良恶性分类过程，对医生诊断具有更好的辅助作用。
在一个实施例中，如图3所示，上述将第一模态图像和第二模态图像输入感兴趣区域分割模型中，可以包括：
S201，将第一模态图像和第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像。
具体的，计算机设备首先将第一模态图像和第二模态图像重采样至相同的分辨率，该分辨率可以与感兴趣区域分割模型训练时所采用训练图像的分辨率相同，然后计算重采样之后第一模态图像像素值的均差和标准差、以及重采样之后第二模态图像像素值的均差和标准差，利用均值和标准差对重采样之后的模态图像进行标准化，得到第一模态标准化图像和第二模态标准化图像。可选的，计算机设备可以根据包含
Figure BDA0002377204740000081
的关系式分别对重采样之后的第一模态图像和第二模态图像进行标准化，其中，I’表示重采样之后的模态图像，μ和σ分别表示各重采样之后的模态图像的均值和标准差。
可选的，对于PET/MR设备采集的PET图像和MR图像，在肿瘤(如头部肿瘤)检测过程中，主要根据PET图像和MR序列中的T2W图像、ADC图像进行检测，其中，T2W图像可以获得良好的病灶/脑组织对比，ADC图像可以显示不同时期脑部信号的变化情况，对分析肿瘤特征具有良好优势。那么计算机设备可以分别对PET图像、T2W图像和ADC图像进行重采样和标准化，得到PET标准化图像、T2W标准化图像和ADC标准化图像。
S202，将第一模态标准化图像和第二模态标准化图像进行通道连接后，输入感兴趣区域分割模型中。
具体的，计算机设备将第一模态标准化图像和第二模态标准化图像沿着通道维度连接后，将连接之后的图像作为输入图像，输入感兴趣区域分割模型中。可以理解为，第一模态标准化图像和第二模态标准化图像原本由不同通道输入，现将各通道进行连接，将第一模态标准化图像和第二模态标准化图像作为整体图像输入感兴趣区域分割模型中。可选的，对于PET图像和MR图像，计算机设备可以将PET标准化图像、T2W标准化图像和ADC标准化图像进行通道连接后，输入感兴趣区域分割模型中。
本实施例提供的感兴趣区域的处理方法，计算机设备首先将第一模态图像和第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像，然后将第一模态标准化图像和第二模态标准化图像进行通道连接后，输入感兴趣区域分割模型中。通过对第一模态图像和第二模态图像进行重采样和标准化，可提高感兴趣区域分割模型分割结果的精确性，再者，将各模态标准图像进行通道连接后输入模型，可使得感兴趣区域分割模型充分融合各模态标准图像的特征信息，进一步提高分割结果的精确性。
在一个实施例中，为进一步提高感兴趣区域分割结果的精确性，本实施例提出采用MultiBranchUNet模型作为感兴趣区域分割模型，其网络结构可以参见图4所示，该感兴趣区域分割模型包括编码器、解码器和边界提取模块，由Backbone Network(BBN)结合Boundary Attention Module(BAM)的架构进行感兴趣区域的分割。其中，BackboneNetwork采用编码器和解码器的形式，由于多尺度信息的提取和足够的感受野是图像分割的关键，因此编码器部分分为5个分支：第1分支对连接后的图像进行最大池化(Maxpooling)下采样操作，尽可能多的保持图像的原有信息；第2分支使用a×a卷积、步长为2的下采样操作；第3分支采用不同膨胀系数的空洞卷积操作，极大扩张了模型的感受野；第4分支采用b×b卷积特征提取操作；第5分支采用c×c卷积特征提取操作；通常情况下，a、b、c为不同取值的正整数，a可以取值为2，b可以取值为3，c可以取值为5，第5分支采用较大尺寸卷积核可以拥有较大的感受野且能提取更大尺度的特征。通过上述5路分支的设置可以提取不同尺度的特征信息，然后通过残差连接方式连接至解码器部分。
关于边界提取模块可以参见图4中的BAM，其主要作用是在编码器提取的特征信息帮助下，排除无关信息，集中学习提取与边界相关的特征。将连接后的图像进行一次卷积后作为BAM的输入，依次通过3个门控模块(Gate Module)，最后通过一层卷积操作输出对感兴趣区域边界的预测。门控模块通过对编码器较深的网络层提取的特征信息(即高级的语义信息，本实施例采用第二、三、四个下采样输出结果)进行卷积和激活函数(sigmoid)处理，将sigmoid处理之后的特征图与BAM的输入经过残差模块处理得到的特征图进行点乘，并将点乘的结果作为下一门控模块的输入，由此更好的完成了对感兴趣区域边界信息的提取定位。关于解码器也可以参见图4，其选择轻量级设计，采用带有1×1卷积的残差块，通过对编码器不同下采样阶段的输出进行上采样至原图大小，并融合BAM的输出结果，最终得到感兴趣区域的二值化掩模图像。通过上述融合特征的形式，在充分利用多尺度特征信息和感兴趣区域边界信息的同时还能缓解模型梯度消失的问题，进一步提高感兴趣区域分割结果的精确性。
在一个实施例中，在使用感兴趣区域分割模型之前，还需对该模型进行训练，如图5所示，该模型的训练方式包括：
S301，获取第一模态样本图像和第二模态样本图像，以及第一金标准。
具体的，通过相关医学设备扫描，可以得到批量的第一模态样本图像和第二模态样本图像，并通过经验丰富的医生对样本图像进行标注，得到相应感兴趣区域的掩模，作为第一金标准(可以理解为对每个像素点，可以用1表示其属于感兴趣区域，0表示其不属于感兴趣区域)。其中，对于PET/MR设备，可以得到批量的PET图像、T2W图像和ADC图像，作为训练过程的输入图像。
可选的，计算机设备还可以对第一模态样本图像和第二模态样本图像重采样至相同的分辨率，设置重采样之后第一模态样本图像和第二模态样本图像的均值和标准差，根据各模态样本图像的均值和标准差对各模态样本图像进行标准化之后再进行训练，可选的，可以采用上述实施例描述的方式进行图像标准化。
S302，对第一金标准进行边界检测，得到第二金标准。
具体的，对于上述医生标注的掩模(即第一金标准)，计算机设备可以对该掩模进行边界检测，例如采用边缘算子、梯度算子、微分算子等方法进行边界检测，检测出掩模的边界区域，将该边界区域作为第二金标准。
S303，将第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图和第二预测概率图；第一预测概率图用于表征感兴趣区域中所有像素点的预测概率，第二预测概率图用于表征感兴趣区域的边界像素点的预测概率。
具体的，计算机设备将上述第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图以及初始感兴趣区域分割模型中边界提取模块输出的感兴趣区域的第二预测概率图。其中，第一预测概率图用于表征感兴趣区域中所有像素点的预测概率，可以理解为整个感兴趣区域的预测概率图，第二预测概率图用于表征感兴趣区域的边界像素点的预测概率，即感兴趣区域边界的预测概率图，初始感兴趣区域分割模型的网络结构可以参见上述图4所示。
可选的，计算机设备还可以将上述标准化后的第一模态样本图像和第二模态样本图像进行通道连接后，输入初始感兴趣区域分割模型中。可选的，计算机设备还可以以医生标注掩模上的点为中心对第一模态样本图像和第二模态样本图像进行分块，再输入初始感兴趣区域分割模型中；示例性的，对于PET图像、T2W图像和ADC图像，图像块的大小可以为[643，1283，1283]，沿着通道维度连接后，模型的输入可以为[3，643，1283，1283]。
S304，计算第一预测概率图与第一金标准之间的第一损失，以及第二预测概率图与第二金标准之间的第二损失；根据第一损失和第二损失对初始感兴趣区域分割模型进行训练，得到感兴趣区域分割模型。
具体的，本实施例考虑两部分的损失对初始感兴趣区域分割模型进行训练，一是第一预测概率图与第一金标准之间的第一损失，二是第二预测概率图与第二金标准之间的第二损失。可选的，计算机设备可以采用包含
Figure BDA0002377204740000121
的关系式计算第二损失，其中，y表示第二金标准(对每个像素点，可以用1表示其属于边界，用0表示其不属于边界)，
Figure BDA0002377204740000122
表示第二预测概率图。可选的，计算机设备可以采用包含
Figure BDA0002377204740000123
的关系式计算第一损失，其中X表示第一预测概率图，Y表示第一金标准。
然后，计算机设备可以对第一损失和第二损失进行直接求和、或加权求和、或平均求和，根据求和结果对初始感兴趣区域分割模型进行训练，即根据求和结果调整模型的模型参数；当第一损失和第二损失的求和结果小于或者等于预设阈值时，表征初始感兴趣区域分割模型训练完成，即得到感兴趣区域分割模型。可选的，在模型训练过程中，可以选用Adam优化器，以加速模型的收敛。
本实施例提供的感兴趣区域的处理方法，计算机设备根据初始感兴趣区域分割模型输出的感兴趣区域的第一预测概率图和第一金标准之间的第一损失、以及第二预测概率图与第二金标准之间的第二损失，对初始感兴趣区域分割模型进行训练，得到感兴趣区域分割模型。由此训练过程，充分学习第一模态样本图像和第二模态样本图像的多尺度特征信息和感兴趣区域边界信息，以得到收敛的感兴趣区域分割模型，可实现对感兴趣区域的精准分割。
在一个实施例中，如图6所示，上述将概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别，可以包括：
S401，通过感兴趣区域分类模型分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图。
具体的，计算机设备通过感兴趣区域分类模型的不同卷积层分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到各自对应的第一特征图和第二特征图。示例性的，对于上述的PET图像、T2W图像和ADC图像，根据上述实施例方法可以分别得到对应的感兴趣区域图像，然后通过感兴趣区域分类模型对各感兴趣区域图像进行卷积操作，得到对应的特征图。
可选的，计算机设备还可以先利用上述标准化方法对第一感兴趣区域图像和第二感兴趣区域图像进行标准化，将标准化后的第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣分类模型。
S402，采用不同超参数将第一特征图和第二特征图进行融合，得到融合特征图。
S403，根据概率图和融合特征图，得到感兴趣区域的类别。
其中，超参数为感兴趣区域分类模型训练过程中可学习的一种参数，首先对其赋予一组初值，在模型训练过程中通过不断学习可得到一组最优值，然后计算机设备采用训练完成的感兴趣区域分类模型对应的超参数(α、β)将第一特征图和第二特征图进行融合，得到融合特征图。再根据上述得到的概率图和融合特征图，着重关注感兴趣区域的特征，得到感兴趣区域的类别。可选的，感兴趣区域的类别可以为该感兴趣区域属于良性的概率和属于恶性的概率。可选的，对于PET图像、T2W图像和ADC图像，则计算机设备可以采用三个超参数(α、β、γ)对其特征图进行融合，关于感兴趣区域分类模型的处理过程可以参见图6a所示。
可选的，在一个实施例中，上述感兴趣区域分类模型训练方式可以包括：获取第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像，以及第三金标准；将第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像输入初始感兴趣区域分类模型，输出感兴趣区域的预测类别概率；计算预测类别概率与第三金标准之间的第三损失，根据第三损失对初始感兴趣区域分类模型进行训练，得到感兴趣区域分类模型。
其中，上述第三金标准为由经验丰富的医生对第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像进行标注的类别，即该样本图像中感兴趣区域的良性或恶性标注类别，可以用1表示良性，0表示恶性，还可以对良/恶性进行更细的分类，如恶性早期、中期、晚期等。计算机设备通过计算感兴趣区域的预测类别概率与第三金标准之间的第三损失，对初始感兴趣区域分类模型进行训练。示例性的，假设第三金标准为良性，其对应的概率可以表示为[1，0]，即良性概率为1，恶性概率为0；初始感兴趣区域分类模型输出的预测类别概率为[0.6，0.4]，即属于良性的概率为0.6，属于恶性的概率为0.4，则计算机设备可以计算[1，0]与[0.6，0.4]之间的损失。可选的，可以采用Focal损失函数计算上述第三损失，在训练过程中可以采用Adam优化器加速模型收敛。当第三损失小于或者等于预设阈值时，表征初始感兴趣区域分类模型训练收敛，得到感兴趣区域分类模型。
本实施例提供的感兴趣区域的处理方法，计算机设备通过感兴趣区域分类模型分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图，并采用不同超参数将第一特征图和第二特征图进行融合，得到融合特征图，最后根据概率图和融合特征图，得到感兴趣区域的类别。该方法中，通过将第一特征图和第二特征图进行融合，综合考虑不同模态的特征信息，以及着重关注感兴趣区域的特征，大大提高感兴趣区域分类结果的准确性。
在一个实施例中，如图7所示，上述方法还包括：
S501，根据二值化掩模图像，计算感兴趣区域的体积和长短径。
S502，根据感兴趣区域的体积、长短径和类别，生成诊断报告。
S503，将感兴趣区域的概率图、二值化掩模图像和诊断报告发送至目标工作站。
具体的，由感兴趣区域分割模型输出感兴趣区域的二值化掩模图像后，计算机设备可以根据该二值化掩模图像中的像素点数量和位置，计算感兴趣区域的体积和长短径等信息，然后根据感兴趣区域的体积、长短径以及感兴趣区域分类模型输出的类别，生成诊断报告，并将诊断报告及感兴趣区域分割模型输出的概率图和二值化掩模图像发送至目标工作站，以辅助医生进行诊断。关于整个对感兴趣区域的处理过程示意图，可以参见图7a所示。
本实施例提供的感兴趣区域的处理方法，计算机设备还可以计算感兴趣区域的体积和长短径，并生成相应的诊断报告，以及将诊断报告和感兴趣区域的相关信息发送至目标工作站辅助医生阅片诊断，整个处理过程可以进一步提高对医生诊断的辅助作用。
应该理解的是，虽然图2-图7的流程图中各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种感兴趣区域的处理装置，包括：获取模块11、分割模块12和确定模块13。
具体的，获取模块11，用于获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
分割模块12，用于将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
确定模块13，用于根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
本实施例提供的感兴趣区域的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，感兴趣区域分割模型的输出结果包括感兴趣区域的概率图，上述装置还包括分类模块，用于将概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别；感兴趣区域的类别用于表征感兴趣区域的良恶性分类。
在一个实施例中，上述分割模块12，具体用于将第一模态图像和第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像；将第一模态标准化图像和第二模态标准化图像进行通道连接后，输入感兴趣区域分割模型中。
在一个实施例中，感兴趣区域分割模型包括编码器、解码器和边界提取模块；编码器用于对连接后的图像分别进行最大池化下采样操作、a×a卷积下采样操作、空洞卷积操作、b×b卷积特征提取操作和c×c卷积特征提取操作，以提取多尺度特征信息；其中，a、b、c为不同取值的正整数；边界提取模块用于利用编码器提取的特征信息对连接后的图像进行感兴趣区域边界信息的提取；解码器用于对多尺度特征信息和感兴趣区域边界信息进行融合，得到感兴趣区域的二值化掩模图像。
在一个实施例中，上述装置还包括训练模块，用于获取第一模态样本图像和第二模态样本图像，以及第一金标准；对第一金标准进行边界检测，得到第二金标准；将第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图和第二预测概率图；第一预测概率图用于表征感兴趣区域中所有像素点的预测概率，第二预测概率图用于表征感兴趣区域的边界像素点的预测概率；计算第一预测概率图与第一金标准之间的第一损失，以及第二预测概率图与第二金标准之间的第二损失；根据第一损失和第二损失对初始感兴趣区域分割模型进行训练，得到感兴趣区域分割模型。
在一个实施例中，上述分类模块，具体用于通过感兴趣区域分类模型分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图；采用不同超参数将第一特征图和第二特征图进行融合，得到融合特征图；根据概率图和融合特征图，得到感兴趣区域的类别。
在一个实施例中，上述训练模块，还用于获取第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像，以及第三金标准；将第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像输入初始感兴趣区域分类模型，输出感兴趣区域的预测类别概率；计算预测类别概率与第三金标准之间的第三损失，根据第三损失对初始感兴趣区域分类模型进行训练，得到感兴趣区域分类模型。
在一个实施例中，上述装置还包括计算模块，用于根据感兴趣区域的二值化掩模图像，计算感兴趣区域的体积和长短径；生成模块，用于根据感兴趣区域的体积、长短径和类别，生成诊断报告；发送模块，用于将感兴趣区域的概率图、二值化掩模图像和诊断报告发送至目标工作站。
关于感兴趣区域的处理装置的具体限定可以参见上文中对于感兴趣区域的处理方法的限定，在此不再赘述。上述感兴趣区域的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种感兴趣区域的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，感兴趣区域分割模型的输出结果包括感兴趣区域的概率图，处理器执行计算机程序时还实现以下步骤：
将概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别；感兴趣区域的类别用于表征感兴趣区域的良恶性分类。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一模态图像和第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像；
将第一模态标准化图像和第二模态标准化图像进行通道连接后，输入感兴趣区域分割模型中。
在一个实施例中，感兴趣区域分割模型包括编码器、解码器和边界提取模块；
编码器用于对连接后的图像分别进行最大池化下采样操作、a×a卷积下采样操作、空洞卷积操作、b×b卷积特征提取操作和c×c卷积特征提取操作，以提取多尺度特征信息；其中，a、b、c为不同取值的正整数；
边界提取模块用于利用编码器提取的特征信息对连接后的图像进行感兴趣区域边界信息的提取；
解码器用于对多尺度特征信息和感兴趣区域边界信息进行融合，得到感兴趣区域的二值化掩模图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取第一模态样本图像和第二模态样本图像，以及第一金标准；
对第一金标准进行边界检测，得到第二金标准；
将第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图和第二预测概率图；第一预测概率图用于表征感兴趣区域中所有像素点的预测概率，第二预测概率图用于表征感兴趣区域的边界像素点的预测概率；
计算第一预测概率图与第一金标准之间的第一损失，以及第二预测概率图与第二金标准之间的第二损失；根据第一损失和第二损失对初始感兴趣区域分割模型进行训练，得到感兴趣区域分割模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过感兴趣区域分类模型分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图；
采用不同超参数将第一特征图和第二特征图进行融合，得到融合特征图；
根据概率图和融合特征图，得到感兴趣区域的类别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像，以及第三金标准；
将第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像输入初始感兴趣区域分类模型，输出感兴趣区域的预测类别概率；
计算预测类别概率与第三金标准之间的第三损失，根据第三损失对初始感兴趣区域分类模型进行训练，得到感兴趣区域分类模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据二值化掩模图像，计算感兴趣区域的体积和长短径；
根据感兴趣区域的体积、长短径和类别，生成诊断报告；
将感兴趣区域的概率图、二值化掩模图像和诊断报告发送至目标工作站。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取第一模态图像以及第二模态图像，第一模态图像与第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将第一模态图像和第二模态图像输入感兴趣区域分割模型中，通过感兴趣区域分割模型对第一模态图像和第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据二值化掩模图像和第一模态图像的对应关系，得到第一模态图像的第一感兴趣区域图像，以及根据二值化掩模图像和第二模态图像的对应关系，得到第二模态图像的第二感兴趣区域图像。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，感兴趣区域分割模型的输出结果包括感兴趣区域的概率图，计算机程序被处理器执行时还实现以下步骤：
将概率图、第一感兴趣区域图像和第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别；感兴趣区域的类别用于表征感兴趣区域的良恶性分类。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一模态图像和第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像；
将第一模态标准化图像和第二模态标准化图像进行通道连接后，输入感兴趣区域分割模型中。
在一个实施例中，感兴趣区域分割模型包括编码器、解码器和边界提取模块；
编码器用于对连接后的图像分别进行最大池化下采样操作、a×a卷积下采样操作、空洞卷积操作、b×b卷积特征提取操作和c×c卷积特征提取操作，以提取多尺度特征信息；其中，a、b、c为不同取值的正整数；
边界提取模块用于利用编码器提取的特征信息对连接后的图像进行感兴趣区域边界信息的提取；
解码器用于对多尺度特征信息和感兴趣区域边界信息进行融合，得到感兴趣区域的二值化掩模图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取第一模态样本图像和第二模态样本图像，以及第一金标准；
对第一金标准进行边界检测，得到第二金标准；
将第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图和第二预测概率图；第一预测概率图用于表征感兴趣区域中所有像素点的预测概率，第二预测概率图用于表征感兴趣区域的边界像素点的预测概率；
计算第一预测概率图与第一金标准之间的第一损失，以及第二预测概率图与第二金标准之间的第二损失；根据第一损失和第二损失对初始感兴趣区域分割模型进行训练，得到感兴趣区域分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过感兴趣区域分类模型分别对第一感兴趣区域图像和第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图；
采用不同超参数将第一特征图和第二特征图进行融合，得到融合特征图；
根据概率图和融合特征图，得到感兴趣区域的类别。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像，以及第三金标准；
将第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像输入初始感兴趣区域分类模型，输出感兴趣区域的预测类别概率；
计算预测类别概率与第三金标准之间的第三损失，根据第三损失对初始感兴趣区域分类模型进行训练，得到感兴趣区域分类模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据二值化掩模图像，计算感兴趣区域的体积和长短径；
根据感兴趣区域的体积、长短径和类别，生成诊断报告；
将感兴趣区域的概率图、二值化掩模图像和诊断报告发送至目标工作站。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种感兴趣区域的处理方法，其特征在于，所述方法包括：
获取第一模态图像以及第二模态图像，所述第一模态图像与所述第二模态图像为对同一扫描区域进行扫描得到的不同模态的医学图像；
将所述第一模态图像和所述第二模态图像输入感兴趣区域分割模型中，通过所述感兴趣区域分割模型对所述第一模态图像和所述第二模态图像进行多尺度特征信息和感兴趣区域边界信息的融合，得到感兴趣区域的二值化掩模图像；
根据所述二值化掩模图像和所述第一模态图像的对应关系，得到所述第一模态图像的第一感兴趣区域图像，以及根据所述二值化掩模图像和所述第二模态图像的对应关系，得到所述第二模态图像的第二感兴趣区域图像。
2.根据权利要求1所述的方法，其特征在于，所述感兴趣区域分割模型的输出结果包括感兴趣区域的概率图，所述方法还包括：
将所述概率图、所述第一感兴趣区域图像和所述第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别；所述感兴趣区域的类别用于表征所述感兴趣区域的良恶性分类。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一模态图像和所述第二模态图像输入感兴趣区域分割模型中，包括：
将所述第一模态图像和所述第二模态图像分别进行重采样及标准化，得到第一模态标准化图像和第二模态标准化图像；
将所述第一模态标准化图像和所述第二模态标准化图像进行通道连接后，输入所述感兴趣区域分割模型中。
4.根据权利要求3所述的方法，其特征在于，所述感兴趣区域分割模型包括编码器、解码器和边界提取模块；
所述编码器用于对连接后的图像分别进行最大池化下采样操作、a×a卷积下采样操作、空洞卷积操作、b×b卷积特征提取操作和c×c卷积特征提取操作，以提取多尺度特征信息；其中，所述a、b、c为不同取值的正整数；
所述边界提取模块用于利用所述编码器提取的特征信息对所述连接后的图像进行感兴趣区域边界信息的提取；
所述解码器用于对所述多尺度特征信息和所述感兴趣区域边界信息进行融合，得到所述二值化掩模图像。
5.根据权利要求1所述的方法，其特征在于，所述感兴趣区域分割模型的训练方式包括：
获取第一模态样本图像和第二模态样本图像，以及第一金标准；
对所述第一金标准进行边界检测，得到第二金标准；
将所述第一模态样本图像和第二模态样本图像输入初始感兴趣区域分割模型中，输出感兴趣区域的第一预测概率图和第二预测概率图；所述第一预测概率图用于表征所述感兴趣区域中所有像素点的预测概率，所述第二预测概率图用于表征所述感兴趣区域的边界像素点的预测概率；
计算所述第一预测概率图与所述第一金标准之间的第一损失，以及所述第二预测概率图与所述第二金标准之间的第二损失；根据所述第一损失和所述第二损失对所述初始感兴趣区域分割模型进行训练，得到所述感兴趣区域分割模型。
6.根据权利要求2所述的方法，其特征在于，所述将所述概率图、所述第一感兴趣区域图像和所述第二感兴趣区域图像输入感兴趣区域分类模型，得到感兴趣区域的类别，包括：
通过所述感兴趣区域分类模型分别对所述第一感兴趣区域图像和所述第二感兴趣区域图像进行卷积操作，得到第一特征图和第二特征图；
采用不同超参数将所述第一特征图和所述第二特征图进行融合，得到融合特征图；
根据所述概率图和所述融合特征图，得到所述感兴趣区域的类别。
7.根据权利要求6所述的方法，其特征在于，所述感兴趣区域分类模型的训练方式包括：
获取第一模态感兴趣区域样本图像和第二模态感兴趣区域样本图像，以及第三金标准；
将所述第一模态感兴趣区域样本图像和所述第二模态感兴趣区域样本图像输入初始感兴趣区域分类模型，输出感兴趣区域的预测类别概率；
计算所述预测类别概率与所述第三金标准之间的第三损失，根据所述第三损失对所述初始感兴趣区域分类模型进行训练，得到所述感兴趣区域分类模型。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述二值化掩模图像，计算感兴趣区域的体积和长短径；
根据所述感兴趣区域的体积、长短径和类别，生成诊断报告；
将所述感兴趣区域的概率图、二值化掩模图像和所述诊断报告发送至目标工作站。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
CN202010070636.9A 2020-01-21 2020-01-21 感兴趣区域的处理方法、计算机设备和可读存储介质 Active CN111325714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010070636.9A CN111325714B (zh) 2020-01-21 2020-01-21 感兴趣区域的处理方法、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010070636.9A CN111325714B (zh) 2020-01-21 2020-01-21 感兴趣区域的处理方法、计算机设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111325714A true CN111325714A (zh) 2020-06-23
CN111325714B CN111325714B (zh) 2024-03-26

Family

ID=71168706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070636.9A Active CN111325714B (zh) 2020-01-21 2020-01-21 感兴趣区域的处理方法、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111325714B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754553A (zh) * 2020-06-24 2020-10-09 上海联影医疗科技有限公司 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN111931862A (zh) * 2020-09-11 2020-11-13 杭州追猎科技有限公司 非法张贴广告的检测方法、系统和电子设备
CN112233128A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备
CN112348861A (zh) * 2020-11-02 2021-02-09 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质
CN113298831A (zh) * 2021-06-30 2021-08-24 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
WO2022126588A1 (zh) * 2020-12-18 2022-06-23 深圳先进技术研究院 基于双编码融合网络模型的pet-mri图像去噪方法、装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060025673A1 (en) * 2004-07-16 2006-02-02 New York University Method, system and storage medium which includes instructions for analyzing anatomical structures
US20080253622A1 (en) * 2006-09-15 2008-10-16 Retica Systems, Inc. Multimodal ocular biometric system and methods
CN107545584A (zh) * 2017-04-28 2018-01-05 上海联影医疗科技有限公司 医学图像中定位感兴趣区域的方法、装置及其系统
US20190015059A1 (en) * 2017-07-17 2019-01-17 Siemens Healthcare Gmbh Semantic segmentation for cancer detection in digital breast tomosynthesis
CN109447981A (zh) * 2018-11-12 2019-03-08 平安科技（深圳）有限公司 图像识别方法及相关产品
US20190114773A1 (en) * 2017-10-13 2019-04-18 Beijing Curacloud Technology Co., Ltd. Systems and methods for cross-modality image segmentation
CA3085441A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060025673A1 (en) * 2004-07-16 2006-02-02 New York University Method, system and storage medium which includes instructions for analyzing anatomical structures
US20080253622A1 (en) * 2006-09-15 2008-10-16 Retica Systems, Inc. Multimodal ocular biometric system and methods
CN107545584A (zh) * 2017-04-28 2018-01-05 上海联影医疗科技有限公司 医学图像中定位感兴趣区域的方法、装置及其系统
US20190015059A1 (en) * 2017-07-17 2019-01-17 Siemens Healthcare Gmbh Semantic segmentation for cancer detection in digital breast tomosynthesis
US20190114773A1 (en) * 2017-10-13 2019-04-18 Beijing Curacloud Technology Co., Ltd. Systems and methods for cross-modality image segmentation
CA3085441A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN109447981A (zh) * 2018-11-12 2019-03-08 平安科技（深圳）有限公司 图像识别方法及相关产品
CN110148192A (zh) * 2019-04-18 2019-08-20 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘成云;常发亮;陈振学;: "基于感兴趣区域和HOG-MBLBP特征的交通标识检测", 电子与信息学报, no. 05, 15 May 2016 (2016-05-15) *
李元建;韩燕;张保峰;: "基于Snake的感兴趣区域图像提取与融合", no. 08 *
郭庆燕;杨贤栋;叶少珍;: "一种提取MRI图像感兴趣区域的分割方法", no. 04 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754553A (zh) * 2020-06-24 2020-10-09 上海联影医疗科技有限公司 多模态扫描图像配准方法、装置、计算机设备和存储介质
CN111931862A (zh) * 2020-09-11 2020-11-13 杭州追猎科技有限公司 非法张贴广告的检测方法、系统和电子设备
CN112233128A (zh) * 2020-10-15 2021-01-15 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备
CN112233128B (zh) * 2020-10-15 2021-11-02 推想医疗科技股份有限公司 图像分割方法及模型的训练方法、装置、介质、电子设备
CN112348861A (zh) * 2020-11-02 2021-02-09 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质
CN112348861B (zh) * 2020-11-02 2023-04-28 上海联影医疗科技股份有限公司 图像处理方法、装置、设备及存储介质
WO2022126588A1 (zh) * 2020-12-18 2022-06-23 深圳先进技术研究院 基于双编码融合网络模型的pet-mri图像去噪方法、装置
CN113298831A (zh) * 2021-06-30 2021-08-24 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质
CN113298831B (zh) * 2021-06-30 2022-03-29 上海联影医疗科技股份有限公司 图像分割方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111325714B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
KR101818074B1 (ko) 인공지능 기반 의료용 자동 진단 보조 방법 및 그 시스템
CN111161270B (zh) 医学影像的血管分割方法、计算机设备和可读存储介质
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
CN111369542B (zh) 血管标记方法、图像处理系统和存储介质
WO2022141882A1 (zh) 一种基于历史病理信息的病灶识别模型构建装置及系统
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
CN111428709A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111709485B (zh) 医学影像处理方法、装置和计算机设备
CN111445449A (zh) 感兴趣区域的分类方法、装置、计算机设备和存储介质
US20150173705A1 (en) Apparatus and method for adapting diagnostic model for computer-aided diagnosis
CN110728673A (zh) 一种目标部位分析方法、装置、计算机设备及存储介质
CN111028212B (zh) 关键点检测方法、装置、计算机设备和存储介质
KR102258756B1 (ko) 의료 영상을 이용한 암의 병기 결정 방법 및 의료 영상 분석 장치
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN112102235A (zh) 人体部位识别方法、计算机设备和存储介质
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111243052A (zh) 图像重建方法、装置、计算机设备和存储介质
CN113192031A (zh) 血管分析方法、装置、计算机设备和存储介质
Velichko et al. A comprehensive review of deep learning approaches for magnetic resonance imaging liver tumor analysis
CN115564763A (zh) 甲状腺超声图像处理方法、装置、介质及电子设备
CN112530554B (zh) 一种扫描定位方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant