CN111127466B - 医学图像检测方法、装置、设备及存储介质 - Google Patents

医学图像检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111127466B
CN111127466B CN202010240098.3A CN202010240098A CN111127466B CN 111127466 B CN111127466 B CN 111127466B CN 202010240098 A CN202010240098 A CN 202010240098A CN 111127466 B CN111127466 B CN 111127466B
Authority
CN
China
Prior art keywords
region
segmentation
target
mask
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010240098.3A
Other languages
English (en)
Other versions
CN111127466A (zh
Inventor
韩妙飞
高耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010240098.3A priority Critical patent/CN111127466B/zh
Publication of CN111127466A publication Critical patent/CN111127466A/zh
Application granted granted Critical
Publication of CN111127466B publication Critical patent/CN111127466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种医学图像检测方法、装置、设备及存储介质,所述方法包括:对医学图像进行分割处理,得到区域分割结果;该区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;根据病灶分割区域和非病灶分割区域,确定该医学图像中表征所述目标部位的病灶信息的检测结果。本申请无需预先进行整体目标部位的精确提取,以及对分割后的病灶进行再次分类筛查以去除干扰的处理过程,即能够有效排除非目标部位内区域的分割假阳性的干扰,显著提高了图像检测的效率,同时图像检测精度高,算法鲁棒性更强。

Description

医学图像检测方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种医学图像检测方法、装置、设备及存储介质。
背景技术
疾病的早期诊断是临床治疗的关键之一。以目前的新型冠状病毒肺炎为例,其防控关键是早发现、早隔离、早治疗。这种疾病主要通过对患者进行核酸检测是否呈阳性来确诊,然而存在多例感染患者有该疾病的症状,但是多次核酸检测却呈阴性的病例发生,如此会导致这类感染患者无法得到及时确诊,进而导致无法得到及时的隔离和治疗,大大增加了感染他人及病重甚至病亡的风险。
随着医学影像技术不断成熟,通过医学影像诊断可以帮助医生诊断以尽早发现感染患者,这在一定程度上弥补了试剂盒检测在确诊准确率上的不足。然而,随着感染患者的数量增多以及疾病的多元性,单靠医生手工阅片容易出现阅片不及时,医生阅片工作量大,以及在阅片工作强度大的情况下容易漏诊或误诊等情况。因此,如何快速的帮助医生阅片,并基于医学影像准确地检测病灶区域以减少漏诊或误诊成为疾病早期诊断的研究重点,从而为疾病的防控、及后续疾病诊断和治疗提供有力的支持。
发明内容
本申请提供了一种医学图像检测方法、装置、设备及存储介质,以解决以上至少一种技术问题。
一方面,本申请提供了医学图像检测方法,包括:
获取医学图像;
对所述医学图像进行分割处理,得到区域分割结果;所述区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;
根据所述病灶分割区域和所述非病灶分割区域,确定表征目标部位实质区域的目标掩膜;
基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果,所述检测结果表征所述目标部位的病灶信息。
另一方面,还提供一种医学图像检测装置,包括:
获取模块,用于获取医学图像;
分割模块,用于对所述医学图像进行分割处理,得到区域分割结果;所述区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;
掩膜确定模块,用于根据所述病灶分割区域和所述非病灶分割区域,确定表征目标部位实质区域的目标掩膜;
检测模块,用于基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果,所述检测结果表征所述目标部位的病灶信息。
另一方面,还提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一项所述的医学图像检测方法。
另一方面,还提供一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一项所述的医学图像检测方法。
本申请提供的医学图像检测方法、装置、设备及存储介质,具有如下技术效果:
本申请实施例通过对医学图像进行分割处理,得到区域分割结果;该区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;根据病灶分割区域和非病灶分割区域,确定表征目标部位实质区域的目标掩膜;基于目标掩膜和病灶分割区域,确定该医学图像中表征所述目标部位的病灶信息的检测结果。本申请通过对医学图像进行三类别分割处理,在基于病灶分割区域和非病灶分割区域确定表征目标部位实质区域的目标掩膜,进而确定医学图像中有关病灶信息的检测结果,无需如现有技术中的预先进行整体目标部位的精确提取,以及对分割后的病灶进行再次分类筛查以去除干扰的处理过程,即能够有效排除非目标部位内区域的分割假阳性的干扰,显著提高了图像检测的效率,同时图像检测精度高,算法鲁棒性更强,可以快速的帮助医生阅片,并基于医学影像准确地检测病灶区域以减少漏诊或误诊。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种医学图像检测方法的流程示意图;
图2是本申请实施例提供的一种确定医学图像的检测结果的部分流程示意图;
图3是本申请实施例提供的另一种确定医学图像的检测结果的流程示意图;
图4是本申请实施例提供的另一种医学图像检测方法的流程示意图;
图5是本申请实施例提供的一种医学图像检测装置的结构框图;
图6是应用本申请实施例的医学图像方法对左肺部在不同截取方向的图像检测过程示意图;
图7是应用本申请实施例的医学图像方法对右肺部在不同截取方向的图像检测过程示意图;
图8是应用本申请实施例的医学图像方法对双肺部在不同截取方向的图像检测过程示意图
图9是应用本申请实施例的医学图像方法对处于不同肺炎阶段患者的图像检测结果图;
图10是本申请实施例一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
以下介绍本申请一种医学图像检测方法的具体实施例。该方法可以应用于医学图像检测装置,该医学图像检测装置可以采用软件和/或硬件的方式实现,该装置可以集成在具有医学图像检测功能的电子设备中,例如服务器、终端、医学检测设备等。其中,服务器可以包括但不限于为至少一个独立服务器、分布式服务器、云服务器、服务器集群中至少一种。该分布式服务器具体可以为区块链(Block Chain)结构,该区块链结构中的任意一个节点都可以执行或参与执行医学图像检测方法。终端可以包括但不限于为运行于实体设备中的软体,例如安装在设备上的应用程序或客户端等,也可以包括但不限于为安装有应用的台式电脑、平板电脑、笔记本电脑、智能手机等类型的实体设备中至少一种。
图1是本申请实施例提供的一种医学图像检测方法的流程示意图,本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体如图1所示,该方法可以包括:
S101:获取医学图像。
在本申请实施例中,医学图像是指包含受检对象的目标部位信息的医学影像,可以是二维医学图像,也可以是三维医学图像。医学图像的获取方式有多种,例如可以通过医学成像系统对受检对象(比如人体、动物或物品等)的目标部位所采集的扫描数据进行图像重建得到,也可直接从医学图像相关的数据库或云端中获取得到。本申请实施例对医学图像的获取方式不作具体限定。
其中,医学成像系统可以包括但不限于为X射线(X-Ray)成像系统、计算机断层(CT)系统、磁共振成像(MRI)系统、正电子发射断层扫描(PET)系统等至少一种模态的成像系统。
以受检对象为人体为例,目标部位可以为受检对象的可能存在病灶的器官或组织,例如包括但不限于为左肺部、右肺部、双(左右)肺、肝脏、心脏、肾脏、脾脏、胆、生殖器官等中至少一种。
以目标部位包括左肺部和/或右肺部为例,医学图像可以为通过CT成像设备获取的肺部CT图像,病灶为基于疾病引起的病变组织,该疾病包括病毒性肺炎(比如新型冠状病毒肺炎等)、非病毒性引起的肺炎(比如细菌性肺炎等)和其他肺部疾病(比如肺癌、肺结核、肺气肿、尘肺等)。
S103:对医学图像进行分割处理,得到区域分割结果;区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域。
在一种可选实施例中,可以利用经训练的分割处理模型对医学图像进行分割处理,得到包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割结果。
在一具体实施方式,可以将医学图像输入经训练的分割处理模型,得到该分割处理模型输出的区域分割结果。区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域。
其中,该分割处理模型可以包括机器学习模型,例如深度学习模型、随机森林模型、决策树模型等。其中,深度学习模型包括但不限于为卷积神经网络(ConvolutionalNeural Networks,CNN)、深度神经网络(Deep Neural Networks,DNN)、循环神经网络(Recurrent Neural Network,RNN)等模型。该卷积神经网络模型可以包括但不限于为V-Net模型、DenseNet模型、FPN模型、U-Net模型等中一种或多种。
示例性的,该分割处理网络可以为单独的神经网络,也可以为由至少两个神经网络构成的级联网络。若该分割处理网络为由两个神经网络构成的级联网络,这两个神经网络的网络结构可以相同或不同,其中,前一个神经网络的输出作为后一个神经网络的输入,利用两个神经网络先后对医学图像进行级联分割处理,以得到区域分割结果。
该分割处理模型可以利用医学样本图像及对应的区域标注结果进行训练得到的,区域标注结果包括背景区域标签、目标部位的病灶区域标签和目标部位的非病灶区域标签。在训练过程中,分割处理模型可以自主学习到肺部的病灶区域、肺部的非病灶区域和背景区域的区别,进而从医学图像中提取或分割出包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割结果。
其中,以目标部位为左肺部或右肺部或左右肺部为例,背景分割区域可以为肺部(比如左肺部或右肺部或左右肺部)以外的区域。仅作为示例,背景分割区域包括但不限于为心脏区域、气管区域等。
目标部位的病灶分割区域可以为肺部(比如左肺部或右肺部或左右肺部)的病灶区域。该病灶分割区域的肺部病灶特征可以与肺部疾病相关联。
示例性地,若肺部疾病是新型冠状病毒肺炎,其对应的肺部病灶特征主要为肺实变、磨玻璃密度影(GGO)、浸润影、铺路石征等影像表现。当然,对于处于不同新型冠状病毒感染阶段的患者,其对应的具体影像表现不同:
1)早期:病灶多为局限性,呈斑片状散在分布,病变呈磨玻璃渗出,或实变,主要分布在胸膜下。
2)进展期:病灶多发,表现为磨玻璃渗出,或实变,以双肺野中外带分布多见,可伴少量胸腔积液。
3)重症期:双肺呈弥漫性病变,呈现广泛性密度增高,又称之为“白肺”。
4)转归期:病变范围缩小,密度减低,肺实变病灶逐渐消失,渗出物被机体吸收或者机化,病变可完全吸收,部分残留索条影。
在实际应用中,分割处理模型可以对不同感染阶段的影像表现进行学习,以便于处理不同影像学分期的图像,增加图像检测的适用性。
若肺部疾病为肺癌,其对应的肺部病灶特征为肺结节等。又一示例性的,该病灶分割区域可以包括若干个病灶分割子区域。
当然,若医学图像中不存在与预设疾病相关的病灶,则可以得出不存在病灶分割区域的分割结果。
目标部位的非病灶分割区域可以为肺部(比如左肺部或右肺部或左右肺部)内除病灶以外的区域,例如正常的肺部区域。当然,为了提高图像检测的准确性,该背景区域或目标部位的非病灶区域还可以包括血管区域等中至少一种。
需要说明的是,分割处理模型可以是针对检测某一特定疾病的模型,也可为针对检测多种疾病的模型,本申请对此不作具体限定。
在另一可选实施例中,还可以根据背景区域特征、目标部位的病灶特征和目标部位的非病灶特征,利用预设的检测算法对医学图像进行区域检测或像素级别检测,以分割或提取出包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割结果。其中,目标部位的病灶特征与目标部位的疾病相关联,该病灶特征可包括影像表现、纹理、尺寸、位置等。例如对于新型冠状病毒肺炎,病灶主要呈双侧、多发;病灶密度以磨玻璃密度影(GGO)多见,可以出现实变和小叶间隔增厚等影像表现。当然,对于处于不同新型冠状病毒感染阶段的患者,其对应的具体影像表现不同,从而根据病灶的具体影像表现可以确定患者可能所处的新型冠状病毒感染阶段,利于后续医生对患者进行针对性治疗。
在一可选实施例中,在对医学图像进行分割处理之前,还可以对医学图像进行预处理以满足模型输入条件,该预处理包括但不限于重采样、去噪、归一化等至少一种预处理。其中,重采样可以为按照预设分辨率对医学图像进行采样,以获取满足模型输入分辨率条件的重采样图像。当然,为了减少对设备的计算处理能力需求,该预处理还可以从医学图像中提取预设尺寸的图像块或图像框,之后利用滑窗操作对整个医学图像进行分割处理。通过对医学图像进行预处理,可以确保图像分割的准确性,进而提高医学图像检测的准确性。
S105:根据病灶分割区域和非病灶分割区域,确定表征目标部位实质区域的目标掩膜。
在对医学图像进行分割处理以得到病灶分割区域后,由于该病灶分割区域中可能存在假阳性区域,进而会影响医学图像的检测结果的准确性,因此需要对进行分割处理后的区域进行进一步假阳性去除操作,以最终得到表征医学图像中目标部位的病灶信息的检测结果。
可选地,将经分割处理所得的病灶分割区域和非病灶分割区域进行合并,之后利用肺部的生物学特性,对合并后的分割区域进行去除假阳性干扰操作,得到表征目标部位实质区域的目标掩膜。
其中,生物学特性可以为肺部连通域特性、肺部形状特性、左右肺部的位置特性等。该目标掩膜可以是二值化图像。示例性的,目标掩膜中目标部位实质区域对应的二值化赋值可以为1,目标掩膜中除目标部位实质区域之外的其它区域对应的二值化赋值可以为0。
在一可选实施例中,S105可以包括:
S1051:对病灶分割区域和非病灶分割区域进行区域合并处理,生成合并掩膜;合并掩膜的数量与目标部位的数量相匹配。
可选地,可以从第一分割结果中提取病灶分割区域对应的信息和非病灶分割区域对应的信息,根据两个分割区域所分别对应的像素或体素的位置坐标和区域范围,将病灶分割区域和非病灶分割区域进行像素级别或体素级别的并集合并操作,进而得到合并掩膜。又或者,可以分别从病灶分割区域和非病灶分割区域中提取区域轮廓边界(比如2D轮廓边界或3D轮廓边界),根据两个区域轮廓边界的坐标信息对病灶分割区域和非病灶分割区域进行并集合并操作,进而得到合并掩膜。
可选地,本申请实施例可以设置合并掩膜的数量与目标部位的数量相匹配。示例性的,若目标区域为左肺部或右肺部,则合并掩膜的数量设置为一个;而若目标区域为左右肺部,则合并掩膜的数量设置为两个,且分别对应的左肺部和右肺部。
S1053:比较合并掩膜中各连通域的覆盖大小。
由于合并掩膜是根据病灶分割区域和非病灶分割区域确定得到的,合并掩膜中可能会存在多个连通域,通过比较合并掩膜中各连通域的覆盖大小,之后根据比较结果对各连通域进行排序,以利于后续筛选出感兴趣的掩膜区域。
该连通域的覆盖大小可以反映连通域中各像素点或体素点的数量。连通域中各像素点或体素点的数量越多,则该连通域的覆盖大小越大;反之,越小。
S1055:确定合并掩膜中最大覆盖大小对应的连通域,作为表征目标部位实质区域的目标掩膜。
通过比较每个合并掩膜中各连通域的大小,从每个合并掩膜中确定出对应的最大覆盖大小对应的连通域,得到感兴趣的掩膜区域,作为表征目标部位实质区域的目标掩膜。示例的,若目标区域为左肺部或右肺部,则在一个合并掩膜中确定一个最大覆盖大小的连通域作为该目标掩膜;而若目标区域为左右肺部,则在两个合并掩膜中分别确定一个最大覆盖大小的连通域作为该目标掩膜。
通过对病灶分割区域和非病灶分割区域进行区域合并处理,生成与目标部位的数量相匹配的合并掩膜;之后确定每个合并掩膜中最大覆盖大小的连通域,作为表征目标部位实质区域的目标掩膜,从而可以去除非目标掩膜中的假阳性干扰区域,提高图像检测的准确性和可靠性。
S107:基于目标掩膜和病灶分割区域,确定医学图像的检测结果,检测结果表征目标部位的病灶信息。
其中,医学图像的检测结果可以包括是否有目标病灶区域、目标病灶的区域位置、目标病灶对应的疾病类型及其概率中至少一种。
在得到医学图像的检测结果后,还可以对该检测结果进行存储和展示,以供医生可以随时、直观地查阅到有关病灶信息的检测结果。该医学图像的检测结果包括但不限于为二维图、三维效果图、表等,本申请对此不作具体限定。
在一可选实施例中,如图2所示,S107可以包括:
S201:在目标掩膜中确定与病灶分割区域对应的病灶分割掩膜。
可选地,可以根据目标掩膜与病灶分割区域中各像素点的位置映射关系,在目标掩膜中确定与病灶分割区域中像素点对应的目标掩膜像素点,基于该目标掩膜像素点确定病灶分割掩膜。还可以根据病灶分割区域中各像素点的类别信息,在目标掩膜中确定与该类别信息相同的目标掩膜像素点,基于该目标掩膜像素点确定病灶分割掩膜。还可以提取病灶分割区域中每个子区域的病灶轮廓框,基于该病灶轮廓框的位置属性信息,在目标掩膜中确定与病灶分割区域对应的病灶分割掩膜。
S203:基于病灶分割掩膜,确定医学图像的检测结果。
可选地,可以将病灶分割掩膜和医学图像进行叠加操作,得到医学图像中的目标病灶分割区域,作为医学图像的检测结果之一。当然,在病灶分割掩膜和医学图像的图像分辨率不匹配时,可以预先将病灶分割掩膜的分辨率转换至与医学图像相匹配的分辨率,以利于进行叠加操作。
需要说明的是,在得到目标病灶分割区域之后,还可以对病灶进行更细粒度的定量和定性分析,以得到更丰富的医学图像的检测结果。例如,以目标部位为肺部为例,可以对肺部进行肺叶和/或肺段分割,之后结合对应的肺叶分割结果和/或肺段分割结果,定量和定性分析目标病灶所在具体部位、以及目标病灶的感染体积和百分比等。示例性的,针对新型冠状病毒肺炎,可以确定新型冠状病毒感染了几个肺叶和/或肺段,每一个肺叶和/或肺段的感染体积和百分比,进而可以准确评估患者的感染程度,便于对患者进行针对性的治疗。
上述实施例,通过对医学图像进行分割处理,得到区域分割结果;该区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;根据病灶分割区域和非病灶分割区域,确定表征目标部位实质区域的目标掩膜;基于目标掩膜和病灶分割区域,确定该医学图像中表征所述目标部位的病灶信息的检测结果。本申请通过对医学图像进行三类别分割处理,在基于病灶分割区域和非病灶分割区域确定表征目标部位实质区域的目标掩膜,进而确定医学图像中有关病灶信息的检测结果,无需如现有技术中的预先进行整体目标部位的精确提取,以及对分割后的病灶进行再次分类筛查以去除干扰的处理过程,即能够有效排除非目标部位区域内的分割假阳性的干扰,显著提高了图像检测的效率,同时图像检测精度高,算法鲁棒性更强,可以快速的帮助医生阅片,并基于医学影像准确地检测病灶区域以减少漏诊或误诊。
此外,上述实施例,利用经训练的分割处理模型对医学图像进行分割处理,得到包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割结果,可以使得分割处理模型充分学习目标部位的病灶分割区域、目标部位的非病灶分割区域和背景区域之间的区别,相比于传统的仅通过学习病灶特征进行分割处理,分割准确性更高。
在另一可选实施例中,区域分割结果还可以包括各分割区域对应的区域类别标签。
其中,示例性的,区域类别标签可以包括背景分割区域标签、目标部位的病灶分割区域标签、以及目标部位的非病灶分割区域标签。该区域类别标签可以包括但不限于为颜色标注、符号标注或数字标注等中一种或多种。例如,背景分割区域对应的区域类别标签为01,目标部位的病灶分割区域对应的区域类别标签为02、以及目标部位的非病灶分割区域对应的区域类别标签为03。作为另一示例性的,区域类别标签还可以包括更细粒化的标签类别,例如肺叶、肺段、左右肺、肝八段,肾段等表征不同部位的位置信息的标签。
在区域分割结果还包括各分割区域对应的区域类别标签的情况下,如图3所示,根据病灶分割区域和非病灶分割区域,确定表征目标部位实质区域的目标掩膜可以包括:
S301:根据病灶分割区域、非病灶分割区域及对应的区域类别标签,确定表征目标部位实质区域的目标掩膜;目标掩膜中像素点包含对应的区域类别标签。
在一具体实施例中,步骤S301可以包括:
S3011:根据区域类别标签,对病灶分割区域和非病灶分割区域进行区域合并处理,生成第一语义掩膜;第一语义掩膜的数量与目标部位的数量相匹配,第一语义掩膜中像素点包含对应的区域类别标签。
具体地,获取分割区域结果的各区域的区域类别标签,根据病灶分割区域的区域类别标签的区域、以及非病灶分割区域的区域类别标签,对病灶分割区域和非病灶分割区域中各像素点进行区域合并处理,生成与目标部位的数量相匹配的第一语义掩膜;第一语义掩膜中像素点包含对应的区域类别标签。例如,第一语义掩膜中对应病灶分割区域的像素点的区域类别标签为02,第一语义掩膜中对应非病灶分割区域的像素点的区域类别标签为03。
S3013:比较第一语义掩膜中各连通域的覆盖大小。
由于第一语义掩膜是根据病灶分割区域和非病灶分割区域确定得到的,第一语义掩膜中可能会存在多个连通域,通过比较第一语义掩膜中各连通域的覆盖大小,之后根据比较结果对各连通域进行排序,以利于后续筛选出感兴趣的语义掩膜区域。
该连通域的覆盖大小可以反映连通域中各像素点或体素点的数量。连通域中各像素点或体素点的数量越多,则该连通域的覆盖大小越大;反之,越小。
S3015:确定第一语义掩膜中最大覆盖大小对应的连通域,作为表征目标部位实质区域的目标掩膜。
其中,该目标掩膜继承了第一语义掩膜中各像素点所包含的区域对应的区域类别标签。
具体地,可以通过比较每个第一语义掩膜中各连通域的大小,从每个第一语义掩膜中确定出对应的最大覆盖大小对应的连通域,得到感兴趣的语义掩膜区域,作为表征目标部位实质区域的目标掩膜。示例的,若目标区域为左肺部或右肺部,则在一个第一语义掩膜中确定一个最大覆盖大小的连通域作为该目标掩膜;而若目标区域为左右肺部,则在两个第一语义掩膜中分别确定一个最大覆盖大小的连通域作为该目标掩膜。
利用区域分割结果中各区域的区域类别标签,可以快速的获取标签对应的分割区域的位置信息,直接对病灶分割区域和非病灶分割区域进行区域合并处理,生成与目标部位的数量相匹配第一语义掩膜,从而减少区域合并处理的运算量,提高图像检索效率和准确性。之后确定每个第一语义掩膜中最大覆盖大小的连通域,作为表征目标部位实质区域的目标掩膜,从而在无需进行过多的生物学操作的处理,即可以去除假阳性干扰区域,不仅提高了运算效率,而且也提高了图像检测的准确性和可靠性。
在此基础上,所述基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果可以包括:
S303:从目标掩膜中,提取与用于指示病灶分割区域的区域类别标签对应的区域,作为目标病灶掩膜。
具体地,由于目标掩膜中各像素点也包含区域对应的区域类别标签,根据病灶分割区域的区域类别标签,从目标掩膜中,提取与用于指示病灶分割区域的区域类别标签对应的区域,并将该区域作为目标病灶掩膜。
S305:基于目标病灶掩膜,确定所述医学图像的检测结果。
可选地,可以将目标病灶掩膜和医学图像进行叠加操作,得到医学图像中的目标病灶分割区域,作为医学图像的检测结果之一。
当然,在目标病灶掩膜和医学图像的图像分辨率不匹配时,可以预先将目标病灶掩膜的分辨率转换至与医学图像相匹配的分辨率,以利于进行叠加操作。
需要说明的是,在得到目标病灶分割区域之后,还可以对病灶进行更细粒度的定量和定性分析,以得到更丰富的医学图像的检测结果。例如,以目标部位为肺部为例,可以结合肺叶分割结果和/或肺段分割结果,定量和定性分析目标病灶所在具体部位、以及目标病灶的感染体积和百分比等。示例性的,针对新型冠状病毒肺炎,可以确定新型冠状病毒感染了几个肺叶和/或肺段,每一个肺叶和/或肺段的感染体积和百分比,进而可以准确评估患者的感染程度,便于对患者进行针对性的治疗。
上述实施例,基于病灶分割区域、非病灶分割区域及对应的区域类别标签,确定表征目标部位实质区域的目标掩膜,之后基于目标病灶的区域类别标签,从目标掩膜中快速提取出目标病灶掩膜,进一步减少计算量,提高图像检测的效率;且由于所确定的目标掩膜中去除了假阳性干扰区域,同时也提高图像检测的准确性和可靠性,算法鲁棒性更强,可以快速的帮助医生阅片,并基于医学影像准确地检测病灶区域以减少漏诊或误诊成为疾病早期诊断。
图4是本申请实施例提供的另一种医学图像检测方法的流程示意图。在上述至少一种实施例的基础上,利用经训练的分割处理模型对医学图像进行分割处理,得到区域分割结果之前,所述方法还包括:
S401:对医学图像中目标部位进行粗分割处理,得到目标部位的定位图像。
可选地,可以对医学图像按照第一分辨率进行重采样,得到重采样后的医学图像;之后利用预先构建的粗分割模型,对重采样后的医学图像中目标部位进行粗分割处理,得到目标部位的定位图像。
其中,该第一分辨率可以低于医学图像的原始分辨率。示例性的,以医学图像为三维图像为例,该第一分辨率可以为[5mm,5mm,5mm],即三轴(比如X、Y、Z轴)分辨率数值均为5mm。应理解,第一分辨率的数值并不限于此,其可根据分割效果进行适配性调整。
该粗分割模型可以包括机器学习模型,例如深度学习模型、随机森林模型、决策树模型等。其中,深度学习模型包括但不限于为卷积神经网络(Convolutional NeuralNetworks,CNN)、深度神经网络(Deep Neural Networks,DNN)、循环神经网络(RecurrentNeural Network,RNN)等模型。该卷积神经网络模型可以包括但不限于为V-Net模型、DenseNet模型、FPN模型、U-Net模型等中一种或多种。
粗分割模型的构建过程可以为:建立包含样本图像和目标部位的分割标注结果的第一训练集,利用该第一训练集对初始粗分割模型进行训练,以训练至满足训练结束条件,提取满足训练结束条件对应的目标模型参数,基于该目标模型参数构建粗分割模型。
S403:对定位图像的图像轮廓进行像素扩充处理,得到目标定位图像。
可选地,在确定定位图像之后,可以将定位图像中图像轮廓的轮廓位置点坐标信息统一到世界坐标系下,再根据预设扩充像素值进行像素扩充处理,以得到具有更大区域范围的目标定位图像。
另一可选地,在确定定位图像之后,可以按照原始分辨率对该定位图像进行重采样,得到重采样后的定位图像,以将定位图像的分辨率还原至医学图像的原始分辨率大小。之后,利用预设的轮廓提取算法,确定重采样后的定位图像的图像轮廓的轮廓位置点信息(比如轮廓坐标信息),并根据该轮廓位置信息和预设扩充像素值,对重采样后的定位图像的图像轮廓进行像素扩充处理,以得到具有更大区域范围的目标定位图像。
具体地,在像素扩充处理过程中,可以对定位图像的图像轮廓朝至少一个方向进行像素扩充,且朝每个方向的扩充的像素值的数值可以相同,也可以不同。示例性的,该图像轮廓可以包括轮廓框,该轮廓框可以根据图像的维度进行调整,例如该轮廓框可以包括正方体、长方体或者贴合经粗分割后的目标部位的三维轮廓形状等;又例如该轮廓框可以包括但不限于为正方形、长方形或者贴合经粗分割后的目标部位的二维轮廓形状等。该预设扩充像素值可以但不限于为5~30mm中任一数值,例如[20mm,20mm,20mm]。
在实际应用中,可以将原始医学图像按照预设的窗宽(比如-400)和窗位(比如1500)归一化到[-1,1],从而将图像像素范围在[-1150,350]归一化到[-1,1],即将大于350像素的归一化为1,小于-1150像素的归一化为-1。之后对归一化后的图像按照例如[5mm,5mm,5mm]的第一分辨率进行重采样,并将重采样后的图像输入至粗分割模型中,进而对目标部位进行粗分割,得到目标部位的定位图像。之后计算该目标部位的定位图像的轮廓框,并对该轮廓框向外扩充例如[20mm,20mm,20mm]范围,以得到具有更大区域范围的目标定位图像。
由于按照低分辨率对医学图像进行重采样和粗分割,可以有效地提高分割效率。同时对粗分割得到的定位图像进行重采样和像素扩充处理,使得最终得到具有更大区域范围的目标定位图像,所得的目标定位图像涵盖更多的目标部位信息,进而可以提高后续的图像检测精度和准确度。
相应的,利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果可以包括:
S405:将目标定位图像输入至经训练的分割处理模型,得到分割处理模型输出的区域分割结果。
可选地,在对医学图像进行粗分割等处理得到目标定位图像后,可以按照目标定位图像对应的感兴趣区域信息,在医学图像上进行截取以得到截取图像,该截取图像的分辨率与医学图像的分辨率相同;再先后对该截取图像按照目标部位窗尺寸(比如窗宽-400,窗位1500的肺窗尺寸)进行归一化(比如归一化到[-1,1])以及按照第二分辨率进行重采样,得到第一待输入图像。之后将第一待输入图像作为分割处理模型的单通道输入,输入至经训练的分割处理模型,对第一待输入图像进行分割处理,得到分割处理模型输出的区域分割结果。
其中,该第二分辨率高于第一分辨率。示例性的,以医学图像为三维图像为例,该第二分辨率可以为[0.7mm,0.7mm,0.7mm],即三轴分辨率数值均为0.7mm。应理解,第二分辨率的数值并不限于此,例如可以为0.5~1中任意值,其可根据分割效果进行适配性调整。
在另一可选实施例,步骤S405可以包括:
S4051:获取第一待输入图像和第二待输入图像。
其中,第一待输入图像为对目标定位图像按照目标部位对应的窗参数进行归一化及重采样所得的图像,第二待输入图像为对目标定位图像按照目标部位中病灶对应的窗参数进行归一化及重采样所得的图像。
具体地,在对医学图像进行粗分割等处理得到目标定位图像后,可以按照目标定位图像对应的感兴趣区域信息,在医学图像上进行截取以得到截取图像,该截取图像的分辨率与医学图像的分辨率相同;再先后对该截取图像按照目标部位对应的窗参数(比如窗宽-400,窗位1500的肺窗)进行归一化(比如归一化到[-1,1])以及按照第二分辨率进行重采样,得到第一待输入图像。
在得到截取图像之后,除了可以得到第一待输入图像之外,还可以先后对截取图像按照目标部位中病灶对应的窗参数(例如窗位-750,窗宽800的磨玻璃窗)进行归一化(比如归一化到[-1,1])以及按照第三分辨率进行重采样得到第二待输入图像。
S4053:将第一待输入图像和第二待输入图像作为模型的双通道输入,输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
在获得第一待输入图像和第二待输入图像之后,将两者一起作为分割处理模型的双通道输入,输入至经训练的分割处理模型,得到分割处理模型输出的区域分割结果。
在本申请实施例中,该第三分辨率与第二分辨率的数值相同。示例性的,以医学图像为三维图像为例,该第三分辨率可以为[0.7mm,0.7mm,0.7mm],即三轴分辨率数值均为0.7mm。应理解,第三分辨率的数值并不限于此,其可根据分割效果进行适配性调整。
经分割处理模型输出的区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域。之后,根据目标部位的病灶分割区域和目标部位的非病灶分割区域,确定表征目标部位的病灶信息的医学图像的检测结果。这里的确定医学图像的检测结果步骤的具体内容可参照上述实施例的相应步骤,在此不再赘述。
通过对目标图像对应的截图图像,按照目标部位中病灶对应的窗参数进行归一化和重采样,得到第二待输入图像,并与按照目标部位对应的窗参数进行归一化和重采样得到的第一待输入图像一起作为模型的双通道输入,不同通道的输入图像所兼顾的图像信息不同,且两个通道的输入图像具有不同形态的病灶对比度信息,可以给经训练的分割处理模型提供更多的病灶信息,进而利于分割出更精细的包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割结果,可以进一步提升对病灶中具体影像表现的分割效果,从而提高图像检测效果和准确性。
应理解,上述对目标定位图像分别按照目标部位对应的窗参数和目标部位中病灶对应的窗参数进行归一化和重采样处理过程,也同样适用于对前述未经粗分割处理的医学图像,此时,通过对医学图像分别进行类似的归一化和重采样处理后,将分别处理后的图像作为模型的双通道输入以得到区域分割结果,可以进一步提升对病灶中具体影像表现的分割效果,从而提高图像检测效果和准确性。
在一可选实施例中,所述方法还可包括构建分割处理模型的步骤。该构建分割处理模型的步骤可以包括:构建第二训练集,该第二训练集可以包括利用医学样本图像及对应的区域标注结果,区域标注结果包括背景区域标签、目标部位的病灶区域标签和目标部位的非病灶区域标签;利用第二训练集训练初始分割处理模型,直至满足训练结束条件;提取满足训练结束条件的目标模型参数,更新初始分割处理模型中的模型参数至该目标模型参数,得到经训练的分割处理模型。
其中,该第二训练集中的医学样本图像可以为原始的医学样本图像,也可以为经过粗分割的目标定位样本图像。
应理解,在利用第二训练集训练初始分割处理模型之前,还可以利用预处理模块对第二训练集中的医学样本图像进行相应的归一化和重采样等预处理。这里对医学样本图像进行预处理过程可以参见上述实施例,在此不再赘述。当然,该预处理模块也可以集成在初始分割处理模型中,直接通过初始分割处理模型对第二训练集进行处理。
具体地,利用第二训练集训练初始分割处理模型的步骤可以包括以下两种情形:
针对第一种情形,可以将第二训练集中医学样本图像按照目标部位对应的窗参数(比如肺窗)进行归一化,之后按照第二分辨率进行重采样,得到第一待输入样本图像,将该第一待输入样本图像作为模型单通道输入,利用初始分割处理模型进行训练,直至满足训练结束条件。
针对第二种情形,可以将第二训练集中医学样本图像分别按照目标部位对应的窗参数(比如肺窗)和病灶对应的窗参数(比如磨玻璃窗)进行归一化,之后分别按照第二分辨率进行重采样,以分别得到对应的第一待输入样本图像和第二待输入样本图像,将该第一待输入样本图像和第二待输入样本图像作为模型双通道输入,利用初始分割处理模型进行训练,直至满足训练结束条件。由于不同通道的输入样本图像所兼顾的信息不同,且两个通道的输入图像具有不同形态的病灶对比度信息,可以给初始分割处理模型提供更多的病灶信息,以利于机器学习到更多的背景区域、目标部位的病灶区域和目标部位的非病灶区域的区别,进而利于分割出更精细的包含背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域的区域分割样本结果,可以进一步提升对病灶中具体影像表现的分割效果,从而提高图像检测效果和准确性。
可选地,训练结束条件包括目标损失函数到达目标阈值。该分割处理模型所使用的目标函数是根据背景分割区域、病灶分割区域和非病灶分割区域所分别对应的权重系数和至少一种损失函数确定得到。
医学图像分割的本质是对每一个体素进行分类,在基于深度学习的分割方法中,通常将交叉熵(Cross Entropy,CE)作为损失函数来优化网络。多类分割的交叉熵损失函数如下:
Figure GDA0002937957670000191
在上式中,M表示全图的像素总数目,C表示类别数目,pc∈[0,1]是模型预测为C类的概率。在肺炎病灶分割中,病灶只占据了整个图像的很小部分,类别不平衡现象非常普遍,且训练样本中会存在大量易于分类的背景体素。直接引入交叉熵作为损失函数,会导致网络训练中过多的考虑背景体素的分类精度,前景体素的训练损失会很容易被忽略,易于分类的背景体素的损失将会主导网络的优化方向。
为了解决这个问题,我们加入Dice作为损失函数。Dice系数(Dice similaritycoefficient,DSC)通过计算图像之间的重叠度来评估其相似性。与交叉熵相比,DSC只计算前景体素,而不考虑整个图像中有多少背景体素,作为损失函数来优化分割网络可避免类别不平衡问题。Dice损失函数公式如下:
Figure GDA0002937957670000192
其中,Nc为网络预测为类别c的体素集与金标准为类c的体素集的交集(Nc≤M)。pc(i)表示在体素i处网络预测为类别C的概率,gc(i)∈{0,1}表示金标准中体素i是否为C类。
因此,我们将交叉熵与Dice系数(最小化混合系数)结合作为网络的损失函数,对网络进行优化,每个类别区域对应的损失函数Lossj的计算公式可以为:
Lossj=λ1Lossce2LossDice
其中,j是指每个分割区域对应的区域类别,其取值可为0,1和2。例如,Loss0是背景分割区域对应的损失函数,Loss1是病灶分割区域对应的损失函数以及Loss2是非病灶分割区域对应的损失函数。Lossce是交叉熵损失函数,LossDice是最小化混合损失函数。λ1和λ2是对应的损失函数的系数,该λ1和λ2可以相同或不同的常数,λ1和λ2可以选取两者之和为1的任意值。优选地,λ1和λ2可以均取值为1/2。
目标损失函数Loss目标的计算公式可以为:
Loss目标=ω1Loss02Loss13Loss2
其中,ω1、ω2和ω3是每个分割区域对应的损失函数的权重系数,三者的数值可以设置一样,例如设置为[1/3,1/3,1/3],即每个分割区域对应的损失函数的权重相等。当然,三者的数值也可以设置不同,不同的加权可以提高网络对权重高的类别的重视程度。例如,三者的数值可以为[1/4,1/2,1/4],通过增加病灶分割区域对应的损失函数的权重,可以提高对病灶分割结果的重视程度。
上述实施例,通过对医学图像进行粗分割处理和像素扩充处理,以得到目标定位图像,可以快速定位至目标对象所在位置,提高分割效率。再对目标定位图像同时进行背景区域、目标对象的病灶区域和目标对象的非病灶区域的三类别高精度分割,使得在较小的区域范围内进行高精度的分割,同时还使得机器能够充分学习到背景区域、目标对象的病灶区域和目标对象的非病灶区域的区别,相比于相比于传统的仅通过学习病灶特征进行分割处理,分割精度更高,进而提高后续的图像检测的准确性和精度。
应用上述实施例的医学图像检测方法,以目标部位为肺部,目标病灶为新型冠状病毒肺炎为例进行说明。
图6是应用本申请实施例的医学图像方法对左肺部在不同截取方向的图像检测过程示意图。其中,左1-1、左2-1和左3-1分别为横向、侧向和纵向三个截取方向的原始医学图像图。左1-2、左2-2和左3-2为对应的对左肺进行分割处理所得到的区域分割结果,从图6可以看出区域分割结果包括三个分割区域,即背景分割区域、左肺的病灶分割区域(图中颜色较深的区域)和左肺的非病灶分割区域(图中颜色较浅的区域)。其中,左肺的病灶分割区域包括白色箭头所指向的颜色较深的区域(部分)和黑色箭头所指向的颜色较深的区域(即假阳性区域)。左1-3、左2-3和左3-3为对应的对左肺病灶对应的图像检测结果,从该图中可以看出,左肺内的颜色较浅的区域即为最终检测的病灶区域,经分割得到的黑色箭头所指向的区域(即假阳性区域)已经被筛除。
图7是应用本申请实施例的医学图像方法对右肺部在不同截取方向的图像检测过程示意图,与图6的描述类似,图7中的区域分割结果(右1-2、右2-2和右3-2)包括三个分割区域,即背景分割区域、右肺的病灶分割区域(如图中白色箭头所指向的颜色较深的区域)和右肺的非病灶分割区域(图中颜色较浅的区域)。在图7中图像检测结果(右1-3、右2-3和右3-3)中,右肺内的白色箭头所指向的颜色较浅的区域即为最终检测的病灶区域。
图8是应用本申请实施例的医学图像方法对双肺部在不同截取方向的图像检测过程示意图。图8中的区域分割结果(双1-2、双2-2和双3-2)包括三个分割区域,即背景分割区域、双肺的病灶分割区域(如图中白色箭头所指向的颜色较深的区域)和双肺的非病灶分割区域(图中颜色较浅的区域)。在图8中图像检测结果(双1-3、双2-3和双3-3)中,双肺内的白色箭头所指向的颜色较浅的区域即为最终检测的病灶区域。
由此可见,本申请实施例的医学图像检测方法能够有效排除非目标部位区域内的分割假阳性的干扰,显著提高了图像检测的效率,同时图像检测精度高,算法鲁棒性更强,有利于快速的帮助医生阅片,并基于医学影像准确地检测病灶区域以减少漏诊或误诊。
在实际应用中,上述经分割得到的三个分割区域可以用不同颜色进行显示。另外,上述经分割得到的背景分割区域也可以不显示。
图9是应用本申请实施例的医学图像方法对处于不同肺炎阶段患者的图像检测结果图。从图9可以看出,本申请实施例的医学图像检测方法可以对处于轻症、进展期和重症的新型冠状病毒肺炎患者均有良好的病灶检测结果,由图可以看出本申请提供的图像检测方法可用于检测处于不同肺炎阶段患者,适用性广。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图5,其示出了本申请实施例提供的一种医学图像检测装置的结构框图。该装置具有实现上述方法示例中装置的功能,该功能可以由硬件实现,也可以由硬件执行相应的软件实现。医学图像检测装置500可以包括:
获取模块510,用于获取医学图像;
分割模块520,用于对所述医学图像进行分割处理,得到区域分割结果;所述区域分割结果包括背景分割区域、目标部位的病灶分割区域和目标部位的非病灶分割区域;
掩膜确定模块530,用于根据所述病灶分割区域和所述非病灶分割区域,,确定表征目标部位实质区域的目标掩膜;
检测模块540,用于基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果,所述检测结果表征所述目标部位的病灶信息。
在一些实施例中,所述检测模块540包括:
病灶分割掩膜确定单元,用于在所述目标掩膜中确定与所述病灶分割区域对应的病灶分割掩膜;
检测结果确定单元,基于所述病灶分割掩膜,确定所述医学图像的检测结果。
在一些实施例中,所述掩膜确定模块530包括:
合并掩膜生成子单元,用于对所述病灶分割区域和所述非病灶分割区域进行区域合并处理,生成合并掩膜;所述合并掩膜的数量与所述目标部位的数量相匹配;
比较子单元,用于比较所述合并掩膜中各连通域的覆盖大小;
目标掩膜确定子单元,用于确定所述合并掩膜中最大覆盖大小对应的连通域,作为表征目标部位实质区域的目标掩膜。
在一些实施例中,所述分割模块520包括:
分割单元,用于利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果;
所述分割处理模型是利用医学样本图像及对应的区域标注结果进行训练得到的,所述区域标注结果包括背景区域标签、目标部位的病灶区域标签和目标部位的非病灶区域标签。
在一些实施例中,所述装置500还可包括:
粗分割模块,用于对所述医学图像中目标部位进行粗分割处理,得到目标部位的定位图像;
扩充模块,用于对所述定位图像的图像轮廓进行像素扩充处理,得到目标定位图像;
相应的,所述分割模块还可用于:将所述目标定位图像输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
在一些实施例中,所述分割处理模型所使用的目标损失函数是根据背景分割区域、病灶分割区域和非病灶分割区域所分别对应的权重系数和至少一种损失函数确定得到。
在一些实施例中,所述区域分割结果还包括各分割区域对应的区域类别标签;此时,所述掩膜确定模块530具体用于根据所述病灶分割区域、所述非病灶分割区域及对应的区域类别标签,确定表征目标部位实质区域的目标掩膜;所述目标掩膜中像素点包含对应的区域类别标签。
在此基础上,检测模块540还可以包括:
目标病灶掩膜确定单元,用于从所述目标掩膜中,提取与用于指示病灶分割区域的区域类别标签对应的区域,作为目标病灶掩膜;
检测结果确定单元,用于基于所述目标病灶掩膜,确定所述医学图像的检测结果。
需要说明的是,本申请的装置实施例中具体内容可参见上述方法任一实施例,在此不再赘述。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一实施例所述的医学图像检测方法。
上述存储介质可以位于计算机网络的多个网络设备中的至少一个网络设备。可选地,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算机设备,该设备可以包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一实施例所述的医学图像检测方法。
进一步地,图10示出了一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图,该计算机设备可以为服务器、计算机终端、移动终端或其它设备,计算机设备还可以参与构成或包含本申请实施例所提供的装置。如图10所示,计算机设备10可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机设备10还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机设备10中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中所述的方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种神经网络处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机设备10的用户界面进行交互。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

1.一种医学图像检测方法,其特征在于,包括:
获取医学图像;
利用经训练的分割处理模型对所述医学图像进行三区域分割处理,得到区域分割结果;所述区域分割结果由背景分割区域、目标部位的病灶分割区域和目标部位的正常分割区域构成;
对所述病灶分割区域和所述正常分割区域进行区域合并处理,生成合并掩膜;所述合并掩膜的数量与所述目标部位的数量相匹配;
基于每个合并掩膜中最大覆盖大小对应的连通域,确定表征目标部位实质区域的目标掩膜;
基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果,所述检测结果包括目标病灶分割区域和目标病灶的区域位置。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标掩膜和所述目标部位的病灶分割区域,确定所述医学图像的检测结果包括:
在所述目标掩膜中确定与所述病灶分割区域对应的病灶分割掩膜;
基于所述病灶分割掩膜,确定所述医学图像的检测结果。
3.根据权利要求1所述的方法,其特征在于,所述根据所述病灶分割区域和所述正常分割区域,确定表征目标部位实质区域的目标掩膜包括:
对所述病灶分割区域和所述正常分割区域进行区域合并处理,生成合并掩膜;所述合并掩膜的数量与所述目标部位的数量相匹配;
比较所述合并掩膜中各连通域的覆盖大小;
确定所述合并掩膜中最大覆盖大小对应的连通域,作为表征目标部位实质区域的目标掩膜。
4.根据权利要求1-3任一所述的方法,其特征在于,所述对所述医学图像进行分割处理,得到区域分割结果包括:
利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果;
所述分割处理模型是利用医学样本图像及对应的区域标注结果进行训练得到的,所述区域标注结果包括背景区域标签、目标部位的病灶区域标签和目标部位的正常区域标签。
5.根据权利要求4所述的方法,其特征在于,所述利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果之前,所述方法还包括:
对所述医学图像中目标部位进行粗分割处理,得到目标部位的定位图像;
对所述定位图像的图像轮廓进行像素扩充处理,得到目标定位图像;
所述利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果包括:
将所述目标定位图像输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标定位图像输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果包括:
获取第一待输入图像和第二待输入图像;所述第一待输入图像为对所述目标定位图像按照目标部位对应的窗参数进行归一化及重采样所得的图像,所述第二待输入图像为对所述目标定位图像按照目标部位中病灶对应的窗参数进行归一化及重采样所得的图像;
将所述第一待输入图像和第二待输入图像作为模型的双通道输入,输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
7.根据权利要求1所述的方法,其特征在于,所述区域分割结果还包括各分割区域对应的区域类别标签;
所述根据所述病灶分割区域和所述正常分割区域,确定表征目标部位实质区域的目标掩膜包括:
根据所述病灶分割区域、所述正常分割区域及对应的区域类别标签,确定表征目标部位实质区域的目标掩膜;所述目标掩膜中像素点包含对应的区域类别标签;
相应的,所述基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果包括:
从所述目标掩膜中,提取与用于指示病灶分割区域的区域类别标签对应的区域,作为目标病灶掩膜;
基于所述目标病灶掩膜,确定所述医学图像的检测结果。
8.一种医学图像检测装置,其特征在于,包括:
获取模块,用于获取医学图像;
分割模块,用于利用经训练的分割处理模型对所述医学图像进行三区域分割处理,得到区域分割结果;所述区域分割结果由背景分割区域、目标部位的病灶分割区域和目标部位的正常分割区域构成;
掩膜确定模块,用于对所述病灶分割区域和所述正常分割区域进行区域合并处理,生成合并掩膜;所述合并掩膜的数量与所述目标部位的数量相匹配;以及基于每个合并掩膜中最大覆盖大小对应的连通域,确定表征目标部位实质区域的目标掩膜;
检测模块,用于基于所述目标掩膜和所述病灶分割区域,确定所述医学图像的检测结果,所述检测结果包括目标病灶分割区域和目标病灶的区域位置。
9.根据权利要求8所述的装置,其特征在于,所述检测模块包括:
病灶分割掩膜确定单元,用于在所述目标掩膜中确定与所述病灶分割区域对应的病灶分割掩膜;
检测结果确定单元,用于基于所述病灶分割掩膜,确定所述医学图像的检测结果。
10.根据权利要求8所述的装置,其特征在于,所述掩膜确定模块包括:
合并掩膜生成子单元,用于对所述病灶分割区域和所述正常分割区域进行区域合并处理,生成合并掩膜;所述合并掩膜的数量与所述目标部位的数量相匹配;
比较子单元,用于比较所述合并掩膜中各连通域的覆盖大小;
目标掩膜确定子单元,用于确定所述合并掩膜中最大覆盖大小对应的连通域,作为表征目标部位实质区域的目标掩膜。
11.根据权利要求8-10任一所述的装置,其特征在于,所述分割模块包括:
分割单元,用于利用经训练的分割处理模型对所述医学图像进行分割处理,得到区域分割结果;
所述分割处理模型是利用医学样本图像及对应的区域标注结果进行训练得到的,所述区域标注结果包括背景区域标签、目标部位的病灶区域标签和目标部位的正常区域标签。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
粗分割模块,用于对所述医学图像中目标部位进行粗分割处理,得到目标部位的定位图像;
扩充模块,用于对所述定位图像的图像轮廓进行像素扩充处理,得到目标定位图像;
相应的,所述分割模块还用于:将所述目标定位图像输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
13.根据权利要求12所述的装置,其特征在于,所述分割模块包括:
获取单元,用于获取第一待输入图像和第二待输入图像;所述第一待输入图像为对所述目标定位图像按照目标部位对应的窗参数进行归一化及重采样所得的图像,所述第二待输入图像为对所述目标定位图像按照目标部位中病灶对应的窗参数进行归一化及重采样所得的图像;
分割单元,用于将所述第一待输入图像和第二待输入图像作为模型的双通道输入,输入至经训练的分割处理模型,得到所述分割处理模型输出的区域分割结果。
14.根据权利要求8所述的装置,其特征在于,所述区域分割结果还包括各分割区域对应的区域类别标签;
所述掩膜确定模块具体用于根据所述病灶分割区域、所述正常分割区域及对应的区域类别标签,确定表征目标部位实质区域的目标掩膜;所述目标掩膜中像素点包含对应的区域类别标签;
相应的,所述检测模块还包括:
目标病灶掩膜确定单元,用于从所述目标掩膜中,提取与用于指示病灶分割区域的区域类别标签对应的区域,作为目标病灶掩膜;
检测结果确定单元,用于基于所述目标病灶掩膜,确定所述医学图像的检测结果。
15.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现权利要求1-7中任一项所述的医学图像检测方法。
16.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7中任一项所述的医学图像检测方法。
CN202010240098.3A 2020-03-31 2020-03-31 医学图像检测方法、装置、设备及存储介质 Active CN111127466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010240098.3A CN111127466B (zh) 2020-03-31 2020-03-31 医学图像检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010240098.3A CN111127466B (zh) 2020-03-31 2020-03-31 医学图像检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111127466A CN111127466A (zh) 2020-05-08
CN111127466B true CN111127466B (zh) 2021-06-11

Family

ID=70493869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010240098.3A Active CN111127466B (zh) 2020-03-31 2020-03-31 医学图像检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111127466B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754453A (zh) * 2020-05-11 2020-10-09 佛山市第四人民医院(佛山市结核病防治所) 基于胸透图像的肺结核检测方法、系统和存储介质
CN111724356B (zh) * 2020-06-04 2023-08-18 杭州健培科技有限公司 一种用于ct影像肺炎识别的图像处理方法和系统
CN111932495B (zh) * 2020-06-30 2021-09-07 数坤(北京)网络科技股份有限公司 一种医学图像检测方法、装置及存储介质
CN112288684B (zh) * 2020-07-15 2021-06-25 华北理工大学 应用密度分析的致病判断系统及方法
CN112330624A (zh) 2020-11-02 2021-02-05 腾讯科技(深圳)有限公司 医学图像处理方法和装置
CN112560853A (zh) * 2020-12-14 2021-03-26 中科云谷科技有限公司 图像处理的方法、装置及存储介质
CN112884792B (zh) * 2021-02-02 2022-10-25 青岛海信医疗设备股份有限公司 肺部图像分割的方法、装置、电子设备及存储介质
CN112819808A (zh) * 2021-02-23 2021-05-18 上海商汤智能科技有限公司 医学图像检测方法及相关装置、设备、存储介质
CN115375603A (zh) * 2021-05-17 2022-11-22 数坤(北京)网络科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN113240698B (zh) * 2021-05-18 2022-07-05 长春理工大学 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法
CN113298157A (zh) * 2021-05-28 2021-08-24 上海商汤智能科技有限公司 病灶匹配方法及装置、电子设备和存储介质
CN113539439B (zh) * 2021-07-16 2022-05-10 数坤(北京)网络科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN113554619A (zh) * 2021-07-22 2021-10-26 深圳市永吉星光电有限公司 3d医用微型摄像头的图像目标检测方法、系统及装置
CN113920068B (zh) * 2021-09-23 2022-12-30 北京医准智能科技有限公司 一种基于人工智能的身体部位检测方法、装置及电子设备
CN114119578B (zh) * 2021-12-01 2022-07-08 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN114187281A (zh) * 2021-12-14 2022-03-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN114332128B (zh) * 2021-12-30 2022-07-26 推想医疗科技股份有限公司 医学图像处理方法及其装置、电子设备和计算机存储介质
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
WO2023186133A1 (zh) * 2022-04-02 2023-10-05 武汉联影智融医疗科技有限公司 一种用于穿刺路径规划的系统及方法
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN114862861B (zh) * 2022-07-11 2022-10-25 珠海横琴圣澳云智科技有限公司 基于少样本学习的肺叶分割方法和装置
CN115393323B (zh) * 2022-08-26 2023-05-30 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682015B (zh) * 2018-05-28 2021-10-19 安徽科大讯飞医疗信息技术有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN109102506B (zh) * 2018-08-20 2021-08-13 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法
CN110909756A (zh) * 2018-09-18 2020-03-24 苏宁 用于医学图像识别的卷积神经网络模型训练方法和装置
CN109919912A (zh) * 2019-01-28 2019-06-21 平安科技(深圳)有限公司 一种医学影像的质量评价方法和装置

Also Published As

Publication number Publication date
CN111127466A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
CN108010021B (zh) 一种医学图像处理系统和方法
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
Fuhrman et al. A review of explainable and interpretable AI with applications in COVID‐19 imaging
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
Gu et al. Automated delineation of lung tumors from CT images using a single click ensemble segmentation approach
US8355553B2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model
JP2023002524A (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
JP2023507109A (ja) 医用画像による自動化された腫瘍識別およびセグメンテーション
Zhao et al. DSU-Net: Distraction-Sensitive U-Net for 3D lung tumor segmentation
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
US20220101034A1 (en) Method and system for segmenting interventional device in image
Heydarheydari et al. Auto-segmentation of head and neck tumors in positron emission tomography images using non-local means and morphological frameworks
CN111815557A (zh) 图像分析方法、装置、设备及存储介质
CN106023205A (zh) 基于简化粒子群优化二维最大熵阈值的医学影像分割方法
CN114332132A (zh) 图像分割方法、装置和计算机设备
Ramella Saliency-based segmentation of dermoscopic images using colour information
CN116230237B (zh) 一种基于roi病灶特征的肺癌影响评价方法和系统
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Dickson et al. A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images
WO2023092124A1 (en) Machine-learning based segmentation of biological objects in medical images
CN113850794A (zh) 一种图像处理方法及装置
Valarmathi et al. Deep Learning Model for Automated Kidney Stone Detection using VGG16

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant