CN117522857A - 受检对象成分分析、标签生成、模型训练方法及装置 - Google Patents

受检对象成分分析、标签生成、模型训练方法及装置 Download PDF

Info

Publication number
CN117522857A
CN117522857A CN202311740023.1A CN202311740023A CN117522857A CN 117522857 A CN117522857 A CN 117522857A CN 202311740023 A CN202311740023 A CN 202311740023A CN 117522857 A CN117522857 A CN 117522857A
Authority
CN
China
Prior art keywords
image
segmentation
fat
tissue
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311740023.1A
Other languages
English (en)
Inventor
曾宏翔
李丙生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN202311740023.1A priority Critical patent/CN117522857A/zh
Publication of CN117522857A publication Critical patent/CN117522857A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种受检对象成分分析、标签生成、模型训练方法及装置,受检对象成分分析方法包括:获取受检对象的待分割医学图像;基于待分割医学图像进行粗分割,得到粗分割结果;其中,粗分割结果用于指示待分割医学图像中脂肪分布区域和非脂肪分布区域;基于粗分割结果进行细分割,得到细分割结果;其中,细分割结果用于指示待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域;基于细分割结果确定受检对象的成分分析结果。由此通过粗分割先区分出待分割医学图像中的脂肪分布区域与非脂肪分布区域,为精分割提供更准确的初始边界和区域估计,可以有效提高最终的分割结果的准确性。

Description

受检对象成分分析、标签生成、模型训练方法及装置
技术领域
本发明涉及医学影像处理技术领域,尤其涉及一种受检对象成分分析、标签生成、模型训练方法及装置。
背景技术
针对脂肪和肌肉进行成分定量分析在医学领域具有重要意义,尤其是客观、有效地分析腹部的皮下脂肪、内脏脂肪、腰大肌及其他腹部肌肉的分布具有重要的临床价值。
相关技术中,通常采用深度学习的方法对医学图像中脂肪和肌肉进行分割以实现脂肪和肌肉的定量分析。然而,相关技术中存在分割不够精细的问题,脂肪和肌肉的定量分析的准确性有待提高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种受检对象成分分析方法,提高对医学图像中的皮下脂肪组织、内脏脂肪组织和肌肉组织进行分割的分割精确度,以实现对皮下脂肪组织、内脏脂肪组织和肌肉组织的精确的定量分析。
本发明的第二个目的在于提出一种标签生成方法。
本发明的第三个目的在于提出一种图像分割模型训练方法。
本发明的第四个目的在于提出一种受检对象成分分析装置。
本发明的第五个目的在于提出一种标签生成装置。
本发明的第六个目的在于提出一种图像分割模型训练装置。
本发明的第七个目的在于提出一种计算机设备。
本发明的第八个目的在于提出一种计算机可读存储介质。
为达到上述目的,本发明第一方面实施方式提出了一种受检对象成分分析方法,所述方法包括:获取所述受检对象的待分割医学图像;基于所述待分割医学图像进行粗分割,得到粗分割结果;其中,所述粗分割结果用于指示所述待分割医学图像中脂肪分布区域和非脂肪分布区域;基于所述粗分割结果进行细分割,得到细分割结果;其中,所述细分割结果用于指示所述待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域;基于所述细分割结果确定所述受检对象的成分分析结果。
根据本发明的一个实施方式,所述基于所述粗分割结果进行细分割,得到细分割结果,包括:在所述脂肪分布区域中对所述皮下脂肪组织和所述内脏脂肪组织进行细分割,以及在所述非脂肪分布区域中对所述肌肉组织进行细分割,得到所述细分割结果。
根据本发明的一个实施方式,所述基于所述待分割医学图像进行粗分割,得到粗分割结果,包括:将所述待分割医学图像输入至图像粗分割模型,以利用所述图像粗分割模型对所述脂肪分布区域和所述非脂肪分布区域进行粗分割,得到所述粗分割结果。
根据本发明的一个实施方式,所述基于所述粗分割结果进行细分割,得到细分割结果,包括:根据所述粗分割结果对所述待分割医学图像进行前景采样,得到采样后图像;将所述采样后图像输入至图像细分割模型,以利用所述图像细分割模型对所述脂肪分布区域中的所述皮下脂肪组织和所述内脏脂肪组织进行细分割,以及对所述非脂肪分布区域中的所述肌肉组织进行细分割,得到所述细分割结果。
根据本发明的一个实施方式,所述待分割医学图像是基于对所述受检对象进行断层扫描后得到的扫描图像得到的;所述待分割医学图像为三维平扫图像;所述待分割医学图像是根据所述受检对象的腹部区域对所述扫描图像进行前景分割得到的;所述脂肪分布区域和所述非脂肪分布区域位于所述腹部区域;所述肌肉组织包括腰大肌组织和非腰大肌组织。
根据本发明的一个实施方式,所述待分割医学图像与所述受检对象的腹部区域对应;所述受检对象成分分析方法还包括以下情形中的至少一种:基于所述细分割结果,采用2D图像、3D图像、伪彩色图像中的至少一种方式展示所述腹部区域的组织分布情况;采用2D图像、3D图像、曲线、图表的至少一种方式展示所述成分分析结果。
根据本发明的一个实施方式,所述成分分析结果包括皮下脂肪数据、内脏脂肪数据和肌肉数据中的至少一个;所述皮下脂肪数据是基于所述皮下脂肪组织的分布区域得到的;所述内脏脂肪数据是基于所述内脏脂肪组织的分布区域得到的;所述肌肉数据是基于所述肌肉组织的分布区域得到的。
为达到上述目的,本发明第二方面实施方式提出了一种标签生成方法,所述方法包括:获取待标注样本图像;对所述待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到所述待标注样本图像的粗标注标签;对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签;基于所述粗标注标签和所述细标注标签生成所述待标注样本图像的目标标签。
根据本发明的一个实施方式,所述待标注样本图像与受检对象的腹部区域对应;所述肌肉组织包括腰大肌组织和非腰大肌组织;所述对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签,包括:对所述皮下脂肪组织和所述内脏脂肪组织进行细标注,以及对所述腰大肌组织和所述非腰大肌组织进行细标注,得到所述细标注标签。
根据本发明的一个实施方式,所述标签生成方法还包括:对所述非脂肪分布区域中包含的非肌肉分布区域进行细标注,得到非肌肉标签。
为达到上述目的,本发明第三方面实施方式提出了一种图像分割模型训练方法,所述方法包括:获取医学图像样本集合;其中,所述医学图像样本集合包括若干医学样本图像;所述医学样本图像的目标标签是通过前述任一项实施方式所述标签生成方法而生成;利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型。
根据本发明的一个实施方式,所述图像分割模型包括图像粗分割模型和图像细分割模型;所述利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型,包括:在所述图像粗分割模型完成训练的情况下,将所述图像粗分割模型输出的所述医学样本图像的粗分割结果输入所述图像细分割模型进行细分割处理,得到所述医学样本图像的细分割结果;基于所述医学样本图像的细分割结果、非肌肉标签和所述细标注标签对所述图像细分割模型的参数进行更新,得到完成训练的图像细分割模型;其中,所述非肌肉标签是对所述非脂肪分布区域中包含的非肌肉分布区域进行细标注而得到的。
为达到上述目的,本发明第四方面实施方式提出了一种受检对象成分分析装置,所述装置包括:医学图像获取模块,用于获取所述受检对象的待分割医学图像;图像粗分割模块,用于基于所述待分割医学图像进行粗分割,得到粗分割结果;其中,所述粗分割结果用于指示所述待分割医学图像中脂肪分布区域和非脂肪分布区域;图像细分割模块,用于基于所述粗分割结果进行细分割,得到细分割结果;其中,所述细分割结果用于指示所述待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域;成分分析模块,用于基于所述细分割结果确定所述受检对象的成分分析结果。
为达到上述目的,本发明第五方面实施方式提出了一种标签生成装置,所述装置包括:样本图像获取模块,用于获取待标注样本图像;图像粗标注模块,用于对所述待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到所述待标注样本图像的粗标注标签;图像细标注模块,用于对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签;目标标签生成模块,用于基于所述粗标注标签和所述细标注标签生成所述待标注样本图像的目标标签。
为达到上述目的,本发明第六方面实施方式提出了一种图像分割模型训练装置,所述装置包括:样本集合获取模块,用于获取医学图像样本集合;其中,所述医学图像样本集合包括若干医学样本图像;所述医学样本图像的目标标签是通过前述任一项实施方式所述标签生成方法而生成;分割模型训练模块,用于利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型。
为达到上述目的,本发明第七方面实施方式提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现前述任一项实施方式所述的受检对象成分分析方法,和/或,标签生成方法,和/或,图像分割模型训练方法的步骤。
为达到上述目的,本发明第八方面实施方式提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一项实施方式所述的受检对象成分分析方法,和/或,标签生成方法,和/或,图像分割模型训练方法的步骤。
根据本发明提供的多个实施方式,通过粗分割先区分出待分割医学图像中的脂肪分布区域与非脂肪分布区域,可以增加整个图像分割过程的鲁棒性,为精分割提供更准确的初始边界和区域估计,有助于精分割时更准确地识别和区分皮下脂肪组织、内脏脂肪组织和肌肉组织。由此,可以有效提高最终的分割结果的准确性,实现对受检对象体内的皮下脂肪组织、内脏脂肪组织和肌肉组织的更精确的定量分析,并可以大大减少精分割时的计算量,从而有效提高计算效率。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1a为根据本说明书实施方式提供的受检对象成分分析方法的流程示意图。
图1b为根据本说明书实施方式提供的粗分割结果示意图。
图1c为根据本说明书实施方式提供的粗分割结果示意图。
图2a为根据本说明书实施方式提供的获取细分割结果的流程示意图。
图2b为根据本说明书实施方式提供的细分割结果示意图。
图2c为根据本说明书实施方式提供的细分割结果示意图。
图3a为根据本说明书实施方式提供的三维平扫腹部医学图像的一个横断面图像示意图。
图3b为根据本说明书实施方式提供的细分割结果的一个横断面图像示意图。
图3c为根据本说明书实施方式提供的细分割结果的一个冠状面图像示意图。
图3d为根据本说明书实施方式提供的受检对象成分分析方法的流程示意图。
图3e为根据本说明书实施方式提供的对腹部皮下脂肪、内脏脂肪、腰大肌及非腰大肌进行分割以及计算分割后的各组织的相关参数的流程示意图。
图4a为根据本说明书实施方式提供的标签生成方法的流程示意图。
图4b为根据本说明书实施方式提供的待标注样本图像的一个横断面图像示意图。
图5为根据本说明书实施方式提供的图像分割模型训练方法的流程示意图。
图6为根据本说明书实施方式提供的对初始分割模型进行训练的流程示意图。
图7为根据本说明书实施方式提供的受检对象成分分析装置的结构框图。
图8为根据本说明书实施方式提供的标签生成装置的结构框图。
图9为根据本说明书实施方式提供的图像分割模型训练装置的结构框图。
图10为根据本说明书实施方式提供的计算机设备的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
脂肪和肌肉是重要的人体成分,脂肪和肌肉成分分析在医学领域有重要价值,是恶病质、肌少症和肥胖症的直接衡量标准。脂肪可以分为皮下脂肪、内脏脂肪和异位脂肪三种,其中,皮下脂肪是贮存于皮下的脂肪组织,对身体健康影响较小;内脏脂肪是贮存于脏器周围的脂肪组织,积累过多会引起新陈代谢紊乱、动脉硬化、心肌梗塞、脂肪肝、Ⅱ型糖尿病、高血压和高血脂等内脏脂肪症候群,是心血管和代谢疾病的独立风险因素。肌肉的分布可以用于判断肌肉萎缩、肌肉肥大、肌肉无力等疾病。这些肌肉状况的改变可能是某种疾病的征兆,例如神经受损、代谢性疾病或慢性疾病等。例如,腹部肌肉中的腰大肌紧贴脊椎,腰椎间盘突出后可导致同侧腰大肌活动减少等原因而使其萎缩变细。因此,针对脂肪和肌肉进行人体成分定量分析具有重要临床价值,尤其是客观、有效地分析腹部的皮下脂肪、内脏脂肪、腰大肌及其他腹部肌肉的分布具有重要的临床价值。
随着CT(Computed Tomography,电子计算机断层扫描)成像质量的提高,在平扫腹部成像中可清晰显示腹部组织,且腹部组织对应有具体的CT值(单位为HU,因此也可以称为HU值),在定量分析腹部人体成分方面具有临床意义。
针对腹部医学图像中脂肪和肌肉的分割,已有的肌肉和脂肪分割方法可以分为非深度学习方法和深度学习方法。其中,非深度学习方法主要包括阈值分割法、水平集分割法、区域生长法、主动轮廓法等,该类方法泛化性较差,在临床应用中适应性较差;深度学习方法主要包括基于卷积神经网络的分割方法、基于生成对抗网络的分割方法、基于U-Net网络的分割方法等,该类方法具有强大的泛化能力,在临床应用的医学图像处理等复杂任务上展现出了巨大的潜力。
相关技术中提出了一种自动腹内肌肉和脂肪图像分割方法。该方法将腹部肌肉组织、内脏脂肪组织和皮下脂肪组织作为分割对象,首先对腹部图像进行腹部图像像素分类,以初步得到脂肪组织和肌肉组织以及背景的各自的像素值的变化范围,然后在肌肉组织像素值变化范围的基础上进一步分割得到肌肉内外轮廓,以得到肌肉分割结果,最后根据肌肉组织的内外轮廓将脂肪组织分为皮下脂肪和内脏脂肪,从而得到皮下脂肪和内脏脂肪的分割结果。
该自动腹内肌肉和脂肪图像分割方法虽然能够将肌肉组织、内脏脂肪组织和皮下脂肪组织进行分割,但是存在以下不足:第一方面,该方法主要是通过像素值迭代的方法得到肌肉内外轮廓,泛化性能较差,且当内脏器官紧贴肌肉或图像质量较差时很容易导致分割失败。第二方面,该方法在分割内脏脂肪时仅考虑了腹腔内脂肪的位置信息和阈值信息,并没有考虑将消化道等器官及其内容物与内脏脂肪进行区分,从而会影响到内脏脂肪的分割结果的准确性。第三方面,该方法没有考虑胸腔与腹腔的差异,可能将胸腔内的脂肪与腹腔内脂肪混淆。
相关技术中提出了一种图像分割方法、装置、电子设备及计算机可读存储介质。该方法首先将DICOM(Digital Imaging and Communications in Medicine,医学数字成像和通信)格式的腹部CT图像数据转换为JPG格式的腹部图像,其次将JPG格式的腹部图像输入基于Vnet网络模型构建的皮下脂肪、肌肉、骨头、内脏脂肪、内脏器官、背景六通道生成网络模型,然后通过生成网络模型生成6通道的预测分割标签,最后根据6通道的预测分割标签得到预测分割结果图像。其中,预测分割结果图像包括皮下脂肪图像、肌肉图像、骨头图像、内脏脂肪图像、内脏器官图像、背景图像。
该图像分割方法存在以下不足:第一方面,该方法将DICOM格式的数据转换成JPG格式的数据时容易丢失CT图像中的大量有效信息。第二方面,该方法主要是针对腹部脐平面的单层切片图像进行图像分割,不具有针对全腹部的腹部图像进行图像分割的能力。第三方面,通过该方法进行人体成分测量分析时需要人为干预找到腹部脐部水平层面再进行分析,容易引入人工干预的误差和增加工作时间。
相关技术中还提出了一种基于核磁成像IDEAL-IQ序列(IterativeDecomposition of Water and Fat with Echo Asymmetry and Least SquaresEstimation Quantification Sequence,定量非对称回波的最小二乘估算法迭代水脂分离序列)全自动腹部脂肪定量分析的方法。该方法采用3DUNet深度学习网络分割脂像中的皮下脂肪轮廓,利用UNet深度学习网络分割水像中的腹膜腔轮廓,并利用无监督AFKMC2聚类方法(Assumption-Free K-Markov Chain Monte Carlo Clustering,无假设K-马尔科夫链蒙特卡罗聚类)分割脂像中的内脏脂肪轮廓。该方法满足了对全腹部皮下脂肪与内脏脂肪进行自动分割的需求,但是核磁共振检查较为昂贵,且需要基于特殊序列进行人体成分定量分析,成本较高,同时该方法还缺乏对肌肉组织的分析。
由此可见,相关技术中针对医学图像中腹部脂肪和肌肉进行分割以实现腹部脂肪和肌肉的定量分析的方法主要是针对第三腰椎棘突层或脐部水平的单层分割,在腹腔与胸腔交接处无法清楚区分胸腔与腹腔的界限,且识别范围有限,普遍存在分割不够精细、耗时较长的问题。同时,相关技术尚无法满足同时对全腹部的皮下脂肪、内脏脂肪和肌肉进行三维全自动分割与分析的临床应用需求。
为了提高对医学图像中的皮下脂肪组织、内脏脂肪组织和肌肉组织进行分割的分割精确度,以实现对皮下脂肪组织、内脏脂肪组织和肌肉组织的精确的定量分析,有必要提出一种受检对象成分分析、标签生成、模型训练方法及装置。本说明书提供的受检对象成分分析方法首先对待分割医学图像中的脂肪分布区域和非脂肪分布区域进行粗分割,得到粗分割结果。然后在粗分割结果的基础上对待分割医学图像的脂肪分布区域和非脂肪分布区域进行细分割,得到能够划分出皮下脂肪分布区域、内脏脂肪分布区域和肌肉分布区域的细分割结果。最后根据细分割结果可以对受检对象的身体成分进行分析,例如可以计算皮下脂肪组织、内脏脂肪组织和肌肉组织的各自体积或比例,得到成分分析结果。这些成分分析结果可以为医生或研究人员提供有关受检对象健康状况或其他医学指标的信息,以用于辅助医生的科研工作并进行相关疾病风险提示。
由此,通过粗分割先区分出待分割医学图像中的脂肪分布区域与非脂肪分布区域,可以增加整个图像分割过程的鲁棒性,为精分割提供更准确的初始边界和区域估计,有助于精分割时更准确地识别和区分皮下脂肪组织、内脏脂肪组织和肌肉组织,使得最终的分割结果的准确度得到提升,并可以大大减少精分割时的计算量,从而有效提高计算效率。
进一步地,脂肪分布区域和非脂肪分布区域位于受检对象的腹部区域,肌肉组织包括腰大肌组织和非腰大肌组织。其中,腹部区域是在骨盆入口和横膈膜之间的区域,通过在受检对象的扫描图像中准确识别和定位出腹腔上边界膈肌和下边界耻骨联合,以根据准确定位的上边界和下边界得到腹部区域,从而可以实现在受检对象的扫描图像中分割得到整个腹部区域,作为图像分割的重点关注区域,用于基于该区域对皮下脂肪组织、内脏脂肪组织、腰大肌组织和其他肌肉组织进行分割。由此,通过准确区分胸部区域和腹部区域,可以减少将胸腔内的脂肪与腹腔内脂肪混淆的情况发生。同时,可以实现对全腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织和其他肌肉组织的精确分割,从而提高对全腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织和其他肌肉组织的定量分析的准确性,用于辅助医生更加精准而快速地预测与分析腹部脂肪和肌肉的相关疾病,并对相关疾病进行风险提示。
再进一步地,本说明书提供的受检对象成分分析方法可以针对三维平扫图像进行图像分割,以解决相关技术中针对第三腰椎棘突层或脐部水平的单层脂肪与肌肉进行分割与分析时因单层切片之间腹部成分差异性较大,分割与分析结果不能准确表示全腹部成分情况的问题,减少人工干预的误差和工作量。
本说明书提供的标签生成方法通过对待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,以得到待标注样本图像的粗标注标签,并对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注、对非脂肪分布区域中包含的肌肉组织进行细标注,以得到待标注样本图像的细标注标签。利用待标注样本图像对图像分割模型进行训练时,可以基于粗标注标签对图像分割模型中的图像粗分割模型进行更新,以及基于细标注标签对图像分割模型中的图像细分割模型进行更新。由此,可以通过粗标注标签为图像粗分割模型提供样本图像的大致结构和分布信息,有助于图像粗分割模型快速定位到感兴趣区域。通过细标注标签为图像细分割模型提供更具体、更精细的信息,有助于图像细分割模型对这些感兴趣区域进行更准确的分割,使得图像粗分割模型和图像细分割模型能够从不同尺度和层次上捕捉特征信息,实现对样本图像的更全面的理解,增强模型的鲁棒性,实现对各种组织的更准确、更细致的识别和分割,从而提高分割的精度和质量。在面对较为复杂的样本图像时,还能够有效减少图像细分割模型的计算量。同时,由于粗标注标签提供的信息更为粗糙,图像粗分割模型在学习时需要考虑到更多的上下文信息和空间关系,这有助于提升图像粗分割模型的泛化能力,使其在处理不同来源或不同质量的图像时仍能保持良好的性能。
本说明书实施方式提供一种受检对象成分分析方法,参考图1a所示,受检对象成分分析方法可以包括以下步骤。
S110、获取受检对象的待分割医学图像。
S120、基于待分割医学图像进行粗分割,得到粗分割结果;其中,粗分割结果用于指示待分割医学图像中脂肪分布区域和非脂肪分布区域。
S130、基于粗分割结果进行细分割,得到细分割结果;其中,细分割结果用于指示待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域。
S140、基于细分割结果确定受检对象的成分分析结果。
其中,待分割医学图像可以是基于对受检对象进行计算机断层扫描或磁共振扫描等生成的扫描图像得到的。
粗分割即为以脂肪分布区域和非脂肪分布区域为分割对象,对待分割医学图像进行初步分割,粗分割结果可以是包含有划分后的脂肪分布区域和非脂肪分布区域的信息的图像。细分割即为进一步以皮下脂肪组织、内脏脂肪组织和肌肉组织为分割对象,对待分割医学图像进行进一步分割,细分割结果可以是包含有划分后的皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域的信息的图像。
脂肪分布区域为待分割医学图像中脂肪组织的分布区域,脂肪组织可以包括皮下脂肪组织、内脏脂肪组织和异位脂肪组织;非脂肪分布区域为待分割医学图像中非脂肪(包括非脂肪组织及非脂肪结构)的分布区域,非脂肪(或者称为其他组织)可以包括肌肉组织、器官及内容物、骨头组织等。
成分分析结果可以用于指示受检对象体内的皮下脂肪组织、内脏脂肪组织、肌肉组织等各组织的大小、放射密度等情况。
具体地,通过对受检对象进行断层扫描或磁共振扫描等生成受检对象的扫描图像,基于受检对象的扫描图像可以得到待分割医学图像。将待分割医学图像中的脂肪组织和非脂肪作为分割对象,利用粗分割算法对待分割医学图像进行图像粗分割,得到能够标注出待分割医学图像中的脂肪分布区域和非脂肪分布区域的粗分割结果。
将待分割医学图像中的皮下脂肪组织、内脏脂肪组织和肌肉组织作为分割对象,在粗分割结果的基础上利用细分割算法对待分割医学图像进行图像细分割,得到能够标注出待分割医学图像中的皮下脂肪组织、内脏脂肪组织和肌肉组织的各自的分布区域的细分割结果。
基于细分割结果对受检对象的身体成分进行分析,得到受检对象的成分分析结果,例如可以得到受检对象的皮下脂肪组织、内脏脂肪组织和肌肉组织的各自体积、比例、放射密度等,以用于为医生或研究人员等提供有关受检对象健康状况或其他医学指标的信息。
在一些实施例中,受检对象可以是人体。脂肪分布区域可以包括位于人体全身体内的脂肪组织的分布区域,非脂肪分布区域可以包括位于人体全身体内的非脂肪的分布区域。粗分割算法可以是专门用于分割脂肪分布区域和非脂肪分布区域的基于深度学习的分割算法,细分割算法可以是专门用于分割皮下脂肪组织、内脏脂肪组织和肌肉组织的基于深度学习的分割算法。
示例性地,通过对受检人体全身进行断层扫描,得到扫描图像,并可以对扫描图像进行降噪、平滑等处理,得到待分割医学图像。基于各组织和结构的医学影像特征,可以利用粗分割算法对待分割医学图像中的脂肪组织和非脂肪进行粗分割,得到粗分割结果。在粗分割结果的基础上,利用细分割算法对待分割医学图像中的皮下脂肪组织、内脏脂肪组织和肌肉组织进行细分割,得到细分割结果。可以理解的是,皮下脂肪组织、内脏脂肪组织和肌肉组织的像素值在待分割医学图像中对应有CT值,因此基于细分割结果得到的皮下脂肪组织、内脏脂肪组织和肌肉组织的各自的分布区域以及各组织的像素值对应的CT值可以得到受检人体体内的各组织的大小和像素密度等成分分析结果,实现对受检人体进行定量成分分析。
示例性地,通过对受检人体全身进行磁共振扫描得到扫描图像,并可以对扫描图像进行降噪、平滑等处理,得到待分割医学图像。利用粗分割算法对待分割医学图像中的脂肪组织和非脂肪进行粗分割,得到粗分割结果,并在粗分割结果的基础上,利用细分割算法对皮下脂肪组织、内脏脂肪组织和肌肉组织进行细分割,得到细分割结果。
在另一些实施例中,受检对象为人体,脂肪分布区域可以包括位于人体重点关注区域内的脂肪组织的分布区域,非脂肪分布区域可以包括位于人体重点关注区域内的非脂肪的分布区域。
示例性地,重点关注区域是人体的腹腔。通过对受检人体的腹腔进行断层扫描,得到扫描图像,并可以对扫描图像进行降噪、平滑等处理,得到待分割医学图像。关于粗分割和细分割的过程的描述与上述描述类似,具体不再赘述。
示例性地,重点关注区域是人体的腹腔。通过对受检人体进行断层扫描,得到扫描图像,并可以根据人体的腹腔区域对扫描图像进行区域裁剪、降噪等处理,得到待分割医学图像。关于粗分割和细分割的过程的描述与上述描述类似,具体不再赘述。
示例性地,重点关注区域是人体的胸腔。通过对受检人体进行断层扫描,得到扫描图像,并可以在扫描图像中对胸腔区域进行定位。将定位得到的胸腔区域作为前景,并进行降噪、平滑等处理,可以得到待分割医学图像。关于粗分割和细分割的过程的描述与上述描述类似,具体不再赘述。
在还有一些实施例中,受检对象还可以是动物体,例如狗、猫、猪、马、牛、企鹅、鳄鱼等,具体不再赘述。
可以理解的是,粗分割结果是中间处理过程的结果,不一定需要包含在最终得到的分割结果中。
需要说明的是,待分割医学图像可以是通过断层扫描得到的横断面图像、冠状面图像等二维图像,则成分分析结果可以包括各组织的面积等;待分割医学图像也可以是通过三维CT平扫得到的三维图像,则成分分析结果可以包括各组织的体积等。待分割医学图像的具体获取方式本说明书中不作具体限定。
上述实施方式中,通过粗分割先区分出待分割医学图像中的脂肪分布区域与非脂肪分布区域,可以增加整个图像分割过程的鲁棒性,为精分割提供更准确的初始边界和区域估计,有助于精分割时更准确地识别和区分皮下脂肪组织、内脏脂肪组织和肌肉组织。由此,可以有效提高最终的分割结果的准确性,实现对受检对象体内的皮下脂肪组织、内脏脂肪组织和肌肉组织的更精确的定量分析,并可以在一定程度上减少精分割时的计算量,从而有效提高计算效率。
在一些实施方式中,基于粗分割结果进行细分割,得到细分割结果,可以包括:在脂肪分布区域中对皮下脂肪组织和内脏脂肪组织进行细分割,以及在非脂肪分布区域中对肌肉组织进行细分割,得到细分割结果。
具体地,基于粗分割结果中已经区分出的脂肪分布区域和非脂肪分布区域,可以在脂肪分布区域中进一步区分出皮下脂肪组织和内脏脂肪组织各自的分布区域并对皮下脂肪组织和内脏脂肪组织分别进行标记,以实现对皮下脂肪组织和内脏脂肪组织进行细分割。在非脂肪分布区域中进一步区分出肌肉组织的分布区域并对肌肉组织进行标记,以实现对肌肉组织进行细分割。根据皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域,可以得到细分割结果。
示例性地,基于粗分割结果中已经区分出的脂肪分布区域和非脂肪分布区域,可以通过识别脂肪分布区域中脂肪组织的密度、形态、位置等特征,来区分出皮下脂肪组织和内脏脂肪组织,以对识别出的皮下脂肪组织和内脏脂肪组织进行细分割。通过识别非脂肪分布区域中非脂肪的密度、形态、纹理等特征,来区分出肌肉组织,以对识别出的肌肉组织进行细分割,以此来得到细分割结果。
在一些实施例中,在非脂肪分布区域中还可以对除肌肉组织的分布区域以外的包含器官及其内容物、骨头组织等的非肌肉分布区域进行细分割。
在一些实施方式中,基于待分割医学图像进行粗分割,得到粗分割结果,可以包括:将待分割医学图像输入至图像粗分割模型,以利用图像粗分割模型对脂肪分布区域和非脂肪分布区域进行粗分割,得到粗分割结果。
具体地,将待分割医学图像输入到图像粗分割模型中,以使图像粗分割模型根据学习到的脂肪组织和非脂肪的像素强度、纹理、密度等特征识别并区分待分割医学图像中的脂肪分布区域和非脂肪分布区域。根据识别结果,图像粗分割模型可以输出待分割医学图像的粗分割结果,用于指示待分割医学图像中脂肪分布区域和非脂肪分布区域的大致位置。
示例性地,基于对人体腹部进行三维平扫后得到的扫描图像得到腹部的一个横断面图像,作为待分割医学图像。将该待分割医学图像输入至图像粗分割模型,使图像粗分割模型根据识别出的该图像中的脂肪分布区域和非脂肪分布区域输出对应的粗分割结果,该粗分割结果可以是标注有脂肪分布区域和非脂肪分布区域的大致位置的图像。参考图1b所示,为该粗分割结果的示意图。其中,如图中的标记a1所示为脂肪分布区域,如图中的标记b1所示为非脂肪分布区域。
示例性地,基于对人体腹部进行三维平扫后得到的扫描图像得到腹部的一个冠状面图像,作为待分割医学图像。将该待分割医学图像输入至图像粗分割模型,使图像粗分割模型输出对应的标注有脂肪分布区域和非脂肪分布区域的大致位置的图像,作为粗分割结果。参考图1c所示,为该粗分割结果的示意图。其中,如图中的标记a2所示为脂肪分布区域,如图中的标记b2所示为非脂肪分布区域。
可以理解的是,由于人体以外对应的图像区域不是分割的重点关注区域,因此可以将人体以外的图像区域标记为背景。进一步地,由于非脂肪分布区域中还包含有骨头组织,骨头组织不是本说明书中分割的重点分割对象,且在医学图像中骨头组织容易被识别和区分,因此还可以将骨头组织的分布区域标记为背景。
在一些实施例中,图像粗分割模型可以采用卷积神经网络模型。
在一些实施方式中,参考图2a所示,基于粗分割结果进行细分割,得到细分割结果,可以包括以下步骤。
S210、根据粗分割结果对待分割医学图像进行前景采样,得到采样后图像。
S220、将采样后图像输入至图像细分割模型,以利用图像细分割模型对脂肪分布区域中的皮下脂肪组织和内脏脂肪组织进行细分割,以及对非脂肪分布区域中的肌肉组织进行细分割,得到细分割结果。
其中,前景采样是指根据粗分割结果在待分割医学图像中脂肪分布区域和非脂肪分布区域中分别选择一些像素点或特征点的过程。
具体地,根据粗分割结果,可以将待分割医学图像中的脂肪分布区域和非脂肪分布区域作为前景,并基于脂肪分布区域和非脂肪分布区域进行前景采样,得到采样后图像。将采样后图像输入至图像细分割模型中,以使图像细分割模型将皮下脂肪组织、内脏脂肪组织和肌肉组织作为分割对象,在经过粗分割得到的脂肪分布区域中进一步识别出皮下脂肪组织和内脏脂肪组织,以及在和非脂肪分布区域中进一步识别出肌肉组织。根据识别结果,图像细分割模型可以输出待分割医学图像的细分割结果,用于指示待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域。
可以理解的是,采样后图像是根据粗分割结果对待分割医学图像进行前景采样和预处理(例如,降噪、归一化等)后得到的。
示例性地,以图1b所示的粗分割结果为例。根据该粗分割结果对待分割医学图像进行前景采样得到采样后图像,并将采样后图像输入至图像细分割模型,使图像细分割模型根据识别出的脂肪分布区域中的皮下脂肪组织和内脏脂肪组织,以及识别出的非脂肪分布区域中的肌肉组织输出对应的细分割结果。细分割结果可以是标注有皮下脂肪组织、内脏脂肪组织和肌肉组织的各自的分布区域的图像。参考图2b所示,为该细分割结果的示意图。其中,如图中的标记c1所示为皮下脂肪组织的分布区域,如图中的标记d1所示为内脏脂肪组织的分布区域,如图中的标记e1所示为肌肉组织的分布区域。
进一步地,图像细分割模型还可以识别出非脂肪分布区域中的非肌肉分布区域。继续参考图2b所示,该细分割结果中还可以标注有非肌肉分布区域,如图中的标记g1所示。
示例性地,以图1c所示的粗分割结果为例。根据该粗分割结果对待分割医学图像进行前景采样得到采样后图像,并将采样后图像输入至图像细分割模型,使图像细分割模型输出对应的标注有皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域的图像,作为细分割结果。参考图2c所示,为该细分割结果的示意图。其中,如图中的标记c2所示为皮下脂肪组织的分布区域,如图中的标记d2所示为内脏脂肪组织的分布区域,如图中的标记e2所示为肌肉组织的分布区域。进一步地,该细分割结果中还可以标注有非肌肉分布区域,如图中的标记g2所示。
在一些实施例中,图像细分割模型可以采用卷积神经网络模型。
需要说明的是,可以采用相关技术中的采样方法对待分割医学图像进行前景采样,本说明书中不作具体限定。
上述实施方式中,通过图像粗分割模型快速定位到感兴趣区域,然后基于图像粗分割模型输出的粗分割结果使图像细分割模型对这些感兴趣区域进行更准确的分割,以此来增强模型的鲁棒性,实现对各种组织的更准确、更细致的识别和分割,从而提高分割的精度和质量。
在一些实施方式中,待分割医学图像是基于对受检对象进行断层扫描后得到的扫描图像得到的;待分割医学图像为三维平扫图像;待分割医学图像是根据受检对象的腹部区域对扫描图像进行前景分割得到的;脂肪分布区域和非脂肪分布区域位于腹部区域;肌肉组织包括腰大肌组织和非腰大肌组织。
其中,三维平扫图像是通过CT扫描和三维重建技术得到的三维图像。前景分割是指根据受检对象身体的重点关注区域将扫描图像划分为前景和背景部分的过程,前景分割也可以称为前景裁剪。
可以理解的是,扫描图像也为三维平扫图像。
在一些情况中,腹部肌肉组织中的腰大肌组织的分布和状态是用于诊断腰部疾病的重要参考因素之一,因此,客观、有效地分析腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织及非腰大肌组织(或者称为其他腹部肌肉组织)的分布具有重要临床价值。
具体地,在对受检对象进行断层扫描得到扫描图像后,可以将受检对象的腹部区域作为重点关注区域,并根据扫描图像的三维数据信息对扫描图像中的腹部区域(或者称为腹腔区域)进行定位。将定位得到的腹部区域作为前景,将其他区域作为背景,以根据腹部区域对扫描图像进行前景分割,得到待分割医学图像。对待分割医学图像进行粗分割,即可得到用于指示腹部区域中的脂肪分布区域和非脂肪分布区域的粗分割结果。
在基于粗分割结果进行细分割时,通过对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细分割,以及通过对非脂肪分布区域中的肌肉组织中包含的腰大肌组织和非腰大肌组织进行细分割,可以得到用于指示腹部区域中的皮下脂肪组织、内脏脂肪组织、腰大肌组织和非腰大肌组织各自的分布区域的细分割结果。
示例性地,受检对象为人体,对人体进行三维CT平扫后得到扫描图像,根据人体的腹部区域可以在扫描图像中定位出腹腔上边界膈肌和下边界耻骨联合,从而定位得到扫描图像中的腹部区域。根据定位得到的腹部区域对扫描图像进行前景分割后得到三维平扫腹部医学图像,作为待分割医学图像。参考图3a所示,为三维平扫腹部医学图像的一个横断面图像示意图。
对待分割医学图像进行粗分割得到粗分割结果,假设粗分割结果的一个横断面示意图如图1b所示。基于粗分割结果对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细分割,以及对非脂肪分布区域中的肌肉组织中包含的腰大肌组织和非腰大肌组织进行细分割,得到细分割结果,则参考图3b所示,为细分割结果的一个横断面图像示意图。其中,如图中的标记c1'所示为皮下脂肪组织的分布区域,如图中的标记d1'所示为内脏脂肪组织的分布区域,如图中的标记e1'所示为腰大肌组织的分布区域,如图中的标记f1'所示为非腰大肌组织(即其他腹部肌肉组织)的分布区域。进一步地,该细分割结果中还可以标注有腹部的非肌肉分布区域,如图中的标记g1'所示。
示例性地,假设对待分割医学图像进行粗分割得到粗分割结果的一个冠状面示意图如图1c所示。基于粗分割结果进行细分割,得到细分割结果,则参考图3c所示,为细分割结果的一个冠状面图像示意图。其中,如图中的标记c2'所示为皮下脂肪组织的分布区域,如图中的标记d2'所示为内脏脂肪组织的分布区域,如图中的标记e2'所示为腰大肌组织的分布区域,如图中的标记f2'所示为非腰大肌组织(即其他腹部肌肉组织)的分布区域。进一步地,该细分割结果中还可以标注有腹部的非肌肉分布区域,如图中的标记g2'所示。
在一些实施例中,图像粗分割模型和图像细分割模型可以采用三维卷积神经网络模型,以使图像粗分割模型可以根据待分割医学图像的三维信息对全腹部的脂肪分布区域和非脂肪分布区域进行分割,使图像细分割模型可以根据待分割医学图像的三维信息对全腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织和非腰大肌组织进行细分割,得到具有更高的临床分析价值的分割结果。
需要说明的是,可以通过手动或采用机器学习等技术在扫描图像中定位出腹部区域以进行前景分割,本说明书中不作具体限定。
上述实施方式中,可以实现针对三维平扫图像进行图像分割,以解决相关技术中针对第三腰椎棘突层或脐部水平的单层脂肪与肌肉进行分割与分析时因单层切片之间腹部成分差异性较大导致的成分分析不准确的问题。与相关技术中基于二维Vnet六通道网络对腹部脐部水平的皮下脂肪、肌肉、骨头、内脏脂肪、内脏器官、背景进行分割的方法相比较,本说明书提供的受检对象成分分析方法可以根据医学图像的三维信息得到更具有临床分析意义的分割结果,无需通过人工选择需要分析的图像层面,减少人工干预的误差和工作量。同时,通过准确定位腹部区域,可以减少将胸腔内的脂肪与腹腔内脂肪混淆的情况发生,实现对全腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织和其他肌肉组织的精确分割,从而提高对全腹部的皮下脂肪组织、内脏脂肪组织、腰大肌组织和其他肌肉组织的定量分析的准确性。
在一些实施方式中,待分割医学图像与受检对象的腹部区域对应;受检对象成分分析方法还可以包括以下情形中的至少一种:基于细分割结果,采用2D图像、3D图像、伪彩色图像中的至少一种方式展示腹部区域的组织分布情况;采用2D图像、3D图像、曲线、图表的至少一种方式展示成分分析结果。
具体地,基于细分割结果,可以在UI显示界面上采用2D图像的方式展示对受检对象的腹部区域的分割结果中某一切片的组织分布情况,也可以采用3D图像的方式展示受检对象的腹部区域的分割结果的三维组织分布情况,还可以采用伪彩色图像的方式通过不同的颜色展示受检对象的腹部区域的不同组织的分布情况。
在基于细分割结果确定受检对象的成分分析结果后,可以在UI显示界面上采用2D图像的方式将成分分析结果中腹部脂肪的分布、厚度以及腹部肌肉的结构等情况进行展示。
也可以在UI显示界面上采用3D图像的方式将成分分析结果中不同区域的脂肪含量(例如皮下脂肪和内脏脂肪的体积或厚度等)、肌肉的结构和形态(例如肌肉的厚度、长度和体积等)等情况进行展示。
也可以在UI显示界面上采用曲线的方式展示成分分析结果中腹部脂肪厚度或肌肉质量的变化曲线。
还可以在UI显示界面上采用图表的方式展示成分分析结果中腹部脂肪和肌肉参数的分布情况。例如,可以展示不同区域的脂肪厚度或肌肉质量的频数分布,也可以展示腹部脂肪和肌肉参数的平均值、标准差等统计信息。
进一步地,展示的腹部区域的组织分布情况和/或成分分析结果是可编辑的。例如,可以通过调整展示图像、曲线、图表等的亮度、对比度和色彩来优化显示效果,以便于更好地观察和识别细节信息;可以通过旋转和移动三维图像,以便于从不同角度观察腹部肌肉组织的结构和形态,等等。
在一些实施例中,本说明书提供的受检对象成分分析方法主要可以包括输入单元、评估单元和输出单元。其中,输入单元主要用于获取受检对象腹部区域的待分割医学图像。
评估单元主要用于对待分割医学图像进行粗分割,以对待分割医学图像中腹部区域的脂肪分布区域和非脂肪分布区域进行粗分割定位,得到粗分割结果;基于粗分割结果对待分割医学图像进行细分割,以精细分割得到待分割医学图像中腹部区域的皮下脂肪组织、内脏脂肪组织、腰大肌组织和非腰大肌组织各自的分布区域,得到细分割结果;基于细分割结果对受检对象的腹部区域进行成分定量分析,确定成分分析结果。
输出单元主要用于输出细分割结果和成分分析结果。输出单元支持各分割组织的UI显示和编辑,分割组织包括皮下脂肪、内脏脂肪、腰大肌及非腰大肌,UI显示方式包括2D图像、3D图像、伪彩色图像中的至少一种方式。输出单元还支持腹部人体成分分析结果中脂肪及肌肉相关参数的显示,显示方式包括2D图像、3D图像、曲线、图表等多种显示方式中的至少一种,且成分分析结果支持打印、报告和保存。
在一些实施方式中,成分分析结果包括皮下脂肪数据、内脏脂肪数据和肌肉数据中的至少一个;皮下脂肪数据是基于皮下脂肪组织的分布区域得到的;内脏脂肪数据是基于内脏脂肪组织的分布区域得到的;肌肉数据是基于肌肉组织的分布区域得到的。
其中,皮下脂肪数据可以用于描述皮下脂肪组织的数量和密度等;内脏脂肪数据可以用于描述内脏脂肪组织的数量和密度等;肌肉数据可以用于描述肌肉组织的数量和密度等。
可以理解的是,在皮下脂肪组织的分布区域中的像素点对应的类别为皮下脂肪组织(即细分割结果中对应像素点的像素值用于表明像素点属于皮下脂肪组织的分布区域),在内脏脂肪组织的分布区域中的像素点对应的类别为内脏脂肪组织(即细分割结果中对应像素点的像素值用于表明像素点属于内脏脂肪组织的分布区域),在肌肉组织的分布区域中的像素点对应的类别为肌肉组织(即细分割结果中对应像素点的像素值用于表明像素点属于肌肉组织的分布区域)。
具体地,基于细分割结果,可以根据细分割得到的皮下脂肪组织的分布区域在待分割医学图像的像素点中确定类别为皮下脂肪组织的像素点,并根据该类像素点确定皮下脂肪数据。
根据细分割得到的内脏脂肪组织的分布区域在待分割医学图像的像素点中确定类别为内脏脂肪组织的像素点,并根据该类像素点确定内脏脂肪数据。
根据细分割得到的肌肉组织的分布区域在待分割医学图像的像素点中确定类别为肌肉组织的像素点,并根据该类像素点确定肌肉数据。
在一些实施例中,待分割医学图像是三维平扫CT图像,皮下脂肪数据可以包括皮下脂肪组织的体积和CT值,内脏脂肪数据可以包括内脏脂肪组织的体积和CT值,肌肉数据可以包括肌肉组织的体积和CT值。
示例性地,受检对象为人体,待分割医学图像是与人体的腹部区域对应的三维平扫图像,肌肉组织包括腰大肌组织和非腰大肌组织(即其他腹部肌肉组织)。基于细分割结果,统计输入的待分割医学图像中的属于皮下脂肪组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位(一个像素点在实际空间中对应的体积)相乘可以得到皮下脂肪组织的体积。根据属于皮下脂肪组织的分布区域的像素点以及像素点个数统计皮下脂肪组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到皮下脂肪数据。
统计输入的待分割医学图像中的属于内脏脂肪组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位相乘可以得到内脏脂肪组织的体积。根据属于内脏脂肪组织的分布区域的像素点以及像素点个数统计内脏脂肪组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到内脏脂肪数据。
统计输入的待分割医学图像中的属于肌肉组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位相乘可以得到肌肉组织的体积。根据属于肌肉组织的分布区域的像素点以及像素点个数统计肌肉组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到肌肉数据。或者,也可以统计属于其他腹部肌肉组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位相乘可以得到其他腹部肌肉组织的体积。根据属于其他腹部肌肉组织的分布区域的像素点以及像素点个数统计其他腹部肌肉组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到其他腹部肌肉数据。
统计待分割医学图像中属于左腰大肌组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位相乘可以得到左腰大肌组织的体积。根据属于左腰大肌组织的分布区域的像素点以及像素点个数统计左腰大肌组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到左腰大肌数据。
统计待分割医学图像中属于右腰大肌组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位相乘可以得到右腰大肌组织的体积。根据属于右腰大肌组织的分布区域的像素点以及像素点个数统计右腰大肌组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到右腰大肌数据。
进一步地,根据肌肉组织的体积和脂肪组织的体积还可以确定肌肉组织与脂肪组织的占比。由于属于肌肉组织的像素点和属于脂肪组织的像素点分别对应有各自的CT值参考范围,因此,可以根据上述得到的各组织的最大CT值和最小CT值与对应的CT值参考范围进行比较,确定皮下脂肪数据等参数是否准确,从而可以确定分割结果是否准确。
通过精细地自动分割出腹部内脏脂肪、皮下脂肪、腰大肌及其他腹部肌肉组织,定量统计分析各组织的体积和各组织的CT值等情况,可以用于辅助医生更加精准而快速地预测与分析腹部脂肪和肌肉相关疾病,并对相关疾病进行风险提示。
再进一步地,根据类别为肌肉组织的像素点可以确定肌肉组织的内外轮廓,根据类别为皮下脂肪组织的像素点、类别为内脏脂肪组织的像素点和肌肉组织内外轮廓,可以确定肌肉和脂肪的分割效果。
在另一些实施例中,待分割医学图像是二维CT图像,皮下脂肪数据可以包括皮下脂肪组织的面积和CT值,内脏脂肪数据可以包括内脏脂肪组织的面积和CT值,肌肉数据可以包括肌肉组织的面积和CT值。
示例性地,受检对象为人体,待分割医学图像是与人体的腹部区域对应的二维图像,肌肉组织包括腰大肌组织和非腰大肌组织。基于细分割结果,统计输入的待分割医学图像中的属于皮下脂肪组织的分布区域的像素点个数,将该像素点个数与每个像素物理单位(一个像素点在实际空间中对应的面积)相乘可以得到皮下脂肪组织的面积。根据属于皮下脂肪组织的分布区域的像素点以及像素点个数统计皮下脂肪组织对应的像素点的CT值,可以包括平均CT值、最大CT值、最小CT值和CT值方差,以此得到皮下脂肪数据。
关于内脏脂肪数据、肌肉数据、左腰大肌数据和右腰大肌数据的获取过程的描述与上述描述类似,具体不再赘述。
可以理解的是,由于对待分割医学图像进行分割时会涉及到图像的预处理,因此,在得到内脏脂肪、皮下脂肪、腰大肌及非腰大肌的细分割结果后,需要基于细分割结果中的各像素点对内脏脂肪、皮下脂肪、腰大肌及非腰大肌的细分割结果进行后处理,以根据细分割结果中的各像素点确定各像素点在原始的未经过预处理的医学图像中对应的像素物理单位和CT值等,用于后续计算皮下脂肪数据等相关参数。
示例性地,本说明书提供的受检对象成分分析方法主要可以包括输入单元、评估单元和输出单元。参考图3d所示,以待分割医学图像是人体腹部CT图像为例,受检对象成分分析方法的主要流程可以包括:
首先,输入单元输入人体腹部CT图像的数据,其中人体腹部CT图像为三维CT平扫腹部医学图像。
其次,腹部人体成分评估单元对人体腹部CT图像进行粗分割和细分割,得到人体腹部的内脏脂肪、皮下脂肪、腰大肌及非腰大肌的精细分割结果。再次,评估单元基于分割结果确定人体腹部的成分分析结果,可以包括计算内脏脂肪、皮下脂肪、腰大肌及非腰大肌各组织的评估参数(即内脏脂肪数据、皮下脂肪数据、肌肉数据等)及占比(例如脂肪和肌肉的占比等)。然后,评估单元可以对评估参数的准确性进行判断。
最后,输出单元针对细分割结果和成分分析结果,输出皮下脂肪、内脏脂肪、腰大肌及非腰大肌各组织的分割结果和评估参数及占比的计算结果,并可以通过三维图像的方式显示分割效果。
其中,参考图3e所示,评估单元对腹部皮下脂肪、内脏脂肪、腰大肌及非腰大肌进行分割以及计算分割后的各组织的相关参数的过程可以包括:
首先,在人体的扫描图像中定位腹腔上边界膈肌和下边界耻骨联合,以用于对扫描图像进行前景分割,得到待分割医学图像。
其次,基于待分割医学图像进行粗分割,以对脂肪分布区域和非脂肪分布区域进行粗分割得到粗分割结果。
再次,基于粗分割结果进行细分割,以对皮下脂肪、内脏脂肪、腰大肌和非腰大肌(其他腹部肌肉)进行细分割得到细分割结果。
然后,整合分割结果,根据像素值对皮下脂肪、内脏脂肪、腰大肌和非腰大肌分割结果进行后处理。
最后,计算皮下脂肪、内脏脂肪、腰大肌和非腰大肌各组织的相关参数和占比。
本说明书实施方式提供一种标签生成方法,参考图4a所示,标签生成方法可以包括以下步骤。
S410、获取待标注样本图像。
S420、对待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到待标注样本图像的粗标注标签。
S430、对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对非脂肪分布区域中包含的肌肉组织进行细标注,得到待标注样本图像的细标注标签。
S440、基于粗标注标签和细标注标签生成待标注样本图像的目标标签。
其中,待标注样本图像可以是基于对受检对象进行计算机断层扫描或磁共振扫描等生成的扫描样本图像得到的。
粗标注是指在待标注样本图像中标注出脂肪和非脂肪的大致边界和位置,以将待标注样本图像中感兴趣区域中的数据快速划分为包括脂肪和非脂肪两个类别的数据的过程。粗标注标签用于提供待标注样本图像中脂肪和非脂肪的大致结构和分布信息。
细标注是指在粗标注的基础上在待标注样本图像中标注出皮下脂肪组织、内脏脂肪组织和肌肉组织的边界和位置,以将待标注样本图像中感兴趣区域中的数据进一步划分为包括皮下脂肪组织、内脏脂肪组织和肌肉组织三个类别的数据的过程。细标注标签用于提供待标注样本图像中皮下脂肪组织、内脏脂肪组织和肌肉组织的结构和分布信息。
具体地,通过对受检对象进行断层扫描或磁共振扫描等生成扫描样本图像,基于受检对象的扫描样本图像可以得到待标注样本图像。通过识别和区分待标注样本图像中的脂肪和非脂肪,确定待标注样本图像中的脂肪分布区域和非脂肪分布区域,以对脂肪分布区域和非脂肪分布区域进行粗标注,得到待标注样本图像的粗标注标签。
通过在脂肪分布区域中进一步识别和区分皮下脂肪组织和内脏脂肪组织,确定脂肪分布区域中的皮下脂肪组织和内脏脂肪组织各自的分布区域,并在非脂肪分布区域中进一步识别和区分肌肉组织,确定非脂肪分布区域中的肌肉组织的分布区域,以对皮下脂肪组织、内脏脂肪组织和肌肉组织进行细标注,得到待标注样本图像的细标注标签。基于粗标注标签和细标注标签可以生成待标注样本图像的目标标签。
在一些实施例中,可以通过对受检对象全身或者对受检对象的身体重点关注区域(例如,腹部区域、胸腔区域等)进行断层扫描得到扫描样本图像,通过对扫描样本图像进行降噪、平滑等处理可以得到待标注样本图像。
示例性地,通过对受检对象全身进行断层扫描,得到扫描样本图像,并可以对扫描样本图像进行降噪、平滑等处理,得到待标注样本图像。基于各组织和结构的医学影像特征,可以对待标注样本图像中的脂肪和非脂肪的边界和位置进行粗标注,得到粗标注标签。在粗标注的基础上,可以根据皮下脂肪组织和内脏脂肪组织的分布特征等进一步对脂肪分布区域中的皮下脂肪组织和内脏脂肪组织的边界和位置进行细标注,以及根据肌肉组织的纹理、形态特征等对非脂肪分布区域中的肌肉组织的边界和位置进行细标注,得到细标注标签。
示例性地,重点关注区域是受检对象身体的胸腔区域。通过对受检对象的胸腔区域进行断层扫描,得到扫描样本图像,并可以对扫描样本图像进行降噪、平滑等处理,得到待标注样本图像。关于粗标注和细标注的过程的描述与上述描述类似,具体不再赘述。
在另一些实施例中,可以通过对受检对象全身进行断层扫描得到扫描样本图像,通过根据受检对象的身体重点关注区域对扫描样本图像进行前景分割可以得到待标注样本图像。
示例性地,重点关注区域是受检对象身体的腹部区域。通过对受检对象的全身进行断层扫描,得到扫描样本图像。根据受检对象身体的腹部区域在扫描样本图像中定位出对应的腹部区域作为前景,以对扫描样本图像进行前景分割,并进行降噪、平滑等处理,可以得到待标注样本图像。关于粗标注和细标注的过程的描述与上述描述类似,具体不再赘述。
示例性地,重点关注区域是受检对象身体的胸腔区域。通过对受检对象的全身进行断层扫描,得到扫描样本图像。根据受检对象身体的胸腔区域在扫描样本图像中定位出对应的胸腔区域作为前景,以对扫描样本图像进行前景分割,并进行降噪、平滑等处理,可以得到待标注样本图像。关于粗标注和细标注的过程的描述与上述描述类似,具体不再赘述。
在还有一些实施例中,可以通过对受检对象的身体重点关注区域进行核磁共振扫描得到扫描样本图像,通过对扫描样本图像进行降噪、平滑等预处理可以得到待标注样本图像,或者,可以通过将扫描样本图像转换为CT图像,并进行图像预处理可以得到待标注样本图像。
进一步地,若利用待标注样本图像训练图像分割模型,则可以基于粗标注标签对图像粗分割模型的参数进行更新。在图像粗分割模型完成训练的基础上,可以基于细标注标签对图像细分割模型的参数进行更新。通过将训练好的图像粗分割模型和图像细分割模型进行整合,使图像粗分割模型的输出数据作为图像精分割模型的输入数据,可以得到训练好的图像分割模型。
需要说明的是,受检对象可以是人体,也可以是动物体,例如狗、猫、猪、马、牛、企鹅、鳄鱼等。对待标注样本图像进行粗标注和细标注的方式可以采用自动或半自动标注的方式,本说明书中不作具体限定。
上述实施方式中,基于粗标注标签和细标注标签得到的目标标签可以为模型提供丰富的、多层次的信息,提高模型训练的精度和效率,降低模型处理的复杂度,从而提高模型的性能。
在一些实施方式中,待标注样本图像与受检对象的腹部区域对应;肌肉组织包括腰大肌组织和非腰大肌组织。对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对非脂肪分布区域中包含的肌肉组织进行细标注,得到待标注样本图像的细标注标签,可以包括:对皮下脂肪组织和内脏脂肪组织进行细标注,以及对腰大肌组织和非腰大肌组织进行细标注,得到细标注标签。
具体地,可以基于受检对象的扫描样本图像得到与受检对象的腹部区域对应的待标注样本图像。由于腹部区域的肌肉组织中包括腰大肌组织和非腰大肌组织,因此,在对非脂肪分布区域中包含的肌肉组织进行细标注时,可以进一步对非脂肪分布区域中肌肉组织中的腰大肌组织的边界和位置进行识别和区分,以对腰大肌组织和非腰大肌组织进行细标注。根据细标注后的皮下脂肪组织、内脏脂肪组织、腰大肌组织和非腰大肌组织,可以得到待标注样本图像的细标注标签。
示例性地,受检对象为人体。通过对受检人体进行断层扫描得到扫描样本图像,根据受检人体的腹部区域对扫描样本图像进行前景分割,得到与受检人体的腹部区域对应的待标注样本图像。
根据在待标注样本图像中识别和区分得到的脂肪的边界和位置,可以对脂肪分布区域进行粗标注,以将脂肪分布区域内的像素点标记为脂肪类别,得到脂肪标签;根据识别和区分得到的非脂肪的边界和位置,可以对非脂肪分布区域进行粗标注,以将非脂肪分布区域内的像素点标记为非脂肪类别,得到非脂肪标签。根据脂肪标签和非脂肪标签可以得到粗标注标签。
根据在脂肪分布区域中识别和区分得到的皮下脂肪组织的边界和位置,可以对皮下脂肪组织进行细标注,以将皮下脂肪组织的分布区域内的像素点进一步标记为皮下脂肪类别,得到皮下脂肪标签;根据识别和区分得到的内脏脂肪组织的边界和位置,可以对内脏脂肪组织进行细标注,以将内脏脂肪组织的分布区域内的像素点进一步标记为内脏脂肪类别,得到内脏脂肪标签。
根据在非脂肪分布区域中识别和区分得到的肌肉组织中的腰大肌组织的边界和位置,可以对腰大肌组织进行细标注,以将腰大肌组织的分布区域内的像素点进一步标记为腰大肌类别,得到腰大肌标签;根据识别和区分得到的肌肉组织中的非腰大肌组织的边界和位置,可以对非腰大肌组织进行细标注,以将非腰大肌组织的分布区域内的像素点进一步标记为非腰大肌类别,得到非腰大肌标签。根据皮下脂肪标签、内脏脂肪标签、腰大肌标签和非腰大肌标签可以得到细标注标签。
可以理解的是,对脂肪分布区域和非脂肪分布区域进行粗标注时,可以根据标注的脂肪分布区域,将待标注样本图像的感兴趣区域(即待标注样本图像的前景区域)中除脂肪分布区域以外的区域确定为非脂肪分布区域。对腰大肌组织和非腰大肌组织进行细标注时,可以根据标注的腰大肌组织,将识别得到的肌肉组织中除腰大肌组织以外的其他肌肉组织确定为非腰大肌组织。肌肉组织也可以称为骨骼肌组织。
在一些实施例中,待标注样本图像可以是通过断层扫描得到的横断面图像、冠状面图像等二维图像。
在另一些实施例中,待标注样本图像也可以是通过三维CT平扫得到的三维平扫图像。
在一些实施方式中,标签生成方法还可以包括:对非脂肪分布区域中包含的非肌肉分布区域进行细标注,得到非肌肉标签。
其中,非肌肉分布区域是非脂肪分布区域中非肌肉(包括非肌肉组织及非肌肉结构)的分布区域,非肌肉可以包括器官及其内容物、骨头组织等。
可以理解的是,内脏脂肪是围绕在内脏器官周围的脂肪。尤其是在腹腔内,内脏脂肪围绕在很多内脏器官周围,譬如肝脏、胰腺和肠等。在一些情况中,相关技术中依据腹腔分割后的结果采用阈值分割的方式对内脏脂肪进行分割,这种分割方式没有考虑内脏器官中的脂肪及消化道内容物等对内脏脂肪分割结果的影响。由于内脏脂肪与器官中脂肪及内容物在分布特征上可以区分,且二者纹理特征也不相同,因此可以采用深度学习的技术将脂肪分布区域中的内脏脂肪和非脂肪分布区域中的器官及其内容物进行分割。
具体地,由于非脂肪分布区域中包括肌肉和非肌肉,因此,在对非脂肪分布区域中包含的肌肉组织进行细标注时,还可以对非脂肪分布区域中非肌肉的边界和位置进行识别和区分,以对非肌肉分布区域进行细标注,以得到非肌肉标签。
需要说明的是,非肌肉分布区域中可以包括骨头组织,由于骨头组织不是本说明书中分割的重点分割对象,且在医学图像中骨头组织容易被识别和区分,因此还可以将非肌肉分布区域中骨头组织标记为背景,则对非肌肉分布区域中除骨头组织以外的部分(即器官及其内容物)进行细标注,得到非肌肉标签,即主要得到器官及其内容物的标签。
示例性地,受检对象为人体。通过对受检人体进行断层扫描得到扫描样本图像,根据受检人体的腹部区域对扫描样本图像进行前景分割,得到与受检人体的腹部区域对应的待标注样本图像。参考图4b所示,为待标注样本图像的一个横断面图像示意图。
其中,腹腔为在骨盆入口和横膈膜之间的空腔,由体壁、横膈膜和盆底围成,如图中的标记A所示。腹腔组织中容纳胃、肝、胆囊、脾脏、胰、肾脏、肠、阑尾、膀胱、泌尿系和妇科(子宫、附件)等其他内脏器官,如图中的标记F所示。内脏器官周围的脂肪为内脏脂肪,如图中的标记C所示。
腹部皮下脂肪是贮存于皮下的脂肪组织,是在真皮层以下、深层筋膜层以上被浅筋膜包裹的储能细胞,如图中的标记B所示。
腹部肌肉包括腰大肌、腹直肌、腹横肌等腹部肌肉组织,如图中的标记D所示。
腰大肌大部分位于第十二胸椎到第四腰椎椎体与横突之间陷沟内,其上部肌纤维可延伸至后纵隔最下部及膈肌的后方。大部分腰大肌以肌齿形式连接在第十二胸椎到第四腰椎椎体和椎间盘边缘处,外侧部分连接于第十二胸椎到第四腰椎横突,向下与髂肌共同形成髂腰肌腱,经腹股沟韧带下肌腔隙,止于大腿根部内侧的股骨小转子,如图中的标记E所示。
由此,根据待标注样本图像中皮下脂肪组织、内脏脂肪组织、腰大肌组织、非腰大肌组织和器官及其内容物的分布、密度等特征,可以对皮下脂肪组织、内脏脂肪组织、腰大肌组织、非腰大肌组织和器官及其内容物分别进行定位和细标注,以得到细标注标签和非肌肉标签。
关于上述实施例中前景分割的描述,请参考本说明书中关于根据受检对象的腹部区域对扫描图像进行前景分割得到待分割医学图像的描述,具体这里不再赘述。
进一步地,若利用待标注样本图像训练图像分割模型,则可以在图像粗分割模型完成训练的基础上,基于细标注标签和非肌肉标签对图像细分割模型的参数进行更新,以使训练好的图像细分割模型可以将内脏脂肪和器官及其内容物进行有效分割。
上述实施方式中,通过对非脂肪分布区域中的非肌肉分布区域进行细标注,得到非肌肉标签,以主要得到器官及其内容物的标签。由此,利用待标注样本图像训练图像分割模型时,可以通过器官及其内容物的标签和细标注标签中的内脏脂肪标签为模型提供精确的内脏脂肪和器官及其内容物的信息,从而使模型能够将内脏脂肪和器官及其内容物进行有效区分,实现对内脏脂肪的更精确的分割。
本说明书实施方式提供一种图像分割模型训练方法,参考图5所示,图像分割模型训练方法可以包括以下步骤。
S510、获取医学图像样本集合;其中,医学图像样本集合包括若干医学样本图像;医学样本图像的目标标签是通过前述任一项实施方式中的标签生成方法而生成。
S520、利用医学样本图像对初始分割模型进行训练,得到图像分割模型。
其中,医学样本图像可以是基于对受检对象进行计算机断层扫描或磁共振扫描等生成的扫描样本图像得到的。
具体地,基于对受检对象进行断层扫描或磁共振扫描等生成的扫描样本图像得到医学样本图像,根据获取的若干医学样本图像得到医学图像样本集合。针对医学图像样本集合中的任一医学样本图像,通过前述任一项实施方式中的标签生成方法生成对应的目标标签。将任一医学样本图像作为训练数据,以将任一医学样本图像输入至未训练完成的初始分割模型中对初始分割模型进行训练,得到训练好的能够对输入图像进行粗分割和细分割的图像分割模型。
在一些实施例中,图像分割模型可以是加入了注意力机制的三维卷积神经网络模型,通过将注意力机制融合到原有的三维卷积神经网络模型的结构中,可以使模型能够提取到医学样本图像中的重要信息,使模型的训练过程收敛更快。
示例性地,可以在三维卷积神经网络模型中插入空间注意力模块,通过一个小型的3D卷积层来提取医学样本图像的空间特征,然后使用激活函数(比如sigmoid函数或softmax函数等)将这些空间特征映射到0至1之间,用于表示输入的医学样本图像的数据序列中每个位置或信息的重要性权重。将这些权重与对应的原始的医学样本图像的特征值相乘,得到加权后的特征,由此通过对不同位置或信息赋予不同的权重,可以使模型更加关注输入序列中的关键信息,从而提高模型的精度和效率。
需要说明的是,注意力机制可以采用空间注意力、通道注意力、自注意力等机制中的任一种,本说明书中不作具体限定。
在一些实施方式中,图像分割模型包括图像粗分割模型和图像细分割模型。参考图6所示,利用医学样本图像对初始分割模型进行训练,得到图像分割模型,可以包括以下步骤。
S610、在图像粗分割模型完成训练的情况下,将图像粗分割模型输出的医学样本图像的粗分割结果输入图像细分割模型进行细分割处理,得到医学样本图像的细分割结果。
S620、基于医学样本图像的细分割结果、非肌肉标签和细标注标签对图像细分割模型的参数进行更新,得到完成训练的图像细分割模型;其中,非肌肉标签是对非脂肪分布区域中包含的非肌肉分布区域进行细标注而得到的。
具体地,通过对医学样本图像中脂肪分布区域中的皮下脂肪组织、内脏脂肪组织进行细标注,以及对非脂肪分布区域中的肌肉组织进行细标注,可以得到细标注标签,并通过对非脂肪分布区域中的非肌肉分布区域进行细标注可以得到非肌肉标签。
基于医学样本图像的粗标注标签对图像粗分割模型的参数进行更新,直至满足模型训练停止条件,可以得到完成训练的图像粗分割模型。在图像粗分割模型完成训练的情况下,将医学样本图像输入至完成训练的图像粗分割模型,可以得到图像粗分割模型对医学样本图像进行粗分割后输出的医学样本图像的粗分割结果。
将该粗分割结果输入至未完成训练的图像细分割模型,使图像细分割模型基于粗分割结果进行细分割,得到图像细分割模型输出的医学样本图像的细分割结果。基于医学样本图像的细分割结果、非肌肉标签和细标注标签对图像细分割模型的参数进行更新,直至满足模型训练停止条件,可以得到完成训练的图像细分割模型。将完成训练的图像粗分割模型和图像细分割模型进行整合,可以得到完成训练的图像分割模型。
示例性地,医学样本图像与受检对象的腹部区域对应。采用深度学习技术,基于三维卷积神经网络和注意力机制设计图像粗分割模型和图像细分割模型。
根据受检对象的腹部区域可以在受检对象的扫描样本图像中定位得到对应的腹部区域,以对扫描样本图像进行前景裁剪得到医学样本图像。首先,对对应有粗标注标签的已标记有脂肪分布区域和非脂肪分布区域的医学样本图像进行采样和数据预处理等操作后,将处理后的医学样本图像输入至未完成训练的图像粗分割模型中,在基于粗标注标签进行模型优化与学习等过程后,可以得到完成训练的用于粗分割脂肪分布区域和非脂肪分布区域的图像粗分割模型。
其次,对医学样本图像进行采样和预处理后,将处理后的医学样本图像输入至完成训练的图像粗分割模型中,输出包含有脂肪分布区域和非脂肪分布区域的粗分割定位标识的粗分割结果。
然后,在粗分割定位结果的基础上对医学样本图像进行精细分割,分割目标为腹腔中的皮下脂肪、内脏脂肪、腰大肌和其他腹部肌肉。根据粗分割结果对医学样本图像进行前景采样和预处理,将处理后的对应有细标注标签和非肌肉标签的已标记有腹腔中的皮下脂肪、内脏脂肪、腰大肌、其他腹部肌肉和器官及其内容物的医学样本图像加载到未完成训练的图像细分割模型中,通过模型优化与学习,得到具有精细分割腹腔中皮下脂肪、内脏脂肪、腰大肌和其他腹部肌肉的能力的网络模型(或者,也可以称为具有精细分割腹腔中脂肪和非脂肪的能力的网络模型)和对应的模型参数。
可以理解的是,通过图像细分割模型可以输出腹腔中皮下脂肪、内脏脂肪、腰大肌、其他腹部肌肉和器官及其内容物的精细分割结果,其中,器官及其内容物的分割结果可以丢弃,将皮下脂肪、内脏脂肪、腰大肌和其他腹部肌肉的分割结果进行保留。
上述实施方式中,通过粗标注标签为图像粗分割模型提供样本图像的大致结构和分布信息,有助于图像粗分割模型快速定位到感兴趣区域。通过细标注标签为图像细分割模型提供更具体、更精细的信息,有助于图像细分割模型对这些感兴趣区域进行更准确的分割,使得最终得到的图像分割模型能够从不同尺度和层次上捕捉特征信息,实现对样本图像的更全面的理解,增强模型的鲁棒性,实现对各种组织的更准确、更细致的识别和分割,从而提高分割的精度和质量。
本说明书实施方式提供一种受检对象成分分析装置,参考图7所示,受检对象成分分析装置700可以包括:医学图像获取模块710、图像粗分割模块720、图像细分割模块730、成分分析模块740。
医学图像获取模块710,用于获取受检对象的待分割医学图像。
图像粗分割模块720,用于基于待分割医学图像进行粗分割,得到粗分割结果;其中,粗分割结果用于指示待分割医学图像中脂肪分布区域和非脂肪分布区域。
图像细分割模块730,用于基于粗分割结果进行细分割,得到细分割结果;其中,细分割结果用于指示待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域。
成分分析模块740,用于基于细分割结果确定受检对象的成分分析结果。
本说明书实施方式提供一种标签生成装置,参考图8所示,标签生成装置800可以包括:样本图像获取模块810、图像粗标注模块820、图像细标注模块830、目标标签生成模块840。
样本图像获取模块810,用于获取待标注样本图像。
图像粗标注模块820,用于对待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到待标注样本图像的粗标注标签。
图像细标注模块830,用于对脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对非脂肪分布区域中包含的肌肉组织进行细标注,得到待标注样本图像的细标注标签。
目标标签生成模块840,用于基于粗标注标签和细标注标签生成待标注样本图像的目标标签。
本说明书实施方式还提供一种图像分割模型训练装置,参考图9所示,图像分割模型训练装置900可以包括:样本集合获取模块910、分割模型训练模块920。
样本集合获取模块910,用于获取医学图像样本集合;其中,医学图像样本集合包括若干医学样本图像;医学样本图像的目标标签是通过前述任一项实施方式中的标签生成方法而生成。
分割模型训练模块920,用于利用医学样本图像对初始分割模型进行训练,得到图像分割模型。
关于受检对象成分分析装置的具体限定可以参见上文中对于受检对象成分分析方法的限定,关于标签生成装置的具体限定可以参见上文中对于标签生成方法的限定,关于图像分割模型训练装置的具体限定可以参见上文中对于图像分割模型训练方法的限定,在此不再赘述。上述受检对象成分分析装置、标签生成装置、图像分割模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本说明书实施方式还提供一种计算机设备,参考图10所示,计算机设备1000包括存储器1010、处理器1020及存储在存储器1010上并可在处理器1020上运行的计算机程序1030,处理器1020执行计算机程序1030时,实现前述任一项实施方式中的受检对象成分分析方法,和/或,标签生成方法,和/或,图像分割模型训练方法。
本说明书实施方式还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现前述任一项实施方式中的受检对象成分分析方法,和/或,标签生成方法,和/或,图像分割模型训练方法。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种受检对象成分分析方法,其特征在于,所述方法包括:
获取所述受检对象的待分割医学图像;
基于所述待分割医学图像进行粗分割,得到粗分割结果;其中,所述粗分割结果用于指示所述待分割医学图像中脂肪分布区域和非脂肪分布区域;
基于所述粗分割结果进行细分割,得到细分割结果;其中,所述细分割结果用于指示所述待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域;
基于所述细分割结果确定所述受检对象的成分分析结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述粗分割结果进行细分割,得到细分割结果,包括:
在所述脂肪分布区域中对所述皮下脂肪组织和所述内脏脂肪组织进行细分割,以及在所述非脂肪分布区域中对所述肌肉组织进行细分割,得到所述细分割结果。
3.根据权利要求1所述的方法,其特征在于,所述基于所述待分割医学图像进行粗分割,得到粗分割结果,包括:
将所述待分割医学图像输入至图像粗分割模型,以利用所述图像粗分割模型对所述脂肪分布区域和所述非脂肪分布区域进行粗分割,得到所述粗分割结果。
4.根据权利要求3所述的方法,其特征在于,所述基于所述粗分割结果进行细分割,得到细分割结果,包括:
根据所述粗分割结果对所述待分割医学图像进行前景采样,得到采样后图像;
将所述采样后图像输入至图像细分割模型,以利用所述图像细分割模型对所述脂肪分布区域中的所述皮下脂肪组织和所述内脏脂肪组织进行细分割,以及对所述非脂肪分布区域中的所述肌肉组织进行细分割,得到所述细分割结果。
5.根据权利要求1所述的方法,其特征在于,所述待分割医学图像是基于对所述受检对象进行断层扫描后得到的扫描图像得到的;所述待分割医学图像为三维平扫图像;
所述待分割医学图像是根据所述受检对象的腹部区域对所述扫描图像进行前景分割得到的;
所述脂肪分布区域和所述非脂肪分布区域位于所述腹部区域;
所述肌肉组织包括腰大肌组织和非腰大肌组织。
6.根据权利要求1所述的方法,其特征在于,所述待分割医学图像与所述受检对象的腹部区域对应;所述方法还包括以下情形中的至少一种:
基于所述细分割结果,采用2D图像、3D图像、伪彩色图像中的至少一种方式展示所述腹部区域的组织分布情况;
采用2D图像、3D图像、曲线、图表的至少一种方式展示所述成分分析结果。
7.根据权利要求1所述的方法,其特征在于,所述成分分析结果包括皮下脂肪数据、内脏脂肪数据和肌肉数据中的至少一个;
所述皮下脂肪数据是基于所述皮下脂肪组织的分布区域得到的;
所述内脏脂肪数据是基于所述内脏脂肪组织的分布区域得到的;
所述肌肉数据是基于所述肌肉组织的分布区域得到的。
8.一种标签生成方法,其特征在于,所述方法包括:
获取待标注样本图像;
对所述待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到所述待标注样本图像的粗标注标签;
对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签;
基于所述粗标注标签和所述细标注标签生成所述待标注样本图像的目标标签。
9.根据权利要求8所述的方法,其特征在于,所述待标注样本图像与受检对象的腹部区域对应;所述肌肉组织包括腰大肌组织和非腰大肌组织;所述对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签,包括:
对所述皮下脂肪组织和所述内脏脂肪组织进行细标注,以及对所述腰大肌组织和所述非腰大肌组织进行细标注,得到所述细标注标签。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
对所述非脂肪分布区域中包含的非肌肉分布区域进行细标注,得到非肌肉标签。
11.一种图像分割模型训练方法,其特征在于,所述方法包括:
获取医学图像样本集合;其中,所述医学图像样本集合包括若干医学样本图像;所述医学样本图像的目标标签是通过权利要求8至10任一项所述的方法而生成;
利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型。
12.根据权利要求11所述的方法,其特征在于,所述图像分割模型包括图像粗分割模型和图像细分割模型;所述利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型,包括:
在所述图像粗分割模型完成训练的情况下,将所述图像粗分割模型输出的所述医学样本图像的粗分割结果输入所述图像细分割模型进行细分割处理,得到所述医学样本图像的细分割结果;
基于所述医学样本图像的细分割结果、非肌肉标签和所述细标注标签对所述图像细分割模型的参数进行更新,得到完成训练的图像细分割模型;其中,所述非肌肉标签是对所述非脂肪分布区域中包含的非肌肉分布区域进行细标注而得到的。
13.一种受检对象成分分析装置,其特征在于,所述装置包括:
医学图像获取模块,用于获取所述受检对象的待分割医学图像;
图像粗分割模块,用于基于所述待分割医学图像进行粗分割,得到粗分割结果;其中,所述粗分割结果用于指示所述待分割医学图像中脂肪分布区域和非脂肪分布区域;
图像细分割模块,用于基于所述粗分割结果进行细分割,得到细分割结果;其中,所述细分割结果用于指示所述待分割医学图像中皮下脂肪组织、内脏脂肪组织和肌肉组织各自的分布区域;
成分分析模块,用于基于所述细分割结果确定所述受检对象的成分分析结果。
14.一种标签生成装置,其特征在于,所述装置包括:
样本图像获取模块,用于获取待标注样本图像;
图像粗标注模块,用于对所述待标注样本图像中的脂肪分布区域和非脂肪分布区域进行粗标注,得到所述待标注样本图像的粗标注标签;
图像细标注模块,用于对所述脂肪分布区域中包含的皮下脂肪组织和内脏脂肪组织进行细标注,以及对所述非脂肪分布区域中包含的肌肉组织进行细标注,得到所述待标注样本图像的细标注标签;
目标标签生成模块,用于基于所述粗标注标签和所述细标注标签生成所述待标注样本图像的目标标签。
15.一种图像分割模型训练装置,其特征在于,所述装置包括:
样本集合获取模块,用于获取医学图像样本集合;其中,所述医学图像样本集合包括若干医学样本图像;所述医学样本图像的目标标签是通过权利要求8至10任一项所述的方法而生成;
分割模型训练模块,用于利用所述医学样本图像对初始分割模型进行训练,得到所述图像分割模型。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202311740023.1A 2023-12-18 2023-12-18 受检对象成分分析、标签生成、模型训练方法及装置 Pending CN117522857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311740023.1A CN117522857A (zh) 2023-12-18 2023-12-18 受检对象成分分析、标签生成、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311740023.1A CN117522857A (zh) 2023-12-18 2023-12-18 受检对象成分分析、标签生成、模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN117522857A true CN117522857A (zh) 2024-02-06

Family

ID=89747932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311740023.1A Pending CN117522857A (zh) 2023-12-18 2023-12-18 受检对象成分分析、标签生成、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN117522857A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994322A (zh) * 2024-02-21 2024-05-07 中国医学科学院北京协和医院 一种基于椎体分割的脂肪自动定量方法、系统及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994322A (zh) * 2024-02-21 2024-05-07 中国医学科学院北京协和医院 一种基于椎体分割的脂肪自动定量方法、系统及设备

Similar Documents

Publication Publication Date Title
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
EP3806744B1 (en) Immediate workup
JP4310099B2 (ja) 肺疾患検出のための方法及びシステム
Mesanovic et al. Automatic CT image segmentation of the lungs with region growing algorithm
Udupa et al. A framework for evaluating image segmentation algorithms
EP2378978B1 (en) Method and system for automated generation of surface models in medical images
CN107767962B (zh) 基于来自不同测量的医学测量数据确定结果数据
US20150023578A1 (en) Device and method for determining border of target region of medical images
EP3657433B1 (en) Medical image data
JP2016531709A (ja) 疾患を診断するための画像解析技術
CN103249358A (zh) 医用图像处理装置
CN117522857A (zh) 受检对象成分分析、标签生成、模型训练方法及装置
CN109919254B (zh) 乳腺密度分类方法、系统、可读存储介质和计算机设备
CN111462115B (zh) 医学图像显示方法、装置和计算机设备
CN113706435A (zh) 基于传统影像组学的胸部增强ct图像处理方法
Balasooriya et al. Intelligent brain hemorrhage diagnosis using artificial neural networks
CN110348477B (zh) 医疗图像处理方法、存储介质及计算机设备
CN111325754B (zh) 一种基于ct序列图像的腰椎骨自动定位方法
CN110163907B (zh) 胎儿颈部透明层厚度测量方法、设备及存储介质
Coppini et al. Quantification of epicardial fat by cardiac CT imaging
Zhang et al. Computer-aided knee joint magnetic resonance image segmentation-a survey
WO2018098697A1 (zh) 一种影像特征的可重复性测量方法及装置
DE10255527B4 (de) Erzeugung von Kandidaten für gefäßassoziierte Pulmonalknoten
CN115760851B (zh) 一种基于机器学习的超声图像数据处理设备、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination