CN116228624A - 一种基于人工智能技术的多模态体质成分标记、分析方法 - Google Patents

一种基于人工智能技术的多模态体质成分标记、分析方法 Download PDF

Info

Publication number
CN116228624A
CN116228624A CN202211108433.XA CN202211108433A CN116228624A CN 116228624 A CN116228624 A CN 116228624A CN 202211108433 A CN202211108433 A CN 202211108433A CN 116228624 A CN116228624 A CN 116228624A
Authority
CN
China
Prior art keywords
image
muscle
fat
images
mri
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211108433.XA
Other languages
English (en)
Inventor
张福生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN116228624A publication Critical patent/CN116228624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及图像处理技术领域,公开了一种基于人工智能的多模态体质成分分割方法,所述方法包括:采集目标处的CT和(或)MRI影像;利用神经网络将获取的数据影像进行预处理和数据增广,得到预处理后的目标组织器官影像序列,然后构建网络模型。本申请将图像比对细化,使比对的结果更加准确,而且CT及MRI重叠比对模型,能够经过不断的数据输入深度学习后,进行模型的完善,从而进行CT/MRI图像的体质成分标记、分析,实现肌肉、脂肪、腹腔脏器等成分一体化及独立化分析,探索体质各个成分之间的正负关联,进一步探索不同体质成分在相关疾病的发生、发展、治疗过程中的促进或拮抗作用,为疾病的基因、代谢、诊治研究提供数据支持,具有较高的应用价值。

Description

一种基于人工智能技术的多模态体质成分标记、分析方法
技术领域
本发明属于深度学习技术领域,应用于图像分割方面,尤其是涉及一种基于人工智能算法的多模态体质成分影像标记、分析方法。
背景技术
对体质成分的分析主要包括人体中轴骨、四肢骨目标区域的肌肉(群)、脂肪组织以及脏器组织的测量分析,体质成分参数值可以对目标人群体质成分监测、疾病预后提供数据支持。研究表明,皮下深部脂肪组织和表层脂肪组织在结构和功能上与胰岛素抵抗和甘油三酯饱和度有关,且存在差异。另外,肢体肌肉状态和各区域脂肪组织变化被发现在人体代谢中十分重要。人体体质参数值有助于筛查不良结局高风险患者,有益于对目标人群的治疗、随访、监测和疗效评价。特别是在代谢性疾病、心血管疾病、肿瘤、骨质疏松症、创伤和术后患者的生存率预测都发挥着重要作用。
既往国内外研究将肌肉、脂肪及脏器等体质成分分别进行单独研究,而对这些成分之间的相关性,拮抗及相互作用没有进行进一步分析。现在,我们提出将肌肉、脂肪及脏器分别标记分割而后分析其内在关系,得到相互关联的参数,如肌肉-皮下脂肪、肌肉-内脏脂肪、肌肉-皮下/内脏脂肪、肌肉脂肪-皮下/内脏脂肪等,为人体体质成分之间作用及影响研究提供数据支持。以实现研究各个体质成分间的相关作用的目标,进而研究肌肉、肌肉脂肪含量、皮下脂肪、内脏脂肪及脏器等体质成分在人体病生理、疾病诊疗过程中的变化规律及相互作用,深入探究疾病发生发展内在规律。
多模态是指融合了不同类型影像学技术的方法,我们将CT及MRI两种检查手段进行融合。体质成分研究中,其参数的获取及记录十分重要,CT和MRI常被用于分割组织器官及病变,可以用于体质成分的研究。利用多模态影像检查技术可量化体质成分,从不同成像原理、模态获得多模态的体质参数,可以包括如下评价参数:内脏脂肪组织、腹部皮下脂肪组织、肢体皮下脂肪组织、肢体筋膜下脂肪组织、肢体肌间脂肪组织、目标位置的肌肉或肌肉群的面积及面积指数,内脏-皮下脂肪面积比值、肌肉或肌肉群的CT值、肌肉脂肪浸润程度百分数、肌肉质子密度脂肪分数(MRI检查)、肌肉腹部皮下脂肪信号比(MRI检查)、肌肉脂肪含量(MRI检查)、肝脏CT值、肝脏/脾脏CT值比率、肝脏质子密度脂肪分数(MRI检查),骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、骨骼肌脂肪浸润程度-内脏脂肪面积指数比率、骨骼肌脂肪浸润程度-腹部皮下脂肪面积指数比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率等。
其中,内脏脂肪组织分为腹膜内脂肪组织和腹膜后脂肪组织,肢体皮下脂肪组织可分为深部皮下脂肪组织和表层皮下脂肪组织。所述肌肉组织按扫描部位分为胸腹部肌肉及肌肉群、臀部肌肉及肌肉群、大腿、小腿、上臂及前臂肌肉及肌肉群。
我国目前大规模、多中心体质成分研究并未全面开展,数据缺失导致参考值同样处于缺失状态。如果依靠人工或半人工方法进行数据整理收集要消耗大量人力且此方法易疲劳、标记结果个体差异大,如上缺点导致此工作进展缓慢,数据处理的快速化、规范化要求是依靠人工或半人工难于实现的。因此,对数据进行自动化标记收集十分必要。完全自动化的分割工具,减少人工参与,能够提高标记效率,实现数据处理统一化,可异地化收集便于全国范围内多中心数据的开展。
发明内容
本发明的目的在于提供一种基于人工智能多模态影像体质成分标记、分析方法,可以快速、准确地实现医学图像的体质成分标记参数自动测量,从而提升体质成分的医学影像(图像)的处理效率,降低人力成本。
为实现上述方案,本发明采用如下的技术方案:
一种基于人工智能多模态影像体质成分标记、分析方法,所述方法包括:
步骤一:批量加载DICOM格式的CT或MRI影像数据,解析图中元数据,筛选出所有横断位图像并按顺序拼接组装成整体三维影像数据。提取DICOM影像数据中Z方向从上到下的30%、50%、和70%位置处的三张横断位图像;
步骤二:采用预先训练的人工智能模型分别识别由步骤一得到的三张横断位图像中的脊椎,识别得到脊椎的位置。而后对三个定位结果求取平均值,当做脊柱在X、Y方向上的位置;
步骤三:对于胸部CT影像,执行步骤三A自动定位胸部脊椎位置并截取横断位图像;对于腹部CT影像,执行步骤三B自动定位腹部脊椎位置并截取横断位图像;对于上臂或大腿影像,执行步骤三C自动定位肱骨干或股骨干位置并截取横断位图像;
步骤四:采用预先训练好的人工智能模型对步骤三中得到的横断位图像进行切割,得到与之同尺寸的分类标记图,分类标记图中每个像素点的值为横断位影像图上此位置所属人体组织的序号;
步骤五:为避免人体肌肉、脏器组织边缘处的脂肪或条索水肿等组织给目标组织CT值测量造成误差,需要对步骤四所得的分类标记图中每个人体组织区域进行缩边处理,具体方法为——遍历分类标记图中每个像素点,如以当前像素点为中心的半径3毫米范围内有与当前不同的分类值,则忽略当前像素点。经此处理得到每个人体组织的缩边区域;
步骤六:按照步骤五得到的各个人体组织缩边区域从步骤三所得的横断位图像中提取相应位置的CT值,以每个组织全部像素点CT值的平均值作为此组织的CT值。
对于胸部CT影像,步骤三A的实现方法为:图4
步骤三A.1:从步骤二得到的Y轴方向上脊柱的中心坐标记为y1,脊柱的后边缘坐标记为y2,从影像数据中提取y1到y2位置所有冠状位图像。对所有图像进行叠加计算,每个像素取值为所有冠状位图像中同坐标位置上最大CT值。由此得到叠加冠状位图像;
步骤三A.2:采用预先训练的人工智能模型识别步骤三得到的叠加冠状位图像。识别出其中所有肋骨的位置,将位置最低的一根肋骨标记为第12肋
步骤三A.3:从步骤二得到的X轴方向上脊柱的中心位置记为x1。从影像数据中提取x1位置的矢状位图像,用预先训练的人工智能模型识别其中所有脊椎的位置;
步骤三A.4:找到步骤三A.3中识别出的所有脊椎中,Y轴位置与步骤三A.2中得到的第12肋位置的上边缘最接近的一节脊椎标记为T12,并以T12为基准,向上再标记出T11、向下标记L1脊椎。按T11、T12、L1在Z轴上的中心位置取出对应的三张横断位图像;对于腹部CT影像,步骤三B的实现方法为:图5
步骤三B.1:从步骤二得到的X轴方向上脊柱的中心位置记为x1。从影像数据中提取x1位置的矢状位图像;
步骤三B.2:使用预先训练的人工智能模型识别步骤三B.1得到的矢状位图像,得到其中所有脊椎和骶骨的位置;
步骤三B.3:在步骤三B.2得到的所有脊椎中位置最低且紧邻骶骨的一个记为L5脊椎,再向上依次标记为L4、L3、L2、L1。按L1至L5在Z轴上的中心位置取出对应的五张横断位图像;
对于上臂或大腿CT影像,步骤三C的实现方法为:图6
步骤三C.1:从步骤二得到的X轴方向上肱骨或股骨的中心位置记为x1。从影像数据中提取x1位置的矢状位图像;
步骤三C.2:使用预先训练的人工智能模型识别步骤三C.1得到的矢状位图像,得到其中肱骨或股骨的目标位置。按此位置取出横断位图像。
作为本发明的一种优选实施方式,所述分割结果包括肌肉-皮下脂肪面积比、肌肉-内脏脂肪面积比、肌肉指数-皮下/内脏脂肪比率比、肌肉脂肪浸润程度-皮下/内脏脂肪比率比等关联参数,目标参数包括但不限于:内脏脂肪组织、腹部皮下脂肪组织、肢体皮下脂肪组织、肢体筋膜下脂肪组织、肢体肌间脂肪组织、目标位置的肌肉或肌肉群的面积及面积指数,内脏-皮下脂肪面积比值、肌肉或肌肉群的CT值、肌肉脂肪浸润程度百分数、肌肉质子密度脂肪分数(MRI检查)、肌肉腹部皮下脂肪信号比(MRI检查)、肌肉脂肪含量(MRI检查)、肝脏CT值、肝脏/脾脏CT值比率、肝脏质子密度脂肪分数(MRI检查),骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、骨骼肌脂肪浸润程度-内脏脂肪面积指数比率、骨骼肌脂肪浸润程度-腹部皮下脂肪面积指数比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率等。其中,内脏脂肪组织分为腹膜内脂肪组织和腹膜后脂肪组织,肢体皮下脂肪组织可分为深部皮下脂肪组织和表层皮下脂肪组织。所述扫描部位主要分为胸腹部、臀部、腰椎、大腿、上臂。
与现有技术相比,本发明的有益效果如下:
1.本发明通过采用预先训练的人工智能模型,能够自动化识别、定位和分割CT/MRI图像,实现数据统一化、标准化、异地化收集,便于全国范围内多中心数据处理分析工作的开展。
2.本发明中CT/MRI重叠比对模型,经过不断的数据输入深度学习、模型完善后,实现肌肉、脂肪、腹腔脏器等成分一体化及独立化分析,不在割裂这些体质成分单独分析,实现探索体质各个成分之间的正负关联,进一步研究不同体质成分在相关疾病的发生、发展、治疗过程中的促进或拮抗作用。
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图说明
图1为本发明实施例提供的一种多模态影像体质成分标记、分析方法的CT影像自动定位识别流程图;
图2为本发明实施例提供的一种具体的CT/MRI重叠比对模型神经网络的结构示意图
图3为一种多模态影像体质成分标记、分析方法的DICOM影像数据方向示意图;
图4为本发明内容提供的一种胸部CT影像,步骤三A的实现方法流程图;
图5为本发明内容提供的一种腹部CT影像,步骤三B的实现方法流程图;
图6为本发明内容提供的一种上臂或大腿CT影像,步骤三C的实现方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
考虑到目前利用CT/MRI检查技术进行体质成分标记主要依靠人工或半人工方法进行,此类方法消耗大量人力,标准不统一,不利于体质成分标记测量工作的开展,体质成分研究数据基础缺失,没有参考值。本发明实施例提供了一种体质成分影像的标记方法,可以快速、准确地实现CT/MRI医学图像的体质成分分割参数信息测量,从而提升了医学影像(图像)的处理效率,降低人力成本。
为便于理解,首先对本发明实施例提供的一种多模态影像体质成分标记、分析方法进行详细说明,参见图1所示的一种多模态影像体质成分标记、分析方法的流程示意图,包括以下步骤:
步骤一:批量加载DICOM格式的CT或MRI影像数据,解析图中元数据,筛选出所有横断位图像并按顺序拼接组装成整体三维影像数据。提取DICOM影像数据中Z方向从上到下的30%、50%、和70%位置处的三张横断位图像;
步骤二:采用预先训练的人工智能模型分别识别由步骤一得到的三张横断位图像中的脊椎,识别得到脊椎的位置。而后对三个定位结果求取平均值,当做脊柱在X、Y方向上的位置;
步骤三:对于胸部CT影像,执行步骤三A自动定位胸部脊椎位置并截取横断位图像;对于腹部CT影像,执行步骤三B自动定位腹部脊椎位置并截取横断位图像;对于上臂或大腿影像,执行步骤三C自动定位肱骨干或股骨干位置并截取横断位图像;
步骤四:采用预先训练好的人工智能模型对步骤三中得到的横断位图像进行切割,得到与之同尺寸的分类标记图,分类标记图中每个像素点的值为横断位影像图上此位置所属人体组织的序号;
步骤五:为避免人体肌肉、脏器组织边缘处的脂肪或条索水肿等组织给目标组织CT值测量造成误差,需要对步骤四所得的分类标记图中每个人体组织区域进行缩边处理,具体方法为——遍历分类标记图中每个像素点,如以当前像素点为中心的半径3毫米范围内有与当前不同的分类值,则忽略当前像素点。经此处理得到每个人体组织的缩边区域;
步骤六:按照步骤五得到的各个人体组织缩边区域从步骤三所得的横断位图像中提取相应位置的CT值,以每个组织全部像素点CT值的平均值作为此组织的CT值;
通过将上述方式得到的体质成分定位图像输入到图像CT/MRI重叠比对模型中,可以得到精确分割结果。CT/MRI重叠比对模型可以包括改进的U-net神经网络。分割结果包括多种目标参数,其中,主要参数包括:
内脏脂肪组织、腹部皮下脂肪组织、肢体皮下脂肪组织、肢体筋膜下脂肪组织、肢体肌间脂肪组织、目标位置的肌肉或肌肉群的面积及面积指数、内脏-皮下脂肪面积比值、肌肉或肌肉群的CT值、肌肉脂肪浸润程度百分数、肌肉质子密度脂肪分数(MRI检查)、肌肉腹部皮下脂肪信号比(MRI检查)、肌肉脂肪含量(MRI检查)、肝脏CT值、肝脏/脾脏CT值比率、肝脏质子密度脂肪分数(MRI检查),骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、骨骼肌脂肪浸润程度-内脏脂肪面积指数比率、骨骼肌脂肪浸润程度-腹部皮下脂肪面积指数比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率等。其中,内脏脂肪组织分为腹膜内脂肪组织和腹膜后脂肪组织,肢体皮下脂肪组织可分为深部皮下脂肪组织和表层皮下脂肪组织。所述肌肉组织按扫描部位分为胸腹部肌肉及肌肉群、臀部肌肉及肌肉群、大腿、小腿、上臂及前臂肌肉及肌肉群。
可以理解的是,分割结果可以针对体质成分图像的不同CT/MRI参数进行自动标记得到各个分割区域的参数。
通过图像CT/MRI重叠比对模型分割得到的分割结果可以代替人工及半人工体质成分标记的工作,且由于通过采用上述定位神经网络和图像CT/MRI重叠比对模型两个神经网络相结合的方式进行体质成分切片的定位及体质成分的分割,可以提高智能识别的效率和分割的准确性,克服了采用三维神经网络进行端到端识别对于三维医学图像的要求,从而提高了体质成分图像的分割准确率。
本发明实施例提供的多模态影像体质成分标记、分析方法,通过对处理后的体质成分影像进行定位识别及分割处理,得到包括内脏脂肪组织、腹部皮下脂肪组织、肢体皮下脂肪组织、肢体筋膜下脂肪组织、肢体肌间脂肪组织、目标位置的肌肉或肌肉群的面积及面积指数、内脏-皮下脂肪面积比值、肌肉或肌肉群的CT值、肌肉脂肪浸润程度百分数、肌肉质子密度脂肪分数(MRI检查)、肌肉腹部皮下脂肪信号比(MRI检查)、肌肉脂肪含量(MRI检查)、肝脏CT值、肝脏/脾脏CT值比率、肝脏质子密度脂肪分数(MRI检查),骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、骨骼肌脂肪浸润程度-内脏脂肪面积指数比率、骨骼肌脂肪浸润程度-腹部皮下脂肪面积指数比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率等相关参数,可以快速、准确地实现CT/MRI多模态医学图像的体质成分分割参数信息测量,从而提升了对于针对肌肉或肌肉群、脏器、不同区域脂肪组织等的医学影像(图像)的处理效率,降低了人力成本。
进一步,对通过预先训练好的定位神经网络输出的体质成分定位图像进行分割处理。在具体实施时,可以通过将目标组织的方块位定位图像输入至预先训练好的CT/MRI重叠比对模型,得到针对目标位置的肌肉或肌肉群、脏器、不同区域脂肪组织等的多模态影像的分割结果。该分割结果主要包括上述不同体质成分的肌肉-脂肪面积指数比率、肌肉脂肪浸润程度-脂肪面积比率、横截面积、面积指数、平均CT值、肌肉的脂肪浸润程度。优选的,为了便于对各个参数的变化准确的获取,还包括多种参数值的时间-数值动态曲线。
通过定位神经网络和重叠CT/MRI比对模型,不仅可以利用全局平均池化层,由于特征图可以识别输入数据中的某些元素,因此最后一层中的图可以有效地学习以“识别”该体系结构中特定类的存在,从而对特定类的体质成分多模态影像进行学习标记,而且,根据人体不同组织CT值/MRI灰度的差异,标记不同体质成分的轮廓,从而从体质成分分割中计算横断面肌肉及肌肉群、脏器、不同区域脂肪组织的面积及CT值/MRI灰度,之后,控制标记好的肌肉组织CT值/MRI灰度阈值范围,剔除肌肉组织标记轮廓内所有脂肪组织区域总和,获得单纯肌肉面积,以计算肌肉组织分割区域内肌肉的脂肪浸润程度的百分含量。依据上述参数,可获得骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、肌肉脂肪浸润程度-内脏脂肪面积比率、肌肉脂肪浸润程度-腹部皮下脂肪面积比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率,通过上述数值可以准确的评价体质成分。
在进行体质成分量化评价时,将目标区域面积经过身高矫正后获得肌肉或肌肉群面积及面积指数、脏器、不同区域脂肪组织面积及面积指数等。目标组织器官经过软件自动分割后得到的指定区域面积,然后使用身高平方转换以计算面积指数,面积指数=面积/身高2(cm2/m2)。
在进行体质成分中肌肉组织质量评价时,通过阈值处理(thresholding),把肌肉或肌肉群分割结果内部所有脂肪组织区域面积都进行挑选后集合,计算肌肉的脂肪浸润程度(muscle fat infiltration,MFI),MFI(%)=分割结果区域内所有被挑选的脂肪组织面积总和/自动分割获取肌肉横截面积×100%。
本实施例所适用的上述体质成分影像可以包括指定数量及目标位置的不同的脂肪组织、肌肉及肌肉分组、脏器的多模态影像。在一种实施方式中,以腹部及腰椎CT/MRI为例,可以包括24组数据,具体如下:骨骼肌;双侧腰大肌、左侧腰大肌、右侧腰大肌;双侧脊后肌群、左侧脊后肌群、右侧脊后肌群;双侧腰方肌、左侧腰方肌、右侧腰方肌;双侧脊旁肌群、左侧脊旁肌群、右侧脊旁肌群;双侧腹直肌、左侧腹直肌、右侧腹直肌;双侧腹部侧壁肌群、左侧腹部侧壁肌群、右侧腹部侧壁肌群;肝脏(liver)、内脏脂肪组织(visceraladiposetissue,VAT)、皮下腹部脂肪组织(subcutaneous abdominal adipose tissue,SAT)、肢体肌间脂肪组织(inter-muscular adipose tissue,IMAT)、肝脏(Liver)。计算以上组织器官的面积、面积指数、面积指数比、脂肪浸润程度等参数。再依据上述参数,可获得骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、肌肉脂肪浸润程度-内脏脂肪面积比率、肌肉脂肪浸润程度-腹部皮下脂肪面积比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率。
在CT图像连续区域分割后,内部可能包含CT值较低的脂肪组织,通过阈值处理thresholding,把分割结果内部所有脂肪组织区域剔除,计算出肌肉的脂肪浸润程度(muscle fat infiltration,MFI),以百分比的形式进行表达。MFI(%)=分割结果区域内所有被剔除的脂肪组织面积之和/自动分割获取肌肉横截面积×100%。对于IMAT面积,我们首先在所述肌肉脂肪浸润程度通过肌间脂肪CT值范围和肌肉CT值范围表征;其中,首先在肌肉区域使用半径为2像素的结构元素进行形态学侵蚀,以去除分割边缘的伪影;随后在侵蚀肌肉区域的-190--30Hu范围内对脂肪像素进行阈值提取;肌间脂肪CT值范围:-190—30Hu;肌肉CT值范围:-29-150Hu,计算四肢肌间脂肪组织面积之和。
在MRI扫描时,评价目标肌肉平均信号强度与感兴趣区内皮下脂肪平均信号强度的比值,获得肌肉皮下脂肪信号比;最后,计算目标肌肉感兴趣区轮廓内被脂肪组织替代的高信号区域面积和目标肌肉感兴趣区面积的比值,获得肌肉脂肪含量。上述目标参数,用以准确的评价人体成分。
在进行人体成分量化评价时,将目标区域横截面积经身高矫正获得肌肉或肌肉群、不同区域脂肪组织等组织器官的横截面积、面积指数(area index,AI)、内脏脂肪与皮下脂肪面积比值(V/S)。横截面积即经过软件自动分割后得到的指定肌肉或肌群、不同区域脂肪组织的面积,接着利用身高计算面积指数,面积指数=面积/身高2
在进行体质成分肌肉组织量化评价时,评价目标肌肉平均信号强度与感兴趣区内皮下脂肪平均信号强度的比值,获得肌肉皮下脂肪信号比;最后,计算目标肌肉感兴趣区轮廓内被脂肪组织替代的高信号区域面积和目标肌肉感兴趣区面积的比值,获得肌肉脂肪含量(FC)。
综上,本发明基于深度学习的体质成分标记及特征分析,不再将体质成分拆分研究,而是首次从整体角度对各体质成分之间的关系进行评价,为体质成分之间的拮抗及合作关系的探究提供数据支持。通过本系统研发可以有效建立体质成分影像数据库,获取正常健康人群体质成分截断值(cutoff值),实现体质成分参数的量化和标准化。
本发明实施例提供的多模态影像体质成分标记、分析方法,通过采用预先训练的人工智能模型,能够自动化的进行识别、定位和分割,无需依靠人工或半人工方法进行数据整理收集,可以对数据进行自动化标记收集,完全自动化的分割工具,减少人工参与,能够提高标记效率,实现数据处理统一化,可异地化收集便于全国范围内多中心数据的开展,而且CT/MRI重叠比对模型,能够经过不断的数据输入深度学习后,进行模型的完善,从而进行CT/MRI图像的体质成分标记、分析,实现肌肉、脂肪、腹腔脏器等成分一体化及独立性分析,探索体质各个成分之间的正负关联,进一步探索不同体质成分在相关疾病的发生、发展、治疗过程中的促进或拮抗作用,为疾病的基因、代谢水平研究提供数据支持。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于人工智能多模态影像的体质成分分割方法,其特征在于,所述方法包括:
步骤一:批量加载DICOM格式的CT或MRI影像数据,解析图中元数据,筛选出所有横断位图像并按顺序拼接组装成整体三维影像数据。提取DICOM影像数据中Z方向从上到下的30%、50%、和70%位置处的三张横断位图像;
步骤二:采用预先训练的人工智能模型分别识别由步骤一得到的三张横断位图像中的脊椎,识别得到脊椎的位置。而后对三个定位结果求取平均值,当做脊柱在X、Y方向上的位置;
步骤三:对于胸部CT影像,执行步骤三A自动定位胸部脊椎位置并截取横断位图像;对于腹部CT影像,执行步骤三B自动定位腹部脊椎位置并截取横断位图像;对于上臂或大腿影像,执行步骤三C自动定位肱骨干或股骨干位置并截取横断位图像;
步骤四:采用预先训练好的人工智能模型对步骤三中得到的横断位图像进行切割,得到与之同尺寸的分类标记图,分类标记图中每个像素点的值为横断位影像图上此位置所属人体组织的序号;
步骤五:为避免人体肌肉、脏器组织边缘处的脂肪、条索影、水肿等给目标组织CT值测量造成误差,需要对步骤四所得的分类标记图中每个人体组织区域进行缩边处理,具体方法为——遍历分类标记图中每个像素点,如以当前像素点为中心的半径3毫米范围内有与当前不同的分类值,则忽略当前像素点。经此处理得到每个人体组织的缩边区域;
步骤六:按照步骤五得到的各个人体组织缩边区域从步骤三所得的横断位图像中提取相应位置的CT值,以每个组织全部像素点CT值的平均值作为此组织的CT值。
对于胸部CT影像,步骤三A的实现方法为:
步骤三A.1:从步骤二得到的Y轴方向上脊柱的中心坐标记为y1,脊柱的后边缘坐标记为y2,从影像数据中提取y1到y2位置所有冠状位图像。对所有图像进行叠加计算,每个像素取值为所有冠状位图像中同坐标位置上最大CT值。由此得到叠加冠状位图像;
步骤三A.2:采用预先训练的人工智能模型识别步骤三得到的叠加冠状位图像。识别出其中所有肋骨的位置,将位置最低的一根肋骨标记为第12肋;
步骤三A.3:从步骤二得到的X轴方向上脊柱的中心位置记为x1。从影像数据中提取x1位置的矢状位图像,用预先训练的人工智能模型识别其中所有脊椎的位置;
步骤三A.4:找到步骤三A.3中识别出的所有脊椎中,Y轴位置与步骤三A.2中得到的第12肋位置的上边缘最接近的一节脊椎标记为T12,并以T12为基准,向上再标记出T11、向下标记L1脊椎。按T11、T12、L1在Z轴上的中心位置取出对应的三张横断位图像;
对于腹部CT影像,步骤三B的实现方法为:
步骤三B.1:从步骤二得到的X轴方向上脊柱的中心位置记为x1。从影像数据中提取x1位置的矢状位图像;
步骤三B.2:使用预先训练的人工智能模型识别步骤三B.1得到的矢状位图像,得到其中所有脊椎和骶骨的位置;
步骤三B.3:在步骤三B.2得到的所有脊椎中位置最低且紧邻骶骨的一个记为L5脊椎,再向上依次标记为L4、L3、L2、L1。按L1至L5在Z轴上的中心位置取出对应的五张横断位图像;
对于上臂或大腿CT影像,步骤三C的实现方法为:
步骤三C.1:从步骤二得到的X轴方向上肱骨或股骨的中心位置记为x1。从影像数据中提取x1位置的矢状位图像;
步骤三C.2:使用预先训练的人工智能模型识别步骤三C.1得到的矢状位图像,得到其中肱骨或股骨的目标位置。按此位置取出横断位图像。
2.根据权利要求1所述的多模态影像体质成分标记、分析方法,其特征在于,所述目标区域的方块位定位图像于横断面水平进行分割处理,得到针对所述目标位置的目标区域的多模态影像的识别结果的步骤,包括:
将所述目标组织器官的定位图像输入至预先训练好的CT/MRI重叠比对模型中,利用CT/MRI重叠比对模型,将重叠出不同的方块定位图像进行针对性的分隔,得到针对所述目标位置的体质成分如肌肉或肌肉群、脏器、不同区域脂肪组织的多模态影像的多种所述分割结果;
其中,所述预先训练好的CT/MRI重叠比对模型包括依次连接的输入层、正向分割子网络、反向分割子网络、卷积层和sigmoid层;其中,所述正向分割子网络包括第四预设个数的卷积残差模块-池化层对;所述反向分割子网络包括第五预设个数的卷积残差模块-反池化层对。
3.根据权利要求1所述的多模态影像体质成分标记、分析方法,其特征在于,所述目标参数包括但不限于:内脏脂肪组织、腹部皮下脂肪组织、肢体皮下脂肪组织、肢体筋膜下脂肪组织、肢体肌间脂肪组织、目标位置的肌肉或肌肉群的面积及面积指数,内脏-皮下脂肪面积比值、肌肉或肌肉群的CT值、肌肉脂肪浸润程度百分数(CT检查)、肌肉质子密度脂肪分数(MRI检查)、肌肉腹部皮下脂肪信号比(MRI检查)、肌肉脂肪含量(MRI检查)、肝脏CT值、肝脏/脾脏CT值比率、肝脏质子密度脂肪分数(MRI检查),骨骼肌肌肉面积-内脏脂肪面积比率、骨骼肌肌肉面积-腹部皮下脂肪面积比率、骨骼肌脂肪浸润程度-内脏脂肪面积指数比率、骨骼肌脂肪浸润程度-腹部皮下脂肪面积指数比率、内脏脂肪组织面积指数-肝脏/脾脏CT比值比率、腹部皮下脂肪组织面积指数-肝脏/脾脏CT比值比率等。
CN202211108433.XA 2021-12-01 2022-09-13 一种基于人工智能技术的多模态体质成分标记、分析方法 Pending CN116228624A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111457128.7A CN114119584A (zh) 2021-12-01 2021-12-01 人体成分ct影像标记方法、系统、电子设备和存储介质
CN2021114571287 2021-12-01

Publications (1)

Publication Number Publication Date
CN116228624A true CN116228624A (zh) 2023-06-06

Family

ID=80369480

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111457128.7A Pending CN114119584A (zh) 2021-12-01 2021-12-01 人体成分ct影像标记方法、系统、电子设备和存储介质
CN202211108433.XA Pending CN116228624A (zh) 2021-12-01 2022-09-13 一种基于人工智能技术的多模态体质成分标记、分析方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111457128.7A Pending CN114119584A (zh) 2021-12-01 2021-12-01 人体成分ct影像标记方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (2) CN114119584A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187512B (zh) * 2022-06-10 2024-01-30 珠海市人民医院 肝细胞癌大血管侵犯风险预测方法、系统、装置及介质
CN116309385B (zh) * 2023-02-27 2023-10-10 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039510B2 (en) * 2015-09-22 2018-08-07 Siemens Healthcare Gmbh Visualizing different types of airway wall abnormalities
US10413256B2 (en) * 2017-09-13 2019-09-17 LiteRay Medical, LLC Systems and methods for ultra low dose CT fluoroscopy
CN110310287B (zh) * 2018-03-22 2022-04-19 北京连心医疗科技有限公司 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN110544245B (zh) * 2019-08-30 2020-11-27 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110610181B (zh) * 2019-09-06 2024-08-06 腾讯科技(深圳)有限公司 医学影像识别方法及装置、电子设备及存储介质
CN111311705B (zh) * 2020-02-14 2021-06-04 广州柏视医疗科技有限公司 基于webgl的高适应性医学影像多平面重建方法及系统
US20230129957A1 (en) * 2020-03-04 2023-04-27 The Trustees Of The University Of Pennsylvania Deep learning network for the analysis of body tissue composition on body-torso-wide ct images
CN113409309B (zh) * 2021-07-16 2023-10-27 北京积水潭医院 肌肉ct影像勾画方法、系统、电子设备和机器存储介质

Also Published As

Publication number Publication date
CN114119584A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
Hu et al. Parallel deep learning algorithms with hybrid attention mechanism for image segmentation of lung tumors
CN110223352B (zh) 一种基于深度学习的医学图像扫描自动定位方法
Sarkalkan et al. Statistical shape and appearance models of bones
CN116228624A (zh) 一种基于人工智能技术的多模态体质成分标记、分析方法
CN108364006A (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
CN108052977A (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN107358608A (zh) 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法
CN105719278A (zh) 一种基于统计形变模型的器官辅助定位分割方法
Kamiya et al. Automated segmentation of psoas major muscle in X-ray CT images by use of a shape model: preliminary study
JP2014006130A (ja) 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法
JP2014009945A (ja) 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法
CN113706435A (zh) 基于传统影像组学的胸部增强ct图像处理方法
CN110459303B (zh) 基于深度迁移的医疗影像异常检测装置
Langner et al. Identifying morphological indicators of aging with neural networks on large-scale whole-body MRI
Kamiya Deep learning technique for musculoskeletal analysis
CN114305473A (zh) 基于腹部ct图像和深度学习的身体成分自动测量系统
Hess et al. Deep learning for multi-tissue segmentation and fully automatic personalized biomechanical models from BACPAC clinical lumbar spine MRI
Aslam et al. Liver-tumor detection using CNN ResUNet
CN112927213B (zh) 一种医学图像分割方法、介质及电子设备
EP1447772B1 (en) A method of lung lobe segmentation and computer system
US20180192944A1 (en) Methods for monitoring compositional changes in a body
US20180192945A1 (en) Methods for predicting compositional body changes
CN109509189B (zh) 一种基于多个子区域模板的腹部肌肉标注方法及标注装置
CN111127636A (zh) 一种智能的复杂关节内骨折桌面级三维诊断系统
Wald et al. Automated quantification of adipose and skeletal muscle tissue in whole-body MRI data for epidemiological studies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination