CN107582097A - 一种基于多模态超声组学的智能辅助决策系统 - Google Patents

Abstract

本发明公开了一种基于多模态超声组学(ULTRASOMICS)的智能辅助决策系统。首先采集仪器的不同信号来源的超声数据，采用交互式或者手动分割方法定位超声图像内感兴趣区，获取疾病的形态学、血流灌注和硬度学数据，构建多模态的超声特征数据库；结合相关临床信息、实验室检查信息、基因芯片信息，对超声组学数据进行挖掘，利用机器学习方法构建不同模型，预测复发及生存率，早期判断疗效和放化疗敏感性，分析与基因组学、蛋白组学、转录组学和代谢组学的相关性。本发明作为宏观的超声组学，为个体化精准医疗提供无创可重复的评估手段。

Description

一种基于多模态超声组学的智能辅助决策系统

技术领域

本发明涉及医学图像大数据和人工智能辅助决策领域，具体来说是一种基于多模态超声组学(ULTRASOMICS)的智能辅助决策系统。

背景技术

超声成像是利用超声的声束扫描人体，通过对反射信号的接收、处理，以获得体内器官的图像。超声成像方法常用来判断脏器的位置、大小、形态，确定病灶的范围和物理性质，提供一些腺体组织的解剖图，鉴别胎儿的正常与异常，在眼科、妇产科及心血管系统、消化系统、泌尿系统的应用十分广泛。

但是目前的超声检查过度依赖于临床医生的主观经验，甚至要结合患者的体征等才可以给出结论。这种主观性过强的辅助诊疗体系，带来的弊端包括：超声医生培养曲线过长、质量良莠不齐、区域性超声医疗水平差异等。随着计算机辅助量化分析的发展，超声图像已经可以转化为标准化的图像大数据，利用大数据云平台和人工智能的算法，建立超声组学的智能临床辅助决策系统孕育而生。

发明内容

本发明的目的在于提供一种多模态超声图像大数据的智能挖掘方法，籍此提高医生的临床辅助决策水平的多模态超声组学(ULTRASOMICS)的智能辅助决策系统。

为了克服上述现有技术中的缺陷，本发明采用如下技术方案：

一种基于多模态超声组学的智能辅助决策系统，

步骤1，分别从超声仪器的不同信号来源，获取患者形态学、血流灌注学和硬度学的多模态超声数据；

(1)常规超声信号提取：将疾病超声信号以静态的Dicom类型文件进行存储，分析疾病的基础信号差异；

(2)超声射频信号提取：将超声信号以Raw Data类型文件进行存储，分析疾病的形态信号差异；

(3)超声剪切波信号提取：将超声剪切波成像信号以静态的Dicom类型文件进行存储，分析疾病的硬度质地差异；

(4)超声谐波信号提取：将超声造影谐波成像信号以动态的Dicom类型文件进行存储，分析疾病的时间灌注曲线差异；

步骤2，专家分析多模态超声图像的感兴趣区，利用交互式或人工方法分割图像，计算机辅助量化分析或专家分析提取相应的超声组学数据。根据结局指标、临床信息、实验数据对超声组学数据进行分析及挖掘，采用线性回归、机器学习等数据挖掘方法筛选高质量参数；

步骤3，利用传统预测模型或机器学习的分析方法建立智能辅助临床决策的系统，预测复发及生存率，早期判断疗效和放化疗敏感性，分析病理特征、临床分期、基因突变等相关性，辅助临床决策。

进一步地，所述多模态超声为常规超声、形态学超声、剪切波弹性超声、动态灌注超声造影；超声图像来源可为二维超声、三维超声、二维及三维动态超声、四维超声的数据。

进一步地，超声组学数据包括射频信号(raw data)来源数据，医学数字成像和通信(Dicom)来源数据，静态图像(JPEG、TIFF、RAW、BMP、GIF、PNG等)和动态图像(AVI、WMV、MPEG、MKV、RM等)来源数据。

进一步地，所述感兴趣区为需观察的病变部位，包括肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫及胎儿。

进一步地，所述步骤2中的所述交互式分割方法基于边界和基于区域的方法相结合，分别从用户标注出前景以及背景区域采集样本点，采用密集尺度不变特征变换描述局部灰度直方图作为样本点特征，使用Boosting算法学习，得出病灶区域判别模型。

进一步地，采用经典边缘检测算法，通过离线学习方法，得出病灶边缘判别模型；最后，运用分裂Bregman迭代算法，快速优化病灶区域判别模型和病灶边缘判别模型的组合模型，得到最优的分割结果。

进一步地，所述步骤2分别提取相应超声数据特征包括：a、病变部位的形态特征包括，基于一般图像变换和小波图像变换方法获取的空间阈或者矩阵特征，更详细地1)病变部位的灰度，如平均灰度值、灰度极差值、灰度积分、直方图、峰态、不对称性等；2)肿瘤形状，如径线、纵横比、周长、周长/长径等；3)纹理结构和/或灰度特征，如灰度标准差、灰度均数、扭曲度、熵；4)同时量化肿瘤与周围淋巴结、周围组织之间关系的特征参数；b、病变部位的硬度特征：平均硬度值、最大值、最小值、极差、标准差、均匀性、剪切波速度、硬度值积分、直方图、峰态、肿瘤与周围正常组织或脂肪组织的硬度比、速度比的测量扩展参数；c、病变部位的动态血流灌注特征：包括曲线下面积、平均通过时间、峰值时间、上升斜率、下降斜率、灌注指数、峰值强度和拟合优度。

进一步地，对超声组学的数据挖据方法包括超声组学数据预处理、超声组学特征工程及后续的无监督和有监督算法。其中传统统计学包括一般线性回归和广义线性回归；机器学习算法包括决策树、随机森林算法、逻辑回归、支持向量机、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫等构建的模型。

进一步地，所述需要处理的数据包括：患者的临床基本信息、实验室检查数据、病理组织结果、基因及蛋白组学信息、患者临床预后随访数据等。

进一步地，超声组学和临床结局指标、基因组学数据进行比对方法包括：采用传统的逻辑回归法计算有效的高风险指标，并根据这些指标建立诺莫图nomogram，利用决策分析曲线Decision Curve Analysis比较预测复发或生存率的准确性；采用决策树、Adaboost或者随机森林的方法建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积比较判断疗效和放化疗敏感性；采用t检验、pearson相关性分析比较分析病理特征、临床分期、基因突变相关性，辅助临床决策。

本发明首先采用交互式分割方法定位感兴趣区内超声图像，完成目标图像分割；分别根据形态学、血流灌注和硬度学数据，构建多模态的超声特征数据库；根据临床、病理和影像数据库内相关临床信息、实验室检查信息、基因芯片信息和影像学信息，结合超声组学数据进行临床决策分析，预测复发及生存率，早期判断疗效和放化疗敏感性；并分析与基因组学、蛋白组学、转录组学和代谢组学的相关性；从而给病人完整的个体化精准医疗建议。

本发明的基于多模态超声组学的辅助临床决策系统及方法，通过计算机辅助分析形态学、血流灌注和弹性超声图像的数据化，实现超声组学和临床预后、疗效敏感性的相关性分析，从而揭示临床结局和超声数据表现之间的关系，输出定量的分析结果；其以方法对输入超声数据进行人工或半自动处理，基于训练集和验证集的数据挖据和模型构建，对临床结局进行辅助决策。该系统和方法并不直接实现疾病的诊断，而是对多模态超声图像进行量化分析，为临床决策提供个性化辅助参考。

本发明的具体目标如下：(1)获取基本形态学、弹性硬度学及血流灌注学的多模态超声组学图像数据；(2)实现感兴趣区内超声图像的精确分割及相应超声数据特征提取，深度挖掘各模态的超声特征，建立完备的大数据化的超声特征数据和相应数据库；(3)基于大数据化的临床病例数据，结合患者的各临床信息与超声特征，采用机器学习方法，实现病变组织的病理分析、临床分期分析以及生存期等预测；并解释病变组织基因突变类型与超声特征的潜在关系，提供定性以及定量的预后建议。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1是本发明一种基于多模态超声组学的智能辅助决策系统实施例示意图；

图2是基于多模态超声组学的智能辅助决策系统对直肠癌智能辅助决策示意图；

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此以本发明的示意性实施例及说明用来解释本发明，但并不作为对本发明的限定。

如图1所示，一种基于多模态超声组学的智能辅助决策系统，

步骤1，分别从超声仪器的不同信号来源，获取患者形态学、血流灌注学和硬度学的多模态超声数据；

(1)常规超声信号提取：将疾病超声信号以静态的Dicom类型文件进行存储，分析疾病的基础信号差异；

(2)超声射频信号提取：将超声信号以Raw Data类型文件进行存储，分析疾病的形态信号差异；

(3)超声剪切波信号提取：将超声剪切波成像信号以静态的Dicom类型文件进行存储，分析疾病的硬度质地差异；

(4)超声谐波信号提取：将超声造影谐波成像信号以动态的Dicom类型文件进行存储，分析疾病的时间灌注曲线差异；

步骤2，专家分析多模态超声图像的感兴趣区，利用交互式或人工方法分割图像，计算机辅助量化分析或专家分析提取相应的超声组学数据。根据结局指标、临床信息、实验数据对超声组学数据进行分析及挖掘，采用线性回归、机器学习等数据挖掘方法筛选高质量参数。

步骤3，利用传统预测模型或机器学习的分析方法建立智能辅助临床决策的系统，预测复发及生存率，早期判断疗效和放化疗敏感性，分析病理特征、临床分期、基因突变等相关性，辅助临床决策。

多模态超声为常规超声、形态学超声、剪切波弹性超声、动态灌注超声造影；超声图像来源可为二维超声、三维超声、二维及三维动态超声、四维超声的数据。

超声组学数据包括射频信号(raw data)来源数据，医学数字成像和通信(Dicom)来源数据，静态图像(JPEG、TIFF、RAW、BMP、GIF、PNG等)和动态图像(AVI、WMV、MPEG、MKV、RM等)来源数据。

感兴趣区为需观察的病变部位，包括肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫及胎儿。

步骤2中的所述交互式分割方法基于边界和基于区域的方法相结合，分别从用户标注出前景以及背景区域采集样本点，采用密集尺度不变特征变换描述局部灰度直方图作为样本点特征，使用Boosting算法学习，得出病灶区域判别模型。

采用经典边缘检测算法，通过离线学习方法，得出病灶边缘判别模型；最后，运用分裂Bregman迭代算法，快速优化病灶区域判别模型和病灶边缘判别模型的组合模型，得到最优的分割结果。

步骤2分别提取相应超声数据特征包括：a、病变部位的形态特征包括，基于一般图像变换和小波图像变换方法获取的空间阈或者矩阵特征，更详细地1)病变部位的灰度，如平均灰度值、灰度极差值、灰度积分、直方图、峰态、不对称性等；2)肿瘤形状，如径线、纵横比、周长、周长/长径等；3)纹理结构和/或灰度特征，如灰度标准差、灰度均数、扭曲度、熵；4)同时量化肿瘤与周围淋巴结、周围组织之间关系的特征参数；b、病变部位的硬度特征：平均硬度值、最大值、最小值、极差、标准差、均匀性、剪切波速度、硬度值积分、直方图、峰态、肿瘤与周围正常组织或脂肪组织的硬度比、速度比的测量扩展参数；c、病变部位的动态血流灌注特征：包括曲线下面积、平均通过时间、峰值时间、上升斜率、下降斜率、灌注指数、峰值强度和拟合优度。

对超声组学的数据挖据方法包括超声组学数据预处理、超声组学特征工程及后续的无监督和有监督算法。其中传统统计学包括一般线性回归和广义线性回归；机器学习算法包括决策树、随机森林算法、逻辑回归、支持向量机、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫等构建的模型。

需要处理的数据包括：患者的临床基本信息、实验室检查数据、病理组织结果、基因及蛋白组学信息、患者临床预后随访数据等。

超声组学和临床结局指标、基因组学数据进行比对方法包括：采用传统的逻辑回归法计算有效的高风险指标，并根据这些指标建立诺莫图nomogram，利用决策分析曲线Decision Curve Analysis比较预测复发或生存率的准确性；采用决策树、Adaboost或者随机森林的方法建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积比较判断疗效和放化疗敏感性；采用t检验、pearson相关性分析比较分析病理特征、临床分期、基因突变相关性，辅助临床决策。

如图2下面结合基于多模态超声组学的直肠癌的计算机辅助预后方法对本发明进行详细描述。

步骤S0：多模态超声图像获取。经直肠超声获取直肠肿物的常规二维图像，剪切波弹性成像获取直肠肿物硬度图像，超声造影谐波成像获取直肠中午血流灌注学动态图像。超声信号包括二维静态图像(TIFF或Dicom)、剪切波弹性成像(Dicom)和动态造影成像(AVI或Dicom)来源。感兴趣区包括直肠肿物、周围正常肠壁、肿物周边脂肪、周边正常脂肪和淋巴结。

步骤S1：超声组学数据库确定。前瞻性收集103例经手术病理证实的直肠癌多模态超声图像，82例作为训练病例，21例作为验证病例。多模态超声图像包括：经直肠超声二维、弹性超声图像、超声造影图像。临床数据包括：患者基本信息、实验室检查、不同TNM分期、病理分期、基因突变类型以及随访生存时间等。

对数据库中直肠癌患者的超声图像进行人工或交互式分割。

步骤S2：对分割后的直肠癌超声图像进行数据提取，二维超声图像利用软件分析获取以下量化特征：常规灰度参数，如平均值、极差值、灰度积分、峰态、不对称性等；肿瘤基本形状参数，如径线、周长、分叶系数等；纹理参数，如扭曲度、熵。

弹性图像利用定量分析方法，量化肿瘤基本统计学硬度值、临近肿瘤组织硬度信息及正常组织硬度信息，分析比较最大值、均值、最小值、标准差等弹性学差异。

超声造影图像利用比较定量分析造影剂分布比、到达时间比及肿瘤灌注常规参数，如曲线下面积、平均通过时间、峰值时间、灌注指数、峰值强度和拟合优度等参数。三维超声造影图像信息提取基于灰度直方和灰度共生矩阵。

在本实施例中，对103例经手术病理证实的直肠癌患者多模态超声图像进行特征量化，提取统计特征、纹理特征、血流灌注参数、三维形态特征等特征，实现所有数据的特征提取。

步骤S3：基于R语言，利用超声组学参数，采用高级统计方法和决策树/随机森林/支持向量机/Adaboost等机器学习方法，将一个完备的训练模型用于测试数据集实现未知病变的分析和预测，得到患者的病理、临床分期、基因信息和生存期的定性以及定量的分析结果，建立权重方程式的风险评分，并建立可视化nomogram，优化的精准预测模型，辅助临床决策，得到患者的病理、临床分期、基因信息和生存期的定性以及定量的分析结果。

在本实施例中，对103例经手术病理证实的直肠癌多模态超声图像进行分析时发现，多模态特征能够正确预测直肠癌分期和淋巴结转移等。综合形态学、血流灌注学及硬度学特征，所使用的多模态超声图像数据的预后结果与实际的吻合度达到了88.8％，表示本发明所提出的预后方案能够对直肠癌患者的淋巴结转移的定量辅助预测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态超声组学的智能辅助决策系统，其特征在于：

步骤1，分别从超声仪器的不同信号来源，获取患者形态学、血流灌注学和硬度学的多模态超声数据；

(1)常规超声信号提取：将疾病超声信号以静态的Dicom类型文件进行存储，分析疾病的基础信号差异；

(2)超声射频信号提取：将超声信号以Raw Data类型文件进行存储，分析疾病的形态信号差异；

(3)超声剪切波信号提取：将超声剪切波成像信号以静态的Dicom类型文件进行存储，分析疾病的硬度质地差异；

(4)超声谐波信号提取：将超声造影谐波成像信号以动态的Dicom类型文件进行存储，分析疾病的时间灌注曲线差异；

步骤2，专家分析多模态超声图像的感兴趣区，利用交互式或人工方法分割图像，计算机辅助量化分析或专家分析提取相应的超声组学数据。根据结局指标、临床信息、实验数据对超声组学数据进行分析及挖掘，采用线性回归、机器学习数据挖掘方法筛选高质量参数；

步骤3，利用传统预测模型或机器学习的分析方法建立智能辅助临床决策的系统，预测复发及生存率，早期判断疗效和放化疗敏感性，分析病理特征、临床分期、基因突变相关性，辅助临床决策。

2.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

所述多模态超声为常规超声、形态学超声、剪切波弹性超声、动态灌注超声造影；超声图像来源可为二维超声、三维超声、二维及三维动态超声、四维超声的数据。

3.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

超声组学数据包括射频信号raw data来源数据，医学数字成像和通信Dicom来源数据，静态图像和动态图像来源数据。

4.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

所述感兴趣区为需观察的病变部位，包括肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫及胎儿。

5.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

所述步骤2中的所述交互式分割方法基于边界和基于区域的方法相结合，分别从用户标注出前景以及背景区域采集样本点，采用密集尺度不变特征变换描述局部灰度直方图作为样本点特征，使用Boosting算法学习，得出病灶区域判别模型。

6.根据权利要求5所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

采用经典边缘检测算法，通过离线学习方法，得出病灶边缘判别模型；最后，运用分裂Bregman迭代算法，快速优化病灶区域判别模型和病灶边缘判别模型的组合模型，得到最优的分割结果。

7.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

所述步骤2分别提取相应超声数据特征包括：a、病变部位的形态特征包括，基于一般图像变换和小波图像变换方法获取的空间阈或者矩阵特征；b、病变部位的硬度特征：平均硬度值、最大值、最小值、极差、标准差、均匀性、剪切波速度、硬度值积分、直方图、峰态、肿瘤与周围正常组织或脂肪组织的硬度比、速度比的测量扩展参数；c、病变部位的动态血流灌注特征：包括曲线下面积、平均通过时间、峰值时间、上升斜率、下降斜率、灌注指数、峰值强度和拟合优度。

8.根据权利要求7所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

对超声组学的数据挖据方法包括超声组学数据预处理、超声组学特征工程及后续的无监督和有监督算法。其中传统统计学包括一般线性回归和广义线性回归；机器学习算法包括决策树、随机森林算法、逻辑回归、支持向量机、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫构建的模型。

9.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

所述需要处理的数据包括：患者的临床基本信息、实验室检查数据、病理组织结果、基因及蛋白组学信息、患者临床预后随访数据。

10.根据权利要求1所述的基于多模态超声组学的智能辅助决策系统，其特征在于：

超声组学和临床结局指标、基因组学数据进行比对方法包括：采用传统的逻辑回归法计算有效的高风险指标，并根据这些指标建立诺莫图nomogram，利用决策分析曲线Decision Curve Analysis比较预测复发或生存率的准确性；采用决策树、Adaboost或者随机森林的方法建立分类模型，并利用验证组的准确率、错误率或受试者工作曲线下面积比较判断疗效和放化疗敏感性；采用t检验、pearson/spearman相关性分析比较分析病理特征、临床分期、基因突变相关性，辅助临床决策。