CN107247971B

CN107247971B - 一种超声甲状腺结节风险指标的智能分析方法及系统

Info

Publication number: CN107247971B
Application number: CN201710505381.2A
Authority: CN
Inventors: 罗渝昆; 张明博; 张诗杰; 杜华睿; 张珏; 方竞
Original assignee: Peking University; Chinese PLA General Hospital
Current assignee: Peking University; Chinese PLA General Hospital
Priority date: 2017-06-28
Filing date: 2017-06-28
Publication date: 2020-10-09
Anticipated expiration: 2037-06-28
Also published as: CN107247971A

Abstract

本发明公布了一种超声甲状腺结节风险指标的智能分析方法及系统，基于超声数据，利用深度神经网络，对甲状腺结节风险指标进行定量分析；包括：获取图像数据和统计数据；输入到结节识别器，得到输出层结果，进行聚类分析，得到聚类中心；将聚类中心输入深度自编码器输入层进行深度学习得到深度特征数据；可通过基于甲状腺特征的正则化优化方法优化深度自编码器；利用深度特征数据，再向用户请求获取附加信息；将附加信息和深度特征数据输入到分类器，基于人工神经网络进行分析，得到结节风险指标。本发明健壮性高，敏感性好，可用于大规模临床使用。

Description

一种超声甲状腺结节风险指标的智能分析方法及系统

技术领域

本发明属于信息技术领域，涉及甲状腺超声数据的定量评估技术，特别涉及一种基于超声数据的深度神经网络的甲状腺结节风险指标定量分析方法及系统。

背景技术

甲状腺结节长期以来一直靠超声医师通过人眼，对超声图像进行主观的评价。现有技术尽管采用一些半定量评价指标，但仍无法解决大多数的评价需求。医师在相互交流和学习中，经常使用一些主观叙述，容易产生误解。因此，临床迫切需要一种高效稳定，重复性好的定量评价工具。

现有的对结节病变进行分析评估技术中，中国专利发明201010514921.1记载了一种乳腺病变定量化影像评价系统。该乳腺病变定量化影像评价系统包括一套乳腺肿瘤病变生长扩散的非线性数据模型。其特点是通过边界轮廓分形维、肿瘤内部的复杂分形维、异质性及包块化程度等,并综合乳腺病变钙化特征,及临床特征性征象,考查乳腺肿瘤生长扩散参数。该技术方案提供了一种简洁有效的实用性肿瘤影像量化评估方法,能够计算出肿瘤良恶性预测数值，模型较简洁，计算速度较快，针对乳腺肿瘤有很好的效果。但是，该方案仅针对乳腺肿瘤专门设计，无法适应对包括甲状腺在内的其它组织的结节病变进行分析评估的实际应用需要。

发明内容

为了克服上述现有技术的不足，本发明提供一种超声甲状腺结节风险指标的智能分析方法及系统，基于超声数据，利用深度神经网络，对甲状腺结节风险指标进行定量分析；本发明健壮性高，敏感性好，可用于大规模临床使用。

本发明提供的技术方案是：

一种超声甲状腺结节风险指标的智能分析方法，利用深度神经网络，针对超声数据进行定量分析，获取甲状腺结节风险指标；包括如下步骤：

1)读取超声数据，进行预处理，获取图像数据和统计数据；

具体实施中，从设备上读取DICOM(Digital Imaging and Communications inMedicine，医学数字成像和通信)超声序列数据，提取其中的图像数据并计算其统计分布；

2)将图像数据输入到深度人工神经网络，以输出层结果为判定结果，大于一设定阈值则将其输入存到甲状腺结节列表中；重复该操作直至遍历全部图像数据；将甲状腺结节列表进行聚类分析，得到聚类中心；

3)将聚类中心输入深度自编码器输入层，进行深度学习抽象，以输出层结果作为深度特征数据；进一步可通过基于甲状腺特征的正则化优化方法优化深度自编码器；

4)利用深度特征数据，再向用户请求获取附加信息；将附加信息和深度特征数据输入到分类器，基于人工神经网络进行分析，得到结节风险指标；

5)将步骤4)得到的结节风险指标可视化呈现给用户。

用户还可通过交互操作对结节风险指标进行纠正，再转到步骤3)对参数进行修正并更新。

针对上述超声甲状腺结节风险指标的智能分析方法，进一步地，步骤1)进行预处理包括拆解原始数据，去除患者姓名、扫描日期等文字信息，获取原始图像数据；再通过纳卡伽米统计分布法对原始图像数据进行分析，得到特征参数形状因子和尺度因子分布图，作为统计数据。

针对上述超声甲状腺结节风险指标的智能分析方法，进一步地，步骤2)具体包括如下步骤：

21)从原始图像数据中裁取各自尺寸的一小块，感兴趣区域图像的尺寸可不同，是多个不同的可调尺寸，作为感兴趣区域图像，将原始图像数据划分成多组感兴趣区域图像，发送到结节识别器进行识别，输出多组识别数据；

结节识别器是一个人工神经网络，包括2-4层，由1000-3000个神经元组成；底层神经元读取多组感兴趣区域图像，顶层神经元输出多组识别数据；

22)利用聚类筛选器对所述多组识别数据进行聚类，得到聚类中心。

本发明具体实施时，聚类筛选器是一个无监督聚类器。

针对上述超声甲状腺结节风险指标的智能分析方法，进一步地，步骤3)进行深度学习抽象具体包括如下步骤：

31)设置深度自编码器所需的各类参数，组成一组权值矩阵；

32)将步骤2)得到的聚类中心输入到深度自编码器，提取得到深度特征；

33)根据用户更正标签和深度特征，根据下式对步骤31)中的权值矩阵进行基于甲状腺特征的正则化优化，得到优化后的各类参数：

式中，J(W,b)是传统神经网络损失函数，f_i是当前结节的深度特征，f_v是与用户更正标签对应的类的平均深度特征，f_j是与用户更正标签不对应的所有类的平均深度特征，α和β为可调参数；用户更正标签为由用户选择的结节与甲状腺指南所对应甲状腺特征分级类别。

针对上述超声甲状腺结节风险指标的智能分析方法，进一步地，步骤4)所述分类器是一个有监督学习的分类器，用于进行多通道信息融合，该分类器的输入为步骤3)得到的深度特征数据、步骤1)中的统计数据和用户附加信息，该分类器的输出是结节风险指标。

本发明还提供一种超声甲状腺结节风险指标的智能分析系统，包括编码模块、滑窗模块、深度自编码模块、多通道信息融合模块和用户交互模块；其中：

1)编码模块，用于读取超声数据，将图像数据和统计数据发送给滑窗模块；

2)滑窗模块，用于接受编码模块传来的图像数据和统计数据，滑窗采集并统合后将病灶数据发送给深度自编码模块；

3)深度自编码模块，用于接收滑窗模块发来的病灶数据，提取深度特征数据并发送给多通道信息融合模块，并接收用户交互模块反馈的用户更正标签，对自身储存的权值进行优化；

4)多通道信息融合模块，用于接收深度自编码模块发来的深度特征数据和用户交互模块发来的附加信息，分类后向用户交互模块发送结节风险指标；

5)用户交互模块，用于采集用户输入的信息，向多通道信息融合模块发送附加信息，接收多通道信息融合模块发来的结节风险指标并可视化呈现给用户，接收用户反馈的手工更正标签，发送给深度自编码模块。

针对上述的基于深度神经网络的甲状腺结节定量分析系统，进一步地，其中的编码模块包括：数据接口、预处理模块和纳卡伽米统计分布模块；其中：

数据接口，用于读取超声仪器的数据，提取其中包含图像的原始数据，发送给预处理模块；预处理模块将所述的原始数据拆解，将其中的原始图像数据发送给纳卡伽米统计分布模块和滑窗模块；纳卡伽米统计分布模块，用于将原始图像数据利用纳卡伽米统计分布得到特征参数形状因子和尺度因子分布图，作为统计数据发送给滑窗模块。

作为优选，所述的基于深度神经网络的甲状腺结节定量分析系统，其中，滑窗模块包括滑窗核组、结节识别器、聚类筛选器；滑窗核组由多个不同尺寸的滑窗核组成，接收编码模块发送的图像数据，从该图像数据中裁取各自尺寸的一小块作为感兴趣区域图像，发送给结节识别器，直至遍历完全部图像数据；结节识别器为一2-4层，由1000-3000个神经元组成的人工神经网络，底层神经元读取滑窗核组传来的多组感兴趣区域图像，并将顶层神经元输出的多组识别数据发送给聚类筛选器；聚类筛选器为一无监督聚类器，对所述的多组识别数据进行聚类，将聚类中心发送给深度自编码模块。

作为优选，所述的基于深度神经网络的甲状腺结节定量分析系统中的深度自编码模块包括自编码网络、极值优化模块和权值储存器；权值储存器为一组矩阵，记录了自编码网络所需的各类参数；自编码网络为一深度自编码器，以滑窗模块发来的聚类中心为输入，以权值储存器中存储的数据为参数，将经过深度自编码器提取的深度特征发送给多通道信息融合模块和极值优化模块；极值优化模块接收用户交互模块发送的用户更正标签和自编码网络发送的深度特征，通过神经网络损失函数对权值储存器中的数据进行基于甲状腺特征的正则化优化。用户更正标签，是由用户选择的结节与甲状腺指南所对应甲状腺特征分级类别。

作为优选，所述的基于深度神经网络的甲状腺结节定量分析系统，其中的多通道信息融合模块是一有监督学习的分类器，其输入为深度自编码模块发送的深度特征、编码模块发送的统计数据和用户交互模块发送的附加信息，输出结节风险指标，并发送给用户交互模块。

作为优选，所述的基于深度神经网络的甲状腺结节定量分析系统，其中的用户交互模块为一可视化展示交互平台，接收用户输入的附加信息，发送给多通道信息融合模块，获取多通道信息融合模块发送的结节风险指标呈现给用户，接收用户对该结节的人工评价并发送给深度自编码模块。

与现有技术相比，本发明的有益效果是：

本发明提供一种超声甲状腺结节风险指标的智能分析方法及系统，基于超声数据，利用深度神经网络，对甲状腺结节风险指标进行定量分析；本发明健壮性高，敏感性好，可用于大规模临床使用。本发明的优点包括：

(一)本发明针对病灶特征对自编码器进行带有正则化约束的导向训练，能够对甲状腺结节提供具有针对性的分析评价。

(二)本发明基于深度神经网络进行定量评价，健壮性高，错误率少，具有动态学习能力，能够适应变化的疾病大环境。

附图说明

图1为本发明提供的智能分析方法及系统的结构与流程框图。

图2为本发明提供的智能分析方法及系统中编码模块的结构框图。

图3为本发明提供的智能分析方法及系统中滑窗模块的结构框图。

图4为本发明提供的智能分析方法及系统中深度自编码模块的结构框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种超声甲状腺结节风险指标的智能分析方法及系统，基于超声数据，利用深度神经网络，对甲状腺结节风险指标进行定量分析；本发明健壮性高，敏感性好，可用于大规模临床使用。

图1示意了本发明提供的基于深度神经网络的甲状腺结节定量分析方法及系统的结构和流程，系统包括编码模块1，滑窗模块2，自编码模块3，多通道信息融合模块4和用户交互模块5。

其中，编码模块1与超声采集仪器相接，从设备上读取DICOM超声序列数据，提取其中的图像数据并计算其统计分布，发送给滑窗模块2。滑窗模块2接收到编码模块1的数据后遍历完全部图像数据，寻找结节。将找到的结节截取下来，进行聚类分析后，将聚类中心发送给自编码模块3。自编码模块3对聚类中心进行深度学习抽象，将结果的深度特征数据发送给多通道信息融合模块4。多通道信息融合模块4接收到深度特征数据后，向用户交互模块5请求附加信息，用户根据自身情况进行填写后，用户交互模块5将附加信息发送给多通道信息融合模块4，多通道信息融合模块综合附加信息和深度特征数据，基于人工神经网络进行分析，将得到的结节风险指标发送给用户交互模块5。用户交互模块5将受到的结节风险指标可视化呈现给用户，如指标与用户期望不符，由用户输入纠正后的结节风险指标，即用户更正标签，并将其发送给自编码模块3。自编码模块3收到用户更正标签后对其参数进行修正，并更新。

参照图2，所述的编码模块1包括数据接口11，预处理模块12，纳卡伽米统计分布模块 13，给预处理模块12去除患者姓名、扫描日期等文字信息，将图像信息发送给纳卡伽米统计分布模块13和滑窗模块2。纳卡伽米统计分布模块对图像信息进行分析，将统计数据发送给滑窗模块2。

参照图3，所述的滑窗模块2包括滑窗核组21，结节识别器22，聚类筛选器23。滑窗核组包含多个滑窗核，如滑窗核211，滑窗核212，滑窗核213。以图3为例，3枚滑窗核分别接受从编码模块1传来的图像数据，按照不同的尺寸，每次取对应尺寸的图像块，将取出的感兴趣区域图像发给结节识别器22，直至各滑窗核均遍历完全图。结节识别器由底层神经元读取滑窗核组21传来的多组感兴趣区域图像，按神经网络传递方式，逐层向上传播，直至顶层，顶层将最终结果的多组识别数据发送给聚类筛选器23。聚类筛选器23是一无监督聚类器，如消息传播聚类器，自组织神经网络，最近邻聚类器等，聚类筛选器完成聚类后，将各类的聚类中心作为筛选后的最有代表性数据发送给自编码模块3。

参照图4，所述的自编码模块3包括自编码网络31，权值优化模块32和权值储存器33。自编码网络31为一深度自编码器，以滑窗模块发来的聚类中心为输入，当有多个聚类中心输入时，看作多个独立的病灶进行识别。自编码网络运行时，以权值储存器33中存储的数据为参数，基于人工神经网络传递规则进行传递，将经过深度自编码器最顶层的输出，作为自编码网络31提取出的深度特征，发送给多通道信息融合模块4和极值优化模块32。极值优化模块在接收到用户交互模块5发送的用户更正标签后，由自编码网络31发送的深度特征，根据下式对权值储存器33中的数据进行基于甲状腺特征的正则化优化，使自编码器的聚类结果依据甲状腺标准分类得到类间距离最大，类内距离最小的结果，引导自编码模块的输出向着甲状腺评价特化的方向优化。

式中，J(W,b)是传统神经网络损失函数，f_i是当前结节的深度特征，f_v是与用户更正标签对应的类的平均深度特征，f_j是与用户更正标签不对应的所有类的平均深度特征，α和β为可调参数。所述的权值储存器33为一储存器，储存有一组矩阵，记录了自编码网络所需的各类参数。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种超声甲状腺结节风险指标的智能分析系统，包括编码模块、滑窗模块、深度自编码模块、多通道信息融合模块和用户交互模块；其中：

编码模块用于读取超声数据，将图像数据和统计数据发送给滑窗模块；

滑窗模块用于接受编码模块传来的图像数据和统计数据，滑窗采集并统合后将病灶数据发送给深度自编码模块；

所述滑窗模块包括滑窗核组、结节识别器和聚类筛选器；所述滑窗核组由多个不同尺寸的滑窗核组成，接收编码模块发送的图像数据，从该图像数据中裁取感兴趣区域图像，发送给结节识别器，直至遍历完全部图像数据；所述结节识别器为人工神经网络，包括2-4层，由1000-3000个神经元组成；底层神经元读取滑窗核组传来的多组感兴趣区域图像，并将顶层神经元输出的多组识别数据发送给聚类筛选器；聚类筛选器为一无监督聚类器，对所述多组识别数据进行聚类，通过设定判定阈值，当输出层结果大于所述判定阈值时，将输出层结果存到甲状腺结节列表中；遍历全部图像数据之后，将甲状腺结节列表进行聚类分析，由此得到聚类中心；再将聚类中心发送给深度自编码模块；深度自编码模块用于接收滑窗模块发来的病灶数据，提取深度特征数据并发送给多通道信息融合模块，并接收用户交互模块反馈的用户更正标签，对自身储存的权值进行优化；

所述深度自编码模块包括自编码网络、极值优化模块和权值储存器；所述权值储存器为一组矩阵，用于记录自编码网络所需的参数；所述自编码网络为一深度自编码器，以滑窗模块发来的聚类中心为输入，以权值储存器中存储的权值矩阵数据为参数，将经过自编码网络提取的深度特征发送给多通道信息融合模块和极值优化模块；极值优化模块接收用户交互模块发送的用户更正标签和自编码网络发送的深度特征，通过神经网络损失函数对权值储存器中的数据进行基于甲状腺特征的正则化优化；所述用户更正标签是由用户选择的结节与甲状腺指南所对应甲状腺特征分级类别；

对权值矩阵进行正则化优化得到优化后的各类参数：

式中，J(W,b)是传统神经网络损失函数；f_i是当前结节的深度特征；f_v是与用户更正标签对应的类的平均深度特征；f_j是与用户更正标签不对应的所有类的平均深度特征；α和β为可调参数；用户更正标签为由用户选择的结节与甲状腺指南所对应甲状腺特征分级类别；

多通道信息融合模块用于接收深度自编码模块发来的深度特征数据和用户交互模块发来的附加信息，分类后向用户交互模块发送结节风险指标；

用户交互模块，用于采集用户输入的信息，向多通道信息融合模块发送附加信息，接收多通道信息融合模块发来的结节风险指标并可视化呈现给用户，接收用户反馈的手工更正标签，发送给深度自编码模块。

2.如权利要求1所述智能分析系统，其特征是，所述编码模块包括：数据接口、预处理模块和纳卡伽米统计分布模块；其中：数据接口用于读取超声仪器的数据，提取其中包含图像的原始数据，发送给预处理模块；预处理模块将所述原始数据拆解，将其中的原始图像数据发送给纳卡伽米统计分布模块和滑窗模块；纳卡伽米统计分布模块用于将原始图像数据利用纳卡伽米统计分布得到特征参数形状因子和尺度因子分布图，作为统计数据发送给滑窗模块。

3.如权利要求1所述智能分析系统，其特征是，

所述多通道信息融合模块是一有监督学习的分类器，输入为深度自编码模块发送的深度特征、编码模块发送的统计数据和用户交互模块发送的附加信息，输出结节风险指标，并发送给用户交互模块；

所述用户交互模块为一可视化展示交互平台，接收用户输入的附加信息，发送给多通道信息融合模块，获取多通道信息融合模块发送的结节风险指标呈现给用户，接收用户对该结节的人工评价并发送给深度自编码模块。

4.一种超声甲状腺结节风险指标的智能分析方法，利用深度人工神经网络，针对超声数据进行定量分析，获取甲状腺结节风险指标；包括如下步骤：

1)读取超声数据，进行预处理，获取图像数据和统计数据；

2)将获取的图像数据输入到结节识别器，得到输出层结果；通过对所述输出层结果进行聚类分析，得到聚类中心；所述结节识别器为一深度人工神经网络，包括2-4层，由1000-3000个神经元组成；底层神经元读取多组感兴趣区域图像，顶层神经元输出多组识别数据，为输出层结果；通过设定判定阈值，当输出层结果大于所述判定阈值时，将输出层结果存到甲状腺结节列表中；遍历全部图像数据之后，将甲状腺结节列表进行聚类分析，由此得到聚类中心；

3)设置深度自编码器所需的参数，将所述聚类中心输入深度自编码器的输入层进行深度学习，以深度自编码器的输出层结果作为深度特征数据；进一步可通过基于甲状腺特征的正则化优化方法优化深度自编码器；进行深度学习具体包括如下步骤：

31)将设置深度自编码器所需的参数组成一组权值矩阵；

33)根据用户更正标签和深度特征，根据下式对步骤31)中的权值矩阵进行正则化优化，得到优化后的各类参数：

4)利用深度特征数据，再向用户请求获取附加信息；将附加信息和深度特征数据输入到分类器，基于人工神经网络进行分析，得到结节风险指标；还可通过用户交互操作对结节风险指标进行纠正，再转到步骤3)对深度自编码器的参数进行修正并更新。

5.如权利要求4所述智能分析方法，其特征是，步骤1)从设备上读取DICOM超声序列数据进行预处理，所述预处理包括拆解原始数据、去除文字信息，获取原始图像数据；再通过纳卡伽米统计分布法对原始图像数据进行统计分析，得到特征参数形状因子和尺度因子分布图，作为统计数据。

6.如权利要求4所述智能分析方法，其特征是，步骤2)所述聚类分析具体包括如下步骤：

21)从图像数据中裁取多个可调尺寸的小块，作为感兴趣区域图像；将图像数据划分成多组感兴趣区域图像，发送到结节识别器进行识别，输出多组识别数据；

22)利用聚类筛选器对所述多组识别数据进行聚类，得到聚类中心；所述聚类筛选器是一个无监督聚类器。

7.如权利要求4所述智能分析方法，其特征是，步骤4)所述分类器是一个有监督学习的分类器，用于进行多通道信息融合，分类器的输入为步骤3)得到的深度特征数据、步骤1)中的统计数据和用户附加信息，分类器的输出是结节风险指标。