CN111402207B - 一种基于复合神经网络的超声造影视频数据分析方法 - Google Patents

Abstract

本发明公开了一种基于复合神经网络的超声造影(CEUS)视频数据分析方法，通过获取待分析肝脏病变的超声造影多期视频数据，从多期视频数据中提取出多个超声造影时序单元，并标注多个超声造影时序单元，再通过复合神经网络提取各时序单元的综合信息，并根据各时序单元的综合信息进行后续网络训练，得到针对肝脏病变判定的参数权重，根据网络参数和参数权重构建肝脏病变分析模型，最后将待分析肝脏病变的超声造影多期视频数据输入至肝脏病变分析模型，输出待分析肝脏病变的分析结果。采用本发明提供的实施例，不仅能够充分利用CEUS时序信息，还降低了对视频分析的计算机算力需求，从而能够快速地对待分析肝脏病变进行分析。

Description

一种基于复合神经网络的超声造影视频数据分析方法

技术领域

本发明涉及医疗及数据处理技术领域，尤其涉及一种基于复合神经网络的超声造影视频数据分析方法。

背景技术

CEUS是评估肝脏病变的三大常规影像手段之一(其他两者为CT、MR)，其广泛的应用为临床研究积累了大量的宝贵数据。但由于不同仪器、不同成像条件及不同操作者等造成的数据异质性，针对CEUS的计算机辅助诊断技术开发较少，极大限制了其技术发展。

CEUS视频能从血流灌注学提供与病变密切相关的影像信息，反映了一个连续、动态变化的增强-消退过程，即时序信息。这是CEUS相较于其他影像手段的最大优势所在。

随着深度神经网络的发展，出现了针对时序信息分析的网络，即从时间和空间上实现特征表示的网络。如长短时记忆网络(Long Short-Term Memory,LSTM)和3D CNN便是这一领域的突破。LSTM包含独特的“记忆单元”以存储和调用随时序变化的图像前后信息；3D CNN可以从相邻帧的多个信息通道中分别进行卷积，然后整合各通道信息以获得最终特征表示。两者为有效整合CEUS多期视频的时序信息以提供了技术支持。

然而视频是由连续的单帧图像组成的，一例1-2分钟的CEUS视频就包含了数千帧图像，数据大小往往达到数百兆，所以对其进行分析需要强大的计算机算力。

发明内容

本发明实施例的目的是提供一种基于复合神经网络的超声造影视频数据分析方法，在充分利用CEUS时序信息的同时，降低了对视频分析的计算机算力需求。

为实现上述目的，本发明实施例提供了一种基于复合神经网络的超声造影视频数据分析方法，包括以下步骤：

获取待分析肝脏病变的超声造影多期视频数据；

从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元；

通过复合神经网络提取各时序单元的综合信息，并根据所述各时序单元的综合信息进行后续网络训练，得到针对肝脏病变判定的参数权重，根据网络参数和所述参数权重构建肝脏病变分析模型；

将所述待分析肝脏病变的超声造影多期视频数据输入至所述肝脏病变分析模型，输出所述待分析肝脏病变的分析结果。

进一步的，所述获取待分析肝脏病变的超声造影多期视频数据，具体为：

对待分析肝脏病变进行多期分段视频数据采集，得到多期视频数据；

其中，每期包括动脉期、门脉期以及延迟期。

进一步的，所述从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元，具体为：

按照预设的时间节点在每期视频数据的动脉期、门脉期以及延迟期中各提取单帧图像，得到多个包含三张单帧图像的组合，并根据原有动脉期-门脉期-延迟期的时间序列，对所述多个包含三张单帧图像的组合进行排序得到多个超声造影时序单元，同时标注所述多个超声造影时序单元。

进一步的，所述动脉期预设的时间节点为10-30秒，所述门脉期预设的时间节点为31-120秒，所述延迟期预设的时间节点为121-360秒。

进一步的，所述复合神经网络由特征提取网络和多期特征整合网络组成；

所述特征提取网络，用于提取时序单元中各单帧图像的特征；其中，单帧特征间相互独立；

所述多期特征整合网络，用于以时序单元中单帧图像的时间顺序依次读取该时序单元特征，将各帧图像进行信息整合，得到该时序单元的综合信息。

进一步的，在所述获取待分析肝脏病变的超声造影多期视频数据之后，还包括：

对所述多期视频数据进行裁剪，剔除冗余信息以保留目标病灶和一定范围的病灶周围肝实质。

与现有技术相比，具有如下有益效果：

本发明实施例提供的基于复合神经网络的超声造影视频数据分析方法，通过获取待分析肝脏病变的超声造影多期视频数据，从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元，再通过复合神经网络提取各时序单元的综合信息，并根据所述各时序单元的综合信息进行后续网络训练，得到针对肝脏病变判定的参数权重，根据网络参数和所述参数权重构建肝脏病变分析模型，最后将所述待分析肝脏病变的超声造影多期视频数据输入至所述肝脏病变分析模型，输出所述待分析肝脏病变的分析结果。采用本发明提供的实施例，不仅能够充分利用CEUS时序信息，还降低了对视频分析的计算机算力需求，从而能够快速地对待分析肝脏病变进行分析。

附图说明

图1是本发明提供的基于复合神经网络的超声造影视频数据分析方法的一个实施例的流程示意图；

图2是本发明提供的基于复合神经网络的超声造影视频数据分析方法的一个实施例的时序单元提取示意图；

图3是本发明提供的基于复合神经网络的超声造影视频数据分析方法的一个实施例的复合神经网络示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

请参见图1，本发明实施例提供了一种基于复合神经网络的超声造影视频数据分析方法，包括步骤S1-S4；

S1，获取待分析肝脏病变的超声造影多期视频数据。

在本实施例中，步骤S1具体为：对待分析肝脏病变进行多期分段视频数据采集，得到多期视频数据；

其中，每期包括动脉期、门脉期以及延迟期。

作为本发明的优选实施例，在步骤S1之后，还包括：对所述多期视频数据进行裁剪，剔除冗余信息以保留目标病灶和一定范围的病灶周围肝实质。

S2，从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元。

在本实施例中，步骤S2具体为：按照预设的时间节点在每期视频数据的动脉期、门脉期以及延迟期中各提取单帧图像，得到多个包含三张单帧图像的组合，并根据原有动脉期-门脉期-延迟期的时间序列，对所述多个包含三张单帧图像的组合进行排序得到多个超声造影时序单元，同时标注所述多个超声造影时序单元。

需要说明的是，所述动脉期预设的时间节点为10-30秒，所述门脉期预设的时间节点为31-120秒，所述延迟期预设的时间节点为120-360秒。

S3，通过复合神经网络提取各时序单元的综合信息，并根据所述各时序单元的综合信息进行后续网络训练，得到针对肝脏病变判定的参数权重，根据网络参数和所述参数权重构建肝脏病变分析模型。

优选的，所述复合神经网络由特征提取网络和多期特征整合网络组成；

所述特征提取网络，用于提取时序单元中各单帧图像的特征；其中，单帧特征间相互独立；

所述多期特征整合网络，用于以时序单元中单帧图像的时间顺序依次读取该时序单元特征，将各帧图像进行信息整合，得到该时序单元的综合信息。

同时充分利用CEUS所包含的时序信息，能够缓解视频处理对计算机算力的巨大需求压力。

S4，将所述待分析肝脏病变的超声造影多期视频数据输入至所述肝脏病变分析模型，输出所述待分析肝脏病变的分析结果。

实施例2：

作为一个可选实施例，在此以肝细胞癌病灶的CEUS诊断为基础，利用第四代卷积神经网络ResNet与长短时记忆网络(Long Short-Term Memory,LSTM)组成复合网络，实现CEUS时序信息的提取与利用；

如图2所示，获取该病例的CEUS多期视频，包括动脉期10秒至30秒，门脉期31秒至120秒，以及延迟期120秒至360秒，为分段采集储存的视频数据；从视频20秒、90秒、150秒及其前后数秒时间内，选取清晰显示目标病灶的单帧图像，各时间点选择15帧；各时间点1帧组成一个包含3帧图像的时序单元；该病例共提取15个时序单元；对各帧图像进行裁剪，去除冗余信息；选取正方形感兴趣区，截取目标病灶及病灶周围约2厘米肝实质的范围，获得最终的时序单元。

如图3所示，利用ResNet分别对一个时序单元的三帧图像进行特征提取，充分卷积后按照动脉期、门脉期及延迟期的特定顺序输入LSTM；LSTM读取传入的三期时序特征，以其特有的“记忆单元”分别存储和调用三期图像的前后时序信息变化，经整合获得该时序单元的综合信息；利用充足的肝细胞癌时序单元综合信息，联合对照的良性病灶如肝血管瘤等的综合时序信息，对LSTM后续网络层进行训练，获得针对肝细胞癌诊断的特定参数权重，经全连接层输出其诊断结果，可选择输出是/否，或者输出肝细胞癌的概率。

需要说明的是，鉴于CEUS数据有限，本发明实例采用了迁移学习的方法，迁移的ResNet网络参数权重来源于ImageNet challenge训练完成的152层ResNet神经网络。

作为优选的实施例，本发明实施例应用第四代卷积神经网络ResNet，然而可使用网络不限于此，其他如AlexNet、GooLeNet、VGG、Inception等均可使用，在此不一一赘述。

作为优选的实施例，本发明实施例应用LSTM进行时序信息的整合，其他特殊神经网络如3D CNN等也可使用，在此不一一赘述。

作为优选的实施例，本发明实施例利用肝细胞癌的诊断辅助进行阐述，此CEUS视频数据分析方法也适用于其他方面的分析如CEUS的良恶性分析、具体疾病的鉴别分析、对特定疾病病理信息的预测、对患者预后的预测等，在此不一一赘述。

作为本发明的优选实施例，将训练好的模型植入工作站，即可对新输入的病例做出实时判断，提供诊断、治疗方案选择或预后指导的辅助信息，反馈给临床医生。

与现有技术相比，采用方面提供的实施例具有如下有益效果：

本发明实施例提供的基于复合神经网络的超声造影视频数据分析方法，通过获取待分析肝脏病变的超声造影多期视频数据，从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元，再通过复合神经网络提取各时序单元的综合信息，并根据所述各时序单元的综合信息对长短时记忆网络进行训练，得到针对肝细胞癌判定的参数权重，根据网络参数和所述参数权重构建肝细胞癌分析模型，最后将所述待分析肝脏的超声造影多期视频数据输入至所述肝脏病变分析模型，输出所述待分析肝脏病变诊断为肝细胞癌的分析结果。采用本发明提供的实施例，不仅能够充分利用CEUS时序信息，还降低了对视频分析的计算机算力需求，从而能够快速地对待分析肝脏进行病变分析。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (2)

1.一种基于复合神经网络的超声造影视频数据分析方法，其特征在于，包括以下步骤：

获取待分析肝脏病变的超声造影多期视频数据；

从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元；

通过复合神经网络提取各时序单元的综合信息，并根据所述各时序单元的综合信息进行后续网络训练，得到针对肝脏病变判定的参数权重，根据网络参数和所述参数权重构建肝脏病变分析模型；所述复合神经网络由特征提取网络和多期特征整合网络组成；所述特征提取网络，用于提取时序单元中各单帧图像的特征；其中，单帧特征间相互独立；所述多期特征整合网络，用于以时序单元中单帧图像的时间顺序依次读取该时序单元特征，将各帧图像进行信息整合，得到该时序单元的综合信息；

将所述待分析肝脏病变的超声造影多期视频数据输入至所述肝脏病变分析模型，输出所述待分析肝脏病变的分析结果；

所述获取待分析肝脏病变的超声造影多期视频数据，具体为：

对待分析肝脏病变进行多期分段视频数据采集，得到多期视频数据；

其中，每期包括动脉期、门脉期以及延迟期；

所述从所述多期视频数据中提取出多个超声造影时序单元，并标注所述多个超声造影时序单元，具体为：

按照预设的时间节点在每期视频数据的动脉期、门脉期以及延迟期中各提取单帧图像，得到多个包含三张单帧图像的组合，并根据原有动脉期-门脉期-延迟期的时间序列，对所述多个包含三张单帧图像的组合进行排序得到多个超声造影时序单元，同时标注所述多个超声造影时序单元；所述动脉期预设的时间节点为10-30秒，所述门脉期预设的时间节点为31-120秒，所述延迟期预设的时间节点为121-360秒。

2.如权利要求1所述的基于复合神经网络的超声造影视频数据分析方法，其特征在于，在所述获取待分析肝脏病变的超声造影多期视频数据之后，还包括：

对所述多期视频数据进行裁剪，剔除冗余信息以保留目标病灶和一定范围的病灶周围肝实质。

Images