CN113723360A - 基于ecg和对抗增强门控循环网络多源血管内超声关键帧自动检索方法 - Google Patents

Abstract

本发明公开了一种基于ECG和对抗增强门控循环网络血管内超声关键帧自动检索方法，包括以下步骤：IVUS视频数据编码和关键帧位置标注，得到片段级通用特征曲线和标注序列；将片段级通用特征曲线和标注序列输入到以循环网络为基础的带注意力机制的双向门控算法网络中，通过多次的迭代不断训练网络参数，训练得到的循环网络模型；得到可用于片段级血管IVUS图像序列自动检索的对抗增强网络；整合成完整图像序列关键帧概率曲线图；用滑动窗口对结果平滑，以滑窗内概率曲线的局部最高点，作为关键帧。本发明实现直接通过IVUS视频和计算机进行关键帧全自动检索。

Description

基于ECG和对抗增强门控循环网络多源血管内超声关键帧自 动检索方法

技术领域

本发明涉及心脏血管医疗影像识别技术领域，具体涉及一种基于ECG 和对抗增强门控循环网络多源血管内超声关键帧自动检索方法。

背景技术

血管内超声是一种基于导管的成像技术，临床医生通过IVUS图像，能 够精准获得管腔和血管的直径和面积，斑块负荷程度以及偏心率等临床测量 参数，被认为是冠状动脉检查的“金标准”。

通常临床单次采集的血管内超声(intravenous ultrasound，IVUS)视频数据 量巨大，包括上千帧图像，且图像采集过程中难避受到噪声污染，从而产生 多种影响视觉判断的伪影，同时由于超声探头采集频率高，造成图像价值密 度低。若人工逐帧检查和分析，将是一项耗时耗力的工作，并且对医生的病 理知识和体力都是一个挑战，结果的客观性和可重复性很难保证。关键帧是 指IVUS视频中记录血管重大形态改变的帧，本发明中定义为心脏舒张末期 对应的血管内超声图像帧，在回撤导管时，形态发生重大改变的帧总数远小于IVUS视频的总帧数，因此关键帧具有很强的代表性。通过使用关键帧自 动检索的方法，可减少繁琐的人工劳动，降低主观性对诊断结果的影响，提 高工作效率，对于冠状动脉疾病的计算机辅助诊断具有重要意义。在本发明 中，进行IVUS关键帧自动检索的执行个体是计算机。

目前血管内超声视频关键帧获取主流方法是ECG门控法和图像门控技 术，ECG门控法包括在线和离线两种门控状态，在线ECG门控，实现方法 是只有当ECG显示R波时，才触发IVUS系统采集图像，缺点是增加了导 管介入时间，患者受造影剂辐射大；离线ECG门控法是同步采集ECG信号 和IVUS图像，再由医生对照ECG信号将心脏舒张末期帧从IVUS图像序列 中标注出来，减少了导管介入时间。图像门控法的基本原理是通过图像处理 提取IVUS显著特征作为参考点，参考点随图像序列变化，形成一个类似ECG 的时间变化信号，从而获取关键帧，缺点是对心律不齐患者容易受提取到的 特征精度的影响而导致漏检。

发明内容

本发明主要针对目前IVUS图像序列中关键帧获取方法缺陷，提出一种 基于ECG和对抗增强门控循环网络血管内超声关键帧自动检索方法。

本发明利用ECG标注IVUS关键帧位置，相比与纯手工标注，有效提 升了标注精度，并且在IVUS数据采集过程中，不同医院采集设备不同，即 使是同一家医院，不同对象心律亦不相同，为适应血管内超声图像序列的多 源性，通过特征编码和多次数据增强，提升了整体算法在多源数据下的综合 判断能力，从而能够更加精准地对图像序列中的关键帧位置进行判断。无论 与传统临床医生手动标注相比，还是跟ECG门控法和图像门控标注方法相 比，本发明在血管内超声图像序列关键帧识别上都有显著的性能提升。

为实现上述目的，本发明采包括以下步骤：

1)IVUS视频数据编码和关键帧位置标注，得到片段级通用特征曲线和 标注序列；

步骤1)中，IVUS视频数据编码和关键帧位置标注，具体包括：

1.1)对参数不同的数据采集探头仪器采集到的IVUS视频进行通用特征 编码；

1.2)利用ECG标注原始IVUS视频关键帧所处位置，生成标注序列， 并以滑窗的方法将步骤1.1)编码后的IVU和标注序列切分成段级数据，对 编码前后的IVUS进行图像预处理和数据超增强，得到片段级通用特征曲线。

步骤1.1)中，所述的通用特征编码包括：像素绝对值编码和旋转角度 编码。

所述的像素绝对值编码采用Absolute value of pixel difference(Absdifference Encoding)编码，具体包括：第n帧图像和第n+1帧图像中像素差 值绝对值之和；

x′_n＝∑_i∑_jabs((A_n+1(i,j)-A_n(i,j))) (1)

其中A为IVUS图像像素矩阵，下标n为第n帧，下标n+1为第n+1帧， i，j分别为像素矩阵A的第i行，第j列,x′_n为第n+1帧和第n帧IVUS图像像 素差值绝对值之和。

所述的旋转角度编码采用Rotation Angle(RA)编码，具体包括：

对第n帧图像和第n+1帧图像进行模糊，在(-15°,15°)区间内以0.5°步 长旋转第n+1帧图像,并按照公式(1)得到一个旋转后的n+1帧图像和第n帧 像素差绝对值之和的曲线。

θ＝arg min_{θ′∈[-15°,15°]}(∑_i∑_jabs((r(x_n+1,θ′)-x_n)),θ′) (2)。

其中，x_n为第n帧IVUS图像数据，x_n+1为第n+1帧IVUS图像数据， r(x_n+1,θ′)表示将第n+1帧IVUS图像旋转θ′角度，θ′∈[-15°,15°]，θ为图 像旋转前后像素差取最小值时对应的旋转角度。

步骤1.2)中，以滑窗的方法将步骤1.1)编码后的IVU和标注序列切分 成段级数据，具体包括：

设定滑窗尺寸，根据IVUS数据采集设备刷新率，确定心跳周期，以滑 动的方式从编码后的IVUS视频数据x′和ECG对原始IVUS视频的标注数据 y分别切分出片段级序列x″和y′。

为保证视野域足够大，滑窗尺寸应保证可以包含3个及以上心跳周期。

2)将步骤1)得到的片段级通用特征曲线和标注序列输入到以循环网络 为基础的带注意力机制的双向门控算法网络中，通过多次的迭代不断训练网 络参数，训练得到的循环网络模型；

在步骤2)中，将x″和y′输入到以循环网络为基础的带注意力机制的双 向门控网络中。

3)对验证片段进行n次增强，评估步骤2)中得到的循环网络模型，得 到n份验证结果，加权平均得到最终验证结果，重复步骤1)和步骤2)，得 到可用于片段级血管IVUS图像序列自动检索的对抗增强网络；

步骤3)中，对验证片段进行n次增强，评估循环网络模型，得到n份 验证结果，加权平均得到最终验证结果，反馈到训练网络，最终生成IVUS 图像序列自动检索的对抗增强网络。

4)使用步骤3)中训练得到的对抗增强网络，计算未标注的IVUS图像 序列的每一帧为关键帧的概率，生成每个滑窗对应的关键帧概率曲线图，并 由此整合成完整图像序列关键帧概率曲线图；

在步骤4)中，计算未标注的IVUS图像序列的每一帧为关键帧的概率， 生成每个滑窗对应的关键帧概率曲线图，并由此整合成完整图像序列关键帧 概率曲线图。

5)在步骤4)整合得到的完整图像序列关键帧概率曲线中，用滑动窗口 对结果平滑，以滑窗内概率曲线的局部最高点，作为关键帧。

步骤5)中，用长度为10～20的窗口对结果平滑，以前后10～20帧滑 窗内概率曲线的局部最高点，作为关键帧。进一步优选，用长度为15的窗 口对结果平滑，以前后15帧滑窗内概率曲线的局部最高点，作为关键帧。

与现有技术相比，本发明具有如下优点：

(1)本发明针对临床医生在标注关键帧时存在的盲目性和主观性的问题， 在训练网络时利用ECG标注原始IVUS视频中的舒张末期帧位置，也即关 键帧位置，与目前的关键帧检索方法相比，准确度大大提高。

(2)本发明针对不同厂商生产的IVUS探头频率，分辨率不同，采集到 的IVUS视频也不同的问题，使用通用特征编码并进行超增强。能实现对各 厂商采集IVU视频都具备关键帧自动检索，泛化能力强大。

(3)本发明针对冠状动脉患者心律周期差异性，通过对验证片段多次增 强，再将多次验证结果加权平均结果作为最终验证结果，反馈给训练网络， 适应了各种心律周期。

综上所述本发明结合了对抗增强学习方法和传统机器学习方法，提出了 一种新的可以用于片段级血管内超声关键帧自动检索的整体算法流程架构。 在提升血管内超声关键帧检索性能的基础上，获得每一帧IVUS图像是关键 帧的概率，最终实现直接通过IVUS视频和计算机进行关键帧全自动检索， 为专科医生提供了辅助诊断手段，有较大的实际意义。

附图说明

图1为本发明架构图；

图2为通用编码技术处理流程图；

图3为概率图生成流程图；

图4为本发明方法流程图。

具体实施方式

如图1～4所示，基于ECG和对抗增强门控循环网络血管内超声关键帧 自动检索方法，该方法包括如下步骤：

1)IVUS视频数据编码和关键帧位置标注。对参数不同的数据采集探头 仪器采集到的IVUS视频进行通用特征编码。利用ECG标注原始IVUS视频 关键帧所处位置，生成标注序列，并以滑窗的方法将编码后的IVUS和标注 序列切分成段级数据。对编码前后的IVUS进行图像预处理和数据超增强；

在步骤1)中，IVUS图像x，首先经过包括像素绝对值编码(Absolute value ofpixel difference encoding,Abs difference encoding)和旋转角度编码 (RotationAngle Encoding,RA Encoding)两种通用特征编码处理

Abs difference Encoding:第n帧图像和第n+1帧图像中像素差值绝对值 之和；

x′_n＝∑_i∑_jabs((A_n+1(i,j)-A_n(i,j))) (1)

其中A为IVUS图像像素矩阵，下标n为第n帧，下标n+1为第n+1帧， i，j分别为像素矩阵A的第i行，第j列,x′_n为第n+1帧和第n帧IVUS图像像 素差值绝对值之和。

RA Encoding：对第n帧图像和第n+1帧图像进行模糊，在[-15°,15°]区 间内以0.5°步长旋转第n+1帧图像,并按照公式(1)得到一个旋转后的n+1帧 图像和第n帧像素差绝对值之和的曲线。

θ＝arg min_{θ′∈[-15°,15°]}(∑_i∑_jabs((r(x_n+1,θ′)-x_n)),θ′) (2)。

其中，x_n为第n帧IVUS图像数据，x_n+1为第n+1帧IVUS图像数据， r(x_n+1,θ′)表示将第n+1帧IVUS图像旋转θ′角度，θ′∈[-15°,15°]，θ为图 像旋转前后像素差取最小值时对应的旋转角度。

设定滑窗尺寸，根据IVUS数据采集设备刷新率，确定心跳周期，为保 证视野域足够大，滑窗尺寸应保证可以包含3个及以上心跳周期，以滑动的 方式从编码后的IVUS视频数据x′和ECG对原始IVUS视频的标注数据y分 别切分出片段级序列x″和y′。

2)原始IVUS视频经步骤1)得到通用特征曲线，将片段级通用特征曲 线和标注序列输入到以循环网络为基础的双向门控算法网络中，通过多次的 迭代不断训练网络参数；

在步骤2)中，将x″和y′输入到以循环网络为基础的带注意力机制的双 向门控网络中。

3)对验证片段进行n次增强，评估步骤2)中训练得到的循环网络模型， 得到n份验证结果，加权平均得到最终验证结果，重复步骤1和步骤2，得 到可用于片段级血管IVUS图像序列自动检索的对抗增强网络；

在步骤3)中，对验证片段进行n次增强，评估循环网络模型，得到n份 验证结果，加权平均得到最终验证结果，反馈到训练网络，最终生成IVUS 图像序列自动检索的对抗增强网络。

4)使用步骤3)中训练得到的对抗增强网络，计算未标注的IVUS图像 序列的每一帧为关键帧的概率，生成每个滑窗对应的关键帧概率曲线图，并 由此整合成完整图像序列关键帧概率曲线图；

在步骤4)中，计算未标注的IVUS图像序列的每一帧为关键帧的概率， 生成每个滑窗对应的关键帧概率曲线图，并由此整合成完整图像序列关键帧 概率曲线图。

5)在步骤4)整合得到的完整图像序列关键帧概率曲线中，用长度为 15的窗口对结果平滑，以前后15帧内概率曲线的局部最高点，作为关键帧。

具体地，本发明包括以下步骤：

1)医学数据标注和划分。利用ECG信号标注仪器获取IVUS原始视频 关键帧位置，标注采用0-1二值化，0表示该帧非关键帧，1表示该帧为关 键帧，并对原始IVUS视频数据进行滤波处理，见图1。对数据进行进一步 的训练、验证划分。

2)通用特征编码。对于滤波后的IVUS影像x，首先经过帧间像素差绝 对值编码(Absolute value of pixel difference，Abs difference encoding)和旋转 角度编码(Rotation angle encoding,RA)获得平滑曲线。

Abs difference编码:第n帧图像和第n+1帧图像中像素差值绝对值之 和。

x′_n＝∑_i∑_j abs((A_n+1(i,j)-A_n(i,j))) (1)

RA编码：对第n帧图像和第n+1帧图像进行模糊，在[-15°,15°]区间 内以0.5°步长旋转第n+1帧图像,并按照公式(1)得到一个旋转后的n+1帧图 像和第n帧像素差绝对值之和的曲线。

θ＝argmin_{θ′∈[-15°,15°]}(∑_i∑_jabs((r(x_n+1,θ′)-x_n)),θ′) (2)

经上述编码后原始IVUS视频数据x变为x′。

3)设定滑窗尺寸，根据IVUS数据采集设备刷新率，确定心跳周期， 为保证视野域足够大，滑窗尺寸应保证可以包含3个及以上心跳周期，以滑 动的方式从编码后的IVUS视频数据x′和ECG对原始IVUS视频的标注数据 y分别切分出片段级序列x″和y′。

4)将x″和y′输入到以循环网络为基础的带注意力机制的双向门控网络 中。对验证片段进行n次增强，评估循环网络模型，得到n份验证结果，加权 平均得到最终验证结果，反馈到训练网络，最终生成IVUS图像序列自动检 索的对抗增强网络。

5)计算未标注的IVUS图像序列的每一帧为关键帧的概率，生成每个 滑窗对应的关键帧概率曲线图，并由此整合成完整图像序列关键帧概率曲线 图。在步骤4)整合得到的完整图像序列关键帧概率曲线中，用滑动窗口对 结果平滑，以滑窗内概率曲线的局部最高点，作为关键帧。

6)最后，IVUS图像序列在通过该算法流程(如图4)后，会由训练得 到的机器学习模型判断出其每一帧是否为关键帧。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任 何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在 本发明的权利要求保护范围之内。

Claims (7)

1.一种基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，包括以下步骤：

1)IVUS视频数据编码和关键帧位置标注，得到片段级通用特征曲线和标注序列；

2)将步骤1)得到的片段级通用特征曲线和标注序列输入到以循环网络为基础的带注意力机制的双向门控算法网络中，通过多次的迭代不断训练网络参数，训练得到的循环网络模型；

3)对验证片段进行n次增强，评估步骤2)中得到的循环网络模型，得到n份验证结果，加权平均得到最终验证结果，重复步骤1)和步骤2)，得到可用于片段级血管IVUS图像序列自动检索的对抗增强网络；

4)使用步骤3)中训练得到的对抗增强网络，计算未标注的IVUS图像序列的每一帧为关键帧的概率，生成每个滑窗对应的关键帧概率曲线图，并由此整合成完整图像序列关键帧概率曲线图；

5)在步骤4)整合得到的完整图像序列关键帧概率曲线中，用滑动窗口对结果平滑，以滑窗内概率曲线的局部最高点，作为关键帧。

2.根据权利要求1所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，步骤1)中，IVUS视频数据编码和关键帧位置标注，具体包括：

1.1)对参数不同的数据采集探头仪器采集到的IVUS视频进行通用特征编码；

1.2)利用ECG标注原始IVUS视频关键帧所处位置，生成标注序列，并以滑窗的方法将步骤1.1)编码后的IVU和标注序列切分成段级数据，对编码前后的IVUS进行图像预处理和数据超增强，得到片段级通用特征曲线。

3.根据权利要求2所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，步骤1.1)中，所述的通用特征编码包括：像素绝对值编码和旋转角度编码。

4.根据权利要求3所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，所述的像素绝对值编码采用Abs difference Encoding编码，具体包括：第n帧图像和第n+1帧图像中像素差值绝对值之和；

x′_n＝∑_i∑_jabs((A_n+1(i，j)-A_n(i，j))) (1)；

其中，A为IVUS图像像素矩阵，下标n为第n帧，下标n+1为第n+1帧，i、j分别为像素矩阵A的第i行、第j列，x′_n为第n+1帧和第n帧IVUS图像像素差值绝对值之和。

5.根据权利要求3所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，所述的旋转角度编码采用RA编码，具体包括：

对第n帧图像和第n+1帧图像进行模糊，在(-15°，15°)区间内以0.5°步长旋转第n+1帧图像，并按照公式(1)得到一个旋转后的n+1帧图像和第n帧像素差绝对值之和的曲线；

θ＝arg min_{θ′∈[-15°，15°]}(∑_i∑_jabs((r(x_n+1，θ′)-x_n))，θ′) (2)；

其中，x_n为第n帧IVUS图像数据，x_n+1为第n+1帧IVUS图像数据，r(x_n+1，θ′)表示将第n+1帧IVUS图像旋转θ′角度，θ′∈[-15°，15°]，θ为图像旋转前后像素差取最小值时对应的旋转角度。

6.根据权利要求3所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，步骤1.2)中，滑窗的方法的滑窗尺寸包含3个及以上心跳周期。

7.根据权利要求3所述的基于ECG和对抗增强门控循环网络多源血管内超声关键帧自动检索方法，其特征在于，步骤5)中，用长度为10～20的窗口对结果平滑，以前后10～20帧滑窗内概率曲线的局部最高点，作为关键帧。

Images