CN113521470A - 一种多模态气管插管导引方法 - Google Patents

Abstract

本发明涉及一种多模态气管插管导引方法，采用Transformer编解码来实时识别内窥镜影像中的气管口以预测声门开口中心位置；依据测量得到的多路二氧化碳浓度差异利用矢量化定位方法确定声门开口的中心位置；基于影像图像建立坐标系，将通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系中，再将其与基于Transformer的编解码预测出的声门开口中心坐标进行加权融合，最终得到准确的声门开口中心坐标，确定气管导管方向和位置。以此多模态气管插管导引方法来引导气管插管操作。该方法既保证了在气管插管过程中气管口检测的速度，又提高了其检测的准确度，减少医生插管的难度，提高成功率。

Description

一种多模态气管插管导引方法

技术领域

本发明涉及一种医疗器械技术，特别涉及一种融合内窥镜影像和呼吸末CO₂浓度信息的多模态气管插管导引方法。

背景技术

呼吸末CO₂浓度信息监测技术一种无创伤监测技术，现在是麻醉监测不可缺少的常规监测技术。气管插管是手术前麻醉的必要环节，通过气管插管可以为病人建立起人工呼吸气道，保障病人正常呼吸。目前的气管插管仍依靠医生的经验进行，若医生插管经验不足或者病人特殊病变极可能导致将导引管插入到食道中，大大增加了危险性。

内窥成像技术现在大量用于医疗辅助，降低手术难度，提高手术成功率，如融合呼吸末CO₂浓度信息监测技术能够在插管过程中根据内窥影像和CO₂含量两方面的信息来指导插管，这将会大大降低插管的难度。在这一过程中，插管导引方法是重要的核心技术。

发明内容

针对降低气管插管风险的问题，提出了一种多模态气管插管导引方法，由基于内窥镜实时影像的Transformer编解码目标检测方法和基于多路呼吸末CO₂浓度差异的矢量化定位方法构成，该方法既保证了在气管插管过程中气管口检测的速度，又提高了其检测的准确度，减少医生插管的难度，提高成功率。

本发明的技术方案为：一种多模态气管插管导引方法，具体包括如下步骤：

1)采用Transformer编解码来实时识别内窥镜影像中的气管口以预测声门开口中心位置；

2)依据测量得到的多路二氧化碳浓度差异利用矢量化定位方法确定声门开口的中心位置；

3)基于影像图像建立坐标系，将步骤2)通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系中，再将其与步骤1)基于Transformer的编解码预测出的声门开口中心坐标进行加权融合，最终得到准确的声门开口中心坐标，确定气管导管方向和位置，实时引导纠偏插管位置。

进一步，所述步骤1)实现具体步骤如下：

1.1)实时采集的气管内窥镜影像图像经过CNN卷积神经网络生成低分辨率的激活特征图f∈R C×H×W；

1.2)使用1x1卷积将高级激活映射的特征图f的通道维从C减小到较小的d，创建一个新的特征图z0∈R d×H×W；Transformer将z0的空间尺寸折叠为一个尺寸，从而生成d×HW特征图，输入Transformer的编码器-解码器进行声门开口识别；

1.3)Transformer输出目标边界框的坐标值、目标的宽度和高度、目标类别，得到目标的预测集合。

进一步，所述步骤3)实现的具体步骤如下：

3.1)通过基于Transformer编解码框架输出t_x，t_y，t_w，t_h,分别表示预测边界框的标准化中心坐标，高度和宽度，网络线性层使用softmax函数预测预选框中存在目标对象的概率值和目标对象所属的类别；

3.2)将网络预测的声门开口边界框的中心坐标与通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系后得到的坐标(b_cx，b_cy)进行加权融合，得到最终的声门开口目标框的中心坐标为：

b_x＝α·t_x+β·b_cx (1)

b_y＝α·t_y+β·b_cy (2)

b_w＝t_w (3)

b_h＝t_h (4)

其中，b_x，b_y，b_w，b_h分别表示最终计算出的声门开口目标边界框的中心坐标、宽度和高度；α、β分别表示权重因子。

本发明的有益效果在于：本发明一种多模态气管插管导引方法，通过采用将实时检测的多路CO₂浓度信息和内窥镜影像相结合来实时确认声门开口中心位置，以此多模态气管插管导引方法来引导气管插管操作，可以在不降低目标检测速度的情况下，提升气管口的检测精度，降低插管的难度，提高插管的成功率。

附图说明

图1为本发明多模态气管插管导引方法步骤示意图；

图2为本发明基于Transformer编解码的目标检测流程图；

图3为本发明基于Transformer的编解码结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本实施例中一种融合内窥镜影像和呼吸末CO₂浓度信息的多模态气管插管导引方法，包括基于内窥镜影像的Transformer编解码目标检测方法、基于多路呼吸末CO₂浓度差异的矢量化定位方法及目标信息的融合。如图1所示，该方法融合了内窥镜影像和CO₂气体浓度信息，采用基于Transformer编解码的多模态气管插管智能目标检测方法提高了气管口和食道口的目标检测速度和精度。

具体步骤如下：

1、基于内窥镜影像的目标检测，本发明采用二分匹配和基于Transformer编解码来实时识别内窥镜影像中的气管口以预测声门开口中心位置，确定气管导管方向和位置。如图2所示，具体步骤如下：

1.1、实时采集的内窥镜影像图像经过CNN卷积神经网络生成低分辨率的激活特征图f∈R C×H×W。

1.2、使用1x1卷积将高级激活映射的特征图f的通道维从C减小到较小的d，创建一个新的特征图z0∈R d×H×W。Transformer将z0的空间尺寸折叠为一个尺寸，从而生成d×HW特征图，输入编码器。每个编码器层均具有标准体系结构，并包括一个自注意力模块(self-attention)和一个前馈网络(FFN)。由于Transformer的体系结构内不包含位置关系信息，因此需要用固定的位置编码对其进行补充，CNN卷积神经网络提取图像特征的同时一并获取图像特征的位置编码信息，将固定位置编码加入到Transformer编码器中每一个注意力层的输入端以对其进行补充。

1.3、Transformer模型中也采用了编码器-解码器架构，对输入的特征进行一个嵌入操作，将固定数量学到的位置嵌入特征对象，进一步进行转换和解码。特征对象输入到编码器层，编码器层由6个编码器堆叠在一起，对于单个编码器，包含两层，一个自注意力层和一个前馈神经网络，自注意力层能帮助当前节点不仅仅只关注当前的特征，同时能获取到上下文的语义特征，自注意力层处理完数据后把数据送给前馈神经网络，前馈神经网络的计算可以并行，编码器层得到的输出会输入到解码器层，编码器结构如图3所示。

1.4、Transformer解码器层同编码器结构相似，由6个解码器堆叠在一起，也包含编码器中的两层网络，但是在这两层中间还有一层注意力层，帮助当前节点获取到当前需要关注的重点内容。编码器得到的输出、位置编码和object queries作为解码器的输入。object queries是N个可学习的嵌入，训练刚开始时随机初始化。在训练过程中，因为需要生成不同的边界框，object queries会被迫使变得不同来反映位置信息。这个位置信息不同于上文位置信息而是生成于训练过程中，解码器如图3所示。

1.5解码器层输出的每一个嵌入都被送入权值共享的前馈神经网络(Feed-forward network，FFN)，它可以将输入的嵌入独立的解码为目标边界框的坐标值、目标的宽度和高度、目标类别等，得到目标的预测集合。

2、多路CO₂浓度信号定位方法，依据测量得到的四路二氧化碳浓度差异利用矢量化定位方法确定声门开口的中心位置。根据四路二氧化碳传感器的安装位置，通过对每个二氧化碳传感器进行位置标定，建立相应的坐标系，计算声门开口中心点的坐标位置(x0,y0)。

3、目标信息融合，基于影像图像建立坐标系，将通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系中，记为(b_cx，b_cy)，显示二氧化碳矢量化定位和图像坐标系的转化关系。进一步，将其与基于Transformer的编解码模型计算得到的边界框的中心坐标进行加权融合，最终得到准确的声门开口中心坐标。具体步骤如下：

3.1、步骤1.4通过基于Transformer编解码框架输出t_x，t_y，t_w，t_h,分别表示预测边界框的标准化中心坐标，高度和宽度。此外，网络线性层使用softmax函数预测预选框中存在目标对象的概率值和目标对象所属的类别。

3.2、将网络预测的声门开口边界框的中心坐标与通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系后得到的坐标(b_cx，b_cy)进行加权融合，得到最终的声门开口目标框的中心坐标为：

b_x＝α·t_x+β·b_cx (1)

b_y＝α·t_y+β·b_cy (2)

b_w＝t_w (3)

b_h＝t_h (4)

其中，b_x，b_y，b_w，b_h分别表示最终计算出的声门开口目标边界框的中心坐标、宽度和高度。α、β分别表示权重因子，更好的将网络预测位置和多路二氧化碳浓度差异矢量化定位方法得到的位置信息融合，提升定位准确率。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种多模态气管插管导引方法，其特征在于，具体包括如下步骤：

1)采用Transformer编解码来实时识别内窥镜影像中的气管口以预测声门开口中心位置；

2)依据测量得到的多路二氧化碳浓度差异利用矢量化定位方法确定声门开口的中心位置；

3)基于影像图像建立坐标系，将步骤2)通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系中，再将其与步骤1)基于Transformer的编解码预测出的声门开口中心坐标进行加权融合，最终得到准确的声门开口中心坐标，确定气管导管方向和位置，实时引导纠偏插管位置。

2.根据权利要求1所述多模态气管插管导引方法，其特征在于，所述步骤1)实现具体步骤如下：

1.1)实时采集的气管内窥镜影像图像经过CNN卷积神经网络生成低分辨率的激活特征图f∈R C×H×W；

1.2)使用1x1卷积将高级激活映射的特征图f的通道维从C减小到较小的d，创建一个新的特征图z0∈R d×H×W；Transformer将z0的空间尺寸折叠为一个尺寸，从而生成d×HW特征图，输入Transformer的编码器-解码器进行声门开口识别；

1.3)Transformer输出目标边界框的坐标值、目标的宽度和高度、目标类别，得到目标的预测集合。

3.根据权利要求2所述多模态气管插管导引方法，其特征在于，所述步骤3)实现的具体步骤如下：

3.1)通过基于Transformer编解码框架输出t_x，t_y，t_w，t_h,分别表示预测边界框的标准化中心坐标，高度和宽度，网络线性层使用softmax函数预测预选框中存在目标对象的概率值和目标对象所属的类别；

3.2)将网络预测的声门开口边界框的中心坐标与通过多路二氧化碳浓度差异矢量化定位方法计算出的声门开口中心位置映射到影像图像坐标系后得到的坐标(b_cx，b_cy)进行加权融合，得到最终的声门开口目标框的中心坐标为：

b_x＝α·t_x+β·b_cx (1)

b_y＝α·t_y+β·b_cy (2)

b_w＝t_w (3)

b_h＝t_h (4)

其中，b_x，b_y，b_w，b_h分别表示最终计算出的声门开口目标边界框的中心坐标、宽度和高度；α、β分别表示权重因子。

Images