CN112949168A - 一种内镜下上消化道实时位置定位模型建立方法 - Google Patents

Abstract

本发明涉及一种内镜下上消化道实时位置定位模型建立方法，使用基于搜索框架的EfficientNet主干，提升定位精度，最大化利用网络层，减少冗余层，提升网络运行效率，提高模型适用性；其次通过搭建分流网络，分解问题，进一步提升精准度外，考虑一二级间的相关性，防止出现不合理预测结果；解决以往多模型复杂融合及单一模型精度损失的劣势，基于分治策略，构建端到端深度学习卷积神经网络，达到内镜下实时定位的目标。

Description

一种内镜下上消化道实时位置定位模型建立方法

技术领域

本发明涉及一种图像识别技术，特别涉及一种基于分流的EfficientNet的内镜下上消化道实时位置定位模型建立方法。

背景技术

内镜检查是诊断上消化病变的关键步骤，在检查过程中实时定位所处位置，对医生检查完整性，病变位置定位及后续治疗有显著意义。目前临床上主要基于内镜下观察，判断上消化道位置，由于不同地区不同级别医师在内镜检查过程中明显差异，基于AI实时定位，辅助医生检查，并随时判断镜下环境是否存在影响观察的不利因素，随时对光照角度做出调整等日渐凸显其必要性。

对于内镜图像，现在多为基于AI人工智能神经网络对内镜下图像进行卷积操作，输出图像信息向量，并基于输出信息与酸碱度等信息结合评价图像质量及内镜检查质量，也就是以往方法皆为依托多个现有基础神经网络，输出多个结果，并结合多方信息作出评价，进行辅助事后判读。无法做到实时判断，不能给临床检测做实时辅助，错失很多及时数据。

发明内容

本发明是针对现在内镜下检测无法实时定位的问题，提出了一种内镜下上消化道实时位置定位模型建立方法，基于单一深度搜索神经网络EfficientNet，设置分流聚类策略实现实时位置定位，并利用层级间相关性对预测进行限制防止不合理预测，可实现内镜下观察，实时判断上消化道位置。

本发明的技术方案为：一种内镜下上消化道实时位置定位模型建立方法，具体包括如下步骤：

1)将需要定位检查的整个消化道分成具体的数个部位，每个部位再根据位置特征定义部位对应的具体位置区域；

2)将确认部位的内镜图像归一化、标准化处理后的图像，作为训练集；

3)将训练集送入EfficientNet主干进行网络训练，网络预测类别与真实部位类别送入优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化；

4)在优化后的网络上构建分流网络层：对EfficientNet主干中间部位识别层中每个层根据步骤1)中定义的具体位置构建一下级分类层，即建立二级分流类别层；

5)将步骤2)的训练集确认部位中定义的具体位置区域进行标记后，送入步骤4)构建了分流网络层的网络进行分流网络层网络训练；训练时通过对一级部位及相应二级位置预测向量经过同一映射方案，降维到同维向量，对二者间相关性加以限制，保留相关性高的图像，分析相关性低的图像，并将相关性取导数对每个样本进行加权；

5)训练完成后的网络模型，最终输出部位类别和部位的具体位置类别。

所述步骤3)以Adam为优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化，其加权交叉熵损失函数loss如下：

其中α_k为第k类权重；n_k为第k类数量；k为位置类别索引；K为位置类别总量；y_k为真实类别，p_k为预测类别，以最小化损失函数为目标进行训练优化直至收敛。

本发明的有益效果在于：本发明内镜下上消化道实时位置定位模型建立方法，本模型使用基于搜索框架的EfficientNet主干，提升定位精度，最大化利用网络层，减少冗余层，提升网络运行效率，提高模型适用性；其次通过搭建分流网络，分解问题，进一步提升精准度外，考虑一二级间的相关性，防止出现不合理预测结果；解决以往多模型复杂融合及单一模型精度损失的劣势，基于分治策略，构建端到端深度学习卷积神经网络，达到内镜下实时定位的目标。

附图说明

图1为本发明内镜下上消化道实时位置定位模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：对表1中位置定位

表1

贲门

胃体上部倒镜

胃体中部

胃体下部

胃底

胃角

胃窦

前臂

前臂

前臂

前臂

前臂

前臂

后壁

后壁

后壁

后壁

后壁

后壁

小弯

大弯

大弯

大弯

小弯

大弯

交界

小弯

小弯

小弯

交界

小弯

交界

交界

交界

交界

实现具体步骤如下：

1、将对应已经确认部位的上述七大部分的内镜图像进行预处理：依次经过归一化、标准化处理

标准化：

其中Img_{standardization}为标准化后的图像像素；img为原图像像素值；μ为图像像素均值；σ为图像像素标准差。

归一化：

其中Img_normalize为为归一化后图像像素；min(Img_{standardization})为标准化后图像像素最小值；max(Img_{standardization})为标准化后图像像素最大值。

2、网络设计及训练过程

2.1、将预处理后内镜图像送入EfficientNet Backbone，对EfficientNetBackbone训练，用于区分贲门，胃体上部倒镜，胃体中部，胃体下部，胃底，胃角及胃窦七大部分。网络预测类别与真实部位类别送入优化器，以Adam为Optimizer(优化器)，利用加权交叉熵(weighted cross entropy)损失函数loss最小为目标对网络进行优化。

其中α_k为第k类权重；n_k为第k类数量；k为位置类别索引；K为位置类别总量；y_k为真实类别，p_k为预测类别，以最小化上述损失函数为目标进行训练优化直至收敛。

2.2、构建分流网络层：

将EfficientNet Backbone中间层进行分流，其中七大部位作为一级分流类别，部位的具体位置作为二级分流类别，其中贲门为一级分流类别，下面无二级分流类别，不再进行分流操作。依次分流胃体上部倒镜的前臂、后壁、小弯及交界为一簇；胃体中部前臂、后壁、大弯、小弯及交界为一簇；胃体下部前臂、后壁、大弯、小弯及交界为一簇；胃底前臂、后壁、大弯、小弯及交界为一簇；胃角前臂、后壁、小弯及交界为一簇；胃窦前臂、后壁、大弯、小弯及交界为最后一簇。每一簇最后输出向量长度根据其二级分流类别所含数目定义。

2.3、训练过程：

在内镜下图像输入需要记录每一张图像的一级二级标的，并根据一级标的进行分流，根据二级标的训练分流网络。在二级标的训练过程中，需锁定第一部分EfficientNetBackbone的网络层权重参数(即步骤2.1优化后的参数不变)，不再进行回溯优化训练。

循环训练验证限制条件设置：

通过对一级及相应二级预测向量经过同一映射方案，降维到同维向量，对二者间相关性加以限制，保留相关性高的图像，分析相关性低的图像，并将相关性取导数对每个样本进行加权。

如图1中标识2的虚线框为二级类别识别，即对efficientNet末尾部特征图层进行分组操作，使得同一部位图像分为一组，每组代表第一级类别，同时组内图像拥有其一级类别下的具体位置二级类别，进行具体部位的识别，最终输出部位类别和部位的具体位置类别。

3、将训练后模型内嵌到主机系统中，数据通过采集器从内镜设备实时传输到现场主机中，现场主机调用模型，然后主机将结果实时显示，给现场操作辅助。

本发明根据算法分治策略，将规模较大的问题，分解为几个小问题依次解决，进而合并解决大问题。避免了既往深度学习卷积网络，多为多模型多目标训练，在应用层面难以达到内镜下实时输出的要求，多模型多目标训练反应慢且由于各个模型权重独立，模型无法解决前后相关性问题，导致各个模型有所偏重。

Claims (2)

1.一种内镜下上消化道实时位置定位模型建立方法，其特征在于，具体包括如下步骤：

1)将需要定位检查的整个消化道分成具体的数个部位，每个部位再根据位置特征定义部位对应的具体位置区域；

2)将确认部位的内镜图像归一化、标准化处理后的图像，作为训练集；

3)将训练集送入EfficientNet主干进行网络训练，网络预测类别与真实部位类别送入优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化；

4)在优化后的网络上构建分流网络层：对EfficientNet主干中间部位识别层中每个层根据步骤1)中定义的具体位置构建一下级分类层，即建立二级分流类别层；

5)将步骤2)的训练集确认部位中定义的具体位置区域进行标记后，送入步骤4)构建了分流网络层的网络进行分流网络层网络训练；训练时通过对一级部位及相应二级位置预测向量经过同一映射方案，降维到同维向量，对二者间相关性加以限制，保留相关性高的图像，分析相关性低的图像，并将相关性取导数对每个样本进行加权；

5)训练完成后的网络模型，最终输出部位类别和部位的具体位置类别。

2.根据权利要求1所述内镜下上消化道实时位置定位模型建立方法，其特征在于，所述步骤3)以Adam为优化器，利用加权交叉熵损失函数loss最小为目标对网络进行优化，其加权交叉熵损失函数loss如下：

其中α_k为第k类权重；n_k为第k类数量；k为位置类别索引；K为位置类别总量；y_k为真实类别，p_k为预测类别，以最小化损失函数为目标进行训练优化直至收敛。

Images