CN111932507B

CN111932507B - 一种基于消化内镜实时识别病变的方法

Info

Publication number: CN111932507B
Application number: CN202010755842.3A
Authority: CN
Inventors: 周宏辉; 曹骧; 曹鱼; 刘本渊
Original assignee: Suzhou Huiwei Intelligent Medical Technology Co ltd
Current assignee: Suzhou Huiwei Intelligent Medical Technology Co ltd
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2021-04-09
Anticipated expiration: 2040-07-31
Also published as: CN111932507A

Abstract

本发明涉及一种基于消化内镜实时识别病变的方法，包括如下步骤：人工智能算法处理得到消化道内部的初步病变结果；在线过滤算法去除掉初步病变结果中潜在的假阳性误报，得到有效病变结果；滑动窗口机制计算一段时间内有效病变结果的病变比率值；指数移动平均值算法通过病变比率值计算平均病变疑似度；基于平均病变疑似度进行报警以及病变区的截图显示；本发明是在基于人工智能算法的病变结果识别后，通过在线过滤算法、滑动窗口计算病变比率值以及平均病变疑似度算法，对病变结果进行后处理，突出真正的病变，达到提升准确性，降低误报率，提高医生的工作效率，极大的提高了用户体验，而且算法通过CPU进行计算，对系统的实时性能没有影响。

Description

一种基于消化内镜实时识别病变的方法

技术领域

本发明属于一种识别病变的方法，尤其涉及一种基于消化内镜实时识别病变的方法。

背景技术

人工智能正在被广泛地应用于医疗卫生的各个领域，其中在通过人工智能算法进行消化道内镜手术视频实时病变(例如，息肉，溃疡，癌症)识别的应用中，目前的算法一般都是对视频流中的图片进行逐帧处理，分析，并显示结果，其分析结果受其人工智能算法训练的数据量、数据标注的精度、算法选择和优化等多种因素影响。

在临床环境下，因为消化道内部病变形态各不相同、类似病变的肠壁褶皱，可能存在的异物(粪便，水泡)、图像质量(运动模糊，镜头不对焦，光斑，反射)等原因，人工智能算法的正确率会降低。

在医疗应用中通常的做法是通过调优来提高算法的灵敏度，减少漏报，但与此同时也会导致算法的特异性降低，在实际临床检查过程中会产生更多的假阳性误报，把非病变区判断成病变区，这些假阳性误报需要医生消耗额外的注意力进行排除，从而增加医生的工作强度和工作量。

发明内容

本发明目的是为了克服现有技术的不足而提供一种能突出真正的病变，提升准确性，降低误报率，提高医生工作效率的基于消化内镜实时识别病变的方法。

为达到上述目的，本发明采用的技术方案是：一种基于消化内镜实时识别病变的方法，包括如下步骤：

人工智能算法处理得到消化道内部的初步病变结果；

在线过滤算法去除掉初步病变结果中潜在的假阳性误报，得到有效病变结果；

滑动窗口机制计算一段时间内有效病变结果的病变比率值；

指数移动平均值算法通过病变比率值计算平均病变疑似度；

基于平均病变疑似度进行报警以及病变区的截图显示。

进一步的，所述在线过滤算法的步骤为：

控制系统启动后对视频流进行逐帧分析；

增加考虑前M帧的病变值，用于判断当前帧是否为有效病变，其中M为预先设定的系统参数；

如果当前帧为无病变，则保留其为无病变；如果当前帧为有病变，则检查前M帧的病变值，如果前M帧中有任何一帧有病变，则当前帧为有效病变帧，否则当前帧改为无病变。

进一步的，所述滑动窗口机制的计算过程如下：

控制系统维持一个大小为N帧的滑动窗口，对每帧新到图片，窗口向当前时间移动一帧以包含当前帧，而时间距离最远的那帧被移出窗口，病变比率值＝有效病变的帧数/窗口总帧数；

其中，N为预先设置的系统参数。

进一步的，所述指数移动平均值算法是以指数式递减加权的移动平均，其计算公式为：

平均病变疑似度(t)＝平均病变疑似度(t-1)*(1-α)+病变比率值(t)*α；

其中指标t表示当前帧，(t-1)表示前一帧，α为加权系数，数值介于0至1之间。

进一步的，平均病变疑似度值在显示器上用指针表盘的进度条显示，表示当前病变的疑似度；如果病变指数移动平均值大于预先设定的阈值，控制系统进行截图和声音提醒。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

本发明方案的基于人工智能算法处理消化内镜实时识别病变，基于人工智能算法的病变识别后，在对该结果通过有效病变确认算法、滑动窗口计算病变率，以及平均病变疑似度算法，对结果进行一系列的后处理，使得特异度有非常明显的提高，极大的提高了用户体验，而且算法主要是通过CPU进行计算，也不会额外占用GPU资源，对系统的实时性能没有影响，能突出真正的病变，达到提升准确性，降低误报率，提高医生的工作效率。

附图说明

下面结合附图对本发明技术方案作进一步说明：

附图1为本发明的使用方法流程图；

附图2为在线过滤算法的流程示意图；

附图3为滑动窗口机制的示意图；

其中：非病变帧10、有效病变帧20、新到当前帧33。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

请参阅附图1，本发明所述的一种基于消化内镜实时识别病变的方法，包括如下步骤：

Step1:人工智能算法处理得到消化道内部的初步病变结果；

Step2:在线过滤算法去除掉初步病变结果中潜在的假阳性误报，得到有效病变结果；

Step3:滑动窗口机制计算一段时间内有效病变结果的病变比率值；

Step4:指数移动平均值算法通过病变比率值计算平均病变疑似度；

Step5:基于平均病变疑似度进行报警以及病变区的截图显示。

作为进一步的优选实施例，人工智能算法不限于何种方法，只需能够获得初步病变结果即可，例如，当前通用基于深度学习的目标检测模型(例如Anchor-free objectdetector,FasterR-CNN,SSD,YOLO等)。

作为进一步的优选实施例，鉴于真正的病变一般会在视频流中短时间连续帧密集出现，而假阳性误报通常只是零散孤立出现，这些孤立的病变帧大概率都是假阳性误报，不应该被当做病变报告给医生，所以我们用在线过滤算法处理视频流中那些孤立的病变图片，而保留那些连续的病变帧，达到去伪存真的效果。

在线过滤算法的如下：当新的一帧图片到达时，如果被人工智能算法识别为有效病变帧(病变值为1)，这种情况下检查该帧前M帧(M是预先设置的系统参数)是否包含识别成病变的图片，如果有则表示该帧病变不是孤立出现，并保留为有效病变帧(病变值为1)；否则如果前M帧不包含识别成病变的图片，则表示该帧病变是孤立出现，很大可能性是假阳性误报，并改为非病变帧(病变值为0)。

下面进行具体的举例来说明：

请参阅附图2，假设系统参数M＝1,病变值为1，虽然第2,7,10,12帧被人工智能算法识别为有效病变帧20，但因为这些图片的前一帧,第1,6,9,11帧为无病变，我们的在线过滤算法把第2,7,10,12帧)改为非病变帧10(病变值为0)；而第3，4，5帧，因为前一帧为有病变，保留为有效病变帧(病变值为1)。

作为进一步的优选实施例，用滑动窗口机制来计算一段时间内(对应一定数目的连续视屏帧)的病变比率值。

滑动窗口机制的计算方法为：控制系统维持一个大小为N帧的滑动窗口(N为预先设置的系统参数)，每帧的值由在线过滤算法计算获得，即存在有效病变为1，不存在为0,初始值设为0。

控制系统启动后对视频流进行逐帧分析，同时维持一个有效病变数用来统计窗口内有效病变的帧数，初始值设为0，病变比率值定义为有效病变的帧数占窗口总帧数的比例。

对每帧新到图片(第i帧)，分析逻辑如下：

A.用在线过滤算法计算其有效病变值，存在有效病变为1，不存在为0；

B.窗口向当前时间方向移动一帧以包含第i帧，而时间距离最远的第(i-N)帧则被移出窗口；

C.更新有效病变数，因为窗口新增第i帧，而移除第(i-N)帧，计算公式为：有效病变数＝有效病变数+第i帧的病变值-第(i-N)帧的病变值；

D.病变比率度＝有效病变数/N。

下面进行具体的举例来说明：

请参阅附图3，窗口大小为N＝10帧，其中7帧为有效病变帧20(病变值为1)，3帧为无病变帧10(病变值为0)，病变比率值为7/10＝0.7；新到当前帧33到达后，人工智能算法识别为无病变，窗口向右滑动一帧，这时窗口内有6帧有效病变(病变值为1)，4帧无病变(病变值为0)，病变比率值变为6/10＝0.6。

作为进一步的优选实施例，指数移动平均是以指数式递减加权的移动平均，各数值的加权影响力随时间而指数式递减，越近期数据加权影响力越大，但较旧的数据也给与一定的加权值。指数移动平均通常与时间序列数据一起使用，起到过滤高频噪音，突出真正的病变，并使数据变得更加平滑的效果。

其计算公式为：

平均病变疑似度(t)＝平均病变疑似度(t-1)*(1-α)+病变比率值(t)*α，其中指标t表示当前帧，(t-1)表示前一帧，α为加权系数，数值介于0至1之间。

下面进行具体的举例来说明：

例1：N＝8,初始状态：有效病变数＝0,平均病变疑似度＝0,加权系数α＝0.5

step1：新帧有效病变值为1,有效病变数＝1。

病变比率值＝有效病变数/窗口大小＝1/8。

平均病变疑似度＝平均病变疑似度*(1-α)+病变比率值*α＝0*0.5+1/8*0.5＝1/16。

step2：新帧病变值为1，有效病变数＝2。

病变比率值＝有效病变数/窗口大小＝2/8。

平均病变疑似度＝平均病变疑似度*(1-α)+病变比率值*α＝1/8*0.5+2/8*0.5＝5/32。

例2：N＝8,初始状态：有效病变数＝8,平均病变疑似度＝1。

step1：新帧病变值为0,有效病变数＝7。

病变比率值＝有效病变数/窗口大小＝7/8。

平均病变疑似度＝平均病变疑似度*(1-α)+病变比率值*α＝1*0.5+7/8*0.5＝15/16。

step2：新帧病变值为0,有效病变数＝6。

病变比率值＝有效病变数/窗口大小＝6/8。

平均病变疑似度比＝平均病变疑似度*(1-α)+病变比率值*α＝15/16*0.5+6/8*0.5＝27/32。

作为进一步的优选实施例，设定一个阈值threshold(系统参数，默认为30％)，如果当前平均病变疑似度超过该阈值，控制系统进行声音报警，并在右侧列表中显示病变截图，并具有声音提醒和截屏等功能。

另外，现有的消化道内部的识别病变的方法是采用一个Anchor-free objectdetector(无锚目标检测模型)，其误报率是平均每分钟产生20个假阳性病变；而采用了本基于消化内镜实时识别病变的方法后，其平均误报率降低到每分钟产生0.24个假阳性病变，从而大大提升了检测的效率，降低误报率。

本发明基于人工智能算法处理消化内镜实时识别病变，基于人工智能算法的病变识别后，在对该结果通过有效病变确认算法、滑动窗口计算病变率，以及平均病变疑似度算法，对结果进行一系列的后处理，使得特异度有非常明显的提高，极大的提高了用户体验，而且算法主要是通过CPU进行计算，也不会额外占用GPU资源，对系统的实时性能没有影响，能突出真正的病变，达到提升准确性，降低误报率，提高医生的工作效率。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims

1.一种基于消化内镜实时识别疑似病变区域的方法，其特征在于，包括如下步骤：

人工智能算法处理得到消化道内部的初步病变结果；

在线过滤算法去除掉初步病变结果中潜在的假阳性误报，得到有效病变结果；其中，所述在线过滤算法的步骤为：

控制系统启动后对视频流进行逐帧分析；增加考虑前 M 帧的病变值，用于判断当前帧是否为有效病变，其中M为预先设定的系统参数；

如果当前帧为无病变，则保留其为无病变；如果当前帧为有病变，则检查前 M 帧的病变值，如果前 M 帧中有任何一帧有病变，则当前帧为有效病变帧，否则当前帧改为无病变；

滑动窗口机制计算一段时间内有效病变结果的病变比率值；其中，所述滑动窗口机制的计算过程如下：

控制系统维持一个大小为 N 帧的滑动窗口，对每帧新到图片，窗口向当前时间移动一帧以包含当前帧，而时间距离最远的那帧被移出窗口，病变比率值=有效病变的帧数/窗口总帧数；其中，N为预先设置的系统参数；

指数移动平均值算法通过病变比率值计算平均病变疑似度；其中，所述指数移动平均值算法是以指数式递减加权的移动平均，其计算公式为：

平均病变疑似度(t) = 平均病变疑似度(t-1) * (1 - α) + 病变比率值(t) * α；其中指标 t 表示当前帧，(t-1) 表示前一帧，α为加权系数，数值介于0至 1 之间；

基于平均病变疑似度进行报警以及病变区的截图显示。

2.根据权利要求1所述的基于消化内镜实时识别疑似病变区域的方法,其特征在于：平均病变疑似度值在显示器上用指针表盘的进度条显示，表示当前病变的疑似度；如果病变指数移动平均值大于预先设定的阈值，控制系统进行截图和声音提醒。