CN115035152B

CN115035152B - 医学图像处理方法、装置以及相关设备

Info

Publication number: CN115035152B
Application number: CN202210964678.6A
Authority: CN
Inventors: 邢达奇; 胡珊
Original assignee: Wuhan Endoangel Medical Technology Co Ltd
Current assignee: Wuhan Endoangel Medical Technology Co Ltd
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2022-10-25
Anticipated expiration: 2042-08-12
Also published as: CN115035152A

Abstract

本申请提供一种医学图像处理方法、装置以及相关设备，该方法包括：获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集；获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。本申请实施例提高了肠镜退镜速度的准确性。

Description

医学图像处理方法、装置以及相关设备

技术领域

本申请涉及医疗辅助技术领域，具体涉及一种医学图像处理方法、装置以及相关设备。

背景技术

肠道退镜速度监测可以在内镜检查过程中向内镜医师实时提示当前的退镜速度和退镜稳定性，帮助内镜医师将退镜速度保持在合理的范围内，以提高内镜检查质量。

目前常用的退镜速度计算方法是基于感知哈希算法，其前提假设是相邻两帧图片越相似表示当前退镜速度越慢，反之越快。由其假设可知，其使用相似性来间接反应速度，有一定的局限性，其鲁棒性低，使其速度监测准确性低。

因此，如何提高退镜速度监测的准确性，是当前医疗辅助技术领域亟需解决的技术问题。

发明内容

本申请提供一种医学图像处理方法、装置以及相关设备，旨在解决如何提高退镜速度监测的准确性的技术问题。

一方面，本申请提供一种退镜速度实时监测方法，所述方法包括：

获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，所述目标肠镜图像集包括多张连续帧肠镜图像，所述多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；

获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；

基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；

基于所述目标像素位置集合中各像素位置的正向光流向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像的光流距离参数；

基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度。

在本申请一种可能的实现方式中，所述获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：

获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量；

获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量；

基于所述正向光流向量和所述反向光流向量，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请一种可能的实现方式中，所述基于所述正向光流向量和所述反向光流向量，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：

将所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和，得到所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请一种可能的实现方式中，所述基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，包括：

将所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较；

筛选小于或等于所述预设的模阈值的光流残差向量对应的目标像素位置，以得到目标像素位置集合。

在本申请一种可能的实现方式中，所述基于所述目标像素位置集合中各像素位置的正向光流向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像的光流距离参数，包括：

计算所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合中所有像素位置的正向光流向量的模参数的平均值；

将所述平均值作为所述目标肠镜图像集中每一张肠镜图像的光流距离参数。

在本申请一种可能的实现方式中，所述基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度，包括：

将所述目标肠镜图像集中每一张肠镜图像的光流距离参数进行加权平均，得到加权平均后的目标光流距离参数；

基于所述预设的时间段对应的时间参数和所述目标光流距离参数，确定所述当前时刻的肠镜退镜速度。

在本申请一种可能的实现方式中，所述获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，包括：

获取内镜检查设备在预设的时间段内拍摄的肠镜视频；

对所述肠镜视频进行解码，得到初始肠镜图像集，所述初始肠镜图像集包括有多张连续帧初始肠镜图像；

对所述初始肠镜图像集中每张图像进行裁剪，得到第二肠镜图像集；

对所述第二肠镜图像集中每张图像进行缩放，得到目标肠镜图像集。

另一方面，本申请提供一种医学图像处理装置，所述装置包括：

第一获取单元，用于获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，所述目标肠镜图像集包括多张连续帧肠镜图像，所述多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；

第二获取单元，用于获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；

第一确定单元，用于基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；

第二确定单元，用于基于所述目标像素位置集合中各像素位置的正向光流向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像的光流距离参数；

第三确定单元，用于基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度。

在本申请一种可能的实现方式中，所述第二获取单元，具体包括：

第三获取单元，用于获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量；

第四获取单元，用于获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量；

第四确定单元，用于基于所述正向光流向量和所述反向光流向量，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请一种可能的实现方式中，所述第四确定单元，具体用于：

在本申请一种可能的实现方式中，所述第一确定单元，具体用于：

在本申请一种可能的实现方式中，所述第二确定单元，具体用于：

在本申请一种可能的实现方式中，所述第三确定单元，具体用于：

在本申请一种可能的实现方式中，所述第一获取单元，具体用于：

获取内镜检查设备在预设的时间段内拍摄的肠镜视频；

另一方面，本申请还提供一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的医学图像处理方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的医学图像处理方法中的步骤。

本申请提供的医学图像处理方法，该方法包括：获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。相较于传统方法，在现有基于感知哈希算法进行退镜速度的计算，其使用相似性来间接反应速度，有一定的局限性，其鲁棒性低，使其速度监测准确性低的背景下，本申请创造性的提出基于稠密光流的肠道退镜速度实时监测，具体的，通过计算每一张肠镜图像的运动距离（光流距离参数），再根据运动距离来计算运动速度，符合速度的物理定义，充分利用了图像信息，提高了肠镜退镜速度的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的医学图像处理系统的场景示意图；

图2是本申请实施例中提供的医学图像处理方法的一个实施例流程示意图；

图3是本申请实施例中提供的获取目标肠镜图像的一个实施例流程示意图；

图4是本申请实施例中提供的获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的一个实施例流程示意图；

图5是本申请实施例中提供的裁剪图片内镜影像区域的示意图；

图6是本申请实施例中提供的医学图像处理装置的一个实施例结构示意图；

图7是本申请实施例中提供的计算机设备的一个实施例结构示意图；

图8是本申请实施例中提供的像素面积关系示意图；

图9是本申请实施例中提供的像素纳入像素区域的示意图；

图10是本申请实施例中提供的正向光流示意图；

图11是本申请实施例中提供的反向光流示意图；

图12是本申请实施例中提供的残差光流示意图；

图13是本申请实施例中提供的正常光流示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种医学图像处理方法、装置以及相关设备，以下分别进行详细说明。

如图1所示，图1是本申请实施例提供的医学图像处理系统的场景示意图，该医学图像处理系统可以包括计算机设备100，计算机设备100中集成有医学图像处理装置，如图1中的计算机设备100。

本申请实施例中计算机设备100主要用于获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。

本申请实施例中，该计算机设备100可以为终端或者服务器，当计算机设备100为服务器时，可以是是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器以构建的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器以构建。

可以理解的是，本申请实施例中计算机设备100为终端时，所使用的终端可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算机设备100具体可以是台式终端或移动终端，计算机设备100具体还可以是手机、平板电脑、笔记本电脑、医疗辅助仪器等中的一种。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不以构建对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该医学图像处理系统还可以包括一个或多个其他计算机设备，具体此处不作限定。

另外，如图1所示，该医学图像处理系统还可以包括存储器200，用于存储数据，如存储用户内镜检查时的肠镜图像集和医学图像处理数据，例如医学图像处理系统运行时的医学图像处理数据。

需要说明的是，图1所示的医学图像处理系统的场景示意图仅仅是一个示例，本申请实施例描述的医学图像处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着医学图像处理系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

接下来，介绍本申请实施例提供的医学图像处理方法。

本申实施例医学图像处理方法的实施例中以医学图像处理装置作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该医学图像处理装置应用于计算机设备，该方法包括：获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。

请参阅图2至图13，图2为本申请实施例中提供的医学图像处理方法的一个实施例流程示意图，该医学图像处理方法包括：

201、获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集；

其中，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；而该预设的时间段是可以根据实际需求进行调整的。

一般情况下，内镜检查设备最开始获取的是视频段信息，无法直接进行后续分析，因此，具体的，如何获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，请参阅下述具体实施例，在此不做赘述。

202、获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；

本申请实施例中，每一张肠镜图像都包括有多个像素位置，该像素位置可以理解为该像素点在肠镜图像中的坐标位置，而光流残差向量是对应像素位置上的一个光流参数，具体如何获取个像素位置的光流残差向量，请参阅下述具体实施例，在此不做赘述。

203、基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；

其中，光流残差向量的模参数是取光流残差向量的模的值。由于，内镜检查设备在实际检查过程中，通常会因为各种原因，例如出现异物、局部遮挡等，而导致拍摄到的图像出现局部模糊等情况，由此使得计算结果出现误差。为了避免上述问题，本申请通过选取目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，将这些经过筛选符合预设要求的目标像素位置集合用于后续计算，可以有效避免出现误差，提高计算结果的准确性。

在本申请的一些实施例中，基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，包括：将目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较；筛选小于或等于预设的模阈值的光流残差向量对应的目标像素位置，以得到目标像素位置集合。需要说明的是，小于或等于预设的模阈值的光流残差向量对应的光流位置的光流为正常光流，否则，记为干扰光流。保留的正常光流如图13所示，当残差向量模大于阈值，标记为0，即干扰光流；当残差向量模小于等于阈值，标记为1，即正常光流。具体的，如下公式：

；

其中，其中Thr为划分正常和干扰光流的阈值，即预设的模阈值，该预设的模阈值可根据实际需要进行设定，经过发明人研究计算，将该模阈值设为5像素长度最为合适。

204、基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；

在经过步骤203后，可先获取目标像素位置集合中各像素位置的正向光流向量的模参数，然后再基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数。其中，由于获取目标像素位置集合中各像素位置的正向光流向量的方式与下文中获取各像素的正向光流向量方式相同，在此不做赘述。

在本申请的一些实施例中，基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数，包括：计算目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合中所有像素位置的正向光流向量的模参数的平均值；将平均值作为目标肠镜图像集中每一张肠镜图像的光流距离参数。

具体的，其计算目标像素位置集合中所有像素位置的正向光流向量的模参数的平均值的方式如下：

；

其中，(x,y)为各像素对应的坐标信息。

205、基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。

本申请实施例中，可以将目标肠镜图像集中每一张肠镜图像的光流距离参数进行加权平均，得到目标光流距离参数，然后基于预设的时间段对应的时间参数和目标光流距离参数，确定当前时刻的肠镜退镜速度，具体的，将目标光流距离参数与该时间参数相比，得到的比值即为当前时刻的肠镜退镜速度，具体加权平均计算如下：

；

其中，fps为采帧频率，即1秒内的图像数，本申请实施例为25。i为图像的时刻序号，序号越大代表距离当前时刻越近。S_i为i时刻的光流距离，w_i为为i时刻光流距离的权重。需要说明的是，为了提高计算效率，本申请实施例将预设的时间段对应的时间参数设定为1秒，由此，其加权平均后的目标光流距离参数对应数值即为当前时刻的肠镜退镜速度的数值。

进一步的，为使权重由远到近依次递增，即越接近当前时刻权重越大，本例中权重计算式为：

；

且显然其满足：

。

本申请提供的医学图像处理方法，相较于传统方法，在现有基于感知哈希算法进行退镜速度的计算，其使用相似性来间接反应速度，有一定的局限性，其鲁棒性低，使其速度监测准确性低的背景下，本申请创造性的提出基于稠密光流的肠道退镜速度实时监测，具体的，通过计算每一张肠镜图像的运动距离（光流距离参数），再根据运动距离来计算运动速度，符合速度的物理定义，充分利用了图像信息，提高了肠镜退镜速度的准确性。

在本申请的一些实施例中，如图3所示，获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，包括：

301、获取内镜检查设备在预设的时间段内拍摄的肠镜视频；

302、对肠镜视频进行解码，得到初始肠镜图像集，初始肠镜图像集包括有多张连续帧初始肠镜图像；

本申请实施例中，可选取每秒25帧图像。

303、对初始肠镜图像集中每张图像进行裁剪，得到第二肠镜图像集；

本申请实施例中，如图5所示，由于初始肠镜图像集中的图像还包括其他的信息，通过对初始肠镜图像集中每张图像进行裁剪，可以保留有效图像区域。

在本申请的一些实施例中，可以基于预设的语义分割网络，对初始肠镜图像集中每张图像进行分割，以实现对初始肠镜图像集中每张图像进行裁剪，使其兼容不同尺寸和不同型号的内镜视频，具体的，该语义分割网络具体选取Unet网络。由此可以提高分割效率和分割准确度。

304、对第二肠镜图像集中每张图像进行缩放，得到目标肠镜图像集。

本申请实施例中，通常，由于初始肠镜图像集中的图像的尺寸与后续计算设备的尺寸要求存在差异，因此，需要对第二肠镜图像集中每张图像进行缩放。尤其是，当原图过大时，其会大幅增加计算负担，影像实时性，因此，需要适当地缩小图像以达到实时性的要求。然而，一般情况下，对图像进行缩放，会产生不必要的波纹效应，影像后续计算结果的准确性。为此，本申请实施例采用区域插值法对图像进行缩放，与其他传统缩放图片方法相比，该方法不会产生波纹效应，且缩小后的图片质量高。

具体的，本申请实施例中的区域插值法，是根据图片缩放前后像素区域的对应关系进行插值的一种方法。如图8所示，当图片缩小时，缩小后图片像素点(x',y')，对应原图上左上角为(x'×scale_x,y'×scale_y)。

((x'+1)×scale_x-1,(y'+1)×scale_y-1)右下角这样一片像素区域Area。其中scale_x,scale_y为原图宽高除以缩小后宽高的倍数，当不能整除时，此倍数为小数。像素点(x',y')的像素值则为原图纳入像素区域所有点像素值的平均值。缩放倍数不为整数时，如图9所示，边缘像素可能仅有一部分纳入像素区域，此时完全被纳入的像素权重为1，部分纳入像素则按被纳入的比例赋予权重。由此，区域插值法的公式表达如下：

其中scale_x,scale_y为原图宽高除以缩小后宽高的倍数，Weight(x,y)为原图上像素(x,y)纳入像素区域的比例，Area为像素区域的面积。

本申请实施例所公开的方案，通过对内镜检查设备拍摄的肠镜视频进行一系列的图像处理，提高了图像的质量，提高了实效性，提高了后续计算结果的准确性。

在本申请的一些实施例中，如图4所示，获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：

401、获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量；

本申请实施例，下面实例说明计算当前帧肠镜图像中所有像素位置中各像素位置的正向光流向量，如图10所示，图10为正向光流示意图，正向计算前一帧肠镜图像与当前帧肠镜图像的稠密光流，以获得当前帧肠镜图像每个像素点的正向光流向量。具体的，通过Farneback稠密光流算法，计算当前帧肠镜图像中所有像素位置中各像素位置的正向光流向量，具体公式如下：

其中，u为光流在(x,y)像素处横坐标偏移量，v为光流在(x,y)像素处纵坐标偏移量。优选的，计算过程可以在GPU上进行，能够很大地提高实时性。

由此，按照上述方式，分别计算目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量即可。

402、获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量；

本申请实施例中，下面实例说明计算当前帧肠镜图像中所有像素位置中各像素位置的反向光流向量，如图11所示，图11为反向光流示意图，反向计算前一帧肠镜图像与当前帧肠镜图像的稠密光流，以获得当前帧肠镜图像每个像素点的反向光流向量。具体的，通过Farneback稠密光流算法，计算当前帧肠镜图像中所有像素位置中各像素位置的反向光流向量，具体公式如下：

；

其中，u_r为反向光流在(x,y)像素处横坐标偏移量，v_r为光流在(x,y)像素处纵坐标偏移量。同样的，优选的，计算过程可以在GPU上进行，能够很大地提高实时性。

由此，按照上述方式，分别计算目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量即可。

403、基于正向光流向量和反向光流向量，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请的一些实施例中，如图12所示，图12为残差光流示意图，基于正向光流向量和反向光流向量，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：将目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和，得到目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

本申请实施例所公开的方案，通过正向光流向量和反向光流向量进行加和，以得到目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，便于后续通过反向校验来排除混杂因素的影响，对冲洗水、贴壁和模糊等图像具有很高的鲁棒性，不容易失真。

为了更好实施本申请实施例中医学图像处理方法，在医学图像处理方法基础之上，本申请实施例中还提供一种医学图像处理装置，如图6所示，医学图像处理装置600包括：

第一获取单元601，用于获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；

第二获取单元602，用于获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；

第一确定单元603，用于基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；

第二确定单元604，用于基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；

第三确定单元605，用于基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。

在本申请的一些实施例中，第二获取单元602，具体包括：

第三获取单元，用于获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量；

第四获取单元，用于获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量；

第四确定单元，用于基于正向光流向量和反向光流向量，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请的一些实施例中，第四确定单元，具体用于：

将目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和，得到目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。

在本申请的一些实施例中，第一确定单元603，具体用于：

将目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较；

筛选小于或等于预设的模阈值的光流残差向量对应的目标像素位置，以得到目标像素位置集合。

在本申请的一些实施例中，第二确定单元604，具体用于：

计算目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合中所有像素位置的正向光流向量的模参数的平均值；

将平均值作为目标肠镜图像集中每一张肠镜图像的光流距离参数。

在本申请的一些实施例中，第三确定单元605，具体用于：

将目标肠镜图像集中每一张肠镜图像的光流距离参数进行加权平均，得到加权平均后的目标光流距离参数；

基于预设的时间段对应的时间参数和目标光流距离参数，确定当前时刻的肠镜退镜速度。

在本申请的一些实施例中，第一获取单元601，具体用于：

获取内镜检查设备在预设的时间段内拍摄的肠镜视频；

对肠镜视频进行解码，得到初始肠镜图像集，初始肠镜图像集包括有多张连续帧初始肠镜图像；

对初始肠镜图像集中每张图像进行裁剪，得到第二肠镜图像集；

对第二肠镜图像集中每张图像进行缩放，得到目标肠镜图像集。

本申请提供的医学图像处理装置，该装置包括：第一获取单元601，用于获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；第二获取单元602，用于获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；第一确定单元603，用于基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；第二确定单元604，用于基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；第三确定单元605，用于基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。相较于传统装置，在现有基于感知哈希算法进行退镜速度的计算，其使用相似性来间接反应速度，有一定的局限性，其鲁棒性低，使其速度监测准确性低的背景下，本申请创造性的提出基于稠密光流的肠道退镜速度实时监测，具体的，通过计算每一张肠镜图像的运动距离（光流距离参数），再根据运动距离来计算运动速度，符合速度的物理定义，充分利用了图像信息，提高了肠镜退镜速度的准确性。

除了上述介绍用于医学图像处理方法与装置之外，本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种医学图像处理装置，计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述医学图像处理方法实施例中任一实施例中的任一方法的操作。

本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种医学图像处理装置。如图7所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储单元702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储单元702内的软件程序和/或模块，以及调用存储在存储单元702的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

存储单元702可用于存储软件程序以及模块，处理器701通过运行存储在存储单元702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储单元702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元702还可以包括存储器控制器，以提供处理器701对存储单元702的访问。

计算机设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，计算机设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元702中，并由处理器701来运行存储在存储单元702中的应用程序，从而实现各种功能，如下：

获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，目标肠镜图像集包括多张连续帧肠镜图像，多张连续帧肠镜图像包括当前时刻对应的当前帧肠镜图像以及位于当前时刻之前预设的时间段内的多张肠镜图像；获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量；基于各像素位置的光流残差向量的模参数，确定目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合；基于目标像素位置集合中各像素位置的正向光流向量的模参数，确定目标肠镜图像集中每一张肠镜图像的光流距离参数；基于预设的时间段对应的时间参数和目标肠镜图像集中每一张肠镜图像的光流距离参数，确定当前时刻的肠镜退镜速度。

本申请提供一种医学图像处理方法，相较于传统方法，在现有基于感知哈希算法进行退镜速度的计算，其使用相似性来间接反应速度，有一定的局限性，其鲁棒性低，使其速度监测准确性低的背景下，本申请创造性的提出基于稠密光流的肠道退镜速度实时监测，具体的，通过计算每一张肠镜图像的运动距离（光流距离参数），再根据运动距离来计算运动速度，符合速度的物理定义，充分利用了图像信息，提高了肠镜退镜速度的准确性。

为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random AccessMemory）、磁盘或光盘等。该计算机可读存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种医学图像处理方法中的步骤。例如，该指令可以执行如下步骤：

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种医学图像处理方法、装置、终端及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种医学图像处理方法，其特征在于，所述方法包括：

获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，所述光流残差向量为所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量、反向光流向量相加和后得到的向量；

基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，所述预设要求为光流残差向量的模参数小于或等于预设的模阈值的要求；

基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度；

其中，所述基于所述目标像素位置集合中各像素位置的正向光流向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像的光流距离参数，包括：

2.根据权利要求1所述的医学图像处理方法，其特征在于，所述获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：

3.根据权利要求2所述的医学图像处理方法，其特征在于，所述基于所述正向光流向量和所述反向光流向量，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，包括：

4.根据权利要求1所述的医学图像处理方法，其特征在于，所述基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，包括：

5.根据权利要求1所述的医学图像处理方法，其特征在于，所述基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度，包括：

6.根据权利要求1所述的医学图像处理方法，其特征在于，所述获取内镜检查设备在预设的时间段内拍摄的目标肠镜图像集，包括：

获取内镜检查设备在预设的时间段内拍摄的肠镜视频；

7.一种医学图像处理装置，其特征在于，所述装置包括：

第二获取单元，用于获取所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量，所述光流残差向量为所述目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量、反向光流向量相加和后得到的向量；

第一确定单元，用于基于所述各像素位置的光流残差向量的模参数，确定所述目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合，所述预设要求为光流残差向量的模参数小于或等于预设的模阈值的要求；

第三确定单元，用于基于所述预设的时间段对应的时间参数和所述目标肠镜图像集中每一张肠镜图像的光流距离参数，确定所述当前时刻的肠镜退镜速度；

8.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至6中任一项所述的医学图像处理方法。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6任一项所述的医学图像处理方法中的步骤。