CN115035153A - 医学图像处理方法、装置及其相关设备 - Google Patents

医学图像处理方法、装置及其相关设备 Download PDF

Info

Publication number
CN115035153A
CN115035153A CN202210964696.4A CN202210964696A CN115035153A CN 115035153 A CN115035153 A CN 115035153A CN 202210964696 A CN202210964696 A CN 202210964696A CN 115035153 A CN115035153 A CN 115035153A
Authority
CN
China
Prior art keywords
enteroscopy
target
image set
image
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210964696.4A
Other languages
English (en)
Other versions
CN115035153B (zh
Inventor
邢达奇
胡珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202210964696.4A priority Critical patent/CN115035153B/zh
Publication of CN115035153A publication Critical patent/CN115035153A/zh
Application granted granted Critical
Publication of CN115035153B publication Critical patent/CN115035153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种医学图像处理方法、装置及其相关设备,该方法包括:将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,其中,目标像素位置集合为第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的像素位置集合;识别第二目标肠镜图像集对应的运行状态,得到识别结果;若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。本申请实施例提高了记录阴性肠镜退镜耗时的准确性。

Description

医学图像处理方法、装置及其相关设备
技术领域
本申请涉及辅助医疗技术领域,具体涉及一种医学图像处理方法、装置及其相关设备。
背景技术
肠镜检查是诊断和治疗如结直肠息肉、肿瘤等下消化道疾病的重要技术之一。为保证肠镜检查的有效性,其退镜时间是肠镜检查质量的重要控制指标。退镜时间指的是,在肠镜检查过程中,从进镜到达回盲部开始到退镜至直肠之间的实际时间,这其中并不包括进行染色检查、发现腺瘤和对息肉进行活检等额外操作的时间,即阴性肠镜退镜时间。
然而,当前一些退镜时间计算方法只是记录了从回盲部退镜至直肠的时间,其中可能夹杂较多的非阴性的退镜时间以及由于操作中出现图像模糊等情况,从而导致实际记录的退镜时间不准确。
因此,如何提高记录退镜时间的准确性,是当前辅助医疗技术领域亟需解决的技术问题。
发明内容
本申请提供一种医学图像处理方法、装置及其相关设备,旨在解决如何提高记录退镜时间的准确性的技术问题。
一方面,本申请提供一种医学图像处理方法,所述方法包括:
获取在当前时刻之前的退镜过程中的第一耗时参数,所述第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,所述第一目标肠镜图像集包括多张连续帧肠镜图像;
基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
将所述第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,所述第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,所述运行状态包括退镜状态、进镜状态以及驻留状态;
若所述识别结果为所述第二目标肠镜图像集的运行状态为退镜状态,且所述识别结果对应的置信度大于预设的阈值,则获取所述第二目标肠镜图像集对应的第二耗时参数;
基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
在本申请一种可能的实现方式中,所述获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:
获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集;
获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量;
获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量;
基于所述正向光流向量和所述反向光流向量,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,所述基于所述正向光流向量和所述反向光流向量,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和,得到所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,所述获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集,包括:
获取内镜检查设备在预设的时间段内拍摄的肠镜视频;
对所述肠镜视频进行解码,得到初始肠镜图像集,所述初始肠镜图像集包括有多张连续帧初始肠镜图像;
对所述初始肠镜图像集中每张图像进行裁剪,得到第一肠镜图像集;
对所述第一肠镜图像集中每张图像进行缩放,得到第一目标肠镜图像集。
在本申请一种可能的实现方式中,所述基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合,包括:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较;
筛选小于或等于所述预设的模阈值的光流残差向量对应的目标像素位置,以得到目标像素位置集合。
在本申请一种可能的实现方式中,所述识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,包括:
基于预设的循环神经网络,识别所述第二目标肠镜图像集对应的运行状态,得到识别结果。
在本申请一种可能的实现方式中,在基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时之后,所述方法包括:
退镜过程中,所述内镜检查设备在抵达肛门之前,循环更新所述退镜总耗时。
另一方面,本申请提供一种医学图像处理装置,所述装置包括:
第一获取单元,用于获取在当前时刻之前的退镜过程中的第一耗时参数,所述第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
第二获取单元,用于获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,所述第一目标肠镜图像集包括多张连续帧肠镜图像;
第一确定单元,用于基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
第一转换单元,用于将所述第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,所述第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
第一识别单元,用于识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,所述运行状态包括退镜状态、进镜状态以及驻留状态;
第三获取单元,用于若所述识别结果为所述第二目标肠镜图像集的运行状态为退镜状态,且所述识别结果对应的置信度大于预设的阈值,则获取所述第二目标肠镜图像集对应的第二耗时参数;
第一更新单元,用于基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
在本申请一种可能的实现方式中,所述第二获取单元,包括:
第四获取单元,用于获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集;
第五获取单元,用于获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量;
第六获取单元,用于获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量;
第二确定单元,用于基于所述正向光流向量和所述反向光流向量,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,所述第二确定单元,具体用于:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和,得到所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,所述第四获取单元,具体用于:
获取内镜检查设备在预设的时间段内拍摄的肠镜视频;
对所述肠镜视频进行解码,得到初始肠镜图像集,所述初始肠镜图像集包括有多张连续帧初始肠镜图像;
对所述初始肠镜图像集中每张图像进行裁剪,得到第一肠镜图像集;
对所述第一肠镜图像集中每张图像进行缩放,得到第一目标肠镜图像集。
在本申请一种可能的实现方式中,所述第一确定单元,具体用于:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较;
筛选小于或等于所述预设的模阈值的光流残差向量对应的目标像素位置,以得到目标像素位置集合。
在本申请一种可能的实现方式中,所述第一识别单元,具体用于:
基于预设的循环神经网络,识别所述第二目标肠镜图像集对应的运行状态,得到识别结果。
在本申请一种可能的实现方式中,在基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时之后,所述装置还用于:
退镜过程中,所述内镜检查设备在抵达肛门之前,循环更新所述退镜总耗时。
另一方面,本申请还提供一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现所述的医学图像处理方法。
另一方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的医学图像处理方法中的步骤。
本申请提供一种医学图像处理方法,该方法包括:获取在当前时刻之前的退镜过程中的第一耗时参数,所述第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;获取所述内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,所述第一目标肠镜图像集包括多张连续帧肠镜图像;基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;将所述第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,所述第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,所述运行状态包括退镜状态、进镜状态以及驻留状态;若所述识别结果为所述第二目标肠镜图像集的运行状态为退镜状态,且所述识别结果对应的置信度大于预设的阈值,则获取所述第二目标肠镜图像集对应的第二耗时参数;基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。相较于传统方法,本申请实施例通过采用反向校验的方式,获取符合预设要求的目标像素位置集合,排除模糊图像的干扰,进一步的,将校验后的目标像素位置的正向光流转换成预设类型的通道值,由此便于识别其对应的运行状态,从而可以排除一些非阴性肠镜退镜耗时,提高了记录阴性肠镜退镜耗时的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的医学图像处理的场景示意图;
图2是本申请实施例中提供的医学图像处理方法的一个实施例流程示意图;
图3是本申请实施例中提供的获取目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的一个实施例流程示意图;
图4是本申请实施例中提供的获取第一目标肠镜图像的一个实施例流程示意图;
图5是本申请实施例中提供的医学图像处理装置的一个实施例结构示意图;
图6是本申请实施例中提供的计算机设备的一个实施例结构示意图;
图7是本申请实施例中提供的裁剪图片内镜影像区域的示意图;
图8是本申请实施例中提供的像素面积关系示意图;
图9是本申请实施例中提供的像素纳入像素区域的示意图;
图10是本申请实施例中提供的正向光流示意图;
图11是本申请实施例中提供的反向光流示意图;
图12是本申请实施例中提供的残差光流示意图;
图13是本申请实施例中提供的正常光流示意图;
图14是本申请实施例中提供的光流转化的HSV图像示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种医学图像处理方法、装置及其相关设备,以下分别进行详细说明。
如图1所示,图1是本申请实施例提供的医学图像处理系统的场景示意图,该医学图像处理系统可以包括计算机设备100,计算机设备100中集成有医学图像处理装置,如图1中的计算机设备100。
本申请实施例中计算机设备100主要用于获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
本申请实施例中,该计算机设备100可以为终端或者服务器,当计算机设备100为服务器时,可以是是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请实施例中所描述的计算机设备100,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器以构建的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器以构建。
可以理解的是,本申请实施例中计算机设备100为终端时,所使用的终端可以是既包括接收和发射硬件的设备,即具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算机设备100具体可以是台式终端或移动终端,计算机设备100具体还可以是手机、平板电脑、笔记本电脑、医疗辅助仪器等中的一种。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案一种应用场景,并不以构建对本申请方案应用场景的限定,其他的应用环境还可以包括比图1中所示更多或更少的计算机设备,例如图1中仅示出1个计算机设备,可以理解的,该行为医学图像处理系统还可以包括一个或多个其他计算机设备,具体此处不作限定。
另外,如图1所示,该医学图像处理系统还可以包括存储器200,用于存储数据,如存储内镜检查设备拍摄的肠镜视频和医学图像处理数据,例如医学图像处理系统运行时的医学图像处理数据。
需要说明的是,图1所示的医学图像处理系统的场景示意图仅仅是一个示例,本申请实施例描述的医学图像处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着医学图像处理系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
接下来,介绍本申请实施例提供的医学图像处理方法。
本申实施例医学图像处理方法的实施例中以医学图像处理装置作为执行主体,为了简化与便于描述,后续方法实施例中将省略该执行主体,该医学图像处理装置应用于计算机设备,该方法包括:获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
请参阅图2至图14,图2为本申请实施例中提供的医学图像处理方法的一个实施例流程示意图,该医学图像处理方法包括:
201、获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
其中,阴性肠镜退镜时间是仅包括正常的退镜状态下的退镜时间,并不包括在染色检查、发现腺瘤和对息肉进行活检等额外操作时对应的反向进镜状态、驻留状态下使用的时间。第一耗时参数是从进镜到达回盲部开始计时,直至当前时刻之间的退镜过程中的阴性肠镜退镜时间。
在本申请的一些实施例中,可以通过卷积神经网络识别回盲部,抵达回盲部后,开始计算退镜时间。
202、获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;
本申请实施例中,每一张肠镜图像都包括有多个像素位置,该像素位置可以理解为该像素点在肠镜图像中的坐标位置,而光流残差向量是对应像素位置上的一个光流参数,具体如何获取个像素位置的光流残差向量,请参阅下述具体实施例,在此不做赘述。
203、基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
其中,光流残差向量的模参数是取光流残差向量的模的值。由于,内镜检查设备在实际检查过程中,通常会因为各种原因,例如出现异物、局部遮挡等,而导致拍摄到的图像出现局部模糊等情况,由此使得计算结果出现误差。为了避免上述问题,本申请通过选取目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合,将这些经过筛选符合预设要求的目标像素位置集合用于后续计算,可以有效避免出现误差,提高计算结果的准确性。
在本申请的一些实施例中,基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合,包括:将第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较;筛选小于或等于预设的模阈值的光流残差向量对应的目标像素位置,以得到目标像素位置集合。需要说明的是,小于或等于预设的模阈值的光流残差向量对应的光流位置的光流为正常光流,否则,记为干扰光流。保留的正常光流如图13所示,当残差向量模大于阈值,标记为0,即干扰光流;当残差向量模小于等于阈值,标记为1,即正常光流。具体的,如下公式:
Figure 772152DEST_PATH_IMAGE002
其中,其中Thr为划分正常和干扰光流的阈值,即预设的模阈值,该预设的模阈值可根据实际需要进行设定,经过发明人研究计算,将该模阈值设为5像素长度最为合适。
204、将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
本申请实施例中,该预设类型的通道值可以为HSV,即预设类型通道的肠道图像为HSV图像,具体转换过程如下:
首先,取第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量:
Figure 282768DEST_PATH_IMAGE003
其中,(x,y)为各像素对应的坐标信息。
将其正向光流向量转化成HSV通道值:
Figure 531347DEST_PATH_IMAGE004
Figure 520031DEST_PATH_IMAGE005
Figure 537666DEST_PATH_IMAGE006
即得到HSV图像,如图14所示。
205、识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;
在本申请的一些实施例中,识别第二目标肠镜图像集对应的运行状态,得到识别结果,包括:基于预设的循环神经网络,识别第二目标肠镜图像集对应的运行状态,得到识别结果。本申请实施例中的循环神经网络可以为LSTM,训练时,需要标记同样长度的图片序列作为训练样本,样本标签为进镜、退镜和驻留三个类别。
通常情况下,由于运行状态下的三个状态之间通常是连续的,如果第二目标肠镜图像集中包括的图像数量较多,则会出现一定误差,为了提高识别的准确度,在本申请的其他实施例中,可以将第二目标肠镜图像集分成多个时间段的子图像集,然后再分别对子图像集进行识别。
206、若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;
其中,预设的阈值可根据实际需求进行设定,本申请实施例设定的阈值为0.8。上述提及的“内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量”中的预设的时间段即对应本实施例的第二耗时参数。需要说明的时,该预设的时间段可根据实际情况进行调整。
进一步的,在本申请的其他实施例中,当识别结果为第二目标肠镜图像集的运行状态为驻留状态或进镜状态时,则不记录其耗时。
207、基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
本申请实施例中,基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时,可以将第二耗时参数和第一耗时参数相加和,以得到当前时刻的阴性肠镜退镜总耗时。
在本申请的一些实施例中,在基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时之后,方法包括:退镜过程中,内镜检查设备在抵达肛门之前,循环更新退镜总耗时。具体的,可以通过采用预设的卷积神经网络识别内镜检查设备是否抵达肛门,本申请实施例中的卷积神经网络可以采用Resnet50卷积神经网络。进一步的,可以准备肠镜肛门图片集和非肛门图片集来训练Resnet50卷积神经网络,用以区分当前图像是否是肛门部位。是肛门部位标为1,反之为0。取最近连续多帧图像(本实施例为10帧)进行识别,如果有超过一定数量(本例为7)图像的标记为1,则认为已抵达肛门,退镜结束,停止计时。
本申请实施例所公开的方案,相较于传统方法,通过采用反向校验的方式,获取符合预设要求的目标像素位置集合,排除模糊图像的干扰,进一步的,将校验后的目标像素位置的正向光流转换成预设类型的通道值,由此便于识别其对应的运行状态,从而可以排除一些非阴性肠镜退镜耗时,提高了记录阴性肠镜退镜耗时的准确性。
在本申请的一些实施例中,如图3所示,获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:
301、获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集;
302、获取第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量;
本申请实施例,下面实例说明计算当前帧肠镜图像中所有像素位置中各像素位置的正向光流向量,如图10所示,图10为正向光流示意图,正向计算前一帧肠镜图像与当前帧肠镜图像的稠密光流,以获得当前帧肠镜图像每个像素点的正向光流向量。具体的,通过Farneback稠密光流算法,计算当前帧肠镜图像中所有像素位置中各像素位置的正向光流向量,具体公式如下:
Figure 953604DEST_PATH_IMAGE008
其中,u为光流在(x,y)像素处横坐标偏移量,v为光流在(x,y)像素处纵坐标偏移量。优选的,计算过程可以在GPU上进行,能够很大地提高实时性。
由此,按照上述方式,分别计算第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量即可。
303、获取第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量;
本申请实施例中,下面实例说明计算当前帧肠镜图像中所有像素位置中各像素位置的反向光流向量,如图11所示,图11为反向光流示意图,反向计算前一帧肠镜图像与当前帧肠镜图像的稠密光流,以获得当前帧肠镜图像每个像素点的反向光流向量。具体的,通过Farneback稠密光流算法,计算当前帧肠镜图像中所有像素位置中各像素位置的反向光流向量,具体公式如下:
Figure 689478DEST_PATH_IMAGE010
其中,ur为反向光流在(x,y)像素处横坐标偏移量,vr为光流在(x,y)像素处纵坐标偏移量。同样的,优选的,计算过程可以在GPU上进行,能够很大地提高实时性。
由此,按照上述方式,分别计算第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量即可。
304、基于正向光流向量和反向光流向量,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请的一些实施例中,如图12所示,图12为残差光流示意图,基于正向光流向量和反向光流向量,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:将第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和,得到第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
本申请实施例所公开的方案,通过正向光流向量和反向光流向量进行加和,以得到第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,便于后续通过反向校验来排除混杂因素的影响,对冲洗水、贴壁和模糊等图像具有很高的鲁棒性,不容易失真。
在本申请的一些实施例中,如图4所示,获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集,包括:
401、获取内镜检查设备在预设的时间段内拍摄的肠镜视频;
402、对肠镜视频进行解码,得到初始肠镜图像集,初始肠镜图像集包括有多张连续帧初始肠镜图像;
本申请实施例中,可选取每秒25帧图像。
403、对初始肠镜图像集中每张图像进行裁剪,得到第一肠镜图像集;
本申请实施例中,如图7所示,由于初始肠镜图像集中的图像还包括其他的信息,通过对初始肠镜图像集中每张图像进行裁剪,可以保留有效图像区域。
在本申请的一些实施例中,可以基于预设的语义分割网络,对初始肠镜图像集中每张图像进行分割,以实现对初始肠镜图像集中每张图像进行裁剪,使其兼容不同尺寸和不同型号的内镜视频,具体的,该语义分割网络具体选取Unet网络。由此可以提高分割效率和分割准确度。
404、对第一肠镜图像集中每张图像进行缩放,得到第一目标肠镜图像集。
本申请实施例中,通常,由于初始肠镜图像集中的图像的尺寸与后续计算设备的尺寸要求存在差异,因此,需要对第一肠镜图像集中每张图像进行缩放。尤其是,当原图过大时,其会大幅增加计算负担,影像实时性,因此,需要适当地缩小图像以达到实时性的要求。然而,一般情况下,对图像进行缩放,会产生不必要的波纹效应,影像后续计算结果的准确性。为此,本申请实施例采用区域插值法对图像进行缩放,与其他传统缩放图片方法相比,该方法不会产生波纹效应,且缩小后的图片质量高。
具体的,本申请实施例中的区域插值法,是根据图片缩放前后像素区域的对应关系进行插值的一种方法。如图8所示,当图片缩小时,缩小后图片像素点(x',y'),对应原图上左上角为(x'×scalex,y'×scaley)。
((x'+1)×scalex-1,(y'+1)×scaley-1)右下角这样一片像素区域Area。其中scalex,scaley为原图宽高除以缩小后宽高的倍数,当不能整除时,此倍数为小数。像素点(x',y')的像素值则为原图纳入像素区域所有点像素值的平均值。缩放倍数不为整数时,如图9所示,边缘像素可能仅有一部分纳入像素区域,此时完全被纳入的像素权重为1,部分纳入像素则按被纳入的比例赋予权重。由此,区域插值法的公式表达如下:
Figure DEST_PATH_IMAGE011
其中scalex,scaley为原图宽高除以缩小后宽高的倍数,Weight(x,y)为原图上像素(x,y)纳入像素区域的比例,Area为像素区域的面积。
本申请实施例所公开的方案,通过对内镜检查设备拍摄的肠镜视频进行一系列的图像处理,提高了图像的质量,提高了实效性,提高了后续计算结果的准确性。
为了更好实施本申请实施例中医学图像处理方法,在医学图像处理方法基础之上,本申请实施例中还提供一种医学图像处理装置,如图5所示,医学图像处理装置500包括:
第一获取单元501,用于获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
第二获取单元502,用于获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;
第一确定单元503,用于基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
第一转换单元504,用于将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
第一识别单元505,用于识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;
第三获取单元506,用于若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;
第一更新单元507,用于基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
在本申请一种可能的实现方式中,第二获取单元502,包括:
第四获取单元,用于获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集;
第五获取单元,用于获取第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量;
第六获取单元,用于获取第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量;
第二确定单元,用于基于正向光流向量和反向光流向量,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,第二确定单元,具体用于:
将第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和,得到第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
在本申请一种可能的实现方式中,第四获取单元,具体用于:
获取内镜检查设备在预设的时间段内拍摄的肠镜视频;
对肠镜视频进行解码,得到初始肠镜图像集,初始肠镜图像集包括有多张连续帧初始肠镜图像;
对初始肠镜图像集中每张图像进行裁剪,得到第一肠镜图像集;
对第一肠镜图像集中每张图像进行缩放,得到第一目标肠镜图像集。
在本申请一种可能的实现方式中,第一确定单元503,具体用于:
将第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较;
筛选小于或等于预设的模阈值的光流残差向量对应的目标像素位置,以得到目标像素位置集合。
在本申请一种可能的实现方式中,第一识别单元505,具体用于:
基于预设的循环神经网络,识别第二目标肠镜图像集对应的运行状态,得到识别结果。
在本申请一种可能的实现方式中,在基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时之后,装置还用于:
退镜过程中,内镜检查设备在抵达肛门之前,循环更新退镜总耗时。
本申请提供一种医学图像处理装置500,该装置包括:第一获取单元501,用于获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;第二获取单元502,用于获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;第一确定单元503,用于基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;第一转换单元504,用于将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;第一识别单元505,用于识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;第三获取单元506,用于若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;第一更新单元507,用于基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。相较于传统装置,本申请实施例通过采用反向校验的方式,获取符合预设要求的目标像素位置集合,排除模糊图像的干扰,进一步的,将校验后的目标像素位置的正向光流转换成预设类型的通道值,由此便于识别其对应的运行状态,从而可以排除一些非阴性肠镜退镜耗时,提高了记录阴性肠镜退镜耗时的准确性。
除了上述介绍用于医学图像处理方法与装置之外,本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种医学图像处理装置,计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中一个或多个应用程序被存储于存储器中,并配置为由处理器执行上述医学图像处理方法实施例中任一实施例中的任一方法的操作。
本申请实施例还提供一种计算机设备,其集成了本申请实施例所提供的任一种医学图像处理装置。如图6所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储单元602、电源603和输入单元604等部件。本领域技术人员可以理解,图6中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储单元602内的软件程序和/或模块,以及调用存储在存储单元602的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器601可包括一个或多个处理核心;优选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储单元602可用于存储软件程序以及模块,处理器601通过运行存储在存储单元602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储单元602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储单元602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储单元602还可以包括存储器控制器,以提供处理器601对存储单元602的访问。
计算机设备还包括给各个部件供电的电源603,优选的,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元604,该输入单元604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本申请实施例中,计算机设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元602中,并由处理器601来运行存储在存储单元602中的应用程序,从而实现各种功能,如下:
获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
本申请提供一种医学图像处理方法,相较于传统方法,本申请实施例通过采用反向校验的方式,获取符合预设要求的目标像素位置集合,排除模糊图像的干扰,进一步的,将校验后的目标像素位置的正向光流转换成预设类型的通道值,由此便于识别其对应的运行状态,从而可以排除一些非阴性肠镜退镜耗时,提高了记录阴性肠镜退镜耗时的准确性。
为此,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random AccessMemory)、磁盘或光盘等。该计算机可读存储介质中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种医学图像处理方法中的步骤。例如,该指令可以执行如下步骤:
获取在当前时刻之前的退镜过程中的第一耗时参数,第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,第一目标肠镜图像集包括多张连续帧肠镜图像;基于各像素位置的光流残差向量的模参数,确定第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;将第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;识别第二目标肠镜图像集对应的运行状态,得到识别结果,运行状态包括退镜状态、进镜状态以及驻留状态;若识别结果为第二目标肠镜图像集的运行状态为退镜状态,且识别结果对应的置信度大于预设的阈值,则获取第二目标肠镜图像集对应的第二耗时参数;基于第二耗时参数和第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种医学图像处理方法、装置、终端及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种医学图像处理方法,其特征在于,所述方法包括:
获取在当前时刻之前的退镜过程中的第一耗时参数,所述第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,所述第一目标肠镜图像集包括多张连续帧肠镜图像;
基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
将所述第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,所述第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,所述运行状态包括退镜状态、进镜状态以及驻留状态;
若所述识别结果为所述第二目标肠镜图像集的运行状态为退镜状态,且所述识别结果对应的置信度大于预设的阈值,则获取所述第二目标肠镜图像集对应的第二耗时参数;
基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
2.根据权利要求1所述的医学图像处理方法,其特征在于,所述获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:
获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集;
获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量;
获取所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的反向光流向量;
基于所述正向光流向量和所述反向光流向量,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
3.根据权利要求2所述的医学图像处理方法,其特征在于,所述基于所述正向光流向量和所述反向光流向量,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,包括:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的正向光流向量和反向光流向量进行加和,得到所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量。
4.根据权利要求2所述的医学图像处理方法,其特征在于,所述获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集,包括:
获取内镜检查设备在预设的时间段内拍摄的肠镜视频;
对所述肠镜视频进行解码,得到初始肠镜图像集,所述初始肠镜图像集包括有多张连续帧初始肠镜图像;
对所述初始肠镜图像集中每张图像进行裁剪,得到第一肠镜图像集;
对所述第一肠镜图像集中每张图像进行缩放,得到第一目标肠镜图像集。
5.根据权利要求1所述的医学图像处理方法,其特征在于,所述基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合,包括:
将所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量的模参数和预设的模阈值进行比较;
筛选小于或等于所述预设的模阈值的光流残差向量对应的目标像素位置,以得到目标像素位置集合。
6.根据权利要求1所述的医学图像处理方法,其特征在于,所述识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,包括:
基于预设的循环神经网络,识别所述第二目标肠镜图像集对应的运行状态,得到识别结果。
7.根据权利要求1所述的医学图像处理方法,其特征在于,在基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时之后,所述方法包括:
退镜过程中,所述内镜检查设备在抵达肛门之前,循环更新所述退镜总耗时。
8.一种医学图像处理装置,其特征在于,所述装置包括:
第一获取单元,用于获取在当前时刻之前的退镜过程中的第一耗时参数,所述第一耗时参数为在当前时刻之前的退镜过程中的阴性肠镜退镜时间;
第二获取单元,用于获取内镜检查设备在预设的时间段内拍摄的第一目标肠镜图像集中每一张肠镜图像中所有像素位置中各像素位置的光流残差向量,所述第一目标肠镜图像集包括多张连续帧肠镜图像;
第一确定单元,用于基于所述各像素位置的光流残差向量的模参数,确定所述第一目标肠镜图像集中每一张肠镜图像中所有像素位置中符合预设要求的目标像素位置集合;
第一转换单元,用于将所述第一目标肠镜图像集中每一张肠镜图像中的目标像素位置集合中各像素位置的正向光流向量转换为预设类型的通道值,得到第二目标肠镜图像集,所述第二目标肠镜图像集包括多张连续帧的预设类型通道的肠镜图像;
第一识别单元,用于识别所述第二目标肠镜图像集对应的运行状态,得到识别结果,所述运行状态包括退镜状态、进镜状态以及驻留状态;
第三获取单元,用于若所述识别结果为所述第二目标肠镜图像集的运行状态为退镜状态,且所述识别结果对应的置信度大于预设的阈值,则获取所述第二目标肠镜图像集对应的第二耗时参数;
第一更新单元,用于基于所述第二耗时参数和所述第一耗时参数,更新当前时刻的阴性肠镜退镜总耗时。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器;以及
一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现权利要求1至7中任一项所述的医学图像处理方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的医学图像处理方法中的步骤。
CN202210964696.4A 2022-08-12 2022-08-12 医学图像处理方法、装置及其相关设备 Active CN115035153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964696.4A CN115035153B (zh) 2022-08-12 2022-08-12 医学图像处理方法、装置及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964696.4A CN115035153B (zh) 2022-08-12 2022-08-12 医学图像处理方法、装置及其相关设备

Publications (2)

Publication Number Publication Date
CN115035153A true CN115035153A (zh) 2022-09-09
CN115035153B CN115035153B (zh) 2022-10-28

Family

ID=83130985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964696.4A Active CN115035153B (zh) 2022-08-12 2022-08-12 医学图像处理方法、装置及其相关设备

Country Status (1)

Country Link
CN (1) CN115035153B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458127A (zh) * 2019-03-01 2019-11-15 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、设备以及系统
WO2020012530A1 (ja) * 2018-07-09 2020-01-16 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测系统
CN112785549A (zh) * 2020-12-29 2021-05-11 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学(深圳) 胃部消化道下手术器械追踪和实时预警的方法和系统
CN113823400A (zh) * 2021-11-22 2021-12-21 武汉楚精灵医疗科技有限公司 肠道退镜速度监测方法、装置及计算机可读存储介质
CN113962998A (zh) * 2021-12-23 2022-01-21 天津御锦人工智能医疗科技有限公司 肠镜检查的有效退镜时间评估方法、装置及存储介质
WO2022064987A1 (ja) * 2020-09-25 2022-03-31 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
CN114332028A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN114446435A (zh) * 2022-02-11 2022-05-06 武汉大学 一种肠镜报告生成方法和装置
CN114569043A (zh) * 2022-01-29 2022-06-03 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置
CN114679524A (zh) * 2022-03-23 2022-06-28 西安邮电大学 一种快速检测和修复内窥镜下高能量可见光的快速方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012530A1 (ja) * 2018-07-09 2020-01-16 日本電気株式会社 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
CN110458127A (zh) * 2019-03-01 2019-11-15 腾讯医疗健康(深圳)有限公司 图像处理方法、装置、设备以及系统
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测系统
WO2022064987A1 (ja) * 2020-09-25 2022-03-31 Hoya株式会社 内視鏡用プロセッサ及び内視鏡システム
CN112785549A (zh) * 2020-12-29 2021-05-11 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学(深圳) 胃部消化道下手术器械追踪和实时预警的方法和系统
CN113823400A (zh) * 2021-11-22 2021-12-21 武汉楚精灵医疗科技有限公司 肠道退镜速度监测方法、装置及计算机可读存储介质
CN113962998A (zh) * 2021-12-23 2022-01-21 天津御锦人工智能医疗科技有限公司 肠镜检查的有效退镜时间评估方法、装置及存储介质
CN114332028A (zh) * 2021-12-30 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN114569043A (zh) * 2022-01-29 2022-06-03 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置
CN114446435A (zh) * 2022-02-11 2022-05-06 武汉大学 一种肠镜报告生成方法和装置
CN114679524A (zh) * 2022-03-23 2022-06-28 西安邮电大学 一种快速检测和修复内窥镜下高能量可见光的快速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAE MYUNGPARK 等: "Longer Observation Time Increases Proportion of Neoplasms Detected by Esophagogastroduodenoscopy", 《GASTROENTEROLOGY》 *
朱晓芸 等: "人工智能技术在结肠镜退镜速度实时监控中的应用", 《中华消化内镜》 *

Also Published As

Publication number Publication date
CN115035153B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN115035152B (zh) 医学图像处理方法、装置以及相关设备
CN112767329B (zh) 图像处理方法及装置、电子设备
US8928813B2 (en) Methods and apparatus for reducing structured noise in video
WO2018112788A1 (zh) 图像处理方法及设备
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
CN113823400A (zh) 肠道退镜速度监测方法、装置及计算机可读存储介质
CN114419521B (zh) 肠道内镜检查的监控方法及装置
US20220369920A1 (en) Phase identification of endoscopy procedures
CN114417037B (zh) 图像处理方法、装置、终端及可读存储介质
WO2018058476A1 (zh) 一种图像校正方法及装置
JP2007312810A (ja) 画像処理装置
CN111951192A (zh) 一种拍摄图像的处理方法及拍摄设备
CN114022880B (zh) 食管粘膜平坦程度量化方法、装置、终端及存储介质
CN115035153B (zh) 医学图像处理方法、装置及其相关设备
CN114390188B (zh) 一种图像处理方法和电子设备
CN114419041B (zh) 病灶颜色的识别方法及装置
CN114419050B (zh) 胃黏膜可视化程度量化方法、装置、终端及可读存储介质
CN115511885B (zh) 盲肠插管成功率的检测方法及装置
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN113706536B (zh) 滑镜风险预警方法、装置及计算机可读存储介质
CN115239551A (zh) 视频增强方法和装置
CN115393230B (zh) 超声内镜图像标准化方法、装置及其相关装置
US11776141B1 (en) Hybrid image registration techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant