CN116965751A - 内窥镜移动速度检测方法、装置、电子设备及存储介质 - Google Patents
内窥镜移动速度检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116965751A CN116965751A CN202211501250.4A CN202211501250A CN116965751A CN 116965751 A CN116965751 A CN 116965751A CN 202211501250 A CN202211501250 A CN 202211501250A CN 116965751 A CN116965751 A CN 116965751A
- Authority
- CN
- China
- Prior art keywords
- image frame
- endoscope
- moving speed
- optical flow
- current image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 153
- 230000003287 optical effect Effects 0.000 claims abstract description 89
- 230000033001 locomotion Effects 0.000 claims abstract description 61
- 238000010586 diagram Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011010 flushing procedure Methods 0.000 abstract description 16
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 230000009471 action Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012840 feeding operation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种内窥镜移动速度检测方法、装置、电子设备及存储介质,涉及内窥镜领域,方法包括:在接收到内窥镜设备拍摄的当前图像帧时,获取与当前图像帧相邻的上一图像帧,并为当前图像帧生成相对于上一图像帧的光流图;根据光流图中各向量的朝向确定内窥镜设备是否处于移动状态;当确定内窥镜设备处于移动状态时,利用光流图中的所有向量计算当前图像帧对应的移动速度;可基于由当前图像帧和与其相邻的上一图像帧生成的光流图确定当前图像帧中是否存在干扰移动速度检测的干扰因素,并仅在确定不存在该干扰因素时才利用该光流图确定该设备对应的移动速度,以避免移动速度检测被冲水、医疗器械移动等因素干扰。
Description
技术领域
本申请涉及内窥镜领域,特别涉及一种内窥镜移动速度检测方法、装置、电子设备及计算机可读存储介质。
背景技术
相关技术中,为确保医疗人员能够执行有效的内窥镜检查,通常需要对内窥镜设备在患者体内沿着镜体的长度轴方向移动的移动速度进行检测,以便医疗人员了解检测情况。然而,冲水、医疗器械移动等因素容易干扰移动速度的检测,进而导致移动速度准确度及可靠度较低,无法满足应用需求。
发明内容
本申请的目的是提供一种内窥镜移动速度检测方法、装置、电子设备及计算机可读存储介质,可基于与当前图像帧对应的光流图确定当前图像帧中是否存在干扰移动速度计算的干扰因素,并仅在确定不存在该干扰因素时才利用该光流图确定该设备对应的移动速度,以避免移动速度检测被冲水、医疗器械移动等因素干扰。
为解决上述技术问题,本申请提供一种内窥镜移动速度检测方法,包括:
在接收到内窥镜设备拍摄的当前图像帧时,获取与所述当前图像帧相邻的上一图像帧,并为所述当前图像帧生成相对于所述上一图像帧的光流图;
根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态;
当确定所述内窥镜设备处于所述移动状态时,利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度。
可选地,在根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态之后,还包括:
当确定所述内窥镜设备不处于所述移动状态时,将所述上一图像帧对应的移动速度设置为所述当前图像帧对应的移动速度。
可选地,所述利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度,包括:
对所述光流图中的每一向量进行归一化;
利用所有归一化后的向量的模长计算模长平均值,并将所述模长平均值设置为所述移动速度。
可选地,所述为所述当前图像帧生成相对于所述上一图像帧的光流图,包括:
利用PWC-Net模型为所述当前图像帧生成相对于所述上一图像帧的光流图。
可选地,所述根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态,包括:
对所述光流图中的向量进行向量求和计算得到向量和,并判断所述向量和的模长是否小于预设阈值;
若是,则判定所述内窥镜设备处于所述移动状态;
若否,则判定所述内窥镜设备不处于所述移动状态。
可选地,所述对所述光流图中的向量进行向量求和计算得到向量和,包括:
将位于所述光流图指定区域中的向量设置为待处理向量;
对所有所述待处理向量进行向量求和计算得到所述向量和。
可选地,所述指定区域为以所述光流图中央为原点、以预设数值为半径的圆形区域。
本申请还提供一种内窥镜移动速度检测装置,包括:
光流图生成模块,用于在接收到内窥镜设备拍摄的当前图像帧时,获取与所述当前图像帧相邻的上一图像帧,并为所述当前图像帧生成相对于所述上一图像帧的光流图;
移动状态检测模块,用于根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态;
移动速度计算模块,用于当确定所述内窥镜设备处于所述移动状态时,利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度。
可选地,所述内窥镜移动速度检测装置还包括:
移动速度设置模块,用于当确定所述内窥镜设备不处于所述移动状态时,将所述上一图像帧对应的移动速度设置为所述当前图像帧对应的移动速度。
可选地,所述移动状态检测模块,包括:
向量和计算子模块,用于对所述光流图中的向量进行向量求和计算得到向量和;
判定子模块,用于判断所述向量和的模长是否小于预设阈值,若是,则判定所述内窥镜设备处于所述移动状态;若否,则判定所述内窥镜设备不处于所述移动状态。
本申请还可提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的内窥镜移动速度检测方法。
本申请还可提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上所述的内窥镜移动速度检测方法。
本申请提供一种内窥镜移动速度检测方法,包括:在接收到内窥镜设备拍摄的当前图像帧时,获取与所述当前图像帧相邻的上一图像帧,并为所述当前图像帧生成相对于所述上一图像帧的光流图;根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态;当确定所述内窥镜设备处于所述移动状态时,利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度。
可见,本申请在接收到内窥镜设备所拍摄的当前图像帧时,可获取与当前图像帧相邻的上一图像帧,并为当前图像帧生成相对于上一图像帧的光流图,其中光流图用于反映图像中各像素点在相邻两帧图像中的移动情况;随后,本申请将依照光流图中各向量的朝向确定内窥镜设备是否处于移动状态,这是由于当内窥镜设备在沿着镜体的长度轴方向移动时,图像帧中的各像素点的移动方向通常呈放射状排布,如在退镜移动时各向量将从图像四周指向图像中心,在进镜移动时各向量将从图像中央指向图像四周;而在进行冲水、医疗器械移动时,由于水流、医疗器械会在图像中平行移动,因此在这种场景中,各像素点的移动方向趋于平行,对应地,光流图中各向量的方向趋于平行。也正是如此,本申请可依照由当前图像帧和与其相邻的上一图像帧生成的光流图中各向量的朝向,判断图像中各像素的移动规律,进而确定内窥镜设备当前是否处于沿着镜体的长度轴方向移动的移动状态(进镜状态或者退镜状态),若确定内窥镜设备处于移动状态,则说明当前图像帧中不存在干扰移动速度的因素,此时便可利用该光流图中的所有向量计算该设备在当前图像帧中对应的移动速度。由此,可以避免移动速度检测被冲水、医疗器械移动等因素干扰。本申请还提供一种内窥镜移动速度检测装置、电子设备及计算机可读存储介质,具有上述有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种由内窥镜退镜动作所产生的光流图中各向量的朝向示意图;
图2为本申请实施例所提供的一种由横向移动内窥镜动作所产生的光流图中各向量的朝向示意图;
图3为本申请实施例所提供的一种由冲水动作所产生的光流图中各向量的朝向示意图;
图4为本申请实施例所提供的一种由操作医疗器械动作所产生的光流图中各向量的朝向示意图;
图5为本申请实施例所提供的一种内窥镜移动速度检测方法的流程图;
图6为本申请实施例所提供的另一种内窥镜移动速度检测方法的流程图;
图7为本申请实施例所提供的一种内窥镜移动速度检测装置的结构框图;
图8为本申请实施例所提供的一种电子设备的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为确保医疗人员能够执行有效的内窥镜检查,通常需要对内窥镜设备在患者体内沿着镜体的长度轴方向移动的速度进行检测,以便医疗人员了解检测情况。相关技术中,通常可对内窥镜设备采集的图像进行相似度检测,并将相似度映射为速度值来实现对移动速度的检测。然而在实际应用中,冲水、医疗器械移动等动作容易在内窥镜图像中增加干扰内容,进而将降低相似度检测的可靠性,并最终降低移动速度的准确性及可靠性。即简单来讲,现有方案难以克服冲水、医疗器械移动等动作为移动速度检测带来的干扰,进而无法得到可靠的移动速度。
有鉴于此,本申请针对上述由冲水、医疗器械移动等外部干扰所引起的移动速度准确度低、可靠性差的问题,提供了一种内窥镜移动速度检测方法,可利用以内窥镜设备所拍摄的上一图像帧为基准、以内窥镜设备所拍摄的当前图像帧为变换对象所生成的光流图判定内窥镜设备是否处于移动状态,并可基于判定结果来确定当前图像帧是否适合于确定该设备对应的移动速度,以避免上述因素对移动速度检测结果的影响。
具体的,光流图用于记录某图像帧中的像素在另一图像帧中的移动情况。基于光流图的这一特征,经本申请发明人研究发现,内窥镜设备的进镜动作、退镜动作与冲水、医疗器械移动等容易带来干扰的动作可根据光流图中各向量的朝向来进行区分。例如,图1为本申请实施例所提供的一种由内窥镜退镜动作所产生的光流图中各向量的朝向示意图,其中箭头表示向量,可见在内窥镜设备沿着镜体的长度轴方向执行退镜动作时,图像帧中的各像素点的移动方向通常指向图像中心,即光流图中各向量的朝向主要从图像四周指向图像中心。相反,当内窥镜设备沿着镜体的长度轴方向执行进镜动作时,图像帧中各像素点的移动方向通常从图像中心指向图像四周,即光流图中各向量的朝向主要从图像中心指向图像四周。可见,当内窥镜设备沿着镜体的长度轴方向移动时,光流图中各向量的延伸方向主要呈放射状排布。又例如,医疗人员为全面观察腔体在某深度周围的情况,可控制内窥镜镜体头端向上、向下、向左或向右弯曲一定的角度,而在弯曲的过程中内窥镜镜头将产生横向移动动作;此外,为对腔体内进行清理或其他检查时,医疗人员也可能在内窥镜镜头前执行冲水动作或是操作其他医疗器械。由横向移动内窥镜、冲水、操作医疗器械这三种动作所产生的光流图中各向量的朝向可分别参考图2、图3及图4,其中箭头表示向量,可见在医疗人员横向移动内窥镜、冲水或者操作其他医疗器械时,由于被摄对象、水流、医疗器械这些被摄物体会在图像帧间沿单一方向活动,因此在这种场景中,各像素点的移动方向趋于平行,即各向量的方向趋于平行。也正是如此,本申请可基于光流图中各向量的朝向判断内窥镜设备是否处于沿着镜体的长度轴方向移动的移动状态,若确定内窥镜设备处于移动状态,则说明当前图像帧中不存在干扰移动速度的因素,此时便可利用该光流图中的所有向量计算该设备在当前图像帧中对应的移动速度,以避免横向移动内窥镜、冲水及操作其他医疗器械等动作对移动速度准确度的影响。
具体的,请参考图5,图5为本申请实施例所提供的一种内窥镜移动速度检测方法的流程图。应当指出的是,本方法可应用于任一种可处理内窥镜设备所拍摄图像的电子设备,如个人电脑、移动终端、内窥镜图像处理器等。本方法具体可以包括:
S501、在接收到内窥镜设备拍摄的当前图像帧时,获取与当前图像帧相邻的上一图像帧,并为当前图像帧生成相对于上一图像帧的光流图。
如上所述,光流图具体用于反映各像素点在两图像帧之间的移动情况。具体的,各像素点在两图像帧之间的移动情况可由光流图中每个元素P(x,y,c)记录,该元素P表示原图像中(x,y)位置对应的像素在另一图像中朝X轴或Y轴方向移动的距离,其中c值用于确定方向。例如,若c为0表示X轴,c为1表示Y轴,则P(1,1,0)=2表示原图像中位于(1,1)位置的像素点沿X轴移动了2个像素,而P(1,1,1)=3表示(1,1)位置的像素点沿Y轴移动了3个像素。即简单来讲,每个像素点对应有两个元素P。可以理解的是,由于各像素在原图像中的位置信息及其在另一图像中沿X轴和Y轴移动的距离均已由对应的元素P记录,因此可根据该像素在原图像中的位置信息及其在另一图像中沿X轴和Y轴移动的距离生成记录有该像素移动朝向及距离的向量。
进一步,可以理解的是光流图需采用光流模型进行生成。本申请实施例并不限定具体的光流模型以及该模型具体生成光流图的过程,可根据实际应用需求进行选择。考虑到PWC-Net模型为常用的光流模型,因此本申请实施例可利用PWC-Net模型为当前图像帧生成相对于上一图像帧的光流图。
S502、根据光流图中各向量的朝向确定内窥镜设备是否处于移动状态。
应当特别指出的是,本申请实施例中的移动状态具体指内窥镜设备沿着镜体的长度轴方向移动的状态,如包含进镜移动状态和退镜移动状态。如上所述,由于内窥镜设备沿着镜体的长度轴方向的移动动作与内窥镜设备横向移动、冲水、医疗器械移动等容易带来干扰的动作可根据光流图中各向量的朝向来进行区分,因此本申请实施例可汇总当前图像帧对应的光流图所包含的各向量的朝向,并基于汇总结果确定内窥镜设备在当前图像帧中是否对应移动状态。本申请实施例并不限定具体的操作过程,例如可统计光流图中各向量的朝向分布情况,并基于该情况确定各向量是趋向于指向图像中央,还是趋向于平行,以此来确定内窥镜设备是否处于移动状态;当然,也可采取另一种更为简便的方法,即对光流图中的向量进行向量求和,并根据向量和的模长来确定向量总体的朝向情况。由向量求和的方式可知,当分布在图像各处的向量更趋向于放射状排布时,向量和的模长会变小;反之,当各向量趋向于平行时,向量和的模长将会变大。因此,只需要对光流图中的向量进行向量求和,并设置对应的预设阈值,在确定向量和的模长小于预设阈值时确定各向量趋向于放射状排布,在确定向量和的模长大于或等于预设阈值时确定各向量趋向于平行,进而,可确定内窥镜设备是否处于移动状态。需要说明的是,本申请实施例并不限定预设阈值的具体数值,可依照实际应用情况进行设定,例如可以为0.9。
基于此,在一种可能的情况中,根据光流图中各向量的朝向确定内窥镜设备是否处于移动状态,可以包括:
步骤11:对光流图中的向量进行向量求和计算得到向量和,并判断向量和的模长是否小于预设阈值;若是,则进入步骤12;若否,则进入步骤13;
步骤12:判定内窥镜设备处于移动状态;
步骤13:判定内窥镜设备不处于移动状态。
当然,为了节省计算资源,并排除噪声干扰,也可以仅对光流图指定区域中的向量进行向量求和计算。可以理解的是,该指定区域应当位于光流图的中央位置。本申请实施例并不限定指定区域的大小及形状,可根据实际应用需求进行设定。示例性地,指定区域可以是一个以图像中央为原点,以预设数值为半径的圆心区域,该预设数值根据实际应用需求进行设定,例如可以为150像素。
在一种可能的情况中,对光流图中的向量进行向量求和计算得到向量和,可以包括:
步骤21:将位于光流图指定区域中的向量设置为待处理向量;
步骤22:对所有待处理向量进行向量求和计算得到向量和。
S503、当确定内窥镜设备处于移动状态时,利用光流图中的所有向量计算当前图像帧对应的移动速度。
当确定内窥镜设备处于移动状态时,可确定当前图像帧中不存在干扰移动速度检测的信息,因此此时本申请实施例可利用光流图中的所有向量计算当前图像帧对应的移动速度。具体的,本申请实施例可首先对光流图中的每个向量进行归一化,即首先确定该向量的模长及其在X轴和Y轴上的分量,随后将该向量在X轴和Y轴上的分量分别与该模长相除,得到该向量在两个坐标轴上更新后的分量,再利用更新后的分量计算该向量的新模长,以完成对该向量的归一化。随后,本申请实施例将利用所有归一化后的向量的模长计算模长平均值,并将模长平均值设置为移动速度。
在一种可能的情况中,利用光流图中的所有向量计算当前图像帧对应的移动速度,可以包括:
步骤31:对光流图中的每一向量进行归一化;
步骤32:利用所有归一化后的向量的模长计算模长平均值,并将模长平均值设置为移动速度。
进一步,当确定内窥镜设备不处于移动状态时,说明当前图像帧中存在干扰移动速度检测的信息。因此,可不输出移动速度,也可输出“存在干扰,无法计算速度”等提示信息。然而在实际应用中,考虑到在执行退镜操作或进镜操作的过程中,内窥镜镜头可能偶尔会有左右摆动的情况,若将上一图像帧对应的退镜速度设置为当前图像帧对应的退镜速度,则可以避免速度值有太大的波动;此外,当医生在刚停止进镜操作或退镜操作时,一般不会立刻执行冲水操作或者其他器械操作,因此,在正常情况下,镜体刚停止移动的时候,光流图中的向量是指向中心或者向外扩散的,可计算得到此刻的速度值为0;此后,若医生开始执行观察、冲水、器械操作等操作,尽管镜头摆动、水流及其他器械在当前图像帧中形成了干扰,但由于内窥镜并未处于移动状态,因此其逻辑速度也应当为0,因此当前图像帧可继续沿用前一帧的移动速度0,而若当前图像帧的下一帧也存在干扰,则下一帧也可继续沿用当前图像帧的移动速度0,以此类推。可见,当确定内窥镜设备不处于移动状态,若将上一图像帧的移动速度设置为当前图像帧的移动速度,不仅可避免内窥镜设备在进镜或退镜过程对应的速度值产生较大的波动,且也不会被镜头摆动、水流及其他器械等因素干扰导致速度值不可靠,因此优选地,本申请实施例在确定内窥镜设备不处于移动状态时,可将上一图像帧对应的移动速度设置为当前图像帧对应的移动速度。
基于此,在根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态之后,还可以包括:
步骤41:当确定内窥镜设备不处于移动状态时,将上一图像帧对应的移动速度设置为当前图像帧对应的移动速度。
进一步,可以理解的是,内窥镜设备沿着镜体的长度轴方向移动的朝向可由医生具体执行的移动动作确定,当医生执行退镜操作时,上述朝向为退镜朝向,当医生执行进镜操作时,上述朝向为进镜朝向。该朝向信息也可以进一步与移动速度进行融合,以得到退镜速度和进镜速度。
基于上述实施例,本申请在接收到内窥镜设备所拍摄的当前图像帧时,可获取与当前图像帧相邻的上一图像帧,并为当前图像帧生成相对于上一图像帧的光流图,其中光流图用于反映图像中各像素点在相邻两帧图像中的移动情况;随后,本申请将依照光流图中各向量的朝向确定内窥镜设备是否处于移动状态,这是由于当内窥镜设备在沿着镜体的长度轴方向移动时,图像帧中的各像素点的移动方向通常呈放射状排布,如在退镜移动时各向量将从图像四周指向图像中心,在进镜移动时各向量将从图像中央指向图像四周;而在进行冲水、医疗器械移动时,由于水流、医疗器械会在图像中平行移动,因此在这种场景中,各像素点的移动方向趋于平行,对应地,光流图中各向量的方向趋于平行。也正是如此,本申请可依照由当前图像帧和与其相邻的上一图像帧生成的光流图中各向量的朝向,判断图像中各像素的移动规律,进而确定内窥镜设备当前是否处于沿着镜体的长度轴方向移动的移动状态(进镜状态或者退镜状态),若确定内窥镜设备处于移动状态,则说明当前图像帧中不存在干扰移动速度的因素,此时便可利用该光流图中的所有向量计算该设备在当前图像帧中对应的移动速度。由此,可以避免移动速度检测被冲水、医疗器械移动等因素干扰。
下面基于完整的流程图介绍本申请所提供的内窥镜移动速度检测方法。请参考图6,图6为本申请实施例所提供的另一种内窥镜移动速度检测方法的流程图,其具体包括如下步骤:
步骤1:通过光流模型(可优选PWC-Net)得到当前图像帧相对前一图像帧的光流图,光流图可转换得到与各像素点对应的、记录有各像素点从前一图像帧移动至当前图像帧对应方向及移动距离的向量;
步骤2:将光流图归一化,即将各向量在x轴和y轴的分量除以该向量的模长以更新分量,并利用更新后的分量重新计算该向量的模长;
步骤3:求全图向量模长的均值,定义为速度speed;
步骤4:以光流图中心为圆心,150像素(经验值)为半径取一圆形区域,对区域内的光流图取向量和(矢量和)div;
步骤5:如果向量和的模长div小于阈值0.9(经验值),则判断是处于移动状态,以速度speed为当前帧的结果速度;反之,判断可能存在镜头摆动、冲水或者医疗器械操作等情况,当前帧速度无法估计,则输出前一帧的结果为当前帧的速度。
下面对本申请实施例提供的内窥镜移动速度检测装置、电子设备及计算机可读存储介质进行介绍,下文描述的内窥镜移动速度检测装置、电子设备及计算机可读存储介质与上文描述的内窥镜移动速度检测方法可相互对应参照。
请参考图7,图7为本申请实施例所提供的一种内窥镜移动速度检测装置的结构框图,该装置可以包括:
光流图生成模块701,用于在接收到内窥镜设备拍摄的当前图像帧时,获取与当前图像帧相邻的上一图像帧,并为当前图像帧生成相对于上一图像帧的光流图;
移动状态检测模块702,用于根据光流图中各向量的朝向确定内窥镜设备是否处于移动状态;
移动速度计算模块703,用于当确定内窥镜设备处于移动状态时,利用光流图中的所有向量计算当前图像帧对应的移动速度。
可选地,该装置还可以包括:
移动速度设置模块,用于当确定内窥镜设备不处于移动状态时,将上一图像帧对应的移动速度设置为当前图像帧对应的移动速度。
可选地,移动速度计算模块703,可以包括:
归一化子模块,用于对光流图中的每一向量进行归一化;
计算子模块,用于利用所有归一化后的向量的模长计算模长平均值,并将模长平均值设置为移动速度。
可选地,光流图生成模块701,可以包括:
PWC-Net模型子模块,用于利用PWC-Net模型为当前图像帧生成相对于上一图像帧的光流图。
可选地,移动状态检测模块702,可以包括:
向量和计算子模块,用于对光流图中的向量进行向量求和计算得到向量和;
判定子模块,用于判断向量和的模长是否小于预设阈值;若是,则判定内窥镜设备处于移动状态;若否,则判定内窥镜设备不处于移动状态。
可选地,向量和计算子模块,可以包括:
设置单元,用于将位于光流图指定区域中的向量设置为待处理向量;
计算单元,用于对所有待处理向量进行向量求和计算得到向量和。
可选地,指定区域为以光流图中央为原点、以预设数值为半径的圆形区域。
请参考图8,图8为本申请实施例所提供的一种电子设备的结构框图,本申请实施例提供了一种电子设备20,包括处理器21和存储器22;其中,所述存储器22,用于保存计算机程序;所述处理器21,用于在执行所述计算机程序时执行前述实施例提供的内窥镜移动速度检测方法。
关于上述内窥镜移动速度检测方法的具体过程可以参考前述实施例中提供的相应内容,在此不再进行赘述。
并且,所述存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,存储方式可以是短暂存储或者永久存储。
另外,所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26;其中,所述电源23用于为所述电子设备20上的各硬件设备提供工作电压;所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;所述输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
进一步的,本申请实施例还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述实施例提供的内窥镜移动速度检测方法。
关于上述内窥镜移动速度检测方法的具体过程可以参考前述实施例中提供的相应内容,在此不再进行赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的内窥镜移动速度检测方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (12)
1.一种内窥镜移动速度检测方法,其特征在于,包括:
在接收到内窥镜设备拍摄的当前图像帧时,获取与所述当前图像帧相邻的上一图像帧,并为所述当前图像帧生成相对于所述上一图像帧的光流图;
根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态;
当确定所述内窥镜设备处于所述移动状态时,利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度。
2.根据权利要求1所述的内窥镜移动速度检测方法,其特征在于,在根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态之后,还包括:
当确定所述内窥镜设备不处于所述移动状态时,将所述上一图像帧对应的移动速度设置为所述当前图像帧对应的移动速度。
3.根据权利要求1所述的内窥镜移动速度检测方法,其特征在于,所述利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度,包括:
对所述光流图中的每一向量进行归一化;
利用所有归一化后的向量的模长计算模长平均值,并将所述模长平均值设置为所述移动速度。
4.根据权利要求1所述的内窥镜移动速度检测方法,其特征在于,所述为所述当前图像帧生成相对于所述上一图像帧的光流图,包括:
利用PWC-Net模型为所述当前图像帧生成相对于所述上一图像帧的光流图。
5.根据权利要求1至4任一项所述的内窥镜移动速度检测方法,其特征在于,所述根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态,包括:
对所述光流图中的向量进行向量求和计算得到向量和,并判断所述向量和的模长是否小于预设阈值;
若是,则判定所述内窥镜设备处于所述移动状态;
若否,则判定所述内窥镜设备不处于所述移动状态。
6.根据权利要求5所述的内窥镜移动速度检测方法,其特征在于,所述对所述光流图中的向量进行向量求和计算得到向量和,包括:
将位于所述光流图指定区域中的向量设置为待处理向量;
对所有所述待处理向量进行向量求和计算得到所述向量和。
7.根据权利要求6所述的内窥镜移动速度检测方法,其特征在于,所述指定区域为以所述光流图中央为原点、以预设数值为半径的圆形区域。
8.一种内窥镜移动速度检测装置,其特征在于,包括:
光流图生成模块,用于在接收到内窥镜设备拍摄的当前图像帧时,获取与所述当前图像帧相邻的上一图像帧,并为所述当前图像帧生成相对于所述上一图像帧的光流图;
移动状态检测模块,用于根据所述光流图中各向量的朝向确定所述内窥镜设备是否处于移动状态;
移动速度计算模块,用于当确定所述内窥镜设备处于所述移动状态时,利用所述光流图中的所有向量计算所述当前图像帧对应的移动速度。
9.根据权利要求8所述的内窥镜移动速度检测装置,其特征在于,所述内窥镜移动速度检测装置,还包括:
移动速度设置模块,用于当确定所述内窥镜设备不处于所述移动状态时,将所述上一图像帧对应的移动速度设置为所述当前图像帧对应的移动速度。
10.根据权利要求8或9所述的内窥镜移动速度检测装置,其特征在于,所述移动状态检测模块,包括:
向量和计算子模块,用于对所述光流图中的向量进行向量求和计算得到向量和;
判定子模块,用于判断所述向量和的模长是否小于预设阈值,若是,则判定所述内窥镜设备处于所述移动状态;若否,则判定所述内窥镜设备不处于所述移动状态。
11.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的内窥镜移动速度检测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至7任一项所述的内窥镜移动速度检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211501250.4A CN116965751B (zh) | 2022-11-28 | 内窥镜移动速度检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211501250.4A CN116965751B (zh) | 2022-11-28 | 内窥镜移动速度检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116965751A true CN116965751A (zh) | 2023-10-31 |
CN116965751B CN116965751B (zh) | 2024-07-05 |
Family
ID=
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060133785A1 (en) * | 2004-12-21 | 2006-06-22 | Byoung-Chul Ko | Apparatus and method for distinguishing between camera movement and object movement and extracting object in a video surveillance system |
CN101794445A (zh) * | 2009-01-30 | 2010-08-04 | 奥林巴斯株式会社 | 场景变化检测装置以及场景变化检测方法 |
CN102413756A (zh) * | 2009-04-29 | 2012-04-11 | 皇家飞利浦电子股份有限公司 | 从单目内窥镜图像估计实时深度 |
CN109561819A (zh) * | 2016-08-08 | 2019-04-02 | 索尼公司 | 内窥镜装置和内窥镜装置的控制方法 |
US20200184655A1 (en) * | 2017-09-04 | 2020-06-11 | Tencent Technology (Shenzhen) Company Limited | Image processing method, terminal, and storage medium |
CN111752456A (zh) * | 2020-06-29 | 2020-10-09 | 河南工业大学 | 一种基于图像传感器的投影互动系统设计 |
CN115035152A (zh) * | 2022-08-12 | 2022-09-09 | 武汉楚精灵医疗科技有限公司 | 医学图像处理方法、装置以及相关设备 |
US20220369895A1 (en) * | 2021-05-24 | 2022-11-24 | Verily Life Sciences Llc | User-interface with navigational aids for endoscopy procedures |
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060133785A1 (en) * | 2004-12-21 | 2006-06-22 | Byoung-Chul Ko | Apparatus and method for distinguishing between camera movement and object movement and extracting object in a video surveillance system |
CN101794445A (zh) * | 2009-01-30 | 2010-08-04 | 奥林巴斯株式会社 | 场景变化检测装置以及场景变化检测方法 |
CN102413756A (zh) * | 2009-04-29 | 2012-04-11 | 皇家飞利浦电子股份有限公司 | 从单目内窥镜图像估计实时深度 |
CN109561819A (zh) * | 2016-08-08 | 2019-04-02 | 索尼公司 | 内窥镜装置和内窥镜装置的控制方法 |
US20200184655A1 (en) * | 2017-09-04 | 2020-06-11 | Tencent Technology (Shenzhen) Company Limited | Image processing method, terminal, and storage medium |
CN111752456A (zh) * | 2020-06-29 | 2020-10-09 | 河南工业大学 | 一种基于图像传感器的投影互动系统设计 |
US20220369895A1 (en) * | 2021-05-24 | 2022-11-24 | Verily Life Sciences Llc | User-interface with navigational aids for endoscopy procedures |
CN115035152A (zh) * | 2022-08-12 | 2022-09-09 | 武汉楚精灵医疗科技有限公司 | 医学图像处理方法、装置以及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7878971B2 (en) | Endoscope inserting direction detecting method | |
JP4955616B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
WO2015115073A1 (en) | Endoscopic system, image processing device, image processing method, and program | |
US8913110B2 (en) | Endoscope apparatus and measurement method | |
US8147402B2 (en) | Endoscope system | |
US10848667B2 (en) | Reducing smoke occlusion in images from surgical systems | |
EP3053510A1 (en) | Data reception device, capsule endoscope system, data reception method, and program | |
US10803304B2 (en) | Gesture recognition method, device, apparatus, and storage medium | |
EP3886424A1 (en) | Panoramic video anti-shake method and portable terminal | |
CN103169445A (zh) | 一种内窥镜的导航方法及系统 | |
CN115035152B (zh) | 医学图像处理方法、装置以及相关设备 | |
CN116965751B (zh) | 内窥镜移动速度检测方法、装置、电子设备及存储介质 | |
JP2017185254A (ja) | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 | |
CN116965751A (zh) | 内窥镜移动速度检测方法、装置、电子设备及存储介质 | |
CN117224241A (zh) | 一种软式内镜操控系统的控制方法及相关装置 | |
US10799085B2 (en) | Endoscope apparatus and focus control method | |
CN115457093B (zh) | 一种牙齿图像的处理方法、装置、电子设备及存储介质 | |
US11327292B2 (en) | Method of operating observation device, observation device, and recording medium | |
JP4487077B2 (ja) | 単一の撮像装置で連続取得したビデオ映像による立体表示方法 | |
US10765297B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
US20220110505A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
CN111126101B (zh) | 关键点位置的确定方法、装置、电子设备和存储介质 | |
CN114419050B (zh) | 胃黏膜可视化程度量化方法、装置、终端及可读存储介质 | |
CN113081017B (zh) | Ct扫描方法、装置及电子设备 | |
CN109993743B (zh) | 血管图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |