CN116563525A - 内窥镜运行轨迹指示方法、装置、设备和存储介质 - Google Patents

内窥镜运行轨迹指示方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116563525A
CN116563525A CN202310839805.4A CN202310839805A CN116563525A CN 116563525 A CN116563525 A CN 116563525A CN 202310839805 A CN202310839805 A CN 202310839805A CN 116563525 A CN116563525 A CN 116563525A
Authority
CN
China
Prior art keywords
endoscope
image
indication
average change
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310839805.4A
Other languages
English (en)
Other versions
CN116563525B (zh
Inventor
周奇明
姚卫忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huanuokang Technology Co ltd
Original Assignee
Zhejiang Huanuokang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huanuokang Technology Co ltd filed Critical Zhejiang Huanuokang Technology Co ltd
Priority to CN202310839805.4A priority Critical patent/CN116563525B/zh
Publication of CN116563525A publication Critical patent/CN116563525A/zh
Application granted granted Critical
Publication of CN116563525B publication Critical patent/CN116563525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及一种内窥镜运行轨迹指示方法、装置、设备和存储介质，通过提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，第一图像为内窥镜移动前拍摄的图像，第二图像为内窥镜移动后拍摄的图像，根据第一图像与第二图像，计算内窥镜移动前后每个感兴趣点的坐标变化信息，将第一图像与第二图像划分为多个区域，根据坐标变化信息，获取多个区域中每个区域的感兴趣点的平均变化角度与指示方向，根据每个区域的感兴趣点的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹，实现了通过拍摄图像预指示下一时刻内窥镜的运行轨迹，提高了内窥镜运行轨迹的准确率，防止了重点部位的遗漏。

Description

内窥镜运行轨迹指示方法、装置、设备和存储介质
技术领域
本申请涉及内窥镜运行领域，特别是涉及一种内窥镜运行轨迹指示方法、装置、设备和存储介质。
背景技术
在进行内窥镜检查时，需要严格按照检查部位的顺序进行检查，例如在做鼻咽喉镜时，内窥镜需要按照从前到后，由上到下的顺序，先从前鼻孔进入中鼻道，再依次进入上鼻道、下鼻道、鼻咽部、口咽部，最后再进入声门上区、声门区、声门下区。严格按照规定顺序检查，才能不会出错，也能够提升检查效率。但是在实际的检查过程中，由于内窥镜操作不规范，可能会导致内窥镜的运行轨迹不够准确，造成关键检查部位的遗漏。
相关技术中，对于内窥镜检查的辅助判断方法，往往是在检查完成之后再根据图像判断检查的质量，极有可能会漏检关键的检查部位。在进行内窥镜检查时，如果错过了关键的检查部位，有概率会错失对某种病症的判断；如果在检查进行中及时发现了，再返回去检查错过的部位，则会增大患者的痛苦。
目前针对相关技术中，内窥镜在检查时运行轨迹不准确的问题，暂未提出有效的解决办法。
发明内容
本申请实施例提供了一种内窥镜运行轨迹指示方法、装置、设备和存储介质，以至少解决相关技术中内窥镜在检查时运行轨迹不准确的问题。
第一方面，本申请实施例提供了一种内窥镜运行轨迹指示方法，其特征在于，包括：
提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，所述第一图像为所述内窥镜移动前拍摄的图像，所述第二图像为所述内窥镜移动后拍摄的图像；
根据所述第一图像与所述第二图像，计算所述内窥镜移动前后每个所述感兴趣点的坐标变化信息；
将所述第一图像与所述第二图像划分为多个区域；
根据所述坐标变化信息，获取所述多个区域中每个区域的所述感兴趣点的平均变化角度与指示方向；
根据每个所述区域的所述感兴趣点的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹。
在其中一些实施例中，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹包括：
当多个所述区域的所述平均变化角度的方差小于第一阈值，并且每个所述区域的所述指示方向均朝向同一方向时，所述内窥镜下一时刻运行轨迹的方向为所述感兴趣点的指示方向，角度为所述多个区域中所述感兴趣点的所述平均变化角度的平均值。
在其中一些实施例中，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹还包括：
当多个所述区域的所述平均变化角度的方差大于所述第一阈值，并且每个所述区域的所述指示方向均朝向所述第一图像的中心时，所述内窥镜下一时刻运行轨迹的方向为垂直于所述第一图像所处的水平面，并靠近检测部位的方向移动。
在其中一些实施例中，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹还包括：
当多个所述区域的所述平均变化角度的方差大于所述第一阈值，并且每个所述区域的所述指示方向均远离所述第一图像的中心时，所述内窥镜下一时刻运行轨迹的方向为垂直于所述第一图像所处的水平面，并远离检测部位的方向移动。
在其中一些实施例中，在提取所述内窥镜拍摄的第一图像与第二图像中的感兴趣点之后，所述方法还包括：
提取所述第一图像与所述第二图像的感兴趣像素特征；
将所述感兴趣像素特征进行匹配，选取匹配成功的所述感兴趣像素特征对应的像素位置，计算所述像素位置变化的角度值；
根据所述像素位置变化的角度值，计算所述内窥镜移动后所述多个区域的实际平均变化角度。
在其中一些实施例中，在计算所述内窥镜移动后所述多个区域的实际平均变化角度之后，所述方法还包括：
根据所述多个区域的平均变化角度与实际平均变化角度，对指示的运行轨迹进行评分；
根据所述评分，对指示的所述运行轨迹进行调整。
在其中一些实施例中，对所述指示的运行轨迹进行评分包括：
计算所述多个区域的所述平均变化角度与所述实际平均变化角度的均方根误差；
将所述均方根误差归一化至第一范围之间，将归一化后的所述均方根误差作为指示的所述运行轨迹的评分。
第二方面，本申请实施例提供了一种内窥镜运行轨迹指示装置，包括：
提取模块，用于提取所述内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，所述第一图像为所述内窥镜移动前拍摄的图像，所述第二图像为所述内窥镜移动后拍摄的图像；
分区模块，用于将所述第一图像与所述第二图像划分为多个区域；
计算模块，用于根据所述第一图像与所述第二图像，计算所述内窥镜移动前后每个所述感兴趣点的坐标变化信息，根据所述坐标变化信息，获取所述多个区域中每个区域的图像中所有所述感兴趣点的平均变化角度与指示方向；
指示模块，用于根据每个所述区域的图像中所有所述感兴趣点的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的内窥镜运行轨迹指示方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述第一方面中任一项所述的内窥镜运行轨迹指示方法的步骤。
相比于相关技术，本申请实施例提供的内窥镜运行轨迹指示方法、装置、设备和存储介质，通过提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，第一图像为内窥镜移动前拍摄的图像，第二图像为内窥镜移动后拍摄的图像，根据第一图像与第二图像，计算内窥镜移动前后每个感兴趣点的坐标变化信息，将第一图像与第二图像划分为多个区域，根据坐标变化信息，获取多个区域中每个区域的图像中所有感兴趣点的平均变化角度与指示方向，根据每个区域的图像中所有所述感兴趣点的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹，实现了通过拍摄图像预指示下一时刻内窥镜的运行轨迹，提高了内窥镜运行轨迹的准确率，防止了重点部位的遗漏。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请其中一个实施例的内窥镜运行轨迹指示方法的终端的硬件结构框图；
图2是本申请其中一个实施例的内窥镜运行轨迹指示方法的流程图；
图3是本申请其中一个实施例的内窥镜图像分区方法的示意图；
图4是本申请其中一个实施例的内窥镜图像角度计算示意图；
图5是本申请其中一个实施例的内窥镜运行轨迹指示模型的运行流程图；
图6是本申请其中一个实施例的内窥镜运行轨迹指示装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的内窥镜运行轨迹指示方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的内窥镜运行轨迹指示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Card，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种内窥镜运行轨迹指示方法， 图2是本申请实施例的内窥镜运行轨迹指示方法的流程图，如图2所示，该方法包括如下步骤：
步骤S201，提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，第一图像为内窥镜移动前拍摄的图像，第二图像为内窥镜移动后拍摄的图像。
其中，本申请主要采用指示模型完成对内窥镜运动轨迹的指示，指示模型的输入为图像，输出为一个向量，该模型可以用任意卷积神经网络进行训练，例如resnet50网络。以内窥镜移动的时刻为分界线，内窥镜移动前一时刻拍摄的图像为第一图像，内窥镜移动后下一时刻拍摄的图像为第二图像，使用第一图像与第二图像对模型进行训练，使模型进行推理，从而得到未来时刻内窥镜的运行轨迹。
步骤S202，根据第一图像与第二图像，计算内窥镜移动前后每个感兴趣点的坐标变化信息。
其中，当内窥镜的镜头移动时，镜头当前拍摄的图像内容与镜头移动之后拍摄的图像内容的位置信息会发生变化。例如，在进行内窥镜检查时，当前拍摄的图像左边为关键部位A，右边为关键部位B，当内窥镜向右边移动时，移动后所拍摄的第二图像中，关键部位A与关键部位B在第二图像中的位置会在相对于其在移动前拍摄的第一图像的左边。当内窥镜向靠近关键部位的方向，即向前移动时，在移动后所拍摄的第二图像中，关键部位A会在相对于移动前拍摄的第一图像的左上方，关键部位B会在相对于移动前拍摄的第一图像的右上方。因此，本申请实施例据此计算在内窥镜移动前后，感兴趣点的坐标变化信息。
步骤S203，将第一图像与第二图像划分为多个区域。
其中，首先将第一图像与第二图像划分为多个区域，示例性地，本申请实施例将所有图像的坐标分成1、2、3、4四个区域，如图3所示，计算每个区域中内窥镜镜头移动前后的第一图像与第二图像的坐标变化的平均角度，得到四个平均角度值。
步骤S204，根据所述坐标变化信息，获取所述多个区域中每个区域的感兴趣点的平均变化角度与指示方向。
其中，角度的计算方法如图4所示，其中的点代表不同的感兴趣点，移动的箭头表示当前感兴趣点在内窥镜镜头移动后的下一时刻相对于第一图像的移动方向。以每个感兴趣点为原点建立直角坐标系，即可求得角度θ，角度θ的取值范围为[-180°，180°]。在当前时刻内窥镜拍摄的第一图像中提取到N个感兴趣点，当内窥镜镜头移动时，感兴趣点在第二图像上显示的位置相对于其在第一图像中的位置会发生变化，通过变化前后的感兴趣点的坐标即可计算出每个区域的变化角度，最后统计每个区域中所有感兴趣点的平均变化角度作为最终该区域的变化角度。其中，变化角度包括平均变化角度值与指示方向，平均变化角度值表示该区域平均的变化偏差角，指示方向表示该区域的变化方向。
步骤S205，根据每个区域的感兴趣点的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹。
其中，指示模型通过第一图像与第二图像的坐标变化信息计算得到了四个区域的平均变化角度，并以此为标签进行推理，得到下一时刻内窥镜的运行轨迹。
上述步骤S201至S205，通过提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，第一图像为内窥镜移动前拍摄的图像，第二图像为内窥镜移动后拍摄的图像，根据第一图像与第二图像，计算内窥镜移动前后每个感兴趣点的坐标变化信息，将第一图像与第二图像划分为多个区域，根据坐标变化信息，获取多个区域中每个区域的图像中所有感兴趣点的平均变化角度与指示方向，根据每个区域的图像中所有所述感兴趣点的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹，实现了通过拍摄图像预指示下一时刻内窥镜的运行轨迹，提高了内窥镜运行轨迹的准确率，防止了重点部位的遗漏。
在其中一些实施例中，根据每个区域的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹包括：当多个区域的平均变化角度的方差小于第一阈值，并且每个区域的指示方向均朝向同一方向时，内窥镜下一时刻运行轨迹的方向为感兴趣点的指示方向，角度为多个区域的感兴趣点的平均变化角度的平均值。
其中，当指示模型输出的四个区域的平均变化角度值的方差小于第一阈值时，判断为四个区域的平均变化角度值都趋于同一个值，此时如果四个区域指示的方向都朝着同一方向，例如四个区域的指示方向均为左，且各个区域的平均变化角度值的方差小于第一阈值，则下一时刻内窥镜的移动方向为向左，此时系统显示界面上会根据四个区域平均变化角度值的平均值显示出一个指示箭头，以用来指示下一时刻内窥镜需要移动的方向。
在其中一些实施例中，根据每个区域的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹还包括：当多个区域的平均变化角度的方差大于第一阈值，并且每个区域的指示方向均朝向第一图像的中心时，内窥镜下一时刻运行轨迹的方向为垂直于第一图像所处的水平面，并靠近检测部位的方向移动。
其中，当指示模型输出的四个区域的平均变化角度值的方差大于第一阈值时，判断为四个区域的平均变化角度值不趋于同一个值。如果此时四个区域的指示方向均朝向图像的中心位置，即输出的第一个区域的角度值范围在[-90°，0°]之间，第二个区域的角度值范围在[-180°，-90°]之间，第三个区域的角度值范围在[0°，90°]之间，第四个区域的角度值范围在[90°，180°]之间，如图4所示，则代表此时内窥镜镜头应该朝内移动，此时系统显示界面上会显示向内移动的箭头，其中向内移动表示与图像所在水平面垂直，朝向靠近检测部位的方向移动。
在其中一些实施例中，根据每个区域的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹还包括：当多个区域的平均变化角度的方差大于第一阈值，并且每个区域的指示方向均远离第一图像的中心时，内窥镜下一时刻运行轨迹的方向为垂直于第一图像所处的水平面，并远离检测部位的方向移动。
其中，当指示模型输出的四个区域的平均变化角度值的方差大于第一阈值时，判断为四个区域的平均变化角度值不趋于同一个值。如果此时四个区域的指示方向均远离图像的中心位置，即当输出的第一个区域的角度值范围在[90°，180°]之间，第二个区域的角度值范围在[0°，90°]之间，第三个区域的角度值范围在[-180°，-90°]之间，第四个区域的角度值范围在[-90°，0°]之间时，则代表此时内窥镜镜头应该朝外移动，此时系统显示界面上会显示向外移动的箭头，其中向外移动表示与图像所在水平面垂直，朝向远离检测部位的方向移动。
在其中一些实施例中，在提取内窥镜拍摄的第一图像与第二图像中的感兴趣点之后，还包括：提取第一图像与第二图像的感兴趣像素特征；将感兴趣像素特征进行匹配，选取匹配成功的感兴趣像素特征对应的像素位置，计算像素位置变化的角度值；根据像素位置变化的角度值，计算内窥镜移动后多个区域的实际平均变化角度。
其中，本申请实施例需要通过选取感兴趣点来计算坐标变化信息，提取方法包括但不限于SuperPoint（一种自适应特征点检测方法）等特征点提取方法，以完成对图像中感兴趣点的特征提取，对此本申请不作限定。
在提取第一图像与第二图像的感兴趣点的特征后，对两幅图像的感兴趣点的像素特征进行匹配，舍弃匹配不正确的感兴趣像素特征对，若所有感兴趣像素特征对均无法匹配正确，则表示内窥镜当前的运行轨迹的幅度过大过快，需要进行调整。匹配正确的两个感兴趣像素特征代表的是同一像素，计算该感兴趣像素点位置变化的角度值，从而得到四个区域的实际平均变化角度值。特征匹配算法包括但不限于欧式距离匹配算法，对此本申请不作限定。
在其中一些实施例中，在计算内窥镜移动后多个区域的实际平均变化角度之后，还包括：根据多个区域的平均变化角度与实际平均变化角度，对指示的运行轨迹进行评分；根据评分，对指示的运行轨迹进行调整。
其中，在内窥镜的实时检查中，为了反映运行轨迹的准确情况，需要对运行轨迹的准确率进行量化。因此，采用对内窥镜运行轨迹进行评分的方法，对运行轨迹进行判断。根据评分结果对运行轨迹进行调整，以提高内窥镜运行轨迹的准确性，避免重点部位检测的遗漏。
在其中一些实施例中，对指示的运行轨迹进行评分包括：计算多个区域的平均变化角度与实际平均变化角度的均方根误差；将均方根误差归一化至第一范围之间，将归一化后的均方根误差作为指示的运行轨迹的评分。
其中，评分计算方法如下：
其中，score表示评分值，表示四个区域的实际平均变化角度值，/>表示根据指示模型推理得到的平均变化角度值，计算两者的均方根误差，并归一化到0-100之间，以此作为运行轨迹的评分。
图5是本申请实施例的内窥镜运行轨迹指示模型的运行流程图，如图5所示，将内窥镜当前时刻拍摄的图像与镜头移动后的图像输入指示模型，指示模型将输出四个区域的角度值，并据此显示需要移动的方向。指示模型还会对感兴趣像素点进行匹配，并对感兴趣像素点进行特征提取，以此得到四个区域的实际平均变化角度值，并计算其与模型计算得到的平均变化角度值的均方根误差，归一化后作为评分输出，并根据评分调整运行轨迹。
本申请实施例还提供了一种内窥镜运行轨迹指示装置，图6是本申请实施例的内窥镜运行轨迹指示装置的结构图，如图6所示，本装置包括：
提取模块61，用于提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，所述第一图像为内窥镜移动前拍摄的图像，第二图像为内窥镜移动后拍摄的图像；
分区模块62，用于将第一图像与第二图像划分为多个区域；
计算模块63，用于根据第一图像与第二图像，计算内窥镜移动前后每个感兴趣点的坐标变化信息，根据坐标变化信息，获取多个区域中每个区域的平均变化角度与指示方向；
指示模块64，用于根据每个区域的图像中所有感兴趣点的平均变化角度与指示方向，指示下一时刻内窥镜的运行轨迹。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请实施例还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述各实施例提供的内窥镜运行轨迹指示方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的内窥镜运行轨迹指示方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种内窥镜运行轨迹指示方法，其特征在于，包括：
提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，所述第一图像为所述内窥镜移动前拍摄的图像，所述第二图像为所述内窥镜移动后拍摄的图像；
根据所述第一图像与所述第二图像，计算所述内窥镜移动前后每个所述感兴趣点的坐标变化信息；
将所述第一图像与所述第二图像划分为多个区域；
根据所述坐标变化信息，获取所述多个区域中每个区域的所述感兴趣点的平均变化角度与指示方向；
根据每个所述区域的所述感兴趣点的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹。
2.根据权利要求1所述的内窥镜运行轨迹指示方法，其特征在于，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹包括：
当多个所述区域的所述平均变化角度的方差小于第一阈值，并且每个所述区域的所述指示方向均朝向同一方向时，所述内窥镜下一时刻运行轨迹的方向为所述感兴趣点的指示方向，角度为对所述多个区域中所述感兴趣点的平均变化角度求取平均得到的平均值。
3.根据权利要求2所述的内窥镜运行轨迹指示方法，其特征在于，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹还包括：
当多个所述区域的所述平均变化角度的方差大于所述第一阈值，并且每个所述区域的所述指示方向均朝向所述第一图像的中心时，所述内窥镜下一时刻运行轨迹的方向为垂直于所述第一图像所处的水平面，并靠近检测部位的方向移动。
4.根据权利要求2所述的内窥镜运行轨迹指示方法，其特征在于，根据每个所述区域的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹还包括：
当多个所述区域的所述平均变化角度的方差大于所述第一阈值，并且每个所述区域的所述指示方向均远离所述第一图像的中心时，所述内窥镜下一时刻运行轨迹的方向为垂直于所述第一图像所处的水平面，并远离检测部位的方向移动。
5.根据权利要求1所述的内窥镜运行轨迹指示方法，其特征在于，在提取所述内窥镜拍摄的第一图像与第二图像中的感兴趣点之后，所述方法还包括：
提取所述第一图像与所述第二图像的感兴趣像素特征；
将所述感兴趣像素特征进行匹配，选取匹配成功的所述感兴趣像素特征对应的像素位置，计算所述像素位置变化的角度值；
根据所述像素位置变化的角度值，计算所述内窥镜移动后所述多个区域的实际平均变化角度。
6.根据权利要求5所述的内窥镜运行轨迹指示方法，其特征在于，在计算所述内窥镜移动后所述多个区域的实际平均变化角度之后，所述方法还包括：
根据所述多个区域的平均变化角度与实际平均变化角度，对指示的运行轨迹进行评分；
根据所述评分，对指示的所述运行轨迹进行调整。
7.根据权利要求6所述的内窥镜运行轨迹指示方法，其特征在于，对所述指示的运行轨迹进行评分包括：
计算所述多个区域的所述平均变化角度与所述实际平均变化角度的均方根误差；
将所述均方根误差归一化至第一范围之间，将归一化后的所述均方根误差作为指示的所述运行轨迹的评分。
8.一种内窥镜运行轨迹指示装置，其特征在于，包括：
提取模块，用于提取内窥镜拍摄的第一图像与第二图像中的感兴趣点，其中，所述第一图像为所述内窥镜移动前拍摄的图像，所述第二图像为所述内窥镜移动后拍摄的图像；
分区模块，用于将所述第一图像与所述第二图像划分为多个区域；
计算模块，用于根据所述第一图像与所述第二图像，计算所述内窥镜移动前后每个所述感兴趣点的坐标变化信息，根据所述坐标变化信息，获取所述多个区域中每个区域的所述感兴趣点的平均变化角度与指示方向；
指示模块，用于根据每个所述区域的所述感兴趣点的所述平均变化角度与所述指示方向，指示下一时刻所述内窥镜的运行轨迹。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至权利要求7中任一项所述的内窥镜运行轨迹指示方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至权利要求7中任一项所述的内窥镜运行轨迹指示方法的步骤。
CN202310839805.4A 2023-07-10 2023-07-10 内窥镜运行轨迹指示方法、装置、设备和存储介质 Active CN116563525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310839805.4A CN116563525B (zh) 2023-07-10 2023-07-10 内窥镜运行轨迹指示方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310839805.4A CN116563525B (zh) 2023-07-10 2023-07-10 内窥镜运行轨迹指示方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116563525A true CN116563525A (zh) 2023-08-08
CN116563525B CN116563525B (zh) 2023-10-20

Family

ID=87488343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310839805.4A Active CN116563525B (zh) 2023-07-10 2023-07-10 内窥镜运行轨迹指示方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116563525B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258992A (ja) * 2004-03-15 2005-09-22 Chugoku Electric Power Co Inc:The 指示値連続計測方法、指示値連続計測システム、指示値連続計測プログラム、指示値連続計測プログラムを記録した記録媒体
CN102578988A (zh) * 2011-01-05 2012-07-18 奥林巴斯株式会社 内窥镜图像再现装置
US20160302653A1 (en) * 2013-12-26 2016-10-20 Olympus Corporation Method of measuring distance by an endoscope, and endoscope system
US20170172662A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
CN110046212A (zh) * 2019-04-16 2019-07-23 北京百度网讯科技有限公司 路况变化信息确定方法、装置、计算机设备及存储介质
CN113689949A (zh) * 2020-05-18 2021-11-23 日本电气株式会社 信息处理方法、电子设备和计算机存储介质
US20230036851A1 (en) * 2021-07-27 2023-02-02 International Business Machines Corporation Path planning
US20230105799A1 (en) * 2020-06-08 2023-04-06 Hoya Corporation Program, information processing method, and information processing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258992A (ja) * 2004-03-15 2005-09-22 Chugoku Electric Power Co Inc:The 指示値連続計測方法、指示値連続計測システム、指示値連続計測プログラム、指示値連続計測プログラムを記録した記録媒体
CN102578988A (zh) * 2011-01-05 2012-07-18 奥林巴斯株式会社 内窥镜图像再现装置
US20160302653A1 (en) * 2013-12-26 2016-10-20 Olympus Corporation Method of measuring distance by an endoscope, and endoscope system
US20170172662A1 (en) * 2014-03-28 2017-06-22 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
CN110046212A (zh) * 2019-04-16 2019-07-23 北京百度网讯科技有限公司 路况变化信息确定方法、装置、计算机设备及存储介质
CN113689949A (zh) * 2020-05-18 2021-11-23 日本电气株式会社 信息处理方法、电子设备和计算机存储介质
US20230105799A1 (en) * 2020-06-08 2023-04-06 Hoya Corporation Program, information processing method, and information processing device
US20230036851A1 (en) * 2021-07-27 2023-02-02 International Business Machines Corporation Path planning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FAÏÇAL SELKA等: ""Evaluation of Endoscopic Image Enhancement for Feature Tracking: A New Validation Framework"", 《MIAR/AE-CAI 2013》 *
孙俊: ""基于视频的目标运动轨迹提取系统的研究与实现"", 《万方数据库》 *

Also Published As

Publication number Publication date
CN116563525B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US11367217B2 (en) Image processing method and apparatus, and related device
CN108038422B (zh) 摄像装置、人脸识别的方法及计算机可读存储介质
CN110147744B (zh) 一种人脸图像质量评估方法、装置及终端
US20210023449A1 (en) Game scene description method and apparatus, device, and storage medium
US11093737B2 (en) Gesture recognition method and apparatus, electronic device, and computer-readable storage medium
CN110232369B (zh) 一种人脸识别方法和电子设备
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN110796201B (zh) 一种标注框的修正方法、电子设备及存储介质
CN110728232A (zh) 一种手部感兴趣区域的获取方法及手纹识别方法
US11348354B2 (en) Human body tracing method, apparatus and device, and storage medium
CN112633196A (zh) 人体姿态检测方法、装置和计算机设备
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN116563525B (zh) 内窥镜运行轨迹指示方法、装置、设备和存储介质
US9286543B2 (en) Characteristic point coordination system, characteristic point coordination method, and recording medium
CN110197501B (zh) 图像处理方法和设备
CN113486739B (zh) 螺钉检测方法、装置、电子设备和存储介质
CN113378764B (zh) 基于聚类算法的视频人脸采集方法、装置、设备及介质
CN109635798B (zh) 一种信息提取方法及装置
CN112950577A (zh) 图像处理方法、装置、电子设备和存储介质
CN112084984A (zh) 一种基于改进的Mask RCNN的扶梯动作检测方法
CN111046831A (zh) 家禽识别方法、装置及服务器
CN110992426A (zh) 姿势识别方法和装置、电子设备及存储介质
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质
CN115984203A (zh) 一种眼球突出度测量方法、系统、终端及介质
CN110986916A (zh) 室内定位方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant