CN116503574A - 内镜辅助检查方法、装置和计算机设备 - Google Patents

内镜辅助检查方法、装置和计算机设备 Download PDF

Info

Publication number
CN116503574A
CN116503574A CN202310754585.5A CN202310754585A CN116503574A CN 116503574 A CN116503574 A CN 116503574A CN 202310754585 A CN202310754585 A CN 202310754585A CN 116503574 A CN116503574 A CN 116503574A
Authority
CN
China
Prior art keywords
prefabricated
endoscope
point position
current
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310754585.5A
Other languages
English (en)
Inventor
周奇明
姚卫忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huanuokang Technology Co ltd
Original Assignee
Zhejiang Huanuokang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huanuokang Technology Co ltd filed Critical Zhejiang Huanuokang Technology Co ltd
Priority to CN202310754585.5A priority Critical patent/CN116503574A/zh
Publication of CN116503574A publication Critical patent/CN116503574A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本申请涉及一种内镜辅助检查方法、装置和计算机设备。其中，所述方法包括：获取当前检查场景对应的内镜拓扑地图，内镜拓扑地图包括预制点位和预制路径；基于相似度计算算法，从预制点位中筛选出与内镜图像匹配的当前点位；基于预制路径，判断当前点位是否符合规范路径，并提示下一个应检查的预制点位。采用本方法能够对内镜检查项目进行结构化，从而基于内镜拓扑地图的预制点位和预制路径，对当前的点位检查顺序的规范性进行判断，并给出下一个点位的预测提示，以便引导使用者对待测点位逐个进行检查，避免漏检情况发生。

Description

内镜辅助检查方法、装置和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种内镜辅助检查方法、装置和计算机设备。
背景技术
内镜，也称内窥镜，是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检查仪器，可以由体外通过人体腔道或切口送入体内，能够直接有效的对体内疾病进行检查，以进行及时观察和治疗。
但是，医生在使用内镜进行检查的过程中具有大量主观操作，面对人体复杂的结构和较多的检查部位，仅凭借医生经验，来进行内镜检查的方式缺乏规范性，极易造成某些部位漏检，上述检查顺序不规范、检查部位不全面的问题也是导致国内早癌筛查率一直处于较低的水平的重要原因。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提示检查点位的内镜辅助检查方法、装置和计算机设备。
第一方面，本申请提供了一种内镜辅助检查方法。所述方法包括：
获取当前检查场景对应的内镜拓扑地图，所述内镜拓扑地图包括预制点位和预制路径；
基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位；
基于所述预制路径，判断所述当前点位是否符合规范路径，并提示下一个应检查的所述预制点位。
在其中一个实施例中，所述基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位，包括：
提取每帧内镜图像的特征，
将所述内镜图像的特征与所述预制点位的特征向量进行相似度计算；
基于所述相似度的计算结果，从所述预制点位中筛选出与所述内镜图像匹配的当前点位。
在其中一个实施例中，在所述基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位之后，还包括：
基于所述相似度计算算法，得到每帧所述内镜图像与所述当前点位的匹配分数；
选择所述匹配分数最高的一帧所述内镜图像作为质控抓拍图像。
在其中一个实施例中，所述基于所述预制路径，判断所述当前点位是否符合规范路径，包括：
获取前一个被检查的所述预制点位，基于所述预制路径得到所述前一个被检查的所述预制点位的子节点；
判断所述当前点位是否属于所述前一个被检查的所述预制点位的子节点。
在其中一个实施例中，并提示下一个应检查的所述预制点位，包括：
若所述当前点位符合所述规范路径，则根据所述预制路径得到所述当前点位的子节点，基于所述当前点位的子节点生成下一个应检查的所述预制点位的提示。
在其中一个实施例中，并提示下一个应检查的所述预制点位，还包括：
若所述当前点位不符合所述规范路径，则生成不规范提示，并基于所述当前点位重新规划路径，更新所述内镜拓扑地图，基于更新后的所述内镜拓扑地图给出下一个应检查的所述预制点位的提示。
在其中一个实施例中，所述获取当前检查场景对应的内镜拓扑地图，包括：
基于当前检查场景中的被检查者信息，获取所述被检查者特有的内镜拓扑地图。
第二方面，本申请还提供了一种内镜辅助检查装置。所述装置包括：
拓扑地图模块，用于获取当前检查场景对应的内镜拓扑地图，所述内镜拓扑地图包括预制点位和预制路径；
匹配点位模块，用于基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位；
规范性判断与提示模块，用于基于所述预制路径，判断所述当前点位是否符合规范路径，并提示下一个应检查的所述预制点位。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的内镜辅助检查方法。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的内镜辅助检查方法。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的内镜辅助检查方法。
上述内镜辅助检查方法、装置和计算机设备，通过与当前检查场景对应的内镜拓扑地图，对不同的内镜检查项目进行结构化，建立其特有的拓扑地图，从而基于拓扑地图的预制点位和预制路径，对当前的点位检查顺序的规范性进行判断，并给出下一个点位的预测提示，以便引导使用者对待测点位逐个进行检查，避免漏检情况发生，并根据患者特点实时更新地图，复诊中利用其特有拓扑地图进行精确有效引导，从而对医师操作进行规范引导。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为一个实施例中内镜辅助检查方法的硬件结构框图；
图2为一个实施例中内镜辅助检查方法的流程示意图；
图3为一个优选实施例中内镜辅助检查方法的流程示意图；
图4为一个实施例中内镜拓扑地图的示意图；
图5为一个实施例中更新后的内镜拓扑地图的示意图；
图6为一个实施例中内镜辅助检查系统的结构框图；
图7为一个实施例中内镜辅助检查装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的内镜辅助检查方法的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的内镜辅助检查方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种内镜辅助检查方法，图2是本实施例的内镜辅助检查方法的流程示意图，如图2所示，该流程包括如下步骤：
步骤S210，获取当前检查场景对应的内镜拓扑地图，内镜拓扑地图包括预制点位和预制路径。
其中，当前检查场景指当前内镜的应用场景，包括胃镜、结肠镜、支气管镜、膀胱镜等内镜检查，也包括针对被检查者，例如患者的个性化应用场景，根据检查者的病情需要，选择为该检查者特制的内镜拓扑地图。
优选的，基于当前检查场景中的被检查者信息，获取被检查者特有的内镜拓扑地图。
具体的，内镜拓扑地图包括若干个预制点位，每一个预制点位对应一个内镜检查中需检查的点位，每个预制点位对应至少一个父节点和至少一个子节点，父节点和子节点均为当前内镜拓扑地图中的预制点位，各预制点位之间的关联关系构成预制路径，预制路径可根据预制点位的父节点和子节点获得，例如，内镜拓扑地图中有M个预制点位，每个预制点位表示为Tm（m=1,2...,M）,Tm的父节点为Fi m，Tm的子节点为Ci m，依次检查Fi m，Tm，Ci m点位为规范的操作顺序，即Fi m，Tm，Ci m为预制路径，父节点和子节点可以有多个，其中i表示第i个父节点或子节点。通过内镜拓扑地图对内镜检查项目进行结构化，以引导使用者，例如医生，按照规范的顺序进行检查。
步骤S220，基于相似度计算算法，从预制点位中筛选出与内镜图像匹配的当前点位。
具体的，获取当前检查节点所拍摄的内镜图像，利用深度学习模型提取每帧内镜图像的特征，每个预制点位预先设有特征向量，利用特征相似度计算函数找到内镜图像特征对应的预制点位，同时还计算出每一帧内镜图像的匹配分数。若利用特征相似度计算函数没有匹配到预制点位，说明当前获取的内镜图像检查不到位，没有明显或完全覆盖待检查点位。
步骤S230，基于预制路径，判断当前点位是否符合规范路径，并提示下一个应检查的预制点位。
具体的，获取上一个被检查的预制点位的子节点，判断当前点位是否属于上一个被检查的预制点位的子节点，若属于则说明本节点与预制路径一致，符合该内镜拓扑地图所示出的规范路径。基于预制路径获取当前点位的子节点，并将当前点位的子节点提示为下一个应检查的预制点位。内镜拓扑地图可以在终端的显示设备上进行显示，其中，可以设置不同的颜色以区分不同阶段的预制点位，例如，预制点位白色表示未检查该点位，蓝色表示已经检查过，红色表示当前检查点位，绿色表示下一个该检查的预置点位。
上述内镜辅助检查方法，通过内镜拓扑地图为内镜检查提供了预制的规范路径，将检查过程中上传的内镜图像与内镜拓扑地图中的预制点位进行匹配，同时结合内镜拓扑地图的预制路径判断当前检查节点是否与内镜拓扑地图一致，并给出下一个应检查点位的提示，使得内镜检查以内镜拓扑地图为参照，引导使用者对待测点位逐个进行检查，避免漏检情况发生。
在一个实施例中，基于上述步骤S220，基于相似度计算算法，从预制点位中筛选出与内镜图像匹配的当前点位，具体可以包括以下步骤：
步骤S221，提取每帧内镜图像的特征。
具体的，利用预先训练的深度学习模型对内镜拍摄设备输入的每帧内镜图像进行特征提取，
Φj=F(yj)；
其中，F为训练的深度学习模型，使用VGG16，yj为第j帧内镜图像，Φj为第j帧图像的特征。
步骤S222，将内镜图像的特征与预制点位的特征向量进行相似度计算。
其中，每个预制点位有特征向量Km∈Ra×b，其中a=50，b=256，Ra×b为预置点位的50×256的二维特征向量，表示某点位的特征。
相似度计算的公式如下：
Tm,Sj=SIM(Φj,K1,...,M)；
其中，SIM为特征相似度计算函数，使用余弦距离计算。通过特征相似度计算函数计算找到第j帧图像的特征Φj所对应的预制点位Tm，并得到第j帧内镜图像的匹配分数Sj。
步骤S223，基于相似度的计算结果，从预制点位中筛选出与内镜图像匹配的当前点位。
上述步骤S221至步骤S223，通过特征相似度计算，得到内镜图像和预制点位的匹配结果，准确的筛选出当前点位，以便对当前操作与内镜拓扑地图进行进一步对比。
在一个实施例中，在上述步骤S220，基于相似度计算算法，从预制点位中筛选出与内镜图像匹配的当前点位之后，还包括以下步骤：
步骤S240，基于相似度计算算法，得到每帧内镜图像与当前点位的匹配分数。
具体的，对输入的每帧内镜图像进行特征提取，
Φj=F(yj)；
其中，F为训练的深度学习模型，使用VGG16，yj为第j帧内镜图像，Φj为第j帧图像的特征。
获取每个预制点位的特征向量Km∈Ra×b，其中a=50，b=256。将内镜图像的特征与预制点位的特征向量进行相似度计算，
Tm,Sj=SIM(Φj,K1,...,M)；
其中，SIM为特征相似度计算函数，使用余弦距离计算。通过SIM计算找到Φj属于的预制点位Tm，并得到第j帧内镜图像的匹配分数Sj。
步骤S250，选择匹配分数最高的一帧内镜图像作为质控抓拍图像。
具体的，针对当前点位选取最优的一帧内镜图像进行保存，作为当前点位的质控抓拍图像。示例性的，选择最优的一帧内镜图像的方法包括，如果新获取的一帧内镜图像的匹配分数大于之前保存的质控抓拍图像的匹配分数，则使用新的一帧内镜图像替换之前保存的质控抓拍图像，
；
其中，Im为预制点位Tm的质控抓拍图像，Sm为之前的质控抓拍图像的匹配分数，yj为新获取的第j帧内镜图像，Sj为第j帧内镜图像的匹配分数。
上述步骤S240至步骤S250，对每个预制点位进行质控抓拍，通过深度特征相似度计算获得最优内镜图像，实现对质控图像的精准抓拍，获取的质控抓拍图像展现了当前点位的检查情况，可作为对内镜检查质量的评估依据。
在一个实施例中，基于上述步骤S230，基于预制路径，判断当前点位是否符合规范路径，具体可以包括以下步骤：
步骤S231，获取前一个被检查的预制点位，基于预制路径得到前一个被检查的预制点位的子节点。
步骤S232，判断当前点位是否属于前一个被检查的预制点位的子节点。
具体的，当前一个被检查的预制点位为Tm-1时，基于预制路径可得到其子节点Ci m-1，若当前点位Tm∈Ci m，则认为当前点位的检查顺序符合规范路径，该规范路径即为与预制路径一致的检查顺序。
上述步骤S231至步骤S232，通过将当前点位与前一个被检查的预制点位的子节点对比，以判断当前点位是否符合内镜拓扑地图的预制路径，实现对内镜检查顺序规范性的判断。
在一个实施例中，基于上述步骤S230，并提示下一个应检查的预制点位，具体可以包括以下步骤：
步骤S233，若当前点位符合规范路径，则根据预制路径得到当前点位的子节点，基于当前点位的子节点生成下一个应检查的预制点位的提示。
具体的，基于预制路径得当前点位Tm的子节点Ci m，将子节点Ci m作为下一个应检查的预制点位，生成检查提示信息，并发送至终端设备对使用者进行提示。
上述步骤S233通过根据内镜拓扑地图获取当前点位的子节点，从而作为下一个应该检查的预设点位，并提示给使用者，为下一步的检查提供指引。
在一个实施例中，基于上述步骤S230，并提示下一个应检查的预制点位，还包括以下步骤：
步骤S234，若当前点位不符合规范路径，则生成不规范提示，并基于当前点位重新规划路径，更新内镜拓扑地图，基于更新后的内镜拓扑地图给出下一个应检查的预制点位的提示。
具体的，若当前点位Tm不属于上一个被检查的预制点位的子节点Ci m-1，则当前点位与预制路径不一致，故不符合规范路径，那么基于当前点位生成提示信息，用于告知使用者当前检查顺序不符合规范路径。同时，基于当前点位，自动调整内镜拓扑地图的检查路径，即更新预制点位的子节点，使未被检查的预制点位可以在后续检查顺序中被覆盖。基于更新后的检查路径，将当前点位Tm的子节点Ci m作为下一个应检查的预制点位，并生成提示信息，用于引导使用者继续检查避免漏检情况发生。
进一步，检查结束后，响应使用者对更新后内镜拓扑地图的确认操作，保存更新后的内镜拓扑地图，以供检查者复诊时使用。具体的，当使用者认为本次内镜检查所获得的更新后的内镜拓扑地图是该检查者特有的，则对该内镜拓扑地图进行确认，以使更新后的检查顺序被保存，用于检查者复诊使用；当使用者认为更新后的内镜拓扑地图为不合理的检查顺序，则不保存该内镜拓扑地图，下次检查时仍然可以使用默认内镜拓扑地图。
上述步骤S234通过将内镜拓扑地图进行更新，可以根据实际情况调整检查路径，使其更符合检查者特点，为下一次的内镜检查提供更准确的规范路径。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的内镜辅助检查方法的流程图。
步骤S310，获取内镜拓扑地图。
获取当前检查场景对应的内镜拓扑地图，内镜拓扑地图包括预制点位和预制路径。如图4所示，a1，b1等节点表示一个内镜拓扑地图中的不同预制点位Tm，m取值为正整数。箭头示出了各个预制点位之间的检查顺序，如，Tm=c1，Tm的父节点为Fi m∈(b1,b2)，Tm的子节点为Ci m∈(c2)，依次检查Fi m，Tm，Ci m为检查的规范顺序，b1,c1,c2为其中一条预制路径。
步骤S320，提取内镜图像特征，进行预制点位匹配，并进行质控抓拍。
利用深度学习模型对输入的每帧内镜图像进行特征提取，获取每个预制点位的特征向量，基于特征相似度计算函数，对内镜图像的特征与预制点位的特征向量进行相似度计算，找到与内镜图像匹配的预制点位，并得到每一帧内镜图像的匹配分数，选择匹配分数最高的一帧内镜图像作为质控抓拍图像。
步骤S330，基于匹配到的预制点位，进行实时引导。
获取前一个被检查的预制点位的子节点，判断当前匹配到的预制点位是否属于该子节点。若属于，则获取当前预制点位的子节点，并基于当前预制点位的子节点提示下一个应检查的预制点位；若不属于，则生成当前预制点位不符合预制路径的提示。
步骤S340，基于不规范操作更新内镜拓扑地图。
当前检查的预制点位与预制路径示出的应检查的点位不一致时，即不规范时，基于当前的预制点位更新内镜拓扑地图的检查路径，并基于更新后的内镜拓扑地图给出下一个应检查的预制点位的提示。如图4所示，前一个检查点位为c1，预制路径示出的下一个应检查的预制点位为c2，但当前检查的预制点位为d1，与规范路径不符，则更新内镜拓扑地图，如图5所示，更新后的内镜拓扑地图将预制路径进行更新，d1后应检查的点位更新为c2，e1，e2。
本优选实施例应用于如图6所示的内镜辅助检查系统中，该内镜辅助检查系统包括5个单元：内镜拓扑地图单元61、地图预制点匹配单元62、质控抓拍单元63、实时引导单元64、地图更新单元65。
该内镜拓扑地图单元61用于根据不同应用的场景选择该场景的预制内镜拓扑地图，并且针对不同的病人和病灶可针对微调，最终确定拓扑地图。
该内镜拓扑地图单元61还用于基于当前检查场景中的被检查者信息，获取被检查者特有的内镜拓扑地图。
该地图预制点匹配单元62用于对内镜图像的特征与预制点位的特征向量进行相似度计算，找到与内镜图像匹配的预制点位。
该质控抓拍单元63用于根据从相似度计算中得到的匹配分数保存质控抓拍图像。
实时引导单元64用于对当前点位的检查顺序进行判断并给出下一个待检测点位的预测。
地图更新单元65用于根据当前检查顺序对检查路径做适应性调整。
本优选实施例通过内镜拓扑地图对不同内镜检查项目进行结构化，并能根据实际情况更新地图，能够为有针对性的进行精确引导，同时每个关键的预制点位通过深度特征相似度进行质控抓拍，保存精度最高的内镜图像，以便对检查情况和检查质量进行追溯。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，在本实施例中还提供了一种内镜辅助检查装置，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中，如图7所示，提供了一种内镜辅助检查装置，包括：拓扑地图模块71、匹配点位模块72和规范性判断与提示模块73，其中：
拓扑地图模块71，用于获取当前检查场景对应的内镜拓扑地图，内镜拓扑地图包括预制点位和预制路径；
匹配点位模块72，用于基于相似度计算算法，从预制点位中筛选出与内镜图像匹配的当前点位；
规范性判断与提示模块73，用于基于预制路径，判断当前点位是否符合规范路径，并提示下一个应检查的预制点位。
在一个实施例中，匹配点位模块72还用于提取每帧内镜图像的特征，将内镜图像的特征与预制点位的特征向量进行相似度计算；基于相似度的计算结果，从预制点位中筛选出与内镜图像匹配的当前点位。
在一个实施例中，匹配点位模块72还用于基于相似度计算算法，得到每帧内镜图像与当前点位的匹配分数；选择匹配分数最高的一帧内镜图像作为质控抓拍图像。
在一个实施例中，规范性判断与提示模块73还用于获取前一个被检查的预制点位，基于预制路径得到前一个被检查的预制点位的子节点；判断当前点位是否属于前一个被检查的预制点位的子节点。
在一个实施例中，规范性判断与提示模块73还用于若当前点位符合规范路径，则根据预制路径得到当前点位的子节点，基于当前点位的子节点生成下一个应检查的预制点位的提示。
在一个实施例中，规范性判断与提示模块73还用于若当前点位不符合规范路径，则生成不规范提示，并基于当前点位重新规划路径，更新内镜拓扑地图，基于更新后的内镜拓扑地图给出下一个应检查的预制点位的提示。
上述内镜辅助检查装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项内镜辅助检查方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项内镜辅助检查方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项内镜辅助检查方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种内镜辅助检查方法，其特征在于，所述方法包括：
获取当前检查场景对应的内镜拓扑地图，所述内镜拓扑地图包括预制点位和预制路径；
基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位；
基于所述预制路径，判断所述当前点位是否符合规范路径，并提示下一个应检查的所述预制点位。
2.根据权利要求1所述的内镜辅助检查方法，其特征在于，所述基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位，包括：
提取每帧内镜图像的特征，
将所述内镜图像的特征与所述预制点位的特征向量进行相似度计算；
基于所述相似度的计算结果，从所述预制点位中筛选出与所述内镜图像匹配的当前点位。
3.根据权利要求1所述的内镜辅助检查方法，其特征在于，在所述基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位之后，还包括：
基于所述相似度计算算法，得到每帧所述内镜图像与所述当前点位的匹配分数；
选择所述匹配分数最高的一帧所述内镜图像作为质控抓拍图像。
4.根据权利要求1所述的内镜辅助检查方法，其特征在于，所述基于所述预制路径，判断所述当前点位是否符合规范路径，包括：
获取前一个被检查的所述预制点位，基于所述预制路径得到所述前一个被检查的所述预制点位的子节点；
判断所述当前点位是否属于所述前一个被检查的所述预制点位的子节点。
5.根据权利要求1所述的内镜辅助检查方法，其特征在于，并提示下一个应检查的所述预制点位，包括：
若所述当前点位符合所述规范路径，则根据所述预制路径得到所述当前点位的子节点，基于所述当前点位的子节点生成下一个应检查的所述预制点位的提示。
6.根据权利要求1所述的内镜辅助检查方法，其特征在于，并提示下一个应检查的所述预制点位，还包括：
若所述当前点位不符合所述规范路径，则生成不规范提示，并基于所述当前点位重新规划路径，更新所述内镜拓扑地图，基于更新后的所述内镜拓扑地图给出下一个应检查的所述预制点位的提示。
7.根据权利要求1所述的内镜辅助检查方法，其特征在于，所述获取当前检查场景对应的内镜拓扑地图，包括：
基于当前检查场景中的被检查者信息，获取所述被检查者特有的内镜拓扑地图。
8.一种内镜辅助检查装置，其特征在于，所述装置包括：
拓扑地图模块，用于获取当前检查场景对应的内镜拓扑地图，所述内镜拓扑地图包括预制点位和预制路径；
匹配点位模块，用于基于相似度计算算法，从所述预制点位中筛选出与内镜图像匹配的当前点位；
规范性判断与提示模块，用于基于所述预制路径，判断所述当前点位是否符合规范路径，并提示下一个应检查的所述预制点位。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的内镜辅助检查方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的内镜辅助检查方法。
CN202310754585.5A 2023-06-26 2023-06-26 内镜辅助检查方法、装置和计算机设备 Pending CN116503574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310754585.5A CN116503574A (zh) 2023-06-26 2023-06-26 内镜辅助检查方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310754585.5A CN116503574A (zh) 2023-06-26 2023-06-26 内镜辅助检查方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116503574A true CN116503574A (zh) 2023-07-28

Family

ID=87316914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310754585.5A Pending CN116503574A (zh) 2023-06-26 2023-06-26 内镜辅助检查方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116503574A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465763A (zh) * 2020-11-24 2021-03-09 深圳开立生物医疗科技股份有限公司 一种图像处理方法、装置、设备、介质和内窥镜系统
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
US20210333108A1 (en) * 2018-12-28 2021-10-28 Goertek Inc. Path Planning Method And Device And Mobile Device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210333108A1 (en) * 2018-12-28 2021-10-28 Goertek Inc. Path Planning Method And Device And Mobile Device
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
CN112465763A (zh) * 2020-11-24 2021-03-09 深圳开立生物医疗科技股份有限公司 一种图像处理方法、装置、设备、介质和内窥镜系统

Similar Documents

Publication Publication Date Title
CN113544743B (zh) 内窥镜用处理器、程序、信息处理方法和信息处理装置
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及系统
KR101875468B1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
CN111292839B (zh) 图像处理方法、装置、计算机设备和存储介质
TW201923776A (zh) 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
CN109584229A (zh) 一种内镜下逆行胰胆管造影术实时辅助诊断系统及方法
CN111767963A (zh) 一种基于内镜筛查提高质量评估的方法及装置
JP6704095B1 (ja) プログラム、情報処理方法及び情報処理装置
US12014537B2 (en) Organ classification system and method
US20210059758A1 (en) System and Method for Identification, Labeling, and Tracking of a Medical Instrument
CN115861299A (zh) 一种基于二维重建的电子内窥镜质控方法及装置
CN109859827A (zh) 胃肠镜操作水平实时评分系统和方法
CN111428070A (zh) 眼科案例的检索方法、装置、服务器及存储介质
CN116091432A (zh) 一种用于医疗内窥镜检查的质控方法、装置及计算机设备
JP4616076B2 (ja) 画像表示装置
JP2002336193A (ja) 診断支援装置
JP2024053118A (ja) 推定システム、推定装置、制御プログラム
CN116503574A (zh) 内镜辅助检查方法、装置和计算机设备
CN116309605B (zh) 基于深度学习和状态转移的内窥镜检查质控方法及系统
CN113706536B (zh) 滑镜风险预警方法、装置及计算机可读存储介质
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
CN109816632B (zh) 脑图像处理方法、装置、可读存储介质及电子设备
US10307209B1 (en) Boundary localization of an internal organ of a subject for providing assistance during surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230728

RJ01 Rejection of invention patent application after publication