CN116977411A - 内镜移动速度估计方法及装置、电子设备及存储介质 - Google Patents

内镜移动速度估计方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116977411A
CN116977411A CN202211567762.0A CN202211567762A CN116977411A CN 116977411 A CN116977411 A CN 116977411A CN 202211567762 A CN202211567762 A CN 202211567762A CN 116977411 A CN116977411 A CN 116977411A
Authority
CN
China
Prior art keywords
images
image
target image
target
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211567762.0A
Other languages
English (en)
Other versions
CN116977411B (zh
Inventor
江代民
周国义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opening Of Biomedical Technology Wuhan Co ltd
Original Assignee
Opening Of Biomedical Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opening Of Biomedical Technology Wuhan Co ltd filed Critical Opening Of Biomedical Technology Wuhan Co ltd
Publication of CN116977411A publication Critical patent/CN116977411A/zh
Application granted granted Critical
Publication of CN116977411B publication Critical patent/CN116977411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)

Abstract

本申请的实施例提供了一种内镜移动速度估计方法及装置、电子设备及存储介质。方法包括：在内镜检查过程中，利用内镜连续获取对象的n个图像；至少分别识别n个图像中的多个目标图像的有效特征点；遍历n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，第一特征点是第一目标图像中的有效特征点，第二特征点是第二目标图像中的有效特征点；基于特征点对，确定第一目标图像相对于第二目标图像的偏移量；以及基于所有偏移量，确定内镜的移动速度。该技术方案提高了所估计的内镜移动速度的准确性。

Description

内镜移动速度估计方法及装置、电子设备及存储介质
技术领域
本申请涉及医疗器械技术领域，更具体地涉及一种内镜移动速度估计方法、内镜移动速度估计装置、电子设备及非易失性存储介质。
背景技术
随着内镜技术的不断发展，内镜检查及治疗应用越来越广泛。例如，结肠镜检查是诊断和治疗如结直肠息肉、肿瘤等下消化道疾病的重要技术之一。
在内镜检查中，医师主要通过内镜镜头采集的图像进行诊断。检查质量与内镜从所检查的组织中移动的速度有关。医师可以在内镜检查时始终将移动速度控制在安全范围内，以获取高质量图像和避免漏检，进而提高内镜检查质量。
现有技术中，通常基于图像的哈希指纹来确定所采集的图像的相似度，进而基于该图像的相似度来估计内镜的移动速度。但是，在实际应用中，本申请发明人发现：由于腔内成像环境的复杂性，基于哈希指纹确定的图像的相似度难以准确地反映内镜移动的速度变化。具体而言，哈希指纹多是基于整个图像的所有像素值进行计算，而内镜所采集的图像中大概率地存在部分区域曝光、局部或全部冲水等场景，这些场景的存在会显著干扰基于哈希指纹计算图像的相似度，进而严重影响对移动速度的准确估计。具体例如，当前所采集的图像中存在过曝区域。基于此，可以调整内镜的光源或者内镜的角度，再采集一个图像。则后采集的图像中不再存在过曝区域，变得更清晰了。此时，基于这两张先后采集的图像的哈希指纹所计算的相似度可能较小。即，二者存在较大差别。进而，可以得出内镜移动速度较大的结论。然而，实际上内镜并未发生移动。总之，现有技术的内镜移动速度估计方案难以获得较准确的结果。
因此，亟需一种新的内镜移动速度估计方案，以解决上述问题
发明内容
考虑到上述问题而提出了本申请。本申请提供一种内镜移动速度估计方法、内镜移动速度估计装置、电子设备以及非易失性存储介质。
根据本申请的一个方面，提供了一种内镜移动速度估计方法，包括：
在进行内镜检查的过程中，利用所述内镜连续获取对象的n个图像，其中n是大于1的整数；
至少分别识别所述n个图像中的多个目标图像的有效特征点；
遍历所述n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，所述第一特征点是第一目标图像中的有效特征点，所述第二特征点是第二目标图像中的有效特征点；并且基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量；以及
基于所确定的所有偏移量，确定所述内镜的移动速度。
示例性地，所述方法还包括：分别判断所述n个图像中的每一个图像是否包括异常场景，并将不包括异常场景的图像确定为所述目标图像。
示例性地，所述方法还包括：分别确定所述n个图像中的每一个图像中的异常场景；计算所确定的异常场景的面积；以及基于所述异常场景的面积，确定所述n个图像中的所述目标图像；
则，所述至少分别识别所述n个图像中的多个目标图像的有效特征点，包括：至少分别识别所述多个目标图像中的特征点；以及将位于所述异常场景外的特征点确定为所述多个目标图像的有效特征点。
示例性地，所述方法还包括：分别确定所述n个图像中的每一个图像中的异常场景；
所述至少分别识别所述n个图像中的多个目标图像的有效特征点，包括：至少分别识别所述至少一部分目标图像中的特征点；以及将位于所述异常场景外的特征点确定为所述至少一部分目标图像的有效特征点。
示例性地，所述基于所确定的所有偏移量，确定所述内镜的移动速度，包括：计算所述所有偏移量的加和，以确定偏移量加和；以及将所述偏移量加和除以有效时长，以作为所述移动速度，其中所述有效时长表示所述n个图像中的每一个图像对的对内间隔时长之和，所述对内间隔时长是图像对中的第一目标图像和第二目标图像的采集间隔时长。
示例性地，所述基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量，包括：统计所述第一目标图像和所述第二目标图像中的所有特征点对的个数；对于所有特征点对，将特征点对中的第一特征点与第二特征点之间的距离相加，以确定距离加和；以及将所述距离加和除以所统计的个数，以将商值作为所述偏移量。
示例性地，所述对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，包括：计算所述第一目标图像中第一特征点与所述第二目标图像中的第二特征点之间的距离；以及基于所计算的距离，确定所述特征点对。
示例性地，所述基于所计算的距离，确定所述特征点对，包括：基于所计算的距离，利用暴力匹配的方法确定所述特征点对。
示例性地，在所述至少分别识别所述n个图像中的多个目标图像的有效特征点之前，所述方法还包括：至少对所述多个目标图像进行滤波。
示例性地，所述至少对所述多个目标图像进行滤波包括：利用中值滤波器，至少对所述多个目标图像进行滤波。
示例性地，在所述至少分别识别所述n个图像中的多个目标图像的有效特征点之前，所述方法还包括：至少对所述多个目标图像进行边缘锐化。
示例性地，在所述n个图像中，所述第一目标图像和所述第二目标图像之间的图像个数小于图像个数阈值。
根据本申请的另一方面，还提供了一种内镜移动速度估计装置，包括：
图像获取模块，用于在进行内镜检查的过程中，利用所述内镜连续获取对象的n个图像，其中n是大于1的整数；
特征点识别模块，至少分别识别所述n个图像中的多个目标图像的有效特征点；
遍历模块，用于遍历所述n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，并且每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，所述第一特征点是第一目标图像中的有效特征点，所述第二特征点是第二目标图像中的有效特征点；并且基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量；以及
速度确定模块，用于基于所确定的所有偏移量，确定所述内镜的移动速度。
根据本申请的又一方面，还提供了一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述的内镜移动速度估计方法。
根据本申请的再一方面，还提供了一种非易失性存储介质，在所述非易失性存储介质上存储了程序指令，所述程序指令在运行时用于执行上述的内镜移动速度估计方法。
根据本申请实施例的上述技术方案，通过图像特征点匹配的办法，以特征点之间的偏移量映射内镜移动的距离，进而通过该距离确定内镜的移动速度。该方案有效利用了图像中的重要信息，避免了噪声信息对计算的干扰。因此，显著提高了所估计的内镜移动速度的准确性。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了根据本申请一个实施例的内镜移动速度估计方法的示意性流程图；
图2示出了根据本申请一个实施例的目标图像中有效特征点的示意图；
图3示出了根据本申请一个实施例的第一特征点与第二特征点之间距离的示意图；
图4示出了根据本申请另一个实施例的内镜移动速度估计方法的示意性流程图；
图5示出了根据本申请一个实施例的内镜移动速度估计装置的示意性框图；以及
图6示出了根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
为了解决上述技术问题，本申请提供了一种内镜移动速度估计方法。该估计方法可以应用于各种内镜，例如胃镜、肠镜、腹腔镜、色素内镜等。内镜可以应用在消化道和肝、胆、胰腺管道等组织的炎症、溃疡、肿瘤等病变的检查中。检查过程包括进镜过程和退镜过程，上述估计方法可用于进镜过程中内镜的移动速度，也可以用于退镜过程中内镜的移动速度，具体可根据实际检查需要而定。
图1示出了根据本申请一个实施例的内镜移动速度估计方法100的示意性流程图。如图1所示，该内镜移动速度估计方法100可以包括但不限于以下步骤S110、步骤S120、步骤S130和步骤S140。
步骤S110，在进行内镜检查的过程中，利用内镜连续获取对象的n个图像。其中n是大于1的整数。
示例性地，在进行内镜检查的过程中，可以利用内镜的图像采集装置采集对象的多个图像。例如，可以在内镜进镜或者退镜的过程中，利用内镜获取检查视频。该检查视频可以包括多个帧。可以根据视频帧的采集时间以及期望估计内镜移动速度的时段，从该多个帧中选择期望的n个图像。具体例如，对于内镜采集的一段检查视频，例如以每秒30至50帧的频率采集的视频，可以根据视频帧的采集时间，获取该检查视频的第100帧至第114帧的15个图像，以用于估计对应时段的内镜移动速度。这15个图像可以分别按照采集时间进行排序。例如第1个图像对应第100帧视频帧，第2个图像对应第101帧视频帧，依此类推。
步骤S120，至少分别识别所述n个图像中的多个目标图像的有效特征点。
示例性地，目标图像可以是期望根据其进行内镜移动速度估计的图像。可以从n个图像中选择全部或部分图像作为目标图像。换言之，对于获取的n个图像，可以对其中每一个图像分别进行有效特征点识别，也可以只对n个图像中的部分图像分别进行有效特征点识别。例如，对于前文所述的15个图像，可以过滤掉15个图像中的反光图像，对剩下的图像分别进行有效特征点识别。在一个实施例中，将上述的15个图像过滤后，可以剩下第1个图像、第2个图像、第5个图像、第7个图像、第8个图像、第9个图像、第12个图像、第13个图像以及第14个图像。这9个图像可以作为目标图像分别进行有效特征点识别。
特征点可以是目标图像中的像素值发生剧烈变化的点。特征点能够有效标识图像中的对象，特征点的信息是图像中的重要信息。例如，在利用内镜获取的肠道图像中，在肠道的溃疡边缘处、褶皱边缘处等的曲率较大的点均可以是特征点。特征点识别可以通过尺度不变特征转换法(Scale-invariant feature transform，SIFT)、加速稳健矩阵法(Speeded Up Robust Features，SURF)、加速分割获得特征法(FAST)等算法实现。
示例性地，可以将目标图像中的所有特征点都作为有效特征点，用于后续确定内镜速度。替代地，目标图像中可能存在部分场景是异常的，例如，过曝光场景、冲水场景等。异常场景内的特征点对于确定内镜移动速度的意义不大，且容易带来干扰。从而，可以将异常场景内的特征点确定为无效特征点，将异常场景外的特征点确定为有效特征点。
图2示出了根据本申请一个实施例的目标图像中有效特征点的示意图，如图2所示，利用SURF算法对第13个图像进行有效特征点识别后，可以获得有效特征点A、B和C。同理地，对第12个图像进行有效特征点识别后，可以获得有效特征点A’、B’和C’。对第14个图像进行特征点识别后，可以获得有效特征点A”、B”。
步骤S130，遍历n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对。
具体地，遍历n个图像，确定其中符合预设条件的图像对，该图像对中包括第一目标图像和第二目标图像。可以理解，对于n个图像中的任意一个图像，其可以仅作为第一目标图像或第二目标图像，亦即，其可以作为一个图像对中的第二目标图像，同时也作为另一个图像对中的第一目标图像。上述预设条件可以根据内镜采集图像的帧率来确定，用于保证图像对中的第一目标图像和第二目标图像之间具有较大的重叠区域，该重叠区域对应于相同的拍摄目标区域。第一目标图像和第二目标图像之间具有较大的重叠区域，则可以根据该重叠区域在各自图像中的位置，准确地确定内镜在采集这两个图像的时刻之间的时段内的移动速度。如果重叠区域较小或不存在，可能难以保证所计算的内镜移动速度的准确性，甚至可能导致无法计算内镜移动速度。
示例性地，上述预设条件可以是：在n个图像中，图像对中的第一目标图像和第二目标图像之间的图像个数小于图像个数阈值。该图像个数阈值可以根据内镜采集图像的帧率来确定。帧率越高，则该图像个数阈值越大；反之，该图像个数阈值越小。在帧率一定的情况下，第一目标图像和第二目标图像之间的图像个数越少，二者的采集时刻之间的间隔时长较小。
如果两个目标图像之间的图像个数较少，则在内镜的帧率一定的情况下，其各自的采集时刻之间的间隔时长必然较小，则该时长内内镜移动距离也将较小。由此，两个目标图像之间的重叠区域较大，二者中能够匹配的有效特征点也将较多。这能够保证基于特征点匹配来估计的内镜移动速度的准确性。相反地，如果两个目标图像之间的图像个数较多，则在这两个图像的采集时刻之间的时长内，内镜移动距离必然较大。由此，两个目标图像中能够匹配的有效特征点将较少，甚至不存在。这不可避免地影响所估计的内镜移动速度的准确性，甚至造成无法估计内镜移动速度。
进一步地，该预设条件可以是第一目标图像与第二目标图像相邻，即二者之间不存在其他图像。在前述15个图像的实施例中，只有在第i-1个图像和第i个图像均是目标图像的情况下，将这两个图像确定为图像对，i＝2,3…15。例如，对于15个图像中的第5个图像，其前一个图像以及后一个图像(即第4个图像和第6个图像)均不是目标图像，那么第5个图像无需与任何图像组成图像对。在该15个图像中，图像对包括：第1个图像和第2个图像、第7个图像和第8个图像、第8个图像和第9个图像、第12个图像和第13个图像以及第13个图像和第14个图像，共5个。
每确定一个图像对，执行以下操作：首先，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，第一特征点是第一目标图像中的有效特征点，第二特征点是第二目标图像中的有效特征点；然后，基于特征点对，确定第二目标图像相对于第一目标图像的偏移量。
示例性地，对于任一图像对，可以基于第一目标图像中的第一特征点与第二目标图像中的第二特征点之间的距离，对第一特征点和第二特征点进行配对。可以理解，配对的特征点对应于现实世界中的同一点，例如肠道上的溃疡边缘上的某一点。在特征点配对时，可以取距离最近的点作为与之匹配的特征点。距离最近的点对应于现实世界中同一点的概率更大。
确定图像对中的特征点对可以通过以下方式实现，下面参考图2，以其中的第12个图像和第13个图像分别为第一目标图像和第二目标图像进行描述。对于第13个图像，已经在步骤S120检测出3个第二特征点。这3个第二特征点可以包括第二特征点A、B和C。在第13个图像的前一时刻所获取的目标图像，即第12个图像中，同样在步骤S120检测出3个第一特征点：A’、B’和C’。可以通过暴力匹配算法或最近邻搜索算法等方式，对图像对中的特征点进行匹配，以获得特征点对。对于上述第12个图像和第13个图像，可以获得三个特征点对A-A’、B-B’以及C-C’。
此外，如图2所示的第13个图像和第14个图像，可以通过上述方式获得这两个图像中的特征点对A-A”和B-B”。对于第13个图像中的特征点C，采集第14个图像时，特征点C超出了内镜的视野范围。因此，特征点C在第14个图像中没有匹配的特征点。
示例性地，基于每个第一特征点与每个第二特征点之间的距离，对第一特征点与第二特征点进行匹配的步骤可以包括以下步骤S131和步骤S132。
步骤S131，计算第一目标图像中第一特征点与第二目标图像中的第二特征点之间的距离。
图3示出了根据本申请一个实施例的第一特征点与第二特征点之间距离的示意图。如图3所示，对于每个图像，以图像的左下角顶点为坐标轴的原点o，分别以图像的横边和纵边为横坐标轴x轴和纵坐标轴y轴，建立如图3所示的二维直角坐标系。基于该二维直角坐标系可以获得A点的坐标为(xA，yA)。在第12个图像中，与第二特征点A匹配的第一特征点A’的坐标为(xA’，yA’)。为了便于描述，其中空心点A’表示在第12个图像中的特征点A’映射到第13个图像中的相应位置。利用公式计算得到第一特征点A与第二特征点A’之间的欧氏距离LA’。基于同样的方式，可以分别获得第二特征点A与第12个图像中的其他第一特征点B’和C’之间的欧氏距离，第二特征点B分别与第一特征点A’、B’和C’的欧氏距离、第二特征点C与第一特征点A’、B’和C’之间的欧氏距离。
步骤S132，基于所计算的距离，确定特征点对。
特征点对中的两个特征点相对距离较近。在前述15个图像的实施例中，根据所计算第一特征点与第二特征点之间的欧氏距离，可以确定第13个图像和第12个图像中的特征点对A-A’、B-B’和C-C’。基于类似的方式，可以分别确定其他图像对中的两个目标图像中的特征点对。例如，第1个图像和第2个图像、第7个图像和第8个图像、第8个图像和第9个图像、第12个图像和第13个图像以及第13个图像和第14个图像中的特征点对。
根据上述技术方案，通过计算每个第一特征点与每个第二特征点之间的距离确定特征点对，进而据此确定内镜的移动速度。该方案容易实现。而且，欧氏距离能够衡量空间中两个点之间的绝对距离，因此该方案可以保证确定的特征点对的准确性，进而保证所确定的移动速度的准确性。
示例性地，基于所计算的距离，确定特征点对，可以包括：基于所计算的距离，利用暴力匹配的方法确定特征点对。利用暴力匹配算法，基于第一目标图像中的第一特征点与第二目标图像中的第二特征点之间的距离，确定特征点对。该方法利用暴力匹配算法遍历每个第一特征点和第二特征点，因此避免了特征点的遗漏，所确定的特征点对更加准确，进而提高了后续对内镜移动速度估计的准确性。
可以理解，上述实施例中利用有效特征点之间的欧式距离对特征点进行配对仅为了示例，而不构成对本申请的限制。除了前述欧氏距离外，还可以计算第一特征点与第二特征点之间的曼哈顿距离等。然后基于所计算的曼哈顿距离，确定特征点对。
基于所确定的特征点对，可以确定第一目标图像内的第一特征点与第二目标图像内的第二特征点之间的对应关系。进而可以确定第二特征点相对于第一特征点的偏移。再次参照图3，对于特征点对A-A’，如前所述可以获得特征点A相对于特征点A’的距离LA’。进一步地，可以通过类似方式分别获得特征点对B-B’和C-C’之间的距离LB’和LC’。在一个实施例中，可以将获得的距离LA’、LB’和LC’求均值，以获得第13个图像相对于第12个图像的偏移量。在另一个实施例中，可以将获得的距离LA’、LB’和LC’中的任意一个作为第13个图像相对于第12个图像的偏移量。
可以理解，对于n个图像中的所有符合预设条件的图像对，均执行确定图像对中两个图像的相对偏移量的操作。在前文所述的15个图像的实施例中，分别基于特征点对，确定第2个图像相对于第1个图像的偏移量、第8个图像相对于第7个图像的偏移量、第9个图像相对于第8个图像的偏移量，依此类推，共5个偏移量。这5个偏移量可以分别用S0、S1、S2、…、S4表示。
示例性地，确定第二目标图像相对于第一目标图像的偏移量可以具体包括以下步骤。首先，统计第一目标图像和第二目标图像中的所有特征点对的个数。然后，对于所有特征点对，将特征点对中的第一特征点与第二特征点之间的距离相加，以确定距离加和。最后，将距离加和除以所统计的个数，以将商值作为偏移量。
在一个实施例中，根据第一目标图像和第二目标图像所获得的特征点对，可以确定这两个图像中的特征点对的个数。在前述15个图像的实施例中，对于第13个图像和第12个图像，可以确定这两个图像中的特征点对的个数等于3。根据上文的3个特征点对，将所获得的3个特征点对分别对应的欧氏距离通过公式：L3＝LA’+LB’+LC’进行加和计算，可以获得距离加和L3。将所获得的距离加和L3除以统计获得的特征点对的个数，计算获得的商值可以作为第13个图像相对于第12个图像的偏移量S3。基于该方法可以分别获取第2个图像相对于第1个图像之间的偏移量S0、第8个图像相对于第7个图像之间的偏移量S1，第9个图像相对于第8个图像之间的偏移量S2以及第14个图像相对于第13个图像之间的偏移量S4。由此获得了15个图像中的所有图像对中的两个目标图像之间的偏移量。
根据上述技术方案，通过对图像对中两个目标图像中的所有特征点对中的第一特征点与第二特征点之间的距离求均值的方法，可以更加准确地确定后面的目标图像相对于前面的目标图像的偏移量。这样可以保证后续对内镜移动速度估计的准确性。
步骤S140，基于偏移量，确定内镜的移动速度。
示例性地，所确定的偏移量是内镜所采集的第二目标图像相对于第一目标图像的偏移量，即可以表示在采集第二目标图像的时刻和采集一目标图像的时刻之间的时段内内镜移动的距离。根据上述时段的时长，可以将偏移量除以该时长，获得内镜在该时段内的移动速度。
上面以第一目标图像和第二目标图像为例来说明了基于偏移量确定特定时段的移动速度。可以理解，可以基于步骤S130所确定的所有偏移量，来确定内镜在采集这n个图像时的移动速度。例如，基于所确定的所有偏移量中的最大偏移量以及对应的时长来确定移动速度。由此，可以在移动速度过快时，及时提示医师控制内镜移动速度。
示例性地，步骤S140：基于偏移量，确定内镜的移动速度可以包括以下步骤。首先，计算所确定的偏移量的加和，以确定偏移量加和。然后，将偏移量加和除以有效时长，以作为移动速度。该有效时长表示n个图像中的每一个图像对的对内间隔时长之和，所述对内间隔时长是图像对中的第一目标图像和第二目标图像的采集间隔时长。该有效时长对应于n个图像中的各个图像对，而与n个图像中的其他图像无关。
在前述15个图像的实施例中，基于前文所确定的偏移量S0至S4，可以将这5个偏移量相加以获得偏移量加和S。可以利用以下公式计算采集n个图像的有效时长：T＝Tn*m/(n-1)，其中，Tn表示获取n个图像的总时长，m表示所确定的偏移量的个数。15个图像是在时长为0.5秒的时段内采集的。由此可以确定有效时长T＝Tn*m/(n-1)＝0.5*5/(15-1)＝0.17秒，可以获得有效时长T为0.17秒。再利用上述计算获得的偏移量加和S除以有效时长T，基于公式V＝S/T，可以获得内镜的移动速度V。
根据上述技术方案，对每个图像对中的目标图像的偏移量求和，进而基于对应的有效时长计算内镜的移动速度。这样可以利用多个图像的相关信息对移动速度做平滑处理，防止了速度值波动。因此所获得的移动速度也更加准确。
根据上述的内镜移动速度估计方法，通过图像特征点匹配的办法，以特征点之间的偏移量映射内镜移动的距离，进而通过该距离确定内镜的移动速度。该方案有效利用了图像中的重要信息，避免了噪声信息对计算的干扰。因此，显著提高了所估计的内镜移动速度的准确性。
示例性地，本申请实施例提供的内镜移动速度估计方法100还可以包括：分别确定n个图像中的每一个图像中的异常场景；计算所确定的异常场景的面积；以及基于异常场景的面积，确定n个图像中的目标图像。对应地，前述至少分别识别n个图像中的多个目标图像的有效特征点的步骤具体可以包括：至少分别识别目标图像中的特征点；以及将位于异常场景外的特征点确定为目标图像的有效特征点。
在上述实施例中，n个图像中可能存在包括异常场景的部分图像。异常场景可以包括反光区域、冲水场景或其他无法正确识别实际拍摄对象的场景。可以根据其中是否包括异常场景和异常场景的面积来确定目标图像。
可选地，分别确定n个图像中的每一个图像中的异常场景。示例性地，确定图像中的异常场景的步骤可以利用目标检测模型来实现。目标检测模型所检索的目标即为图像中的异常场景。具体地，可以预先通过不包含异常场景的样本图像和标注了其中的异常场景的样本图像，训练目标检测模型。训练后的目标检测模型可以直接用于确定图像中的异常场景。例如目标检测模型可以利用ResNet-50神经网络实现。确定了图像中的异常场景后，计算所确定的异常场景的面积。根据异常场景的面积占整个图像的面积的比例，根据所计算的比例是否超过比例阈值，来确定该图像是否为目标图像。如果该比例超过比例阈值，则该图像可以作为目标图像；否则，该图像则不是目标图像。该比例阈值可以是根据应用场景预设的大于0的任意值。总之，其中异常场景较大的图像，其中有效信息较少，可以删除不用；相反地，异常场景较小的图像，可以用作有效用于确定内镜的移动速度的目标图像。
该实施例中，基于异常场景的面积来确定n个图像中的目标图像。仅将位于异常场景外的特征点识别为这些目标图像中的有效特征点并基于所识别的有效特征点评估内镜移动速度。一方面，尽可能有效地利用了内镜所采集的图像，提升了估计内镜移动速度的实时性；另一方面，又成功地避免了图像中的异常场景对于确定内镜移动速度的干扰，保证了所确定的移动速度的准确性。
替代地，本申请实施例提供的内镜移动速度估计方法100还可以包括：分别判断所述n个图像中的每一个图像是否包括异常场景，并将不包括异常场景的图像确定为所述目标图像。换言之，可以删除包含异常场景的图像，将剩下的图像作为目标图像。
该实施例中，判断图像中是否包括异常场景可以利用分类模型来实现。分类模型可以利用经标注的不包含异常场景的样本图像和包含异常场景的样本图像进行训练来获得。如果分类模型判断当前图像包括异常场景，则可以直接返回无法识别。如果分类模型判断当前图像不包括异常场景，则将该图像作为目标图像之一。对于上述15个图像的实施例，可以将15个图像中包含异常场景的图像去除，进而获得多个目标图像。例如，经过分类模型筛选后的目标图像可以包括前文所述的15个图像中的第1个图像、第2个图像、第5个图像、第7个图像、第8个图像、第9个图像、第12个图像、第13个图像以及第14个图像。
仅识别不包含异常场景的目标图像的特征点并基于该特征点进行内镜移动速度的估计，可以排除包含异常场景的图像对移动速度估计的干扰，提高了对移动速度估计的准确性。相对于上面基于异常场景的面积确定目标图像的方案，该方案的步骤更简单，实现更容易。
示例性地，本申请实施例提供的内镜移动速度估计方法100还可以包括：分别确定所述n个图像中的每一个图像中的异常场景。该步骤的具体实现已经在前文描述，为了简洁，在此不再赘述。前述至少分别识别n个图像中的多个目标图像的有效特征点的步骤具体可以包括：至少分别识别目标图像中的特征点；以及将位于异常场景外的特征点确定为目标图像的有效特征点。
在此方案中，可以将n个图像中的每一个图像均作为目标图像，针对n个图像中的每一个图像进行特征点识别。该特征点是图像中的像素值发生剧烈变化的点。可以理解，在图像中，无论正常场景还是异常场景都可能存在特征点。可以基于特征点的位置以及异常场景的位置，确定特征点是否在异常场景中。异常场景中的特征点通常不是拍摄对象自身的特征。例如，对于过曝光场景，其可能是曝光不同的区域的边界点。这些异常场景中的特征点对于估计内镜移动速度不仅不具有参考意义，反而可能带来干扰。仅将异常区域外的特征点作为有效特征点，并基于有效特征点估计内镜移动速度将提高估计的准确性。
示例性地，在步骤S120至少分别识别n个图像中的多个目标图像的有效特征点之前，本申请实施例提供的内镜移动速度估计方法还可以包括：至少对多个目标图像进行滤波。
在一个实施例中，对n个图像中的多个目标图像分别进行特征点识别之前，还可以对这些目标图像进行滤波。滤波的方法可以任何现有的滤波方法，例如均值滤波或高斯滤波等，还可以采用未来研发的滤波方法。本申请对此不做限制。可选地，在获取n个图像后，也可以在确定其中的目标图像之前，对n个图像中的全部图像进行滤波。
通过滤波操作可以平滑图像，去除图像中的部分噪声，进而降低对后续特征点识别到干扰，提高根据特征点匹配对内镜移动速度进行估计的准确性。
示例性地，至少对多个目标图像进行滤波可以包括：利用中值滤波器，至少对多个目标图像进行滤波。
优选地，可以利用3×3中值滤波器对所获得的多个目标图像进行滤波，以过滤至少多个目标图像中较小的反光点和一些孤立的噪声。该方法可以去除目标图像中孤立的噪声以及干扰信息，保证特征点识别的准确性。并且该方法技术成熟，成本较低。
示例性地，在步骤S120至少分别识别所述n个图像中的多个目标图像的有效特征点之前，本申请实施例提供的内镜移动速度估计方法还可以包括：至少对多个目标图像进行边缘锐化。
在一个实施例中，可以通过Sobel算子、Prewitt算子、拉普拉斯算法等方式，至少对多个目标图像进行图像边缘锐化。可选地，在获取n个图像后，也可以在确定其中的目标图像之前，对n个图像中的全部图像进行边缘锐化。通过图像边缘锐化的方法，可以增强图像的边缘特征，进而突出特征点。这样可以有利于特征点检测，并提高基于特征点匹配进行内镜移动速度估计的准确性。
示例性地，至少对多个目标图像进行边缘锐化的步骤在至少对多个目标图像进行滤波的步骤之后执行。由此，通过滤波操作，可以去除图像中的噪声。在此之后，执行边缘锐化操作，则所锐化的边缘将不包括噪声的边缘，进一步保证了所识别的特征点的准确性。进而保证了所估计的内镜移动速度的准确性。
示例性地，图4示出了根据本申请另一个实施例的内镜移动速度估计方法的示意性流程图。为了简洁，在该流程图中，以当前帧图像的视角进行描述。本领域技术人员可以理解，对于多帧视频的每一帧图像，均可以执行类似操作，以更准确地估计内镜的移动速度。
如图4所示，基于内镜采集的视频，首先获取期望的一个视频帧作为当前帧图像。将当前帧图像输入异常场景判断模型进行判断。如果判断结果为该当前帧图像包括异常场景，则返回无法识别并结束当前操作。如果判断结果为该当前帧图像不包括异常场景，即确定该当前帧图像为目标图像，继续后续操作。对该当前帧图像进行中值滤波和图像边缘锐化后，进行有效特征点识别。基于当前帧图像的有效特征点识别结果和前一帧图像的有效特征点，进行特征点匹配。基于特征点匹配结果，计算当前帧图像相对于前一帧图像的偏移量。可以理解，在该实施例中，前一帧图像也是目标图像。通过类似方式可以计算视频中每相邻两帧不包括异常场景的图像之间的偏移量，并根据这些偏移量估计内镜的移动速度。获得移动速度后，结束当前操作。
根据本申请的另一方面，还提供了一种内镜移动速度估计装置。图5示出了根据本申请一个实施例的内镜移动速度估计装置500的示意性框图。如图1所示，该内镜退镜装置500可以包括图像获取模块510、特征点识别模块
520、遍历模块530和速度确定模块540。
图像获取模块510，用于在进行内镜检查的过程中，利用所述内镜连续获取对象的n个图像，其中n是大于1的整数。
特征点识别模块520，用于至少分别识别所述n个图像中的多个目标图像的有效特征点。
遍历模块530，用于遍历所述n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，并且每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，所述第一特征点是第一目标图像中的有效特征点，所述第二特征点是第二目标图像中的有效特征点；并且基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量。
速度确定模块540，用于基于所确定的所有偏移量，确定所述内镜的移动速度。
示例性地，内镜移动速度估计装置500还可以包括判断模块。判断模块可以用于分别判断n个图像中的每一个图像是否包括异常场景，并将不包括异常场景的图像确定为目标图像。
示例性地，内镜移动速度估计装置500还可以包括：异常确定模块，用于分别确定所述n个图像中的每一个图像中的异常场景；面积计算模块，用于计算所确定的异常场景的面积；以及目标图像确定模块，用于基于所述异常场景的面积，确定所述n个图像中的所述目标图像；对应地，特征点识别模块520具体包括：识别单元，用于至少分别识别所述多个目标图像中的特征点；以及有效特征点确定单元，用于将位于所述异常场景外的特征点确定为所述多个目标图像的有效特征点。
示例性地，内镜移动速度估计装置500还可以包括：异常确定模块，用于分别确定所述n个图像中的每一个图像中的异常场景；特征点识别模块520具体包括：识别单元，用于至少分别识别所述多个目标图像中的特征点；以及有效特征点确定单元，用于将位于所述异常场景外的特征点确定为所述多个目标图像的有效特征点。其中，可以理解的是，在本实施例中，所述目标图像可以包括所述n个图像中的每一个图像。
示例性地，速度确定模块540可以包括第一计算子模块和第二计算子模块。第一计算子模块可以用于计算所有偏移量的加和，以确定偏移量加和。第二计算子模块可以用于将所述偏移量加和除以有效时长，以作为所述移动速度，其中所述有效时长表示所述n个图像中的每一个图像对的对内间隔时长之和，所述对内间隔时长是图像对中的第一目标图像和第二目标图像的采集间隔时长。
示例性地，遍历模块530可以包括统计子模块、第一确定子模块和第三计算模块。统计子模块可以用于统计所述第一目标图像和所述第二目标图像中的所有特征点对的个数。第一确定子模块可以用于对于所有特征点对，将特征点对中的第一特征点与第二特征点之间的距离相加，以确定距离加和。第三计算子模块可以用于将距离加和除以所统计的个数，以将商值作为偏移量。
示例性地，遍历模块530可以包括第四计算子模块和第二确定子模块。第四计算子模块可以用于计算所述第一目标图像中第一特征点与所述第二目标图像中的第二特征点之间的距离。第二确定子模块可以用于基于所计算的距离，确定特征点对。
示例性地，第二确定子模块还可以包括第三确定单元。第三确定单元可以用于基于所计算的距离，利用暴力匹配的方法确定特征点对。
示例性地。特征点识别模块520还可以包括滤波子模块。滤波子模块可以用于在至少分别识别所述n个图像中的多个目标图像的有效特征点之前，至少对多个目标图像进行滤波。
示例性地，图像获取模块510可以包括图像处理子模块。图像处理子模块可以用于在至少分别识别所述n个图像中的多个目标图像的有效特征点之前，至少对多个目标图像进行边缘锐化。
根据本申请的又一方面，还提供一种电子设备。图6示出了根据本申请实施例的电子设备的示意性框图。如图所示，该电子设备600包括处理器610和存储器620，其中，存储器620中存储有计算机程序指令，计算机程序指令被处理器610运行时用于执行上述内镜移动速度估计方法100。
根据本申请的再一方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述内镜移动速度估计方法。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
本领域普通技术人员通过阅读上述有关内镜移动速度估计方法的相关描述，可以理解上述内镜移动速度估计装置、电子设备和非易失性存储介质的具体实现方案，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的内镜移动速度估计装置中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种内镜移动速度估计方法，其特征在于，包括：
在进行内镜检查的过程中，利用所述内镜连续获取对象的n个图像，其中n是大于1的整数；
至少分别识别所述n个图像中的多个目标图像的有效特征点；
遍历所述n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，所述第一特征点是第一目标图像中的有效特征点，所述第二特征点是第二目标图像中的有效特征点；并且基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量；以及
基于所确定的所有偏移量，确定所述内镜的移动速度。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别判断所述n个图像中的每一个图像是否包括异常场景，并将不包括异常场景的图像确定为所述目标图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别确定所述n个图像中的每一个图像中的异常场景；
计算所确定的异常场景的面积；以及
基于所述异常场景的面积，确定所述n个图像中的所述目标图像；
则，所述至少分别识别所述n个图像中的多个目标图像的有效特征点，包括：
至少分别识别所述多个目标图像中的特征点；以及
将位于所述异常场景外的特征点确定为所述多个目标图像的有效特征点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
分别确定所述n个图像中的每一个图像中的异常场景；
所述至少分别识别所述n个图像中的多个目标图像的有效特征点，包括：
至少分别识别所述多个目标图像中的特征点；以及
将位于所述异常场景外的特征点确定为所述多个目标图像的有效特征点。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所确定的所有偏移量，确定所述内镜的移动速度，包括：
计算所述所有偏移量的加和，以确定偏移量加和；以及
将所述偏移量加和除以有效时长，以作为所述移动速度，其中所述有效时长表示所述n个图像中的每一个图像对的对内间隔时长之和，所述对内间隔时长是图像对中的第一目标图像和第二目标图像的采集间隔时长。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量，包括：
统计所述第一目标图像和所述第二目标图像中的所有特征点对的个数；
对于所有特征点对，将特征点对中的第一特征点与第二特征点之间的距离相加，以确定距离加和；以及
将所述距离加和除以所统计的个数，以将商值作为所述偏移量。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，包括：
计算所述第一目标图像中第一特征点与所述第二目标图像中的第二特征点之间的距离；以及
基于所计算的距离，确定所述特征点对。
8.根据权利要求7所述的方法，其特征在于，所述基于所计算的距离，确定所述特征点对，包括：
基于所计算的距离，利用暴力匹配的方法确定所述特征点对。
9.根据权利要求1至4任一项所述的方法，其特征在于，在所述至少分别识别所述n个图像中的多个目标图像的有效特征点之前，所述方法还包括：
至少对所述多个目标图像进行滤波。
10.根据权利要求9所述的方法，其特征在于，所述至少对所述多个目标图像进行滤波包括：
利用中值滤波器，至少对所述多个目标图像进行滤波。
11.根据权利要求1至4任一项所述的方法，其特征在于，在所述至少分别识别所述n个图像中的多个目标图像的有效特征点之前，所述方法还包括：
至少对所述多个目标图像进行边缘锐化。
12.根据权利要求1至4任一项所述的方法，其特征在于，在所述n个图像中，所述第一目标图像和所述第二目标图像之间的图像个数小于图像个数阈值。
13.一种内镜移动速度估计装置，其特征在于，包括：
图像获取模块，用于在进行内镜检查的过程中，利用所述内镜连续获取对象的n个图像，其中n是大于1的整数；
特征点识别模块，用于至少分别识别所述n个图像中的多个目标图像的有效特征点；
遍历模块，用于遍历所述n个图像确定符合预设条件的第一目标图像和第二目标图像，以构成图像对，并且每确定一个图像对，对第一目标图像中的第一特征点与第二目标图像中的第二特征点进行匹配，以确定特征点对，其中，所述第一特征点是第一目标图像中的有效特征点，所述第二特征点是第二目标图像中的有效特征点；并且基于所述特征点对，确定所述第二目标图像相对于所述第一目标图像的偏移量；以及
速度确定模块，用于基于所确定的所有偏移量，确定所述内镜的移动速度。
14.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至12任一项所述的内镜移动速度估计方法。
15.一种非易失性存储介质，在所述非易失性存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至12任一项所述的内镜移动速度估计方法。
CN202211567762.0A 2022-12-01 2022-12-07 内镜移动速度估计方法及装置、电子设备及存储介质 Active CN116977411B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211532903 2022-12-01
CN2022115329035 2022-12-01

Publications (2)

Publication Number Publication Date
CN116977411A true CN116977411A (zh) 2023-10-31
CN116977411B CN116977411B (zh) 2024-03-19

Family

ID=88482011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211567762.0A Active CN116977411B (zh) 2022-12-01 2022-12-07 内镜移动速度估计方法及装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977411B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
CN109598716A (zh) * 2018-12-05 2019-04-09 上海珍灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
US20190239718A1 (en) * 2016-10-25 2019-08-08 Olympus Corporation Endoscope image processing apparatus and endoscope image processing method
WO2020103503A1 (zh) * 2018-11-22 2020-05-28 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备及存储介质
US20200294268A1 (en) * 2019-03-12 2020-09-17 Wistron Corporation Car lens offset detection method and car lens offset detection system
CN112308782A (zh) * 2020-11-27 2021-02-02 深圳开立生物医疗科技股份有限公司 一种全景图像拼接方法、装置及超声设备和存储介质
CN113823400A (zh) * 2021-11-22 2021-12-21 武汉楚精灵医疗科技有限公司 肠道退镜速度监测方法、装置及计算机可读存储介质
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190239718A1 (en) * 2016-10-25 2019-08-08 Olympus Corporation Endoscope image processing apparatus and endoscope image processing method
CN109448041A (zh) * 2018-10-29 2019-03-08 重庆金山医疗器械有限公司 一种胶囊内镜图像三维重建方法及系统
WO2020103503A1 (zh) * 2018-11-22 2020-05-28 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备及存储介质
CN109598716A (zh) * 2018-12-05 2019-04-09 上海珍灵医疗科技有限公司 基于计算机视觉的肠镜退镜速度实时监测方法和系统
US20200294268A1 (en) * 2019-03-12 2020-09-17 Wistron Corporation Car lens offset detection method and car lens offset detection system
CN112308782A (zh) * 2020-11-27 2021-02-02 深圳开立生物医疗科技股份有限公司 一种全景图像拼接方法、装置及超声设备和存储介质
CN113823400A (zh) * 2021-11-22 2021-12-21 武汉楚精灵医疗科技有限公司 肠道退镜速度监测方法、装置及计算机可读存储介质
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘小燕;龚军辉;李向东;武伟宁;彭同胜;: "基于SURF算法的胶囊内镜冗余图像快速筛除", 中国生物医学工程学报, no. 03 *
彭同胜 等: "基于颜色匹配和改进LBP的胶囊内镜视频缩减", 电子测量与仪器学报 *

Also Published As

Publication number Publication date
CN116977411B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN107920722B (zh) 针对自胶囊相机所撷取的图像通过对象检测进行重建
KR102237441B1 (ko) 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP5113841B2 (ja) 内視鏡からの映像を用いるコンピュータ支援解析
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
JP4311598B2 (ja) 異常陰影検出方法および装置
CN110772286B (zh) 一种基于超声造影识别肝脏局灶性病变的系统
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
CN110855889B (zh) 图像处理方法、装置、图像处理设备及存储介质
WO2015076406A1 (ja) 骨粗鬆症診断支援装置
US7840055B2 (en) Computer aided tube and tip detection
CN107529963B (zh) 图像处理装置、图像处理方法和存储介质
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
CN115843373A (zh) 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
CN114170201B (zh) 基于边缘光流信息的非接触式呼吸率检测方法及系统
EP1958158A2 (en) Method for detecting streaks in digital images
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
CN114531549B (zh) 图像采集方法、电子设备和计算机可读存储介质
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
CN116977411B (zh) 内镜移动速度估计方法及装置、电子设备及存储介质
JP2005354201A (ja) 画像処理装置及び画像処理方法
US20190266724A1 (en) Reconstruction of Images from an in vivo Multi-Camera Capsule with Two-Stage Confidence Matching
CN114511544A (zh) 吞咽检测方法及装置、设备、存储介质
CN115222878A (zh) 一种应用于肺支气管镜手术机器人的场景重建方法
Yamada et al. ROI extraction of chest CT images using adaptive opening filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant