CN114423355A - 用于内窥镜视频增强、定量和手术引导的系统和方法 - Google Patents

用于内窥镜视频增强、定量和手术引导的系统和方法 Download PDF

Info

Publication number
CN114423355A
CN114423355A CN202080066528.2A CN202080066528A CN114423355A CN 114423355 A CN114423355 A CN 114423355A CN 202080066528 A CN202080066528 A CN 202080066528A CN 114423355 A CN114423355 A CN 114423355A
Authority
CN
China
Prior art keywords
image
endoscopic
image frame
current image
endoscopic system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066528.2A
Other languages
English (en)
Inventor
尼拉杰·普拉萨德·劳尼亚尔
罗伯特·J·赖克
蒂莫西·保罗·哈拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Scientific Scimed Inc
Original Assignee
Boston Scientific Scimed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Scientific Scimed Inc filed Critical Boston Scientific Scimed Inc
Publication of CN114423355A publication Critical patent/CN114423355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/00296—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种内窥镜系统，包括：内窥镜成像仪，内窥镜成像仪被配置为捕获活体内目标部位的图像帧；以及处理器，该处理器被配置为对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；从空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧融合到映射图像，以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。该系统还包括显示增强的当前图像帧的显示器。

Description

用于内窥镜视频增强、定量和手术引导的系统和方法
相关申请
本公开要求于2019年9月23日提交的美国临时专利申请序列第62/904,408号的优先权；其公开内容通过引用并入本文。
技术领域
本公开涉及用于内窥镜视频增强、定量以及手术引导的系统和方法。
背景技术
可以在各种医疗介入期间使用内窥镜成像仪。由成像仪提供的患者解剖结构视图受分辨率和视场范围的限制。这种有限的解剖结构视图可能会延长介入时间，并且无法向手术医生提供执行介入所需的所有信息。
发明内容
本公开涉及一种内窥镜系统，包括被配置为捕获活体内目标部位的图像帧的内窥镜成像仪，以及处理器，所述处理器被配置为对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；根据空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧与映射图像融合以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。该系统还包括显示增强的当前图像帧的显示器。
在一个实施例中，基于内窥镜成像仪的光学几何形状生成空间变换。
在一个实施例中，映射图像具有比内窥镜成像仪的分辨率大整数倍的分辨率。
在一个实施例中，基于互相关将当前图像帧与映射图像对准，其中测量当前图像帧和映射图像之间的相似度。
在一个实施例中，处理器还被配置为基于空间变换的当前图像帧周围的映射图像区域，与当前图像帧相比，扩展增强的当前图像帧的视场。
在一个实施例中，处理器还被配置为将空间变换后的当前图像帧添加到映射图像。
在一个实施例中，当映射图像中的给定像素位置已满时，在添加新样本时删除最旧的样本。
本公开还涉及一种包括内窥镜成像仪的内窥镜系统，内窥镜成像仪被配置为捕获活体内目标部位的图像帧，以及处理器。处理器被配置为：对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；从空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；计算映射图像的尺度空间表示；捕获包括多个独立区域的进一步图像；当已经获取了每个独立区域的预定量的图像数据时，开发包括每个独立区域的独立空间变换的非线性空间变换；并且从非线性空间变换中导出运动恢复结构(SFM)深度图。
在一个实施例中，SFM深度图还基于内窥镜成像仪的跟踪信息，该跟踪信息包括内窥镜成像仪在捕获的图像之间的变化位姿。
在一个实施例中，处理器还被配置为：在初步图像帧组中识别内窥镜相关的对象和感兴趣的对象并对其进行分割；并且当空间变换被应用于初步图像组时，排除已识别的内窥镜相关对象。
在一个实施例中，处理器还被配置为基于当前图像帧中的深度信息和角度范围估计感兴趣对象的大小。
在一个实施例中，内窥镜系统还包括被配置为显示具有注释的感兴趣对象的当前图像帧的显示器。
在一个实施例中，感兴趣的对象是肾结石。
在一个实施例中，内窥镜系统还包括附接到内窥镜成像仪的电磁(EM)跟踪器，该电磁(EM)跟踪器被配置为提供包括内窥镜成像仪的六自由度位置的跟踪数据。处理器还被配置为对目标部位的先前获取的3D图像体积进行分割。跟踪数据与分割的图像体积和SFM深度图相结合，以提供内窥镜成像仪的位置估计。
在一个实施例中，处理器还被配置为：当跟踪数据被示为突破分割图像体积的表面时，使分割图像体积变形。
另外，本发明涉及一种方法，该方法包括对活体内目标部位的初步图像帧组应用空间变换，该空间变换将图像帧转换为柱坐标；根据空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧与映射图像融合以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。
在一个实施例中，基于内窥镜成像仪的光学几何形状生成空间变换。
在一个实施例中，映射图像具有比内窥镜成像仪的分辨率大整数倍的分辨率。
在一个实施例中，基于互相关将当前图像帧与映射图像对准，其中测量当前图像帧和映射图像之间的相似度。
在一个实施例中，该方法还包括：基于空间变换的当前图像帧周围的映射图像区域，与当前图像帧相比，扩展增强的当前图像帧的视场。
附图说明
图1示出了根据本公开的各个示例性实施例的用于执行泌尿外科手术的系统。
图2示出了根据第一示例性实施例的用于改进内窥镜视频的细节和/或视场的方法。
图3示出了从图像坐标到柱坐标的空间变换的图。
图4示出了根据第二示例性实施例的用于改进内窥镜视频的方法。
图5示出了用于用对象大小信息注释内窥镜视频的方法。
图6示出了肾结石被括起来的示例性内窥镜视频显示。
图7示出了根据第一示例性实施例的用于跟踪相对于连续变形的解剖结构的内窥镜位置的方法。
图8示出了根据第二示例性实施例的用于在管状结构的内窥镜视频中的运动跟踪的方法。
图9示出了示例性内窥镜视频显示，其中示出了跟踪注释。
图10示出了根据第三示例性实施例的用于在管状结构的内窥镜视频中的运动跟踪方法。
图11示出了用于分析膀胱镜视频馈送并提供注释以通知激光治疗手术的方法。
图12示出了示例性内窥镜视频显示，其中示出了前列腺激光注释。
具体实施方式
可以参考以下描述和附图进一步理解本公开，其中用相同的附图标记指代类似的元件。示例性实施例描述了对用于内窥镜手术的内窥镜显示器的改进。这些改进包括，例如内窥镜视图的增强和对视频对象特性的定量反馈，特别是对于泌尿外科手术。一些常见的泌尿外科手术包括肾结石治疗(例如碎石术)、BPH(良性前列腺增生)手术(例如GreenLightTM激光手术)、前列腺消融术、膀胱肿瘤消融术、子宫肌瘤治疗、诊断等。其中许多手术可以被描述为“即查即治。
一种典型的手术具有成像介质(例如LithoVueTM或任何其它内窥镜成像仪)、提供流体的机构(用于清理视场和/或扩张腔体)和治疗机构(例如激光、RF能量)。示例性实施例可以通过对视频对象特性的定量反馈来改进医生的决策，包括物理大小估计、结石成分的可能相关性、区分各种类型的组织等。也可以通过关于例如激光手术期间的滑动速度、气泡大小和密度、肾脏检查期间的兰德尔(Randall)斑块确定、水蒸气疗法(例如RezumTM)期间的插入点确定或BPH手术期间的胶囊深度的手术引导来提高手术的认知负荷和手术效率。
在一个示例性实施例中，实施超分辨率技术，以从一系列较低分辨率的内窥镜图像(例如，输尿管镜或膀胱镜图像)创建更高分辨率的映射图像，并且将当前图像与映射图像融合，使得组合的图像具有映射图像的分辨率。示例性技术特别适用于泌尿外科手术，然而，某些实施例可以改进对其它一般管状的患者解剖结构(例如，静脉、食道等)或非管状的患者解剖结构(例如，胃)的内窥镜观察，只要周围组织是连续的并且排列成使得就可以基于如下所描述的纵向和径向坐标来映射组织上的独特位置。“超分辨率”通常可以被定义为通过融合较低分辨率图像生成的改进分辨率图像。
在本说明书中，术语“超分辨率”通常是指创建图像空间，用于映射解剖结构，以改进在内窥镜介入期间的视频显示。相关实施例描述了运动恢复结构(SfM)深度图的推导。其它示例性技术可以以其它方式改进显示。例如，适当设计的深度卷积神经网络(CNN)可以直接被应用于像素数据，以抑制图像中的噪声和/或突出组织灌注中的差异。所描述的技术可以单独或组合使用，将在下面详细描述。
图1示出了根据本公开的各种示例性实施例的用于执行泌尿外科手术的系统100。系统100包括具有用于在泌尿外科手术期间获取患者解剖结构的图像帧的成像仪104，以及用于向解剖结构提供流体(例如生理盐水)的流体机构106，以清除可能损害成像仪104视野的血液和碎屑。该实施例的内窥镜102包括可选的电磁(EM)跟踪器108，以通知确定内窥镜102相对于连续变形的患者解剖结构的位置，如下文更详细描述的。
系统100还可以包括根据泌尿外科手术的性质选择的治疗装置110。治疗装置110可以穿过内窥镜102运行或者可以位于内窥镜102的外部。例如，治疗装置110可以是，例如用于粉碎肾结石的激光或冲击波发生器，或用于移除前列腺组织的电切镜。当泌尿外科手术用于诊断目的(即用于检查解剖结构而不是用于治疗疾病)时，可以不使用治疗装置。示例性实施例是关于泌尿系统成像描述的，然而，示例性实施例不限于此。某些实施例可适用于(例如，食管成像)，其中不使用流体机构。
系统100包括计算机112，计算机112处理由成像仪104提供的图像帧，并且将处理后的图像提供给显示器114。计算机112和显示器114可以被设置在诸如内窥镜吊塔的集成站处。可以在内窥镜吊塔处实施用于执行泌尿外科手术的其它特征，包括例如控制通过流体机构106输送的流体的流速的致动器。示例性实施例描述了用于改变和增强显示的图像的算法过程，通常是在连续的基础上或以任何其它期望的方式。
图2示出了根据第一示例性实施例的用于改进内窥镜视频显示器的细节和/或视场的方法200。方法200可以被认为是特别适用于管状结构(例如尿道)的近距离内窥镜成像的超分辨率技术。在205中，生成空间变换以将图像从图像坐标转换为柱坐标，如图3所示。基于成像仪104的光学几何形状生成空间变换。图3中的最内圈可能会或可能不会被映射，且期望在较小半径处，视频显示中可用的数据点的数量可能太少而无法使用。如由本领域技术人员将要理解的，左侧黑色圆圈的数量应该对应于右侧黑色水平线的数量。
在210中，生成一组变换用于以成像仪104的分辨率的整数倍的分辨率在圆柱空间中创建映射图像。例如，映射图像可以具有分辨率，即，用于构建映射图像的像素的数量，即是成像仪104分辨率的三倍。由固定维度的矢量表示映射中的每个像素位置。例如，给定位置的矢量可以具有例如八个元素，用于表示从该位置在多个图像帧上累积的八个样本。
在215中，由成像仪104捕获的初步图像组被相关以在柱坐标系中对准。在220中，对多个图像样本应用空间变换以将图像转换为柱坐标，并且从样本中计算出映射图像。映射图像具有根据矢量(其中应用了离群点剔除)定义的每个图像位置。例如，离群点剔除可能是中值滤波器。
在225中，由成像仪捕获当前图像，并且将当前图像与映射图像相关，以在应用空间变换时优化圆柱空间中的图像的对准。例如，相关性可以是图像之间的互相关，以测量它们之间的相似度，并且对准图像以最大化相似性。在230中，基于相关性对图像应用空间变换。在235中，在柱坐标系中组合(例如融合)当前变换后的图像和映射图像。如果映射图像在当前图像的视场周围的区域中具有足够的数据，则可以扩大组合图像的视场。
在240中，对组合图像应用逆空间变换，以在内窥镜坐标系中生成具有增强空间分辨率的图像。在245中，在显示器114上显示增强分辨率的图像，以用改进的细节和/或改进的视场(如与内窥镜分辨率下最初捕获的图像相比)来引导内窥镜手术。
在250中，通过将像素值添加到对应的映射矢量，将图像帧的柱坐标变换添加到映射图像。可以基于添加样本的时间以顺序排列矢量，使得当矢量已满时，删除最早的样本，并且将新的像素值添加到空白点。
虽然在由成像仪104捕获新的图像帧时，在连续的基础上执行上面讨论的图像处理步骤，但是如由本领域技术人员将理解的，可以采用用于图像处理的其它调度。因此，基于新的帧与映射图像的融合，每个新的图像帧因改进的分辨率而在视觉上得到了增强。
图4示出了根据第二示例性实施例的用于改进内窥镜视频的方法300。方法300类似于方法200，但是方法300描述了非刚性配准过程，以更好地补偿光学畸变、组织运动以及视点(POV)变化。非刚性配准通常是指对图像应用多个局部变换，以更好地与参考图像(在这种情况下为映射图像)相关。在本实施例中，可以独立变换图像的不同区域，以更好地捕捉区域之间的位置中的变化。
在305中，根据方法200的步骤205-220计算映射图像。在310中，计算映射图像的尺度空间表示。尺度空间表示通常是指将图像数据表示为一组在不同尺度上逐渐平滑的图像。例如，强调映射图像中的大尺度结构，而抑制小尺度结构。
在315中，最初在低空间频率下，当前图像被捕获并且将当前图像与映射图像相关。在320中，根据方法200的步骤230-250，将当前图像与映射图像融合并且增强当前图像。随着新图像的获取，重复图像处理步骤。然而，随着图像数据继续被收集以填充映射图像，在325中，通过在逐渐更高的空间频率尺度中优化逐渐较小的区域，来开发多个独立的区域变换。可以估计解剖结构相对运动。
在330中，基于非线性变换导出运动恢复结构(SFM)深度图。SFM通常是指从由移动POV所捕获的一系列图像中三维结构的映射，其中跟踪成像仪的位置和方向(位姿)的变化。随着新图像的收集，深度图被不断地填充。
前述图像处理方法200、300的元素可以被用于以以下特定于程序的方式进一步增强显示。
肾结石治疗，诸如激光碎石术，可能涉及将结石碎裂成许多不同大小的碎片，其中一些需要进一步缩小，而其中一些可能小到足以自然取出或排出。在输尿管镜视频中跟踪结石颗粒、推断其大小，并且为医生提供适当的注释，可以提高这些介入措施的速度、信心和精确度。以下描述了关于肾结石的对象大小，然而，可以在内窥镜显示器中对其它图像特征(诸如，例如病变、生长和其它组织特征)标定大小和注释。
图5示出了用于用对象大小信息注释内窥镜视频的方法400。在405中，根据方法200的步骤205-215，生成空间变换和图像映射，并且捕获初步图像组且将初步图像组进行相关。
在410中，在初步图像组中识别内窥镜相关的对象并对其进行分割。内窥镜相关的对象可以包括，例如用于执行激光碎石术的激光光纤。使用预定义的特征映射图和受约束的配准几何来实施内窥镜相关的对象分割。
在415中，在初步图像组中识别感兴趣的对象并对其进行分割。感兴趣的对象可以包括例如肾结石。如将由本领域技术人员所知的，使用图像特征和斑点查找算法来实施感兴趣的对象分割。
在420中，对初步图像组应用空间变换，并且计算不包括所识别的内窥镜相关的对象的超分辨率场景映射。
在425中，根据方法300的步骤310-330导出概率深度图。深度图基于来自超分辨率映射对准的独立区域变换和隐含的相机位姿变换。步骤310-330包括图像的连续采集以及对场景映射的相关/添加，以不断提高场景映射图的分辨率。
在430中，基于当前捕获的图像中的深度信息和角度范围来估计先前识别的感兴趣对象的大小。
在435中，在当前捕获的图像的显示器上注释感兴趣的对象，例如肾结石。在一个实施例中，对象的尺寸可以被直接呈现在显示器上。在另一个实施例中，可以用括号注释对象，以显示对象的边界。通过将对象的大小估计与预定义的治疗阈值进行比较，可以对括号进行色彩编码以显示对象的大小分类。例如，当大小估计指示对象需要进一步缩小时，括号可以被涂成红色，当大小估计指示对象足够小而无法取回但太大而无法自然排出时，括号可以被涂成黄色，并且当大小估计表明对象可以自然通过时，括号可以被涂成绿色。换句话说，可以注释肾结石，以指示肾结石可以适合通过的管道的最小大小。图6示出了肾结石被括起来的示例性内窥镜视频显示。
在替代实施例中，上面描述的帧间相关性或超分辨率映射被用于根据每个分割像素处的多个样本建立色彩和反照率的统计描述。具有聚类算法和体内训练数据的机器学习被用于创建组合映射图，用于预测已识别大小组内的成员概率。
可以采用SFM技术，以通知用于在内窥镜手术期间跟踪内窥镜位置的过程。如根据内窥镜视频确定的内窥镜的SFM位姿估计，可与来自EM跟踪器108的位置信息和从先前获取的图像导出的患者解剖结构的分割3D重建结合使用，以细化内窥镜相对于连续变形的患者解剖结构的位置确定。
图7示出了根据第一示例性实施例的用于跟踪相对于连续变形的解剖结构的内窥镜位置的方法500。在505中，接收先前获取的解剖结构目标部位的3D图像体积并对其进行分割。可以由先前捕获的CT图像或从类似成像介质中捕获的图像生成3D体积。在510中，根据方法300的步骤305-330导出SFM深度图。深度图提供了与解剖结构相关的运动、位置估计和位置估计的置信水平。
在515中，使用布置在内窥镜102的尖端附近的EM跟踪器108确定内窥镜102的六自由度(6DOF)位置。基本上同时接收来自515的6DOF位置和来自510的填充SFM深度图的图像，并且可以将它们进行相关。
在520中，组合来自EM跟踪器108的位置数据、来自SFM图的位置数据和解剖结构的固定体积，以估计足以将内窥镜102保持在解剖结构的表面边界内的解剖结构的最小变形。所产生的模型假设内窥镜102在腔内自由移动，直到位置数据指示内窥镜102已接触分割表面模型。当位置数据被示为突破固定模型的表面时，解剖结构会变形以将内窥镜102的位置保持在表面内。例如，解剖结构垂直于表面方向位移。
在525中，组合模型和6DOF内窥镜位置通知来自SFM深度图的位置估计并对其进行改进。改进的估计防止了噪声的失控集成。
在530中，处理后的图像与实时注释导航反馈一起被显示在显示器114上。在一个实施例中，注释可以反映来自先前成像的结石或颗粒的位置。另外，通过结合磁共振(MR)跟踪或光学跟踪，注释可以反映已经被导航的路径。该方法随着图像的获取而不断重复。
在替代实施例中，可以使用本领域已知的SFM技术，而不是方法300中导出的SFM深度图。与已知技术相比，来自方法300的SFM深度图具有更简单的几何形状，具有表示典型变换(例如由相机运动产生的这些变换)所需的更少的非线性。传统的SFM算法还需要对相机光学进行几何校正，但这些校正不会扩展到关于表面连续性和方向的假设。如果这些假设是有效的，则它们会大大降低解的数值复杂性，这反过来又会提高性能并减少误差。
BPH(良性前列腺增生)是一种可以通过各种微创经尿道内窥镜手术治疗的疾病。了解内窥镜相对于解剖标志的位置允许对内窥镜视频进行注释，为医生测量距离和跟踪正在进行的多步骤介入提供帮助。
图8示出了根据第二示例性实施例的用于在管状结构(例如尿道)的内窥镜视频中的运动跟踪的方法600。方法600可以提供包括相对于解剖标志的当前位置、与预期介入相关联的期望位置以及相对于该介入的进度指示符的注释。
在605中，相机旋转中心和行进方向被映射。在610中，光学系统被映射以从内窥镜的POV导出每个图像像素和内窥镜行进方向之间的物理角度。映射光学系统有效地为图像的每个像素定义标量(如在纬度中)，该标量指定与相机轴的角距离(北极，在纬度类比中，除了0°将在极点之外，并且90°在赤道，而不是相反)。图像中0°处的“极点”位置是当相机准确地沿相机轴前进或后退时，保持指向相同位置的点。
在615中，基于映射步骤605-610，为每个图像确定到每个解剖像素的距离。该距离是从垂直于内窥镜102的参考平面到在像素处成像的对象所测量的。
在620中，基于所确定的距离和内窥镜相对于其自身轴的旋转角度在圆柱空间中计算变形图像。相对于从内窥镜旋转点到内窥镜视频中参考方向特征的矢量计算变形图像。选择任意特征来定义参考方向(例如，在图3中设置0°角)，因此所有后续映射直接或间接地与参考方向相关。
在625中，识别图像特征。根据变形的柱面图像在尺度空间中计算显著性度量(诸如，例如Hessian行列式)，以识别图像特征。
在630中，构建特征描述符，其中忽略与成像仪104的视场内的介入仪器的任何部分相关的图像特征。特征描述符基于柱面图像中的特征区域像素值。在635中，基于描述符匹配特征。在一个实施例中，本算法倾向于将一个图像与另一个图像匹配，然而，在另一个实施例中，全局映射是可能的并且具有潜在的优势。与先前的方法不同，不需要执行缩放和旋转不变计算。通过对场景映射的几何形状做出推断，特征的几何形状应该从一张图像到下一张图像保持一致的比例和方向。例如，特征的方向是相对于特征的矢量到外推圆柱的消失点，使得如果随后在内窥镜基本上沿其轴旋转的情况下获取附近的图像，则它将不会影响该方向角，从而可以更直接地匹配特征。
在640中，异常匹配被拒绝，并且在图像帧之间推断相对相机位姿变换。将依据它们与参考特征和参考平面的关系来表示注释，并且因此一旦已知相机位姿变换，就可以将位置变换回图像空间。
图9示出了示例性内窥镜视频显示，其中示出了相对于解剖标志的当前位置、与介入相关联的期望位置以及相对于该介入的进度指示符。
图10示出了根据第二示例性实施例的用于在管状结构的内窥镜视频中的运动跟踪的方法700。方法700类似于方法600。在705中，根据方法600的步骤605-620在圆柱空间中计算变形图像。
在710中，生成掩模图像，其中忽略与仪器对象相对应的像素。如果当前图像是第一张图像，则在715中，将掩膜图像保存为映射图像。如果当前图像是后续图像，则在720中，基于合适的对准标准计算与映射图像的最佳对准。例如，可以基于诸如Hessian行列式加权相关性或熵加权相关性的相关性来计算最佳对准。在725中，基于该最佳对准，用映射覆盖图像。
在730中，使用映射位置样本的统计组合来计算更新的映射图像。例如，可以使用其中定义了每个像素的所有图像上的每个色彩通道的中值强度来计算映射图像。在735中，根据与映射的对准中推断相机的相对位置。
用于治疗BPH的一种手术是激光前列腺消融术，激光前列腺消融术通过将激光穿过前列腺组织来收缩或移除前列腺组织。该手术的特点在于激光的扫描范围(即激光经过的角度范围)和扫描速度(即每单位时间的角度变化)。由激光的功率密度、组织到激光的距离、组织的类型、激光频率和光纤大小决定扫描范围、扫描速度和扫描角度。可以将注释合并到内窥镜视频馈送中，以通过提高医生的意识和准确性来促进激光治疗手术。
图11示出了用于分析膀胱镜视频馈送并提供注释以通知激光治疗手术(例如GreenLightTM激光)的方法800。在805中，存储激光装置的图像特征。在810中，捕获图像。在815，如果成像仪已经在图像中捕获了激光装置的至少一部分，则计算激光装置的方向和相对于相机的距离。
在820中，使用色彩过滤来确定激光束散射的分布。在825中，如果在图像中捕获到散射峰，则基于散射峰估计激光方向。散射峰是反射激光的强度，即随着激光脉冲来和去的亮点，用来直接在激光束的路径中推断解剖结构中的位置。组合激光光纤端部的直接可视化，确定激光方向(如投影到相机传感器上)的估计。
在830中，使用从激光装置到散射峰的距离的预校准映射来估计消融距离。如果可用，可以使用步骤815的距离计算来细化距离估计。
在835中，基于距离估计和激光功率设置计算最佳激光扫描速率。在840中，在显示器114上提供了第一注释，其示出了最佳扫描速率并展示最佳扫描速率和检测到的扫描速率之间的关系。
在845中，在显示器114上提供了第二注释，第二注释示出了消融深度。显示的消融深度可能与到前列腺囊的距离有关。
在850中，提供视觉提示，来示出适当的速率以及最佳速率和测量速率与扫描角度之间的关系。
图12示出了示例性内窥镜视频显示，其中示出了前列腺激光注释，包括相对于推断的最佳范围的功率水平、激光靶向组织的明显平均深度、推断的扫描角度，以及根据功率和平均深度计算出的最佳扫描角度/扫描速度。
在替代实施例中，提供视频注释，将每个扫描角度处的明显消融深度与在先前获取的3D图像体积中测量的投影尿道到胶囊的距离进行比较。由于激光位置在(以前的)尿道位置，因此在先前成像中测量的到胶囊的距离为消融手术提供了极限深度。用户可以选择不在囊内或囊外继续消融。
在又一个替代实施例中，角度和深度估计与从3D仪器跟踪系统计算的激光角度和插入深度测量相结合。
在内窥镜视图中区分不同类型的组织可以进一步促进各种内窥镜手术。对准图像帧中甚至非常轻微的波动的放大，可以允许与心动时相测量相关，并突出组织灌注的差异。
在一个实施例中，适当设计的卷积神经网络(CNN)可以允许对滤波和放大参数进行ad hoc调谐，以创建比先前方法更灵活的实施方式。馈送第一卷积层的CNN的输入体积将具有大约几秒钟的视频帧深度，是红色、绿色和蓝色通道的3倍。输出层将具有与视频帧相同的长度和宽度，以及深度为1，并表示心脏相关程度。该网络将在未压缩的体内内窥镜视频上被训练，其中成本函数测量像素与一系列预定义微波中的任何一个的最大时间相关性，预定义微波按比例缩放以匹配指定的心脏间隔。结果值和最大微波可以驱动信号的放大，以得出组织灌注的差异，并相应地突出组织构成的差异。CNN的使用允许以无监督的方式进行推导，而先前的方法涉及重复的用户介入，以适当地过滤原始图像帧。
CNN还可以用于产生具有低噪声和增强细节的图像。深度卷积神经网络(CNN)可以直接被应用于来自内窥镜的像素数据。在该非典型的CNN中，输出体积与输入体积具有相同的深度(对于红色、绿色&蓝色通道大概是3)，但具有是输入宽度和高度的相同整数倍(超分辨率乘数)的宽度&高度，以及卷积层的部分步幅。通过对原始像素以及输出值执行离散Hartley变换，并最小化平方差来计算训练网络的误差项，除非输入数据的最高空间频率分量偏移出其对应于输出数据变换中可表示的最高空间频率的Nyquist限制。在替代实施例中，对使用基于相关的配准变换计算的多帧平均图像来执行输入数据的空间频率变换，以帮助抑制噪声。
各种现有的超分辨率或SFM方法可以与本公开的方法的元素组合，以改进现有技术。例如，内窥镜的已知/可校准光学几何形状，如关于方法200所讨论的，可以被用于改进现有的超分辨率技术。基于内窥镜的光学几何形状生成的图像映射可能在每帧中每个像素具有1个样本，并且可以使用已知的超分辨率技术(诸如“移位和融合”)来变换内窥镜图像。
用于增强图像的其它技术包括对像素数据应用各种滤波器，诸如频带、中值或高频滤波器，以及穿过浑浊或混浊环境对感兴趣的对象使用边缘检测。这些进一步的技术可以被单独使用或与上述实施例结合使用。

Claims (15)

1.一种内窥镜系统，包括：
内窥镜成像仪，所述内窥镜成像仪被配置为捕获活体内目标部位的图像帧；
处理器，所述处理器被配置为：
对初步图像帧组应用空间变换，所述空间变换将所述图像帧转换为柱坐标；
根据所述空间变换的图像帧计算映射图像，所述映射图像中的每个像素位置用固定维度的矢量所定义；
将当前图像帧与所述映射图像对准，并且对所述当前图像帧应用所述空间变换；
将空间变换后的当前图像帧与所述映射图像融合，以生成融合图像；并且
对融合后的图像应用逆空间变换，以生成具有比所述当前图像帧更大的空间分辨率的增强的当前图像帧；以及
显示器，所述显示器被配置为显示所述增强的当前图像帧。
2.根据权利要求1所述的内窥镜系统，其中，基于所述内窥镜成像仪的光学几何形状生成所述空间变换。
3.根据权利要求1-2中任一项所述的内窥镜系统，其中，所述映射图像具有比所述内窥镜成像仪的分辨率大整数倍的分辨率。
4.根据权利要求1-3中任一项所述的内窥镜系统，其中，基于互相关将所述当前图像帧与所述映射图像对准，其中测量所述当前图像帧和所述映射图像之间的相似度。
5.根据权利要求1-4中任一项所述的内窥镜系统，其中，所述处理器还被配置为：
基于所述空间变换的当前图像帧周围的所述映射图像区域，与所述当前图像帧相比，扩展所述增强的当前图像帧的视场。
6.根据权利要求1-5中任一项所述的内窥镜系统，其中，所述处理器还被配置为：
将空间变换后的当前图像帧添加到所述映射图像。
7.根据权利要求1-6中任一项所述的内窥镜系统，其中，当所述映射图像中的给定像素位置已满时，在添加新样本时删除最旧的样本。
8.一种内窥镜系统，包括：
内窥镜成像仪，所述内窥镜成像仪被配置为捕获活体内目标部位的图像帧；以及
处理器，所述处理器配置为：
对初步图像帧组应用空间变换，所述空间变换将所述图像帧转换为柱坐标；
根据所述空间变换的图像帧计算映射图像，所述映射图像中的每个像素位置用固定维度的矢量所定义；
计算所述映射图像的尺度空间表示；
捕获包括多个独立区域的进一步图像；
当已经获取了用于每个所述独立区域的预定量的图像数据时，开发包括用于每个所述独立区域的独立空间变换的非线性空间变换；并且
从所述非线性空间变换中导出运动恢复结构(SFM)深度图。
9.根据权利要求8所述的内窥镜系统，其中，所述SFM深度图还基于所述内窥镜成像仪的跟踪信息，所述跟踪信息包括所述内窥镜成像仪在捕获的图像之间的变化位姿。
10.根据权利要求8-9中任一项所述的内窥镜系统，其中，所述处理器还被配置为：
在所述初步图像帧组中识别内窥镜相关的对象和感兴趣的对象并对内窥镜相关的对象和感兴趣的对象进行分割；并且
当所述空间变换被应用于所述初步图像组时，排除所述已识别的内窥镜相关对象。
11.根据权利要求10所述的内窥镜系统，其中，所述处理器还被配置为：
基于当前图像帧中的深度信息和角度范围，估计所述感兴趣对象的大小。
12.根据权利要求11所述的内窥镜系统，还包括：
显示器，所述显示器被配置为显示具有注释的所述感兴趣对象的所述当前图像帧。
13.根据权利要求12所述的内窥镜系统，其中，所述感兴趣对象是肾结石。
14.根据权利要求8-13中任一项所述的内窥镜系统，还包括：
附接到所述内窥镜成像仪的电磁(EM)跟踪器，所述电磁跟踪器被配置为提供包括所述内窥镜成像仪的六自由度位置的跟踪数据，
其中，处理器还被配置为对所述目标部位的先前获取的3D图像体积进行分割，
其中，所述跟踪数据与分割后的图像体积和所述SFM深度图相结合，以提供所述内窥镜成像仪的位置估计。
15.根据权利要求14所述的内窥镜系统，其中，所述处理器还被配置为：
当所述跟踪数据被示为突破所述分割的图像体积的表面时，使所述分割的图像体积变形。
CN202080066528.2A 2019-09-23 2020-08-27 用于内窥镜视频增强、定量和手术引导的系统和方法 Pending CN114423355A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904408P 2019-09-23 2019-09-23
US62/904,408 2019-09-23
PCT/US2020/048202 WO2021061335A1 (en) 2019-09-23 2020-08-27 System and method for endoscopic video enhancement, quantitation and surgical guidance

Publications (1)

Publication Number Publication Date
CN114423355A true CN114423355A (zh) 2022-04-29

Family

ID=72433040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066528.2A Pending CN114423355A (zh) 2019-09-23 2020-08-27 用于内窥镜视频增强、定量和手术引导的系统和方法

Country Status (9)

Country Link
US (2) US11430097B2 (zh)
EP (2) EP4345733A2 (zh)
JP (2) JP7206438B2 (zh)
KR (2) KR102630074B1 (zh)
CN (1) CN114423355A (zh)
AU (2) AU2020352836B2 (zh)
CA (2) CA3232181A1 (zh)
NZ (1) NZ785155A (zh)
WO (1) WO2021061335A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630074B1 (ko) * 2019-09-23 2024-01-29 보스톤 싸이엔티픽 싸이메드 인코포레이티드 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof
US20220319031A1 (en) * 2021-03-31 2022-10-06 Auris Health, Inc. Vision-based 6dof camera pose estimation in bronchoscopy
CN113538522B (zh) * 2021-08-12 2022-08-12 广东工业大学 一种用于腹腔镜微创手术的器械视觉跟踪方法
CN115988151A (zh) * 2022-12-29 2023-04-18 南京图格医疗科技有限公司 一种使用低像素时钟实时处理视频的方法及系统
CN116958147B (zh) * 2023-09-21 2023-12-22 青岛美迪康数字工程有限公司 基于深度图像特征的目标区域确定方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080262312A1 (en) * 2007-04-17 2008-10-23 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
TW201225001A (en) * 2010-12-02 2012-06-16 Chung Shan Inst Of Science Construction method for three-dimensional image
US20160350912A1 (en) * 2014-02-07 2016-12-01 Hiroshima University Endoscopic image diagnosis support system
CN109342861A (zh) * 2018-12-10 2019-02-15 哈尔滨工业大学 一种霍尔推力器周向辐条特性测量方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7381183B2 (en) * 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
US7420675B2 (en) * 2003-06-25 2008-09-02 The University Of Akron Multi-wavelength imaging system
JP4018679B2 (ja) 2004-08-24 2007-12-05 ザイオソフト株式会社 レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
JP4563421B2 (ja) 2007-05-28 2010-10-13 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
JP2011139734A (ja) 2010-01-05 2011-07-21 Hoya Corp 内視鏡装置
US10231626B2 (en) * 2013-03-15 2019-03-19 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
US9259231B2 (en) 2014-05-11 2016-02-16 Gyrus Acmi, Inc. Computer aided image-based enhanced intracorporeal lithotripsy
US20180174311A1 (en) * 2015-06-05 2018-06-21 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
EP3103396B1 (en) * 2015-06-10 2018-10-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for hybrid optoacoustic tomography and ultrasonography
EP3245932A1 (en) 2015-07-06 2017-11-22 Olympus Corporation Medical device, medical image generating method, and medical image generating program
US20170281102A1 (en) * 2016-03-31 2017-10-05 Weng-Dah Ken Non-contact angle measuring apparatus, mission critical inspection apparatus, non-invasive diagnosis/treatment apparatus, method for filtering matter wave from a composite particle beam, non-invasive measuring apparatus, apparatus for generating a virtual space-time lattice, and fine atomic clock
US11751947B2 (en) * 2017-05-30 2023-09-12 Brainlab Ag Soft tissue tracking using physiologic volume rendering
JP7236689B2 (ja) 2018-03-05 2023-03-10 リオン株式会社 ３次元形状データ作成システムの作動方法、及び３次元形状データ作成システム
DE112019003022T5 (de) * 2018-06-15 2021-03-18 Canon Kabushiki Kaisha Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsverfahren und Programm
KR102630074B1 (ko) * 2019-09-23 2024-01-29 보스톤 싸이엔티픽 싸이메드 인코포레이티드 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080262312A1 (en) * 2007-04-17 2008-10-23 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
TW201225001A (en) * 2010-12-02 2012-06-16 Chung Shan Inst Of Science Construction method for three-dimensional image
US20160350912A1 (en) * 2014-02-07 2016-12-01 Hiroshima University Endoscopic image diagnosis support system
CN109342861A (zh) * 2018-12-10 2019-02-15 哈尔滨工业大学 一种霍尔推力器周向辐条特性测量方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211260A (zh) * 2023-05-09 2023-06-06 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Also Published As

Publication number Publication date
CA3147447A1 (en) 2021-04-01
AU2020352836B2 (en) 2023-05-25
CA3232181A1 (en) 2021-04-01
NZ785155A (en) 2024-03-22
US11954834B2 (en) 2024-04-09
US20210090226A1 (en) 2021-03-25
AU2023214320A1 (en) 2023-08-31
AU2020352836A1 (en) 2022-03-10
WO2021061335A1 (en) 2021-04-01
US20220366553A1 (en) 2022-11-17
KR20240017960A (ko) 2024-02-08
JP2022546610A (ja) 2022-11-04
KR20220051234A (ko) 2022-04-26
JP7206438B2 (ja) 2023-01-17
US11430097B2 (en) 2022-08-30
KR102630074B1 (ko) 2024-01-29
EP4035120A1 (en) 2022-08-03
JP2023038233A (ja) 2023-03-16
EP4035120B1 (en) 2024-03-27
EP4345733A2 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
KR102630074B1 (ko) 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
Münzer et al. Content-based processing and analysis of endoscopic images and videos: A survey
US10198872B2 (en) 3D reconstruction and registration of endoscopic data
Zhang et al. A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy
US20120294498A1 (en) Image integration based registration and navigation for endoscopic surgery
EP3495805A2 (en) Surgical devices and methods of use thereof
JP2012525190A (ja) 単眼の内視鏡画像からのリアルタイム深度推定
CN112641514B (zh) 一种微创介入导航系统与方法
US20210085165A1 (en) System, device and method for turbidity analysis
US20230113035A1 (en) 3d pathfinder visualization
Hussain et al. Augmented reality for inner ear procedures: visualization of the cochlear central axis in microscopic videos
Padovan et al. A deep learning framework for real‐time 3D model registration in robot‐assisted laparoscopic surgery
Bergen et al. A graph-based approach for local and global panorama imaging in cystoscopy
US20220313364A1 (en) Devices and methods for targeting implant deployment in tissue
Lazo et al. A lumen segmentation method in ureteroscopy images based on a deep residual u-net architecture
CN112315582A (zh) 一种手术器械的定位方法、系统及装置
Liu et al. A non-invasive navigation system for retargeting gastroscopic lesions
WO2023146902A1 (en) Two-phase instrument guidance for accurate endoscopic surgical procedures
Pullens et al. A real-time target tracking algorithm for a robotic flexible endoscopy platform
Liu et al. Monocular endoscopy images depth estimation with multi-scale residual fusion
Ruano et al. Shape estimation of gastrointestinal polyps using motion information
Vemuri Inter-operative biopsy site relocalization in gastroscopy: Application to oesophagus
Böszörmenyi Content-based processing and analysis of endoscopic images and videos: A survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination