CN117957567A - 多个图像重建与配准的方法 - Google Patents

多个图像重建与配准的方法 Download PDF

Info

Publication number
CN117957567A
CN117957567A CN202280061368.1A CN202280061368A CN117957567A CN 117957567 A CN117957567 A CN 117957567A CN 202280061368 A CN202280061368 A CN 202280061368A CN 117957567 A CN117957567 A CN 117957567A
Authority
CN
China
Prior art keywords
image
pixels
distance map
time
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280061368.1A
Other languages
English (en)
Inventor
尼拉杰·普拉萨德·劳尼亚尔
罗伯特·J·赖克
陈龙泉
马修·J·斯特朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Scientific Scimed Inc
Original Assignee
Boston Scientific Scimed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Scientific Scimed Inc filed Critical Boston Scientific Scimed Inc
Publication of CN117957567A publication Critical patent/CN117957567A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Multimedia (AREA)

Abstract

公开了与组合多个图像相关的系统和方法。组合身体结构的多个图像的示例方法包括在第一时间点，使用定位在第一位置处的数字相机捕获第一输入图像，使用第一多个像素来表示第一图像，在第二时间点，使用定位在第二位置处的数字相机捕获第二输入图像，使用第二多个像素来表示第二图像，生成第一输入图像的第一特征距离图，生成第二输入图像的第二特征距离图、计算数字相机在第一时间点和第二时间点之间的位置改变，并且利用第一特征距离图、第二特征距离图和数字相机的位置改变来生成身体结构的三维表面近似。

Description

多个图像重建与配准的方法
相关申请的交叉引用
本申请要求于2021年9月10日提交的美国临时专利申请序列号63/242,540的权益和优先权，其公开内容通过引用并入本文。
技术领域
本公开涉及图像处理技术，并且更具体地，涉及配准(register)和重建在医疗手术期间捕获的多个图像，其中配准和重建成像场景的过程使用场景的独特特征来准确地显示捕获的图像，同时最小化计算要求。
背景技术
各种医疗设备技术可供医疗专业人员使用，用于在查看和成像人体的内部器官和系统时使用。例如，配备有数字相机的医疗内窥镜可以被许多医学领域的医生用来在内部查看人体的部分，以用于检查、诊断和治疗期间。例如，医生可以使用耦合到内窥镜的数字相机来查看碎石手术期间肾结石的治疗。
然而，在医疗手术的某些部分期间，由相机捕获的图像可能会经历各种复杂的曝光序列(exposure sequence)和不同的曝光条件(exposure condition)。例如，在碎石手术期间，医生可以查看由定位在被用于粉碎肾结石的激光光纤附近的数字相机捕获的实时视频流。可以理解的是，为了确保以有效的方式执行医疗手术，医生(或其他操作者)需要在适当的视场中可视化肾结石。例如，由定位在肾结石附近的数字相机所捕获的图像需要准确地反映肾结石的大小。知道肾结石(和/或残留的结石碎片)的物理大小可能直接影响手术决策制定和整体手术效率。在一些光学成像系统(例如，单目光学成像系统)中，图像传感器像素大小可以是固定的，并且因此，被显示的对象的物理大小取决于对象与采集光学器件的距离。在这种实例中，相同大小的两个对象在同一图像中可能看起来不同，其中，离光学器件更远的对象可能看起来比第二对象更小。因此，当在医疗手术中分析视频图像时，累积来自多个图像帧的数据可能是有用的，其除了相机视点的改变之外，还可以包括图像“场景”的改变。该累积的数据可以被用于重建成像区域的三维表示(例如肾结石或其他解剖特征的大小和体积)。因此，可能期望开发图像处理算法，该算法配准视频帧并重建成像环境，从而提高医生在医疗手术期间观察到的视野的清晰度和准确性。公开了使用图像配准和重建技术(同时最小化计算处理要求)来增强多曝光图像的图像处理算法。
发明内容
本公开提供了医疗设备的设计、材料、制造方法和使用替代方案。组合身体结构的多个图像的示例方法包括在第一时间点，使用定位在第一位置处的数字相机捕获第一输入图像，使用第一多个像素来表示第一图像，在第二时间点，使用定位在第二位置处的数字相机捕获第二输入图像，使用第二多个像素来表示第二图像，生成第一输入图像的第一特征距离图，生成第二输入图像的第二特征距离图、计算数字相机在第一时间点和第二时间点之间的位置改变，并且利用第一特征距离图、第二特征距离图和数字相机的位置改变来生成身体结构的三维表面近似。
可替换地或附加于上述实施例中的任何一个，其中，第一图像对应于身体结构，并且其中，生成第一特征距离图包括从第一多个像素中选择一个或多个像素，其中，来自第一多个像素的一个或多个像素是基于它们与第一图像的特征的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，来自第一多个像素的一个或多个像素是基于它们与身体结构的中心纵向轴线的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，第二图像对应于身体结构，并且其中，生成第二特征距离图包括从第二多个像素中选择一个或多个像素，其中，来自第二多个像素的一个或多个像素是基于它们与第二图像的特征的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，来自第二多个像素的一个或多个像素是基于它们与身体结构的中心纵向轴线的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，生成第一特征距离图包括计算从身体结构的一部分到第一图像的一个或多个像素的直线距离。
可替换地或附加于上述实施例中的任何一个，其中，生成第二特征距离图包括计算从身体结构的一部分到第二图像的一个或多个像素的直线距离。
可替换地或附加于上述实施例中的任何一个，其中，生成第一特征距离图包括将数值分配给第一多个像素中的一个或多个像素。
可替换地或附加于上述实施例中的任何一个，其中，生成第二特征距离图包括将数值分配给第二多个像素中的一个或多个像素。
可替换地或附加于上述实施例中的任何一个，其中，第一多个像素被布置在第一坐标网格中，并且其中，第二多个像素被布置在第二坐标网格中，并且其中，第一多个像素的坐标位置与第二多个像素的坐标位置处于相同的相应位置。
可替换地或附加于上述实施例中的任何一个，还包括：通过使用与数字相机运动配置参数相对应的一个或多个自由度将第一特征距离图与第二特征距离图配准来生成混合特征距离图。
可替换地或附加于上述实施例中的任何一个，其中，数字相机运动参数包括数字相机沿着镜轴线的位置改变和旋转改变中的一个或多个。
可替换地或附加于上述实施例中的任何一个，还包括：通过将在混合距离图中计算的距离值与阈值距离值进行比较来评估混合距离图的置信度。
组合身体结构的多个图像的另一示例方法包括使用图像捕获设备在第一时间点获得第一图像，并且在第二时间点获得第二图像，其中，当图像捕获设备在第一时间点捕获第一图像时，图像捕获设备被定位在第一位置，并且其中，当图像捕获设备在第二时间点捕获第二图像时，图像捕获设备被定位在第二位置，并且其中，第二时间点发生在第一时间点之后。该示例方法还包括使用第一多个像素来表示第一图像，使用第二多个像素来表示第二图像，生成第一输入图像的第一特征距离图，生成第二输入图像的第二特征距离图，计算数字相机在第一时间点和第二时间点之间的位置改变，利用第一特征距离图、第二特征距离图和数字相机的位置改变来生成身体结构的三维表面近似。
可替换地或附加于上述实施例中的任何一个，其中，第一图像对应于身体结构，并且其中，生成第一特征距离图包括从第一多个像素中选择一个或多个像素，其中，来自第一多个像素的一个或多个像素是基于它们与第一图像的与身体结构相关的特征的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，来自第一多个像素的一个或多个像素是基于它们与身体结构的中心纵向轴线的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，第二图像对应于身体结构，并且其中，生成第二特征距离图包括从第二多个像素中选择一个或多个像素，其中，来自第二多个像素的一个或多个像素是基于它们与第二图像身体结构的特征的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，其中，来自第二多个像素的一个或多个像素是基于它们与身体结构的中心纵向轴线的接近度来选择的。
可替换地或附加于上述实施例中的任何一个，还包括：通过使用与数字相机运动参数和镜状态配置参数相对应的一个或多个自由度将第一特征距离图与第二特征距离图配准来生成混合特征距离图。
用于从多个图像生成融合图像的另一示例系统包括处理器和包括被配置为执行融合图像的方法的代码的非暂态计算机可读存储介质。该方法还包括在第一时间点，使用定位在第一位置处的数字相机捕获第一输入图像，用第一多个像素来表示第一图像，在第二时间点，使用定位在第二位置处的数字相机捕获第二输入图像，使用第二多个像素来表示第二图像，生成第一输入图像的第一特征距离图，生成第二输入图像的第二特征距离图、计算数字相机在第一时间点和第二时间点之间的位置改变，并且利用第一特征距离图、第二特征距离图和数字相机的位置改变来生成身体结构的三维表面近似。
一些实施例的上述发明内容并非旨在描述每个公开的实施例或本公开的每个实施方式。下面的附图和具体实施方式更具体地举例说明了这些实施例。
附图说明
结合附图考虑到以下具体实施方式，可以更完整地理解本公开，其中：
图1是示例内窥镜系统的示意图；
图2示出了数字相机在时间段内采集的图像序列；
图3示出了在示例医疗手术中捕获图像的示例光学成像系统；
图4A示出了由图3的示例光学成像系统在第一时间点捕获的第一图像；
图4B示出了由图3的示例光学成像系统在第二时间点捕获的第二图像；
图5是使用两个图像特征图像图来创建优化特征图的图像处理算法的框图；
图6是用于配准多个图像的图像处理算法的框图。
虽然本公开可进行各种修改和替代形式，但其细节已在附图中以示例的方式示出，并且将被详细描述。然而，应当理解的是，意图不是将本公开限于所描述的特定实施例。相反，意图是覆盖落入本公开的精神和范围内的所有修改、等效物和替代方案。
具体实施方式
对于以下定义的术语，应该应用这些定义，除非权利要求书或本说明书其他地方给出了不同的定义。
所有数值在本文假定均通过术语“大约”被修改，无论是否明确指示。术语“大约”通常是指本领域技术人员将认为等同于所述值(例如，具有相同的功能或结果)的一系列数字。在许多情况下，术语“大约”可能包括四舍五入到最接近的有效数字的数字。
通过端点叙述数值范围包括该范围内的所有数字(例如，1到5包括1、1.5、2、2.75、3、3.80、4和5)。
如本说明书和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数指代物，除非内容另有明确规定。如在本说明书和所附权利要求书中所使用的，术语“或”通常在其包括“和/或”的意义上被采用，除非内容另有明确规定。
注意，说明书中对“实施例”、“一些实施例”、“其他实施例”等的引用指示所描述的实施例可以包括一个或多个特定特征、结构和/或特性。然而，这样的叙述并不一定意味着所有实施例都包括特定特征、结构和/或特性。另外，当结合一个实施例描述特定特征、结构和/或特性时，应当理解的是，除非明确地相反说明，否则这样的特征、结构、和/或特征也可以结合其他实施例使用，无论是否明确描述。
应参考其中不同附图中的相似元件被编号相同的附图来阅读以下具体实施方式。附图(不一定按比例绘制)描绘了说明性实施例，并且不旨在限制本公开的范围。
本文描述了在医疗手术期间对经由医疗设备(例如内窥镜)采集的图像执行的图像处理方法。此外，本文描述的图像处理方法可以包括图像配准和重建算法。公开了用于生成改进的图像配准和重建方法的各种实施例，该方法准确地重建成像区域的三维图像，同时最小化计算处理要求。具体地，各种实施例针对使用照明数据来提供关于图像场景深度和表面取向的信息。例如，本文公开的方法可以使用算法来提取血管中心轴线位置，并且使用倒角匹配技术(chamfer matching technique)来优化两个或更多个图像之间的配准过程。此外，因为采集图像的医疗设备(例如，内窥镜)在采集图像的同时(在医疗手术的时间段内)移位位置，所以可以利用随着内窥镜的视场移动的对象固有的自由度(degrees offreedom，DOF)来改进配准算法的优化过程。例如，本文公开的图像处理算法可以使用表示相机在时间段内的移动的数据，其中表示相机的位置改变的数据可以被用于重建成像场景的三维描绘。
在医疗手术(例如，输尿管镜手术)期间，数字图像深度感知的准确表示对手术效率很重要。例如，具有成像视场内的对象的准确表示(例如，显示的图像内的肾结石的大小)对于手术决策制定至关重要。此外，经由数字成像的大小估计与深度估计直接相关。例如，从数字传感器获得的图像本质上只是二维的。为了获得准确的体积估计和/或准确的场景重建，可能需要从多个视点评估所采集的图像。此外，在从各个视点(包括相机的位置改变)采集多个图像之后，可以将多个图像帧配准在一起以生成解剖场景的三维描绘。可以理解的是，将多个图像帧配准在一起的过程可能会因患者的解剖结构的运动以及正在操作图像采集设备(例如，定位在患者体内的数字相机)的操作者(例如，医生)的固有运动而被夸大。如上所讨论的，理解相机从帧到帧的移动可以为用于表示三维场景的每个像素提供准确的深度估计。
对于任何成像系统，为了准确解释图像，操作者(例如医生)知道被显示对象的实际物理大小可能很重要。对于在空间中的固定点处成像二维场景的光学成像系统，这通常是通过校准系统的光学参数(例如，焦距和失真)并使用该信息来计算像素大小(其可能经常使用比例尺来显示)来实现的。然而，在对具有显著深度的三维场景进行成像的“单目”光学成像系统中，这可能是不可能的。在这些系统中，虽然图像传感器像素大小可以是固定的，但是被显示的对象的物理大小将取决于该对象与采集光学器件的距离(例如，对象与内窥镜远端的距离)。例如，在一些光学成像系统中，相同大小的两个对象在图像中可能看起来不同，其中，离采集光学器件更远的对象可能看起来比更靠近采集光学器件的对象更小。因此，当分析视频图像时，从多个图像帧(其可以包括成像场景的改变以及相机视点的改变)采集数据可能是有益的。
在一些成像系统中，通过将未知大小的对象与已知大小的对象进行比较来估计视场的大小。例如，在碎石手术期间，可以通过将激光光纤的大小与肾结石的大小进行比较来估计视场的大小。然而，由于内窥镜手术中使用的常规相机系统的固有尺寸限制，医生可能需要大量的时间来培养进行比较估计的能力。这些限制可能导致成像配置随着场景而具有可变的对象放大率，其中由相机的传感器检测到的每个像素可能表示对象上的不同物理大小。
如上所讨论的，在分析视频图像时，累积来自多个图像帧(其可以包括成像场景的改变)和/或相机视点的改变的数据可能是有用的。例如，如果在两个帧中识别出与场景对象的特征相对应的像素，则两个帧之间的相机位置改变可以允许进行场景对象的相对深度测量。虽然两个图像中对应像素的映射非常有用，但对于大量的图像特征来说，这样做通常是困难的，并且在计算上复杂。
然而，虽然用相对较小的医疗设备(诸如内窥镜)采集图像可能会带来挑战，但内窥镜成像也可以提供可以被用于高效的多图像配准的独特的优势。例如，因为内窥镜场景(例如，采集肾脏内肾结石的图像)通常由与相机具有已知和固定关系的单个光源照亮，所以照明数据可以提供关于图像深度和表面取向的附加信息源。此外，可以利用结合局部环境(诸如图像采集设备定位在其中的体腔的表面脉管系统)的替代技术。
以下描述了用于组合多曝光图像以配准和重建多个图像的系统的描述。图1示出了可以结合本公开的其他方面使用的示例内窥镜系统。在一些实施例中，内窥镜系统可以包括内窥镜10。内窥镜10可以特定于特定的内窥镜手术，诸如，例如输尿管镜检查、碎石术等，或者可以是适用于各种各样手术的通用设备。在一些实施例中，内窥镜10可以包括手柄12和从其向远侧延伸的细长轴14，其中手柄12包括被构造为容纳在细长轴14内延伸的激光光纤16的端口。如图1所示，激光光纤16可以通过连接器20(例如，Y-连接器)或沿手柄12的远端区域定位的其他端口被送入细长轴14的工作通道。可以理解的是，激光光纤16可以将激光能量递送到身体内的目标部位。例如，在碎石手术期间，激光纤维16可以递送激光能量以粉碎肾结石。
另外，图1所示的内窥镜系统可以包括定位在细长轴14远端处的相机和/或透镜。细长轴和/或相机/透镜可以在一个或多个方向上具有偏转和/或铰接能力，用于查看患者解剖结构。在一些实施例中，内窥镜10可以是输尿管镜。然而，除了输尿管镜之外或代替输尿管镜，可以使用其他医疗设备，诸如不同的内窥镜或相关系统。此外，在一些实施例中，内窥镜10可以被构造为经由细长轴14将流体从流体管理系统递送到治疗部位。细长轴14可以包括一个或多个工作管腔，用于容纳通过其中的流体流和/或其他医疗设备。在一些实施例中，内窥镜10可以经由一个或多个供应管线连接到流体管理系统。
在一些实施例中，内窥镜10的手柄12可以包括被构造为便于内窥镜手术的多个元件。在一些实施例中，电缆18可以从手柄12延伸，并且被构造为附接到电子设备(未图示)(例如，计算机系统、控制台、微控制器等)，用于提供电力、分析内窥镜数据、控制内窥镜干预或执行其他功能。在一些实施例中，电缆18被连接到的电子设备可以具有用于识别其他内窥镜附件并与其交换数据的功能。
在一些实施例中，图像信号可以通过电缆18从内窥镜远端处的相机传输，以显示在监测器上。例如，如上所述，图1中示出的内窥镜系统可以包括至少一个相机，以在计算机工作站的显示屏上向用户提供视觉馈送。可以理解的是，虽然未明确示出，但细长轴14可以包括一个或多个工作管腔，数据传输电缆(例如，光纤电缆、光缆、连接器、电线等)可以在该工作管腔内延伸。数据传输电缆可以被连接到上述相机。此外，数据传输电缆可以被耦合到电缆18。更进一步，电缆18可以被耦合到计算机处理系统和显示屏。由相机采集的图像可以通过定位在细长轴14内的数据传输电缆被传输，其中图像数据然后通过电缆18到计算机处理工作站。
在一些实施例中，除其他特征外，工作站还可以包括触控面板计算机、用于容纳有线连接(例如，电缆18)的接口盒、推车和电源。在一些实施例中，接口盒可以被构造有与流体管理系统的控制器的有线或无线通信连接。触控面板计算机可以至少包括显示屏和图像处理器，并且在一些实施例中，可以包括和/或定义用户界面。在一些实施例中，工作站可以是多用途部件(例如，用于多于一个手术)，而内窥镜10可以是一次性使用设备，尽管这不是必需的。在一些实施例中，工作站可以被省略，并且内窥镜10可以被直接电子地耦合到流体管理系统的控制器。
图2示出了在时间段内由相机依次捕获的多个图像100。可以理解的是，图像100可以表示在医疗手术期间捕获的图像序列。例如，图像100可以表示在医生利用激光光纤治疗肾结石的碎石手术期间捕获的图像序列。在一些实例中，由数字相机捕获的图像可以在绿色通道中捕获。在绿色通道中捕获图像可能是有益的，因为绿色通道可以包括典型彩色相机滤波器(例如拜耳滤波器)中的最佳空间分辨率。
可以进一步理解的是，图像100可以由图像处理系统采集，该图像处理系统可以包括，例如，计算机工作站、膝上型电脑、平板电脑或包括显示器(医生可以通过该显示器实时可视化手术)的其他计算平台。在图像100的实时采集期间，图像处理系统可以被设计为基于在给定图像之后拍摄的一个或多个图像的融合来处理和/或增强给定图像。然后，增强的图像可以在手术期间由医生可视化。
如上所讨论的，可以理解的是，图2中所示的图像100可以包括在医疗手术期间(例如，在碎石手术期间)用内窥镜设备(例如，内窥镜)捕获的图像。此外，可以理解的是，图2中所示的图像100可以表示随时间捕获的图像的序列100。例如，图像112可以表示在时间点T1捕获的图像，而图像114可以表示在时间点T2捕获的图像，其中在时间点T2捕获的图像114出现在在时间点T1捕获的图像112之后。此外，图像116可以表示在时间点T3捕获的图像，其中在时间点T3捕获的图像116出现在在时间点T2捕获的图像114之后。该序列可以针对分别在时间点T4、T5和T6拍摄的图像118、120和122进行，其中时间点T4发生在时间点T5之后，时间点T5发生在时间点T4之后，以及时间点T6发生在时间点T5之后。
可以进一步理解的是，图像100可以由在现场事件期间定位的内窥镜设备的相机捕获。例如，图像100可以在医疗手术期间由定位在身体血管内的数字相机捕获。因此，可以进一步理解的是，虽然相机的视场在手术期间保持恒定，但由于被图像捕获的手术的动态性质，在手术期间生成的图像可能会改变。例如，图像112可以表示在正好激光光纤发射激光能量以粉碎肾结石之前的时间点拍摄的图像。此外，图像114可以表示在正好激光光纤发射激光能量以粉碎肾结石之后的时间点拍摄的图像。可以进一步理解的是，在激光将能量施加到肾结石之后，来自肾结石的各种颗粒可以快速移动通过相机的视场。另外，可以理解的是，在相机采集图像100的时间段内，相机的位置可以改变(同时采集图像100)。如本文所讨论的，相机的位置改变可以提供可能有助于生成精确的三维重建图像场景的数据。
可以理解的是，数字图像(诸如图1所示的多个图像100中的任何一个)可以被表示为布置在2维网格(使用正方形表示)中的像素(或各个像元)的集合。此外，构成图像的每个单独像素可以被定义为图像中的最小信息项。每个像素都是原始图像的小样本，其中更多的样本典型地提供原始图像的更准确的表示。
图3示出了定位在肾脏129内的示例内窥镜110。可以理解的是，虽然图3和相关讨论可以针对在肾脏内拍摄的图像，但是本文公开的技术、算法和/或方法可以应用于在任何身体结构(例如，身体内腔、腔室、器官等)中采集和处理的图像。
图3中所示的示例内窥镜110在形式和功能上可以类似于上面关于图1所描述的内窥镜10。例如，图3示出了可以包括数字相机124的内窥镜110的细长轴160的远端区域。如上所讨论的，数字照相机124可以被用于捕获定位在示例肾脏129中的对象的图像。特别地，图3示出了定位在内窥镜110的细长轴160的远端区域的下游(在肾脏129内)的肾结石128。因此，定位在轴160的远端区域上的相机124可以被用于在医生执行医疗手术(诸如，破碎肾结石128的碎石手术)时捕获肾结石128的图像。另外，图3示出了分布在肾脏129内的一个或多个盏(calyx)(杯状延伸部)。
另外，可以理解的是，当医生在执行医疗手术的同时操纵内窥镜110时，数字相机124、肾脏129和/或肾结石128可以在数字相机124在时间段内捕获图像时移位位置。因此，随着时间的推移，由相机124捕获的图像可以相对于彼此稍微变化。
图4A示出了由内窥镜110的数字相机124沿着图3的线4-4拍摄的第一图像130。可以理解的是，图4A中所示的图像130示出了沿着图3的线4-4拍摄的肾脏129的腔室的横截面图像。因此，图4A示出了在第一时间点定位在肾脏129的内腔内的肾结石128。此外，图4B示出了在第一图像130之后拍摄的第二图像132。换句话说，图4B示出了在第一时间点(该第一时间点对应于拍摄图像130的时间点)之后出现的第二时间点拍摄的第二图像132。可以理解的是，在第一时间点和第二时间点之间的时间流逝期间，数字相机124的位置可能已经改变。因此，可以理解的是，数字相机124的位置改变反映在在第一时间点拍摄的第一图像130和稍后时间点拍摄的第二图像132之间的差异中。
图4A的详细视图进一步说明肾脏129可以包括第一血管126，第一血管126包括中心纵向轴线136。血管126可以邻近肾结石128并且在肾脏129的内腔的表面上可见。可以理解的是，中心纵向轴线136可以表示血管126的横截面的近似中心位置(取在沿着血管126的长度的任何点处)。例如，如图4A所示，虚线136被示出为跟随血管126的中心纵向轴线。此外，图4A示出了从血管136分支的另一示例血管127，其中血管127包括中心纵向轴线137。
可以进一步理解的是，为了生成在肾脏129的腔室内肾结石128的位置和大小的准确、实时表示，可能需要使用来自第一图像130和第二图像132的数据来构建“混合”图像。特别地，第一图像130可以与第二图像132配准以重建混合图像，该混合图像准确地表示在肾脏129内的肾结石128(或其他结构)的位置和大小。下面提供了生成准确表示在肾脏129内的肾结石128的位置和大小的混合图像的示例方法。另外，如将在本文描述的，混合图像生成可以表示生成图4A和4B中表示的成像场景的准确三维重建的一个步骤。例如，混合图像可以与医疗设备110的位置改变数据一起使用，以生成图像场景的三维描绘。
用于配准的高性能特征图
图5示出了将图像130与图像132配准以生成在上面关于图4A和图4B描述的第一时间段和第二时间段上示出的场景的混合图像的示例算法。为了简单起见，下面的讨论假定图像130和图像132在第一时间点和第二时间(其中第二时间点在第一时间点之后)拍摄。然而，可以理解的是，以下算法可以使用在不同时间点拍摄的图像。例如，以下算法可以被用于将图像130与在第二图像132之后拍摄的第三图像配准。
通常，本文所述的配准算法提取血管中心轴线位置(例如，上述血管中心轴线位置136)，并且使用倒角匹配来计算第一图像(例如，图像130)和第二图像(例如，图像132)之间的变换。此外，可以理解的是，分支脉管系统是内窥镜景观内的突出特征，并且因此，本文所述的配准算法可以集中于识别和利用脉管系统的独特特征，诸如具有明-暗-明转换的特定尺寸范围内的曲线段。如上所述，这些特征可以在彩色图像的绿色通道中被最佳地可视化。然而，可以进一步理解的是，考虑到视点或照亮条件相对于中心纵向轴线估计的改变，血管边缘的定义和稳定性较差。因此，定位血管中心轴线位置的集群并同时构建到这些特征的直线(“曼哈顿”)距离的图的“特征检测”算法可以最小化将图像充分配准在一起所需的计算操作和像素数据访问的数量。此外，通过在后续图像帧(例如，图像132)的中心轴线集群的位置处评估第一图像帧(例如，图像130)中的距离图，可以利用倒角匹配技术高效地配准图像帧对。该过程可以允许特征配准的快速评估，其可以在各种候选帧对准中高效地重复多次。在集群点和距离图没有完全对准的情况下，可以使用距离的双线性插值。
图5示出了上面“集群对准”处理步骤的图形表示。可以理解的是，数字图像的一部分可以被表示为布置在2维网格(使用正方形表示)中的像素(或各个像元)的集合。图5示出了第一像素网格138，其可以对应于聚集在图像130中所示的血管126的中心轴线136周围的像素的集合。例如，网格138中所示的像素的集群可以对应于图像130的以血管126的中心轴线136为中心的部分。类似地，图5示出了第二像素网格140，其可以对应于聚集在图像132中所示的血管126的中心轴线136周围的像素的集合。例如，网格140中所示的像素的集群可以对应于图像132的以内腔134的中心轴线136为中心的部分。可以理解的是，在第一图像130和第二图像132中，血管126可以是相同的血管。然而，因为相机124的位置可能已经改变，所以表示第一图像130中的血管126的图像的像素集合(例如，网格138)可能不同于表示第二图像132中的血管126图像的像素的集合(例如，网格140)。
此外，虽然网格138/140示出了由医疗设备捕获的整个图像的选定部分(例如，网格138/14分别示出了图4A和图4B中所示的整个图像130/132的选定部分)，但本文所述的算法可以同时应用于被用于定义图像130/133中的每一个的所有像素。可以理解的是，构成图像的每个单独像素可以被定义为图像中的最小信息项。然而，虽然每个像素都是原始图像的小样本，但更多的样本(例如，定义图像的整个像素集合)可以提供原始图像的更准确的表示。
此外，可以理解的是，为了简单起见，部分图像130和部分图像132中的每一个的网格被定尺寸为8x8。换句话说，图像130/132的2维网格包括竖直延伸的8列像素和水平延伸的8行像素。可以理解的是，图5中表示的图像的大小是示例性的。数字图像的大小(像素的总数)可以变化。例如，表示整个图像的像素网格的大小可以是约几百乘几百像素(例如，250x250，400x400)。
可以理解的是，可以经由2维图像网格上的其坐标(X，Y)来识别单个像素位置。另外，对给定图像内相邻像素的比较可以产生关于算法在执行配准过程时可能寻求利用给定图像的哪些部分的期望信息。例如，图5示出了每个网格138/140可以包括一个或多个“特征”像素。这些特征像素可以分别表示每个网格138/140中最靠近每个图像130/132的中心轴线136的像素。可以理解的是，如与邻近特征像素的像素相比，构成特征像素的像素实质上更暗。例如，网格138中的特征像素142和网格140中的特征象素144是黑色的。邻近特征像素142/144的所有其他像素被描绘为不同色度的灰色(或白色)。
图5进一步示出了每个相应像素网格138/140中的每个像素可以被分配对应于其到特征像素的相对距离的数值。在一些实例中，这种分配对应于从给定像素到特征像素的距离的数值的方法可以包括使用直线“曼哈顿”距离构建特征图。例如，图5分别示出了网格138/140的特征像素142/144可以被分配数值“0”，灰色变体被分配值“1”，以及白色像素被分配值“2”，其中较大的数值对应于离给定特征像素更远的距离。可以进一步理解的是，图5示出了像素网格138的数值表示在网格146中示出，而像素网格138的数值表示在网格148中示出。
如本文所述，因为图像130和图像132是在不同的时间点拍摄的，所以图像130的特征像素可能位于与图像132的特征像素不同的坐标中。因此，为了生成使用来自图像130和图像132的特征像素数据的混合图像，可以使用对准过程来创建具有经由数值网格138和数值网格148的每个坐标位置的总和生成的特征像素的混合数值网格150。可以理解的是，混合数值网格150中的特征像素的位置将分别包括每个网格138/10的特征像素142/144的那些重叠位置(例如，共享特征像素的每个网格138/140中的坐标)。例如，图5示出了混合网格150的坐标位置4，6(行4，列6)包括特征像素152(经由具有数值“0”来识别)，该特征像素152是值“0”(在网格138的坐标位置4，6处)和值“0“(在网格140的坐标位置4，6处)之和。可以通过在网格150的所有坐标上重复该过程来识别混合网格150的剩余特征像素。此外，如本文所述，虽然图5示出了针对每个图像130/132的所选像素位置组发生的求和过程，但是可以理解的是，该对准过程可以在图像130/132中的所有像素上执行。
另外，可以进一步理解的是，混合网格150的特征像素可以跨多个帧被优化。例如，生成混合数值网格的第一迭代可以提供第一图像130与图像132的“未对准”程度的初始估计。通过在多个配准假设上继续迭代算法，结合优化过程(例如，单纯形，Simplex)，配准的各个参数(例如，对于刚性配准，平移、缩放和旋转)被调谐以识别具有最佳结果的组合。
基于相机的有限DOF配准
可以理解的是，关于在这里描述的“高性能特征图配准”过程内，计算密集的步骤可能是迭代优化“循环”，其与应用于对准过程的自由度(DOF)的数量成指数比例。例如，参考本文所述的图像130和132，图像内的对象(例如，被粉碎的肾结石)具有六个自由度，其包括可能发生相对运动的三个维度(X、Y、Z)以及与沿着每个维度的每个旋转轴相对应的另外三个自由度。然而，任何移动对象固有的自由度都可以被用来提高优化循环的计算效率。关于图6描述了提高优化循环的计算效率的示例过程流方法200。
图6示出了提高优化循环的计算效率的示例第一步骤方法可以包括数字相机(例如，定位在内窥镜的远端上)捕获202第一图像。示例第二步骤可以包括计算204“特征”图，如上面在上面的“用于配准的高性能特征图”部分中描述的。特征图的计算204的输出可以包括网格，该网格包括定位为最靠近表面血管的中心轴线的特征元素(例如，像素集群)或者类似的图像特征的数值表示，如上所述。
该方法中的示例下一步骤可以包括208第一图像中的各种对象的深度的初始估计。该步骤可以提供第一图像的三维表面的初步近似，其中计算初始深度估计可以结合本文所述的六个自由度的特性。初步近似可以包括使用发光数据来计算第一图像的三维表面的粗略近似。
该方法中的示例下一步骤可以包括从数字相机采集210后续图像帧。类似于上面关于第一图像所描述的，示例下一步骤可以包括计算214第二图像的“特征”图，如上面在“用于配准的高性能特征图”中所描述的。特征图的计算214的输出可以包括网格，该网格包括在第二图像中定位为最靠近血管内腔的中心轴线的特征元素(例如，像素集群)的数值表示。
该方法中的示例下一步骤216可以包括第一图像特征图的像素集群与第二图像特征图的像素集群的倒角匹配。该步骤可能包括上面在“用于配准的高性能特征图”部分中描述的倒角匹配过程。另外，该步骤可以包括使用四个自由度将第一图像与第二图像配准，其中四个自由度包括内窥镜相机124的最可能的运动，诸如镜的前进/缩回、旋转和弯曲(其中弯曲改变是运动参数)和/或当前弯曲角度(其中弯曲角度是从帧到帧调整的镜状态估计)。可以理解的是，该步骤可以提供跨整个帧的三维表面的初始近似。
该方法中的示例下一步骤可以包括评估218在步骤216中计算的第一图像与第二图像的初始配准的置信度。在一些示例中，可以使用优化成本函数的值的阈值来进行该评估。例如，阈值可以包括如在“用于配准的高性能特征图”部分中确定的总倒角距离。如过程200所示，如果不满足最小阈值，则可以启动新的“场景”，其中新的场景重新初始化保持表面几何形状和特征集群的对应关系的数据结构。然而，还可以设想，替代开始新场景，该过程可以简单地拒绝当前帧并继续到下一个，直到预定的最大数量的丢弃帧触发场景重置为止。
在评估初始配准的置信度之后(并且假设评估满足预定阈值)，该方法中的示例下一步骤220可以包括仅使用位于每个集群的紧邻处的像素来重复每个特征元素像素集群的配准过程。配准中探索的自由度可以根据三种策略中的任何一种来设置。第一策略可以包括“固定策略”，其中有限的集群大小和鲁棒的初始估计可以允许使用许多自由度(例如，使用六个自由度)。另一策略可以包括“情境”策略，其中来自初始配准步骤216的配准结果(包括当前镜弯曲角度估计)、自由度可以被定制为预期的集群失真。例如，如果初始配准步骤216导致由弯曲角度主导的改变，则两自由度配准可以简单地仅使用X、Y方向上的图像平移。另外，另一策略可以包括“自适应”策略，其中基于配准质量指标(例如，优化成本函数)，可以用额外的自由度配准来重复更少的自由度配准。当从准确的初始估计启动时，充分参数化的配准可以比具有更高自由度参数的配准更快地收敛。这种得到的配准(使用上述策略中的任何一种)可以是可变的，作为具有插值策略的独立仿射集群配准的集合。
该方法中的示例下一步骤可以包括评估222单个集群配准对阈值的置信度，其中可以将通过该阈值的集群数量本身与阈值进行比较。可以理解的是，给定数量的高质量集群匹配被推定为指示场景内的可靠配准。如图6所示，如果不满足最小阈值，则如果跳过的帧的数量已经超过最大值，则该过程可以开始新场景，或者可替换地，如果跳过的帧的数量等于或小于最大阈值，该过程可以放弃当前帧并前进到下一帧并开始计算特征图(如以上关于步骤214所描述的)。
如果在上面评估222步骤中满足单个集群配准的阈值，则示例下一步骤可以包括组合224集群配准，以确定在帧之间发生的最可能的相机姿态改变和由此产生的新内窥镜弯曲角度估计。
该方法中的示例下一步骤可以包括计算224每个集群的中心的深度估计。每个集群中心的深度估计可以被转换为三维表面位置。
该方法的示例最终步骤可以包括估计集群之间和集群之外的深度图，并且将它们分解到场景表面描述中。
在估计集群深度图之后，准确表示图像的三维表面所需的任何缺失信息可以被近似并使用图像强度数据在集群中心之间填充228。一种可能的方法是用沿着分离集群的路径的强度梯度的总和来参数化这种2D插值和外推，这假定深度改变主要发生在图像强度改变的区域。最后，当获取新图像时，该过程可以从计算214新图像的特征图开始重复。
应当理解，本公开在许多方面仅是说明性的。可以在细节上进行改变，特别是在形状、大小和步骤的排列方面进行改变，而不超出本公开的范围。在适当的范围内，这可以包括在其他实施例中使用的一个示例实施例的任何特征的使用。当然，本公开的范围是以所附权利要求所表述的语言来定义的。

Claims (15)

1.一种组合身体结构的多个图像的方法，所述方法包括：
在第一时间点，使用定位在第一位置处的数字相机捕获第一输入图像；
使用第一多个像素来表示第一图像；
在第二时间点，使用定位在第二位置处的数字相机捕获第二输入图像；
使用第二多个像素来表示第二图像；
生成所述第一输入图像的第一特征距离图；
生成所述第二输入图像的第二特征距离图；
计算所述数字相机在所述第一时间点和所述第二时间点之间的位置改变；
利用所述第一特征距离图、所述第二特征距离图和所述数字相机的位置改变来生成所述身体结构的三维表面近似。
2.根据权利要求1所述的方法，其中，所述第一图像对应于所述身体结构，并且其中，生成所述第一特征距离图包括从所述第一多个像素中选择一个或多个像素，其中，来自所述第一多个像素的一个或多个像素是基于它们与所述第一图像的特征的接近度来选择的。
3.根据权利要求1-2中任一项所述的方法，其中，来自所述第一多个像素的一个或多个像素是基于它们与所述身体结构的中心纵向轴线的接近度来选择的。
4.根据权利要求1-3中任一项所述的方法，其中，所述第二图像对应于所述身体结构，并且其中，生成所述第二特征距离图包括从所述第二多个像素中选择一个或多个像素，其中，来自所述第二多个像素的一个或多个像素是基于它们与所述第二图像的特征的接近度来选择的。
5.根据权利要求1-4中任一项所述的方法，其中，来自所述第二多个像素的一个或多个像素是基于它们与所述身体结构的中心纵向轴线的接近度来选择的。
6.根据权利要求1-5中任一项所述的方法，其中，生成所述第一特征距离图包括计算从所述身体结构的一部分到所述第一图像的一个或多个像素的直线距离。
7.根据权利要求1-6中任一项所述的方法，其中，生成所述第二特征距离图包括计算从所述身体结构的一部分到所述第二图像的一个或多个像素的直线距离。
8.根据权利要求1-7中任一项所述的方法，其中，生成所述第一特征距离图包括将数值分配给所述第一多个像素中的一个或多个像素。
9.根据权利要求1-8中任一项所述的方法，其中，生成所述第二特征距离图包括将数值分配给所述第二多个像素中的一个或多个像素。
10.根据权利要求1-9中任一项所述的方法，其中，所述第一多个像素被布置在第一坐标网格中，并且其中，所述第二多个像素被布置在第二坐标网格中，并且其中，所述第一多个像素的坐标位置与所述第二多个像素的坐标位置处于相同的相应位置。
11.根据权利要求1-10中任一项所述的方法，还包括：通过使用与数字相机运动配置参数相对应的一个或多个自由度将所述第一特征距离图与所述第二特征距离图配准来生成混合特征距离图。
12.根据权利要求11所述的方法，其中，数字相机运动参数包括所述数字相机沿着镜轴线的位置改变和旋转改变中的一个或多个。
13.根据权利要求11所述的方法，还包括：通过将在混合距离图中计算的距离值与阈值距离值进行比较来评估所述混合距离图的置信度。
14.一种组合身体结构的多个图像的方法，所述方法包括：
使用图像捕获设备在第一时间点获得第一图像，并且在第二时间点获得第二图像，其中，当所述图像捕获设备在所述第一时间点捕获所述第一图像时，所述图像捕获设备被定位在第一位置，并且其中，当所述图像捕获设备在所述第二时间点捕获所述第二图像时，所述图像捕获设备被定位在第二位置，并且其中，所述第二时间点发生在所述第一时间点之后；
使用第一多个像素来表示所述第一图像；
使用第二多个像素来表示所述第二图像；
生成第一输入图像的第一特征距离图；
生成第二输入图像的第二特征距离图；
计算数字相机在所述第一时间点和所述第二时间点之间的位置改变；
利用所述第一特征距离图、所述第二特征距离图和所述数字相机的位置改变来生成所述身体结构的三维表面近似。
15.根据权利要求14所述的方法，其中，所述第一图像对应于所述身体结构，并且其中，生成所述第一特征距离图包括从所述第一多个像素中选择一个或多个像素，其中，来自所述第一多个像素的一个或多个像素是基于它们与所述第一图像的与身体结构相关的特征的接近度来选择的。
CN202280061368.1A 2021-09-10 2022-09-08 多个图像重建与配准的方法 Pending CN117957567A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163242540P 2021-09-10 2021-09-10
US63/242,540 2021-09-10
PCT/US2022/042890 WO2023039053A1 (en) 2021-09-10 2022-09-08 Method of multiple image reconstruction and registration

Publications (1)

Publication Number Publication Date
CN117957567A true CN117957567A (zh) 2024-04-30

Family

ID=83558176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280061368.1A Pending CN117957567A (zh) 2021-09-10 2022-09-08 多个图像重建与配准的方法

Country Status (6)

Country Link
US (1) US20230081476A1 (zh)
KR (1) KR20240065115A (zh)
CN (1) CN117957567A (zh)
AU (1) AU2022342001A1 (zh)
CA (1) CA3230639A1 (zh)
WO (1) WO2023039053A1 (zh)

Also Published As

Publication number Publication date
KR20240065115A (ko) 2024-05-14
WO2023039053A1 (en) 2023-03-16
CA3230639A1 (en) 2023-03-16
AU2022342001A1 (en) 2024-03-07
US20230081476A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
Widya et al. Whole stomach 3D reconstruction and frame localization from monocular endoscope video
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
JP6594133B2 (ja) 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
US20150374210A1 (en) Photometric stereo endoscopy
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
KR102087595B1 (ko) 내시경 시스템 및 그 제어방법
Widya et al. 3D reconstruction of whole stomach from endoscope video using structure-from-motion
WO2013141155A1 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
WO2005077253A1 (ja) 内視鏡システム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN115294128B (zh) 一种用于消化内镜的单目结构三维成像方法及装置
JP6022133B2 (ja) 医療装置
JPWO2017212725A1 (ja) 医療用観察システム
CN109068035B (zh) 一种智能微相机阵列内窥成像系统
Fan et al. 3D reconstruction of the WCE images by affine SIFT method
Groch et al. 3D surface reconstruction for laparoscopic computer-assisted interventions: comparison of state-of-the-art methods
US20230081476A1 (en) Method of multiple image reconstruction and registration
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
US20230078857A1 (en) Method of robust surface and depth estimation
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
JP6600442B2 (ja) 陰影からの形状復元法を使用する単眼内視鏡立体視システムおよびその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination