CN114945937A - 用于内窥镜流程的引导式解剖操纵 - Google Patents

用于内窥镜流程的引导式解剖操纵 Download PDF

Info

Publication number
CN114945937A
CN114945937A CN202080092878.6A CN202080092878A CN114945937A CN 114945937 A CN114945937 A CN 114945937A CN 202080092878 A CN202080092878 A CN 202080092878A CN 114945937 A CN114945937 A CN 114945937A
Authority
CN
China
Prior art keywords
anatomical structure
endoscopic
steerable
controller
guided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080092878.6A
Other languages
English (en)
Inventor
P·西恩帕波
M·A·巴利茨
G·A·托波雷克
A·波波维奇
A·帕特里丘
S·J·凯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114945937A publication Critical patent/CN114945937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本公开的各种实施例涵盖操纵性内窥镜引导设备，其采用用于控制解剖结构的内窥镜视图(11)的显示的内窥镜查看控制器(20)，以及用于控制所述解剖结构的所述内窥镜视图(11)的显示内的一个或多个引导式操纵锚(50‑52)的显示的操纵性引导控制器(30)。引导式操纵锚(50‑52)表示所述解剖结构的引导式操纵的位置标记和/或运动方向(例如，所述解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除或重新定位)。所述操纵性引导控制器(30)可以通过分析所述解剖结构的所述内窥镜视图(11)与对应于所述解剖结构的(一幅或多幅)图像、(一个或多个)模型和/或细节的知识库的相关性并且通过基于所述解剖结构的所述内窥镜视图(11)与所述知识库的相关程度导出锚来生成锚。

Description

用于内窥镜流程的引导式解剖操纵
技术领域
本公开总体上涉及基于图像引导的内窥镜的诊断流程、治疗流程和手术流程。本公开特别地涉及内窥镜视图内的解剖结构的引导式操纵。
背景技术
在微创手术中，外科医师使用延伸到患者体内的相机查看在处置下的组织。这些相机被称为内窥镜，并且所利用的特定类型的内窥镜取决于所执行的流程(例如，肛门镜检查、关节镜检查、支气管镜检查、结肠镜检查、阴道镜检查、膀胱镜检查、食管镜检查、胃镜检查、腹腔镜检查、喉镜检查、神经内窥镜检查、直肠镜检查、乙状结肠镜检查和胸腔镜检查)。
在手术期间，外科医师在主要手术任务之前经由内窥镜对对象解剖区域执行视觉检查和探索，从而获得对患者的解剖结构的熟悉并识别重要的解剖结构(例如，已知的血管和神经)。这样做时，外科医师自身熟悉患者的组织，这是迄今为止外科医师从未见过的。内窥镜检查常规上已经以这种方式用作被动可视化工具。
取决于流程，外科医师能够试图将他/她已经看到的事物与他们从术前信息中所知道的事物相关，包括解剖成像以及经验和教科书解剖知识。然而，内窥镜视图下看到的组织常常不能立即由外科医师识别，因为视场限于难以单独情境化的小的区。尽管术前规划可以被用于确定最佳手术动作过程，但是随着介入开始，可能没有揭示足够的信息以将术前信息完全组合到内窥镜检查。然后随着介入进行，能够由组织变形、生理运动、患者运动等致使任何已经获得的信息融合无效。对于参考计划的介入，内窥镜视图必须不断地被分析和更新为演变手术条件。
更特别地，特定患者的解剖结构的视觉外观未知，直到手术时间，因为经由扫描(例如，X射线、计算机断层摄影(CT)、正电子发射断层摄影(PET)等)的术前信息主要显示了组织对辐射能量的衰减的差异，这描绘了诸如肿瘤、血管和气道的结构。因此，微创内窥镜手术中的初步活动是获得对组织外观的熟悉。在该探索阶段期间，外科医师通过内窥镜查看组织同时使用工具执行操纵，并且同时解剖组织以暴露解剖结构同时识别标志以促进主要手术任务。例如，在肿瘤切除中，外科医师试图识别肿瘤附近的血管和其他结构，以便避免在切除期间损坏它们。
该探索阶段是一项耗时、不确定和不能量化的活动，其使手术流程的许多方面难以重现。现有方法将术前信息(例如X射线扫描、CT扫描、PET扫描等)融合到内窥镜视图中。然而，在实践中，由于极端组织变形、困难的深度可视化和成像伪影(例如，镜面反射、遮挡、阴影、小视场、运动模糊和焦点模糊)，图像融合方法在很大程度上失败了。
发明内容
本公开描述了一种新颖的、独特的控制器，其生成在内窥镜流程期间与外科医师通信的解剖结构(例如，组织、骨骼、神经和血管)的优选引导式操纵。这样的引导式操纵的范例包括但不限于在基于内窥镜的诊断流程、基于内窥镜的治疗流程和/或基于内窥镜的手术流程期间的解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、解剖、弯曲、扭转、挠曲、延伸、压缩、移除和/或重新定位。临床医师(例如，放射科医师、治疗师或外科医师)可以手动或以机器人方式实施引导式操纵，或者控制器可以自动地控制机器人仪器以相应地操纵所述组织。
本公开可以被实现为(1)操纵性引导控制器、(2)包含所述操纵性引导控制器的操纵性内窥镜引导设备、(3)包含所述操纵性内窥镜引导设备的操纵性内窥镜引导系统、(4)利用所述操纵性引导控制器的操纵性内窥镜引导方法、(5)利用所述操纵性内窥镜引导设备的操纵性内窥镜引导方法和(6)利用所述操纵性内窥镜引导系统的操纵性内窥镜引导方法。
本公开的各种操纵性引导控制器实施例涵盖一种操纵性引导控制器，其用于控制一个或多个引导式操纵锚在解剖结构的内窥镜视图的显示内的显示。引导式操纵锚表示对所述解剖结构的引导式操纵的位置标记和/或运动方向，包括但不限于在基于内窥镜的诊断流程、基于内窥镜的治疗流程和/或基于内窥镜的手术流程期间的解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位。
临床医师(例如，放射科医师、治疗师或外科医师)可以手动或以机器人方式实施如所显示的引导式操纵，或者操纵性引导控制器可以自动地控制机器人仪器以相应地操纵所述组织。
所述操纵性引导控制器可以(1)通过分析所述解剖结构的所述内窥镜视图与对应于所述解剖结构的(一幅或多幅)图像、(一个或多个)模型和/或(一个或多个)细节的知识库的相关性并且(2)通过基于所述解剖结构的内窥镜视图与所述知识库的相关程度导出引导式操纵锚来生成引导式操纵锚。
所述操纵性引导控制器可以接收所述解剖结构的内窥镜视图，或者可以根据内窥镜相对于解剖结构的部分或全部体积扫描的跟踪定位来确定所述解剖结构的内窥镜视图。
各种操纵性内窥镜引导设备实施例涵盖所述操纵性引导控制器和用于控制所述解剖结构的内窥镜视图的显示的内窥镜查看控制器。内窥镜查看控制器的范例包括但不限于用于在解剖区域内实施工具和仪器的基于内窥镜的诊断、治疗和/或手术引导的控制器，如本公开领域中已知和下文所构想的。
各种操纵性内窥镜引导系统实施例涵盖操纵性内窥镜引导设备和如本公开的领域中已知和在下文中构想的用于生成所述解剖结构的内窥镜视图的内窥镜。所述内窥镜的范例包括但不限于肛门镜、关节镜、支气管镜、结肠镜、阴道镜、膀胱镜、食管镜、胃镜、腹腔镜、喉镜、神经内窥镜、直肠镜、乙状结肠镜和胸腔镜。
本公开的各种操纵性内窥镜引导方法实施例涵盖操纵性引导控制器接收解剖结构的内窥镜视图，并且所述操纵性内窥镜引导控制一个或多个引导式操纵锚在所述解剖结构的内窥镜视图的显示内的显示。再次，引导式操纵锚表示所述解剖结构的引导式操纵的位置标记和/或运动方向，包括但不限于在诊断流程、治疗流程和/或手术流程期间的解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位。
临床医师(例如，放射科医师、治疗师或外科医师)可以手动或以机器人方式实施如所显示的引导式操纵，或者操纵性引导控制器可以自动地控制机器人仪器以相应地操纵所述组织。
所述方法可以涉及所述操纵性引导控制器(1)通过分析所述解剖结构的所述内窥镜视图与对应于所述解剖结构的(一幅或多幅)图像、(一个或多个)模型和/或(一个或多个)细节的知识库的相关性并且(2)通过基于所述解剖结构的内窥镜视图与所述知识库的相关程度导出引导式操纵锚来生成引导式操纵锚。
所述操纵性引导控制器可以接收所述解剖结构的内窥镜视图，或者可以根据内窥镜相对于解剖结构的部分或全部体积扫描的跟踪定位来确定所述解剖结构的内窥镜视图。
所述操纵性内窥镜引导方法还可以涉及内窥镜生成所述解剖结构的内窥镜视图和/或内窥镜查看控制器控制所述解剖结构的内窥镜视图的显示。
本公开的前述实施例和其他实施例以及本公开的各种结构和优点将根据结合附图阅读的本公开的各种实施例的以下详细描述变得更明显。详细描述和附图仅仅是说明本公开而非限制性的，本公开的范围由所附权利要求书及其等效物限定。
附图说明
本公开将参考以下附图详细呈现示范性实施例的以下描述，其中：
图1图示了根据本公开的操纵性内窥镜引导设备的示范性实施例；
图2A-2C图示了根据本公开的图1的操纵性内窥镜引导设备的示范性实施例；
图3图示了根据本公开的可由图1A-1C的操纵性内窥镜引导设备执行的操纵性引导方法的示范性实施例；
图4图示了根据本公开的包含图1的操纵性内窥镜引导设备的操纵性内窥镜引导系统的示范性实施例；
图5图示了根据本公开的操纵性引导控制器的示范性实施例；并且
图6图示了表示根据本公开的可由图4的操纵性引导控制器执行的操纵性引导方法的示范性实施例的流程图。
具体实施方式
本公开适用于利用内窥镜的许多和各种诊断、治疗和手术流程，包括但不限于肛门镜检查、关节镜检查、支气管镜检查、结肠镜检查、阴道镜检查、膀胱镜检查、食管镜检查、胃镜检查、腹腔镜检查、喉镜检查、神经内窥镜检查、直肠镜检查、乙状结肠镜检查和胸腔镜检查。
本公开通过为临床医师(例如，放射科医师、治疗师或外科医师)提供关于如何手动或以机器人方式操纵(一个或多个)解剖结构的内窥镜视图中的(一个或多个)解剖结构(例如，组织、骨骼、神经和血管)的引导式操纵来改进内窥镜流程的现有技术，其能够(1)揭示内窥镜视图内的(一个或多个)隐藏解剖结构和/或(2)对内窥镜视图内的(一个或多个)解剖结构进行重新定位和/或重新取向以促进内窥镜视图内的(一个或多个)解剖结构的诊断分析、治疗处置和/或手术操作。
出于描述和要求保护本公开的目的，如本公开的领域中已知和在下文中所构想的，术语“引导式操纵”宽泛地涵盖用于改变、重塑、扭曲、变换或以其他方式操纵解剖结构的内窥镜视图内的解剖结构的配置、位置和/或取向的目的的工具/仪器与解剖结构的描绘的接触。
引导式操纵的范例包括但不限于在内窥镜流程期间的解剖结构的抓取、拉动、推动、滑动、倾斜、解剖、弯曲、扭转、挠曲、延伸、压缩和/或移除。
引导式操纵的一个目的可以是将内窥镜视图内的解剖结构操纵到临床医师更已知的、基线或可识别的状态，以促进解剖结构的诊断分析、治疗处置和/或手术操作。
引导式操纵的另一个目的可以是隐藏在内窥镜视图内的(一个或多个)额外解剖结构的暴露，以促进内窥镜视图内的(一个或多个)额外解剖结构的诊断分析、治疗处置和/或手术操作。
此外，存在本公开的引导式操纵的各种用途。这样的用途的范例包括但不限于：(1)将斜向组织暴露于内窥镜以促进更好地理解内窥镜视图，(2)组合内窥镜视图以拼接对应解剖区域的较大图片(例如，胸部区域、腹部区域等)，(3)恢复不再在内窥镜的视场内或已经隐藏在其他物体后面的视图的能力，以及(4)使用力感测向(一个或多个)解剖结构施加已知量的力。
出于描述和要求保护本公开的目的，术语“锚”宽泛地涵盖如本公开的领域中已知和在下文中所构想的视觉表示，其用于在成像模态的视图内连续地标记特定位置，并且根据本公开，术语“引导式操纵锚”宽泛地涵盖解剖结构的内窥镜视图内的引导式操纵的位置标记和/或运动方向的视觉表示，由此临床医师(例如，放射科医师、治疗师或外科医师)可以手动或以机器人方式实施(一个或多个)解剖结构的引导式操纵，或者控制器可以自动控制机器人仪器以相应地操纵(一个或多个)解剖结构。
在实践中，本公开的引导式操纵锚可以叠加在内窥镜视频馈送上，由此该锚是任何类型的物理、虚拟或增强显示器(例如，显示监测器、头戴式显示器等)上的静态视觉增强。此外，如果这样的数据可用，则显示器可以绘制场景的3D模型。本公开的引导式操纵锚也可以是动态的，由此引导式操纵锚表现为粘附到相关联的解剖结构(例如，组织、骨骼、神经和血管)。
例如，如果抓取位置位于器官的外边缘，则告诉外科医师在该处进行抓取的锚叠加能够在其移动时与下面的组织一起跟踪。因此，锚叠加在组织脱离视图或变得隐藏的情况下可能消失，并且与连接的组织一起重新出现。引导式操纵锚也可以放在工具/仪器上，以传递工具/仪器应该如何移动。
此外在实践中，在视觉上，本公开的引导式操纵锚可以是不透明的以抓住临床医师的注意力，或者是半透明的以允许临床医师看到引导式操纵锚后面的(一个或多个)解剖结构。本公开的引导式操纵锚也可以通过锚的性质而变化(例如，在诊断、治疗和/或外科内窥镜流程的背景下提供信息或查询)。本公开的引导式操纵锚的形状、颜色和大小可以类似地调节以传递消息。例如，本公开的引导式操纵锚的形状可以被取向以传递解剖操纵的方向性和/或可以被动画化以示出运动建议。
还在实践中，本公开的引导式操纵锚可以通过超越可视化的手段来传递。例如，触觉显示器可以成形或着色，或者触觉操纵杆可以被振动以向临床医师传递仪器位置在组织附近的抓取点处。其他非限制性通信手段包括听觉提示和触觉刺激的组合。
此外，在实践中，解剖操作的方向性可以基于解剖结构在内窥镜视图中如何取向和在内窥镜流程期间要执行的(一个或多个)即时任务的组合来确定。例如，如果要抓取的组织是器官的边缘，那么方向应该是进入器官以用于折叠运动并且向外以用于伸展运动。确定组织特性的实施例也可以涉及组织抓取的扭转运动，从而允许在组织的优选方向上执行期望的运动。
更特别地，解剖操纵的方向也可以基于有效的任务执行和工作流程来计算。例如，如果已知特定切口在某个角度处最安全和有效地执行，那么可以引导临床医师将组织分期到该角度。还可以基于诸如例如组织、相机和仪器的当前角度的术中准则来计算解剖操作的方向，这也可以扩展到一个或多个任务序列。
为了促进本公开的理解，图1-2C的以下描述教导了根据本公开的操纵性内窥镜引导设备的相应示范性实施例。从图1-2C的描述，本公开领域的普通技术人员将意识到如何应用本公开来做出和使用根据本公开的操纵性内窥镜引导设备的额外实施例。
参考图1，内窥镜10是如本公开领域中已知或在下文中所构想的内窥镜，其用于生成解剖结构的内窥镜视图，诸如，例如，如图1所示的肺的内窥镜视图11。内窥镜的范例包括但不限于肛门镜、关节镜、支气管镜、结肠镜、阴道镜、膀胱镜、食管镜、胃镜、腹腔镜、喉镜、神经内窥镜、直肠镜、乙状结肠镜和胸腔镜。
本公开提供了一种采用内窥镜查看控制器20和操纵引导控制器30的操纵性内窥镜引导设备。
出于描述和要求保护本公开的目的，术语“内窥镜查看控制器”涵盖如在本公开的领域中所理解的和如在本公开中示范性描述的主电路板或集成电路的所有结构配置，其用于控制本公开的各种原理的应用，以用于控制解剖结构的内窥镜视图的显示，如本公开的领域中已知或在下文中所构想的。内窥镜查看控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)槽和(一个或多个)端口。
出于描述和要求保护本公开的目的，如与内窥镜查看控制器相关的术语“应用模块”广泛地涵盖被包含在内窥镜查看控制器内或可由其访问的应用，其包括电子电路(例如，电子部件和/或硬件)和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质和/或固件上的可执行软件)，以用于执行与用于控制如本公开领域中已知或在下文中所构想的解剖结构的内窥镜视图的显示相关联的特定应用。
内窥镜查看控制器20的范例包括但不限于用于在解剖区域内实施工具和仪器的基于内窥镜的诊断、治疗和/或手术引导的内窥镜查看控制器，如本公开领域中已知和下文所构想的。
仍然参考图1，出于描述和要求保护本公开的目的，术语“操纵性引导控制器”涵盖如本公开领域中所理解和如本公开中示范性描述的主电路板或集成电路的所有结构配置，其用于应用本公开的各种原理，以用于控制根据本公开的解剖结构的内窥镜视图的显示内的一个或多个引导式操纵锚的显示。操纵性引导控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)槽和(一个或多个)端口。
出于描述和要求保护本公开的目的，如与操纵性引导控制器相关的术语“应用模块”宽泛地涵盖被包含在操纵性引导控制器内或可由其访问的应用，所述操纵性引导控制器包括电子电路(例如，电子部件和/或硬件)和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质和/或固件上的可执行软件)，以用于执行与控制根据本公开的解剖结构的内窥镜视图的显示内的一个或多个引导式操纵锚的显示相关联的特定应用。
如本文先前所描述的，引导式操纵锚表示解剖结构的引导式操纵的位置标记和/或运动方向，包括但不限于在基于内窥镜的诊断流程、基于内窥镜的治疗流程和/或基于内窥镜的手术流程期间解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位。临床医师(例如，放射科医师、治疗师或外科医师)可以手动或以机器人方式实施如所显示的引导式操纵，或者操纵性引导控制器可以自动控制机器人仪器以相应地操纵所述组织。
例如，如叠加在肺的内窥镜视图11上的引导式操纵锚50表示解剖结构的引导式操纵的位置标记，由此引导式操纵锚50的形状、颜色和/或大小可以明确地传递解剖结构的特定类型的引导式操纵(例如，解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位)。
通过另外的范例，如叠加在肺的内窥镜视图11上的引导式操纵锚52表示解剖结构的引导式操纵的运动方向，由此引导式操纵锚50的形状、颜色和/或大小可以明确地传递解剖结构的特定类型的引导式操纵(例如，解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位)。
通过另外的范例，如叠加在肺的内窥镜视图11上的引导式操纵锚52表示解剖结构的引导式操纵的位置标记和运动方向，由此引导式操纵锚50的形状、颜色和/或大小可以明确地传递解剖结构的特定类型的引导式操纵(例如，解剖结构的抓取、拉动、推动、滑动、重新取向、倾斜、移除和/或重新定位)。
仍然参考图1，在实践中，在基于内窥镜的诊断流程、基于内窥镜的治疗流程和/或基于内窥镜的手术流程的背景下，操纵性引导控制器30根据解剖结构的内窥镜视图生成引导式操纵锚。
在一个实施例中，如本公开中将进一步描述的，操纵性引导控制器30可以(1)通过分析解剖结构的内窥镜视图与对应于解剖结构的(一幅或多幅)图像、(一个或多个)模型和/或(一个或多个)细节的知识库的相关性和(2)通过基于解剖结构的内窥镜视图与知识库的相关程度导出引导式操纵锚，生成引导式操纵锚(1)。
出于描述和要求保护本公开的目的，术语“相关性”宽泛地涵盖与解剖结构的目标视图具有相互关系的内窥镜视图。相互关系的范例包括但不限于：(1)内窥镜视图与解剖结构的体积扫描内的目标视图的图像匹配、(2)内窥镜视图与解剖结构的模型上的目标视图的成像匹配、(3)内窥镜视图与解剖结构的图像编译的目标视图的成像匹配、(4)内窥镜视图内所图示的解剖特征与目标视图内所图示的显著解剖特征的成像匹配、以及(5)当在解剖结构上执行处理任务和/或手术任务时内窥镜视图与目标视图的演变图像匹配。
在实践中，解剖结构的目标视图可以是在内窥镜流程的规划阶段期间描绘的视图或在内窥镜流程的导航阶段期间由临床医师识别的视图。
还在实践中，相关程度决定了是否需要单个引导式操纵锚或单组引导式操纵锚以用于表示解剖结构的(一个或多个)引导式操纵的(一个或多个)位置标记和(一个或多个)运动方向，或者是否需要引导式操纵锚的时间序列以用于表示解剖结构的引导式操纵的位置标记和运动方向的时间序列。
仍然参考图1，操纵性引导控制器可以接收解剖结构的内窥镜视图，或者可以从内窥镜相对于解剖结构的部分或全部体积扫描的被跟踪定位来确定解剖结构的内窥镜视图。
对应于基于内窥镜的流程的图像的范例包括但不限于解剖区域的术前或术中体积扫描(例如，CT扫描、MRI扫描、PET扫描、3D超声扫描、3D X射线扫描)。
对应于基于内窥镜的流程的模型的范例包括但不限于解剖结构的三维表示(例如，根据解剖图谱经由减材或增材制造生成的解剖模型)。
对应于解剖结构的(一个或多个)细节的范例包括但不限于解剖结构的生物学性质和与解剖结构相关联的内窥镜流程步骤。
仍然参考图1，在实践中，内窥镜查看控制器20和操纵性引导控制器30可以如图所示分离、部分集成或完全集成。
在如图2A所示的第一示范性实施例中，内窥镜查看控制器20a从内窥镜10a生成解剖结构的内窥镜视图11a，如本公开的领域中已知的。内窥镜查看控制器20a采用用于经由解剖区域的体积扫描生成解剖结构的规划视图的引导规划器21，如本公开的领域中已知或在下文中所构想的；以及用于经由显示控制器60a控制监测器70上的解剖结构的内窥镜视图11a的显示的图像引导22，如本公开的领域中已知或在下文中所构想的。内窥镜视图11a的显示可以与解剖区域的体积扫描的显示相邻或叠加在其上。
操纵性引导控制器30a从如图所示的内窥镜查看控制器20a接收解剖结构的内窥镜视图11a，或者备选地从内窥镜10a相对于解剖区域的体积扫描的跟踪来确定解剖结构的内窥镜视图11a。操纵性引导控制器30a通过分析解剖结构的内窥镜视图11a与知识库40的相关性来生成(一个或多个)引导式位置操纵锚50a、(一个或多个)引导式运动操纵锚51a和/或(一个或多个)引导式定位操纵锚52a，该知识库40包括解剖结构的(一幅或多幅)图像41、解剖结构的(一个或多个)解剖模型42、解剖结构的图像编译42、解剖结构的显著特征信息43和/或内窥镜10a相对于解剖结构的规划导航44。如将在本公开中进一步描述的，操纵性引导控制器30a基于解剖结构的内窥镜视图11a与知识库40的相关程度来导出(一个或多个)引导式操纵锚。
操纵性引导控制器30a经由如本公开的领域中已知或在下文中所构想的显示控制器60a控制(一个或多个)引导式位置操纵锚50a、(一个或多个)引导式运动操纵锚51a和/或(一个或多个)引导式定位操纵锚52a在监测器70上的解剖结构的内窥镜视图11a的显示内。
在如图2B所示的第二示范性实施例中，内窥镜查看控制器20b从内窥镜10a生成解剖结构的内窥镜视图11a，如本公开的领域中已知的。内窥镜查看控制器20b采用用于经由解剖区域的体积扫描生成解剖结构的规划视图的引导规划器21，如本公开的领域中已知或在下文中所构想的；以及用于经由显示控制器60b控制监测器70上的解剖结构的内窥镜视图11b的显示的图像引导22，如本公开的领域中已知或在下文中所构想的。内窥镜视图11b的显示可以与解剖区域的体积扫描的显示相邻或叠加在其上。
操纵性引导控制器30b从如图所示的内窥镜查看控制器20b接收解剖结构的内窥镜视图11a，或者备选地从内窥镜10a相对于解剖区域的体积扫描的跟踪确定解剖结构的内窥镜视图11a。操纵性引导控制器30b通过分析解剖结构的内窥镜视图11a与知识库40的相关性来生成(一个或多个)引导式位置操纵锚50b、(一个或多个)引导式运动操纵锚51b和/或(一个或多个)引导式定位操纵锚52b，该知识库40包括解剖结构的(一幅或多幅)图像41、解剖结构的(一个或多个)解剖模型42、解剖结构的图像编译42、解剖结构的显著特征信息43和/或内窥镜10a相对于解剖结构的规划导航44。如将在本公开中进一步描述的，操纵性引导控制器30a基于解剖结构的内窥镜视图11a与知识库40的相关程度来导出(一个或多个)引导式操纵锚。
操纵性引导控制器30b将(一个或多个)引导式操纵锚传递到内窥镜成像控制器20b，由此图像引导22经由如本公开的领域中已知或在下文中所构想的显示控制器60b控制(一个或多个)引导式位置操纵锚50b、(一个或多个)引导式运动操纵锚51b和/或(一个或多个)引导式定位操纵锚52b在监测器70上的解剖结构的内窥镜视图11b的显示内的显示。
在如图2C所示的第三示范性实施例中，内窥镜查看控制器20c从如本公开的领域中已知的内窥镜10a生成解剖结构的内窥镜视图11a。内窥镜查看控制器20c采用用于经由解剖区域的体积扫描生成解剖结构的规划视图的引导规划器21，如本公开的领域中已知或在下文中所构想的；以及用于控制将内窥镜视图11a传递到操纵性引导控制器30c的图像引导22b。
操纵性引导控制器30从如图所示的内窥镜查看控制器20c接收解剖结构的内窥镜视图11a并且通过分析解剖结构的内窥镜视图11a与知识库40的相关性来生成(一个或多个)引导式位置操纵锚50c、(一个或多个)引导式运动操纵锚51c和/或(一个或多个)引导式定位操纵锚52c，该知识库40包括解剖结构的(一幅或多幅)图像41、解剖结构的(一个或多个)解剖模型、解剖结构的图像编译42、解剖结构的显著特征信息43和/或内窥镜10a相对于解剖结构的规划导航44。如将在本公开中进一步描述的，操纵性引导控制器30c基于解剖结构的内窥镜视图11a与知识库40的相关程度来导出(一个或多个)引导式操纵锚。
操纵性引导控制器30c将具有叠加的引导式操纵锚的解剖结构的内窥镜视图11c传递给显示控制器60c以用于经由如本公开的领域中已知或在下文中所构想的显示控制器60a在监测器70上显示。内窥镜视图11c的显示可以与解剖区域的体积扫描的显示相邻或叠加在其上。
为了进一步促进对本公开的理解，图3的以下描述教导了根据本公开的操纵性内窥镜引导方法的相应示范性实施例。根据图3的描述，本公开领域的普通技术人员将意识到如何应用本公开来做出和使用根据本公开的操纵性内窥镜引导方法的额外实施例。
参考图3，在内窥镜流程期间本公开的操纵性内窥镜方法涉及本公开的操纵性引导控制器执行当内窥镜10在解剖区域AR内聚焦或导航时未操纵解剖结构AS的内窥镜视图相关性分析S100，以及根据需要的解剖结构AS的内窥镜视图11的(一个或多个)引导式操纵锚的显示的引导式工具操纵锚生成S110。
这些阶段S100和S110由操纵性引导控制器根据需要连续重复，这取决于引导的目标，其中，解剖结构根据(一个或多个)引导式操纵性锚而改变。例如，如果目标是重建解剖结构AS的大视场，那么操纵性引导控制器将重复示出操作建议，直到其采集足够的视图来将解剖结构AS的完整视图拼接在一起。
在阶段S100和S110的实践中，操纵性引导控制器首先分析当前瞬时内窥镜视图11。如果操纵性引导控制器不完全理解什么在内窥镜视图11中(即未知视图111)，那么操纵性引导控制器生成(一个或多个)引导式操纵锚并将(一个或多个)锚叠加到内窥镜视图11上，使得临床医师知道在何处执行引导式操纵。临床医师可以执行所指示的引导式操纵，从而将视图中的解剖结构AS置于已知或可识别状态。知道的状态可以是视觉的、触觉的(通过力感测)或临床医师在操纵解剖结构AS的动作中采用的其他措施。操纵性引导控制器然后分析揭示的新信息并将其并入到知识库40中，操纵引导控制器随后在该流程中利用该信息来引导临床医师。
知识库40的范例是术前体积扫描(例如CT扫描或MRI扫描)，其在流程之前的时间点处捕获解剖结构AS的状态。出于各种原因，术前体积扫描与内窥镜图像之间的映射能够在手术开始时并不完全已知。例如，图像是使用不同的模态采集的，因此图像以不同的方式捕获相似的信息，其必须被解析。通过另外的范例，解剖区域AR的状态经由诸如变形或身体位置的过程(其必须被解析)在术前和术中状态之间改变。内窥镜中的术中视图不捕获考虑中的完整解剖结构AS，并且可能与术前体积扫描的关系不明确，在这种情况下，必须在术中采集更多视图以将内窥镜图像与术前对应物相匹配。
知识库40也可以源自过去的数据。数据可能是统计汇编或使用机器学习技术学习的。数据可以包括术前图像、手术中使用的术中图像，或甚至非图像数据，诸如力、任务序列等。换句话说，关于患者的信息可以由来自患者以外某处的信息源播种，并且随着手术进行，可以调谐通用信息以更好地匹配患者。
如果操纵性引导控制器从术前知识库40与内窥镜视图11之间的部分映射开始，那么操纵性引导控制器可以指导临床医师如何操纵已知解剖结构AS以暴露对于操纵性引导控制器未知的尚未知的那些部分。如果临床医师正在寻找当前不在视图中的解剖结构AS的部分，则这可能具有特别的价值。作为范例，比如操纵性引导控制器和临床医师都不知道主要血管位于解剖区域AR内何处，但是基于知识库40和当前内窥镜视图11，操纵性引导控制器可以推断血管可以在解剖区域AR中何处。然后，操纵性引导控制器可以引导临床医师操纵解剖结构AS，其可以揭示隐藏的血管。解剖结构AS的引导式操纵的位置标记和运动方向可以由操纵性引导控制器建议，以便根据由操纵性引导控制器利用的感测元件来揭示视觉、触觉和其他形式的解剖结构AS性质。
该操纵性内窥镜引导方法优选地在对临床医师的工作流程的最小干扰的情况下发生，即，临床医师必须能够自然地执行流程而不会分心以响应于操纵性引导控制器。操纵性引导控制器还必须能够通过解释流程或临床医师需要的状态来明智地提供操纵引导。
仍然参考图3，在先前的实施例中，操纵性引导控制器没有完全理解(例如，从实况内窥镜到术前知识库40的映射)，但是有足够的理解来引导临床医师如何操纵解剖结构AS以获得更好的映射。在该实施例中，操纵性引导控制器已经识别操纵性引导控制器在视图中看到的内容(例如，已知视图112)，并且因此可以帮助指导临床医师如何操纵解剖结构AS以便临床医师识别他们看到的内容。
例如，如阶段S110所示，肝脏的内窥镜视图11d处于倾斜角度，其使临床医师难以识别肝脏。这由斜阴影正方形表示。操纵性引导控制器理解关键血管或肿瘤位于该位置，并且指示临床医师在何处以及如何抓取器官使得拉伸肝脏，由此临床医师可以发现在内窥镜视图11e中看到关键血管/肿瘤。在该视图中，肝脏现在处于面向直立的角度视图，使临床医师更容易和更快地解释和发现临床相关特征。
备选地，操纵性引导控制器可以在肝脏的内窥镜视图11d中以这样的倾斜角度看到肝脏，以致操纵性引导控制器不能精确地识别肝脏或将肝脏注册到知识库40。因此，操纵性引导控制器至少可以确定肝脏需要面向的角度以便更视觉可识别，因此其计算肝脏上供临床医师抓取的位置和供临床医生拉动的方向。当临床医师继续进行该引导时，结果是操纵性引导控制器可以以高置信度识别的视图。这继而允许操纵性引导控制器将不同的信息源融合到相同视图中，以帮助临床医师进一步发现事物。
在实践中，操纵性引导控制器能够需要知道解剖结构AS在解剖区域AR内的粗略位置，以便向临床医师建议如何操纵解剖结构AS。例如，对于内窥镜视图11可以由操纵性引导控制器可识别，但对于3D叠加所需的3D配准而言不足够，操纵性引导控制器可以实施基础视图分类器(例如，卷积神经网络)，可以如本公开的领域中已知进行训练以进行通信，诸如，例如，“该2D视图需要在该标记处和/或在该方向上对解剖结构AS进行粗略操纵。”
仍然参考图3，在另一示范性实施例中，操纵性引导控制器可以依赖于临床医师的判断。更特别地，在阶段S110的引导式视图113中，操纵性引导控制器示出在术前模型12上的引导操纵锚52，并且临床医师在内窥镜视图11中跟随该引导，这具有将术前模型12和内窥镜视图11相关的效果。尽管单个这样的实例可能不足以在术前模型12与内窥镜视图11之间生成完整的映射或配准，但是多个精心规划的实例可能生成足够的对应信息。备选地，术前图像是由此临床医师查看内窥镜视图11的原始视图，使用临床判断来找到解剖结构上的(一个或多个)对应锚，并且然后操纵那些(一个或多个)锚以将内窥镜视图11配准到术前图像。
如在本公开中先前所描述的，操纵性引导控制器生成(一个或多个)引导式操纵锚，以用于通过检查解剖结构AS并将其与知识库40相关来引导解剖结构AS操纵的操纵。假设存在信息的叠加，但是内窥镜视图11与知识库40之间的连接可能不完整。操纵性引导控制器然后使用其知道的内容来引导临床医师揭示它不知道的内容，以改进它的知识库40。在这种情况下，操纵性引导控制器具有部分信息。
在操纵性引导控制器在一种模态(例如，内窥镜检查和术前图像)中具有完整信息的情况下，然后操纵性引导控制器可以使用该知识来生成用于解剖结构AS操纵引导的(一个或多个)引导式操纵锚，以便获得不同模态(例如力)的进一步的数据。
如在本公开中先前所描述的，知识库40可以具有可以用于生成一组新的(一个或多个)引导式操纵锚的许多和各种信息源。这些源的范例包括但不限于术前和术中图像、关于解剖结构本质上非图像的信息、来自过去流程的图像的统计编译以及从过去流程中学习的知识。
锚也可以由临床医师使用交互式虚拟标记系统播种。在该实施例中，操纵性引导控制器不具有关于解剖区域的完整信息，但是其可以具有一些松散耦合的术前信息。然后，临床医师可以使用仪器来标记他们在解剖结构AS上看到的一些特征，并且可以将虚拟标签并入到知识库40中，这允许操纵性引导控制器稍后在手术中提供图像和操纵引导。
例如，操纵性引导控制器可以并入如本公开的领域中已知或在下文中所构想的交互式标记系统，由此临床医师使用仪器来虚拟地标示和标记内窥镜视图11中的解剖结构AS(例如，经由指示肿瘤边缘、气道和血管的位置的星进行标记)。操纵性引导控制器然后可以将该知识与其现有知识库40实时组合以提供另外的解剖结构操纵引导。
在实践中，操纵性引导控制器可以为临床医师生成引导式操纵锚，而无需也具有语义信息。在实施例中，操纵性引导控制器检测感兴趣显著图像图案。显著图案的范例包括但不限于高纹理区、具有公共纹理或外观的区、与其近邻相比较具有高对比度的区、以前未看到的图案、以前已经看到的图案、已经反复看到的图案、与语义上可识别的区邻近的区等等。更特别地，可以使用众所周知的算法(例如，SURF)来找到解剖结构AS中的可跟踪模式，并且操纵性引导控制器为这些区找到持久标签。如上文所提到的，这些标签可以进一步细化以决定哪些要变为引导式操作锚。
仍然参考图3，阶段S100和S110的实践是内窥镜流程，包括涉及解剖区域AR内的解剖结构AS的术前或术中体积扫描。从体积扫描中，临床医师利用内窥镜查看控制器20或如本公开的领域中已知的其他控制器来识别解剖结构AS的体积扫描内的一个或多个目标视图以用于执行诊断、处置或手术。取决于解剖结构的状态和内窥镜流程的目标，当内窥镜10定位在患者内时，可以或不可以由内窥镜10可看到整个目标视图。
更特别地，如本公开的领域中已知的规划界面可以用于查看和注释2D和3D数据，以用于在流程期间确定解剖结构的(一个或多个)目标视图的目的。这可以在涉及内窥镜图像和体积图像的融合的内窥镜视图中在术中完成，因为考虑到内窥镜的解剖结构和运动学的几何结构以及临床医师偏好的其他约束，可以在患者解剖结构的体积图像上完成这样的内窥镜计划。例如，相对于目标器官(肋骨之间)的套管针位置以及内窥镜的几何结构和运动(对于直型内窥镜，其将是由围绕套管针入口点的旋转控制的一组位置)。
规划阶段还涉及用解剖结构AS的体积扫描、规划路径、解剖结构的(一个或多个)显著特征和任务序列来更新操纵性引导控制器30的知识库40，由此在内窥镜10在解剖区域内被导航之前或与之同时，操纵性引导控制器30可以(1)确定目标视图将对内窥镜10可见的程度和/或(2)确定目标视图的一个或多个可识别姿势。
在规划阶段之后，内窥镜流程包括内窥镜10在患者P内的导航阶段，由此，当内窥镜10正被导航到相对于目标视图的位置时，操纵性引导控制器30以最高可能程度与解剖区域的内窥镜视图相关。
一个相关实施例涵盖操纵性引导控制器30试图在内窥镜10正被导航到相对于目标视图的位置时，以最高可能程度确定与存储在知识库40内的体积扫描内的目标视图匹配的内窥镜视图。一旦定位，如果操纵性引导控制器30识别与存储在知识库40内的体积扫描内的目标视图匹配的内窥镜视图，那么操纵性引导控制器30将生成引导式操纵锚以暴露解剖结构的不可见方面或生成引导式操纵锚以调节解剖结构的可见方面的视图。
备选地，可以使用解剖结构的模型或图像的编译来代替体积扫描。
另一相关实施例涵盖试图以最高可能程度跟踪被导航到相对于目标视图的位置的内窥镜。一旦操纵性引导控制器30确定内窥镜在知识库中按照规划路径或任务序列到达这样的位置，如果操纵性引导控制器30识别与存储在知识库40内的体积扫描内的目标视图匹配的内窥镜视图，那么操纵性引导控制器30将要么然后操纵性引导控制器30将要么生成引导式操纵锚以暴露解剖结构的不可见方面要么生成引导式操纵锚以调节解剖结构的可见方面的视图。
再次，备选地，可以使用解剖结构的模型或图像的编译来代替体积扫描。
另一相关实施例涵盖试图以最高可能程度识别与目标视图邻近的解剖结构的显著特征。一旦操纵性引导控制器30确定内窥镜在知识库中按照规划路径或任务序列到达这样的位置，如果操纵性引导控制器30识别示出存储在知识库40内的体积扫描内的目标视图附近的解剖结构的显著特征的内窥镜视图，那么操纵性引导控制器30将要么然后操纵性引导控制器30将要么生成引导式操纵锚以暴露解剖结构的不可见方面要么生成引导式操纵锚以调节解剖结构的可见方面的视图。
再次，备选地，可以使用解剖结构的模型或图像的编译来代替体积扫描。
为了促进本公开的各种方面的进一步的理解，图4和图5的以下描述分别教导本公开的操纵性内窥镜引导系统和操纵性引导控制器的示范性实施例。根据该描述，本领域普通技术人员将意识到如何应用本公开的各方面以用于做出和使用本公开的操纵性内窥镜引导设备和操纵性引导控制器的额外实施例。
参考图4，在一个示范性实施例中，本公开的操纵性内窥镜引导系统是工作站200，其采用如本公开的领域中已知的监测器201、键盘202和计算机203。内窥镜210与工作站200进行有线或无线通信，如本公开的领域中已知或下文中所接收的。用于执行引导式操纵的任选机器人220也可以与工作站200进行有线或无线通信。
如本公开的领域中已知或在下文中所构想的显示控制器260的控制网络250、如本公开的领域中已知或在下文中所构想的机器人控制器270、如本公开中先前所描述的内窥镜成像控制器280和如本公开中先前所描述的操纵性引导控制器290安装在工作站200中。额外控制网络250也可以安装在服务器(未示出)、移动设备(例如，如图所示的平板电脑230)和增强现实设备(例如，如图所示的头戴式显示器240)中。
仍然参考图4，在实践中，实现引导式操纵所涉及的特定机制可以用作对如何将引导传递给临床医师的确定的基础。例如，手动或机器人仪器(例如，机器人220)可以以等效方式用于基于引导抓取组织。
更特别地，该运动可以辅助使得其是半自动的。例如，利用机器人工具，临床医师仅需要将末端执行器带到引导式操纵锚的一般区域，并且然后机器人可以自动执行如本公开的领域中已知的抓取和操纵的剩余部分。
在一个示范性实施例中，如本公开的领域中已知或在下文中所构想的磁性设备可以被用于实现引导式操纵。例如，
Figure BDA0003741508060000101
Magnetics在商业上提供了一种磁性手术平台，该平台包括位于患者腹部顶部的磁性模块和附接到要拉动的组织的部分的铁磁模块夹。该夹通过手术端口插入并通过夹钳到要保持的组织来部署。然后将磁性模块放置在患者腹部的顶部，这将铁磁模块吸引到磁性模块过程，从而保持组织悬浮以暴露其他组织。
在实践中，在存在多种方法来抓取和移动(一个或多个)解剖结构(例如，组织)的情况下，引导式操纵锚可以以区分哪种(哪些)类型的方法应该用于给定抓取实例的方式来示出。这也是操纵性引导控制器290可以基于所使用的抓取机构来预测抓取操纵的结果的方式。操纵性引导控制器290还提醒临床医师可拆卸夹就位，并且可以指示临床医师如何移动磁性模块以实现抓取操纵。
参考图5，操纵性引导控制器290a是操纵引导控制器290(图4)的示范性实施例，包括经由一个或多个系统总线296互连的一个或多个处理器291、存储器292、用户接口293、网络接口294和存储设备295。
每个处理器291可以是能够运行存储在存储器292或存储设备中的指令或以其他方式处理数据的任何硬件设备，如本公开的领域中已知或在下文中所构想的。在非限制性范例中，(一个或多个)处理器291可以包括微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或者其他类似设备。
如本公开的领域中已知或者在下文中构想的，存储器292可以包括各种存储器，包括但不限于L1、L2或L3高速缓存或者系统存储器。在非限制性范例中，存储器292可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪速存储器、只读存储器(ROM)或者其他类似存储器设备。
如本公开的领域中已知或在下文中所构想的，用户接口293可以包括用于使能与用户(诸如管理者)通信的一个或多个设备。在非限制性范例中，用户接口可以包括可以经由网络接口294呈现给远程终端的命令行接口或者图形用户接口。
如本公开的领域中已知或者在下文中所构想的，网络接口294可以包括用于使能与其他硬件设备通信的一个或多个设备。在非限制性范例中，网络接口294可以包括被配置为根据以太网协议通信的网络接口卡(NIC)。此外，网络接口294可以实施用于根据TCP/IP协议进行通信的TCP/IP栈。用于网络接口294的各种备选或额外硬件或配置将是显而易见的。
如本公开的领域中已知或者在下文中所构想的，存储设备295可以包括一个或多个机器可读存储介质，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备、或者类似存储介质。在各种非限制性实施例中，存储设备295可以存储用于由(一个或多个)处理器291运行的指令或者(一个或多个)处理器291可以操作于的数据。例如，存储设备295可以存储用于控制硬件的各种基本操作的基本操作系统。存储设备295还以可执行软件/固件的形式存储应用模块以用于实施如本公开中先前描述的操纵性引导控制器290a的各种功能，包括但不限于视图相关器298a和锚生成器298b。存储设备S295还存储根据如本公开中先前所描述的知识库的各种实施例的知识库299。
图6图示了表示可由图5的视图相关器298a和锚生成器298b执行的本公开的操纵性引导方法的流程图300。
参考图6，流程图300的阶段S302涉及视图相关器298a接收或识别如本公开中先前所描述的解剖结构的内窥镜视图，并且流程图300的阶段S304涉及视图相关器298a执行如本公开中先前所描述的解剖结构的内窥镜视图的内窥镜视图相关性分析。更特别地，视图相关器298a以最好可能程度将内窥镜视图与内窥镜流程的(一幅或多幅)图像、(一个或多个)模型和/或(一个或多个)流程细节的知识库相关。例如，视图相关器298经由如本公开的领域中已知的配准技术或根据指示内窥镜相对于解剖区域的相机定位的内窥镜的跟踪，以最好可能程度确定解剖结构在解剖区域的体积扫描内或在解剖模型上的内窥镜视图的位置。
仍然参考图6，视图相关器298a将保持在阶段S302和S304的循环中，并且在触发流程图300的阶段S306的内窥镜视图操纵后，流程图300的阶段S308涉及锚生成器298b生成本公开中先前描述的(一个或多个)引导式操纵锚，并且流程图300的流程图的阶段S310涉及锚生成器298b基于解剖结构的操纵来更新知识库。
参考图1-6，本公开领域的普通技术人员将意识到本公开的许多益处，包括但不限于对于临床医师(例如，放射科医师、治疗师或外科医师)如何手动或以机器人方式操纵内窥镜视图中的(一个或多个)解剖结构(例如，组织、骨骼、神经和血管)的引导建议，这能够(1)揭示内窥镜视图内的(一个或多个)隐藏解剖结构和(2)定位和/或取向组织以促进内窥镜视图内的(一个或多个)解剖结构的分析。
此外，如本领域普通技术人员鉴于本文提供的教导将意识到的，在本公开/说明书中描述的和/或在附图中描绘的结构、元件、部件等均可以被实施为硬件和软件的各种组合，并且提供可以被组合在单个元件或多个元件中的功能。例如，可以通过使用专用硬件以及能够运行与用于添加的功能的合适的软件相关联的软件的硬件来提供在附图中示出/图示/描绘的各个结构、元件、部件等的功能。当由处理器提供时，所述功能可以由单个专用处理器、由单个共享处理器或者由多个个体处理器(其中一些可以是共享和/或复用的)提供。此外，术语“处理器”或“控制器”的明确使用不应当被解释为专指能够运行软件的硬件，并且能暗含地包括但不限于：数字信号处理器(“DSP”)硬件、存储器(例如用于储存软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性储存器，等等)，以及实质上能够(和/或可配置为)执行和/或控制过程的任何手段和/或机器(包括硬件、软件、固件、其组合，等等)。
此外，在本文中陈述本发明的原理、方面及实施例以及其具体范例的所有陈述均旨在涵盖其结构性和功能性的等效物两者。此外，目的是这样的等效物包括目前已知的等效物以及未来发展的等效物两者(例如所开发的能够执行相同或基本相似的功能的任何元件，而无论其结构)。因此，例如，鉴于本文提供的教导，本领域普通技术人员将意识到，在本文中所呈现的任何框图均可以表示实现本发明的原理的示范性系统部件和/或电路的概念性视图。类似地，鉴于本文提供的教导，本领域普通技术人员应当意识到，任何流程图、作业图等均可以表示各种过程，所述过程基本上能被表示在计算机可读储存介质中，并且因此由具有处理能力的计算机、处理器或其他设备运行，而无论是否明确示出这样的计算机或处理器。
如本公开中使用的术语“信号”、“数据”和“命令”宽泛地涵盖用于传送信息和/或指令以支持应用如本公开中随后描述的本公开的各种发明原理的如本公开的领域中理解并且如在本公开中示范性描述的可检测的物理量或者脉冲(例如，电压、电流或磁场强度)的所有形式。本公开的各种部件之间的信号/数据/命令通信可以涉及如本公开的领域中已知的任何通信方法，包括但不限于任何类型的有线或无线数据链路上的信号/数据/命令传输/接收和上载到计算机可用/计算机可读存储介质的信号/数据/命令的读取。
已经描述了本公开的各种和许多发明的优选和示范性实施例(该实施例旨在是说明性而非限制性的)，应注意，根据本文所提供的教导(包括附图)，可以由本领域的技术人员做出修改和变型。因此，应理解，可以在本公开的优选和示范性实施例中做出/对其做出改变，其在本文公开的实施例的范围内。
此外，应预期到，包含和/或实施设备/系统或诸如可以在根据本公开的设备中使用/实施/与其一起使用/实施的对应的和/或相关的系统也被预期到和认为是在本公开的保护范围内。此外，用于制造和/或使用根据本公开的设备和/或系统的相应的和/或相关的方法也被预期到并被认为在本公开的范围内。

Claims (20)

1.一种操纵性内窥镜引导设备，包括：
内窥镜查看控制器(20)，其被配置为控制解剖结构的内窥镜视图(11)的显示；以及
操纵性引导控制器(30)，其被配置为控制至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的显示，所述一个引导式操纵锚或每个引导式操纵锚(50-52)表示对所述解剖结构的引导式操纵的位置标记和运动方向中的至少一项。
2.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述操纵性引导控制器(30)被配置为控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的所述显示包括：
所述操纵性引导控制器(30)被配置为分析所述解剖结构的所述内窥镜视图(11)与所述解剖结构的基线图像的相关性；并且
所述操纵性引导控制器(30)被配置为基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构的所述基线图像的相关程度来导出所述至少一个引导式操纵锚(50-52)。
3.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述操纵性引导控制器(30)被配置为控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的所述显示包括：
所述操纵性引导控制器(30)被配置为分析所述解剖结构的所述内窥镜视图(11)与解剖结构模型的相关性；并且
所述操纵性引导控制器(30)被配置为基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构模型的相关程度来导出所述至少一个引导式操纵锚(50-52)。
4.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述操纵性引导控制器(30)被配置为控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的所述显示包括：
所述操纵性引导控制器(30)被配置为分析所述解剖结构的所述内窥镜视图(11)与解剖结构图像编译的相关性；并且
所述操纵性引导控制器(30)被配置为基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构图像编译的相关程度来导出所述至少一个引导式操纵锚(50-52)。
5.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述操纵性引导控制器(30)被配置为控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的所述显示包括：
所述操纵性引导控制器(30)被配置为分析所述解剖结构的所述内窥镜视图(11)与所述解剖结构的至少一个显著特征的相关性；并且
所述操纵性引导控制器(30)被配置为基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构的所述至少一个显著特征的相关程度来导出所述至少一个引导式操纵锚(50-52)。
6.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述操纵性引导控制器(30)被配置为控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)的所述显示内的所述显示包括：
所述操纵性引导控制器(30)被配置为分析所述解剖结构的所述内窥镜视图(11)和与所述解剖结构相关联的内窥镜流程的相关性；并且
所述操纵性引导控制器(30)被配置为基于所述解剖结构的所述解剖结构的所述内窥镜视图(11)与所述内窥镜流程的相关程度来导出所述至少一个引导式操纵锚(50-52)。
7.根据权利要求1所述的操纵性内窥镜引导设备，
其中，所述操纵性引导控制器(30)还被配置为控制机器人的命令以根据所述至少一个引导式操纵锚(50-52)来执行对所述解剖结构的至少一个引导式操纵。
8.根据权利要求1所述的操纵性内窥镜引导设备，其中，所述内窥镜查看控制器(20)和所述操纵性引导控制器(30)至少部分地被集成。
9.一种操纵性引导控制器(30)，包括：
非瞬态机器可读存储介质，其被编码有用于由至少一个处理器运行的指令，所述非瞬态机器可读存储介质包括用于执行以下操作的所述指令：
接收所述解剖结构的内窥镜视图(11)；并且
控制至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的显示，所述一个引导式操纵锚或每个引导式操纵锚(50-52)表示对所述解剖结构的引导式操纵的位置标记和运动方向中的至少一项。
10.根据权利要求9所述的操纵性引导控制器(30)，其中，用于控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的指令包括用于执行以下操作的指令：
分析所述解剖结构的所述内窥镜视图(11)与说明所述解剖结构的基线图像的相关性；并且
基于所述解剖结构的所述内窥镜视图(11)与所述基线图像的相关程度来导出所述至少一个引导式操纵锚(50-52)。
11.根据权利要求9所述的操纵性引导控制器(30)，其中，用于控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的指令包括用于执行以下操作的指令：
分析所述解剖结构的所述内窥镜视图(11)与解剖结构模型的相关性；并且
基于所述解剖结构的所述解剖结构的所述内窥镜视图(11)与所述解剖结构模型的相关程度来导出所述至少一个引导式操纵锚(50-52)。
12.根据权利要求9所述的操纵性引导控制器(30)，其中，用于控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的指令包括用于执行以下操作的指令：
分析所述解剖结构的所述内窥镜视图(11)与解剖结构图像编译的相关性；并且
基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构图像编译的相关程度来导出所述至少一个引导式操纵锚(50-52)。
13.根据权利要求9所述的操纵性引导控制器(30)，其中，用于控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的指令包括用于执行以下操作的指令：
分析所述解剖结构的所述内窥镜视图(11)与所述解剖结构的至少一个显著特征的相关性；并且
基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构的所述至少一个显著特征的相关程度来导出所述至少一个引导式操纵锚(50-52)。
14.根据权利要求9所述的操纵性引导控制器(30)，其中，用于控制所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的指令包括用于执行以下操作的指令：
分析所述解剖结构的所述内窥镜视图(11)和与所述解剖结构相关联的内窥镜流程的相关性；并且
基于所述解剖结构的所述内窥镜视图(11)与所述内窥镜流程的相关程度来导出所述至少一个引导式操纵锚(50-52)。
15.根据权利要求9所述的操纵性引导控制器(30)，其中，所述非瞬态机器可读存储介质还包括用于执行以下操作的所述指令：
控制机器人的命令以根据所述至少一个引导式操纵锚(50-52)来执行对所述解剖结构的至少一个引导式操纵。
16.一种能由操纵性引导控制器(30)执行的操纵性内窥镜引导方法，所述内窥镜操纵性内窥镜引导方法包括：
由所述操纵性引导控制器(30)接收解剖结构的内窥镜视图(11)；并且
由所述操纵性引导控制器(30)控制至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的显示，所述一个引导式操纵锚或每个引导式操纵锚(50-52)表示对所述解剖结构的引导式操纵的位置标记和运动方向中的至少一项。
17.根据权利要求16所述的操纵性内窥镜引导方法，其中，由所述操纵性引导控制器(30)对所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的所述控制包括：
由所述操纵性引导控制器(30)分析所述解剖结构的所述内窥镜视图(11)与所述解剖结构的基线图像的相关性；并且
由所述操纵性引导控制器(30)基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构的所述基线图像的相关程度来导出所述至少一个引导式操纵锚(50-52)。
18.根据权利要求16所述的操纵性内窥镜引导方法，其中，由所述操纵性引导控制器(30)对所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的所述控制包括：
由所述操纵性引导控制器(30)分析所述解剖结构的所述内窥镜视图(11)与解剖结构模型和解剖结构图像编译中的至少一项的相关性；并且
由所述操纵性引导控制器(30)基于所述解剖结构的所述内窥镜视图(11)与所述解剖结构模型和所述解剖结构图像编译中的所述至少一项的相关程度来导出所述至少一个引导式操纵锚(50-52)。
19.根据权利要求16所述的操纵性内窥镜引导方法，其中，由所述操纵性引导控制器(30)对所述至少一个引导式操纵锚(50-52)在所述解剖结构的所述内窥镜视图(11)内的所述显示的所述控制包括：
由所述操纵性引导控制器(30)分析所述解剖结构的所述内窥镜视图(11)与所述解剖结构的显著特征和与所述解剖结构相关联的内窥镜流程中的至少一项的相关性；并且
由所述操纵性引导控制器(30)基于所述解剖结构的所述内窥镜视图(11)与所述显著特征和所述内窥镜流程中的所述至少一项的相关程度来导出所述至少一个引导式操纵锚(50-52)。
20.根据权利要求16所述的操纵性内窥镜引导方法，还包括：
由所述操纵性引导控制器(30)控制机器人的命令以根据所述至少一个引导式操纵锚(50-52)来执行对所述解剖结构的至少一个引导式操纵。
CN202080092878.6A 2019-12-12 2020-12-02 用于内窥镜流程的引导式解剖操纵 Pending CN114945937A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962947145P 2019-12-12 2019-12-12
US62/947,145 2019-12-12
PCT/EP2020/084189 WO2021115857A1 (en) 2019-12-12 2020-12-02 Guided anatomical manipulation for endoscopic procedures

Publications (1)

Publication Number Publication Date
CN114945937A true CN114945937A (zh) 2022-08-26

Family

ID=73740369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080092878.6A Pending CN114945937A (zh) 2019-12-12 2020-12-02 用于内窥镜流程的引导式解剖操纵

Country Status (5)

Country Link
US (2) US20230009335A1 (zh)
EP (1) EP4073742A1 (zh)
JP (1) JP2023509321A (zh)
CN (1) CN114945937A (zh)
WO (1) WO2021115857A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7432340B2 (ja) * 2019-11-07 2024-02-16 川崎重工業株式会社 手術システム及び制御方法
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法
US12004821B2 (en) * 2022-02-03 2024-06-11 Medtronic Navigation, Inc. Systems, methods, and devices for generating a hybrid image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
CN105451802B (zh) * 2013-08-15 2019-04-19 直观外科手术操作公司 用于导管定位和插入的图形用户界面
WO2017044965A1 (en) 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US10786298B2 (en) 2016-03-01 2020-09-29 Covidien Lp Surgical instruments and systems incorporating machine learning based tissue identification and methods thereof
WO2019113391A1 (en) * 2017-12-08 2019-06-13 Auris Health, Inc. System and method for medical instrument navigation and targeting
CN109771032A (zh) * 2019-03-14 2019-05-21 苏州朗开医疗技术有限公司 一种电视辅助胸腔镜定位标记标记方法及装置

Also Published As

Publication number Publication date
US11937883B2 (en) 2024-03-26
WO2021115857A1 (en) 2021-06-17
EP4073742A1 (en) 2022-10-19
US20230009335A1 (en) 2023-01-12
US20210177524A1 (en) 2021-06-17
JP2023509321A (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
CN113423358B (zh) 利用基于传感器的导航和内窥镜检查的组合的外科系统
JP6348130B2 (ja) デュアルデータ同期を用いた解剖学的部位の位置の再特定
US12108992B2 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
US20230009335A1 (en) Guided anatomical manipulation for endoscopic procedures
RU2692206C2 (ru) Роботизированное управление эндоскопом на основе анатомических признаков
EP2641561A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
Saeidi et al. Autonomous laparoscopic robotic suturing with a novel actuated suturing tool and 3D endoscope
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US20130046137A1 (en) Surgical instrument and method with multiple image capture sensors
CN111494006B (zh) 用于在内窥镜图像中显示肿瘤位置的方法
US20230263573A1 (en) Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images
US20240315778A1 (en) Surgical assistance system and display method
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US20220079557A1 (en) System and method for medical navigation
US20230210603A1 (en) Systems and methods for enhancing imaging during surgical procedures
KR101114237B1 (ko) 체감형 수술용 영상 처리 장치 및 방법
WO2023154931A1 (en) Robotic catheter system and method of replaying targeting trajectory
Karimyan Enhancement of Spatial Awareness in Natural Orifice Transluminal Endoscopic Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination