CN112804940B - 使用相机的ent工具 - Google Patents

使用相机的ent工具 Download PDF

Info

Publication number
CN112804940B
CN112804940B CN201980065107.5A CN201980065107A CN112804940B CN 112804940 B CN112804940 B CN 112804940B CN 201980065107 A CN201980065107 A CN 201980065107A CN 112804940 B CN112804940 B CN 112804940B
Authority
CN
China
Prior art keywords
camera
image
magnetic field
coil
viewing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980065107.5A
Other languages
English (en)
Other versions
CN112804940A (zh
Inventor
V·格莱纳
A·戈瓦里
Y·阿尔加维
I·斯特尼茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of CN112804940A publication Critical patent/CN112804940A/zh
Application granted granted Critical
Publication of CN112804940B publication Critical patent/CN112804940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00158—Holding or positioning arrangements using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种设备，该设备包括探头，该探头具有插入管和连接到该插入管的节段。相机附接到该节段，并且具有第一线圈对称轴的磁场传感器线圈也被附接，其中该第一轴平行于相机检视方向。具有第二线圈对称轴的另一个磁场传感器线圈附接到该插入管，其中该第二轴垂直于该相机检视方向。处理器接收由该线圈生成的信号，并且响应于在第一时间接收的信号，识别由该相机产生的初始图像的初始取向。响应于在第二后续时间接收的信号，该处理器识别后续图像的后续取向并在显示器上旋转该后续图像以便将该后续图像重新取向为该初始取向。

Description

使用相机的ENT工具
相关申请的交叉引用
本专利申请要求2018年10月4日提交的美国临时专利申请62/741395的权益，该临时专利申请以引用方式并入本文。
技术领域
本发明整体涉及外科工具，并且具体地涉及结合相机的ENT(耳、鼻和喉)工具。
背景技术
人类患者的窦通常为难以导航的狭窄曲折通道。这意味着操纵ENT工具来对窦进行光学检查是不容易的。如果当用于检查的相机旋转时，执行检查的医师所握持的工具的运动导致来自相机的图像被错误取向，则导航通常被进一步地复杂化。图像在屏幕上呈现给医师，并且相机的旋转可导致相机和/或工具的左-右运动在屏幕上显示为上-下运动或右-左运动。
授予Adler等人的美国专利7585273描述了一种具有相对的远侧端部和近侧端部的侵入式探头。探头包括被布置用于发射能量场的发射器和被布置用于接收能量场的接收器，并且发射器和接收器设置在探头的相对的端部处。控制单元适于响应于由接收器接收的能量场来确定远侧端部相对于近侧端部的取向。
发明内容
本发明的实施方案提供了设备，包括：
探头，该探头被配置成插入到人类患者的孔中，该探头包括：
插入管；
管状可偏转节段，该管状可偏转节段在远侧连接到该插入管；
相机，该相机附接到管状可偏转节段并且具有检视方向；
第一磁场传感器线圈，该第一磁场传感器线圈具有第一线圈对称轴并且附接到管状可偏转节段，其中第一轴平行于相机的检视方向；和
第二磁场传感器线圈，该第二磁场传感器线圈具有第二线圈对称轴并且附接到插入管，其中第二轴垂直于相机的检视方向；
显示器，该显示器被耦接以显示由相机输出的图像；以及
处理器，该处理器被耦接以接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号，并且被配置成：
响应于在第一时间接收的信号，识别由相机产生的初始图像的初始取向，
响应于在第一时间之后的第二时间接收的信号，识别由相机产生的后续图像的后续取向，以及
在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。
在本发明所公开的实施方案中，该设备包括第三磁场传感器线圈，该第三磁场传感器线圈具有第三线圈对称轴并且附接到插入管，其中第三轴垂直于该相机的检视方向和第二线圈对称轴，并且其中由该处理器接收的信号还包括由第三传感器线圈响应于穿过该第三线圈的磁场生成的信号。
在本发明所公开的另一个实施方案中，该设备包括固定地定位在可偏转管状节段内的柔性印刷电路板(PCB)，并且其中该相机固定地附接到柔性PCB的远侧终端。该柔性PCB可延伸到插入管中。
在本发明所公开的另一个实施方案中，该处理器被配置成响应于在第一时间和第二时间接收的信号来确定基于信号的相机旋转，并且该处理器还被配置成比较和分析初始图像和后续图像以便确定基于图像的相机旋转，并且旋转该后续图像包括应用基于信号的相机旋转和基于图像的相机旋转的平均值以重新取向该后续图像。分析初始图像和后续图像包括对图像滤波以去除相机的平移。
在另选的实施方案中，该设备包括生成磁场的磁跟踪系统，并且该处理器被配置成：
配准患者的计算机化断层摄影(CT)图像与磁跟踪系统；
响应于在第二时间接收的信号来确定相机的检视方向和位置；
在相机指向检视方向时，接收由该相机采集的光学图像；
使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；以及
将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面。
在本发明的另一个实施方案中，还提供了一种用于将纹理映射应用于人类患者的计算机化断层摄影(CT)图像的方法，包括：
配准CT图像与磁跟踪系统，该磁跟踪系统被配置成跟踪患者体内的磁场传感器；
将耦接到磁场传感器的相机插入到患者的孔中；
响应于从磁场传感器接收的信号来确定相机的检视方向和位置；
在相机指向检视方向时，接收由该相机采集的光学图像；
使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；以及
将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面。
接收光学图像可包括将相机和相机的视场定位在透明区域中。
根据本发明的另一个实施方案，还提供了一种方法，包括：
将探头的管状可偏转节段在远侧连接到该探头的插入管；
将相机附接到管状可偏转节段，该相机具有检视方向；
将具有第一线圈对称轴的第一磁场传感器线圈附接到管状可偏转节段，其中第一轴平行于相机的检视方向；
将具有第二线圈对称轴的第二磁场传感器线圈附接到插入管，其中该第二轴垂直于相机的检视方向；
将探头插入到人类患者的孔中；
提供显示器，该显示器被耦接以显示由相机输出的图像；
接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号；
响应于在第一时间接收的信号，识别由相机产生的初始图像的初始取向；
响应于在第一时间之后的第二时间接收的信号，识别由相机产生的后续图像的后续取向；以及
在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。
在本发明的另一个实施方案中，还提供了设备，包括：
磁跟踪系统，该磁跟踪系统在人类患者体内生成磁场；
探头，该探头被配置成插入到人类患者的孔中；
相机，该相机附接到探头并且具有检视方向；
磁场传感器，该磁场传感器耦接到相机并且被配置成响应于穿过传感器的磁场而生成信号；
显示器，该显示器被耦接以显示图像；以及
处理器，该处理器被耦接以接收信号，并且被配置成：
配准患者的计算机化断层摄影(CT)图像与磁跟踪系统；
响应于信号来确定相机的检视方向和位置；
在相机指向检视方向时，接收由该相机采集的光学图像；
使用相机的检视方向和位置来分析CT图像，以在该CT图像中找到位于相机的视场中的不透明表面；
将光学图像叠加在不透明表面上以纹理映射CT图像中的不透明表面；以及
在显示器上呈现纹理映射的CT图像。
结合附图，通过以下对本公开的实施方案的详细描述，将更全面地理解本公开，其中：
附图说明
图1是根据本发明实施方案的ENT(耳、鼻和喉)系统的示意图；
图2为根据本发明实施方案的用于系统中的工具的示意图；
图3为根据本发明的实施方案的工具的远侧端部的示意图；
图4A、图4B、图4C示出了根据本发明的实施方案的形成于阵列上的图像以及如何在屏幕上显示图像；
图5为根据本发明的实施方案的实现用于将由相机生成的图像保持在期望取向的步骤的流程图；
图6为根据本发明的实施方案的实现用于将纹理映射应用于患者的CT图像的步骤的流程图；并且
图7、图8、图9、图10为描述根据本发明的实施方案的流程图的步骤的各方面的示意图。
具体实施方式
概述
将相机插入到患者的孔中时遇到的问题之一会在相机被旋转时发生。例如，相机可结合在插入到患者的鼻孔中以便检视患者的窦的ENT工具中，并且为了提供良好的检视，相机可需要被旋转。由相机产生的图像呈现在屏幕上，但是如果相机被旋转，则工具的后续运动诸如左-右运动可被错误取向，并且可在屏幕上呈现为上-下运动或右-左运动。
本发明的实施方案针对相机的任何旋转来校正呈现在屏幕上的图像。
在一个实施方案中，用作ENT工具的探头在探头的远侧部分处具有可偏转管状节段。位于探头的近侧部分处的插入管连接到管状节段。限定检视方向的相机固定地附接到管状节段的远侧区域，并且第一磁场传感器线圈也固定地附接到管状节段的远侧区域，使得线圈的对称轴平行于相机的检视方向。第二磁场传感器线圈固定地附接到可旋转管，使得线圈的对称轴垂直于相机的检视方向。
显示器被耦接以显示由相机输出的图像。
处理器被耦接以接收由第一传感器线圈和第二传感器线圈响应于穿过线圈的磁场生成的信号。处理器还被配置成使用该信号来识别由相机在第一时间产生的初始图像的初始取向，并且使用该信号来识别由相机在第二时间产生的后续图像的后续取向。处理器随后可在显示器上旋转后续图像，以便将后续图像重新取向为初始取向。
因此，当将探头放置在上文提及的生成磁场的磁场跟踪系统中时，处理器能够使用来自传感器的信号来定量地确定相机的任何旋转，并且将对应的旋转应用于呈现在显示器上的图像，以便防止所呈现图像的错误取向。
在第二实施方案中，分析由相机采集的图像。第一图像可呈现在屏幕上，并且可被选择为“取向限定”图像。后续图像随后被采集并被分析以确定是否已发生任何相机旋转。如果已发生旋转，则将该旋转进行量化，并且将对应的旋转应用于所采集的图像，使得旋转的所采集的图像呈现在保持限定取向的屏幕上。
在第三实施方案中，将纹理映射应用于患者的计算机化断层摄影(CT)图像。配准CT图像与磁跟踪系统，该磁跟踪系统被配置成跟踪患者体内的磁传感器。然后将耦接到磁传感器的相机插入到患者的孔中，并且来自传感器的信号给出相机的检视方向和位置。相机在指向其检视方向时提供光学图像。
处理器应用相机的检视方向和位置来分析CT图像，以便在CT图像中找到位于相机视场中的不透明表面。处理器随后将光学图像叠加在不透明表面上以便纹理映射不透明表面。
系统描述
在以下的描述中，附图中的类似元件由类似数字来标识，并且类似元件根据需要通过在标识数字后附加字母来进行区分。
如本文所用，针对任何数值或范围的术语“约”或“大约”指示允许部件或元件的集合实现如本文所述的其预期要达到的目的的合适的尺寸公差。更具体地，“约”或“大约”可指列举值的值±10％的范围，例如“约90％”可指81％至99％的值范围。
现在参考图1，图1是根据本发明的实施方案的ENT(耳、鼻和喉)系统20的示意图。在以下描述中，假设系统20中的ENT工具21用于对患者22执行球囊鼻窦扩张术手术，但是应当理解，该工具可用于对患者执行其他手术。
如下所述，在一个实施方案中，工具21包括单轴线圈32和双轴线圈34，该单轴线圈和双轴线圈充当磁场传感器并且在手术期间由磁跟踪系统23跟踪。为了使跟踪是有效的，在系统20中，将患者22的CT(计算机化断层摄影)图像和磁跟踪系统23的参照系进行配准。虽然CT图像通常可包括磁共振成像(MRI)图像或荧光透视图像，但是在本文的描述中，以举例的方式，图像被假设为包括荧光透视CT图像。
在窦手术之前和期间，将包括在磁跟踪系统中的磁辐射器组件24定位在患者的头部附近。组件24包括磁场辐射器26，该磁场辐射器被固定在适当位置并将交变磁场传输到患者22的头部所位于的区域30中。由区域30中的单轴线圈32响应于磁场而生成的电位使得能够在磁跟踪系统的参照系中测量单轴线圈的位置和取向。位置可在三个线性维度(3D)上测量，并且取向可针对与单轴线圈的对称轴正交的两个轴线来测量。然而，线圈32相对于其对称轴的取向不能由线圈生成的电位确定。
对于双轴线圈34的两个线圈中的每个线圈也是如此。即，对于每个线圈，3D上的位置可被测量，相对于与线圈对称轴正交的两个轴线的取向也可被测量，但线圈相对于其对称轴的取向不能被确定。
以举例的方式，组件24的辐射器26被布置成在患者22的头部周围的大致马蹄形状。然而，组件24的辐射器的另选构型将是显而易见的，并且所有此类构型均被视为包括在本发明的范围内。
在手术之前，可通过将磁传感器定位在图像的已知位置(诸如患者的鼻子的末端)处来执行磁跟踪系统的参照系与CT图像的配准。然而，可使用用于配准参照系的任何其他方便的系统。
包括辐射器26以及线圈32和34的系统20的元件在系统处理器40的总体控制下。处理器40可安装在控制台50中，该控制台包括操作控件58，该操作控件通常包括小键盘和/或指向装置，诸如鼠标或轨迹球。控制台50经由一根或多根缆线和/或无线地连接到辐射器以及线圈32和34。医生54使用操作控件58以与处理器交互，同时使用系统20来执行ENT手术。在执行该手术时，处理器可在显示器56(在本文中也称为屏幕56)上呈现该手术的结果。
处理器40利用存储于存储器42中的软件来操作系统20。该软件可以例如以电子形式通过网络下载到处理器40，或者另选地或除此之外，该软件可以被提供和/或存储在非临时性有形介质诸如磁存储器、光学存储器或电子存储器上。
图2为工具21的示意图，并且图3为根据本发明的实施方案的工具的远侧端部25的示意图。工具21包括连接在一起的近侧节段80和远侧节段82，但是可以从近侧节段拆卸和移除远侧节段。
远侧端部25在本文中也称为探头25。在探头25中，远侧节段82包括关节运动式管状节段84，该关节运动式管状节段可从直线构型86可调节地弯折为弯曲构型88，该弯曲构型在图2中由虚线示意性地示出。在其直线构型中，管状节段84具有对称轴y。弯曲构型发生在包括轴y和与y轴正交的x轴的平面中。在本文的描述中，假设存在与y轴和x轴两者均正交的z轴。
可通过经由旋转旋钮90向线52施加张力以及释放该线上的张力来执行从直线构型到弯曲构型以及从弯曲构型到直线构型的调节。另外如下所述，线52从远侧端部25延伸到旋钮90。
管状节段84在其非关节运动式近侧端部92处固定地连接到插入管100，该插入管可围绕对称轴y旋转，如由图2中的双头箭头所指示的。管100的旋转可通过旋转旋钮90来实现。因此，旋钮90执行两个功能：关节运动节段84的弯曲和管100的旋转。根据滑动控制件102的位置决定执行哪种功能。在控制件的第一个位置，旋钮90的旋转致使关节运动节段84偏转，而管100静止。在控制件的第二位置，旋钮的旋转致使管100随着旋钮围绕管对称轴旋转，而节段84保持在其偏转(或未偏转)状态。
管100和节段84一起形成管状探头101，并且探头的尺寸被设计用于可插入患者22的孔口中，诸如患者的鼻孔和/或鼻窦。
大致矩形的柔性印刷电路板(PCB)120固定地定位在管状节段84内，并且朝近侧延伸到近侧节段80中。PCB 120在xy平面中对准，使得当管状节段弯折成其弯曲构型时，PCB与其一起弯折。PCB将节段84分成上部区域和下部区域，并且该下部区域能够充当工作通道，该工作通道允许元件诸如导丝、球囊鼻窦扩张机构以及来自近侧节段80的一种或多种流体穿过通道。这些元件的功能与本发明的实施方案无关，因此为了简洁起见，本文不描述该功能。
相机62安装在PCB 120的远侧终端的上表面上，并且假设相机具有光学传感器的平面矩形阵列64，该阵列具有平行于节段84的x轴和z轴的边缘并且因此与y轴正交。假设阵列64具有一组平行于节段84的xyz轴并且原点位于阵列64的中心处的xayaza轴。在一个实施方案中，相机62具有大约±30°的视场(FOV)从而实现大约60°的总FOV。
发光二极管(LED)66安装在PCB上表面上，并且当节段84插入到患者22体内时，LED为将在阵列64上形成的图像提供照明。
单轴传感器线圈32也安装在PCB 120的远侧终端处的上表面上，并且该线圈被安装成使其对称轴平行于节段84的对称轴。
双轴线圈34通常通过镀覆到表面上而形成于非关节运动式近侧端部92的表面上。在本文所述的实施方案中，双轴线圈34包括两个传感器线圈34A、34B，这两个传感器线圈为大致平面的，并且被配置成使其对称轴彼此正交，并且也与单轴线圈32的对称轴正交，即，垂直。在本文的描述中，假设传感器线圈34A、34B的对称轴分别平行于节段84的x轴和z轴。
在一些实施方案中，仅存在一个传感器，在本文中假设为线圈34A。以下描述假设线圈34A、34B作为双轴线圈34存在，并且该描述可加以必要的变更来适用于仅存在单个线圈34A的情况。
用于传感器线圈、相机和LED的连接导体形成于PCB 120上，并且导体在这些元件与近侧节段80和处理器40之间传输信号。
图4A、图4B、图4C示出了根据本发明的实施方案的形成于阵列64上的图像以及如何在屏幕56上显示图像。在所有图中，假设阵列64为矩形的，具有平行于阵列的za轴的较大尺寸。将由阵列产生的图像显示在屏幕56上，该屏幕的水平尺寸被假设为大于其竖直尺寸。即，假设屏幕56处于横向取向。
虽然屏幕56不能旋转，但是阵列64能够旋转，例如其能够围绕轴ya旋转。
图4A示出了其中阵列64尚未围绕轴ya旋转的情况。在这种情况下，阵列的图像130A显示在屏幕56上，其中阵列所检视到的场景的元素诸如简笔图134相对于场景的旋转未改变。在一些实施方案中，并非由阵列64产生的整个图像而是图像的中心部分显示在屏幕56上，如圆形部分138A所例示。
图4B示出了其中阵列64已围绕ya轴顺时针旋转45°的情况。在这种情况下，阵列的图像130B显示在屏幕56上，其中阵列所检视到的场景的元素诸如简笔图134沿逆时针方向旋转45°。可显示圆形区域138B，并且这示出了45°旋转。
图4C示出了其中阵列64已围绕ya轴顺时针旋转90°的情况。在这种情况下，阵列的图像130C显示在屏幕56上，其中阵列所检视到的场景的元素诸如简笔图134沿逆时针方向旋转90°。圆形区域138C示出了90°旋转。
上文提及的图4B和图4C的部分中的屏幕56已用虚线绘制，以指示这并非为医师54在查看屏幕56时所看到的最终显示并且图像130B和130C为虚像。相反，在本发明的实施方案中，由医师看到的显示示于图4B的部分140和图4C的部分142中，其中屏幕46已用实线绘制。
如图4B所示，本发明的实施方案将虚像130B顺时针旋转45°以形成具有圆形区域152B的显示图像150B。类似地，如图4C所示，本发明的实施方案将虚像130C顺时针旋转90°以形成具有圆形区域152C的显示图像150C。
虽然部分140和142示出阵列64的45°和90°旋转被所显示图像的对应旋转抵消，但是应当理解，一般来讲，阵列64的θ任何角度旋转θ均可被所显示图像的旋转抵消。
因此，在手术期间，本发明的实施方案通过所显示图像的θ旋转θ来抵消阵列64的任何角度旋转。图5的流程图描述了用于抵消阵列64的旋转的步骤。
在手术期间，本发明的实施方案还使用由阵列64采集的图像来将纹理映射应用于患者22的CT图像。下文另外示出的图6的流程图描述了用于应用此类纹理映射的步骤。这两个流程图的步骤彼此独立，并且可同时实施。
图5为根据本发明的实施方案的实现用于将由相机62生成的图像保持在期望取向的步骤的流程图。
在初始步骤200中，配准磁跟踪系统23和患者22的CT图像的参照系，如上所述。为了执行配准，磁跟踪系统23被激活，并且用于跟踪单轴线圈32和双轴线圈34的位置和取向，如上所述。假设跟踪被实时地更新，使得以举例的方式，在一个实施方案中，假设系统23以20Hz的速率更新其跟踪数据，但更新速率可比这更慢或更快。工具21可用于配准，其中来自传感器32的信号提供工具的远侧末端的3D位置。然而，也可使用任何其他方便的配准方法。
在相机激活步骤202中，医师54激活相机62，使得由相机生成的光学视频图像在屏幕56上显示给医师。通常，图像为圆形的，这大致类似于圆形部分138A(图4A)。实时地更新图像，并且以举例的方式，在本文的描述中，假设图像以20帧/秒(fps)的速率(即，以与跟踪更新相同的速率)生成并更新。然而，本发明的其他实施方案可以较慢或较快的帧生成速率操作。在其中跟踪更新快于图像更新的情况下，可将来自跟踪更新的位置进行平均以对应于图像更新。
在插入步骤204中，医师54将工具21插入到患者22的鼻孔中。一旦被插入，处理器40就显示由相机62生成的患者22的内部要素的视频图像以供医师检视。将视频图像显示在屏幕56上。
在选择取向步骤206中，医师选择要保持恒定的所显示图像的取向。通常，医师可通过注意到所显示的图像已旋转以使其处于非期望取向，然后旋转工具21以使得图像恢复到期望取向来进行这种选择。
医师使用控件58或另一个控件(例如，可结合到工具21的柄部中的按钮)来进行选择。激活控制程序向处理器40传送命令以开始测量相机62围绕其轴ya(即，与阵列64正交的轴)的旋转。应当理解，在不存在流程图的以下步骤的情况下，围绕轴ya的旋转将导致所显示图像旋转，诸如由图像130B和图像130C(图4B和图4C)所例示的旋转。
在旋转测量比较步骤208中，处理器40利用两种方法中的至少一种方法来测量相机62围绕轴ya的连续旋转变化。
在第一方法中，处理器40使用来自传感器32和34的连续跟踪信号来决定在连续信号之间是否存在围绕轴ya的旋转。如上所述，来自传感器32的信号不提供该信息(因为传感器32的对称轴为轴ya)；然而，应当理解，来自传感器34的信号确实能够提供该信息，因为当管状节段84处于其直线构型86时，传感器的对称轴与轴ya正交。还应当理解，当轴ya不平行于轴y时，即使管状节段84从直线构型86弯折为弯曲构型88，来自传感器34的信号(如有必要，结合来自传感器32的信号)也可提供所需的信息。
在第二方法中，处理器40比较由阵列64采集的连续图像，以确定图像之间是否已存在围绕阵列平面中的阵列中心(即，与ya轴正交)的有效旋转。为了确定是否已存在旋转，处理器40采用本领域已知的任何方便的图像处理方法，诸如可见于www.mathworks.com/help/images/find-image-rotation-and-scale-using-automated-feature-matching.html的方法。
应当理解，由处理器执行的比较滤除了连续图像之间的其他可能变化，诸如因平移引起的变化。连续图像之间的平移可由医师54相对于被成像的对象侧向地移动工具21来引起。
如果步骤208返回肯定结果，即，处理器确定在连续图像或连续跟踪测量结果之间已发生旋转，则在抵消步骤210中，处理器测量已发生的旋转，并且将对应的旋转应用于显示在屏幕56上的图像。所显示图像抵消了相机62的任何旋转。
在一些实施方案中，使用第一旋转测量方法和第二旋转测量方法两者，在这种情况下，步骤210中的测得的旋转可包括两个系统的旋转的平均值。
如果步骤208返回否定结果，即，处理器确定在连续图像或连续跟踪测量结果之间不存在旋转，则控制程序返回到步骤208的开始。
处理器40在由医师执行的手术过程期间迭代地实施比较步骤208，使得在医师已在步骤206中选择要保持恒定的所显示图像取向之后，相机62围绕轴ya的任何旋转被抵消。
图6为实现用于将纹理映射应用于患者22的CT图像的步骤的流程图，并且图7、图8、图9、图10为描述根据本发明的实施方案的步骤的各方面的示意图。
在初始准备步骤250中，处理器40将体绘制应用于患者22的CT图像。处理器可使用本领域中已知的用于体绘制的任何方便的方法。此外，相机62的视场(FOV)也被输入到处理器。
步骤252、254和256分别基本上如上文针对图5的流程图的步骤200、202和204所述。
在跟踪相机步骤258中，处理器40采集相机62的位置和取向，并存储由相机采集的光学图像。处理器使用从传感器32和34接收的信号来采集相机的位置和取向。在本文的描述中，假设相机的取向包括相机在采集其图像时指向的方向，即相机检视方向。图7为由相机采集的图像的示意图。
步骤258通常由医师54向处理器40提供命令以存储由相机62采集的光学图像来实施。如下所述，将所采集的图像应用于CT图像的纹理成像。用于实施步骤258的典型场景为医师在屏幕56上在由相机采集的图像中观察感兴趣场景，诸如器官的出血。
在完成步骤258之后，可实时地执行后续步骤260、262。另选地或除此之外，可在步骤258已经完成之后的某个时间实施后续步骤，例如在医生54查阅对患者22执行的已完成手术的结果时。
在表面确定步骤260中，处理器40将相机的位置、取向和视场(FOV)应用于CT图像，以识别被相机“看到”的CT图像的体绘制表面的一部分。在步骤258中找到相机的位置和取向。在步骤250中，处理器确定相机的FOV。
图8为患者22的CT图像的部分280的示意性剖视图，该图解释了步骤260的表面确定。在工具21插入时，包括相机62的工具的远侧端部通常位于空气中，即，位于CT图像部分280的透明区域284诸如腔中，该透明区域具有等于零的Hounsfield单位(HU)。由于CT图像的参照系与磁跟踪系统以及因此相机的参照系被配准，因此处理器40将相机的位置和检视方向应用于CT图像，使得在部分280中，矩形288表示相机，并且虚线292表示相机检视方向。
相机的FOV由虚线296示出，并且处理器延伸FOV线直到它们连接到CT图像的具有非零HU值的部分300。此类部分通常包括不透明要素诸如骨或脂肪的图像。因为相机位于透明区域284中，所以由与部分300相交的FOV线296形成的表面所限定的表面区域304为由相机“看到”的CT图像的部分，并且对应于图7的图像。
图9示出了CT图像部分300(即，CT图像的具有非零HU值的部分)，以及由与部分300相交的线296形成的表面区域304。
在图像叠加步骤262中，处理器将在步骤256中采集和存储的对应图像叠加在CT表面部分304上，以产生纹理映射图像。图10示出了纹理映射图像，其包括叠加到CT图像部分300上的图7的图像。
步骤258、260和262的上述描述假设为非迭代过程。然而，在一些实施方案中，步骤258、260和262可重复，如由虚线箭头264所示。给定重复可以在医师的授意下进行，例如，当在由相机采集的图像中观察到另一个感兴趣场景时。另选地或除此之外，在手术期间的至少部分时间内，医师可将重复实施为实时重复。在实时重复中，可在屏幕56上连续地更新CT图像的纹理映射。
由以上描述应当理解，本发明的实施方案包括单件设备，该单件设备被配置成执行由图5的流程图和图6的流程图描述的两种不同算法。这两种算法为独立的，并且可由单件设备同时地或非同时地执行。
因此应当理解，上面描述的实施方案以举例的方式被引用，并且本发明不限于上文特定示出和描述的内容。相反，本发明的范围包括上述各种特征的组合和子组合以及它们的变型和修改，本领域的技术人员在阅读上述说明时应当想到所述变型和修改，并且所述变型和修改并未在现有技术中公开。

Claims (14)

1.设备，包括：
探头，所述探头配置成插入到人类患者的孔中，所述探头包括：
插入管；
管状可偏转节段，所述管状可偏转节段在远侧连接到所述插入管；
相机，所述相机附接到所述管状可偏转节段并且具有检视方向；
第一磁场传感器线圈，所述第一磁场传感器线圈具有第一线圈对称轴并且附接到所述管状可偏转节段，其中所述第一线圈对称轴平行于所述相机的检视方向；和
第二磁场传感器线圈，所述第二磁场传感器线圈具有第二线圈对称轴并且附接到所述插入管，其中所述第二线圈对称轴垂直于所述相机的检视方向；
显示器，所述显示器耦接以显示由所述相机输出的图像；和
处理器，所述处理器耦接以接收由第一磁场传感器线圈和第二磁场传感器线圈响应于穿过所述第一磁场传感器线圈和第二磁场传感器线圈的磁场生成的信号，并且配置成：
响应于在第一时间接收的信号，识别由所述相机产生的初始图像的初始取向，
响应于在所述第一时间之后的第二时间接收的信号，识别由所述相机产生的后续图像的后续取向，以及
在所述显示器上旋转所述后续图像，以便将所述后续图像重新取向为所述初始取向。
2.根据权利要求1所述的设备，还包括第三磁场传感器线圈，所述第三磁场传感器线圈具有第三线圈对称轴并且附接到所述插入管，其中所述第三线圈对称轴垂直于所述相机的检视方向和所述第二线圈对称轴，并且其中由所述处理器接收的信号还包括由所述第三磁场传感器线圈响应于穿过所述第三磁场传感器线圈的磁场生成的信号。
3.根据权利要求1所述的设备，还包括固定地定位在所述可偏转管状节段内的柔性印刷电路板(PCB)，并且其中所述相机固定地附接到所述柔性PCB的远侧终端。
4.根据权利要求3所述的设备，其中所述柔性PCB延伸到所述插入管中。
5.根据权利要求1所述的设备，其中所述处理器配置成响应于在所述第一时间和所述第二时间接收的信号来确定基于信号的相机旋转，并且其中所述处理器还配置成比较和分析所述初始图像和所述后续图像以便确定基于图像的相机旋转，并且其中旋转所述后续图像包括应用所述基于信号的相机旋转和所述基于图像的相机旋转的平均值以重新取向所述后续图像。
6.根据权利要求5所述的设备，其中分析所述初始图像和所述后续图像包括对所述图像滤波以去除所述相机的平移。
7.根据权利要求1所述的设备，还包括生成所述磁场的磁跟踪系统，并且其中所述处理器配置成：
配准所述患者的计算机化断层摄影(CT)图像与所述磁跟踪系统；
响应于在所述第二时间接收的信号来确定所述相机的检视方向和位置；
在所述相机指向所述检视方向时，接收由所述相机采集的光学图像；
使用所述相机的检视方向和位置来分析所述CT图像，以在所述CT图像中找到位于所述相机的视场中的不透明表面；以及
将所述光学图像叠加在所述不透明表面上以纹理映射所述CT图像中的不透明表面。
8.一种方法，包括：
将探头的管状可偏转节段在远侧连接到所述探头的插入管，其中所述探头已经设置在人类患者的孔中；
将相机附接到所述管状可偏转节段，所述相机具有检视方向；
将具有第一线圈对称轴的第一磁场传感器线圈附接到所述管状可偏转节段，其中所述第一线圈对称轴平行于所述相机的检视方向；
将具有第二线圈对称轴的第二磁场传感器线圈附接到所述插入管，其中所述第二线圈对称轴垂直于所述相机的检视方向；
提供显示器，所述显示器耦接以显示由所述相机输出的图像；
接收由第一磁场传感器线圈和第二磁场传感器线圈响应于穿过所述第一磁场传感器线圈和第二磁场传感器线圈的磁场生成的信号；
响应于在第一时间接收的信号，识别由所述相机产生的初始图像的初始取向；
响应于在所述第一时间之后的第二时间接收的信号，识别由所述相机产生的后续图像的后续取向；以及
在所述显示器上旋转所述后续图像，以便将所述后续图像重新取向为所述初始取向。
9.根据权利要求8所述的方法，还包括将具有第三线圈对称轴的第三磁场传感器线圈附接到所述插入管，其中所述第三线圈对称轴垂直于所述相机的检视方向和所述第二线圈对称轴，并且其中接收所述信号还包括接收由所述第三磁场传感器线圈响应于穿过所述第三磁场传感器线圈的磁场生成的信号。
10.根据权利要求8所述的方法，还包括将柔性印刷电路板(PCB)固定地定位在所述可偏转管状节段内并且将所述相机固定地附接到所述柔性PCB的远侧终端。
11.根据权利要求10所述的方法，还包括将所述柔性PCB延伸到所述插入管中。
12.根据权利要求8所述的方法，还包括响应于在所述第一时间和所述第二时间接收的信号确定基于信号的相机旋转，比较和分析所述初始图像和所述后续图像以便确定基于图像的相机旋转，并且其中旋转所述后续图像包括应用所述基于信号的相机旋转和所述基于图像的相机旋转的平均值来重新取向所述后续图像。
13.根据权利要求12所述的方法，其中分析所述初始图像和所述后续图像包括对所述图像滤波以去除所述相机的平移。
14.根据权利要求8所述的方法，还包括：
利用磁跟踪系统生成所述磁场；
配准人类患者的计算机化断层摄影(CT)图像与所述磁跟踪系统；
响应于在所述第二时间接收的信号来确定所述相机的检视方向和位置；
在所述相机指向所述检视方向时，接收由所述相机采集的光学图像；
使用所述相机的检视方向和位置来分析所述CT图像，以在所述CT图像中找到位于所述相机的视场中的不透明表面；以及
将所述光学图像叠加在所述不透明表面上以纹理映射所述CT图像中的不透明表面。
CN201980065107.5A 2018-10-04 2019-09-24 使用相机的ent工具 Active CN112804940B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862741395P 2018-10-04 2018-10-04
US62/741395 2018-10-04
US16/566,818 US11666203B2 (en) 2018-10-04 2019-09-10 Using a camera with an ENT tool
US16/566818 2019-09-10
PCT/IB2019/058068 WO2020070581A1 (en) 2018-10-04 2019-09-24 Using a camera with an ent tool

Publications (2)

Publication Number Publication Date
CN112804940A CN112804940A (zh) 2021-05-14
CN112804940B true CN112804940B (zh) 2024-04-12

Family

ID=70050886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980065107.5A Active CN112804940B (zh) 2018-10-04 2019-09-24 使用相机的ent工具

Country Status (6)

Country Link
US (1) US11666203B2 (zh)
EP (1) EP3860455A1 (zh)
JP (1) JP7375001B2 (zh)
CN (1) CN112804940B (zh)
IL (1) IL281914B2 (zh)
WO (1) WO2020070581A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11684251B2 (en) * 2019-03-01 2023-06-27 Covidien Ag Multifunctional visualization instrument with orientation control
US11980573B2 (en) 2019-12-05 2024-05-14 Johnson & Johnson Surgical Vision, Inc. Eye examination apparatus
US20220031400A1 (en) * 2020-07-31 2022-02-03 Biosense Webster (Israel) Ltd. Systems and methods for tracking a surgical device
US20220202286A1 (en) * 2020-12-28 2022-06-30 Johnson & Johnson Surgical Vision, Inc. Highly bendable camera for eye surgery
CN118234423A (zh) * 2021-06-28 2024-06-21 格朗皮创新公司 进入装置
US20230355318A1 (en) * 2022-05-03 2023-11-09 Boston Scientific Scimed, Inc. Medical device assemblies and components

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144457A (en) * 1976-04-05 1979-03-13 Albert Richard D Tomographic X-ray scanning system
US5951474A (en) * 1996-04-26 1999-09-14 Hitachi Medical Corporation Magnetic resonance imaging apparatus for detecting magnetic resonance signals by radio frequency receiving coils
CN1576883A (zh) * 2003-07-01 2005-02-09 Ge医药系统环球科技公司 使用单线圈发射器的电磁跟踪系统与方法
JP2006149484A (ja) * 2004-11-25 2006-06-15 Olympus Corp 超音波診断装置
CN101903787A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 具有自适应图像质量的动态磁共振成像(mri)
US8170302B1 (en) * 2005-09-30 2012-05-01 Ut-Battelle, Llc System and method for generating motion corrected tomographic images
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位系统及定位方法
CN102599911A (zh) * 2010-12-10 2012-07-25 韦伯斯特生物官能(以色列)有限公司 根据互感测量值来检测金属干扰的系统和方法
CN102755164A (zh) * 2011-04-28 2012-10-31 西门子公司 用于导航内窥镜胶囊的装置和方法
CN102846308A (zh) * 2011-06-28 2013-01-02 克里斯蒂数字系统美国有限公司 用于静脉通道的导管位置检测方法和设备
US8587659B1 (en) * 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
CN103908337A (zh) * 2012-12-31 2014-07-09 韦伯斯特生物官能(以色列)有限公司 具有串联连接的感测结构的导管以及校正和检测的方法
CN103908338A (zh) * 2012-12-31 2014-07-09 韦伯斯特生物官能(以色列)有限公司 具有组合的位置和压力感测结构的导管
CN203970548U (zh) * 2013-01-10 2014-12-03 M.S.T.医学外科技术有限公司 外科手术控制系统
CN104853799A (zh) * 2012-10-18 2015-08-19 C·R·巴德股份有限公司 配备磁性元件的针组件
CN104936516A (zh) * 2012-09-28 2015-09-23 C·R·巴德股份有限公司 包括经对准磁元件的针组件
CN105534539A (zh) * 2014-10-22 2016-05-04 韦伯斯特生物官能(以色列)有限公司 通过移动成像床扩大跟踪体积
CN106408599A (zh) * 2015-07-23 2017-02-15 韦伯斯特生物官能(以色列)有限公司 Ct图像与磁跟踪系统的表面配准
CN106488736A (zh) * 2014-07-09 2017-03-08 阿克拉伦特公司 用于鼻窦扩张术的导丝操纵
CN206102675U (zh) * 2014-03-19 2017-04-19 柯惠有限合伙公司 用于执行外科手术的系统和活检工具
WO2017136833A1 (en) * 2016-02-05 2017-08-10 Magic Leap, Inc. Systems and methods for augmented reality
CN107028653A (zh) * 2015-11-11 2017-08-11 韦伯斯特生物官能(以色列)有限公司 具有四个线圈的对称短接触力传感器
US9782159B2 (en) * 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
CN107378200A (zh) * 2017-05-26 2017-11-24 广东工业大学 旋转磁场激励下的微间隙焊缝跟踪方法和装置
CN107961023A (zh) * 2016-09-08 2018-04-27 韦伯斯特生物官能(以色列)有限公司 Ent图像配准
CN108472089A (zh) * 2015-12-15 2018-08-31 圣犹达医疗用品国际控股有限公司 电磁传感器跟踪系统的运动框可视化

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29705973U1 (de) 1997-04-04 1997-06-19 Olympus Winter & Ibe Gmbh, 22045 Hamburg Videoendoskop mit Bildverarbeitungseinrichtung
EP1100373B1 (en) * 1998-08-02 2008-09-03 Super Dimension Ltd. Intrabody navigation system for medical applications
US7037258B2 (en) 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6856827B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US6856826B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
JP5030335B2 (ja) * 2001-03-06 2012-09-19 オリンパス株式会社 医用画像表示装置
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
IL170404A (en) 2004-08-26 2012-03-29 C2Cure Inc Wireless determination of endoscope orientation
JP4689291B2 (ja) * 2005-02-09 2011-05-25 オリンパス株式会社 内視鏡装置及び内視鏡装置用プログラム
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US20080108870A1 (en) 2006-11-06 2008-05-08 Wiita Bruce E Apparatus and method for stabilizing an image from an endoscopic camera
CN101951990A (zh) * 2007-12-23 2011-01-19 Oraya治疗公司 检测、控制和预测辐射传输的方法和装置
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
JP2012061306A (ja) * 2010-08-16 2012-03-29 Toshiba Corp 磁気共鳴イメージング装置
US9211094B2 (en) * 2010-12-10 2015-12-15 Biosense Webster (Israel), Ltd. System and method for detection of metal disturbance based on contact force measurement
JP2013235114A (ja) * 2012-05-08 2013-11-21 Olympus Corp 内視鏡装置、内視鏡画像の表示方法、内視鏡画像表示装置およびプログラム
US9295430B2 (en) * 2013-02-07 2016-03-29 Biosense Webster (Israel), Ltd. Operator controlled mixed modality feedback
CN105792748B (zh) * 2013-12-02 2019-05-03 小利兰·斯坦福大学托管委员会 光学运动跟踪系统与磁共振成像扫描仪之间的坐标变换的确定
US20180221610A1 (en) * 2014-05-15 2018-08-09 Intuvate, Inc. Systems, Methods, and Devices for Facilitating Endotracheal Intubation
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US20170079553A1 (en) * 2015-09-21 2017-03-23 Biosense Webster (Israel) Ltd. Adding a Tracking Sensor to a Rigid Tool
JP6616838B2 (ja) * 2016-03-31 2019-12-04 Ｈｏｙａ株式会社 内視鏡形状把握システム
CN109689173B (zh) * 2016-04-26 2022-03-18 奇跃公司 使用增强现实系统的电磁跟踪
US10380758B2 (en) * 2016-04-27 2019-08-13 Mad Street Den, Inc. Method for tracking subject head position from monocular-source image sequence
JP2017225700A (ja) * 2016-06-23 2017-12-28 オリンパス株式会社 観察支援装置及び内視鏡システム
US11058446B2 (en) * 2016-09-14 2021-07-13 Biosense Webster (Israel) Ltd. ENT tool antenna

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144457A (en) * 1976-04-05 1979-03-13 Albert Richard D Tomographic X-ray scanning system
US5951474A (en) * 1996-04-26 1999-09-14 Hitachi Medical Corporation Magnetic resonance imaging apparatus for detecting magnetic resonance signals by radio frequency receiving coils
CN1576883A (zh) * 2003-07-01 2005-02-09 Ge医药系统环球科技公司 使用单线圈发射器的电磁跟踪系统与方法
JP2006149484A (ja) * 2004-11-25 2006-06-15 Olympus Corp 超音波診断装置
US8170302B1 (en) * 2005-09-30 2012-05-01 Ut-Battelle, Llc System and method for generating motion corrected tomographic images
US8587659B1 (en) * 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
CN101903787A (zh) * 2007-12-18 2010-12-01 皇家飞利浦电子股份有限公司 具有自适应图像质量的动态磁共振成像(mri)
CN102599911A (zh) * 2010-12-10 2012-07-25 韦伯斯特生物官能(以色列)有限公司 根据互感测量值来检测金属干扰的系统和方法
CN102755164A (zh) * 2011-04-28 2012-10-31 西门子公司 用于导航内窥镜胶囊的装置和方法
CN102846308A (zh) * 2011-06-28 2013-01-02 克里斯蒂数字系统美国有限公司 用于静脉通道的导管位置检测方法和设备
CN102499616A (zh) * 2011-09-28 2012-06-20 天津大学 基于加速度传感器的内窥镜探头三维磁场定位系统及定位方法
CN104936516A (zh) * 2012-09-28 2015-09-23 C·R·巴德股份有限公司 包括经对准磁元件的针组件
CN104853799A (zh) * 2012-10-18 2015-08-19 C·R·巴德股份有限公司 配备磁性元件的针组件
CN103908338A (zh) * 2012-12-31 2014-07-09 韦伯斯特生物官能(以色列)有限公司 具有组合的位置和压力感测结构的导管
CN103908337A (zh) * 2012-12-31 2014-07-09 韦伯斯特生物官能(以色列)有限公司 具有串联连接的感测结构的导管以及校正和检测的方法
CN203970548U (zh) * 2013-01-10 2014-12-03 M.S.T.医学外科技术有限公司 外科手术控制系统
US9782159B2 (en) * 2013-03-13 2017-10-10 Camplex, Inc. Surgical visualization systems
CN206102675U (zh) * 2014-03-19 2017-04-19 柯惠有限合伙公司 用于执行外科手术的系统和活检工具
CN106488736A (zh) * 2014-07-09 2017-03-08 阿克拉伦特公司 用于鼻窦扩张术的导丝操纵
CN105534539A (zh) * 2014-10-22 2016-05-04 韦伯斯特生物官能(以色列)有限公司 通过移动成像床扩大跟踪体积
CN106408599A (zh) * 2015-07-23 2017-02-15 韦伯斯特生物官能(以色列)有限公司 Ct图像与磁跟踪系统的表面配准
CN107028653A (zh) * 2015-11-11 2017-08-11 韦伯斯特生物官能(以色列)有限公司 具有四个线圈的对称短接触力传感器
CN108472089A (zh) * 2015-12-15 2018-08-31 圣犹达医疗用品国际控股有限公司 电磁传感器跟踪系统的运动框可视化
WO2017136833A1 (en) * 2016-02-05 2017-08-10 Magic Leap, Inc. Systems and methods for augmented reality
CN107961023A (zh) * 2016-09-08 2018-04-27 韦伯斯特生物官能(以色列)有限公司 Ent图像配准
CN107378200A (zh) * 2017-05-26 2017-11-24 广东工业大学 旋转磁场激励下的微间隙焊缝跟踪方法和装置

Also Published As

Publication number Publication date
IL281914B1 (en) 2024-02-01
US11666203B2 (en) 2023-06-06
IL281914B2 (en) 2024-06-01
US20200107701A1 (en) 2020-04-09
WO2020070581A1 (en) 2020-04-09
CN112804940A (zh) 2021-05-14
EP3860455A1 (en) 2021-08-11
IL281914A (en) 2021-05-31
JP2022504220A (ja) 2022-01-13
JP7375001B2 (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
CN112804940B (zh) 使用相机的ent工具
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
US20220346886A1 (en) Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
US20230190244A1 (en) Biopsy apparatus and system
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
CN110120094B (zh) 用于使用标准荧光镜的局部三维体积重构的系统和方法
US20010035871A1 (en) System and method for generating an image
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
CN111000520A (zh) 自动探头重新插入
KR20170057141A (ko) Ct 이미지를 위한 국소 적용 투명성
EP3515288B1 (en) Visualization of an image object relating to an instrument in an extracorporeal image
EP3931799B1 (en) Interventional device tracking
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant