CN111031957A - 在外科手术期间对感兴趣点空间定位的方法 - Google Patents

在外科手术期间对感兴趣点空间定位的方法 Download PDF

Info

Publication number
CN111031957A
CN111031957A CN201880052748.2A CN201880052748A CN111031957A CN 111031957 A CN111031957 A CN 111031957A CN 201880052748 A CN201880052748 A CN 201880052748A CN 111031957 A CN111031957 A CN 111031957A
Authority
CN
China
Prior art keywords
display
interest
surgical site
region
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880052748.2A
Other languages
English (en)
Inventor
D·迈哲朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111031957A publication Critical patent/CN111031957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/464—Displaying means of special interest involving a plurality of displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

一种使手术部位可视化的方法包含：用超声系统扫描手术部位，用第一标签在所述手术部位的截面视图内标记第一感兴趣区域或感兴趣点，用相机查看手术部位，以及在第二显示器上示出由所述相机捕获的所述手术部位的图像。所述第二显示器在由所述相机捕获的所述手术部位的所述图像上显示表示所述第一标签的第一标记。

Description

在外科手术期间对感兴趣点空间定位的方法
背景技术
在微创手术(MIS)期间，手术中超声探头可以用于提供手术部位的二维(2D)截面视图。在MIS期间，临床医生通常抓握超声探头，使得手术抓紧器工具或超声探头作为其自己的从属工具轴的一部分。超声探头放置为与感兴趣的组织区域接触并来回移动，以便在超声显示器上看到手术部位的2D截面视图图像。超声显示器通常不同于内窥镜显示器，该内窥镜显示器示出从用于直接观察手术部位的内窥镜捕获的图像。内窥镜显示器可以用于指导超声探头的操纵。
2D截面视图可以展示关于在手术部位处/或邻近的组织表面下方的结构的状态的信息。通常，临床医生操纵超声探头并在心里注意到手术部位处/或邻近的结构。在临床医生移除超声探头以开始或继续外科手术之后，临床医生必须记住结构在手术部位处/或邻近的位置。如果临床医生在外科手术期间需要提醒2D截面视图，则暂停外科手术，然后重新激活超声探头以重新获取2D截面视图并刷新临床医生的记忆。外科手术的这种暂停可能导致外科手术流程的中断。外科手术流程的这种中断可能促进临床医生不要暂停外科手术而用超声探头重新获取2D截面视图。通过在外科手术期间不暂停以重新获取2D截面视图，可以降低外科手术期间所作的决策的质量。
需要允许临床医生在外科手术期间查看外科手术期间的感兴趣点处的超声图像。通过在外科手术期间识别感兴趣点，可以改善手术决策。
发明内容
在本公开的一个方面，一种使手术部位可视化的方法包含：用超声系统扫描手术部位，用第一标签在所述手术部位的截面视图内标记第一感兴趣区域或感兴趣点，以及在第二显示器上用相机查看所述手术部位。所述第二显示器显示表示所述第一标签的第一标记。
在各方面中，用所述超声系统扫描所述手术部位包含将超声探头插入患者的体腔中。显示表示第一标签的第一标记可以包含在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。所述方法可以包含切换所述第一标记以在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。
在一些方面，在所述第二显示器上用相机查看所述手术部位包含控制单元将所述第一标签定位在由所述第一相机捕获的图像内。将所述第一标签定位在由所述相机捕获的图像内可以包含根据由所述相机捕获的多个图像确定所述第一标签在所述手术部位内的深度。将所述第一标签定位在由所述相机捕获的图像内可以包含使用来自所述相机的图像的基于像素的识别来确定所述第一标签在由所述相机捕获的图像内的位置。
在特定方面，所述方法包含冻结所述第一显示器，使得在所述第一显示器上可查看所述手术部位的特定截面视图。在所述第二显示器上用所述相机查看所述手术部位可以包含在所述第二显示器上显示所述手术部位的所述图像之前，从用所述相机捕获的所述手术部位的图像去除失真。
在某些方面，该方法包含用第二标签在所述手术部位的所述截面视图内标记第二感兴趣区域或感兴趣点，并在所述第二显示器上查看表示由所述第二标签的第二标记。查看表示所述第二标签的第二标记包含在所述第二显示器上显示与所述第二感兴趣区域或感兴趣点有关的信息。所述方法可以包含切换所述第二标记以在所述第二显示器上显示与所述第二感兴趣区域或感兴趣点有关的信息。所述方法还可以包含独立于切换所述第二标记，切换所述第一标记以在所述第二显示器上显示与所述第一感兴趣区域或感兴趣点有关的信息。
在本公开的另一方面，一种手术系统包含超声系统、内窥镜系统和处理单元。所述超声系统包含超声探头和超声显示器。所述超声探头被配置成捕获手术部位的截面视图。所述超声显示器被配置成显示由所述超声探头捕获的所述手术部位的截面视图。所述内窥镜系统包含内窥镜和内窥镜显示器。所述内窥镜具有被配置成捕获所述手术部位的图像的相机。所述内窥镜显示器被配置成显示由所述相机捕获的所述手术部位的所述图像。所述处理单元被配置成接收第一感兴趣区域或感兴趣点在所述手术部位的截面视图内的位置，并在所述第二显示器上显示表示所述第一感兴趣区域或感兴趣点的第一标记。
在多个方面，所述超声显示器是触摸屏显示器，所述触摸屏显示器被配置成接收指示所述第一感兴趣区域或感兴趣点在所述手术部位的所述截面视图内的位置的标签。所述处理单元可以被配置成在所述第二显示器上显示所述手术部位的所述图像之前，从用所述相机捕获的所述手术部位的图像去除失真。所述处理单元可以被配置成使用来自所述相机的图像的基于像素的识别将所述第一感兴趣区域或感兴趣点定位在所述相机捕获的图像内。
进一步地，在一致的程度上，本文描述的任何方面可以与本文描述的任何或所有其他方面结合使用。
附图说明
下面参照附图描述本公开的各个方面，这些附图被并入本说明书并构成本说明书的一部分，其中：
图1是根据本公开的超声系统的透视图，该超声系统包含超声探头、位置场发生器、处理单元、超声显示器和内窥镜显示器；
图2是图1所示的细节区域的剖视图，展示了图1所示的超声探头和患者的体腔内的内窥镜；
图3是图1的超声显示器的视图，展示了手术部位的二维截面图像；和
图4是图1的内窥镜显示器的视图，展示了手术部位和手术部位内的手术器械的远侧部分的图像。
具体实施方式
现在参照附图详细描述本公开的实施例，在附图中，相同的附图标记在若干视图的每个视图中指示相同或相应的元件。如本文所使用的，术语“临床医生”是指医生、护士或任何其他护理提供者，并且可以包含支援人员。在整个说明书中，术语“近侧”是指装置或其部件的最靠近临床医生的部分，而术语“远侧”是指装置或其部件的距临床医生最远的部分。
现在参照图1，根据本公开提供的手术系统1包含超声成像系统10和内窥镜系统30。超声成像系统10包含处理单元11、超声显示器18和超声探头20。
超声成像系统10被配置成在超声显示器18上提供患者“P”的体腔内的感兴趣区域的2D截面视图或2D图像切片。临床医生可以与超声成像系统10以及可以包含相机的内窥镜36交互，以在外科手术期间使患者“P”的手术部位“S”的表面和表面下的部分可视化，如下详述。
超声探头20被配置成从患者“P”的体腔的表面产生手术部位“S”的2D截面视图，和/或可以插入穿过与手术部位“S”相邻的体腔内的开口(自体开口或切口)。处理单元11接收手术部位“S”的2D截面视图，并在超声显示器18上传输2D截面视图的表示。
内窥镜系统30包含控制单元31、内窥镜36和内窥镜显示器38。另外参照图2，内窥镜36可以包含各自安置在内窥镜36的远侧部分上或中的相机33和传感器37。相机33被配置成捕获显示在内窥镜显示器38上的手术部位“S”的图像。控制单元31与相机33通信并且被配置成将由相机33捕获的图像传输到内窥镜显示器38。控制单元31与处理单元11通信，并且可以与处理单元11集成。
参照图1至图4，根据本公开描述了使用超声系统10和内窥镜系统30对手术部位“S”成像。最初，超声探头20定位成在患者体腔之内或之外邻近于手术部位“S”，以捕获手术部位“S”的2D截面视图。超声探头20被操纵以提供手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的2D截面视图。应当理解，当超声探头20位于内窥镜36的相机33的视图内时，扫描整个手术部位“S”，使得在获取2D截面视图时超声探头20的位置可以与手术部位“S”的2D截面视图相关联。在扫描手术部位“S”时，在获取每个2D截面视图时，处理单元11和/或控制单元31记录2D截面视图，并将2D截面视图与超声探头20在手术部位“S”内的位置相关联。
当内窥镜36查看手术部位“S”时，内窥镜36的相机33捕获手术部位“S”的实时图像以在内窥镜显示器38上查看。在用超声探头20扫描手术部位“S”之后，其他手术器械(例如抓紧器或牵开器46形式的手术器械)可以插入穿过与内窥镜36相同或不同的开口以接近手术部位“S”以在手术部位“S”处执行外科手术。
如下详述的，在扫描手术部位“S”期间记录的手术部位“S”的2D截面视图可供临床医生在外科手术期间查看。当相机33捕获实时图像时，图像显示在内窥镜显示器38上。临床医生可以选择手术部位“S”的感兴趣区域或感兴趣点以在内窥镜显示器38上进行检查。当在内窥镜显示器38上选择感兴趣区域或感兴趣点时，控制单元31确定感兴趣区域或感兴趣点在手术部位“S”内的位置，并将信号发送至处理单元11。处理单元11从控制单元31接收信号并且显示当在扫描手术部位“S”期间超声探头20定位在感兴趣区域或感兴趣点处或附近时所提取的记录的2D截面视图。记录的2D截面视图可以是固定图像，或可以是感兴趣区域或感兴趣点的视频剪辑。
当所记录的2D截面视图是感兴趣区域或感兴趣点的视频剪辑时，该视频剪辑的持续时间可以为约1秒至约10秒。视频剪辑的持续时间可以是预设的，或者可以由临床医生在外科手术之前或期间选择。可以设想，视频剪辑可以被循环，使得其连续地重复。
为了指示内窥镜显示器38上的感兴趣区域或感兴趣点，临床医生可以在内窥镜显示器38上的图像中以电子或视觉方式“标记”或“标示”感兴趣区域或感兴趣点。为了在内窥镜显示器38上的图像中以电子或视觉方式标记感兴趣区域或感兴趣点，临床医生可以使用任何已知的手段，包括但不限于：用手指或触控笔触摸显示器；使用鼠标、触控板或类似的指向装置在内窥镜显示器38上移动指示器；使用语音识别系统；使用眼动追踪系统；在键盘上打字；和/或其组合。
为了确定感兴趣区域或感兴趣点在手术部位“S”内的位置，控制单元31处理来自相机33的实时图像。控制单元31可以从实时图像去除失真，以提高确定感兴趣区域或感兴趣点的位置的准确性。可以设想，控制单元31可以利用来自相机33的实时图像的基于像素的识别来识别感兴趣区域或感兴趣点在来自相机33的实时图像内的位置。附加地或替代地，可以从来自相机33的多个实时图像中估计感兴趣区域或感兴趣点的位置。具体地，在内窥镜36围绕手术部位“S”移动期间捕获的多个相机图像可以用于估计感兴趣区域或感兴趣点在手术部位“S”内的深度。
在实施例中，立体内窥镜可以用于基于立体内窥镜的深度成像能力来确定手术部位“S”内的结构的深度。结构的深度可以用于更准确地估计感兴趣区域或感兴趣点在来自相机33的图像中的位置。
在确定手术部位“S”的感兴趣区域或感兴趣点的位置的情况下，处理单元11显示在上面详述的扫描手术部位“S”期间记录的与识别的感兴趣区域或感兴趣点的位置相关联的2D截面视图。临床医生可以观察2D截面视图以使感兴趣区域或感兴趣点处的表面下的结构可视化。通过使感兴趣区域或感兴趣点处的表面下的结构可视化，无需使用超声探头20重新扫描感兴趣区域或感兴趣点，可以提高临床医生对感兴趣区域或感兴趣点的情境感知。
附加地或替代地，在外科手术期间，临床医生可以用超声探头20重新扫描手术部位“S”内的感兴趣区域或感兴趣点，以使由外科手术影响的变化可视化。可以设想，临床医生可以通过将实时2D截面视图与感兴趣区域或感兴趣点处记录的2D截面视图进行比较来使超声显示器18上的变化可视化。为了使超声显示器18上的变化可视化，临床医生可以将实时的或记录的2D截面视图彼此叠加。
在查看2D截面视图之前、期间或之后，临床医生可以在内窥镜显示器38上的图像内“标示”感兴趣区域或感兴趣点，如图4中的标签62、64、66所表示的。标签62至66可以包含关于当用内窥镜36围绕感兴趣区域或感兴趣点查看手术部位“S”时可能不明显的感兴趣区域或感兴趣点(例如神经、血管、疤痕组织、血流等)的信息。可以想到，临床医生可以在标示感兴趣区域或感兴趣点之前、之后或期间冻结内窥镜显示器38上的图像。利用在内窥镜显示器38上标示的感兴趣区域或感兴趣点，临床医生可以继续外科手术。与标记感兴趣区域或感兴趣点相似，临床医生可以使用任何已知的手段在内窥镜显示器38上标示感兴趣区域或感兴趣点。
另外，在查看超声显示器18时，临床医生可以识别手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点。当临床医生在显示器18上识别出感兴趣区域或感兴趣点时，临床医生可以在显示器18上的图像中以电子或视觉方式“标记”或“标示”感兴趣区域或感兴趣点，如图3中的标签68所表示的。为了以电子或视觉方式标示显示器18上图像中的感兴趣区域或感兴趣点，临床医生可以使用如上详述的任何已知手段。标签68可以包含关于当用内窥镜36围绕感兴趣区域或感兴趣点查看手术部位“S”时可能不明显的感兴趣区域或感兴趣点(例如神经、血管、疤痕组织、血流等)的信息。可以想到，临床医生可以在标记感兴趣区域或感兴趣点之前、之后或期间冻结超声显示器18上的图像。利用在超声显示器18上标示的感兴趣区域或感兴趣点，临床医生可以继续用超声探头20扫描手术部位“S”，并以电子或视觉方式在显示器18上标示指示手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的后续感兴趣区域或感兴趣点。利用在超声显示器18上标示的感兴趣区域或感兴趣点，临床医生可以继续用超声探头20扫描手术部位“S”，并以电子或视觉方式在超声显示器18上标示指示手术部位“S”处或邻近手术部位“S”的感兴趣区域或感兴趣点的后续感兴趣区域或感兴趣点。
当感兴趣区域或感兴趣点被标示在超声显示器18上(例如标签68)时，超声探头20在手术部位“S”内的位置用标签(例如标签68')标记在内窥镜显示器38上，以在超声显示器18上表示标签。
在外科手术期间向标签62、64、66、68'提供手术部位处或邻近手术部位的感兴趣区域或感兴趣点的信息而无需临床医生暂停手术可以增加临床医生在外科手术期间的情境感知和/或可以减少外科手术期间临床医生的认知负担。增加临床医生的情境感知和/或减少临床医生的认知负担可以改善患者的手术效果。
如图所示，标签62、64、66、68'可以各种形状显示，包含球形、立方体、菱形、感叹号。标签62、64、66、68'的形状可以指示与相关联的标签62、64、66、68'有关的信息的类型。另外，标签62、64、66、68'可以具有指示标签中含有的信息的颜色。例如，标签62在标签的信息与血管相关时可以为蓝色，或者在标签的信息与组织相关时可以为黄色。
可以想到，标签62、64、66、68'可以被保存以用于后续的外科手术。在对患者进行外科手术之前，临床医生可以将患者的包含来自先前手术的标签的简档加载到处理单元11和/或控制单元31中。当内窥镜36的相机33捕获实时图像时，控制单元31识别手术部位“S”内的结构以定位和放置标签，例如来自先前外科手术的标签62、64、66、68'。当在手术部位“S”中识别出相似的结构时，控制单元31将标签放置在内窥镜显示器38上的图像内，从而以与上文详述类似的方式向临床医生提供先前外科手术中关于感兴趣区域或感兴趣点的附加信息和/或其2D截面视图。
如上详述并返回参照图1，手术系统1包含超声显示器18和单独的内窥镜显示器38。然而，手术系统1可以包含具有多个窗口和/或面板的分屏的单个监测器，在监测器上的窗口或面板中的相应一个中可以看到超声显示器18和内窥镜显示器38中的每一个。
尽管已经在附图中示出了本公开的若干实施例，但是不旨在将本公开限制于此，因为旨在使本公开的范围与本领域所允许的一样宽，并且同样地阅读说明书。还设想了以上实施例的任何组合，并且它们在所附权利要求的范围内。因此，以上描述不应解释为限制性的，而仅是特定实施例的例示。本领域技术人员将设想在所附权利要求的范围内的其他修改。

Claims (19)

1.一种使手术部位可视化的方法，所述方法包括：
用超声系统扫描手术部位，包含记录所述手术部位的截面视图，所述超声系统包含示出所述手术部位的截面视图的第一显示器，当记录相应的截面视图时，所记录的截面视图中的每一个与所述超声系统的探头在所述手术部位内的位置相关联；
在第二显示器上用相机查看所述手术部位；
在所述第二显示器上识别第一感兴趣区域，使得在所述第一显示器上显示与所述第二显示器上的所述第一感兴趣区域相关联的所述手术部位的记录的截面视图。
2.根据权利要求1所述的方法，其中用所述超声系统扫描所述手术部位包含将超声探头插入患者的体腔中。
3.根据权利要求1所述的方法，其进一步包括用包含与第二感兴趣区域有关的信息的第一标签在所述第二显示器上标记所述第二感兴趣区域。
4.根据权利要求3所述的方法，其进一步包括切换所述第一标签以在所述第二显示器上显示与所述第二感兴趣区域有关的信息。
5.根据权利要求3所述的方法，其中标记所述第二感兴趣区域包含在所述第一感兴趣区域内识别所述第二感兴趣区域。
6.根据权利要求1所述的方法，其进一步包括基于在之前的外科手术期间先前感兴趣区域的位置，将第一标签定位在由所述相机捕获的图像内。
7.根据权利要求6所述的方法，其中显示表示所述先前感兴趣区域的所述第一标签包含在所述第二显示器上显示与所述先前感兴趣区域有关的信息。
8.根据权利要求7所述的方法，其进一步包括切换所述第一标签以在所述第二显示器上显示与所述先前感兴趣区域有关的信息。
9.根据权利要求6所述的方法，其中将所述第一标签定位在由所述相机捕获的图像内包含根据由所述相机捕获的多个图像确定所述第一标签在所述手术部位内的深度。
10.根据权利要求6所述的方法，其中将所述第一标签定位在由所述相机捕获的图像内包含使用来自所述相机的图像的基于像素的识别来确定所述第一标签在由所述相机捕获的所述图像内的所述位置。
11.根据权利要求1所述的方法，其中在所述第二显示器上用所述相机查看所述手术部位包含在所述第二显示器上显示所述手术部位的图像之前，从用所述相机捕获的所述手术部位的所述图像去除失真。
12.根据权利要求1所述的方法，其进一步包括：
用第二标签在所述第一显示器上标记所述手术部位的截面视图内的第三感兴趣区域；和
当识别所述第三感兴趣区域时，在所述第二显示器上查看表示由所述相机捕获的图像内的超声探头的所述位置的第三标签。
13.根据权利要求12所述的方法，其中查看表示所述第二标签的所述第三标签包含在所述第二显示器上显示与所述第三感兴趣区域有关的信息。
14.根据权利要求13所述的方法，其进一步包括切换所述第三标签以在所述第二显示器上显示与所述第三感兴趣区域有关的信息。
15.根据权利要求14所述的方法，其进一步包括独立于切换所述第三标签，切换所述第一标签以在所述第二显示器上显示与所述第一感兴趣区域有关的信息。
16.一种手术系统，其包括：
超声系统，其包含：
超声探头，其被配置成捕获手术部位的截面视图；和
超声显示器，其被配置成显示由所述超声探头捕获的所述手术部位的所述截面视图；
内窥镜系统，其包含：
内窥镜，其具有相机，所述相机被配置成捕获所述手术部位的图像；
内窥镜显示器，其被配置成显示由所述相机捕获的所述手术部位的所述图像；和
处理单元，其被配置成从所述内窥镜显示器接收第一感兴趣区域在所述手术部位的捕获图像内的位置，并在所述内窥镜显示器上显示所述位置处的所述手术部位的截面视图。
17.根据权利要求16所述的手术系统，其中所述内窥镜显示器是触摸屏显示器，所述触摸屏显示器被配置成接收指示所述第一感兴趣区域在所述手术部位的所述图像内的所述位置的标签。
18.根据权利要求16所述的手术系统，其中所述处理单元被配置成在所述内窥镜显示器上显示所述手术部位的所述图像之前，从用所述相机捕获的所述手术部位的图像去除失真。
19.根据权利要求16所述的手术系统，其中所述处理单元被配置成使用来自所述相机的图像的基于像素的识别将第二感兴趣区域定位在由所述相机捕获的图像内，所述第二感兴趣区域是当在所述超声显示器上识别出第二感兴趣区域时基于所述超声探头在所述手术部位的所述图像内的位置来定位的。
CN201880052748.2A 2017-08-16 2018-08-13 在外科手术期间对感兴趣点空间定位的方法 Pending CN111031957A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762546054P 2017-08-16 2017-08-16
US62/546,054 2017-08-16
PCT/US2018/046419 WO2019036318A2 (en) 2017-08-16 2018-08-13 METHOD FOR SPATIAL LOCATION OF POINTS OF INTEREST DURING SURGICAL INTERVENTION

Publications (1)

Publication Number Publication Date
CN111031957A true CN111031957A (zh) 2020-04-17

Family

ID=65362697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052748.2A Pending CN111031957A (zh) 2017-08-16 2018-08-13 在外科手术期间对感兴趣点空间定位的方法

Country Status (5)

Country Link
US (1) US20210186460A1 (zh)
EP (1) EP3668437A2 (zh)
JP (1) JP2020531099A (zh)
CN (1) CN111031957A (zh)
WO (1) WO2019036318A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111588468A (zh) * 2020-04-28 2020-08-28 苏州立威新谱生物科技有限公司 一种具有定位手术区域功能的外科手术机器人
CN115005998A (zh) * 2022-08-08 2022-09-06 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
WO2022005954A2 (en) * 2020-06-30 2022-01-06 Intuitive Surgical Operations, Inc. Systems and methods for tag-based instrument control
KR102566890B1 (ko) * 2020-12-11 2023-08-11 가천대학교 산학협력단 수술 부위 모니터링 방법 및 이를 이용한 디바이스
US20240070875A1 (en) * 2020-12-30 2024-02-29 Intuitive Surgical Operations, Inc. Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
CN113674342B (zh) * 2021-08-30 2022-02-11 民航成都物流技术有限公司 一种基于面阵3d相机的行李筐快速识别与定位的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085718A1 (en) * 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
US20060184003A1 (en) * 2005-02-03 2006-08-17 Lewin Jonathan S Intra-procedurally determining the position of an internal anatomical target location using an externally measurable parameter
CN101273905A (zh) * 2007-03-29 2008-10-01 奥林巴斯医疗株式会社 系统控制器
KR20100036420A (ko) * 2008-09-30 2010-04-08 주식회사 바이오넷 초음파 영상장치와 복강경 내시경을 결합한 최소절개 수술 장치
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
US20110130659A1 (en) * 2007-08-24 2011-06-02 Endocontrol Imaging System for Following a Surgical Tool in an Operation Field
US20140204242A1 (en) * 2011-06-27 2014-07-24 Koninklijke Philips N.V. Exam review facilitated by clinical findings management with anatomical tagging
US20140289605A1 (en) * 2011-11-08 2014-09-25 Koninklijke Philips N.V. System and method for interactive image annotation
WO2017098505A1 (en) * 2015-12-07 2017-06-15 M.S.T. Medical Surgery Technologies Ltd. Autonomic system for determining critical points during laparoscopic surgery

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20110178395A1 (en) * 2009-04-08 2011-07-21 Carl Zeiss Surgical Gmbh Imaging method and system
EP3679881A1 (en) * 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
US20140187946A1 (en) * 2012-12-31 2014-07-03 General Electric Company Active ultrasound imaging for interventional procedures
US10835203B2 (en) * 2013-11-11 2020-11-17 Acessa Health Inc. System for visualization and control of surgical devices utilizing a graphical user interface

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050085718A1 (en) * 2003-10-21 2005-04-21 Ramin Shahidi Systems and methods for intraoperative targetting
US20060184003A1 (en) * 2005-02-03 2006-08-17 Lewin Jonathan S Intra-procedurally determining the position of an internal anatomical target location using an externally measurable parameter
CN101273905A (zh) * 2007-03-29 2008-10-01 奥林巴斯医疗株式会社 系统控制器
US20110130659A1 (en) * 2007-08-24 2011-06-02 Endocontrol Imaging System for Following a Surgical Tool in an Operation Field
KR20100036420A (ko) * 2008-09-30 2010-04-08 주식회사 바이오넷 초음파 영상장치와 복강경 내시경을 결합한 최소절개 수술 장치
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
US20140204242A1 (en) * 2011-06-27 2014-07-24 Koninklijke Philips N.V. Exam review facilitated by clinical findings management with anatomical tagging
US20140289605A1 (en) * 2011-11-08 2014-09-25 Koninklijke Philips N.V. System and method for interactive image annotation
WO2017098505A1 (en) * 2015-12-07 2017-06-15 M.S.T. Medical Surgery Technologies Ltd. Autonomic system for determining critical points during laparoscopic surgery

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111588468A (zh) * 2020-04-28 2020-08-28 苏州立威新谱生物科技有限公司 一种具有定位手术区域功能的外科手术机器人
CN115005998A (zh) * 2022-08-08 2022-09-06 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法
CN115005998B (zh) * 2022-08-08 2022-10-04 科弛医疗科技(北京)有限公司 一种手术机器人系统及其机械臂防干涉调整方法

Also Published As

Publication number Publication date
EP3668437A2 (en) 2020-06-24
US20210186460A1 (en) 2021-06-24
JP2020531099A (ja) 2020-11-05
WO2019036318A3 (en) 2019-04-04
WO2019036318A2 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
CN111031957A (zh) 在外科手术期间对感兴趣点空间定位的方法
JP7341660B2 (ja) 医療手技におけるナビゲーションを補助するための拡張現実の使用
US11883118B2 (en) Using augmented reality in surgical navigation
KR101759534B1 (ko) 외과 수술 시 임상적으로 중요한 해부상의 랜드마크에 대한 시각 추적 및 주석 달기
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
EP2149331B1 (en) Endoscope system using an image display apparatus
EP2641561A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
KR20220025186A (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
JP5467295B2 (ja) 鏡視下手術における手術情報リアルタイム取得・解析システムおよび方法
US20030040667A1 (en) Device and method for carrying out surgical interventions on a patient
JP2001500772A (ja) 画像誘導手術システム
JP2019502460A (ja) 脊柱の領域、並びに、胸郭、骨盤又は頭部の隣接領域における、外科手術処置中の術中画像制御ナビゲーション装置
EP3733047A1 (en) Surgical system, image processing device, and image processing method
JP2020531099A5 (zh)
US20170042626A1 (en) Method and probe for providing tactile feedback in laparoscopic surgery
WO2006060373A2 (en) Ultrasonic image and visualization aid
WO2010061293A2 (en) System and method for measuring objects viewed through a camera
JP5226244B2 (ja) 医用ガイドシステム
EP2954846B1 (en) Swipe to see through ultrasound imaging for intraoperative applications
EP2676628A1 (en) Surgical devices and systems or highlighting and measuring regions of interest
CN116077087A (zh) 用于启用人工智能的超声关联的系统和方法
KR20100049849A (ko) 의료용 도구의 위치 정보를 제공하기 위한 초음파 진단 시스템 및 의료용 진단 시스템
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
EP4091174A1 (en) Systems and methods for providing surgical assistance based on operational context
JP7359414B2 (ja) 医用画像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200417