CN111246818B - 增强计算机辅助远程操作外科手术中不同组织之间的可见差异 - Google Patents

增强计算机辅助远程操作外科手术中不同组织之间的可见差异 Download PDF

Info

Publication number
CN111246818B
CN111246818B CN201880068488.8A CN201880068488A CN111246818B CN 111246818 B CN111246818 B CN 111246818B CN 201880068488 A CN201880068488 A CN 201880068488A CN 111246818 B CN111246818 B CN 111246818B
Authority
CN
China
Prior art keywords
wavelength range
electromagnetic radiation
image
representation
surgical scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880068488.8A
Other languages
English (en)
Other versions
CN111246818A (zh
Inventor
W·J·库尔曼
J·M·迪卡洛
I·E·麦克道尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202410143169.6A priority Critical patent/CN117731393A/zh
Publication of CN111246818A publication Critical patent/CN111246818A/zh
Application granted granted Critical
Publication of CN111246818B publication Critical patent/CN111246818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Abstract

本文描述的技术可以以一种方法来体现，该方法包括使用可见波长范围之外的第一波长范围的电磁辐射获得外科手术场景的第一图像的表示图，其中从第一组织类型接收到的第一波长范围的电磁辐射量低于第二组织类型所接收的电磁辐射量。该方法还包括使用可见波长范围之外的第二波长范围的电磁辐射获得第二图像的表示图，其中从第二组织类型接收的第二波长范围的电磁辐射的量与第一组织类型接收的电磁辐射量基本上不同。外科手术场景的视觉表示图通过使用第一图像的表示图和第二图像的表示图被渲染在一个或多个显示器上。

Description

增强计算机辅助远程操作外科手术中不同组织之间的可见 差异
相关申请的交叉引用
本申请要求于2017年9月22日提交的美国临时申请序列号62/561,814的优先权，其全部内容通过引用合并于此。
技术领域
本公开涉及用于微创计算机辅助远程操作外科手术的设备和方法。
背景技术
正在开发用于外科手术的微创远程外科手术系统，以增加外科医生的灵活性并允许外科医生从远程位置对患者进行外科手术。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控制(例如，伺服机构或类似物)来操纵外科手术器械的移动，而不是直接用手保持和移动器械。在这样的远程外科手术系统中，外科医生在远程位置处被提供有外科手术部位的图像。外科医生通过操纵主控输入设备对患者执行外科手术程序，而主控输入设备又控制机器人器械的运动。
发明内容
在一个方面中，该文件的特征在于一种方法，该方法使用在与外科手术设备相关联的一个或多个显示器上呈现的外科手术场景的视觉表示图，在外科手术过程中提供视觉反馈。该方法包括使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。该方法还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中由一个或多个传感器从第二组织类型接收的第二波长范围的电磁辐射的量基本不同于针对第一组织类型接收的第二波长范围的电磁辐射的量。该方法还包括在一个或多个显示器上呈现外科手术场景的视觉表示图，其中该视觉表示图使用第一图像的表示图和第二图像的表示图来渲染。
在另一方面中，该文件的特征在于一种方法，该方法使用在与外科手术装置相关联的一个或多个显示器上渲染的外科手术场景的视觉表示图在外科手术过程期间提供视觉反馈。该方法包括使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中由一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射量低于针对第二组织类型接收的第一波长范围的电磁辐射量。该方法还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中由一个或多个图像传感器从第一组织类型接收的第二波长范围的电磁辐射的量大于针对第二组织类型接收的第一波长范围的电磁辐射的量。该方法进一步包括使用基本上白光的照射获得外科手术场景的第三图像的表示图，以及在一个或多个显示器上呈现外科手术场景的视觉表示图，其中该视觉表示图使用第一和第二图像与第三图像的表示图相结合来渲染。
在另一方面中，该文件的特征在于一种方法，该方法使用在与外科手术装置相关联的一个或多个显示器上渲染的外科手术场景的视觉表示图在外科手术过程期间提供视觉反馈。该方法包括使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中由一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。该方法还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中一个或多个图像传感器从第一组织类型所接收的第二波长范围的电磁辐射的量大于针对第二组织类型接收的第一波长范围的电磁辐射的量。该方法进一步包括使用基本上白光的照射获得外科手术场景的第三图像的表示图，以及在一个或多个显示器上呈现外科手术场景的视觉表示图，其中该视觉表示图使用第一和第二图像的表示图结合第三图像的表示图来渲染。
在另一方面中，该文件的特征在于一种外科手术系统，该外科手术系统包括一个或多个显示设备，被配置为接收从外科手术场景反射或透射的电磁辐射的一个或多个传感器以及一个或多个处理设备。一个或多个处理设备被配置为使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。处理设备还被配置为使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中一个或更多个图像传感器从第二组织类型接收的第二波长范围的电磁辐射的量基本不同于针对第一组织类型接收的第二波长范围的电磁辐射的量。处理设备还被配置为在一个或多个显示器上呈现外科手术场景的视觉表示图，其中视觉表示图使用第一图像的表示图和第二图像的表示图来渲染。
在另一方面中，该文件的特征在于一种外科手术系统，该外科手术系统包括一个或多个显示设备，配置为接收从外科手术场景反射或透射的电磁辐射的一个或多个图像传感器，以及一个或多个处理设备。一个或多个处理设备被配置为使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。处理设备还被配置为使用基本上白光的照射来获得外科手术场景的第二图像的表示图，并且在一个或多个显示器上呈现外科手术场景的视觉表示图，其中视觉表示图使用第一图像的表示图结合第二图像的表示图来渲染。
在另一方面中，该文件的特征在于一种外科手术系统，该外科手术系统包括一个或多个显示设备，配置为接收从外科手术场景反射或透射的电磁辐射的一个或多个图像传感器以及一个或多个处理设备。一个或多个处理设备被配置为使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。处理设备还被配置为使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第二波长范围的电磁辐射的量大于针对第二组织类型接收的第一波长范围的电磁辐射的量。处理设备还被配置为使用基本白光照射来获得外科手术场景的第三图像的表示图，并且在一个或多个显示器上呈现外科手术场景的视觉表示图，其中该视觉表示图使用第一和第二图像的表示图结合第三图像的表示图来渲染。
在另一方面中，本文件的特征在于用机器可读指令编码的一种或多种机器可读非暂时性存储设备，该机器可读指令被配置成使一个或多个处理设备执行各种操作。所述操作包括使用位于可见波长范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。所述操作还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中一个或多个图像传感器从第二组织类型接收到的第二波长范围的电磁辐射量基本上不同于针对第一组织类型接收的第二波长范围的电磁辐射的量。所述操作还包括在一个或多个显示器上呈现外科手术场景的视觉表示图，其中使用第一图像的表示图和第二图像的表示图来渲染视觉表示图。
在另一方面中，本文件的特征在于用机器可读指令编码的一个或多个机器可读非暂时性存储设备，该机器可读指令被配置为使一个或多个处理设备执行各种操作，这些操作包括使用位于可见波长范围之外的第一波长范围的电磁辐射获得外科手术场景的第一图像的表示图，其中图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二组织类型接收的第一波长范围的电磁辐射的量。该操作还包括使用基本白光的照射获得外科手术场景的第二图像的表示图，以及在一个或多个显示器上呈现外科手术场景的视觉表示图，其中该视觉表示图使用第一图像的表示图结合第二图像的表示图来渲染。
在另一方面中，本文件的特征在于用机器可读指令编码的一个或多个机器可读非暂时性存储设备，该机器可读指令被配置为使一个或多个处理设备执行各种操作，这些操作包括使用处于可见波长范围之外的第一波长范围的电磁辐射获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第一波长范围的电磁辐射的量低于针对第二种组织类型接收到的第一波长范围的电磁辐射的量。所述操作还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图，其中一个或多个图像传感器从第一组织类型接收的第二波长范围的电磁辐射的量大于针对第二组织类型接收的第一波长范围的电磁辐射的量。所述操作还包括：使用基本上白光的照射来获得外科手术场景的第三图像的表示图；以及在一个或多个显示器上呈现外科手术场景的视觉表示图，其中所述视觉表示图使用第一和第二图像的表示图结合与第三图像的表示图来渲染。
在另一方面中，该文件的特征在于一种使用在与外科手术设备相关联的一个或多个显示器上渲染的外科手术场景的视觉表示图在外科手术过程期间提供视觉反馈的方法。该方法包括使用位于可见波长范围之外的波长范围的电磁辐射来获得外科手术场景的图像的表示图，其中由一个或多个传感器从胶原蛋白接收的该波长范围的电磁辐射的量小于针对脂质所接收的波长范围的电磁辐射量，并且使用图像表示图在一个或多个显示器上呈现外科手术场景的视觉表示图。
以上各方面的实施方式可以包括以下所述中的一个或多个。
输入设备可以用于接收用户输入以控制外科手术设备的至少一部分，其中响应于呈现视觉表示图来接收用户输入。在一些实施方式中，用户输入使得能够在视觉表示图和正常外科手术视图之间进行切换。第一组织类型可以是胶原蛋白，并且第二组织类型可以是脂质。视觉表示图可以包括在输尿管的表示图和周围脂质层的表示图之间的增强的可见差异。第一波长范围和第二波长范围中的每一个可以在700-2000nm的范围内。第一波长范围可以是1300-1350nm，并且第二波长范围可以是1200-1250nm。
分别使用第一或第二波长范围的电磁辐射来获得外科手术场景的第一图像或第二图像的表示图，可以包括使用第一波长范围或第二波长范围的电磁辐射来照射外科手术场景，并且使用由一个或多个传感器捕获的数据分别生成第一图像或第二图像的表示图，其中一个或多个传感器被配置为感测从外科手术场景反射或透射的电磁辐射的部分。使用第一波长范围或第二波长范围内的电磁辐射照射外科手术场景可以包括在第一时间段期间使用第一波长范围内的电磁辐射照射外科手术场景，以及在与第一时间段至少部分地不重叠的第二时间段期间使用第二波长范围内的电磁辐射照射外科手术场景。分别使用在第一或第二波长范围内的电磁辐射来获得外科手术场景的第一或第二图像的表示图可以包括：使用包括多个波长的宽带电磁辐射来照射外科手术场景；以及使用由第一传感器捕获的数据生成第一图像的表示图，该第一传感器被配置为感测从外科手术场景反射或透射的电磁辐射的第一部分，其中电磁辐射的第一部分通过第一滤波器，该第一滤波器被配置为选择性地使第一波长范围内的电磁辐射通过，以及使用由第一传感器或第二传感器捕获的数据生成第二图像的表示图，该第二传感器被配置为感测从外科手术场景反射或透射的电磁辐射的第二部分，其中电磁辐射的第二部分通过第二滤波器，该第二滤波器被配置为选择性地使第二波长范围内的电磁辐射通过。分别使用在第一或第二波长范围内的电磁辐射来获得外科手术场景的第一或第二图像的表示图可以包括：使用包括多个波长的宽带电磁辐射来照射外科手术场景；使用由第一传感器捕获的数据来生成第一图像的表示图，该第一传感器被配置为选择性地感测从外科手术场景反射或透射的第一波长范围内的电磁辐射的第一部分，并使用由第一传感器或第二传感器捕获的数据生成第二图像的表示图，该第二传感器被配置为选择性地感测从外科手术场景反射或透射的第二波长的电磁辐射的第二部分。
可以基于位于可见波长范围之外的第三波长范围来获得外科手术场景的第三图像的表示图，并且可以在显示器上呈现外科手术场景的视觉表示图，其中视觉表示图也使用第三图像的表示图来呈现。可以选择第三波长范围，使得脂质对第三波长范围内的电磁辐射的吸收基本上等于胶原蛋白对第三波长范围内的电磁辐射的吸收。可以选择第三波长范围，使得脂质对第三波长范围内的电磁辐射的吸收与胶原蛋白对第三波长范围内的电磁辐射的吸收基本不同。可以通过位于可见波长范围内的第三波长范围生成第一图像的表示图。可以通过位于可见波长范围内的第四波长范围生成第二图像的表示图，并且可以将第一图像和第二图像的表示图进行组合以生成外科手术场景的视觉表示图。
本文描述的一些或所有实施例可以提供以下优点中的一个或多个。可以增强在外科医生的显示设备上呈现的图像中的两种或更多种不同类型的组织之间的可见差异。在一些情况下，其中不同的组织类型彼此相邻，这可以帮助外科医生仅进入期望的组织，从而潜在地提高外科手术过程的准确性。例如，通过明智地选择增强胶原蛋白和脂质之间的差异的成像波长，本文所述的技术可以允许在周围脂质层存在的情况下改善(主要由胶原蛋白组成)尿道的可视化。这进而可以帮助一些外科医生，特别是经验不足的外科医生，以更有信心在远程外科手术系统上进行外科手术。
附图说明
图1A是计算机辅助的远程操作外科手术系统的示例患者侧推车的透视图。
图1B是计算机辅助的远程操作外科手术系统的示例外科医生控制台的正视图。
图1C是计算机辅助的远程操作外科手术系统的示例性机器人操纵器臂组件的侧视图。
图2是曲线图的集合，其示出了关于人体中不同材料和组织吸收电磁辐射的实验结果。
图3A示出了在宽带图像中捕获的存在相邻脂肪层的人体中的输尿管。
图3B示出了根据本文描述的技术在减小频带的图像中捕获的与图3A相同的人体的相同部分。
图4是示出在外科手术过程期间提供视觉反馈的示例过程的流程图。
具体实施方式
该文件描述了在某些情况下改善诸如微创机器人外科手术(在本文中也称为微创外科手术(MIS))的图像引导外科手术过程期间外科手术部位和解剖部分的可视化的技术。例如，该技术允许增强外科手术控制台上显示的外科手术部位处不同组织类型之间的可见差异。在某些情况下，这进而可以允许改善组织的可视化，其中该组织的可视化否则在存在不同种类的相邻组织的情况下可能更加难以区别。例如，人输尿管通常被嵌入脂肪层内，并且当使用可见光范围内的波长成像时，区分输尿管的位置可能具有挑战性。本文所述的技术允许进行减小频带的成像，其中成像波长被选择以增强外科医生的控制台或显示设备上渲染的表示图中的组织之间的可见差异。在输尿管和脂肪的示例中，成像波长可以被选择，以使胶原蛋白(输尿管的主要成分)与脂肪的吸收特性对于选择波长有所不同，从而具有捕获、处理和/或增强图像的能力，其中在外科医师控制台上渲染的图像中，输尿管和周围脂肪层之间的可见差异得到了增强。在某些情况下，这可以导致输尿管与相邻的和覆盖的脂肪层更加区分开，并且因此使外科医生能够更有信心地在外科手术部位导航，因为与使用可见光范围内的波长对外科手术部位成像的情况相比(其中精细结构被中间的组织层遮盖或相对于周围环境不明显)，精细结构的位置更加突出。在某些情况下，本文所述的技术可能对新外科医生特别有用，他们可能会发现本申请有益于能够更轻松地将输尿管与周围的脂肪层区分开。
主要根据使用da外科手术系统的实施方式来描述技术的各方面，该系统由加利福尼亚州桑尼维尔的Intuitive Surgical，Inc.商业化。此类外科手术系统的示例是XiTM外科手术系统(型号IS4000)和/>SiTMHDTM外科手术系统(型号IS3000)。应当理解，本文公开的方面可以以各种方式来体现和实现，包括计算机辅助、非计算机辅助以及手动和计算机辅助实施例和实施方式的混合组合。关于da/>外科手术系统的实施方式(例如，型号IS4000、型号IS3000、型号IS2000、型号IS1200)仅出于示例性目的而描述，而不应视为限制本公开的创造性方面的范围。适用时，创造性方面可以在相对较小的手持式手动设备和具有附加机械支撑的相对较大的系统这两者中以及在计算机辅助的远程操作医疗设备的其他实施例中体现和实现。
参考图1A和图1B，用于微创计算机辅助远程外科手术的系统(也称为MIS)可以包括患者侧推车100和外科医生控制台40。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控制，例如，通过伺服机构或类似物来操纵外科器械移动，而不是用手直接保持和移动器械。机器人可操纵的外科手术器械可以被插入通过小型的微创外科手术孔口，以治疗患者体内外科手术部位的组织，从而避免了因进行开放外科手术而造成的创伤。这些机器人系统可以充分灵活地移动外科手术器械的工作端，以执行相当复杂的外科手术任务，这通常是通过使器械的轴在微创孔口处枢转，使轴轴向地穿过孔口滑动，使轴在孔口内旋转，和/或通过类似方法来实现的。
在所示实施例中，患者侧推车100包括基座110、第一机器人操纵器臂组件120、第二机器人操纵器臂组件130、第三机器人操纵器臂组件140和第四机器人操纵器臂组件150。每个机器人操纵器臂组件120、130、140和150可枢转地耦连到基座110。在一些实施例中，作为患者侧推车100的一部分，可以包括少于四个或多于四个的机器人操纵器臂组件。虽然在所示实施例中，基座110包括脚轮以允许容易移动，但是在一些实施例中，患者侧推车100被固定地安装到地板、天花板、外科手术台、结构框架或类似物。
在典型的应用中，机器人操纵器臂组件120、130、140或150中的两个保持外科手术器械，而第三个保持立体内窥镜。其余的机器人操纵器臂组件是可用的，以便可以在外科手术部位处引入其他器械。可替代地，剩余的机器人操纵器臂组件可以用于将第二内窥镜或另一图像捕获设备(诸如超声探头)引入外科手术部位。
每个机器人操纵器臂组件120、130、140和150通常由耦连在一起并通过可致动的接头进行操纵的连杆形成。机器人操纵器臂组件120、130、140和150中的每一个都包括安装臂和设备操纵器。安装臂定位其保持设备，以便在其进入患者的进入孔口处出现枢轴点。设备操纵器然后可以操纵其保持设备，使得其可以绕枢轴点枢转、插入到入口孔口中以及从入口孔口中收回，并且绕其轴的轴线旋转。
在所描绘的实施例中，外科医生控制台40包括立体视觉显示器45，以便用户可以从患者侧推车100的立体摄像机捕获的图像中以立体视觉观看外科手术工作部位。左目镜46和右目镜47被提供在立体视觉显示器45中，从而用户可以通过用户的左眼和右眼分别观看显示器45内的左显示屏和右显示屏。典型地，当在合适的查看器或显示器上观看外科手术部位的图像时，外科医生通过操纵主控制输入设备49在患者身上执行外科手术程序，该主控制输入设备又控制机器人器械的运动。
外科医生控制台40还包括左输入设备41和右输入设备42，用户可以用他/她的左手和右手分别抓住左输入设备41和右输入设备42，以操纵由患者侧推车100的机器人操纵器臂组件120、130、140和150优选地以六个自由度(“DOF”)正在保持的设备(例如外科手术器械)。具有脚趾控件和脚跟控件的脚踏板44被提供在外科医生控制台40上，因此使用者可以控制与脚踏板相关联的设备的移动和/或致动。
处理设备43被提供在外科医生控制台40中，用于控制和其他目的。处理设备43在医疗机器人系统中执行各种功能。处理设备43执行的一项功能是平移和传递输入设备41、42的机械运动，以在其关联的机器人操纵器臂组件120、130、140和150中致动它们各自的接头，以便外科医生可以有效地操纵设备，诸如外科手术器械。处理设备43的另一功能是实现本文描述的方法，交叉耦连控制逻辑和控制器。
处理设备43可以包括一个或多个处理器、数字信号处理器(DSP)和/或微控制器，并且可以被实现为硬件、软件和/或固件的组合。而且，本文描述的其功能可以由一个单元执行或在多个子单元中分配，每个子单元可以依次由硬件、软件和固件的任何组合来实现。此外，尽管被示出为外科医生控制台40的一部分或在物理上邻近于外科医生控制台40，但是处理设备43也可以作为子单元分布在整个远程外科手术系统中。子单元中的一个或多个可以在物理上远离远程外科手术系统(例如，位于远程服务器上)。
还参考图1C，机器人操纵器臂组件120、130、140和150可以操纵诸如外科手术器械之类的设备来执行MIS。例如，在所示的布置中，机器人操纵器臂组件120可枢转地耦连至器械保持器122。套管180和外科手术器械200，并且继而可释放地耦连至器械保持器122。套管180是在外科手术期间位于患者接口部位处的管状构件。套管180限定管腔，外科器械200的细长轴220可滑动地设置在该管腔中。如以下进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地耦连到机器人操纵器臂组件120的远端。在一些实施例中，器械保持器122和机器人操纵器臂组件120的远端之间的可枢转耦连是通过外科医生控制台40和处理器43可致动的机动接头。
器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所示的实施例中，套管夹具126被固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180耦连或从套管180断开。器械保持器托架128可移动地耦连到器械保持器框架124。更具体地，器械保持器托架128沿着器械保持器框架124可线性地平移。在一些实施例中，器械保持器托架128沿着器械保持器框架124的移动是由处理器43可致动/可控制的机动平移移动。外科器械200包括传动组件210、细长轴220和末端执行器230。传动组件210可以与器械保持器托架128可释放地耦连。轴220从传动组件210向远侧延伸。末端执行器230被设置在轴220的远端。
轴220限定了与套管180的纵向轴线重合的纵向轴线222。当器械保持器托架128沿器械保持器框架124平移时，外科器械200的细长轴220沿纵向轴线222移动。以这种方式，末端执行器230可以被插入患者体内的外科手术工作空间，和/或从患者体内的外科手术工作空间收回。
在一些实施方式中，为了增强在外科医生控制台40上渲染的表示图中的不同组织之间的可见差异，可以根据要成像的组织来选择照射波长或波长范围。例如由于光的吸收、反射和/或散射的对应变化，光以不同方式与不同组织相互作用。在一些实施方式中，可以例如基于关于正被成像的对应组织的吸收和/或反射特性的实验知识或理论知识来选择照射波长或波长范围。图2是曲线图的集合，其示出了关于人体中不同材料和组织吸收电磁辐射的实验结果。图2的x轴代表波长，并且y轴代表归一化吸收系数。因此，图2示出了在所描绘的波长范围内人体的各种成分的吸收特性的变化。
根据图2所示的实验结果，可以观察到某些成分的吸收特性在波长的可见范围或频谱中通常是相似的。例如，通过比较脂质(脂肪)的曲线205和胶原蛋白(结缔组织)的曲线210，可以观察到两者的归一化吸收系数在较低波长下通常保持较低(约0.1或更低)，直到约1100nm。该范围包括可见光谱的大约700nm的上限。因此，使用可见光谱的照射对脂质和胶原蛋白进行成像导致两种类型的组织相似吸收，有时使在最终图像中区分它们变得颇具挑战性。这样的一个示例在图3A中示出，其示出了在存在相邻层和覆盖层的脂肪的情况下人体中的输尿管，如使用可见光谱的波长获得的典型宽带图像中所捕获的。部分305代表输尿管在图像中的位置，而部分310代表周围的脂肪层。但是，由于脂质和胶原蛋白的可见光谱特征基本相似，因此输尿管和脂肪层之间的边界可以非常微妙且难以看见。
本文所述的技术可以允许选择近红外(NIR)或红外(IR)光谱中的成像波长，从而可以增强所呈现图像中不同组织(在一个示例中胶原蛋白和脂肪)之间的可见差异。在一些实施方式中，这可以通过根据正在成像的组织在NIR和/或IR范围(例如，在850-2000nm的范围内)中选择特定的波长(或波长范围)并基于此类波长捕获图像来实现。例如，为了增强胶原蛋白和脂质之间的可见差异，可以使用第一波长范围对组织成像，在该第一波长范围，胶原蛋白对电磁辐射的吸收显著高于脂质对电磁辐射的吸收(或相应地，从胶原蛋白反射的或透射通过胶原蛋白的电磁辐射的量低于脂质的对应量)，并使用第二波长对组织成像，在第二波长下，脂质的吸收显著高于胶原蛋白的吸收(或相应地，从脂质反射或透射通过脂质的电磁辐射量低于胶原蛋白的对应量)。在一些实施方式中，这样的互补吸收特性可以使组织所吸收的对应波长显著不同，从而增强所得图像中的可见差异。
在一些实施方式中，可以基于实验数据来选择用于使不同组织成像的特定波长或波长范围。例如，参考图2中的曲线205和210，在约1200nm处脂质的吸收被认为显著高于胶原蛋白的吸收。此外，在约1350nm处胶原蛋白的吸收被认为明显高于脂质的吸收。因此，可以选择波长范围1200-1250nm和1300-1350nm以增强输尿管和相邻脂肪层之间的可见差异。图3B示出了与图3A的人体的相同部分，该部分在使用1200-1250nm和1300-1350nm波长范围的减小频带图像中捕获。在一些实施方式中，代替波长范围，还可以选择一个或多个离散波长来对特定组织进行成像。例如，可以选择1200nm和1350nm波长以增强所得图像中胶原蛋白和脂质之间的可见差异。从图3B可以看出，由于胶原蛋白和脂肪对于选择波长的不同吸收特性，NIR图像可以被呈现以明显地突出图3B中输尿管315的表示图与脂肪层320的表示图之间的差异，与图3A中分别在对应部分305和310之间的差异相比，图3B中输尿管315的表示图与脂肪层320的表示图之间的差异在所呈现的可见图像中被显著增强。
在一些实施方式中，还可以选择一个或多个附加波长或波长范围以对不同组织进行成像。可以基于各种标准来选择附加波长。在一些实施方式中，可以选择第三波长或波长范围以通过使用第三波长来估计外科手术部位的一个或多个特征来改善所呈现的整体图像。例如，可以选择第三波长或波长范围，使得该波长或波长范围的吸收或反射/透射特性对于正被成像的组织基本上相似。在那种情况下，与第三波长或波长范围相关联的反射率提供了局部参考亮度，该参考亮度明显地增强了所关注组织之间的差异。在某些情况下，从人类感知的角度来看这可能很重要，并且可以为外科医生改善渲染图像的清晰度。
在一些实施方式中，还可以选择第三波长或波长范围以进一步改善组织之间的差异性。例如，在使胶原蛋白和脂质成像的情况下，可以选择第三波长或波长范围，使得在选择的波长或波长范围处，胶原蛋白对电磁辐射的吸收显著高于脂质的吸收，或相应地，从胶原蛋白反射或透射通过胶原蛋白的电磁辐射的量低于脂质的对应量。也可以选择具有相反特性的波长或波长范围。例如，可以选择第三波长或波长范围，使得在选择的波长或波长范围处，脂质对电磁辐射的吸收明显高于胶原蛋白的吸收，或者相应地，从脂质反射或透射通过脂质的电磁辐射的量低于胶原蛋白的相应量。
在一些实施方式中，第三波长或波长范围在可见波长范围之外。在一些实施方式中，第三波长或波长范围在可见波长范围内，使得可见范围和IR/NIR范围内的波长的组合被用于整个成像过程。在某些情况下，这可以改善在外科医生控制台上所渲染的图像的可感知性或清晰度。例如，通过选择600-700nm范围作为第三波长范围，并将使用第一和第二波长范围获得的信息映射到可见范围的适当部分，可以使至少一些成像组织看起来接近自然颜色。在胶原蛋白和脂质的示例中，通过将1300-1350nm波长映射到可见范围的“绿色”部分，将1200-1250nm波长映射到可见范围的“蓝色”部分，并保留可见范围的原始“红色”部分内的600-700nm波长，与不执行映射到可见范围的情况相比，脂质部分可以显得更自然(无需用白色照射捕获正常的彩色图像)。上述映射还可能使血管呈现蓝色，这在某些情况下可以帮助外科医生更轻松地定位血管。
如上所述，可以使用各种类型的成像系统来实现使用选择的一组波长或波长范围的成像过程。在一些实施方式中，摄像机传感器可以包括三个单独的传感器(例如，电荷耦合器件(CCD))或检测器，每个传感器被配置为检测特定的波长或波长范围。例如，这可以通过使用配置为对于特定传感器使适当波长通过的适当滤波器来实现。在某些情况下，传感器本身可以对特定波长范围敏感。例如，互补金属氧化物半导体(CMOS)传感器可以用于1000nm以下的波长，而铟镓砷(InGaAs)传感器可以用于1000nm以上的波长。也可以使用其他类型的成像传感器。
当使用多种类型的传感器和/或滤波器时，它们可以以不同的方式布置在摄像机的传感器阵列中。例如，两种不同类型的传感器和/或滤波器可以以棋盘图案布置在摄像机的传感器阵列上。当使用这种带宽受限的传感器或滤波器时，可以使用宽带照射来照射外科手术部位，该宽带照射使目标组织在选择的波长或波长范围处反射或透射。然后可以由多个传感器同时收集来自组织的反射或透射的电磁辐射，作为多个带宽受限图像的表示图。
在一些实施方式中，相同的传感器可以用于获得多个带宽受限图像的表示图。例如，外科手术部位可以使用不同的波长被顺序照射，并且相同的传感器可以被用于捕获从目标组织透射或反射的电磁辐射。如上所述，可以根据目标组织类型的选择波长来选择照射波长。这样的窄带照射可以例如使用激光源来实现。包括使用上述技术的组合的那些实施方式在内的其他实施方式也在本公开的范围内。在一些实施方式中，在用于组织区分的照射在用于正常白光成像的图像传感器的灵敏度之外的情况下，两个光源可以同时打开。如果图像传感器的灵敏度重叠，则可以根据需要并入一个或多个滤波器。在一些实施方式中，这些滤波器可以是反射的或吸收的。
图4是示出了示例过程400的流程图，该示例过程400使用在与外科手术设备相关联的显示器上渲染的外科手术场景的视觉表示图在外科手术过程期间提供视觉反馈。在一些实施方式中，过程400的至少一部分可以在计算机辅助的远程操作外科手术系统的外科医生的控制台处执行(例如，通过图2中描绘的外科医生的控制台40的处理设备43)。过程400的操作包括使用位于波长的可见范围之外的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图(410)。可以选择第一波长范围(在某些情况下可以包括一个或多个离散波长)，使得从第一组织类型接收的第一波长范围的电磁辐射的量低于从第二种组织类型接收的第一波长范围的电磁辐射的量。在一些实施方式中，第一组织类型可以是胶原蛋白、脂质或肌肉中的一种，并且第二组织类型可以是与第一组织类型不同的一种。例如，第一组织类型可以是胶原蛋白，第二组织类型可以是脂质，如在外科医生的控制台上渲染的那样，这可以增强在对应外科手术部位的图像中输尿管和周围的脂肪层之间的可见差异。
过程400的操作还包括使用位于可见波长范围之外的第二波长范围的电磁辐射来获得外科手术场景的第二图像的表示图(420)。第二波长范围(在某些情况下可能包括一个或多个离散波长)可以被选择使得从第二组织类型接收的第二波长范围的电磁辐射的量与从第一组织类型接收的第二波长范围的电磁辐射的量显著不同。在实施方式中，第一波长范围和第二波长范围中的每一个都在700-2000nm的范围内。例如，第一波长范围可以在1300-1350nm的范围内，并且第二波长范围可以在1200-1250nm的范围内。
在一些实施方式中，获得外科手术场景的第一或第二图像的表示图可以包括使用第一波长或第二波长的电磁辐射照射外科手术场景，并使用由传感器捕获的数据分别生成第一图像或第二图像的表示图，该传感器被配置为感测从外科手术场景反射或透射的电磁辐射的部分。在一些实施方式中，可以选择照射波长，使得从目标组织反射或透射的照射的部分在对应的选择波长范围内。在一些实施方式中，使用电磁辐射照射外科手术场景可以包括在第一时间段期间使用第一波长的电磁辐射照射外科手术场景，以及在第二时间段期间使用第二波长的电磁辐射照射外科手术场景。第二时间段可以与第一时间段完全或至少部分不重叠。
在一些实施方式中，获得外科手术场景的第一图像或第二图像的表示图可以包括：使用包括多个波长的宽带电磁辐射来照射外科手术场景；以及使用分别由第一传感器和第二传感器捕获的数据来生成第一图像和第二图像的表示图。在这样的情况下，第一传感器可以被配置为感测从外科手术场景反射或透射的电磁辐射的第一部分，并且第二传感器可以被配置为感测从外科手术场景反射或透射的电磁辐射的第二部分。可以使用配置为选择性地使第一波长范围内的电磁辐射通过的第一滤波器来生成电磁辐射的第一部分，并且可以使用配置为选择性地使第二波长范围内的电磁辐射通过的第二滤波器来生成电磁辐射的第二部分。
在一些实施方式中，可以基于位于可见波长范围之外的第三波长范围(其可以包括一个或多个离散波长)来获得外科手术场景的第三图像的表示图，并且在显示器上显示外科手术场景的视觉表示图。外科医生控制台上呈现的视觉表示图也可以使用第三图像的表示图来渲染。可以基于各种标准来选择第三波长或波长范围。例如，可以选择第三波长或波长范围，以例如改善所得图像中的总反射率，以进一步改善组织之间的可区分性，和/或改善最终渲染图像的人类感知性。在一些实施方式中，可以基于不同目标组织与第三波长范围内的电磁辐射的相互作用来选择第三波长范围。例如，一种组织类型(例如，脂质)对在第三波长范围内的电磁辐射的吸收可以基本上等于(或明显不同于)不同组织类型(例如，胶原蛋白)对在第三波长范围内的电磁辐射的吸收。
过程400的操作还可以包括在显示器上呈现外科手术场景的视觉表示图，其中视觉表示图通过使用第一图像的表示图和第二图像的表示图来渲染(430)。在一些实施方式中，可以以各种方式来处理第一图像和第二图像的表示图，以改善视觉表示图的清晰度和/或呈现。例如，第一和/或第二图像的表示图可以被映射到其他部分的光谱上(例如，在可见光谱范围内)，以调整视觉表示图的外观。例如，可以这样做以影响代表不同组织的颜色。在一个特定的示例中，通过将1300-1350nm的范围映射到可见光谱的“绿色”部分，将1200-1250nm的范围映射到可见光谱的“蓝色”部分，并且在可见光谱中的“红色”部分内选择第三波长，可以使视觉表示图中的脂肪颜色看起来自然(或至少接近自然)，并且可以使血管呈现蓝色。在某些情况下，颜色映射可以根据外科医生对组织类型做出的典型假设来进行，并且/或者提高外科医生对视觉表示图的理解。在一些实施方式中，可以使用其他形式的呈现。例如，可以以画中画配置呈现小的嵌入式灰度图像，该灰度图像对应于第一图像或第二图像，或者使用来自第一图像和第二图像的某种信息组合生成的图像。
上述过程的其他变型也是可能的。例如，第一图像的表示图(对应于第一波长范围)和第二图像的表示图(对应于第二波长范围)可以与可见光图像(在基本上白光照射下获得)结合使用，以在显示器上呈现外科手术场景的视觉表示图。第一图像和第二图像可以单独地或组合地用于修改白光图像以增加特定组织特征的视觉显著性。在一些实施方式中，可以使第二图像的捕获和使用为可选的，并且在生成视觉表示图时，可以仅将第一图像与可见光图像结合使用。白光图像呈现具有特定特征的图像，该特定特征通过第一和(可选)第二波长范围来区分。
本文描述的功能或其部分及其各种修改(以下称为“功能”)可以至少部分地通过计算机程序产品(例如，有形地体现在信息载体(诸如一个或多个非暂时性机器可读介质或存储设备)中的计算机程序)来实现，以由一个或多个数据处理装置执行或控制一个或多个数据处理装置的操作，其中数据处理装置是例如可编程处理器、DSP、微控制器、计算机、多台计算机和/或可编程逻辑部件。
计算机程序可以以任何形式的编程语言(包括编译或解释语言)编写，并且可以以任何形式进行部署，包括作为独立程序或作为模块、部件、子例程或适用于计算环境的其他单元。计算机程序可以被部署以由在一个站点处的一个或多个处理设备执行，或者由分布在多个站点上并通过网络互连的一个或多个处理设备执行。
与实现全部或部分功能相关联的动作可以由执行一个或多个计算机程序以执行本文所述过程的功能的一个或多个可编程处理器或处理设备来执行。所有或部分功能可以实现为专用逻辑电路，例如FPGA和/或ASIC(专用集成电路)。
例如，适合于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。
尽管本说明书包含许多特定的实施方式细节，但是这些不应被解释为对任何发明或所要求保护的范围的限制，而应被解释为对特定发明的特定实施例而言特定的特征的描述。在本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地或以任何合适的子组合来实现。此外，尽管特征在本文中可能被描述为以某些组合起作用并且甚至最初如此声称，但是在某些情况下，所要求保护的组合中的一个或多个特征可以从该组合中切除，并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作，但这不应理解为要求以所示的特定顺序或以连续的顺序执行这种操作，或者执行所有示出的操作以实现期望的效果。在某些情况下，多任务和并行处理可能是有利的。此外，本文描述的实施例中的各种系统模块和部件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序部件和系统通常可以被集成在一起形成单个产品或包装成多种产品。
在可行的情况下，参考一个实施例、实施方式或应用详细描述的元件可以任选地被包括在没有具体示出或描述的其他实施例、实施方式或应用中。例如，如果参照一个实施例详细描述了一个元件，而未参照第二实施例对它进行描述，则该元件仍可以被要求包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施方式或应用相关联示出和描述的一个或多个元件可以被结合到其他实施例、实施方式或各方面中，除非另外具体说明，除非一个或多个元件将使实施例或实施方式不起作用，或者除非两个或更多个元件提供冲突的功能。
已经描述了本主题的特定实施例。其他实施例在所附权利要求的范围内。

Claims (33)

1.一种用机器可读指令编码的一个或多个机器可读非暂时性存储设备，所述机器可读指令被配置成使一个或多个处理设备执行一种方法，所述方法包括：
使用位于可见波长范围之外的并且位于近红外或红外波长范围的第一波长范围的电磁辐射获得外科手术场景的第一图像的表示图，其中一个或多个传感器从第一组织类型接收的所述第一波长范围的电磁辐射的量小于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用位于所述可见波长范围之外的并且位于近红外或红外波长范围的第二波长范围的电磁辐射获得所述外科手术场景的第二图像的表示图，其中所述一个或多个传感器从所述第二组织类型接收的所述第二波长范围的电磁辐射的量与针对所述第一组织类型接收的所述第二波长范围的电磁辐射的量基本不同；以及
在与外科手术设备相关联的一个或多个显示器上呈现所述外科手术场景的视觉表示图，其中所述视觉表示图使用所述第一图像的所述表示图和所述第二图像的所述表示图来渲染。
2.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中所述方法还包括：
经由输入设备接收用于控制所述外科手术设备的至少一部分的用户输入，其中响应于呈现所述视觉表示图来接收所述用户输入。
3.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中所述第一组织类型是胶原蛋白，并且所述第二组织类型是脂质。
4.根据权利要求3所述的一个或多个机器可读非暂时性存储设备，其中所述视觉表示图包括输尿管的表示图与周围脂质层的表示图之间的增强的可见差异。
5.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中所述第一波长范围和所述第二波长范围中的每个在700-2000nm的范围内。
6.根据权利要求5所述的一个或多个机器可读非暂时性存储设备，其中所述第一波长范围是1300-1350nm，并且所述第二波长范围是1200-1250nm。
7.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中分别使用所述第一波长范围或所述第二波长范围的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
输出指令以使用所述第一波长范围或所述第二波长范围的电磁辐射照射所述外科手术场景；以及
使用由所述一个或多个传感器捕获的数据分别生成所述第一图像或所述第二图像的所述表示图，其中所述一个或多个传感器被配置为感测从所述外科手术场景反射或透射的所述电磁辐射的部分。
8.根据权利要求7所述的一个或多个机器可读非暂时性存储设备，其中使用所述第一波长范围或所述第二波长范围中的电磁辐射来照射所述外科手术场景包括：
在第一时间段期间使用所述第一波长范围内的电磁辐射来照射所述外科手术场景；以及
在与所述第一时间段至少部分不重叠的第二时间段期间，使用所述第二波长范围内的电磁辐射来照射所述外科手术场景。
9.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中分别使用所述第一波长范围或所述第二波长范围内的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
使用包括多个波长的宽带电磁辐射来照射所述外科手术场景；
使用由第一传感器捕获的数据来生成所述第一图像的所述表示图，所述第一传感器被配置为感测从所述外科手术场景反射或透射的所述电磁辐射的第一部分，其中所述电磁辐射的所述第一部分通过第一滤波器，所述第一滤波器被配置为选择性地使所述第一波长范围内的电磁辐射通过；以及
使用由所述第一传感器或者第二传感器捕获的数据来生成所述第二图像的所述表示图，所述第二传感器被配置为感测从所述外科手术场景反射或透射的所述电磁辐射的第二部分，其中所述电磁辐射的所述第二部分通过第二滤波器，所述第二滤波器被配置为选择性地使所述第二波长范围内的电磁辐射通过。
10.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中分别使用所述第一波长范围或所述第二波长范围内的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
使用包括多个波长的宽带电磁辐射来照射所述外科手术场景；
使用由第一传感器捕获的数据生成所述第一图像的所述表示图，所述第一传感器被配置为选择性地感测从所述外科手术场景反射或透射的所述第一波长范围内的所述电磁辐射的第一部分；以及
使用由所述第一传感器或第二传感器捕获的数据来生成所述第二图像的所述表示图，所述第二传感器被配置为选择性地感测从所述外科手术场景反射或透射的所述第二波长的所述电磁辐射的第二部分。
11.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中所述方法还包括：
基于位于所述可见波长范围之外的第三波长范围，获得所述外科手术场景的第三图像的表示图；以及
在所述显示器上呈现所述外科手术场景的所述视觉表示图，其中所述视觉表示图也使用所述第三图像的所述表示图来渲染。
12.根据权利要求11所述的一个或多个机器可读非暂时性存储设备，其中选择所述第三波长范围，使得脂质对所述第三波长范围内的电磁辐射的吸收基本上等于胶原蛋白对所述第三波长范围内的电磁辐射的吸收。
13.根据权利要求11所述的一个或多个机器可读非暂时性存储设备，其中选择所述第三波长范围，使得脂质对所述第三波长范围内的电磁辐射的吸收与胶原蛋白对所述第三波长范围内的电磁辐射的吸收基本上不同。
14.根据权利要求1所述的一个或多个机器可读非暂时性存储设备，其中所述方法还包括：
在位于所述可见波长范围内的第三波长范围内生成所述第一图像的所述表示图；
在位于所述可见波长范围内的第四波长范围内生成所述第二图像的所述表示图；以及
结合所述第一图像和所述第二图像的所述表示图以生成所述外科手术场景的所述视觉表示图。
15.一种用机器可读指令编码的一个或多个机器可读非暂时性存储设备，所述机器可读指令被配置成使一种或多种处理设备执行一种方法，所述方法包括：
使用位于可见波长范围之外的并且位于近红外或红外波长范围的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的所述第一波长范围的电磁辐射的量低于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用位于所述可见波长范围之外的并且位于近红外或红外波长范围的第二波长范围的电磁辐射来获得所述外科手术场景的第二图像的表示图，其中所述一个或多个图像传感器从第一组织类型接收的所述第二波长范围的电磁辐射的量大于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用基本白光的照射来获得所述外科手术场景的第三图像的表示图；以及
在与外科手术设备相关联的一个或多个显示器上呈现所述外科手术场景的视觉表示图，其中使用所述第一图像和所述第二图像的所述表示图与所述第三图像的所述表示图相结合来渲染所述视觉表示图。
16.根据权利要求15所述的一个或多个机器可读非暂时性存储设备，其中所述第一波长范围在1300-1350nm内，并且所述第二波长范围在1200-1250nm内。
17.根据权利要求15所述的一个或多个机器可读非暂时性存储设备，其中在与所述第一图像和所述第二图像基本相同的时间获得所述第三图像的所述表示图。
18.一种外科手术系统，包括：
一个或多个显示设备；
一个或多个传感器，其被配置为接收从外科手术场景反射或透射的电磁辐射；以及
一种或多种处理设备，其被配置为执行一种方法，所述方法包括：
使用位于可见波长范围之外的并且位于近红外或红外波长范围的第一波长范围的电磁辐射获得所述外科手术场景的第一图像的表示图，其中一个或多个传感器从第一组织类型接收的所述第一波长范围的电磁辐射的量小于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用位于所述可见波长范围之外的并且位于近红外或红外波长范围的第二波长范围的电磁辐射获得所述外科手术场景的第二图像的表示图，其中所述一个或多个传感器从所述第二组织类型接收的所述第二波长范围的电磁辐射的量与针对所述第一组织类型接收的所述第二波长范围的电磁辐射的量基本不同；以及
在与外科手术设备相关联的一个或多个显示器上呈现所述外科手术场景的视觉表示图，其中所述视觉表示图使用所述第一图像的所述表示图和所述第二图像的所述表示图来渲染。
19.根据权利要求18所述的系统，还包括：
输入设备，其被配置为接收用于控制所述外科手术设备的至少一部分的用户输入，其中响应于呈现所述视觉表示图来接收所述用户输入。
20.根据权利要求18所述的系统，其中所述第一组织类型是胶原蛋白，并且所述第二组织类型是脂质。
21.根据权利要求20所述的系统，其中所述视觉表示图包括输尿管的表示图与周围脂质层的表示图之间的增强的可见差异。
22.根据权利要求18所述的系统，其中所述第一波长范围和所述第二波长范围中的每一个在700-2000nm的范围内。
23.根据权利要求22所述的系统，其中所述第一波长范围是1300-1350nm，并且所述第二波长范围是1200-1250nm。
24.根据权利要求18所述的系统，其中分别使用所述第一波长范围或所述第二波长范围的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
使用所述第一波长范围或所述第二波长范围的电磁辐射照射所述外科手术场景；以及
使用所述一个或多个传感器捕获的数据分别生成所述第一图像或所述第二图像的所述表示图。
25.根据权利要求24所述的系统，其中使用所述第一波长范围或所述第二波长范围中的电磁辐射来照射所述外科手术场景包括：
在第一时间段期间使用所述第一波长范围内的电磁辐射照射所述外科手术场景；以及
在与所述第一时间段至少部分不重叠的第二时间段期间，使用所述第二波长范围内的电磁辐射照射所述外科手术场景。
26.根据权利要求18所述的系统，其中分别使用所述第一波长范围或所述第二波长范围内的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
使用包括多个波长的宽带电磁辐射照射所述外科手术场景；
使用所述一个或多个图像传感器中的第一传感器捕获的数据来生成所述第一图像的所述表示图，所述第一传感器被配置为感测从所述外科手术场景反射或透射的所述电磁辐射的第一部分，其中所述电磁辐射的所述第一部分通过第一滤波器，所述第一滤波器被配置为选择性地使所述第一波长范围内的电磁辐射通过；以及
使用由所述一个或多个传感器中的所述第一传感器或第二传感器捕获的数据来生成所述第二图像的所述表示图，所述第二传感器被配置为感测从所述外科手术场景反射或透射的所述电磁辐射的第二部分，其中所述电磁辐射的所述第二部分通过第二滤波器，所述第二滤波器被配置为选择性地使所述第二波长范围内的电磁辐射通过。
27.根据权利要求18所述的系统，其中分别使用所述第一波长范围或所述第二波长范围内的电磁辐射来获得所述外科手术场景的所述第一图像或所述第二图像的所述表示图包括：
使用包括多个波长的宽带电磁辐射照射所述外科手术场景；以及
使用由所述一个或多个传感器中的第一传感器捕获的数据生成所述第一图像的所述表示图，所述第一传感器被配置为选择性地感测从所述外科手术场景反射或透射的所述第一波长范围内的所述电磁辐射的第一部分；以及
使用由所述一个或多个传感器中的所述第一传感器或第二传感器捕获的数据来生成所述第二图像的所述表示图，所述第二传感器被配置为选择性地感测从所述外科手术场景反射或透射的所述第二波长范围内的所述电磁辐射的第二部分。
28.根据权利要求18所述的系统，其中所述一个或多个处理设备还被配置为：
基于位于所述可见波长范围之外的第三波长范围来获得所述外科手术场景的第三图像的表示图；以及
在所述显示器上呈现所述外科手术场景的所述视觉表示图，其中所述视觉表示图也使用所述第三图像的所述表示图来渲染。
29.根据权利要求28所述的系统，其中选择所述第三波长范围，使得脂质对所述第三波长范围内的电磁辐射的吸收基本上等于胶原蛋白对所述第三波长范围内的电磁辐射的吸收。
30.根据权利要求28所述的系统，其中选择所述第三波长范围，使得脂质对所述第三波长范围内的电磁辐射的吸收与胶原蛋白对所述第三波长范围内的电磁辐射的吸收基本上不同。
31.根据权利要求18所述的系统，其中所述一个或多个处理设备还被配置为：
在位于所述可见波长范围内的第三波长范围内生成所述第一图像的所述表示图；
在位于所述可见波长范围内的第四波长范围内生成所述第二图像的所述表示图；以及
结合所述第一图像和所述第二图像的所述表示图以生成所述外科手术场景的所述视觉表示图。
32.一种外科手术系统，包括：
一个或多个显示设备；
一个或多个图像传感器，其被配置为接收从外科手术场景反射或透射的电磁辐射；以及
一个或多个处理设备，其被配置为执行一种方法，所述方法包括：
使用位于可见波长范围之外的并且位于近红外或红外波长范围的第一波长范围的电磁辐射来获得外科手术场景的第一图像的表示图，其中一个或多个图像传感器从第一组织类型接收的所述第一波长范围的电磁辐射的量低于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用位于所述可见波长范围之外的并且位于近红外或红外波长范围的第二波长范围的电磁辐射来获得所述外科手术场景的第二图像的表示图，其中所述一个或多个图像传感器从第一组织类型接收的所述第二波长范围的电磁辐射的量大于针对第二组织类型接收的所述第一波长范围的电磁辐射的量；
使用基本白光的照射来获得所述外科手术场景的第三图像的表示图；以及
在与外科手术设备相关联的一个或多个显示器上呈现所述外科手术场景的视觉表示图，其中使用所述第一图像和所述第二图像的所述表示图与所述第三图像的所述表示图相结合来渲染所述视觉表示图。
33.根据权利要求32所述的系统，其中在与所述第一图像和所述第二图像的所述表示图基本上相同的时间获得所述第三图像的所述表示图。
CN201880068488.8A 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异 Active CN111246818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410143169.6A CN117731393A (zh) 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762561814P 2017-09-22 2017-09-22
US62/561,814 2017-09-22
PCT/US2018/052230 WO2019060733A2 (en) 2017-09-22 2018-09-21 IMPROVING VISIBLE DIFFERENCES BETWEEN DIFFERENT FABRICS IN COMPUTER-ASSISTED REMOTE CONTROLLED SURGERY

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410143169.6A Division CN117731393A (zh) 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异

Publications (2)

Publication Number Publication Date
CN111246818A CN111246818A (zh) 2020-06-05
CN111246818B true CN111246818B (zh) 2024-02-23

Family

ID=65810626

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880068488.8A Active CN111246818B (zh) 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异
CN202410143169.6A Pending CN117731393A (zh) 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410143169.6A Pending CN117731393A (zh) 2017-09-22 2018-09-21 增强计算机辅助远程操作外科手术中不同组织之间的可见差异

Country Status (5)

Country Link
US (2) US11648059B2 (zh)
EP (1) EP3684288A4 (zh)
JP (1) JP7268010B2 (zh)
CN (2) CN111246818B (zh)
WO (1) WO2019060733A2 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1425130A (zh) * 2000-01-19 2003-06-18 三西斯医学股份有限公司 用近红外测量作无创伤性体内组织分类
CN1520782A (zh) * 2003-02-11 2004-08-18 理查德・沃尔夫有限公司 组织的成像诊断设备
WO2016100214A1 (en) * 2014-12-16 2016-06-23 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging
CN105899143A (zh) * 2014-01-02 2016-08-24 皇家飞利浦有限公司 超声导航/组织定征组合
CN106456272A (zh) * 2014-03-17 2017-02-22 直观外科手术操作公司 包括非白光总体照明器的外科手术系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973461A (ja) 1995-09-06 1997-03-18 Shinano Kenshi Co Ltd 音声による文章情報再生装置
US7257437B2 (en) * 2002-07-05 2007-08-14 The Regents Of The University Of California Autofluorescence detection and imaging of bladder cancer realized through a cystoscope
US7016717B2 (en) * 2002-07-05 2006-03-21 The Regents Of The University Of California Near-infrared spectroscopic tissue imaging for medical applications
US8320996B2 (en) * 2004-11-29 2012-11-27 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
CA2604829C (en) * 2005-04-04 2018-05-15 Hypermed, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US8644911B1 (en) * 2006-06-30 2014-02-04 Hypermed Imaging, Inc. OxyVu-1 hyperspectral tissue oxygenation (HTO) measurement system
US20090076396A1 (en) * 2007-09-17 2009-03-19 The General Hospital Corporation Optical wavelength range for high contrast imaging of cancer
KR100952853B1 (ko) * 2008-10-17 2010-04-13 포항공과대학교 산학협력단 다중 적외선 영상 시스템 및 영상화 방법
JP5810050B2 (ja) * 2011-08-31 2015-11-11 富士フイルム株式会社 音響画像生成装置および音響画像生成方法
EP2762066A1 (en) * 2013-02-05 2014-08-06 Koninklijke Philips N.V. System and method for determining vital sign information of a subject
CA2942069C (en) * 2013-03-15 2022-03-01 Synaptive Medical (Barbados) Inc. Surgical imaging systems
JP6123545B2 (ja) 2013-04-22 2017-05-10 株式会社デンソー 車両修理支援システム、サーバ及びコンピュータプログラム
US9407838B2 (en) * 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
EP3071095A4 (en) 2013-11-20 2017-07-26 The George Washington University Systems and methods for hyperspectral analysis of cardiac tissue
EP3277152A4 (en) * 2015-03-25 2018-12-26 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1425130A (zh) * 2000-01-19 2003-06-18 三西斯医学股份有限公司 用近红外测量作无创伤性体内组织分类
CN1520782A (zh) * 2003-02-11 2004-08-18 理查德・沃尔夫有限公司 组织的成像诊断设备
CN105899143A (zh) * 2014-01-02 2016-08-24 皇家飞利浦有限公司 超声导航/组织定征组合
CN106456272A (zh) * 2014-03-17 2017-02-22 直观外科手术操作公司 包括非白光总体照明器的外科手术系统
WO2016100214A1 (en) * 2014-12-16 2016-06-23 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging

Also Published As

Publication number Publication date
CN117731393A (zh) 2024-03-22
EP3684288A2 (en) 2020-07-29
JP7268010B2 (ja) 2023-05-02
CN111246818A (zh) 2020-06-05
US11648059B2 (en) 2023-05-16
JP2020534063A (ja) 2020-11-26
EP3684288A4 (en) 2021-04-21
WO2019060733A3 (en) 2019-05-23
US20200289203A1 (en) 2020-09-17
US20230225795A1 (en) 2023-07-20
WO2019060733A2 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN109890311B (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
KR102119534B1 (ko) 수술 로봇 및 그 제어방법
CN112689995B (zh) 多带通拜耳图案滤波器
US11918306B2 (en) Multi-dimensional visualization in computer-assisted tele-operated surgery
CN113038864A (zh) 配置为生成三维信息并计算估计区域的医学观察系统和相应方法
EP3870021B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
CN111246818B (zh) 增强计算机辅助远程操作外科手术中不同组织之间的可见差异
US20220015857A1 (en) Illumination corrected near-infrared (nir) imaging for image guided surgery
CN113164022B (zh) 用于图像引导外科手术的照射校正的近红外(nir)成像
US11980347B2 (en) Combining near-infrared information with colored images in image-guided surgery
US20220015617A1 (en) Determining chromophore concentrations in tissues
US20220015616A1 (en) Combining near-infrared information with colored images in image-guided surgery
EP4262574A1 (en) Surgical systems with devices for both intraluminal and extraluminal access
WO2023052951A1 (en) Surgical systems with intraluminal and extraluminal cooperative instruments
EP4216845A1 (en) Surgical systems for independently insufflating two separate anatomic spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant