CN112689995B - 多带通拜耳图案滤波器 - Google Patents

多带通拜耳图案滤波器 Download PDF

Info

Publication number
CN112689995B
CN112689995B CN201980059682.4A CN201980059682A CN112689995B CN 112689995 B CN112689995 B CN 112689995B CN 201980059682 A CN201980059682 A CN 201980059682A CN 112689995 B CN112689995 B CN 112689995B
Authority
CN
China
Prior art keywords
wavelength range
passband
image
electromagnetic radiation
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980059682.4A
Other languages
English (en)
Other versions
CN112689995A (zh
Inventor
W·J·库尔曼
J·M·迪卡洛
I·E·麦克道尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN202311047343.9A priority Critical patent/CN117354636A/zh
Publication of CN112689995A publication Critical patent/CN112689995A/zh
Application granted granted Critical
Publication of CN112689995B publication Critical patent/CN112689995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552—Details of sensors specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/043—Picture signal generators using solid-state devices having a single pick-up sensor using an alternating colour separation filter, e.g. colour wheel or colour LCD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/044—Picture signal generators using solid-state devices having a single pick-up sensor using sequential colour illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种图像感测设备，包括：像素阵列，该像素阵列包括两个或更多个光电传感器元件；第一光学滤波器，该第一光学滤波器设置在像素阵列的第一光电传感器元件上；第二光学滤波器，该第二光学滤波器设置在像素阵列的第二光电传感器元件上。第一光学滤波器被配置为使得第一光学滤波器的光谱响应包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，其中第一通带和第二通带被第一阻带分开。第二光学滤波器被配置为使得第二光学滤波器的光谱响应包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，其中第三通带和第四通带被第二阻带分开。

Description

多带通拜耳图案滤波器
优先权要求
本申请要求在2018年7月12日提交的美国临时申请62/697,102的优先权，其全部内容通过引用并入本文。
技术领域
本公开涉及用于微创计算机辅助的远程操作手术的装置和方法。
背景技术
正在开发用于手术的微创远程手术系统，以增加外科医生的灵活性并允许外科医生从远处位置对病人进行手术。远程手术为手术系统的通用术语，其中外科医生使用某种形式的远程控制件(例如，伺服机构或类似物)来操纵手术器械的移动，而不是直接用手握住并移动器械。在这样的远程操作手术系统中，外科医生被提供有远程位置处的手术部位的图像。外科医生通过操纵主控输入装置对患者执行手术程序，该主控输入装置继而控制机器人器械的运动。
发明内容
在一个方面，该文件的特征在于一种图像感测设备，该图像感测设备包括：像素阵列，该像素阵列包括两个或更多个光电传感器元件；第一光学滤波器，该第一光学滤波器设置在像素阵列的第一光电传感器元件上；第二光学滤波器，该第二光学滤波器设置在像素阵列的第二光电传感器元件上。第一光学滤波器被配置为使得第一光学滤波器的光谱响应包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，其中第一通带和第二通带被第一阻带分开。第二光学滤波器被配置为使得第二光学滤波器的光谱响应包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，其中第三通带和第四通带被第二阻带分开。在某些情况下，第一阻带的一部分与第二阻带的一部分重叠。在某些情况下，第一波长范围在可见波长范围内，并且第二波长范围在可见波长范围之外。在某些情况下，第一和第二波长范围包括400-1700nm。在某些情况下，第一波长范围为400-800nm，而第二波长范围约为800-1700nm。这种划分允许轻松捕获可见图像。在某些情况下，例如，波长范围为三峰的，其中三个波长范围为例如400-650nm、650-900nm和900-1700nm。在其他情况下，不同的波长范围是可能的，以便捕获可见和红外波长光谱的所有部分(例如400-1700nm)。在另一方面，该文件的特征在于一种图像感测设备，该图像感测设备包括：像素阵列，该像素阵列包括两个或更多个光电传感器元件；第一光学滤波器，该第一光学滤波器设置在像素阵列的第一光电传感器元件上；第二光学滤波器，该第二光学滤波器设置在像素阵列的第二光电传感器元件上；以及第三光学滤波器，该第三光学滤波器设置在像素阵列的第三光电传感器元件上。第一光学滤波器被配置为使得第一光学滤波器的光谱响应包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，其中第一通带和第二通带被第一阻带分开。第二光学滤波器被配置为使得第二光学滤波器的光谱响应包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，其中第三通带和第四通带被第二阻带分开。另外，第三光学滤波器被配置为使得第三光学滤波器的光谱响应包括在第一波长范围内的第五通带和在第二波长范围内的第六通带，并且第五通带和第六通带被第三阻带分开。在某些情况下，第一、第二和第三光学滤波器以拜耳图案布置。在某些情况下，第一阻带的一部分与第二阻带的一部分和第三阻带的一部分重叠。
在另一方面，该文件的特征在于一种图像感测设备，该图像感测设备包括：像素阵列，该像素阵列包括两个或更多个光电传感器元件；第一光学滤波器，该第一光学滤波器设置在像素阵列的第一光电传感器元件上；第二光学滤波器，该第二光学滤波器设置在像素阵列的第二光电传感器元件上。第一光学滤波器被配置为使得第一光学滤波器的光谱响应包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，其中第一通带和第二通带被第一阻带分开。第二光学滤波器被配置为使得第二光学滤波器的光谱响应包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，其中第三通带和第四通带被第二阻带分开。该图像感测设备的特征在于一个或多个处理装置，该一个或多个处理装置被配置为使用来自像素阵列的输出信号来生成图像的表示图，并且该图像感测设备的特征在于电路，该电路被配置为将来自像素阵列的输出信号提供给一个或多个处理装置。在某些情况下，一个或多个处理装置被配置为通过组合由在第一波长范围内的像素阵列接收到的电磁辐射和由在第二波长范围内的像素阵列接收到的电磁辐射来生成图像的表示图。在某些情况下，一个或多个处理装置被配置为在一个或多个显示器上呈现图像的表示图。
在另一方面，该文件的特征在于一种手术系统，该手术系统包括：一个或多个显示装置、配置为接收从手术现场反射或透射的电磁辐射的图像感测设备、一个或多个处理装置以及配置为接收用户输入以用于控制手术装置的至少一部分的输入装置。该图像感测设备包括：像素阵列，该像素阵列包括两个或更多个光电传感器元件；第一光学滤波器，该第一光学滤波器设置在像素阵列的第一光电传感器元件上；第二光学滤波器，该第二光学滤波器设置在像素阵列的第二光电传感器元件上。第一光学滤波器被配置为使得第一光学滤波器的光谱响应包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，并且第一通带和第二通带被第一阻带分开。第二光学滤波器被配置为使得第二光学滤波器的光谱响应包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，并且第三通带和第四通带被第二阻带分开。一个或多个处理装置被配置为使用第一波长范围内的电磁辐射来获得手术现场的第一图像的表示图，使用第二波长范围内的电磁辐射来获得手术现场的第二图像的表示图，以及在一个或多个显示器上呈现手术现场的视觉表示图。其中使用第一图像的表示图和第二图像的表示图来渲染视觉表示图，并且响应于呈现视觉表示图来接收输入装置的用户输入。
在某些情况下，获得第一图像和第二图像的表示图包括：使用在第一照明范围和第二照明范围内的电磁辐射来照射手术现场；以及响应于使用在第一照明范围和第二照明范围内的电磁辐射来照射手术现场而获得第一图像或第二图像的表示图。在某些情况下，使用第一波长范围或第二波长范围内的电磁辐射来照射手术现场包括在第一时间段期间使用第一照明范围内的电磁辐射来照射手术现场以及在与第一时间段至少部分不重叠的第二时间段期间使用第二照明范围内的电磁辐射来照射手术现场。在某些情况下，第二图像的表示图与第一图像的表示图基本上同时获得。
在另一方面，该文件的特征在于在手术过程期间使用在与手术装置相关联的一个或多个显示器上渲染的手术现场的视觉表示图提供视觉反馈的方法。该方法包括：使用第一照明波长范围内的电磁辐射来照射手术现场，响应于使用在第一照明波长范围内的电磁辐射来照射手术现场，使用包括两个或更多个光电传感器元件的像素阵列来获得手术现场的第一图像的表示图；使用第二照明波长范围内的电磁辐射来照射手术现场，响应于使用在第二照明波长范围内的电磁辐射来照射手术现场，使用像素阵列获得手术现场的第二图像的表示图；并且在一个或多个显示器上呈现手术现场的视觉表示图，其中使用第一图像的表示图和第二图像的表示图来渲染视觉表示图。其中两个或更多个光电传感器元件中的第一光电传感器元件被配置为通过第一滤波器接收电磁辐射，该第一滤波器包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，第一通带和第二通带被第一阻带分开；并且其中两个或更多个光电传感器元件中的第二光电传感器元件被配置为通过第二滤波器接收电磁辐射，该第二滤波器包括在第一波长范围内的第三通带和在第二波长范围内的第四通带，第三通带和第四通带被第二阻带分开。
在某些情况下，第一图像对应于通过第一和第三通带接收到的电磁辐射，并且第二图像对应于通过第二和第四通带接收到的电磁辐射。在某些情况下，使用在第一照明波长范围内的电磁辐射来照射手术现场包括在第一时间段期间照射手术现场；并且其中使用在第二照明波长范围内的电磁辐射来照射手术现场包括在与第一时间段至少部分不重叠的第二时间段期间照射手术现场。在某些情况下，第一和第三通带的第一波长范围位于可见范围内，并且其中第二和第四通带的第二波长范围位于可见范围之外。在某些情况下，第一照明波长范围内的电磁辐射位于可见范围内，并且其中第二照明波长范围内的电磁辐射位于可见范围之外。
在另一方面，该文件的特征在于在手术过程期间使用在与手术装置相关联的一个或多个显示器上渲染的手术现场的视觉表示图提供视觉反馈的方法。该方法包括：使用第一照明波长范围内的电磁辐射来照射手术现场，响应于在第一照明波长范围内的照明，使用包括两个或更多个光电传感器元件的像素阵列来获得手术现场的第一图像的表示图；使用第二照明波长范围内的电磁辐射照射手术现场，并且响应于在第二照明波长范围内的照明，使用像素阵列获得手术现场的第二图像的表示图；使用第三照明波长范围内的电磁辐射来照射手术现场，并且响应于在第三照明波长范围内的照明，使用像素阵列获得手术现场的第三图像的表示图。其中两个或更多个光电传感器元件中的第一光电传感器元件被配置为通过第一滤波器接收电磁辐射，该第一滤波器包括在第一波长范围内的第一通带、在第二波长范围内的第二通带以及在第三波长范围内的第五通带，第一通带和第二通带被第一阻带分开；并且其中两个或更多个光电传感器元件中的第二光电传感器元件被配置为通过第二滤波器接收电磁辐射，该第二滤波器包括在第一波长范围内的第三通带、在第二波长范围内的第四通带和在第三波长范围内的第六通带。第三通带和第四通带被第二阻带分开，并且第一和第二滤波器一起限定了第三阻带，该第三阻带将第五和第六通带与第一、第二、第三和第四通带分开。该方法包括在一个或多个显示器上呈现手术现场的视觉表示图，其中使用第一图像的表示图、第二图像的表示图和第三图像的表示图来呈现视觉表示图。
上述方面的实施方式可以包括以下一者或多者。
输入装置可以用于接收用于控制手术装置的至少一部分的用户输入，其中响应于呈现视觉表示图来接收用户输入。在一些实施方式中，用户输入使得能够在视觉表示图和正常手术视图之间进行切换。第一组织类型可以为胶原蛋白，并且第二组织类型可以为脂质。视觉表示图可以包括输尿管的表示图和周围脂质层的表示图之间的增强的可见差异。在某些情况下，第一波长范围和第二波长范围中的每者在700-2000nm的范围内。在其他情况下，波长范围仅捕获红外或可见光谱的一部分。例如，第一波长范围可以为1300-1350nm，第二波长范围可以为1200-1250nm。
分别使用第一或第二波长范围的电磁辐射获得手术现场的第一或第二图像的表示图可以包括：使用第一波长范围或第二波长范围的电磁辐射来照射手术现场，并且使用由一个或多个传感器捕获的数据生成第一图像或第二图像的表示图，其中一个或多个传感器被配置为感测从手术现场反射或透射的电磁辐射的部分。使用第一波长范围或第二波长范围内的电磁辐射来照射手术现场包括在第一时间段期间使用第一波长范围内的电磁辐射来照射手术现场以及在与第一时间段至少部分不重叠的第二时间段期间使用第二波长范围内的电磁辐射来照射手术现场。可以在位于可见波长范围内的波长范围内生成第一图像的表示图。可以在位于可见波长范围之外的波长范围内生成第二图像的表示图，并且可以将第一图像和第二图像的表示图组合以生成手术现场的视觉表示图。
可以基于位于可见波长范围之外的第三波长范围来获得手术现场的第三图像的表示图，并且可以在显示器上呈现手术现场的视觉表示图，其中还使用第三图像的表示图来渲染视觉表示图。可以选择第三波长范围，使得脂质在第三波长范围内的电磁辐射的吸收与胶原蛋白在第三波长范围内的电磁辐射的吸收基本上相等。可以选择第三波长范围，使得脂质在第三波长内的电磁辐射的吸收与胶原蛋白在第三波长范围内的电磁辐射的吸收基本不同。
本文描述的一些或所有实施例可以提供以下优点中的一个或多个优点。在外科医生的显示装置上呈现的图像中，可以增强两种或更多种不同类型的组织之间的可见差异。在不同的组织类型彼此相邻的某些情况下，这可以帮助外科医生仅进入期望的组织，从而潜在地提高手术过程的精确性。例如，通过明智地选择增强胶原蛋白和脂质之间的差异的成像波长，本文所述的技术可以允许在存在脂质周围层的情况下改善尿道(主要由胶原蛋白组成)的可视化。这继而可以帮助一些外科医生(特别是经验不足的外科医生)以增加的信心在远程手术系统上进行手术。
附图说明
图1A为计算机辅助的远程操作手术系统的示例患者侧推车的透视图。
图1B为计算机辅助的远程操作手术系统的示例外科医生控制台的正视图。
图1C为计算机辅助的远程操作手术系统的示例机器人操纵器臂组件的侧视图。
图2为示出了关于人体中不同材料和组织吸收电磁辐射的实验结果的曲线图的集合。
图3A示出了图像感测设备的图示。
图3B示出了图3A的图像感测设备的光谱响应。
图4A示出了具有拜耳图案滤波器(Bayer pattern filter)的典型成像传感器的光谱响应。
图4B示出了现有技术的图像多光谱感测设备。
图4C示出了图4B的现有技术图像多光谱感测设备的光谱响应。
图4D示出了根据本文描述的技术的示例图像感测设备的光谱响应。
图5A示出了如在使用第一照明范围内的照明获得的第一图像中所捕获的在存在相邻血管的情况下人体中的输尿管。
图5B示出了根据本文所述的技术如图5A中使用第二照明范围内的照明获得的第二图像中捕获的人体的相同部分。
图6为示出在手术过程期间提供视觉反馈的示例过程的流程图。
具体实施方式
本文件描述了允许图像感测设备中的每个像素捕获多个频率范围内的信息的技术。例如，每个像素可以包括具有多个不同通带的前端光学滤波器，使得在由对应频率范围内的电磁辐射照射时，相同像素可以捕获单独的信息通道。这继而允许实现多光谱成像设备，而不必使用会降低设备分辨率的附加像素。在某些情况下，多光谱成像可以在诸如微创机器人手术(在本文中也称为微创手术(MIS))的图像引导的手术过程期间改善手术部位和解剖部分的可视化，而不会不利地影响底层成像设备的分辨率。例如，该技术允许增强外科医生控制台上显示的手术部位处的不同组织类型之间的可见差异。在某些情况下，高分辨率的多光谱成像继而可以允许组织的改善的可视化，否则在存在不同种类的相邻组织的情况下，相邻组织可能相对难以区分。本文所述的技术允许响应于两个不同的照明波长，使用同一组像素生成两个或更多个不同的图像，其中两个或更多个图像中的每个图像表示像素(或像素对应的前端光学滤波器)的不同光谱响应通带。在某些情况下，对应于不同像素的光学滤波器的不同光谱响应通带被分组为两个或更多个不同的波长范围，使得在一个波长范围内的照明下的信息捕获基本上不会影响在(一个或多个)其他波长范围内的照明下的信息捕获。在某些情况下，可以配置光学滤波器的通带(可以选择对应的照明范围)以增强被成像的组织之间的可见差异。
本技术的各方面主要根据使用da 手术系统的实施方式来描述，该手术系统由加利福尼亚州桑尼维尔市(Sunnyvale)的Intuitive Surgical公司出售。此类手术系统的示例为da /> XiTM手术系统(型号IS4000)和da /> SiTMHDTM手术系统(型号IS3000)。然而，应当理解，可以以各种方式来实施和实现本文公开的各发明方面，包括计算机辅助的、非计算机辅助的以及手动的和计算机辅助的实施例和实施方式的混合组合。da手术系统(例如，型号IS4000、型号IS3000、型号IS2000、型号IS1200)上的实施方式仅出于说明目的，并且不应视为限制本文公开的各发明方面的范围。适用时，各发明方面可以在相对较小的手持式手动操作装置和具有附加机械支撑的相对较大的系统中以及在计算机辅助的远程操作医疗装置的其他实施例中实施和实现。
参考图1A和图1B，用于微创计算机辅助远程手术的系统(也称为MIS)可以包括患者侧推车100和外科医生控制台40。远程手术为手术系统的通用术语，其中外科医生使用某种形式的远程控制件(例如，伺服机构或类似物)来操纵手术器械移动，而不是直接用手握住并移动器械。可机器人操纵的手术器械可以被插入通过小的微创手术孔中，以治疗患者体内手术部位的组织，从而避免了因进行开放手术而造成的创伤。这些机器人系统可以足够灵活地移动手术器械的工作端，以执行相当复杂的手术任务，这些手术任务通常通过使器械的轴在微创孔处枢转、使轴向穿过孔滑动、使轴在孔内旋转和/或类似操作来实现。
在所描绘的实施例中，患者侧推车100包括基座110，第一机器人操纵器臂组件120、第二机器人操纵器臂组件130、第三机器人操纵器臂组件140和第四机器人操纵器臂组件150。每个机器人操纵器臂组件120、130、140和150可枢转地耦连至基座110。在一些实施例中，可以包括少于四个或多于四个的机器人操纵器臂组件以作为患者侧推车100的一部分。尽管在所描绘的实施例中，基座110包括脚轮以允许容易的移动，但是在一些实施例中，患者侧推车100固定地安装到地板、天花板、手术台、结构框架或类似物上。
在典型的应用中，机器人操纵器臂组件120、130、140或150中的两个固定手术器械，第三机器人操纵器臂组件固定立体内窥镜。可以使用其余的机器人操纵器臂组件，以便可以在手术部位处引入另一器械。可替代地，其余的机器人操纵器臂组件可以用于将第二内窥镜或另一图像捕获装置(诸如超声探头)引入手术部位。
机器人操纵器臂组件120、130、140和150中的每者常规均由耦连在一起的连杆组成，并通过可致动的关节进行操纵。机器人操纵器臂组件120、130、140和150中的每者包括安装臂/设置臂(setup arm)和装置操纵器。安装臂定位其保持的装置，以便在其进入患者的进入孔处出现枢转点。装置操纵器然后可以操纵其保持的装置，使得其可以绕枢转点枢转、插入到进入孔中以及从进入孔中缩回并绕其轴的轴线旋转。
在所描绘的实施例中，外科医生控制台40包括立体视觉显示器45，以便用户可以从患者侧推车100的立体摄像机捕获的图像中以立体视觉观看手术部位。左目镜46和右目镜47设置在立体视觉显示器45中，以便用户可以用用户的左眼和右眼分别观看显示器45内的左显示屏和右显示屏。当在合适的观察器或显示器上典型地观看手术部位的图像时，外科医生通过操纵主控输入装置49对患者执行手术程序，该主控输入装置继而控制机器人器械的运动。
外科医生控制台40还包括用户可以用他/她的左手和右手分别抓握的左输入装置41和右输入装置42，从而优选地以六个自由度(“DOF”)操纵由患者侧推车100的机器人操纵器臂组件120、130、140和150保持的装置(例如，手术器械)。具有脚趾控制件和脚跟控制件的脚踏板44设置在外科医生控制台40上，因此使用者可以控制与脚踏板相关联的装置的移动和/或致动。
为了控制和其他目的，在外科医生控制台40中设置了处理装置43。处理装置43在医疗机器人系统中执行各种功能。处理装置43执行的一项功能是平移和传递输入装置41、42的机械运动，以在其关联的机器人操纵器臂组件120、130、140和150中致动它们各自的关节，以便外科医生可以有效地操纵装置，诸如手术器械。处理装置43的另一功能是实现本文描述的方法、交叉耦合控制逻辑和控制器。
处理装置43可以包括一个或多个处理器、数字信号处理器(DSP)和/或微控制器，并且可以被实现为硬件、软件和/或固件的组合。而且，本文描述的其功能可以由一个单元执行或在多个子单元中划分，每个子单元继而可以由硬件、软件和固件的任何组合来实现。此外，尽管被示为外科医生控制台40的一部分或在物理上邻近于外科医生控制台40，但是处理装置43也可以作为子单元分布在整个远程手术系统中。子单元中的一个或多个子单元可以在物理上远离远程手术系统(例如，位于远程服务器上)。
还参考图1C，机器人操纵器臂组件120、130、140和150可以操纵诸如手术器械之类的装置来执行MIS。例如，在所描绘的布置中，机器人操纵器臂组件120可枢转地耦连至器械支架122。套管180和手术器械200继而可释放地耦连至器械支架122。套管180为在手术期间位于患者接口部位的管状构件。套管180限定管腔，手术器械200的细长轴220可滑动地设置在该管腔中。如以下进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械支架122可枢转地耦连至机器人操纵器臂组件120的远端。在一些实施例中，器械支架122与机器人操纵器臂组件120的远端之间的可枢转耦连为从外科医生控制台40和处理装置43可致动的机动关节。
器械支架122包括器械支架框架124、套管夹126和器械支架滑架128。在所描绘的实施例中，套管夹126固定到器械支架框架124的远端。套管夹126可以被致动以与套管180耦连或从套管180脱离。器械支架滑架128可移动地耦连至器械支架框架124。更具体地，器械支架滑架128可沿器械支架框架124线性平移。在一些实施例中，器械支架滑架128沿器械支架框架124的移动是由处理装置43可致动/可控制的机动平移移动。手术器械200包括传动组件(transmission assembly)210、细长轴220和末端执行器230。传动组件210可以可释放地与器械支架滑架128耦连。轴220从传动组件210向远侧延伸。末端执行器230设置在轴220的远端处。
轴220限定与套管180的纵向轴线重合的纵向轴线222。当器械支架滑架128沿着器械支架框架124平移时，手术器械200的细长轴220沿着纵向轴线222移动。以这种方式，末端执行器230可以被插入患者体内的手术工作空间和/或从其缩回。
在一些实施方式中，为了增强在外科医生控制台40上渲染的表示图中的不同组织之间的可见差异，可以根据被成像的组织来选择照明波长的波长范围。例如由于光的吸收、反射和/或散射的对应变化，光以不同的方式与不同的组织相互作用。在一些实施方式中，可以例如基于关于被成像的对应组织的吸收特性和/或反射特性的实验或理论知识来选择照明波长或波长范围。图2为示出了关于人体中不同材料和组织吸收电磁辐射的实验结果的曲线图的集合。图2的x轴代表波长，并且y轴代表归一化吸收系数。因此，图2示出了在所描绘的波长范围内人体的各种成分的吸收特性的变化。
从图2所描绘的实验结果可以看出，在可见范围或波长光谱中，某些组分的吸收特性通常相似。例如，通过比较脂质(脂肪)的曲线205和胶原蛋白(结缔组织)的曲线212，可以观察到两者的归一化吸收系数通常在较低波长下直到约1100nm保持较低(约0.1或更低)。该范围包括可见光谱的约700nm的上限。因此，使用可见光谱的照明对脂质和胶原蛋白成像致使两种类型的组织具有相似的吸收，这有时使在最终图像中区分它们具有挑战性。其示例在图5A中示出，图5A示出了如在使用可见光谱的波长获得的典型宽带图像中所捕获的在存在相邻和覆盖的脂肪层的情况下的人体中的输尿管。部分501代表输尿管在图像中的位置，而部分502代表周围的组织。然而，由于脂质和胶原蛋白在可见光谱中的特性基本上相似，因此输尿管和周围组织之间的边界可能相当微妙且难以看见。
图3A为图像感测设备300的图示，该图像感测设备300包括光学滤波器阵列310，位于滤波器阵列310下方的像素阵列320以及被配置为处理由像素阵列320捕获的信息的一个或多个处理装置380。阵列320包括多个光电传感器元件323a、323b、323c和323d(323通常也称为像素)，其被配置为响应于入射在像素上的电磁辐射而产生电信号。一个或多个处理装置380与每个光电传感器元件323电连通381，并且被配置为基于接收到的电信号产生一个或多个图像。滤波器阵列310位于阵列320附近并位于阵列320上方，其中各个光学滤波器313a、313b、313c和313d(通常为313)被布置为对入射在对应的光电传感器元件323上的电磁辐射进行滤波。在传统的拜耳图案滤波器阵列中，滤波器313a和313d被配置为使光谱的“红色”和“蓝色”部分中的波长通过，并且滤波器313b和313c被配置为使光谱的“绿色”部分中的波长通过。然而，这种滤波器未被配置为在单独的照明范围内在一个以上的通道中捕获信息。
图4A示出了阵列中的光学滤波器的示例光谱响应400，该阵列包括以典型的拜耳图案布置的三个滤波器，其中滤波器的光谱响应403、405、407被配置为区分可见光谱(例如，350nm至700nm)中的颜色。图4A示出了第一滤波器响应403和第二滤波器响应405，每个都定义了双峰形状，而第三滤波器响应407则没有。另外，第一滤波器响应403和第二滤波器响应405的通带409彼此重叠，并且与第三滤波器响应407的通带408重叠。而且，所有三个滤波器响应403、405、407的光谱响应在近红外的波长范围402(例如，约800nm至1050nm)中是相同的。由于这种相同的光谱响应，具有图4A所示特性的现有技术传感器不能对近红外电磁辐射进行颜色区分。
因为在典型的拜耳图案阵列中使用的光学滤波器不具有能够被分别分组为不同波长范围的多个通带，所以这种光学滤波器不直接用于多光谱成像。相反，传统的多光谱成像方法使用被配置为使对应的附加波长范围内的波长通过的附加光学滤波器。这种滤波器阵列的示例在图4B中示出，其中光学滤波器阵列410位于图像传感器420上方，图像传感器420包括像素阵列。光学滤波器阵列410包括：多个单独的滤波器(P1-P7)，每个单独的滤波器限定可见光谱的不同通带；以及红外滤波器(IR)，其限定红外光谱中的专用通带。图4C示出了图4B的图像传感器的光谱响应，其中每个滤波器(P1-P7)的光谱响应包括可见光谱中的窄通带范围，而红外光学滤波器(IR)的光谱响应包括红外光谱中的非常宽的通带范围。与图4A的典型拜耳图案传感器相比，图4B的传感器的大滤波器阵列410图案的直接结果是分辨率的降低。
相应地，使用附加的滤波器(如图4B所示)需要使用附加的图像感测元件或像素。因此，对于给定数量的可用不动产(real estate)，与四像素拜耳图案传感器相比，使用图4B的光学阵列实施多光谱成像系统会降低成像系统的分辨率。相反，本文描述的技术允许配置光学滤波器，使得(i)每个滤波器具有带干涉阻带的多个通带，并且(ii)阵列中用于不同光学滤波器的通带可以在多个成像波长范围内分组在一起，使得每个这样的成像波长范围包括不超过一个光学滤波器的单个通带。在成像过程期间，如果将照明波长范围约束为使得来自成像目标的反射/折射/透射波长被约束在两个或更多个单独的成像波长范围内，则可以使用相同的像素集来获取两个或更多个对应的图像。例如，可以首先使用第一照明波长范围来照射目标，使得来自目标的所得光被约束在第一成像波长范围内，该第一成像波长范围包括每个不同像素的一个通带。捕获的信息因此可以被处理以生成目标的第一图像。然后可以使用不同的第二照明波长范围来照射目标，使得来自目标的所得光被约束在第二成像波长范围内，该第二成像波长范围包括每个不同像素的一组单独的一个通带。可以处理在第二照明范围的照明下捕获的信息，以生成目标的第二图像。然后可以使用第一图像和第二图像来生成目标的多光谱图像。
现在参考图3B，并且如下面更详细地讨论的，每个光学滤波器313具有在不同波长范围内的至少两个通带，并且每个滤波器313的通带被阻带分开。因此，每个光学滤波器313允许对应的光电传感器元件323在两个不同的波长范围内接收电磁辐射。进一步地，不同光学滤波器的通带被配置为使得与不同光学滤波器对应的第一组通带被界定在与第二波长范围所界定的不同光学滤波器对应的第二组通带不重叠的第一波长范围内。
例如，图3B示出了图3A的图像感测设备300的光谱响应333、335、337的曲线图301。滤波器阵列310的第一滤波器313a被布置成在被阵列320的第一光电感测元件323a接收之前，对电磁辐射进行滤波。第一滤波器313a限定第一光谱响应333，该第一光谱响应333形成在第一波长范围340内的第一通带和在第二波长范围350内的第二通带，如第一光谱响应333的双峰形状所示。第一光谱响应333的双峰形状由将第一通带与第二通带分开的第一阻带363限定。第一阻带363表示比两个通带的频率(例如，第一光谱响应333的两个峰)更强地被第一滤波器313a滤波的电磁辐射的频率。
类似地，滤波器阵列310的第二滤波器313b相对于阵列320的第二光电感测元件325而布置。第二滤波器313b、313c限定第二光谱响应335，该第二光谱响应335形成在第一波长范围340内的第一通带和在第二波长范围350内的第二通带，如第二光谱响应335的双峰形状所示。第二光谱响应335的双峰形状由将第一通带与第二通带分开的第二阻带365限定。第二阻带365表示比两个通带的频率(例如，第二光谱响应335中的两个峰)更强地被第二滤波器313b、313c滤波的电磁辐射的频率。最后，滤波器阵列310的第三滤波器313d相对于阵列320的第三光电感测元件327而布置。第三滤波器313d限定第三光谱响应337，该第三光谱响应337形成在第一波长范围340内的第一通带和在第二波长范围350内的第二通带，如第三光谱响应337的双峰形状所示。第三光谱响应337的双峰形状由将第一通带与第二通带分开的第三阻带367限定。第三阻带367表示比两个通带的频率(例如，第三光谱响应337中的两个峰)更强地被第三滤波器313d滤波的电磁辐射的频率。在某些情况下，滤波器阵列310的阻带363、365、367在第一频率范围340和第二频率范围350之间限定重叠区域391。
在操作中，图像感测设备300被布置为接收来自手术现场的光，并且阵列320将反射到滤波器阵列310的光谱响应的信号传送到处理装置380。然而，因为滤波器313a、313b、313c、313d的光谱响应333、335、337为双峰的，所以可以使用图像感测设备300通过将手术现场主要暴露于第一波长范围340内的照明并生成第一图像，然后照射手术现场以主要在第二波长范围350内照射并生成第二图像来生成两个不同的图像。以这种方式，单个滤波器和阵列320能够使用两个不同的照明来构造两个不同的彩色图像。在某些情况下，为了生成彩色图像，将滤波器阵列310的滤波器313、313b、313c、313d布置成拜耳图案。在某些情况下，第一波长范围340包括可见波长范围的全部或一部分(例如，390nm至700nm)，并且第二波长范围350包括可见光谱之外的红外波长(例如，900nm至1500nm，如图3B所示)。结果，图像感测设备300能够捕获多光谱图像而没有与添加附加像素和滤波器(例如，图4A的传感器)以捕获附加光谱范围相关联的分辨率降低效果。在某些情况下，通过使每个滤波器本身成为双峰或多峰来捕获多光谱图像可能不会产生全阵列优点，并且在某些方面(并且将在下面相对于图4D进行更详细的讨论)，滤波器的通带被配置为使得每组通带被界定在与包括另一组通带的另一波长范围不重叠的波长范围内。
再次参考图3B，因为图像感测设备300被配置为接收来自手术现场的电磁辐射，并且因此照明波长范围不需要与滤波器阵列310的波长范围340、350相同，而是图像感测设备接收到的电磁辐射的波长范围还取决于手术现场中的与在被图像感测设备300感测之前照射手术现场的电磁辐射相互作用的物质/组织的属性。在某些情况下，可以基本上代表第一波长范围内的电磁辐射(例如，取决于第一照明波长范围和手术现场的属性)的第一图像是手术现场的真彩色图像，并且可以基本上代表第二波长范围内的电磁辐射的第二图像是手术现场的伪彩色图像。
如上所述，可以使用各种类型的成像系统来实现使用选定的一组波长或波长范围的成像过程。在一些实施方式中，图像感测设备300是摄像机传感器，其包括由电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)检测器或诸如此类形成的像素阵列，其中每个光电感测元件323、325、327响应于涵盖第一波长范围340和第二波长范围350的波长范围，以使阵列320能够检测滤波器313、313b、313c、313d的两个通带。在某些情况下，并且如下面相对于图4D更详细地描述的，滤波器313、313b、313c、313d可以各自包括三个或更多个通带，其中通带由阻带分开并且将三个或更多个通带分组成三个或更多个对应的波长范围，以便能够响应于三个或更多个对应的照明波长范围内的照明而生成三个或更多个对应的图像。
由于具有两个或更多个不同的响应区域(例如，第一波长范围340和第二波长范围350)的性质，滤波器阵列310也可以被称为多带宽滤波器310，其可以在每个波长范围340、350内产生图像，并且可以将单个图像组合成一个多带宽表示图，该多带宽表示图可以被操纵以提供手术现场的单一视图，但是(例如，来自其中一个图像的)特定的频率范围被突出显示以提高可见性或检测或某些组织类型的结构。在操作中，可以使用不同的光谱来照射手术部位，每个光谱具有与滤波器阵列310的不同灵敏度带对应的照明波长，照明波长使目标组织在滤波器阵列310的选定波长或波长范围处进行反射或透射。来自组织的反射或透射的电磁辐射然后可以由图像感测设备300按顺序收集，以创建不同的图像，其然后可以被进一步处理成一个多带宽图像。
在操作中，图像感测设备可以用于获得多个带宽受限图像的表示图。例如，可以使用不同的窄波长(例如，对应于一个或多个通带)按顺序照射手术部位，并且可以使用相同的图像感测设备300来捕获从目标组织透射或反射的电磁辐射。如上所述，可以根据目标组织类型的选择波长来选择照明波长。这样的窄带照明可以例如使用激光源来实现。包括使用上述技术的组合的那些实施方式在内的其他实施方式也在本公开的范围内。
图4D示出了根据本公开的各方面的滤波器的光谱响应。尽管图3A的图像感测设备300的光谱响应333、335、337的曲线图301示出了具有两个波长范围的滤波器阵列310，但是滤波器阵列310可以根据滤波器313a、313b、313c、313d的各个通带的数量和频率范围来限定三个或更多个波长范围。图4D的当前曲线图401示出了具有三个波长范围440、450、460的滤波器阵列310的光谱响应433、435、437。图4D示出了具有三峰形状的每个光谱响应433、435、437，其中每个光谱响应433、435、437限定了三个波长范围440、450、460中的每个波长范围内的通带。例如，(例如，第一滤波器313a的)第一光谱响应433形成在第一波长范围440内的第一通带443，在第二波长范围450内的第二通带453，以及在第三波长范围460内的第三通带463。(例如，第二滤波器313b、313c的)第二光谱响应435形成在第一波长范围440内的第一通带445，在第二波长范围450内的第二通带455，以及在第三波长范围460内的第三通带467，(例如，第三滤波器313d的)第三光谱响应437形成在第一波长范围440内的第一通带447，在第二波长范围450内的第二通带457，以及在第三波长范围460内的第三通带467。另外，第一波长范围440的通带443、445、447与第二波长范围450的通带453、455、457不同，从而在它们之间形成第一重叠阻带491。类似地，第二波长范围450的通带453、455、457与第三波长范围460的通带463、465、467不同，从而在它们之间形成第二重叠阻带492。在这种配置中，具有图4D的光谱响应的滤波器阵列310可以通过首先用对应于第一波长范围440的照明范围照射手术现场以生成第一图像，然后用对应于第二波长范围450的照明范围照射手术现场以生成第二图像，并最终用对应于第三波长范围460的照明范围照射手术现场以生成第三图像，来生成同一手术现场的至少三个不同图像的表示图。
本文描述的技术可以允许选择近红外(NIR)或红外(IR)光谱中的成像波长，使得可以在所呈现的图像中增强不同组织(在一个示例中，为胶原蛋白和脂肪)之间的可见差异。在一些实施方式中，这可以通过根据正在被成像的组织在NIR和/或IR范围内(例如，在850-2000nm的范围内)选择特定的波长(或波长范围)并且基于此波长捕获图像来实现。例如，并且如图5A和图5B所示，为了增强胶原蛋白和脂质之间的可见差异，可以使用第一波长范围对组织进行成像，该第一波长范围包括可见波长以创建组织的真彩色图像(例如，图5A)，然后使用第二波长范围进行第二次成像，在该第二波长范围内，滤波器阵列310的不同通带对电磁辐射的吸收使胶原蛋白和脂肪具有色差(例如，图5B)。
在一个示例中，滤波器在第二波长范围内的一个通带对电磁辐射的吸收明显高于脂质的吸收(或者，对应地，从胶原蛋白反射或透射通过胶原蛋白的电磁辐射的量低于脂质对应量)，并且滤波器阵列310在第二波长范围内的另一个通带频带中，脂质相对于胶原蛋白的吸收比率明显不同(或者对应地，从脂质反射或透射通过脂质的电磁辐射相比于胶原蛋白的比率是不同的，然后所得的第二图像将以不同的伪彩色表示胶原蛋白和脂肪。在一些实施方式中，这样的互补吸收特性可以使对应的波长被组织吸收得大不相同，从而增强所得图像中的可见差异。
在一些实施方式中，可以基于实验数据来选择用于使不同组织成像的特定波长或波长范围。例如，参考图2中的曲线205和212，可以看出在约1200nm处对脂质的吸收明显高于对胶原蛋白的吸收。另外，可以看出在约1350nm处对胶原蛋白的吸收明显高于对脂质的吸收。因此，可以在第二波长范围内选择1200-1250nm和1300-1350nm的通带，以增强输尿管和相邻脂肪层之间的可见差异。图5A示出了当在可见波长照明范围内被电磁辐射照射时由图像感测设备300捕获的手术现场的真彩色图像，其中输尿管501和周围组织是可见的，但是由于它们的相似的吸收系数而不易识别(如图2所示在可见光谱内)。图5B示出了当由包括1200-1250nm和1300-1350nm波长范围的第二波长照明范围照射时，使用图像感测设备300捕获的与图5A中相同的人体部分。其中，第一通带包括1200-1250nm的范围，并且第二通带包括1300-1350的范围。
在一些实施方式中，代替波长范围，还可以选择一个或多个离散波长来对特定组织进行成像。例如，可以选择1200nm和1350nm的波长以增强所得图像中胶原蛋白和脂质之间的可见差异。从图5B中可以看出，由于对于选定的波长，胶原蛋白和脂肪的吸收特性不同，因此可以呈现图像以明显地突出输尿管511的表示图与脂肪层512的表示图之间的差异，分别与图5A中的输尿管501和周围组织502之间的差异相比，图5B中所呈现的可见图像明显增强。随后，可以通过将第一图像和第二图像(例如，图5A和图5B)组合成显示真彩色细节以及突出显示第二图像中可见的颜色特征的表示图(例如，通过在组合的图像中将输尿管变成霓虹蓝色或一些其他鲜艳的颜色)来生成组合图像(未示出)。
在一些实施方式中，还可以选择一个或多个另外的波长或波长范围以对不同组织进行成像。可以基于各种标准来选择另外的波长。在一些实施方式中，第三波长或波长范围可以选择以通过使用第三波长来改善呈现的整体图像从而估计手术部位的一个或多个特性。例如，可以选择第三波长或波长范围，使得该波长或波长范围的吸收或反射/透射特性与正在被成像的组织基本上相似。在那种情况下，与第三波长或波长范围相关联的反射率提供了局部参考亮度，其明显地增强了感兴趣组织之间的差异。在某些情况下，从人类感知的角度来看这可能很重要，并且可能会改善外科医生对渲染图像的理解度。
在一些实施方式中，也可以选择第三波长或波长范围以进一步改善组织之间的差异性。例如，在对胶原蛋白和脂质进行成像的情况下，可以选择第三波长或波长范围，使得在选定的波长或波长范围内，胶原蛋白对电磁辐射的吸收明显高于脂质对电磁辐射的吸收，或对应地，从胶原蛋白反射或透射通过胶原蛋白的电磁辐射量低于从脂质反射或透射通过的电磁辐射的对应量。也可以选择具有相反特性的波长或波长范围。例如，可以选择第三波长或波长范围，使得在选定的波长或波长范围内，脂质对电磁辐射的吸收明显高于胶原蛋白对电磁辐射的吸收，或对应地，从脂质反射或透射通过胶原蛋白的电磁辐射量低于从胶原蛋白反射或透射通过的电磁辐射的对应量。
在一些实施方式中，第二和第三波长范围在可见波长范围之外。在一些实施方式中，第一波长范围的整体位于可见光谱内。在一些实施方式中，第一波长范围的一部分位于可见光谱之外。在一些实施方式中，第二波长范围的一部分位于可见光谱内。在一些实施方式中，第三波长范围在可见波长范围内，使得可见光和IR/NIR范围内的波长的组合用于整个成像过程。
图6为示出了示例过程600的流程图，该示例过程600使用在与手术装置相关联的显示器上渲染的手术现场的视觉表示图在手术过程期间提供视觉反馈。在一些实施方式中，过程600的至少一部分可以在计算机辅助的远程操作手术系统的外科医生控制台处执行(例如，由图2中描绘的外科医生控制台40的处理装置43执行)。过程600的操作包括：在框610处，通过首先使用在第一照明波长范围内的电磁辐射照射手术现场，使用位于可见波长范围内的第一波长范围的电磁辐射利用图像感测设备来获得手术现场的第一图像的表示图。可以选择第一照明波长范围(在某些情况下可以包括一个或多个离散波长)，使得从手术现场接收到的电磁辐射的量处于根据本文公开的各方面的图像感测设备的第一波长范围内。接下来，在框620处，基于第一照明，图像感测设备使用像素阵列获得第一图像的表示图，该像素阵列包括滤波器阵列，该滤波器阵列具有单独的滤波器，每个滤波器在第一波长范围和第二波长范围的每者内形成不同的通带。在某些情况下，第一图像主要对应于由滤波器的第一波长范围的通带滤波的电磁辐射。接下来，在框630处，使用第二照明波长范围内的电磁辐射来照射手术现场。可以选择第二照明波长范围(在某些情况下可以包括一个或多个离散波长)，使得从手术现场接收到的电磁辐射的量对应于根据本文公开的各方面的图像感测设备的第二波长范围。接下来，在框640处，基于第二照明，图像感测设备使用像素阵列获得第二图像的表示图。在某些情况下，第二图像主要对应于由滤波器的第二波长范围的通带滤波的电磁辐射。最后，在框650处，该过程包括在一个或多个显示器上呈现手术现场的视觉表示图，其中使用第一图像的表示图和第二图像的表示图来渲染视觉表示图。在某些情况下，视觉表示图包括使用第一图像和第二图像的全部或选定部分的组合形成的单个图像。
在一些实施方式中，可以选择滤波器阵列的通带的波长范围以对应于不同组织类型(诸如脂质或肌肉)的吸收或反射属性，使得通带能够以对应于不同的组织类型的不同颜色信息获得图像，以增强选择的组织的可见性。例如，第一通带可能对胶原蛋白而不是脂质敏感，而第二通带可能对脂质而不是胶原蛋白敏感，这允许增强对应手术部位的图像中输尿管和周围脂肪层之间的可见差异，如在外科医生的控制台上渲染的那样。
在一些实施方式中，过程600还包括在框620处使用由滤波器阵列接收到的电磁辐射获得手术现场的第二图像的表示图，该滤波器阵列具有位于可见波长范围之外的第二波长范围内的通带。可以选择第二波长范围内的通带，使得通过一个通带从第二组织类型接收到的第二波长范围内的电磁辐射的量与通过不同于第一组织类型的通带接收到的第二波长范围内的电磁辐射的量基本上不同。在一些实施方式中，第一波长范围和第二波长范围中的每者在700-2000nm的范围内。在一些实施方式中，可见光谱位于第一波长范围内，并且第二波长范围的至少一部分位于可见光谱之外，使得当用第一照明波长范围(例如，可见光源)照射手术现场时，第一波长范围内的通带可以获得可见光谱内手术现场的真彩色表示图；而当用第二照明波长范围(例如，红外或近红外光源)照射手术现场时，第二波长范围内的通带获得可见光谱之外的手术现场的表示图。在一些实施方式中，选择第二波长范围内的特定通带以增强不同组织类型之间的视觉区别。例如，在第二波长范围内的第一通带的波长范围可以在1300-1350nm的范围内，而在第二波长范围内的第二通带的波长范围可以在1200-1250nm的范围内。
在一些实施方式中，获得手术现场的第一图像或第二图像的表示图可以包括：使用第一波长或第二波长的电磁辐射来照射手术现场；以及分别使用由图像感测设备捕获的数据来生成第一图像或第二图像的表示图，图像感测设备被配置为感测从手术现场反射或透射的电磁辐射的部分电磁辐射。在一些实施方式中，可以选择照明波长，使得从目标组织反射或透射的部分照明在对应的所选择波长范围内。在一些实施方式中，使用电磁辐射照射手术现场可以包括在第一时间段期间使用第一波长的电磁辐射照射手术现场，并且在第二时间段期间使用第二波长的电磁辐射照射手术现场。第二时间段可以与第一时间段完全不重叠或至少部分不重叠。
在一些实施方式中，当在对应于滤波器阵列的第三波长范围的第三照明波长范围(其中第三照明波长范围可以包括一个或多个离散波长)内照射手术现场时，可以基于滤波器阵列的第三波长范围内的一组不同的通带来获得手术现场的第三图像的表示图。在某些情况下，滤波器阵列的第三波长范围和第三照明波长范围中的一者或两者都位于可见波长范围之外。在一些实施方式中，该过程包括在显示器上呈现手术现场的视觉表示图，其中视觉表示图包括第三图像。还可以使用利用第一、第二和第三图像的全部或一部分的组合视觉表示图来渲染在外科医生控制台上呈现的视觉表示图。类似于第二波长范围，可以基于各种标准来选择滤波器阵列的第三照明波长范围或第三波长范围。例如，为了改善所得图像中的总反射率，进一步改善组织之间的可区分性，和/或改善最终渲染图像的人类可辨性。在一些实施方式中，可以基于不同目标组织与第三波长范围内的电磁辐射的相互作用来选择第三波长范围。例如，一种组织类型(例如，脂质)在第三波长范围内的电磁辐射的吸收可以基本上等于(或明显不同于)不同组织类型(例如，胶原蛋白)在第三波长范围内的电磁辐射的吸收。
过程600的操作还可以包括在框620处在显示器上呈现手术现场的视觉表示图，其中使用第一图像的表示图和第二图像的表示图来渲染视觉表示图。在一些实施方式中，在框650处，可以以各种方式来处理第一图像和第二图像的表示图，以改善视觉表示图的清晰度和/或呈现。例如，第一和/或第二图像的表示图可以被映射到光谱的其他部分上(例如，在光谱的可见范围内)以调整视觉表示图的外观。例如，可以这样做以影响代表不同组织的颜色。在一个特定示例中，通过将1300-1350nm的范围映射到可见光谱的“绿色”部分，将1200-1250nm的范围映射到可见光谱的“蓝色”部分，并且在可见光谱中的“红色”部分中选择第三波长范围，可以使视觉表示图中的脂肪颜色看起来自然(或至少接近自然)，并且可以使血管看起来是蓝色。在某些情况下，可以根据外科医生对组织类型做出的典型假设来进行颜色映射，和/或可以提高外科医生对视觉表示图的理解。在一些实施方式中，可以使用其他形式的呈现。例如，可以在画中画配置中呈现小插图的颜色图像，该颜色图像对应于第一或第二图像，或者使用来自第一和第二图像的信息的某种组合生成的图像。
在一些实施方式中，第一图像为使用第一照明波长范围获得的可见光图像，该第一照明波长范围基本上是白光照明以在显示器上呈现手术现场的真颜色视觉表示图，并且第二图像是使用第二照明波长范围获得的红外图像，该第二照明波长范围基本上是近红外或红外照明以在显示器上呈现手术现场的红外表示图。红外图像可以用于修改白光图像，以增加特定组织特征的视觉显著性。在一些实施方式中，可以仅使用一个或几个窄波长的红外光来捕获和使用第二图像，使得在第二图像(例如，单色图像)中仅呈现第二波长范围内的一个通带。在某些情况下，白光图像呈现具有通过第二波长范围区分的特定特征的图像。
上述过程的其他变化也是可能的。例如，第一和第二波长范围都可以位于可见光谱之外，并且第一图像的表示图(对应于第一波长范围)和第二图像的表示图(对应于第二波长范围)可以与单独捕获的(在基本白光照明下使用单独的传感器获得的)可见光图像结合使用，以在显示器上呈现手术现场的视觉表示图。第一图像和第二图像可以单独地或组合地用于修改白光图像以增加特定组织特征的视觉显著性。在一些实施方式中，可以使第二图像的捕获和使用为可选的，并且在生成视觉表示图时，可以仅将第一图像与可见光图像结合使用。白光图像呈现具有特定特征的图像，该特定特征通过第一和(可选)第二波长范围来区分。
可以至少部分地经由计算机程序产品来实现本文所述的功能或其部分及其各种修改(以下称为“功能”)，计算机程序产品是例如有形地实施在信息载体(诸如一个或多个非暂时性机器可读介质或存储装置)中的计算机程序，该计算机程序产品由一个或多个数据处理设备(例如，可编程处理器、DSP、微控制器、计算机、多台计算机和/或可编程逻辑部件)执行或控制其操作。
可以以任何形式的编程语言(包括编译或解释语言)编写计算机程序，并且可以以任何形式进行部署，包括作为独立程序或作为模块、部件、子例程或其他适合用在计算环境中的单元。可以将计算机程序部署为由在一个站点处的一个或多个处理装置执行，或者分布在多个站点上并通过网络互连。
与实现全部或部分功能相关联的动作可以由一个或多个可编程处理器或处理装置来执行，该一个或多个可编程处理器或处理装置执行一个或多个计算机程序以执行本文所述过程的功能。所有或部分功能可以实现为专用逻辑电路，例如FPGA和/或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储装置。
虽然本说明书包含许多具体实施细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为可能用于特定发明的特定实施例的特征的描述。本说明书在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实现。此外，尽管本文的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况下可以从组合中删去所要求保护的组合的一种或多种特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，本文描述的实施例中的各种系统模块和部件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序部件和系统通常可以一起集成在单个产品中或包装成多种产品。
只要可行，在没有具体示出或描述元件的其他实施例、实施方式或应用中，可以任选地包括参考一个实施例、实施方式或应用详细描述的元件。例如，如果参考一个实施例详细描述了一个元件，而未参考第二实施例对它进行描述，则该元件仍可以被要求包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，除非另外具体说明，否则与一个实施例、实施方式或应用相关联示出和描述的一个或多个元件可以被结合到其他实施例、实施方式或方面中，除非一个或多个元件将使实施例或实施方式不起作用，或者除非两个或更多个元件提供冲突的功能。
已经描述了本发明主题的特定实施例。其他实施例在所附权利要求的范围内。

Claims (20)

1.一种图像感测设备，包括：
包括两个或更多个光电传感器元件的像素阵列；
第一光学滤波器，所述第一光学滤波器设置在所述像素阵列的第一光电传感器元件上，所述第一光学滤波器被配置为使得所述第一光学滤波器的光谱响应包括：
在第一波长范围内的第一通带，和
在第二波长范围内的第二通带，所述第一通带和所述第二通带被第一阻带分开，所述第二通带具有1200至1250nm之间的波长；以及
第二光学滤波器，所述第二光学滤波器设置在所述像素阵列的第二光电传感器元件上，所述第二光学滤波器被配置为使得所述第二光学滤波器的光谱响应包括：
在所述第一波长范围内的第三通带，以及
在所述第二波长范围内的第四通带，所述第三通带和所述第四通带被第二阻带分开，所述第四通带具有1300至1350nm之间的波长，
其中所述第一光学滤波器被配置成使得手术部位的第一组织类型在所述第二通带中的吸收特性高于手术部位的第二组织类型在所述第二通带中的吸收特性，并且所述第二光学滤波器被配置成使得所述第二组织类型在所述第四通带中的吸收特性高于所述第一组织类型在所述第四通带中的吸收特性。
2.根据权利要求1所述的图像感测设备，其包括第三光学滤波器，所述第三光学滤波器设置在所述像素阵列的第三光电传感器元件上，所述第三光学滤波器被配置为使得所述第三光学滤波器的光谱响应包括：
在所述第一波长范围内的第五通带，和
在所述第二波长范围内的第六通带，所述第五通带和所述第六通带被第三阻带分开。
3.根据权利要求2所述的图像感测设备，其中所述第一光学滤波器、所述第二光学滤波器和所述第三光学滤波器以拜耳图案布置。
4.根据权利要求2所述的图像感测设备，其中所述第一阻带的一部分与所述第二阻带的一部分和所述第三阻带的一部分重叠。
5.根据权利要求1所述的图像感测设备，其包括一个或多个处理装置，所述一个或多个处理装置被配置为使用来自所述像素阵列的输出信号来生成图像的表示图；以及
电路，所述电路被配置为将来自所述像素阵列的所述输出信号提供给所述一个或多个处理装置。
6.根据权利要求5所述的图像感测设备，其中所述一个或多个处理装置被配置为通过组合由所述像素阵列在所述第一波长范围内接收到的电磁辐射和由所述像素阵列在所述第二波长范围内接收到的电磁辐射来生成所述图像的所述表示图。
7.根据权利要求6所述的图像感测设备，其中所述一个或多个处理装置被配置为：
在一个或多个显示器上呈现所述图像的所述表示图。
8.根据权利要求1所述的图像感测设备，其中所述第一阻带的一部分与所述第二阻带的一部分重叠。
9.根据权利要求1所述的图像感测设备，其中所述第一波长范围在可见波长范围内，并且其中所述第二波长范围在所述可见波长范围之外。
10.根据权利要求1所述的图像感测设备，其中所述第一波长范围和所述第二波长范围在400-2000nm的范围内。
11.一种手术系统，包括：
一个或多个显示装置；
图像感测设备，所述图像感测设备被配置为接收从手术现场反射或透射的电磁辐射，所述图像感测设备包括：
具有两个或更多个光电传感器元件的像素阵列，和
第一光学滤波器，所述第一光学滤波器设置在所述像素阵列的第一光电传感器元件上，所述第一光学滤波器被配置为使得所述第一光学滤波器的光谱响应包括：
在第一波长范围内的第一通带，和
在第二波长范围内的第二通带，所述第一通带和所述第二通带被第一阻带分开，所述第二通带具有1200至1250nm之间的波长，以及
第二光学滤波器，所述第二光学滤波器设置在所述像素阵列的第二光电传感器元件上，所述第二光学滤波器被配置为使得所述第二光学滤波器的光谱响应包括：
在所述第一波长范围内的第三通带，和
在所述第二波长范围内的第四通带，所述第三通带和所述第四通带被第二阻带分开，所述第四通带具有1300至1350nm之间的波长；
其中所述第一光学滤波器被配置成使得手术部位的第一组织类型在所述第二通带中的吸收特性高于手术部位的第二组织类型在所述第二通带中的吸收特性，并且所述第二光学滤波器被配置成使得所述第二组织类型在所述第四通带中的吸收特性高于所述第一组织类型在所述第四通带中的吸收特性；
一个或多个处理装置，所述一个或多个处理装置被配置为：
使用在所述第一波长范围内的电磁辐射获得手术现场的第一图像的表示图，
使用在所述第二波长范围内的电磁辐射获得所述手术现场的第二图像的表示图，以及
在所述一个或多个显示器上呈现所述手术现场的视觉表示图，其中所述视觉表示图使用所述第一图像的所述表示图和所述第二图像的所述表示图来渲染；以及
输入装置，所述输入装置被配置为接收用于控制手术装置的至少一部分的用户输入。
12.根据权利要求11所述的系统，其中获得所述第一图像的所述表示图和所述第二图像的所述表示图包括：
使用在第一照明范围和第二照明范围内的电磁辐射照射所述手术现场；以及
响应于分别使用在所述第一照明范围和所述第二照明范围内的电磁辐射来照射所述手术现场，而获得所述第一图像的所述表示图或所述第二图像的所述表示图。
13.根据权利要求12所述的系统，其中使用所述第一波长范围或所述第二波长范围内的电磁辐射来照射所述手术现场包括：
在第一时间段期间使用所述第一照明范围内的电磁辐射来照射所述手术现场；以及
在与所述第一时间段至少部分不重叠的第二时间段期间，使用所述第二照明范围内的电磁辐射来照射所述手术现场。
14.根据权利要求11所述的系统，其中所述第二图像的所述表示图与所述第一图像的所述表示图基本同时地获得。
15.一种在手术过程期间使用在与手术装置相关联的一个或多个显示器上渲染的手术现场的视觉表示图来提供视觉反馈的方法，所述方法包括：
使用在第一照明波长范围内的电磁辐射来照射手术现场；
响应于使用在所述第一照明波长范围内的电磁辐射来照射所述手术现场，使用包括两个或更多个光电传感器元件的像素阵列来获得所述手术现场的第一图像的表示图；其中所述两个或更多个光电传感器元件中的第一光电传感器元件被配置为通过第一滤波器接收电磁辐射，所述第一滤波器包括在第一波长范围内的第一通带和在第二波长范围内的第二通带，所述第一通带和所述第二通带被第一阻带分开，所述第二通带具有1200至1250nm之间的波长；并且其中所述两个或更多个光电传感器元件中的第二光电传感器元件被配置为通过第二滤波器接收电磁辐射，所述第二滤波器包括在所述第一波长范围内的第三通带和在所述第二波长范围内的第四通带，所述第三通带和所述第四通带被第二阻带分开，所述第四通带具有1300至1350nm之间的波长，其中所述第一滤波器被配置成使得手术部位的第一组织类型在所述第二通带中的吸收特性高于手术部位的第二组织类型在所述第二通带中的吸收特性，并且所述第二滤波器被配置成使得所述第二组织类型在所述第四通带中的吸收特性高于所述第一组织类型在所述第四通带中的吸收特性；
使用在第二照明波长范围内的电磁辐射来照射所述手术现场；
响应于使用在所述第二照明波长范围内的电磁辐射来照射所述手术现场，使用所述像素阵列获得所述手术现场的第二图像的表示图；以及
在所述一个或多个显示器上呈现所述手术现场的所述视觉表示图，其中所述视觉表示图使用所述第一图像的所述表示图和所述第二图像的所述表示图来渲染。
16.根据权利要求15所述的方法，其中所述第一图像对应于通过所述第一通带和所述第三通带接收到的所述电磁辐射，所述第二图像对应于通过所述第二通带和所述第四通带接收到的所述电磁辐射。
17.根据权利要求16所述的方法，其中使用在所述第一照明波长范围内的电磁辐射来照射所述手术现场包括在第一时间段期间照射所述手术现场；并且其中使用在所述第二照明波长范围内的电磁辐射来照射所述手术现场包括在与所述第一时间段至少部分不重叠的第二时间段期间照射所述手术现场。
18.根据权利要求15所述的方法，其中所述第一通带和所述第三通带的所述第一波长范围位于可见范围内，并且其中所述第二通带和所述第四通带的所述第二波长范围位于所述可见范围之外。
19.根据权利要求15所述的方法，其中所述第一照明波长范围内的所述电磁辐射位于可见范围内，并且其中第二照明波长范围内的电磁辐射位于所述可见范围之外。
20.根据权利要求15所述的方法，进一步包括：
使用在第三照明波长范围内的电磁辐射来照射所述手术现场；
响应于使用在所述第三照明波长范围内的电磁辐射来照射所述手术现场，使用所述像素阵列获得所述手术现场的第三图像的表示图，
其中所述第一光电传感器元件被配置为通过所述第一滤波器接收电磁辐射，所述第一滤波器包括在第三波长范围内的第五通带，并且其中所述第二光电传感器元件配置为通过所述第二滤波器接收电磁辐射，所述第二滤波器包括在所述第三波长范围内的第六通带，其中所述第一滤波器和所述第二滤波器一起限定第三阻带，所述第三阻带将所述第五通带和所述第六通带与所述第一通带、所述第二通带、所述第三通带和所述第四通带分开；以及
在所述显示器上呈现所述手术现场的所述视觉表示图，其中所述视觉表示图也使用所述第三图像的所述表示图来渲染。
CN201980059682.4A 2018-07-12 2019-07-01 多带通拜耳图案滤波器 Active CN112689995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311047343.9A CN117354636A (zh) 2018-07-12 2019-07-01 多带通拜耳图案滤波器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862697102P 2018-07-12 2018-07-12
US62/697,102 2018-07-12
PCT/US2019/040178 WO2020014031A1 (en) 2018-07-12 2019-07-01 Multiple band pass bayer pattern filter

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311047343.9A Division CN117354636A (zh) 2018-07-12 2019-07-01 多带通拜耳图案滤波器

Publications (2)

Publication Number Publication Date
CN112689995A CN112689995A (zh) 2021-04-20
CN112689995B true CN112689995B (zh) 2023-09-08

Family

ID=67587925

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980059682.4A Active CN112689995B (zh) 2018-07-12 2019-07-01 多带通拜耳图案滤波器
CN202311047343.9A Pending CN117354636A (zh) 2018-07-12 2019-07-01 多带通拜耳图案滤波器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311047343.9A Pending CN117354636A (zh) 2018-07-12 2019-07-01 多带通拜耳图案滤波器

Country Status (4)

Country Link
US (1) US20210307687A1 (zh)
EP (2) EP4307701A3 (zh)
CN (2) CN112689995B (zh)
WO (1) WO2020014031A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217541A1 (de) * 2019-11-13 2021-05-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Medizinische Bildgebungseinrichtung, Verfahren und Verwendung
US20230096406A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
CN113937120A (zh) * 2021-10-12 2022-01-14 维沃移动通信有限公司 多光谱成像结构及方法、多光谱成像芯片和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974076A (en) * 1986-11-29 1990-11-27 Olympus Optical Co., Ltd. Imaging apparatus and endoscope apparatus using the same
WO2004005868A2 (en) * 2002-07-10 2004-01-15 Lockheed Martin Corporation Infrared camera system and method
JP2009039510A (ja) * 2007-07-18 2009-02-26 Fujifilm Corp 撮像装置
JP2015053979A (ja) * 2013-09-10 2015-03-23 オリンパスメディカルシステムズ株式会社 撮像システム
WO2016100214A1 (en) * 2014-12-16 2016-06-23 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5255087A (en) * 1986-11-29 1993-10-19 Olympus Optical Co., Ltd. Imaging apparatus and endoscope apparatus using the same
US7016717B2 (en) * 2002-07-05 2006-03-21 The Regents Of The University Of California Near-infrared spectroscopic tissue imaging for medical applications
US7787121B2 (en) * 2007-07-18 2010-08-31 Fujifilm Corporation Imaging apparatus
US9277205B2 (en) * 2012-05-14 2016-03-01 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974076A (en) * 1986-11-29 1990-11-27 Olympus Optical Co., Ltd. Imaging apparatus and endoscope apparatus using the same
WO2004005868A2 (en) * 2002-07-10 2004-01-15 Lockheed Martin Corporation Infrared camera system and method
JP2009039510A (ja) * 2007-07-18 2009-02-26 Fujifilm Corp 撮像装置
JP2015053979A (ja) * 2013-09-10 2015-03-23 オリンパスメディカルシステムズ株式会社 撮像システム
WO2016100214A1 (en) * 2014-12-16 2016-06-23 Intuitive Surgical Operations, Inc. Ureter detection using waveband-selective imaging

Also Published As

Publication number Publication date
CN117354636A (zh) 2024-01-05
WO2020014031A1 (en) 2020-01-16
EP4307701A3 (en) 2024-03-20
US20210307687A1 (en) 2021-10-07
CN112689995A (zh) 2021-04-20
EP3821595B1 (en) 2024-01-10
EP4307701A2 (en) 2024-01-17
EP3821595A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
CN112689995B (zh) 多带通拜耳图案滤波器
JP7346693B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US11980347B2 (en) Combining near-infrared information with colored images in image-guided surgery
US20220007942A1 (en) Medical imaging systems and methods that facilitate use of different fluorescence imaging agents
CN111246818B (zh) 增强计算机辅助远程操作外科手术中不同组织之间的可见差异
CN113164022B (zh) 用于图像引导外科手术的照射校正的近红外(nir)成像
CN113164013B (zh) 图像引导外科手术中的近红外信息与彩色图像的组合
US12002208B2 (en) Determining chromophore concentrations in tissues
US20230101376A1 (en) Surgical systems for independently insufflating two separate anatomic spaces
WO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
EP4262574A1 (en) Surgical systems with devices for both intraluminal and extraluminal access
EP4216845A1 (en) Surgical systems for independently insufflating two separate anatomic spaces
DE112018003311T5 (de) System, verfahren und computerprogramm für medizinische bildgebung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant