CN111281311A - 包括非白光总体照明器的外科手术系统 - Google Patents

包括非白光总体照明器的外科手术系统 Download PDF

Info

Publication number
CN111281311A
CN111281311A CN202010141422.6A CN202010141422A CN111281311A CN 111281311 A CN111281311 A CN 111281311A CN 202010141422 A CN202010141422 A CN 202010141422A CN 111281311 A CN111281311 A CN 111281311A
Authority
CN
China
Prior art keywords
color
camera
light
color component
white light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010141422.6A
Other languages
English (en)
Other versions
CN111281311B (zh
Inventor
J·迪卡洛
T·赵
S·J·布鲁门克兰兹
B·D·霍夫曼
G·里士满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN111281311A publication Critical patent/CN111281311A/zh
Application granted granted Critical
Publication of CN111281311B publication Critical patent/CN111281311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

本申请涉及包括非白光总体照明器的外科手术系统。来自远程操作的外科手术系统(200)的内窥镜(201)的非白光被用来照明外科手术部位(203)。摄像机(220L)捕获外科手术部位的图像，并且该图像被显示在监控器(251)上。相对于利用白光照明捕获并被显示在监控器上的图像，非白光照明使得呈现在监控器上的外科手术部位的图像中的噪声最小化。

Description

包括非白光总体照明器的外科手术系统
本申请是于2015年3月17日提交的名称为“包括非白光总体照明器的外科手术系统”的中国专利申请201580025496.0的分案申请。
相关申请的交叉引用
本申请要求以下申请的优先权和权益：美国专利申请号61/954,512(由JeffreyDiCarlo等人于2014年3月17日提交，其公开了“Surgical System Including a Non-WhiteLight General Illuminator”)，其通过引用并入本文。
技术领域
本发明的一些方面涉及内窥镜成像，并且更具体地涉及用于远程操作的外科手术系统中的总体照明的非白光。
背景技术
由加利福尼亚州森尼韦尔市的直观外科手术公司(Intuitive Surgical,Inc.,Sunnyvale,California)商业化的da
Figure BDA0002399232780000011
外科手术系统是为病人提供许多益处的微创遥控外科手术系统，这些益处是例如对身体减少的创伤、更快的恢复以及更短的住院期。da
Figure BDA0002399232780000012
外科手术系统的一个特征是提供可见图像的双通道(即左通道和右通道)视频捕获和显示以便向外科医师提供立体观察的能力。
这样的电子立体成像系统可以向外科医师输出高清晰度视频图像，并且可以允许诸如图像缩放(zoom)的特征从而提供“放大的”视图，该特征允许外科医生识别特定的组织类型和特性，并且以增加的精确度工作。然而，在典型的外科手术领域中，由电子立体成像系统中的摄像机捕获的图像的质量受摄像机的信噪比限制。
当摄像机收集光时，捕获的光被转换为电子并被存储在图像传感器的阱中。每个像素有一个阱。图1是用于红色像素R的阱101、用于绿色像素G的阱102和用于蓝色像素B的阱103的示意性图示。随着摄像机将更多电子收集到其阱内，信号增长而噪声保持相对恒定，并且因此信噪比增加，即被捕获在阱中的信号相对于噪声增加。
由摄像机捕获的光的物理性质是：摄像机像素捕获越多光，摄像机能够越好地估计光被捕获的速率。然而，如果摄像机像素收集太多光并将阱装得过满，则该像素的信号丢失并且不再有效。因此，摄像机的曝光时间被设定为试图收集光以尽可能高地填满其所有电子阱101、102、103而不将任何一个阱装得过满。
在由白光照明用于总体观察的典型外科手术部位情况下，红色是在该情况下由摄像机捕获的主要颜色。这是因为相对于蓝色和绿色光谱，大部分反射光是在红色光谱中。
通常，用于远程操作的外科手术系统中的颜色视频摄像机包括颜色滤光片阵列。颜色滤光片阵列是不同颜色的滤光片的镶嵌。理想地，每个不同的颜色滤光片仅使可见电磁光谱的对应于特定颜色的光谱的部分透过，例如，颜色滤光片阵列中的第一组滤光片主要使红色光透过，第二组滤光片主要使绿色光透过，并且第三组滤光片主要使蓝色光透过。
摄像机包括图像传感器，所述图像传感器包括捕获穿过颜色滤光片阵列的光的像素。每个像素是当光被捕获时充满电子的阱。在摄像机中捕获穿过第一组滤光片的光的一组像素被包括在摄像机的第一颜色通道中。在摄像机中捕获穿过第二组滤光片的光的一组像素被包括在摄像机的第二颜色通道中。在摄像机中捕获穿过第三组滤光片的光的一组像素被包括在摄像机的第三颜色通道中。
如本领技术人员所已知的，在一个示例中，白光照明由红色光谱光、绿色光谱光和蓝色光谱光的组合组成，在正常颜色感觉的情况下所述组合对于人的眼睛来说看起来是白色的。然而，由于红色光谱光被外科手术部位主要反射，红色像素阱101(图1)通常比绿色像素阱102或蓝色像素阱103更快地充满。为了防止红色像素阱101溢出，摄像机的曝光被限定为限制被收集的光以使得红色像素阱101不溢出。
如图1中所示，当接收最多光的颜色通道的阱将要溢出时停止光的收集的后果是其他颜色通道的阱可能是不满的。在图1的示例中，当光的收集被停止时，绿色阱102和蓝色阱103小于百分之五十满。这些较不满的颜色通道的信噪比明显小于将要溢出的颜色通道或多个通道的信噪比。同样，对于图1的示例，红色通道的信噪比为大约六，而绿色和蓝色通道中的每一个的信噪比为大约三。
当不是摄像机颜色通道的所有阱101、102、103都满时，摄像机具有较差的信噪比性能。来自较不满的阱102和103的信号必须具有作为外科手术系统的图像处理中的白平衡阶段的一部分被应用于信号的增益，以产生用于显示的图像。白平衡是必要的，以确保当摄像机捕获白色表面的图像时，白色表面在显示监控器上表现为是白色的。白平衡由放大较不满的颜色通道(图1中的蓝色和绿色颜色通道)(例如，应用数字增益)组成，使得当摄像机捕获白色表面的图像时，所有颜色通道都具有相等值。这些较不满的阱信号的放大增加了这些颜色信号相对于其他颜色信号的噪声，这进一步增加了最终图像中的噪声。
发明内容
在一个方面，来自远程操作的外科手术系统的内窥镜的非白光被用来照明外科手术部位。摄像机捕获外科手术部位的图像，并且图像被显示在监控器上。相对于利用白光照明捕获并被显示在监控器上的图像，非白光照明使被呈现在监控器上的外科手术部位的图像中的噪声最小化。
虽然被用来照明外科手术部位的光的颜色是非白光(例如，具有紫色光晕的光)，但被显示在监控器上的图像不含有这种光晕。对于观察者来说，当在监控器中进行观察时，照明外科手术部位的光看起来是白色的。只有当内窥镜被从患者移除并且从内窥镜发射的光被直接观察时，观察者才确实看见非白光。非白光被用于总体照明，并且不同于例如被用于照亮特定解剖结构的仅两个窄谱光源的组合。
在一个方面，一种设备包括摄像机和照明器。该摄像机被配置为将进入摄像机的光分为若干组像素。若干组像素中的每一组处于摄像机的不同的颜色通道中。在一个方面，该摄像机包括颜色滤光片阵列。该颜色滤光片阵列被配置为将进入摄像机的光分为若干组像素。
该照明器被配置为使得照明器输出非白光，以便每个摄像机颜色通道对从完全反射表面反射的非白光具有大约相等的响应。如本文所用，完全反射表面是对跨过整个照明光谱的光谱均匀、相等衰减的照明光谱具有响应的表面。如本文所用，“大约相等”或“基本相等”意味着，由于反射表面的发射特性的差异(例如，反射表面不能在表面上的每一个地方在相同程度上精确地完全反射)并且由于图像传感器的电子阱的响应的正常差异，响应可以不精确地相等，但是这些响应在图像传感器与表面的组合公差内是相等的。
在一个方面，照明器包括多个颜色分量照明源。多个颜色分量照明源被配置为使得照明器输出非白光。
在另一方面，该设备还包括被耦接到多个颜色分量照明源的控制器。该控制器被配置为对多个颜色分量照明源中的每一个的输出进行加权，使得多个颜色分量照明源的输出的组合为非白光。
在又一方面，一种设备包括摄像机、照明器和控制器。该摄像机被配置为将进入摄像机的光分为颜色分量。这些颜色分量被摄像机捕获为若干组像素。若干组像素中的每一组处于不同的摄像机颜色通道中。在一个方面，该摄像机包括颜色滤光片阵列。颜色滤光片阵列被配置为将进入摄像机的光分为若干组像素。
控制器被耦接到照明器。控制器被配置为调整由照明器输出的光的特性，以针对由摄像机捕获的颜色图像增加一个摄像机颜色通道的像素的信噪比。
在一个方面，照明器包括多个颜色分量照明源。控制器被耦接到多个颜色分量照明源。控制器被配置为调整多个颜色分量照明源中的至少一个颜色分量照明源的特性，以增加一个摄像机颜色通道的像素的信噪比。
在一个方面，多个颜色分量照明源是多个发光二极管。在另一方面，多个颜色分量照明源是多个激光二极管。
在一个方面，控制器被配置为控制照明器的多个颜色分量照明源的输出，使得照明器输出非白光，以便每个摄像机颜色通道对从完全反射表面反射的非白光具有大约相等的响应。在另一方面，控制器被配置为改变照明器的多个颜色分量照明源中的至少一个的照明水平，使得照明器输出非白光。在另一方面，固定滤光片被用来改变照明器的多个颜色分量照明源中的至少一个颜色分量照明源的照明水平，使得照明器输出非白光。在又一方面，产生非白光的照明水平的变化被控制，以针对多个颜色分量照明源的寿命的不均匀老化引起的功率损失进行调整。
在另一方面，该设备包括图像处理流水线，该图像处理流水线被配置为从由摄像机捕获的单个颜色图像产生高动态范围图像。在这方面，控制器被配置为改变照明器的多个颜色分量照明源中的至少一个颜色分量照明源的照明水平。照明水平的改变能够例如利用转轮或液晶装置来实施。
该转轮具有多个区段。多个区段中的每个区段具有多个颜色照明成分中的一个颜色照明成分的颜色，并且多个区段中的每个区段具有不同的光衰减水平。
在一个方面，该液晶装置被配置为在开/关脉冲宽度调整快门模式下具有可变的开关时间比率，该可变的开关时间比率包括每个摄像机图像帧捕获的一个或多个开/关循环。在另一方面，液晶装置被配置为可调衰减器。在又一方面，液晶装置被配置为波长可调谐滤光片。
一种方法包括用非白光照明一个场景。该非白光被配置为使得摄像机的每个摄像机颜色通道对从完全反射表面反射的非白光具有大约相等的响应。该方法还包括用摄像机捕获该场景的图像，以及基于所捕获的图像输出用于显示的图像而无需所捕获的图像的白颜色平衡。
另一种方法包括捕获颜色图像。所捕获的颜色图像包括若干组像素。若干组像素中的每一组像素处于摄像机的不同颜色通道中。该方法还包括从若干组像素构建高动态范围图像。
又一种方法包括用非白光照明一个部位。该非白光被配置为使得摄像机的每个摄像机颜色通道对从该部位反射的非白光具有大约相等的响应。该方法还包括用摄像机捕获该部位的图像，以及基于所捕获的图像输出用于显示的图像。
附图说明
图1是用于被白光照明的场景的被捕获的图像的颜色分量的图像传感器的电子阱的现有技术满度(fullness)的图示。
图2是包括输出非白光的照明器的远程操作的外科手术系统的一部分的框图。
图3是图2的摄像机的响应函数的示例的图示。
图4是在图2的照明器的一个方面中的每个发光二极管的功率光谱的曲线图。
图5是来自图2的照明器的白光与非白光的比较的曲线图。
图6A是用于产生动态颜色通道照明控制因素的时间线的示意图。
图6B至图6D是用于被非白光照明的场景的被捕获的图像的颜色分量的图像传感器的电子阱的满度的图示。
图7是图示如何通过在来自图2的照明器的各种颜色分量照明源的输出的时间段区分相对的开和关时间来产生非白光的图解。
在附图中，参考标记的第一个数字指示具有该参考标记的元件首次出现在其中的附图。
具体实施方式
如本文所用，电子立体成像包括使用两个成像通道(即左图像和右图像的通道)。
如本文所用，立体光学路径包括用于传输来自组织的光的内窥镜中的两个通道(例如，左图像和右图像的通道)。在每个通道中被传输的光代表组织的不同视图。光能够形成一个或多个图像。在不失一般性或适用性的情况下，下面更完整描述的各方面还能够用于现场连续立体捕获系统和/或现场连续显示系统的背景中。
如本文所用，照明路径包括向组织提供照明的内窥镜中的路径。
如本文所用，白光是可见白光，其由三种(或者更多种)可见颜色分量(例如，红色可见颜色分量、绿色可见颜色分量和蓝色可见颜色分量)组成。白光还可以指例如如同可从加热的钨丝中看见的可见光谱中的更连续光谱。
如本文所用，非白光是由三个(或者更多个)可见颜色分量(例如，红色可见颜色分量、绿色可见颜色分量和蓝色可见颜色分量)以与被用来产生白光的组合不同的组合组成的可见光。非白光也可以指可见电磁光谱中的更连续光谱，例如，可见电磁光谱中的对于人类观察者来说看上去不是白光并且包括多种颜色的可见光谱的波长的广谱。非白光不包括仅两个窄谱光源的组合，诸如两个不同的窄谱蓝色光源的组合或被用来区别特定组织的窄谱蓝色光源和窄谱绿色光源的组合。
如本文所用，颜色分量具有在可见电磁光谱内的波长的光谱。
如本文所用，可见电磁光谱的波长在从大约400纳米(nm)到700nm的范围内。
如本文所用，与单颜色色图像或仅包括颜色模型的颜色分量的子集的组合的颜色图像相比，颜色图像包括颜色模型的所有颜色分量的组合。例如，对于包括红色、绿色和蓝色颜色分量的颜色模型，颜色图像包括红色、绿色和蓝色颜色分量的组合。红色图像、绿色图像、蓝色图像、蓝色和绿色图像等不被包括在颜色图像的定义中，因为这些图像不包括颜色模型的所有颜色分量的组合。
在一个方面，来自远程操作的外科手术系统200的一部分的内窥镜201的光被用来照明外科手术部位203。照明是非白光，例如，当被人直接观察时，光看起来略呈紫色。非白光照明的使用最小化了被呈现在外科医生的控制台250中的立体显示器251(有时也被称为显示器251)上的外科手术部位203的图像中的噪声。外科医生的控制台250有时被称为控制台250。
虽然被用来照明外科手术部位203的光的颜色是非白光(例如，具有紫色光晕的光)，但被显示在外科医生的控制台250中的立体显示器251上的图像不含有这种光晕。对于观察者来说，当通过外科医生的控制台250观察时，照明外科手术部位203的光看起来是白色的。
如在下面更充分地解释，远程操作的外科手术系统200中的摄像机220L、220R和图像处理流水线240修正被捕获的图像，以移除被显示在立体显示器251上的外科手术图像中的紫色光晕。只有当外科医生退出外科医生的控制台250、从患者体内拉出内窥镜201并且直接观察从内窥镜201发射的光，外科医生才确实看见非白光。
本发明的一些方面促进利用非白色照明来照明外科手术部位203，并且促进通过远程操作的外科手术系统200中的摄像机220L、220R(图2)来捕获外科手术部位203的颜色图像，该颜色图像相对于利用外科手术部位203的白光照明采集的图像具有改善的信噪比。远程操作的外科手术系统200的一个示例是由美国加利福尼亚州Sunnyvale市的直观外科手术公司(Intuitive Surgical,Inc.)商业化的da
Figure BDA0002399232780000071
微创远程操作的外科手术系统。远程操作的外科手术系统200仅是例示性的，并不意图将非白色照明的应用限制于为该特定的远程操作的外科手术系统改善图像的信噪比。鉴于本公开，非白色照明能够在使用多个颜色摄像机或一个颜色摄像机的任何外科手术系统中使用以改善由那些颜色摄像机捕获的颜色图像的信噪比。
在该示例中，外科医生在外科医生的控制台250处远程操纵被安装在机器人操纵器臂(未示出)上的内窥镜201。还有与da
Figure BDA0002399232780000072
外科手术系统关联的其他部分、缆绳/电缆(cable)等，但是这些在图2中并未示出，以避免减损本公开。关于远程操作的微创外科手术系统的进一步信息可以参见例如美国专利申请号11/762,165(2007年6月13日提交；公开了“Minimally Invasive Surgical System”)和美国专利号US6,331,181(2001年12月18日提交；公开了“Surgical Robotic Tools,Data Architecture,and Use”)，这两个申请文件都通过引用方式并入本文。
照明系统(例如，照明器210)被耦接到内窥镜201。在一个方面，照明器210包括光源211和照明控制器215。照明控制器215被耦接到光源211，并且被耦接到可选的可变非白光设备218。
照明控制器215包括被连接在系统处理模块262与光源211之间的非白光模块217。非白光模块控制来自照明器210的输出照明，使得在一个方面，照明器210输出被用于外科手术部位203的总体照明的非白光。
在一个方面，光源211包括多个颜色分量照明源212。在图2中示出的方面，多个颜色分量照明源包括P个颜色分量照明源，其中P是非零正整数。在一个方面，数量P被选择为使得颜色分量照明源的组合提供现有技术的广谱白光。而且，为了产生非白光，多个颜色分量照明源212中的至少一个的输出光学功率相对于被用来产生现有技术的广谱白光的状态被改变，即被增加或被减小。
在一个方面，多个颜色分量照明源212包括多个发光二极管(LED)。LED的使用仅是例示性的，并不意图进行限制。例如，多个颜色分量照明源212也可以利用多个激光源代替LED来实施。
在这方面，照明器210与立体内窥镜201中的至少一个照明路径相结合使用以照明外科手术部位203。来自照明器210的非白光被引导到连接器216内。连接器216将该非白光提供给立体内窥镜201中的照明路径，所述照明路径进而将光引导到外科手术部位203。连接器216和立体内窥镜201中的照明路径中的每一个能够例如利用光纤束、单个刚性棒或柔性棒或者光纤来实现。在一个方面，内窥镜201还包括两个光学通道(即立体光学路径)，用于传递来自外科手术部位203的光(例如，反射的非白光)。然而，立体内窥镜的使用仅是例示性的，并不意图进行限制。鉴于本公开，可以使用具有用于传递来自外科手术部位203的光的单个光学通道的内窥镜。
来自外科手术部位203(图2)的非白光通过内窥镜201中的立体光学通道被传递到摄像机220L、220R。如在下面更充分地解释，在一个方面，左摄像机220L包括颜色滤光片阵列和左图像传感器221L。左图像传感器221L捕获从立体内窥镜201的左通道接收的光作为左图像222L。类似地，在这方面，右摄像机220R包括颜色滤光片阵列和右图像传感器221R。右图像传感器221R捕获从立体内窥镜201的右通道接收的光作为右图像222R。因此，摄像机220L、220R是使用颜色滤光片阵列的颜色摄像机。然而，这仅是例示性的，并不意图进行限制。
在本文中，摄像机被配置为将进入摄像机的光分为N个颜色分量，所述颜色分量被摄像机捕获为N组像素，这若干组像素中的每一组处于不同的摄像机颜色通道中。因此，摄像机220L、220R中的每一个包括多个颜色通道。在一个方面，多个颜色通道是N个颜色分量通道，其中N是非零正整数。
摄像机220L通过左摄像机控制单元230L和图像处理流水线240耦接到外科医生的控制台250中的立体显示器251。摄像机220R通过右摄像机控制单元230R和图像处理流水线240耦接到外科医生的控制台250中的立体显示器251。摄像机控制单元230L、230R从系统处理模块262接收信号。系统处理模块262表示系统200中的各种控制器。
显示模式选择开关252向用户接口261提供信号，该用户接口261进而将选定的显示模式传递给系统处理模块262。系统处理模块262内的各种控制器配置照明控制器215内的非白光模块217，配置左摄像机控制单元230L和右摄像机控制单元230R以采集期望的图像，并且配置处理所采集的图像所需要的成像处理流水线240中的任何其他元件，使得在显示器250中向外科医生呈现所请求的图像。除了本文中提供的细节外，成像处理流水线240相当于已知的图像处理流水线。
在本文中，由摄像机220L捕获的图像的捕获、处理和显示与由摄像机220R捕获的图像的捕获、处理和显示相同。因此，在以下描述中，仅在下面考虑与摄像机220L相关联的图像。描述可被直接应用于与摄像机220R相关联的图像，并且因此描述不针对摄像机220R进行重复。描述也可被直接应用于仅使用单个摄像机和单个图像处理流水线以及具有单个光学通道的内窥镜的系统。
如先前所指示，通常，三个(或者更多个)可见颜色照明分量被组合以产生白光，即白光包括第一可见颜色分量、第二可见颜色分量和第三可见颜色分量的组合。三个可见颜色分量中的每一个是不同的可见颜色分量，例如红色分量、绿色分量和蓝色分量。更多可见颜色照明分量也可以被用来产生白光，诸如青色分量连同红色、绿色和蓝色颜色分量。
而且，如上文所描述，在一个方面，光源211包括多个颜色分量照明源212。为了产生非白光照明，在一个方面，非白光模块217相对于白光所需的输出光学功率改变多个颜色分量照明源212中的至少一个的输出光学功率。非照明器210的照明输出是非白光。当相比于白光时，非白光具有光晕。
在图2中，摄像机220L、220R和光源212被示为在内窥镜201的外部。然而，在一个方面，摄像机220L、220R和光源212被包括在内窥镜201的邻近组织203的远侧尖端中。
存在将照明器210配置为使得照明器输出非白光照明的不同方式。一种方式基于白色表面校准，并且第二方式基于外科手术部位图像校准。此外，描述了非白光的产生，其改变多个颜色分量照明源中的至少一个的照明的持续时间。这些处理中的每一个被依次考虑。
非白光的白色表面校准
在这方面，通过照明控制器215改变来自光源211中的多个颜色分量照明源212的照明强度以使得当观察白色(完全反射)表面时摄像机220L的多个颜色通道中的全部颜色通道都接收相同量的反射光。当对白色表面进行成像时使摄像机220L响应于均匀地跨过颜色通道的光具有两个有益效果。第一，所有颜色通道都能够完全利用其阱容量，即没有一个通道由于另一通道首先充满其阱而被限制到其阱容量的一小部分。这增加了所有像素的信噪比。第二，摄像机不必将数字白平衡增益应用于一些颜色通道，这消除了噪声放大。这两个效果都增强了被显示在立体显示器251上的最终外科手术图像。
在本文中，摄像机220L的噪声性质被认为完全取决于图像传感器221L的电子阱被填充多高。当摄像机220L收集光时，捕获的光被转换为电子并且被存储在这些电子阱中。每个像素有一个电子阱。随着图像传感器221L(例如，摄像机220L)在其电子阱中收集更多电子，摄像机的信噪比增加，即其信号相对于噪声上升。
如前所述，如果摄像机220L收集太多的光并将阱装得过满，则该电子阱的信号丢失并且不再有效。因此，摄像机220L的曝光时间被设定为试图收集光以尽可能高地填满其所有电子阱而不将任何一个电子阱装得过满。当接收最多光的颜色通道将要使其电子阱溢出时停止光的收集的结果是其他颜色通道的电子阱是不满的。其他颜色通道的电子阱可能仅为百分之五十满。具有这些更不满的颜色通道的信噪比显著小于具有将要溢出的电子阱的颜色通道的信噪比。
如前所述，对于正常的白光照明，不仅当非所有摄像机的颜色通道都具有满阱或几乎满阱时摄像机具有更差的信噪比性能，而且来自较不满阱的信号被放大作为现有技术摄像机的图像处理阶段中的白平衡阶段的一部分。
相比于正常的白光照明，非白光照明模式的一个方面通过以下方式进行工作：由照明控制器215改变来自光源211中的多个颜色分量照明源212的照明强度以使得当观察白色(完全反射)表面时摄像机220L的多个颜色通道中的全部颜色通道都接收相同量的光。由于摄像机220L的多个颜色通道中的每一个大体上接收相同量的光，因此摄像机的颜色通道在非白色照明模式中都能够被完全使用，因为没有颜色通道首先达到其阱容量。相反，多个颜色通道的阱大体上同时到达其阱容量。当对白色表面进行成像时，没有颜色通道阱将会处于其阱容量的百分之五十。
此外，因为来自照明器210的非白色照明被设计为当观察白色表面时使所有三个摄像机通道都均匀地响应于光，所以不需要与白光照明一起使用的成像处理流水线240中的白平衡阶段来放大多个颜色通道中的任一个颜色通道的信号。用于多个颜色通道的信号已经相等。总体效果是得到的图像中的显著更少的噪声，因为在捕获期间由于满阱使用而存在更少的噪声，并且不存在任一颜色通道超过其他颜色通道的放大。
为了确定如何增加或减少多个颜色分量照明源212中的不同颜色分量照明源的强度以使得当摄像机220L正在观察白色表面时摄像机220L的颜色通道均匀地响应，摄像机220L的特性被考虑并且光源211的控制被考虑。如先前提及的，对于摄像机220R的考虑与对于摄像机220L的考虑相同，并且因此描述不针对摄像机220R进行重复。此外，以下讨论还应用于仅使用单个通道和单个摄像机的内窥镜系统。
而且，在以下讨论中，考虑使用红色、绿色和蓝色颜色分量的颜色空间。通常，颜色摄像机包括颜色滤光片阵列，诸如Bayer颜色滤光片阵列。不管颜色摄像机的构造如何，在以下讨论中，存在由与摄像机的红色颜色通道相关联的图像捕获传感器221L捕获的第一组像素。存在由与摄像机的绿色颜色通道相关联的图像捕获传感器221L捕获的第二组像素，并且存在由与摄像机的蓝色颜色通道相关联的图像捕获传感器221L捕获的第三组像素。使用三个颜色通道来表示摄像机220L的复数N个颜色通道仅是例示性的，并不意图进行限制。而且，使用红色、绿色和蓝色颜色通道作为三个颜色通道仅是例示性的，并不意图进行限制。鉴于本公开，本领域技术人员能够基于感兴趣的颜色空间和感兴趣的颜色滤光片阵列定义与摄像机220L相关联的通道的数量和与通道的数量相关联的具体颜色。
摄像机220L的光学装置、用于摄像机220L中的颜色滤光片阵列以及摄像机220L的量子效率(共同被称为摄像机的响应函数)确定摄像机220L如何响应于不同波长的入射光，即如何响应于来自外科手术部位203的光。图3示出了摄像机220L的响应函数的示例。针对摄像机220L的复数N个颜色通道中的每个颜色通道存在一个响应函数。
因此，在该示例中，存在三个响应函数，即一个响应函数301用于蓝色颜色通道，一个响应函数302用于绿色颜色通道，并且一个响应函数303用于红色颜色通道。在图3中，响应函数301至303中的每一个均由曲线表示。
特定响应函数的较高值表明，相对于对于该特定响应函数具有较低值的其他波长的光，摄像机220L的颜色通道更多响应于该特定波长的光。例如，红色响应函数303示出摄像机220L的红色颜色通道在600至650纳米波长范围内比在450至500纳米波长范围内传递更多的光。
特定响应函数的较低值表明，相对于对于该特定响应函数具有较高值的其他波长的光，摄像机220L的颜色通道更少响应于该特定波长的光。例如，蓝色响应函数301示出摄像机220L的蓝色颜色通道在600至650纳米波长范围内比在440至470纳米波长范围内传递更少的光。响应函数上的零值表明摄像机220L的颜色通道不能看见该波长的光。
在一个方面，摄像机220L中的多个颜色通道的响应函数被转换为矩阵符号作为构成矩阵R的三个列向量。矩阵R是M×N矩阵。具体地，在一个方面，一组M个均匀间隔开的波长被选择，例如从400nm到700nm每1nm被间隔开，然后响应函数的值在这些选定的波长中的每个波长处被读取。在该示例中，针对每个响应函数产生301个值。因此，对于该示例，就红色、绿色和蓝色响应函数而言，M等于301并且N等于3。只要400nm至700nm的范围涵盖响应函数的所有重要的非零部分，并且间隔间距足够小(1nm)，则该向量形式就相当于完整曲线。采样范围和间隔通常基于应用而改变。
如在上面解释的，在一个方面，光源211包括复数P个颜色分量照明源212。作为一个示例，考虑P为四的实施方式，使得光源211包括四个不同的颜色分量照明源，例如，能够被调整以发射不同强度的光的四个个体LED。在美国专利申请公开号US2012/0004508A1(2010年8月13日提交，公开了“Surgical Illuminator With Dual SpectrumFluorescence”)中示出了包括四个个体LED的照明器的示例，其通过引用并入本文。
在图4中示出了四个不同的LED中的每一个的照明光谱的示例。光谱401是蓝色颜色分量照明。光谱402是青色颜色分量照明。光谱403是绿色颜色分量照明，并且光谱404是红色颜色分量照明。就此而言，多个颜色分量照明源212中的每一个是不同的颜色分量照明源。
光谱401至404也能够以矩阵符号表示。每个光谱是矩阵E的一列。矩阵E是M×P矩阵。具体地，在一个方面，一组M个均匀间隔开的波长被选择，例如从400nm到700nm每1nm被间隔开，并且然后LED照明光谱的值在这些M个选定波长中的每个波长处被读取。
此外，因为照明控制器215控制光源211中的每个LED的输出强度并且因为当LED的照明输出被光学地组合在一起时，输出线性地混合，从内窥镜201的远端发射的光的光谱eout能够被表示为：
eout＝diag(t)*E*w，
其中
eout是作为M×1列向量的发射光谱，
t是被表示为M×1列向量的内窥镜的照明通道的光谱透射，
diag(x)表示将向量x放置到矩阵的对角线中，其中所有其他元素都为零，并且
w是P×1单个列权重向量，并且权重向量w的每个元素被非白光模块217用来确定复数P个LED中的对应LED的强度。
为了实现非白光，权重向量w被确定，以使得来自复数N个摄像机颜色通道中的每一个的响应相等地经受权重向量w的元素必须为正的约束，因为LED不能发射负光。这能够以矩阵形式表示如下：
[1]＝RT*diag(t)*E*w，其中w>＝0
其中目标是求解权重向量w，并且[1]表示1的N×1列向量，并且RT表示N×M矩阵，其为响应函数矩阵R的矩阵转置。
换言之，先前的表述确定P个颜色通道照明控制因子CCIW(权重向量w中元素)，使得当非白光照明模块217将P个颜色通道照明控制因子CCIW中的不同的一个CCIW应用于光源211中的P个颜色分量照明源中的每一个时，照明器210输出非白光，并且当由内窥镜201发射的非白光入射在完全反射表面(即白色表面)上时，摄像机220L的电子阱中的每一个被填满到百分之百满水平。
因此，问题是发现仅包括正分量的权重向量w。当可控LED的数量P等于摄像机颜色通道的数量N时，单个解恰好获得逆(inverse)，因为矩阵RT*diag(t)*E是方矩阵(squarematrix)。在这种情况下：
w＝(RT*diag(t)*E)-1*[1]
只要权重向量w都为正或零(并且RT*diag(t)*E具有逆)，解就存在。如果权重向量w具有负分量，则LED不能被控制以均衡摄像机颜色通道。但是，在这种情况下，权重向量w的负分量能够被修整(clip)为零，以获得最接近的解。
然而，当可控LED的数量P不等于摄像机颜色通道的数量N时，单个解是不可能的，因为矩阵RT*diag(t)*E的逆不存在。对于具有四个可控LED和仅具有三个颜色通道的摄像机220L的示例，不能获得单个解。
在该特殊情况下(或者每当可控颜色分量照明源的数量P大于颜色通道的数量N时)，对于权重向量w的分量存在许多解，即对于入射在完全反射表面上的非白光，权重向量w的多个不同解将会均衡摄像机颜色通道的阱的充满。具体地，w的该组解可以被表示为：
w＝wa+Vn*α，其中α是可变的并且w>＝0
其中
wa是伪逆解，
Vn定义N×(P-N)矩阵中的(P-N)个零空间列向量，即这些是你能够改变解w而无需改变摄像机的响应的方向，并且
α将w的一个特定解定义为(P-N)×1向量。
为了将解限制为一个权重向量w，必须对该解强加另一约束，即我们必须通过确定单个α值来指定零空间值。
可能的约束包括但不限于最大化发射功率、最小化发射功率、最大化驱动电流、最小化驱动电流或甚至将在外科医生的控制台外部观察时的光的颜色改变为更白色的外观(appearance)。由于LED驱动电子设备的约束，实施了使最小LED强度最大化的约束。实质上，期望的是使权重向量w中的最小值尽可能高，因为照明控制器215不能在低强度下可靠地控制光。
对于这样的约束，存在对解的极小极大优化，但是由于在解中仅存在一个额外的自由度(P-N＝1)并且凭经验注意到对于摄像机220L来说来自绿色和青色LED的照明总是最低的并且它们在零空间向量Vn中具有相反的符号，因此权重向量w中的值通过扫除零空间分量α直至绿色和青色通道相等来确定。
表1是Matlab计算机代码的示例，其在Matlab编译器上被编译且然后在处理器上被执行，以通过扫除零空间分量α直至绿色和青色照明通道相等来确定权重向量w。(MatLab是迈斯沃克公司(The Mathworks,Inc.,3Apple Hill Drive,Natick,Massachusetts01760U.S.A.)的美国注册商标)
表1
％找到RT*diag(t)*E的奇异值分解
[U、S、V]＝svd(RT*diag(t)*E)
％找到pinv解。
Va＝V(:,1:N)
sa＝diag(S(1:N,1:N))
wa＝Va*diag(1./sa)*UT*1
％找到零空间分量
vn＝V(:,4)
％求解以使绿色(指数＝3)与青色(指数＝2)相等。
α＝(wa(2)-wa(3))./(vn(3)-vn(2))
％找到最终的w解。
w＝wa+vn*α
其中
svd(X)是X的奇异值分解，
diag(x)是x的对角矩阵，并且
指数2和3分别对应于绿色和青色LED。
这里，U、S、V是奇异值分解(svd)的输出。奇异值分解(svd)是将一个矩阵分解为三个单独矩阵的常见方式：X＝USVT，其中U和V是正交矩阵，而S是对角矩阵。X到U、S、V的这种分解允许找到伪逆和零空间分量。
图5示出了利用上述过程的白光照明502与非白色照明501之间的差异。如图中明显示出，相比于白光模式，在非白光模式下蓝色和红色LED正在输出比绿色和青色LED更多的光。在一个方面，当被白色表面反射时摄像机220L对白光的响应为R(红色)：61％，G(绿色)：100％和B(蓝色)：67％，而利用非白光的摄像机响应为R(红色)：100％，G(绿色)：100％和B(蓝色)：100％，正如它被设计的那样。
这种非白光生成技术展示了所显示的外科手术场景中的噪声减少能够通过调整来自内窥镜的光的颜色来实现。具体地，当在观察白色表面时捕获场景的摄像机或多个摄像机的所有颜色通道都等同地响应时，每个像素的信噪比均能够在所显示的外科手术场景中被增加。由于信噪比增加，因此最终外科手术图像中的感受到的噪声减少。
非白光的基于场景的校准
在现有技术示例中，非白光模块217被配置为驱动光源211，因此照明器210利用非白光照明外科手术部位203，使得当非白光被白色表面反射时，由摄像机220L捕获的颜色图像的白光颜色平衡是不必要的。这利用正常的白光照明捕获并显示在显示器251上的图像改善了在显示器251上显示的图像的信噪比。
然而，能够以其他方式产生非白光，以改善在显示器251上展示的图像的信噪比。例如，控制器215被配置为改变多个颜色分量照明源212中的至少一个颜色分量照明源的输出照明水平(例如，输出光功率)，以使得照明器210输出非白光。多个颜色分量照明源212中的至少一个颜色分量照明源的输出照明水平的变化基于由摄像机220L捕获的颜色场景的颜色分量特性。以这种方式产生的非白光也导致在显示器251上显示的场景相对于利用正常白光照明捕获并显示在显示器251上的场景的改善的信噪比。
在一个方面，以不同的方式产生颜色通道照明控制因子CCIW。第一捕获场景中的信息被用来生成由照明控制器215使用的颜色通道照明控制因子CCIW。
在一个方面，一种动态方法确定被用来产生非白光的颜色通道照明控制因子CCIW。例如，帧610(图6A)被捕获并且被用来产生第一组颜色通道照明控制因子CCIW 620。第一组颜色通道照明控制因子CCIW 620被用于所捕获的接下来的Z个连续帧，其中Z是非零正整数。当Z个连续帧被捕获、被处理并被显示时，该序列中的帧621中的一个帧被用来产生第二组颜色通道照明控制因子CCIW 621。第二组颜色通道照明控制因子CCIW 621被用于所捕获的接下来的Z个连续帧，并且该过程继续。
在一个方面，时间加权的移动平均值被用来产生颜色通道照明控制因子CCIW621。在这方面，如上面所描述，帧通道照明控制因子CCIW_帧针对每个帧被产生，在接下来的具有其他加权的帧通道照明控制因子CCIW_帧的固定数量帧内与下降的权重求和，并且被求平均，以使得最近帧的帧通道照明控制因子CCIW_帧占主要地位，但是先前帧的帧通道照明控制因子CCIW_帧的(例如线性地)下降的部分被求和，以给出例如以帧速率更新的当前应用的时间加权移动平均通道照明控制因子CCIW 621。
在一个方面，数量Z被凭经验确定为帧的数量的时间平均值，以维持系统200的稳定性。在另一方面，数量Z不是常数。相反，颜色通道中的平均亮度被监测，并且当任何一个颜色通道的平均亮度改变多于预定的百分比(例如，百分之五)时，产生新的一组颜色通道照明控制因子CCIW。这种方法在外科手术过程期间自适应地补偿摄像机的颜色通道中的阱的满度变化并调整颜色通道照明控制因子CCIW，以使得当摄像机的视场中的外科手术部位的特性改变时，电子阱保持在最佳满度附近。
在另一方面，对于捕获的场景，创建摄像机220L的每个颜色通道中的像素的亮度的直方图。摄像机220L的复数N个颜色通道中的每个颜色通道中的像素的亮度的直方图被创建。如本领域技术人员已知的，每个像素都具有像素值，该像素值是表示像素的亮度的单个数字。像素值也是针对该像素的像素阱的满度的指示。因此，对于摄像机220L，N个亮度直方图被创建，即针对每个颜色通道有一个亮度直方图。
在N个亮度直方图的每一个中，亮度值被绘制在x轴上。针对每个亮度值的条柱(bar)的高度表示具有该亮度值的颜色通道中的像素的数量。亮度直方图能够基于整个捕获的图像或基于所捕获的图像中的感兴趣区域。例如，感兴趣区域可以被定义为在使用远程操作的外科手术系统200的人的中央凹(fovea)内的区域。对于每个颜色通道，该颜色通道中的图像传感器221L的像素的阱的满度(fullness)的指示能够从亮度直方图得到。该指示可以是平均值或对应于所有值的百分之九十的值。
矩阵B被定义为照明控制与摄像机传感器颜色通道响应之间的耦合。它将照明控制(P个元素向量)转换为摄像机传感器颜色通道响应(N个元素向量)。矩阵B能够通过在参考水平下一次一个地打开照明通道来测量。因此，
Figure BDA0002399232780000171
颜色通道照明控制因子CCIW被定义为：
WFull＝B*CCW
B-1*WFull＝CCIW
其中
WFull是N×1列向量，其中每个分量表示摄像机220L的颜色通道中的像素阱的期望满度(fullness)，并且
CCIW是P×1列向量，其中每个元素表示光源211中的颜色分量照明源之一的颜色通道照明控制因素。
如果P等于N并且B的逆存在，则确定颜色通道照明控制因子CCIW是简单的。如果P大于N，则使用B的伪逆。
矩阵的伪逆是本领域技术人员已知的。适于这里使用的伪逆被称为Moore–Penrose伪逆。Moore–Penrose伪逆的常见用途是计算缺少唯一解的线性方程的系统的‘最佳拟合’最小二乘解。Moore-Penrose伪逆的另一用途是找到线性方程的系统的最小(欧氏)范数解。在一个方面，最佳拟合最小二乘解被使用。
以这种方式产生的颜色通道照明控制因子CCIW能够如上文描述的那样被用在远程操作的外科手术系统200中的静态方法或动态方法中。不管被用来产生颜色通道照明控制因子CCIW的技术如何，非白光照明的使用通过相对于从利用白光照明捕获的图像创建的显示图像减少噪声对所显示图像的贡献来改善在显示器251上显示的图像的质量。
作为一个示例，假设摄像机220L具有红色、绿色、蓝色颜色通道(例如，N为3)，并且期望的阱满度WFull是每个颜色通道的百分之七十五。在白光照明的情况下，红色通道R603B是90％满的(图6B)，绿色通道G 602B是50％，并且蓝色通道B 601B是37.5％。对于非白光照明，红色通道R 603C是大约75％满的(图6C)，绿色通道G 602C是75％，并且蓝色通道B601C是大约75％满的。白光照明和非白光照明两者的噪底都被取为15％。因此，就非白光而言，蓝色和绿色颜色分量的信噪比被改善。
然而，因为来自光源211中的多个颜色分量照明源212中的每个颜色分量照明源的照明被外科手术部位203不同地吸收和反射，所以电子阱不可能精确地百分之七十五满。因此，在这方面，当摄像机通道对非白光的响应被认为大约相等时，它意味着当考虑到非白光被外科手术部位吸收和反射的差异时，不同颜色通道中的摄像机的图像传感器的各部分的响应是相等的。尽管如此，至少对于蓝色和绿色像素而言已经改善了信噪比。
在外科手术部位203的颜色图像中，绿色和蓝色像素提供大部分的精细详情，因为绿色和蓝色颜色照明分量相比于红色颜色照明分量被较少地散射并且较少地透射。因此，改善蓝色和绿色像素的信噪比将会改善被提供在显示器251上的图像的质量。
如果具有如在图6C中图示的被填满的阱的像素被直接处理以便显示在显示器251上，由于与非白光照明相关联的颜色通道中的电子阱的满度，所显示的图像将不会具有适当的颜色平衡。因此，当从图像传感器找回每个颜色通道中的像素时，颜色通道中的像素的值被修正以补偿颜色通道照明控制因子CCIW。假设当中性颜色物体的场景(例如，白平衡目标)被观察时照明控制L0产生白色图像，
I0＝B*L0
其中
I0＝[r0,g0,b0]T是N×1像素亮度矩阵，其中RGB分量具有相等值，并且
L0＝[L01,…,L0P]T是P×1光学功率输出矩阵。
在稍后的时候，额外的增益A＝[ccw1,…,ccwP]T＝CCWT被应用于L0的顶部上的照明控制，由此得到L，其中L＝[L1,…,LP]T＝[ccw1*L01,…,ccwP*L0P]T。来自具有照明L的摄像机的颜色响应是I＝[r,g,b]T。
K＝B*A＝[kr,kg,kb]
经调整的像素颜色I’＝[r/kr,g/kg,b/kb]T被呈现给显示器，以实现正确的颜色。这导致如图6D中图示的典型的像素值。虽然红色颜色通道的噪声已经少量地增加，但是绿色和蓝色颜色通道的噪声已经减少。因此，当绿色和蓝色颜色通道中的信号在图像处理流水线240中的白颜色平衡处理中被放大时，信噪比比使用白光照明时更好。
具有非白光的高动态范围图像
利用视频摄像机创建高动态范围图像的标准方式是使视频摄像机在不同曝光水平下拍摄连续图像。不同曝光的图像被合并为单个高清晰度图像。这种技术要求视频摄像机具有逐帧切换曝光设定值的能力。相比于从每个捕获的帧产生显示图像的视频摄像机，这导致有效减小的帧速率。而且，如果场景中存在运动，当随着时间被捕获的图像被合并为单个高清晰度图像时，可能观察到运动伪影。
在摄影中被用来创建高动态范围图像的另一种方法是利用分级的中性密度滤光片捕获图像。中性密度滤光片是分级的，使得场景的明亮区域被滤波片衰减多于场景的黯淡区域。虽然这对于具有不同亮度的已知区域的场景(例如，包括日落或日出的场景)来说效果很好，但是在远程操作的外科手术系统中使用分级的中性密度滤光片是不切实际的，因为外科手术部位的场景的相同部分不总是该场景的最亮区域。
在不需要颜色图像的应用中，摄像机220L和外科手术部位203的非白光照明能够被用来产生单色高动态范围图像。例如，不像诊断那样，颜色图像在一个或多个外科手术器械的导航期间(例如，在引导肺导航期间)可能是不重要的。
对于可接受单色图像的应用，有可能利用非白光照明和未被制造成与不同的曝光设定值或与中性密度滤光片一起使用的摄像机来创建高动态范围图像。非白光模块217被配置为驱动多个颜色分量照明源212，以使得多个颜色分量照明源212具有除被用来产生白光照明的正常强度之外的强度。
因此，摄像机220L捕获N个图像，由于在颜色分量照明源212上使用的不同权重，摄像机的N个颜色通道中的每个颜色通道中的一个图像有效地具有不同的曝光。这N个图像被用来以与被用于具有中性密度滤光片的摄像机的方式相当的方式产生高动态范围图像。因此，高动态范围图像被获得而不需要任何特殊的滤波片或具有可变曝光设定值的摄像机。非白光照明的使用允许利用在远程操作的外科手术系统中使用的具有颜色滤光片阵列的传统摄像机创建高动态范围图像。
为了示例的目的，假设多个颜色分量照明源212中的颜色分量照明源的数量P为3，并且三个颜色分量照明源是红色光源、绿色光源和蓝色光源。而且，假设对于正常的白光照明，非白光模块217对三个光源中的每一个均等地加权，例如红色、绿色和蓝色权重(颜色通道照明控制因子CCIW)为1:1:1。在一个方面，权重(颜色通道照明控制因子CCIW)被改变以使得照明器210提供非白光，例如，对于红色、绿色和蓝色光源来说权重为0.5:1.0:2.0。
一般来说，颜色分量的权重通过获得摄像机220L的颜色通道中的像素的动态范围(像素动态范围)与来自外科手术场景的反射光的动态范围(场景动态范围)的比率来确定。像素动态范围与场景动态范围的比率为1:DR，其中DR是非零正整数。对于该示例，第一照明颜色分量的最大权重是第N个照明颜色分量的权重的DR倍。第二至第(N-1)个照明颜色分量的权重在最小权重与最大权重之间被均匀地间隔开2的幂。例如，如果像素动态范围为1:256并且场景动态范围为1:1024，则两者的比率为1:4(22)。在以上示例中，最小权重为1，并且因此最大权重为4。1与4之间的2的幂为21＝2，并且因此第三权重为2。
作为另一示例，考虑1:16的比率和三个颜色分量照明源。最小权重为1，并且最大权重为16。另一个权重为4。如果比率为1:16并且存在四个颜色分量源，则权重将会是1:2(4 /3):2(8/3):16。
当场景在摄像机220L中从反射的非白光捕获时，由于光源212中的P个颜色分量照明源的光学输出功率的差异，N个颜色通道中的每一个捕获具有不同反射光强度的灰度场景。N个灰度场景被处理以产生高动态范围灰度图像。在Nayar和Mitsunga的“High DynamicRange Imaging:Spatially Varying Pixel Exposures”(IEEE Conference on ComputerVision and Pattern Recognition,Vol.1,pp.472-479(2000))中描述了一种用于进行这种处理的技术，其通过引用并入本文。
替代使用通过不同的摄像机曝光设定值或中性密度滤光片获得的图像，包括不同强度的颜色照明分量的组合的非白光照明被用来通过固定曝光摄像机获得不同的曝光图像。由于N个不同的曝光图像被同时捕获，因此不存在运动伪影。
先前的示例使用非白光的不同强度的颜色分量来捕获单帧中的不同曝光的图像。可以通过改变每个颜色分量照明源在帧的曝光时间内输出的时间长度来获得相同的效果。在这方面，由非白光模块217应用的权重与被用于白光的权重相同，但是一个或多个切换元件被添加到非白光模块217。
考虑相同的示例，其中红色、绿色和蓝色颜色分量的输出光学功率的比率为0.5:1:2并且曝光时间是时间t。对于该示例，蓝色光源在时间(2/3.5)*t内输出。绿色光源在时间(1/3.5)*t内输出，并且红色光源在时间(0.5/3.5)*t内输出。因此，颜色分量光源中的每一个均是被调制为曝光时间的指定百分比的脉冲宽度。
图7是改变来自照明器210中的红色、蓝色和绿色颜色分量照明源的输出以控制来自照明器210的输出光的一个示例的图解。改变每个颜色分量照明源开和关的具体顺序是不重要的，只要在百分之五十八的曝光时间内蓝色光源开启，在百分之二十八的曝光时间内绿色光源开启，并且在百分之十四的曝光时间内红色光源开启即可。当然，代替切换光源开和关，光源可以被维持在开启状态下，并且光源的输出可以在如图7中被示为关闭的曝光时间期间被引导远离照明器210的输出或被阻止到达照明器210的输出。
在以上示例中使用的光分量源的具体数量和光分量源的权重仅是例示性的，并不意图对在该示例中使用的光分量源的的特定数量和权重进行限制。
在另一示例中，颜色分量照明源的输出如在图7中示出的那样被改变，但是对于每个颜色分量照明源捕获不同的帧。如果使用固定帧快门，则照明的切换与图像捕获同步。如果使用滚动快门，则照明的切换必须处于某一频率，以使得切换照明不将闪烁引入捕获的图像。如本文所用，滚动快门意味着不是一次捕获整个帧，而是一个接一个地(例如，从顶部到底部)从帧的每一行读取信息。
因此，在该示例中，摄像机的曝光时间是固定的，但是照明被改变以获得不同曝光的图像。在这种情况下，以与用于针对在不同曝光下获得的图像获得高动态范围图像的已知技术相当的方式形成高动态范围图像。
照明器210的输出能力的改变能够以许多方式来实现。多个分量光源的输出可以如上面所述的那样被直接控制。元件218可以是具有多个区段的转轮，该转轮可以被置于从照明器210输出的光的路径中。多个区段中的每一个具有多个颜色分量中的一个的颜色，并且多个区段中的每一个具有不同的光衰减水平。在另一方面，元件218是被耦接到控制器的声光型光调制器。
替代地，元件218可以是液晶装置。在一个方面，该液晶装置被配置为在开/关脉冲宽度调制快门模式下具有开关时间的可变比率，包括每个摄像机图像帧捕获的一个或多个开/关循环。在另一方面，该液晶装置被配置为可调衰减器，例如，入口偏光片、补偿的液晶可变延迟器以及出口偏光片，其中入口偏光片和出口偏光片是交叉的线性偏光片。在又一方面，该液晶装置被配置为波长可调谐滤光片。液晶波长可调谐滤光片的使用和操作对于本领域技术人员来说是已知的。
因此，在一些方面，固定滤光片被用来改变多个颜色分量照明源中的至少一个的照明水平，使得照明器输出非白光。
而且，在一些方面，产生非白光的照明水平的变化被控制，以针对在多个颜色分量照明源212的寿命内的不均匀老化引起的功率损失进行调整。因此，当发光二极管或激光二极管的光学输出功率随着时间由于老化引起的功率损失而减弱时，颜色通道照明控制因子CCIW能够被静态或动态地调整，以补偿多个颜色分量照明源212中的每一个的不均匀老化引起的功率损失。
在此描述的各种模块可以通过在处理器上执行的软件、硬件、固件或这三者的任何组合来实施。当这些模块被实施为在处理器上执行的软件时，该软件作为计算机可读指令被储存在存储器中，并且这些计算机可读指令在该处理器上执行。该存储器的全部或部分可以处于相对于处理器的不同物理位置，只要该处理器可以被耦接到存储器即可。存储器是指易失性存储器、非易失性存储器或这两者的任何组合。
而且，如本文所描述的各种模块的功能可以由一个单元来完成，或者可以在不同的部件或不同的模块之间划分，其每一个可以进而由硬件、在处理器上执行的软件以及固件的任何组合来实施。当在不同的部件或模块之间划分时，这些部件或模块可以被集中在一个位置或跨系统200分布以用于分布处理的目的。这些不同模块的执行导致执行针对不同模块和控制器260的上述过程的方法。
因此，处理器被耦接到含有由该处理器执行的指令的存储器。这可以在计算机系统内完成，或替代地通过经由调整解调器和模拟线至另一计算机的连接或者数字接口和数字载波线来完成。
在本文中，计算机程序产品包括被配置为储存对于在此描述的这些过程的任何部分或全部需要的计算机可读代码或其中储存用于这些过程的任何部分或全部的计算机可读代码的计算机可读介质。计算机程序产品的一些示例是CD-ROM盘、DVD盘、闪速存储器、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及代表计算机可读程序代码的在网络上传输的信号。非暂时的有形计算机程序产品包括被配置为储存用于这些过程的任何部分或全部的计算机可读指令或其中储存用于这些过程的任何部分或全部的计算机可读指令的有形计算机可读介质。非暂时的有形计算机程序产品是CD-ROM盘、DVD盘、闪速存储器、ROM卡、软盘、磁带、计算机硬盘驱动器以及其他物理存储介质。
鉴于本公开，在此描述的这些过程的任何部分或全部中使用的指令可以在各种计算机系统配置中实施，这些计算机系统配置使用该用户感兴趣的操作系统和计算机程序语言。
图示说明本发明各方面和各实施例的以上描述和附图不应被视为限制，因为权利要求限定受保护的发明。在不背离本说明书和权利要求的精神和范围的情况下，可以作出各种机械的、成分的、结构的、电气的和操作的改变。在一些实例中，为了避免模糊本发明，未示出或详细描述众所周知的电路、结构和技术。
另外，本说明书的技术术语不意图限制本发明。例如，空间关系术语(例如“下方”、“在……之下”、“下部”“上方”、“在……之上”、“近端”、“远端”以及类似术语)可被用于描述一个元件或特征与附图中示出的另一个元件或特征的关系。这些空间相对术语旨在涵盖包含附图中所示出的位置和取向之外的所使用的和操作的装置的不同方位(即位置)和取向(即旋转布置)。
例如，如果附图中的装置被倒转，则被描述为在其他元件或特征“之下”或者“下方”的元件将在其他元件或特征“之上”或者“上方”。因此，示例性术语“在……之下”能够包括之上和之下的位置和取向。装置可以以其他方式被取向(旋转90度或者处于其他取向)，并且本文使用的空间相对描述法被相应地解释。
同样，沿着和围绕各种轴线的运动的描述包括各种特定装置位置和取向。除非上下文另有所指，否则单数形式“一”、“一个”和“所述/该”同样旨在包括复数形式。术语“含有”、“包含”、“包括”等规定存在所述特征、步骤、操作、元件和/或部件，但并不排除一个或多个其他特征、步骤、操作、元件、部件和/或群组的存在和增加。
描述为耦接的部件可以被电气地或者机械地直接耦接，或者它们可以经由一个或多个中间部件间接耦接。鉴于本公开，在关于增强显示系统描述的操作中的任何一个或者操作的任何组合中使用的指令可以通过使用用户感兴趣的操作系统和计算机编程语言在多种计算机系统配置中实施。
所有示例和示例性参考都是非限制性的，不应被用来将权利要求限制于本文所述的具体实施方式和实施例及其等价物。标题仅是用于格式化，而不应被用于以任何方式限制主题，因为一个标题下的正文部分可以交叉引用或者应用于一个或更多标题下的正文部分。最后，鉴于本公开，关于一个方面或者实施例所描述的特定特征也可以被应用于本发明的其他公开的方面或者实施例，即使它们未在附图中具体示出或者未在正文部分被描述。

Claims (20)

1.一种系统，包括：
存储器，其用于存储指令；以及
处理器，其通信地耦接到所述存储器并且被配置为执行所述指令以：
控制照明器以非白光照明手术部位；
控制摄像机捕获从所述手术部位反射的光，所述摄像机被配置为将捕获的光分为视频流中的帧的多个颜色分量，每个颜色分量处于所述摄像机的不同的颜色通道中；并且
基于由所述摄像机捕获的所述光的颜色分量特性控制所述照明器配置所述非白光，使得所述摄像机的每个颜色通道对由所述摄像机捕获的用于所述视频流中的随后捕获的帧的所述光具有大约相等的响应。
2.根据权利要求1所述的系统，其中：
所述照明器包括多个颜色分量照明源，并且
配置所述非白光包括对包括在所述多个颜色分量照明源中的每个颜色分量照明源的输出进行加权，使得所述多个颜色分量照明源的所述输出的组合为所述非白光。
3.根据权利要求1所述的系统，其中，
所述视频流包括多个帧，所述多个帧包括所述第一组连续帧和在所述第一组连续帧之后的第二组连续帧，
所述第一组连续帧包括所述视频流的所述帧，并且所述第二组连续帧包括随后捕获的帧，并且
所述处理器还被配置为执行所述指令，以基于由所述摄像机捕获的所述光的所述颜色分量特性来确定第一组颜色通道照明控制因子，所述第一组颜色通道照明控制因子包括所述多个颜色分量照明源中包括的每个颜色分量照明源的颜色通道照明控制因子，并且
配置所述非白光包括针对所述第二组连续帧中包括的每个帧，基于所述第一组颜色通道照明控制因子对所述多个颜色分量照明源的输出进行加权。
4.根据权利要求3所述的系统，其中基于所述视频流的所述帧的所述颜色分量特性来确定所述第一组颜色通道照明控制因子。
5.根据权利要求3所述的系统，其中基于所述第一组连续帧的时间加权的移动平均值来确定所述第一组颜色通道照明控制因子。
6.根据权利要求3所述的系统，其中所述处理器还被配置为执行所述指令以：
监控所述摄像机的颜色通道的平均亮度，并且
响应于检测到所述颜色通道的所述平均亮度的预定变化，确定所述第一组颜色通道照明控制因子。
7.根据权利要求3所述的系统，其中：
所述多个帧还包括在所述第二组连续帧之后的第三组连续帧，
所述处理器还被配置为执行所述指令以：
基于在所述第二组连续帧期间由所述摄像机捕获的光的所述颜色分量特性，确定第二组颜色通道照明控制因子，并且
对于所述第三组连续帧中包括的每个帧，用所述第二组颜色通道照明控制因子对所述多个颜色分量照明源的所述输出进行加权，并且
所述第二组颜色通道照明控制因子不同于所述第一组颜色通道照明控制因子。
8.一种系统，包括：
照明器，其被配置为用非白光照明手术部位；
摄像机，被配置为捕获从所述手术部位反射的光，并且将捕获的光分为用于视频流中的帧的多个颜色分量，每个颜色分量处于所述摄像机的不同颜色通道中；以及
控制器，其通信地耦接到所述照明器并且被配置为基于由所述摄像机捕获的所述光的颜色分量特性来控制所述照明器配置所述非白光，使得所述摄像机的每个颜色通道对由所述摄像机捕获的用于所述视频流中的随后捕获的帧的所述光具有大约相等的响应。
9.一种方法，其包括：
通过控制系统控制照明器以非白光照明手术部位；
通过所述控制系统控制摄像机捕获从所述手术部位反射的光，所述摄像机被配置为将捕获的光分为视频流中的帧的多个颜色分量，每个颜色分量处于所述摄像机的不同颜色通道中；并且
通过所述控制系统基于由所述摄像机捕获的所述光的颜色分量特性来控制所述照明器配置所述非白光，使得所述摄像机的每个颜色通道对由所述摄像机捕获的用于所述视频流中的随后捕获的帧的所述光具有大约相等的响应。
10.根据权利要求9所述的方法，其中：
所述照明器包括多个颜色分量照明源，并且
配置所述非白光包括对包括在所述多个颜色分量照明源中的每个颜色分量照明源的输出进行加权，使得所述多个颜色分量照明源的所述输出的组合为所述非白光。
11.根据权利要求9所述的方法，还包括：
由所述控制系统基于由所述摄像机捕获的所述光的所述颜色分量特性来确定第一组颜色通道照明控制因子，所述第一组颜色通道照明控制因子包括所述多个颜色分量照明源中包括的每个颜色分量照明源的颜色通道照明控制因子，其中：
所述视频流包括多个帧，所述多个帧包括第一组连续帧和在所述第一组连续帧之后的第二组连续帧，
所述第一组连续帧包括所述视频流的所述帧，并且所述第二组连续帧包括随后捕获的帧，并且
配置所述非白光包括针对所述第二组连续帧中包括的每个帧，基于所述第一组颜色通道照明控制因子对所述多个颜色分量照明源的输出进行加权。
12.根据权利要求11所述的方法，其中基于所述视频流的所述帧的所述颜色分量特性来确定所述第一组颜色通道照明控制因子。
13.根据权利要求11所述的方法，其中基于所述第一组连续帧的时间加权的移动平均值来确定所述第一组颜色通道照明控制因子。
14.根据权利要求11所述的方法，还包括：
通过所述控制系统监控所述摄像机的颜色通道的平均亮度，
其中响应于检测到所述颜色通道的所述平均亮度的预定变化来确定所述第一组颜色通道照明控制因子。
15.根据权利要求11所述的方法，其中：
所述多个帧还包括在所述第二组连续帧之后的第三组连续帧，
所述方法还包括：
通过所述控制系统，基于在所述第二组连续帧期间由所述摄像机捕获的所述光的所述颜色分量特性，确定与所述第一组颜色通道照明控制因子不同的第二组颜色通道照明控制因子，并且
通过所述控制系统，对于所述第三组连续帧中包括的每个帧，用所述第二组颜色通道照明控制因子对所述多个颜色分量照明源的所述输出进行加权。
16.一种方法，包括：
控制具有多个颜色分量照明源的照明器以非白光照明场景；
使用所述非白光捕获所述场景的颜色图像，捕获的颜色图像包括多组像素，所述多组像素中的每组像素处于多个颜色通道的不同颜色通道；并且
从捕获的颜色图像的所述多组像素构造高动态范围图像。
17.根据权利要求16所述的方法，其中控制所述照明器以非白光照明所述场景包括：基于一个或多个颜色通道照明控制因素来调整所述多个颜色分量照明源中的一个或多个的输出，使得所述多个颜色分量照明源的所述输出的组合为所述非白光。
18.根据权利要求17所述的方法，其中调整所述多个颜色分量照明源中的所述一个或多个的所述输出包括以下中的至少一项：
调整由所述多个颜色分量照明源中的所述一个或多个输出的光的照明强度；以及
在所述颜色图像的曝光期间，调整所述多个颜色分量照明源中的所述一个或多个的照明持续时间。
19.根据权利要求17所述的方法，其中所述一个或多个颜色通道照明控制因子基于所述多组像素的动态范围与从所述场景捕获的光的动态范围的比率。
20.一种系统，其包括：
存储器，其用于存储指令；以及
处理器，其通信地耦接到所述存储器并且被配置为执行所述指令以：
控制照明器以非白光照明手术部位；
控制摄像机捕获从所述手术部位反射的光，所述摄像机被配置为将捕获的光分为视频流中的帧的多个颜色分量，每个颜色分量处于所述摄像机的不同颜色通道中；并且
基于由所述摄像机捕获的所述光的颜色分量特性，控制所述照明器配置所述非白光，以增加用于所述视频流中的随后捕获的帧的所述摄像机的颜色通道的信噪比。
CN202010141422.6A 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统 Active CN111281311B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461954512P 2014-03-17 2014-03-17
US61/954,512 2014-03-17
PCT/US2015/020893 WO2015142800A1 (en) 2014-03-17 2015-03-17 Surgical system including a non-white light general illuminator
CN201580025496.0A CN106456272B (zh) 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580025496.0A Division CN106456272B (zh) 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统

Publications (2)

Publication Number Publication Date
CN111281311A true CN111281311A (zh) 2020-06-16
CN111281311B CN111281311B (zh) 2022-09-02

Family

ID=54145196

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010141422.6A Active CN111281311B (zh) 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统
CN201580025496.0A Active CN106456272B (zh) 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580025496.0A Active CN106456272B (zh) 2014-03-17 2015-03-17 包括非白光总体照明器的外科手术系统

Country Status (6)

Country Link
US (4) US10506914B2 (zh)
EP (2) EP3119321A4 (zh)
JP (4) JP2017511176A (zh)
KR (3) KR102521043B1 (zh)
CN (2) CN111281311B (zh)
WO (1) WO2015142800A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
EP3119321A4 (en) 2014-03-17 2017-12-06 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
JP6538818B2 (ja) * 2015-03-12 2019-07-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
EP4002826B1 (en) 2017-02-06 2024-06-26 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
WO2019014147A2 (en) 2017-07-09 2019-01-17 Lumenetix, Inc. TECHNIQUES FOR CREATING CHARACTERIZATION MATRICES FOR REFLECTANCE, LIGHTING OR SENSOR RESPONSE
US11436858B2 (en) 2017-07-09 2022-09-06 Ringo Ai, Inc. Characterizing reflectance, illuminance, and sensor response for electromagnetic radiation
EP3684288B1 (en) 2017-09-22 2024-05-29 Intuitive Surgical Operations, Inc. Enhancing visible differences between different tissues in computer-assisted tele-operated surgery
US10893843B2 (en) 2017-10-10 2021-01-19 Covidien Lp System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
JP6834907B2 (ja) 2017-10-25 2021-02-24 トヨタ自動車株式会社 撮像方法
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
EP3849434A4 (en) 2018-09-14 2022-04-27 Neuralink Corp. MACHINE VISION TECHNIQUES
US11103695B2 (en) 2018-09-14 2021-08-31 Neuralink Corp. Device implantation using a cartridge
CN117459845A (zh) 2018-09-18 2024-01-26 直观外科手术操作公司 用于增强的图像传感器定时的方法和系统
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
EP3669743B1 (en) * 2018-12-20 2024-04-03 Leica Instruments (Singapore) Pte. Ltd. System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
WO2020150365A1 (en) * 2019-01-18 2020-07-23 Intuitive Surgical Operations, Inc. Connector assembly with a radio frequency communication device and with an induction coil for a surgical instrument and a corresponding receiver assembly
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US10986321B1 (en) * 2019-12-10 2021-04-20 Arthrex, Inc. Method and device for color correction of two or more self-illuminated camera systems
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
CN115280766B (zh) * 2020-03-06 2024-05-03 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN111726542A (zh) * 2020-06-12 2020-09-29 Oppo广东移动通信有限公司 一种摄像头补光方法及终端、存储介质
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
CN117440584B (zh) * 2023-12-20 2024-02-20 深圳市博盛医疗科技有限公司 手术器械分割辅助图像曝光方法、系统、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228231A1 (en) * 2003-09-26 2005-10-13 Mackinnon Nicholas B Apparatus and methods relating to expanded dynamic range imaging endoscope systems
WO2010005595A1 (en) * 2008-07-11 2010-01-14 Searete Llc Spectral improvement of digital camera color images
US20100259656A1 (en) * 2009-04-08 2010-10-14 Klaus-Martin Irion Apparatus For Fluorescence Diagnosis
CN101923210A (zh) * 2009-06-09 2010-12-22 卡尔·蔡司医疗有限公司 用于医用光学观察设备的照明装置的光源布置
CN102709304A (zh) * 2012-06-26 2012-10-03 天津大学 提高图像传感器满阱容量与量子效率光电二极管及方法
CN102958426A (zh) * 2010-07-02 2013-03-06 直观外科手术操作公司 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
CN103094292A (zh) * 2011-11-03 2013-05-08 全视科技有限公司 用于提供图像传感器像素中的经改进全阱容量的方法、设备及系统
CN103109127A (zh) * 2010-08-17 2013-05-15 皇家飞利浦电子股份有限公司 用于宽带和窄带照射的外科手术灯

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1050691A (en) 1911-08-10 1913-01-14 Charles Benjamin Redrup Fluid-pressure engine or pump.
US6449006B1 (en) 1992-06-26 2002-09-10 Apollo Camera, Llc LED illumination system for endoscopic cameras
JPH0898200A (ja) 1994-09-29 1996-04-12 Sanyo Electric Co Ltd ビデオカメラ
JP3235818B2 (ja) 1995-11-08 2001-12-04 オリンパス光学工業株式会社 内視鏡撮像装置
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US5986271A (en) * 1997-07-03 1999-11-16 Lazarev; Victor Fluorescence imaging system
US20040052076A1 (en) * 1997-08-26 2004-03-18 Mueller George G. Controlled lighting methods and apparatus
JPH11253402A (ja) * 1998-03-10 1999-09-21 Olympus Optical Co Ltd 内視鏡装置
JP2001208985A (ja) 2000-01-27 2001-08-03 Olympus Optical Co Ltd 内視鏡装置
US6471363B2 (en) * 1999-12-23 2002-10-29 Hill-Rom Services, Inc. Surgical theater system having light, monitors, and cameras
JP3706030B2 (ja) 2001-01-19 2005-10-12 三菱電機株式会社 撮像装置
US7057768B2 (en) * 2001-07-02 2006-06-06 Corel Corporation Automatic color balance
DE10339618A1 (de) * 2003-08-28 2005-03-24 Leica Microsystems (Schweiz) Ag Leuchtdioden-Beleuchtung für ein optisches Beobachtungsgerät, insbesondere ein Stereo- oder ein Stereooperationsmikroskop
US20090312817A1 (en) * 2003-11-26 2009-12-17 Wicab, Inc. Systems and methods for altering brain and body functions and for treating conditions and diseases of the same
EP1706242A2 (en) * 2003-12-24 2006-10-04 The General Hospital Corporation Multi-channel optical imaging
US7683950B2 (en) * 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
JP4727374B2 (ja) * 2005-09-30 2011-07-20 富士フイルム株式会社 電子内視鏡装置
JP4836859B2 (ja) * 2006-04-20 2011-12-14 リオン株式会社 耳かけ形補聴器
US9459415B2 (en) 2008-11-18 2016-10-04 Stryker Corporation Endoscopic LED light source having a feedback control system
JP5300627B2 (ja) 2009-06-30 2013-09-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US20120004508A1 (en) * 2010-07-02 2012-01-05 Mcdowall Ian Surgical illuminator with dual spectrum fluorescence
US10010268B2 (en) * 2010-09-15 2018-07-03 Olympus Corporation Endoscope apparatus
JP5850630B2 (ja) 2011-04-04 2016-02-03 富士フイルム株式会社 内視鏡システム及びその駆動方法
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
WO2013031701A1 (ja) 2011-08-26 2013-03-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
US20130158525A1 (en) * 2011-12-09 2013-06-20 Adn International, Llc Flexible channel surgical instruments
US20130222603A1 (en) * 2012-02-28 2013-08-29 Aptina Imaging Corporation Imaging systems for infrared and visible imaging
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
WO2014125724A1 (ja) * 2013-02-12 2014-08-21 オリンパスメディカルシステムズ株式会社 内視鏡装置
US9071764B2 (en) * 2013-11-13 2015-06-30 Arecont Vision, Llc. System and method for color imaging under low light
US9396544B2 (en) * 2014-01-08 2016-07-19 Adobe Systems Corporation Single image photometric stereo for colored objects
EP3119321A4 (en) * 2014-03-17 2017-12-06 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228231A1 (en) * 2003-09-26 2005-10-13 Mackinnon Nicholas B Apparatus and methods relating to expanded dynamic range imaging endoscope systems
WO2010005595A1 (en) * 2008-07-11 2010-01-14 Searete Llc Spectral improvement of digital camera color images
CN102144389A (zh) * 2008-07-11 2011-08-03 希尔莱特有限责任公司 数字摄像机彩色图像的光谱改进
US20100259656A1 (en) * 2009-04-08 2010-10-14 Klaus-Martin Irion Apparatus For Fluorescence Diagnosis
CN101923210A (zh) * 2009-06-09 2010-12-22 卡尔·蔡司医疗有限公司 用于医用光学观察设备的照明装置的光源布置
CN102958426A (zh) * 2010-07-02 2013-03-06 直观外科手术操作公司 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
CN103109127A (zh) * 2010-08-17 2013-05-15 皇家飞利浦电子股份有限公司 用于宽带和窄带照射的外科手术灯
CN103094292A (zh) * 2011-11-03 2013-05-08 全视科技有限公司 用于提供图像传感器像素中的经改进全阱容量的方法、设备及系统
CN102709304A (zh) * 2012-06-26 2012-10-03 天津大学 提高图像传感器满阱容量与量子效率光电二极管及方法

Also Published As

Publication number Publication date
US20230371783A1 (en) 2023-11-23
KR102438482B1 (ko) 2022-09-02
US11759093B2 (en) 2023-09-19
EP3119321A4 (en) 2017-12-06
WO2015142800A1 (en) 2015-09-24
US10506914B2 (en) 2019-12-17
US10932649B2 (en) 2021-03-02
KR102521043B1 (ko) 2023-04-14
CN106456272A (zh) 2017-02-22
EP3119321A1 (en) 2017-01-25
JP2023089220A (ja) 2023-06-27
KR20220036986A (ko) 2022-03-23
US20200077870A1 (en) 2020-03-12
US20210145249A1 (en) 2021-05-20
KR20160133520A (ko) 2016-11-22
JP2022009679A (ja) 2022-01-14
KR102372763B1 (ko) 2022-03-10
JP2017511176A (ja) 2017-04-20
CN111281311B (zh) 2022-09-02
EP4282370A3 (en) 2024-02-21
JP7296437B2 (ja) 2023-06-22
JP7005581B2 (ja) 2022-01-21
US20170112354A1 (en) 2017-04-27
CN106456272B (zh) 2020-03-31
JP2020061743A (ja) 2020-04-16
EP4282370A2 (en) 2023-11-29
KR20220124276A (ko) 2022-09-13

Similar Documents

Publication Publication Date Title
US10932649B2 (en) Surgical system including a non-white light general illuminator
US11263984B2 (en) Image signal luminance processing method, device and display apparatus
US8996086B2 (en) Digital mapping system and method
US9320428B2 (en) Programmable multispectral illumination system for surgery and visualization of light-sensitive tissues
US20150272422A1 (en) Endoscope system, processor device, and method for operating endoscope system
EP3808247B1 (en) Simultaneous visible and fluorescence endoscopic imaging
EP2862499B1 (en) Simultaneous display of two or more different sequentially processed images
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
US11324396B2 (en) Light source apparatus for endoscope and light-emission amount control method for the same
CN111343898B (zh) 内窥镜系统及其工作方法
JP2013000176A (ja) 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法
WO2016080130A1 (ja) 観察装置
WO2020256986A1 (en) Noise aware edge enhancement in a pulsed laser mapping imaging system
US20230254469A1 (en) Method and system for enhanced image sensor timing
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
WO2021149357A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant