CN108713319A - 使用虚拟基色匹配外科手术显示技术 - Google Patents

使用虚拟基色匹配外科手术显示技术 Download PDF

Info

Publication number
CN108713319A
CN108713319A CN201780016149.0A CN201780016149A CN108713319A CN 108713319 A CN108713319 A CN 108713319A CN 201780016149 A CN201780016149 A CN 201780016149A CN 108713319 A CN108713319 A CN 108713319A
Authority
CN
China
Prior art keywords
color
pixel
display
colour gamut
display equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780016149.0A
Other languages
English (en)
Inventor
J·M·迪卡洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN108713319A publication Critical patent/CN108713319A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots

Abstract

一种虚拟基色变换控制器，其将从成像管线接收的场景中的第一像素的颜色映射到显示在监视器上的第二像素的颜色。第一颜色和第二颜色是一样的颜色。由控制器执行的直接映射确保使用两种不同显示技术显示的像素的颜色是相同的。

Description

使用虚拟基色匹配外科手术显示技术
相关应用
本申请要求以下文件的优先权和权益：
2016年2月12日提交的、题为“MATCHING SURGICAL DISPLAY TECHNOLOGIES USINGVIRTUAL PRIMARIES”(“使用虚拟基色匹配外科手术显示技术”)的美国临时专利申请No.62/294,939，其全部通过参考并入本文。
技术领域
本发明总体涉及显示设备，并且更具体地涉及使用不同的显示技术来匹配显示设备上的颜色。
背景技术
外科手术系统100是一种计算机辅助外科手术系统，其包括内窥镜成像系统192、外科医生控制台194(主器件)和患者侧支持系统110(从器件)，其全部通过有线(电气或光学)或无线连接197互连。一个或更多个电子数据处理器可以不同地位于这些主要元件中以提供系统功能。美国专利申请公开No.US 2008/0065105 A1中公开了示例，该专利申请通过参考并入本文。
患者侧支持系统110包括进入向导操作机130。至少一个外科手术设备组件耦合到进入向导操作机130。每个外科手术设备组件包括仪器，其进而包括外科手术仪器或图像捕获单元。例如，在图1中，一个外科手术设备组件包括仪器135-1，其具有轴137-1和在外科手术过程期间通过进入向导115延伸的图像捕获单元。仪器135-1有时被称为内窥镜或者替代性地作为成像系统设备或摄像机仪器。典型地，进入向导115包括多个腔。
成像系统192对捕获的外科手术部位的内窥镜成像数据和/或来自患者外部的其他成像系统的术前或实时图像数据执行图像处理功能。成像系统192将处理的图像数据(例如，外科手术部位的图像以及相关的控制和患者信息)输出到外科医生控制台194处的外科医生。在一些方面，将处理的图像数据输出到其他手术室人员可见的可选外部监视器或者输出到远离手术室的一个或更多个位置(例如，另一个位置处的外科医生可监视视频；实时馈送视频可用于培训；等等)
外科医生控制台194包括多个自由度(“DOF”)机械输入设备(“主器件”)，其允许外科医生操纵仪器、(一个或更多个)进入向导以及成像系统设备，它们被统称为从器件。在一些方面中，这些输入设备可向外科医生提供来自仪器和外科手术设备组件元件的触觉反馈。外科医生控制台194还包括放置的立体视频输出显示器，使得显示器上的图像通常聚焦于对应于在显示屏的后面/下面工作的外科医生的手的距离处。这些方面在美国专利No.6,671,581中进行了更全面地讨论，该专利通过参考并入本文。
在仪器的插入期间的控制可以例如通过外科医生用一个或两个主器件移动图像中呈现的仪器实现；外科医生使用主器件以将图像中的仪器从一侧到另一侧(side-to-side)移动，并且将仪器拉向外科医生。主器件的运动命令成像系统和相关联的外科手术设备组件以转向输出显示器上的固定的中心点并且在患者内部前进。
在一个方面，摄像机控制经设计以提供主器件被固定到图像使得图像以与主器件把手移动的方向一样的方向移动的印象。当外科医生从摄像机控制退出时，这种设计使主器件处于正确的位置以控制仪器，因此这种设计避免了抓住(脱离)、移动和分离(接合)主器件回到在开始或恢复仪器控制之前的定位的需要。
患者侧支持系统110的基部110支持臂组件，其包括：被动和不受控制的安装臂组件120和主动受控操作机臂组件130。主动受控操作机臂组件130有时被称为进入向导操作机130。进入向导操作机组件平台132有时被称为平台132，其耦合到第四操作机链路119的远端。进入向导操作机组件133被旋转地安装在平台132上。箭头195示出远端和近端方向。
进入向导操作机组件133包括仪器操作机定位系统。进入向导操作机组件133使多个仪器操作机140-1、140-2作为一组围绕轴125旋转。
多个仪器操作机140-1、14-2中的每个通过不同的插入组件136耦合到进入向导操作机组件133。在一方面，每个插入组件136是可伸缩组件，其将对应的仪器操作机远离进入向导操作机组件135移动，以及将对应的仪器操作机朝向进入向导操作机组件135移动。在图1中，插入组件中的每个都处于完全缩回的定位。
多个仪器操作机140-1、140-2中的每个包括多个电机，其驱动该仪器操作机的输出接口中的多个输出。针对仪器操作机和可耦合到仪器操作机的外科手术仪器的一个示例，参见(2013年8月15日提交的)美国专利申请No.61/866,115，其通过参考并入。
多个外科手术设备组件180中的每个包括多个仪器操作机组件中不同的一个和包括外科手术仪器和图像捕获单元中的一个的仪器。仪器135-1、135-2中的每个包括容纳传输单元的主体。传输单元包括输入接口，输入接口包括多个输入。仪器135-1、135-2中的每个还包括轴137-1、137-2，其有时被称为主管道，主管道在主体的远端方向上延伸。末端执行器耦合到外科手术仪器组件的轴的远端，并且图像捕获单元(例如，摄像机)被包括在不同的外科手术仪器组件的远端中。针对仪器操作机组件和外科手术仪器的一个示例，参见(2013年8月15日提交的)美国专利申请No.61/866,115，其通过参考并入。
仪器135-1、135-2中的每个耦合到对应的仪器操作机组件140-1、140-2的仪器安装接口，使得仪器135-1、135-2中的传输单元的输入接口中的多个输入通过仪器操作机组件140-1、140-2的仪器安装接口中的多个输出驱动。参见(2013年8月15日提交的)美国专利申请No.61/866,115。
如图1所示，多个外科手术设备组件180的轴从仪器的主体向远端延伸。轴通过置于进入端口处的公共插管116延伸进入患者内(例如，通过主体壁或在自然孔口处)。在一方面，进入向导115被定位在插管116内，并且每个仪器轴通过进入向导115中的通道延伸，以便向仪器轴提供附加支持。
外科医生控制台194中的监视器是液晶显示器(LCD)，其用冷阴极荧光管(CCFL)背光照明。此监视器对外科手术部位场景具有好的色域，并且外科医生已经习惯在此监视器上重现的手术部位的颜色。
发明内容
为了确保在具有不同显示技术的显示设备上显示的场景具有一样的着色，第一像素的第一颜色被直接映射到第二像素的第二颜色。第二像素用于显示在具有第二显示技术的第二显示设备上。第二颜色与第一颜色相同。第一像素的第一颜色通过第一显示技术的第一真实基色/原色(primary)的至少三个子像素的组合来定义。第二像素的第二颜色通过第二显示技术的第二真实基色的至少三个子像素的组合来定义。第二真实基色不同于第一真实基色。在一个方面，第二像素被包括在外科手术部位场景中。
在一个方面，第二像素的第二颜色在第二显示设备的色域中。第一像素的第一颜色在第一显示设备的色域中，并且第一显示设备具有不同于第二显示技术的第一显示技术。在一个方面，第一显示设备包括用冷阴极荧光管背光照明的液晶显示监视器。此外，在一个方面，第二显示设备包括由发光二极管背光照明的液晶显示监视器。
在一个方面，将第一像素的第一颜色直接映射到第二像素的第二颜色以用于显示在具有第二显示技术的第二显示设备上包括：将第一像素的第一颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色。将第一像素的第一颜色直接映射到第二像素的第二颜色以用于显示在具有第二显示技术的第二显示设备上还包括：将X-Y-Z颜色空间中的第三像素的颜色直接映射到第二像素的相同颜色。第二像素的相同颜色是第二颜色。在一个方面，将第一像素的颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色，并且将X-Y-Z颜色空间中的第三像素直接映射到第二像素的相同颜色在单个映射动作中一起被执行。
在另一方面，场景被显示在具有显示技术的监视器上。显示的场景包括多个像素。像素中的每个具有颜色。当场景被显示在具有不同显示技术的不同监视器上时，多个像素中的每个的颜色是与场景中的对应的多个像素中的对应像素的颜色一样的颜色。在一个方面，场景是外科手术场景。
在一个方面，多个像素中的每个的颜色在显示设备的色域中，并且对应的多个像素中的每个的颜色是在不同显示设备的色域中。在一个方面，不同显示设备的色域是用冷阴极荧光管背光照明的液晶显示监视器的色域，并且显示设备的色域是由发光二极管背光照明的液晶显示监视器的色域。
一种装置包括显示单元。显示单元包括虚拟基色变换控制器和显示设备。虚拟基色变换控制器经配置以接收表示外科手术部位场景的多个像素。多个像素中的第一像素具有由第一真实基色的三个子像素的第一组合定义的第一颜色。虚拟基色变换控制器经配置以将第一颜色直接映射到第二像素的第二颜色。第二像素的第二颜色由第二真实基色的三个子像素的第二组合定义。第一颜色和第二颜色是一样的颜色。显示设备经配置以接收第二像素并且显示第二像素。在一个方面，第二像素被包括在外科手术部位场景中。
在一个方面，显示设备使用显示技术，并且第二像素的颜色在显示设备的色域中。第一像素的颜色在不同显示设备的色域中，并且不同显示设备具有不同于显示设备的显示技术的另一个显示技术。在一个方面，不同显示设备包括用冷阴极荧光管背光照明的液晶显示监视器。此外，在一个方面，显示设备包括由发光二极管背光照明的液晶显示监视器。
在一个方面，虚拟基色变换控制器经配置以将第一颜色直接映射到第二像素的第二颜色包括：虚拟基色变换控制器经配置以将第一像素的颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色。虚拟基色变换控制器经配置以将第一颜色直接映射到第二像素的第二颜色还包括：虚拟基色变换控制器经配置以将X-Y-Z颜色空间中的第三像素的颜色直接映射到第二像素的相同颜色。第二像素的相同颜色是第二颜色。在一个方面，虚拟基色变换控制器经配置以将第一像素的颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色，并且虚拟基色变换控制器经配置以将X-Y-Z颜色空间中的第三像素的颜色直接映射到第二像素的相同颜色包括：虚拟基色控制器经配置以将两个映射作为单个直接映射执行。
附图说明
图1是现有技术计算机辅助外科手术系统的图示说明。
图2是计算机辅助外科手术系统的部分的框图，该计算机辅助外科手术系统包括具有虚拟基色变换控制器的显示单元。
图3是CIE 1931色度图的图示说明，该CIE 1931色度图包括具有不同显示技术的两个显示设备的色域。
图4图示说明CIE 1931色度图的范围，该CIE 1931色度图包括在外科手术部位场景中发现的颜色。
具体实施方式
由冷阴极荧光管背光照明的液晶显示监视器196(其被用在现有外科医生控制台194的显示单元195中)正在被LCD制造商逐渐淘汰。因此，外科医生控制台194的显示单元195中的液晶显示监视器196和利用冷阴极荧光管背光的外科手术的手术室中的其他监视器正在被例如由发光二极管背光照明的液晶显示监视器取代。
重要的是，显示在外科医生控制台294的监视器296(图2)上的外科手术场景的颜色保持与外科医生的期望一致。外科医生控制台294与外科医生控制台194一样，除了监视器296使用与由监视器196使用的显示技术不同的显示技术。此外，两个外科医生控制台与成像系统192的耦合仅是说明性的，并且不意味着是限制性的。下面描述的方面可以被实施在以下显示单元中：用于显示外科手术部位场景的任何显示单元，以及用不同的显示技术取代另一个显示单元并且被用于显示具有下面更全面描述的特征的图像的任何显示单元中。因此，如图2中所示的，作为多于一个监视器的使用，不同显示单元的使用是可选的。此外，监视器196和296是显示设备的示例。
组成外科手术成像系统的摄像机、光或显示技术的改变可极大地改变显示的外科手术场景的颜色外观。特别地，由于背光的区别，在由冷阴极荧光管背光照明的液晶显示监视器196(有时称为CCFL监视器196)上再现的图像的颜色可与在由发光二极管背光照明的液晶显示监视器296(有时称为LED监视器296)上再现的一样图像的颜色非常不同。
本文中，由冷阴极荧光管背光照明的液晶显示监视器196是利用第一显示技术的第一监视器的示例。由发光二极管背光照明的液晶显示监视器296是利用第二显示技术的第二不同监视器的示例，其中第一显示技术不同于第二显示技术。
在一个方面，虚拟基色变换控制器220被包括在显示单元295中。虚拟基色变换控制器220接收表示被显示在CCFL监视器196上的外科手术部位场景的一样的输入像素数据。虚拟基色变换控制器220实施消除在由冷阴极荧光管背光照明的液晶显示监视器196上显示的外科手术部位场景和由发光二极管背光照明的液晶显示监视器296上显示的外科手术部位场景之间的颜色区别的变换。具体地，在CCFL监视器196上显示的外科手术场景中的像素的颜色与在LED监视器296上显示的一样的外科手术场景中的对应的像素的颜色相同(即，一样)，尽管两个监视器利用不同显示技术。此处，在两个显示的外科手术场景中的一样的位置处的像素被认为是对应的像素。
虚拟基色变换控制器220(有时被称为控制器220)利用直接映射，该直接映射将CCFL监视器196的基色转换为由LED监视器296显示的虚拟基色。此直接映射确保显示在CCFL监视器196上的像素颜色与显示在LED监视器296上的对应的像素的颜色一样。CCFL监视器196的真实基色被映射到LED监视器296的虚拟基色，因为CCFL监视器196的真实基色与LED监视器296的真实基色是不同的颜色，并且CCFL监视器196的真实基色可以位于LED监视器296的色域的外部。在LED监视器296上产生的颜色由虚拟基色的组合形成以确保在两种监视器上显示的颜色是相同的。
因此，LED监视器296与CCFL监视器196显示一样的场景，而当人查看时没有引进两个场景之间的任何颜色区别。此外，这种做法不考虑以下事实：由冷阴极荧光管背光照明的液晶显示监视器196上产生的一些颜色不能在由发光二极管背光照明的液晶显示监视器296上再现。原因是在感兴趣的场景(诸如外科手术部位场景)中通常不会发现不能再现的颜色。
这与现有的映射不同，现有的映射试图迫使可以使用第一显示技术产生的整个颜色范围被包括在(例如覆盖)可以使用第二显示技术产生的颜色范围。此现有的映射由于缩放或用于覆盖两个颜色范围的其他技术而导致不相同的颜色。这与直接映射形成对比，直接映射产生独立于显示技术的一样的颜色。此外，这种做法由于控制器220执行的虚拟基色变换而在所显示的场景中没有出现任何不自然的效果。
人眼可识别的可能颜色的总范围的可以由显示设备再现的一部分被称为显示设备的色域。显示设备的色域小于由人眼可识别的颜色的总范围。显示设备的色域通常被表示为国际照明委员会(CIE)1931色度图300中的区域。CIE 1931色度图300是由人眼可识别的颜色的总范围的图形表示。由于图3是黑白图，所以色度图300的区域用在该区域中找到的颜色标记。
CIE 1931颜色模型定义三种基色X、Y和Z。CIE色度坐标x和y在图3中示出，其中x＝X/(X+Y+Z)并且y＝Y/(X+Y+Z)。目前不可能找到具有包含所有可见颜色的色域的三种真实颜色，因此三种基色X、Y和Z是虚构的。
在液晶显示监视器中，显示包括垂直和水平行像素。每个像素至少包括不同真实基色的三个子像素。通常，不同真实基色的三个子像素(有时称为真实基色)是红色子像素、绿色子像素和蓝色像素。通过来自子像素中的每个的光的不同组合，像素中的每个可以输出在监视器的色域中的任何颜色。众所周知，对于给定的显示技术，真实基色的组合用于产生其他颜色。因此，通过构成像素的子像素的基色和背光颜色特性的组合来确定该像素的颜色。
在图3中，虚线三角形内的区域定义了CIE 1931颜色模型中的色域395CCFL。色域395CCFL是由冷阴极荧光管背光照明的液晶显示监视器196的色域。
类似地，实线三角形内的区域定义CIE 1931颜色模型中的色域395LED。色域395LED是由发光二极管背光照明的液晶显示监视器296的色域。
三角形边界色域395CCFL的顶点是颜色RCCFL、GCCFL和BCCFL，它们是CCFL监视器196的真实基色。三角形边界色域395LED的顶点是颜色RLED、GLED和BLED，它们是LED监视器296的真实基色。
LED监视器296的基色RLED、GLED和BLED的组合可以产生色域395LED中的每种颜色。类似地，CCFL监视器196的基色RCCFL、GCCFL和BCCFL的组合可以产生色域395CCFL中的每种颜色。
为了在LED监视器296上产生与CCFL监视器196上的对应像素的颜色一样的颜色像素，CCFL监视器196的基色RCCFL、GCCFL和BCCFL的组合用于生成在LED监视器296上显示的像素的颜色。
然而，如图3所示，CCFL监视器196的基色RCCFL、GCCFL和BCCFL与LED监视器296的基色RLED、GLED和BLED是不同的颜色。因此，关于LED监视器296，为了在监视器296上产生具有与CCFL监视器196上的第一像素相同颜色的第二像素，LED监视器296的基色必须与CCFL监视器196的真实基色相匹配。因为这些CCFL真实基色与LED监视器296的真实基色是不同的，并且这些基色中的一些可能或可能不落在LED监视器296的色域之外，所以CCFL真实基色是LED监视器296的虚拟基色。虚拟基色指代不是监视器的真实基色的任何基色。
在色域395CCFL和色域395LED之间存在两个区别。LED监视器296不能产生色域395CCFL中的第一颜色区域345中的强烈的红色(如交叉阴影区域所表示的)。此外，LED监视器296不能产生在色域395CCFL中的第二颜色区域355中的深蓝色和绿色(如交叉阴影区域所表示的)。图3中的两个交叉阴影区域表示监视器196的真实基色的不可显示的组合，其不能由LED监视器296的真实基色的任何组合产生。具体地，没有可以生成交叉阴影区域345和355中的颜色的LED监视器296的真实基色的组合。
不管由发光二极管背光照明的液晶显示监视器296的颜色显示限制，将监视器196的色域395CCFL中的基色组合直接映射到监视器296的色域395LED中的颜色组合使监视器296的颜色特性能够完全改变，使得监视器296模拟监视器196。该映射有效地将第一监视器的基色组合复制到不同的第二监视器，使得当两个不同的监视器显示相同的场景时，由两个不同的监视器产生一样的颜色。本文中，不同的监视器具有不同的显示技术。当说到颜色被映射时，是像素的颜色被映射，其中像素包括多个子像素，有时称为多个颜色分量。
通常，对于通用目的监视器，不使用虚拟基色的直接映射，因为只要要求的像素的颜色在第二监视器的真实/物理色域内时，颜色就相同。如果要求的颜色在第一监视器的色域内，并且要求的颜色在第二监视器的色域内，则要求的颜色在两个监视器中看起来相同。然而，如果要求的颜色在第一监视器的色域内，但是要求的颜色在第二监视器的色域之外，例如在区域345和355中的一个中，则要求的颜色在监视器之间不匹配。
此外，第一监视器的真实基色的多种不同组合(即由第一监视器产生的不同颜色)映射到第二监视器的虚拟基色的一样的组合(即，一样的颜色)，因为第二监视器不能显示这些超出色域的要求的颜色。将第一监视器的多种不同颜色映射到第二监视器的一样的颜色是非常不希望的，因为应该看起来不同的颜色将看起来完全一样。
因此，将用于第一显示技术的真实基色直接映射到用于第二显示技术的虚拟基色的概念不用于在两种通用显示技术之间匹配颜色。相反，已经提出了几种不同的技术来减轻将第一监视器色域中的多种颜色映射到第二监视器色域中的单个颜色的问题。然而，这些技术中的每个在某种程度上使两个色域之间的颜色失真，因此不可能在两种不同的显示技术上显示完全一样的颜色。
然而，在CCFL监视器196和LED监视器296上显示的外科手术场景与通常在通用显示器上显示的场景不同。外科手术显示单元195和295主要用于显示存在于人和动物中的外科手术部位的场景。这样的场景通常不包括任何绿色或强烈的蓝色，例如在颜色区域355中发现的那些。
在外科手术部位场景中发现的颜色应当在不同类型的监视器之间(例如，使用不同显示技术的监视器之间)保持一致。在图4中，曲线425界定了通常在外科手术部位场景中发现的颜色。如图4所示，在外科手术部位场景中发现的几乎所有的颜色都包含在显示单元295的色域395LED中。虽然有一些强烈的红色不能被LED监视器296再现，但是只有少量这样的颜色，因此，这不会显著影响由LED监视器296显示的场景。
鉴于外科手术部位场景中的颜色被包括在监视器296的色域395LED中，第一监视器196的真实基色直接映射到第二监视器296的虚拟基色不会遭受任何问题，并且确保一样的颜色被显示在两个监视器上。实际上，与用于跨两种不同显示技术的色域内颜色匹配的任何其他类型的方法相比，真实基色的直接映射提供了外科手术颜色的最佳物理匹配。这种真实基色的直接映射适用于仅由感兴趣的两个不同监视器的色域共有的颜色组成的任何场景。
在一些外科手术部位场景中，组织是虚假着色的或其他非外科手术图形覆盖物被叠加在外科手术部位场景上。通过直接映射，应该选择用于虚假着色和用于非外科手术图形覆盖物的颜色，使得颜色是在两种显示技术的色域中。
在一个方面，来自成像管线210的R、G、B像素是伽马(gamma)校正的像素，因此可以由CCFL监视器196直接显示。然而，伽马校正的颜色空间不是线性颜色空间。因此，在虚拟基色变换颜色控制器220可以执行像素的映射之前，该像素被变换到线性颜色空间，即，
其中，Rr CCFL、Gr CCFL和Br CCFL表示线性R-G-B颜色空间中的监视器196的不同真实基色的三个子像素；以及
γ是伽马校正因子，例如，2.2。
为了将具有不同真实基色Rr CCFL、Gr CCFL和Br CCFL的三个子像素的像素的颜色映射到根据X-Y-Z颜色空间中的基色XCCFL、YCCFL和ZCCFL表示的一样的颜色，以下定义被使用：
其中，是三乘三变换，其将第一监视器196的R-G-B颜色空间中的第一颜色像素转换为X-Y-Z颜色空间中的相同颜色。
因此，表达式(2)是R-G-B颜色空间中的色域395CCFL中的像素的颜色到X-Y-Z颜色空间中的像素的相同颜色的直接映射的定义。X-Y-Z颜色空间中的像素有时被称为第三像素或中间像素。
对于监视器296，为了将具有不同真实基色Rr LED、Gr LED和Br LED的三个子像素的像素映射到根据X-Y-Z颜色空间中基色XLED、YLED和ZLED表示的一样的颜色，以下定义被使用。
其中，是三乘三变换，其将第二监视器296的R-G-B颜色空间中的第一颜色像素转换为X-Y-Z颜色空间中的相同颜色。
在一个方面，定义(2)和(3)中的三乘三变换T是凭经验确定的。对于监视器，当显示红色、绿色和蓝色时，光度计用于测量来自监视器的X-Y-Z值。这三组X-Y-Z值形成变换矩阵T。变换矩阵T的第一列是从显示的红色测量的X-Y-Z值，变换矩阵T的第二列是从显示的绿色测量的X-Y-Z值，并且变换矩阵T的最后一列是从显示的蓝色测量的X-Y-Z值。
对于表示一样的颜色的两个监视器，要求其颜色的X-Y-Z表示对于所有颜色是相等的：
将表达式(3)中的X-Y-Z的定义代入此表达式给出：
或者
表达式(4)是X-Y-Z颜色空间中的色域395CCFL中的颜色到显示单元295中的像素的相同颜色的直接映射的定义。由虚拟基色变换控制器220执行的映射(即，变换)通过将表达式(2)中的X-Y-Z颜色空间中的像素的定义代入表达式(4)来获得，其给出：
其中
表达式(6)定义色域395CCFL中的像素颜色到色域395LED中的相同像素颜色的直接映射。与导致两种不同显示技术上的场景中的颜色的一些失真的其他变换不同，如上所述，利用直接映射，第一像素和第二像素具有对于场景中的每个像素的相同的颜色。
在表达式(6)中定义的像素可以被发送到监视器296之前，必须将像素从线性颜色空间变换到伽马校正的颜色空间，即，
由表达式(6)定义的直接映射可以产生对于显示单元295大于一或小于零的基色值，并且这些值分别被简单地裁剪为一和零。该裁剪会使由通用监视器显示的图像失真，而这就是为什么本领域技术人员会说这种直接映射是不可接受的。然而，对于外科手术部位场景，通常不会遇到色域395LED之外的颜色，因此这种直接映射在两种显示技术中都精确地再现了一样的颜色。如前所述，直接映射是唯一一种不会导致两种不同显示技术上的外科手术场景中的颜色的一些失真的映射。
因此，在一个方面，虚拟基色变换控制器220实施在表达式(1)、(6)和(7)中定义的直接映射。虚拟基色变换控制器220将从成像管线210接收的外科手术部位场景中的第一像素的颜色映射到第二像素的相同颜色，该第二像素的相同颜色被显示在LED监视器296上。再次，第一像素和第二像素是一样的颜色。
由控制器220执行的直接映射确保使用两种不同显示技术显示的外科手术部位场景中的像素的颜色是相同的。因此，监视器196和监视器296中的每个显示外科手术部位场景，并且即使监视器196和监视器296利用不同的显示技术，两个外科手术部位场景在所有场景中也具有相同的颜色。有时，监视器196和监视器296被称为外科手术监视器。
再次，外科手术监视器和外科手术部位场景的使用仅是说明性的而不意指限制性的。如上所述，可以直接映射仅具有在具有不同显示技术的监视器的色域内的颜色的任何场景，使得在具有不同显示技术的监视器上显示的场景具有相同的颜色。换句话说，可以直接映射不包括两种不同显示技术的色域之间的重叠区域之外的颜色的场景，例如，该场景的所有颜色对于两种不同显示技术的色域是共有的，如上所述，使得具有不同显示技术的监视器上显示的场景具有相同的颜色。
上述虚拟基色变换控制器220可以在实践中由任何数量的模块实施，并且每个模块可以包括元件的任何组合。每个模块和每个元件可以包括硬件、在处理器上执行的软件以及固件或这三者的任意组合。此外，如本文所述，虚拟基色变换控制器的功能和动作可以通过一个模块执行，或者在不同模块之间被划分或者甚至在模块的不同元件之间被划分。当在不同模块或元件之间被划分时，模块或元件可以被集中在一个位置，如图2所示，或者分布在计算机辅助外科手术系统上以用于分布式处理目的。
在以上示例中，已经示出并描述了单个成像管线。然而，在利用立体场景的系统中，将使用与上述管线相同的第二管线，使得一个管线处理来自左图像捕获单元的左捕获帧，而另一个管线处理来自右图像捕获单位的右捕获帧。重复对第二管线进行的上述描述将是多余的，因此为清楚起见该重复描述不被包括在本文中。
本文中，计算机程序产品包括经配置以存储用于本文描述的方法中的任何一个或任何组合所需的计算机可读代码，或者其中存储用于方法的任何一个或任何组合的计算机可读代码的介质。计算机程序产品的一些示例是CD-ROM盘、DVD盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及通过网络传输的表示计算机可读程序代码的信号。有形的非暂时性计算机程序产品包括经配置以存储用于本文中方法中的任何一个或任何组合的计算机可读指令，或者其中存储有用于方法的任何一个或任何组合的计算机可读指令的介质。有形的非暂时性计算机程序产品是CD-ROM盘、DVD盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器和其他物理存储介质。
鉴于本公开，可以使用用户感兴趣的操作系统和计算机编程语言在各种计算机系统配置中实施本文描述的方法中的任何一个或任何组合中使用的指令。
如本文所使用的，“第一”、“第二”、“第三”等是用于区分不同元件或元素的形容词。因此，“第一”、“第二”和“第三”并不意指暗示元件或元素的任何排序或暗示元件或元素的任何总数。
图示说明本发明的方面和实施例的以上说明书和附图不应被视为限制性的——权利要求限定了受保护的发明。在不脱离本说明书和权利要求的精神和范围的情况下，可以进行各种机械、组成、结构、电气和操作变化。在某些情况下，未详细示出或描述众所周知的电路、结构和技术以避免模糊本发明。
此外，此说明书的术语不意指限制本发明。例如，空间相对术语——诸如“下方”、“下面”、“下部”、“之上”、“上部”、“近端”、“远端”等可用于描述一个元素或特征与图中所示的另一个元素或特征的关系。这些空间相对术语意指在包括除了图中所示的定位和取向之外的在使用或操作中的设备的不同定位(即，位置)和取向(即，旋转放置)。例如，如果图中的设备被翻转，则被描述为在其他元件或特征“下面”或“下方”的元件将在其他元件或特征“之上”或“上方”。因此，示例性术语“下面”可以包括上方和下方两者的定位和取向。设备可以以其他方式定向(被旋转90度或处于其他取向)，并且本文中使用的空间相对描述符被相应地解释。同样，沿各种轴和围绕各轴的运动的描述包括各种特定设备定位和取向。
除非上下文另有指示，否则单数形式“一个”、“一种”(“a”、“an”和“the”)等意指也包括复数形式。术语“包括”、“包含”(“comprises”、“comprising”、“includes”等)等指定陈述的特征、步骤、操作、元素和/或元件的存在，但不排除存在或添加一个或更多个其他特征、步骤、操作、元素、元件和/或组。被描述为耦合的元件可以电气或机械直接耦合，或者它们可以经由一个或更多个中间元件间接耦合。
所有示例和说明性参考都是非限制性的，并且不应该被用于将权利要求限制于本文中描述的特定实施方式和实施例及其等效物。任何标题仅用于格式化，不应用于以任何方式限制主题，因为一个标题下的文本可以交叉参考或应用于一个或更多个标题下的文本。最后，对于本公开，关于一个方面或实施例描述的特定特征可以应用于本发明的其他公开的方面或实施例，即使未在附图中具体示出或在文本中描述。
以上描述的实施例说明但不限制本公开。还应该理解，根据本公开的原理，多种修改和变化是可能的。例如，在许多方面，本文中描述的设备用作单端口设备；即，完成外科手术过程必要的所有元件都经由单个进入端口进入身体。然而，在一些方面，可以使用多个设备和端口。

Claims (20)

1.一种方法，其包括：
将第一像素的第一颜色直接映射到第二像素的第二颜色以用于显示在具有第二显示技术的第二显示设备上，所述第二颜色与所述第一颜色相同，所述第一像素的所述第一颜色由第一显示技术的第一真实基色的至少三个子像素的组合定义，所述第二像素的所述第二颜色由所述第二显示技术的第二真实基色的至少三个子像素的组合定义，所述第二真实基色不同于所述第一真实基色。
2.根据权利要求1所述的方法，其进一步包括：
在所述第二显示设备上显示所述第二像素。
3.根据权利要求1所述的方法，其中所述第二像素是外科手术场景的一部分。
4.根据权利要求1所述的方法：
其中所述第一像素的所述第一颜色在第一显示设备的色域中；并且
其中所述第二像素的所述第二颜色在所述第二显示设备的色域中。
5.根据权利要求4所述的方法，其中所述第一显示设备的所述色域是用冷阴极荧光管背光照明的液晶显示监视器的色域。
6.根据权利要求5所述的方法，其中所述第二显示设备的所述色域是由发光二极管背光照明的液晶显示监视器的色域。
7.根据权利要求4所述的方法，其中所述第二显示设备的所述色域是由发光二极管背光照明的液晶显示监视器的色域。
8.根据权利要求1所述的方法，其中将第一像素的第一颜色直接映射到第二像素的第二颜色以用于显示在具有第二显示技术的第二显示设备上包括：
将所述第一像素的所述第一颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色。
9.根据权利要求8所述的方法，其中将第一像素的第一颜色直接映射到第二像素的第二颜色以用于显示在具有第二显示技术的第二显示设备上包括：
将所述X-Y-Z颜色空间中的所述第三像素的颜色直接映射到所述第二像素的相同颜色，所述第二像素的所述相同颜色是所述第二颜色。
10.根据权利要求9所述的方法，将所述第一像素的所述颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色，并且将所述X-Y-Z颜色空间中的所述第三像素的所述颜色直接映射到所述第二像素的相同颜色在单个映射动作中一起被执行。
11.一种方法，其包括：
在具有显示技术的显示设备上显示场景，显示的场景包括多个像素，所述多个像素中的每个具有颜色，当所述场景被显示在具有不同显示技术的不同显示设备上时，所述多个像素中的每个的所述颜色是与所述场景中的对应多个像素中的对应像素的颜色一样的颜色。
12.根据权利要求1所述的方法，其中所述场景是外科手术场景。
13.根据权利要求1所述的方法：
其中所述多个像素中的每个的所述颜色在所述显示设备的色域中；并且
其中所述对应多个像素中的每个的所述颜色在所述不同显示设备的色域中。
14.根据权利要求13所述的方法，其中所述不同显示设备的所述色域是用冷阴极荧光管背光照明的液晶显示监视器的色域。
15.根据权利要求13所述的方法，其中所述显示设备的所述色域是由发光二极管背光照明的液晶显示监视器的色域。
16.一种装置，其包括：
显示单元，其包括虚拟基色变换控制器和显示设备；
所述虚拟基色变换控制器经配置以接收多个像素，所述多个像素中的第一像素具有由第一真实基色的三个子像素的第一组合定义的第一颜色，所述虚拟基色变换控制器经配置以将所述第一像素的所述第一颜色直接映射到第二像素的第二颜色，所述第二像素的所述第二颜色由第二真实基色的三个子像素的第二组合定义，其中所述第一颜色和所述第二颜色是一样的颜色；并且
所述显示设备耦合到所述虚拟基色变换控制器，并且所述显示设备经配置以接收所述第二像素并且显示所述第二像素。
17.根据权利要求16所述的方法，其中所述第二像素是外科手术场景的一部分。
18.根据权利要求16所述的方法，其中所述虚拟基色变换控制器经配置以将所述第一像素的所述第一颜色直接映射到第二像素的第二颜色包括：
所述虚拟基色变换控制器经配置以将所述第一像素的所述颜色直接映射到X-Y-Z颜色空间中的第三像素的相同颜色。
19.根据权利要求18所述的方法，其中所述虚拟基色变换控制器经配置以将所述第一像素的所述第一颜色直接映射到第二像素的第二颜色包括：
所述虚拟基色变换控制器经配置以将所述X-Y-Z颜色空间中的所述第三像素的所述颜色直接映射到所述第二像素的相同颜色，所述第二像素的所述相同颜色是所述第二颜色。
20.根据权利要求19所述的方法，所述虚拟基色变换控制器经配置以将所述第一像素的所述颜色直接映射到所述X-Y-Z颜色空间中的第三像素的相同颜色，并且所述虚拟基色变换控制器经配置以将所述X-Y-Z颜色空间中的所述第三像素的所述颜色直接映射到所述第二像素的相同颜色包括：所述虚拟基色控制器经配置以执行单个直接映射。
CN201780016149.0A 2016-02-12 2017-02-10 使用虚拟基色匹配外科手术显示技术 Pending CN108713319A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662294939P 2016-02-12 2016-02-12
US62/294,939 2016-02-12
PCT/US2017/017353 WO2017139563A1 (en) 2016-02-12 2017-02-10 Matching surgical display technologies using virtual primaries

Publications (1)

Publication Number Publication Date
CN108713319A true CN108713319A (zh) 2018-10-26

Family

ID=59563577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016149.0A Pending CN108713319A (zh) 2016-02-12 2017-02-10 使用虚拟基色匹配外科手术显示技术

Country Status (6)

Country Link
US (2) US10675117B2 (zh)
EP (1) EP3414898A4 (zh)
JP (1) JP2019509670A (zh)
KR (1) KR20180104761A (zh)
CN (1) CN108713319A (zh)
WO (1) WO2017139563A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130047A1 (en) * 2021-12-30 2023-07-06 Canon U.S.A., Inc. Systems and methods for virtual reality immersive calling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579031A (en) * 1992-12-15 1996-11-26 E. I. Du Pont De Nemours And Company Color matching method and apparatus
CN102893610A (zh) * 2010-05-13 2013-01-23 杜比实验室特许公司 视频显示设备的色域压缩
EP2672712A1 (en) * 2012-06-07 2013-12-11 Thomson Licensing Scene-dependent color gamut mapping
US20150092090A1 (en) * 2013-09-30 2015-04-02 Fujifilm Corporation Image processing apparatus, image processing system, and image processing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
JP2001222709A (ja) * 2000-02-07 2001-08-17 Olympus Optical Co Ltd 色変換装置及び色変換方法
EP2273480A3 (en) * 2001-06-11 2012-02-22 Genoa Color Technologies Ltd. Device, system and method for color display
KR101477121B1 (ko) 2006-06-13 2014-12-29 인튜어티브 서지컬 인코포레이티드 미소절개 수술 시스템
US8860745B2 (en) * 2009-06-01 2014-10-14 Stmicroelectronics, Inc. System and method for color gamut mapping
US9324250B2 (en) * 2011-09-09 2016-04-26 Dolby Laboratories Licensing Corporation High dynamic range displays comprising MEMS/IMOD components
MX2016012636A (es) 2014-03-27 2016-12-14 Microsoft Technology Licensing Llc Ajuste de cuantificacion/escalamiento y cuantificacion/escalamient o inverso cuando se cambian espacios de color.
US20150287354A1 (en) * 2014-04-03 2015-10-08 Qualcomm Mems Technologies, Inc. Error-diffusion based temporal dithering for color display devices
CN104972767B (zh) * 2014-04-04 2016-08-17 株式会社理光 医疗图像打印装置及其医疗图像打印系统
JP6099603B2 (ja) * 2014-08-04 2017-03-22 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
KR101927968B1 (ko) * 2014-11-14 2018-12-11 삼성전자주식회사 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579031A (en) * 1992-12-15 1996-11-26 E. I. Du Pont De Nemours And Company Color matching method and apparatus
CN102893610A (zh) * 2010-05-13 2013-01-23 杜比实验室特许公司 视频显示设备的色域压缩
EP2672712A1 (en) * 2012-06-07 2013-12-11 Thomson Licensing Scene-dependent color gamut mapping
US20150092090A1 (en) * 2013-09-30 2015-04-02 Fujifilm Corporation Image processing apparatus, image processing system, and image processing method

Also Published As

Publication number Publication date
EP3414898A1 (en) 2018-12-19
US20200261181A1 (en) 2020-08-20
US20190029771A1 (en) 2019-01-31
KR20180104761A (ko) 2018-09-21
WO2017139563A1 (en) 2017-08-17
US10675117B2 (en) 2020-06-09
EP3414898A4 (en) 2019-09-11
JP2019509670A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
CN110650703B (zh) 手术导航系统
US10274714B2 (en) Surgical microscope for generating an observation image of an object region
WO2017022513A1 (ja) 映像信号処理装置および映像信号処理方法、ならびに表示装置
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US10631712B2 (en) Surgeon's aid for medical display
CN102811655A (zh) 内窥镜观察支持系统、方法、设备和程序
WO2010114843A1 (en) Injection of secondary images into microscope viewing fields
CN111568548B (zh) 基于混合实境的手术导航图像成像方法
US20180267287A1 (en) Operating microscope having an image sensor and a display, and method for operating an operating microscope
US10674968B2 (en) Adjustable overlay patterns for medical display
CN109863755A (zh) 信号处理设备、方法和程序
CN108713319A (zh) 使用虚拟基色匹配外科手术显示技术
Jiang et al. User's image perception improved strategy and application of augmented reality systems in smart medical care: A review
JP7457019B2 (ja) 医療撮像システム及び方法
EP2453290A1 (en) Image presentation method and apparatus therefor
US10952596B2 (en) Medical image processing device and image processing method
JP4424811B2 (ja) 医療画像切替装置、および医療画像切替装置を備えた医療画像表示システム
Dodgson et al. Autostereoscopic 3D display in laparoscopic surgery
JP2000148983A (ja) 仮想化内視鏡装置
WO2012062872A1 (en) Image presentation method, and apparatus therefor
US20230363852A1 (en) Multi-Viewpoint Video Capturing Device
Ilgner et al. Using a high-definition stereoscopic video system to teach microscopic surgery
Queisner Disrupting Screen-Based Interaction
Schmidt et al. Head-mounted display system for surgical visualization
Lawenko et al. Image Systems in Endo-Laparoscopic Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181026