CN106456276B - 用于组织接触检测和用于自动曝光和照明控制的系统和方法 - Google Patents

Abstract

即使照明器(210)的光学输出功率改变并且组织(203)与内窥镜的远端尖端之间的工作距离(204)改变，利用远程操作的外科手术系统(200)的内窥镜(201)捕获并在显示器单元(251)上显示的场景也维持一致的亮度。远程操作的外科手术系统(200)还自动检测内窥镜(201)何时接触组织(203)并且调节照明器(210)的输出光学功率，使得组织损伤不发生。

Description

用于组织接触检测和用于自动曝光和照明控制的系统和方法

相关申请

本申请是2015年3月17提交的国际申请No.PCT/US2015/020892的中国国家阶段申请，所述国际申请被指定U.S.并且要求以下专利申请的权益：提交于2014年3月17日的美国专利申请第61/954,336号，以及提交于2014年3月17日的美国专利申请第61/954,381号，上述的每个申请通过引用并入本文。

技术领域

本发明的一些方面涉及内窥镜成像，并且更具体地涉及在远程操作的外科手术系统中的组织接触检测、显示场景亮度控制、摄像机自动曝光控制以及照明控制。

背景技术

由加利福尼亚州森尼维耳市的直观外科手术公司(Intuitive Surgical,Inc.,Sunnyvale,California)商业化的da 外科手术系统是微创远程操作外科手术系统，该系统提供给患者许多益处，诸如减小对身体的创伤、加快康复以及缩短住院时间。da外科手术系统的一个特征是提供双通道(即左和右)视频捕获和可见图像的显示以向外科医生提供立体观察的能力。这种电子立体成像系统可以向外科医生输出高清晰度视频图像，并且可以允许诸如缩放(zoom)的功能以提供“放大的”视图，所述“放大的”视图允许外科医生识别特定的组织类型和特征以及利用增加的精度进行工作。

然而，外科手术部位的照明和在捕获外科手术部位的图像期间使用的摄像机的曝光时间是影响提供给外科医生的图像的质量的一些因素。例如，美国专利US 8,512,232 B2描述将提供第一照明水平的内窥镜引入到体内并且还将提供第二照明水平的照明设备引入到体内。该第二照明水平大于第一照明水平并且被用于对大目标面积成像。来自内窥镜的较低照明水平被用于对较小目标面积成像。

然而，高强度光源的潜在问题已经被认识到，并且在美国专利US 6,511,422B1中提供了解决方案。根据此专利，来自高强度光源的输出被控制，使得每当输出不指向组织时，光源输出强度就被自动降低到安全水平。从组织反射的光被监测，并且如果反射的光指示光源没有指向组织，则光强度被调低到安全水平。

发明内容

在远程操作的外科手术系统中，如果控制器检测到内窥镜尖端与组织的接触，则控制器将衰减来自内窥镜尖端的输出光学功率。这确保组织不会由于接触而被损伤。

在一个方面，控制器通过监测来自组织的反射照度并通过监测来自内窥镜的输出光学功率来检测接触。如果从第一输出光学功率到第二输出光学功率的变化未导致针对第二输出光学功率的反射照度相比于针对第一输出光学功率的反射照度的变化，则控制器确定接触发生。

在衰减后控制器以已知形式(pattern)改变来自内窥镜尖端的输出光学功率。控制器检测反射照度是否随着变化的输出光学功率而改变。如果反射照度跟随变化的输出光学功率的已知形式，则控制器结束衰减。

远程操作的外科手术系统包括照明器、摄像机以及控制器。照明器提供输出光学功率。摄像机被配置成捕获包括组织的场景。控制器耦接至照明器并耦接至摄像机。控制器被配置成检测内窥镜与组织的接触。控制器被配置成在检测到接触后衰减输出光学功率。

控制器包括耦接至摄像机的统计模块。该统计模块接收由摄像机捕获的场景。统计模块生成捕获场景的亮度直方图并且确定捕获场景的总体亮度。控制器中的接触检测模块耦接至统计模块。接触检测模块接收捕获场景的总体亮度并且接收摄像机曝光时间。接触检测模块还耦接至照明器。接触检测模块检测内窥镜的尖端与组织的接触。

在一个方面，照明器包括高频脉动(dither)模块。高频脉动模块耦接至接触检测模块。高频脉动模块被配置成在由接触检测模块被启用后以已知形式改变输出光学功率。自动曝光模块耦接至统计模块。自动曝光模块被配置成检测捕获场景中的亮度变化。

远程操作的外科手术系统包括控制系统。控制系统包括摄像机控制单元和照明控制器。照明控制器被配置成控制来自远程操作的外科手术系统的照明器的输出光学功率。摄像机控制单元被配置成从远程操作的外科手术系统的摄像机接收视频流。摄像机控制单元耦接至照明控制器。摄像机控制单元还被配置成命令照明控制器使输出光学功率从第一输出光学功率改变到第二输出光学功率，并且所述摄像机控制单元被配置成命令摄像机使摄像机曝光时间从第一曝光时间改变到第二曝光时间，使得随后以第二曝光时间从来自第二输出光学功率的反射光捕获帧。

在一个方面，光源耦接至照明控制器。内窥镜耦接至光源。摄像机耦接至内窥镜并且耦接至摄像机控制单元。

在一个方面，摄像机控制单元包括统计模块。统计模块耦接至摄像机以接收视频流。统计模块被配置成创建视频流中的帧的亮度直方图。摄像机控制单元还包括耦接至统计模块的自动曝光模块。自动曝光模块被配置成维持显示场景的目标亮度，该显示场景是来自捕获的帧的场景。此外，自动曝光模块被配置成将捕获的帧的场景中的饱和像素限制到小于每个场景中的预定数量像素。此外，自动曝光模块被配置成维持来自照明器的最小输出光学功率。

在另一个方面，摄像机控制单元包括第一控制回路和第二控制回路。第一控制回路被配置成自动调节视频流水线增益和摄像机曝光时间中的一个或两个，使得显示场景具有目标亮度。

第二控制回路被配置成自动调节输出光学功率并且为随后捕获的帧调节摄像机曝光时间。第二控制回路被配置成基于摄像机曝光时间的值调节输出光学功率和摄像机曝光时间。

如果摄像机曝光时间大于第一曝光阈值，则第二控制回路增大输出光学功率并且减小摄像机曝光时间。如果摄像机曝光时间小于第二曝光阈值，则第二控制回路减小输出光学功率并且增大摄像机曝光时间。如果摄像机曝光时间在第一曝光阈值与第二曝光阈值之间，则第二控制回路保持输出光学功率和摄像机曝光时间不变。

在一个方面，第一控制回路和第二控制回路被包括在自动曝光模块中。统计模块耦接至摄像机以接收视频流并且耦接至自动曝光模块。统计模块被配置成创建视频流中的帧的亮度直方图。

在一个方面，摄像机控制单元包括控制回路，该控制回路被配置成自动调节显示场景的目标亮度以减少随后捕获的帧中的饱和像素的数量。控制回路被配置成对目标亮度施加范围受限的减小。

在另一个方面，摄像机控制单元包括自动曝光模块。自动曝光模块被耦接至统计模块以接收视频流中的帧的亮度直方图。此外，自动曝光模块被配置成利用该直方图中的信息来确定平均亮度。自动曝光模块还被配置成基于平均亮度与目标亮度的关系调节视频流水线增益和摄像机曝光时间中的一个或两个。当捕获场景中的饱和像素数量大于饱和像素阈值时，自动曝光模块还减小目标亮度。此外，自动曝光模块被配置成命令照明控制器使第一照明器输出改变到第二照明器输出并且命令摄像机调节摄像机曝光以补偿照明器输出的变化。

一种操作远程操作的外科手术系统的方法包括利用捕获场景的平均亮度和显示场景的目标亮度来调节视频流水线增益和摄像机曝光时间中的一个或两个。该方法还利用摄像机曝光时间来配置照明器的输出光学功率和摄像机的曝光时间。该方法通过减小目标亮度来减少第二捕获帧中的饱和像素的数量。

附图说明

图1A和图1B是包括控制器的远程操作的外科手术系统的方框图，该控制器用于控制场景中的数个饱和像素中的一些或全部、用于控制视频流水线(pipeline)增益、用于控制输出光学功率、用于控制摄像机曝光时间以及用于检测组织接触。

图2是包括控制器的远程操作的外科手术系统的另一个方框图，该控制器用于控制场景中的数个饱和像素、用于控制视频流水线增益、用于控制输出光学功率、用于控制摄像机曝光时间以及用于检测组织接触。

图3是由统计模块生成的捕获场景的亮度直方图。

图4是用于自动曝光模块的一个方面的过程流程图。

图5A是图4中限制饱和像素过程的一个方面的过程流程图。

图5B是图4中调节增益和曝光时间过程的一个方面的过程流程图。

图5C是图4中调节功率和曝光时间的一个方面的过程流程图。

图6是示出使用摄像机曝光时间的输出光学功率控制的曲线图。

图7是用于图2的摄像机控制单元和图4的过程流程图的流水线图表。

在这些附图中，附图标记的第一位数字指示带有该附图标记的元件首次在其中出现的附图。

具体实施方式

在一个方面，即使在组织103与内窥镜101的远端尖端之间的工作距离改变，利用远程操作的外科手术系统100A和100B(图1A和图1B)的内窥镜101捕获并显示在立体显示器单元151上的场景也维持一致的亮度。远程操作的外科手术系统100A和100B还自动检测何时内窥镜101接触组织并调节照明器110的输出光学功率，使得不发生组织损伤。

来自照明器110的具有输出光学功率(例如，可见光)的照明在内窥镜101的远端尖端(有时称为尖端)处离开内窥镜101。照明被从组织103反射并且被捕获为帧122L和帧122R，帧122L包括由左摄像机120L的左图像传感器121L捕获的左彩色场景，帧122R包括由右摄像机120R的右图像传感器121R捕获的右彩色场景。左图像传感器121L和右图像传感器121R中的每一个被称为捕获包括场景的帧。

捕获的帧作为视频流被逐帧传递至摄像机控制单元130L和130R，在摄像机控制单元130L和130R中，每一帧被处理并且然后被传递至视频流水线140。视频流水线140以除以下描述之外的等同于现有远程操作的外科手术系统中的视频流水线处理方式的方式处理每一帧，并且然后将帧传递至外科医生的控制台150中的立体显示器151。

因此，组织103由远程操作的外科手术系统100A和100B的用户在外科医生的控制台150上观察。当场景的视频序列被显示在立体显示器151上时，场景作为组织103的连续图像呈现给用户，例如，用户看到组织103移动、看到出血、看到由于呼吸引起的运动等等。然而，用户将注意到在立体显示器151上显示的场景中的亮度变化，这可能是分散注意力的。远程操作的外科手术系统100使显示的场景维持一致的亮度，即使组织103与内窥镜101的远端尖端之间的工作距离改变(增大或减小)。虽然在这个示例中使用立体内窥镜，但是系统100A和系统100B通过处理单个捕获的场景同样地为具有单个光学通道的内窥镜工作。

在立体显示器151上显示的场景具有预定亮度，该预定亮度被称为目标亮度。在一个方面，目标亮度由远程操作的外科手术系统100A和100B设定。然而，在一些方面，外科医生被允许调节该目标亮度，使得显示场景的亮度对于该外科医生是可接受的。

在一个方面，内窥镜控制系统包括控制器，该控制器进而包括摄像机控制单元130L和130R以及照明控制器115。在一个方面，摄像机控制单元130L和130R包括两个控制回路131、132。(图1A)控制回路131和132的组合被配置成维持显示场景(该显示场景是在捕获的帧中的场景)的目标亮度并且被配置成维持最小照明器输出。

随着内窥镜101移动远离组织103，如果增益和曝光控制回路131检测到由左图像传感器121L捕获的场景和由右图像传感器121R捕获的场景的总体亮度减小，则增益和曝光控制回路131自动命令摄像机120L、120R增加摄像机曝光时间以使得随后捕获的图像具有目标亮度，或者命令视频流水线140增加控制在显示器单元151上显示的场景的亮度的增益以使得显示的场景具有目标亮度。在一些情形中，增益和曝光控制回路131自动命令增加摄像机曝光时间和增加视频流水线增益二者。功率和曝光控制回路132确定是否应当增大来自照明器110的输出光学功率。如果输出光学功率被增大，则功率和曝光控制回路132以固定大小的同步线性步长逐帧增大照明器110的输出光学功率并且减小摄像机120L和120R的曝光时间。

输出光学功率的增大和曝光时间的减小是相同大小的变化，例如，如果输出光学功率的增大是百分之一，则曝光时间的减小是百分之一。如果系统是完美的，以新输出光学功率和新曝光时间捕获的场景相对于以原始输出光学功率和原始曝光时间捕获的场景在总体亮度上将没有变化。然而，因为系统是不完美的，以新输出光学功率和新曝光时间捕获的场景的总体亮度可能有变化。因此，固定大小的步长被选择，使得由输出光学功率和曝光时间的同步变化引起的显示图像的亮度的任何闪烁不被外科医生察觉。

类似地，随着内窥镜101朝向组织103移动，如果增益和曝光控制回路131检测到由左摄像机120L的左图像传感器121L捕获的场景和由右摄像机120R的右图像传感器121R捕获的场景的亮度增大，则增益和曝光控制回路131自动命令摄像机120L、120R减小摄像机曝光时间以使得随后捕获的图像具有目标亮度，或者命令视频流水线140减小控制在显示器单元151上显示的场景的亮度的增益以使得显示的场景具有目标亮度。在一些情形中，增益和曝光控制回路131自动命令减小摄像机曝光时间和减小视频流水线增益二者。功率和曝光控制回路132确定来自照明器110的输出光学功率是否应当被减小。如果输出光学功率应当被减小，则功率和曝光控制回路132以固定大小的同步线性步长逐帧地减小照明器110的输出光学功率并增加摄像机120L和120R的曝光时间。然而，如果输出光学功率的减小达到最小输出光学功率，则照明器110的输出光学功率被维持在该最小输出光学功率。

在另一个方面，摄像机控制单元130L和130R包括三个控制回路131、132、133。(图1B)控制回路131、132和133的组合被配置成维持显示场景(该显示场景是在捕获的帧中的场景)的目标亮度，被配置成将捕获的帧的场景中的饱和像素限制到小于每个场景中预定数量的像素，并且被配置成维持最小照明器输出。在该方面，控制回路131和132以与以上描述的相同方式运行。

除了可能使外科医生分散注意力的亮度变化之外，不能传达区域中的细节的显示场景的任何区域都可能使外科医生分散注意力。图像传感器121L和121R在被称为像素的阱(well)中捕获光。每个阱具有有限的容量，并且如果一个阱捕获太多的光，则该阱溢出并且因此没有包含有用的信息。当阱溢出时，该像素被称为饱和像素。

如果组织103的区域反射过多的光以致于捕获由组织的该区域反射的光的像素是饱和的，则外科医生在立体显示器151上将该区域看作没有细节的亮点。关于该区域中的组织、血管等的性质的任何信息均丢失。因此，在一个方面，饱和像素控制回路133确定整个帧中的饱和像素的数量，并且如果饱和像素的数量大到足以使外科医生分散注意力，则饱和像素控制回路133以固定大小的线性步长逐帧减小目标亮度，直到帧中的饱和像素的数量小于将使外科医生分散注意力的数量。然而，目标亮度的减小是范围受限的。这意味着目标亮度可以被减小不超过由系统设定的或由外科医生选择的原始目标亮度的固定百分比，例如，目标亮度的最大变化被限制到小于原始目标亮度的百分之三十五。因此，饱和像素控制回路133被配置成对目标亮度施加范围受限的减小。

因为饱和像素控制回路133分析在整个帧中的饱和像素的总数量，所以饱和像素控制回路133的操作不依赖于帧中的饱和像素的位置。当特征件(feature)的位置使得饱和像素在显示的场景中变化时，例如当外科手术器械在场景中移动时，该方法维持场景的一致的显示亮度。

如果内窥镜101(图1A和图1B)继续朝组织103移动，最终内窥镜101接触组织103。通过检测输出光学功率水平的变化来观测接触，该输出光学功率水平的变化导致从组织103反射的照度的很小变化或没有变化。当这种情形被摄像机控制单元130L和130R检测到时，照明器110的输出光学功率被减小至对组织接触是安全的水平。

除了其中输出光学功率的变化导致从组织103反射的照度的很小变化或没有变化的组织接触之外，还有一些情形，例如，内窥镜101的远端尖端被收到套管中。为了防止此类误报抑制内窥镜101的操作，当照明器101的输出光学功率处于对组织接触是安全的水平时，输出光学功率以已知的方式变化。如果输出光学功率的这种已知变化被摄像机控制单元130L和130R检测到，则内窥镜101不与组织接触，并且摄像机控制单元130L和130R恢复对输出光学功率的正常控制。

因此，在一个方面，控制器通过监测来自组织103的反射照度并且通过监测输出光学功率来检测内窥镜尖端与组织的接触。在检测到接触后，控制器减弱来自内窥镜尖端的输出光学功率。因为反射照度不是直接测量的，所以控制器将反射照度确定为捕获场景的总体亮度与摄像机曝光时间的比率。在此，总体亮度被取为帧的平均亮度。

因此，为了检测接触，控制器监测反射照度，即捕获场景的总体亮度与摄像机曝光时间的比率，并且控制器监测来自内窥镜101的输出光学功率。如果从第一输出光学功率到第二输出光学功率的变化没有导致比率相比于从来自第一输出光学功率的反射光捕获的场景的比率而变化，即不导致反射照度的变化，则控制器确定内窥镜尖端接触组织。

远程操作的外科手术系统100(图1A和图1B)的一个示例是由加利福尼亚州森尼维耳市直观外科手术公司(Intuitive Surgical,Inc.Sunnyvale,California)商业化的da微创远程操作外科手术系统。远程操作的外科手术系统100A和100B仅是示例性的并且不旨在是限制性的。在这个示例中，在外科医生的控制台150处的外科医生远程地操纵安装在机器人操纵器臂(未示出)上的内窥镜101。虽然存在与da 外科手术系统相关联的其他部件、电缆等，但是这些不在图1A和图1B中示出，以避免有损本公开。关于远程操作的微创外科手术系统的进一步信息可以例如在美国专利申请11/762,165(提交于2007年6月13日；公开了Minimally Invasive Surgical System)中和美国专利6,331,181(提交于2001年12月18日，公开了Surgical Robotic Tools,Data Architecture,and Use)中找到，这两者均通过引用并入本文。

照明系统(例如，照明器110)被耦接至内窥镜101。在一个方面，照明器110包括光源111和照明控制器115。照明控制器115被耦接至光源111并且被耦接至摄像机控制单元130L和130R。

在图1A和图1B的方面中，光源111包括多个颜色分量照明源112。在一个方面中，多个颜色分量照明源112包括多个发光二极管(LED)。LED的使用仅是示例性的并不旨在限制。多个颜色分量照明源112还可以利用例如多个激光源或多个激光二极管替代LED来实现。替代地，光源111可以使用带有椭圆形背反射镜(reflector)和带通滤波涂层的氙灯来为可见图像生成宽带白色照明光。氙灯的使用也仅是示例性的并不旨在限制。例如，可以使用高压汞弧灯、其他弧光灯或其他宽带光源。

在这个方面，照明器110结合立体内窥镜101中的至少一个照明路径来使用以照亮组织103。来自照明器110的输出光被引导到连接器116。连接器116将光提供到立体内窥镜101中的照明路径，该照明路径进而将光引导到外科手术部位103。连接器116和立体内窥镜101中的照明路径二者中的每一个可以利用例如光纤束、单个刚性或柔性杆或光纤来实施。在一个方面，内窥镜101还包括两个光学通道(即，立体光学通道)，用于将从外科手术部位103反射的光传递至摄像机120、120R。

摄像机120L通过左摄像机控制单元130L和视频流水线140被耦接至外科医生的控制台150中的立体显示器151。摄像机120R通过右摄像机控制单元130R和视频流水线140被耦接至外科医生的控制台150中的立体显示器151。摄像机控制单元130L、130R接收来自系统处理模块162的信号。系统处理模块162和中央控制器160代表系统100中的各种控制器中的一些控制器。

显示模式选择开关152向用户界面161提供信号，该用户界面进而将选择的显示模式传递至系统处理模块162，例如，高功率模式。系统处理模块162内的各种控制器配置照明控制器115，配置左和右摄像机控制单元130L和130R以采集期望的图像，并且配置视频流水线140中的处理所采集的图像所需要的任何其他元件，使得要求的图像在显示器150中呈现给外科医生。除了本文提供的细节外，视频流水线140等同于已知的视频流水线。

尽管被描述为中央控制器160，但应认识到，中央控制器160以及本文描述的其他控制器中的每一个在实践中可以由任意数量的模块实施，并且每个模块可以包括部件的任意组合。每个模块和每个部件可以包括硬件、在处理器上执行的软件以及固件，或这三者的任意组合。此外，本文描述的中央控制器160和其他控制器中的每一个的功能和作用可以通过一个模块执行，或者被分配在不同的模块之中或者甚至在模块的不同部件之中。当被分配在不同的模块或部件之中时，这些模块和部件可以被集中到一个位置或跨越系统100A和系统100B分布以用于分布处理的目的。因此，本文描述的中央控制器160和其他控制器中的每一个不应被解释为要求单个物理实体，如在某些方面中，控制器可以跨越系统100A和系统100B分布。

在图1A和图1B中，摄像机120L、120R和光源112被示出为在内窥镜101的外部。然而，在一个方面，摄像机120L、120R和光源112被包括在内窥镜101的远端尖端中。例如，在图2中，摄像机220和光源211被包括在远程操作的外科手术系统200的内窥镜201中。

再次，远程操作的外科手术系统200的一个示例是以上讨论的da 微创远程操作的外科手术系统。远程操作的外科手术系统200仅是示例性的并不旨在进行限制。正如远程操作的外科手术系统100A和100B，存在与da 外科手术系统相关联的其他部件、电缆等，但是这些不在图2中示出，以避免有损本公开。

在该示例中，控制器还包括摄像机控制单元230和照明控制器215。在一个方面，摄像机控制单元230代表摄像机控制单元130L和130R，并且摄像机220代表摄像机120L和120R。在另一个方面，摄像机控制单元230被耦接至摄像机220中的单个光学通道。

摄像机控制单元230包括自动曝光模块232，该自动曝光模块232控制显示器单元251上所显示的场景的亮度。此外，由照明控制器215控制的输出光学功率还被结合(tied)到自动曝光模块232，以便当外科手术情况不要求最大输出光学功率时提供自动照明器调暗或者当外科手术情况要求比最小输出光学功率更多的亮度时提供自动照明器调亮。在临床应用中，期望仅使用与提供良好质量视频所需的一样多的光。这避免由于较高功率照明引起的任何负面的组织相互作用。

被目标203(例如，外科手术部位)反射的来自光源211的光由摄像机220捕获为彩色场景。光源211具有响应于来自自动曝光模块232的命令和响应于来自接触检测模块233的命令而由照明控制器215控制的输出光学功率212。目标203具有照度(luminance)205，其是目标203的亮度(brightness)的指示。通常，随着输出光学功率212增加或减小，目标203的照度205增加或减小。为了避免与捕获图像的照度混淆，目标203的照度被称为“反射照度”，并且捕获图像的照度被称为“捕获图像照度”或“图像照度”。

在一个方面，摄像机220是滚动快门摄像机。如本文所用，滚动快门意味着不是一次读取来自摄像机图像传感器的整个帧，而是从帧的每一行逐行地从顶部至底部读取信息。

摄像机220捕获包括视频流的帧的连续序列。每个捕获的帧包括彩色场景，该彩色场景是目标203在瞬间的快照。视频221从摄像机220被流传输至摄像机控制单元230中的统计模块231。统计模块231收集关于视频流中的每一帧的实时统计。这些统计包括帧的像素亮度的直方图，该直方图被馈入自动曝光模块232。如以下更全面地解释的，自动曝光模块232控制目标亮度、摄像机220的曝光时间、视频流水线240中的增益以及来自内窥镜201的输出光学功率。在一个方面，自动曝光模块232被配置成：

维持在显示器单元251上显示的视频图像的目标亮度；

维持由摄像机220捕获的每个场景中的饱和像素总数低于饱和像素阈值；并且

维持获得由摄像机220捕获的场景的目标亮度所必需的最小输出光学功率(最小照明亮度)。

在另一个方面，自动曝光模块232被配置成：

维持在显示器单元251上显示的视频图像的目标亮度；并且

维持获得由摄像机220捕获的场景的目标亮度所必需的最小输出光学功率(最小照明亮度)。

如本文所用，目标亮度是在显示器单元251上显示的场景的亮度。初始目标亮度(有时被称为原始目标亮度)在远程操作的外科手术系统200中被设置，例如，目标亮度为1500。然而，在一个方面，滑动开关被呈现在显示器单元251上的用户界面上，该滑动开关允许用户选择用户可接受的显示场景的目标亮度。基于来自远程操作的外科手术系统(如daVinci远程操作的外科手术系统)的用户的反馈根据经验确定初始目标亮度。如以下更全面地解释，目标亮度是自动曝光模块232中的控制回路中的控制参数。

如以下更全面地解释，自动曝光模块232通过确保场景的平均亮度等于目标亮度来确保帧中显示的场景的恒定亮度。在此，场景的均值亮度或平均亮度被称作场景的总体亮度或帧的总体亮度。自动曝光模块232还通过对目标亮度施加范围受限的减小来限制显示场景中的饱和像素的影响。自动曝光模块232在有滞后的情况下使用亮度阈值来控制照明器210的输出光学功率。

如以下更全面地解释，由自动曝光模块232实现的控制系统控制视频流水线增益236和摄像机曝光时间238。在不存在饱和像素的情况下，捕获场景的总体亮度的变化是视频流水线增益236和摄像机曝光时间238的线性函数。

然而，场景中的任何饱和像素是固有地非线性的。不幸的是，与摄像机220和/或视频流水线240的有限位深或有限动态范围结合的非常明亮的镜面高光(specularhighlight)导致在显示器单元251上显示的场景中的像素饱和。此外，在图像中不期望有饱和像素，因为饱和像素区域中的细节会丢失。

镜面高光是从高反射性的解剖体产生的并且是从行进穿过内窥镜201的视野的金属(高反射性)器械产生的。自动曝光模块232被配置成当器械移动穿过场景时使场景亮度变化最小化，并且被配置成使任何自动曝光参数的用户调节最小化。

使移动穿过场景的反射器械的影响最小化的一种方法是使用远程操作的外科手术系统200中可获得的有关器械的最可能位置的空间信息并且将自动曝光聚焦在器械不大可能被定位的场景的区域上。一种途径是在场景的中心限定矩形区域。在该情况下，统计模块231将只为矩形区域中的像素位置生成图像统计。这允许器械在场景的周边移动，而不影响显示场景的亮度。此途径可能对其中器械无大范围运动并因此不会频繁移动穿过矩形区域的外科手术过程和远程操作的外科手术系统是有用的。

然而，如果器械具有大范围运动并且因此移动穿过矩形区域，则使用仅对矩形区域的统计将产生不可见的界线(barrier)(区域的轮廓)，在此处，如果反射器械穿过此界线，将出现场景亮度的巨大改变，因为自动曝光模块232将针对由于高反射器械的反射引起的区域中的亮度增加进行调节。与器械穿过不可见界线相关联的亮度变化通常使外科医生分散注意力，因此此类变化是不期望的。由于这个原因，在一个方面，采取对整个可视场景的统计。在该方面，针对整个捕获的帧生成统计，因为整个帧被用于生成显示的场景。在另一个方面，不被用于生成显示场景的像素不被包括在统计中，例如，视频处理裁剪捕获的帧以获得显示场景，并且因此已裁剪的像素不被用于生成统计。

因此，在一个方面，统计模块231针对由摄像机220的图像传感器捕获的帧中的所有像素位置生成亮度直方图。在帧中的每个像素位置处，存在红色、绿色和蓝色像素。统计模块231将红色像素值、绿色像素值和蓝色像素值变换成与该像素位置的亮度(如图像照度)成比例的值。

统计模块231对帧中具有每个可能亮度值的像素位置的数量进行计数并生成直方图。如果亮度由一个字节数表示，则存在范围从零至225的256个可能的亮度值。图3示出包括饱和像素的帧的典型直方图300。可能的亮度值被标绘在x轴上。每个亮度值的柱(bar)的高度表示帧中具有该亮度值的像素位置的数量。此外，沿着x轴是亮度的灰度表示。

统计模块231针对捕获的帧生成统计而不需要帧缓冲器，并且因此不仅不要求对正被处理的帧的附加存储，还消除了存储和从帧缓冲器读取所需要的时间。

图4是自动曝光模块232的一个方面的过程流程图。在该方面，自动曝光模块232包括“限制饱和像素”过程441(有时被称为过程441)、“调节增益和曝光时间”过程442(有时被称作过程442)以及“调节功率和曝光时间”过程443(有时被称作过程443)。

自动曝光模块232实现图1A和图1B中的三个控制回路。第一控制回路(饱和像素控制回路133)包括“限制饱和像素”过程441，第二控制回路(增益和曝光控制回路131)包括“调节增益和曝光时间”过程442，并且第三控制回路(功率和曝光控制回路132)包括“调节功率和曝光时间”过程443。针对这三个控制回路选择时间常数，使得由自动曝光模块232提供的控制是稳定的。相对于包括“调节增益和曝光时间”过程442的第二控制回路的时间常数，包括“限制饱和像素”过程441的第一控制回路具有更长的时间常数。包括“调节功率和曝光时间”过程443的第三控制回路具有相对于第二控制回路的时间常数更长的时间常数。虽然图4示出三个过程441、442和443，但是在一些方面只实现过程442和443。见图1A。

如以下更全面地描述的，“限制饱和像素”过程441随时间使被饱和像素消耗的显示器251的总屏幕面积最小化。“限制饱和像素”过程441控制“调节的目标亮度”444以执行这种最小化。图5A是“限制饱和像素”过程441的一个方面的过程流程图。完成之后，“限制饱和像素”过程441转移至“调节增益和曝光时间”过程442。

“调节增益和曝光时间”过程442控制视频流水线增益和摄像机曝光时间。“调节增益和曝光时间”过程442基于平均帧亮度与调节的目标亮度444之间的关系来调节“视频流水线增益”445和“摄像机曝光时间”446中的一个。“视频流水线增益”445提供视频流水线增益236。“摄像机曝光时间”446提供摄像机曝光时间238。

图5B是“调节增益和曝光时间”过程442的一个方面的过程流程图。完成之后，“调节增益和曝光时间”过程442转移至“调节功率和曝光时间”过程443。

“调节功率和曝光时间”过程443控制照明器210的输出光学功率和摄像机曝光时间。如果摄像机曝光时间小于第二曝光阈值(见图6)，则输出光学功率被减小并且正调节被施加至摄像机曝光时间以补偿照明变化。如果摄像机曝光时间大于第一曝光阈值(见图6)，则照明器210的输出光学功率被增大并且负调节被施加至摄像机曝光时间以补偿照明变化。因此，“调节功率和曝光时间”过程443确定是否需要改变输出光学功率448和摄像机曝光时间调节447，并且然后使处理返回至“限制饱和像素”过程441以处理下一帧。输出光学功率448提供输出光学功率237。图5C是“调节功率和曝光时间”过程443的一个方面的过程流程图。

如以上所指示，图5A示出“限制饱和像素”过程441的一个方面。“计数饱和像素”过程501对直方图300的(多个)最高收集器(bin)中的像素数量计数。如果最高收集器(例如，收集器255)中的像素数量大于饱和像素阈值，则“过多饱和像素”检查过程502转移至“减小目标亮度”过程503，否则转移至“调节目标亮度低”检查过程504。虽然“计数饱和像素”过程501在这方面被示出为被包括在“限制饱和像素”过程441中，但是“计数饱和像素”过程501可以被包括在统计模块231中而不是“限制饱和像素”过程441中。

在一个方面，“计数饱和像素”过程501(有时被称作过程501)对直方图300中的饱和像素的数量301计数。在图3的示例中，在收集器255中的饱和像素的计数是41873。

如果内窥镜201是立体内窥镜，则统计模块231针对左光学通道和右光学通道中的每个光学通道生成直方图。如果内窥镜201不是立体内窥镜，则统计模块231针对单个光学通道生成直方图。在一个方面，使用两个字节表示亮度，并且因此直方图沿着x轴具有512个收集器。在一个方面，“计数饱和像素”过程501将饱和像素的数量确定为左直方图和右直方图中的每个直方图的收集器511中的像素数量之和。

远程操作的外科手术系统200的某些操作模式可以将左场景和右场景中的一个场景标记为无效。在这些操作模式中，饱和像素的计数针对有效场景的直方图来完成。

在一个方面，场景中所允许的饱和像素的数量的饱和像素阈值根据经验确定。远程操作的外科手术系统200被配置成改变在显示器单元251上显示的场景中的饱和区域的大小。具有这种系统的临床试验被用于确定饱和像素数量的阈值和用于对饱和像素的数量计数的收集器，使得一组外科手术任务可以被完成，而系统的用户不需要将饱和区域标记为分散注意力或阻碍任务的完成。

在一个方面，对于直方图中的512个收集器(被标记为收集器0至收集器511)和立体内窥镜，饱和像素阈值被选择为收集器511中的12000。因此，针对该方面，过多饱和像素检查过程502将饱和像素阈值120000与从统计模块231接收的左直方图的收集器511中的饱和像素的总数量与右直方图的收集器511中的饱和像素的总数量之和进行比较。通过调节最大饱和像素计数和用于计数饱和像素的收集器的数量，自动曝光模块232可以针对屏幕上的饱和区域的大小被调整，并且可以随后在视频流水线中补偿增益。如果帧中的饱和像素的数量大于饱和像素阈值，则检查过程502转移至“减小目标亮度”过程503。

利用左帧和右帧中相同的收集器中的饱和像素的总数量给出显示场景中的饱和像素的总面积的测量，并且所述饱和像素的总数量不依赖于饱和像素在屏幕上的位置(即，饱和像素区域可以在摄像机的视野中移动，而像素的直方图几乎没有变化)。然而，当饱和像素的数量超过饱和像素阈值时，目标亮度通过“减小目标亮度”过程503被降低。因此，大区域的饱和像素可能导致自动曝光模块232使显示场景变暗，使得场景的非反射性区域过暗。由于这个原因，目标亮度的降低是范围受限的。

在一个方面，“限制饱和像素”过程441的时间常数是四至五秒，并且目标亮度的最大降低量(对目标亮度的范围限制)是原始目标亮度266的百分之三十五。对目标亮度的范围限制是根据经验确定的。通过查明显示场景的最低平均亮度来确定该范围，其中用户将该最低平均亮度识别为提供可在外科手术过程中使用的信息。最低平均亮度与原始目标亮度的比率被用于限定目标亮度的范围限制，例如，

目标亮度的范围限制＝(1-(最低可接受平均亮度/原始目标亮度))*100

为了确定所允许的每帧目标亮度的变化，对于五秒的时间常数和百分之三十五的亮度范围限制，每秒百分之七的变化是被允许的。对于每秒捕获六十帧的摄像机，每帧目标亮度的变化是固定的线性步长0.11％，直到捕获场景中的饱和像素的数量小于饱和像素阈值，或者从初始目标亮度266的改变是范围受限的，例如，目标亮度被减小了目标亮度范围限制。在此示例中，对于1500的初始目标亮度和百分之三十五的范围限制，目标亮度的限制是(1500*(1-0.35))，该限制是975。

因此，如果经调节的目标亮度不在目标亮度范围的限制处，则“减小目标亮度”过程503以一个固定大小的线性步长改变经调节的目标亮度并且将结果保存为“调节的目标亮度”444。在调节目标亮度后，“限制饱和像素”过程441转移至“调节增益和曝光时间”过程442。如果经调节的目标亮度在目标亮度范围的限制处，即，目标亮度是范围受限的，则“减小目标亮度”过程503不采取任何行动并且转移至过程442。

如果(多个)最高收集器中的像素数量小于饱和像素阈值，则“过多饱和像素”检查过程502转移至“调节目标亮度低”检查过程504(有时被称作过程504)。过程504将“调节的目标亮度”444与原始目标亮度266比较。如果“调节的目标亮度”444小于原始目标亮度266，则过程504转移至“增大目标亮度”过程505，否则转移至“调节增益和曝光时间”过程442。

“增大目标亮度”过程505通过以上述大小的一个固定线性步长来增加调节的曝光时间，并且将结果保存为“调节的目标亮度”444。过程505转移至“调节增益和曝光时间”过程442。

如上所述，图5B示出“调节增益和曝光时间”过程442的一个方面。“计算平均帧亮度”过程511(有时被称作过程511)从亮度直方图确定亮度的均值(有时被称作平均亮度)。如上所述，如果内窥镜201是立体内窥镜，则统计模块231针对左光学通道和右光学通道中的每个生成直方图。如果内窥镜201不是立体内窥镜，则统计模块231生成单一直方图。因此，对于立体内窥镜，过程511确定从左光学通道捕获的左场景的左平均亮度，并且确定从右光学通道捕获的右场景的右平均亮度。左平均亮度和右平均亮度由过程501求平均以获取平均帧亮度——帧的总体亮度。虽然“计算平均帧亮度”过程511在此方面中被示出为被包括在“调节增益和曝光时间”过程442中，但是“计算平均帧亮度”过程511可以被包括在统计模块231中而不是“调节增益和曝光时间”过程442中。

远程操作的外科手术系统200的某些操作模式可以将左场景和右场景中的一个标记为无效。在这些操作模式中，有效场景的均值被过程511当做平均帧亮度。在确定平均帧亮度之后，过程511将处理转移至“帧亮度对目标亮度”检查过程512。

“帧亮度对目标亮度”检查过程512(有时被称作检查过程512)将平均帧亮度与“调节的目标亮度”444比较。如果平均帧亮度大于“调节的目标亮度”444，则检查过程512转移至“减小增益或曝光时间”过程514。如果平均帧亮度小于“调节的目标亮度”444，则检查过程512转移至“增大增益或曝光时间”过程513。

当处理转移至“增大增益或曝光时间”过程513(有时被称作过程513)时，捕获图像的亮度过低。如果摄像机曝光时间不在最大摄像机曝光时间Emax处(见图6)，则过程513增大摄像机曝光时间，这进而增大随后捕获的帧的平均帧亮度。然而，如果摄像机曝光时间在最大摄像机曝光时间Emax处，则摄像机曝光时间不能被进一步增大。在此情形中，过程513增大视频流水线增益。

因此，过程513首先确定“调节的目标亮度”444与平均帧亮度的比率。因为平均帧亮度小于“调节的目标亮度”444，所以该比率大于一。作为一个示例，假设该比率为1.2，例如，亮度需要被增加百分之二十。亮度是摄像机曝光时间的线性函数。因此，如果“摄像机曝光时间”446小于最大摄像机曝光时间Emax，则过程513用“调节的目标亮度”444与平均帧亮度的比率乘以“摄像机曝光时间”446，例如，摄像机曝光时间被乘以1.2，并且结果被保存为“摄像机曝光时间”446。如果“摄像机曝光时间”446在最大摄像机曝光时间Emax处，则过程513用“调节的目标亮度”444与平均帧亮度的比率乘以“视频流水线增益”445，例如，视频流水线增益被乘以1.2，并且结果被保存为“视频流水线增益”445。如果用“调节的目标亮度”444与平均帧亮度的比率乘以“摄像机曝光时间”446给出大于最大摄像机曝光时间Emax的摄像机曝光时间，则该增加量在摄像机曝光时间与视频流水线增益之间被划分，使得“摄像机曝光时间446”在摄像机曝光时间Emax处并且该增加量的剩余部分被施加至“视频流水线增益”445。对于具有百分之二十的增加量的示例来说，如果“摄像机曝光时间”446比最大摄像机曝光时间Emax小百分之十，则“摄像机曝光时间”446被增加，使得“摄像机曝光时间”446在最大摄像机曝光时间Emax处并且“视频流水线增益”445被增大剩余部分，例如，

新视频流水线增益＝1.2*(1.0-0.1)＝1.08

完成之后，过程513转移至“调节功率和曝光时间”过程443。

当处理转移至“减小增益或曝光时间”过程514(有时被称作过程514)时，捕获图像的亮度过高。如果视频流水线增益大于一(见图6)，则过程514减小视频流水线增益，这减小显示场景的亮度。然而，如果视频流水线增益等于一，则过程514减小摄像机曝光时间，这降低随后捕获的图像的平均帧亮度。

因此，过程514首先确定“调节的目标亮度”444与平均帧亮度的比率。因为平均帧亮度大于“调节的目标亮度”444，所以该比率小于一。作为一个示例，假设该比率为0.8，例如，亮度需要被减小百分之二十。

如果“视频流水线增益”445大于一，则过程514用“调节的目标亮度”444与平均帧亮度的比率乘以“视频流水线增益”445，例如，视频流水线增益被乘以0.8，并且结果被保存为“视频流水线增益”445。如果“视频流水线增益”445为一，则过程514用“调节的目标亮度”444与平均帧亮度的比率乘以“摄像机曝光时间”446，例如，摄像机曝光时间被乘以0.8，并且结果被保存为“摄像机曝光时间”446。如果用“调节的目标亮度”444与平均帧亮度的比率乘以“视频流水线增益”445给出小于一的视频流水线增益，则该减小量在摄像机曝光时间与视频流水线增益之间被划分，使得“视频流水线增益”445为一，并且该减小量的剩余部分被施加至“摄像机曝光时间”446。对于具有百分之二十的减小量的示例来说，如果“视频流水线增益”445为1.1，则“视频流水线增益”445被减小至一，并且摄像机曝光时间446被减小该减小量的剩余部分，例如，

新的摄像机曝光时间＝摄像机曝光时间*(1-0.2)/(1/1.1))

完成之后，过程514转移至“调节功率和曝光时间”过程443。

“调节功率和曝光时间”过程443通过向照明控制器215发送命令利用光源211的期望的输出光学功率来控制照明器210的输出光学功率，并且向“摄像机曝光时间”446发送相应的曝光时间调节。如以下关于图7所解释的，输出光学功率和摄像机曝光时间的改变被同步。

图5C是“调节功率和曝光时间”过程443的一个方面的过程流程图。然而，在考虑图5C之前，考虑在图5C的过程中使用的参数。

在一个方面中，过程443以固定大小的同步步长增大或减小来自光源211的照明输出的亮度。摄像机曝光时间被改变与照明改变相同的百分比，例如，如果步长变化将照明输出乘以1.006，则摄像机曝光时间除以1.006。

为了确定步长的固定大小，以秒为单位的斜坡时间tramp被规定为用于使来自光源211的照明输出从最小输出光学功率Pmin线性地斜坡变化至最大输出光学功率Pmax(并且反之亦然)的时间段。

固定大小的输出光学功率步长Pstep被定义为：

Pstep＝(Pmax-Pmin)/(tramp*(摄像机的每秒帧数))。

作为示例，考虑800毫瓦的最大输出光学功率、400毫瓦的最小输出光学功率、三秒的斜坡时间tramp以及每秒捕获六十帧的摄像机。如果输出光学功率被改变，则固定大小步长为±2.22毫瓦/帧。如果当前输出光学功率为400mW，则照明输出乘以(1+(2.22/400))或1.0056。因此，摄像机曝光时间除以1.0056。

如上所述，照明的改变不应在显示场景中产生明显的闪烁。因此，选择斜坡时间使得照明的改变不会在显示器单元251上显示的场景中产生明显的亮度闪烁，并且使得三个控制回路是稳定的，例如，斜坡时间是第三控制回路的时间常数。因此，在这些示例中，第一控制回路的时间常数是五秒，并且第三控制回路的时间常数是三秒。

内窥镜201的远端尖端处的新的输出光学功率Pnew是当前输出光学功率Pcurrent加上或减去输出光学功率步长Pstep，即，

Pnew＝Pcurrent+Pstep

其中，对于这个示例，输出光学功率步长Pstep是零、+2.22或-2.22中的一个。如以下所描述的，使用这三个可能值中的哪一个作为输出光学功率步长Pstep取决于摄像机曝光时间的值。此外，如以下关于图7更全面地解释的，输出光学功率和曝光时间的变化被同步至流水线帧时间。

虽然每帧的输出光学功率中的步长变化是已知的，但是当光源为LED时，照明控制器215控制至多个光源211中的每个光源的电流。然而，LED的输出光学功率关于电流的变化是非线性的。因此，查找表被用于将输出光学功率的命令变化转换为每个LED的电流，使得输出光学功率被提供在内窥镜201的远端尖端处。

查找表中的值通过光源211与已知标准的校准来确定。输出光学功率在内窥镜201的远端尖端处，并且因此每个LED的电流被确定，使得光源211的实际输出足够高以考虑在光源211的输出与内窥镜201的远端尖端之间的光的任何衰减。

在一个方面，选择最大输出光学功率Pmax，使得在内窥镜201的远端尖端与目标203之间的最小工作距离下，最大输出光学功率Pmax不产生组织损伤。

选择最小输出光学功率Pmin，使得在内窥镜201的远端尖端与目标203之间的最小工作距离下，显示场景中的噪声低于阈值，并且输出光学功率高于照明器210的最小可实现输出光学功率。

为了查明照明输出的变化是否是增大、减小或保持不变，摄像机曝光时间的值被利用。在区域三603(图6)中非常小的摄像机曝光时间下，其中平均捕获场景亮度高，输出光学功率被减弱。具体地，对于具有区域三603中的摄像机曝光时间的每个连续帧，输出光学功率通过输出光学功率Pstep被减小，并且摄像机220的曝光时间被增加与输出光学功率减小的百分比相同的百分比。如果输出光学功率步长Pstep将使照明输出减小到最小输出光学功率Pmin以下，照明输出不改变并且照明输出维持在最小输出光学功率Pmin处，并且摄像机220的曝光时间不改变。

假设曝光时间的增加和照明的相应减小导致具有与先前捕获的图像大约相同的平均亮度的捕获图像，则摄像机曝光时间朝向区域二602增加。

在区域一601中的非常高的摄像机曝光时间下，其中捕获的平均场景亮度(总体场景亮度)低，输出光学功率被增大。具体地，对于具有区域一601中的曝光时间的每个连续帧，输出光学功率通过输出光学功率步长Pstep增大，并且摄像机220的曝光时间通过与输出光学功率增大的百分比相同的百分比被减小。如果输出光学功率的变化将使照明输出增大到最大输出光学功率Pmax以上，则照明输出不改变并且照明输出维持在最大输出光学功率Pmax处，并且摄像机220的曝光时间不改变。

假设曝光时间的减小和照明的相应增大导致具有与先前捕获的图像大约相同的平均亮度的捕获图像，则摄像机曝光时间朝向区域二602减小。

因此，包括“调节功率和曝光时间”过程443的控制回路改变照明，使得照明输出朝向由区域二602代表的照明输出范围行进。区域二602是滞后区域。

在可能的程度上，期望使照明改变最小化。尽管在位于内窥镜201的远端尖端与目标203之间的平均工作距离处的场景的一部分上与照明改变相关联的亮度变化可能对于外科医生来说是不明显的，但是在大于平均工作距离的场景中的位置处，外科医生常常注意到可能分散注意力的亮度改变。因此，在这方面，在其中随着摄像机曝光时间的改变而不对照明或曝光进行改变的区域二602被分配可能的摄像机曝光时间范围的百分之五十。鉴于本公开，区域二602的范围可以被选择为不同于可能的摄像机曝光时间范围的百分之五十。

因此，如图6所示，如果“调节功率和曝光时间”过程443基于摄像机曝光时间的值来配置输出光学功率和摄像机曝光时间。如果摄像机曝光时间大于第一曝光阈值，只要输出光学功率小于最大输出光学功率Pmax，则第三控制回路(功率和曝光控制回路132)增大照明输出并减小摄像机曝光时间。当摄像机曝光时间小于第二曝光阈值时，只要输出光学功率大于最小输出光学功率Pmin，则第三控制回路减小照明输出并增加摄像机曝光时间。如果曝光时间在第一曝光阈值与第二曝光阈值之间，则第三控制回路使输出光学功率和摄像机曝光时间不改变。

在一个方面，最大输出光学功率Pmax对应于800毫瓦的输出光学功率。最小输出光学功率Pmin对应于400毫瓦的输出光学功率，最大摄像机曝光时间Emax是4096，并且最小摄像机曝光时间Emin为零。

转到图5C，“曝光时间小于第二阈值”检查过程521(有时称作过程521)确定“摄像机曝光时间”446是否小于第二曝光阈值。如果“摄像机曝光时间”446小于第二曝光阈值，则过程521将处理转移至“减小照明和增加曝光时间”过程523，否则将处理转移至“曝光时间小于第一阈值”检查过程522。

当处理转移至“减小照明和增加曝光时间”过程523(有时被称作过程523)时，“摄像机曝光时间”446在区域三603中。因此，只要照明输出大于最小输出光学功率Pmin，过程523就通过输出光学功率步长Pstep减小“输出光学功率”448，例如，输出光学功率Pcurrent。过程523还将步长增加加载到“摄像机曝光时间调节”447，“摄像机曝光时间调节”447进而增加“摄像机曝光时间”446。如果照明输出等于最小输出光学功率Pmin，则过程523不采取行动。“减小照明和增加曝光时间”过程523将处理转移至“限制饱和像素”过程441。

如果检查过程521将处理转移至“曝光时间小于第一阈值”检查过程522，则检查过程522确定“摄像机曝光时间”446是否小于第一曝光阈值。如果“摄像机曝光时间”446小于第一曝光阈值，则检查过程522将处理转移至“增大照明和减小曝光时间”过程524，并且否则将处理转移至“限制饱和像素”过程441。

当处理转移至“增大照明和减小曝光时间”过程524(有时被称作过程524)时，摄像机曝光时间446在区域一601中。因此，只要照明输出小于最大输出光学功率Pmax，过程524就通过输出光学功率步长Pstep增大“输出光学功率”448，例如，输出光学功率Pcurrent。过程524还将步长减小加载到“摄像机曝光时间调节”447，“摄像机曝光时间调节”447进而减小“摄像机曝光时间”446。如果输出光学功率等于最大输出光学功率Pmax，则过程524不采取行动。“增加照明和减小曝光时间”过程524将处理转移至“限制饱和像素”过程441。

当“调节功率和曝光时间”过程443完成时，处理返回至“限制饱和像素”过程441。因此，针对每个捕获帧重复过程441至443。

为了使照明变化对远程操作的外科手术系统200的用户不可见，照明变化与摄像机曝光时间的补偿变化同步，使得显示给外科医生的视频的总体亮度随着照明的改变保持大致恒定。例如，输出光学功率的减小和摄像机曝光时间的增加必须在相同的视频帧上发生。在此，大致恒定意味着在远程操作的外科手术系统200的公差内恒定。

远程操作的外科手术系统200中的视频流的处理有延迟。照明控制、视频流水线增益控制、摄像机曝光控制、视频统计收集和分析都处于不同的流水线延迟。例如，在帧时间t0处，(图7)对于视频流的第一帧701，帧被捕获，由统计模块231对帧701收集统计，并且来自先前捕获的帧的增益被写入视频流水线。

在帧时间t1处，照明输出和摄像机曝光时间由自动曝光模块232计算，并且该摄像机曝光时间被写入摄像机220。在帧时间t2的开始处，输出光学功率被改变成新的输出光学功率Pnew。然后，由摄像机在帧时间t3处以利用第一帧701生成的曝光时间和输出光学功率来捕获帧702。因此，新的曝光时间和输出光学功率针对帧702的捕获被同步。

这些步骤被流水线化，使得针对视频的每一帧应用曝光时间和照明器亮度。在一个方面，通过将元数据附加(attach)至随视频流行进通过系统200的视频帧同步信号(即，将元数据附加至视频流中的每一帧)来实现流水线同步。该元数据包括摄像机曝光时间、照明器亮度和视频流水线增益。

在一个方面，远程操作的外科手术系统包括经由外科医生命令增大外科手术区域中的照明的方法，以及用于检测在组织和内窥镜201之间的接触的方法。当检测到组织接触，来自内窥镜201的照明被自动减小至对组织接触是安全的水平。

在显示器单元251上显示的场景的信噪比随着从照明目标203反射回摄像机220的图像传感器的光的减少而减小。该信噪比的减小可以限制内窥镜201的可用工作距离204(内窥镜尖端与图像目标203之间的距离)。

然而，在输出光学功率水平与组织损伤的风险之间存在折衷。如所述，增大的输出光学功率可能导致可用工作距离204的增加。然而，如果输出光学功率足够高并且工作距离足够低，使得入射光超过无损伤水平，则增大的输出光学功率也可能导致组织损伤风险增大。由于入射光的增大的光学功率密度或由于接触组织的内窥镜尖端的升高的温度，增大的组织损伤风险可能发生。在任一情况中，较低的输出光学功率水平导致较小的风险。

为了避免组织损伤的风险，来自内窥镜201的输出光学功率水平被限制，使得输出光学功率水平对内窥镜尖端与组织之间的直接接触是安全的。然而，这限制了内窥镜201的最大工作距离。为示例的目的，考虑到输出光学功率水平小于1瓦特通常被认为是安全的。然而，在一个方面，远程操作的外科手术系统200包括远光(high beam)操作模式，在该模式中，输出光学功率大于安全输出光学功率，例如，大于1瓦特(如1.5瓦特)的输出光学功率。

在一个方面，远光操作模式(有时被称作高功率操作模式)由外科医生激活在外科医生的控制台上的物理开关265而被启动。在另一个方面，远光操作模式由外科医生点击在显示器单元251上显示的用户界面中呈现的开关而被启动。

通过外科医生控制远光模式，远光操作模式只应当在存在较小组织损伤风险时被激活，因为在这种操作模式中输出光学功率大于被认为是安全的输出光学功率。在腹部手术中测量外科手术区域将是远光操作模式的典型应用。然而，仍然存在外科医生不经意地将内窥镜201移动得太靠近组织的风险或者与组织无意接触的风险。

如上文所解释，如果内窥镜201被不经意地移动得太靠近组织，则捕获图像的平均亮度增加，并且因此自动曝光模块232减小摄像机曝光时间。随着摄像机曝光时间继续减小，曝光时间到达区域三603。然后，自动曝光模块232开始减小输出光学功率。因此，由内窥镜201不经意移动得太靠近组织而引起的照明增大由自动曝光模块232通过减小输出光学功率来自动处理。

在正常操作模式中或远光操作模式中，如果内窥镜201接触组织，则该接触由接触检测模块233检测，并且照明被减小到合适水平。接触检测模块233通过检测输出光学功率的变化(增大或减小)何时不导致来自目标203的平均反射照度的相应变化来确定组织接触，其中平均反射照度被取为捕获场景的平均亮度除以摄像机曝光时间。场景的平均亮度由计算平均帧亮度过程511(图5C)确定，并且摄像机曝光时间可以在摄像机曝光时间过程446中获得。替代地，计算平均帧亮度过程511(图5C)可以并入接触检测模块233或统计模块231中。

例如，当内窥镜的尖端被覆盖(即，与组织接触)时，使得没有光进入摄像机镜头，自动曝光模块232将增大输出光学功率。然而，组织接触仍然阻止反射光到达摄像机。因此，当输出光学功率增大时，平均反射照度没有变化。因此，接触检测模块233检测组织接触，并且将输出光学功率衰减到对组织接触是安全的水平。在一个方面，对组织接触来说安全的输出光学功率大于最小输出光学功率。然而，如果组织损伤由来自内窥镜尖端与组织之间的接触的传导热主导，则对组织接触来说安全的输出光学功率可以在最小输出光学功率以下。

在一个方面，接触检测模块233禁用自动曝光模块232的输出光学功率控制，并且命令照明控制器215将输出光学功率减小至安全水平。替代地，接触检测模块233可以命令照明控制器215激活光源211中的衰减器，该衰减器将来自光源211的输出光学功率减小至安全水平。

在一个方面，组织接触检测被实现为：

dL/dI＝0

其中

dL是两个捕获帧的平均反射照度的变化，

dI是两个捕获帧的输出光学功率的变化。

在另一个方面，当

-阈值<dL/dI<阈值

时，检测到接触，其中阈值包含dL和dI的测量中的测量不确定性和噪声。

因此，接触检测方法利用变化的输出光学功率。在具有动态照明控制的系统中，随着组织接近内窥镜的尖端，输出光学功率是变化的。随着组织接近内窥镜201的尖端，自动曝光控件减小输出光学功率。一旦组织接触内窥镜201的尖端，则在光学功率变化的情况下检测到反射照度的很小变化或无变化。在检测到该状况之后，照明器亮度被衰减(即，被减小)至对组织接触是安全的预定水平(例如，照明Pmin)。

在另一个方面，替代在输出光学功率改变的情况下监测反射照度的改变，组织接触内窥镜末端时的特征性(characteristic)总体反射照度分布(profile)被用于接触检测或改善接触检测。特征性总体反射照度分布可以在时域中或频域中。如果从捕获场景确定的平均反射照度与特征性总体照度分布匹配到阈值量之内，则检测到接触。在一个方面，通过测量内窥镜尖端接近并接触组织时的场景的总体反射照度，根据经验确定特征性总体反射照度分布。

如果接触组织的移除没有导致反射照度变化，则可能存在系统200被卡在低亮度状态中的情况。为避免照明器210的输出光学功率不变化的“卡住”状态，采用低速率输出光学功率高频脉动技术。当检测到组织接触时，接触检测模块233启用高频脉动模块217。高频脉动模块217以已知方式使输出光学功率围绕安全水平改变以提高检测非接触状态的可靠性。

例如，高频脉动模块217可以用已知的时变方式(例如，正弦方式)使来自光源211的输出光学功率围绕安全水平变化。如果时变反射低水平输出功率到达摄像机，则自动曝光模块232检测到输出光学功率的改变(例如，检测到捕获场景的平均亮度的改变)，这意味着内窥镜201的尖端不再与组织接触。因此，接触检测模块233被重置，使得自动曝光模块232可以控制输出光学功率。

本文描述的各种模块可以通过在处理器上执行的软件、硬件、固件或三者的任意组合来实施。当模块被实施为在处理器上执行的软件时，软件作为计算机可读指令被存储在存储器中，并且该计算机可读指令在处理器上执行。全部或部分的存储器可以相对处理器处于不同的物理位置，只要处理器可以耦接至存储器即可。存储器指易失性存储器、非易失性存储器或两者的任意组合。

此外，如本文描述的各种模块的功能可以通过一个单元执行，或者可以被划分在不同的组件之间，每个组件可以进而通过硬件、在处理器上执行的软件以及固件的任意组合来实施。当被划分在不同的组件之间时，这些组件可以被集中在一个位置中或跨越系统200分布以用于分布处理的目的。各种模块的执行导致实施以上描述的用于各种模块的过程的方法。

处理器耦接至包含由处理器执行的命令的存储器。这可以在计算机系统内、或者替代地经由通过调制解调器和模拟线路、或数字接口和数字载波线路的到另一计算机的连接来实现。

在此，计算机程序产品包括计算机可读介质，其被配置成存储在此描述的过程的全部或部分所需要的计算机可读代码，或者在该计算机可读介质中，用于那些过程的任何部分或全部的计算机可读代码被存储。计算机程序产品的一些示例是CD-ROM磁盘、DVD磁盘、闪速存储器、ROM卡、软盘、磁带、计算机硬盘驱动器、网络上的服务器以及通过网络传输的代表计算机可读程序代码的信号。非暂时性有形计算机程序产品包括有形计算机可读介质，其被配置成存储用于过程的任何部分或全部的计算机可读指令，或者在该计算机可读介质中，用于过程的任何部分或全部的计算机可读指令被存储。非暂时性有形计算机程序产品是CD-ROM盘、DVD盘、闪速存储器、ROM卡、软盘、磁带、计算机硬盘驱动器以及其他物理存储介质。

鉴于本公开，可以使用用户感兴趣的计算机编程语言和操作系统在多种计算机系统配置中实现在本文描述的过程的任何部分或全部中使用的指令。

示出本发明的方面和实施例的以上描述和随附附图不应被当成限制性的—权利要求书限定所保护的发明。可以进行各种机械的、组合的、结构的、电气的以及操作性的改变而不背离本说明书和权利要求书的精神和范围。在一些实例中，没有示出或详细描述众所周知的电路、结构和技术，以避免模糊本发明。

进一步地，此说明书的术语不旨在限制本发明。例如，空间相关的术语(诸如“在…之下”、“在…以下”、“下部的”、“在…以上”、“上部的”、“邻近的”、“远端的”以及类似术语)可以被用于描述如图中所示的一个元件或特征与另一个元件或特征的关系。除了图中示出的定位和取向之外，这些空间相关术语旨在包含在使用或操作中的装置的不同定位(即，位置)和取向(即旋转放置)。

例如，如果图中的装置被翻转，则被描述为在其他元件或特征“下方”或“之下”的元件然后将在该其他元件或特征的“上方”或“之上”。因此，示例性术语“下方”可以包含上方和下方的定位和取向二者。装置可以以另外的方式被取向(旋转90度或以其他取向)，并且本文使用的空间相关描述词被相应地解释。

同样，沿着和围绕各种轴线的运动的描述包括各种特定装置位置和取向。除非上下文另有所指，否则单数形式“一”、“一个”和“所述/该”同样旨在包括复数形式。术语“含有”、“包含”、“包括”等规定存在所述特征、步骤、操作、元件和/或部件，但并不排除一个或多个其他特征、步骤、操作、元件、部件和/或群组的存在和增加。

描述为耦接的部件可以被电气地或者机械地直接耦接，或者它们可以经由一个或多个中间部件间接耦接。鉴于本公开，在关于增强显示系统描述的操作中的任何一个或者操作的任何组合中使用的指令可以通过使用用户感兴趣的操作系统和计算机编程语言在多种计算机系统配置中实施。

所有示例和示例性参考都是非限制性的，并且不应被用来将权利要求限制于本文所述的具体实施方式和实施例及其等价物。标题仅是用于格式化，而不应被用于以任何方式限制主题，因为一个标题下的正文部分可以交叉引用或者应用于一个或更多标题下的正文部分。最后，鉴于本公开，关于一个方面或者实施例所描述的特定特征也可以被应用于本发明的其他公开的方面或者实施例，即使它们未在附图中具体示出或者未在正文部分被描述。

Claims (19)

1.一种远程操作的外科手术系统，其包括：

具有输出光学功率的照明器；

摄像机；以及

控制器，其耦接至所述照明器并耦接至所述摄像机，所述控制器被配置成维持显示场景的预定目标亮度，所述显示场景是由所述摄像机捕获的帧中的场景，所述控制器进一步包括摄像机控制单元和照明控制器，所述摄像机控制单元耦接至所述照明控制器并耦接至所述摄像机；

所述照明控制器被配置成响应于来自所述摄像机控制单元的命令控制来自所述照明器的所述输出光学功率；并且

所述摄像机控制单元被配置成接收来自所述摄像机的视频流，

其中所述摄像机控制单元被配置成命令所述照明控制器使所述输出光学功率从第一输出光学功率改变到第二输出光学功率，并且所述摄像机控制单元被配置成命令所述摄像机使摄像机曝光时间从第一曝光时间改变到第二曝光时间，使得帧随后由所述摄像机以所述第二曝光时间并且从反射光捕获，所述反射光是在被反射之前来自具有所述第二输出光学功率的所述照明器的光，并且

其中当所述输出光学功率增大时，减小所述曝光时间，而当所述输出光学功率减小时，增大所述曝光时间。

2.根据权利要求1所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

统计模块，其耦接至所述摄像机以接收所述视频流，所述统计模块被配置成创建所述视频流中的帧的亮度直方图。

3.根据权利要求2所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

耦接至统计模块的自动曝光模块，

其中

所述自动曝光模块被配置成维持所述显示场景的所述预定目标亮度，

所述自动曝光模块被配置成将捕获的帧的场景中的饱和像素限制到小于每个所述场景中的预定数量的像素，并且

所述自动曝光模块被配置成维持来自所述照明器的最小输出光学功率。

4.根据权利要求1所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

第一控制回路，其被配置成自动调节视频流水线增益和摄像机曝光时间中的一个或两个；和

第二控制回路，其被配置成自动配置所述输出光学功率并且为随后捕获的帧调节所述摄像机曝光时间。

5.根据权利要求4所述的远程操作的外科手术系统，其中

所述第一控制回路被配置成调节所述视频流水线增益，使得所述显示场景具有所述预定目标亮度，并且所述第二控制回路被配置成基于所述摄像机曝光时间的值调节所述输出光学功率和所述摄像机曝光时间；

如果所述摄像机曝光时间大于第一曝光阈值，则所述第二控制回路增大所述输出光学功率并且减小所述摄像机曝光时间；

如果所述摄像机曝光时间小于第二曝光阈值，则所述第二控制回路减小所述输出光学功率并且增大所述摄像机曝光时间；并且

如果所述摄像机曝光时间在所述第一曝光阈值和所述第二曝光阈值之间，则所述第二控制回路保持所述输出光学功率和所述摄像机曝光时间不变。

6.根据权利要求4所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

第三控制回路，其被配置成自动调节所述显示场景的所述预定目标亮度，以减少在所述随后捕获的帧中的饱和像素的数量，所述第三控制回路被配置成对所述预定目标亮度施加范围受限的减小。

7.根据权利要求1所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

控制回路，其被配置成自动调节所述显示场景的所述预定目标亮度，以减少在随后捕获的帧中的饱和像素的数量；

其中所述控制回路被配置成对所述预定目标亮度施加范围受限的减小。

8.根据权利要求4所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

自动曝光模块，所述自动曝光模块包括所述第一控制回路和所述第二控制回路。

9.根据权利要求2所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

自动曝光模块，其耦接至所述统计模块以接收所述视频流中的帧的所述亮度直方图，所述自动曝光模块被配置成确定所述亮度直方图的平均亮度，并且所述自动曝光模块被配置成基于所述平均亮度与所述预定目标亮度之间的关系调节视频流水线增益和所述摄像机曝光时间中的一个或两个。

10.根据权利要求9所述的远程操作的外科手术系统，所述自动曝光模块进一步被配置成命令所述照明控制器使所述第一输出光学功率改变到所述第二输出光学功率并且命令所述摄像机调节所述摄像机曝光时间以补偿照明器输出的变化。

11.根据权利要求1所述的远程操作的外科手术系统，所述摄像机控制单元被配置成将元数据附加至所述视频流中的每一帧，所述元数据提供用于流水线同步化的信息。

12.根据权利要求1所述的远程操作的外科手术系统：

所述摄像机控制单元被配置成检测内窥镜的尖端与组织的接触；并且

所述摄像机控制单元被配置成在检测到所述接触后命令所述照明控制器衰减所述输出光学功率。

13.根据权利要求12所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

统计模块，其耦接至所述摄像机以接收由所述摄像机捕获的场景，所述统计模块被配置成确定所述捕获的场景的总体亮度。

14.根据权利要求13所述的远程操作的外科手术系统，所述摄像机控制单元进一步包括：

接触检测模块，其耦接至所述统计模块以接收所述捕获场景的所述总体亮度，所述接触检测模块被耦接以接收摄像机曝光时间，并且所述接触检测模块耦接至所述照明控制器，其中所述接触检测模块被配置成检测所述内窥镜的所述尖端与所述组织的所述接触。

15.根据权利要求14所述的远程操作的外科手术系统，所述接触检测模块进一步被配置成：

监测反射照度；并且

监测来自所述照明器的所述输出光学功率。

16.根据权利要求14所述的远程操作的外科手术系统，所述接触检测模块进一步被配置成：

如果从第一输出光学功率到第二输出光学功率的变化未导致针对所述第二输出光学功率的反射照度相比于针对所述第一输出光学功率的反射照度的变化，则确定所述内窥镜的所述尖端接触所述组织。

17.根据权利要求14所述的远程操作的外科手术系统，所述照明控制器进一步包括：

高频脉动模块，其耦接至所述接触检测模块，所述高频脉动模块被配置成在由所述接触检测模块启用后以已知形式改变所述输出光学功率。

18.根据权利要求3所述的远程操作的外科手术系统，其进一步包括耦接至所述自动曝光模块的高功率模式开关。

19.一种远程操作的外科手术系统，其包括：

控制器，其包括摄像机控制单元和照明控制器，所述控制器被配置成维持显示场景的预定目标亮度；

所述照明控制器被配置成响应于来自所述摄像机控制单元的命令控制来自所述远程操作的外科手术系统的照明器的输出光学功率；并且

所述摄像机控制单元被配置成接收来自所述远程操作的外科手术系统的摄像机的视频流，并且所述摄像机控制单元耦接至所述照明控制器，

其中所述摄像机控制单元被配置成命令所述照明控制器使所述输出光学功率从第一输出光学功率改变到第二输出光学功率，并且所述摄像机控制单元被配置成命令所述摄像机使所述摄像机曝光时间从第一曝光时间改变到第二曝光时间，使得随后由所述摄像机以所述第二曝光时间并且从反射光捕获帧，所述反射光是在被反射之前来自具有所述第二输出光学功率的所述照明器的光，并且

其中当所述输出光学功率增大时，减小所述曝光时间，而当所述输出光学功率减小时，增大所述曝光时间。