CN113015474A - 用于核实场景特征的系统、方法和计算机程序 - Google Patents

Abstract

一种用于核实场景特征的核实系统，系统包括电路，该电路被配置为接收根据场景的第一分析确定的初始信息，根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，至少一个测试图像是根据测试信息选择的、根据初始信息修改的至少一个预定图像，用至少一个测试图像覆盖场景，接收与覆盖场景的至少一个测试图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息，并根据接收的比较信息生成场景特征的核实状态。

Description

用于核实场景特征的系统、方法和计算机程序

技术领域

本公开涉及一种用于核实场景特征的系统、方法和计算机程序。

背景技术

本文提供的“背景”描述是为了总体上呈现本公开的上下文。在本背景技术部分中描述的程度上，当前命名的发明人的工作以及在提交时可能不被认为是现有技术的描述的方面既不明确地也不隐含地被认为是针对本公开的现有技术。

近年来，用于机器视觉系统的技术和方法经历了重大发展，使机器人和其他计算机系统能够基于视觉输入获得对其周围环境的详细了解。因此，机器视觉系统和自动图像分析现在在许多电子和机器人装置的操作中起着重要的作用。例如，机器视觉用于条形码读取、文本转换、自主车辆导航、机器人手术系统等。从图像中提取的信息和机器视觉系统的复杂性取决于该技术的特定应用。

然而，尽管最近取得了这些进展，这些系统中使用的技术和方法的某些方面仍在发展中。事实上，已经报道了由机器视觉系统的使用引起的许多问题。机器视觉系统的故障可能是由于以前在这种系统中使用的软件或硬件中未检测到的故障而发生的。例如，这些故障会导致机器视觉系统误识别操作人员认为容易识别的对象。

机器视觉系统也可能被冲突的输入、对抗图像等误导。由输入图像中的微小变化引起的对抗图像可能会欺骗系统，使其相信一个项的图像实际上是另一项的图像。这些微小的变化可能是由于图像馈送的真实波动引起的，也可能是由于试图误导系统的欺诈行为引起的。此外，许多机器视觉系统需要精确的初始校准，该初始校准中的任何错误都可能在整个系统中传播。

机器视觉系统的故障通常会被忽视，直到这种故障导致依赖机器系统的机器人装置出现故障。

机器视觉系统故障的后果因依赖该机器视觉系统的机器人系统和设备而大相径庭。然而，近年来，已经在越来越复杂的情况下使用机器视觉系统，并且对其依赖程度越来越高。例如，在诸如故障检测系统、车辆导航系统、手术系统、碰撞避免系统等应用中，机器视觉系统故障的后果可能特别严重。

此外，机器视觉系统固有的复杂性导致机器视觉系统的工作对最终用户缺乏透明度。因此，许多人继续不信任依赖机器视觉的系统，即使这种不信任是错误的。例如，由于机器视觉系统缺乏透明度和对技术的真正误解，外科医生通常不愿意在机器人手术装置中依赖机器视觉技术。因此，机器视觉技术的进一步实施存在阻力，即使在这种技术将为传统手段提供显着优势的情况下。这导致机器人装置及其相关的机器视觉系统利用不足。

本公开的目的是解决这些问题。

发明内容

根据本公开的实施例，提供了一种用于核实场景特征的核实系统，所述系统包括：电路，其被配置为：接收根据场景的第一分析确定的初始信息；根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据测试信息选择的、根据初始信息修改的至少一个预定图像；用至少一个测试图像覆盖场景；接收与覆盖场景的至少一个测试图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息；并且根据接收的比较信息生成场景特征的核实状态。

根据本公开的实施例，提供了一种核实场景特征的核实方法，所述方法包括：接收根据场景的第一分析确定的初始信息；根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据测试信息选择的、根据初始信息修改的至少一个预定图像；用至少一个测试图像覆盖场景；接收与覆盖有场景的至少一个测试图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息；并且根据接收的比较信息生成场景的特征的核实状态。

根据本公开的实施例，提供了一种包括指令的计算机程序产品，当该程序由计算机执行时，所述指令使得计算机执行包括以下步骤的方法：接收根据场景的第一分析确定的初始信息；根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据测试信息选择的、根据初始信息修改的至少一个预定图像；用至少一个测试图像覆盖场景；接收与覆盖有场景的至少一个测试图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息；并且根据接收的比较信息生成场景特征的核实状态。

根据本公开的实施例，可以在机器人装置操作之前识别机器视觉系统错误识别场景内的对象的情况，从而减少由机器视觉系统控制的机器人装置中的错误。此外，可以直观地评估机器视觉系统的理解水平，从而提高操作人员和机器人装置之间的信任水平。

通过一般性介绍的方式提供前面的段落，并不旨在限制以下权利要求的范围。通过结合附图参考以下详细描述，将最好地理解所描述的实施例以及进一步的优点。

附图说明

当结合附图考虑时，通过参考下面的详细描述，将很容易获得对本公开及其许多附带优点的更完整的理解，其中：

图1是描绘内窥镜手术系统的示意性配置的示例的视图，根据本公开的实施例的技术可以应用于该内窥镜手术系统；

图2是描绘图1中描绘的摄像头和CCU的功能配置的示例的框图；

图3示出了根据本公开实施例的用于核实场景特征的设备的框图；

图4A示出了根据本公开实施例的特征核实的示例性情况；

图4B示出了根据本公开实施例的示例性情况的测试图像的产生的示例；

图5示出了根据本公开实施例的核实场景特征的方法；

图6描绘了可由根据本公开实施例的设备访问的测试信息的示例性表格；

图7示出了根据本公开实施例的用增强现实眼镜覆盖场景的示例性情况；

图8示出了根据本公开实施例的核实场景特征的方法；

图9示出了根据本公开实施例的核实场景特征的方法；

图10示出了根据本公开实施例的核实场景特征的方法；

图11示出了根据本公开实施例的核实场景特征的方法；

图12示出了根据本公开实施例的针对操作者位置的投影校正的示例性情况。

具体实施方式

现在参考附图，其中，在几个视图中，相同的附图标记表示相同或相应的部分。

应用

<<应用>>

根据本公开实施例的技术可以应用于各种产品。例如，根据本公开的实施例的技术可以应用于内窥镜手术系统、手术显微镜或医学成像装置或在例如管道或管子铺设或故障查找中的其他种类的工业内窥镜。

图1是描绘内窥镜手术系统5000的示意性配置的示例的视图，根据本公开的实施例的技术可以应用于该内窥镜手术系统。在图1中，示出了外科医生(医生)5067正在使用内窥镜手术系统5000为病床5069上的患者5071执行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、将内窥镜5001支撑在其上的支撑臂设备5027、以及其上安装有用于内窥镜手术的各种设备的推车5037。

在内窥镜手术中，并非切开腹壁以进行剖腹手术，使用多个称为套管针5025a至5025d的管状孔装置来刺穿腹壁。然后，内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d插入患者5071的体腔。在所描绘的示例中，作为其他手术工具5017，气腹管5019、能量治疗工具5021和镊子5023被插入到患者5071的体腔中。此外，能量治疗工具5021是用于通过高频电流或超声波振动来执行组织的切割和剥离、血管的封合等的治疗工具。然而，所描述的手术工具5017仅仅是示例，作为手术工具5017，可以使用通常在内窥镜手术中使用的各种手术工具，例如，一对镊子或牵开器。

在显示设备5041上显示由内窥镜5001成像的患者5071的体腔中的手术区域的图像。外科医生5067将使用能量治疗工具5021或镊子5023，同时实时观察在显示设备5041上显示的手术区域的图像，以执行诸如切除患部等治疗。应当注意，尽管未示出，但是在手术期间由外科医生5067、助手等支撑气腹管5019、能量治疗工具5021和镊子5023。

(支撑臂设备)

支撑臂设备5027包括从基座单元5029延伸的臂单元5031。在所描绘的示例中，臂单元5031包括接头部分5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制设备5045的控制下被驱动。内窥镜5001由臂单元5031支撑，从而控制内窥镜5001的位置和姿态。因此，可以实现内窥镜5001位置的稳定固定。

(内窥镜)

内窥镜5001包括透镜镜筒5003和连接到镜筒5003的近端的摄像头5005，镜筒5003从其远端具有预定长度的区域，以插入患者5071的体腔。在所描述的示例中，描述了内窥镜5001，其包括具有透镜镜筒5003的刚性型内窥镜。然而，内窥镜5001可以另外被配置为具有柔性型光学探针的柔性型内窥镜。

透镜镜筒5003在其远端具有开口，物镜安装在该开口中。光源设备5043连接到内窥镜5001，使得由光源设备5043产生的光通过在透镜镜筒5003内部延伸的光导被引入到透镜镜筒的远端，并且通过物镜向患者5071的体腔中的观察目标照射。应当注意，内窥镜5001可以是前视内窥镜或者可以是斜视内窥镜。

光学系统和图像拾取组件设置在摄像头5005的内部，使得来自观察目标的反射光(观察光)通过光学系统汇聚在图像拾取组件上。观察光被图像拾取组件光电转换，以产生对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始数据传输到CCU 5039。应当注意，摄像头5005具有包含在其中的功能，用于适当地驱动摄像头5005的光学系统，以调节放大率和焦距。

应当注意，为了建立与例如立体视觉(三维(3D)显示器)的兼容性，可以在摄像头5005上提供多个图像拾取组件。在这种情况下，多个中继光学系统设置在透镜镜筒5003的内部，以便将观察光引导到多个图像拾取组件中的每一个。

(推车中包含的各种设备)

CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体控制内窥镜5001和显示设备5041的操作。具体地，CCU 5039对于从摄像头5005接收的图像信号执行用于基于图像信号显示图像的各种图像处理，例如，显影处理(去马赛克处理)。CCU 5039向显示设备5041提供已经对其执行了图像处理的图像信号。此外，CCU 5039向摄像头5005发送控制信号，以控制摄像头5005的驱动。控制信号可以包括与图像拾取条件相关的信息，例如，放大率或焦距。

显示设备5041基于在CCU 5039的控制下由CCU 5039对其执行了图像处理的图像信号来显示图像。如果内窥镜5001准备好用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等高分辨率成像和/或准备好用于3D显示，则可以将高分辨率和/或3D显示的相应显示成为可能的显示设备用作显示设备5041。在设备准备好进行高分辨率成像(例如，4K或8K)的情况下，如果用作显示设备5041的显示设备具有等于或不小于55英寸的尺寸，则可以获得更身临其境的体验。此外，可以根据目的提供具有不同分辨率和/或不同尺寸的多个显示设备5041。

光源设备5043包括光源，例如，发光二极管(LED)，并且向内窥镜5001提供用于手术区域成像的照射光。

臂控制设备5045包括处理器，例如，CPU，并且根据预定程序操作，以根据预定控制方法控制支撑臂设备5027的臂单元5031的驱动。

输入设备5047是内窥镜手术系统5000的输入接口。用户可以通过输入设备5047执行向内窥镜手术系统5000输入的各种信息或指令的输入。例如，用户将通过输入设备5047输入与手术相关的各种信息，例如，患者的身体信息、关于手术的手术过程的信息等。此外，用户将通过输入设备5047输入例如驱动臂单元5031的指令、改变内窥镜5001的图像拾取条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗工具5021的指令等。

输入设备5047的类型不受限制，并且可以是各种已知输入设备中的任何一种。作为输入设备5047，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5057和/或杆等。在触摸板被用作输入设备5047的情况下，可以设置在显示设备5041的显示面上。

否则，输入设备5047是要装在用户身上的装置，例如，眼镜型可佩戴装置或头戴式显示器(HMD)，并且响应于由所提及的任何装置检测到的用户的手势或视线来执行各种输入。此外，输入设备5047包括能够检测用户运动的相机，并且响应于从相机成像的视频中检测到的用户的手势或视线来执行各种输入。此外，输入设备5047包括可以收集用户声音的麦克风，并且通过麦克风收集的声音执行各种输入。通过配置输入设备5047，使得可以以这种方式以非接触方式输入各种信息，特别是属于干净区域的用户(例如，外科医生5067)可以以非接触方式操作属于不干净区域的设备。此外，由于用户可以在不从其手中释放所拥有的手术工具的情况下操作设备，所以提高了用户的便利性。

治疗工具控制装置5049控制能量治疗工具5021的驱动，用于烧灼或切割组织、封合血管等。气腹设备5051通过气腹管5019将气体送入患者5071的体腔，以使体腔膨胀，从而确保内窥镜5001的视野并确保外科医生的工作空间。记录器5053是能够记录与手术相关的各种信息的设备。打印机5055是能够以诸如文本、图像或图形等各种形式打印与外科手术相关的各种信息的设备。

在下文中，特别更详细地描述内窥镜手术系统5000的特征配置。

(支撑臂设备)

支撑臂设备5027包括用作基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所描绘的示例中，臂单元5031包括多个接头部分5033a、5033b和5033c以及通过接头部分5033b彼此连接的多个连杆5035a和5035b。在图1中，为了简化说明，以简化的形式描绘了臂单元5031的配置。实际上，接头部分5033a至5033c和连杆5035a和5035b的形状、数量和设置以及接头部分5033a至5033c的旋转轴的方向等可以适当地设定，使得臂单元5031具有期望的自由度。例如，臂单元5031可以优选地被配置为使得其具有等于或不小于6个自由度的自由度。这使得能够在臂单元5031的可移动范围内自由移动内窥镜5001。因此，可以从期望的方向将内窥镜5001的透镜镜筒5003插入患者5071的体腔。

在接头部分5033a至5033c的每一个中设置致动器，并且接头部分5033a至5033c被配置为使得它们能够通过驱动相应的致动器而绕其预定旋转轴旋转。由臂控制设备5045控制致动器的驱动，以控制每个接头部分5033a至5033c的旋转角度，从而控制臂单元5031的驱动。因此，可以实现内窥镜5001的位置和姿态的控制。因此，臂控制设备5045可以通过各种已知的控制方法，例如，力控制或位置控制，控制臂单元5031的驱动。

例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)适当地执行操作输入，则臂控制设备5045可以响应于操作输入适当地控制臂单元5031的驱动，以控制内窥镜5001的位置和姿势。在臂单元5031的远端处的内窥镜5001通过刚刚描述的控制从任意位置移动到不同的任意位置之后，内窥镜5001可以固定地支撑在移动之后的位置。应当注意，臂单元5031可以以主-从方式操作。在这种情况下，用户可以通过放置在远离手术室的地方的输入设备5047来远程控制臂单元5031。

此外，在施加力控制的情况下，臂控制设备5045可以执行动力辅助控制，以驱动接头部分5033a至5033c的致动器，使得臂单元5031可以接收用户施加的外力并随着外力顺滑地移动。这使得当用户直接接触并移动臂单元5031时，可以用相对较弱的力来移动臂单元5031。因此，用户可以通过更简单和更容易的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。

在此处，通常在内窥镜手术中，内窥镜5001由称为内窥镜操作员的医生支持。相反，在使用支撑臂设备5027的情况下，内窥镜5001的位置可以不用手更确定地固定，因此，可以稳定地获得手术区域的图像，并且可以平稳地进行手术。

应当注意，臂控制设备5045可以不必设置在推车5037上。此外，臂控制设备5045不一定是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的每个接头部分5033a至5033c中，使得多个臂控制设备5045彼此协作，以实现臂单元5031的驱动控制。

(光源设备)

在对手术区域成像时，光源设备5043向内窥镜5001提供照射光。光源设备5043包括白光源，该白光源包括例如LED、激光源或其组合。在这种情况下，在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于可以针对每种颜色(每种波长)以高精度控制输出强度和输出时间，所以可以通过光源设备5043来执行拾取图像的白平衡的调整。此外，在这种情况下，如果来自相应RGB激光源的激光束被时分地照射在观察目标上，并且与照射时间同步地控制摄像头5005的图像拾取组件的驱动，则可以时分地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为图像拾取组件提供滤色器，也可以获得彩色图像。

此外，可以控制光源设备5043的驱动，使得对于每个预定时间改变要输出的光的强度。通过与光强度变化的时间同步地控制摄像头5005的图像拾取组件的驱动，时分地获取图像并合成图像，可以创建没有曝光不足的遮挡阴影和曝光过度的高光的高动态范围的图像。

此外，光源设备5043可以被配置为提供预定波长带的光，准备用于特殊光观察。这可以包括但不限于激光，例如，由垂直腔表面激光器或任何种类的激光提供的激光。可替代地或另外，光可以是红外(IR)光。在特殊光观察中，例如，通过利用身体组织中光吸收的波长依赖性来照射与普通观察时的照射光(即白光)相比更窄频带的光，执行以高对比度对预定组织(例如，粘膜表面部分的血管等)成像的窄带光观察(窄带成像)。或者，在特殊光观察中，可以进行荧光观察，用于从由激发光的照射产生的荧光中获得图像。在荧光观察中，可以通过在身体组织上照射激发光来观察来自身体组织的荧光(自发荧光观察)，或者通过将诸如吲哚菁绿(ICG)等试剂局部注射到身体组织中并在身体组织上照射对应于试剂的荧光波长的激发光来获得荧光图像。光源设备5043可以被配置为提供适合于特殊光观察的这种窄带光和/或激发光，如上所述。光源也可以向一个区域施加加热模式。稍后将参考图3A至图3C解释该加热模式。在实施例中，光源设备5043是垂直腔面发射激光器(VCSEL)，其可以产生电磁光谱的可见部分的光，并且一些产生电磁光谱的红外部分的光。在这方面，光源设备5043也可以充当照射该区域的可见光源。在实施例中，光源设备5043是一个或多个垂直腔面发射激光器(VCSEL)，其可以产生电磁光谱的可见部分的光，并且一些产生电磁光谱的红外部分的光。在这方面，光源设备5043也可以充当照射该区域的可见光源。一个或多个VCSEL可以是单波长窄带VCSEL，其中，每个VCSEL的发射光谱频率不同。可替代地或另外，一个或多个VCSEL可以是微机电系统(MEM)型VCSEL，其波长发射可以在特定范围内改变。在本公开的实施例中，波长可以在550nm至650nm或600nm至650nm的范围内变化。VCSEL的形状可以变化，例如，正方形或圆形，并且可以位于内窥镜5001中的一个或多个不同位置。

光源设备5043可以照射一个或多个区域。这可以通过选择性地打开VCSEL或使用微机电系统(MEM)对该区域进行光栅扫描来实现。光源设备5043的目的是对该区域上的光执行空间光调制(SLM)。这将在后面更详细地解释。

应当注意，尽管前面将光源设备5043描述为位于推车中，但是本公开不限于此。具体地，光源设备可以位于摄像头5005中。

(摄像头和CCU)

参考图2更详细地描述内窥镜5001的摄像头5005和CCU 5039的功能。图2是描绘图1中描绘的摄像头5005和CCU 5039的功能配置的示例的框图。

参考图2，摄像头5005具有镜头单元5007、图像拾取单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015，作为其功能。此外，CCU 5039具有通信单元5059、图像处理单元5061和控制单元5063，作为其功能。摄像头5005和CCU 5039通过传输线缆5065彼此双向通信地连接。

首先，描述摄像头5005的功能配置。镜头单元5007是设置在摄像头5005与镜头镜筒5003的连接位置处的光学系统。从透镜镜筒5003的远端获取的观察光被引入摄像头5005并进入透镜单元5007。透镜单元5007包括多个透镜的组合，包括变焦透镜和聚焦透镜。透镜单元5007具有经调节的光学特性，使得观察光汇聚在图像拾取单元5009的图像拾取组件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使得其在光轴上的位置是可移动的，用于调节拾取图像的放大倍率和焦点。

图像拾取单元5009包括图像拾取组件，并且设置在透镜单元5007的后续级。已经穿过透镜单元5007的观察光汇聚在图像拾取组件的光接收面上，并且通过图像拾取组件的光电转换产生对应于观察图像的图像信号。由图像拾取单元5009生成的图像信号被提供给通信单元5013。

作为图像拾取单元5009包括的图像拾取组件，使用例如互补金属氧化物半导体(CMOS)类型的图像传感器，其具有拜耳阵列并且能够拾取彩色图像。应当注意，作为图像拾取组件，可以使用例如准备好用于成像等于或不小于4K的高分辨率图像的图像拾取组件。如果以高分辨率获得手术区域的图像，则外科医生5067可以以增强的细节理解手术区域的状态，并且可以更顺利地进行手术。

此外，图像拾取单元5009包括的图像拾取组件包括使得其具有一对图像拾取组件，用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5067可以更准确地理解手术区域中活体组织的深度。应当注意，如果图像拾取单元5009被配置为多板类型的图像拾取单元，则对应于图像拾取单元5009的各个图像拾取组件提供多个透镜单元系统5007。

图像拾取单元5009可以不必设置在摄像头5005上。例如，图像拾取单元5009可以设置在透镜镜筒5003内部的物镜的正后方。

驱动单元5011包括致动器，并且在摄像头控制单元5015的控制下，将镜头单元5007的变焦镜头和聚焦镜头沿着光轴移动预定距离。因此，可以适当地调整图像拾取单元5009拾取的图像的放大率和焦点。

通信单元5013包括用于向CCU 5039发送和从CCU 5039接收各种信息的通信设备。通信单元5013通过传输线缆5065将从图像拾取单元5009获取的图像信号作为原始数据传输到CCU 5039。因此，为了以低延迟显示手术区域的拾取图像，优选地，通过光通信传输图像信号。这是因为在手术时，外科医生5067在通过拾取的图像观察患部的状态的同时执行手术，要求尽可能实时地显示手术区域的运动图像，以便实现具有更高程度的安全性和确定性的手术。在应用光通信的情况下，在通信单元5013中提供用于将电信号转换成光信号的光电转换模块。图像信号经光电转换模块转换成光信号后，通过传输线缆5065传输到CCU5039。

此外，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括与图像拾取条件相关的信息，例如，指定拾取图像的帧速率的信息、指定图像拾取时的曝光值的信息和/或指定拾取图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。应当注意，也可以通过光通信传输来自CCU 5039的控制信号。在这种情况下，用于将光信号转换成电信号的光电转换模块设置在通信单元5013中。在光电转换模块将控制信号转换成电信号之后，将其提供给摄像头控制单元5015。

要注意的是，图像拾取条件(例如，帧速率、曝光值、放大率或焦点)由CCU 5039的控制单元5063基于获取的图像信号自动设置。换言之，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能包含在内窥镜5001中。

摄像头控制单元5015基于通过通信单元5013从CCU 5039接收的控制信号来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息来控制图像拾取单元5009的图像拾取组件的驱动。此外，例如，摄像头控制单元5015基于指定了拾取图像的放大率和焦点的信息，控制驱动单元5011适当地移动镜头单元5007的变焦镜头和聚焦镜头。摄像头控制单元5015还可以包括用于存储用于识别镜头镜筒5003和/或摄像头5005的信息的功能。

要注意的是，通过将诸如透镜单元5007和图像拾取单元5009等部件设置在具有高气密性和防水性的密封结构中，可以为摄像头5005提供对高压灭菌过程的抵御。

现在，描述CCU 5039的功能配置。通信单元5059包括用于向摄像头5005发送各种信息和从摄像头5005接收各种信息的通信设备。通信单元5059通过传输线缆5065接收从摄像头5005向其传输的图像信号。因此，图像信号可以优选地通过光通信来传输，如上所述。在这种情况下，为了与光通信兼容，通信单元5059包括用于将光信号转换成电信号的光电转换模块。通信单元5059将转换成电信号后的图像信号提供给图像处理单元5061。

此外，通信单元5059向摄像头5005发送用于控制摄像头5005的驱动的控制信号。也可以通过光通信传输控制信号。

图像处理单元5061对从摄像头5005向其传输的原始数据形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，例如，显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行检测处理，以便执行AE、AF和AWB。

图像处理单元5061包括诸如CPU或GPU等处理器，并且当处理器根据预定程序操作时，可以执行上述图像处理和检测处理。应当注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号相关的信息，使得图像处理由多个GPU并行执行。

控制单元5063执行与内窥镜5001对手术区域的图像拾取和所拾取图像的显示相关的各种控制。例如，控制单元5063产生用于控制摄像头5005的驱动的控制信号。因此，如果用户输入了图像拾取条件，则控制单元5063基于用户的输入生成控制信号。或者，在内窥镜5001具有包含在其中的AE功能、AF功能和AWB功能的情况下，控制单元5063响应于图像处理单元5061的检测处理的结果，适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5063基于图像处理单元5061已经对其执行了图像处理的图像信号来控制显示设备5041显示手术区域的图像。因此，控制单元5063使用各种图像识别技术识别手术区域图像中的各种对象。例如，控制单元5063可以通过检测手术区域图像中包括的对象的边缘的形状、颜色等来识别手术工具，例如，镊子、特定活体区域、出血、使用能量治疗工具5021时的薄雾等。当控制单元5063控制显示单元5041显示手术区域图像时，控制单元5063使用识别的结果使各种手术支持信息以与手术区域的图像重叠的方式显示。在手术支持信息以重叠方式显示并呈现给外科医生5067的情况下，外科医生5067可以更加安全和确定地进行手术。

将摄像头5005和CCU 5039彼此连接的传输线缆5065是准备用于电信号通信的电信号线缆、准备用于光通信的光纤或准备用于电和光通信的复合线缆。

在此处，虽然在所描绘的示例中，通过使用传输线缆5065的有线通信来执行通信，但是摄像头5005和CCU 5039之间的通信可以通过无线通信来执行。在摄像头5005和CCU5039之间的通信通过无线通信执行的情况下，没有必要在手术室中铺设传输线缆5065。因此，可以消除手术室中医务人员的移动被传输线缆5065干扰的情况。

上面已经描述了可以应用根据本公开实施例的技术的内窥镜手术系统5000的示例。此处要注意的是，尽管内窥镜手术系统5000已经被描述为示例，但是根据本公开的实施例的技术可以应用到的系统不限于该示例。例如，根据本公开实施例的技术可以应用于用于检查的软内窥镜系统或显微手术系统。实际上，该技术可以应用于进行神经外科手术等的手术显微镜。此外，该技术可以更普遍地应用于任何种类的医学成像。

根据本公开实施例的技术可以适当地应用于上述组件中的CCU5039。具体而言，根据本公开实施例的技术被应用于内窥镜系统、手术显微镜或医学成像。通过将根据本公开实施例的技术应用于这些领域，可以识别静脉、动脉和毛细血管中的血流。此外，可以识别对象，并且可以确定这些对象的材料。这降低了手术过程中对患者安全的风险。

在实施例中，光源设备5043是一个或多个垂直腔面发射激光器(VCSEL)，其可以产生电磁光谱的可见部分的光，并且一些产生电磁光谱的红外部分的光。在这方面，光源设备5043也可以充当照射该区域的可见光源。一个或多个VCSEL可以是单波长窄带VCSEL，其中，每个VCSEL的发射光谱频率不同。可替代地或另外，一个或多个VCSEL可以是微机电系统(MEM)型VCSEL，其波长发射可以在特定范围内改变。在本公开的实施例中，波长可以在550nm至650nm或600nm至650nm的范围内变化。VCSEL的形状可以变化，例如，正方形或圆形，并且可以位于内窥镜系统5000中的一个或多个不同位置。

光源设备5043可以照射一个或多个区域和/或区域内的对象。这可以通过选择性地打开VCSEL或使用微机电系统(MEM)对该区域进行光栅扫描来实现。光源设备5043的目的是对该区域上的光执行空间光调制(SLM)。

<核实场景的特征>

如上所述，希望核实使用机器视觉系统等确定的场景特征，以减少机器视觉故障的情况，并增加终端用户对该技术的信任程度。因此，提供了一种用于核实场景特征的设备，其可以应用于手术场景。根据本公开的实施例，可以显着减少机器视觉故障的情况。

通过示例，机器视觉系统(例如，在手术场景中使用的机器视觉系统)可以包括用于捕捉图像的一个或多个普通图像传感器以及用于检测捕捉图像中的目标对象的后续图像识别处理器。在手术场景中，这些目标对象可以包括诸如骨骼、血管或肿瘤等对象。机器视觉系统还可以对捕捉图像的视场进行分割。作为普通图像传感器的替代或补充，机器视觉系统可以包括传感技术，例如，用于检测荧光或用于窄带成像的NIR(近红外)传感器。

此外，为了获得结构信息，机器视觉系统可以包括任何类型的3D相机，例如，立体相机、使用结构光的深度传感器、飞行时间信息传感器、超声波技术等。

图3示出了根据本公开实施例的用于核实场景特征的设备的框图。设备300包括控制装置处理器305。控制装置处理器305通常被实现为处理器电路，例如，被配置为使用计算机可读代码操作的微处理器。控制装置处理器305使用计算机可读代码控制设备300的操作。当然，控制装置处理器305可以实现为硬件(例如，专用集成电路等)。

另外，控制装置存储器310连接到控制装置处理器305。控制装置存储器310是计算机可读存储介质(例如，光学可读、磁性可读或固态)。控制装置存储器310被配置为存储计算机可读代码，控制装置处理器305使用该代码进行操作。此外，用户简档和各种数据结构存储在控制装置存储器310中。

另外，控制装置通信电路315连接到控制装置处理器305。控制装置通信电路315被配置为与根据本公开的实施例可能需要的其他装置通信。这种通信可以通过有线网络(例如，以太网)或无线网络(例如，无线网络)进行。

最后，控制装置显示电路320连接到控制装置处理器320。控制装置显示电路320被配置为向用户显示根据本公开的实施例产生的覆盖在场景上的测试图像。可替代地或另外，控制装置显示电路1220可以与用户佩戴的增强现实(AR)系统或虚拟现实(VR)系统交互，或者可以与参考本公开的实施例描述的增强现实投影仪系统等交互。

此外，可以提供核实设备300，作为系统，其中，控制装置处理器305、控制装置通信电路315、控制装置显示电路320和控制装置存储器310均容纳在单独的设备中。核实系统还可以包括由控制装置显示电路320控制的显示屏或投影仪，例如，增强现实投影仪等。

应当理解，此处参考图3描述的根据本公开的实施例的用于核实场景特征的设备可以用在例如上面参考图1描述的手术场景中。即，用于核实场景300的特征的设备可以与例如内窥镜手术系统5000一起使用。

此外，通过示例，图4A示出了根据本公开的实施例的特征核实的额外示例性情况。在图4A所示的示例性情况下，外科医生402出现在手术室400中，手术室400还包括手术台404、机器视觉系统406、机器人设备408、用于核实场景410的特征的设备(如以上参考图3所述)、显示装置412和位于手术台404上的患者414。

应当理解，设备410本身可以包括投影仪，用于将测试图像投影到场景上，或者用于将外科医生的指向指南投影到场景中。此外，在通过使用手术内窥镜执行外科手术的情况下，这种类型的投影设备可以是与内窥镜结合的用于将测试图像投影到场景上的微型投影装置。

在该示例性情况下，外科医生402正在机器人设备408旁边对患者414执行手术。即，机器人设备408正在手术中协助外科医生402，并且可以根据外科医生402的指令自主地执行某些任务。此外，机器视觉系统406连接到机器人设备408，并向机器人设备提供关于患者414上或患者414内的适当手术部位的信息。

在该示例性情况下，机器视觉系统406也连接到用于核实场景特征的设备410，或者与之通信。最后，用于核实场景特征的设备410本身附接到显示器412，或者与显示器412通信，并且可以由外科医生402观看该显示器。

外科医生402将在机器人设备408的帮助下执行手术来修复患者414的骨折。因此，机器视觉系统406观察场景的图像(在这种情况下是手术台404、手术台上的患者414或其一部分)，并从图像中提取场景的初始信息。在外科医生402开始手术之前，或者在外科医生将任务分配给机器人设备408之前，外科医生402希望核实连接到机器人设备408的机器视觉系统406已经正确地分析了手术部位。即，外科医生402希望核实已经正确确定由机器视觉系统406从图像中提取的初始信息。因此，外科医生402指示设备410核实由机器视觉系统406确定的场景特征。即，在该示例性情况下，外科医生指示设备410将对患者414进行修复骨折的手术，并请求设备410相应地核实由机器视觉系统确定的手术部位的特征。

用于核实场景特征的设备410接收由机器视觉系统406确定的初始信息。设备410然后可以从存储单元或本地数据库获得测试信息。测试信息指示需要核实的并且根据关于要执行的手术的信息选择的场景的至少一个特征。即，在该示例性情况下，由于手术涉及修复骨折的手术，所以测试信息可以指示必须核实机器视觉系统406对图像内的骨骼或骨骼碎片的识别。

一旦检索到测试信息，设备410产生测试图像，该测试图像将用于核实机器视觉系统已经正确地识别了图像中的骨骼或骨骼碎片。测试图像基于由测试信息识别的预定图像产生，根据从机器视觉系统406接收的初始信息进行修改。在该示例性情况下，测试信息指示测试图像应该基于场景的直接图像馈送。

图4B示出了根据本公开实施例的示例性情况的测试图像的产生的示例。在该示例中，设备410根据在由机器视觉系统406确定的初始信息中确定的骨骼或骨骼碎片4002的位置来修改场景4000的直接图像馈送。即，在该示例性情况下，设备410通过改变区域中的像素的颜色突出显示直接图像馈送4000的这些区域，在这些区域中，机器视觉系统406已经确定要定位的骨骼或骨骼碎片4002。直接图像馈送4000的修改图像4004是在该示例性情况下由设备410产生的测试图像。

设备408然后被进一步配置为在显示装置412上用直接图像馈送4000覆盖测试图像4004。即，设备408被配置为在显示装置412上显示覆盖在场景的直接图像馈送4000上的测试图像4004。设备408还可以在显示装置412上显示直接图像馈送4000的未编辑视图，该未编辑视图与覆盖在直接图像馈送4000上的测试图像4004相邻，用于比较。

因此，外科医生402可以观看显示装置412，以便比较覆盖有场景的测试图像4004和预定图像4000(场景的直接图像馈送)。在该示例性情况下，对于外科医生来说，显而易见的是，对应于骨骼和骨骼碎片4002的位置的图像的正确区域已经被设备410突出显示。由于图像的正确区域已经被设备410突出显示，因此外科医生302可以向设备410提供比较信息，确认是这种情况。相反，如果由设备410根据从机器视觉系统406接收的初始信息产生的测试图像4004突出显示了图像的不正确区域，则外科医生将意识到骨骼碎片没有被突出显示，并将相应地通知设备410。

一旦外科医生402已经完成了显示装置412上的图像的比较，并且已经向设备410提供了比较信息，该设备就使用由外科医生402提供的该比较信息来生成场景中的特征的核实状态。即，在该示例性情况下，设备410使用比较信息来核实是否已经由机器视觉系统406从手术部位的原始图像中正确提取手术部位的特征。在这种情况下，由于骨骼碎片4002已经正确地突出显示，设备410生成指示已经正确地确定初始图像分析的核实状态，并且将该信息提供给机器视觉系统406和/或机器人设备408。

外科医生402然后可以继续进行手术，以修复骨折的骨骼，确信机器人设备408的机器视觉系统406已经正确地分析了手术部位的特征。

以这种方式，可以在操作机器人装置之前识别机器视觉系统在场景内错误识别对象的情况。此外，设备410使外科医生能够直观地检查由机器视觉系统提供的初始信息，从而增加外科医生402和机器人设备408之间的信任度。因此，可以减少对进一步实施机器视觉技术的阻力。

<特征核实方法>

图5示出了根据本公开实施例的核实场景特征的方法。步骤S502包括接收根据场景的第一分析确定的初始信息。步骤S504包括根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据待核实的场景的特征选择的、根据初始信息修改的至少一个预定图像。步骤S506包括用至少一个测试图像覆盖场景。步骤S508包括接收与覆盖场景的至少一个测试图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息。最后，步骤S510包括根据接收的比较信息生成场景特征的核实状态。

应当理解，根据本实施例的方法可以在参考图3描述的设备(或者系统或服务器)上执行。如前所述，使用微处理器或其他处理电路310来控制该设备300。该设备连接到网络，并且能够从网络的每个节点接收业务信息。设备300执行上面参考图4A和图4B描述的方法步骤S502至S510，使得能够根据本公开的实施例来核实场景的特征，从而减少机器视觉故障的情况。

下面更详细地描述根据本公开实施例的设备300的操作特征。

<初始信息>

根据本公开的实施例，该设备被配置为接收根据场景的第一分析确定的初始信息。该信息可以包括例如解剖目标检测的结果、解剖对象识别或场景分割的结果(血液区域、骨骼区域、肿瘤或手术工具的位置等)。

根据场景的第一图像分析确定的初始信息对应于由机器视觉系统(例如，机器视觉系统406等)从场景图像中提取的特征。根据本公开的实施例，初始信息包括来自由机器视觉系统生成的传感器信息的检测或识别信息。即，由设备从机器视觉系统等接收的信息涉及对场景特征的初始理解，并且在该阶段可能没有经历任何外部核实。当然，应当理解，产生初始信息的方法不受特别限制，并且可以根据本公开的实施例来核实关于场景特征的任何这样的信息。

机器视觉系统从场景图像中提取的特征类型将根据情况而有很大不同。此外，根据本公开实施例的设备300可以被配置为对所有这些特征执行核实，或者可以根据测试信息仅对这些特征的给定子集执行核实。根据本公开的实施例，根据操作者信息检索测试信息。下面将更详细地描述测试信息以及使用操作者提供的信息对其进行检索。

此外，根据本公开实施例的设备300接收初始信息的机制不受特别限制。即，信息可以通过有线网络(例如，以太网)接收，也可以通过无线网络(例如，WiFi网络)接收。应当理解，根据应用本公开的实施例的情况的上下文，任何这样的机制都可以用于接收初始信息。

<测试信息>

根据本公开的某些实施例，该设备可以被配置为根据操作者信息从存储单元检索测试信息，该测试信息包括指示待核实的场景的至少一个特征的信息。换言之，设备300被配置为使用由操作者提供的信息，以便从存储单元中检索详细说明将核实场景的哪些特征的信息。考虑上面参考图4A描述的示例性情况。在该示例性情况下，外科医生402提供描述将要执行的手术(例如，修复骨折等的手术)的操作者信息。设备410使用该信息从存储单元中检索适当的测试信息。测试信息定义了需要在机器人设备408能够在该手术中协助外科医生402之前核实由机器视觉系统确定的场景的哪些特征。在替代实施例中，如下所述，可以根据场景的机器视觉分析来选择测试信息。即，例如，机器视觉系统可以识别图像中需要核实的部分。

应当理解，可以在核实初始信息之前的任何阶段由设备300接收操作者信息。例如，操作者信息可以作为初始设置、校准等的一部分提供给设备。或者，当机器人设备408将要执行新任务时，可以向设备提供操作者信息。操作者信息可以通过任何方式提供，例如，通过文本输入、语音命令、输入装置、输入手势等。或者，操作者信息可以通过通信网络等远程提供给装置。当然，操作者信息本身的形式没有特别限制，并且可以根据情况而变化。

一旦该设备已经接收到操作者信息，该装置被配置为从存储单元检索测试信息。根据本公开的实施例，测试信息涉及用于测试机器视觉系统的精度的预定义投影图案，该预定义投影图案被设计成使得设备300能够核实场景的某些特征。例如，测试信息可以指示设备300突出显示场景表面上的某些特征。设备300未能这样做，表明机器视觉系统提供的初始信息在这方面是不准确的，应该重新校准。根据依赖机器视觉信息的机器人装置将承担的任务和程序的不同精度要求，由测试信息描述的测试可能具有更大的难度和严重性。然而，如上所述，也可以通过其他方式选择测试信息，例如，根据场景的机器视觉分析。

换言之，考虑到机器视觉系统对成功成像所需特征的已知要求，该测试可被设计用于特定应用。

测试信息可以本地存储在设备中包含的存储单元中，或者可替换地，可以存储在外部数据库等中。应当理解，测试信息以可以容易地被设备300检索到的方式存储在存储单元中。例如，测试信息可以以根据测试执行的功能(颜色检查、特征识别检查、分辨率检查等)提取的方式存储；每个测试的复杂或准确程度(例如，为了通过测试必须识别特征的精确度)或测试应适用的特定任务或程序(例如，与不同类型的手术或操作相关)。这样，设备300能够执行搜索或查找功能，以便为给定情况检索最合适的测试信息。

例如，如参考图4A所述，当外科医生402指示该操作与修复骨折的手术相关时，则检索到的测试信息指示待核实的场景的特征包括图像内的骨骼位置。

图6描绘了根据本公开的实施例的可由设备300访问的测试信息的示例性表格600。在该示例性表格600中，每行对应于单独的测试或一组测试信息602。表格的列对应于测试信息602中包含的不同类型的信息。如所描绘的，这样的信息可以对应于所需的准确程度604、需要核实的场景特征606以及将与该测试信息602相关联地使用的预定图像608。下面更详细地描述这些预定图像的具体示例以及可以用来核实的图像特征。当然，包含在测试信息中的信息在这方面没有特别限制，并且根据本公开的实施例，可以根据需要包括任何这样的信息。

应当理解，存储在存储单元中的测试信息可以通过各种方法产生，包括由操作机器人制造商提供、通过在线平台提供、由操作者创建等。此外，可以使用外部算法，例如，基于机器视觉系统的已知能力和场景的属性，来产生自动测试信息。

在某些示例性情况下，例如，在操作空间中安装机器人装置或机器视觉系统期间的初始校准续发事件，操作者可能能够向设备300提供操作者信息，请求由设备300在测试表面等上依次执行所有可用的相关测试。

此外，在某些示例性情况下，机器人装置本身可以确定应当执行对应于测试信息的一个或多个测试。即，例如，根据要执行的手术，机器人装置可以决定应该核实机器视觉系统的哪些方面，并因此在此基础上向设备300提供自动操作者信息。此外，可以由机器人设备300根据机器视觉系统提供的置信水平来生成自动操作者信息。即，例如，如果机器视觉系统在对象位置的确定中具有低置信水平，则机器人装置可以向设备300提供自动操作者信息，请求核实对象位置的测试信息被设备300用于特征核实。

这样，根据本公开的某些实施例，测试信息描述了待核实的场景的特征和预定图像，该预定图像可以与初始信息一起用于核实该特征的目的。

<测试图像的产生>

如上所述，设备300被配置为产生至少一个测试图像或测试图案，其可用于核实场景的特征。至少测试图像是根据待核实的场景的特征选择的并且根据初始信息修改的预定图像。此外，如上所述，从测试信息中确定待核实的场景的特征。

例如，考虑参考图4A描述的示例性情况。在该示例性情况下，测试信息指示需要核实机器视觉系统对手术部位中的骨骼和骨骼碎片的识别。为了执行该核实，测试信息已经指示预定图像应该是手术部位的直接图像馈送。然后根据初始信息修改该预定图像，以突出显示(由机器视觉系统提供)初始信息指示的图像中的骨骼或骨骼碎片所在的区域。该设备随后用测试图像覆盖该场景，以便可以在覆盖该场景的测试图像和预定图像之间进行比较。

下面将更详细地描述可根据本公开的实施例使用的特征核实和相关测试图像的产生的进一步示例性方法。

在某些实施例中，如上所述，测试信息可以进一步指示特征核实的所需精确等级，并且设备300可以被配置为根据该精确等级要求产生测试图像。即，例如，测试信息可以指示超过特定阈值大小的骨骼碎片必须被机器视觉系统正确识别。在这种情况下，测试图像将由设备300创建，以便突出显示图像中尺寸超过阈值极限的那些骨骼碎片。或者，测试信息可以指示必须以一定程度的精度确定图像的骨骼或骨骼碎片的位置。在这种情况下，设备300可以使用尺寸对应于该所需精确等级的荧光笔来突出显示图像的区域。在这种示例性情况下，假设骨骼或骨骼碎片位于这些突出显示的区域内，则骨骼的位置将被核实为由机器视觉系统根据所需的精确等级充分确定。当然，所需的具体精确等级可以根据本公开的实施例所应用的情况的上下文而变化，并且本公开的实施例在这方面不受特别限制。

在本公开的实施例中，设备300还被配置为根据关于操作环境的信息产生测试图像。关于操作环境的细节可以预先确定，并作为例如初始校准信息提供给设备300。可替代地或另外，设备300可以被配置为使用额外传感器、相机系统等来确定关于操作环境的信息。此外，关于操作环境的信息可以由诸如机器视觉系统的外部装置来确定，并且随后被提供给设备300。

例如，设备300可以在考虑到可用于将测试图像投影到场景上的空间量的情况下产生测试图像。例如，考虑图4A所示的示例性情况。设备410可以在考虑手术部位的比例的同时产生测试图像，以便产生适当尺寸的测试图像，用于覆盖在场景上。当然，根据本公开的实施例，当产生测试图像时，可以由设备300确定并考虑其他环境因素。例如，设备300可以在考虑环境光线水平的情况下产生测试图像，以确保操作人员可以看到测试图像的投影。当产生测试图像时，设备300可以根据本公开的实施例所应用的情境来考虑其他环境因素。

此外，在本公开的实施例中，设备300被配置为在考虑将在其上显示测试图像的显示装置的物理限制的同时产生测试图像。例如，如果显示装置具有第一分辨率，则不应该以超过该显示装置的分辨率的分辨率产生使用该显示装置覆盖在场景上的测试图像。否则，测试图像的特征(因为显示装置不能以该分辨率再现测试图像)对于观察显示装置的人可能不明显，并且人可能错误地认为场景的相应特征被机器视觉系统误解。

应当理解，本公开的实施例在这方面不受特别限制，并且当产生测试图像时，设备300可以考虑显示装置的其他特征。例如，当产生用于显示的测试图像时，设备300可以考虑对显示装置的颜色深度等的限制。

设备300还可以被配置为在产生测试图像时考虑人类视觉的限制。即，当提供比较信息时，被测试图像覆盖的场景和预定图像之间的微小变化对于操作人员来说可能是不可见的。因此，测试图像应该被设计成使得特征在操作人员可感知的规模上区分，以便可以获得可靠的比较信息。

<覆盖场景>

在本公开的实施例中，设备300被配置为通过在显示器上显示至少一个测试图像来用至少一个测试图像覆盖场景的特征。当然，根据本公开的实施例，根据应用本公开的实施例的情况的上下文，可以使用任何合适的显示装置。

例如，在参考图4A描述的示例性情况中，场景已经在显示装置412上用测试图像覆盖，用于与预定图像进行比较。即，外科医生402观看显示装置412，并在覆盖有测试图像的场景图像和预定图像之间进行比较。一旦进行了这种比较，外科医生402就向设备410提供比较信息，以便设备410可以为场景的相关特征生成核实状态。

或者，例如，其上显示用于比较的图像的显示装置可以是头戴式显示屏，例如，增强现实眼镜等。考虑参考图4A描述的另一示例性情况。在该示例性情况下，根据从外科医生402接收的操作者信息，设备410已经使用从机器视觉系统406接收的初始信息产生了测试图像。外科医生402戴着增强现实眼镜，这使得外科医生402能够观看手术部位，在场景图像旁边添加额外信息。在该示例性情况下，设备410与外科医生402佩戴的增强现实眼镜通信，以便增强现实眼镜显示测试图像，使得手术部位被测试图像覆盖。

图7示出了根据本公开实施例的用增强现实眼镜覆盖场景的示例性情况。在这个示例中，外科医生700戴着一套增强现实眼镜702，并通过这些眼镜观看手术部位704。外科医生已经指示设备300核实场景706和708的特征。设备300因此产生突出显示手术部位中这些特征的位置的测试图像，并指示增强现实眼镜702显示测试图像，使得当外科医生700观看手术部位时，他们看到覆盖有测试图像的场景。外科医生700因此在通过增强现实眼镜702观看场景时看到图像710。在图像710中，外科医生700可以看到场景的特征已经被设备300正确地突出显示，向外科医生700提供机器视觉系统已经正确理解场景704的特征706和708的信心。此外，通过以这种方式在增强现实眼镜702上显示测试图像，外科医生700可以快速且直观地将比较信息提供给设备300，用于特征核实，而不用将他们的眼睛从手术部位移开。

或者，根据本公开的实施例，设备300被配置为通过将至少一个测试图像投影到场景上来用至少一个测试图像覆盖场景。以这种方式将测试图像投影到场景上，可以通过增强现实投影系统等来执行。即，由设备300产生的测试图像可以被直接投影到场景上，使得观看场景的人将看到覆盖有测试图像的场景。

考虑上面参考图4A描述的示例性情况。在该示例性情况下，如上所述，根据外科医生402提供的操作者信息，设备410已经使用由机器视觉系统406提供的初始信息产生了测试图像。然而，在该示例性情况下，外科医生402没有佩戴诸如增强现实眼镜等头戴式显示器。相反，在手术室400中提供增强现实投影仪。增强现实投影仪的位置没有特别限制，只要它能够将图像投影到手术场景上。设备410然后控制增强现实投影仪等，以便将测试图像直接投影到手术部位上。因此，在没有任何额外眼镜或显示器的情况下，观看手术部位的外科医生402将看到覆盖有由设备410产生的测试图像的场景。外科医生402然后可以向设备410提供关于场景的比较信息。通过以这种方式在增强现实投影仪上显示测试图像，外科医生402可以快速且直观地将比较信息提供给设备410，用于特征核实，而不用将他们的眼睛从手术部位移开。

根据本公开的实施例，当至少一个测试图像包括多个测试图像时，设备300还被配置为依次用至少一个测试图像覆盖场景，并且还被配置为依次接收这些测试图像中的每一个的比较信息。换言之，如果有多个特征要被核实，并且为这些特征中的每一个产生测试图像，或者，如果待核实单个特征，但是该特征要使用多个测试图像来核实，则根据本公开的实施例，这些测试图像将依次覆盖在场景上。

以这种方式，观察者可以依次观看覆盖场景的每个测试图像，并且可以提供与每个测试图像与相应的预定图像的比较相关的比较信息。例如，根据测试图像被投影到场景上的本公开的实施例，设备300可以首先使第一测试图像被投影到场景上。然后，仅当已经接收到该第一测试图像的比较信息时，投影才改变为第二测试图像。根据本公开的实施例，操作者可以提供输入，请求投影应该返回到先前的测试图像。在这种情况下，投影将再次显示先前的测试图像，并且操作者将能够更新他们已经提供的关于该测试图像的比较信息。或者，测试图像投影可以在预定时间后自动改变，以便设备300循环通过要投影的整个测试图像集。然后，当操作者提供给定测试图像的比较信息时，将从循环中移除该测试图像。因此，该循环将继续，直到操作者提供了所有测试图像的比较信息。

在本公开的实施例中，在生成场景特征的核实状态之前，设备300将等待，直到已经接收到所有测试图像的比较信息。或者，一旦接收到对应于该特征的测试图像的比较，设备300将为每个特征单独产生特征核实状态。

<比较信息>

如上所述，一旦设备300产生了测试图像，场景就覆盖有测试图像，以便操作者可以提供比较信息。即，操作者观看覆盖有测试图像的场景，并将其与预定图像进行比较。设备300然后使用比较信息来产生相关特征的核实状态，如下文更详细描述的。

考虑参考图4A描述的示例性情况。一旦外科医生402比较了在显示装置412上显示的图像，外科医生402可以向设备410提供关于图像的比较信息。例如，在这种示例性情况下，其中，机器视觉系统406对骨骼和骨骼碎片的识别看起来是正确的，外科医生402可以向设备410提供这一事实的确认。

应当理解，根据本公开的实施例，这种比较信息可以通过任何输入方式(例如，输入手势)、输入装置或口头命令(例如，语音识别等)提供给设备300。设备300使用语音识别等来接收比较信息在某些情况下可能是有利的，因为它使得操作人员者能够在使用他们的手来执行其他任务或操作额外设备的同时提供比较信息。考虑例如参考图4A所示的示例性情况。在此处，设备410使用语音识别来接收比较信息，使得外科医生402能够提供比较信息，而无需释放他们当前正在使用的设备。

此外，应当理解，比较信息的形式没有特别限制，并且可以取决于本公开的实施例所应用的情况的上下文。例如，在某些情况下，比较信息可以包括是否已经正确识别所需特征的简单指示。然而，在待核实多个特征的更复杂的情况下，比较信息可以指示已经正确识别图像的哪些特征以及指示没有令人满意地识别的图像的特征。可替代地或另外，比较信息可以指示不同的满意度。即，比较信息可以指示已经高精度地识别某些特征，同时已经低精度地识别其他特征。

根据本公开的实施例，设备300可以基于测试信息，向操作人员提供在给定情况下所需的比较信息的指导。例如，根据本公开的实施例，设备300还被配置为根据测试信息生成比较问题。这些比较问题可以视觉上或口头上传达给操作人员，并且可以根据待核实的一个或多个特征而变化。

考虑参考图4A描述的示例性情况。在该示例性情况下，设备410已经在显示装置412上用测试图像覆盖了场景。在这个阶段，设备410可以向外科医生402提供关于需要提供的比较信息的指导。在外科医生402在机器人设备408的帮助下执行手术以修复骨折的骨骼的示例性情况下，设备410可以要求外科医生402确认在用测试图像覆盖场景时是否已经突出显示图像中的所有骨骼或骨骼碎片。或者，设备410可以要求外科医生402识别是否突出显示手术部位的任何不对应于骨骼或骨骼碎片的部分。以这种方式，设备410引导外科医生402提供根据测试信息生成场景特征的核实状态所需的比较信息，从而进一步减少机器视觉误识别的情况。

<核实状态>

一旦设备300接收到比较信息，它就使用比较信息来生成场景特征的核实状态。即，设备300被配置为根据接收到的比较信息生成场景特征的核实状态。

例如，在图4A的示例性情况下，当外科医生402指示手术部位的正确区域已经被设备410突出显示时，设备410将生成核实状态，该核实状态核实骨骼位置的特征已经被机器视觉系统406正确识别。或者，当外科医生402在比较信息中表达担忧或不满意的程度时，设备410将生成核实状态，该核实状态指示骨骼位置的特征没有被机器视觉系统406正确地确定。

应当理解，核实状态的形式没有特别限制，并且可以根据本公开的实施例所应用的情况的上下文而变化。例如，在一些示例性情况下，由设备300生成的核实状态可以是指示是否已经正确识别特征的二进制信号。在一些示例性情况下，设备300可以产生特征的单个核实状态，而在其他示例性情况下，设备300可以产生对应于已经核实的特征的不同方面的多个核实状态指示。在测试信息指示待核实多个特征的情况下，设备300可以为每个特征产生单独的核实状态，或者可替换地，可以为所有特征产生单个核实状态。

在本公开的一些实施例中，测试信息可以指示操作人员必须在某个特征中表达的所需置信水平，以便该特征被设备300核实。从操作人员向设备300提供的比较信息中确定操作人员对该特征的实际置信水平。因此，某些特征可能需要高置信度才能被核实，而其他在给定情况下不太重要的特征可能只需要低置信度就能被核实。

在本公开的一些实施例中，设备300还可以被配置为使用核实状态来向操作人员或机器人装置提供警告或指示，当核实状态指示特征没有被机器视觉系统正确确定时，不要继续程序。或者，可以使用核实状态来生成重新校准请求，该重新校准请求指示机器视觉系统执行重新校准，并产生关于场景的进一步信息，用于二次核实尝试。

此外，应当理解，根据本公开的实施例，核实状态可以指示在产生核实状态时已经错误地确定初始信息的哪些方面。以这种方式，设备300可以指示机器视觉系统需要重新校准机器视觉系统的哪些特征。

<特征核实的示例性方法>

在参考图4A描述的示例性情况中，设备410根据基于操作者信息选择的测试信息确定场景中待核实的特征是该场景中的某些对象(例如，骨骼碎片)的位置。然而，应当理解，本公开的实施例不限于对象识别核实。相反，根据本公开的实施例，可以核实场景特征的许多示例。如上所述，待核实的具体特征将取决于根据操作者信息选择的测试信息，因此将根据本公开的实施例所应用的情况的上下文而变化。

考虑上面参考图4A描述的示例性情况。拓扑中未检测到的变化会影响依赖于机器视觉系统406的机器人设备408做出精确手术动作的能力。因此，核实机器视觉系统对表面特征(例如，场景的粗糙度)的理解在某些情况下可能很重要，应该在使用前进行核实。

图8示出了根据本公开实施例的核实场景特征的方法。在该示例性情况下，待核实的特征是表面拓扑的特征。预定图像800由表面拓扑802(在来自机器视觉系统的初始信息中接收该表面拓扑)修改，以形成测试图像804。测试图像然后被投影到场景806上，以形成用测试图像808覆盖场景。核实设备810(对应于参考图3描述的设备300)在测试图像808的投影和预定图像800之间进行比较。

应当理解，预定图像800的确切形式没有特别限制。相反，预定图像800仅提供初始图像，该初始图像可由设备810用来测试场景的拓扑。即，根据本公开的实施例，可以使用任何这样的预定图像或投影图案。设备810从机器视觉系统接收的初始信息提供了场景802的初始拓扑；根据本示例，待核实场景802的这种拓扑。在这种情况下，拓扑表示对象的三维信息。例如，对象表面的形状或对象的捕捉图像的深度信息由任何类型的三维视觉系统捕捉，例如，立体图像传感器、使用结构光或超声波技术的3D传感器、或飞行时间相机。如上所述，机器视觉系统确定该初始拓扑的方法不受特别限制。一旦预定图像800已经被设备810检索到，则初始拓扑802被应用于预定图像800，以便创建图像804。即，设备810使用初始信息以这样的方式修改预定图像，使得当投影到具有如802所示的拓扑的表面上时，测试图像804在场景806上的投影将表现为预定图像800的未失真版本。

换言之，设备810基于初始拓扑信息802使图像800失真，以便产生测试图像804，只有当测试图像804被投影到具有该初始拓扑802的表面上时，测试图像804才会再现初始图像800。如果失真图像804被投影到不具有拓扑802的表面上，则投影808将不会被观看投影的人看起来不失真。这样，如果在投影之后，图像仍然失真，则可以确定机器视觉对场景拓扑变化的理解是有缺陷的。

在这种情况下，由操作者提供的比较信息可以简单地指示已经错误地确定拓扑，或者可替换地，可以指示已经被显示为特别有问题的拓扑的特定区域。因此，在生成核实状态时，该设备可以向机器视觉系统指示需要重新计算的拓扑分析的方面。

应当理解，这种示例性的拓扑核实方法需要将测试图像直接投影到场景上。

场景中颜色和亮度的细微变化可以区分场景内的组织和其他特征。如果机器视觉系统错误地确定了图像的颜色和/或亮度变化，则可能因此错误地识别场景的某些特征。例如，考虑图4A和4B中描绘的示例性情况。在这种示例性情况下，诸如骨骼或骨骼碎片等特征可能比周围组织显得更白或更亮。因此，正确确定场景中的颜色和亮度，将改善场景中骨骼和组织之间的区别。

图9示出了根据本公开实施例的核实场景特征的方法。在这种示例性情况下，待核实的特征是对场景中的颜色和/或亮度变化的理解。根据本公开的实施例，当根据操作者信息确定的测试信息指示应该核实场景中的颜色和/或亮度变化时，设备300获得用于产生测试图像902的预定图像900。应当理解，本公开的实施例不限于预定图像900的形式。然而，在这个示例中，图像900应该是均匀颜色和/或亮度的图像。

一旦预定图像900已经被设备300检索到，设备根据从机器视觉系统接收的初始信息修改预定图像900。即，在图像的颜色和/或亮度待核实的情况下，根据本公开实施例的方法包括根据初始信息改变预定图像的颜色和/或亮度，以便当修改后的图像被直接投影到具有该颜色和/或亮度变化的场景上时，产生单一均匀颜色和/或亮度的线。

即，如果均匀颜色的线(例如，预定图像900中的线)被直接投影到场景上，则观看场景的人将看不到均匀颜色和/或亮度的线。相反，他们会看到颜色和/或亮度在整个场景中变化的线，因为该线所投影到的场景不是均匀颜色的场景。相反，如果机器视觉系统已经正确地分析了场景，并且测试图像902适当地失真，则当测试图像902被投影到场景上时，均匀颜色的线对于用户将是可见的，因为设备300已经正确地补偿了场景上的颜色变化。

换言之，如果用户观察到用测试图像覆盖场景，并且确定该线不是均匀的颜色和/或亮度，则这是机器视觉系统没有正确检测到场景的颜色和/或亮度的指示。在这种情况下，设备300可以生成特征核实状态，该状态请求由机器视觉系统重新校准场景的颜色和/或亮度。根据本公开的实施例，特征核实状态可以指示已经不令人满意地确定整个场景中的颜色和/或亮度变化。可替代地或另外，特征核实状态可以指示在操作可以进行之前，场景的特定区域的颜色和/或亮度变化需要由机器视觉系统重新校准。

应当理解，这种示例性的颜色和/或亮度核实方法需要将测试图像直接投影到场景上。

机器视觉系统可以发现镜面反射，其中，光以与入射光线相同的角度反射到表面法线，这很难理解，因为表面的反射特性可能在小范围内变化很大。与光从表面以单个角度反射的镜面反射相反，光从表面以多个角度散射时发生漫反射。只有当观看反射的角度与光的入射角(从表面法线测量)相同时，才能观察到镜面反射。

场景的反射率会根据场景中的对象而有很大的不同。考虑上面参考图4A描述的示例性情况。在这种情况下，位于手术部位的某些类型的组织的反射率可能比位于手术部位的其他类型的对象具有高得多的反射率。因此，反射率可用于区分这些对象。

因此，在某些情况下，测试机器视觉系统对表面反射率的理解可能是有利的。在根据操作者信息检索的测试信息中详细说明场景的这一特征需要核实的情况。

图10示出了根据本公开实施例的核实场景特征的方法。在这种示例性情况下，待核实的特征是对场景中对象反射率的理解。根据本公开的实施例，当使用操作者信息检索的测试信息指示需要核实对表面反射率的理解时，设备300获得相关联的预定图像1000。预定图像1000将与从机器视觉系统接收的关于表面反射率的初始信息一起使用，以便产生要覆盖在场景上的测试图像1002。在该示例性方法中，预定图像1000是两个相同圆的图像；这些圆是强度相同的圆。然后使用关于表面反射率的信息来产生测试图像1002，其中，圆具有不同的强度。即，该设备被配置为修改圆的强度，使得当测试图像被投影到具有初始信息中描述的反射率的表面上时，则投影的测试图像的圆将看起来具有相等的强度。

随后，设备300被配置为将测试图像投影到表面1004上。如果机器视觉系统已经正确地确定了初始信息中的表面反射率，则对于观看测试图像在表面1004上的投影的观察者来说，圆将看起来具有相等的强度。然而，如果投影图像中的圆看起来具有不同的强度，则用户可以在比较信息中向设备300提供该信息。然后，设备300将生成特征核实状态，并且根据本公开的实施例，可以要求重新校准从其接收初始信息的机器视觉系统。

应当理解，这种反射率核实的示例性方法需要将测试图像直接投影到场景上。

机器视觉系统可能需要适当理解场景中半透明的变化。即，操作者可能希望核实机器视觉系统已经正确地确定了场景中半透明性的变化。考虑关于图4A示出的示例性情况。手术部位中的某些对象可能比该手术部位中的其它某些对象的透明度低得多。例如，图像中的骨骼和骨骼碎片将具有非常低的半透明值，因为它们对可见光几乎不透明。相反，其他对象(例如，器官或组织)的半透明程度要高得多。

由于半透明材料内部的多深度反射，投射到半透明对象上的光会显得模糊。即，一些入射光将从半透明组织的表面反射，而入射光的其他部分将在半透明组织内的不同深度反射。相反，入射到几乎不透明的对象上的大部分光将从该对象的表面反射。

图11示出了根据本公开实施例的核实场景特征的方法。因此，根据本公开的实施例，一旦关于组织的半透明性的初始信息已经由机器视觉系统确定并提供给设备300，则图11所示的示例性方法可以用于核实机器视觉系统对图像上半透明性变化的理解。

根据本公开的实施例，当使用操作者信息检索的测试信息指示需要核实对半透明性的理解时，设备300获得相关联的预定图像1100。预定图像将与从机器视觉系统接收的关于半透明性的初始信息一起使用，以便产生测试图像1102或1104，该图像是要覆盖在场景上的测试图像。在该示例性方法中，预定图像是两条相同线的图像。在预定图像中，这些线被设置为彼此相距固定距离。

根据指示由机器视觉系统确定的组织的半透明性的初始信息，设备300可以确定当预定图像1100的两条线被投影到场景上时将发生的模糊程度。根据该核实图像半透明性的示例性方法，设备300然后根据初始信息修改预定图像，使得线彼此相距第二距离相关联。即，设备300根据从机器视觉系统接收的初始信息改变线之间的距离。

然后，该修改的预定图像形成将被投影到场景上的测试图像1102或1104。分离距离由设备300确定为两条线之间的分离距离，其中，如果测试图像被投影到如初始信息中所述的具有半透明性的表面上，则线的模糊量将在模糊区域之间导致小重叠区域，对于观察测试图像在表面上的投影的人来说，该重叠区域将作为第三条线出现。

如果机器视觉系统错误地确定了表面的半透明性，则测试图像中的线之间的分离距离可以被设置为太大的距离1102。在这种情况下，当测试图像被投影到表面上时，观察投影图像的人将不会观察到模糊区域1104之间的任何重叠，并且将意识到机器视觉系统已经错误地确定了半透明性。这个人然后可以将该比较信息提供给设备300，设备300将相应地生成特征核实状态。

或者，考虑机器视觉系统已经正确地确定了半透明性，并且测试图像1106中的线被设置在正确的间隔距离处的情况。在这种情况下，当测试图像1106被投影到表面上时，观察投影图像的人将观察到模糊区域1108之间的重叠区域，并且将意识到机器视觉系统已经正确地确定半透明性。这个人然后可以将该比较信息提供给设备300，设备300将相应地生成特征核实状态。

最后，如果不正确地确定了半透明性，则测试图像中的线可能设置得过于靠近。在这种情况下，当测试图像被投影到表面上时，这个人会观察到太大的重叠区域，并且会意识到机器视觉系统错误地确定了半透明性。这个人然后可以将该比较信息提供给设备300，设备300将相应地生成特征核实状态。

此外，关于线是太远还是太近的比较信息可以提供关于表面的半透明性被错误地确定的方式的重要信息。即，如果当测试图像被投影到表面上时，线看起来相距太远，则可以确定发生了比预期更少的模糊，因此表面的实际半透明性低于初始信息中的半透明性。或者，如果当测试图像被投影到表面上时，线看起来过于靠近，则可以确定已经发生了比预期更多的模糊，因此表面的实际半透明性高于初始信息中的半透明性。关于机器视觉系统错误地确定表面半透明性的方式的额外信息可以包括在由设备300产生的特征核实状态中。

应当理解，这种半透明性核实方式需要使用增强现实投影仪等将测试图像投影到表面上。

提供以上描述，作为示例性方法，通过该示例性方法，根据本公开的实施例，设备300可以核实场景的特征。然而，应当理解，本公开在这方面不受特别限制，并且可以根据实现本公开的实施例的情况的上下文来使用和核实其他方法和特征。

<位置信息>

如上所述，在本公开的某些实施例中，用测试图像覆盖场景包括使用增强现实投影仪等将由设备300产生的测试图像直接投影到场景上。这使得特征核实系统能够核实场景的物理特征，例如，表面拓扑、颜色变化、半透明性等。然而，应当理解，投影的某些方面可以根据用户观看其位置而变化。

因此，在某些实施例中，可能存在预定的固定或中心位置，要求用户从该位置观看投影，以便核实场景的特征。例如，可以在设备300的初始设置时校准这种位置。应当理解，向用户传达预定位置的方式不受特别限制。例如，可以使用增强现实投影仪等来识别预定位置，以突出显示地板上的观看位置。或者，预定位置可以被传送给操作者或显示屏，或者可以通过向用户提供的口头指令(例如，简单的方向描述)来传送。

然而，根据本公开的实施例，设备300可以进一步被配置为检测观看投影的人的位置，并根据该位置调整测试图像。即，在测试图像被投影到场景上之前，在图4A的示例性情况中，将由设备300根据人(例如，外科医生402)的位置来调整测试图像。这使得不管观看场景的人的位置如何，都能够正确地核实场景的特征。

应当理解，设备300可以从外部装置接收位置信息，或者可替换地，设备300可以包括用于确定观看场景的人的位置的额外传感器。在有许多人观看场景的情况下，这些人中的一个可以被识别为操作者，并且可以根据操作者的位置来调整测试图像。

图12示出了根据本公开实施例的针对操作者位置的投影校正的示例性情况。在该示例中，由设备300根据从机器视觉系统接收的初始信息和操作者信息创建的测试图像在设备300的控制下由投影单元1200投影到场景上。在该示例中，待核实的特征是表面1202的拓扑的机器视觉理解。操作者打算从预定位置1204观看测试图像在表面上的投影。如果机器视觉系统已经正确地确定了表面1202的拓扑，则当从预定位置1204观察时，操作者将看到测试图像的投影在表面上看起来没有失真，如上面参考图8所述。

然而，考虑操作者从预定位置1204移动到新位置1206。在这种情况下，投影的视角已经改变，而操作者与表面的距离保持不变。然而，由于视角的变化，如果投影仪1200继续将相同的测试图像投影到表面上，则操作者可能会看到投影失真并且与比较图像不匹配。因此，操作者可能会错误地认为机器视觉系统误解了表面的拓扑。然而，投影图像中实际上出现了失真，因为操作者已经从预定位置1204改变了他们的观看位置，并且测试图像还没有相应地调整。

即，可以理解的是，操作者看到根据其视角从表面的不同部分反射测试图像，因此需要根据这个视角，使用机器视觉系统提供的拓扑信息来调整测试图像，以考虑操作者在任何给定时间正在观看的表面部分。

一旦设备300已经根据操作者视角的变化修改了测试图像，则如果对表面拓扑的理解是正确的，操作者将看到投影到场景上的测试图像的未失真图像。

考虑操作者随后将他们的位置从位置1206改变到位置1208。在这种情况下，视角和离表面的距离都发生了变化。因此，如果投影保持不变，则操作者将在场景上看到失真的图像，并因此可能错误地认为机器视觉系统误解了表面拓扑。这样，设备300需要考虑操作者观看投影的新位置，以便操作者可以正确地比较表面拓扑是否已经被机器视觉系统理解。

换言之，测试图像必须根据光被反射的表面部分的拓扑进行调整，光被反射的表面部分根据操作者的视角和与表面的观看距离而改变。否则，表面拓扑的错误部分将用于校正测试图像，并且操作者将看到失真的图像，即使表面的拓扑实际上已经被机器视觉系统正确地确定。

相反，如果测试图像的失真图像被操作者看到，即使通过使用初始信息并考虑操作者位置而产生测试图像，则设备300可以确定需要进一步校准提供初始信息的机器视觉系统。

虽然已经参考表面拓扑描述了图12中描绘的示例性情况，但是应当理解，对操作者位置的校正可以应用于场景的任何特征，使用测试图像在表面上的投影来核实这些特征，包括场景的颜色和/或亮度、场景的半透明性等。

应当理解，根据本公开的实施例确定操作者位置的方式不受特别限制。即，如上所述，根据本公开的实施例，位置信息可以由外部装置确定并提供给设备300。或者，设备300可以包括用于确定操作者相对于场景的位置的额外传感器。

例如，考虑参考图4A定义的示例性情况，操作者位置可以由机器视觉系统406确定。应当理解，用于确定场景特征的机器视觉系统406可以包括多个相机系统等。这些相机系统主要用于确定提供给设备410用于特征核实的初始信息。然而，机器视觉系统406用来确定初始信息的一个或多个相机系统也可以用来确定手术室400内的其他特征，只要这些特征在机器视觉系统406的视野内。操作者位置信息然后可以由机器视觉系统406提供给设备410，以便设备410可以正确地产生用于投影的测试图像。

可替代地或另外，可以使用多个独立的相机系统来确定操作者的位置。在图4A的示例性情况下，可以提供单个额外的吸顶相机系统等，其捕捉整个手术室400的图像。然后可以对来自该相机系统的图像馈送进行图像处理，以便确定操作者的位置。操作者位置信息然后可以提供给设备410，并与来自机器视觉系统406的初始信息一起使用，以便产生用于在场景上投影的测试图像。

可替代地或另外，可以使用多种可穿戴技术来确定操作者位置。即，可以要求操作者佩戴小型装置，例如，经由无线通信向设备300提供位置信息的手环。由可穿戴技术提供的位置信息可以基于GPS、蓝牙等。

可替代地或另外，根据本公开的实施例，该设备可以进一步被配置为使用室内定位技术来检测位置。即，可以使用光、无线电波、磁场、声信号等来确定操作者的位置。例如，可以使用WiFi反射技术来确定操作者的位置，其中，使用反射的环境WiFi信号来识别对象及其位置。一旦以这种方式确定了操作者的位置，设备300就可以将位置信息与来自机器视觉系统的初始信息相结合，以便产生用于投影的测试图像。

应当理解，这些确定操作者位置的示例性方法可以单独使用，或者可以可替换地组合使用，以便向设备300提供更准确的操作者位置。

根据本公开的实施例，设备300可以使用观看位置的变化，以便在核实场景的特征时提供额外的确定性水平。即，可以理解的是，如上所述，当操作者观看投影到场景上的测试图像时，他们正在核实场景的给定部分的场景特征，从该部分反射他们观察到的光。在许多情况下，从单个位置观看场景可以提供足够高的确定性，即场景的特征已经被机器视觉系统正确识别。然而，在某些情况下，操作者可能需要额外确认已经正确确定场景的特征。即，对于某些情况，操作者可能希望从多个位置测试场景的特征，以便提供已经正确确定场景的特征的额外确定性。

考虑表面拓扑的示例。在某些情况下，检查测试图像是否可以从单个观看位置无失真地投影到表面上(从而对拓扑的一部分进行采样)就足以核实已经正确确定表面的拓扑。然而，在更复杂的情况下，或者在拓扑中的误解的后果会很严重的情况下，操作者可能希望检查测试图像可以从多个观看位置无失真地投影到表面上(从而对拓扑的多个部分进行采样)。当从多个位置观看时，核实测试图像可以无失真地投影到表面上，提供了已经正确确定拓扑的更高确定性水平。

根据本公开的实施例，可以由操作者通过输入装置、输入命令等来提供应该从多个位置核实场景特征的指示。或者，可以在测试信息中提供场景特征应该从多个位置核实的指示，由设备300根据操作者信息检索该测试信息。在这种情况下，测试信息可以指示从不同位置待核实场景特征。然后，可以将测试图像依次投影到多个操作者位置的场景上，要求操作者依次比较每个位置的测试图像的投影。例如，可以使用增强现实投影仪等向操作者指示操作者想要观看测试图像投影的位置。

以这种方式比较来自多个位置的测试图像的投影使得能够向用户提供更高的置信度，即当根据本公开的实施例核实场景的特征时，已经正确确定场景的特征。

<自动功能核实>

在本公开的上述实施例中，由正在观看测试图像和场景的覆盖的观察者产生提供给设备300的比较信息。考虑参考图4A描述的示例性情况。在该示例性情况下，外科医生402观看覆盖有测试图像的场景(在显示器、增强现实眼镜、增强现实投影仪等上)，并将其与相关联的预定图像进行比较。外科医生402然后向设备410提供比较信息，设备410然后使用该比较信息来生成该特征的核实状态。以这种方式，本公开的上述实施例在外科医生402和机器视觉系统406之间建立了增强的信任感。即，因为外科医生402可以直观地评估机器人设备408的机器视觉系统406对场景的理解程度，所以外科医生402可以具有增加的置信度，即机器人设备408将正确地执行分配的任务，而不会对场景的特征有任何误解。

然而，存在这样的情况，操作者可能不在场，因此可能不能以这种方式向设备300提供比较信息。或者，操作者可能在场，但由于其他外部压力和要求，此时无法提供比较信息。在这种情况下，根据本公开的实施例，比较信息可以由设备300本身产生。根据本公开的实施例，比较信息包括覆盖场景的至少一个测试图像的机器视觉结果，对由机器视觉系统生成的传感器信息执行机器视觉。即，机器视觉系统将捕捉传感器信息(例如，覆盖场景的至少一个测试图像的图像)，并将对传感器信息执行机器视觉分析，以便产生覆盖场景的至少一个测试图像和至少一个预定图像的比较信息。

此外，在本公开的实施例中，设备300可以进一步被配置为接收覆盖场景的至少一个测试图像的图像；产生与覆盖场景的至少一个测试图像的图像与根据测试信息选择的至少一个预定图像的比较相关的比较信息，并根据已经产生的比较信息产生场景特征的核实状态。

应当理解，以这种方式产生比较信息需要使用增强现实投影仪等将测试图像投影到表面上。

换言之，根据本公开的实施例的设备300将测试图像投影到场景上，然后使用独立的相机系统等来捕捉当投影到场景上时出现的测试图像的图像。然后，设备300被配置为执行测试图像的投影图像和相关联的预定图像之间的比较，以便为该测试图像产生比较信息。然后，设备300将以与由此已经由操作人员产生比较信息的上面参考实施例描述的相同方式生成场景的相应特征的核实状态。

考虑参考图4A描述的示例性情况。在这个示例中，外科医生402已经请求机器视觉系统406对场景拓扑的理解由核实设备410核实。即，外科医生402已经提供了关于要执行的操作的信息，并且设备410已经从基于该信息检索的相应测试信息中确定了在执行操作之前待核实的机器视觉系统406理解的特征是手术部位的表面的拓扑。根据本公开的实施例，设备410使用根据待核实的特征和场景的初始信息选择的预定图像来产生测试图像。设备410然后将该图像投影到场景上。例如，在某些实施例中，设备410还包括投影仪，例如，增强现实投影仪等，其将图像投影到表面上。图像在场景上的投影可以突出显示场景的某些部分；这将参考以上图8至11的示例性方法进行更详细的描述。

根据本公开的实施例，一旦测试图像已经以这种方式投影到场景上，设备410接收场景的图像，测试图像投影到其上。即，例如，在参考图4A描述的示例性情况下，位于外科手术室400中的额外外部相机系统将捕捉测试图像投影到其上的场景的图像，并将该图像提供给设备410。当然，将会理解，如上面参考观察人员所描述的，额外的相机系统将必须从外科手术室400内的预定位置捕捉场景的图像。或者，额外的相机系统可以向设备410提供其位置信息，并且设备410可以相应地调整用于投影的测试图像。进一步可替换地，额外相机系统可以是作为设备410本身的一部分提供的相机，并且设备410将从其自身位置捕捉图像。无论如何，根据本公开的实施例，设备410接收测试图像投影在场景上的图像。

一旦设备410已经接收到测试图像投影到场景上的图像，设备410被配置为执行该图像与相关联的预定图像的比较。如果设备410已经确定需要核实机器视觉系统406对表面拓扑的理解，则预定图像可以是类似于800的网格，测试图像可以是类似于804的失真网格，并且投影到场景上的测试图像的图像可以是类似于参考图8描述的图像808的图像。一旦接收到投影到场景上的测试图像的图像，设备410然后可以执行该图像和预定图像之间的比较。即，在该示例中，设备410可以确定投影到场景上的测试图像是否出现失真，或者当投影到场景上时，测试图像是否与原始预定图像相同。

此外，这些图像之间的比较可以基于例如阈值水平。即，如果设备410确定投影到场景上的测试图像的图像和预定图像之间的匹配太低(即，在投影的测试图像的图像中仍然存在大量失真)，则设备410将确定没有满意地确定相应的特征(在该示例性情况下是拓扑)，因此不应该被核实。

应当理解，所需的相似性阈值水平可以根据情况而变化。例如，在一些实施例中，所需的相似性阈值水平可以由测试信息来指示，由设备410使用操作者信息来检索该测试信息。在某些情况下，测试信息可能表明不需要详细了解拓扑，但需要详细了解图像中的颜色变化。在这种情况下，当评估对拓扑的理解时，在投影到场景上的测试图像的图像和预定图像的比较中所需的相似性阈值水平可以设置得比评估对颜色变化的理解时更低。

应当理解，根据本公开实施例的设备300执行图像比较的方法不受特别限制。例如，可以使用基于像素的比较、基于块的比较、基于直方图的比较、基于特征的比较等。当然，可以使用这些技术的组合来提供图像之间相似程度的组合指示，该相似程度可以与该特征的相似性阈值水平进行比较。设备300使用的实际方法将取决于实现本公开的实施例的情况的上下文。

此外，应当理解，根据本公开的实施例，可以结合由操作人员提供的比较信息来使用比较信息的自动产生。即，设备300可以被配置为将由操作人员提供的比较信息与由设备300自身确定的比较信息相结合，以便生成特征的核实状态。在实施例中，两个比较信息源在核实状态的生成中可以具有相等的权重。或者，人类比较信息可以优先于由设备300本身提供的比较信息，由设备300提供的比较信息用作对由操作人员提供的比较信息的安全检查。

例如，如果由操作人员提供的比较信息似乎指示在场景上的测试图像的投影和相关联的预定图像之间存在良好的比较，但是由设备300产生的比较信息指示这两个图像之间的比较差，则设备300可以向操作人员警告该差异。在接收到该差异的通知后，操作者可以进一步检查测试图像，并且可以决定他们是否希望更新他们的比较信息。如果操作人员确认了他们的原始比较信息，则设备300将仅根据人类比较信息来生成核实信息。然而，如果操作人员决定修改比较信息，则设备300将基于该修改的比较信息产生核实状态。

人类比较信息和由设备300产生的比较信息之间的这种差异可能由于多种原因而发生。例如，当提供比较信息时，操作人员可能已经部分分心，或者可替换地，可能已经错误地提供了比较信息。不管比较信息中的差异的来源如何，根据本公开的实施例，以这种方式组合操作人员和设备300的比较信息，进一步改进了场景特征的核实，从而导致机器视觉系统对场景特征的错误解释的减少。

<额外修改>

应当理解，虽然已经参考手术中机器人系统的机器视觉系统的核实描述了本公开的实施例，但是本公开不旨在在这方面受到限制。即，根据本公开实施例的用于核实场景特征的设备、系统和方法可以替代地应用于由机器视觉系统等确定的场景特征需要外部核实的任何数量的示例性情况。例如，在医疗情况下，本公开的实施例可以应用于内窥镜手术系统等。此外，本公开的实施例可以应用于医疗情况之外，并且可以替代地用于例如核实其他自主或半自主机器人装置的机器视觉系统，包括故障识别系统、车辆导航系统等。

本公开的各种实施例由以下编号的条款定义：

(1)一种用于核实场景特征的核实系统，所述系统包括：

电路，被配置为：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

(2)根据条款1所述的系统，其中，所述初始信息包括来自机器视觉系统生成的传感器信息的检测或识别信息。

(3)根据前述条款中任一项所述的系统，其中，所述比较信息包括覆盖所述场景的所述至少一个测试图像的机器视觉的结果，对机器视觉系统生成的传感器信息执行所述机器视觉。

(4)根据前述条款中任一项所述的系统，其中，根据操作者信息，从存储单元中检索所述测试信息。

(5)根据前述条款中任一项所述的系统，其中，所述测试信息还指示特征核实的所需精确等级，并且所述电路还被配置为根据精确等级需求产生所述至少一个测试图像。

(6)根据前述条款中任一项所述的系统，其中，当所述至少一个测试图像包括多个测试图像时，所述电路还被配置为依次用所述至少一个测试图像覆盖所述场景，并且所述电路还被配置为依次接收针对每个所述测试图像的比较信息。

(7)根据前述条款中任一项所述的系统，其中，所述电路还被配置为覆盖所述至少一个测试图像，以便根据所述初始信息突出所述场景的特征。

(8)根据前述条款中任一项所述的系统，其中，所述电路还被配置为根据关于操作环境的信息产生所述测试图像。

(9)根据前述条款中任一项所述的系统，其中，所述电路还被配置为使用语音识别接收所述比较信息。

(10)根据前述条款中任一项所述的系统，其中，所述电路还被配置为根据所述测试信息生成比较问题。

(11)根据前述条款中任一项所述的系统，其中，所述电路还被配置为：

接收覆盖所述场景的所述至少一个测试图像的图像；

产生与覆盖所述场景的所述至少一个测试图像的图像与根据所述测试信息选择的所述至少一个预定图像的比较相关的比较信息；

并且

根据已产生的比较信息生成所述场景的特征的核实状态。

(12)根据前述条款中任一项所述的系统，其中，所述电路还被配置为当所述场景的特征的核实状态指示不能核实所述特征时，请求调整所述初始信息。

(13)根据前述条款中任一项所述的系统，其中，用所述至少一个测试图像覆盖所述场景包括：在显示器上显示所述至少一个测试图像。

(14)根据前述条款中任一项所述的系统，其中，用所述至少一个测试图像覆盖所述场景包括：将所述至少一个测试图像投影到所述场景上。

(15)根据条款7所述的系统，其中，所述电路还被配置为检测观看投影的人的位置，并根据所述位置调整所述测试图像。

(16)根据条款15所述的系统，其中，所述电路还被配置为使用室内定位技术检测所述位置。

(17)根据条款11所述的系统，其中，所述系统还包括投影设备，所述投影设备被配置为投影要覆盖在所述场景上的所述至少一个测试图像，以便核实包括所述场景的拓扑、所述场景的颜色变化、所述场景的反射率、所述场景的半透明性、所述场景上的亮度变化的所述场景的至少一个特征。

(18)根据条款17所述的系统，其中，所述电路还被配置为检测所述投影设备的位置，并根据所述位置调整所述测试图像。

(19)一种核实场景特征的核实方法，所述方法包括：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的所述场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

(20)一种包括指令的计算机程序产品，当该程序由计算机执行时，所述指令使得计算机执行包括以下步骤的方法：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

显然，根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以以不同于本具体描述的方式实施。

就本公开的实施例已经被描述为至少部分地由软件控制的数据处理设备来实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施例。

应当理解，为了清楚起见，上面的描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，显而易见的是，在不偏离实施例的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。

所描述的实施例可以以任何合适的形式实现，包括硬件、软件、固件或其任意组合。所描述的实施例可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的组件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，该功能可以在单个单元、多个单元中实现，或者作为其他功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。

尽管已经结合一些实施例描述了本公开，但是本公开不旨在局限于本文阐述的特定形式。此外，尽管一个特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实现该技术的任何方式来组合。

Claims (20)

1.一种用于核实场景的特征的核实系统，所述系统包括：

电路，被配置为：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

2.根据权利要求1所述的系统，其中，所述初始信息包括来自机器视觉系统生成的传感器信息的检测或识别信息。

3.根据权利要求1所述的系统，其中，所述比较信息包括覆盖所述场景的所述至少一个测试图像的机器视觉的结果，对机器视觉系统生成的传感器信息执行所述机器视觉。

4.根据权利要求1所述的系统，其中，根据操作者信息，从存储单元中检索所述测试信息。

5.根据权利要求1所述的系统，其中，所述测试信息还指示特征核实的所需精确等级，并且所述电路还被配置为根据精确等级需求产生所述至少一个测试图像。

6.根据权利要求1所述的系统，其中，当所述至少一个测试图像包括多个测试图像时，所述电路还被配置为依次用所述至少一个测试图像覆盖所述场景，并且所述电路还被配置为依次接收针对每个所述测试图像的比较信息。

7.根据权利要求1所述的系统，其中，所述电路还被配置为覆盖所述至少一个测试图像，以便根据所述初始信息突出所述场景的特征。

8.根据权利要求1所述的系统，其中，所述电路还被配置为根据关于操作环境的信息产生所述测试图像。

9.根据权利要求1所述的系统，其中，所述电路还被配置为使用语音识别接收所述比较信息。

10.根据权利要求1所述的系统，其中，所述电路还被配置为根据所述测试信息生成比较问题。

11.根据权利要求1所述的系统，其中，所述电路还被配置为：

接收覆盖所述场景的所述至少一个测试图像的图像；

产生与覆盖所述场景的所述至少一个测试图像的图像与根据所述测试信息选择的所述至少一个预定图像的比较相关的比较信息；并且

根据已产生的比较信息生成所述场景的特征的核实状态。

12.根据权利要求1所述的系统，其中，所述电路还被配置为当所述场景的特征的核实状态指示不能核实所述特征时，请求调整所述初始信息。

13.根据权利要求1所述的系统，其中，用所述至少一个测试图像覆盖所述场景包括：在显示器上显示所述至少一个测试图像。

14.根据权利要求1所述的系统，其中，用所述至少一个测试图像覆盖所述场景包括：将所述至少一个测试图像投影到所述场景上。

15.根据权利要求7所述的系统，其中，所述电路还被配置为检测观看投影的人的位置，并根据所述位置调整所述测试图像。

16.根据权利要求15所述的系统，其中，所述电路还被配置为使用室内定位技术检测所述位置。

17.根据权利要求11所述的系统，其中，所述系统还包括投影设备，所述投影设备被配置为投影要覆盖在所述场景上的所述至少一个测试图像，以便核实包括所述场景的拓扑、所述场景的颜色变化、所述场景的反射率、所述场景的半透明性、所述场景上的亮度变化的所述场景的至少一个特征。

18.根据权利要求17所述的系统，其中，所述电路还被配置为检测所述投影设备的位置，并根据所述位置调整所述测试图像。

19.一种核实场景的特征的核实方法，所述方法包括：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的所述场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

20.一种包括指令的计算机程序产品，当该程序由计算机执行时，所述指令使得所述计算机执行包括以下步骤的方法：

接收根据所述场景的第一分析确定的初始信息；

根据指示待核实的场景的至少一个特征的测试信息产生至少一个测试图像，所述至少一个测试图像是根据所述测试信息选择的、根据所述初始信息修改的至少一个预定图像；

用所述至少一个测试图像覆盖所述场景；

接收比较信息，所述比较信息与覆盖所述场景的所述至少一个测试图像与根据所述测试信息选择的所述至少一个预定图像的比较相关；并且

根据接收的所述比较信息生成所述场景的特征的核实状态。

Images