CN116115157A - 传感器网络的自动化校准和验证的设备和方法 - Google Patents

Abstract

自动验证视觉传感器网络的校准包括：从具有部分重叠的视场的视觉传感器采集图像数据；提取视觉传感器所安装的环境的表征；计算视觉传感器之间的一个或多个空间几何关系；将所计算的一个或多个空间几何关系与视觉传感器的先前获得的校准信息进行比较；以及基于比较来验证视觉传感器的当前校准。

Description

传感器网络的自动化校准和验证的设备和方法

技术领域

所公开实施例的方面总体涉及传感器校准和验证，更具体地涉及传感器网络的自动化校准和验证的设备和方法。

背景技术

维持有效的校准对于基于多传感器的全球定位系统是至关重要的。即使一个传感器的位置或旋转的微小偏移也可能导致定位准确度的显著劣化。

由多个视觉传感器构成的现有传感器网络通常在安装之后校准。该校准用于诸如定位、三维(3D)重建和测量的应用中。一旦校准，网络中的每个传感器就需要保持严格的静止。目前，为了验证这种视觉传感器网络的校准，需要依赖于精确制造的二维(2D)/三维(3D)校准目标和专家知识，这使得定期执行成为挑战。

因此，将期望提供解决上述问题中的至少一些的方法和设备。

发明内容

所公开实施例的方面涉及自动验证具有多个校准的视觉传感器的视觉传感器网络的校准，而不依赖于任何可见的基准标记。所公开的实施例的这个和其它优点基本上如在至少一个附图中示出和/或结合该至少一个附图描述地、如在独立权利要求中阐述地那样提供。在从属权利要求中可以发现进一步的有利修改。

根据第一方面，所公开的实施例涉及一种自动验证视觉传感器网络中的视觉传感器的校准的设备。在一个实施例中，该设备包括从部分重叠的视场采集图像数据的两个或更多个视觉传感器。处理器被配置为：从图像数据提取环境的表征，计算包含视觉传感器的一个或多个子组之间的空间几何关系的一种或多种形式的描述，使用一个或多个指标将一种或多种形式的描述与对应的先前获得的校准信息进行比较。然后，处理器被配置为将比较的结果转换为与传感器网络中的视觉传感器的校准的有效性有关的指示。

在可能的实施形式中，相对于世界坐标系校准两个或更多个视觉传感器。

在可能的实施形式中，估计两个或更多个视觉传感器的内部参数(K)和外部参数(E)。

在可能的实施形式中，包含视觉传感器的子组之间的空间几何关系的描述可以是仿射变换、刚性变换、基本矩阵、本质矩阵或投影矩阵。

在可能的实施形式中，从由两个或更多个视觉传感器采集的信息提取的环境的表征可以是局部特征描述符。

在可能的实施形式中，可以从跨不同视觉传感器的匹配的局部描述符来计算两个或更多个视觉传感器的一个或多个子组之间的几何描述符。

在可能的实施形式中，可以预定义或学习得到将几何描述与先前获得的传感器网络的校准参数进行比较的指标。

在可能的实施形式中，处理器被配置为将比较的结果转换为指示一个或多个视觉传感器在2D/3D平移和2D/3D旋转方面的偏移的误差矩阵。

在可能的实施形式中，处理器被配置为将比较结果的可视化与由两个或更多个视觉传感器中的一个或多个获得的图像上的一个或多个可识别界标叠加，以验证视觉传感器网络的校准的有效性。

在可能的实施形式中，基于内部参数(K)和外部参数(E)来估计两个或更多个视觉传感器的第一基本或本质矩阵(fundamental or essential matrix)(P)。

在可能的实施形式中，从由两个或更多个视觉传感器采集的图像数据提取特征描述符，并检测匹配。

在可能的实施形式中，从两个或更多个视觉传感器的对的匹配特征估计第二基本或本质矩阵(P’)。

在可能的实施形式中，识别第一矩阵(P)与第二矩阵(P’)之间的差异。

在可能的实施形式中，如果第一矩阵(P)与第二矩阵(P’)之间的差异小于预定阈值，则验证两个或更多个视觉传感器的校准。

在可能的实施形式中，当差异大于预定阈值时，用第二矩阵(P’)更新两个或更多个摄像头的原始校准结果。

在可能的实施形式中，两个或更多个视觉传感器包括一对视觉传感器。

在可能的实施形式中，设备包括至少一个第一视觉传感器和至少一个第二视觉传感器。

在可能的实施形式中，两个或更多个视觉传感器形成视觉传感器网络或阵列。

在可能的实施形式中，视觉传感器网络是智能摄像头网络或智慧摄像头网络。

在可能的实施形式中，至少两个或更多个视觉传感器是空间分布的。

在可能的实施形式中，两个或更多个视觉传感器形成空间分布的智能摄像头装置的网络。

在可能的实施形式中，两个或更多个视觉传感器形成无线视觉传感器网络。

在可能的实施形式中，两个或更多个视觉传感器是RGB摄像头、深度摄像头、RGB-D摄像头或IR摄像头中的一个或多个。

在可能的实施形式中，视觉传感器网络包括固定传感器和移动传感器中的一个或多个。当满足某些条件时，可以直接或间接地确定移动传感器的位置和姿势信息。这些条件可以包括零点位置/复位位置、来自机器人平台的信息、或由其他传感器测量的信息。

在可能的实施形式中，设备在医疗环境中实施。

根据第二方面，所公开的实施例涉及一种方法。在一个实施例中，该方法包括：通过以下方式来自动验证包括具有部分重叠的视场的两个或更多个视觉传感器的视觉传感器网络的校准：从两个或更多个视觉传感器采集图像数据，从所采集的图像数据提取环境的表征，计算两个或更多个视觉传感器之间的一个或多个空间几何关系，将所计算的一个或多个空间几何关系与视觉传感器网络的先前获得的校准信息进行比较，以及基于该比较来验证两个或更多个视觉传感器的当前校准。

在可能的实施形式中，方法还包括：基于零点位置/复位位置或来自视觉传感器网络中的其它视觉传感器的测量中的一个或多个确定两个或更多个视觉传感器中的移动视觉传感器的位置。

在可能的实施形式中，方法还包括：从跨两个或更多个视觉传感器中的不同视觉传感器的匹配的局部描述符计算两个或更多个视觉传感器之间的几何描述符。

在可能的实施形式中，方法包括：将几何描述的比较结果转换为误差矩阵，其中，误差矩阵被配置为指示两个或更多个视觉传感器的位置的偏移。

在可能的实施形式中，方法包括：将位置的偏移表征为2D/3D平移或2D/3D旋转中的一个或多个。

在可能的实施形式中，方法包括：将比较的可视化与由两个或更多个视觉传感器获得的图像数据上的一个或多个可识别界标叠加，以及通过将比较上的标识符与图像数据上的一个或多个界标进行比较来验证校准的有效性。

根据第三方面，所公开的实施例涉及一种在非瞬时性计算机可读介质上具体实施的计算机程序产品，该计算机程序产品包括计算机指令，当在系统或设备的至少一个处理器上执行时，计算机指令被配置为执行本文所述的可能的实施形式。

根据第四方面，所公开的实施例涉及一种装置，该装置包括用于执行本文所述的可能实施形式的装置。

从结合附图考虑的本文所述的实施例，示例性实施例的这些和其它方面、实施形态以及优点将变得显而易见。然而，应当理解，说明书和附图仅被设计用于例示的目的，而不是作为对所公开发明的限制的定义，对所公开发明的限制应当参考所附权利要求。本发明的另外方面和优点将在以下描述中阐述，并且部分地将从描述显而易见，或者可以通过本发明的实践来了解。而且，本发明的方面和优点可以通过在所附权利要求中特别指出的装置和组合来实现和获得。

附图说明

在本公开的以下详细部分中，将参见附图所示的示例实施例更详细地说明本发明，附图中：

图1是并入有所公开实施例的方面的设备的框图。

图2是例示了并入有所公开实施例的方面的示例性处理流程的流程图。

图3是例示了并入有所公开实施例的方面的示例性处理流程的流程图。

具体实施方式

以下详细描述例示了所公开实施例的示例性方面以及它们可以被实施的方式。尽管已经公开了执行所公开实施例的方面的一些模式，但是本领域技术人员将认识到，用于执行或实践所公开实施例的方面的其他实施例也是可能的。

参见图1，例示了自动验证视觉传感器网络110中的视觉传感器的校准的示例性设备100的示意性框图。所公开实施例的方面总体涉及自动验证由多个校准的视觉传感器构成的视觉传感器网络的校准，而不依赖于任何可见的基准标记。

如图1例示，设备100包括至少一个处理器102和视觉传感器网络110的两个或更多个视觉传感器112、114。尽管在图1的示例中仅示出了两个视觉传感器112、114，但是所公开实施例的方面不限于此。在替代实施例中，设备100可包括或连接到任何合适数量的视觉传感器，而不是包括两个。

在一个实施例中，视觉传感器112、114将形成一对或多对视觉传感器，也称为传感器网络110的组或子组。传感器网络110中的视觉传感器112、114被配置为具有环境120的至少部分重叠的视场118。虽然本文通常提及视觉传感器的“对”，但是所公开实施例的方面不限于此。在替代实施例中，在视觉传感器的组或子组中可以包括任何合适数量的视觉传感器，而不是包括两个或一对。

在一个实施例中，视觉传感器112、114在安装时被初始校准。传感器网络中的视觉传感器通常在安装之后校准。所公开实施例的方面被配置为验证传感器网络110中的视觉传感器112和视觉传感器114的校准。

在一个实施例中，视觉传感器112、114被配置为采集环境120的图像数据或图像。处理器102被配置为处理从视觉传感器112、114采集的图像数据并提取环境120的表征。在一个实施例中，从由视觉传感器112、114采集的信息提取的环境120的表征是局部特征描述符。

在一个实施例中，处理器102被配置为计算一种或多种形式的描述，也称为几何描述或描述符。描述包含或标识视觉传感器112、114之间的空间几何关系。

在一个实施例中，视觉传感器112、114可以被划分或组织为视觉传感器的组或子组。在该示例中，描述或描述符可以包括视觉传感器网络110中的视觉传感器的一个或多个组之间的空间几何关系。

在一个实施例中，包含视觉传感器网络110中的视觉传感器的组之间的空间几何关系的描述可以是仿射变换、刚性变换、基本矩阵、本质矩阵或投影矩阵。在一个实施例中，可以从跨视觉传感器网络110的不同视觉传感器的匹配的局部描述符来计算视觉传感器网络110的视觉传感器的一个或多个组之间的几何描述符。

在一个实施例中，可以预定义或学习得到将几何描述与视觉传感器网络110的视觉传感器112、114的先前获得的校准参数进行比较的指标。

在一个实施例中，处理器102被配置为将与视觉传感器112、114相关联的几何描述和先前获得的与两个或更多个视觉传感器112、114相关联的校准信息进行比较。在一个实施例中，使用指标来比较与视觉传感器112、114相关联的描述。

在一个实施例中，将几何描述与校准信息的比较结果转换为误差矩阵。误差矩阵被配置为指示视觉传感器112、114在2D/3D平移和2D/3D旋转方面的偏移。

在一个实施例中，将几何描述的比较的可视化叠加到由视觉传感器112、114获得的图像上的一个或多个可识别界标上。该可视化可以辅助验证视觉传感器网络110的视觉传感器112、114的校准的有效性。

在一个实施例中，处理器102被配置为将不同描述的比较结果转换为指示。该指示通常与传感器网络110中的视觉传感器112、114的校准的有效性有关。

视觉传感器网络110的视觉传感器112、114可以包括任何适当类型的视觉传感器。这种视觉传感器的示例可包括但不限于红-蓝-绿(RGB)摄像头、深度摄像头、RGB-D摄像头、红外(IR)摄像头或智能摄像头。

视觉传感器网络110可以包括固定视觉传感器或移动视觉传感器中的一个或多个。当视觉传感器是移动视觉传感器时，可以直接或间接地确定这种移动视觉传感器的位置和姿势。可以确定这种移动视觉传感器的位置和姿势的条件包括零点位置/复位位置、或来自机器人平台的或由其他视觉传感器测量的信息。

图2是例示了并入有所公开实施例的方面的示例性过程的流程图。在一个实施例中，自动验证视觉传感器网络110中的视觉传感器112、114的校准包括从视觉传感器112、114采集202图像数据。在一个实施例中，视觉传感器的视场部分重叠。

在一个实施例中，从所采集的图像数据提取204视觉传感器112、114所位于的或从其接收信息的环境120的表征。从由视觉传感器112、114采集的信息提取的环境120的表征可以是局部特征描述符。

在一个实施例中，在视觉传感器112、114之间计算206一个或多个空间几何关系或描述符。视觉传感器112、114之间的几何描述符可以从跨视觉传感器网络110的不同视觉传感器的匹配的局部描述符来计算。当视觉传感器112、114是移动型视觉传感器时，可以基于零点位置/复位位置或来自视觉传感器网络110中的其他视觉传感器的测量中的一个或多个来计算移动视觉传感器的位置。

将所计算的空间几何关系或描述符与先前获得的传感器网络110的校准信息进行比较208。在一个实施例中，可以将几何描述的比较结果转换为误差矩阵。误差矩阵被配置为指示视觉传感器112、114的位置的偏移。在一个实施例中，可以将位置的偏移表征为2D/3D平移或2D/3D旋转中的一个或多个。

基于该比较来验证210视觉传感器112、114的当前校准。如果比较结果没有超过预定阈值，则认为当前校准仍然有效。如果比较结果超过预定阈值，则可以认为当前校准是无效的。在这种情况下，视觉传感器112、114需要重新校准。这可以包括例如用所计算的空间几何关系或描述符来更新原始校准结果。

在一个实施例中，将比较的可视化与由视觉传感器112、114获得的图像上的一个或多个可识别界标叠加。校准的有效性可以通过将比较上的标识符与图像上的一个或多个界标进行比较来验证。

图3是包括所公开实施例的方面的过程的另一示例。在该示例中，还参见图1，视觉传感器或摄像头112、114的安装可以包括相对于世界坐标系校准摄像头112、114，并且估计摄像头112、114的内部参数(K)和外部参数(E)。

在安装之后，当图1的设备100被激活时，如图3所示，从视觉传感器网络110的至少一对视觉传感器或摄像头112、114采集302图像数据。在该示例中，视觉传感器112、114将具有至少部分重叠的视场。

在一个实施例中，基于摄像头112、114的内部参数(K)和外部参数(E)来针对摄像头112、114估计或计算304第一基本或本质矩阵(P)。第一基本或本质矩阵(P)表征摄像头112、114在安装摄像头112、114时在三维(3D)中的相对空间关系。

在一个实施例中，可识别306从由摄像头112、114采集的图像数据提取的特征描述符之间的匹配。来自摄像头112、114的图像之间的匹配的特征描述符表征场景或环境120中的相同位置。

可以基于匹配的特征描述符来估计308第二基本或本质矩阵(P’)。第二基本或本质矩阵(P’)表征摄像头112、114在当前时间在3D中的相对空间关系。

将矩阵(P)与矩阵(P’)进行比较310，以便确定或识别矩阵(P)与矩阵(P’)之间的差异。基于该差异来验证312摄像头112、114的校准。

例如，如果矩阵(P)与矩阵(P’)之间的差异小于预定阈值，则这指示摄像头112、114的原始校准仍然有效。另一方面，如果矩阵(P)与矩阵(P’)之间的差异大于预定阈值，则这可以指示摄像头112、114的原始校准无效，并且摄像头112、114需要重新校准。在一个实施例中，摄像头112、114的重新校准可以包括基于第二基本或本质矩阵(P’)来更新摄像头112、114的原始校准数据。

在一个实施例中，设备100被配置为在医疗环境或医学成像环境中实施。在一个实施例中，设备100安装在医学成像装置或设备上或与其连接。这种医疗系统的示例可以包括但不限于X射线系统、医疗共振成像(MRI)系统、计算机断层摄影(CT)系统和手术机器人系统。在替代实施例中，设备100可以在期望视觉传感器网络的校准的验证的任何合适的装置或系统中具体实施或者是其一部分。

在一个实施例中，图1所示的设备100通常包括计算装置。计算装置可以包括或包含任何合适的计算机或计算布置。

在一个实施例中，处理器102包括硬件处理器。虽然本文通常仅描述一个处理器102，但所公开实施例的方面不限于此。在替代实施例中，设备100可以包括任何合适数量的处理器102。

设备100通常包括适当的逻辑、电路、接口和/或代码，其被配置为从视觉传感器112、114接收信息并处理信息，如本文通常描述的。

处理器102通常包括适当的逻辑、电路、接口和/或代码，其被配置为处理信息和数据108，如本文通常描述的。处理器102被配置为响应和处理驱动设备100的指令。处理器102的示例包括但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集(RISC)微处理器、超长指令字(VLIW)微处理器或任何其他类型的处理电路。可选地，处理器102可以是一个或多个单独的处理器、处理装置以及与处理装置相关联的可以由其他处理装置共享的各种元件。另外，一个或多个单独的处理器、处理装置以及元件被布置为各种架构，以便响应和处理驱动系统100的指令。设备100可以包括执行本文所述的过程所需的任何合适的部件或装置，例如存储器或储存器。

在一个实施例中，设备100可以包括独立计算装置或作为独立计算装置的一部分，独立计算装置与设备10通信或作为其一部分。在一个实施例中，设备100将包括或连接到执行本文所述的所公开实施例的方面所需的机器学习模型。

在图1的示例中，设备100还包括或通信地耦合到存储器104。虽然未示出，但是设备100可以通信地耦合到网络或网络接口，以实现与设备100和设备10的部件和装置的通信。

存储器104可以包括适当的逻辑、电路、接口和/或代码，其可以被配置为存储可由处理器102执行的指令。存储器104还被配置为存储传感器信息、状态信息和预测。存储器104还可以被配置为存储处理器102的操作系统和相关联的应用。存储器104的实施方式的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、闪存和/或安全数字(SD)卡。用于提供非瞬时性存储器的计算机程序产品的计算机可读存储介质可以包括但不限于电子储存装置、磁储存装置、视觉储存装置、电磁储存装置、半导体储存装置或前述的任何合适的组合。

所公开实施例的方面涉及自动验证视觉传感器网络中的视觉传感器的校准。这可以包括检测和量化视觉传感器的任何偏移。视觉传感器网络中的视觉传感器的校准可以在不依赖于任何可见的基准标记的情况下验证。

以上关于前述系统100公开的各种实施例和变型加以必要的变更适用于该方法。本文所述的方法在计算上是有效的，并且不会对处理器102造成处理负担。

在不脱离由所附权利要求限定的所公开实施例的方面的范围的情况下，对上文描述的所公开实施例的方面的实施例的修改是可能的。诸如“包括”、“并入”、“具有”、“是”的表述用于描述和要求保护所公开实施例的方面，旨在以非排他的方式来解释，即允许还存在未明确描述的项、组件或元件。对单数的引用也被解释为涉及复数。

由此，虽然已经示出、描述并指出了应用于本发明的示例性实施例的本发明的基本新颖特征，但是应当理解，本领域技术人员可以在所例示装置和方法的形式和细节以及它们的操作方面进行各种省略、替换和改变，而不脱离当前公开的发明的精神和范围。进一步地，明确预期的是以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。而且，应当认识到，结合本发明的任何公开形式或实施例示出和/或描述的结构和/或元件可以作为设计选择的一般问题而并入任何其他公开或描述或建议的形式或实施例中。因此，本发明旨在仅由所附权利要求的范围指示的来限制。

Claims (10)

1.一种用于自动验证视觉传感器校准的设备，包括：

第一视觉传感器，其被配置为从环境的第一视场采集图像数据：

第二视觉传感器，其被配置为从所述环境的第二视场采集图像数据，其中，所述第一视场和所述第二视场至少部分地重叠；以及

处理器，其可通信地耦合到所述第一视觉传感器和所述第二视觉传感器，其中，所述处理器被配置为：

从由所述第一视觉传感器采集的所述图像数据和由所述第二视觉传感器采集的所述图像数据提取所述环境的表征；

计算所述第一视觉传感器与所述第二视觉传感器之间的一个或多个空间几何关系；

将所述所计算的一个或多个空间几何关系与所述第一视觉传感器和所述第二视觉传感器的先前校准信息进行比较；以及

基于所述比较来验证所述第一视觉传感器和所述第二视觉传感器的当前校准。

2.根据权利要求1所述的设备，其中，所述环境的所述表征包括局部特征描述符，其中，所述处理器还被配置为从所述第一视觉传感器和所述第二视觉传感器的匹配的局部描述符计算所述一个或多个空间几何关系。

3.根据权利要求1所述的设备，其中，所述一个或多个空间几何关系与所述第一视觉传感器和所述第二视觉传感器的所述先前校准参数的所述比较是预定义的或学习得到的。

4.根据权利要求1所述的设备，其中，所述处理器还被配置为将所述一个或多个空间几何关系与所述先前校准数据的所述比较的结果转换为误差矩阵，其中，所述误差矩阵被配置为指示所述第一视觉传感器和所述第二视觉传感器的位置偏移。

5.根据权利要求1所述的设备，其中，所述处理器还被配置为将所述所计算的一个或多个空间几何关系与所述两个或更多个视觉传感器的校准数据的所述比较的可视化与由所述两个或更多个视觉传感器获得的图像上的一个或多个可识别界标叠加；以及

通过将所述所计算的一个或多个空间几何关系与所述两个或更多个视觉传感器的校准数据的所述比较上的标识符与所述图像上的所述一个或多个界标进行比较来验证所述校准的有效性。

6.根据权利要求1所述的设备，其中，所述第一视觉传感器和所述第二视觉传感器包括红-绿-蓝(RGB)摄像头、深度摄像头、RGB-D摄像头或红外(IR)摄像头中的一个或多个，或，所述视觉传感器网络包括固定视觉传感器和移动视觉传感器中的一个或多个。

7.根据权利要求6所述的设备，其中，所述处理器还被配置为基于零点位置/复位位置或来自所述视觉传感器网络中的其他视觉传感器的测量中的一个或多个来确定移动视觉传感器的位置。

8.根据权利要求1所述的设备，其中，所述处理器还被配置为：

基于所述两个或更多个视觉传感器的内部参数(K)和外部参数(E)来估计所述两个或更多个视觉传感器的第一基本或本质矩阵(P)；

识别由所述两个或更多个视觉传感器采集的所述图像数据之间的特征描述符的匹配；

基于所述所识别的匹配来估计所述两个或更多个视觉传感器的第二基本或本质矩阵(P’)；以及

基于所述第一基本或本质矩阵(P)与所述第二基本或本质矩阵(P’)的比较来验证所述两个或更多个视觉传感器的所述当前校准。

9.一种用于自动验证视视觉传感器校准的方法，包括：

通过以下方式自动验证视觉传感器网络的校准：

从具有部分重叠的视场的两个或更多个视觉传感器采集图像数据；

从所述所采集的图像数据提取环境的表征；

计算所述两个或更多个视觉传感器之间的一个或多个空间几何关系；

将所述所计算的一个或多个空间几何关系与所述两个或更多个视觉传感器的校准数据进行比较；以及

基于所述比较来验证所述两个或更多个视觉传感器的当前校准。

10.一种计算机程序产品，包括其上存储有机器可读指令的非瞬时性计算机可读介质，所述机器可读指令在由计算机执行时，使得所述计算机执行根据权利要求9所述的方法。

Images