CN108140246A - 在无熟悉目标的情况下对传感设备进行再校准的方法与系统 - Google Patents

Abstract

本申请提供了在不使用熟悉目标的情况下对传感设备进行再校准的方法和系统。该方法可以包括：使用传感设备捕获场景；确定是否设备已校准；在所述传感设备已校准的情况下，将至少一个新的地标添加到已知地标中；在所述传感设备未校准的情况下，确定被捕获对象中为数据库中存储的对象的至少一些作为已知其位置的场景中的已知地标；并且基于已知地标对传感设备进行校准。系统可以具有多种架构，包括捕获场景内的图像的传感设备，并且该多种架构进一步导出特定一形式的场景的3D数据。

Description

在无熟悉目标的情况下对传感设备进行再校准的方法与系统

技术领域

本发明整体涉及对传感设备进行校准的技术领域，并且更具体地，涉及在无预定义的校准目标的情况下完成该校准。

背景技术

在对本发明的背景技术进行阐述之前，对下文中使用的特定术语的定义进行阐述是有帮助的。

将此处使用的术语‘摄像机’或‘传感设备’广泛定义为被配置为直接或通过进一步操纵捕获场景的三维数据的一个或多个传感器的任何组合。示例性的传感设备可以包括被配置为捕获无源立体的一对摄像机，即，通过将从不同位置拍摄的图像进行比较，可以导出深度数据。传感设备的另一实施例可以包括结构化光传感器，即，被配置为接收并且分析被投射在场景内的预定义光图案的反射。结构化光系统包括辐射源(诸如，激光源等)和传感器，传感器被配置为捕获来自辐射源的反射。又一实施例是用于利用能够测量传感设备行进的距离的测量设备一起捕获2D图像的单个摄像机。该测量设备可以是、但不局限于惯性测量单元(IMU)或里程表。

将此处使用的术语‘三维装备’或‘3D装备’定义为用于将形成能够捕获场景内的图像和视频的3D系统的至少两个摄像机或至少一个摄像机与辐射源安装一起的任何设备。3D装备必须提供安装两个摄像机或一个摄像机与一个辐射源的可能性，并且具有水平偏移和竖直偏移的可能性，并且能在全部可能轴线上调整摄像机。

将此处使用的术语‘校准’及更具体地‘摄像机校准’定义为调整预定义参数的过程，因此，摄像机或传感设备可以最佳方式进行操作。3D装备的校准涉及多个摄像机的校准。3D装备的校准包括若干摄像机的对准或配置，具体地，从预定义的值容差识别与摄像机的空间对准有关的若干参数的偏差，并且对已识别的偏差进行矫正的过程。在适宜的裕度内，当估计的校准偏差反映指定时隙内给出的实际校准参数时，就认为特定的校准参数已校准。通过将经由设备进行测量的距离与从不相关的来源获得的距离(例如，直接测量的)进行比较，可以核实设备是否已被校准。

此处使用的术语“地标(landmark，方位物)”涉及诸如图像对正(registration，注册)、摄像机校准、以及对象识别等各种计算机视觉应用所使用的可视化特征。因为其提供与照明条件有关的稳健性以及解决对正时较大的位移的能力，所以使用地标是有利的。如此处定义的，地标包括人为地标和自然地标。示例性的地标可以包括拐角点或图像中的重复性图案。

诸如可佩戴式近眼显示器等需要实时捕获场景的传感设备的挑战之一是实时保持校准。更具体地，由于该设备往往易于非常快地丢失其初始校准(例如，由于施加给传感设备的物理撞击)，所以在不需要手动干涉的情况下能够再次快速地进行校准是必要的。

尽管本领域中已熟知使用重行对正的地标对传感设备进行校准，然而，当在不能识别重新对正的地标的不熟悉场景中操作时，校准则变成更为艰难的任务。

因此，提供解决不熟悉场景中的校准的挑战的方法和系统是有利的。

发明内容

本发明的一些实施方式提供一种能够在无熟悉目标的情况下对传感设备进行再校准的方法与系统，因此，在传感设备的未来校准过程中，新生成的地标是有用的。

根据一些实施方式，方法可以包括：使用传感设备捕获场景；确定是否对设备进行校准；在所述传感设备已校准的情况下，将至少一个新的地标添加到已知地标中；在所述传感设备未校准的情况下，基于已知地标对传感设备进行校准。系统可以具有包括捕获场景内的图像的传感设备并且进一步导出某一形式的场景的3D数据的多种架构。

根据另一非限制性实施方式，方法可以包括：使用传感设备捕获场景；确定被捕获的场景是否包含足够用于确定是否传感设备已校准的最少数目的已知地标；在被捕获的场景包含所述最少数目的地标的情况下，检查是否所述传感设备已校准；在对所述传感设备已校准的情况下，将至少一个新的地标添加到已知地标中；在所述传感设备未校准的情况下，基于已知地标对传感设备进行校准；并且在被捕获的场景不包含所述最少数目的地标的情况下，在不使用已知地标的情况下，检查传感设备的校准，并且在传感设备已校准的情况下，将至少一个新的地标添加到已知地标中。

应注意，确定是否对传感设备或3D装备已完全校准需要比实际校准过程更少的地标。因此，在识别校准条件的情况下，更容易生成不熟悉场景的更多地标。

附图说明

在本说明书的结尾步骤中具体指出并且明确要求保护有关本发明的主题。然而，关于组织结构及操作方法，当结合所附附图读取时，通过参考下列细节描述，可以更好地理解本发明以及其目标、特征、以及优点，在附图中：

图1是示出根据本发明的一些实施方式的系统的非限制性示例性架构的框图；

图2A是示出根据本发明的一些实施方式的非限制性示例性方法的高级流程图；

图2B是示出根据本发明的一些实施方式的另一非限制性示例性方法的高级流程图；并且

图3是示出根据本发明的一些实施方式的又一方面的框图。

应当认识到，为简化及清晰示出起见，图中示出的元件不一定必须按比例进行绘制。例如，为清晰起见，可以相对于其他元件放大一些元件的尺度。进一步地，根据情况，在指示对应或相似元件的图中，参考标号可以重复。

具体实施方式

在下列描述中，将描述本发明的各个方面。处于说明之目的，为了提供对本发明的全面理解，对具体配置及细节进行了阐述。然而，对本领域技术人员还显而易见的是，在此处不存在具体细节的情况下，也可以实践本发明。进一步地，为了不使得本发明变得模糊，可以省去或简化熟知的特征。

除非另有明确陈述，否则，从下列讨论中显而易见，应认识到，贯穿利用诸如“处理”、“计算”、“演算”、“确定”等术语的具体讨论，参考计算机或计算系统、或相似的电子计算设备的动作和/或过程，即，将表示计算系统的寄存器和/或存储器内的物理量的诸如电子数据等操纵和/或转换成与表示计算系统的存储器、寄存器、或诸如其他信息储存器、传输或显示设备内的物理量相似的其他数据。

图1是示出可以实现本发明的实施方式的示例性架构的框图。系统100可以包括被配置为捕获场景的传感设备110。系统100可以进一步包括被配置为存储场景内的已知地标(例如，10A和10B)的地标数据库120。

在一些实施方式中，系统100可以进一步包括被配置为基于被捕获的图像确定是否设备已校准的计算机处理器130，其中，在所述传感设备已校准的情况下，计算机处理器被配置为将至少一个新的地标添加到已知地标中，并且其中，在所述传感设备未校准的情况下，计算机处理器被配置为基于已知地标对传感设备进行校准。

在其他实施方式中，系统100可以进一步包括被配置为确定被捕获的场景是否包含足够用于确定是否传感设备已校准的最少数目的已知地标的计算机处理器130。在一些实施方式中，计算机处理器130被进一步配置为实施校准过程，其中，在其他实施方式中，使用不同的计算机处理器执行实际的校准过程。

应注意，足够用于确定是否传感设备已校准的地标的数目通常比足够用于对传感设备进行实际校准的地标的数目更少。此处使用这种重要的性质作为确定是否传感设备已校准的能力。

在被捕获的场景包含所述最少数目的地标的情况下，计算机处理器被配置为检查是否传感设备110已校准，其中，在传感设备110已校准的情况下，计算机处理器130被配置为将至少一个新的地标132添加到地标数据库120中，其中，在传感设备110未校准的情况下，计算机处理器130被配置为基于已知地标对传感设备110进行校准，并且其中，在被捕获的场景不包含最少数目的地标的情况下，计算机处理器130被配置为在不使用已知地标(例如，10A和10B)的情况下检查传感设备110的校准，并且在传感设备110已校准的情况下，计算机处理器130被配置为将至少一个新的地标132添加到地标数据库120中。

图2A是示出在无熟悉目标的情况下对传感设备进行再校准的方法200A的高级流程图。方法可以包括：使用传感设备捕获场景的步骤210；确定是否传感设备已校准的步骤230；在传感设备已校准的情况下，将至少一个新的地标添加到已知地标中的步骤250。在所述传感设备未校准的情况下，确定被捕获对象中为数据库中存储的对象的至少一些作为在已知其相对位置的场景中的已知地标的步骤235，以及基于已知地标对传感设备进行校准的步骤290。在一些实施方式中，在确定传感设备未校准的情况下，首先检查是否存在足够用于对传感设备进行校准的足够数目的地标的步骤240，并且仅在被捕获的场景包含最少数目的地标的情况下，才基于已知地标对传感设备进行校准，否则，是过程结束的步骤280。

图2B是示出在无熟悉目标的情况下对传感设备进行再校准的方法200的高级流程图。方法可以包括：使用传感设备捕获场景的步骤210；确定被捕获的场景是否包含足够用于确定是否传感设备已校准的最少数目的已知地标的步骤220；在被捕获的场景包含最少数目的地标的情况下，检查是否所述传感设备已校准的步骤230；在所述传感设备已校准的情况下，将至少一个新的地标添加到已知地标中的步骤250；在所述传感设备未校准的情况下，基于已知地标对传感设备进行校准的步骤290；并且在被捕获的场景不包含所述最少数目的地标的情况下，在不使用已知地标的情况下检查传感设备的校准的步骤260；并且在传感设备已校准的情况下，将至少一个新的地标添加到已知地标中的步骤250，否则，是过程结束的步骤270。在一些实施方式中，在确定传感设备未校准的情况下，首先检查是否存在用于对传感设备进行校准的足够数目的地标的步骤240，并且仅在被捕获的场景包含最少数目的地标的情况下，才基于已知地标对传感设备进行校准，否则，是过程结束的步骤280。

根据本发明的一些实施方式，可以操作用于识别是否传感设备已校准的两种模式(通常这两种都应用)。在第一种中，在无“获知”目标的情况下，确定传感设备的各部件之间的匹配特征，并且检查其是否满足几何形状需求(诸如，核线等)。存在的一种局限性在于，存在技术人员不能辨别的、与核线平行的误差(例如，在两个摄像机的情况下)。

在获知目标的第二种模式中，可以使用标准的目标辨别确定哪些获知目标是可见的。对于各个获知目标：以高准确度从3D装备检测在当前帧的数据库中的特征，而不需要找出全部的特征。然后，检查已知特征与传感设备的几何模型及其当前参数的符合准确度。如果准确度比某一阈值更糟，则确认传感设备未校准。

根据本发明的一些实施方式，使用已知地标执行校准的检查。

根据本发明的一些实施方式，基于包括下列中的至少一项的预定义标准选择至少一个新的地标：纹理化区域、外观的独特性、低复杂性结构、点的尺寸和分布、以及距所述传感设备的距离。

根据本发明的一些实施方式，方法可以进一步包括：维护被配置为存储已知地标和新添加地标的地标数据库的步骤，其中，数据库是可搜索的。数据库可被配置为进一步存储地标的低分辨率版本或其他描述符，以用于快速检索。

根据本发明的一些实施方式，在数据库中对已知地标的搜索考虑了多个视角点。

根据本发明的一些实施方式，将新地标与元数据存储在一起(例如，描述符或哈希函数)，以便于所述地标的内容相关式搜索(contextual search)。

根据本发明的一些实施方式，以允许通过数据库进行快速搜索的方式存储被进一步识别的地标，其中，来自相同环境的地标被集群化。

图3是示出根据本发明的一些实施方式的又一方面的框图。此处描述了根据本发明的一些实施方式的算法的示例性实现方式。捕获设备110提供与帧112中的2D点有关的数据，而地标数据库提供与场景中的地标122有关的数据。然后，将地标数据122输入至为具体的3D装备或传感设备定制的公式310中。然后，公式将地标数据122映射至帧320中的计算的2D点或区域，然后，通过比较器330与和被捕获帧112中的2D点有关的数据进行比较，以产生作为帧中的计算的2D点与帧中的2D点上的数据之差的差值(DELTA)340。因此，为了使得差值340最小化，以本领域技术人员已知的各种方式调整位置312、角度314、以及校准参数316，因此，差值340被最小化。一旦差值340被最小化，则3D装备或传感设备已校准并且导出和存储经过调整的校准参数。

根据本发明的一些实施方式，通过使得测量投影误差的目标函数最小化而求解校准。可替代地，通过使用梯度下降进行最小化能够求解校准。进一步可替代地，通过使用莱文伯格-马夸特优化技术进行最小化。

有利地，本发明的一些实施方式并不局限于3D装备或捕获3D图像的传感设备。其还可用于对包括耦合至惯性测量单元(IMU)的2D传感设备的系统进行校准。在该系统中，给定相同摄像机的不同帧之间的几何约束，且从IMU测量几何形状。可替代地，传感设备是安装在诸如机器人等移动平台上的2D摄像机，从移动平台的轮角度和轮旋转能够测量运动。应当理解的是，上述所述实施方式不应被视为具有局限性，并且为了解决进一步的使用情况，能够构想进一步的应用。

在上述描述中，实施方式是本发明的实施例或实现方式。“一个实施方式”、“一实施方式”、或“一些实施方式”的各种变形并不一定必须全部指相同的实施方式。

尽管在单个实施方式的上下文中描述了本发明的各种特征，然而，还可以单独或以任何合适的组合提供特征。相反，为清晰起见，尽管此处在独立实施方式的上下文中为本发明进行了描述，然而，在单个实施方式中也可以实现本发明。

在说明书中，对“一些实施方式”、“一实施方式”、“一个实施方式”、或“其他实施方式”的参考指结合实施方式描述的具体特征、结构、或特性包括在至少一些实施方式中，但不一定必须包括在本发明的所有实施方式中。

应当理解的是，此处采用的措词和术语并不一定被解释为具有局限性并且仅用于描述之目的。

参考所附描述、图、以及实施例可以更好地理解本发明的技术原理和应用。

应当理解的是，此处阐述的细节并不一定构成对本发明的应用的限制。

进一步地，应当理解的是，能够以多种方式完成或实现本发明，并且在上述描述中概括的一些之外的实施方式中也能够实现本发明。

应当理解的是，术语“包括(including)”、“包括(comprising)”、“构成(consisting)”、以及其语法变形并不排除添加一个或多个部件、特征、步骤、或整数、或其组，并且术语应被解释为说明部件、特征、步骤、或整数。

如果本说明书或权利要求书参考“额外的”元件，则并不排除存在一个以上的额外元件。

应当理解的是，如果权利要求书或本说明书参考“一(a)”或“一个(an)”元件，则该参考不应被解释为仅存在一个该元件。

应当理解的是，如果本说明书陈述了“可以”、“可能”、“能够”、或“能”包括部件、特征、结构、或特性，不是必需包括该具体的部件、特征、结构、或特性。

尽管可以使用状态图、流程图、或两者描述实施方式，然而，本发明并不局限于这些图或对应的描述，视情况而定。例如，并不需要通过各个示出的框或状态、或精确按照示出和描述的相同顺序来运行流程。

通过手动、自动、或其组合执行所选择的步骤或任务可以实现本发明的方法。

权利要求书或说明书中呈现的描述、实施例、方法、以及材料不得被解释为具有局限性，而是确切地，仅作为示出性。

除非另有限定，否则，此处使用的技术和科技术语的含义为本发明所属领域的普通技术人员通常所理解的含义。

利用与此处描述的这些等同或相似的方法和材料，可以在测试中或实际中实现本发明。

尽管已经参考有限数目的实施方式描述了本发明，然而，这些不应被解释为对本发明的范围的限制，而是确切地，作为一些优选实施方式的例证。其他可能的变形、改造、以及应用也在本发明的范围内。相应地，本发明的范围不应受由此目前描述的内容的限制，而是受所附权利要求书及其法律等同物的限制。

Claims (33)

1.一种方法，包括：

使用传感设备捕获场景；

确定是否所述设备已校准；

在所述传感设备已校准的情况下，将至少一个新的地标添加到已知地标中；

在所述传感设备未校准的情况下，确定被捕获的对象中为存储在数据库中的对象的至少一些作为在已知这些对象的位置的场景中的已知地标；并且

基于所述已知地标对所述传感设备进行校准。

2.根据权利要求1所述的方法，其中，在所述传感设备未校准的情况下，检查所捕获的场景是否包含足够用于执行校准的最少数目的已知地标；并且在该场景包含至少所述最少数目的已知地标的情况下，基于所述已知地标对所述传感设备进行校准。

3.根据权利要求1所述的方法，其中，使用所述已知地标执行对校准的检查。

4.根据权利要求1所述的方法，其中，基于包括下列中的至少一项的预定义标准来选择所述至少一个新的地标：纹理化区域、外观的独特性、低复杂性结构、点的尺寸和分布、以及距所述传感设备的距离。

5.根据权利要求1所述的方法，进一步包括：维护地标的数据库，该数据库被配置为存储已知地标和新添加的地标，其中，所述数据库是可搜索的。

6.根据权利要求5所述的方法，其中，所述数据库被配置为进一步存储地标的低分辨率版本，以用于快速检索。

7.根据权利要求5所述的方法，其中，在所述数据库中对已知地标的搜索考虑了多视角点。

8.根据权利要求5所述的方法，其中，所述新的地标与元数据存储在一起，以便于该地标的内容相关式搜索。

9.根据权利要求5所述的方法，其中，以允许通过所述数据库进行快速搜索的方式存储被进一步识别的地标，其中，来自相同环境的地标被集群化。

10.根据权利要求1所述的方法，其中，通过使测量投影误差的目标函数最小化而求解校准。

11.根据权利要求10所述的方法，其中，使用梯度下降进行所述最小化。

12.根据权利要求10所述的方法，其中，使用莱文伯格-马夸特优化技术进行所述最小化。

13.一种方法，包括：

使用传感设备捕获场景；

确定所捕获的场景是否包含足够用于确定是否所述传感设备已校准的最少数目的已知地标；

在所捕获的场景包含所述最少数目的地标的情况下，检查是否所述传感设备已校准；

在所述传感设备已校准的情况下，将至少一个新的地标添加到所述已知地标；

在所述传感设备未校准的情况下，基于所述已知地标对所述传感设备进行校准；并且

在所捕获的场景未包含所述最少数目的地标的情况下，在不使用所述已知地标的情况下检查所述传感设备的校准，并且在所述传感设备已校准的情况下，将至少一个新的地标添加到所述已知地标。

14.根据权利要求13所述的方法，其中，在所述传感设备未校准的情况下，检查所捕获的场景是否包含足够用于执行校准的最少数目的已知地标；并且在该场景包含至少所述最少数目的已知地标的情况下，基于所述已知地标对所述传感设备进行校准。

15.根据权利要求13所述的方法，其中，使用所述已知地标执行校准的检查。

16.根据权利要求13所述的方法，其中，基于包括下列项中的至少一项的预定义标准来选择所述至少一个新的地标：纹理化区域、外观的独特性、低复杂性结构、点的尺寸和分布、以及距所述传感设备的距离。

17.根据权利要求13所述的方法，进一步包括：维护地标的数据库，该数据库被配置为存储已知地标和新添加的地标，其中，所述数据库是可搜索的。

18.根据权利要求17所述的方法，其中，所述数据库被配置为进一步存储地标的低分辨率版本，以用于快速检索。

19.根据权利要求17所述的方法，其中，在所述数据库中对已知地标的搜索考虑了多视角点。

20.根据权利要求17所述的方法，其中，所述新的地标与元数据存储在一起，以便于该地标的内容相关式搜索。

21.根据权利要求17所述的方法，其中，以允许通过所述数据库进行快速搜索的方式存储被进一步识别的地标，其中，来自相同环境的地标被集群化。

22.根据权利要求13所述的方法，其中，通过使测量投影误差的目标函数最小化而求解校准。

23.根据权利要求22所述的方法，其中，使用梯度下降进行所述最小化。

24.根据权利要求22所述的方法，其中，使用莱文伯格-马夸特优化技术进行所述最小化。

25.一种系统，其中：

传感设备，配置为用于捕获图像场景；

数据库，配置为用于存储地标；以及

计算机处理器，配置为基于所捕获的图像来确定是否所述设备已校准；

其中，在所述传感设备已校准的情况下，所述计算机处理器被配置为将至少一个新的地标添加到已知地标中；并且

其中，在所述传感设备未校准的情况下，所述计算机处理器被配置为基于所述已知地标对所述传感设备进行校准。

26.根据权利要求25所述的系统，其中，在所述传感设备未校准的情况下，所述计算机处理器被配置为检查所捕获的图像是否包含足够用于执行校准的最少数目的已知地标；并且在该场景至少包含所述最少数目的已知地标的情况下，所述计算机处理器被配置为基于所述已知地标对所述传感设备进行校准。

27.根据权利要求25所述的系统，其中，基于包括下列项中的至少一项的预定义标准来选择所述至少一个新的地标：纹理化区域、外观的独特性、低复杂性结构、点的尺寸和分布、以及距所述传感设备的距离。

28.根据权利要求25所述的系统，进一步包括：维护地标的数据库，该数据库被配置为存储已知地标和新添加的地标，其中，所述数据库是可搜索的。

29.根据权利要求28所述的系统，其中，所述数据库被配置为进一步存储地标的低分辨率版本，以用于快速检索。

30.根据权利要求28所述的系统，其中，在所述数据库中对已知地标的搜索考虑了多视角点。

31.根据权利要求28所述的系统，其中，所述新的地标与元数据存储在一起，以便于该地标的内容相关式搜索。

32.根据权利要求28所述的系统，其中，以允许通过所述数据库进行快速搜索的方式存储被进一步识别的地标，其中，来自相同环境的地标被集群化。

33.一种系统，包括：

传感设备，配置为用于捕获场景；

数据库，配置为用于存储地标；以及

计算机处理器，配置为确定所捕获的场景是否包含足够用于确定是否所述传感设备已校准的最少数目的已知地标；

其中，在所捕获的场景包含所述最少数目的地标的情况下，所述计算机处理器配置为检查是否所述传感设备已校准；

其中，在所述传感设备已校准的情况下，所述计算机处理器被配置为将至少一个新的地标添加到地标的所述数据库中；

其中，在所述传感设备未校准的情况下，所述计算机处理器配置为基于所述已知地标对所述传感设备进行校准；并且

其中，在所捕获的场景未包含所述最少数目的地标的情况下，所述计算机处理器配置为在不使用所述已知地标的情况下检查所述传感设备的校准，并且在所述传感设备已校准的情况下，所述计算机处理器配置为将至少一个新的地标添加到地标的所述数据库中。