CN114299120A - 基于多摄像机模组的补偿方法、注册方法和可读存储介质 - Google Patents

Abstract

本发明公开了一种基于多摄像机模组的补偿方法、注册方法和可读存储介质，属于经颅磁治疗仪领域。该补偿方法包括以下步骤：设置多摄像机模组，该多摄像机模组包括至少两个双目摄像机，且至少两个双目摄像机具有至少一个重叠视野，在至少一个重叠视野中设置有标记物；设置跟踪目标，该跟踪目标能够由至少两个双目摄像机中的至少一个双目摄像机识别，且至少一个双目摄像机中的至少一个待补偿摄像机的视野范围内缺失跟踪目标；根据所获取的标记物和跟踪目标的位置信息，确定跟踪目标与至少一个待补偿摄像机的相对位置关系，以将跟踪目标增加到至少一个待补偿摄像机中的对应的待补偿摄像机中。

Description

基于多摄像机模组的补偿方法、注册方法和可读存储介质

技术领域

本发明涉及经颅磁治疗仪领域，特别涉及基于多摄像机模组的补偿方法、基于多摄像机模组的跟踪目标的注册方法和可读存储介质。

背景技术

伴随着医学成像技术和医学图像处理技术的迅速发展，基于影像引导的医疗系统应运而生。影像引导是例如利用医学成像技术扫描头部影像，对获取的医学头部图像进行分割、三维重建等，建立包含脑组织的头部三维模型，在重建的大脑三维模型上规划刺激靶点，再利用图像配准技术将大脑三维模型上的靶点映射到患者头部，从而指导医生定位靶点。

在经颅磁刺激治疗中，需要利用摄像机识别视野范围内的跟踪对象才能实现可视化操作。但是由于目前的经颅磁治疗仪均采用的是单个双目摄像机，而它的视野范围是有限的，所以在操作过程中如果稍有忽视，会导致跟踪对象不在视野范围内的情况发生。由此需要移动摄像机位置或者跟踪对象的位置，重新进行识别和匹配，由此降低了治疗效率。

因此，确有必要提供一种能够增加双目摄像机视野范围，同时还能实现自动校对的基于多摄像机模组的补偿方法、注册方法和可读存储介质。

发明内容

为了解决现有技术中存在的上述问题和缺陷的至少一个方面，本发明提供了一种基于多摄像机模组的补偿方法、基于多摄像机模组补偿的跟踪目标的注册方法和可读存储介质。所述技术方案如下：

本发明的一个目的是提供了一种基于多摄像机模组的补偿方法。

本发明的另一目的是提供了一种基于多摄像机模组补偿的跟踪目标的注册方法。

本发明的还一目的是提供了一种可读存储介质。

根据本发明的一个方面，提供了一种基于多摄像机模组的补偿方法，所述补偿方法包括以下步骤：

步骤S1设置多摄像机模组，所述多摄像机模组包括至少两个双目摄像机，且至少两个双目摄像机具有至少一个重叠视野，在所述至少一个重叠视野中设置有标记物；

步骤S2设置跟踪目标，所述跟踪目标能够由所述至少两个双目摄像机中的至少一个双目摄像机识别，且所述至少一个双目摄像机中的至少一个待补偿摄像机的视野范围内缺失所述跟踪目标；

步骤S3根据所获取的所述标记物和跟踪目标的位置信息，确定跟踪目标与至少一个待补偿摄像机的相对位置关系，以将所述跟踪目标增加到至少一个待补偿摄像机中的对应的待补偿摄像机中。

进一步地，所述步骤S3进一步包括：

步骤S31在至少两个双目摄像机中的重叠视野中具有同一标记物的双目摄像机中构建摄像机下的同一标记物坐标系；

步骤S32在至少两个双目摄像机中的所有摄像机中构建摄像机坐标系，

步骤S33将至少两个双目摄像机中的已识别跟踪目标的双目摄像机中的跟踪目标的位置信息通过位于所述已识别跟踪目标的双目摄像机下的标记物的位置信息转换到至少一个待补偿摄像机的视野范围内，以获得所述跟踪目标与至少一个待补偿摄像机的相对位置关系。

具体地，步骤S33进一步包括：

步骤S331将所述跟踪目标的第一位置信息通过标记物的第一位置信息转换到所述已识别跟踪目标的摄像机下的同一标记物坐标系下，以获得同一标记物坐标系下的跟踪目标的第二位置信息；

步骤S332将所述跟踪目标的第二位置信息通过在至少两个双目摄像机中的至少一个待补偿摄像机下的标记物的第二位置信息转换到所述至少一个待补偿摄像机中的摄像机坐标系下，以获得在所述至少一个待补偿摄像机中的摄像机坐标系下的跟踪目标的第三位置信息。

进一步地，所述跟踪目标的第一位置信息包括当前跟踪目标在已识别其的摄像机的摄像机坐标系下的第i姿态矩阵,

所述跟踪目标的第二位置信息包括当前跟踪目标在位于已识别其的摄像机的视野范围内的标记物的同一标记物坐标系下的第j姿态矩阵,

所述跟踪目标的第三位置信息包括当前跟踪目标在至少一个待补偿摄像机的摄像机坐标系下的第k姿态矩阵,

所述标记物的位置信息包括所述标记物在已识别当前跟踪目标的摄像机的摄像机坐标系下的第m姿态矩阵,

所述标记物的位置信息包括位于至少一个待补偿摄像机的视野范围内的标记物在待补尝摄像机的摄像机坐标系下的第n姿态矩阵。

具体地，所述步骤S332进一步包括以下步骤：

将当前跟踪目标的第j姿态矩阵左乘当前标记物的第n姿态矩阵获得当前跟踪目标在当前摄像机中的摄像机坐标系下的第k姿态矩阵,以将当前跟踪目标的第j姿态矩阵从至少两个双目摄像机中的第一摄像机的同一标记物坐标系下转换到所述至少一个待补偿摄像机中的第二摄像机的摄像机坐标系下，

所述当前跟踪目标位于所述第一摄像机的视野范围内，且不位于或部分位于第二摄像机的视野范围内，所述第一摄像机和第二摄像机之间具有第一重叠视野，且在所述第一重叠视野中具有第一标记物，

所述当前跟踪目标的第j姿态矩阵被配置成当前跟踪目标在第一摄像机下的第一标记物的坐标系下的姿态矩阵，

所述当前标记物的第n姿态矩阵被配置成第一标记物在第二摄像机下的姿态矩阵。

进一步地，所述步骤S332进一步包括：

将当前跟踪目标在第二摄像机的摄像机坐标系下的姿态矩阵左乘在第二摄像机下的当前第二标记物在第二摄像机下的姿态矩阵的逆矩阵获得当前跟踪目标在第二摄像机下的第二标记物的坐标系下的姿态矩阵，以将当前跟踪目标的姿态矩阵从第二摄像机的摄像机坐标系下转换到第二摄像机下的当前第二标记物的坐标系下；

将当前跟踪目标在所述第二标记物的坐标系下的姿态矩阵左乘第二标记物在至少一个待补尝摄像机中的第三摄像机下的姿态矩阵获得当前跟踪目标在第三摄像机的摄像机坐标系下的第k姿态矩阵，以将当前跟踪目标的姿态矩阵从第二摄像机下的当前第二标记物的坐标系下转换到第三摄像机的摄像机坐标系下，

所述当前跟踪目标不位于或部分位于第三摄像机的视野范围内，

所述第二摄像机和第三摄像机之间具有第二重叠视野，且在第二重叠视野中具有第二标记物。

进一步地，在步骤S331中，获得同一标记物坐标系下的跟踪目标的位置信息的方法包括将当前跟踪目标的第i姿态矩阵左乘位于至少一个待补偿摄像机下的当前标记物的第m姿态矩阵的逆矩阵获得在至少一个待补偿摄像机下的当前标记物的坐标系下的当前跟踪目标的第j姿态矩阵。

进一步地，所述步骤S3进一步包括以下步骤：

步骤S301提供服务端，将所述服务端与所述所有摄像机信号连接以存储来自所述所有摄像机的跟踪目标和标记物的实时信息；

步骤S302所述服务端查询所存储的跟踪目标的实时信息并判断所有摄像机的实时信息中是否存在所述跟踪目标的位置信息，当摄像机的实时信息中存在所述跟踪目标的位置信息时，则确定与所述实时信息对应的摄像机识别到所述跟踪目标，

当摄像机的实时信息中不存在所述跟踪目标的位置信息时，则确定与所述实时信息对应的摄像机缺失所述跟踪目标的视野。

进一步地，所述信号连接为将所述至少两个双目摄像机中的每一个摄像机映射至所述服务端，使所述每一个摄像机在所述服务端中具有各自的虚拟地址，

所述跟踪目标的实时信息包括跟踪目标的姿态矩阵、所述跟踪目标的唯一标识和传输所述实时信息的对应的所述虚拟地址，

所述跟踪目标的位置信息包括跟踪目标的姿态矩阵和跟踪目标的唯一标识。

根据本发明的另一方面，提供了一种基于多摄像机模组补偿的跟踪目标的注册方法，其中所述多摄像头模组补偿的方法是上述中任一项所述的补偿方法，所述注册方法包括以下步骤：

步骤S210构建与所述跟踪目标对应的可视化跟踪目标模型；

步骤S220将所述至少一个待补偿摄像机中的对应的待补偿摄像机中增加的跟踪目标与所述可视化跟踪模型进行配准以注册所述跟踪目标。

具体地，在步骤S210中，还构建有所述对应的待补偿摄像机下的跟踪目标初始姿态的坐标系，

在步骤S220中，注册所述跟踪目标的方法包括获取所述跟踪目标的坐标，并根据所述跟踪目标的坐标与增加至所述对应的待补偿摄像机中的跟踪目标获得所述跟踪目标初始姿态的坐标系下的坐标。

具体地，获得所述跟踪目标初始姿态的坐标系下的坐标的方法包括将获取的跟踪目标的坐标左乘增加至所述对应的待补偿摄像机中的跟踪目标的摄像机坐标系下的姿态矩阵的逆矩阵以获得跟踪目标在所述跟踪目标初始姿态的坐标系下的坐标。

优选地，在步骤S210中，还构建有与所述可视化跟踪模型匹配的可视化跟踪模型坐标系，

在步骤S220中，将所述跟踪目标与所述可视化跟踪模型进行配准的步骤包括：将所获得的跟踪目标初始姿态的坐标系下的坐标与所述可视化跟踪模型中相对应的参考点在所述可视化跟踪模型坐标系中的坐标通过四元数算法或奇异值分解算法求解以获得跟踪目标初始姿态的坐标系下的坐标与所述对应的参考点之间的空间变换矩阵以实现所述跟踪目标的注册。

进一步地，所述跟踪目标的坐标通过定位工具接触所述跟踪目标获得。

根据本发明的还一方面，提供了一种可读存储介质，其中，

所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时以执行以下至少一种步骤：

上述中任一项所述的基于多摄像机模组的补偿方法；和

上述中任一项所述的基于多摄像机模组补偿的跟踪目标的注册方法。

根据本发明的基于多摄像机模组的补偿方法、基于多摄像机模组的跟踪目标的注册方法和可读存储介质具有以下优点中的至少一个：

(1)本发明提供的基于多摄像机模组的补偿方法、基于多摄像机模组补偿的注册方法和可读存储介质能够将双目摄像机的视野范围自动地增加到未识别跟踪目标的双目摄像机的视野范围内，从而保证了在该未识别跟踪目标的双目摄像机的摄像机坐标系下的物体可见，进而减少了多个双目摄像机之间的人工校对操作；

(2)本发明提供的基于多摄像机模组的补偿方法、基于多摄像机模组补偿的注册方法法和可读存储介质能够将跟踪目标从多相机模组中的已识别该跟踪目标的双目摄像机的坐标系下转换到多摄像机模组中的其他任何一个双目摄像机的坐标系下，从而实现了只要需要视野补偿的双目摄像机，即可能够在自身的摄像机坐标系下增加具有跟踪目标的视野范围；

(3)本发明提供的基于多摄像机模组的补偿方法、基于多摄像机模组补偿的注册方法和可读存储介质能够在双目摄像机发生位移，且保持标记物在其的视野范围内的同时，由于该双目摄像机视野范围内的标记物与跟踪目标之间的相对位置关系已被确定，因此该双目摄像机无需重新进行校对，从而减少了双目摄像机人工重新校对的操作，同时还能够实现在双目摄像机的重叠视野范围内随意移动标记物，而无需重新校对摄像机。

附图说明

本发明的这些和/或其他方面和优点从下面结合附图对优选实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明的一个实施例的补偿方法的流程图；

图2是图1中的多摄像机模组的结构示意图；

图3是根据本发明的另一个实施例的基于多摄像机模组补偿的注册方法的流程图；

图4是根据本发明的还一实施例的基于多摄像机模组注册的导航方法的流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。在说明书中，相同或相似的附图标号指示相同或相似的部件。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释，而不应当理解为对本发明的一种限制。

伴随着医学成像技术和医学图像处理技术的迅速发展，基于影像引导的医疗系统应运而生。基于影像引导的医疗系统中可以通过在重建的大脑三维模型上规划刺激靶点，再利用图像配准技术将大脑三维模型上的靶点映射到患者头部，从而指导医生定位靶点。为了实现靶点定位的可视化操作，通常需要利用摄像机对视野范围内的跟踪对象(例如，患者头部)进行识别。在目前靶点定位的过程中，通常采用的是单个双目摄像机来识别跟踪对象。而单个的双面摄像机的视野范围有限，所以经常在操作过程中需要十分留意，以免不慎误碰摄像机，导致跟踪对象不能被摄像机识别。这样不仅使治疗过程中医生容易分心不能尽快地找到治疗靶点，而且常常会摄像机识别不到跟踪对象而需要采用例如通过移动摄像机或者移动跟踪对象的位置，使摄像机能够识别到跟踪对象。但是这样就造成了需要让医生重新校对摄像机，这样又大大降低了治疗的效率。

由此，我们提出了一种基于多摄像机模组的补偿方法。所谓补偿是将跟踪目标从识别到其的第一摄像机中增加到未识别该跟踪目标的第二摄像机的视野的过程，使该摄像机在其自身的空间下物体可见。

参见图1，示出了根据本发明的一个实施例的补偿方法的流程图。所述补偿方法具体为：

步骤S1：首先需要构建多摄像机模组，该多摄像机模组中具有多个双目摄像机，例如可以将两个双目摄像机设计为一个多摄像机模组，也可以例如将三个、四个或者更多个双目摄像机设计为一个多摄像机模组。对于多摄像机模组中双目摄像机的数量，本领域技术人员可以根据需要来进行选择和设计，本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。

确定双目摄像机的数量之后，我们需要使多个双目摄像机中，至少多个双目摄像机两两之间具有重叠视野，例如相邻的两个双目摄像机之间具有一个重叠视野，或者相邻的三个双目摄像机之间可以布置为具有同一个重叠视野，即只有一个重叠视野。也可以将三个双目摄像机布置为两两相邻的摄像机之间具有重叠视野，比如当三个双目摄像机布置为环形时，它们之间具有三个重叠视野；当三个双目摄像机布置为直线形时，它们之间具有两个重叠视野。因此在多个双目摄像机呈现不同的布局形式时，可以具有一个、两个、四个或者更多个重叠视野，在此不再赘述。

为了校对摄像机，需要在摄像机的重叠视野中布置一个标记物，也就是在不同的重叠视野中都需要布置标记物以校对具有重叠视野的摄像机。当然也可以根据实际需要，在同一个重叠视野中布置一个、两个或者更多个标记物，也可以在不同的重叠视野中布置的标记物的类型是相同或者不同，本领域技术人员可以根据需要进行相应的选择，本示例仅是一个说明性示例，本领域技术人员不应当理解为对本发明的一种限制。

在此，选择在不同的重叠视野中均布置相同类型的标记物，且同一个重叠视野中布置一个标记物作为示例说明。而在不同的重叠视野中布置不同类型的标记物和/或在同一视野中布置多个标记的原理由于大体相同或类似，将不再一一赘述。

之后进行步骤S2：将跟踪目标设置于所布置的多个双目摄像头下，使跟踪目标能够至少被其中一个双目摄像头所识别。也就是说，该跟踪目标能够完全地至少位于其中一个双目摄像头的视野范围内。当在多个双目摄像头中有摄像机无法识别到该跟踪目标时，即该摄像机的视野范围内没有该跟踪目标或者其视野范围内只有该跟踪目标的一部分，例如摄像机发生移动，或者跟踪目标发生移动的情况时，我们需要将识别到该跟踪目标的双目摄像机中的该跟踪目标的数据(例如跟踪目标的坐标或姿态矩阵等位置信息)转换到未识别到该跟踪目标的摄像机(即待补偿摄像机)下。

为了判断该双目摄像机是否识别到该跟踪目标，通过判断该双目摄像机中是否具有该跟踪目标的数据(例如坐标或者姿态矩阵等位置信息T1)来实现。当该双目摄像机中具有该跟踪目标的数据，则确定该双目摄像机中具有该跟踪目标；否则，确定该双目摄像机中不具有该跟踪目标。

在判断完成之后，需要根据实际需要，将该跟踪目标的数据从识别其的双目摄像机下增加到需要补偿的待补偿摄像机中。由于该跟踪目标被其他双目摄像机所识别，而未被待补偿摄像机所识别，因此我们需要将该跟踪目标的数据从其他双目摄像机的坐标系下转换到该待补偿摄像机的坐标系下，使得能够在该待补偿摄像机下具有该未识别到的跟踪目标的数据，由此将跟踪目标增加到了待摄像机的视野中。将跟踪目标增加到待补偿摄像机的视野中为将跟踪目标在待补偿摄像机的空间坐标系(即该摄像机的摄像机坐标系，或者称为观察坐标系)下物体可见。

接下来进行步骤S3，该步骤主要是根据通过双目摄像机得到的标记物的位置信息Z1和跟踪目标的位置信息T1，确定跟踪目标与待补偿摄像机的相对位置关系。具体为：

步骤S31：先在多个双目摄像机下构建了它们重叠视野范围内的标记物的坐标系，且使这些坐标系是相同空间下的坐标系，即同一标记物坐标系C1，以下简称“标记物坐标系C1”；

步骤S32：在所有的双目摄像机下也构建了它们自身的摄像机坐标系C2，且使所有的摄像机坐标系均为相同空间下的坐标系。

由于需要将跟踪目标的数据从已识别其的摄像机的空间中转换到待补偿摄像机的空间中，因此需要进行空间坐标系的转换。

在进行空间坐标系的转换中，假设跟踪目标上的任意一点S的坐标为(x,y,z)，现需要将该点S从已识别其的摄像机的摄像机坐标系C2下转换到待补偿摄像机的坐标系下。又为了在无论是否发生摄像机或跟踪目标移动的情况下，无需摄像机再重新进行识别和校对，因此设计了以下方法来解决此问题。具体为：

步骤S331：首先将点S借助于与该点S在同一视野范围内的标记物的位置信息Z1(例如标记物姿态矩阵)，从在已识别其的摄像机的摄像机坐标系C2下转换到该已识别其的摄像机下的标记物坐标系C1；

步骤S332：再将点S从已识别其的摄像机下的标记物坐标系C1下转换到与该摄像机具有重叠视野的摄像机空间下，也就是该摄像机的摄像机坐标系C2下，得到跟踪目标在该摄像机坐标系C2下的跟踪目标的位置信息T3。当然该具有重叠视野的摄像机也可以为待补偿摄像机，也可以是设置在已识别跟踪目标的摄像机与待补偿摄像机之间的用于做空间坐标系转换的摄像机。

如图2所示，假设可以设置有第一摄像机11、第二摄像机12和第三摄像机13，当然还可以设计更多的摄像机，在此不再一一列举。

在一个示例中，第一摄像机11与第二摄像机12具有第一重叠视野，在第一重叠视野中布置有第一标记物21，在第二摄像机12与第三摄像机13具有第二重叠视野，在第二重叠视野中设计有与第一标记物一样的第二标记物，且第一、第二和第三摄像机中构建有相同的笛卡尔坐标系，在第一、第二和第三的视野范围内布置有跟踪目标30，使跟踪目标30完全位于第一摄像机11的视野范围内，使第一摄像机能够识别到跟踪目标30，且部分位于第二摄像机12的视野范围内，但是不足以使第二摄像机能够识别到跟踪目标30，同时完全不位于第三摄像机13的视野范围内。本领域技术人员可以明白，第一摄像机、第二摄像机和第三摄像机的坐标系可以设计为相同的坐标系，也可以设计成不同的坐标系，即第一摄像机的坐标系可以不同于第二摄像机或第三摄像机的坐标系，当然第一摄像机的坐标系也可以不同于第二和第三摄像机的坐标系。例如当第一摄像机坐标系不同于第二摄像机的坐标系时，本领域技术人员仅需要将第一摄像机的坐标系经过空间变换例如平移、旋转、错切等空间变换方式，使第一摄像机的坐标系的原点与第二摄像机的坐标系的原点重合，第一摄像机的坐标系的各个轴与第二摄像机的各个坐标轴的位置、方向重合即可，这样就能够使第一摄像机的空间转换到第二摄像机的空间中。本领域技术人员可以明白，可以将第一摄像机的坐标系转换到第二摄像机的坐标系下，当然也可以将第二摄像机的坐标系转到第一摄像机的坐标下，当然也可以使第一摄像机与第三摄像机之间、第二摄像机与第三摄像机之间进行空间转换，本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。本领域技术人员还可以明白，第一、第二和第三仅是用于说明性描述，本领域技术人员不应当理解为对摄像机数量、布置顺序的一种限制。

假定在第一摄像机11下：第一标记物21的第m姿态矩阵为Z11，跟踪目标30的第i姿态矩阵为T1；在第二摄像机12下：第一标记物21的第n₁姿态矩阵为Z12，第二标记物22的第n₂姿态矩阵为Z21；在第三摄像机13下：第二标记物22的第n₃姿态矩阵为Z22。当第二摄像机需要增加跟踪目标30的视野时，那么对于在跟踪目标上的任意一点S(x,y,z)，即点S(x,y,z)为在实物跟踪目标所处的空间中构建的坐标系(例如，在跟踪目标上建立的坐标系)下任取一点有：

首先，将点S投影至第一摄像机11下的第一标记物坐标系C11上为点S₁(x₁,y₁,z₁)，表达式为：

其中，(x,y,z,1)表示点S的齐次坐标，(x₁,y₁,z₁,1)表示点S₁的齐次坐标，Z11^-1表示在第一摄像机11下第一标记物21的姿态矩阵为Z11的逆矩阵。

式(1)中，我们可以根据矩阵乘法的性质，先行计算T1乘以点S的坐标，这样就得到了点S投影到第一摄像机11的摄像机坐标系下的坐标，之后再利用该坐标乘以Z11^-1得到跟踪目标投影到第一标记物坐标系C11的空间上，即计算出跟踪目标的第j姿态矩阵。这样的计算方式与将式(1)从右向左依次计算是完全相同的，也就是说，当先计算Z11^-1×T1时，可以得到将跟踪目标的姿态矩阵投影到第一标记物坐标系C11的空间上，即计算出跟踪目标的第j姿态矩阵。

之后，将点S₁(x₁,y₁,z₁)投影至第二摄像机11下的第一标记物坐标系C11上为点S₂(x₂,y₂,z₂)，表达式为：

其中，(x₁,y₁,z₁,1)表示点S₁的齐次坐标，(x₂,y₂,z₂,1)表示点S₂的齐次坐标，Z12表示在第二摄像机12下第一标记物21的姿态矩阵。

将表达式(1)和(2)合并，可以得出：

式(3)中，我们可以根据式(1)的原理，得到Z12×Z11^-1×T1的计算结果就是将跟踪目标的姿态矩阵投影到第二摄像机坐标系C21的空间上，即计算出跟踪目标的第k姿态矩阵。

由上式可以看出，将任意一点S所在的空间(即该点所在的坐标系)在摄像机下的姿态矩阵从第一摄像机的空间中增加到第二摄像机的空间中，实质上是对跟踪目标在识别到它的摄像机下的姿态矩阵做空间变换，即点S所在空间进行变换的原理与跟踪目标的空间变换原理完全相同。由上式还可以看出，跟踪目标借助于第一标记物，通过空间变换得到的空间变换矩阵与第二摄像机之间建立联系，也就是说通过Z12×Z11^-1得到的结果，即空间变换矩阵T31，就是跟踪目标借助于第一标记物所建立的与第二摄像机之间的相对位置关系。本领域技术人员可以明白，当跟踪目标与第一标记物的相对位置不变时，跟踪目标可以借助于第一和第二摄像机下的第一标记物的姿态矩阵进行空间变换；当跟踪标记物分别与第一和第二标记物之间的相对位置不变时，还可以同时借助于第一至第三摄像机下的第一和第二标记物的姿态矩阵进行空间变换。在一个示例中，每一个标记物在识别其的各个摄像机下的姿态矩阵为彼此不同的姿态矩阵，每一个跟踪目标在识别到它的各个摄像机下也具有不同的姿态矩阵，在使用时，需要根据摄像机的不同选取在对应的摄像机下的姿态矩阵进行空间变换。本示例是一种说明性示例，本领域技术人员应当根据实际情况进行设计，而不应当理解为对本发明的一种限制。

又，当第三摄像机作为待补偿摄像机需要增加跟踪目标的视野，且跟踪目标不位于或部分位于第一和第二摄像机的视野中且不足以被第一和第二摄像机所识别时，任意一点S可以经过第二摄像机12的转换，变换至第三摄像机的空间中，在第三摄像机的空间坐标系(即摄像机坐标系)中为点S₃(x₃,y₃,z₃)。首先将点S在第二摄像机坐标系下的点S₂借助于第二标记物22转换到第二摄像机12下的第二标记物坐标系C12下，得到点S₂′(x₂′,y₂′,z₂′)，表达式为：

其中，(x₂,y₂,z₂,1)表示点S₂的齐次坐标，(x₂′,y₂′,z₂′,1)表示点S₂′的齐次坐标，Z21^-1表示在第二摄像机12下第二标记物22的姿态矩阵为Z21的逆矩阵。

之后，将点S₂′借助于第二标记物22在第三摄像机下的姿态矩阵Z22投影至第三摄像机13的空间中，转换到第三摄像机13的摄像机坐标系C22下得到点S₃(x₃,y₃,z₃)，表达式为：

其中，(x₃,y₃,z₃,1)表示点S₃的齐次坐标，(x₂′,y₂′,z₂′,1)表示点S₂′的齐次坐标，Z22表示在第三摄像机13下第二标记物22的姿态矩阵。

将表达式(3)-(5)合并，可以得出：

由上式可以看出，将任意一点S所在的空间(即该点所在的坐标系)在摄像机下的姿态矩阵从第一摄像机的空间中增加到第三摄像机的空间中，实质上是对跟踪目标在识别到它的摄像机下的姿态矩阵做空间变换，即点S所在空间进行空间变换的原理与跟踪目标的空间变换原理完全相同。由上式还可以看出，跟踪目标借助于第一和第二标记物以及第二摄像机(也可以称之为转换摄像机)通过上述(式(1)-(6))的空间变换与第三摄像机之间建立联系，也就是说通过Z22×Z21^-1×Z12×Z11^-1×T1得到的结果，即得到的空间变换矩阵T31就是依次借助于第一、第二标记物建立的跟踪目标与第三摄像机之间的相对位置关系，也是它们之间所建立的联系。同理，当第二摄像机需要增加第一和/或第三摄像机中的跟踪目标时，也可以借助于其中的标记物来构建跟踪目标和第二摄像机之间的联系。

依次类推，当设置有第四摄像机、第五摄像机等等时，同理可得对应的空间变换矩阵，从而建立起跟踪目标与待补偿摄像机之间的相对位置关系，从而得到了它们之间的联系。

由此，只要借助于已识别跟踪目标的摄像机与待补偿摄像机之间的标记物和/或与中间作为转换摄像机之间的标记物，构建了跟踪目标与待补偿摄像机之间的空间变换矩阵T31，就可以使得跟踪目标、视野范围内的标记物、待补偿摄像机之间的相对位置关系是不变的。因此无论是否发生摄像机移动或者跟踪目标移动，均无需重新进行识别和校对。

例如，在对跟踪目标进行注册、导航或者实时跟踪时，双目摄像机对跟踪目标实时拍摄并获得跟踪目标的双目图像，之后将其传输至服务端(例如图像工作站)。之后服务端对所拍摄的双目图像进行分析处理，服务端可以获得在各个双目摄像头下的标记物的空间三维坐标，由于已经根据本发明提供的补偿算法得到跟踪目标与待补偿摄像机之间的相对位置关系，即空间变换矩阵T31，之后通过待补偿相机下标记物的坐标和空间变换矩阵T31计算获得跟踪目标的实时坐标，从而实现了无论是否发生摄像机移动或者跟踪目标移动，均无需重新进行识别和校对。

在一个示例中，双目摄像机为经过标定程序标定后的摄像机。在一个示例中，双目摄像机通过OpenCV实现自动化双目摄像机标定程序来实现标定。在一个示例中，双目摄像机通过MATLAB标定工具箱进行标定。本示例是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。

在一个示例中，服务端接收到来自摄像机的双目图像之后，需要对图像进行预处理，之后对跟踪目标上的用于构建三维坐标的标记点进行提取，以根据所述标记点构建虚拟空间中的三维坐标。

在一个示例中，跟踪目标设置为刺激线圈和患者头部。例如当患者头部被识别后，待补偿摄像机可以通过与该已识别到患者头部的摄像机、位于待补偿摄像机重叠范围内的标记物、已识别到患者头部的摄像机视野范围内的标记物和/或位于它们之间的摄像机视野范围内的标记物，计算患者头部和待补偿摄像机之间的空间变换矩阵以建立它们之间的联系。同理可得刺激线圈与待补偿摄像机之间的空间变换矩阵以建立刺激线圈与待补偿摄像机之间的相对位置关系。本领域技术人员可以明白，未识别到刺激线圈和未识别到患者头部信息的待补偿摄像机可以是同一个摄像机，也可以是不同的摄像机。本领域技术人员可以根据实际需要来进行相应的设计，本示例仅是一种说明性示例，不应当理解为对本发明的一种限制。

在一个示例中，跟踪目标可以通过定位模块使多摄像机模组中的双面摄像机识别。换句话说，可以在跟踪目标上设置例如光学标识物，通过将跟踪目标上设置有光学标识物，可以提高定位精度，一般在亚毫米级别，同时可以跟踪多个目标。光学标识物包括主动标识物、被动标识物和混合式标识物两种。主动标识物包括第一构件和设置在第一构件上的红外灯，例如发光二极管，第一构件可以为探针，也可以为用于将标识物固定在跟踪目标上的固定件。使用时，通过该红外灯主动发出红外线而被摄像机传感器识别。被动标识物为反光小球和第二构件，第二构件可以为探针，也可以为用于连接反光小球和跟踪目标的连接件(包括刚性支架或者粘合件)。被动标识物是通过摄像机接收例如反光小球反光得到标识物的双目图像，之后提取标识物的特征并计算其在摄像机下的三维坐标。混合式标识物包括主动式标识物和被动式标识物。当跟踪目标上设置有光学标识物时，可以只需要保证光学标识物完全位于多摄像机模组中的至少一个双目摄像机的视野中即可。本领域技术人员可以根据实际需要选择是否需要采用例如光学标识物以协助跟踪目标而被摄像机所识别。本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。利用定位模块的设计使得例如当该补偿方法用于跟踪目标的注册时，无论跟踪目标是否位于摄像机的视野范围内，只要保证例如探针上的至少三个反光小球位于摄像机的视野范围内，即可使例如主摄像机内具有跟踪目标在该主摄像机空间下的姿态矩阵，从而确定了跟踪目标与主摄像机之间的空间位置关系。因此即使双目摄像机在操作范围内移动位置，也不需要重新注册的过程。因此，本发明的定位导航方法简化了操作流程，增加了设备的便利性。

在一个示例中，通过使用Docker技术，在服务端上虚拟(即映射)了多个虚拟机，使每一个虚拟机均有通信端口(例如USB接口)与双目摄像头之间连接，且使每一个摄像机在服务端具有各自的虚拟地址。在使用时，多摄像机模组中的所有双目摄像机通过对应的虚拟机将其识别的跟踪目标的实时信息和标记物的实时信息都上传至服务端中。由此解决了现有技术中一台计算机只能识别一个双目摄像机的问题，使用了Docker技术。在一个示例中，双目摄像机的数量与通信端口的数量彼此一一对应。

在一个示例中，将多摄像机模组中的一个双目摄像机设置为主摄像机，其他双目摄像机设置为辅摄像机，当主摄像机需要使该跟踪目标在该摄像机空间中物体可见时，服务端查询主摄像机和所有辅摄像机上传并存储至它的实时数据中是否存在跟踪目标的位置信息，并根据跟踪目标的实时信息判断其被哪个摄像机所识别。当识别该跟踪目标的摄像机为主摄像机时，则确定主摄像机识别到跟踪目标。当识别到该跟踪目标的摄像机为辅摄像机时，则确定主摄像机未识别到跟踪目标，需要补偿该跟踪目标的视野。

在一个示例中，跟踪目标和标记物的实时信息中均包括其自身的姿态矩阵、唯一标识和虚拟机的虚拟地址(即该双目摄像机的地址)。跟踪目标和标记物的位置信息中均包括其自身的姿态矩阵和唯一标识(例如ID)。在一个示例中，在判断主摄像机和辅摄像机下是否存在跟踪目标时，服务端查询跟踪目标的实时信息中的唯一标识，以判断是否存储有该跟踪目标的姿态矩阵。当查询到跟踪目标的唯一标识时，则确定服务端存储有该跟踪目标的姿态矩阵；当未查询到跟踪目标的唯一标识时，则确定跟踪目标未能被任何一个双目摄像机所识别。当服务端确定存储有该跟踪目标的姿态矩阵时，则根据该跟踪目标的实时信息中的虚拟地址以判断该跟踪目标被哪个摄像机所识别。

在一个示例中，还可以通过使用Docker技术在服务端上虚拟一个虚拟机，同时在该虚拟机上虚拟多个USB端口，该虚拟的多个USB端口与双目摄像机之间彼此一一对应。服务端在查询时，通过虚拟机地址和对应的USB端口的虚拟地址以判断该跟踪目标被哪个摄像机所识别。

在一个示例中，服务端可以为设置在本地的服务器，也可以是设置云化的服务器集群，还可以是个人计算机(即PC)、手机、图像处理工作站或者可以用于数据处理的设备。参见图3，示出了根据本发明的另一个实施例的基于多摄像机模组补偿的注册方法。多摄像机模组补偿的方式为上文中所详述的基于多摄像机模组的补偿方法，在此不再赘述。所述注册方法包括以下步骤：

步骤S210：构建可视化跟踪目标模型，该可视化跟踪模型与对应的跟踪目标是类型、形状一致；

步骤S220：将待补偿摄像机中所增加的跟踪目标与可视化跟踪模型相配准以注册对应的跟踪目标。

在一个示例中，多摄像机模组中设置有一个或者多个待补偿摄像机。根据对应的待补偿摄像机中增加的跟踪目标，将该跟踪目标与对应的可视化模型进行配准以注册该增加的跟踪目标。

在对跟踪目标进行注册时，需要首先在服务端的虚拟空间中构建与可视化跟踪模型相匹配的可视化跟踪模型坐标系和摄像机下的跟踪目标初始姿态的坐标系。该可视化跟踪模型坐标系、摄像机下的跟踪目标初始姿态的坐标系与上述构建的摄像机坐标系和标记物坐标系为同类型坐标系，例如笛卡尔坐标系。

之后，在可视化跟踪模型上确定一个或者多个参考点，例如当可视化跟踪模型为可视化头部模型时，在可视化头部模型上将鼻尖、眉心和左右两个耳珠分别作为注册时的第一参考点。然后，通过双目摄像机或者定位模块获得在跟踪目标上与第一参考点中相对应的点的位置处的坐标，该坐标是在对应的待补偿摄像机(例如主摄像机)的摄像机坐标系C1下的坐标A1。所述相应的点的位置处为例如与头部模型中鼻尖相对应的患者的鼻尖的坐标，与头部模型中眉心相对应的患者的眉心的坐标，依次类推，得到左右两个耳珠的坐标。

当可视化跟踪模型为可视化线圈模型时，首先在线圈的中心位置附近确定例如四个第二参考点，当然本领域技术人员根据实际需要来确定第一参考点和/或第二参考点的数量例如三个、五个或者更多个。

之后，根据可视化线圈模型上的第二参考点的位置以确定实际线圈上的对应点的位置，由此例如通过双目摄像机或者定位模块确定这些在实际线圈上的对应点的坐标，该坐标是在对应的双目摄像机(例如主摄像机)的摄像机坐标系C1下的坐标A2。

在一个示例中，当患者头部上与第一参考点相对应的点的坐标和/或实际的线圈上与第二参考点相对应的点的坐标通过定位模块例如探针获得时，可以通过将探针(例如探针尖端)的置于与第一参考点和/或第二参考点相对应的点的位置处以获得患者头部上与第一参考点相对应的点的坐标A11，和/或获得实际线圈上与第二参考点相对应的点的坐标A21。

在获得对应的双目摄像机的摄像机坐标系C1下的坐标(例如A1、A11、A2和/或A21)后，将摄像机坐标系C1下的坐标左乘根据基于多摄像机模组的补偿方法获得的在该主摄像机的空间中的跟踪目标的姿态矩阵的逆矩阵，以将跟踪目标从该主摄像机的摄像机坐标系C1下投影至主摄像机下的跟踪目标初始姿态的坐标系下。

换句话说，就是将例如患者头部在摄像机坐标系C1下的坐标投影至该摄像机下的患者头部初始姿态的坐标系下；和/或将实际的刺激线圈在摄像机坐标系C1下的坐标投影至该摄像机下的线圈初始姿态的坐标系下。

最后，通过例如四元数算法或奇异值分解(SVD)算法，以解算摄像机下的跟踪目标初始姿态的坐标系下的坐标与可视化模型上的参考点的坐标之间的空间转换矩阵，从而得到了它们之间的空间位置关系。之后在跟踪目标上取任意一点的坐标A’并利用对应的空间转换矩阵计算其投影至可视化跟踪模型上的对应点的坐标A”，之后通过例如欧式距离计算两点之间的距离d，当距离d在预设的范围内时，则摄像机下的跟踪目标初始姿态的坐标系下的坐标与可视化模型上的参考点的坐标配准成功，即注册成功；反之，则配准失败，需要重新进行配准。

通过在注册过程中建立跟踪目标和可视化跟踪目标模型之间的相对位置关系，从而使可视化跟踪目标模型上的位置信息能够实时更新为对应的跟踪目标的实时信息。且同时由于相对位置关系的建立，保证了即使双目摄像机在操作范围内移动位置，也不需要重新注册的过程。

参见图4，示出了根本发明的还一实施例的基于跟踪目标注册的导航方法。其中，跟踪目标的注册的方法为上述的基于多摄像机模组补偿的注册方法，在此不再赘述。

由于在刺激线圈进行注册时，已经建立了刺激线圈上的坐标与可视化线圈模型上的坐标之间的实时对应关系，即通过它们之间的第一空间转换矩阵可以得到实时刺激线圈的坐标投影到可视化线圈模型空间中的对应位置(即坐标)。

同理，在患者头部进行注册的过程中，也已经建立了患者头部上的坐标与可视化头部模型上的坐标之间的实时对应关系，即通过它们之间的第二空间转换矩阵可以得到实时患者头部的坐标投影到可视化线圈模型空间中的对应位置(即坐标)。

由此，在将可视化线圈模型的数据从可视化线圈模型的空间中转换到可视化头部模型的空间中，能够展示出刺激线圈相对于患者头部运动的可视化视角；同理，在将可视化头部模型的数据从可视化头部模型的空间中转换到可视化线圈模型的空间中，能够展示出患者头部相对于刺激线圈运动的可视化视角。

基于上述构思，将导航方法具体设计为：

步骤S410：提供已注册的跟踪目标，该已注册的跟踪目标被设置为已注册的刺激线圈和已注册的患者头部；

步骤S420：提供可视化跟踪目标模型，所述可视化跟踪目标模型包括与所述已注册的刺激线圈对应的可视化线圈模型和与所述已注册的患者头部对应的可视化头部模型；

步骤S430：根据已注册的跟踪目标和与所述已注册的跟踪目标对应的可视化跟踪目标模型之间的相对位置关系以展示刺激线圈相对于患者头部运动的可视化视角的可视化视角，和/或以展示患者头部相对于刺激线圈运动的可视化视角。

进一步地，步骤S430包括：

步骤S431：提供在注册刺激线圈时所得到的第一空间变换矩阵B1，在注册患者头部时所得到的第二空间变换矩阵B2；

步骤S432：提供在摄像机下的线圈初始姿态坐标系、在摄像机下的患者头部初始姿态坐标系、摄像机坐标系C1、可视化线圈模型坐标系、可视化头部模型坐标系；

步骤S433：将可视化线圈模型坐标系中线圈模型的数据左乘所述第一空间变换矩阵B1的逆矩阵以获得对应的待补偿摄像机下的线圈初始姿态坐标系下的线圈模型的数据。在一个示例中，可视化线圈模型坐标系中线圈模型的数据为可视化线圈模型上的各个参考点的坐标。

之后，将所述线圈初始姿态坐标系中的线圈模型的数据左乘当前线圈的姿态矩阵以获得对应的待补偿摄像机的摄像机坐标系下的线圈模型的数据，然后将所述摄像机坐标系下的线圈模型的数据左乘当前患者头部的姿态矩阵的逆矩阵以获得对应的待补偿摄像机下的患者头部初始姿态坐标系下的线圈模型的数据，最后将所述患者头部初始姿态坐标系下的线圈模型的数据左乘所述第二空间变换矩阵B2以获得可视化头部模型坐标系下的线圈模型的数据，实现展示刺激线圈相对于患者头部运动的可视化视角；和/或

将可视化头部模型坐标系中可视化头部模型的数据左乘所述第二空间变换矩阵B2的逆矩阵以获得对应的待补偿摄像机下的患者头部初始姿态坐标系下的头部模型的数据。在一个示例中，可视化头部模型坐标系中头部模型的数据为可视化头部模型上的各个参考点的坐标。

之后，将所述患者头部初始姿态坐标系中的头部模型的数据左乘当前患者头部的姿态矩阵以获得对应的待补偿摄像机的摄像机坐标系下的头部模型的数据，然后将所述摄像机坐标系下的头部模型的数据左乘当前线圈的姿态矩阵的逆矩阵以获得对应的待补偿摄像机下的线圈初始姿态坐标系下的头部模型的数据，最后将所述线圈初始姿态坐标系下的头部模型的数据左乘所述第一空间变换矩阵B1以获得可视化线圈模型坐标系下的头部模型的数据，实现展示患者头部相对于刺激线圈运动的可视化视角。

根据本发明的还一实施例提供了一种可读存储介质。本发明的实施例的“可读存储介质”是指参与向处理器提供程序或指令以供执行的任何介质。所述介质可以采用多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，诸如存储设备。易失性介质包括动态存储器，诸如主存储器。传输介质包括同轴电缆、铜线和光纤，包括包含总线的导线。传输介质还可以采用声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的声波或光波。可读存储介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何具有孔图案的其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、如下所述的载波、或计算机可从其中进行读取的任何其他介质。

该可读存储介质上存储程序或指令，所述程序或指令被处理器执行时以执行以下步骤：

上述的基于多摄像机模组的补偿方法；和/或

上述的基于多摄像机模组补偿的跟踪目标的注册方法；和/或

上述的基于跟踪目标注册的导航方法。

本领域技术人员可以明白，本发明所提供的基于多摄像机模组的补偿方法、基于多摄像机模组补偿的跟踪目标的注册方法和基于跟踪目标注册的导航方法中的任一种方法或者它们的组合可以应用于经颅磁刺激治疗仪或者其他治疗仪，还可以用于定位导航系统。

根据本发明的还一实施例提供了一种定位导航系统。该定位导航系统包括数据采集装置、显示装置和服务端。数据采集装置用于采集跟踪目标的数据。例如，双目摄像机、单目摄像机、设置有摄像机的个人电脑、设置有摄像机的手机等等，通过数据采集装置的设置能够实施获取刺激线圈和患者头部的姿态矩阵，以便于进行不同坐标系下的数据的转换。显示装置用于展示可视化跟踪目标模型。在一个示例中，显示装置包括计算机显示屏幕或图形用户界面。服务端分别与信号采集装置和显示装置进行数据传输，且所述服务端被配置成能够执行上述的可读存储介质中的程序或指令。所述服务端与上文详述的服务端的原理和结构基本相同或者类似，在此不再一一赘述。

通过上述定位导航方法，本发明的定位导航系统允许在导航过程中移动双目摄像机，而不需要重新注册，从而便于用户的操作。

根据本发明的还一实施例提供了一种经颅磁刺激治疗仪。该经颅磁刺激治疗仪包括定位模块、治疗模块和上述的定位导航系统。定位模块和治疗模块设于患者头部。在一个示例中，所述定位模块包括配置有光学跟踪构件的头戴装置，所述治疗模块包括刺激线圈。在一个示例中，光学跟踪构件为上文中所详述的光学标识物。在一个示例中，定位模块还包括设置有所述光学跟踪构件的探针。在一个示例中，刺激线圈设计为8字形线圈，当然本领域技术人员可以明白，可以根据需要选择形状设计为圆形、双锥形(或称为V字形)等形状的线圈。本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。

优选地，刺激线圈选择8字形线圈。这是因为，圆形线圈随着它的半径增大，虽然会加深刺激深度，但是相应地它的聚焦性会变得很差。在一个示例中，8字形线圈包括两个共同面圆形线圈。该两个共同面圆形线圈彼此的电流方向相反，这样的设计使其感应磁场存在两种类型的峰值，一种是位于圆形线圈两侧的侧峰值，一种是其中心的主峰值，由此使其具有较好的聚焦力，能够在高精度要求时使用。

根据本发明的基于多摄像机模组的补偿方法、基于多摄像机模组的跟踪目标的注册方法、基于跟踪目标注册的导航方法以及可读存储介质具有以下优点中的至少一个：

(1)本发明提供的基于多摄像机模组的补偿方法、注册方法、导航方法、可读存储介质、定位导航系统和经颅磁治疗仪能够将双目摄像机的视野范围自动地增加到未识别跟踪目标的双目摄像机的视野范围内，从而保证了在该未识别跟踪目标的双目摄像机的摄像机坐标系下的物体可见，进而减少了多个双目摄像机之间的人工校对操作；

(2)本发明提供的基于多摄像机模组的补偿方法、注册方法、导航方法、可读存储介质、定位导航系统和经颅磁治疗仪能够将跟踪目标从多相机模组中的已识别该跟踪目标的双目摄像机的坐标系下转换到多摄像机模组中的其他任何一个双目摄像机的坐标系下，从而实现了只要需要视野补偿的双目摄像机即可能够在自身的摄像机坐标系下增加具有跟踪目标的视野范围；

(3)本发明提供的基于多摄像机模组的补偿方法、注册方法、导航方法、可读存储介质、定位导航系统和经颅磁治疗仪能够在双目摄像机发生位移，且保持标记物在其的视野范围内的同时，由于该双目摄像机视野范围内的标记物与跟踪目标之间的相对位置关系已被确定，因此该双目摄像机无需重新进行校对，从而减少了双目摄像机人工重新校对的操作，同时还能够实现在双目摄像机的重叠视野范围内随意移动标记物，而无需重新校对摄像机。

虽然本总体发明构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

Claims (15)

1.一种基于多摄像机模组的补偿方法，所述补偿方法包括以下步骤：

步骤S1设置多摄像机模组，所述多摄像机模组包括至少两个双目摄像机，且至少两个双目摄像机具有至少一个重叠视野，在所述至少一个重叠视野中设置有标记物；

步骤S2设置跟踪目标，所述跟踪目标能够由所述至少两个双目摄像机中的至少一个双目摄像机识别，且所述至少一个双目摄像机中的至少一个待补偿摄像机的视野范围内缺失所述跟踪目标；

步骤S3根据所获取的所述标记物和跟踪目标的位置信息，确定跟踪目标与至少一个待补偿摄像机的相对位置关系，以将所述跟踪目标增加到至少一个待补偿摄像机中的对应的待补偿摄像机中。

2.根据权利要求1所述的补偿方法，其中，

所述步骤S3进一步包括：

步骤S31在至少两个双目摄像机中的重叠视野中具有同一标记物的双目摄像机中构建摄像机下的同一标记物坐标系；

步骤S32在至少两个双目摄像机中的所有摄像机中构建摄像机坐标系，

步骤S33将至少两个双目摄像机中的已识别跟踪目标的双目摄像机中的跟踪目标的第一位置信息通过位于所述已识别跟踪目标的双目摄像机下的标记物的第一位置信息转换到至少一个待补偿摄像机的视野范围内，以获得所述跟踪目标与至少一个待补偿摄像机的相对位置关系。

3.根据权利要求2所述的补偿方法，其中，

步骤S33进一步包括：

步骤S331将所述跟踪目标的第一位置信息通过标记物的第一位置信息转换到所述已识别跟踪目标的摄像机下的同一标记物坐标系下，以获得同一标记物坐标系下的跟踪目标的第二位置信息；

步骤S332将所述跟踪目标的第二位置信息通过在至少两个双目摄像机中的至少一个待补偿摄像机下的标记物的第二位置信息转换到所述至少一个待补偿摄像机中的摄像机坐标系下，以获得在所述至少一个待补偿摄像机中的摄像机坐标系下的跟踪目标的第三位置信息。

4.根据权利要求3所述的补偿方法，其中，

所述跟踪目标的第一位置信息包括当前跟踪目标在已识别其的摄像机的摄像机坐标系下的第i姿态矩阵,

所述跟踪目标的第二位置信息包括当前跟踪目标在位于已识别其的摄像机的视野范围内的标记物的同一标记物坐标系下的j姿态矩阵,

所述跟踪目标的第三位置信息包括当前跟踪目标在至少一个待补偿摄像机的摄像机坐标系下的第k姿态矩阵,

所述标记物的第一位置信息包括所述标记物在已识别当前跟踪目标的摄像机的摄像机坐标系下的第m姿态矩阵,

所述标记物的第二位置信息包括位于至少一个待补偿摄像机的视野范围内的标记物在待补尝摄像机的摄像机坐标系下的第n姿态矩阵。

5.根据权利要求4所述的补偿方法，其中，

所述步骤S332进一步包括以下步骤：

将当前跟踪目标的第j姿态矩阵左乘当前标记物的第n姿态矩阵获得当前跟踪目标在当前摄像机中的摄像机坐标系下的第k姿态矩阵,以将当前跟踪目标的第j姿态矩阵从至少两个双目摄像机中的第一摄像机的同一标记物坐标系下转换到所述至少一个待补偿摄像机中的第二摄像机的摄像机坐标系下，

所述当前跟踪目标位于所述第一摄像机的视野范围内，且不位于或部分位于第二摄像机的视野范围内，所述第一摄像机和第二摄像机之间具有第一重叠视野，且在所述第一重叠视野中具有第一标记物，

所述当前跟踪目标的第j姿态矩阵被配置成当前跟踪目标在第一摄像机下的第一标记物的坐标系下的姿态矩阵，

所述当前标记物的第n姿态矩阵被配置成第一标记物在第二摄像机下的姿态矩阵。

6.根据权利要求5所述的补偿方法，其中，

所述步骤S332进一步包括：

将当前跟踪目标在第二摄像机的摄像机坐标系下的姿态矩阵左乘在第二摄像机下的当前第二标记物在第二摄像机下的姿态矩阵的逆矩阵获得当前跟踪目标在第二摄像机下的第二标记物的坐标系下的姿态矩阵，以将当前跟踪目标的姿态矩阵从第二摄像机的摄像机坐标系下转换到第二摄像机下的当前第二标记物的坐标系下；

将当前跟踪目标在所述第二标记物的坐标系下的姿态矩阵左乘第二标记物在至少一个待补尝摄像机中的第三摄像机下的姿态矩阵获得当前跟踪目标在第三摄像机的摄像机坐标系下的姿态矩阵，以将当前跟踪目标的姿态矩阵从第二摄像机下的当前第二标记物的坐标系下转换到第三摄像机的摄像机坐标系下，

所述当前跟踪目标不位于或部分位于第三摄像机的视野范围内，

所述第二摄像机和第三摄像机之间具有第二重叠视野，且在第二重叠视野中具有第二标记物。

7.根据权利要求4-6中任一项所述的补偿方法，其中，

在步骤S331中，获得同一标记物坐标系下的跟踪目标的第一位置信息的步骤包括将当前跟踪目标的第i姿态矩阵左乘位于至少一个待补偿摄像机下的当前标记物的第m姿态矩阵的逆矩阵获得在至少一个待补偿摄像机下的当前标记物的坐标系下的当前跟踪目标的第j姿态矩阵。

8.根据权利要求1所述的补偿方法，其中，

所述步骤S3进一步包括以下步骤：

步骤S301提供服务端，将所述服务端与所述所有摄像机信号连接以存储来自所述所有摄像机的跟踪目标和标记物的实时信息；

步骤S302所述服务端查询所存储的跟踪目标的实时信息并判断所有摄像机的实时信息中是否存在所述跟踪目标的位置信息，当摄像机的实时信息中存在所述跟踪目标的位置信息时，则确定与所述实时信息对应的摄像机识别到所述跟踪目标，

当摄像机的实时信息中不存在所述跟踪目标的位置信息时，则确定与所述实时信息对应的摄像机缺失所述跟踪目标的视野。

9.根据权利要求8所述的补偿方法，其中，

所述信号连接为将所述至少两个双目摄像机中的每一个摄像机映射至所述服务端，使所述每一个摄像机在所述服务端中具有各自的虚拟地址，

所述跟踪目标的实时信息包括跟踪目标的姿态矩阵、所述跟踪目标的唯一标识和传输所述实时信息的对应的所述虚拟地址，

所述跟踪目标的位置信息包括跟踪目标的姿态矩阵和跟踪目标的唯一标识。

10.一种基于多摄像机模组补偿的跟踪目标的注册方法，其中所述多摄像头模组补偿的步骤是根据权利要求1-9中任一项所述的补偿方法，所述注册方法包括以下步骤：

步骤S210构建与所述跟踪目标对应的可视化跟踪目标模型；

步骤S220根据在所述至少一个待补偿摄像机中的对应的待补偿摄像机中所增加的跟踪目标，将所述跟踪目标与所述可视化跟踪模型进行配准以注册所述跟踪目标。

11.根据权利要求10所述的注册方法，其中，

在步骤S210中，还构建有所述对应的待补偿摄像机下的跟踪目标初始姿态的坐标系，

在步骤S220中，注册所述跟踪目标的步骤包括获取所述跟踪目标的坐标，并根据所述跟踪目标的坐标与增加至所述对应的待补偿摄像机中的跟踪目标获得所述跟踪目标初始姿态的坐标系下的坐标。

12.根据权利要求11所述的注册方法，其中，

获得所述跟踪目标初始姿态的坐标系下的坐标的步骤包括将获取的跟踪目标的坐标左乘增加至所述对应的待补偿摄像机中的跟踪目标的摄像机坐标系下的姿态矩阵的逆矩阵以获得跟踪目标在所述跟踪目标初始姿态的坐标系下的坐标。

13.根据权利要求11或12所述的注册方法，其中，

在步骤S210中，还构建有与所述可视化跟踪模型匹配的可视化跟踪模型坐标系，

在步骤S220中，将所述跟踪目标与所述可视化跟踪模型进行配准的步骤包括：将所获得的跟踪目标初始姿态的坐标系下的坐标与所述可视化跟踪模型中相对应的参考点在所述可视化跟踪模型坐标系中的坐标通过四元数算法或奇异值分解算法求解以获得跟踪目标初始姿态的坐标系下的坐标与所述对应的参考点之间的空间变换矩阵以实现所述跟踪目标的注册。

14.根据权利要求13所述的注册方法，其中，

所述跟踪目标的坐标通过定位工具接触所述跟踪目标获得。

15.一种可读存储介质，其特征在于，

所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时以执行以下中的至少一种：

权利要求1-9中任一项所述的基于多摄像机模组的补偿方法；和

权利要求10-14中任一项所述的基于多摄像机模组补偿的跟踪目标的注册方法。

Images