CN106023139A - 一种基于多摄像机的室内跟踪定位方法和系统 - Google Patents

Abstract

本发明涉及一种基于多摄像机的室内跟踪定位方法和系统，所述方法包括：分别检测t₀时刻对同一目标对象拍摄的图像的亮点；基于每幅图像每个亮点，当在其他至少一幅图像中存在匹配亮点时，将该亮点和与该匹配亮点作为点对保存至点对集合中，根据所有点对计算对应目标点空间坐标，作为已跟踪目标点；预测已跟踪目标点在t1时刻空间坐标，并投影至各个摄像机，得到t1时刻预测亮点；t1＝t0+kM，k为两幅图像的时间间隔；基于每个摄像机检测的t1时刻所有亮点，在以d为直径的圆区域内搜索对应亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，计算已跟踪目标点在t1时刻空间坐标，将M+1赋值给M，继续跟踪。本发明能够很好地解决遮挡问题。

Description

一种基于多摄像机的室内跟踪定位方法和系统

技术领域

本发明涉及跟踪定位技术领域，具体涉及一种基于多摄像机的室内跟踪定位方法和系统。

背景技术

在计算机视觉及其相关领域的应用中，对目标点进行跟踪与三维定位尤其重要，现有技术中，跟踪定位系统使用高帧率摄像机，并采用主动红外照明的跟踪方式，系统中每个部件以及整体的造价昂贵，采用一般摄像机，跟踪过程中稳定性不够好，并且不能很好地解决遮挡问题。

发明内容

本发明所要解决的技术问题是提供一种基于多摄像机的室内跟踪定位方法和系统，稳定性好，且能够很好地解决遮挡问题。

本发明解决上述技术问题的技术方案如下：一种基于多摄像机的室内跟踪定位方法，包括：

S1，获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

S2，分别检测每幅图像中的亮点；

S3，基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

S4，预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；

S5，基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，重复S4-S5继续跟踪；所述d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离。

本发明的有益效果是：通过预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，以此解决遮挡问题；即当一台摄像机被遮挡，此摄像机拍摄的图像中无法观察到目标点，但是还可以根据其他相机计算出目标点的空间位置，再反投影回摄像机图像中，由此获得该目标点在被遮挡摄像机图像中的位置，并且当遮挡消除的时候，还可以根据点位置信息进行跟踪。

在上述技术方案的基础上，本发明还可以做出如下改进：所述S5之后还包括：

S6，选取下一时刻的任一幅摄像机图像作为参考图像，对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若所述亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回S4。

采用上述进一步方案的有益效果是：采用先找已跟踪目标点再匹配剩余点的方式，可以有效提高跟踪准确性，降低错误匹配率。

进一步，所述S5中基于每个摄像机检测到的下一时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点时，还包括：

基于每个摄像机，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将所述圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算所述该目标点在下一时刻的目标点坐标。

进一步，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

$C_{ij}=\[x_1^i\mathrm{...}{x}_n^i\]F_{ij}\left[\begin{array}{c}{x}_1^j\\ ...\\ x_m^j\end{array}\right];$

式中，F_ij表示在所述圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在所述圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，所述小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据所述点对计算所述匹配的点对对应的目标点的空间坐标。

采用上述进一步方案的有益效果是：在预测目标点下一时刻轨迹的基础上增加通过基础矩阵匹配亮点的跟踪方式，能够很好地提高跟踪稳定性。

进一步，所述S5对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

$C_{IJ}=\left[\begin{array}{ccc}{x}_1^I& \mathrm{...}& x_N^I\end{array}\right]F_{IJ}\left[\begin{array}{c}{x}_1^J\\ \mathrm{...}\\ x_M^J\end{array}\right];$

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

进一步，所述S3按照以下方法实施：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\left[\begin{array}{ccc}{x}_1^R& \mathrm{...}& x_k^R\end{array}\right]F_{RT}\left[\begin{array}{c}{x}_1^T\\ \mathrm{...}\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

进一步，所述S1之前还包括：

利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；

固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；

使用梯度下降法求取每个摄像机的外参数。

采用上述进一步方案的有益效果是：使用先单独标定再组合标定的方法,在实地搭建过程中固定摄像机内参数与畸变校正系数，使用梯度下降法求取摄像机外参数，可以有效缩短标定时间。

本发明解决上述技术问题的另一种技术方案如下：一种基于多摄像机的室内跟踪定位系统，包括：

图像获取模块，用于获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

亮点检测模块，用于分别检测每幅图像中的亮点；

目标点计算模块，用于基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

轨迹预测模块，用于预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；

目标点搜索模块，用于基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，返回轨迹预测模块继续跟踪；所述d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离。

本发明的有益效果是：通过轨迹预测模块预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；目标点搜索模块基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，以此解决遮挡问题；即当一台摄像机被遮挡，此摄像机拍摄的图像中无法观察到目标点，但是还可以根据其他相机计算出目标点的空间位置，再反投影回摄像机图像中，由此获得该目标点在被遮挡摄像机图像中的位置，并且当遮挡消除的时候，还可以根据点位置信息进行跟踪。

在上述技术方案的基础上，本发明还可以做出如下改进：还包括匹配模块，用于选取下一时刻的任一幅摄像机图像作为参考图像，对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若所述亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回轨迹预测模块继续执行。

采用上述进一步方案的有益效果是：采用先找已跟踪目标点再匹配剩余点的方式，可以有效提高跟踪准确性，降低错误匹配率。

进一步，所述目标点预测模块，还用于：基于每个摄像机，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将所述圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算所述该目标点在下一时刻的目标点坐标。

进一步，当所述目标点预测模块在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

$C_{ij}=\left[\begin{array}{ccc}{x}_1^i& \mathrm{...}& x_n^i\end{array}\right]F_{ij}\left[\begin{array}{c}{x}_1^j\\ \mathrm{...}\\ x_m^j\end{array}\right];$

式中，F_ij表示在所述圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在所述圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，所述小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据所述点对计算所述匹配的点对对应的目标点的空间坐标。

采用上述进一步方案的有益效果是：在预测目标点下一时刻轨迹的基础上增加通过基础矩阵匹配亮点的跟踪方式，能够很好地提高跟踪稳定性。

进一步，所述目标点搜索模块对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

$C_{IJ}=\left[\begin{array}{ccc}{x}_1^I& \mathrm{...}& x_N^I\end{array}\right]F_{IJ}\left[\begin{array}{c}{x}_1^J\\ \mathrm{...}\\ x_M^J\end{array}\right];$

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

进一步，所述目标点计算模块具体采用以下方法计算目标点空间坐标：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\left[\begin{array}{ccc}{x}_1^R& \mathrm{...}& x_k^R\end{array}\right]F_{RT}\left[\begin{array}{c}{x}_1^T\\ \mathrm{...}\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

进一步，还包括标定模块，用于利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；和固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；以及使用梯度下降法求取每个摄像机的外参数。

附图说明

图1为本发明一种基于多摄像机的室内跟踪定位方法的流程示意图；

图2为本发明一种基于多摄像机的室内跟踪定位系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明一种基于多摄像机的室内跟踪定位方法的流程示意图。

在利用本发明的方法进行跟踪定位前，还包括以下步骤：

在工作区域(能够被识别的区域)中合理布置摄像机位置，保证工作区域至少被两台摄像机的视场覆盖；

利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；标定采用opencv函数库中的calibrateCamera()函数实现，该函数使用了张正友提出的摄像机标定算法；

固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；具体为：

1)拍摄图像并计算棋盘格图像的角点，使用opencv函数库中的findChessboardCorners()函数以及cornerSubPix()函数。求得的角点坐标表示为[u,v]，使用齐次坐标表示为

2)根据摄像机成像公式：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

式中，s表示齐次坐标缩放因子，P表示投影矩阵，P中包含相机的内参数和外参数；

设置目标函数为：

$E=min\left(\mathrm{\Σ}dis\tan ce\right(PX,\stackrel{\‾}{x}\left)\right)$

式中，X＝[x,y,z,1]表示三维点的齐次坐标，表示从摄像机图像中处理得出的图像坐标，distance(，)表示两个点的距离；

3)使用梯度下降法求取每个摄像机的外参数。

如图1所示，一种基于多摄像机的室内跟踪定位方法，包括：

S1，获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

S2，分别检测每幅图像中的亮点；

S3，基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

S4，预测每个已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；其中，预测每个已跟踪目标点在t1时刻的空间坐标时，是根据卡尔曼滤波方法进行预测；

S5，基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，重复S4-S5继续跟踪；d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离；

S6，选取下一时刻的任一幅摄像机图像作为参考图像，对参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回S4。

其中，S5中基于每个摄像机检测到的下一时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点时，还包括：

基于每个摄像机，若在圆区域内搜索到至少两个亮点时，将至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算该目标点在下一时刻的目标点坐标。

其中，若在圆区域内搜索到至少两个亮点时，将至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

$C_{ij}=\left[\begin{array}{ccc}{x}_1^i& \mathrm{...}& x_n^i\end{array}\right]F_{ij}\left[\begin{array}{c}{x}_1^j\\ \mathrm{...}\\ x_m^j\end{array}\right];$

式中，F_ij表示在圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据点对计算匹配的点对对应的目标点的空间坐标。

其中，S5对参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

$C_{IJ}=\left[\begin{array}{ccc}{x}_1^I& \mathrm{...}& x_N^I\end{array}\right]F_{IJ}\left[\begin{array}{c}{x}_1^J\\ \mathrm{...}\\ x_M^J\end{array}\right];$

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

其中，S3按照以下方法实施：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\left[\begin{array}{ccc}{x}_1^R& \mathrm{...}& x_k^R\end{array}\right]F_{RT}\left[\begin{array}{c}{x}_1^T\\ \mathrm{...}\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

如图2所示，一种基于多摄像机的室内跟踪定位系统，包括：

图像获取模块，用于获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

亮点检测模块，用于分别检测每幅图像中的亮点；

目标点计算模块，用于基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

轨迹预测模块，用于预测每个已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；其中，预测每个已跟踪目标点在t1时刻的空间坐标时，是根据卡尔曼滤波方法进行预测；

目标点搜索模块，用于基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，返回轨迹预测模块继续跟踪；d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离。

其中，还包括匹配模块，用于选取下一时刻的任一幅摄像机图像作为参考图像，对参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回轨迹预测模块继续执行。

其中，目标点预测模块，还用于：基于每个摄像机，若在圆区域内搜索到至少两个亮点时，将至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算该目标点在下一时刻的目标点坐标。

其中，当目标点预测模块在圆区域内搜索到至少两个亮点时，将至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

$C_{ij}=\left[\begin{array}{ccc}{x}_1^i& \mathrm{...}& x_n^i\end{array}\right]F_{ij}\left[\begin{array}{c}{x}_1^j\\ \mathrm{...}\\ x_m^j\end{array}\right];$

式中，F_ij表示在圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据点对计算匹配的点对对应的目标点的空间坐标。

其中，目标点搜索模块对参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

$C_{IJ}=\left[\begin{array}{ccc}{x}_1^I& \mathrm{...}& x_N^I\end{array}\right]F_{IJ}\left[\begin{array}{c}{x}_1^J\\ \mathrm{...}\\ x_M^J\end{array}\right];$

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

其中，目标点计算模块具体采用以下方法计算目标点空间坐标：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\left[\begin{array}{ccc}{x}_1^R& \mathrm{...}& x_k^R\end{array}\right]F_{RT}\left[\begin{array}{c}{x}_1^T\\ \mathrm{...}\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

其中，还包括标定模块，用于利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；和固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；以及使用梯度下降法求取每个摄像机的外参数。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于多摄像机的室内跟踪定位方法，其特征在于，包括：

S1，获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

S2，分别检测每幅图像中的亮点；

S3，基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

S4，预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；其中，t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；

S5，基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，重复S4-S5继续跟踪；所述d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离。

2.根据权利要求1所述一种基于多摄像机的室内跟踪定位方法，其特征在于，所述S5之后还包括：

S6，选取下一时刻的任一幅摄像机图像作为参考图像，对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若所述亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回S4。

3.根据权利要求1所述一种基于多摄像机的室内跟踪定位方法，其特征在于，所述S5中基于每个摄像机检测到的下一时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点时，还包括：

基于每个摄像机，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将所述圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算所述该目标点在下一时刻的目标点坐标。

4.根据权利要求3所述一种基于多摄像机的室内跟踪定位方法，其特征在于，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

式中，F_ij表示在所述圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在所述圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，所述小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据所述点对计算所述匹配的点对对应的目标点的空间坐标。

5.根据权利要求2所述一种基于多摄像机的室内跟踪定位方法，其特征在于，所述S5对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

$C_{\mathrm{IJ}}=\[\begin{array}{ccc}{x}_1^I& ...& x_N^I\end{array}\]F_{\mathrm{IJ}}\left[\begin{array}{c}{x}_1^J\\ ...\\ x_M^J\end{array}\right];$

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

6.根据权利要求1所述一种基于多摄像机的室内跟踪定位方法，其特征在于，所述S3按照以下方法实施：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\[\begin{array}{ccc}{x}_1^R& ...& x_k^R\end{array}\]F_{RT}\left[\begin{array}{c}{x}_1^T\\ ...\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

7.根据权利要求1所述一种基于多摄像机的室内跟踪定位方法，其特征在于，所述S1之前还包括：

利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；

固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；

使用梯度下降法求取每个摄像机的外参数。

8.一种基于多摄像机的室内跟踪定位系统，其特征在于，包括：

图像获取模块，用于获取t₀时刻室内多个摄像机对同一目标对象拍摄的图像；

亮点检测模块，用于分别检测每幅图像中的亮点；

目标点计算模块，用于基于每幅图像中的每个亮点，当在其他至少一幅图像中存在匹配的亮点时，将该亮点和与该亮点匹配的亮点作为点对保存至点对集合中，根据点对集合中所有点对计算对应的目标点空间坐标，得到多个目标点的空间坐标，作为已跟踪目标点；

轨迹预测模块，用于预测每个所述已跟踪目标点在t1时刻的空间坐标，并投影至各个摄像机中，得到t1时刻的预测亮点；t1＝t0+kM，k为摄像机拍摄的两幅图像中的时间间隔,M初始化为1；

目标点搜索模块，用于基于每个摄像机检测到的t1时刻的所有亮点，在以d为直径的圆区域内搜索已跟踪目标点对应的亮点，若在至少两个摄像机图像中分别搜索到一个与已跟踪目标点对应的亮点，根据搜索到的至少两个亮点计算并更新已跟踪目标点在t1时刻的空间坐标，将M+1赋值给M，返回轨迹预测模块继续跟踪；所述d为同一目标点在t0+k(M-1)时刻的亮点位置和在t0+kM时刻的预测亮点位置之间的距离。

9.根据权利要求8所述一种基于多摄像机的室内跟踪定位系统，其特征在于，还包括匹配模块，用于选取下一时刻的任一幅摄像机图像作为参考图像，对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配，若所述亮点在至少一幅其他摄像机图像中找到匹配点，根据该亮点和与该亮点对应的匹配点计算目标点的空间坐标，返回轨迹预测模块继续执行。

10.根据权利要求8所述一种基于多摄像机的室内跟踪定位系统，其特征在于，所述目标点预测模块，还用于：基于每个摄像机，若在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中针对同一目标点搜索到的亮点进行匹配，将所述圆区域内搜索到至少两个亮点中与其他摄像机图像中针对同一目标点搜索到的亮点相匹配的亮点作为该摄像机最终搜索到的亮点，根据该摄像机最终搜索到的亮点和与其他摄像机图像中针对同一目标点搜索到的亮点计算所述该目标点在下一时刻的目标点坐标。

11.根据权利要求10所述一种基于多摄像机的室内跟踪定位系统，其特征在于，当所述目标点预测模块在所述圆区域内搜索到至少两个亮点时，将所述至少两个亮点与其他摄像机图像中和至少两个亮点对应的目标点搜索到的亮点进行匹配，具体按照以下方法实施：

构建该摄像机在圆区域内针对同一目标点搜索到的至少两个亮点与其他摄像机图像针对该目标点搜索到的亮点的矩阵；

$C_{ij}=\[\begin{array}{ccc}{x}_1^i& ...& x_n^i\end{array}\]F_{ij}\left[\begin{array}{c}{x}_1^j\\ ...\\ x_m^j\end{array}\right];$

式中，F_ij表示在所述圆区域内搜索到至少两个亮点的摄像机和其他任一摄像机间的基础矩阵，i表示在所述圆区域内搜索到至少两个亮点的摄像机，表示摄像机i所拍摄的一幅图像中的n个亮点；的下标表示一幅图像中检测到的亮点的编号；j表示其他任一摄像机，表示摄像机j所拍摄的一幅图像中的m个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_ij的每一行，寻找每一行中小于阈值的最小值，所述小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号，将小于阈值的最小值对应的行号和列号分别对应的两个摄像机中的亮点作为一对匹配的点对；

根据所述点对计算所述匹配的点对对应的目标点的空间坐标。

12.根据权利要求8所述一种基于多摄像机的室内跟踪定位系统，其特征在于，所述目标点搜索模块对所述参考图像中经过搜索后剩余的亮点，依次在其他摄像机图像的经过搜索后剩余的亮点中进行匹配时，具体按照以下方法实施：

构建参考图像中经过搜索后剩余的亮点与其他摄像机图像的经过搜索后剩余的亮点的矩阵；

式中，F_IJ表示参考图像对应的摄像机和其他各幅图像中的一幅图像对应的摄像机间的基础矩阵，I表示参考图像对应的摄像机编号，表示摄像机I所拍摄的一幅图像中的N个亮点；的下标表示一幅图像中检测到的亮点的编号；J表示其他各幅图像中的一幅图像对应的摄像机编号，表示摄像机J所拍摄的一幅图像中的M个亮点；的下标表示一幅图像中检测到的亮点的编号；

扫描矩阵C_IJ的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

根据所述所述矩阵C_IJ的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的计算两个亮点对应的目标点的空间坐标。

13.根据权利要求8所述一种基于多摄像机的室内跟踪定位系统，其特征在于，所述目标点计算模块具体采用以下方法计算目标点空间坐标：

构建任意两幅图像中亮点之间匹配关系的矩阵；

$C_{RT}=\[\begin{array}{ccc}{x}_1^R& ...& x_k^R\end{array}\]F_{RT}\left[\begin{array}{c}{x}_1^T\\ ...\\ x_h^T\end{array}\right];$

式中，F_RT表示任意两幅图像对应的摄像机R和T之间的基础矩阵，表示摄像机R所拍摄的一幅图像中的k个亮点；的下标表示摄像机R拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；表示摄像机T拍摄的一幅图像中的h个亮点；的下标表示摄像机T拍摄的一幅图像中检测到的亮点的编号，上标表示对应的摄像机编号；

扫描矩阵C_RT的每一行，寻找每一行中小于阈值的最小值，所述矩阵C_RT的每一行中小于阈值的最小值对应的行号和列号分别对应两个摄像机中亮点的编号；

将矩阵C_RT当前行中小于阈值的最小值的行号和列号分别对应的两个摄像机中亮点作为一对点对保存至点对集合中，返回继续扫描矩阵C_RT的行，直到将矩阵C_RT的所有行都扫描完。

14.根据权利要求8所述一种基于多摄像机的室内跟踪定位系统，其特征在于，还包括标定模块，用于利用标定板对每个摄像机单独标定，求取每个摄像机的内参数和畸变系数；和固定每个摄像机的内参数和畸变系数，通过多个摄像机公共区域的标定板对多个摄像机进行组合标定；以及使用梯度下降法求取每个摄像机的外参数。