CN108020158A - 一种基于球机的三维位置测量方法及装置 - Google Patents

Abstract

本发明涉及安防设备领域，尤其涉及一种基于球机的三维位置测量方法及装置。该方法为，在双目系统中引入球机，任意一个相机检测到待测量目标时，调整球机，获得待测量目标的目标点，并根据调整后的每一个相机的姿态角和焦距以及初始状态下标定的相机的外部参数和内部参数，计算获得待测量目标的三维位置。这样，获得待测量目标的三维位置，测量过程简单快捷，且球机可以根据待测量目标调整姿态角和焦距，保证待测量目标在图像中的分辨率，提高了目标检测、识别与跟踪的准确率；只在初始状态下进行标定，支持对动态目标的实时三维位置测量；获得的待测量目标的目标点，没有进行限制，不局限于相机的光轴方向，提高系统的实用性。

Description

一种基于球机的三维位置测量方法及装置

技术领域

本发明涉及安防设备领域，尤其涉及一种基于球机的三维位置测量方法及装置。

背景技术

在目标跟踪、行为分析等视频监控应用中，感兴趣目标的三维位置对于算法的分析和处理有重要作用，三维信息可以帮助系统把目标从复杂的背景干扰中提取出来，也可以帮助确认跟踪过程中是否发生了遮挡，同时，目标的很多动作、行为在三维空间中的定义更准确，如跌倒、奔跑等。

现有技术中，用于获取三维信息的电子设备有雷达、激光测距仪、结构光相机、飞行时间(Time of flight，TOF)相机、双目相机等。但是，这些电子设备并不能有效、准确地获得三维信息，使用范围也有限。

现有技术中，另一种双目相机的测距方法，为通过图像中心点凝视同一目标的方式构造三角测距模型，这种方法虽然可以减少信息冗余、缩短时间消耗、延长探测距离，但是，这种测距系统，实时性、实用性较低，不能满足实际的三维位置测量需求。

发明内容

本发明实施例提供一种基于球机的三维位置测量方法及装置，在保持对目标进行三维测量的同时，提高了系统对目标进行检测与跟踪的能力。

本发明实施例提供的具体技术方案如下：

一种基于球机的三维位置测量方法，应用于双目系统中，上述双目系统包括两个相机，其中至少一个相机为球机，上述方法包括：

双目系统确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；

双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；

双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。

本发明实施例中，双目系统确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。这样，双目系统中，引入了球机，球机可以根据待测量目标调整姿态角和焦距，保证待测量目标在图像中的分辨率，提高了目标检测、识别与跟踪的准确率；并且，只在初始状态下进行标定，无需在测量过程中进行标定，支持对动态目标的实时三维位置测量；获得的待测量目标的目标点，并没有进行限制，不局限于相机的光轴方向，提高系统的实用性；根据初始状态下标定的内部参数、外部参数以及相机调整后相机的姿态角和焦距，直接计算获得待测量目标的三维位置，测量过程简单快捷。

较佳的，双目系统确定任意一个相机检测到待测量目标之前，进一步包括：

将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系；

基于上述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定的外部参数和内部参数。

较佳的，双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点，具体包括：

根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使上述待测量目标位于上述球机的视野范围内；

调整球机的焦距，直到确定上述待测量目标在球机的图像中的分辨率达到预设的阈值时，分别获得上述每一个相机各自拍摄得到的图像；

分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合；

在上述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在上述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的上述待测量目标的目标点。

较佳的，双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置，具体包括：

读取上述每一个相机中球机在调整姿态角时的旋转角度，并根据上述旋转角度，计算获得球机的旋转矩阵；

分别基于上述每一个相机的内部参数和上述每一个相机调整后的相机的焦距，获得上述每一个相机调整后的相机的图像中心点坐标，并基于上述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算上述每一个相机对应的目标点的方向向量；

根据上述旋转矩阵，将上述方向向量转换到在初始状态下标定的上述每一个相机的相机坐标系下；

根据上述每一个相机的外部参数，再将转换到在初始状态下标定的上述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中；

根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置。

较佳的，根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置，具体包括：

根据转换到世界坐标系下的方向向量，找到上述转换到世界坐标系下的方向向量的交点，并由上述交点和上述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得上述交点的三维坐标，以及将上述交点的三维坐标作为上述待测量目标的三维位置。

较佳的，进一步包括：

根据计算获得的上述待测量目标的三维位置，对上述待测量目标进行跟踪分析。

一种基于球机的三维位置测量装置，应用于双目系统中，所述双目系统包括多个相机，其中至少一个相机为球机，所述装置包括：

读取单元，用于确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；

获取单元，用于调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；

计算单元，用于分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。

本发明实施例中，双目系统确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。这样，双目系统中，引入了球机，球机可以根据待测量目标调整姿态角和焦距，保证待测量目标在图像中的分辨率，提高了目标检测、识别与跟踪的准确率；并且，只在初始状态下进行标定，无需在测量过程中进行标定，支持对动态目标的实时三维位置测量；获得的待测量目标的目标点，并没有进行限制，不局限于相机的光轴方向，提高系统的实用性；根据初始状态下标定的内部参数、外部参数以及相机调整后相机的姿态角和焦距，直接计算获得待测量目标的三维位置，测量过程简单快捷。

较佳的，双目系统确定的任意一个相机检测到待测量目标之前，进一步包括，标定单元，用于：

将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系；

基于上述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定的外部参数和内部参数。

较佳的，双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点时，获取单元具体用于：

根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使上述待测量目标位于上述各个球机的视野范围内；

调整球机的焦距，直到确定上述待测量目标在球机的图像中的分辨率达到预设的阈值时，分别获得上述每一个相机各自拍摄得到的图像；

分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合；

在上述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在上述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的上述待测量目标的目标点。

较佳的，双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置时，计算单元具体用于：

读取上述每一个相机中球机在调整姿态角时的旋转角度，并根据上述旋转角度，计算获得球机的旋转矩阵；

分别基于上述每一个相机的内部参数和上述每一个相机调整后的相机的焦距，获得上述每一个相机调整后的相机的图像中心点坐标，并基于上述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算上述每一个相机对应的目标点的方向向量；

根据上述旋转矩阵，将上述方向向量转换到在初始状态下标定的上述每一个相机的相机坐标系下；

根据上述每一个相机的外部参数，再将转换到在初始状态下标定的上述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中；

根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置。

较佳的，根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置时，计算单元具体用于：

根据转换到世界坐标系下的方向向量，找到上述转换到世界坐标系下的方向向量的交点，并由上述交点和上述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得上述交点的三维坐标，以及将上述交点的三维坐标作为上述待测量目标的三维位置。

较佳的，进一步包括，跟踪分析单元，用于：

根据计算获得的上述待测量目标的三维位置，对上述待测量目标进行跟踪分析。

附图说明

图1为本发明实施例中，基于球机的三维位置测量方法的流程图；

图2为本发明实施例中，计算目标点的方向向量时的示意图；

图3为本发明实施例中，计算待测量目标的三维位置时的示意图；

图4为本发明实施例中，基于球机的三维位置测量装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了实现对动态目标的实时三维测量的同时，提高系统对目标进行检测、跟踪、识别的能力，本发明实施例中，在双目系统中引入球机，在任意一个相机检测到待测量目标时，调整球机，获得待测量目标的目标点，并根据计算的球机调整时的旋转矩阵和初始状态下相机的外部参数和内部参数，计算获得目标点的三维位置，进而根据计算的三维位置进行目标跟踪、检测等。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

本发明实施例中，双目系统包括两个相机，并在双目系统中引入球机，即其中，至少一个相机为球机，具体可以分为：只有两个相机且两个相机都为球机(以下简称为双球系统)、只有两个相机且一个相机为球机另一个相机为枪机(以下简称为一枪一球系统)。

下面先简单介绍下球机和枪机的区别：

球机与枪机在结构上的关键差别是，球机可以沿水平转动轴和竖直转动轴旋转，且旋转的指令是精确可控的。球机在转动过程中，光轴始终垂直两根转动轴，球机光心与两根转动轴的交点重合。将该交点定义为球机的中心，并定义球机坐标系，X轴沿竖直转动轴向右，Y轴沿水平转动轴向下，Z轴沿光轴方向。但实际中，由于制造工艺与产品定位的差异，有些球机在结构上并不能完全符合以上模型，但可以通过标定的方式将这个差异在算法中进行补偿。例如，若球机的光轴可能不完全垂直于两根转动轴，则球机相机坐标系与球机坐标系间的变换增加一个旋转矩阵。又例如，若球机的光轴垂直于两根转动轴，但光心并不与两根转动轴交点重合，则球机的相机坐标系与球机坐标系间的变换增加一个平移矩阵。因此，在本发明实施例中，认为球机的相机坐标系(以相机光心为中心)与球机坐标系(以两根转动轴交点为中心)重合。

而枪机，在不考虑额外安装可控云台的情况下，枪机安装后的视角是固定的，因此，在本发明实施例中，不需要在枪机下安装可控云台，认为枪机的姿态角是不可调的。

本发明实施例中，主要针对双目系统中包括两个相机的情况进行说明，当然，双目系统中也可以包括多个相机，其中至少一个相机为球机，具体为：有多个相机且多个相机为球机多个相机为枪机(以下简称为多枪多球系统)。这种包括多个相机的情况也可以应用本发明实施例的方法，本发明实施例中，就不再详细进行赘述了。

参阅图1所示，本发明实施例中，基于球机的三维位置测量方法的具体流程如下：

步骤100：双目系统确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距。

在执行步骤100之前，进一步包括：对相机进行标定，具体包括：

首先，将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系。

然后，基于上述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定后的外部参数和内部参数。

以双球系统为例，将两个都为球机的相机调整为初始状态，即将球机的旋转角度置零，将其中一个相机的的相机坐标系，例如为C_l，设置为世界坐标系，例如为O_w，标定得到另一个相机的相机坐标系，例如为C_r，相对于世界坐标系O_w(即相机坐标系C_l)的外部参数为(R₀,T₀)，则对相机坐标系C_r中的任意点P_r，在世界坐标系O_w中的坐标可表示为P_r′＝R₀P_r+T₀，T₀为相机坐标系C_r在世界坐标系中的三维位置，R₀为相机坐标系C_r的姿态角的旋转矩阵。

并且，标定得到这两个相机的内部参数，其中一个相机的内部参数为：相机图像中心点坐标为c_l，相机焦距为f_l，另一个相机的内部参数为：相机图像中心点坐标为c_r，相机焦距为f_r。其中，相机图像中心点的物理含义是相机光轴方向与图像平面的交点。

其中，本发明实施例中，对于具体的标定方法，并不进行限定，可以采用现有技术中的相机标定方法，在此就不一一进行赘述。

当然，对于一枪一球系统和多枪多球系统，标定过程是一样的，设置任意一个相机的相机坐标系为世界坐标系，上述任意一个相机可以为球机也可以为枪机。

值得说明的是，本发明实施例中的，相机标定，只在执行步骤100之前，即在初始状态下，进行一次标定，在之后的三维位置测量过程中，就不再需要再次标定了，这样可以支持实时检测和跟踪。

在执行步骤100时，其中，确定任意一个相机检测到待测量目标，这里的待测量目标可以为车辆、行人、人脸等任何感兴趣的目标。当然，上述待测量目标可以同时位于多个相机的视野内，也可以只位于其中一个相机的视野内，但对于一枪一球系统，待测量目标必须在枪机的视野中，否则系统退化为单球机系统。也就是说，确定检测到待测量目标的相机可能是球机，也可能是枪机。

步骤110：双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点。

执行步骤110时，具体包括：

首先，根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使上述待测量目标位于上述球机的视野范围内。

较佳的，综合考虑精度、目标跟踪鲁棒性等因素，在进行单个目标检测与跟踪时，可使待测量目标尽量位于图像中心附近。

然后，调整球机的焦距，直到确定上述待测量目标在球机的图像中的分辨率达到预设的阈值时，分别获得上述每一个相机各自拍摄得到的图像。

这样，调整相机的焦距，使得待测量目标在图像中的分辨率适合目标识别与跟踪。其中，预设的阈值和使用的算法、待测量目标和应用场景有关，对于不同的情况，预设的阈值取值是不同的。

进一步地，在调整球机的焦距的时候，也会调整枪机的焦距，例如，对于一枪一球系统，当待测量目标出现在枪机的视野中后，就需要调整球机姿态角，主动搜寻待测量目标，使待测量目标出现在球机的视野内，然后，同时调整枪机和球机的焦距，使待测量目标在对应图像中的分辨率达到预设的阈值。

然后，分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合。

其中，特征点可以为SIFT、SURF、Harris等传统特征点，也可以为车牌、人眼等具有特殊意义的点。

最后，在上述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在上述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的上述待测量目标的目标点。

这样，在匹配成功时，则可以确认相机检测到的是同一待测量目标，并且确定了待测量目标的目标点，也就完成了相机对待测量目标的锁定。

当然，也可以从拍摄得到的每一个图像中的待测量目标上选择多个相同的特征点，完成球机对目标的锁定，如果选择多个相同的特征点，就会获得多个特征点集合，每一个特征点集合分别进行上述的匹配过程，如果都匹配成功，就可以获得多个不同的目标点，但是在之后计算待测量目标的三维位置时，是针对两个相机对应的待测量目标的相同的目标点进行计算，也就是说，根据每两个相同的目标点，可以计算获得一个三维坐标，且计算过程是相同的，因此，本发明实施例中，仅以从拍摄得到的每一个图像中的待测量目标上选择同一个特征点为例进行说明。

步骤120：双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。

计算步骤120时，具体包括：

首先，读取上述每一个相机中球机在调整姿态角时的旋转角度，并根据上述旋转角度，计算获得球机的旋转矩阵。

值得说明的是，本发明是实施例中，是针对包括两个相机的双目系统，因此，直接使用该两个相机来计算待测量目标的三维位置即可，如果是对于多枪多球系统，则只需从检测到待测量目标的相机和球机中，任意选定两个相机即可。

其中，若每一个相机都为球机，则每一个球机都需要计算相应的旋转矩阵，而如果每一个相机一个为球机一个为枪机，则只需要计算球机的旋转矩阵即可。

例如，以计算一个球机的旋转矩阵为例，读取球机在调整姿态角时的旋转角度，其中旋转角度包括绕竖直转动轴(球机相机坐标系X轴)的角度α、绕水平转动轴(球机相机坐标系Y轴)的角度β，则旋转矩阵R可表示为：

则，对于初始状态下，在球机的相机坐标系中的三维点P，在调整后的球机的相机坐标系下的坐标为：

然后，分别基于上述每一个相机的内部参数和上述每一个相机调整后的相机的焦距，获得上述每一个相机调整后的相机的图像中心点坐标，并基于上述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算上述每一个相机对应的目标点的方向向量。

参阅图2所示，为计算目标点的方向向量时的示意图。其中，C为相机坐标系中心点，c(u₀,v₀)为图像中心点坐标，为相机光轴CZ与图像平面的交点，p(u,v)为目标点在图像中的坐标，CP即为目标点的方向向量。

具体地，在步骤110中，例如，调整后的上述每一个相机的焦距分别为和根据上述每一个相机调整后的相机的焦距和上述每一个相机的内部参数，计算获得上述每一个相机调整后的相机的图像中心点坐标分别为c_l(u_0l,v_0l)和c_r(u_0r,v_0r)，从上述每一个相机对应的图像中获取的目标点分别为p_l(u_l,v_l)和p_r(u_r,v_r)，则上述每一个相机对应的目标点的方向向量分别为与

然后，根据上述旋转矩阵，将上述方向向量转换到在初始状态下标定的上述每一个相机的相机坐标系下。

例如，为双球系统，计算得到的旋转矩阵分别为R_l和R_r，则将上述方向向量转换到在初始状态下标定的上述每一个相机的相机坐标系下，分别为：和

然后，根据上述每一个相机的外部参数，再将转换到在初始状态下标定的上述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中。

例如，上述每一个相机的外部参数分别为(R_0l,T_0l)和(R_0r,T_0r)，则将转换到在初始状态下标定的上述每一个相机的相机坐标系下的方向向量分别转换到设置的世界坐标系统中为：和

最后，根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置。

具体包括：根据转换到世界坐标系下的方向向量，找到上述转换到世界坐标系下的方向向量的交点，并由上述交点和上述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得上述交点的三维坐标，以及将上述交点的三维坐标作为上述待测量目标的三维位置。

参阅图3所示，为计算待测量目标的三维位置的示意图。

例如，上述每一个相机在初始状态下标定的相机坐标系中心点分别为C_l和C_r，上述转换到世界坐标系中的向量分别为和在理想情况下，和都准确地指向三维空间中的同一点(即获得的目标点对应的三维点)，则其交点P与C_l、C_r构成了一个三角形，可利用空间几何知识求解点P，即交点P的三维坐标，也就获得待测量目标的三维位置。

但在实际情况下，由于机械误差、特征点定位误差以及图像分辨率的影响，和往往不在同一平面上，并不能直接求得交点。

可以采用以下两种方法：

1)可以将目标点P定义为空间中到与的欧氏距离之和最小的点，并进行求解。

2)选择或作为无误差的方向，如果认为是无误差的方向，则首先根据C_l、C_r、求解它们所确定的平面π的方程，然后将沿平面π的法方向投影到平面π，投影后的方向矢量记为则目标点坐标P为与的交点坐标。

当然，获得交点P的方法并不仅限于以上两种，本发明实施例只是给出了较佳的两种方法，可以采用现有技术中的其它方法来获得交点P，在此就不一一赘述了。

进一步地，根据计算获得的上述待测量目标的三维位置，就可以对上述待测量目标进行检测、建模、跟踪以及行为分析等。

下面采用一个具体的应用场景，分别针对上述双球系统、一球一枪系统和多球多枪系统进行介绍。

(一)针对双球系统，移动物体抓拍

初始状态：两球机旋转角度置零，分别监控不同的区域或较少重合区域，以增加系统总监控范围。

首先，对双球系统进行标定，分别得到每一个相机的内部参数和外部参数。

然后，当任意一个球机视野中发现感兴趣的目标，如任意移动物体时，根据该目标在图像中的位置与每一个相机的内部参数和外部参数，控制另一个球机拍摄该目标，并使两个相机按步骤110锁定该目标。

最后，按步骤120测量获得目标当前位置的三维坐标P₀，并与类别、颜色等其它信息共同对目标进行描述，建立标签。

这样，当需测量目标的速度时，则控制两个球机跟踪该目标，经过时间t后，再次锁定该目标并测量得到目标在该时刻的三维坐标P_t，则目标在时间段t内的平均速度矢量为：

目标的三维位置与速度信息对于异常行为分析有重要作用，如歹徒行凶后一般会以较快的速度逃离现场，对快速移动的人进行连续跟踪抓拍有利于更准确记录犯罪嫌疑人的体表特点以进行后续抓捕。

(二)一枪一球系统，违章停车检测

初始状态：将枪机视场调整至需要不间断监控的区域，并将球机旋转角度置零，其旋转后能覆盖枪机的视场。

首先，对一枪一球系统进行标定，分别得到每一个相机标定的内部参数和外部参数。

然后，当枪机视野中发现感兴趣的目标时，如进入禁止停车区域的车辆，根据该目标在图像中的位置与每一个相机的内部参数和外部参数，控制球机拍摄该目标，并使球机根据步骤110锁定该目标。

最后，根据步骤120，测量目标当前位置的三维坐标，确认目标车辆已经在禁止停车区域停车，则调整球机抓拍其车牌信息。并与车辆类别、颜色等其它信息共同对目标进行描述，建立标签。

这样，当检测到违章车辆离开该停车位置时，控制球机对该目标进行跟踪并确认其离开，记录违章停车持续时间。

目标的三维位置信息有助于提高车辆违章行为检测的准确度，尤其是当场景中包含较密集的违章车辆时。

(三)多枪多球系统，跨相机重要目标跟踪

在较广阔的广场或大型建筑物周围，单相机无法监控整个环境，需要使用多相机联合监控方案，但当感兴趣目标从一个相机视场进入到另一个相机视野时，由于遮挡、视角突变、目标表观变化等因素，难以实现目标的跨相机连续跟踪，根据本发明实施例计算得到的目标的三维位置，能够极大地提升跟踪算法的准确性和鲁棒性。

初始状态：系统中所有球机旋转角度置零，感兴趣区域至少可以被一台球机与一台其它相机(球机或枪机)同时监测。

首先，对多枪多球系统进行标定，分别得到每一个相机的内部参数和外部参数。

然后，当任意相机视野中检测到需要重点关注的目标，如行为异常、携带异常物品的危险分子时，根据该目标在图像中的位置与每一个相机的内部参数和外部参数，控制可监测到该区域的另一球机拍摄该目标，并使两个相机根据步骤110锁定该目标。

最后，根据步骤120，测量目标当前位置的三维坐标P₀，并与类别、颜色等其它信息共同对目标进行描述，建立标签。

这样，当需测量目标的速度时，则控制两球机跟踪该目标，经过时间t后，再次锁定该目标并测量得到目标在该时刻的三维坐标P_t，则目标在时间段t内的平均速度矢量为：

目标的三维位置与速度信息对于跨相机目标跟踪有重要作用：

1)能够帮助判断目标是否被遮挡；

2)三维位置信息不会被跨相机时发生的视角突变影响；

3)目标的各种表观变化，如穿衣脱衣、戴帽子、旋转等都不会引起三维位置的突变；

4)当目标快速移动时，目标的三维速度矢量信息可以帮助跟踪算法预判目标的轨迹，提高跟踪准确度。

对异常目标的跨相机连续跟踪能够长时间对异常目标进行分析，有利于滤除虚警，也有利于进一步确认异常目标的危险系数。对于预防事故发生、锁定犯罪分子、及时减低危险因素等需求有重要作用。

基于上述实施例，参阅图4所示，本发明实施例中，基于球机的三维位置测量装置，具体包括：

读取单元20，用于确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；

获取单元21，用于调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；

计算单元22，用于分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。

较佳的，双目系统确定任意一个相机检测到待测量目标之前，进一步包括，标定单元23，用于：

将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系；

基于上述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定的外部参数和内部参数。

较佳的，双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点时，获取单元21具体用于：

根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使上述待测量目标位于上述各个球机的视野范围内；

调整球机的焦距，直到确定上述待测量目标在各个球机的图像中的分辨率达到预设的阈值时，分别获得上述每一个相机各自拍摄得到的图像；

分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合；

在上述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在上述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的上述待测量目标的目标点。

较佳的，双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置时，计算单元22具体用于：

读取上述每一个相机中球机在调整姿态角时的旋转角度，并根据上述旋转角度，计算获得球机的旋转矩阵；

分别基于上述每一个相机的内部参数和上述每一个相机调整后的相机的焦距，获得上述每一个相机调整后的相机的图像中心点坐标，并基于上述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算上述每一个相机对应的目标点的方向向量；

根据上述旋转矩阵，将上述方向向量转换到在初始状态下标定的上述每一个相机的相机坐标系下；

根据上述每一个相机的外部参数，再将转换到在初始状态下标定的上述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中；

根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置。

较佳的，根据转换到世界坐标系下的方向向量，计算获得上述待测量目标的三维位置时，计算单元22具体用于：

根据转换到世界坐标系下的方向向量，找到上述转换到世界坐标系下的方向向量的交点，并由上述交点和上述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得上述交点的三维坐标，以及将上述交点的三维坐标作为上述待测量目标的三维位置。

较佳的，进一步包括，跟踪分析单元24，用于：

根据计算获得的上述待测量目标的三维位置，对上述待测量目标进行跟踪分析。

综上所述，本发明实施例中，双目系统确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，上述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，上述内部参数表征相机的图像中心点坐标和相机的焦距；双目系统调整球机的姿态角和焦距，并分别获得上述每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取上述待测量目标的目标点；双目系统分别基于上述每一个相机的内部参数、外部参数以及调整后的上述每一个相机的姿态角和焦距，计算获得上述待测量目标的三维位置。这样，双目系统中，引入了球机，球机可以根据待测量目标调整姿态角和焦距，保证待测量目标在图像中的分辨率，提高了目标检测、识别与跟踪的准确率；并且，只在初始状态下进行标定，无需在测量过程中进行标定，支持对动态目标的实时三维位置测量；获得的待测量目标的目标点，并没有进行限制，不局限于相机的光轴方向，提高系统的实用性；根据初始状态下标定的内部参数、外部参数以及相机调整后相机的姿态角和焦距，直接计算获得待测量目标的三维位置，测量过程简单快捷。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种基于球机的三维位置测量方法，应用于双目系统中，所述双目系统包括两个相机，其中至少一个相机为球机，其特征在于，所述方法包括：

双目系统确定的任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，所述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，所述内部参数表征相机的图像中心点坐标和相机的焦距；

双目系统调整球机的姿态角和焦距，并分别获得每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取所述待测量目标的目标点；

双目系统分别基于所述每一个相机的内部参数、外部参数以及调整后的所述每一个相机的姿态角和焦距，计算获得所述待测量目标的三维位置。

2.如权利要求1所述的方法，其特征在于，双目系统确定任意一个相机检测到待测量目标之前，进一步包括：

将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系；

基于所述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定的外部参数和内部参数。

3.如权利要求1所述的方法，其特征在于，双目系统调整球机的姿态角和焦距，并分别获得每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取所述待测量目标的目标点，具体包括：

根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使所述待测量目标位于所述球机的视野范围内；

调整球机的焦距，直到确定所述待测量目标在球机的图像中的分辨率达到预设的阈值时，分别获得每一个相机各自拍摄得到的图像；

分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合；

在所述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在所述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的所述待测量目标的目标点。

4.如权利要求1所述的方法，其特征在于，双目系统分别基于所述每一个相机的内部参数、外部参数以及调整后的所述每一个相机的姿态角和焦距，计算获得所述待测量目标的三维位置，具体包括：

读取所述每一个相机中球机在调整姿态角时的旋转角度，并根据所述旋转角度，计算获得球机的旋转矩阵；

分别基于所述每一个相机的内部参数和所述每一个相机调整后的相机的焦距，获得所述每一个相机调整后的相机的图像中心点坐标，并基于所述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算所述每一个相机对应的目标点的方向向量；

根据所述旋转矩阵，将所述方向向量转换到在初始状态下标定的所述每一相机的相机坐标系下；

根据所述每一个相机的外部参数，再将转换到在初始状态下标定的所述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中；

根据转换到世界坐标系下的方向向量，计算获得所述待测量目标的三维位置。

5.如权利要求4所述的方法，其特征在于，根据转换到世界坐标系下的方向向量，计算获得所述待测量目标的三维位置，具体包括：

根据转换到世界坐标系下的方向向量，找到所述转换到世界坐标系下的方向向量的交点，并由所述交点和所述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得所述交点的三维坐标，以及将所述交点的三维坐标作为所述待测量目标的三维位置。

6.如权利要求1-5任一项所述的方法，其特征在于，进一步包括：

根据计算获得的所述待测量目标的三维位置，对所述待测量目标进行跟踪分析。

7.一种基于球机的三维位置测量装置，应用于双目系统中，所述双目系统包括两个相机，其中至少一个相机为球机，其特征在于，所述装置包括：

读取单元，用于确定任意一个相机检测到待测量目标时，读取每一个相机在初始状态下标定的外部参数和内部参数，其中，所述外部参数表征相机的相机坐标系中心点相对于设置的世界坐标系的三维位置和姿态角的旋转矩阵，所述内部参数表征相机的图像中心点坐标和相机的焦距；

获取单元，用于调整球机的姿态角和焦距，并分别获得每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取所述待测量目标的目标点；

计算单元，用于分别基于所述每一个相机的内部参数、外部参数以及调整后的所述每一个相机的姿态角和焦距，计算获得所述待测量目标的三维位置。

8.如权利要求7所述的装置，其特征在于，双目系统确定任意一个相机检测到待测量目标之前，进一步包括，标定单元，用于：

将每一个相机调整到初始状态，并将任意一个相机的相机坐标系设置为世界坐标系；

基于所述设置的世界坐标系，对每一个相机分别进行标定，获得每一个相机标定的外部参数和内部参数。

9.如权利要求7所述的装置，其特征在于，双目系统调整球机的姿态角和焦距，并分别获得每一个相机各自拍摄得到的图像，以及分别从每一个图像中获取所述待测量目标的目标点时，获取单元具体用于：

根据待测量目标的方向和球机的外部参数，调整球机的姿态角，使所述待测量目标位于所述球机的视野范围内；

调整球机的焦距，直到确定所述待测量目标在球机的图像中的分辨率达到预设的阈值时，分别获得所述每一个相机各自拍摄得到的图像；

分别确定拍摄得到的每一个图像中的待测量目标的图像区域，获得图像区域集合，以及，分别从拍摄得到的每一个图像中的待测量目标上选取同一个特征点，获得特征点集合；

在所述图像区域集合中的所有图像区域之间进行任意两两匹配，以及在所述特征点集合中的所有特征点之间进行任意两两匹配，当确定任意两个图像区域之间的相似度均不小于预设的第一阈值，以及任意两个特征点的相似度均不小于预设的第二阈值时，确定匹配成功，并将每一个特征点分别作为对应的每一个图像中的所述待测量目标的目标点。

10.如权利要求7所述的装置，其特征在于，双目系统分别基于所述每一个相机的内部参数、外部参数以及调整后的所述每一个相机的姿态角和焦距，计算获得所述待测量目标的三维位置时，计算单元具体用于：

读取所述每一个相机中球机在调整姿态角时的旋转角度，并根据所述旋转角度，计算获得球机的旋转矩阵；

分别基于所述每一个相机的内部参数和所述每一个相机调整后的相机的焦距，获得所述每一个相机调整后的相机的图像中心点坐标，并基于所述每一个相机调整后的相机的图像中心点坐标和相机的焦距，计算所述每一个相机对应的目标点的方向向量；

根据所述旋转矩阵，将所述方向向量转换到在初始状态下标定的所述每一个相机的相机坐标系下；

根据所述每一个相机的外部参数，再将转换到在初始状态下标定的所述每一个相机的相机坐标系下的方向向量，分别转换到设置的世界坐标系中；

根据转换到世界坐标系下的方向向量，计算获得所述待测量目标的三维位置。

11.如权利要求10所述的装置，其特征在于，根据转换到世界坐标系下的方向向量，计算获得所述待测量目标的三维位置时，计算单元具体用于：

根据转换到世界坐标系下的方向向量，找到所述转换到世界坐标系下的方向向量的交点，并由所述交点和所述每一个相机在初始状态下标定的相机坐标系中心点构成一个三角形，计算获得所述交点的三维坐标，以及将所述交点的三维坐标作为所述待测量目标的三维位置。

12.如权利要求7-11任一项所述的装置，其特征在于，进一步包括，跟踪分析单元，用于：

根据计算获得的所述待测量目标的三维位置，对所述待测量目标进行跟踪分析。