CN111242988A - 一种广角相机与长焦相机联动双云台跟踪目标的方法 - Google Patents

Abstract

本发明公开了一种广角相机与长焦相机联动双云台跟踪目标的方法，包括如下步骤：广角相机进行目标识别，并对待跟踪目标进行标记；长焦相机对准广角相机，使长焦相机所在坐标系的Z轴与两相机的光心连线重合；转动长焦相机，搜寻广角相机内标记的待跟踪目标；长焦相机跟踪目标，并进行缩放查看目标。本发明所公开的方法可以自动进行目标识别、自动跟踪目标，提高检测速度与效率，性能可靠稳定。

Description

一种广角相机与长焦相机联动双云台跟踪目标的方法

技术领域

本发明涉及相机跟踪控制技术领域，特别涉及一种广角相机与长焦相机联动双云台跟踪目标的方法。

背景技术

目前，能进行视频联动的装置主要是全景相机与PTZ高速球机联动方法和装置。一般联动方法和装置在选取目标时通过肉眼判断感兴趣区域，手工用鼠标点取目标区域的一个点，PTZ相机放大此区域以进行细致观察，不能做到自动目标识别。一般联动方法和装置在查看一个目标时，由于没有目标识别的功能，因此就不能进行真正意义地跟踪目标。

并且，现有的联动方法和装置其全景相机是固定的，没有云台，在目标超出全景相机视角范围时，不可进行放大，也不可进行跟踪。在进行全景相机与PTZ相机标定时，标定过程复杂繁琐，需肉眼观察比对两个相机中同一个目标参照物，然后通过鼠标点选、填写复杂的人机交互对话框参数设置PTZ参数，专业性强，出错率高，稳定性差；并且需要全景相机与PTZ相机处于同一个水平面，普适性差。

发明内容

为解决上述技术问题，本发明提供了一种广角相机与长焦相机联动双云台跟踪目标的方法，以达到自动进行目标识别、提高检测速度与效率的目的。

为达到上述目的，本发明的技术方案如下：

一种广角相机与长焦相机联动双云台跟踪目标的方法，包括如下步骤：

步骤一，广角相机进行目标识别，并对待跟踪目标进行标记；

步骤二，长焦相机对准广角相机，使长焦相机所在坐标系的Z轴与两相机的光心连线重合；

步骤三，转动长焦相机，搜寻广角相机内标记的待跟踪目标；

步骤四，长焦相机跟踪目标，并进行缩放查看目标。

上述方案中，所述步骤一包括自动识别标记目标和人为框选目标两种方式。

进一步的技术方案中，所述自动识别标记目标包括以下步骤：

首先，准备训练样本并对样本进行标记，然后将样本输入已搭建好的卷积神经网络模型中进行训练，得到训练好的模型；

之后，读取视频流，捕捉视频帧，对图像进行预处理后，输入到训练好的模型中；

然后，利用模型提取图像特征，并进行特征分类，得到类别及位置信息，完成对目标的自动识别；

最后，人工对自动识别出来的某个目标进行标记，用于长焦相机对准和跟踪。

进一步的技术方案中，所述人为框选目标包括以下步骤：

在广角相机中人为框选的目标矩形框的左上角坐标为(x_d,y_d)，宽为w_d，高为h_d；

检测目标矩形框中在一定时间段内动态场景与静态场景的像素数量，设动态场景在矩形框内像素数量为N₁，定义动态场景在目标矩形框内的比例：

定义R₀为动态目标判定阈值，若

r>R₀

则判定为所框选目标为动态目标，此时忽略掉初始目标矩形框内的静态场景，并对动态像素进行标记用于长焦相机对准和跟踪；反之，则判定为静态目标，对静态像素进行标记用于长焦相机对准和缩放。

上述方案中，所述步骤二的具体方法如下：

假设广角相机的旋转状态为R_1w，长焦相机的旋转状态为R_2w，广角相机的光心为O'₁，长焦相机的光心为O'₂，长焦相机对准广角相机时的旋转状态为R_ow，长焦相机相对于广角相机的平移向量为t；

通过云台调整长焦相机到预设的对准状态，即使长焦相机所在坐标系的Z轴与

重合，以该状态为进行目标搜寻的起始状态，旋转长焦相机到对准状态时长焦相机的旋转矩阵为：

R＝R_owR_2w ^T。

上述方案中，所述步骤三的具体方法如下：

(1)计算待对齐目标框中心与广角相机光心所成的射线

确定长焦相机的搜索方向：

假设广角相机图像上标记的目标框的中心坐标为(x₁,y₁)，反投到归一化平面上的坐标P为：

其中，f_x,f_y为广角相机模型中将空间场景投影到图片上沿X轴和Y轴的缩放系数，c_x,c_y为广角相机模型中将空间场景投影到图片上的沿X轴和Y轴的平移量；

则目标框中心与广角相机光心所成的射线为：

(2)调整长焦相机状态使长焦相机坐标系XOZ面与射线

共面，使得搜寻目标时仅需转动长焦相机坐标系的Y轴；

对准状态下，长焦相机坐标系内一点P₀在广角相机坐标系内的坐标值P₁的转换关系为：

P₁＝R_1wR_ow ^TP₀+t

则长焦相机坐标系X轴上一点X_o＝[1 0 0]^T在广角相机坐标内的坐标X₁为：

X₁＝R_1wR_ow ^TX_o+t

将P点投影到

得在广角相机坐标内的投影坐标P'：

由此，计算出长焦相机坐标系X轴绕Z轴的旋转角度θ：

长焦相机坐标系的旋转方向由P点与O'₂的相对关系thr决定：

thr＝P.y-O'₂.y

其中，P.y，O'₂.y分别为P，O'₂在广角相机坐标系下的y坐标值；

当thr＞0时，绕Z轴顺时针旋转θ，当thr＜0时，绕Z轴逆时针旋转θ，当thr＝0时不操作；旋转后的长焦相机坐标系的XOZ面与广角相机光心到目标的射线

共面；

(3)长焦相机绕长焦相机坐标系Y轴匀速转动搜寻目标：

长焦相机从对准状态开始匀速转动，并在拍摄的图像中搜寻与目标特征相匹配的目标，并绘制该目标的匹配框；目标的匹配框的面积大小S在长焦相机的转动过程中由小变大再变小；计算匹配框面积的前后时刻变化状态ΔS：

ΔS＝S_new-S_old

其中，S_old为前一时刻的检测框面积，S_new为后一时刻的匹配框面积；当ΔS＜0时，返回前一时刻的长焦相机旋转状态。

上述方案中，所述步骤四的具体方法如下：

长焦相机记录的前一时刻的匹配框的左上角坐标为(x_old,y_old)，宽为w_old，高为h_old，缩放系数为k_old；当前时刻的匹配框的左上角坐标为(x_new,y_new)，宽为w_new，高为h_new；长焦相机拍摄图像的中心坐标

W₂为长焦相机拍摄图像的宽，H₂为长焦相机拍摄图像的高；

(1)静态目标

长焦相机搜寻到静态目标后，使当前时刻匹配框在图像中所占的比例大于期望比例σ₀，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算；

(2)动态目标

当目标移动时，使用长焦相机跟踪目标，不同的相机缩放系数对应不同的相机最大角速度；

在前一时刻的相机缩放系数下追踪目标，使目标匹配框处于图片中心；读取前一时刻缩放系数k_old对应的相机转动最大角速度r_{y_max}，r_{x_max}，

长焦相机绕Y轴转动的角速度公式如下：

长焦相机绕X轴转动的角速度公式如下：

其中，σ₁，σ₂为自定义参数；

缩放目标匹配框在图片中的面积，以便于查看目标：

调整相机缩放系数k_new，使当前时刻匹配框在图像中所占的比例大于期望比例σ₃，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算。

通过上述技术方案，本发明提供的广角相机与长焦相机联动双云台跟踪目标的方法利用广角相机的宽视角可进行远距离的多目标跟踪，同时利用长焦相机的近距离目标的细致观察。通过将两者标定联动，加上精确的云台运动控制具有如下有益效果：

1、自动多目标识别，可针对场景经常观察的目标进行针对性训练，自动识别并跟踪目标，并联动长焦相机进行更加细致有效的观察，极大地减少了体力劳动，提高了检测速度与效率；

2、自定义目标识别与跟踪，增加了系统的普适性，在大多数场景下，也增加了系统的稳定性；

3、自动场景对齐算法，可快速准确的对齐广角相机与长焦相机中的场景，提高了系统的响应效率，免去了人工手动对齐的复杂性，提高了系统的智能程度；

4、广角相机与长焦相机安装位置灵活，无须在同一水平上，扩展了系统的使用范围，简化了系统的搭载条件；

5、目标自动跟踪算法与云台控制算法协调合理，提高了云台控制的精度，保证了系统运行的有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种广角相机与长焦相机联动双云台跟踪目标的装置示意图；

图2为本发明所公开的一种广角相机与长焦相机联动双云台跟踪目标的方法流程示意图；

图3为本发明所公开的成像坐标示意图；

图4为目标自动识别流程图；

图5为广角相机拍摄图像；

图6为长焦相机拍摄图像。

图中，1、广角相机；2、长焦相机；3、云台一；4、云台二；5、支撑架一；6、支撑架二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种广角相机与长焦相机联动双云台跟踪目标的方法，采用如图1所述的装置，广角相机1通过云台一3安装于支撑架一5上，长焦相机2通过云台二4安装于支撑架二6上。云台一3和云台二4均可以自由转动。

如图2所示，一种广角相机与长焦相机联动双云台跟踪目标的方法，包括如下步骤：

步骤一，广角相机进行目标识别，并对待跟踪目标进行标记，如图5所示；

具体包括自动识别标记目标和人为框选目标两种方式。

如图4所示，自动识别标记目标包括以下步骤：

首先，准备训练样本并对样本进行标记，然后将样本输入已搭建好的卷积神经网络模型中进行训练，得到训练好的模型；

之后，读取视频流，捕捉视频帧，对图像进行预处理后，输入到训练好的模型中；

然后，利用模型提取图像特征，并进行特征分类，得到类别及位置信息，完成对目标的自动识别；

最后，人工对自动识别出来的某个目标进行标记，用于长焦相机对准和跟踪。

人为框选目标包括以下步骤：

在广角相机中人为框选的目标矩形框的左上角坐标为(x_d,y_d)，宽为w_d，高为h_d；

检测目标矩形框中在一定时间段内动态场景与静态场景的像素数量，设动态场景在矩形框内像素数量为N₁，定义动态场景在目标矩形框内的比例：

定义R₀为动态目标判定阈值，若

r>R₀

则判定为所框选目标为动态目标，此时忽略掉初始目标矩形框内的静态场景，并对动态像素进行标记用于长焦相机对准和跟踪；反之，则判定为静态目标，对静态像素进行标记用于长焦相机对准和缩放。

步骤二，长焦相机对准广角相机，使长焦相机所在坐标系的Z轴与两相机的光心连线重合；

假设广角相机的旋转状态为R_1w，长焦相机的旋转状态为R_2w，如图3所示，广角相机的光心为O'₁，长焦相机的光心为O'₂，长焦相机对准广角相机时的旋转状态为R_ow，长焦相机相对于广角相机的平移向量为t；

通过云台调整长焦相机到预设的对准状态，即使长焦相机所在坐标系的Z轴与

重合，以该状态为进行目标搜寻的起始状态，旋转长焦相机到对准状态时长焦相机的旋转矩阵为：

R＝R_owR_2w ^T。

步骤三，转动长焦相机，搜寻广角相机内标记的待跟踪目标；

(1)计算待对齐目标框中心与广角相机光心所成的射线

确定长焦相机的搜索方向：

假设广角相机图像上标记的目标框的中心坐标为(x₁,y₁)，反投到归一化平面上的坐标P为：

其中，f_x,f_y为广角相机模型中将空间场景投影到图片上沿X轴和Y轴的缩放系数，c_x,c_y为广角相机模型中将空间场景投影到图片上的沿X轴和Y轴的平移量；

则目标框中心与广角相机光心所成的射线为：

(2)调整长焦相机状态使长焦相机坐标系XOZ面与射线

共面，使得搜寻目标时仅需转动长焦相机坐标系的Y轴；

对准状态下，长焦相机坐标系内一点P₀在广角相机坐标系内的坐标值P₁的转换关系为：

P₁＝R_1wR_ow ^TP₀+t

则长焦相机坐标系X轴上一点X_o＝[1 0 0]^T在广角相机坐标内的坐标X₁为：

X₁＝R_1wR_ow ^TX_o+t

将P点投影到

得在广角相机坐标内的投影坐标P'：

由此，计算出长焦相机坐标系X轴绕Z轴的旋转角度θ：

长焦相机坐标系的旋转方向由P点与O'₂的相对关系thr决定：

thr＝P.y-O'₂.y

其中，P.y，O'₂.y分别为P，O'₂在广角相机坐标系下的y坐标值；

当thr＞0时，绕Z轴顺时针旋转θ，当thr＜0时，绕Z轴逆时针旋转θ，当thr＝0时不操作；旋转后的长焦相机坐标系的XOZ面与广角相机光心到目标的射线

共面；

(3)长焦相机绕长焦相机坐标系Y轴匀速转动搜寻目标：

长焦相机从对准状态开始匀速转动，并在拍摄的图像中搜寻与目标特征相匹配的目标，并绘制该目标的匹配框；目标的匹配框的面积大小S在长焦相机的转动过程中由小变大再变小；计算匹配框面积的前后时刻变化状态ΔS：

ΔS＝S_new-S_old

其中，S_old为前一时刻的检测框面积，S_new为后一时刻的匹配框面积；当ΔS＜0时，返回前一时刻的长焦相机旋转状态。

步骤四，长焦相机跟踪目标，并进行缩放查看目标，如图6所示。

长焦相机记录的前一时刻的匹配框的左上角坐标为(x_old,y_old)，宽为w_old，高为h_old，缩放系数为k_old；当前时刻的匹配框的左上角坐标为(x_new,y_new)，宽为w_new，高为h_new；长焦相机拍摄图像的中心坐标

W₂为长焦相机拍摄图像的宽，H₂为长焦相机拍摄图像的高；

(1)静态目标

长焦相机搜寻到静态目标后，使当前时刻匹配框在图像中所占的比例大于期望比例σ₀，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算；

(2)动态目标

当目标移动时，使用长焦相机跟踪目标，不同的相机缩放系数对应不同的相机最大角速度；

在前一时刻的相机缩放系数下追踪目标，使目标匹配框处于图片中心；读取前一时刻缩放系数k_old对应的相机转动最大角速度r_{y_max}，r_{x_max}，

长焦相机绕Y轴转动的角速度公式如下：

长焦相机绕X轴转动的角速度公式如下：

其中，σ₁，σ₂为自定义参数；

缩放目标匹配框在图片中的面积，以便于查看目标：

调整相机缩放系数k_new，使当前时刻匹配框在图像中所占的比例大于期望比例σ₃，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，包括如下步骤：

步骤一，广角相机进行目标识别，并对待跟踪目标进行标记；

步骤二，长焦相机对准广角相机，使长焦相机所在坐标系的Z轴与两相机的光心连线重合；

步骤三，转动长焦相机，搜寻广角相机内标记的待跟踪目标；

步骤四，长焦相机跟踪目标，并进行缩放查看目标。

2.根据权利要求1所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述步骤一包括自动识别标记目标和人为框选目标两种方式。

3.根据权利要求2所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述自动识别标记目标包括以下步骤：

首先，准备训练样本并对样本进行标记，然后将样本输入已搭建好的卷积神经网络模型中进行训练，得到训练好的模型；

之后，读取视频流，捕捉视频帧，对图像进行预处理后，输入到训练好的模型中；

然后，利用模型提取图像特征，并进行特征分类，得到类别及位置信息，完成对目标的自动识别；

最后，人工对自动识别出来的某个目标进行标记，用于长焦相机对准和跟踪。

4.根据权利要求2所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述人为框选目标包括以下步骤：

在广角相机中人为框选的目标矩形框的左上角坐标为(x_d,y_d)，宽为w_d，高为h_d；

检测目标矩形框中在一定时间段内动态场景与静态场景的像素数量，设动态场景在矩形框内像素数量为N₁，定义动态场景在目标矩形框内的比例：

定义R₀为动态目标判定阈值，若

r>R₀

则判定为所框选目标为动态目标，此时忽略掉初始目标矩形框内的静态场景，并对动态像素进行标记用于长焦相机对准和跟踪；反之，则判定为静态目标，对静态像素进行标记用于长焦相机对准和缩放。

5.根据权利要求1所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述步骤二的具体方法如下：

假设广角相机的旋转状态为R_1w，长焦相机的旋转状态为R_2w，广角相机的光心为O'₁，长焦相机的光心为O'₂，长焦相机对准广角相机时的旋转状态为R_ow，长焦相机相对于广角相机的平移向量为t；

通过云台调整长焦相机到预设的对准状态，即使长焦相机所在坐标系的Z轴与

重合，以该状态为进行目标搜寻的起始状态，旋转长焦相机到对准状态时长焦相机的旋转矩阵为：

R＝R_owR_2w ^T。

6.根据权利要求5所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述步骤三的具体方法如下：

(1)计算待对齐目标框中心与广角相机光心所成的射线

确定长焦相机的搜索方向：

假设广角相机图像上标记的目标框的中心坐标为(x₁,y₁)，反投到归一化平面上的坐标P为：

其中，f_x,f_y为广角相机模型中将空间场景投影到图片上沿X轴和Y轴的缩放系数，c_x,c_y为广角相机模型中将空间场景投影到图片上的沿X轴和Y轴的平移量；

则目标框中心与广角相机光心所成的射线为：

(2)调整长焦相机状态使长焦相机坐标系XOZ面与射线

共面，使得搜寻目标时仅需转动长焦相机坐标系的Y轴；

对准状态下，长焦相机坐标系内一点P₀在广角相机坐标系内的坐标值P₁的转换关系为：

P₁＝R_1wR_ow ^TP₀+t

则长焦相机坐标系X轴上一点X_o＝[1 0 0]^T在广角相机坐标内的坐标X₁为：

X₁＝R_1wR_ow ^TX_o+t

将P点投影到

得在广角相机坐标内的投影坐标P'：

由此，计算出长焦相机坐标系X轴绕Z轴的旋转角度θ：

长焦相机坐标系的旋转方向由P点与O'₂的相对关系thr决定：

thr＝P.y-O'₂.y

其中，P.y，O'₂.y分别为P，O'₂在广角相机坐标系下的y坐标值；

当thr＞0时，绕Z轴顺时针旋转θ，当thr＜0时，绕Z轴逆时针旋转θ，当thr＝0时不操作；旋转后的长焦相机坐标系的XOZ面与广角相机光心到目标的射线

共面；

(3)长焦相机绕长焦相机坐标系Y轴匀速转动搜寻目标：

长焦相机从对准状态开始匀速转动，并在拍摄的图像中搜寻与目标特征相匹配的目标，并绘制该目标的匹配框；目标的匹配框的面积大小S在长焦相机的转动过程中由小变大再变小；计算匹配框面积的前后时刻变化状态ΔS：

ΔS＝S_new-S_old

其中，S_old为前一时刻的检测框面积，S_new为后一时刻的匹配框面积；当ΔS＜0时，返回前一时刻的长焦相机旋转状态。

7.根据权利要求6所述的一种广角相机与长焦相机联动双云台跟踪目标的方法，其特征在于，所述步骤四的具体方法如下：

长焦相机记录的前一时刻的匹配框的左上角坐标为(x_old,y_old)，宽为w_old，高为h_old，缩放系数为k_old；当前时刻的匹配框的左上角坐标为(x_new,y_new)，宽为w_new，高为h_new；长焦相机拍摄图像的中心坐标

W₂为长焦相机拍摄图像的宽，H₂为长焦相机拍摄图像的高；

(1)静态目标

长焦相机搜寻到静态目标后，使当前时刻匹配框在图像中所占的比例大于期望比例σ₀，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算；

(2)动态目标

当目标移动时，使用长焦相机跟踪目标，不同的相机缩放系数对应不同的相机最大角速度；

在前一时刻的相机缩放系数下追踪目标，使目标匹配框处于图片中心；读取前一时刻缩放系数k_old对应的相机转动最大角速度r_{y_max}，r_{x_max}，

长焦相机绕Y轴转动的角速度公式如下：

长焦相机绕X轴转动的角速度公式如下：

其中，σ₁，σ₂为自定义参数；

缩放目标匹配框在图片中的面积，以便于查看目标：

调整相机缩放系数k_new，使当前时刻匹配框在图像中所占的比例大于期望比例σ₃，缩放后当前时刻匹配框的宽w_new和高h_new变为宽w'_new和高h'_new，匹配框左上角的坐标也变为(x'_new,y'_new)，保存当前时刻缩放后的匹配框信息和缩放系数，用于后续时刻的跟踪计算。

Images