CN110675350B - 云台相机视场坐标映射方法、装置、存储介质及云台相机 - Google Patents

Abstract

本发明公开了一种云台相机视场坐标映射方法，包括：对第一视场的第一拍摄图像的边界中点坐标和第一监控区域的区域顶点坐标进行畸变校正和球面投影处理；根据第一视场的第一中心点坐标和处理后的边界中点坐标获得坐标映射关系，并根据坐标映射关系对处理后的区域顶点坐标进行映射；当云台相机从第一视场转到第二视场时，根据第二视场的第二中心点坐标和坐标映射关系对映射后的区域顶点坐标进行映射逆处理、球面投影逆处理和畸变校正逆处理；根据逆处理后的区域顶点坐标获取第一监控区域映射在第二视场中的第二监控区域。本发明能够实现云台相机在不同视场下的坐标自动映射，使得任一视场对应设置的监控区域可以自动映射在另一视场中。

Description

云台相机视场坐标映射方法、装置、存储介质及云台相机

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种云台相机视场坐标映射方法、装置、计算机可读存储介质及云台相机。

背景技术

目前，随着人们安全意识的提高，使得监控相机的使用越来越普遍。在实际使用监控相机时，每一个监控相机会预先设置一个固定的监控区域，对于云台相机而言，由于其自身具有云台，可以转动以监控不同的区域，相机的视场不固定，导致拍摄的画面通常存在畸变，无法让用户预先设置的某一视场下的监控区域在另一视场中生效。

发明内容

本发明实施例所要解决的技术问题在于，提供一种云台相机视场坐标映射方法、装置、计算机可读存储介质及云台相机，能够实现云台相机在不同视场下的坐标自动映射，使得任一视场对应设置的监控区域可以自动映射在另一视场中，并且可以避免映射后的监控区域的畸变影响。

为了解决上述技术问题，本发明实施例提供了一种云台相机视场坐标映射方法，包括：

获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

进一步地，所述方法通过以下步骤获取所述第一中心点坐标：

获取云台相机转到所述第一视场时的电机步长；

根据所述电机步长获取所述第一中心点坐标。

进一步地，所述对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标，具体包括：

根据预先获得的云台相机的内参矩阵

和云台相机的畸变系数(k₁,k₂,k₃,p₁,p₂)分别对所述边界中点坐标和所述区域顶点坐标进行畸变校正，对应获得校正后的边界中点坐标和校正后的区域顶点坐标；其中，(f_x,f_y)分别为云台相机在x方向、y方向的焦距，(u_x,u_y)为图像坐标系的中心点在像素坐标系中的位置坐标，(k₁,k₂,k₃)分别为云台相机的第1、2、3级径向畸变系数，(p₁,p₂)分别为云台相机的第1、2级切向畸变系数；

根据所述内参矩阵分别对所述校正后的边界中点坐标和所述校正后的区域顶点坐标进行球面投影，对应获得所述处理后的边界中点坐标和所述处理后的区域顶点坐标。

进一步地，所述方法通过以下步骤对坐标(x_p,y_p)进行畸变校正，获得校正后的坐标(x'_p,y'_p)：

根据公式

将坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)；

根据公式

获得坐标(x_d,y_d)在相机坐标系下进行畸变校正后的坐标(x'_d,y'_d)；其中，

1≤i≤n，i表示迭代次数，n表示预设的总迭代次数；r²＝x_d ²+y_d ²，r表示坐标(x_d,y_d)到相机坐标系的光学中心的距离；

根据公式

将坐标(x'_d,y'_d)转换为像素坐标系下的坐标(x'_p,y'_p)。

进一步地，所述方法通过以下公式对校正后的坐标(x_p',y_p')进行球面投影，获得处理后的坐标(x',y')：

其中，(θ_x,θ_y)分别表示云台相机到坐标(x'_p,y'_p)的x方向横截面、y方向横截面的夹角。

进一步地，所述根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标，具体包括：

根据所述第一中心点坐标(x_o1,y_o1)和所述处理后的边界中点坐标获得坐标映射关系为

其中，(x',y')表示处理后的坐标，(s_x,s_y)表示映射后的坐标；w＝P'_{right_x}-P'_{left_x}，(P'_{right_x},P'_{left_x})分别为处理后的右边界中点的x坐标、处理后的左边界中点的x坐标；h＝P'_{bottom_y}-P'_{top_y}，(P'_{bottom_y},P'_{top_y})分别为处理后的下边界中点的y坐标、处理后的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长；

根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标。

进一步地，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

获取在所述第二拍摄图像内的所述第一监控区域的逆处理后的第一区域顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第一区域顶点坐标确定所述第二监控区域。

进一步地，所述方法还包括：

根据所述第二中心点坐标获取所述第二视场对应的坐标区间；

则，在获得所述获得逆处理后的区域顶点坐标之后，所述方法还包括：

根据所述坐标区间获取在所述坐标区间内的逆处理后的第二区域顶点坐标；

则，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第二区域顶点坐标确定所述第二监控区域。

进一步地，所述坐标区间包括x方向的第一坐标区间和y方向的第二坐标区间；所述第一坐标区间为

所述第二坐标区间为

其中，(x_o2,y_o2)表示所述第二中心点坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长。

为了解决上述技术问题，本发明实施例还提供了一种云台相机视场坐标映射装置，包括：

第一视场坐标获取模块，用于获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

第一视场坐标处理模块，用于对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

第一视场坐标映射模块，用于根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

第二视场坐标获取模块，用于当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

第二视场坐标逆映射模块，用于根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

第二视场坐标逆处理模块，用于对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

监控区域获取模块，用于根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的云台相机视场坐标映射方法。

本发明实施例还提供了一种云台相机，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的云台相机视场坐标映射方法。

与现有技术相比，本发明实施例提供了一种云台相机视场坐标映射方法、装置、计算机可读存储介质及云台相机，通过获取云台相机在第一视场对应的第一中心点坐标、第一拍摄图像的边界中点坐标以及预设的第一监控区域的区域顶点坐标，并对边界中点坐标和区域顶点坐标进行畸变校正处理和球面投影处理，以根据第一中心点坐标和处理后的边界中点坐标获得坐标映射关系，并根据坐标映射关系对处理后的区域顶点坐标进行映射，当云台相机从第一视场转到第二视场时，获取第二视场的第二中心点坐标，并根据第二中心点坐标和坐标映射关系对映射后的区域顶点坐标进行逆映射，对逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，以根据逆处理后的区域顶点坐标获取第一监控区域映射在第二视场中的第二监控区域，从而能够实现云台相机在不同视场下的坐标自动映射，使得任一视场对应设置的监控区域可以自动映射在另一视场中，并且可以避免映射后的监控区域的畸变影响。

附图说明

图1是本发明提供的一种云台相机视场坐标映射方法的一个优选实施例的流程图；

图2是本发明提供的一种云台相机视场坐标映射方法的球面投影示意图；

图3是本发明提供的一种云台相机视场坐标映射方法的区域映射示意图；

图4是本发明提供的一种云台相机视场坐标映射装置的一个优选实施例的结构框图；

图5是本发明提供的一种云台相机的一个优选实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种云台相机视场坐标映射方法，参见图1所示，是本发明提供的一种云台相机视场坐标映射方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S17：

步骤S11、获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

步骤S12、对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

步骤S13、根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

步骤S14、当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

步骤S15、根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

步骤S16、对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

步骤S17、根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

具体的，获取云台相机在第一视场时第一视场对应的第一中心点坐标、第一视场对应的第一拍摄图像的所有的边界中点坐标(例如，第一拍摄图像的轮廓为矩形，边界中点坐标具体指矩形的四条边的中点坐标)以及用户预先在第一视场中设置的第一监控区域的所有的区域顶点坐标(例如，第一监控区域为多边形区域，区域顶点坐标具体指多边形的所有的顶点坐标)；对获得的所有的边界中点坐标和所有的区域顶点坐标进行畸变校正处理，相应获得校正后的边界中点坐标和校正后的区域顶点坐标，对获得的所有的校正后的边界中点坐标和所有的校正后的区域顶点坐标进行球面投影处理，相应获得处理后的边界中点坐标和处理后的区域顶点坐标；根据获得的第一中心点坐标和所有的处理后的边界中点坐标计算获得相应的坐标映射关系，并根据该坐标映射关系对所有的处理后的区域顶点坐标进行映射，相应获得映射后的区域顶点坐标；当云台相机从第一视场转动到第二视场时，获取第二视场的第二中心点坐标；根据获得的第二中心点坐标和上述坐标映射关系对所有的映射后的区域顶点坐标进行逆映射，相应获得逆映射后的区域顶点坐标；对获得的所有的逆映射后的区域顶点坐标依次进行球面投影逆处理和畸变校正逆处理，相应获得逆处理后的区域顶点坐标；根据获得的所有的逆处理后的区域顶点坐标获取第一监控区域映射在第二视场中的第二监控区域。

需要说明的是，第一中心点坐标和第二中心点坐标为全局坐标，第一拍摄图像的边界中点坐标为像素坐标，第一监控区域的区域顶点坐标为像素坐标，由于云台相机从第一视场转动到第二视场时，对应的拍摄图像的像素坐标以及监控区域的像素坐标都会发生变化，为了使在第一视场中设置的第一监控区域能够随着视场的变化而自动映射，因此需要对第一监控区域的像素坐标进行一定的映射处理，考虑到图像畸变等非线性影响，无法简单计算出不同视场的像素坐标之间的映射关系，而由于全局坐标是唯一确定的，因此需要将第一监控区域的像素坐标转换为全局坐标之后再进行不同视场的映射处理，即上述坐标映射关系为像素坐标到全局坐标的坐标映射关系，相应的，映射处理完成之后，获得的坐标为全局坐标，还需要将全局坐标转换为像素坐标，从而根据映射后的像素坐标相应获得第一监控区域映射在第二视场中的第二监控区域。

本发明实施例所提供的一种云台相机视场坐标映射方法，通过对第一监控区域的区域顶点坐标依次进行畸变校正处理和球面投影处理，并根据获取的像素坐标到全局坐标的坐标映射关系对处理后的区域顶点坐标进行坐标映射，以在云台相机从第一视场转动到第二视场时，对映射后的区域顶点坐标依次进行逆映射处理、球面投影逆处理和畸变校正逆处理，并根据逆处理后的区域顶点坐标获取第一监控区域映射在第二视场中的第二监控区域，从而能够实现云台相机在不同视场下的坐标自动映射，使得任一视场对应设置的监控区域可以自动映射在另一视场中，并且可以避免映射后的监控区域的畸变影响。

在另一个优选实施例中，所述方法通过以下步骤获取所述第一中心点坐标：

获取云台相机转到所述第一视场时的电机步长；

根据所述电机步长获取所述第一中心点坐标。

具体的，结合上述实施例，当云台相机从一个视场转动到另一个视场时，云台相机能获得自身的电机的步长状态，即电机在x方向和y方向(或者水平方向和垂直反向)分别转动了多少步长，相应的，获取云台相机从上一个视场转动到第一视场时的电机步长，则根据获得的电机步长可以获取第一视场的第一中心点坐标。

例如，假设云台相机从上一个视场转动到第一视场时，电机在x方向和y方向的步长分别为x_o1和y_o1，可以直接将(x_o1,y_o1)作为第一中心点坐标。

需要说明的是，第二视场的第二中心点坐标的获取方法和第一中心坐标的获取方法原理相同，这里不再赘述。

在又一个优选实施例中，所述对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标，具体包括：

根据预先获得的云台相机的内参矩阵

和云台相机的畸变系数(k₁,k₂,k₃,p₁,p₂)分别对所述边界中点坐标和所述区域顶点坐标进行畸变校正，对应获得校正后的边界中点坐标和校正后的区域顶点坐标；其中，(f_x,f_y)分别为云台相机在x方向、y方向的焦距，(u_x,u_y)为图像坐标系的中心点在像素坐标系中的位置坐标，(k₁,k₂,k₃)分别为云台相机的第1、2、3级径向畸变系数，(p₁,p₂)分别为云台相机的第1、2级切向畸变系数；

根据所述内参矩阵分别对所述校正后的边界中点坐标和所述校正后的区域顶点坐标进行球面投影，对应获得所述处理后的边界中点坐标和所述处理后的区域顶点坐标。

具体的，结合上述实施例，预先通过相机标定(棋盘标定法)获得了云台相机的内参矩阵和畸变系数，根据内参矩阵和畸变系数中的相关参数分别对获得的第一拍摄图像的所有的边界中点坐标和第一监控区域的所有的区域顶点坐标进行畸变校正处理，相应获得校正后的边界中点坐标和校正后的区域顶点坐标，根据内参矩阵中的相关参数分别对获得的所有的校正后的边界中点坐标和所有的校正后的区域顶点坐标进行球面投影处理，相应获得处理后的边界中点坐标和处理后的区域顶点坐标。

作为上述方案的改进，所述方法通过以下步骤对坐标(x_p,y_p)进行畸变校正，获得校正后的坐标(x'_p,y'_p)：

根据公式

将坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)；

根据公式

获得坐标(x_d,y_d)在相机坐标系下进行畸变校正后的坐标(x'_d,y'_d)；其中，

1≤i≤n，i表示迭代次数，n表示预设的总迭代次数；r²＝x_d ²+y_d ²，r表示坐标(x_d,y_d)到相机坐标系的光学中心的距离；

根据公式

将坐标(x'_d,y'_d)转换为像素坐标系下的坐标(x'_p,y'_p)。

具体的，结合上述实施例，由于畸变校正是在相机坐标系下进行的，而第一拍摄图像的所有的边界中点坐标和第一监控区域的所有的区域顶点坐标均为像素坐标，因此需要先将像素坐标转换为相机坐标系下的坐标，对于任意一个像素坐标(x_p,y_p)，根据公式

将该像素坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)，其中，(u_x,u_y)为第一拍摄图像对应的图像坐标系的中心点在其对应的像素坐标系中的位置坐标，f_x为云台相机在相机坐标系下的x方向上的焦距，f_y为云台相机在相机坐标系下的y方向上的焦距，在将像素坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)之后，根据公式

进行n次迭代运算，其中，

1≤i≤n，i表示迭代次数，n表示预设的总迭代次数，r²＝x_d ²+y_d ²，r表示坐标(x_d,y_d)到相机坐标系的光学中心的距离，k₁为云台相机的第1级径向畸变系数，k₂为云台相机的第2级径向畸变系数，k₃为云台相机的第3级径向畸变系数，p₁为云台相机的第1级切向畸变系数，p₂为云台相机的第2级切向畸变系数，k₁≥0,k₂≥0,k₃≥0,p₁≥0,p₂≥0，从而对坐标(x_d,y_d)进行畸变校正，获得畸变校正后的坐标(x'_d,y'_d)，相应的，再根据公式

将获得的畸变校正后的坐标(x'_d,y'_d)转换为像素坐标系下的坐标(x'_p,y'_p)，该坐标即为对任意一个像素坐标(x_p,y_p)进行畸变校正获得的像素坐标(x'_p,y'_p)。

需要说明的是，对于任意一个相机坐标系下的坐标(x,y)，在x坐标存在径向畸变的情况下，x坐标校正为x_dr＝x(1+k₁r²+k₂r⁴+k₃r⁶)，在y坐标存在径向畸变的情况下，y坐标校正为y_dr＝y(1+k₁r²+k₂r⁴+k₃r⁶)，在x坐标存在切向畸变的情况下，x坐标校正为x_dt＝2p₁xy+p₂(r²+2x²)，在y坐标存在切向畸变的情况下，y坐标校正为y_dt＝2p₁(r²+2y²)+2p₂xy，在x坐标同时存在径向畸变和切向畸变的情况下，x坐标校正为x_d＝x_dr+x_dt，在y坐标同时存在径向畸变和切向畸变的情况下，y坐标校正为y_d＝y_dr+y_dt；其中，具体的校正公式为简化后的公式，忽略了影响较小的畸变。

结合图2所示，作为上述方案的改进，所述方法通过以下公式对校正后的坐标(x'_p,y'_p)进行球面投影，获得处理后的坐标(x',y')：

其中，(θ_x,θ_y)分别表示云台相机到坐标(x'_p,y'_p)的x方向横截面、y方向横截面的夹角。

需要说明的是，与人眼类似，相机在某一视场下的观察表面可以近似为球面的一部分，对于固定底座绕中心点转动的云台相机，其观察表面(近似)位于同一球面上，即畸变校正后得到像素坐标在图2中的图像平面上，球面投影希望将图像平面投影为图2中的观察表面。

具体的，结合上述实施例，对畸变校正后的所有的像素坐标进行球面投影处理，则可以得到对应的观察表面上的像素坐标，对于任意一个畸变校正后的像素坐标(x'_p,y'_p)，通过公式

进行球面投影，相应获得球面投影处理后的坐标(x',y')，其中，θ_x表示云台相机到坐标(x'_p,y'_p)的x方向横截面上的夹角，θ_y表示云台相机到坐标(x'_p,y'_p)的y方向横截面上的夹角，以x方向为例，如图2所示，在x方向横截面上，云台相机位于图2中的点O处，坐标(x'_p,y'_p)位于图2中的点A处，OB为图像平面的垂线，则OA与OB的夹角即为θ_x＝θ。

例如，第一拍摄图像对应的矩形图像的四条边界的中点坐标包括左边界中点坐标(P_{left_x},P_{left_y})、右边界中点坐标(P_{right_x},P_{right_y})、上边界中点坐标(P_{top_x},P_{top_y})和下边界中点(P_{bottom_x},P_{bottom_y})，经过畸变校正处理和球面投影处理后相应获得的处理后的边界中点分别表示为(P'_{left_x},P'_{left_y})、(P'_{right_x},P'_{right_y})、(P'_{top_x},P'_{top_y})和(P'_{bottom_x},P'_{bottom_y})。

在又一个优选实施例中，所述根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标，具体包括：

根据所述第一中心点坐标(x_o1,y_o1)和所述处理后的边界中点坐标获得坐标映射关系为

其中，(x',y')表示处理后的坐标，(s_x,s_y)表示映射后的坐标；w＝P'_{right_x}-P'_{left_x}，(P'_{right_x},P'_{left_x})分别为处理后的右边界中点的x坐标、处理后的左边界中点的x坐标；h＝P'_{bottom_y}-P'_{top_y}，(P'_{bottom_y},P'_{top_y})分别为处理后的下边界中点的y坐标、处理后的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长；

根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标。

具体的，结合上述实施例，在对获得的第一拍摄图像的所有的校正后的边界中点坐标和第一监控区域的所有的校正后的区域顶点坐标进行球面投影处理，相应获得处理后的边界中点坐标和处理后的区域顶点坐标之后，根据获得的第一中心点坐标(x_o1,y_o1)和处理后的边界中点坐标获得坐标映射关系为

其中，(x',y')表示处理后的坐标，即经过畸变校正处理和球面投影处理后的坐标，(s_x,s_y)表示映射后的坐标；w＝P'_{right_x}-P'_{left_x}，(P'_{right_x},P'_{left_x})分别为经过畸变校正处理和球面投影处理后的第一拍摄图像的右边界中点的x坐标、经过畸变校正处理和球面投影处理后的第一拍摄图像的左边界中点的x坐标；h＝P'_{bottom_y}-P'_{top_y}，(P'_{bottom_y},P'_{top_y})分别为经过畸变校正处理和球面投影处理后的第一拍摄图像的下边界中点的y坐标、经过畸变校正处理和球面投影处理后的第一拍摄图像的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长，即在第一视场时电机转动的总步长。

结合图3所示，在又一个优选实施例中，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

获取在所述第二拍摄图像内的所述第一监控区域的逆处理后的第一区域顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第一区域顶点坐标确定所述第二监控区域。

具体的，结合上述实施例，当云台相机从第一视场转动到第二视场时，获取第二视场的第二中心点坐标(x_o2,y_o2)；根据获得的第二中心点坐标和上述坐标映射关系对第一监控区域的所有的映射后的区域顶点坐标进行逆映射，相应获得逆映射后的区域顶点坐标，对于任意一个坐标(s_x,s_y)，可以根据公式

进行逆映射运算，相应获得逆映射后坐标(x'_p,y'_p)，其中，w＝P'_{right_x}-P'_{left_x}，(P'_{right_x},P'_{left_x})分别为经过畸变校正处理和球面投影处理后的第二拍摄图像的右边界中点的x坐标、经过畸变校正处理和球面投影处理后的第二拍摄图像的左边界中点的x坐标；h＝P'_{bottom_y}-P'_{top_y}，(P'_{bottom_y},P'_{top_y})分别为经过畸变校正处理和球面投影处理后的第二拍摄图像的下边界中点的y坐标、经过畸变校正处理和球面投影处理后的第二拍摄图像的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长，即在第二视场时电机转动的总步长。

对获得的所有的逆映射后的区域顶点坐标依次进行球面投影逆处理和畸变校正逆处理(根据上述实施例中的球面投影处理和畸变校正处理进行相应的逆运算，这里不再赘述)，相应获得逆处理后的区域顶点坐标；根据获得的所有的逆处理后的区域顶点坐标可以确定相应的第一监控区域对应的区域边界(如图3中的五边形)，根据该区域轮廓和第二视场对应的第二拍摄图像的边界(如图3中的矩形边界)，利用数学方法可以计算获得第一监控区域与第二拍摄图像的边界的交点坐标(如图3中的交点A1和交点A2的坐标)；判断第二拍摄图像对应的顶点是否在第一监控区域内，相应获得第二拍摄图像对应的所有顶点中位于第一监控区域内的第一顶点坐标(如图3中的顶点A3的坐标)；判断第一监控区域的逆处理后的区域顶点坐标是否在第二拍摄图像对应的矩形内，相应获得第一监控区域的所有的逆处理后的区域顶点坐标中位于第二拍摄图像内的逆处理后的第一区域顶点坐标(如图3中的区域顶点A4的坐标)；则根据交点A1的坐标、交点A2的坐标、顶点A3的坐标和区域顶点A4的坐标可以确定第一监控区域映射在第二视场中的第二监控区域(如图3中的阴影区域A1A3A2A4)。

需要说明的是，可以通过以下方法判断任意一点是否在第一监控区域内：计算点到第一监控区域的多边形的所有顶点的连线(向量形式)，按顺序计算向量夹角并求和，若夹角之和等于360°，则表明所判断的点在第一监控区域的多边形区域内，否则不在第一监控区域的多边形区域内，判断点是否在第二拍摄图像内，所使用的方法相同，这里不再赘述；另外，也可以使用现有技术中常用的数学方法判断点是否在多边形区域内，本发明实施例不作具体限定。

在又一个优选实施例中，所述方法还包括：

根据所述第二中心点坐标获取所述第二视场对应的坐标区间；

则，在获得所述获得逆处理后的区域顶点坐标之后，所述方法还包括：

根据所述坐标区间获取在所述坐标区间内的逆处理后的第二区域顶点坐标；

则，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第二区域顶点坐标确定所述第二监控区域。

作为上述方案的改进，所述坐标区间包括x方向的第一坐标区间和y方向的第二坐标区间；所述第一坐标区间为

所述第二坐标区间为

其中，(x_o2,y_o2)表示所述第二中心点坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长。

具体的，结合上述实施例，在获取第二视场的第二中心点坐标(x_o2,y_o2)之后，可以根据第二中心点坐标(x_o2,y_o2)和云台相机在第二视场时电机在x方向、y方向转动的总步长(t_H,t_V)获取第二视场对应的坐标区间，从而根据该坐标区间筛选出第一监控区域的所有的逆处理后的区域顶点坐标中位于该坐标区间内的逆处理后的第二区域顶点坐标，再根据上述实施例分别获得相应的交点坐标和第一顶点坐标，以根据获得的交点坐标、第一顶点坐标和第二区域顶点坐标确定第一监控区域映射在第二视场中的第二监控区域。

本发明实施例还提供了一种云台相机视场坐标映射装置，能够实现上述任一实施例所述的云台相机视场坐标映射方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的云台相机视场坐标映射方法的作用以及实现的技术效果对应相同，这里不再赘述。

参见图4所示，是本发明提供的一种云台相机视场坐标映射装置的一个优选实施例的结构框图，所述装置包括：

第一视场坐标获取模块11，用于获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

第一视场坐标处理模块12，用于对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

第一视场坐标映射模块13，用于根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

第二视场坐标获取模块14，用于当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

第二视场坐标逆映射模块15，用于根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

第二视场坐标逆处理模块16，用于对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

监控区域获取模块17，用于根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

优选地，所述第一视场坐标获取模块11具体包括：

电机步长获取单元，用于获取云台相机转到所述第一视场时的电机步长；

中心点坐标获取单元，用于根据所述电机步长获取所述第一中心点坐标。

优选地，所述第一视场坐标处理模块12具体包括：

畸变校正单元，用于根据预先获得的云台相机的内参矩阵

和云台相机的畸变系数(k₁,k₂,k₃,p₁,p₂)分别对所述边界中点坐标和所述区域顶点坐标进行畸变校正，对应获得校正后的边界中点坐标和校正后的区域顶点坐标；其中，(f_x,f_y)分别为云台相机在x方向、y方向的焦距，(u_x,u_y)为图像坐标系的中心点在像素坐标系中的位置坐标，(k₁,k₂,k₃)分别为云台相机的第1、2、3级径向畸变系数，(p₁,p₂)分别为云台相机的第1、2级切向畸变系数；

球面投影单元，用于根据所述内参矩阵分别对所述校正后的边界中点坐标和所述校正后的区域顶点坐标进行球面投影，对应获得所述处理后的边界中点坐标和所述处理后的区域顶点坐标。

优选地，所述畸变校正单元具体用于通过以下步骤对坐标(x_p,y_p)进行畸变校正，获得校正后的坐标(x'_p,y'_p)：

根据公式

将坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)；

根据公式

获得坐标(x_d,y_d)在相机坐标系下进行畸变校正后的坐标(x'_d,y'_d)；其中，

1≤i≤n，i表示迭代次数，n表示预设的总迭代次数；r²＝x_d ²+y_d ²，r表示坐标(x_d,y_d)到相机坐标系的光学中心的距离；

根据公式

将坐标(x'_d,y'_d)转换为像素坐标系下的坐标(x'_p,y'_p)。

优选地，所述球面投影单元具体用于通过以下公式对校正后的坐标(x'_p,y'_p)进行球面投影，获得处理后的坐标(x',y')：

其中，(θ_x,θ_y)分别表示云台相机到坐标(x'_p,y'_p)的x方向横截面、y方向横截面的夹角。

优选地，所述第一视场坐标映射模块13具体包括：

坐标关系获取单元，用于根据所述第一中心点坐标(x_o1,y_o1)和所述处理后的边界中点坐标获得坐标映射关系为

其中，(x',y')表示处理后的坐标，(s_x,s_y)表示映射后的坐标；w＝P'_{right_x}-P'_{left_x}，(P'_{right_x},P'_{left_x})分别为处理后的右边界中点的x坐标、处理后的左边界中点的x坐标；h＝P'_{bottom_y}-P'_{top_y}，(P'_{bottom_y},P'_{top_y})分别为处理后的下边界中点的y坐标、处理后的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长；

坐标映射单元，用于根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标。

优选地，所述监控区域获取模块17具体包括：

交点获取单元，用于根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

第一顶点获取单元，用于获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

第二顶点获取单元，用于获取在所述第二拍摄图像内的所述第一监控区域的逆处理后的第一区域顶点坐标；

第一监控区域获取单元，用于根据所述交点坐标、所述第一顶点坐标和所述第一区域顶点坐标确定所述第二监控区域。

优选地，所述装置还包括：

坐标区间获取模块，用于根据所述第二中心点坐标获取所述第二视场对应的坐标区间；

则，在获得所述获得逆处理后的区域顶点坐标之后，所述装置还包括：

第三顶点获取单元，用于根据所述坐标区间获取在所述坐标区间内的逆处理后的第二区域顶点坐标；

则，所述监控区域获取模块17具体包括：

交点获取单元，用于根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

第四顶点获取单元，用于获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

第二监控区域获取单元，用于根据所述交点坐标、所述第一顶点坐标和所述第二区域顶点坐标确定所述第二监控区域。

优选地，所述坐标区间包括x方向的第一坐标区间和y方向的第二坐标区间；所述第一坐标区间为

所述第二坐标区间为

其中，(x_o2,y_o2)表示所述第二中心点坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的云台相机视场坐标映射方法。

本发明实施例还提供了一种云台相机，参见图5所示，是本发明提供的一种云台相机的一个优选实施例的结构框图，所述云台相机包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的云台相机视场坐标映射方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述云台相机中的执行过程。

所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述云台相机的控制中心，利用各种接口和线路连接所述云台相机的各个部分。

所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。

需要说明的是，上述云台相机可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图5结构框图仅仅是上述云台相机的示例，并不构成对云台相机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

综上，本发明实施例所提供的一种云台相机视场坐标映射方法、装置、计算机可读存储介质及云台相机，具有以下有益效果：

(1)能够实现云台相机在不同视场下的坐标自动映射，并且可以避免拍摄画面出现畸变，使得任一视场对应设置的监控区域可以自动映射在另一视场中；

(2)不依赖机械控制，仅通过数字图像智能分析生成结果，满足了监控区域自动映射的需求；

(3)对于任意一个云台相机，仅需要进行一次相机标定即可满足后续使用需求；

(4)可以部署在处理性能较差的系统上，通过简化模型减小了计算量，实现了实时性；

(5)程序依赖少，内存资源占用低，方便部署在内存受限的系统上。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (12)

1.一种云台相机视场坐标映射方法，其特征在于，包括：

获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

2.如权利要求1所述的云台相机视场坐标映射方法，其特征在于，所述方法通过以下步骤获取所述第一中心点坐标：

获取云台相机转到所述第一视场时的电机步长；

根据所述电机步长获取所述第一中心点坐标。

3.如权利要求1所述的云台相机视场坐标映射方法，其特征在于，所述对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标，具体包括：

根据预先获得的云台相机的内参矩阵

和云台相机的畸变系数(k₁,k₂,k₃,p₁,p₂)分别对所述边界中点坐标和所述区域顶点坐标进行畸变校正，对应获得校正后的边界中点坐标和校正后的区域顶点坐标；其中，(f_x,f_y)分别为云台相机在x方向、y方向的焦距，(u_x,u_y)为图像坐标系的中心点在像素坐标系中的位置坐标，(k₁,k₂,k₃)分别为云台相机的第1、2、3级径向畸变系数，(p₁,p₂)分别为云台相机的第1、2级切向畸变系数；

根据所述内参矩阵分别对所述校正后的边界中点坐标和所述校正后的区域顶点坐标进行球面投影，对应获得所述处理后的边界中点坐标和所述处理后的区域顶点坐标。

4.如权利要求3所述的云台相机视场坐标映射方法，其特征在于，所述方法通过以下步骤对坐标(x_p,y_p)进行畸变校正，获得校正后的坐标(x_p',y_p')：

根据公式

将坐标(x_p,y_p)转换为相机坐标系下的坐标(x_d,y_d)；

根据公式

获得坐标(x_d,y_d)在相机坐标系下进行畸变校正后的坐标(x_d',y_d')；其中，

1≤i≤n，i表示迭代次数，n表示预设的总迭代次数；r²＝x_d ²+y_d ²，r表示坐标(x_d,y_d)到相机坐标系的光学中心的距离；

根据公式

将坐标(x_d',y_d')转换为像素坐标系下的坐标(x_p',y_p')。

5.如权利要求4所述的云台相机视场坐标映射方法，其特征在于，所述方法通过以下公式对校正后的坐标(x_p',y_p')进行球面投影，获得处理后的坐标(x',y')：

其中，(θ_x,θ_y)分别表示云台相机到坐标(x_p',y_p')的x方向横截面、y方向横截面的夹角。

6.如权利要求5所述的云台相机视场坐标映射方法，其特征在于，所述根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标，具体包括：

根据所述第一中心点坐标(x_o1,y_o1)和所述处理后的边界中点坐标获得坐标映射关系为

其中，(x',y')表示处理后的坐标，(s_x,s_y)表示映射后的坐标；w＝P_r'_{ight_x}-P_l'_{eft_x}，(P_r'_{ight_x},P_l'_{eft_x})分别为处理后的右边界中点的x坐标、处理后的左边界中点的x坐标；h＝P_b'_{ottom_y}-P_t'_{op_y}，(P_b'_{ottom_y},P_t'_{op_y})分别为处理后的下边界中点的y坐标、处理后的上边界中点的y坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长；

根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标。

7.如权利要求1所述的云台相机视场坐标映射方法，其特征在于，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

获取在所述第二拍摄图像内的所述第一监控区域的逆处理后的第一区域顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第一区域顶点坐标确定所述第二监控区域。

8.如权利要求1～7任一项所述的云台相机视场坐标映射方法，其特征在于，所述方法还包括：

根据所述第二中心点坐标获取所述第二视场对应的坐标区间；

则，在获得所述获得逆处理后的区域顶点坐标之后，所述方法还包括：

根据所述坐标区间获取在所述坐标区间内的逆处理后的第二区域顶点坐标；

则，所述根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域，具体包括：

根据所述逆处理后的区域顶点坐标和所述第二视场对应的第二拍摄图像的边界计算获得所述第一监控区域与所述第二拍摄图像的边界的交点坐标；

获取在所述第一监控区域内的所述第二拍摄图像的第一顶点坐标；

根据所述交点坐标、所述第一顶点坐标和所述第二区域顶点坐标确定所述第二监控区域。

9.如权利要求8所述的云台相机视场坐标映射方法，其特征在于，所述坐标区间包括x方向的第一坐标区间和y方向的第二坐标区间；所述第一坐标区间为

所述第二坐标区间为

其中，(x_o2,y_o2)表示所述第二中心点坐标；(t_H,t_V)分别为云台相机的电机当前在x方向、y方向的总步长。

10.一种云台相机视场坐标映射装置，其特征在于，包括：

第一视场坐标获取模块，用于获取云台相机在第一视场的第一中心点坐标、所述第一视场对应的第一拍摄图像的边界中点坐标以及所述第一视场中预设的第一监控区域的区域顶点坐标；

第一视场坐标处理模块，用于对所述边界中点坐标和所述区域顶点坐标进行畸变校正处理和球面投影处理，对应获得处理后的边界中点坐标和处理后的区域顶点坐标；

第一视场坐标映射模块，用于根据所述第一中心点坐标和所述处理后的边界中点坐标获得坐标映射关系，并根据所述坐标映射关系对所述处理后的区域顶点坐标进行映射，获得映射后的区域顶点坐标；

第二视场坐标获取模块，用于当云台相机从所述第一视场转到第二视场时，获取所述第二视场的第二中心点坐标；

第二视场坐标逆映射模块，用于根据所述第二中心点坐标和所述坐标映射关系对所述映射后的区域顶点坐标进行逆映射，获得逆映射后的区域顶点坐标；

第二视场坐标逆处理模块，用于对所述逆映射后的区域顶点坐标进行球面投影逆处理和畸变校正逆处理，获得逆处理后的区域顶点坐标；

监控区域获取模块，用于根据所述逆处理后的区域顶点坐标获取所述第一监控区域映射在所述第二视场中的第二监控区域。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～9任一项所述的云台相机视场坐标映射方法。

12.一种云台相机，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～9任一项所述的云台相机视场坐标映射方法。

Images