CN116228888B - 地理坐标与ptz相机坐标的转换方法及系统 - Google Patents

Abstract

本发明公开了地理坐标与PTZ相机坐标的转换方法及系统，方法包括如下步骤：对相机在某一视角下拍摄的视频画面进行截图，得到待标定的投影图像；对待标定的投影图像选取标定点，获取该标定点的原始像素坐标和对应的地理坐标，读取相应视角下的相机水平旋转角度，计算相机光学中心到投影图像的距离和相机的初始水平偏移量；读取相应视角下的相机垂直旋转角度，计算相机的初始垂直偏移量；调整相机视角，计算出多组不同视角不同标定点下的相机初始参数；找到离目标点最近的标定点，计算目标点的像素坐标。本发明通过对相机多视角多点位进行标定，计算目标点时使用最近标定点信息，利用局部相似的原理，达到消除误差，提高精度的效果。

Description

地理坐标与PTZ相机坐标的转换方法及系统

技术领域

本发明涉及视频监控技术领域，尤其涉及地理坐标与PTZ相机坐标的转换方法及系统。

背景技术

近年来，经过平安城市、智慧城市等的建设，监控设备得到了广泛应用。有些应用场景，需要在监控视频中观察实景信息，特别是有云台控制的相机，比如球机、高空瞭望相机，当相机上下左右转动时，实景信息也要跟随移动，保持虚拟的实景位置与视频中实际位置一致。所以需要一种地理坐标与相机坐标的的转换方法。

现有的一些解决方案中，一种是通过标定的方式，利用单应矩阵进行坐标转换，这种方式对固定镜头相机比较合适，缺少对云台相机的能力支撑。另一种是通过相机参数和坐标关系公式求解，但没有考虑相机安装时的初始状态，因为相机安装时镜头初始角度是任意的，底座也可能会有倾斜，还有些相机对畸变处理不理想，这些因素都会导致计算不准确。

发明内容

本发明的目的是提供地理坐标与PTZ相机坐标的转换方法及系统，建立了地理坐标与PTZ相机图像坐标的转换关系，可以将任一地理目标点计算转换为相机图像对应的像素坐标，一方面可以提高计算精度，保持虚拟的实景位置与视频中实际位置一致，另一方面相机视角变动后，不需要再重新标定，可节省标定工作量。

为了实现上述目的，本发明采用了如下技术方案：

地理坐标与PTZ相机坐标的转换方法，包括如下步骤：

S10、对相机在某一视角下拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像进行标定；

S20、对所述待标定的投影图像选取标定点，获取该标定点的原始像素坐标（x, y）和对应的地理坐标（α, β），读取相应视角下的相机水平旋转角度dp，计算相机光学中心到投影图像的距离R和相机的初始水平偏移量pan；

S30、读取相应视角下的相机垂直旋转角度dt，计算相机的初始垂直偏移量til；

S40、调整相机视角，重复步骤S10-S30，计算出多组不同视角不同标定点下的相机初始参数，所述相机初始参数包括初始水平偏移量和初始垂直偏移量；

S50、找到离目标点最近的标定点，通过最近的标定点对应的相机初始参数和目标点的地理坐标，计算目标点的像素坐标。

步骤S20进一步包括如下步骤：

S21、计算相机光学中心到投影图像的距离R：R = (W / 2) / tan (Hfa / 2) ，其中，Hfa为相机水平视场角，为相机出厂参数，W为图像宽度总像素；

S22、计算标定点和光学中心连线与相机光学中心所在平面的垂直夹角gy：gy =arctan（H / L），其中，H为相机高度，L为相机光学中心与标定点的水平距离；

S23、计算标定点与当前相机光轴的水平夹角gx：

；

S24、计算相机的初始水平偏移量pan：pan = globalX - gx - dp，其中，globalX为标定点与正北方向的水平夹角，通过标定点地理坐标和相机地理坐标求出，dp通过相机自身的API数据接口获取。

步骤S30进一步包括如下步骤：

S31、计算相机与标定点垂直方向夹角θ；

S32、计算相机与标定点水平方向夹角γ；

S33、计算相机的初始垂直偏移量til：til = θ-γ- dt，dt通过相机自身的API数据接口获取。

S50进一步包括如下步骤：

S51、找到离目标点最近的标定点，获取该标定点对应的相机初始参数（pan、til）；

S52、计算当前相机光轴与水平方向夹角ft´：ft ´=dt´+ til，dt´为当前相机的垂直偏移角度，通过相机API数据接口获取；

S53、计算相机光轴与目标点夹角gx´：gx´= globalX´- dp´- pan，globalX´为目标点与正北方向的水平夹角，通过目标点地理坐标和相机地理坐标求出，dp´为当前相机的水平偏移角度，通过相机API数据接口获取；

S54、计算目标点和光学中心连线与相机光学中心所在平面的垂直夹角gy´：gy´=arctan（H / L´），其中L´为相机光学中心与目标点的水平距离，通过两点的地理坐标计算得出；

S55、计算目标点的像素坐标（x´, y´）：

。

优选地，步骤S40中通过调整相机视角得到多张待标定投影图像，待标定投影图像的张数以覆盖相机视野内所有目标点为准。

优选地，步骤S40中的标定点至少选取2个。

优选地，所述找到离目标点最近的标定点的具体过程如下：遍历各标定点，用目标点的地理坐标依次与各标定点的地理坐标进行距离计算，取距离最小的标定点作为最近标定点。

优选地，所述目标点和标定点的距离采用球面距离公式计算。

本发明还公开了地理坐标与PTZ相机坐标的转换系统，用于实现上述所述的方法，包括输入模块、相机标定模块和目标点位计算模块，

所述输入模块用于输入多张待标定的投影图像和目标点地理坐标；

所述相机标定模块和输入模块相连接，用于对任一所述待标定的投影图像选取标定点，并计算多组不同视角不同标定点下的相机初始参数，所述相机初始参数包括初始水平偏移量和初始垂直偏移量；

所述目标点位计算模块和所述相机标定模块相连接，用于计算离目标点最近的标定点，通过最近的标定点对应的相机初始参数计算目标点的像素坐标。

一种电子设备，包括处理器和存储器，所述存储器与处理器电性连接，所述存储器用于存储处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述所述的方法。

相比于现有技术，本发明的有益技术效果为：

1、建立了地理坐标与PTZ相机坐标的转换关系，拥有完整详细的求解过程，支持有云台功能可转动的相机，获得多组标定参数后，若后续相机视角变动，不需要额外再重新标定。

2、通过对相机多视角（相机不同dpdt值）多点位进行标定，计算目标点时使用最近标定点信息，利用局部相似的原理，因为距离越近，两点受相机状态和畸变影响的差异越小，达到消除误差，提高精度的效果。

综上所述，本发明建立了地理坐标与PTZ相机图像坐标的转换关系，将标定的相机初始状态值带入关系模型公式中，可以将任一地理目标点计算转换为相机图像对应的像素坐标。一方面可以提高计算精度，保持虚拟的实景位置与视频中实际位置一致，另一方面相机视角变动后，不需要再重新标定，可节省标定工作量。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的地理坐标与PTZ相机坐标的转换方法的流程图；

图2为相机成像模型示意图；

图3为计算相机光学中心到投影图像的距离R的示意图；

图4为标定点和光学中心连线与相机光学中心所在平面的垂直夹角gy的示意图；

图5为对标定点相机成像模型添加辅助线和点并做视角转换后的示意图一，其中，图5(A)为对标定点相机成像模型添加辅助线和点的示意图，图5(B)为对B₁CB₄区域进行视角转换后的示意图；

图6为计算相机的初始水平偏移量的示意图；

图7为对标定点相机成像模型添加辅助线和点并做视角转换后的示意图二，其中，图7(A)为对标定点相机成像模型添加辅助线和点的示意图，图7(B)为对B₁CB₄区域进行视角转换后的示意图；

图8为计算相机的初始垂直偏移量的示意图；

图9为对目标点相机成像模型添加辅助线和点并做视角转换后的示意图一，其中，图9(A)为对目标点相机成像模型添加辅助线和点的示意图，图9(B)为对D₁CD₄区域进行视角转换后的示意图；

图10为对目标点相机成像模型添加辅助线和点并做视角转换后的示意图二，其中，图10(A)为对目标点相机成像模型添加辅助线和点的示意图，图10(B)为对D₁CD₄区域进行视角转换后的示意图；

图11为本发明提供的地理坐标与PTZ相机坐标的转换系统的结构框图；

图12为本发明提供的一种电子设备的结构框图。

附图标记：61、输入模块；62、相机标定模块；63、目标点位计算模块；71、处理器；72、存储器；73、通信接口；74、外部设备；75、显示器；76、网络适配器。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面首先对本发明涉及到的技术术语进行解释：

PTZ相机：即云台变焦摄像机，PTZ相机可以围绕3个轴移动，实现左右移动（Pan）、上下移动（Til）和缩放变焦（Zoom）。在摄像机监视的场景范围内，当移动目标出现后，用户可以手动锁定（例如通过鼠标点击来锁定目标）或预置位自动触发锁定某个运动目标，来触发PTZ摄像机进行自主自动的PTZ跟踪，并自动控制PTZ摄像机的云台进行全方位旋转，针对被锁定的运动目标进行视觉导向的自动跟踪，以确保跟踪目标持续出现在镜头中央。

地理坐标：现实世界中实景物体的地理位置，用经度和纬度表示。

原始像素坐标：现实世界中实景物体投影到投影图像上的位置，原始像素坐标可以直接通过投影图像读取。

目标像素坐标：考虑相机视角后，利用目标点地理坐标和最近标定点对应的相机初始状态值重新计算的实景目标点像素坐标。

参照图1，为本发明公开的地理坐标与PTZ相机坐标的转换方法，包括如下步骤：

S10、对相机在某一视角下拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像进行标定。

S20、对任一所述待标定的投影图像选取标定点，获取该标定点的原始像素坐标（x, y）和对应的地理坐标（α, β），读取相应视角下的相机水平旋转角度dp，计算相机光学中心到投影图像的距离R和相机的初始水平偏移量pan。

对于同一待标定的投影图像标定点可以选取一个可以选取多个，在此不作限制。为了方便理解，参照图2，为相机成像模型示意图。例如图像整体像素自定义为256*256（这里可以根据需要进行定义，只要整个计算体系遵循一种定义即可），那图像中心点的原始像素坐标（x_0, y₀）即（128, 128）。取标定点对应的地理坐标，除了可以用地图工具（百度、高德等）找对应点，也可以现场地点定位获取。

S21、参照图3，计算相机光学中心到投影图像的距离R：

R = (W / 2) / tan (Hfa / 2) （公式1）

其中，Hfa为相机水平视场角，Hfa为相机出厂参数，可以直接获得，W为图像宽度总像素，前面定义的是256。

S22、参照图4，获取相机（即相机光学中心）的地理坐标（α₁, β₁），计算标定点和光学中心连线与相机光学中心所在平面的垂直夹角gy：

gy = arctan（H / L） （公式2）

其中，H为相机高度，L为相机光学中心与标定点的水平距离。值得一提的是，为了便于描述，下文所说的相机各项参数均指的是相机光学中心的参数。

L通过两点的地理坐标可计算得出，可采用两点直线距离公式：

。

S23、计算标定点与当前相机光轴的水平夹角gx：

（公式3）。

推导过程如下：

参照图5，相机成像模型添加辅助线和点如图5(A)所示，对B₁CB₄区域进行视角转换后如图5(B)所示。

辅助点说明见下表：

图中各参数说明见下表：

可得以下基础公式：

p² = y² + R²

q² = p² + x²

k = qcos(gy)

gx = arcsin(x/k)

由上述基础公式推导得出：

（公式3）。

S24、参照图6，计算相机的初始水平偏移量pan：pan = globalX - gx - dp （公式4）

图中各参数说明如下表：

dp通过相机自身的API数据接口获取，globalX通过标定点地理坐标和相机地理坐标可以求出，globalX=arctanβ/α₁。

S30、读取相应视角下的相机垂直旋转角度dt，计算相机的初始垂直偏移量til。

S31、计算相机与标定点垂直方向夹角θ：

参照图 7，相机成像模型添加辅助线和点如图7(A)所示，对B₁CB₄区域进行视角转换后如图7(B)所示。

可得以下基础公式：

θ= arccos(n₁/ p)

由上述基础公式，推导可得：

（公式5）

k、R前面已有求解过程，x、y为已知值，所以能求解出θ的值。

S32、计算相机与标定点水平方向夹角γ：γ= arctan(y/R) （公式6）。

S33、参照图8，计算相机的初始垂直偏移量til：til = θ-γ- dt（公式7），其中，dt为相机垂直旋转角度，通过相机自身的API数据接口获取。

S40、调整相机视角，重复上述步骤，计算出多组不同视角不同标定点下的相机初始参数，相机初始参数包括初始水平偏移量和初始垂直偏移量。

由前面描述可知，通过标定点可以计算出基于该点的相机初始状态参数。对相机镜头的不同状态下图像的多个点进行标定计算，图像的张数以覆盖相机视野内所有目标点为准，可以输出多组相机初始状态参数。为了提高精度，标定点至少选取2个，得到多组标定结果参数。

标定结果参数样例：

S50、找到离目标点最近的标定点，通过最近标定点对应的相机初始参数和目标点的地理坐标，计算目标点的像素坐标，进行地理坐标与PTZ相机坐标的转换。

S51、获取目标点的地理坐标（α´, β´），找到离目标点最近的标定点，获取该标定点对应的相机初始参数（pan、til）；

确定最近标定点的具体过程为：遍历各标定点，用目标点的地理坐标依次与各标定点的地理坐标进行距离计算，取距离最小的标定点作为最近标定点。例如采用球面距离计算公式进行距离计算：

其中，S为任意一个标定点到目标点的距离，β为最近标定点的纬度角，α为最近标定点的经度角；β´为目标点的纬度角，α´为目标点的经度角，r为地球的平均半径。

S52、计算当前相机光轴与水平方向夹角ft´：ft ´=θ-γ=dt´+ til（公式8），dt´为当前相机的垂直偏移角度，通过相机API数据接口获取。

S53、计算相机光轴与目标点夹角gx´：gx´= globalX´ - dp´ - pan。

globalX´为目标点与正北方向的水平夹角，通过目标点地理坐标和相机地理坐标可以求出，globalX´=arctan(β´/α₁)；dp´为当前相机的水平偏移角度，通过相机API数据接口获取。

S54、计算目标点和光学中心连线与相机光学中心所在平面的垂直夹角gy´：gy´=arctan （H / L´），其中，H为相机高度，L´为相机光学中心与目标点的水平距离，通过两点的地理坐标可计算得出，计算过程可参考相机光学中心与标定点的计算公式。

S55、计算目标像素坐标（x´, y´）：

（公式9）

（公式10）

以下为推导过程：

参照图9，同样基于相机成像原理，计算模型与标定过程的一致，只是将标定点替换成目标点，对目标点的相机成像模型添加辅助线和点如图9(A)所示，图中D点为目标点投影到图像上的位置，对D₁CD₄区域进行视角转换后如图9(B)所示。可得到以下基础公式： x´=n₁tan(gx´)

n₁ = k - n₂

n₃ = Rcos(ft)

n₂ = ysin(ft)

式中，n₁、n₂、n₃均为临时辅助距离参数，由以上基础公式可推导得出：

（公式9）

参照图10，对目标点的相机成像模型添加辅助线和点如图10(A)所示，对D₁CD₄区域进行视角转换后如图10(B)所示。可得到以下基础公式：

h = sin(ft´) · (y´+ j)

h =ktan(gy´)

j = Rtan(ft´)

k = x´/ cos(gx´)

式中，j、h、k均为临时辅助距离参数，由以上基础公式和公式9，可推导得出：

（公式10）

本发明建立了地理坐标与PTZ相机坐标的转换关系，利用标定出的相机初始状态参数计算实景目标点的坐标，一方面可以提高计算精度，保持虚拟的实景位置与视频中实际位置一致，另一方面相机视角变动后，不需要再重新标定，可节省标定工作量。

参照图11，本发明还公开了地理坐标与PTZ相机坐标的转换系统，用于实现前述方法实施例对应的方法，其特征在于，包括输入模块61、相机标定模块62和目标点位计算模块63，

所述输入模块61用于输入多张待标定的投影图像和目标点地理坐标；

所述相机标定模块62和输入模块61相连接，用于对任一所述待标定的投影图像选取标定点，并计算多组不同视角不同标定点下的相机初始参数，所述相机初始参数包括初始水平偏移量和初始垂直偏移量；

所述目标点位计算模块63和所述相机标定模块62相连接，用于计算离目标点最近的标定点，通过最近的标定点对应的相机初始参数计算目标点的像素坐标。本系统的工作原理和具体实施过程参见前述方法实施例，在此不做赘述。

参照图12，为本发明公开的一种电子设备，该电子设备包括：一个或多个处理器71，以及用于存储处理器71的可执行指令的存储器72，存储器72和处理器71电性连接。

其中，处理器71配置为经由执行所述可执行指令来执行前述方法实施例对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

可选的，该电子设备还可以包括：通信接口73，该电子设备通过通信接口73可以与一个或多个外部设备74（例如键盘、指向设备、显示器75等）通信连接。

可选的，该电子设备还可以包括：网络适配器76，该电子设备可通过网络适配器76与一个或多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器71执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种地理坐标与PTZ相机坐标的转换方法，其特征在于，包括如下步骤：

S10、对相机在某一视角下拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像进行标定；

S20、对所述待标定的投影图像选取标定点，获取该标定点的原始像素坐标（x, y）和对应的地理坐标（α, β），读取相应视角下的相机水平旋转角度dp，计算相机光学中心到投影图像的距离R和相机的初始水平偏移量pan；

S30、读取相应视角下的相机垂直旋转角度dt，计算相机的初始垂直偏移量til；

S40、调整相机视角，重复步骤S10-S30，计算出多组不同视角不同标定点下的相机初始参数，所述相机初始参数包括初始水平偏移量和初始垂直偏移量；

S50、找到离目标点最近的标定点，通过最近的标定点对应的相机初始参数和目标点的地理坐标，计算目标点的像素坐标；

步骤S20进一步包括如下步骤：

S21、计算相机光学中心到投影图像的距离R：R = (W / 2) / tan (Hfa / 2) ，其中，Hfa为相机水平视场角，W为图像宽度总像素；

S22、计算标定点和光学中心连线与相机光学中心所在平面的垂直夹角gy：gy =arctan（H / L），其中，H为相机高度，L为相机光学中心与标定点的水平距离；

S23、计算标定点与当前相机光轴的水平夹角gx：

；

S24、计算相机的初始水平偏移量pan：pan = globalX-gx-dp，其中，globalX为标定点与正北方向的水平夹角，通过标定点地理坐标和相机地理坐标求出，dp通过相机自身的API数据接口获取；

步骤S30进一步包括如下步骤：

S31、计算相机与标定点垂直方向夹角θ；

S32、计算相机与标定点水平方向夹角γ；

S33、计算相机的初始垂直偏移量til：til = θ-γ-dt，dt通过相机自身的API数据接口获取。

2.根据权利要求1所述的地理坐标与PTZ相机坐标的转换方法，其特征在于，S50进一步包括如下步骤：

S51、找到离目标点最近的标定点，获取该标定点对应的相机初始参数；

S52、计算当前相机光轴与水平方向夹角ft´：ft´=dt´+ til，dt´为当前相机的垂直偏移角度，通过相机API数据接口获取；

S53、计算相机光轴与目标点夹角gx´：gx´= globalX´-dp´-pan，globalX´为目标点与正北方向的水平夹角，通过目标点地理坐标和相机地理坐标求解得出，dp´为当前相机的水平偏移角度，通过相机API数据接口获取；

S54、计算目标点和光学中心连线与相机光学中心所在平面的垂直夹角gy´：gy´=arctan （H / L´），其中，H为相机高度，L´为相机光学中心与目标点的水平距离，通过两点的地理坐标计算得出；

S55、计算目标点的像素坐标（x´, y´）：

；

。

3.根据权利要求1所述的地理坐标与PTZ相机坐标的转换方法，其特征在于，步骤S40中通过调整相机视角得到多张待标定投影图像，待标定投影图像的张数以覆盖相机视野内所有目标点为准。

4.根据权利要求1所述的地理坐标与PTZ相机坐标的转换方法，其特征在于，步骤S40中的标定点至少选取2个。

5.根据权利要求1所述的地理坐标与PTZ相机坐标的转换方法，其特征在于，所述找到离目标点最近的标定点的具体过程如下：遍历各标定点，用目标点的地理坐标依次与各标定点的地理坐标进行距离计算，取距离最小的标定点作为最近标定点。

6.根据权利要求5所述的地理坐标与PTZ相机坐标的转换方法，其特征在于，所述目标点和标定点的距离采用球面距离公式计算。

7.一种地理坐标与PTZ相机坐标的转换系统，用于实现权利要求1-6任一项所述的方法，其特征在于，包括输入模块（61）、相机标定模块（62）和目标点位计算模块（63），

所述输入模块（61）用于输入多张待标定的投影图像和目标点地理坐标；

所述相机标定模块（62）和输入模块（61）相连接，用于对任一所述待标定的投影图像选取标定点，并计算多组不同视角不同标定点下的相机初始参数，所述相机初始参数包括初始水平偏移量和初始垂直偏移量；

所述目标点位计算模块（63）和所述相机标定模块（62）相连接，用于计算离目标点最近的标定点，通过最近的标定点对应的相机初始参数计算目标点的像素坐标。

8.一种电子设备，其特征在于，包括处理器（501）和存储器（502），所述存储器（502）与处理器（501）电性连接，所述存储器（502）用于存储处理器（501）的可执行指令；其中，所述处理器（501）配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。