CN117152257B - 一种用于地面监控摄像机多维角度计算的方法和装置 - Google Patents

Abstract

本发明实施例涉及视频监控技术和机器视觉技术领域，公开了一种用于地面监控摄像机多维角度计算的方法和装置，具体包括：构建一个简易装置，作为标准参照物；结合太阳方位角度和所形成的阴影，建立几何模型；建立世界坐标系，获取参照物和阴影轮廓特征点坐标；构建二维坐标系，获取二维成像特征点坐标；通过世界坐标系和二维成像坐标的关系解算摄像机姿态，获得摄像机世界坐标系的姿态估算；转化得到摄像机的现实世界的多维朝向角度信息。通过上述方式，本发明实施例能够提高监控摄像机朝向角度的准确性，帮助快速筛选能够采集到所在位置画面的有效监控摄像机，提高摄像机筛选的工作效率。

Description

一种用于地面监控摄像机多维角度计算的方法和装置

技术领域

本申请涉及视频监控技术和机器视觉技术领域，主要涉及一种用于地面监控摄像机多维角度计算的方法和装置。

背景技术

在实际案件处置过程中，视频监控作为其中最重要的线索之一，如何快速找到案件周围有效的监控摄像头是视频监控数据获取的第一步，这与监控摄像头的朝向和位置基础信息密切相关。

但实际上，目前地面监控摄像机存在不少问题：

(1) 规模庞大，运维管理困难，出现大量监控摄像头的基础信息与实际信息不符；

(2) 摄像机朝向精度表达有限，人工维护的角度一般也就划分为8个朝向，分别为东、南、西、北、东南、西南、西北和东北，表达精度非常粗糙，只表达了水平朝向信息，朝向精度基本上无法达到10度。

(3) 更新不及时，数据不准确，一般建设完成后进行数据录入，数据录入精准性不足，后续监控摄像机在维护的过程中朝向进行了调整，但是后端平台记录的摄像机朝向基础信息没有及时更新，导致一段时间运行后，出现大量不正确的摄像机朝向数据。

(4) 人工工作量大，由于监控摄像机的安装位置环境复杂并且数量巨大，通过对摄像机设备本身的朝向角度测量非常困难，工作量巨大。

发明内容

针对现有技术中的摄像头管理困难，朝向不精确的技术问题，本申请提出了一种用于地面监控摄像机多维角度计算的方法和装置。

根据本发明的一方面，提出了一种用于地面监控摄像机多维角度计算的方法和装置，所述方法包括：

构建一个简易装置，作为标准参照物；

在摄像机的视觉场景范围内，标准参照物结合太阳方位角度和所形成的阴影，建立几何模型；

将标准参照物所在位置建立世界坐标系，获取参照物和阴影轮廓特征点坐标；

在监控摄像机成像画面中，构建二维坐标系，获取二维成像特征点坐标。

通过世界坐标系和二维成像坐标的关系解算摄像机姿态，从而获得摄像机世界坐标系的姿态估算；

即而转化得到摄像机的现实世界的多维朝向角度信息。

优选地，“构建一个简易装置”的步骤包括：

在水平地面上放置一个面板，作为地面板；

准备一个路面倾斜标示线和水平面标示线，将二者的中心固定在一起，路面倾斜标示线平行于地面板，且固定在水平指示面板，而水平标示线仅中心点与路面倾斜标示线固定在水平指示面板上；

用一根标准参照杆将水平指示面板和地面板垂直连接固定在一起；

在水平指示面板上系一根软绳线，软绳线下方垂吊一根具有一定长度的细杆，例如一米长的细杆，作为标准参照杆；

调整垂线，使标准参照杆底部刚好接触底面；

优选地，“在摄像机的视觉场景范围内，标准参照杆结合太阳方位角度和所形成的阴影，建立几何模型”的步骤包括：

将所述的装置放置监控摄像机的监控视觉场景范围内；

所述标准参照杆在阳光照射下形成阴影，标准参照杆和阴影构成一个三角形，标准参照杆本身和阴影即为三角形的直角边；

优选地，“将标准参照杆所在位置建立世界坐标系，形成参照杆和阴影轮廓特征点坐标”的步骤包括：

将所述标准参照杆底部作为原点，水平面东西朝向设为x轴，南北朝向设为y轴，原点指向天顶为z轴，构建三维世界坐标系；

在标准校时服务下，选择一个时间点，根据太阳高度和标准参照杆高度可以计算在此时该时间点的由标准参照杆和阴影构成的三角形的三维坐标，记为Pw0(标准参照杆顶点)、Pw1(标准参照杆落地点)、Pw1T1(此时该时间T1的太阳阴影对应的标准参照杆顶点)，即为参照杆和阴影轮廓特征点坐标。

优选地，“在监控摄像机成像画面中，构建二维坐标系，获取二维成像特征点坐标”的步骤包括：

在监控摄像机成像画面中，以成像画面的像素中心O为原点，横向为x轴，垂直方向为y轴，构建二维坐标系；

摄像机将成像画面作为视频数据传入视频平台，通过机器视觉计算对图像进行分析，识别场景内物体边缘清晰，太阳照射下阴影清晰的被观测物体；

将被观测物体的顶点作为特征点，记为pw0’，将被观测物体的落地点作为特征点，记为pw1’，将被观测物体阴影对应的顶点作为特征点，记为pw1T1’。

优选地，“通过世界坐标系和二维成像坐标的关系解算摄像机姿态，从而获得摄像机世界坐标系的姿态估算”的步骤包括：

将三维坐标与监控摄像机成像画面二维特征点坐标建立对应关系；

所述的对应关系包括，现实世界标准参照杆原点(Pw0)对应二维被观测物体顶点(pw0’)，现实世界标准参照杆落地点(Pw1)对应二维被观测物落地点(pw1’)，现实世界此时该时间T1的太阳阴影对应的标准参照杆的顶点(Pw1T1)对应二维被观测物体阴影对应的顶点(pw1T1’)；

通过PnP算法将已知世界坐标系下N个空间点的三维坐标以及这些空间点在图像上的投影坐标，计算监控摄像机所在的姿态，从而获得摄像机世界坐标系的姿态估算；

所述的监控摄像机世界坐标系的姿态估算包括：水平朝向角度估算、俯仰角度估算、旋转角度信息估算；

本发明另一方面，提出了地面监控摄像机多维朝向角度计算系统，其中包括：标准校时服务模块，视频平台模块，图像分析模块，相机姿态解算模块和监控摄像头基础信息模块；

所述的标准校时服务模块，用于统一系统内各个设备、服务器的时间；

所述的视频平台模块，用于汇聚路面监控摄像机视频资源；

所述的图像分析模块，基于机器视觉技术，对摄像机采集图像进行分析，识别被观测物体的特征点及特征点对应阴影坐标，结合太阳方位计算参考物体模型的坐标信息，建立参考物体模型坐标与图像二维坐标的坐标点对；

所述的相机姿态解算模块，基于坐标点位对，通过PnP算法进行相机姿态估算，转化为现实世界的摄像机朝向角度计算；

所述的监控摄像头基础信息模块，通过相机姿态解算获得摄像机的朝向角度数据，将所得角度数据及时更新到监控摄像机基础信息数据库中，用于支撑各业务系统。

本发明具有如下有益效果：

本发明通过构建简易的装置作为标准参照物装置，只需要在摄像机视野范围内，在具备阳光照射下放置该参照物，即可完成摄像机多维度角度的精确计算，在多个摄像机照射的场景下，可以通过一次标准参照物完成多个摄像机的朝向角度标定，极大降低摄像机角度采集的难度，提高摄像机采集角度的维度和精度；

监控摄像机朝向角度的准确性和精度提升，帮助快速筛选能够采集到所在位置画面有效的监控摄像机，针对性快速获取监控录像，提高摄像机筛选的工作效率；

监控摄像机朝向角度的准确性和精度提升，为监控点位建设增加补盲提供辅助决策支持，提升科学决策。

附图说明

图1是本发明的地面监控摄像机多维角度计算的方法和装置实施例的主要步骤示意图；

图2是本发明实施例中标准参照装置放置于水平面和非水平面示意图；

图3是本发明实施例中标准参照物分别在三维和二维下的坐标系示意图；

图4是本发明实施例中三维坐标系下参照物和阴影轮廓特征点示意图；

图5是本发明实施例中不同位置下的太阳阴影对应的标准参照杆顶点示意图；

图6是本发明实施例中摄像机在世界坐标系下的朝向示意图；

图7是本发明实施例中地面监控摄像机多维朝向角度计算系统示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本实施例中，选取3个以上的路口监控摄像头进行校对补盲。

图1是本发明的一种用于地面监控摄像机多维角度计算的方法和装置的主要步骤示意图。本实施例的方法和装置包括步骤S1-S6：

步骤S1，构建一个简易装置，作为标准参照物。该步骤可以具体包括步骤A10-A14：

图2是本实施例中标准参照装置放置于水平面图A和非水平面图B示意图。该装置可以拆为7个装置零件，分别为零件1-零件7：

零件1：展示水平指示面板，包含装置放置的地面倾斜及水平面标示线；

零件2：标准装置所放置的路面倾斜标示线；

零件3：水平标示线；

零件4：软绳线，吊着测量细杆；

零件5：标准参照杆，长度为1米，由软绳垂吊着，垂直于水平面，标准参照杆底部刚好接触底面；

零件6：支撑杆件，连接地面板和水平指示板；

零件7：底面板。

步骤A10，在水平地面上放置一个面板，作为地面板；

步骤A11，准备一个路面倾斜标示线和水平面标示线，将二者的中心固定在一起，路面倾斜标示线平行于地面板，且固定在水平指示面板，而水平标示线仅中心点与路面倾斜标示线固定在水平指示面板上；

步骤A12，用一根标准参照杆将水平指示面板和地面板垂直连接固定在一起；

步骤A13，在水平指示面板上系一根软绳线，软绳线下方垂吊一根长度1米的细杆，作为标准参照杆；

步骤A14，调整垂线，使标准参照杆底部刚好接触底面。

步骤S2，结合太阳方位角度和所形成的阴影，建立几何模型。该步骤具体可分为A20-A21：

步骤A20，将所制作的装置放置监控摄像机的监控视觉场景范围内；

步骤A21，装置中标准参照杆在阳光照射下形成阴影，标准参照杆和阴影构成一个三角形，标准参照杆本身和阴影即为三角形的直角边。

步骤S3，建立世界坐标系，获取参照物和阴影轮廓特征点坐标。该步骤具体可分为A30-A31：

图3是本发明实施例中标准参照物分别在三维和二维下的坐标系示意图，其中的左半图是三维世界坐标系示意图。

步骤A30，将所述标准参照杆底部作为原点，水平面东西朝向设为x轴，南北朝向设为y轴，原点指向天顶为z轴，构建三维世界坐标系；

步骤A31，根据太阳高度和标准参照杆高度可以计算在此时该时间点的由标准参照杆和阴影构成的三角形的三维坐标，记为Pw0(标准参照杆顶点)、Pw1(标准参照杆落地点)、Pw1T1(此时该时间T1的太阳阴影对应的标准参照杆顶点)，即为参照杆和阴影轮廓特征点坐标。

图4是本发明实施例中三维坐标系下参照物和阴影轮廓特征点示意图，具体包括：

标准参照杆为OA，放置于太阳光照下，太阳光线为ABC，参照杆阴影为OB，OC为三维坐标中的水平面。

根据三维坐标系建立，可知标准参照杆落地点坐标O(0,0,0)，标准参照杆顶点坐标为A(0,0,1)。

图5是本发明实施例中不同位置下的太阳阴影对应的标准参照杆顶点示意图，用于获取图4中B点的坐标，即太阳阴影对应的标准参照杆顶点的坐标，具体包括：

当阴影投影点比标准参照杆落地点高时，即左边视图：

其中∠ACO为太阳高度角，可计算得出；

根据测量可知∠BOC，可计算得出∠OBC=π-∠BOC-∠ACO；

根据，可计算得出/>；

根据上述结果，可计算得出，，其中BD为阴影投影点的z坐标，方向为正；

根据测量可得太阳的方位角为，可计算得出，，可计算得出太阳阴影对应的标准参照杆顶点的三维坐标B(x,y,z)。

当阴影投影点比标准参照杆落地点低时，即右边视图：

其中∠ACO为太阳高度角，可计算得出；

根据测量可知∠BOC，根据，可计算得出OB=/>；

根据上述结果，可计算得出，，其中BD为阴影投影点的z坐标，方向为负；

根据测量可得太阳的方位角为，可计算得出/>，，可计算得出太阳阴影对应的标准参照杆顶点的三维坐标B(x,y,z)。

步骤S4，构建二维坐标系，获取二维成像特征点坐标。该步骤具体可分为A40-A42：

根据图3中的右半图，即二维坐标系示意图。

步骤A40，在监控摄像机成像画面中，以成像画面的像素中心O为原点，横向为x轴，垂直方向为y轴，构建二维坐标系；

步骤A41，通过机器视觉计算对图像进行分析，识别场景内物体边缘清晰，太阳照射下阴影清晰的被观测物体；

步骤A42，将被观测物体的顶点作为特征点，记为pw0’，将被观测物体的落地点作为特征点，记为pw1’，将被观测物体阴影对应的顶点作为特征点，记为pw1T1’。

步骤S5，通过世界坐标系和二维成像坐标的关系解算摄像机姿态，从而获得摄像机世界坐标系的姿态估算。该步骤具体可分为A50-A53：

步骤A50，将三维坐标与监控摄像机成像画面二维特征点坐标建立对应关系；

步骤A51，所述的对应关系包括，现实世界标准参照杆原点(Pw0)对应二维被观测物体顶点(pw0’)，现实世界标准参照杆落地点(Pw1)对应二维被观测物落地点(pw1’)，现实世界此时该时间T1的太阳阴影对应的标准参照杆的顶点(Pw1T1)对应二维被观测物体阴影对应的顶点(pw1T1’)；

步骤A52，通过PnP算法将已知世界坐标系下N个空间点的三维坐标以及这些空间点在图像上的投影坐标，计算监控摄像机所在的姿态，从而获得摄像机世界坐标系的姿态估算，具体包括：

根据摄像机的规格参数，可知摄像机的焦距，最大分辨率，传感器的尺寸，从而获得摄像机的内参矩阵K；

根据P3P算法，可以根据3对的3D-2D坐标获得4组旋转平移解：

；

将世界坐标系代入算法，获得在图像中的投影，取出其中投影误差最小的解，即为正解，求解所得旋转矩阵为：

；

图6是本发明实施例中摄像机在世界坐标系下的朝向示意图，摄像机世界坐标系的姿态估算具体如下：

图中的OA方向，其在天顶-东平面的投影为OB，OB与OD的夹角为a（垂直角度）,其在东-北平面的投影为OE，OE与OD的夹角为b（水平角度），那么OA线段，可由OD先绕北轴旋转角度a，再绕天顶轴旋转b得到，即两个旋转矩阵分别为：

；

可得，联立方程组可求得水平角度b和垂直角度a，即可得到摄像机朝向，本实施例中a=b=45°，则摄像机朝向为东北朝向，向下45°。

步骤A53，所述的监控摄像机世界坐标系的姿态估算包括：水平朝向角度、俯仰角度、旋转角度信息；

图7是本发明实施例中地面监控摄像机多维朝向角度计算系统示意图。所述系统具体包括：标准校时服务模块，视频平台模块，图像分析模块，相机姿态解算模块和监控摄像头基础信息模块，本实例具体步骤可分为A60-A64：

步骤A60，时间模块时刻校时，使系统各个模块的时间一致，选择一个时间点，根据太阳高度和所述标准参照杆高度可以计算在此时该时间点的由标准参照杆和阴影构成的三角形的三维坐标，即为参照杆和阴影轮廓特征点坐标；

步骤A61，监控摄像头将拍摄到的视频数据传到视频平台，通过机器视觉计算对图像进行分析，识别场景内物体边缘清晰，太阳照射下阴影清晰的被观测物体；

步骤A62，将被观测物体的顶点、被观测物体的落地点和被观测物体阴影对应的顶点作为特征点，获取对应的特征点坐标；

步骤A63，通过PnP算法将已知世界坐标系下N个空间点的三维坐标以及这些空间点在图像上的投影坐标，进行摄像机姿态解算，从而获得摄像机世界坐标系的姿态估算；

步骤A64，根据摄像机的姿态解算，更新摄像机的朝向角度，进而更新监控摄像头基础信息。

以上描述了本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

在本申请的描述中，需要理解的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。措词‘包括’并不排除在权利要求未列出的元件或步骤的存在。元件前面的措词‘一’或‘一个’并不排除多个这样的元件的存在。在相互不同从属权利要求中记载某些措施的简单事实不表明这些措施的组合不能被用于改进。在权利要求中的任何参考符号不应当被解释为限制范围。

Claims (9)

1.一种用于地面监控摄像机多维角度计算的方法，其特征在于，包括以下步骤：

S1、构建一个简易装置，作为标准参照物，所述标准参照物的具体结构包括：展示水平指示面板、底面板和支撑杆，所述底面板放置于地面，所述支撑杆垂直放在所述底面板上并在所述支撑杆顶部放置所述展示水平指示面板，所述展示水平指示面板上由软绳线垂吊一根标准参照杆，所述标准参照杆垂直于水平面时，底部刚好接触所述底面板，所述展示水平指示面板上标有水平标示线和路面倾斜标示线；

S2、结合太阳方位角度，所述标准参照杆在阳光照射下会产生阴影形成标准参照杆阴影，利用所述标准参照杆阴影和所述标准参照杆建立几何三角形，其中，所述标准参照杆阴影和所述标准参照杆为所述几何三角形的两条边；

S3、将所述标准参照杆底部作为原点，水平面东西朝向设为x轴，南北朝向设为y轴，原点指向天顶为z轴，构建三维世界坐标系，在标准校时服务下，选择一个时间点，根据太阳高度和所述标准参照杆高度计算在所述时间点下的三维世界坐标系特征点坐标，所述三维世界坐标系特征点分别为标准参照杆顶点、标准参照杆落地点和标准参照杆阴影顶点；

S4、在监控摄像机成像画面中，以所述成像画面的像素中心为原点O，横向为x轴，垂直方向为y轴，构建二维xy轴坐标系，将所述成像画面中被观测物体的顶点、落地点和被观测物体的阴影顶点作为特征点，获取所述成像画面的特征点坐标；

S5、将所述三维世界坐标系特征点坐标和所述成像画面的特征点坐标形成坐标点位对，根据所述坐标点位对利用PnP算法解算出旋转矩阵，利用所述旋转矩阵计算出监控摄像机具体朝向角度，从而解算出监控摄像机世界坐标系的姿态；

S6、利用所述解算出监控摄像机世界坐标系的姿态，更新监控摄像机的现实世界的多维朝向角度信息。

2.根据权利要求1所述的方法，其特征在于：

所述步骤S4具体还包括：监控摄像机将成像画面作为视频数据传入视频平台，通过机器视觉技术对所述成像画面进行分析，识别出场景内被观测物体清晰的边缘和太阳照射下所述被观测物体清晰的阴影。

3.根据权利要求1所述的方法，其特征在于，所述展示水平指示面板上标有的水平标示线和路面倾斜标示线用于测量当地地面与水平面的夹角。

4.根据权利要求1所述的方法，其特征在于，所述标准校时服务，用于统一系统内各个设备、服务器的时间，使系统各模块时间一致。

5.根据权利要求1所述的方法，其特征在于，所述更新监控摄像机的现实世界的多维朝向角度信息具体还包括：水平朝向角度更新、俯仰角度更新和旋转角度信息更新，并及时更新到监控摄像机基础信息数据库中，用于支撑各业务系统。

6.根据权利要求2所述的方法，其特征在于，所述视频平台用于汇聚监控摄像机视频资源；

其中通过机器视觉计算对图像进行分析，在于基于机器视觉技术，对监控摄像机采集图像进行分析，识别被观测物体的特征点及特征点对应阴影坐标，结合太阳方位计算参考物体模型的坐标信息，建立参考物体模型坐标与图像二维坐标的坐标点位对。

7.根据权利要求1所述的方法，其特征在于，所述水平标示线和路面倾斜标示线具体组装步骤还包括：将所述路面倾斜标示线和所述水平标示线中心固定在一起，所述路面倾斜标示线平行于所述底面板，且固定在展示水平指示面板上，而所述水平标示线仅中心点与所述路面倾斜标示线固定在所述展示水平指示面板上。

8.一种地面监控摄像机多维朝向角度计算系统，其特征在于，所述系统用于实现如权利要求1所述的方法，所述系统包括：

标准校时服务模块：模块用于统一系统内各个设备、服务器的时间；

视频平台模块：模块用于汇聚路面监控摄像机视频资源，所述视频资源来自监控摄像机所拍摄的视频数据；

图像分析模块：基于机器视觉技术，对监控摄像机采集图像进行分析，识别被观测物体的特征点及被观测物体的特征点对应的阴影坐标，结合太阳方位计算参考物体模型的坐标信息，建立参考物体模型坐标与图像二维坐标的坐标点对；

相机姿态解算模块：模块用于基于所述坐标点位对，通过PnP算法解算出旋转矩阵，利用所述旋转矩阵计算出监控摄像机具体朝向角度，从而解算出监控摄像机世界坐标系的姿态；

监控摄像机基础信息模块：模块用于通过解算出的监控摄像机姿态获得所述监控摄像机的朝向角度数据，将所述角度数据及时更新到监控摄像机基础信息数据库中，用于支撑各业务系统。

9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。