CN109919975B

CN109919975B - 一种基于坐标标定的广域监控运动目标关联方法

Info

Publication number: CN109919975B
Application number: CN201910135035.9A
Authority: CN
Inventors: 王家宝; 张睿; 袁辉; 朱亚松; 苗壮; 康凯; 李阳; 齐宁
Original assignee: Army Engineering University of PLA
Current assignee: Army Engineering University of PLA
Priority date: 2019-02-20
Filing date: 2019-02-20
Publication date: 2021-04-06
Anticipated expiration: 2039-02-20
Also published as: CN109919975A

Abstract

一种基于坐标标定的广域监控运动目标关联方法，首先选取物理标定点；测算物理标定点的经纬度坐标；接着标定图像坐标点；构建物理标定点到图像坐标点的映射模型；计算映射模型参数，模型参数依赖不少于6组成对的物理标定点和图像坐标点，并由随机抽样一致性算法计算得到；检测摄像机拍摄视频中的运动目标，基于背景差方法获得运动目标前景像素；计算目标中心位置，对所检测的运行目标前景像素进行聚类，计算类中心作为目标的中心位置；根据映射模型，推算物理标定点或图像坐标点，依据最短匹配原则对目标进行关联。本发明可以为广域监视视频中的各类军事演习训练目标提供所有相关视频内容，并对内容进行标注，为演习评估和数据运动提供支撑。

Description

一种基于坐标标定的广域监控运动目标关联方法

技术领域

本发明属于信息处理技术领域，具体涉及一种基于坐标标定的广域监控运动目标关联方法。

背景技术

近年来，视频监控被广泛应用于交通安全和社区安全领域，为违法和犯罪行为提供追踪线索和直接证据。在国防和军事领域，广域视频监控越来越得到人们的重视。在军事演习训练中，目标(单兵、装甲、火炮等)通常会自行携带GPS设备，以提供自身的地理坐标，同时演习训练还会采用监控视频对目标进行摄录，以此评估目标的演习训练情况。为了对演习训练提供综合全面指导和评估，有必要对广域监控视频中的目标图像与其物理GPS信息关联起来，以实现对广域监控场景中的目标的身份辨识和后续分析。因此，如何将广域监控视频中的目标图像与其物理坐标关联起来是一个非常值得研究的问题。

为了将广域监控视频中的目标图像与其实际GPS坐标关联起来，需要完成对广域监控视频的场景坐标标定。目前，视频场景坐标标定技术主要通过摄像机标定技术实现。摄像机标定是获取描述摄像机光学和几何特性以及描述摄像机相对世界坐标系位姿参数的过程，它可以将摄像机拍摄的场景画面与实际物理位置对应起来。该技术在现实中多采用多摄像机进行联合标定，根据摄像机的拓扑关系和标定点的图像坐标和经纬度坐标，提供精确场景坐标标定。如李凯等人发明的“摄像机的标定方法及摄像机标定装置”、周恩宇等人发明的“多目摄像机标定与校正方法和装置、设备、程序和介质”等等。但是，这些方法和装置多是针对小范围的监视区域进行的标定，缺乏对广域大范围的坐标标定，且由于环境限制和建设成本等因素影响，演习训练区域难以进行多摄像机联合标定。

发明内容

本发明针对现有技术中的不足，提供一种基于坐标标定的广域监控运动目标关联方法。该方法基于摄像机成像原理，构建物体二维图像坐标与三维地理坐标的映射变换关系模型，基于成像模型及相关约束条件，通过测定一组给定点的坐标信息建立方程组并求解映射变换关系模型的参数，实现对场景坐标的标定。该方法仅需要单个广域摄像机，在镜头固定条件下实现对监控场景的精细坐标标定，并结合视频运动目标检测技术，完成对广域监控视频中检测的运动目标与目标GPS坐标的关联。

为实现上述目的，本发明采用以下技术方案：

一种基于坐标标定的广域监控运动目标关联方法，其特征在于，包括如下步骤：

步骤一：选取物理标定点，所述物理标定点为多个容易辨识且分布均匀的自然地物或人工标记物；

步骤二：测算物理标定点的经纬度坐标，所述经纬度坐标由GPS或北斗等定位系统测算得到；

步骤三：标定图像坐标点，所述图像坐标点为对应物理标定点在所拍摄图像中的像素点位置；

步骤四：构建物理标定点到图像坐标点的映射模型，所述映射模型要求摄像机镜头不发生变动；

步骤五：计算映射模型参数，所述模型参数依赖不少于6组成对的物理标定点和图像坐标点，并由随机抽样一致性算法计算得到；

步骤六：检测摄像机拍摄视频中的运动目标，基于背景差方法获得运动目标前景像素；

步骤七：计算目标中心位置，对所检测的运动目标前景像素进行聚类，计算类中心作为目标的中心位置；

步骤八：根据映射模型，推算物理标定点或图像坐标点，依据最短匹配原则对目标进行关联。

为优化上述技术方案，采取的具体措施还包括：

优选地，所述步骤一具体包括如下步骤：

在摄像机所拍摄的实际物理场景中，选取容易辨识且分布均匀的自然地物或人工标记物作为物理标定点；

物理标定点的体积或面积不应过小，以保证经摄像机拍摄后在所拍摄图像中存在对应的像素点；

物理标定点的数目不少于6个且均匀分布于摄像机所拍摄场景中，以保证后续步骤的精确参数估计；

为了便于区分，记物理标定点为P_i，i＝1，...，N，其中N为物理标定点的总数。

优选地，所述步骤二具体包括如下步骤：

经纬度坐标可由GPS、北斗等定位系统测算得到，每个经纬度坐标包含经度和纬度两个数值，用以在后续步骤中计算实际物理标定点到图像坐标点的映射关系；

由于通过GPS、北斗等定位设备获取的经纬度坐标是有误差的，故测量时应将GPS、北斗等定位设备分多次放置于每个物理标定点进行测算，通过平均多次测算结果来减少误差；

测算的经纬度坐标为度分秒格式，为便于后续计算将其换算成为浮点型格式；记测算的物理标定点结果为

其中x_i，y_i分别对应为测算的经度值和纬度值。

优选地，所述步骤三具体包括如下步骤：

在物理场景中选取或设定的物理标定点，经摄像机拍摄后一一映射于所拍摄的图像中，映射在图像中对应为图像坐标点

图像坐标点以图像像素为度量单位；

在标定图像坐标点时，若物理标定点对应在图像上占据多个像素点则以多个像素点的中心点为准。

优选地，所述步骤四具体包括如下步骤：

在摄像机镜头不发生变动的条件下，根据小孔成像原理，物理标定点到图像坐标点的映射采用公式(1)表示：

为物理标定点的齐次坐标表示，

为图像坐标点的齐次坐标表示，参数M＝(a，b，c，d，e，f)为映射模型参数；其中，参数a，b，c，d对应为旋转变换参数，参数e，f对应为平移参数。

优选地，所述步骤五具体包括如下步骤：

公式(1)映射模型有6个未知参数，为了求解映射模型参数，需采集不少于6组成对的物理标定点和图像坐标点；

为了获得更鲁棒的映射模型参数，尽可能多地采集成对的物理标定点和图像坐标点，此时由成对的物理标定点和图像坐标点构建的方程组个数大于映射模型参数个数，模型求解变为一个超定方程求解问题；

基于统计学习方法，采用随机抽样一致性算法计算模型映射参数。

优选地，所述步骤六具体包括如下步骤：

在保证目标具有足够多像素的条件下，对广域高清监控视频帧进行降分辨率处理，基于高斯混合模型构建动态背景模型，该模型对光照变化、嘈杂背景具有良好的鲁棒性；

对每个视频帧，通过背景差法实现对目标前景像素的检测，得到目标前景图。

优选地，所述步骤七具体包括如下步骤：

对目标前景图进行形态学处理，通过腐蚀和膨胀操作，消除孤立噪声点，平滑目标轮廓，得到后处理目标前景图；

对后处理目标前景图进行轮廓检测，并依据轮廓区域面积和距离进行聚类，得到聚类后的目标区域，计算目标区域中心点坐标。

优选地，所述步骤八具体包括如下步骤：

根据公式(1)映射模型，对于摄像机拍摄区域内的任一目标物理标定点，计算其对应的图像坐标点；

对于摄像机拍摄图像中目标图像坐标点，反向计算目标实际物理标定点；

对于计算的图像坐标点与前景目标区域中心点进行最短距离匹配，具体匹配算法采用二分图的匈牙利算法进行。

本发明的有益效果是：在基于坐标标定的广域监控运动目标关联方法中，在监控场景坐标标定完成后，目标进入监视区域后，可实时检测到该运动目标，同时根据坐标映射模型得到目标映射GPS信息，该映射GPS信息可与目标实时GPS信息进行比对关联。一旦关联成功，则该方法可以为广域监视视频中的各类军事演习训练目标提供所有相关视频内容，并对内容进行标注，为演习评估和数据运用提供支撑。

附图说明

图1为本发明提供的基于坐标标定的广域监控运动目标关联方法的流程示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

如图1所示的一种基于坐标标定的广域监控运动目标关联方法，包括以下步骤：

步骤S1：选取物理标定点。

在本实施方式中，在摄像机所拍摄的实际物理场景中，选取容易辨识且分布均匀的自然地物或人工标记物作为物理标定点；物理标定点的体积或面积不应过小以保证经摄像机拍摄后在所拍摄图像中存在对应的像素点；物理标定点的数目不少于6个且应尽可能均匀分布于摄像机所拍摄场景中，以保证后续步骤的精确参数估计；为了便于区分，记物理标定点为P_i，i＝1，...，N，其中N为物理标定点的总数。

步骤S2：测算物理标定点的经纬度坐标。

在本实施方式中，经纬度坐标可由GPS、北斗等定位系统测算得到，每个经纬度坐标包含经度和纬度两个数值，用以在后续步骤中计算实际物理标定点到图像坐标点的映射关系；由于通过GPS、北斗等定位设备获取的经纬度坐标是有误差的，故测量时应将GPS、北斗等定位设备分多次放置于每个物理标定点进行测算，通过平均多次测算结果来减少误差；测算的经纬度坐标通常为度分秒格式，为便于后续计算将其换算成为浮点型格式；记测算的物理标定点结果为

其中x_i，y_i分别对应为测算的经度和纬度值。

步骤s3：标定图像坐标点。

在本实施方式中，在物理场景中选取或设定的物理标定点，经摄像机拍摄后一一映射于所拍摄的图像中，映射在图像中，对应为图像坐标点

图像坐标点以图像像素为度量单位；在标定图像坐标点时，若物理标定点对应在图像上占据多个像素点则以多个像素点的中心点为准。

步骤S4：构建物理标定点到图像坐标点的映射模型。

在本实施方式中，在摄像机镜头不发生变动的条件下，根据小孔成像原理，物理标定点到图像坐标点的映射可采用公式(1)表示：

为物理标定点的齐次坐标表示，

为图像坐标点的齐次坐标表示，参数M＝(a，b，c，d，e，f)为映射模型参数。其中，参数a，b，c，d对应为旋转变换参数，参数e，f对应为平移参数。

步骤S5：计算映射模型参数。

在本实施方式中，公式(1)映射模型有6个未知参数，为了求解映射模型参数，需采集不少于6组成对的物理标定点和图像坐标点；为了获得更鲁棒的映射模型参数，可尽可能多地采集成对的物理标定点和图像坐标点，此时由成对的物理标定点和图像坐标点构建的方程组个数大于映射模型参数个数，模型求解变为一个超定方程求解问题；基于统计学习方法，采用随机抽样一致性算法计算模型映射参数。

随机抽样一致性算法过程如下：

(1)采集成对点集合为

其中

为点集合中第i个物理标定点，

为第i个物理标定点

对应的图像坐标点，N为所采集的成对的物理标定点和图像坐标点的数量。

(2)从成对点集合R中随机取6对成对点构成子集合S，由该子集S可以求解出一组参数，称为初始化模型参数M。

(3)给定模型参数M，计算成对集合R中所有物理标定点

经公式(1)计算后的点与图像坐标点图像坐标点的欧式距离，将欧式距离小于预设阈值d的成对点构成集合S*，该集合S*作为公式(1)映射模型的一致集。

(4)如果集合S*的元素个数小于某个数值T，则重复步骤(2)和(3)。

(5)如果集合S*的元素个数超过某个数值T，则用S*中的所有元素，按最小二乘法重新估计映射模型参数M*。

(6)重复步骤(2)和(3)N次，选择元素个数最多的一致集S*所估计的模型参数M*，得到最终结果。

步骤s6：检测摄像机拍摄视频中的运动目标，基于背景差方法获得运动目标前景像素。

在本实施方式中，对广域高清监控视频帧进行降分辨率处理，该降分辨率处理在保证目标具有足够多的像素的条件下，基于高斯混合模型构建动态背景模型，该模型可对光照变化、嘈杂背景具有良好的鲁棒性；对每个视频帧，通过背景差法实现对目标前景像素的检测，得到目标前景图。

步骤S7：计算目标中心位置，对所检测的运行目标前景像素进行聚类，计算类中心作为目标的中心位置。

在本实施方式中，对前一步骤中的目标前景图进行形态学处理，通过腐蚀和膨胀操作，消除孤立噪声点，平滑目标轮廓，得到后处理目标前景图；然后，对后处理目标前景图进行轮廓检测，并依据轮廓区域面积和距离进行聚类，得到聚类后的目标区域，计算目标区域中心点坐标。

步骤S8：根据所述映射模型，推算物理坐标点或图像坐标点，依据最短匹配原则对目标进行关联。

在本实施方式中，经上述步骤，可计算物理标定点到图像坐标点的映射模型的参数。根据公式(1)映射模型，对于摄像机拍摄区域内的任一目标物理坐标点，可计算其对应的图像坐标点；对于摄像机拍摄图像中目标图像坐标点，可反向计算目标实际物理坐标点。对于计算的图像坐标点和与前景目标中心点进行最短距离匹配，具体匹配算法可采用二分图的匈牙利算法进行。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。