CN112040265A - 一种多摄像机协同的地理视频直播流生成方法 - Google Patents

Abstract

本发明公开了一种多摄像机协同的地理视频直播流生成方法。其具体步骤为：(1)根据各摄像机视频，结合高清遥感底图，选取同名点解算各摄像机的单应矩阵及视域；(2)在二维地图上确定直播区域及区域内的摄像机集合；(3)对直播区域进行格网剖分，并根据单应矩阵的逆变换，计算各格网中心点相应的图像坐标和像素值；(4)根据单应矩阵，计算各个像素点的投射面积和长度变形比；(5)基于优选条件，对重叠视域内的像素点进行加权优选；(6)根据网络带宽情况，采取自适应的视频图像流生成方法进行直播。本发明解决了2D WebGIS下多摄像机地理视频直播效率低、重叠视域内像素重复映射、视频流数据量大、输出质量和速度受网络带宽限制大的问题。

Description

一种多摄像机协同的地理视频直播流生成方法

技术领域

本发明涉及一种多摄像机协同的地理视频直播流生成方法，属于地理信息技术领域。

背景技术

随着科学技术的发展，视频监控网络和地理信息系统在智慧城市、自然资源监管、公共场所安保等领域均得到了广泛使用。视频监控网络具有高清、真实、实时的优势，地理信息系统具有可定位、可量测、可分析与模拟的特征，两者的集成可提供大场景实时的状态信息，使监管与安保工作能在统一的视图下完成，极大地降低了工作的难度。

当前，监控区域的各摄像机，在地图中多以点状符号表示摄像机位置，以圆弧或多边形表示摄像机视域，用户通过点击各个点查看各摄像机的视频画面，这种集成方式表达了摄像机的位置、朝向或视域，从一定程度上实现了两者的集成。然而，各个摄像机仍是独立的，为了了解整体状况或某一事件，仍需要逐个摄像机查看，并人工综合研判。如果能将各视频中的人、车、人群、车群、视频图像等统一映射到地图中，将会使综合分析变得便捷、降低人脑的负担。目前，该研究领域主要集中在单个摄像机视频图像及智能分析结果的地图映射方面，并且主要面向单机版或内网C/S架构的应用情景，无法在WebGIS或公网中应用。

发明内容

针对现有方法存在图像空间与地理空间位置不吻合、多个摄像机视频缺乏智能化融合、网络传输模式单一、数据量大等缺点，本发明提供了一种多摄像机协同的地理视频直播流生成方法，实现视频直播流输出速度和质量的提升。

本发明的技术思路为：基于各摄像机视频，结合高清遥感底图，综合考虑各摄像机视频图像各个像素点的投射面积、形变两大因素，优选重复像素点，实时生成与2D地图吻合的地理视频地图；根据网络带宽情况，采取自适应的视频图像流生成方法进行直播。

本发明采用的技术方案如下：

一种多摄像机协同的地理视频直播流生成方法，包括如下步骤：

步骤1，针对每一个摄像机视频，结合相应的高清遥感影像，分别选取同名点解算各摄像机的单应矩阵H_k，并根据单应矩阵H_k，计算各摄像机的视域V_k；

步骤2，在二维地图上确定直播区域R后，对摄像机的视域V_k与直播区域R几何求交，得到直播区域R内的摄像机集合C_s；

步骤3，对直播区域R进行格网剖分(m,n)，计算剖分后各格网的中心点坐标Geo_ij，并根据单应矩阵的逆变换矩阵，计算各格网中心点坐标对应各摄像机的图像坐标Pic_k(i,j)及像素值Pix-ValS_k(m,n)，得到落在直播区域R内的所有像素点；

步骤4，对每个摄像机的每个视频图像，设图像上每个像素点为中心的八邻域顺时针依次连接组成的闭合图形为S，像素点水平方向相邻接的两点连线为h₁，垂直方向相邻接的两点连线为V₁，根据单应矩阵H_k，计算图形S投影到地图上的图形S′的面积S_geo，以及连线h₁和V₁投影在地图上对应的线段h₁′、V₁′的长度l₁′和l₂′，设长度变形比为t，则t＝l₂′/l₁′；

步骤5，对直播区域R内摄像机重复检测的像素点，根据其投射图形S′的面积值及长度变形比t，基于优选条件，综合加权进行优选，以确定最终直播的视频图像；

步骤6，根据网络带宽情况，动态调整剖分格网的大小，自适应输出不同数据量及不同分辨率的视频图像。

进一步地，所述步骤1中，同名点的选取数量≥4。

进一步地，所述步骤3中，在格网剖分后，对无法找到图像相应坐标点的格网点，视为非覆盖区域。

进一步地，所述步骤4中，针对图像上任一个正方形格网中心表示的像素点Pic_k(i,j)，顺时针依次连接以像素点Pic_k(i,j)为中心，在水平、垂直及对角方向上相邻接的8个邻域像素点组成的闭合图形S都为一个3×3格网的正方形，则该像素点水平方向上相邻接的两点连接组成的线段和在垂直方向上相邻接的两点连接组成的线段长度相等，长度比值为1。

进一步地，所述步骤5中，进行优选的条件为：(1)投影在地图上面积较小的检测结果较准确，(2)长度变形比越接近于1的检测结果较准确；因此，W_m表示投射面积在优选中所占的权重，W_n表示长度变形比在优选中所占的权重；基于优选条件，面积S_geo越小，权重越大；长度变形比t越接近1，权重越大；得到总权重W_k＝W_m+W_n，W_k表示各个映射影响因素的加权之和，W_k值最大的摄像机对应的像素值应作为该格网点的最终值。

进一步地，所述步骤6中，根据网络带宽，动态调整格网大小，格网越大，生成的图像分辨率越低，数据量越小，适合于网络带宽较小的情况，反之图像越清晰，适合于网络带宽较大的情况；若网络带宽过小，低分辨率图像也无法直播时，则采取前景子图、目标轨迹、目标位置或以上几种组合的实时数据进行直播。

本发明的方法与现有技术相比，具有以下技术效果：

(1)面向2D WebGIS提供与地图位置完全吻合的地理视频直播流。基于二维地图或GIS对多摄像机的实时视频图像进行融合，并转化为网络地图兼容的视频流，满足WebGIS对实时地理视频图像层的需求。

(2)面对现有多摄像机有重叠视域的问题，提出面积变形、长度变形两个优选因素。当前技术主要存在重叠视域重复映射、数据冗余导致难以融合的问题，本发明依据面积变形、长度变形等多种因素综合考虑，实现多摄像机下重复视域中的像素映射优选，使重复映射的视频内容得到最优结果并唯一显示。

(3)考虑不同场景下不同因素的影响不同，本发明基于优选条件，分别对各因素的不同影响设置不同的权重，综合加权优选，从而保证融合地理视频图像的适用性、灵活性。

(4)考虑当前地理视频直播流输出的数据量大、输出速度和质量受网络带宽限制较大的问题，本发明根据网络带宽情况，可以自适应输出不同数据量的视频直播流，即动态调整剖分格网的大小：格网越大，生成的图像分辨率越低，数据量越小，适合于网络带宽较小的情况，反之图像越清晰，适合于网络带宽较大的情况。若网络带宽过小，低分辨率图像也无法直播时，则采取目标实时点坐标或轨迹坐标串进行直播，从而达到稳定、准确的可视化效果，可以满足WebGIS对地理视频直播的多样化需求。

附图说明

图1是本发明方法的流程框图；

图2是确定直播区域内的摄像机集合的示意图；

图3是格网剖分求解格网中心点图像坐标和像素值的示意图；

图4是图像上像素点的八邻域像素示意图；

图5是视频内容映射优选因素面积变形及长度变形的示意图；

图6是采取网络带宽自适应生成直播视频图像的示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

面向WebGIS对多摄像机协同的地理视频流服务的迫切需求，考虑地理场景中各个摄像机场景视角差异大、多摄像机下视频内容重叠地图映射、视频直播流的输出速度和质量受网络带宽限制较大的问题，本发明提供一种多摄像机协同的地理视频直播流生成方法。

本实施例的多摄像机协同的地理视频直播流生成方法，整体的技术思路为：首先，对每一个摄像机视频，结合高清遥感底图，分别选取4个及以上同名点解算各摄像机的单应矩阵，并根据单应矩阵，计算各摄像机的视域；然后，在二维地图上设定直播区域，对各摄像机的视域和直播区域作几何求交，得到直播区域内的摄像机集合；下一步，对直播区域进行格网剖分(m,n)，计算各个格网中心点的地理坐标，并根据单应矩阵的逆矩阵，解算出各格网的中心点坐标对应的各摄像机的图像坐标及像素值。基于各个像素的投射面积、长度变形比优选重叠区域的像素值，将直播区域内经过优选后的所有像素点构成一幅视频图像，其与地图中相应位置完全吻合。由于不同因素的影响不同，为保证优选结果的准确性，基于优选条件，对各影响因素综合加权优选。最后，为了适合于不同的网络条件，自适应输出不同数据量的视频直播流，即(a)设定直播区域格网大小形成的不同图像分辨率的直播流；(b)直播前景子图的直播流；(c)直播目标轨迹的直播流；(d)直播目标位置的直播流；(e)上述(a)、(b)、(c)、(d)几种优化组合的直播流。

本实施例的多摄像机协同的地理视频流生成方法，以二维地图空间为载体，将多个摄像机图像实时映射至地图空间，结合投射面积、长度变形比多个因素进行优选，从而构建出直播区域内与地图吻合的实时视频图像。首先，基于已有二维地图平台(含高清遥感底图图层)，求解各个摄像机的单应矩阵并计算视域，绘制直播区域；基于在二维地图上设定的直播区域，选取直播区域内的摄像机子集；然后，对直播区域进行格网剖分，获取的视频图像右上角和左下角地理坐标，设置一定的格网大小，根据单应矩阵的逆矩阵，求解各格网中心点地理坐标对应各摄像机的图像坐标，得到落在直播区域内的所有像素点；然后结合投射面积、长度变形等多个影响因素加权优选，形成无重复、与地理位置完全吻合的地理视频图层；最后，根据网络带宽情况，动态调整格网大小，自适应输出的不同数据量的视频直播流。

本实施例的方法在具体的实际应用过程中，针对各摄像机视频，具体步骤如下：

步骤1.针对各个监控摄像机下的视频，结合相应的高清遥感底图，识别并选取至少四个同名点，解算各摄像机的单应矩阵；设地理坐标点P(X,Y)，图像坐标p(x,y)，则两点之间的映射矩阵为H，即

在选择同名点时，先在视频图像上选择，然后到高清遥感底图上选取相应的点，选择4对及以上即可解算。然后，根据单应矩阵，及各个摄像机图像4个角点的图像坐标，计算其相应的地理坐标，由新生成的4个地理坐标点构成的多边形即为摄像机的视域。最后，对在二维地图上设定的直播区域和各摄像机的视域几何求交，此处是多边形与多边形相交的判断，具体实施中可以直接采用一些GIS SDK提供的函数进行，也可以底层实现多边形相交的算法，得到直播区域内的摄像机集合，如图2所示，视域与直播区域有交集的摄像机，即选定为直播摄像机。

步骤2.对直播区域进行格网剖分(m,n)，首先，得到整个格网所组成的矩形的左下角、右上角的经纬度坐标(如果精度要求高，经纬度坐标可以换为投影后的平面直角坐标)和格网大小，再由右上角与左下角经度之差除以格网大小计算出列数n，右上角与左下角纬度之差除以格网大小计算出行数m。根据左下角和右上角的经纬度坐标，并遵循一定的规律确定各格网中心点的地理坐标。若格网从左至右、从下至上，从0行0列开始，共m-1行n-1列，则

各格网中心点的经度＝右下角经度+(0.5+格网所在列数)*格网大小，

各格网中心点的纬度＝右下角纬度+(0.5+格网所在行数)*格网大小；

此格网生成方法，具体实施中可以采用ArcGIS渔网(fishnet)工具，也可以从底层实现该方法。最后，根据所求的单应矩阵的逆矩阵(可以底层实现或者OpenCV相关库实现)，求解出各格网中心点地理坐标对应各摄像机的图像坐标及相应的像素值，图3为任一格网中心点对应的地理坐标到图像坐标及像素值的转换示意图。

步骤3.对一区域内多摄像机协同直播的重复视域，结合投射面积、长度变形等多个因素，进行视频图像的像素映射优选，达到唯一格网唯一像素映射的效果。针对每个摄像机的每个视频图像，图像上每一个正方形格网中心表示的像素点P，顺时针依次连接以像素点P为中心的八邻域顺时针依次连接组成的闭合图形S，如图4所示的正方形；该像素点8邻域在水平方向相邻接的两点连线h₁、垂直方向相邻接的两点连线V₁长度相等；根据单应矩阵，计算图像上每一个正方形格网中心表示的像素点Pic_k(i,j)及其八邻域像素点投影变换后对应的地理坐标，求解S投影在地图上的图形S′面积S_geo(投射至地图中的多边形面积计算，可以借助所使用的GIS SDK库来计算，如ArcEngine的面积计算函数，也可以底层来实现)，以及h₁、V₁投影在地图上对应的线段h₁′、V₁′长度为l₁′、l₂′，设长度变形比为t，则t＝l₂′/l₁′；如图5所示，对直播区域内摄像机重复检测的像素点，根据其S′值及变形比t，基于优选条件，综合加权进行优选，选取唯一且最优显示的像素点，以确定最终直播的视频图像。权重选择，面积越小权重约大，长度变形越接近于1，权重越大。

对任一像素点P，以像素点P为中心的八邻域像素点从左上角起，顺时针依次表示为P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈，坐标依次为(u₁，v₁，0)、(u₂，v₂，0)、…、(u₈，v₈，0)；像素点P在水平方向上的相邻接的两个像素点为P₂、P₆，像素点P在垂直方向上的相邻接的两个像素点为P₄、P₈；根据单应矩阵，图像上的八邻域像素点投影到地图上对应的点表示为P₁′、P₂′、P₃′、P₄′、P₅′、P₆′、P₇′、P₈′，坐标依次为(x₁，y₁，z₁)、(x₂，y₂，z₂)、…、(x₈，y₈，z₈)；α表示

与

的夹角，β表示

与

摄像机的夹角；l₁表示图像上像素点P在水平方向上相邻接的两点连接组成的线段h₁的长度，l₂表示图像上像素点P在垂直方向上相邻接的两点连接组成的线段V₁的长度，l₁′表示h₁投影后对应在地图上的线段h₁′的长度，l₂′表示V₁投影后对应在地图上的线段V₁′的长度。因此，

l₁、l₂在地图上对应的长度l₁′、l₂′：

长度变形比t：

S投影在地图上的图形S′面积S_geo：

步骤4.针对优选后的各个视频图像，根据网络带宽情况，采取自适应的视频图像流生成方法进行直播，如图6所示，动态调整剖分格网的大小，适应于不同的网络状态。网络带宽较小时，格网越大，生成的图像分辨率越低，数据量越小。反之，图像越清晰，数据量越大，适合于网络带宽较大的情况。若网络带宽过小，低分辨率图像也无法直播时，则采取目标子图、目标实时点坐标或轨迹坐标串进行直播。具体实施中，对视频图像进行动态检测、目标检测、目标跟踪处理，并从图像空间映射至地理空间进行融合处理，最终形成地理空间下的目标子图、目标轨迹、目标位置信息。根据网络带宽情况，灵活选择一种或者多种融合的直播形式。具体而言，对于视频全覆盖直播流采用Web Socket实时推送包含摄像机编号、格网尺寸和视频帧信息的Base 64字符串流的方式；对于前景子图的直播流采用WebSocket实时推送包含子图编码和子图图像信息的Base 64字符串流的方式；对于目标轨迹的直播流采用Web Socket实时推送包含目标ID、轨迹字符串(位置+时间序列点集)的Base64字符串流的方式；对于目标位置的直播流采用Web Socket实时推送包含目标ID、实时位置的Base 64字符串流的方式。

Claims (6)

1.一种多摄像机协同的地理视频直播流生成方法，其特征在于，包括如下步骤：

步骤1，针对每一个摄像机视频，结合相应的高清遥感影像，分别选取同名点解算各摄像机的单应矩阵H_k，并根据单应矩阵H_k，计算各摄像机的视域V_k；

步骤2，在二维地图上确定直播区域R后，对摄像机的视域V_k与直播区域R几何求交，得到直播区域R内的摄像机集合C_s；

步骤3，对直播区域R进行格网剖分(m，n)，计算剖分后各格网的中心点坐标Geo_ij，并根据单应矩阵的逆变换矩阵，计算各格网中心点坐标对应各摄像机的图像坐标Pic_k(i，j)及像素值Pix-ValS_k(m，n)，得到落在直播区域R内的所有像素点；

步骤4，对每个摄像机的每个视频图像，设图像上每个像素点为中心的八邻域顺时针依次连接组成的闭合图形为S，像素点水平方向相邻接的两点连线为h₁，垂直方向相邻接的两点连线为V₁，根据单应矩阵H_k，计算图形S投影到地图上的图形S′的面积S_geo，以及连线h₁和V₁投影在地图上对应的线段h₁′、V₁′的长度l₁′和l₂′，设长度变形比为t，则t＝l₂′/l₁′；

步骤5，对直播区域R内摄像机重复检测的像素点，根据其投射图形S′的面积值及长度变形比t，基于优选条件，综合加权进行优选，以确定最终直播的视频图像；

步骤6，根据网络带宽情况，动态调整剖分格网的大小，自适应输出不同数据量及不同分辨率的视频图像。

2.根据权利要求1所述的一种多摄像机协同的地理视频直播流生成方法，其特征在于，所述步骤1中，同名点的选取数量≥4。

3.根据权利要求1所述的一种多摄像机协同的地理视频直播流生成方法，其特征在于，所述步骤3中，在格网剖分后，对无法找到图像相应坐标点的格网点，视为非覆盖区域。

4.根据权利要求1所述的一种多摄像机协同的地理视频直播流生成方法，其特征在于，所述步骤4中，针对图像上任一个正方形格网中心表示的像素点Pic_k(i，j)，顺时针依次连接以像素点Pic_k(i，j)为中心，在水平、垂直及对角方向上相邻接的8个邻域像素点组成的闭合图形S都为一个3×3格网的正方形，则该像素点水平方向上相邻接的两点连接组成的线段和在垂直方向上相邻接的两点连接组成的线段长度相等，长度比值为1。

5.根据权利要求1所述的一种多摄像机协同的地理视频直播流生成方法，其特征在于，所述步骤5中，进行优选的条件为：(1)投影在地图上面积较小的检测结果较准确，(2)长度变形比越接近于1的检测结果较准确；因此，W_m表示投射面积在优选中所占的权重，W_n表示长度变形比在优选中所占的权重；基于优选条件，面积S_geo越小，权重越大；长度变形比t越接近1，权重越大；得到总权重W_k＝W_m+W_n，W_k表示各个映射影响因素的加权之和，W_k值最大的摄像机对应的像素值应作为该格网点的最终值。

6.根据权利要求1所述的一种多摄像机协同的地理视频直播流生成方法，其特征在于，所述步骤6中，根据网络带宽，动态调整格网大小，格网越大，生成的图像分辨率越低，数据量越小，适合于网络带宽较小的情况，反之图像越清晰，适合于网络带宽较大的情况；若网络带宽过小，低分辨率图像也无法直播时，则采取前景子图、目标轨迹、目标位置或以上几种组合的实时数据进行直播。

Images