CN102957895A - 一种基于卫星图的全局拼接型视频监控显示方法 - Google Patents

Abstract

一种基于卫星图的全局拼接型视频监控显示方法，首先获取高清晰卫星照片及坐标数据，并在地图上精确标注所有相机的位置，然后选取卫星图中和相机图像中对应的特征点对，进行相机校准，获得相机内外参数，再确定映射区域，将相机图像投射到卫星图上，最后对卫星图上的投射影像进行插值拟合。本发明使监控人员可以非常直观、自然地观察整个被监控区域的安全态势，大大提高随意信息的可信度，用户没有被动画“屏蔽”的感觉。

Description

一种基于卫星图的全局拼接型视频监控显示方法

技术领域

本发明涉及一种基于卫星图（航拍图）的全局拼接型视频监控显示方法。

背景技术

目前国内外现有的视频监控系统的显示方式通常是将图像直接显示在计算机屏幕、电视墙上，并以矩阵网格或者用户定义的网格形式排列。这种显示方式的主要问题是监控人员很难对被监控区域的安全态势形成一个整体的概念。由于监控点散布在区域内不同点，视角千差万别，监控人员在观察每一幅图像时，脑子里面要进行信息转换，判断运动目标的地点，运动方向等信息。这种转换容易造成疲劳，从而降低监控人员观察监控图像的意愿。另外，一个对监控区域不熟悉的人员可能即使观察到异常情况，也无法及时调配资源，形成处置预案，从而贻误时机。

另外还有一种基于地理信息系统的监控显示方式，将相机位置、监控区域在地图上标出，当相机检测（通过智能视频分析技术）到异常事件发生时，在地图上相应位置对用户提示。这种处理方式在理解全局安全态势上进了一步，但是信息对用户的呈现还是不直接。当用户看到地图的时候，自然会在头脑中形成一个从天空向下看的视角，但是呈现给用户的图像还是相机的视角，需要一个转换。

西门子公司的智能视频监控系统在基于地理信息系统的基础上，增加了一个动画显示的功能。以一个静态的卫星地图作为背景图片，当相机发现运动物体时，系统判断运动物体等行人、车辆等种类。然后选用人或者车辆的图标在卫星地图上标注物体的轨迹。这样的显示方法符合人的直觉习惯，但是显示结果的真实性依赖于智能视频分析系统的可靠性，准确性，可信性要打一些折扣，用户可能有一种被系统“屏蔽”的感觉。

发明内容

本发明提供的一种基于卫星图的全局拼接型视频监控显示方法，在保留自上而下全局视角的前提下，突破被“屏蔽”了的动画模式，将所有相机的图像，投射到卫星地图上，从而实现相机图像“贴”在卫星图上，达到让静态的卫星图“动”起来的效果。监控人员可以非常直观、自然地观察整个被监控区域的安全态势。由于始终保留着“眼见为实”的图像，随意信息的可信度大大提高，用户没有被动画“屏蔽”的感觉。

为了达到上述目的，本发明提供一种基于卫星图的全局拼接型视频监控显示方法，包含以下步骤：

步骤1、获取高清晰卫星照片及卫星照片像素点对应的坐标数据；

步骤2、在卫星图上精确标注所有相机的位置；

步骤3、选取卫星图中和相机图像中对应的特征点对；

特征点选择没有歧义、在卫星图和相机图像中均可见的同一位置点；

步骤4、相机校准，获得相机内外参数；

步骤5、确定映射区域；

映射区域选择有一个或者多个相机像素投射到卫星图同一像素的区域；

步骤6、将相机图像投射到卫星图上；

步骤7、对卫星图上的投射影像进行插值拟合。

所述的步骤3中，特征点对的数量≥4。

本发明对于所有相机上的相机图像投射到卫星图上的处理过程，是并行同时进行的。

本发明使监控人员可以非常直观、自然地观察整个被监控区域的安全态势，大大提高随意信息的可信度，用户没有被动画“屏蔽”的感觉。

附图说明

图1是本发明的流程图；

图2是本发明的监控实例图；

图3是世界坐标系和相机图像坐标系的示意图。

具体实施方式

以下根据图1～图3，具体说明本发明的较佳实施例。

如图1所示，本发明提供一种基于卫星图的全局拼接型视频监控显示方法，包含以下步骤：

步骤1、获取高清晰卫星照片及卫星照片像素点对应的坐标数据；

坐标数据本质上就是比例尺。每个像素代表多少实际距离。可以人为设定一个原点，其它像素坐标相对于此原点的实际距离就已知了。

步骤2、在卫星图上精确标注所有相机的位置；

在卫星图上标注相机是为了框定选择特征点的范围。

步骤3、选取卫星图中和相机图像中对应的特征点对；

特征点对的数量≥4；

特征点应该尽量选择没有歧义、在卫星图和相机图像中均可见的同一位置点。

例如在图2中，车道分隔虚线上的白色线条的起止点就是较好的选择。由于这些线条比较窄，所以从卫星和相机两个不同视角观察也可以精确地选择匹配位置。

特征点匹配得越精确，相机校准的精度越高。

步骤4、相机校准，获得相机内外参数；

相机校准是利用三维世界二维图像中的对应点或者特征建立约束条件，从而对相机的姿态和焦距，甚至相机镜头变形系数等内部和外部参数进行估计。

从严格意义上来讲，在得到相机的内部外部参数以后，三维世界的点就有了唯一对应的图像坐标点，反之不能成立。

步骤5、确定映射区域；

映射区域选择有一个或者多个相机像素投射到卫星图同一像素的区域。

步骤6、将相机图像投射到卫星图上；

步骤7、对卫星图上的投射影像进行插值拟合。

如果可以方便地得到监控区域的三维信息（例如建筑物的高度，地平面的海拔信息等。建筑物的高度信息可以从CAD图纸中获得。地平面的海拔信息可以由国家地理信息管理部门获得），可以通过直接线性变换（DirectLinearTransform）方法，或者蔡氏方法（Tsai’smethod）进行校准。

由于在实际监控环境中，道路、围墙周边等运动物体可能涉及到的位置可以简化成一个平面，所以通过寻找地面上的特征点，可以建立地面平面和相机图像之间的2维平面至2维平面的映射关系，这避免了三维空间相机校准需要的三维地理信息的困难，简化了相机校准问题。在下文中，卫星图像素点对应的高度信息都简化为0。

二维映射是三维映射的一个特例。可以近似假设卫星图区域中所有点的海拔高度为常数。从最终映射效果角度而言，只要保证在每个相机监控区域内，海拔高度基本为常数，或者说地面高低起伏变化和监控区域范围相比是可以忽略的，就可以将实际中的三维监控场景简化为2维问题。二维映射和三维映射的校准方法都是一样的。

如图3所示，                                               

是世界坐标系（绝对坐标系），

是相机的图像坐标系。三维点

是世界坐标系中任意一点；

是与三维点Q对应的2维图像坐标系中的点；是相机的焦距；

分别是方位角（pan）、俯仰角（tilt）和摇摆角（swing），这三个角度代表相机沿相机坐标系

轴旋转的角度，它们决定了相机在3维空间中的姿态；是相机高度。

选取卫星图坐标系和相机图像坐标系中的对应点，利用相机校准方法，相机内外参数.可以被求解出来。

世界坐标系和卫星图坐标系之间是固定的平移旋转缩放关系。

其中，

分别是平移旋转缩放变化之前的世界坐标和平移旋转缩放变化之后的2维卫星图坐标。

，分别是平移旋转缩放参数。

不失一般性，我们可以假定世界坐标系和卫星坐标系重合，也就是说

可以看作为卫星图坐标。

利用相机校准中的映射模型（小孔成像映射模型，这是相机校准行业中几乎是唯一的，所有人都知道的相机映射模型），可以推出如下从相机图像坐标向世界坐标的映射公式：

（1）

（2）

通过公式（1）和公式（2），任何一个世界坐标系中的点可以映射到相机图像坐标系中。

如果假设

，可以由公式（1）和公式（2）得到反向映射关系：

（3）

（4）

通过公式（3）和公式（4），任何一个相机图像坐标系中的点可以映射到世界坐标系中。

并不是所有的图像坐标点都有对应的卫星图坐标点。例如相机图像中的天空像素就不可能有卫星图坐标。相机图像中对应于距离相机较远的地面物体的像素可能很稀疏地映射到卫星图上；在卫星图上的在相机图像下方的像素，由于对应于离相机较近的区域，可能多个像素映射到卫星图上同一像素。天空、高层建筑等在图像中地平线以上的部分显然应该排除在映射区域之外。地平线以下，但是距离相机较远的部分由于像素点投射到卫星图上以后比较稀疏，需要进行较大范围内的插值来弥合空隙，容易造成投射图像严重失真，所以建议将稀疏区域也排除在映射区域之外。

由于相机通常只监控卫星图上一个很小的部分，所以主要监控区域的分辨率比卫星图要高很多。距离相机较远的区域分辨力下降，但是通常已经进入到相邻相机的监控范围。所以按照多对一，至少一对一插值模式可以保证对主要监控区域的覆盖，同时还保证了映射图像的显示效果。

由于上述的映射函数（公式（3）和公式（4））是连续的，所以映射区域必然是一个连通域，通常对应于相机图像的下半部分（相机成像通常是下面是地面，上面是天空。只有地面的部分才有可能被映射的卫星图上。卫星图全部是地面内容，不可能出现天空。所以说相机图像的下半部分是有效映射区域）。

本发明可以检测到运动物体的位置、形状，可以仅将被跟踪的物体映射到卫星图上，从而大大节省映射的计算量。对于拥有几十路，上百路监控探头的视频监控系统，在目前硬件条件限制下，这种映射方式是必须的。

相机像素投射到卫星图上的图像坐标是浮点数，所以需要对卫星图上应显示的投射影像进行插值拟合以便和原始卫星图进行融合显示。

图像插值方法有很多，例如最近邻居法（NearestNeighbor），线性插值，三次插值，超采样（Supersampling）等。

最近邻居法就是将距离目标像素最近的投射像素作为目标像素的值。它的优点是简便，快速；缺点是不连续，拟合效果一般。

线性插值法，举例说明：目标像素整数坐标是

，映射到源图像浮点坐标

，它相邻的四个像素分别是

，

，

，

；

d代表目标像素destination，s代表源像素source。由于图像像素点坐标都是整数，但是整数坐标的像素点映射过去以后的坐标点不可能正好也是整数，所以需要映射后的浮点坐标周围的整数坐标像素点进行插值，来计算destination像素点的像素值。

在此处，destination是指由相机图像映射到卫星图上以后的图像，是整数坐标，可以马上用来和卫星图进行融合操作。Source是指相机图像，就是

定义两个中间变量

；

I₀=S(x_S,y_S0)=S(x_S0,y_S0)*(x_S1-x_S)+S(x_S1,y_S0)*(x_S-x_S0)

I₁=S(x_S,y_S1)=S(x_S0,y_S1)*(x_S1-x_S)+S(x_S1,y_S1)*(x_S-x_S0).

目标像素的值是D(X_D,Y_D)=I₀*(y_S1-y_S)+I₁*(y_S-y_S0)。

对监控系统中所有相机重复步骤3～步骤7的流程，在实践中选用并行处理方式，就能实现基于卫星图的全局拼接性视频监控显示模式。

本发明可以理解为建立一个以被监控区域卫星图（航拍图）为背景的大银幕，所有监控相机作为一个局部的小“电影放映机”，将当前图像投射到这个大银幕的限定区域上。本发明中的卫星图泛指所有通过在监控区域上方，不管是太空还是天空，拍摄的图片，这些图片需要经过预处理，剔除由于地球曲率等因素造成的图像比例尺在图像中不是定值的问题。投射过程首先需要对相机进行校准，已达到可以计算相机图像中的每一个像素点对应的卫星图坐标的目的。相机没有监控的区域始终显示静态的卫星图片内容，相机监控范围内的区域（如图2的两条线内）显示的是真实的实时图像。由于经过平面投影，图像显示的内容会有一定的变形，但是物体的位置，种类等信息通常可以辨别。被相机观察到的车辆在道路上行驶，车辆会被投影到卫星图相对应的道路上，投影变形后的车在卫星图上沿道路行驶。监控范围的图像是实时的。监控范围外的图像只是一个静态的背景图片。另外可以在卫星图相应的监控探头附近播放实时的相机图像，作为卫星图投影图像的补充，以弥补由于图像被投影后造成的一些扭曲现象。为了避免用户产生错误的“安全感”，对应监控区域内外的区域采用区别的呈现方式，例如将区域外的部分适度暗化处理。对区域内的部分和背景图片进行融合，alphablending（α混合）是一个可以考虑的手段，其是一种常见的图像融合技术，其实就是让图像半透明，融合在一起，例如将两个图像相加除以2得到的图像就是最简单的alphablending.alpha是0.5.本领域内技术人员都知道。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (3)

1.一种基于卫星图的全局拼接型视频监控显示方法，其特征在于，包含以下步骤：

步骤1、获取高清晰卫星照片及卫星照片像素点对应的坐标数据；

步骤2、在卫星图上精确标注所有相机的位置；

步骤3、选取卫星图中和相机图像中对应的特征点对；

特征点选择没有歧义、在卫星图和相机图像中均可见的同一位置点；

步骤4、相机校准，获得相机内外参数；

步骤5、确定映射区域；

映射区域选择有一个或者多个相机像素投射到卫星图同一像素的区域；

步骤6、将相机图像投射到卫星图上；

步骤7、对卫星图上的投射影像进行插值拟合。

2.如权利要求1所述的基于卫星图的全局拼接型视频监控显示方法，其特征在于，所述的步骤3中，特征点对的数量≥4。

3.如权利要求1所述的基于卫星图的全局拼接型视频监控显示方法，其特征在于，本发明对于所有相机上的相机图像投射到卫星图上的处理过程，是并行同时进行的。

Images