CN106657910A - 一种电力变电站的全景视频监控方法 - Google Patents

Abstract

本发明公开了一种电力变电站的全景视频监控方法。该方法针对电力变电站现场多摄像机拍摄角度差异较大的情况，首先对各摄像机拍摄图像进行焦距变换和视角变换，将各摄像机拍摄图像变换到统一视角成像平面，然后再进行全景图像拼接，最后在监控屏幕上展示，实现全景监控。其中，为了实现图像焦距变换和视角变换，首先对各摄像机进行标定获取摄像机参数，并在场景中设置标记以便于寻找匹配点，然后根据摄像机参数和匹配点实现图像变换。本发明解决了现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效的问题。

Description

一种电力变电站的全景视频监控方法

技术领域：

本发明涉及一种电力变电站的监控方法,特别是一种电力变电站的全景视频监控方法。

背景技术：

电力系统设施具有高度危险性，为了保障电力变电站正常安全工作，需要实时对变电站场所进行视频监控，以便及时发现安全隐患，如危险目标入侵、火灾等，避免造成严重后果。然而，由于变电站场所范围较广，监控区域较多，因此需要架设多架摄像机进行监控。但多摄像机系统的监视画面较复杂，不利于监控人员及时发现险情所在位置，且现场指挥救援时需要直观清楚地把握变电站的整体情况，因此需要对多摄像机拍摄画面进行全景拼接和展示。

在进行全景图像拼接之前，首先对各摄像机拍摄画面进行焦距调整和视角变换，将所有摄像机拍摄画面变换到近似统一的焦距和视角成像平面上，从而能够解决现有方法拼接失效的问题。本发明的背景技术为计算机视觉中的单目摄像机三维场景标定和立体视觉中的投影变换技术，其理论基础是摄像成像模型。

摄像机成像原理可以用小孔透视投影模型来描述，如图2所示，该模型中存在三种坐标系：世界坐标系、摄像机标系和图像坐标系。世界坐标系中的一个点P(X _w , Y _w , Z _w )在摄像坐标系中的对应位置为P(X _c , Y _c , Z _c )，该点在图像平面上的投影为图像坐标系中的点P(u, v)。三个点之间的变换关系可以用下面的式子来表示：

式中，M _w 叫做外参数矩阵，R为旋转矩阵，t为平移向量；M _n 叫做内参数矩阵，和分别是图像平面水平和垂直方向归一化焦距，(u ₀, v ₀)是图像坐标系原点的像素坐标。

求解摄像机参数通常采用张正友标定法，用待标定摄像机采集3幅以上标定图像（黑白格棋盘平面）即可获得摄像机的内参数。通过拍摄地面上摆放的位置固定的标记，可以标定摄像机外部参数和方向角。

为了对摄像机拍摄画面进行视角变换，需要求解从目标摄像机坐标系向主视角平面的投影变换矩阵。选定一个摄像机视角为主视角，则目标摄像机和主视角摄像机所获取的图像满足极线几何约束关系，如图3所示。其中，C和C’分别是两个摄像机的光心，I和I’是两摄像机的成像平面，物理世界中的点X在成像平面上的成像点分别为x和x’，光心连线CC’叫做基线，基线与成像平面的交点分别为e和e’，叫做极点，点C，C’，x，x’，e，e’和X共面于，叫做极平面。极平面与成像平面相交的直线叫做极线。设x和x’对应的极线分别为l和l’。则I平面上的x点对应I’平面上的极线l’，同理I’平面上的x’点对应I平面上的极线l。极线约束关系描述如下：

其中M ₀和M ₁分别是图像I和I’的透视变换矩阵，可由两个摄像机的参数得到，e=[e _x ,e _y , e _z ] ^T 是极点e的坐标，[e]_x是e的反对称矩阵。其中叫做基本矩阵，满足关系：。只要获得基本矩阵就能得到从一个摄像机图像平面到另一个摄像机图像平面的投影变换矩阵，进而实现摄像机间视角变换。

基本矩阵包含8个独立参数，因此需要找到两个图像中至少8对匹配点来求解，通常使用8点法来求解基本矩阵。此外，由于存在匹配误差，还需要增加更多的匹配点来从中优选一个基本矩阵使匹配误差最小化，这里可以使用RANSAC算法来求解。

由于变电站场景电力设施分布情况复杂，监控摄像机架设限于地理因素，其位置和拍摄角度差异较大，这给全景拼接带来较大困难。现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效。

发明内容：

本发明目的在于提供一种电力变电站的全景视频监控方法，解决现有的基于特征点匹配的全景拼接技术往往仅考虑视角平行或差异较小的情况，而在拼接拍摄角度差异较大的图像时往往失效的问题。

一种电力变电站的全景视频监控方法，其具体步骤为：

第一步. 搭建电力变电站全景视频监控系统

电力变电站全景视频监控系统，包括:摄像机以及计算机，所述摄像机的数量是2-4个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块。

数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角。

摄像机的安装位置要保证相邻的两个摄像机至少有20%的画面重叠。摄像机的输出数据线与计算机的网口相连。计算机将计算好的全景视频画面输出到控制中心的屏幕上。

当计算机的网口数量小于摄像机的数量时，需要使用交换机将多个摄像机的图像数据汇总后再与计算机的网口相连。计算机将计算好的全景视频画面输出到控制中心的屏幕上。摄像机的输出数据线与交换机的网口相连，交换机的网口与计算机的网口相连。

另外在实际的室内场景中要根据摄像机中的视野，在相邻摄像机的重叠区域摆放用于识别的标记。

第二步.数据采集模块采集数据并标定摄像机

对架设好的多台摄像机，通过数据采集模块读入图像数据，然后用图像预处理模块对图像数据进行滤波、对比度拉伸、直方图均衡处理。

采用张正友标定法通过数据采集模块读入图像数据，对摄像机进行标定和求解摄像机内部参数。

第三步.摄像机图像视角变换

比较各摄像机间的重合区域和覆盖面积，从中选取覆盖面积最广且与其他摄像机图像重合区域最多的摄像机作为主视角摄像机，其对应视角作为主视角。

在监控场景中粘贴颜色形状各异的醒目标记，并保证每个摄像机与主视角摄像机的重合区域中包含超过10个标记。这样，两个摄像机中同一标记中心位置处为一对匹配点。标记识别模块识别和定位图像中的标记物。

然后摄像机立体标定模块求得摄像机视角变换所需的基本矩阵。首先对各摄像机拍摄图像做焦距调整伸缩变换，使各摄像机画面变换到同一焦距平面上。然后在摄像机拍摄图像上检测标记匹配点，再结合摄像机参数，使用8点求解法和RANSAC算法来求解各摄像机最佳投影变换矩阵，对各图像做视角调整。

第四步图像融合与显示模块进行全景图像拼接

图像融合与显示模块处理视角变换过之后的图像。使用基于SIFT特征提取的图像匹配技术对视角变换后的各摄像机图像进行图像配准、定位和图像融合，形成全景图像，采用插值技术对图像匹配中缺失的部分进行修补。

至此，完成了电力变电站的全景视频监控。

现有的基于特征点匹配的全景拼接技术无法实现电力变电站场景中摄像机的图像拼接工作，因为现有技术需要图像重叠的部分信息差异很小，这就要求拍摄图像的摄像机之间的相对位置相对于相机与拍摄的物体之间的距离可以忽略不计或者所拍摄的物体含有很少的立体物信息，但是显然在电力变电站场景中不满足以上要求。本发明通过借助标识物获取摄像机相对视角的方法不依赖于现实场景本身的信息，可以有效的解决该问题。

附图说明

图1一种电力变电站的全景视频监控方法中全景图像拼接系统的结构图；

图2一种电力变电站的全景视频监控方法中所述摄像机成像模型中的世界坐标系、摄像机标系和图像坐标系；

图3一种电力变电站的全景视频监控方法中所述立体视觉中的极线几何约束关系示意图；

图4一种电力变电站的全景视频监控方法实施例中所述变电站现场多摄像机监控示意图；

图5一种电力变电站的全景视频监控方法实施例中求解投影变换矩阵所采用的标记，图中只显示了黑色的标记，实际中要有红绿蓝白黑5套标记；

图6一种电力变电站的全景视频监控方法实施例中三维空间中的标记点在摄像机成像示意图；

图7一种电力变电站的全景视频监控方法实施例中投影变换匹配点偏差示意图。

1.计算机 2.摄像机 3.交换机。

具体实施方式：

下面结合附图对本发明做进一步详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明的实施例中公开了一种针对电力变电站的全景监控方法，其具体步骤为：

第一步. 搭建电力变电站全景视频监控系统

电力变电站全景视频监控系统，包括:摄像机、计算机和交换机，本例中的摄像机的数量是3个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块。

数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角。

根据变电站房间的大小以及设备在房间中的分布情况，选择合适的摄像机安装位置以及分辨率合适的摄像机，摄像机的安装位置分布尽量均匀，使得设备需要监控的区域能够被摄像机拍摄到，且相邻摄像机所拍摄到的场景有至少有20%的重叠，本实施例中，变电站现场多摄像机监控示意图如图4所示，变电站场景区域被三台视角方向各不相同的摄像机所覆盖。选择性能较好的计算机，能够流畅的处理全景图像的融合。三个摄像机的输出数据线与交换机的网口相连，交换机的网口与计算机的网口相连，三个摄像机的输出数据线与交换机的网口相连，交换机的网口与计算机的网口相连。

第二步. 数据采集模块采集数据并标定摄像机

将摄像机的图像数据传入图像采集模块，根据采集到的图像的情况，调整图像预处理环节每个算法的参数，使得图像达到最佳清晰度，然后用张正友标定法对各个摄像机进行标定得到其各自的内参数，并在地面上摆放固定标记，标记的形状图案如图5所示，用于标定摄像机外部参数和方向角。

第三步. 摄像机图像视角变换

从覆盖区域来看，摄像机2覆盖了监控区域的主要部分，并且其覆盖区域与另两台摄像机的覆盖区域重合部分较多，因此选择摄像机2的视角为主视角，另两台摄像机所拍摄的图像需要进行视角变换，转换到主视角平面上。

在变电站场景目标物上粘贴醒目标记作为求解投影变换矩阵所需的图像匹配特征点。由于求解投影变换矩阵需要用到至少8对匹配点，在本实施例中，选用了5种颜色和3种形状组合成的共计15种醒目标记，每个标记上用十字标示其中心点，黑色的标记如图4所示，不同颜色的标记则用不同的颜色填充。观察相邻摄像机监控图像的重合区域，在各重合区域的变电站设施不同位置处分别粘贴至少10种不同类型标记。之后，标记点在各个摄像机的图像平面上成像，如图5所示。

首先根据各摄像机拍摄焦距不同对其拍摄画面进行伸缩变换，做焦距调整。

然后，在摄像机1和摄像机2获取的图像上利用形状和颜色信息找到相同标记，并在标记内部检测十字中心获取标记中心点，从而得到两幅图像的匹配点。使用8点法和RANSAC算法来求解摄像机1向摄像机2的投影变换矩阵F₁₂。同理获得摄像机3向摄像机2的投影变换矩阵F₃₂。

由于摄像机拍摄角度不同，即使变换到同一视角平面，图像上的对应点也会有所偏差，如图6中A，B点所示。此时，需要对投影变换矩阵F₁₂，F₃₂均进行调整以便使匹配点的偏差整体最小化。同时摄像机1和摄像机3之间也会存在匹配点，如图5中B点所示。因此，摄像机1和摄像机3之间的投影变换矩阵F₁₃也要同时调整。用欧式距离来度量投影变换后匹配点之间的偏差，然后使用Levenberg-Marquardt算法迭代求解各摄像机最优变换矩阵。

记录下各摄像机的投影变换矩阵，以后各摄像机拍摄的所有图像都用该对应矩阵进行投影变换。

第四步 图像融合与显示模块进行全景图像拼接

根据获得的各摄像机最优投影变换矩阵，对摄像机1和摄像机3拍摄的图像进行投影变换，得到伸缩和旋转后的变换图像；使用SIFT特征检测算法在相邻摄像机图像上寻找特征点，并进行特征匹配；对摄像机1和摄像机3的投影变换后的图像进行平移，选择合适的平移量使匹配特征点偏差最小化；使用平均法对重合区域进行融合；检测全景图像中的缺损区域，使用二次线性插值法进行插值修补；用0填补全景图像外部不规则区域，生成矩形全景图像，投影到全景监控显示器上显示。

至此，完成了电力变电站的全景视频监控。

Claims (3)

1.一种电力变电站的全景视频监控方法，其特征在于具体步骤为：

第一步.搭建电力变电站全景视频监控系统

电力变电站全景视频监控系统，包括:摄像机以及计算机，所述摄像机的数量是2-4个,所述计算机,包括:数据采集模块、图像预处理模块、标识识别模块、摄像机立体标定模块和图像融合与显示模块；

数据采集模块的功能为：解析从摄像头传输过来的图像数据并存储数据供后续的模块调用；图像预处理模块的功能为：对原始的图像数据进行滤波、对比度拉伸、直方图均衡操作；标识识别模块的功能为：使用图像处理识别出预先摆放好的标记，并且获取标记在图像中的精确坐标；摄像机立体标定模块的功能为：根据识别出的标识的坐标计算两个摄像机之间的基本矩阵，根据基本矩阵完成图像的视角变换，将不同视角的图片统一到同一个视角上，并且在此基础上完成图像的配准；图像融合与显示模块的功能为：使用多波段融合方式将视角变换后的多张图像融合为一张完整的全景图像，最后根据实际情况调整全景图像的显示视角；

摄像机的安装位置要保证相邻的两个摄像机至少有20%的画面重叠；摄像机的输出数据线与计算机的网口相连；计算机将计算好的全景视频画面输出到控制中心的屏幕上；

另外在实际的室内场景中要根据摄像机中的视野，在相邻摄像机的重叠区域摆放用于识别的标记；

第二步.数据采集模块采集数据并标定摄像机

对架设好的多台摄像机，通过数据采集模块读入图像数据，然后用图像预处理模块对图像数据进行滤波、对比度拉伸、直方图均衡处理；

数据采集模块采用张正友标定法读入图像数据，对摄像机进行标定和求解摄像机内部参数；

第三步.摄像机图像视角变换

比较各摄像机间的重合区域和覆盖面积，从中选取覆盖面积最广且与其他摄像机图像重合区域最多的摄像机作为主视角摄像机，其对应视角作为主视角；

在监控场景中粘贴颜色形状各异的醒目标记，并保证每个摄像机与主视角摄像机的重合区域中包含超过10个标记；这样，两个摄像机中同一标记中心位置处为一对匹配点；标记识别模块识别和定位图像中的标记物；

然后摄像机立体标定模块求得摄像机视角变换所需的基本矩阵；首先对各摄像机拍摄图像做焦距调整伸缩变换，使各摄像机画面变换到同一焦距平面上；然后在摄像机拍摄图像上检测标记匹配点，再结合摄像机参数，使用8点求解法和RANSAC算法来求解各摄像机最佳投影变换矩阵，对各图像做视角调整；

第四步 图像融合与显示模块进行全景图像拼接

图像融合与显示模块处理视角变换过之后的图像；使用基于SIFT特征提取的图像匹配技术对视角变换后的各摄像机图像进行图像配准、定位和图像融合，形成全景图像，采用插值技术对图像匹配中缺失的部分进行修补；

至此，完成了电力变电站的全景视频监控。

2.根据权利要求1所述的全景视频监控方法，其特征在于，当计算机的网口数量小于摄像机的数量时，需要使用交换机将多个摄像机的图像数据汇总后再与计算机的网口相连。

3.根据权利要求2所述的全景视频监控方法，其特征在于，摄像机的数量有三个，三个摄像机的输出数据线与交换机的网口相连，交换机的网口与计算机的网口相连。