CN115376313A - 一种基于监控摄像头组的图像融合与畸变矫正的实现方法 - Google Patents

Abstract

本发明公开了一种基于监控摄像头组的图像融合与畸变矫正的实现方法，具体为：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码；通过opencv对鱼眼视频进行矫正处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理；对于处理完的视频使用opengl进行渲染；将同一个点位不同的摄像头的三个视频拼接显示。本发明最大限度的还原了真实场景，最大程度的满足了监控人员的观看需求和降低了观看难度；增加了图像标注，提高了人机协同。

Description

一种基于监控摄像头组的图像融合与畸变矫正的实现方法

技术领域

本发明属于监控视频数据处理技术领域，尤其涉及一种基于监控摄像头组的图像融合与畸变矫正的实现方法。

背景技术

当前高速公路查看监控视频时多个视频流一般采用4宫格和9宫格，由于单个摄像头不能囊括一个监控点位的所有视角，所以需要两个枪机摄像头分别捕捉公路来去两个方向的视角，并且补充鱼眼摄像头照射点位正下方补充照射枪机视野盲区，实际安装如图1、2所示。而在实际安装当中，相同点位不同摄像头照射区域中具体重合区域，这也将影响监控人员的判断，如图8所示。由于监控人员需要同时查看三个摄像头视频以获取当前地点的全部信息，其中4宫格中三个视频不能在一排放置，对于信息利用比较低；而9宫格单个视频窗口太小，不方便观看，并且鱼眼摄像头具有畸变，在实际观看中需要时间对于视频内容进行判断。这些问题极大地影响了高速部门监管人员对于道路情况的判断，从而延长高速事故等情况的处理时间。

现有技术的缺点：

1.由于相同点位中不同摄像头之间包含重复视野区域，当同一辆车出现在不同摄像头画面中时，会对监控人员增加判别困难。每个监控摄像头的图像单独显示，虽然现有的每个杆位上有多个摄像头，但是监控画面还是独立的，不利于监控员的监控使用。

2.1宫格、4宫格、9宫格的显示方式在用户观察时每个画面是割裂独立的，用户无法从一个统一的视角观察同一个物理空间场地通行的车辆，增加了用户观看难度，而且增加了计算机的负载。

3.在使用时选择视频是按摄像头选择的，在高速公路监控人员使用中一般是需要观看一个观测点的摄像头，在高速重点监测路段，每个观测点具有两枪一鱼三个摄像头，每次需要选择三次才能查看到所有的视频。

4.传统的鱼眼校正算法需要较长的时间去生成纹理细节，而基于深度学习的鱼眼校正需要大量标签数据，导致常规实验环境下校正算法很难应用在实时高清的鱼眼监控摄像上。

发明内容

为了克服以上技术问题，本发明提供一种基于监控摄像头组的图像融合与畸变矫正的实现方法。

本发明的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，具体为：

步骤1：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码。获取监控摄像头端的实时视频编码数据，根据编码信息查找并打开解码器，将输入数据循环输入到解码器当中进行解码。

步骤2：通过opencv对视频进行处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理。

步骤3：对于处理完的视频使用opengl进行几何校正。

通过在模拟镜头/相机组合在给定焦距下确定其物理参数水平偏移量和竖直偏移量Fx、Fy，视场角fov，通过这些参数能够得到原像素点和矫正还原后的像素点的对应位置的转换，然后通过opengl的着色器对这些参数的设定达到校正的效果。

步骤4：图像融合，将同一个点位的三个监控视频融合，达到将该点位沿道路方向上的1000米道路(杆位前后500米)图像同时显示。图像融合的目的是通过鱼眼摄像头可以显示大视角图像的方法，监控两个枪机摄像头不能监控到的杆位下方的死角位置，并作为连接两个枪机摄像头的桥梁，形成完整道路监控图像。

步骤5：图像显示，由于监控探头位置的参差不齐，且道路上安装好的摄像头难以调整，所以我们提出了两种图像的显示模式；一种是将角度合适的摄像头组通过图像融合的方式将杆位下的道路完整展示，一种是将角度不满足要求的摄像头组根据监控位置按3宫格显示。

进一步的，具体为：

步骤1中：FFmpeg解码模块首先调用流信息分析函数avformat_find_stream_info()将一部分数据流传输进该函数中，函数会通过输入的数据流得到相关的视频信息，通过得到的视频信息，为AVStream结构体对象赋值，并为查找和打开解码器操作提供所需数据信息；然后，再通过获取到的视频流信息，为视频流查找相关的解码器并进行解码操作，为解码结构体对象缓存分配内存空间、初始化操作，之后打开解码器，获取视频流数据，进入解码循环；解码成功的数据则会被送入缓冲区，并且根据当前视频帧时间戳对视频进行同步，使观看更加平滑且连贯。

步骤2中：鱼眼校正时的参数转换如，与直角相机不同，鱼眼相机不遵循切平面几何形状，而是产生了宽视场的内置畸变。虽然径向镜头失真参数的使用方式与直线镜头和鱼眼镜头相同，但绝不应使用它们来尝试将鱼眼重新映射到直角图像。鱼眼形状遵循快速变化的三角函数，该函数很难用三阶多项式去近似。所以我们通过模拟镜头/相机组合在给定焦距下的物理参数a、b、Fx、Fy和FoV来校正鱼眼镜头，通过优化滚动(roll)、俯仰(pitch)、偏航(yaw)的效果，调整fov、a、b、Fx和Fy等变量达到校正目的。对于视野(fov)通常是指图像的水平视场(hFoV)，但是有时会用到垂直视场(vFoV)，对于鱼眼图像我们可以通过纵横比(AspectRatio)来近似鱼眼图像：

两者的转换为：

我们在片元着色器(FragmentShader)部分引入这些参量对图片的渲染进行修正以达到校正鱼眼图像的目的，修正的公式为：

vMapping.x＝vMapping.x+((pow(vPos.y,2.0)÷scale)×vPos.x÷scale)×(-Fx)

vMapping.y＝vMapping.y+((pow(vPos.x,2.0)÷scale)×vPos.y÷scale)×(-Fy)

vMapping＝vMapping×uLensS.xy

其中vMapping为输出的像素位置，vPos为输入的像素位置，scale为Fov参量，Fx和Fy分别为水平偏移量和竖直偏移量。

步骤3中：opengl首先接收用户提供的几何数据包括顶点和几何图元，并且将它输入到一系列着色器阶段中进行处理，包括：顶点着色、细分着色以及最后的几何着色；将被送入光栅化单元rasterizer，光栅化单元负责对所有剪切区域clipping region内的图元生成片元数据，然后对每个生成的片元都执行一个片元着色器。

步骤4中：视频融合的具体实现为由于监控摄像头的位置大都固定，所以为达到实时性的要求，我们不用重复计算摄像头的位置参数，我们采取在一个杆位初始化的时候获取一帧三路监控视频的图像，计算出三个监控图像的单应性矩阵，然后通过重叠区域加权融合的方法对视频图像进行融合，重叠区域加权是指我们通过单应性矩阵计算出监控图像的重叠区域，然后通过加权叠加的方式是监控图像两两之间的过渡更加平滑。

本发明的有益技术效果为：

本发明从便于易于监控员高效使用监控系统的基本点出发，根据鱼眼镜头和两个枪机镜头的视野范围存在一定的重合区域的理论基础提出视频融合的方法，旨在将三个基于杆位的监控视频融合显示；由于原始的鱼眼图像带有严重的畸变，而传统方法很难校正实时高清的鱼眼视频，所以我们为了将三路视频融合，在此之前对鱼眼图像进行了沿道路方向的校正；本发明同时为监控员提供了视频标注和视频划区的辅助功能，前者考虑到道路监控视频大多大同小异很难区分，标注功能可以为监控员对监控视频提供个性化的标注选择，后者为修改监控区域选项，因为监控探头存在各种可能偏差的因素所以通过划区功能可以人为修正监控区域。

附图说明

图1为两枪一鱼安装示意图。

图2为两枪一鱼俯视图。

图3为本发明视频解码过程。

图4为图像矫正前网格示意。

图5为图像矫正前网格示意。

图6为原监控图像显示示意。

图7为本发明融合图像显示示意。

图8为摄像头重叠区域示意图。

具体实施方式

下面结合附图和具体实施方法对本发明做进一步详细说明。

本发明的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，具体为：

步骤1：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码。

获取视频编码数据，根据编码信息查找并打开解码器，将输入数据循环输入到解码器当中进行解码。

解码过程如图3所示，具体为：

FFmpeg解码模块首先调用流信息分析函数avformat_find_stream_info()将一部分数据流传输进该函数中，函数会通过输入的数据流得到相关的视频信息，通过得到的视频信息，为AVStream结构体对象赋值，并为查找和打开解码器操作提供所需数据信息；然后，再通过获取到的视频流信息，为视频流查找相关的解码器并进行解码操作，为解码结构体对象缓存分配内存空间、初始化操作，之后打开解码器，获取视频流数据，进入解码循环；解码成功的数据则会被送入缓冲区。

步骤2：通过opencv对视频进行处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理。

标注处理：因为监控视频的使用是以监控员的使用便利为第一要义，而现有的监控系统存在监控画面大多相似，监控视频路数繁多，有的视频携带监控点位信息而有的点位信息不足或没有，所以我们的监控系统增加了视频标注功能，可以在三路视频上进行信息标注并存于配置文件中便于监控员对监控点位信息的补充。

截屏处理：现有的监控摄像头存在视角角度偏差的问题，或是由于安装不当或是由于外力等因素导致摄像头位置偏移，所以监控区域与预期有一定的差异，而我们系统提供的截屏功能，可以帮助监控员自选自控的设置三个监控视频窗口的监控图像，通过裁剪选择出监控员感兴趣和合适的监控范围。

步骤3：对于处理完的视频使用opengl进行校正。

鱼眼镜头使用方便，可以获取接近半球面的场景信息，因此将鱼眼镜头用于获取监控杆位下方枪机死角位置的信息，达到监控杆位处无死角的监控效果。但是鱼眼图像严重的畸变并不利于监控员的观察，所以提出使用鱼眼镜头的一些物理信息作为先验信息，结合我们的监控场景和监控需求对鱼眼图像进行校正，达到方便监控员观察的目的。

对于普通的直角相机(rectilinearlenses)只需要将像素映射到切平面即可获得准确的结果，即便发生了轻微的径向畸变，径向畸变是朝向或远离某个公共的中心，围绕该中心的给定半径下，偏差量几乎相同。镜头畸变a、b和c参数对应于描述径向透镜畸变的三阶多项式：

其中r_dest和r_src参考图像像素的归一化半径，此半径中心是光轴撞击图像的位置，通常是图像的中心，归一化意味着完全适合图像的最大圆的半径是1.0。完美的镜头应该有a＝b＝c＝0.0和d＝1.0，解析为r_dest＝r_src，则上式表达为：

与直角相机不同，鱼眼相机不遵循切平面几何形状，而是产生了宽视场的内置畸变。虽然径向镜头失真参数的使用方式与直线镜头和鱼眼镜头相同，但绝不应使用它们来尝试将鱼眼重新映射到直角图像。鱼眼形状遵循快速变化的三角函数，该函数很难用三阶多项式去近似。所以我们通过模拟镜头/相机组合在给定焦距下的物理参数a、b、Fx、Fy和FoV来校正鱼眼镜头，通过优化滚动(roll)、俯仰(pitch)、偏航(yaw)的效果，调整fov、a、b、Fx和Fy等变量达到校正目的。对于视野(fov)通常是指图像的水平视场(hFoV)，但是有时会用到垂直视场(vFoV)，对于鱼眼图像我们可以通过纵横比(AspectRatio)来近似鱼眼图像：

两者的转换为：

我们在片元着色器(FragmentShader)部分引入这些参量对图片的渲染进行修正以达到校正鱼眼图像的目的，修正的公式为：

vMapping.x＝vMapping.x+((pow(vPos.y,2.0)/scale)*vPos.x/scale)*-Fx

vMapping.y＝vMapping.y+((pow(vPos.x,2.0)/scale)*vPos.y/scale)*-Fy

vMapping＝vMapping*uLensS.xy

其中vMapping为输出的像素位置，vPos为输入的像素位置，scale为Fov参量，Fx和Fy分别为水平偏移量和竖直偏移量。

图像矫正前后的网格分别如图4、图5所示。

步骤4：图像融合显示，将同一个点位不同的摄像头的三个视频融合显示(视频融合前如图6所示、视频融合后如图7所示)。

图像融合部分，由于每个杆位由监控道路方向的两个枪机摄像头和监控杆下死角的鱼眼摄像头组成，且两个枪机摄像头在监控范围上与鱼眼摄像头监控范围有一定的重合区域，所以为图像的融合提供了理论基础。但是原始的鱼眼监控视频是存在严重的畸变的无法直接与枪机视频进行融合，所以我们对鱼眼视频进行了渲染校正，使其在沿道路方向上有了较好的显示效果，校正速度和显示速度可达正常观看需求，满足了在实时高清的鱼眼摄像头上进行校正和显示的要求。在实验场景中发现我们的算法在图像的重合区域在30％以上时能有较好的融合效果，同时参照摄像头的安装说明发现重叠区域可达30％，但是在实际场景的实验中发现摄像头的安装并没有那么规范，角度和高度与预期不符，所以我们将原有的融合方式改为：渲染校正后用划区功能标记出鱼眼监控图像的重叠区域，通过加权融合的方法将鱼眼图像和枪机图像重叠部分融合在一起如图6。

具体加权融合的方法如下，首先利用单应性矩阵对左图进行透视变换，记为G；然后根据透视变换的图像找到左右两图重叠的部分，并在G中截取重叠的矩形区域记为Overlap1，在右图中截取重叠的矩形区域记为Overlap2；进一步地双重循环遍历Overlap1的每个像素点，外层循环是行循环，内层循环是列循环，权重根据列的大小的改变而改变，列数越小Overlap1的权重越高，列数越大Overlap2的权重越大；最后将重叠区域进行加权融合，非重叠区域则直接衔接到G。

步骤5：图像显示，根据摄像头组的安装情况设置图像显示的模式，系统先杆位选择阶段会从初始化视频的时候提取出三路一帧视频进行单应性矩阵计算，从而判断摄像头角度是否满足图像融合条件。然后提供选择的模式有两种：第一种是为摄像头组角度能满足图像融合条件，那么会将融合成一条道路的监控视频进行显示；第二种是筛选出摄像头角度不满足图像融合条件的摄像头组，按监控摄像头的监控范围组成3宫格显示方式，并使图像左右方向为沿道路方向。

Claims (6)

1.一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，具体为：

步骤1：通过获取到的杆位信息中的rtsp地址信息，使用ffmpeg对其视频流进行解码；

步骤2：通过opencv对鱼眼视频进行矫正处理，如果有标注信息则对其进行文字的添加，有划区信息则对于对应的视频进行截取处理；

步骤3：对于处理完的视频使用opengl进行矫正；

步骤4：图像融合，将同一个点位符合融合条件的三路监控视频融合；

步骤5：图像显示，通过计算判断选择合适的显示模式。

2.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤1具体为：

获取视频编码数据，根据编码信息查找并打开解码器，将输入数据循环输入到解码器当中进行解码；

步骤a：FFmpeg解码模块首先调用流信息分析函数avformat_find_stream_info()将一部分数据流传输进该函数中，函数会通过输入的数据流得到相关的视频信息，通过得到的视频信息，为AVStream结构体对象赋值，并为查找和打开解码器操作提供所需数据信息；

步骤b：通过获取到的视频流信息，为视频流查找相关的解码器并进行解码操作，为解码结构体对象缓存分配内存空间、初始化操作，之后打开解码器，获取视频流数据，进入解码循环；

步骤c：解码成功的数据则会被送入缓冲区。

3.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤2具体为：

通过模拟镜头/相机组合在给定焦距下的物理参数：水平偏移量Fx、竖直偏移量Fy和视野FoV来校正鱼眼镜头，通过优化滚动roll、俯仰pitch、偏航yaw、Fx和Fy达到校正目的；

步骤a：对于视野fov是指图像的水平视场hFoV和垂直视场vFoV，对于鱼眼图像我们通过纵横比AspectRatio来近似鱼眼图像：

两者的转换为：

步骤b：在片元着色器FragmentShader部分引入这些参量对图片的渲染进行修正以达到校正鱼眼图像的目的，修正的公式为：

vMapping.x＝vMapping.x+((pow(vPos.y,2.0)÷scale)×vPos.x÷scale)×(-Fx)

vMapping.y＝vMapping.y+((pow(vPos.x,2.0)÷scale)×vPos.y÷scale)×(-Fy)

vMapping＝vMapping×uLensS.xy

其中，vMapping为输出的像素位置，vPos为输入的像素位置，scale为Fov参量，Fx和Fy分别为水平偏移量和竖直偏移量。

4.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤3具体为：

步骤a：opengl首先接收用户提供的几何数据包括顶点和几何图元，并且将它输入到一系列着色器阶段中进行处理，包括：顶点着色、细分着色以及最后的几何着色；

步骤b：将被送入光栅化单元rasterizer，光栅化单元负责对所有剪切区域clippingregion内的图元生成片元数据，然后对每个生成的片元都执行一个片元着色器。

5.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤4具体为：

步骤a：采取在一个杆位初始化的时候获取一帧三路监控视频的图像，计算出三个监控图像的单应性矩阵；

步骤b：通过重叠区域加权融合的方法对视频图像进行融合，重叠区域加权是指我们通过单应性矩阵计算出监控图像的重叠区域，然后通过加权叠加的方式是监控图像两两之间的过渡更加平滑。

6.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法，其特征在于，所述步骤5具体为：

步骤a：根据初始化时获取的一个杆位三个图像的单应性矩阵判断是否满足融合条件；

步骤b：将满足条件的图像进行融合显示，不满足条件的图像根据监控区域位置进行3宫格显示。

Images