CN109461116A - 一种基于opengl的720全景展开监控方法 - Google Patents

Abstract

本发明属于视频监控技术领域，特别是涉及一种基于opengl的720全景展开监控方法。具体包括以下步骤，a、创建蒙版图像；b、建立数学模型计算顶点坐标和纹理坐标；c、图像渲染显示；d、热点区域添加与操作。本发明通过创建一幅与原始图像一样大小的带alpha值的蒙板图来进行拼接处的融合，达到平滑过渡的效果，步骤更加简单，处理效率高效，使画面的真实感与现场感更强。

Description

一种基于opengl的720全景展开监控方法

技术领域

本发明属于视频监控技术领域，特别是涉及一种基于opengl的720全景展开监控方法。

背景技术

图像拼接技术将一组存在重叠的图像序列首先在空间上进行自动配准，然后经过插值融合，最终生成宽视角的图像。基于多路视频拼接的技术，需要每幅图像进行图像预处理，找特征点，然后特征匹配，再进行图像融合等操作，需要耗费更多资源。近年来随着全景技术的发展，双鱼眼广角镜头应用在监控中越来越被广泛应用，能达到无死角监控，通过拼接技术，增强了画面的真实感和现场感。

由于双鱼眼镜头画面重叠区域比较少，使用传统算法提取特征点，可能会导致特征点稀疏无法正确匹配，从而导致图像拼接无效；如果将两幅鱼眼图像通过某种关系映射分别映射成半球，然后一幅图像旋转180度拼接起来，则拼接部分缝隙明显，带来的体验性将很差；目前双鱼眼镜头720度拼接方法，现有技术通过确定重叠区域位置后，对重叠区域像素进行筛选，运用最小二乘法拟合得到色彩偏差转换参数，然后进行颜色转换得到拼接处的平滑过渡效果，但是其处理过程复杂，效率较低，处理效果一般。

发明内容

本发明提供了一种基于opengl的720全景展开监控方法。

具体技术方案是,所述基于opengl的720全景展开监控方法，包括以下步骤，a、创建蒙版图像；b、建立数学模型计算顶点坐标和纹理坐标；c、图像渲染显示；d、热点区域添加与操作。

进一步的，步骤a中创建蒙版图像，具体为使用棋盘格针对相机标定后获取的双鱼眼镜头的内参，接下来假设左镜头获取的内参为左镜头的畸变参数为(k_l1 k_l2 k_l3 k_l4)，其中f_lx，f_ly分别为图像U轴和V轴上的焦距尺度因子，(C_lx C_ly)为图像的主点坐标；右镜头的内参为右镜头的畸变参数为(k_r1 k_r2 k_r3 k_r4)，取作为图像融合部分的权重，可记为[α,β]；根据鱼眼图像的投影模型，使用多项式的方式计算投影函数，投影函数为：r＝theta+k₁·theta³+k₂·theta⁵+k·theta⁷+k₄·theta⁹，其中theta为入射角，(k₁ k₂ k₃ k₄)为镜头畸变参数，也就是当需要计算左镜头时将左镜头的畸变参数带入镜头畸变参数中，而需要计算右镜头时将右镜头的畸变参数带入镜头畸变参数中。根据此公式分别计算取最小融合角α时左右镜头的对应的鱼眼图像中的点到畸变中心的距离，对左镜头距离记为(X_l,Y_l)，右镜头距离为(X_r,Y_r)，计算公式为：将得到两个椭圆内部区域填充为白色；然后取[α,β]部分计算权重，计算方法为，从α角开始计算，每次迭代增量设置为T，直到β停止计算；假设此时的视角为φ，则权重公式计算为：按照投影函数公式分别计算左右镜头投影球面点到投影中心的距离记为(r₁,r₂)；由鱼眼图像中的点到畸变中心的距离计算公式，得到此时左右镜头对应的图像点到畸变中心点的距离，分别计算左右镜头围绕一圈的像素点，将w赋值给该像素点作为此像素点对应的权重；像素点的计算公式为：其中λ为图像中该像素点与图像中心连线与x轴正方向的夹角，得到具有权重的蒙板图。

进一步的，步骤b中建立数学模型计算顶点坐标和纹理坐标，其中球的经度为360度，纬度为180度，将经度分为nw等分，纬度分为nh等分，

球面坐标公式为：

纹理坐标计算公式为：

其中R为展开的球半径，alpha为经度角，theta为纬度角，w,h分别为原图像的宽和高。

球面360°展开计算方法为将球进行360展开，展开后的长度为R，R水平方向和竖直方向分别进行nw和nh等分，分别用stepx表示水平方向上每等分的长度，用stepy表示竖直方向上每等分的长度，纬度角(lt)为与X轴正方向的夹角，经度角(lg)为与z轴正方向的夹角，建立经纬度坐标系，计算此坐标系下球面坐标为

重新选择坐标系，纬度角(theta)与z轴正方向为夹角，经度角(alpha)与X轴正方向为夹角。此时theta和alpha计算公式为：

顶点坐标为

步骤c中图像渲染显示，为将左右半球图像顶点坐标和纹理坐标传入shader，将蒙板图像通过glTexImage2D函数指定蒙板图像的纹理颜色组件和像素数据的颜色格式为GL_ALPHA，接下来在shader里使用通道数据进行融合，融合公式表示为：根据顶点的坐标进行计算，如果z顶点坐标大于0,则c＝l*a1+(1-a1)*r，如果z顶点坐标小于0，则c＝r*a2+(1-a2)*l，其中c为最终的融合后颜色值，l为左半球的颜色值，r为有半球的颜色值，a1为左半球对应的蒙板权重值，a2为右半球对应的蒙板权重值。

步骤d热点区域添加与操作包括在720全景展开的基础上添加半透明区域，用于在全景中标识和关联相关的设备，半透明区域热点添加算法具体步骤为，d1接受用户输入的二维坐标信息，d2通过某种变换得到opengl坐标，具体做法是：d1.1将屏幕输入的二维坐标变换到视窗坐标，屏幕坐标以屏幕左上角为原点，而opengl坐标以屏幕左下角为原点，假设屏幕坐标输入为(x，y)，则转换为视窗坐标公式表示为其中v表示为视窗的高度；d1.2将视窗坐标转换为opengl坐标，首先调用glReadPixels函数获取该像素点处的深度缓冲区数据，然后调用gluUnProject获取物体三维坐标，从而实现三维坐标与二维坐标一一对应，再然后经过反投影，将物体坐标转换为窗口坐标，以在窗口中显示出来，具体显示方法是，假设人的眼睛站在球外面看，建立数学模型求此时人的眼睛的可视面的范围方法如下，假设眼睛坐标为(x_e,y_e,z_e)，球面半径为R’，以球的中心为坐标建立坐标系，以球面的背面作为可视面，可视角为φ，E为视点位置，则根据余弦公式可算出θ，其中θ为视点位置与观察点连线和过视点位置作与圆相切直线的夹角；则可视角再根据余弦定理的向量公式求出E点与热点区域顶点夹角是否在可视角φ内，从而判断是否需要显示该热点区域；

接下来通过鼠标点击画面点亮热点区域，第一步，将鼠标位置坐标转为场景中的三维坐标，第二步，根据三维坐标反投影得到的场景在窗口坐标中的坐标点是否在多边形内，来判断鼠标所在坐标点是否在热点内，并且根据可视面判断方法判断该热点是否为可视，如果该鼠标位置坐标同时满足上述两个条件，则点亮热点区域，并显示该区域的唯一标识符，反之则不点亮热点区域不进行添加；

基于opengl的720全景展开监控方法还包括将指定热区域按照一定速度旋转到可视窗口中心，从而实现设备的快速预览与状态监控，具体为计算该ID对应的热点区域的中心，记为(a,b,c),建立坐标系，纬度角为点a与坐标原点连线与x轴正方向的夹角，经度角为该中心点投影到yz平面的点p与坐标原点连线与y轴正方向的夹角，则可计算该热点的目标经纬角，公式表示为：

上式中β为目标纬度角，α为目标经度角，然后获取当前场景的经纬度角，每次以一定的速度更新经纬度角直到场景的经纬度角等于指定热点目标经纬度角，完成热点区域的移动到视窗中心的操作。

通过添加热点区域来完成与设备之间的绑定；通过点亮热点区域从而实现根据设备信息增强需要点亮的设备；通过移动热点到画面中心从而便于查看此设备的监控状态。

有益效果，通过创建一幅与原始图像一样大小的带alpha值的蒙板图来进行拼接处的融合，达到平滑过渡的效果，步骤更加简单，处理效率高效，使画面的真实感与现场感更强；通过算法的设计从而实现全景视频实时监控；并且通过在拼接算法的基础上添加热点从而实现联动监控范围内倒设备时，可以实时查看各设备的物理状态。

附图说明

图1是本申请的展开监控流程图。

图2是可视角度示意图。

附图标记说明：φ为可视角；E为视点位置；θ为视点位置与观察点连线和过视点位置作与圆相切直线的夹角。

具体实施方式

实施例1，如图1、图2所示，创建蒙板图像，首先经过使用棋盘格对相机标定后获取双鱼眼镜头的内参，假设左镜头获取的内参为左镜头的畸变参数为(k_l1 k_l2k_l3 k_l4)，其中f_lx，f_ly分别为图像U轴和V轴上的焦距尺度因子，(C_lx C_ly)为图像的主点坐标。同理右镜头的内参为右镜头的畸变参数为(k_r1 k_r2 k_r3 k_r4)，根据实验多次测试，取作为图像融合部分的权重比较合适，可记为[α,β]。根据鱼眼图像的投影模型，使用多项式的方式计算投影函数，投影函数为：r＝theta+k₁·theta³+k₂·theta⁵+k·theta⁷+k₄·theta⁹，其中theta为入射角，(k₁ k₂ k₃ k₄)为镜头畸变参数，也就是当需要计算左镜头时将左镜头的畸变参数带入镜头畸变参数中，而需要计算右镜头时将右镜头的畸变参数带入镜头畸变参数中来计算左右镜头的投影函数。根据此公式分别计算取最小融合角α时左右镜头的对应的鱼眼图像中的点到畸变中心的距离，对左镜头距离记为(X_l,Y_l)，右镜头距离为(X_r,Y_r)，计算公式为：将得到两个椭圆内部区域填充为白色。然后取[α,β]部分计算权重，计算方法为：从α角开始计算，每次迭代增量设置为T，直到β停止计算，假设此时的视角为φ，则权重公式计算为：按照投影函数公式分别计算左右镜头投影球面点到投影中心的距离记为(r₁,r₂)，则根据鱼眼图像中的点到畸变中心的距离计算公式可得此时左右镜头对应的图像点到畸变中心点的距离，然后分别计算左右镜头围绕一圈的像素点，并将w赋值给该像素点作为此像素点对应的权重。像素点的计算公式为：其中λ为图像中该像素点与图像中心连线与x轴正方向的夹角。这样就创造了一幅具有权重的与原始图像一样大小的蒙板图。

建立数学模型计算顶点坐标和纹理坐标。

(1)原始模式(球形展开)

思想：球的经度为360度，纬度为180度，将经度分为nw等分，纬度分为nh等分，然后按照球面坐标计算出顶点，并求出此顶点对应的纹理坐标,R为展开的球半径，alpha为经度角，theta为纬度角，球面坐标公式为：

纹理坐标计算公式为：

其中w,h分别为原图像的宽和高。

(2)360展开

思想：球的经度为360度，纬度为180度，将经度分为nw等分，纬度分为nh等分，展开的长度为R，同样将R水平方向和竖直方向分别分为nw和nh等分，分别用stepx和stepy每等分的长度，纬度角(lt)为与X轴正方向的夹角，经度角(lg)为与z轴正方向的夹角，建立经纬度坐标系，计算此坐标系下球面坐标为

重新选择坐标系，纬度角(theta)与z轴正方向为夹角，经度角(alpha)与X轴正方向为夹角。此时theta和alpha计算公式为：

顶点坐标为

纹理坐标计算方法与球面展开方法一样，在此不再赘述。

图像渲染显示。

将左右半球图像顶点坐标和纹理坐标传入shader，将蒙板图像通过glTexImage2D函数指定蒙板图像的纹理颜色组件和像素数据的颜色格式为GL_ALPHA。则在shader里就可以使用该通道数据进行融合，融合公式表示为：根据顶点的坐标进行计算，如果z顶点坐标大于0,则c＝l*a1+(1-a1)*r，如果z顶点坐标小于0，则c＝r*a2+(1-a2)*l，其中c为最终的融合后颜色值，l为左半球的颜色值，r为有半球的颜色值，a1为左半球对应的蒙板权重值，a2为右半球对应的蒙板权重值。

热点区域添加与操作。

步骤d热点区域添加与操作包括在720全景展开的基础上添加半透明区域，用于在全景中标识和关联相关的设备，半透明区域热点添加算法具体步骤为，d1接受用户输入的二维坐标信息，d2通过某种变换得到opengl坐标，具体做法是：d1.1将屏幕输入的二维坐标变换到视窗坐标，屏幕坐标以屏幕左上角为原点，而opengl坐标以屏幕左下角为原点，假设屏幕坐标输入为(x，y)，则转换为视窗坐标公式表示为其中v表示为视窗的高度；d1.2将视窗坐标转换为opengl坐标，首先调用glReadPixels函数获取该像素点处的深度缓冲区数据，然后调用gluUnProject获取物体三维坐标，从而实现三维坐标与二维坐标一一对应，再然后经过反投影，将物体坐标转换为窗口坐标，以在窗口中显示出来，具体显示方法是，假设人的眼睛站在球外面看，建立数学模型求此时人的眼睛的可视面的范围方法如下，假设眼睛坐标为(x_e,y_e,z_e)，球面半径为R’，以球的中心为坐标建立坐标系，以球面的背面作为可视面，可视角为φ，E为视点位置，则根据余弦公式可算出θ，其中θ为视点位置与观察点连线和过视点位置作与圆相切直线的夹角；则可视角再根据余弦定理的向量公式求出E点与热点区域顶点夹角是否在可视角φ内，从而判断是否需要显示该热点区域；

接下来通过鼠标点击画面点亮热点区域，第一步，将鼠标位置坐标转为场景中的三维坐标，第二步，根据三维坐标反投影得到的场景在窗口坐标中的坐标点是否在多边形内，来判断鼠标所在坐标点是否在热点内，并且根据可视面判断方法判断该热点是否为可视，如果该鼠标位置坐标同时满足上述两个条件，则点亮热点区域，并显示该区域的唯一标识符，反之则不点亮热点区域不进行添加；

基于opengl的720全景展开监控方法还包括将指定热区域按照一定速度旋转到可视窗口中心，从而实现设备的快速预览与状态监控，具体为计算该ID对应的热点区域的中心，记为(a,b,c),建立坐标系，纬度角为点a与坐标原点连线与x轴正方向的夹角，经度角为该中心点投影到yz平面的点p与坐标原点连线与y轴正方向的夹角，则可计算该热点的目标经纬角，公式表示为：

上式中β为目标纬度角，α为目标经度角，然后获取当前场景的经纬度角，每次以一定的速度更新经纬度角直到场景的经纬度角等于指定热点目标经纬度角，完成热点区域的移动到视窗中心的操作。

通过添加热点区域来完成与设备之间的绑定；通过点亮热点区域从而实现根据设备信息增强需要点亮的设备；通过移动热点到画面中心从而便于查看此设备的监控状态。

通过创建一幅与原始图像一样大小的带alpha值的蒙板图来进行拼接处的融合，达到平滑过渡的效果，步骤更加简单，处理效率高效，使画面的真实感与现场感更强；通过算法的设计从而实现全景视频实时监控；并且通过在拼接算法的基础上添加热点从而实现联动监控范围内倒设备时，可以实时查看各设备的物理状态。

Claims (6)

1.一种基于opengl的720全景展开监控方法，其特征在于：包括以下步骤，a、创建蒙版图像；b、建立数学模型计算顶点坐标和纹理坐标；c、图像渲染显示；d、热点区域添加与操作。

2.根据权利要求1所述的基于opengl的720全景展开监控方法，其特征在于：

步骤a中创建蒙版图像，为使用棋盘格针对相机标定后获取的双鱼眼镜头的内参，接下来假设左镜头获取的内参为左镜头的畸变参数为(k_l1 k_l2 k_l3k_l4)，其中f_lx，f_ly分别为图像U轴和V轴上的焦距尺度因子，(C_lx C_ly)为图像的主点坐标；右镜头的内参为右镜头的畸变参数为(k_r1 k_r2 k_r3 k_r4)，取作为图像融合部分的权重，可记为[α,β]；根据鱼眼图像的投影模型，使用多项式的方式计算投影函数，投影函数为：r＝theta+k₁·theta³+k₂·theta⁵+k·theta⁷+k₄·theta⁹，其中theta为入射角，(k₁ k₂ k₃ k₄)为镜头畸变参数，根据此公式分别计算取最小融合角α时左右镜头的对应的鱼眼图像中的点到畸变中心的距离，对左镜头距离记为(X_l,Y_l)，右镜头距离为(X_r,Y_r)，计算公式为：将得到两个椭圆内部区域填充为白色；然后取[α,β]部分计算权重，计算方法为，从α角开始计算，每次迭代增量设置为T，直到β停止计算；假设此时的视角为φ，则权重公式计算为：按照投影函数公式分别计算左右镜头投影球面点到投影中心的距离记为(r₁,r₂)；由鱼眼图像中的点到畸变中心的距离计算公式，得到此时左右镜头对应的图像点到畸变中心点的距离，分别计算左右镜头围绕一圈的像素点，将w赋值给该像素点作为此像素点对应的权重；像素点的计算公式为：其中λ为图像中该像素点与图像中心连线与x轴正方向的夹角，得到具有权重的蒙板图。

3.根据权利要求2所述的基于opengl的720全景展开监控方法，其特征在于：

步骤b中建立数学模型计算顶点坐标和纹理坐标，其中球的经度为360度，纬度为180度，将经度分为nw等分，纬度分为nh等分，

球面坐标公式为：

纹理坐标计算公式为：

其中R为展开的球半径，alpha为经度角，theta为纬度角，w,h分别为原图像的宽和高。

4.根据权利要求3所述的基于opengl的720全景展开监控方法，其特征在于：球面360°展开计算方法为将球进行360展开，展开后的长度为R，R水平方向和竖直方向分别进行nw和nh等分，分别用stepx表示水平方向上每等分的长度，用stepy表示竖直方向上每等分的长度，纬度角(lt)为与X轴正方向的夹角，经度角(lg)为与z轴正方向的夹角，建立经纬度坐标系，计算此坐标系下球面坐标为

重新选择坐标系，纬度角(theta)与z轴正方向为夹角，经度角(alpha)与X轴正方向为夹角。此时theta和alpha计算公式为：

顶点坐标为

5.根据权利要求4中所述的基于opengl的720全景展开监控方法，其特征在于：

步骤c中图像渲染显示，为将左右半球图像顶点坐标和纹理坐标传入shader，将蒙板图像通过glTexImage2D函数指定蒙板图像的纹理颜色组件和像素数据的颜色格式为GL_ALPHA，接下来在shader里使用通道数据进行融合，融合公式表示为：根据顶点的坐标进行计算，如果z顶点坐标大于0,则c＝l*a1+(1-a1)*r，如果z顶点坐标小于0，则c＝r*a2+(1-a2)*l，其中c为最终的融合后颜色值，l为左半球的颜色值，r为有半球的颜色值，a1为左半球对应的蒙板权重值，a2为右半球对应的蒙板权重值。

6.根据权利要求1-5中任一所述的基于opengl的720全景展开监控方法，其特征在于：

步骤d热点区域添加与操作包括在720全景展开的基础上添加半透明区域，用于在全景中标识和关联相关的设备，半透明区域热点添加算法具体步骤为，d1接受用户输入的二维坐标信息，d2通过某种变换得到opengl坐标，具体做法是：d1.1将屏幕输入的二维坐标变换到视窗坐标，屏幕坐标以屏幕左上角为原点，而opengl坐标以屏幕左下角为原点，假设屏幕坐标输入为(x，y)，则转换为视窗坐标公式表示为其中v表示为视窗的高度；d1.2将视窗坐标转换为opengl坐标，首先调用glReadPixels函数获取该像素点处的深度缓冲区数据，然后调用gluUnProject获取物体三维坐标，从而实现三维坐标与二维坐标一一对应，再然后经过反投影，将物体坐标转换为窗口坐标，以在窗口中显示出来，具体显示方法是，假设人的眼睛站在球外面看，建立数学模型求此时人的眼睛的可视面的范围方法如下，假设眼睛坐标为(x_e,y_e,z_e)，球面半径为R’，以球的中心为坐标建立坐标系，以球面的背面作为可视面，可视角为φ，E为视点位置，则根据余弦公式可算出θ，其中θ为视点位置与观察点连线和过视点位置作与圆相切直线的夹角；则可视角再根据余弦定理的向量公式求出E点与热点区域顶点夹角是否在可视角φ内，从而判断是否需要显示该热点区域；

接下来通过鼠标点击画面点亮热点区域，第一步，将鼠标位置坐标转为场景中的三维坐标，第二步，根据三维坐标反投影得到的场景在窗口坐标中的坐标点是否在多边形内，来判断鼠标所在坐标点是否在热点内，并且根据可视面判断方法判断该热点是否为可视，如果该鼠标位置坐标同时满足上述两个条件，则点亮热点区域，并显示该区域的唯一标识符，反之则不点亮热点区域不进行添加；

基于opengl的720全景展开监控方法还包括将指定热区域按照一定速度旋转到可视窗口中心，从而实现设备的快速预览与状态监控，具体为计算该ID对应的热点区域的中心，记为(a,b,c),建立坐标系，纬度角为点a与坐标原点连线与x轴正方向的夹角，经度角为该中心点投影到yz平面的点p与坐标原点连线与y轴正方向的夹角，则可计算该热点的目标经纬角，公式表示为：

上式中β为目标纬度角，α为目标经度角，然后获取当前场景的经纬度角，每次以一定的速度更新经纬度角直到场景的经纬度角等于指定热点目标经纬度角，完成热点区域的移动到视窗中心的操作。