CN117931120B - 一种基于gpu的摄像头图像视角调整方法 - Google Patents

Abstract

本发明提供基于GPU的摄像头图像视角调整方法，包括：通过标定获取摄像头在虚拟三维空间的摄像头外参；获取摄像头的视频流图像，将视频流图像写入OpenGL ES的Texture中；对摄像头外参进行旋转运算，以得到水平视角的摄像头外参；在GPU上设置OpenGL ES渲染管线，在顶点着色器中传入水平视角的摄像头外参，通过计算每个顶点坐标，得到水平视角的虚拟空间坐标，生成的虚拟空间坐标在光栅化阶段被插值生成屏幕上的像素，对于每个像素点，通过片元着色器并行计算读取颜色值，以得到每个像素点的颜色值；将渲染的画面输出至应用窗口。本发明通过OpenGL ES调用GPU进行画面修正和渲染，保证了视频流画面的流畅性。

Description

一种基于GPU的摄像头图像视角调整方法

技术领域

本发明涉及摄像头视角调整技术领域，具体涉及一种基于GPU的摄像头图像视角调整方法。

背景技术

车载摄像头一般采用鱼眼广角摄像头，并且为了实现周围地面路况的环视画面需要对采集的图片进行拼接。如图1所示，鱼眼广角摄像头固定在汽车上时，摄像头的镜头光轴都是向下倾斜的，这就会造成每个摄像头的画面在只经过鱼眼矫正的情况下，水平方向上的物体呈现不同程度的倾斜状态，如图2所示。

在显示单个鱼眼广角摄像头的画面时，只经过鱼眼矫正的情况下，地面水平方向上的物体都呈现向画面中心光轴倾斜的情况，如图3所示。正视图画面需要将画面中水平方向上的物体呈现垂直地面的状态，就需要通过调整摄像头的外参齐次矩阵对画面进行视角矫正。

OpenCV的处理方式是将图像数据放入Mat中，通过摄像头外参得到单应矩阵，再使用单应矩阵对图像调整输出。此过程为一帧图像的处理流程，然而对于视频流数据而言，30fps的视频流需要在1s内执行30次该流程，由于OpenCV算式接口大部分是使用的CPU性能，在处理视频流画面上性能会存在跟不上的问题。

发明内容

发明目的：本发明要解决的技术问题是为了实现环视功能，车载摄像头都是固定成斜向下的视角，这造成视频流画面在鱼眼相机校正之后，水平方向上的物体在画面中会呈现一定程度倾斜状态的问题，本发明提供的基于GPU的摄像头图像视角调整方法，通过OpenGL ES 使用和调整摄像头的外部参数来调整视频流画面的图像视角，还原向下倾斜的摄像头视角成水平视角，且通过OpenGL ES调用GPU进行画面修正和渲染保证了视频流画面的流畅性。

技术方案：本发明所述基于GPU的摄像头图像视角调整方法，包括如下步骤：

S1：通过标定获取摄像头在虚拟三维空间的摄像头外参；

S2：获取摄像头的视频流图像，将所述视频流图像写入OpenGL ES的Texture中；

S3：对所述摄像头外参进行旋转运算，以得到水平视角的摄像头外参；

S4：在GPU上设置OpenGL ES渲染管线，包括创建和填充VBO，编译和链接顶点着色器、片元着色器；

S5：在顶点着色器中传入屏幕坐标和水平视角的摄像头外参，通过摄像头外参和屏幕坐标的矩阵运算进行变换，变换后进行鱼眼矫正，得到水平视角的虚拟空间坐标，生成的虚拟空间坐标在光栅化阶段被插值生成屏幕上的像素，对于每个像素点，通过片元着色器并行计算，从摄像头原始图像数据Texture中读取颜色值，以得到每个像素点的颜色值；

S6：处理后的像素颜色值填充到帧缓冲区，最终通过OpenGL ES的接口将渲染的画面输出至应用窗口。

进一步完善上述技术方案，所述S1中使用OpenCV进行摄像头标定，以得到摄像头外参，包括旋转矩阵R和平移向量t。

进一步地，所述S2中利用厂商接口获取摄像头视频流的位图数据缓存，将其绑定并写入OpenGL ES的Texture中。

进一步地，所述摄像头为鱼眼广角摄像头，所述鱼眼广角摄像头输入的鱼眼图像，需要进行鱼眼矫正。

进一步地，所述S3中通过齐次运算将所述S1中的摄像头外参与水平旋转矩阵相乘得到水平视角的摄像头外参。

进一步地，所述S3中具体实现过程包括：

定义一个绕X轴的旋转角度，其中，-90度表示绕X轴逆时针旋转90度；

构建一个3x3的旋转矩阵rotationXData，表示绕X轴旋转；

将旋转矩阵rotationXData数据存储到OpenCV的Mat对象中，得到mXRotation；

将摄像头外参的旋转矩阵R与mXRotation相乘，得到水平视角的外参矩阵mR。

进一步地，所述S4中创建和填充VBO包括：在GPU上分配一块内存，用于存储顶点缓冲对象VBO；将摄像头视频流图像经过鱼眼矫正后的顶点坐标信息存储到VBO中。

进一步地，所述S5中具体实现过程包括：

在顶点着色器中定义一个uniform变量，用于接收水平视角的摄像头外参；

利用水平视角的摄像头外参和平移向量对顶点坐标进行变换；

将变换后的坐标传递给鱼眼矫正函数，返回经过鱼眼矫正后的坐标p，得到矫正后水平视角的虚拟空间坐标；

在渲染过程中，通过OpenGL ES的uniform变量接口将摄像头外参传递给片元着色器，在片元着色器中使用摄像头外参对当前像素的位置进行计算，通过采样纹理Texture操作，获取经过矫正后坐标 p 处的颜色信息；

将经过像素颜色采集和计算后的颜色值填充到帧缓冲区，OpenGL ES输出的渲染画面就是视角矫正后的摄像头图像。

进一步地，所述鱼眼矫正过程如下：使用OpenCV工具进行摄像头标定，获取相机矩阵和畸变系数；对于鱼眼图像的每个像素点，计算其与图像中心的角度theta，将计算的角度theta代入鱼眼矫正公式计算矫正后的距离rd，对每个像素进行矫正，

，

其中，k1、k2、k3、k4为畸变系数；

将矫正后的rd和theta转换为矫正后的像素坐标；在矫正后的坐标处获取鱼眼图像的像素值。

有益效果：与现有技术相比，本发明的优点在于：

本发明利用GPU的并行计算能力，实现对摄像头图像的实时高效处理，GPU的并行计算架构允许对大量像素同时进行操作，确保了对视频流的实时处理和渲染，使得图像处理的速度远超传统的CPU处理方式；

采用OpenGL ES渲染管线，包括顶点着色器、片元着色器等可编程流程，这使得能够灵活地控制图形渲染过程，通过自定义的着色器对图像进行处理，达到更高程度的图像效果和逼真度；

通过OpenCV进行摄像头标定和鱼眼矫正，使得鱼眼广角摄像头捕捉到的圆形图像能够被准确矫正成正常矩形图像。这有助于提高图像的准确性和真实感；

通过齐次运算对摄像头外参进行水平旋转，实现对视角的调整，这使得摄像头能够适应不同应用场景的需求，如车载摄像头的鸟瞰视角调整，从而提高了系统的适用性；

使用Vertex Buffer Object（VBO）存储图像数据，通过OpenGL ES的设置，使得图像数据在GPU中的处理更加灵活和高效。这有助于提高图形渲染的性能，使得应用能够处理更复杂的图像场景；

最终通过OpenGL ES的接口将渲染的画面输出至应用窗口，实现了对图像的实时显示和交互，用户可以在应用中即时观察经过视角调整后的摄像头图像，增加了用户体验的交互性。

综上所述，本发明提供的方法，通过整合先进的GPU计算和图形处理技术，实现了对摄像头图像的高效处理、复杂调整和实时显示，通过OpenGL ES 使用和调整摄像头的外部参数来调整视频流画面的图像视角，还原向下倾斜的摄像头视角成水平视角，且通过OpenGLES调用GPU进行画面修正和渲染也保证了视频流画面的流畅性。

附图说明

图1是现有鱼眼广角摄像头采集地面路况的示意图；

图2是鱼眼广角摄像头所采集画面的正视图；

图3是鱼眼广角摄像头所采集画面经视觉矫正后的正视图；

图4是本发明所提供方法的原理框图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：GPU在并行计算能力上优于CPU，因此在高刷新率的视频流图像处理方面，OpenGL ES能够轻松胜任30fps以上的刷新效率。

OpenGL ES的标准图形管线的流程为：一组顶点数据经由GPU光栅化后，像素内填充纹理的颜色取值。其中，顶点数据为窗口坐标，颜色取值基于标定结果的外参矩阵与窗口坐标的点积结果。每个顶点的采集点数据可以通过预先运算完成后存储，以提升视频流数据调整的运算速率。

由于OpenGL ES是直接使用虚拟空间的摄像头外参，可以通过不同的旋转矩阵实现不同角度的视角画面显示。与单应矩阵相比，外参的齐次矩阵通过点积旋转矩阵和偏移矩阵得到各种视角的单应矩阵，从而实现各种视角的显示。外参可以理解为可以得到多个单应矩阵，而不是仅支持单一视角。

如图4所示的基于GPU的摄像头图像视角调整方法，OpenGL ES需要的输入参数有鱼眼广角摄像头的视频流图像和摄像头的外参。

鱼眼广角摄像头的原图输出为圆形图像，需要进行鱼眼矫正，通过内参确定图像与胶片的尺寸比率和圆形中心，畸变系数为将圆形图像拉伸成正常矩形图像的公式系数，公式为：，其中k1,k2,k3,k4为畸变系数，theta为坐标与原点的角度。

摄像头视频流数据通过厂商接口循环获取视频画面的位图数据缓存，然后将位图数据缓存绑定写入OpenGL ES的Texture中，这提供了标准图形渲染管线所需的输入，使其能够进行光栅化和算法后的色彩采集。部分示例代码如下：

摄像头的外参需要在摄像头标定时获取，在这个过程中，使用OpenCV对图像中的标定点进行映射到虚拟三维空间点，从中得到摄像头的虚拟三维空间外参。

solvePnP(obj3D, corners2D, intrinsic, cv::Mat(), r, t)；

其中，obj3D为一组虚拟三维空间点，corners2D为一组图像中的标定点，intrinsic为摄像头内参，r和t就是输出的摄像头外参了。OpenGL ES在进行视频流画面视角调整和渲染时需要用到这组外参。至此，预处理的工作已经完成。

下面开始以渲染一帧的视频流画面视角调整和渲染流程说明：

对非水平视角的车载摄像头图像通过标定获得虚拟空间的摄像头外参。

外参标定虚拟三维空间点直接在OpenGL ES视口点上使用齐次运算是鸟瞰视角，也就是要得到水平视角还需要对外参进行旋转运算。

得到了水平视角的外参之后，将调整后的水平视角外参与视频流画面的Texture传入OpenGL ES的着色器中。

在GPU上设置OpenGL ES渲染管线，包括创建和填充VBO，编译和链接顶点着色器、片元着色器。其中，VBO（顶点缓冲对象）用于存储顶点缓冲对象，将摄像头视频流图像经过鱼眼矫正后的顶点坐标信息存储到VBO 中。

OpenGL ES的标准图形管线：

在顶点着色器中定义一个uniform变量，用于接收水平视角的外参矩阵。

利用水平视角的外参矩阵和平移向量对顶点坐标进行变换，将原始的顶点坐标转换到虚拟空间坐标。

将调整后的虚拟空间坐标传递给鱼眼矫正函数，返回经过鱼眼矫正后的坐标p。

在渲染过程中，通过OpenGL ES的uniform变量接口将外参矩阵传递给片元着色器。

在片元着色器中使用外参矩阵对当前像素的位置进行计算，通过采样纹理Texture 操作，获取经过矫正后坐标p 处的颜色信息。

将经过像素颜色采集和计算后的颜色值填充到帧缓冲区。

最终渲染输出通过OpenGL ES的接口将渲染的画面输出至应用窗口

外参数据作为Fragment Shader的入参传入，根据外参对鱼眼摄像头的原始图像进行像素颜色采集，填充进显示窗口的像素点；调整之后的外参，在OpenGL ES的标准图形管线渲染画面时，传入着色器中，通过齐次运算调整OpenGL ES的虚拟空间坐标点到水平视角坐标点。

着色器部分示例代码如下：

最终，OpenGL ES输出的渲染画面就是视角矫正后的摄像头视频流画面。

调整之后得到渲染缓存由OpenGL ES渲染到应用窗口。由于OpenGL ES是调用GPU对画面的每个像素点进行并行计算，所以性能方面完全能够支持视频流画面的高刷新率的需要。在修正画面视角的同时保证视频流画面的流畅性。通过OpenGLES接口调用GPU渲染车载摄像头视频流图像，在OpenGL ES的标准图形管线过程中，配置视角调整的摄像头的虚拟空间外参，得到视角调整之后的摄像头视频流画面。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (9)

1.一种基于GPU的摄像头图像视角调整方法，其特征在于：包括如下步骤：

S1：通过标定获取摄像头在虚拟三维空间的摄像头外参；

S2：获取摄像头的视频流图像，将所述视频流图像写入OpenGL ES的Texture中；

S3：对所述摄像头外参进行旋转运算，以得到水平视角的摄像头外参；

S4：在GPU上设置OpenGL ES渲染管线，包括创建和填充VBO，编译和链接顶点着色器、片元着色器；

S5：在顶点着色器中传入屏幕坐标和水平视角的摄像头外参，通过摄像头外参和屏幕坐标的矩阵运算进行变换，变换后进行鱼眼矫正，得到水平视角的虚拟空间坐标，生成的虚拟空间坐标在光栅化阶段被插值生成屏幕上的像素，对于每个像素点，通过片元着色器并行计算，从摄像头原始图像数据Texture中读取颜色值，以得到每个像素点的颜色值；

S6：处理后的像素颜色值填充到帧缓冲区，最终通过OpenGL ES的接口将渲染的画面输出至应用窗口。

2.根据权利要求1所述的基于GPU的摄像头图像视角调整方法，其特征在于：所述S1中使用OpenCV进行摄像头标定，以得到摄像头外参，包括旋转矩阵R和平移向量t。

3.根据权利要求2所述的基于GPU的摄像头图像视角调整方法，其特征在于：所述S2中利用厂商接口获取摄像头视频流的位图数据缓存，将其绑定并写入OpenGL ES的Texture中。

4.根据权利要求3所述的基于GPU的摄像头图像视角调整方法，其特征在于：所述摄像头为鱼眼广角摄像头，所述鱼眼广角摄像头输入的鱼眼图像，需要进行鱼眼矫正。

5.根据权利要求4所述的基于GPU的摄像头图像视角调整方法，其特征在于：所述S3中通过齐次运算将所述S1中的摄像头外参与水平旋转矩阵相乘得到水平视角的摄像头外参。

6.根据权利要求5所述的基于GPU的摄像头图像视角调整方法，其特征在于，所述S3中具体实现过程包括：

定义一个绕X轴的旋转角度，其中，-90度表示绕X轴逆时针旋转90度；

构建一个3x3的旋转矩阵rotationXData，表示绕X轴旋转；

将旋转矩阵rotationXData数据存储到OpenCV的Mat对象中，得到mXRotation；

将摄像头外参的旋转矩阵R与mXRotation相乘，得到水平视角的外参矩阵mR。

7.根据权利要求3所述的基于GPU的摄像头图像视角调整方法，其特征在于，所述S4中创建和填充VBO包括：在GPU上分配一块内存，用于存储顶点缓冲对象VBO；将摄像头视频流图像的顶点坐标存储到VBO中。

8.根据权利要求4所述的基于GPU的摄像头图像视角调整方法，其特征在于，所述S5中具体实现过程包括：

在顶点着色器中定义一个uniform变量，用于接收水平视角的摄像头外参；

利用水平视角的摄像头外参和平移向量对顶点坐标进行变换；

将变换后的坐标传递给鱼眼矫正函数，返回经过鱼眼矫正后的坐标p，得到矫正后水平视角的虚拟空间坐标；

在渲染过程中，通过OpenGL ES的uniform变量接口将摄像头外参传递给片元着色器，在片元着色器中使用摄像头外参对当前像素的位置进行计算，通过采样纹理Texture操作，获取经过矫正后坐标 p 处的颜色信息；

将经过像素颜色采集和计算后的颜色值填充到帧缓冲区，OpenGL ES输出的渲染画面就是视角矫正后的摄像头图像。

9.根据权利要求8所述的基于GPU的摄像头图像视角调整方法，其特征在于，所述鱼眼矫正过程如下：

使用OpenCV工具进行摄像头标定，获取相机矩阵和畸变系数；

对于鱼眼图像的每个像素点，计算其与图像中心的角度theta，将计算的角度theta代入鱼眼矫正公式计算矫正后的距离rd，对每个像素进行矫正；

；

其中，k1、k2、k3、k4为畸变系数；

将矫正后的rd和theta转换为矫正后的像素坐标；

在矫正后的坐标处获取鱼眼图像的像素值。