CN105354809B - 一种基于输出图像像素位置索引的预畸变方法和装置 - Google Patents

Abstract

本发明涉及一种基于输出图像像素位置索引的预畸变方法和装置。基于本方法建立的畸变查找表，不仅极大的简化了硬件设计的复杂度，节约硬件资源降低了实现成本，而且实现了对高阶插值算法的支持，减轻了预畸变图像中边界锯齿的现象。本发明提出的预畸变装置能实时的完成高分辨率动态图像预畸变校正，延时最小且能外围芯片相对最少。

Description

一种基于输出图像像素位置索引的预畸变方法和装置

技术领域

本发明涉及视频处理领域，具体涉及数字图像投影显示系统的图像预畸变校正，特别是基于FPGA的大分辨率图像实时预畸变校正。

背景技术

在一些大视场，广角的复杂光学投影系统中广泛存在着不同程度的畸变。在许多应用场合，这些畸变影响到人对图像内容感知或判断。因此有必要对光学系统的畸变进行适当的电校正处理。

在对实时动态图像的预畸变校正方案中，普遍采用FPGA按照查找表中输入图像的位置坐标读取像素并图像插值，按照输出图像的扫描方式输出预畸变图像。如中国专利2698267Y和中国专利104363383A。

以上专利中的方法的缺点是在畸变校正的硬件架构中采用多片存储芯片或者复杂的FPGA内部存储架构缓冲输入视频，一片或多片存储芯片来存储畸变校正的查找表；查找表中的索引坐标是基于输入图像的；最后是每个像素的校正参数位宽较宽，特别是采用复杂的插值算法；最后是查找表文件较大。

发明内容

本发明的目的是提供一种基于输出图像像素位置索引的预畸变方法和装置，用以解决现有技术中畸变查找表的索引坐标基于输入图像，导致硬件资源消耗大的问题。

为实现上述目的，本发明的方案包括：

1)对待校正图像的像素网格划分了若干区域并为区域编码；畸变查找表包含的信息包括：每个映射点在预畸变图像上的位置信息和每个映射点在所述区域的区域编码信息；以所述位置信息为索引地址，以所述区域编码信息为插值编码建立畸变查找表；

2)读取图像数据并且进行插值运算：获取差值算法所需要的、待插值点周围的像素点，并且读取畸变查找表中的插值区域编码；同时读取畸变查找表中的索引地址，并按照索引地址计算输出像素的物理存储地址；然后进行图像插值运算，得到待插值点的像素值，按照所述物理存储地址将结果输出到物理存储器；

3)延迟一定的行后，从输出图像缓冲中输出图像。

根据选用的插值核函数在FPGA芯片内部建立一个按照区域编码可索引的与像素相对应的系数表。

采用双线性插值或双三次插值算法进行插值。

一种基于输出图像像素位置索引的预畸变装置，包括：

1)设置畸变查找表的模块：对待校正图像的像素网格划分了若干区域并为区域编码；畸变查找表包含的信息包括：每个映射点在预畸变图像上的位置信息和每个映射点在所述区域的区域编码信息；以所述位置信息为索引地址，以所述区域编码信息为插值编码；

2)读取图像数据并且进行插值运算的模块：获取差值算法所需要的、待插值点周围的像素点，并且读取畸变查找表中的插值区域编码；同时读取畸变查找表中的索引地址，并按照索引地址计算输出像素的物理存储地址；然后进行图像插值运算，得到待插值点的像素值，按照所述物理存储地址将结果输出到物理存储器；

3)输出模块：延迟一定的行后，输出图像。

根据选用的插值核函数在FPGA芯片内部建立一个按照区域编码可索引的与像素相对应的系数表。

采用双线性插值或双三次插值算法进行插值。

本发明采用基于输出图像像素位置的索引地址，不仅极大的简化了硬件设计的复杂度，节省硬件资源降低了实现成本，而且便于实现双三次插值等需要同时高阶插值算法，消除预畸变图像边缘锯齿的现象。在FPGA内部输入视频数据的缓冲结构简单，不需要外部缓冲芯片。还包括实现高分辨率图像，逐像素实时预畸变校正；低延迟；每个像素的查找表位宽较小，存储的查找表文件较小。

附图说明

图1为本发明的电路原理框图；

图2预畸变装置的工作流程图；

图3预畸变像素在待畸变图像上的映射点的对应关系；

图4为像素网格的插值区域编码；

图5为畸变查找表的格式；

图6为在视频数据上的卷积方式。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

对于畸变查找表，下文有时也简称为查找表。

本发明公开的预畸变校正系统由5部分组成：含有存储器资源的FPGA，可高速访问存储芯片，非易失存储器芯片，视频输入电路，视频输出电路，参见图1。

本方法中的非易失存储器芯片：主要是指用于存储畸变参数查找表以及相应参数的非易失存储器，例如NOR FLASH等。其中畸变参数查找表包含两部分内容：输出预畸变图像像素的位置信息，输出预畸变图像像素的畸变参数信息。

本方法中可高速访问的存储芯片：主要是指用于上电后能提供畸变查找表缓冲和高速访问的存储器，例如SRAM等

如图1所示，本方法中含有存储器的FPGA实现如下9部分功能：11外部视频信号接受接口，12图像行缓冲单元，13非易失存储器接口，14高速访问存储器接口，15插值系数查找表，16图像插值功能单元，17输出像素物理地址计算单元，18预畸变视频数据缓冲器，19输出视频数据输出接口。如图2所示，工作的原理为：在上电复位后，第一步将ROM存储器中畸变查找表搬迁到SRAM中，以方便对畸变查找表高速访问；第二步对输入视频数据行缓冲；第三步流水线顺序读取行缓冲器中相邻的上下行、左右列数据，同时读取畸变查找表中区域编码，按照编码值读取FPGA内部插值系数查找表中相应的系数；同时读取畸变查找表中输出像素的地址索引计算输出像素在输出缓冲的物理地址。第四步将第三步中收到的像素值和插值系数做延迟，对齐后计算预畸变像素的灰度值。第五步将在恰当时机读取第四步中计算得到的预畸变像素的物理存储地址和第四步得到预畸变像素灰度值延时，对齐后写入到预畸变视频数据缓冲器。第六步预畸变视频数据缓冲超过最大畸变量决定的一定行数后，图像输出接口读取该数据并输出。

下面以分辨率为1024x768，场频为60Hz，位宽8位的单色视频信号作为输入信号，输出信号为1280x1024，场频为60Hz，位宽为8位的单色视频信号，采用双线性插值为例(作为其他实施方式，也可以采用其他插值算法)具体说明：

1.预畸变查找表的生成

如图3所示，通过光学系统的畸变函数可以得到预畸变图像T(像源网格)上的像素点在输入的理想图像(待校正图像)网格上位置映射坐标。预畸变图像T像素点B1，B2，B3在输入图像上的映射的点分别是P2，P3，P1。像素点B3，B2，B1的坐标作为畸变查找表的位置索引坐标。

由于P1，P2，P3在理想输入图像上为非整数坐标值，其小数部分是重要的畸变参数。本发明中对输入图像的网格做了区域划分和编码，如图4所示。以P3所在的像素网格为例，I(a),I(b)，I(c),I(d)为P3所在像素网格四边形的顶点。本实施例把像素网格均分为64个小区域，并编码为1到64。据P1，P2，P3在理想输入图像上为非整数坐标的小数部分可得到该像素点的区域编码，该编码值作为畸变查找表的畸变参数信息。区域划分的依据是和插值的精度相关的，为了更高的精度可以有更精确的划分。

假设P1，P2，P3在像素网格中的编码值分别为：54，49，19。按照本方法生成畸变查找表中P1，P2，P3的信息如图5红色部分所示。

2.预畸变图像像素值的计算方法

图像理论中图像插值，即在时域空间的卷积。其加窗的方法如图6所示。但是在本实施例中特征在于系数矩阵是与区域编码相关的。

以双线性插值为例，双线性插值的计算公式如下：

设P3点的坐标为(x_d,y_d)，x_d和y_d大部分情况下都不是整数。待校正图像中点P3周围的四个像素点I(a),I(b)，I(c),I(d),距离点P3越近对点B2的灰度值贡献越大。双线性插值的方法定义如下：

f(x_d,y_d)＝(x+1-x_d)(y+1-y_d)f(x,y)

+(x+1-x_d)(y_d-y)f(x,y+1)

+(x_d-x)(y+1-y_d)f(x+1,y)

+(x_d-x)(y_d-y)f(x+1,y+1) 公式一

令：δx＝x_d-x，δy＝y_d-y，且0≤δx≤1，0≤δy≤1，由式(1)可知：

公式二中，f(x,y),f(x,y+1),f(x+1,y),f(x+1,y+1)即为I(a),I(b)，I(c),I(d)的像素值。f(x_d,y_d)即为B2点像素值。

3.插值系数查找表的生成

对于做了分区和编码的像素网格，取每个分区的中心点坐标，带入的插值内核函数可以得到每个像素的插值系数。双线性插值核函数如公式一所示，分别将编码的每个分区中心坐标相对于I(a),I(b)，I(c),I(d)的距离值w代入公式三得到插值系数S(w)，该表作为插值系数查找表。

双线性插值的系数查找表如表1所示。左边第一列为相应的区域编码值，1列为I(a)的插值系数；2列为I(b)的插值系数；3列为I(c)的插值系数；4列为I(d)的插值系数。

4.预畸变校正系统的工作原理

基于输出图像位置索引的预畸变装置工作流程如图2所示，总结如下：

1)系统上电，FPGA完成上电复位；

2)FPGA将畸变查找表从非易失存储器搬迁到高速访问存储器；

3)按照输入图像的输入顺序(从上到下，从左到右)对输入图像进行缓冲，缓冲行数为两行。缓冲方式为：视频数据的第一行写入缓冲器a，第二行写入缓冲器b；视频数据的第3行写入缓冲器a，视频数据的第4行写入缓冲器b；第5行视频数据写入到缓冲器a，类似这样新一行视频数据交替写入到缓冲器a和b。

4)在步骤3)收取一帧图像的第2行视频数据的第2个像素时后的某个时刻，同时流水线读取4个像素。这四个像素分别是第一行和第二行的第一列和第二列，如图6所示w1窗内4个像素，下一个时钟读取w2窗内四个像素，每个时钟依次向左移动直到最后一列。随后以同样的方式读取第2行和第3行，直到倒数第二行和倒数第一行。

5)在步骤4)进行的同时，读取查找表中插值区域编码(以下简称区域编码)，并按照位置编码读取插值系数查找表(以下简称：系数查找表)；

6)在步骤4)进行的同时，读取查找表中输出像素的索引地址，并按照索引地址计算输出像素的物理存储地址；

7)将步骤4)收到4个像素数据和步骤5)读取的系数查找表的系数，进行图像插值运算得到待插值点的像素值。

8)将步骤7中的计算结果，按照步骤6中的计算物理存储地址写入到物理存储器；

9)延迟一定的行后，输出图像数据。

表.1

以上给出了本发明涉及的具体实施方式，但本发明不局限于所描述的实施方式。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。

Claims (6)

1.一种基于输出图像像素位置索引的预畸变方法，其特征在于，步骤包括：

1)对待校正图像的像素网格划分了若干区域并区域编码；畸变查找表信息包括：输出图像的每个映射点在待校正图像像素网格上的位置信息和每个映射点在所述区域的区域编码信息；按照待校正图像的输入顺序，以所述位置信息为索引地址，以所述区域编码信息为插值编码建立畸变查找表；

2)读取图像数据并且进行插值运算：获取插值算法所需要的、待插值点周围的像素点，并且读取畸变查找表中的插值区域编码；同时读取畸变查找表中的索引地址，并按照索引地址计算输出像素的物理存储地址；然后进行图像插值运算，得到待插值点的像素值，按照所述物理存储地址将结果输出到物理存储器；

3)延迟一定的行后，从输出图像缓冲中输出图像。

2.根据权利要求1所述的一种基于输出图像像素位置索引的预畸变方法，其特征在于，根据选用的插值核函数在FPGA芯片内部建立一个按照区域编码可索引的与像素相对应的系数表。

3.根据权利要求1所述的一种基于输出图像像素位置索引的预畸变方法，其特征在于，采用双线性插值或双三次插值算法进行插值。

4.一种基于输出图像像素位置索引的预畸变装置，其特征在于，包括：

1)设置畸变查找表的模块：对待校正图像的像素网格划分了若干区域并为区域编码；畸变查找表包含的信息包括：每个映射点在预畸变图像上的位置信息和每个映射点在所述区域的区域编码信息；以所述位置信息为索引地址，以所述区域编码信息为插值编码；

2)读取图像数据并且进行插值运算的模块：获取插值算法所需要的、待插值点周围的像素点，并且读取畸变查找表中的插值区域编码；同时读取畸变查找表中的索引地址，并按照索引地址计算输出像素的物理存储地址；然后进行图像插值运算，得到待插值点的像素值，按照所述物理存储地址将结果输出到物理存储器；

3)输出模块：延迟一定的行后，输出图像。

5.根据权利要求4所述的一种基于输出图像像素位置索引的预畸变装置，其特征在于，根据选用的插值核函数在FPGA芯片内部建立一个按照区域编码可索引的与像素相对应的系数表。

6.根据权利要求4所述的一种基于输出图像像素位置索引的预畸变装置，其特征在于，采用双线性插值或双三次插值算法进行插值。