CN112991237B - 一种图像畸形校正系统及方法 - Google Patents

Abstract

一种图像畸形校正系统，包括，图像数据采集单元、图像校正单元、显示跟随单元、显示驱动单元，以及存储器单元，其中，所述图像数据采集单元，其根据所述图像校正单元生成的剪裁控制信息，对图像进行裁剪并将裁剪后的图像数据保存到所述存储器单元；所述图像校正单元，其从所述存储器单元中读取裁剪后的图像数据，对图像进行校正，并将校正后的图像数据发送给所述显示驱动单元进行显示；所述显示跟随单元，其用于生成显示行场同步信号发送给所述显示驱动单元。本发明还提供一种图像畸形校正方法，最大限度的减小了图像输入到显示的时延，增大了驾驶员的反应时间，提高了车辆行驶的安全性；同时减少了系统内存的使用，降低了整体系统的成本。

Description

一种图像畸形校正系统及方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种流媒体后视镜系统中的图像畸形校正系统及方法。

背景技术

随着汽车电子电器架构的升级，流媒体后视镜技术正在迅速的得到普及。与此同时对于流媒体后视镜的安全性，可靠性以及低延时的需求也在逐渐提高。

流媒体后视镜系统为了增大视角，通常采用广角甚至是鱼眼摄像头进行图像采集，但采集的数据往往存在畸变；同时由于摄像头以及驾驶员视角的差异，还需要对采集的图像进行视角变换。流媒体后视镜系统通过摄像头采集图像信息，经过图像畸变校正而后将图像通过显示器呈现给驾驶员从而替代传统光学后视镜。

传统的流媒体后视镜系统，需要将摄像头采集到的图像经过校正变换处理后再送入显示控制器显示。传统的系统中，出于摄像头图像输入与输出同步以及图像校正模块计算的需求需要缓存一帧或者多帧数据后再进行运算，极大的增加了系统输入到图像显示的延时，同时减少了预留给驾驶员的反应时间；由于需要缓存多帧数据，系统的内存使用量也比较大，系统的成本也相对也较高。

发明内容

为了解决现有技术的缺陷，本发明的目的在于提供一种图像畸形校正系统及方法，采用自适应的摄像头输入与显示输出行场同步结构、自适应的摄像头输入与显示输出行场同步的算法以及自适应的内存管理方法，最大限度的减小图像从输入到显示的时延，减少系统内存的使用。

为了实现上述目的，本发明提供的图像畸形校正系统，包括，图像数据采集单元、图像校正单元、显示跟随单元、显示驱动单元，以及存储器单元，其中，

所述图像数据采集单元，其根据所述图像校正单元生成的剪裁控制信息，对图像进行裁剪并将裁剪后的图像数据保存到所述存储器单元；

所述图像校正单元，其从所述存储器单元中读取裁剪后的图像数据，对图像进行校正，并将校正后的图像数据发送给所述显示驱动单元进行显示；

所述显示跟随单元，其用于生成显示行场同步信号发送给所述显示驱动单元。

进一步地，所述图像校正单元，其根据图像校正的需求，计算出显示所需的有效输入图像区域信息，生成由图像水平起始点、水平终止、垂直起始点，以及垂直终止点组成的裁剪控制信息。

进一步地，所述图像校正单元，其根据来自所述图像数据采集单元的行计数信号，启动或暂停对图像的校正；当需要读取的图像的行号大于行计数信号的计数值，则暂停校正，反之则启动校正。

进一步地，所述图像校正单元，其根据输入像素水平以及垂直位置的一组相邻像素点计算出校正后的像素值；统计最大的输出像素与映射到的输入像素行坐标的差值；根据统计最大的输出像素与映射到的输入像素行坐标的差值、像素插值计算垂直方向向上扩展的行数和所述显示跟随单元输入与输出行同步信号最大的误差行数，生成初始偏移量发送给所述显示跟随单元。

进一步地，所述图像校正单元，统计最大的输出像素与映射到的输入像素行坐标的差值，采用如下公式计算：

∆Ymax = max[fvmap(i，j) - j]，

其中，∆Ymax为最大的输出像素与映射到的输入像素行坐标的差值，j为输出像素的行坐标，i为输出像素的列坐标，fvmap(i，j)为输出像素到输入像素行坐标的变换函数。

进一步地，所述图像校正单元，其采用如下计算公式生成初始偏移量：

Offset = ∆Ymax + Padding + FramelockError，

其中，Offset为初始偏移量，∆Ymax为最大的输出像素与映射到的输入像素行坐标的差值，Padding为像素插值计算垂直方向向上扩展的行数， FramelockError为所述显示跟随单元输入与输出行同步信号最大的误差行数。

进一步地，所述图像校正单元，其根据所述裁剪控制信息将内存单元的图像读取地址进行偏移。

更进一步地，所述显示跟随单元，根据所述图像数据采集单元输出的输入行场同步信号、所述图像校正单元输出的初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出行场同步的偏移量和显示行场同步信号，发送给所述显示驱动单元；最终的输入到输出行场同步的偏移量计算公式为：

Offset’= (N-1) * VTOTAL + Offset * N

其中， Offset’为最终的输入到输出行场同步的偏移量，N为场同步信号帧率比，VTOTAL为一帧中总的行同步信号数目，Offset为图像校正单元的初始偏移量。

为了实现上述目的，本发明还提供一种图像畸形校正方法，包括以下步骤，

根据裁剪控制信息，对输入的图像进行裁剪和保存；

生成行计数信号和输入行场同步信号；

生成初始偏移量，并根据所述行计数信号，对读取的图像进行校正；

生成显示行场同步信号，并显示校正后的图像。

更进一步地，所述裁剪控制信息，包括，有效输入图像区域的水平起始点、水平终止点、垂直起始点，以及垂直终止点；

所述初始偏移量，其根据统计最大的输出像素与映射到的输入像素行坐标的差值、像素插值计算垂直方向向上扩展的行数和所述显示跟随单元输入与输出行同步信号最大的误差行数生成；

所述显示行场同步信号，其根据输入行场同步信号、初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出行场同步的偏移量作为显示行场同步信号。

本发明提供的图像畸形校正系统及方法，应用于流媒体后视镜系统中的SoC处理器领域，具有如下的技术效果：最大限度的减小了由于数字信号处理而引入的摄像头输入到显示的时延，增大了驾驶员的反应时间，提高了车辆行驶的安全性；同时减少了系统内存的使用，降低了整体系统的成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明的图像畸形校正系统结构示意图；

图2为根据本发明的图像畸形校正方法流程图；

图3为根据本发明的对输入图像进行剪裁示意图；

图4为根据本发明的输入行场同步信号和输出行场同步信号的时序图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

图1为根据本发明的图像畸形校正系统结构示意图，如图1所示，本发明的本发明的图像畸形校正系统，包括，图像数据采集单元10、图像校正单元20、显示跟随单元30、显示驱动单元40，以及存储器单元50，其中，

图像数据采集单元10，接收来自摄像头的图像数据，并根据图像校正单元20输入的裁剪控制信息对图像进行裁剪；将裁剪后的图像打包后存储到存储器单元50；将生成的输入行场同步信号发送给显示跟随单元30；将生成的行计数信号发送给图像校正单元20。图3为根据本发明的对输入图像进行剪裁示意图，如图3所示，相对于显示的视角图像存在畸变的摄像头采集的图像，图像数据采集单元10根据图像校正单元输出的边界控制信息，对输入的图像进行裁剪，只将边界内的部分图像写入系统内存当中，从而达到了减少系统内存使用的目的。

图像校正单元20，其从存储器单元50中读取裁剪后的图像数据并进行校正，将校正后的图像数据发送给显示驱动单元40。

本发明实施例中，图像校正单元20根据来自图像数据采集单元10的行计数信号启动或者暂停对裁剪后的图像数据进行校正，当需要读取的图像数据的行号超过了行计数则校正将被暂停，反之则启动校正。

本发明实施例中，图像校正单元20根据图像校正的需求计算出显示所需的有效输入图像区域信息，同时生成包括图像水平起始点（Xstart），水平终止点（Xend），垂直起始点（Ystart）以及垂直终止点（Yend）的裁剪控制信息，供图像数据采集单元10使用。

本发明实施例中，图像校正单元20根据裁剪控制信息将内存图像读取的地址进行反向偏移。

本发明实施例中，图像校正单元20，获取每一个显示输出像素Pdisp(xo, yo)对应输入像素Pin(xi, yi)的位置，并采用特定的插值算法，根据输入像素Pin(xi, yi)水平以及垂直位置的一组相邻像素点计算出校正后的像素值P’disp(xo, yo)。

本发明实施例中，图像校正单元20统计最大的输出像素与映射到的输入像素行坐标的差值 ∆Ymax = max[fvmap(i，j) - j], 其中j为输出像素的行坐标，i为输出像素的列坐标，fvmap(i，j)为输出像素到输入像素行坐标的变换函数。

本发明实施例中，图像校正单元20，其生成初始偏移量Offset，并将其发送给显示跟随单元30。生成初始偏移量Offset的计算方法为：Offset= ∆Ymax + Padding +FramelockError；其中，Padding为像素插值计算垂直方向向上扩展的行数，FramelockError为显示跟随单元30输入与输出行同步信号最大的误差行数。

显示跟随单元30，其根据来自图像数据采集单元10的输入行场同步信号、来自图像校正单元20的初始偏移量，以及配置的场同步的帧率比，生成显示行场同步信号发送给显示驱动单元40。

本发明实施例中，场同步可以根据实际的需求配置为 1:1, 1:2, …, 1:N的帧率比，典型值为1:1和1:2。

本发明实施例中，显示跟随单元30，根据来自图像数据采集单元10的输入行场同步信号、图像校正单元20的初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出的行场同步的偏移量Offset’，同时根据图像采集单元10产生的输入行场同步信号，生成显示行场同步信号，分别发送给显示驱动单元40使用。

本发明实施例中，最终的输入到输出的行场同步的偏移量计算公式为：

Offset’= (N-1) * VTOTAL + Offset * N

其中，N为场同步信号帧率比，VTOTAL为一帧中总的行同步信号数目，Offset为图像校正单元的初始偏移量。

图4为根据本发明的输入行场同步信号和输出行场同步信号的时序图，如图4所示，为了达到将从摄像头图像输入到显示的延时减小到极致的目标，需要保证显示时每个输出像素点对应的输入像素点都已经写入到了系统内存。为了达到上述目的，本发明使用如下技术措施：

采用显示跟随的方式，将显示的时序与摄像头输入的时序进行锁定。图3中为摄像头输入与显示时序1：1的倍率进行锁定。图3中每个输入/出场同步信号的上升沿对应一帧新的图像的开始，每一个输入/出行同步信号的上升沿对应一行新的图像的开始。在锁定状态下输入与输出每一帧/行消耗的时间相等，行与行（比如输入的第一行与输出的第一行）之间的都相等，并且等于“初始偏移”。

根据本发明中提出的初始偏移量计算的方法则能够保证每一个输出的像素点在显示之前计算该像素点所需的输入图像已经被写入到了内存当中。相比较于传统的做法显示的延时得到了极大缩减。显示驱动单元40，其接收来自图像校正单元20的经过校正的图像数据，并根据显示跟随单元30输出的显示行场同步信号进行图像显示。在不同的系统中显示驱动单元可能包含有更多的图像处理功能，如色彩调整，锐化等，这些功能不在本发明涉及的范围内。

优选地，本发明实施例中，图像数据采集单元10将裁剪后的图像数据打包后可以通过系统总线存储到存储器单元50；图像校正单元20通过系统总线从存储器单元50中读取裁剪后的图像数据。

实施例2

图2为根据本发明的图像畸形校正方法流程图，下面将参考图2 ，对本发明的图像畸形校正方法进行详细描述。

首先，在步骤201，对图像进行裁剪。

本发明实施例中，图像校正单元20根据图像校正的需求计算出显示所需的有效输入图像区域信息，同时生成包括图像水平起始点（Xstart），水平终止（Xend），垂直起始点（Ystart）以及垂直终止点（Yend）的裁剪控制信息，并发送给图像数据采集单元10；

本发明实施例中，图像数据采集单元10接收来自摄像头的图像数据，并根据图像校正单元20输入的裁剪控制信息对图像进行裁剪；将裁剪后的图像打包后存储到存储器单元50；将生成的输入行场同步信号发送给显示跟随单元30；将生成的行计数信号发送给图像校正单元20。

在步骤202，读取裁剪后的图像数据并进行校正。

本发明实施例中，图像校正单元20从存储器单元50中读取裁剪后的图像数据并进行校正，将校正后的图像数据发送给显示驱动单元40。

本发明实施例中，图像校正单元20，采用插值算法，根据输入像素Pin(xi, yi)水平以及垂直位置的一组相邻像素点计算出校正后的像素值P’disp(xo, yo)；根据如下计算方法生成初始偏移量Offset：

Offset= ∆Ymax + Padding + FramelockError，

其中，Padding为像素插值计算垂直方向向上扩展的行数， FramelockError为显示跟随单元30输入与输出行同步信号最大的误差行数；∆Ymax为统计的最大输出像素与映射到的输入像素行坐标的差值 ∆Ymax = max[fvmap(i，j) - j], 其中j为输出像素的行坐标，i为输出像素的列坐标，fvmap(i，j)为输出像素到输入像素行坐标的变换函数。

本发明实施例中，图像校正单元20根据来自图像数据采集单元10的行计数信号启动或者暂停对裁剪后的图像数据进行校正，当需要读取的图像数据的行号超过了行计数则校正将被暂停，反之则启动校正。

本发明实施例中，图像校正单元20根据裁剪控制信息将内存图像读取的地址进行反向偏移。

在步骤203，将校正后的图像进行显示。

本发明实施例中，显示驱动单元40接收来自图像校正单元20的经过校正的图像数据，并根据显示跟随单元30输出的显示行场同步信号进行图像显示。

本发明实施例中，显示跟随单元30，根据来自图像数据采集单元10的输入行场同步信号、图像校正单元20的初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出行场同步的偏移量和显示行场同步信号发送给显示驱动单元40，最终的输入到输出行场同步的偏移量计算公式为：

Offset’= (N-1) * VTOTAL + Offset * N

其中，N为场同步信号帧率比，VTOTAL为一帧中总的行同步信号数目，Offset为图像校正单元的初始偏移量。

本发明实施例中，场同步可以根据实际的需求配置为 1:1, 1:2, …, 1:N的帧率比，典型值为1:1和1:2。

本发明的图像校正系统及方法，采用图像校正需求自适应的摄像头输入与显示输出行场同步结构、图像校正需求自适应的摄像头输入与显示输出行场同步的算法，以及图像校正需求自适应的内存管理方案，最大限度的减小了由于数字信号处理而引入的摄像头输入到显示的时延，增大了驾驶员的反应时间，提高了车辆行驶的安全性；减少了系统内存的使用，降低了整体系统的成本。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像畸形校正系统，其特征在于，包括，图像数据采集单元、图像校正单元、显示跟随单元、显示驱动单元，以及存储器单元，其中，

所述图像数据采集单元，其根据所述图像校正单元生成的裁剪控制信息，对图像进行裁剪并将裁剪后的图像数据保存到所述存储器单元；

所述图像校正单元，其从所述存储器单元中读取裁剪后的图像数据，对图像进行校正，并将校正后的图像数据发送给所述显示驱动单元进行显示；

所述显示跟随单元，根据所述图像数据采集单元输出的输入行场同步信号和所述图像校正单元输出的初始偏移量，生成显示行场同步信号发送给所述显示驱动单元。

2.根据权利要求1所述的图像畸形校正系统，其特征在于，所述图像校正单元，其根据图像校正的需求，计算出显示所需的有效输入图像区域信息，生成由图像水平起始点、水平终止、垂直起始点，以及垂直终止点组成的裁剪控制信息。

3.根据权利要求1所述的图像畸形校正系统，其特征在于，所述图像校正单元，其根据来自所述图像数据采集单元的行计数信号，启动或暂停对图像的校正；当需要读取的图像的行号大于行计数信号的计数值，则暂停校正，反之则启动校正。

4.根据权利要求1所述的图像畸形校正系统，其特征在于，所述图像校正单元，其根据输入像素水平以及垂直位置的一组相邻像素点计算出校正后的像素值；统计最大的输出像素与映射到的输入像素行坐标的差值；根据统计最大的输出像素与映射到的输入像素行坐标的差值、像素插值计算垂直方向向上扩展的行数和所述显示跟随单元输入与输出行同步信号最大的误差行数，生成初始偏移量发送给所述显示跟随单元。

5.根据权利要求4所述的图像畸形校正系统，其特征在于，所述图像校正单元，统计最大的输出像素与映射到的输入像素行坐标的差值，采用如下公式计算：

∆Ymax = max[fvmap(i，j) - j]，

其中，∆Ymax为最大的输出像素与映射到的输入像素行坐标的差值，j为输出像素的行坐标，i为输出像素的列坐标，fvmap(i，j)为输出像素到输入像素行坐标的变换函数。

6.根据权利要求5所述的图像畸形校正系统，其特征在于，所述图像校正单元，其采用如下计算公式生成初始偏移量：

Offset = ∆Ymax + Padding + FramelockError，

其中，Offset为初始偏移量，∆Ymax为最大的输出像素与映射到的输入像素行坐标的差值，Padding为像素插值计算垂直方向向上扩展的行数，FramelockError为所述显示跟随单元输入与输出行同步信号最大的误差行数。

7.根据权利要求1所述的图像畸形校正系统，其特征在于，所述图像校正单元，其根据所述裁剪控制信息将内存单元的图像读取地址进行偏移。

8. 根据权利要求1所述的图像畸形校正系统，其特征在于，所述显示跟随单元，根据所述图像数据采集单元输出的输入行场同步信号、所述图像校正单元输出的初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出行场同步的偏移量和显示行场同步信号，发送给所述显示驱动单元；最终的输入到输出行场同步的偏移量计算公式为：

Offset’= (N-1) * VTOTAL + Offset * N

其中，Offset’为最终的输入到输出行场同步的偏移量，N为场同步信号帧率比，VTOTAL为一帧中总的行同步信号数目，Offset为图像校正单元的初始偏移量。

9.一种图像畸形校正方法，采用权利要求1-8任一项所述的图像畸形校正系统，其特征在于，包括以下步骤，

根据裁剪控制信息，对输入的图像进行裁剪和保存；

生成行计数信号和输入行场同步信号；

生成初始偏移量，并根据所述行计数信号，对读取的图像进行校正；

根据所述输入行场同步信号和所述初始偏移量，生成显示行场同步信号，并显示校正后的图像。

10.根据权利要求9所述的图像畸形校正方法，其特征在于，所述裁剪控制信息，包括，有效输入图像区域的水平起始点、水平终止点、垂直起始点，以及垂直终止点；

所述初始偏移量，其根据统计最大的输出像素与映射到的输入像素行坐标的差值、像素插值计算垂直方向向上扩展的行数和所述显示跟随单元输入与输出行同步信号最大的误差行数生成；

所述显示行场同步信号，其根据输入行场同步信号、初始偏移量，以及配置的场同步的帧率比，生成最终的输入到输出行场同步的偏移量作为显示行场同步信号。

Images