CN108257102A - 鱼眼校正系统和方法 - Google Patents

Abstract

本发明提供了一种鱼眼校正系统和方法，所述鱼眼校正系统对一鱼眼镜头摄取的图像数据进行校正，所述鱼眼校正系统包括存储装置、第一处理单元和第二处理单元，其中：在一个时间段内，将所在帧的图像数据写入所述存储装置；所述第二处理单元对前一帧的图像数据的复杂部分进行处理，得到前一帧的复杂校正结果；所述第一处理单元对前一帧之前的一帧的图像数据的简单部分进行处理，得到前一帧之前的一帧的简单校正结果，并将复杂校正结果和简单校正结果输出。

Description

鱼眼校正系统和方法

技术领域

本发明涉及半导体技术领域，特别涉及一种鱼眼校正系统和方法。

背景技术

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。它是一种极端的广角镜头，为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头与人们眼中的真实世界的景象存在很大的差别，因为我们在实际生活中看见的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。

为了使鱼眼镜头的图像与真实的场景更加贴近，需要对图像进行校正，实现鱼眼校正的功能是将图像数据存储在DDR图像数据存储单元内，通过查找表进行计算，表中鱼眼图像的数据对应着实际图像坐标，通过实际图像坐标对应的数据来校正鱼眼图像。现有的校正方法一般是直接从存储器中读取预先存储好的图像数据，按行处理，由于要求输出图像时序是每行处理的时间相同，导致帧率受限于处理时间最长的行。当倾斜和旋转角度增大时，某些行需要处理的时间会大幅增加，这就限制了帧率的提高。

发明内容

本发明的目的在于提供一种鱼眼校正系统和方法，以解决现有的鱼眼校正速度较慢的问题。

为解决上述技术问题，本发明提供一种鱼眼校正系统，所述鱼眼校正系统对一鱼眼镜头摄取的图像数据进行校正，所述鱼眼校正系统包括存储装置、第一处理单元和第二处理单元，其中：

在一个时间段内，将所在帧的图像数据写入所述存储装置；

所述第二处理单元对前一帧的图像数据的复杂部分进行处理，得到前一帧的复杂校正结果；

所述第一处理单元对前一帧之前的一帧的图像数据的简单部分进行处理，得到前一帧之前的一帧的简单校正结果，并将复杂校正结果和简单校正结果输出。

可选的，在所述的鱼眼校正系统中，所述鱼眼校正系统还包括输出单元，其中：

所述第二处理单元将所述复杂校正结果发给所述存储装置，所述输出单元从所述存储装置中读取所述复杂校正结果，所述第一处理单元直接将所述简单校正结果发给所述输出单元，所述输出单元输出所述复杂校正结果和所述简单校正结果。

可选的，在所述的鱼眼校正系统中，所述输出单元对所述第一处理单元和所述第二处理单元的处理时间进行控制。

可选的，在所述的鱼眼校正系统中，所述鱼眼校正系统还包括寄存器单元，其中：

所述寄存器单元设置所述第一处理单元和所述第二处理单元的图像大小和处理方式。

可选的，在所述的鱼眼校正系统中，所述复杂部分对应的所述鱼眼镜头的区域角度大于所述简单部分对应的所述鱼眼镜头的区域角度。

可选的，在所述的鱼眼校正系统中，所述鱼眼镜头的区域角度包括沿垂直方向的角度和/或沿水平方向的角度。

可选的，在所述的鱼眼校正系统中，所述复杂部分的图像数据占整个所述鱼眼镜头的图像数据的1/3。

可选的，在所述的鱼眼校正系统中，所述鱼眼镜头的图像数据的分布包括：

一个所述简单部分位于所述鱼眼镜头的一侧边缘，一个所述复杂部分位于所述鱼眼镜头的另一侧边缘；或

多个所述简单部分位于所述鱼眼镜头的多侧边缘，一个所述复杂部分位于多个所述简单部分之间。

本发明还提供一种鱼眼校正方法，所述鱼眼校正方法包括：

在第一时间段内，将第一帧图像数据写入所述存储装置；

在第二时间段内，将第二帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第一帧图像数据的复杂部分进行处理，得到第一帧图像数据的复杂校正结果；

在第N时间段内，将第N帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第N-1帧图像数据的复杂部分进行处理，得到第N-1帧图像数据复杂校正结果，以及，所述第一处理单元对所述第N-2帧图像数据的简单部分进行处理，得到第N-2帧图像数据的简单校正结果，并将所述第N-2帧图像数据的复杂校正结果和简单校正结果输出；

其中，N＝3、4、5….。

在本发明提供的鱼眼校正系统和方法中，通过在一个时间段内，第二处理单元和第一处理单元分别对前一帧的图像数据的复杂部分和前一帧之前的一帧的图像数据的简单部分进行处理，并将前一帧之前的一帧的复杂校正结果和前一帧之前的一帧的简单校正结果输出，节省了前一帧的复杂部分的处理时间，使复杂部分的处理时间不会占用太多资源；另外，同时处理完简单部分并进行结果的输出后的空余时间内处理复杂部分，可以使简单部分处理后的空余时间得到利用，提高了效率，并且每一帧的帧率得到提高。

附图说明

图1是本发明一实施例鱼眼校正系统示意图；

图2是本发明另一实施例鱼眼校正方法示意图；

图3是本发明另一实施例鱼眼校正系统和方法中复杂部分和简单部分分布示意图；

图4是本发明另一实施例鱼眼校正方法示意图；

图5是本发明另一实施例复杂部分和简单部分示意图；

图中所示：10-第一处理单元；20-第二处理单元；30-存储装置；40-输出单元；50-寄存器单元；60-写入单元；70-读取单元；101-存储装置的第一单元；102-存储装置的第二单元；103-存储装置的第三单元。

具体实施方式

以下结合附图和具体实施例对本发明提出的鱼眼校正系统和方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明的核心思想在于提供一种鱼眼校正系统和方法，以解决现有的鱼眼校正速度较慢的问题。

为实现上述思想，本发明提供了一种鱼眼校正系统和方法，所述鱼眼校正系统对一鱼眼镜头摄取的图像数据进行校正，所述鱼眼校正系统包括存储装置、第一处理单元和第二处理单元，其中：在一个时间段内，将所在帧的图像数据写入所述存储装置；所述第二处理单元对前一帧的图像数据的复杂部分进行处理，得到前一帧的复杂校正结果；所述第一处理单元对前一帧之前的一帧的图像数据的简单部分进行处理，得到前一帧之前的一帧的简单校正结果，并将复杂校正结果和简单校正结果输出。

<实施例一>

本实施例提供一种鱼眼校正系统，如图1所示，所述鱼眼校正系统对一鱼眼镜头摄取的图像数据进行校正，所述鱼眼校正系统包括存储装置30、第一处理单元10和第二处理单元20，其中：如图2所示，在一个时间段内，将所在帧的图像数据写入所述存储装置30；所述第二处理单元20对前一帧的图像数据的复杂部分进行处理，得到前一帧的复杂校正结果；所述第一处理单元10对前一帧之前的一帧的图像数据的简单部分进行处理，得到前一帧之前的一帧的简单校正结果，并将复杂校正结果和简单校正结果输出，在多个时间段内将该过程循环。

如图1所示，在所述的鱼眼校正系统中，所述鱼眼校正系统还包括输出单元40，其中：所述第二处理单元20将所述复杂校正结果通过写入单元60发给所述存储装置30，所述输出单元40通过读取单元70从所述存储装置30中读取所述复杂校正结果，所述第一处理单元10直接将所述简单校正结果发给所述输出单元40，所述输出单元40输出所述复杂校正结果和所述简单校正结果。所述输出单元40还对所述第一处理单元10和所述第二处理单元20的处理时间进行控制。所述鱼眼校正系统还包括寄存器单元50，其中：所述寄存器单元50设置所述第一处理单元10和所述第二处理单元20的图像大小和处理方式。

如图3所示，所述复杂部分(图3中黑色区域)对应的所述鱼眼镜头的区域角度大于所述简单部分(图3中白色区域)对应的所述鱼眼镜头的区域角度。所述鱼眼镜头的区域角度包括沿垂直方向的角度和/或沿水平方向的角度。所述复杂部分(图3中黑色区域)的图像数据占整个所述鱼眼镜头的图像数据的1/3。所述鱼眼镜头的图像数据的分布包括：一个所述简单部分位于所述鱼眼镜头的一侧边缘，一个所述复杂部分位于所述鱼眼镜头的另一侧边缘；或多个所述简单部分位于所述鱼眼镜头的多侧边缘，一个所述复杂部分位于多个所述简单部分之间，即所述复杂部分(图3中黑色区域)位于所述简单部分(图3中白色区域)的上部；或所述复杂部分(图3中黑色区域)位于所述简单部分(图3中白色区域)的下部；又或所述复杂部分(图3中黑色区域)位于所述简单部分(图3中白色区域)的左部；又或所述复杂部分(图3中黑色区域)位于所述简单部分(图3中白色区域)的右部；又或两个所述简单部分(图3中白色区域)分别位于所述复杂部分(图3中黑色区域)的上部和下部；又或两个所述简单部分(图3中白色区域)分别位于所述复杂部分(图3中黑色区域)的左部和右部。

如图4所示，在每一帧处理过程中，较密集的斜线区域代表第一处理单元10正在处理所在帧的简单部分并输出，较稀疏的斜线区域代表第二处理单元20正在处理下一帧的复杂部分并将复杂校正结果写入存储装置，空白处的区域代表正在从存储装置中读取处理好的复杂校正结果然后输出，及简单校正结果输出，在本发明提供的鱼眼校正系统和方法中，通过在一个时间段内，第二处理单元20和第一处理单元10分别对所在帧的图像数据的复杂部分和前一帧的图像数据的简单部分进行处理，并将前一帧的复杂校正结果和前一帧的简单校正结果输出，节省了所在帧的复杂部分的处理时间，使复杂部分的处理时间不会占用太多资源；另外，同时处理完简单部分并进行结果的输出后的空余时间内处理复杂部分，可以使简单部分处理后的空余时间得到利用，提高了效率，并且每一帧的帧率得到提高。

综上，上述实施例对鱼眼校正系统的不同构型进行了详细说明，当然，本发明包括但不局限于上述实施中所列举的构型，任何在上述实施例提供的构型基础上进行变换的内容，均属于本发明所保护的范围。本领域技术人员可以根据上述实施例的内容举一反三。

<实施例二>

本实施例还提供一种鱼眼校正方法，所述鱼眼校正方法包括：在第一时间段内，将第一帧图像数据写入所述存储装置；在第二时间段内，将第二帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第一帧图像数据的复杂部分进行处理，得到第一帧图像数据的复杂校正结果；在第N时间段内，将第N帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第N-1帧图像数据的复杂部分进行处理，得到第N-1帧图像数据复杂校正结果，以及，所述第一处理单元对所述第N-2帧图像数据的简单部分进行处理，得到第N-2帧图像数据的简单校正结果，并将所述第N-2帧图像数据的复杂校正结果和简单校正结果输出；其中，N＝3、4、5….。

举例说明，如图2所示，在所述的鱼眼校正方法的开始阶段，在第一时间段T0内，将第一帧图像数据写入所述存储装置的第一单元101；在第二时间段T1内，将第二帧图像数据写入所述存储装置的第二单元102，以及所述第二处理单元对所述第一帧图像数据的复杂部分进行处理，得到第一复杂校正结果；在第三时间段T2内，将第三帧图像数据写入所述存储装置的第三单元103，以及所述第二处理单元对所述第二帧图像数据的复杂部分进行处理，得到第二复杂校正结果，以及所述第一处理单元对所述第一帧图像数据的简单部分进行处理，得到第一简单校正结果，所述第一复杂校正结果和所述第一简单校正结果输出；在第四时间段T3内，将第四帧图像数据写入所述存储装置的第一单元101，以及所述第二处理单元对所述第三帧图像数据的复杂部分进行处理，得到第三复杂校正结果，以及所述第一处理单元对所述第二帧图像数据的简单部分进行处理，得到第二简单校正结果，所述第二复杂校正结果和所述第二简单校正结果输出。

如图2所示，本发明将存储装置DDR分为存储装置的第一单元101，存储装置的第二单元102，存储装置的第三单元103三个区域，通过乒乓操作对这三个区域进行三轮循环处理。(1)将一帧图像写入DDR；(2)第二处理单元对复杂部分进行处理，并写入DDR；(3)第一处理单元对简单部分进行处理直接输出以及读取DDR中处理好的复杂部分进行输出。

对于过程(2)对复杂部分进行处理，并写入DDR的过程是将图像的下面1/3部分做为复杂部分，用第二处理单元进行处理，并将处理好的数据写入DDR内。第二处理单元只在第一处理单元空闲状态和每行直接读取DDR后的空闲状态工作。此过程能将每行的空余时间利用起来，并在输出时直接读取DDR内存储好的内容，节省时间，提高效率。

对于过程(3)对简单部分进行处理，直接输出，以及读取DDR中处理好的复杂部分，进行输出的过程是第一处理单元实时处理当前要输出帧的上面2/3部分，每处理完一行直接输出。在一帧图像中，只对前面720行进行处理，并且每行所用时间都有剩余。在第720行输出完后读取过程(2)存在DDR中的数据，直接输出。

本发明通过利用简单部分处理的剩余时间，可以有效的提高鱼眼校正的速度；通过将查找表进行有效的六种划分，能够使各种常用查找表都满足要求，有非常高的通用性；通过将第一处理单元进行简单的复制，使电路实现起来非常简单。所述鱼眼校正系统可集成与鱼眼校正芯片中，用于车载系统，对鱼眼镜头进行校正，达到扩大视角的功能，通过此发明创造可以使1080P图像达到60fps。

另外，为了使系统处理速度最优化可根据倾斜，旋转方向不同，将图像复杂部分处理速度慢的行出现的位置进行区分，使查找表分为以下六种不同类型，如图3所示，其中复杂部分与简单部分的分配比例，提前根据查找表进行相应计算处理得出，配置到相应的寄存器控制电路。

本发明可显著提高图像的处理速度，并在高帧率下支持大角度倾斜(沿垂直方向)和旋转(沿水平方向)。在大角度倾斜或旋转时，图像某些行的校正时间大大增加，由于时序限制，简单行处理结束后要等待很长时间，这些时间系统处于空闲。其他芯片的逐行处理的做法，由于第1079行的处理时间是20000ns，导致整个帧率是1s/(20000ns*1080)＝46fps。本发明优化利用这些时间提前处理下一帧的某些复杂行，从而提高系统利用率，提高校正速度。图4以1080P图像为例，对比其他芯片的处理方法，利用每行的剩余时间处理下一帧720行到1079行的内容，使帧率加快到1s/(16666ns*1080)＝60fps，速度提高了20％。鱼眼镜头在大角度倾斜，大角度旋转时，显著提高图像的校正处理速度。对于最大倾斜75度视角，旋转最大75度的镜头，分辨率为1080P的YUV格式图像进行校正，图像处理速度达到60FPS。

简单部分如图5的下半部分，对应原图的坐标点密集，从存储装置中读取的次数少，并且读到的数据可重复利用率高，处理速度快。复杂部分如图5的上半部分，对应的原图坐标点分散，从存储装置中读取的次数多，并且读到的数据可重复利用率低，处理速度慢。根据存储装置读取速度以及要求的图像处理帧率，简单部分与复杂部分的比例提前通过查找表计算得出，优选的两者比例为2:1。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (9)

1.一种鱼眼校正系统，所述鱼眼校正系统对一鱼眼镜头摄取的图像数据进行校正，其特征在于，所述鱼眼校正系统包括存储装置、第一处理单元和第二处理单元，其中：

在一个时间段内，将所在帧的图像数据写入所述存储装置；

所述第二处理单元对前一帧的图像数据的复杂部分进行处理，得到前一帧的复杂校正结果；

所述第一处理单元对前一帧之前的一帧的图像数据的简单部分进行处理，得到前一帧之前的一帧的简单校正结果，并将复杂校正结果和简单校正结果输出。

2.如权利要求1所述的鱼眼校正系统，其特征在于，所述鱼眼校正系统还包括输出单元，其中：

所述第二处理单元将所述复杂校正结果发给所述存储装置，所述输出单元从所述存储装置中读取所述复杂校正结果，所述第一处理单元直接将所述简单校正结果发给所述输出单元，所述输出单元输出所述复杂校正结果和所述简单校正结果。

3.如权利要求2所述的鱼眼校正系统，其特征在于，所述输出单元对所述第一处理单元和所述第二处理单元的处理时间进行控制。

4.如权利要求1所述的鱼眼校正系统，其特征在于，所述鱼眼校正系统还包括寄存器单元，其中：

所述寄存器单元设置所述第一处理单元和所述第二处理单元的图像大小和处理方式。

5.如权利要求1所述的鱼眼校正系统，其特征在于，所述复杂部分对应的所述鱼眼镜头的区域角度大于所述简单部分对应的所述鱼眼镜头的区域角度。

6.如权利要求5所述的鱼眼校正系统，其特征在于，所述鱼眼镜头的区域角度包括沿垂直方向的角度和/或沿水平方向的角度。

7.如权利要求5所述的鱼眼校正系统，其特征在于，所述复杂部分的图像数据占整个所述鱼眼镜头的图像数据的1/3。

8.如权利要求5所述的鱼眼校正系统，其特征在于，所述鱼眼镜头的图像数据的分布包括：

一个所述简单部分位于所述鱼眼镜头的一侧边缘，一个所述复杂部分位于所述鱼眼镜头的另一侧边缘；或

多个所述简单部分位于所述鱼眼镜头的多侧边缘，一个所述复杂部分位于多个所述简单部分之间。

9.一种鱼眼校正方法，其特征在于，所述鱼眼校正方法包括：

在第一时间段内，将第一帧图像数据写入所述存储装置；

在第二时间段内，将第二帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第一帧图像数据的复杂部分进行处理，得到第一帧图像数据的复杂校正结果；

在第N时间段内，将第N帧图像数据写入所述存储装置，以及，所述第二处理单元对所述第N-1帧图像数据的复杂部分进行处理，得到第N-1帧图像数据复杂校正结果，以及，所述第一处理单元对所述第N-2帧图像数据的简单部分进行处理，得到第N-2帧图像数据的简单校正结果，并将所述第N-2帧图像数据的复杂校正结果和简单校正结果输出；

其中，N＝3、4、5….。