CN102970495A

CN102970495A - 一种透镜畸变校正方法和装置

Info

Publication number: CN102970495A
Application number: CN2012104828303A
Authority: CN
Inventors: 李水平; 邓安刚; 许聪
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-11-23
Filing date: 2012-11-23
Publication date: 2013-03-13
Anticipated expiration: 2032-11-23
Also published as: WO2014079187A1; US20150256775A1; US10218925B2; CN102970495B

Abstract

一种透镜畸变校正方法和装置。在本发明一些可行的实施方式中，对从透镜上获取的图像数据进行水平方向的校正，将进行水平方向的校正后的图像数据写入动态存储器，对动态存储器中的图像数据进行垂直方向的校正，按照水平方向和垂直方向分两步进行透镜畸变校正，低成本地实现了透镜畸变校正。本发明还公开了相应的透镜畸变校正装置。

Description

一种透镜畸变校正方法和装置

技术领域

本发明涉及图像传感器捕捉图像时产生的透镜畸变(lens distortion)误差，更具体地涉及一种对数字图像的透镜畸变进行校正的方法和装置。

背景技术

透镜畸变是影响图像传感器产生数字图像的质量的最重要的因素之一，需要对畸变的图像进行校正。

现有的校正数字图像中透镜畸变的方法最常用的是采用以下两种方法将数字图像一次性校正到位：

一种方法是使用在线行缓冲区实现透镜畸变一次性校正。该方法在从透镜上获取图像数据的同时进行水平方向和垂直方向上的透镜畸变的校正。一次性校正需要大量的行缓冲区来存储畸变线条(distorted lines)的坐标数据，这种行缓冲区是小的暂存存储单元，用于存储图像数据的行或行的一部分。取决于透镜，在产生校正后的图像的新坐标之前，需要大量的行缓冲区来存储相邻行的数据。最大畸变程度为多少，就需要多少行缓冲区，例如，最大畸变程度为20%，对于分辨率为720＊1280的图像来说，则需要20%＊720/2=72个行缓冲区。行缓冲区往往就是片上系统存储器，如此多的行缓冲区会导致成本太高，这在产品实现中是难以接受的。

另一种方法是使用离线DDR(DDR SDRAM,双倍速率同步动态随机存储器，以下简称“DDR”)实现透镜畸变一次性校正。该方法将从透镜上获取图像数据存入片外的DDR后再同时进行水平方向和垂直方向的透镜畸变的校正。DDR接收一帧或两帧数据形成的数据块，通过将图像中的像素点的位置进行搬移来实现校正。校正后的图像的像素点的DDR写入地址是连续的，为了保证校正后的像素点的DDR写入地址连续，则校正前原图像的像素点的DDR读出地址不能满足连续性，导致对应像素点的DDR不能按读地址进行连续读，只能是非连续地址的跳读，而DDR读操作时需要一个刷新周期，不能连续读，导致DDR读出效率低，这在产品实现中是难以接受的。

虽然对应像素点的DDR读地址不连续，但可以按连续读出包括对应像素点在内的其它无用像素点数据来保证读地址连续，一次性读出的块大小等于“连续长度*连续个数”，连续长度是指一个刷新周期内的连续读，可读取的像素点之和，遇到一个畸变，则连续读停止，连续长度可以为水平方向的横向长度，连续个数是指系统允许的DDR一次性读出的块内重新启动连续读的次数，连续长度可以为垂直方向的竖向列长，这里的连续长度和连续个数均由径向畸变程度决定，但“连续长度*连续个数”又受限于产品实现性能，在径向畸变程度较大时，其决定的“连续长度*连续个数”会超出产品实现性能极限，从而不能保证读地址连续。

以上校正方法成本过高且效率低，因此，需要一种低成本且校正效率高的透镜畸变校正方法和装置。

发明内容

本发明实施例提供一种透镜畸变校正方法和装置，可以低成本地实现透镜畸变校正。

本发明第一方面提供一种透镜畸变校正方法，可包括以下步骤：

对从透镜上获取的图像数据进行水平方向的校正；

将进行所述水平方向的校正后的所述图像数据写入动态存储器；

对所述动态存储器中的图像数据进行垂直方向的校正。

在第一种可能的实施方式中，所述对从透镜上获取的图像数据进行水平方向的校正包括：

逐行扫描所述透镜上的图像，得到所述图像数据；

对所述图像数据逐行进行所述水平方向的校正。

在第二种可能的实施方式中，所述对从透镜上获取的图像数据进行水平方向的校正包括：

逐行扫描所述透镜上的图像，得到所述图像数据；

将至少一行所述图像数据写入行缓冲区；

对所述行缓冲区中的至少一行所述图像数据进行所述水平方向的校正。

结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述对所述动态存储器中的图像数据进行垂直方向的校正包括：

所述动态存储器进行至少一次连续读取垂直方向上的所述图像数据；

所述动态存储器对所述至少一次连续读取的图像数据进行校正。

结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在第四种可能的实施方式中，所述对所述动态存储器中的图像数据进行垂直方向的校正包括：

对所述动态存储器中的图像数据进行90°旋转；

对所述旋转后的图像数据进行垂直方向的校正。

结合第一方面的第四种可能的实施方式，在第五种可能的实施方式中，所述对所述旋转后的图像数据进行垂直方向的校正包括：

所述动态存储器进行至少一次连续读取所述进行水平方向的校正后的图像数据；

所述动态存储器对所述至少一次连续读取的所述图像数据进行校正。

结合第一方面的第五种可能的实施方式，在第六种可能的实施方式中，所述动态存储器一次连续读取的图像数据的长度最大为读取的DDR块数据中进行所述水平方向的校正后的图像数据的行长。

本发明第二方面提供一种透镜畸变校正装置，可包括：

第一校正单元，用于对从透镜上获取的图像数据进行水平方向的校正；

第一写入单元，用于将进行所述水平方向的校正后的所述图像数据写入动态存储器；

第二校正单元，用于对所述动态存储器中的图像数据进行垂直方向的校正。

在第一种可能的实施方式中，所述第一校正单元包括：

第一获取单元，用于逐行扫描所述透镜上的图像，得到所述图像数据；

第三校正单元，用于对所述图像数据逐行进行所述水平方向的校正。

在第二种可能的实施方式中，所述第一校正单元包括：

第二获取单元，用于逐行扫描所述透镜上的图像，得到所述图像数据；

第二写入单元，用于将至少一行所述图像数据写入行缓冲区；

第四校正单元，用于对所述行缓冲区中的至少一行所述图像数据进行所述水平方向的校正。

结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述第二校正单元包括：

第一读取单元，用于所述动态存储器进行至少一次连续读取垂直方向上的所述图像数据；

第五校正单元，用于所述动态存储器对所述至少一次连续读取的图像数据进行校正。

结合第二方面或第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式，在第四种可能的实施方式中，所述第二校正单元包括：

旋转单元，用于对所述动态存储器中的图像数据进行90°旋转；

第六校正单元，用于对所述旋转后的图像数据进行垂直方向的校正。

结合第二方面的第四种可能的实施方式，在第五种可能的实施方式中，所述第六校正单元包括：

第二读取单元，用于所述动态存储器进行至少一次连续读取所述进行水平方向的校正后的图像数据；

第七校正单元，用于所述动态存储器对所述至少一次连续读取的所述图像数据进行校正。

结合第二方面的第五种可能的实施方式，在第六种可能的实施方式中，所述动态存储器一次连续读取的图像数据的长度最大为读取的DDR块数据中进行所述水平方向的校正后的图像数据的行长。

由上可见，在本发明的一些可行的实施方式中，按照水平方向和垂直方向分两步进行透镜畸变校正，低成本地实现了透镜畸变校正。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A-B为原始的图像和畸变的图像的示意图；

图2为本发明透镜畸变校正方法的第一实施例的方法流程图；

图3为本发明透镜畸变校正方法的第一实施例中水平方向校正的一种实现方式的方法流程图；

图4为本发明透镜畸变校正方法的第一实施例中水平方向校正的又一种实现方式的方法流程图；

图5为本发明透镜畸变校正方法的第一实施例中垂直方向校正的一种实现方式的方法流程图；

图6为本发明透镜畸变校正方法的第二实施例的方法流程图；

图7为本发明透镜畸变校正方法的第二实施例中对旋转后的图像数据进行垂直方向校正的一种实现方式的方法流程图；

图8为本发明透镜畸变校正装置的第一实施例的结构示意图；

图9为本发明透镜畸变校正装置的第二实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

透镜畸变是当成像物体没有位于透镜的光轴位置上时所产生的光学像差。其结果是在数字图像坐标和物体的坐标之间产生偏差。在各种类型的透镜畸变中，沿径向线偏离数字图像之光学中心的径向畸变是最常见和最严重的类型之

发生径向畸变的数字图像向图像的中心弯曲或者向外弯曲，如图1A-B所示。在图1A中，畸变的图像105看上去呈现球形或桶形，图像往偏离中心的方向弯曲，因为图像的放大倍数随着与光学中心的距离的增大而降低。这种类型的径向畸变就是通常所说的“桶形”畸变。图1B所示的畸变图像115则具有相反的效果，图像往偏离中心的方向弯曲，因为图像的放大倍数随着与光学中心的距离的增加而增加。这种类型的畸变就是通常所说的“枕形”畸变，其形状就像中间被挤压着。另一种类型的径向畸变是胡子畸变(moustache distortion)，这是一个桶形畸变(在图像的中心)和枕形畸变(图像边沿)的混合。

上述三种径向畸变可以引起数字图像的重大错误，必须予以纠正。

图2为本发明透镜畸变校正方法的第一实施例的方法流程图。如图2所示，该透镜畸变校正方法包括以下步骤：

步骤S101，对从透镜上获取的图像数据进行水平方向的校正。

在本实施例中，从光学透镜上获取图像数据，对获取的图像数据进行水平方向的校正，作为一种实现方式，如图3所示，步骤S101可包括以下步骤：

步骤S201，逐行扫描透镜上的图像，得到图像数据。

步骤S202，对图像数据逐行进行水平方向的校正。

由于是每扫描一行则校正一行，所以无需行缓冲区。

作为另一种实现方式，如图4所示，步骤S101也可包括以下步骤：

步骤S301，逐行扫描透镜上的图像，得到图像数据。

步骤S302，将至少一行图像数据写入行缓冲区。

步骤S303，对行缓冲区中的至少一行图像数据进行水平方向的校正。

由于仅进行水平方向的校正，则所需的行缓冲区极少，仅为少数多行中的每一行的水平方向的畸变数据的和。

采用步骤S101的方法进行图像数据水平方向的校正，不需要或者仅需极少的行缓冲区，这样极大地降低了校正的成本。

步骤S102，将进行水平方向的校正后的图像数据写入动态存储器。

在本实施例中，步骤S102可以单独实现，也可以在步骤S101完成的同时实现，该动态存储器可以为DDR，步骤S102即将进行水平方向的校正后的图像数据写入DDR变成DDR块数据。

步骤S103，对动态存储器中的图像数据进行垂直方向的校正。

在本实施例中，对动态存储器中的图像数据进行垂直方向的校正，作为一种实施方式，如图5所示，步骤S103包括以下步骤：

步骤S401，动态存储器进行至少一次连续读取垂直方向上的图像数据；

步骤S402，动态存储器对至少一次连续读取的图像数据进行校正。

在该实施方式中，动态存储器如DDR仅需对其中存储的图像数据进行垂直方向的校正，DDR进行至少一次连续读取DDR块中垂直方向上的图像数据，然后对至少一次连续读取的图像数据进行校正。由于已经对图像数据进行水平方向的校正，则DDR块数据中水平方向的像素点是连续的，连续长度可按产品实现的最大性能去选择，而垂直方向校正的竖向列长由畸变程度决定，即畸变程度决定了连续的个数。同时，目前的图像传感器在形成图像数据时一般运行旋转算法，运行旋转算法则需占用DDR带宽，此时，关闭旋转算法可释放一些DDR带宽，最终降低了产品实现的成本。

根据本发明提供的透镜畸变校正方法的第一实施例，按照水平方向和垂直方向分两步进行透镜畸变校正，低成本地实现了透镜畸变校正。

图6为本发明透镜畸变校正方法的第二实施例的方法流程图。如图6所示，该透镜畸变校正方法包括以下步骤：

步骤S501，对从透镜上获取的图像数据进行水平方向的校正。

步骤S502，将进行水平方向的校正后的图像数据写入动态存储器。

步骤S501和步骤S502与前述第一实施例中的步骤S101和步骤S102分别相同，在此不再赘述。在本实施例中，动态存储器为DDR。

步骤S503，对动态存储器中的图像数据进行90°旋转。

在本实施例中，打开系统中的旋转算法，读出动态存储器中的图像数据进行90°旋转，并重新写入动态存储器中。

步骤S504，对旋转后的图像数据进行垂直方向的校正。

作为一种实施方式，如图7所示，步骤S504可包括以下步骤：

步骤S601，动态存储器进行至少一次连续读取进行水平方向的校正后的图像数据；

步骤S602，动态存储器对至少一次连续读取的图像数据进行校正。

在该实施方式中，完成90°旋转后，对旋转后的图像数据进行垂直方向的校正，此时，原竖向列数据变成了横向行数据，原横向行数据变成了竖向列数据，在旋转算法之后再进行图像数据垂直方向（这里的垂直方向指最前端原始图像的垂直方向）DDR校正时，等同于对旋转算法后的DDR块数据在横向行方向上按地址连续进行连续读写操作即可，动态存储器连续读取的图像数据的长度最大为读取的DDR块数据中进行所述水平方向的校正后的图像数据的行长，而连续的个数可以根据需要较为自由的选择。

根据本发明提供的透镜畸变校正方法的第二实施例，按照水平方向和垂直方向分两步走并与旋转算法相结合进行透镜畸变校正，水平方向上校正减少了行缓冲区的需求，垂直方向上校正整体上提高了动态存储器的读写效率，最终低成本地实现了透镜畸变校正，同时，可以独立地实现透镜畸变的水平校正功能和垂直校正功能，增加了用户的体验点。

图8为本发明透镜畸变校正装置的第一实施例的结构示意图。如图8所示，该透镜畸变校正装置包括：

第一校正单元1001，用于对从透镜上获取的图像数据进行水平方向的校正。

在本实施例中，作为一种实现方式，第一校正单元1001可以包括：

第一获取单元，用于逐行扫描所述透镜上的图像，得到图像数据。

第三校正单元，用于对图像数据逐行进行水平方向的校正。

由于是每扫描一行则校正一行，所以无需行缓冲区。

作为另一种实现方式，第一校正单元1001可以包括：

第二获取单元，用于逐行扫描所述透镜上的图像，得到图像数据。

第二写入单元，用于将至少一行图像数据写入行缓冲区。

第四校正单元，用于对行缓冲区中的至少一行图像数据进行水平方向的校正。

采用第一校正单元1001进行图像数据水平方向的校正，不需要或者仅需极少的行缓冲区，这样极大地降低了校正的成本。

第一写入单元1002，用于将进行水平方向的校正后的图像数据写入动态存储器。

在本实施例中，写入单元1002可以单独实现将进行水平方向的校正后的图像数据写入动态存储器中，也可以在对捕获的图像数据进行水平方向的校正的同时实现，该动态存储器可以为DDR。

第二校正单元1003，用于对动态存储器中的图像数据进行垂直方向的校正。

在本实施例中，作为一种实施方式，第二校正单元1003可以包括：

第一读取单元，用于动态存储器进行至少一次连续读取垂直方向上的图像数据。

第五校正单元，用于动态存储器对至少一次连续读取的图像数据进行校正。

根据本发明提供的透镜畸变校正装置的第一实施例，按照水平方向和垂直方向分两步进行透镜畸变校正，低成本地实现了透镜畸变校正。

图9为本发明透镜畸变校正装置的第二实施例的结构示意图。如图9所示，该透镜畸变校正装置包括：

第一校正单元2001，用于对从透镜上获取的图像数据进行水平方向的校正。

第一写入单元2002，用于将进行水平方向的校正后的图像数据写入动态存储器。

在本实施例中，第一校正单元2001和写入单元2002分别与前述第一实施例中的第一校正单元1001和写入单元1002相同，在此不再赘述。

旋转单元2003，用于对动态存储器中的图像数据进行90°旋转。

第六校正单元2004，用于对旋转后的图像数据进行垂直方向的校正。

作为一种实施方式，第六校正单元2004可以包括：

第二读取单元，用于动态存储器进行至少一次连续读取进行水平方向的校正后的图像数据。

第七校正单元，用于动态存储器对至少一次连续读取的图像数据进行校正。

根据本发明提供的透镜畸变校正装置的第二实施例，按照水平方向和垂直方向分两步走并与旋转算法相结合进行透镜畸变校正，水平方向上校正减少了行缓冲区的需求，垂直方向上校正整体上提高了动态存储器的读写效率，最终低成本地实现了透镜畸变校正，同时，可以独立地实现透镜畸变的水平校正功能和垂直校正功能，增加了用户的体验点。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备中，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元。可以根据实际的需要选择其中的部分或者全部，模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种透镜畸变校正方法，其特征在于，包括以下步骤：

对从透镜上获取的图像数据进行水平方向的校正；

对所述动态存储器中的图像数据进行垂直方向的校正。

2.根据权利要求1所述的方法，其特征在于，所述对从透镜上获取的图像数据进行水平方向的校正包括：

逐行扫描所述透镜上的图像，得到所述图像数据；

对所述图像数据逐行进行所述水平方向的校正。

3.根据权利要求1所述的方法，其特征在于，所述对从透镜上获取的图像数据进行水平方向的校正包括：

逐行扫描所述透镜上的图像，得到所述图像数据；

将至少一行所述图像数据写入行缓冲区；

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述对所述动态存储器中的图像数据进行垂直方向的校正包括：

5.根据权利要求1-3任意一项所述的方法，其特征在于，所述对所述动态存储器中的图像数据进行垂直方向的校正包括：

对所述动态存储器中的图像数据进行90°旋转；

对所述旋转后的图像数据进行垂直方向的校正。

6.根据权利要求5所述的方法，其特征在于，所述对所述旋转后的图像数据进行垂直方向的校正包括：

7.根据权利要求6所述的方法，其特征在于，所述动态存储器一次连续读取的图像数据的长度最大为读取的DDR数据块中进行所述水平方向的校正后的图像数据的行长。

8.一种透镜畸变校正装置，其特征在于，包括：

9.根据权利要求8所述的装置，其特征在于，所述第一校正单元包括：

10.根据权利要求8所述的装置，其特征在于，所述第一校正单元包括：

11.根据权利要求8-10任意一项所述的装置，其特征在于，所述第二校正单元包括：

12.根据权利要求8-10任意一项所述的装置，其特征在于，所述第二校正单元包括：

13.根据权利要求12所述的装置，其特征在于，所述第六校正单元包括：

14.根据权利要求13所述的装置，其特征在于，所述动态存储器一次连续读取的图像数据的长度最大为读取的DDR数据块中进行所述水平方向的校正后的图像数据的行长。