CN103428449B - 数字图像数据畸变的修正装置及方法 - Google Patents

Abstract

本发明公开了一种畸变图像的畸变数字数据的畸变的修正装置及方法，用以产生修正图像的修正数字数据，其将畸变数字数据区分成多个畸变数据区块，分别针对各畸变数据区块进行加密，以分别得到加密畸变数据区块，定义修正图像的多个修正区域，各修正区域分别关联于对应的修正数据区块，针对各修正数据区块，识别多个相关的加密畸变数据区块、解密多个相关的加密畸变数据区块以对应得到多个相关的解密畸变数据区块、并利用相关的解密畸变数据区块产生修正数据区块的修正图像数据。

Description

数字图像数据畸变的修正装置及方法

技术领域

本发明是关于一种数字图像的数据的畸变的修正，特别是关于一种数字图像数据的畸变的修正装置及方法。

背景技术

一般而言，数字成像系统包括一个以上的透镜及数字图像传感器，其中，数字图像传感器捕捉来自一物体的光线或通过透镜成像的画面的光线，并处理所捕捉的光线以转换成电子信号，此电子信号可以表示来自物体或画面的光线的数字信号，而且此数字信号可以储存成半导体存储器中的数字图像数据。上述的数字成像系统通常可应用于不同使用者、工业用途及研究用途，以产生静止图像及/或影片，其例如可以显示于行动电话、数码相机及数码摄像机、网络摄影机、或其它类似装置。

新式的图像传感器通常为互补金氧半（CMOS）图像传感器、或电荷耦合组件（CCD）图像传感器，一般而言，图像传感器以二维阵列的方式排列成数行及数列的像素，目前新式的数字图像传感器通常可包括数百万个像素，以便提供高分辨率的图像。

由图像传感器装置所产生的数字图像（包括静止及动态图像）的质量取决于不同因素，例如，透镜畸变可以大幅地影响数字图像的质量，其中，透镜畸变会使得画面或物体上的直线，在成像时显示成图像中的曲线，最常见的畸变型态为由透镜的对称性所导致的径向对称。径向畸变主要分为两种类型，如桶形畸变及枕形畸变；在桶形畸变中，图像倍率会随着与光学轴的距离增加而减少，结果会导致所显示的图像形成球形或桶形；在枕形畸变中，图像倍率会随着与光学轴的距离增加而增加，其视觉效果使得未通过图像中心的线条会向内弯曲，并朝向图像中心，形成类似针垫的形状。另外，复合式畸变为桶形畸变及枕形畸变的组合，其于接近图像中心处形成桶形畸变，而随着距离图像边界越近，逐渐变成枕形畸变。

在现有的数字成像系统中，由透镜畸变所产生的错误可以利用图像信号处理器（ISP）进行信号处理来加以修正，其中图像信号处理器通常形成于一半导体芯片上，并可接收来自图像传感器（其通常亦形成于一半导体芯片上）的数字图像数据；为进行畸变数字图像数据的修正，通常需要一个大容量的缓冲存储器，用以储存畸变图像数据的数百个线条；由于所需的存储器容量极大，通常需要数百万位，所以其无法设置于图像信号处理器芯片中，因此，需要额外设置一个存储器芯片，如动态随机存取存储器（DRAM）装置；此额外设置的装置会影响整体系统的尺寸大小及制造成本，而且，还会导致存储器存取速度变慢以及存储器存取频宽的问题。

发明内容

在一实施方式中，本发明公开了一种修正方法，用以修正畸变图像的畸变数字数据的畸变，以产生修正图像的修正数字数据，该修正方法包括下列步骤：将畸变数字数据区分成多个畸变数据区块；分别针对每一畸变数据区块进行加密，以分别得到一加密畸变数据区块；定义修正图像的多个修正区域，其中每一修正区域分别关联于对应的一修正数据区块；以及针对各修正数据区块，识别多个相关的加密畸变数据区块、解密多个相关的加密畸变数据区块以对应得到多个相关的解密畸变数据区块、利用相关的解密畸变数据区块产生修正数据区块的正图像数据。

在另一实施方式中，本发明公开了一种修正装置，用以修正畸变图像的畸变数字数据的畸变，以产生修正图像的修正数字数据，该修正装置包括一编码器、一处理器以及一译码器，其中，编码器用以针对区分畸变数字数据而得的多个畸变数据区块的每一区块分别进行加密，以分别得到一加密畸变数据区块，处理器用以定义修正图像的多个修正区域，以使得每一修正区域分别关联于对应的一修正数据区块，另外，针对各修正数据区块，处理器识别多个相关的加密畸变数据区块，译码器用以解密多个相关的加密畸变数据区块以对应得到多个相关的解密畸变数据区块；此外，处理器利用相关的解密畸变数据区块产生修正数据区块的修正图像数据。

在又一实施方式中，本发明公开了一种装置，其包括一图像传感器以及一图像信号处理器，图像信号处理器包括一第一编码器、一输入比特流存储器、一译码器、一区域存储器、一处理器、一第二编码器以及一输出比特流存储器。其中，第一编码器用以将从图像传感器取得的实时畸变图像进行加密及编入索引，以得到畸变图像的加密且编入索引的可定位区块，输入比特流存储器用以储存畸变图像的加密且编入索引的可定位区块，译码器用以解密畸变图像的加密且编入索引的可定位区块，其分别相关于修正图像的一区块，区域存储器用以储存畸变图像的解密区块，处理器用以利用畸变图像的解密区块修正修正图像的区块，第二编码器用以加密修正图像的修正区块，输出比特流存储器用以储存修正图像的加密修正区块。

在再一实施方式中，本发明公开了一种图像信号处理器，其包括一第一编码器、一输入比特流存储器、一译码器、一区域存储器、一处理器、一第二编码器以及一输出比特流存储器。其中，第一编码器用以将实时畸变图像进行加密及编入索引，以得到畸变图像的加密且编入索引的可定位区块，输入比特流存储器用以储存畸变图像的加密且编入索引的可定位区块，译码器用以解密畸变图像的加密且编入索引的可定位区块，其分别相关于修正图像的一区块，区域存储器用以储存畸变图像的解密区块，处理器用以利用畸变图像的解密区块修正修正图像的区块，第二编码器用以加密修正图像的修正区块，输出比特流存储器用以储存修正图像的加密修正区块。

附图说明

图1为具有桶形畸变（由透镜畸变所造成）的畸变图像及一修正此畸变的修正图像的示意图。

图2为现有修正畸变图像的一功能方块图。

图3为现有用以实现畸变图像修正的系统的一方块图。

图4为具有桶形畸变（由透镜畸变所造成）的畸变图像及依据本发明示例性实施例修正此畸变的修正图像的示意图。

图5为依据本发明示例性实施例的修正图像畸变（如图4所示）的系统的一功能方块图。

图6为依据本发明示例性实施例的修正透镜畸变的程序步骤的一逻辑流程图。

具体实施方式

图1为具有桶形畸变（由透镜畸变所造成）的畸变图像102及一修正此畸变的修正图像104的示意图。如图1所示，畸变图像102具有数条畸变线条106，其分别朝向远离畸变图像102的光学中心108弯曲，如前所述，此畸变图像102状似一桶形或球形，因此，又可称为桶形畸变。在此，虽然仅举桶形畸变为例进行说明，但本实施例亦可以适用于其它类型的畸变，如枕形畸变，及桶形畸变与枕形畸变的组合（如复合式畸变），其中，枕形畸变指线条向内弯曲并朝向图像中心。一般而言，桶形畸变通常搭配广角透镜，而枕形畸变通常搭配变焦透镜或望远透镜。

图2为现有修正畸变图像以产生修正图像的一功能方块图，例如将如图1所示的畸变图像102修正产生如图1所示的修正图像104。请参照图2所示，在系统200中，由一实时输入202提供畸变图像数据，其通过数字图像传感器处理后产生；然后，处理器方块204接收并修正畸变图像数据，以产生修正图像数据，并提供此修正图像数据至实时输出206，接着，可以进行修正图像数据的后续处理，如进行显示。

假设畸变图像的一像素的坐标为（x,y），接着，处理器方块204将多个像素（x,y）转换成修正图像的坐标（x',y'），于此，可以依据透镜校正中决定的畸变模式进行上述坐标转换，畸变模式通常为数学函式f，例如为(x',y')=f(x,y,c)，其中，c表示透镜校正中决定的畸变参数，而数学函式f可以通过利用任何已知畸变预估方法求得的任何已知曲线拟合程序而产生。

一般而言，将多个像素（x,y）转换成（x',y'）并非一对一绘制程序，依据畸变模式(x,y)=f(x,y,c)，此转换程序可以采用畸变图像数据中任意数量的像素进行；实际上，此转换程序可以采用畸变图像数据中所有像素、或是数条线条的像素进行，以产生修正图像数据（x',y'）。一般而言，此转换程序需要畸变图像数据中至少数条线条的像素以产生修正图像数据，而实际上需要的畸变图像数据的线条的数量通常可依据畸变图像数据的畸变程度而定，举例而言，通常会需要数百条线条的数据，其相当于数百万位的数据，这些大量的数据需要被暂存或缓冲于处理器方块204；在部分实施方式中，由于所需的储存量太高，所以需要设置额外的存储器芯片，如DRAM芯片。

图3为现有用以实现畸变图像修正的系统300的一方块图，如图3所示，一图像传感器芯片302提供一实时畸变图像数据输入304至一图像信号处理器（ISP）芯片306，另外设置一DRAM芯片308连接ISP芯片306，其中，DRAM芯片308可缓冲或暂存畸变图像数据输入304的数百个线条，以便进行转换成修正图像数据；此缓冲的数据可以被ISP芯片306处理，其依据畸变模式(x',y')=f(x,y,c)，将畸变图像数据转换成修正图像数据。简言之，ISP芯片306可进行转换动作，以提供实时修正图像数据输出310。

图4为具有桶形畸变（由透镜畸变所造成）的畸变图像402及依据本发明示例性实施例修正此畸变的修正图像404的示意图，其中，图4所示的桶形畸变相似于图1所示，如前所述，虽然本实施例仅举桶形畸变为例进行说明，但本实施例亦可以适用于其它类型的畸变，如枕形畸变、复合式畸变等。

如图4所示，畸变图像402可以被区分为多个区块，其分别对应至修正图像404的相关区块，例如，畸变图像402可区分为区块A0、A1、…、A7、B0、B1、…、B7等，而修正图像404可区分为区块a0、a1、…、a7、b0、b1、…、b7等。需注意者，图4所示的区分方式为8X8的区块，其仅为示例性，当然，本实施例可以将图像区分成任意数量的区块。

如图4所示，畸变图像402可包括多个区域，在本实施例中，畸变图像402包括8X8或64个区域，其对应于修正图像404的相关区块，例如，畸变图像402的区域406对应于修正图像404的区块a0，畸变图像402的区域408对应于修正图像404的区块a1，亦即，在本示例性实施例中，畸变区域406对应于修正区块a0，畸变区域408对应于修正区块a1。在本示例性实施例中，在针对畸变图像402的畸变区域分别进行所有区块a0、a1、…、a7、b0、b1、…、b7（逐一区块进行）的修正后，即可得到整个修正图像404。

如上所述，修正图像404的各修正区块依据畸变图像402的相关畸变区域而求得，如前所述，在本示例性实施例中，各畸变区域分别相关于畸变图像402的一个以上的区块，例如，修正区块a0相关于畸变区域406。另外，畸变区域406相关于区块A0、A1、B0及B1；为产生修正图像404的修正区块a0，在本示例性实施例中，可以依据修正转换模型(x',y')=f(x,y,c)对畸变图像402的畸变区域406进行转换，由于畸变图像402中仅有区块A0、A1、B0及B1是相关于修正图像404的修正区块a0，所以仅有来自畸变图像402的上述区块的数据会被用来产生修正图像404的修正区块a0；在本示例性实施例中，由于仅需要利用少量的相关数据来进行各别区块的修正，所以仅需要储存此少量数据的存储器即已足够，因此，不需要额外设置存储装置，如额外的DRAM装置。

图5为依据本发明示例性实施例的修正图像畸变（如图4所示）的系统500的一功能方块图。如图5所示，一图像传感器芯片502提供实时畸变图像输入数据504，编码器508可利用已知的数据压缩技术来压缩或加密实时畸变图像输入数据504，例如可利用有损数据压缩法或无损数据压缩法进行，于此，编码器508可进行实时畸变图像输入数据504的逐一区块的数据压缩，亦即，可先对区块A0的畸变数据进行加密，再对区块A1的畸变数据进行加密，接着对区块A2的畸变数据进行加密，然后依此继续进行加密动作，直到畸变图像402的所有区块的数据皆已加密为止。需注意者，在本实施例中，数据加密及数据压缩具有相同意义，且其可以互换使用。所有通过加密/压缩的区块依其位置索引来编入索引，并且储存于一输入比特流存储器510，详言之，输入比特流存储器510可储存独立具有可定位索引的压缩区块A0、A1、…、A7、B0、B1、…、B7等，由于编入索引的区块具有位置索引，所以储存于输入比特流存储器510的各区块可以被独立进行定位。由于所有的区块皆利用有损或无损压缩技术进行压缩，输入比特流存储器510的数据储存容量可以相对较小，例如，仅需要数十万位即可，因此，输入比特流存储器510可以设置于图像信号处理器（ISP）芯片506中，而且不需要另外设置其它储存组件。

举例而言，在进行修正区块a0时，一译码器512从输入比特流存储器510接收压缩区块A0、A1、B0及B1，并解密所接收的区块，此时，仅有区块A0、A1、B0及B1的解密/解压缩数据被暂存于区域存储器514；需注意者，在本实施例中，数据解密及数据解压缩具有相同意义，且其可以互换使用。由于仅对少量的区块进行解密及储存等动作，所以区域存储器514的容量可以相对较小，例如只需要数千个位的容量即可，因此，区域存储器514可以被设置于ISP芯片506中，且不需要额外设置其它储存组件。一处理器516接收解压缩的数据区块A0、A1、B0及B1，并将其转换成修正图像404的解压缩修正区块a0，然后，编码器518可利用无损或有损数据压缩技术对解压缩修正区块a0进行压缩，而修正区块a0的压缩数据储存于输出比特流存储器520，于此，输出比特流存储器520可具有相对较小的容量，例如数十万位等级，因此，可以设置于ISP芯片506中，而不需额外设置其它储存组件。最后，由输出比特流存储器520提供一压缩修正输出522，并从ISP芯片506输出。

因此，在本示例性实施例中，编码器508、输入比特流存储器510、译码器512、区域存储器514、处理器516、编码器518及输出比特流存储器520皆可全部设置于ISP芯片506中，而且不需要额外设置其它存储装置或储存组件，因此，可以大幅减少尺寸及制造成本。

此外，在进行修正一系列的区块期间，如区块a1、a2等等，本实施例还可以大幅降低处理效能及储存空间的需求，举例而言，当产生修正区块a1时，需要区块A1、A2、B1及B2的解密/解压缩数据，然而，由于先前产生修正区块a0时，畸变区块A1及B1仍然暂存于区域存储器514中，因此，仅需要对畸变区块A2及B2进行定位及解密，并将其储存于区域存储器514；然后，处理器516将区块A1、A2、B1及B2的解压缩数据转换成修正图像404的解压缩修正区块a1，接着由编码器518对解压缩修正区块a1进行压缩，再将压缩的修正区块a1储存于存有修正区块a0的输出比特流存储器520。接着，利用相同方式对剩余的区块进行修正动作，直到修正图像404的所有区块皆已完成修正动作为止，在将其储存于输出比特流存储器520。

图6为依据本发明示例性实施例的修正透镜畸变的程序600的步骤的一逻辑流程图。请参照图4至图6所示，步骤602接收实时畸变图像输入504；接着，在步骤604中，畸变图像数据被区分成多个区块，举例而言，畸变图像402可区分成区块A0、A1、…、A7、B0、B1、…、B7；的后，在步骤606中，分别针对畸变图像数据的各区块（如区块A0、A1、…、A7、B0、B1、…、B7）进行加密，并将其位置索引编入索引，以分别得到一加密畸变数据区块；然后，在步骤608中，将畸变图像数据的加密及加入索引的区块依据其位置索引储存于输入比特流存储器510；接着，在步骤610中，将修正图像404区分为多个区块，如区块a0、a1、…、a7、b0、b1、…、b7；接着，执行步骤614至步骤624，

以便对修正图像404的区块进行修正；详言之，在步骤614中，对畸变图像402中与修正图像404的区块相关的待修正区块进行识别并定位于输入比特流存储器510中；然后，在步骤616中，由译码器512对畸变图像402的已定位相关区块进行解密动作；接着，在步骤618中，处理器516依据畸变图像402的已解密相关区块对修正图像404的区块进行修正；接着，在步骤620中，由编码器518对修正图像404的区块的已修正区块进行编码动作；接着，在步骤622中，将修正图像404的已加密修正区块储存于输出比特流存储器520；然后，在步骤624中，从输出比特流存储器520输出已加密修正区块；接着，步骤626判断是否修正图像404的所有区块皆已产生，若否，则回到步骤612至步骤624，以便依据上述方式产生修正图像404的其它区块；另外，若步骤626判断修正图像404的所有区块皆已产生，则结束此程序。需注意者，虽然图6未显示，但步骤624与步骤626的顺序可以调换。

特征的组合

上述的特征与以下所主张的那些特征可能在不背离于此范畴下以各种方式作结合。下述例子说明某些可能的组合：

在本发明的任意实施例中，所揭露的装置还包括一第二编码器及一输出比特流存储器，其中，第二编码器用以针对各修正数据区块，加密修正数据区块的修正图像数据，以产生修正数据区块的加密修正图像数据，输出比特流存储器用以储存修正数据区块的加密修正图像数据。

在本发明的任意实施例中，所揭露的装置还包括一输入比特流存储器，用以储存编入索引的加密畸变数据区块。

在本发明的任意实施例中，两个修正数据区块可关联于至少一个共同相关加密畸变数据区块。

在本发明的任意实施例中，图像传感器形成于一图像传感器芯片。

在本发明的任意实施例中，图像信号处理器形成于一图像信号处理器芯片。

以上所述仅是举例性，而非限制性。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包括在权利要求所限定的范围内。

Claims (12)

1.一种修正畸变图像中畸变数字数据之畸变的方法，以产生修正图像的修正数字数据，该方法包括：

将所述畸变数字数据区分成多个畸变数据区块；

分别针对每一所述畸变数据区块进行加密，以分别得到加密的畸变数据区块；

定义所述修正图像的多个修正区域，其中每一所述修正区域分别关联于相应的修正数据区块；以及

针对每一所述修正数据区块，识别多个相关的加密畸变数据区块、解密所述多个相关的加密畸变数据区块以对应得到多个相关的解密畸变数据区块、利用所述相关的解密畸变数据区块产生所述修正数据区块的修正图像数据；

其中，所述多个修正区域中的每一个均不超过所述图像的全宽和全高；并且其中，所述方法进一步包括：

针对每一所述修正数据区块，加密所述修正数据区块的所述修正图像数据，以产生所述修正数据区块的加密修正图像数据；以及

储存所述修正数据区块的所述加密修正图像数据于一输出比特流存储器中。

2.如权利要求1所述的方法，其进一步包括：

从所述输出比特流存储器输出所述修正数据区块的所述加密修正图像数据。

3.如权利要求1所述的方法，进一步包括：

将所述加密畸变数据区块分别编入索引；以及

将编入索引的所述加密畸变数据区块储存于一输入比特流存储器中。

4.如权利要求1所述的方法，其中，两个修正数据区块能关联于至少一个共同的相关的加密畸变数据区块。

5.一种修正畸变图像中畸变数字数据之畸变的装置，以产生修正图像的修正数字数据，该装置包括：

一编码器，用以针对区分所述畸变数字数据而得的多个畸变数据区块中每一区块分别进行加密、以分别得到加密畸变数据区块；

一处理器，用以定义所述修正图像的多个修正区域，以使得每一所述修正区域分别关联于相应的修正数据区块，另外，针对每一所述修正数据区块，所述处理器识别多个相关的加密畸变数据区块；以及

一译码器，用以解密所述多个相关的加密畸变数据区块以对应得到多个相关的解密畸变数据区块；

其中，所述处理器利用所述相关的解密畸变数据区块产生所述修正数据区块的修正图像数据；

其中，所述多个修正区域中的每一个均不超过所述图像的全宽和全高；并且其中，所述装置进一步包括：

一第二编码器，用以针对每一所述修正数据区块，加密所述修正数据区块的所述修正图像数据，以产生所述修正数据区块的加密修正图像数据；以及

一输出比特流存储器，用以储存所述修正数据区块的所述加密修正图像数据。

6.如权利要求5所述的装置，进一步包括：

一输入比特流存储器，用以储存所述加密畸变数据区块。

7.如权利要求5所述的装置，其中，两个修正数据区块能关联于至少一个共同相关加密畸变数据区块。

8.一种图像处理装置，其包括：

一图像传感器；以及

一图像信号处理器，其又包括：

一第一编码器，用以将从所述图像传感器取得的实时畸变图像进行加密及编入索引，以得到所述畸变图像的加密且编入索引的可定位区块；其中，每一区块均不超过所述实时畸变图像的全高和全宽；

一输入比特流存储器，用以储存所述畸变图像的所述加密且编入索引的可定位区块；

一译码器，用以解密所述畸变图像的所述加密且编入索引的可定位区块，其分别相关于修正图像的一区块；

一区域存储器，用以储存所述畸变图像的所述解密区块；

一处理器，用以利用所述畸变图像的所述解密区块修正所述修正图像的所述区块；

一第二编码器，用以加密所述修正图像的所述修正区块；以及

一输出比特流存储器，用以储存所述修正图像的所述加密修正区块。

9.如权利要求8所述的装置，其中，所述图像传感器形成于一图像传感器芯片。

10.如权利要求8所述的装置，其中，所述图像信号处理器形成于一图像信号处理器芯片。

11.一种图像信号处理器，其包括：

一第一编码器，用以将实时畸变图像进行加密及编入索引，以得到所述畸变图像的加密且编入索引的可定位区块；其中，每一区块均不超过所述实时畸变图像的全高和全宽；

一输入比特流存储器，用以储存所述畸变图像的所述加密且编入索引的可定位区块；

一译码器，用以解密所述畸变图像的所述加密且编入索引的可定位区块，其分别相关于修正图像的一区块；

一区域存储器，用以储存所述畸变图像的所述解密区块；

一处理器，用以利用所述畸变图像的所述解密区块修正所述修正图像的所述区块；

一第二编码器，用以加密所述修正图像的所述修正区块；以及

一输出比特流存储器，用以储存所述修正图像的所述加密修正区块。

12.如权利要求11所述的图像信号处理器，其中，所述图像信号处理器形成于一图像信号处理器芯片。