CN102231788B - 信号的高速和低复杂度的分条几何变换的方法及装置 - Google Patents
信号的高速和低复杂度的分条几何变换的方法及装置 Download PDFInfo
- Publication number
- CN102231788B CN102231788B CN201110040083.3A CN201110040083A CN102231788B CN 102231788 B CN102231788 B CN 102231788B CN 201110040083 A CN201110040083 A CN 201110040083A CN 102231788 B CN102231788 B CN 102231788B
- Authority
- CN
- China
- Prior art keywords
- geometric transformation
- pixel
- group
- image
- pixel window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000011002 quantification Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 21
- 238000012937 correction Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000012536 storage buffer Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 240000000136 Scabiosa atropurpurea Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
描述了一种信号的高速和低复杂度的几何变换的方法及系统。在一个实施例中,系统包括输入片,该输入片由来自输入图像的像素窗口组成。该系统进一步包括变换选择器,用于生成控制数据以基于正在被处理的当前像素的位置控制几何变换映射。在一个实施例中,该系统还包括硬件几何变换引擎,用于利用控制数据通过几何变换引擎打开从输入窗口到输出像素的一条路径来执行几何变换映射。在一个实施例中,该系统进一步包括插值器,用于利用控制数据生成插值后的几何变换映射并通过打开从输入窗口的多条路径生成来自几何变换引擎的多个输出。
Description
技术领域
本发明涉及光电成像系统的领域,本发明尤其涉及信号的高速和低复杂度几何变换。
背景技术
许多信号处理应用需要图像数据的几何变换以对于由光学系统向图像数据引入的失真进行校正。这样的几何变换通常包括在空间中重新排序信号数据以校正失真。对于失真校正的当前解决方案使用软件中的串行数据处理以变换像素数据。基于特定的几何变换改变图像中的每个像素并将其保存在输出存储器缓冲器当中。在图像中的所有像素都被处理之后,从存储器缓冲器输出校正后的图像。这种技术在存储器缓冲器的图像处理中产生了顺序瓶颈并且由此对于图像校正不能提供高速和实时的性能。
例如,名称为“Software Correction of Image Distortion in Digital Cameras”的美国专利No.6,538,691提供了对于图像失真校正利用多项式模型的方法。利用软件应用执行用于变换像素位置的计算,其向存储器缓冲器输出具有利用多项式模型计算出的修改后位置的变换后的像素。这样的基于软件的用于处理像素数据的技术涉及关于执行图像处理操作的相对高的运算复杂度及其相关成本。
在线性移不变(LSI)上游处理中,传统上通过高端消色差透镜的设计来处理色像差校正(CAC)。这些几何失真是基于多倍焦距的并且它们的校正需要复杂的重映射插值。多种软件解决方案十分成功地解决了简单类型的失真。这样的一种技术涉及对于最优焦距、放大倍数和位移预先校准颜色通道。然而,产生无像差的图像需要考虑三个独立的图像。
当失真更加复杂,随着焦距变化并且基于颜色平面时,硬件复杂度需要使用特殊的透镜,这不可避免地增加了系统成本。Y.Takayuki等人在“A LateralChromatic Aberration Correction System for Ultrahigh-Definition Color VideoCamera”,Sensors,Cameras and Systems for Scientific and Industrial ApplicationsVII:Proceedings of SPIE(第6068卷,SPIE出版社,2006年)提出了一种水平色像差校正(LCAC)系统,该系统包括用于可变相机焦距设定的在存储器栈中保存的实时信号处理配置。其他技术包括利用立体样条和有限维线性建模的图像扭曲,如Boult和Wolberg在“Correcting Chromatic Aberrations UsingImage Warping”,IEEE Computer Society Conference on Computer Vision andPattern Recognition,Proceedings CVPR 1992(IEEE Computer Society,2008)和Cai等人在“Color Correction for Digital Images based on the Finite DimensionalLinear-Model”,International Conference on Computer Science an SoftwareEngineering(IEEE Computer Society,2008)中分别提到的。然而,实际上,这些技术的每一种技术都具有很高的实现复杂度。将这些复杂的方法映射至专用硬件的困难度限制了它们的使用。
Weng等人在“Camera Calibration with Distortion Models and AccuracyEvaluation”,IEEE Transactions on Pattern Analysis and Machine Intelligence(1992)中提供了几何失真校正(GDC)方法的概述和由每一种插值方法所引入的误差的评估。介绍了一种用于补偿几何伪像的标准化立体校准误差模型。还研发了用于应对失真校正并包括在Weng所描述的基本方法的改进的其他线性和非线性方法。然而,如上所述,这些方法都没有考虑与对应方法相关联的硬件映射成本。
除了如上讨论的CAC和GDC方法之外,还存在涉及复杂度和/或准确度折衷的设计尝试。GDC的软件方法包括Heikkila和Silven在“A Four-Stepcamera Calibration Procedure with Implicit Image Correction”,CVPR′97Proceedings of the 1997 Conference on Computer Vision and Pattern Recognition(IEEE Computer Society,1997)以及Hartley和Kang在“Parameter Free RadialDistortion Correction with Centre of Distortion Estimation”,ICCV 05:Proceedingsof the Tenth IEEE International Conference on Computer Vision(IEEE ComputerSociety,2005)中提到的。Heikkila和Silven提出了基于相机校准的一组系数的径向失真校正模型。利用Mathwork Matlab的照相机校准工具箱(CameraCalibration Toolbox)描述了线性和非线性模型。Hartley和Kang提出了一种类似的失真校正模型。然而,他们仅仅考虑了通过使用在几个图像中捕捉的失真校准栅格(grid)处理正切失真。名称为“Method for Geometry DistortionCorrection”的美国专利公开No.2006/0280376提出了一种为了补偿后续发生的失真而预先扭曲图像的技术。这是一种在处理步骤之前故意扭曲图像的预处理技术。
发明内容
描述了一种信号的高速和低复杂度的几何变换的方法及系统。在一个实施例中,系统包括输入片(patch),该输入片由来自输入图像的像素窗口组成。该系统进一步包括变换选择器,用于生成控制数据以基于正在被处理的当前像素的位置控制几何变换映射。在一个实施例中,该系统还包括硬件几何变换引擎,用于利用控制数据通过几何变换引擎打开从输入窗口到输出像素的一条路径来执行几何变换映射。在一个实施例中,该系统进一步包括插值器,用于利用控制数据生成插值后的几何变换映射并通过打开从输入窗口的多条路径生成来自几何变换引擎的多个输出。
附图说明
通过如下给出的具体实施方式和关于本发明的各个实施例的所附的附图可以更加完整的理解本发明,然而,不应该被理解为将本发明限制为具体的实施例,而这些实施例仅是用于说明和方便理解的目的。
图1A示出了图像信号处理(ISP)流水线的一个实施例;
图1B示出了二维图像数据的几何变换系统的一个实施例;
图2A-图2B示出了图像数据的失真图案;
图3示出了基于采样周期的并行地执行几何变换的系统的一个实施例;
图4A示出了对于图像数据执行几何变换的系统的一个实施例;
图4B示出了对于图像数据执行几何变换的系统的另一实施例;
图5示出了几何变换引擎的一个实施例;
图6示出了对于图像片(patch)注册使用并行数据处理的系统的一个实施例;
图7示出了对于图案匹配使用并行数据处理的系统的一个实施例;以及
图8是计算机系统的方框图。
具体实施方式
下面描述用于信号的高速和低复杂度几何变换的方法及系统。在一个实施例中,系统包括输入片,该输入片由来自输入图像的像素窗口组成。该系统可进一步包括变换选择器,用于生成控制数据以便基于正在被处理的当前像素的位置来控制几何变换映射。在一个实施例中,系统还可包括硬件几何变换引擎,用于利用控制数据通过几何变换引擎打开从输入窗口到输出像素的一个路径来执行几何变换映射。在一个实施例中,该系统还可进一步包括插值器,用于使用控制数据生成插值后的几何变换映射和通过打开从输入窗口的多条路径生成来自几何变换引擎的多个输出。
在下面的描述中,提出了大量的细节以提供关于本发明的更加细致的描述。然而,本领域技术人员应该清楚的是,无需这些具体的细节仍可实施本发明。在其他的实例中,为了避免混淆本发明以方框图形式而非详细地示出了公知的结构和设备。
在计算机存储器中以对于数据比特的操作的算法和符号表示来体现某些部分的具体实施方式。这些算法描述和表现是在数据处理技术领域中常采用的手段,以便向本领域技术人员传递他们工作的实质内容。这里,通常构思出带来期望的结果的自身一致的步骤顺序。步骤需要对物理量进行物理操控。通常,尽管不是必需的,这些量采用了能够被保存、传送、组合、比较并以其他方式操控的电或磁信号的形式。很多时候证明这是方便的,即主要是出于一般使用的原因,将这些信号统称为比特、值、要素、符号、字符、期间、数量等。
然而,应该考虑到的是,所有的这些和相似的术语都是与适当的物理量相关联的并且仅仅是对于这些量应用的方便标志。除非是以与如下的讨论明显不同的方式特别声明,应该可以理解的是,在整篇说明书中,利用诸如“处理”或“运算”或“计算”或“确定”或“显示”等术语都是指计算机系统或是相似的电子计算设备的动作和处理,该电子计算设备将在计算机系统的寄存器和存储器中的物理(电子)量操纵并转换成以在计算机系统存储器或寄存器或其他这样的信息存储、发送或显示设备中的物理量的类似方式表示的其他数据。
本发明还涉及用于执行这里提及的操作的装置。这种装置可为所需的目的而被具体地构造,或是它可包括由计算机中保存的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序被保存在诸如但不局限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的磁盘、只读存储器(ROM)、随机访问存储器(RAM)、EPROM、EEPROM、磁性或光卡、或任何类型的适用于保存电子指令的介质的计算机可读存储介质中,并且它们中的每一个都连接至计算机系统总线上。
这里提及的算法和显示并非本质上涉及任意的计算机或其他装置。还可使用具有根据这里的教示的程序的各种通用系统,或是为执行所需的方法步骤而构造专用的装置被证明是方便的。从如下的描述中可以清楚地得到各种的这些系统的所需结构。此外,没有参考任何特定的编程语言来描述本发明。可以理解的是,为了实施这里提及的本发明的教示可使用各种类型的编程语言。
机器可读介质包括以机器(例如,计算机)可读取形式保存或发送信息的任何机制。例如,机器可读介质包括只读存储器(“ROM”);随机访问存储器(“RAM”);磁盘存储介质;光存储介质;闪存设备等。
概述
总体上,几何变换可被表示为:
Iout(t)=Iin(t-D(t)) (1)
其中,Iin和Iout是输入和输出信号,t是n维空间中的坐标矢量,而D(t)是坐标矢量t的几何位移矢量。这个模型定义了输入和输出信号位置之间的几何映射。因此,诸如用于失真校正和色像差校正的变换的2D成像系统中的几何变换可被表示为:
Iout(x,y)=Iin(x-Dx(x,y),y-Dy(x,y)) (2)
其中,(x,y)是正在被处理的当前信号的坐标,Dx(x,y)和Dy(x,y)分别是x和y维度上的变换映射。理论上,这是可以获得的理想变换模型。然而,实际上,这种变换模型需要硬件和/或软件上的大量运算资源。
图1A示出了图像信号处理(ISP)流水线的一个实施例。在一个实施例中,图1所示的ISP流水线是可以用于处理图像的典型ISP流水线的部件的一个子集。在一个实施例中,抗马赛克(Demosaicking)102和调制传递函数(MTF)补偿或锐化108是ISP流水线中的运算变换单元。在一个实施例中,颜色注册104和失真校正106是ISP流水线中的几何变换单元。在一个实施例中,以硬件、软件或两者的组合来实施各单元。
在一个实施例中,如下面讨论的,失真校正106是在低复杂度、高速阵列的复用器中实现的基于硬件的几何变换引擎以变换信号(例如,图像数据)。在一个实施例中,复用器之间的相互连接是通过对于特定应用、光学透镜、失真类型等优化的像素的输入窗口的恒定分条(piecewise)几何变换来预先定义的。在一个实施例中,失真校正106被配置为实时地或近实时地串行处理像素数据。
图1B示出了用于二维图像数据的几何变换系统的一个实施例。在一个实施例中,系统152包括图1A所示的失真校正156单元。在一个实施例中,系统152将像素165从输入图像160中的它的当前位置变换为输出图像170中的修改后的像素位置175。在一个实施例中,由系统152执行的几何变换是基于运算等式的,这将会在下面更加详细地讨论。在一个实施例中,像素以光栅等级达到系统152并且由系统152执行的置位变换来处理。在一个实施例中,变换可涉及像素坐标矢量的旋转,之后紧跟的是平移(translation)。图1B的几何变换示出了关于XY平面的二维图像数据。然而,这里讨论的系统和方法被用在三维成像系统以及这里讨论的其他应用中。
在一个实施例中,系统152基于连续的功能模型来计算像素位置映射。几何变换引擎的传统实现是顺序的并因此受到大的时间复杂度和实现瓶颈的束缚。在一个实施例中,系统152是基于硬件的以降低复杂度并提高由系统152执行的几何变换的效率。在一个实施例中,利用量化的变换模型来近似表示在这种情形下的二维几何变换模型,其可被表示为:
其中,Q是为用于分割图像的有限组的参考区域瓦片(tile)定义的量化模型。在一个实施例中,该有限组的区域瓦片可以是极性瓦片。在另一实施例中,该有限组的参考瓦片还可以是由线性边界分割的任意形状的瓦片。在一个实施例中,可在最小均方的误差(MSE)标准来优化任意形状的瓦片的数量和线性边界。
在一个实施例中,低成本和高速硬件解决方案的设计涉及识别在目标几何变换的准确度和复杂度之间的最佳的折衷。在一个实施例中,可利用图像信号处理(ISP)流水线中的通用处理器(CPU)、数字信号处理器(DSP)、或定制的硬件和逻辑来实施诸如由图1B的系统152执行的量化几何变换。
失真校正
下面详细地讨论用于光学系统的二维几何图像失真校正。然而,作为本发明的示例使用提供了讨论。这里讨论的技术、硬件系统和方法还可应用于三维成像系统和其他图像伪像校正处理(例如,色像差校正)。
失真是许多光学系统中的典型像差,其中由于光学系统的本征透镜特性而使得图像放大倍数随着场位置的变化而变化。
尽管失真可以是非规则的或是遵循许多图案(pattern),但是最常见到的失真是由光学透镜的对称性引起的径向对称失真图案。径向失真通常被归类为两种主要类型中的一种类型。在图2A中示出了图像数据的枕形(pincushion)失真,而图2B中示出了桶形(barrel)失真。桶形失真和枕形失真分别出现在图像的放大倍数随着距离光轴的距离而减小和增大的情形中。在一个实施例中,基于失真模型可校正ISP系统的几何变换模块中的桶形和枕形失真模式。用于图像校正的失真模型
在一个实施例中,二维光学系统的失真校正模型函数可以表示为:
其中,(x,y)是正在被处理的当前信号的坐标,Dx(x,y)和Dy(x,y)分别是x和y维度上的多项式几何变换函数,Cpq和dpq是多项式的系数,Nx和Ny是多项式的次数(或阶数),而p和q是多项式项的次数。在一个实施例中,可利用乘法和加法在硬件中直接地运算(4)中的多项式函数。然而,当多项式的项数的总数量变得大时,这个实施例的复杂度极大地提高。在一个实施例中,利用前向差分算子来计算多项式函数,其可以被定义为:
Δfn=fn+1-fn
(5)
Δkfn=Δk-1fn+1-Δk-1fn
其中,fn是在第n点处函数f的值,Δfn是在第n点处函数的第一阶前向差分,而Δkfn是在第n点处函数的第k阶前向差分。
如果f是多项式函数,其中N是函数的次数,则仅第N阶或更低阶的前向差分具有非零值。因此,给出第一点的前向差分,利用有限数量的前向差分算子递归地计算后续点中的每一点处的多项式函数。这个处理可以被表示为:
fn+1=fn+Δfn
Δk-1fn+1=Δk-1fn+Δkfn
其中,k=1,2,...N。如此,多项式函数的前向差分算子仅需要每个点处的有限数量的加法,由此实现了低复杂度的硬件实施。
在(4)中的二维多项式函数的一个实施例中,可分别沿着X和Y维度计算前向差分算子。特别的,假设(x0,y0)是光栅图像中左上角处第一像素的位置。为了获取光栅阶的每个点Dx(x,y),一行接一行地水平地计算前向差分算子。对于第m行,这可以被表示为:
Dx(xn+1,ym)=Dx(xn,ym)+ΔDx(xn,ym)
(7)
Δk-1Dx(xn+1,ym)=Δk-1Dx(xn,ym)+ΔkDx(xn,ym)
其中,k=1,2,...Nx,而n是正在被处理的列的索引。同时,为了获得初始前向差分ΔkDx(x0,ym),对于第一Nx+1列垂直地计算前向差分,其可被表示为:
Dx(xi,ym+1)=Dx(xi,ym)+ΔDx(xi,ym)
(8)
Δk-1Dx(xi,ym+1)=Δk-1Dx(xi,ym)+ΔkDx(xi,ym)
其中,i=0,1,2,...Nx,而m是正在被处理的行的索引。类似的,上述前向差分操作可被用于计算Dy(x,y)。
在一个实施例中,利用有限组的矩形瓦片中分条的多项式函数可近似得到Dx(x,y)和Dy(x,y)。在这样的示例中,上述前向差分操作可被分别对每个瓦片区域进行计算。
图3示出了用于并行地执行几何变换的系统的一个实施例。在每个系统时钟,从输入图像306获取像素窗口308,并且向几何变换引擎310提供像素窗口308。在一个实施例中,系统时钟304还向动态变换选择器302提供定时数据CLK(ti)。动态变换选择器302接下来使用定时数据,以产生一组控制信号。在一个实施例中,控制信号是用于动态地配置几何变换引擎(GTE)以执行所选择的对应于像素窗口的几何变换的控制比特。如下面将会讨论的,在一个实施例中,几何变换引擎包括用于高效地执行所期望的几何变换的复用器网络。用于产生并使用控制复用器阵列的控制比特的一个系统是在2009年6月提交的名称为“Method and apparatus for FIR Filtering Using Space-VaryingRotation”的美国专利申请No.12/488,479中讨论的。
几何变换引擎(GTE)
图4A示出了用于对图像数据执行几何变换的系统的一个实施例。
在一个实施例中,关于图4A,几何变换系统包括输入片缓冲器404,用于从输入图像接收像素的窗口402。在一个实施例中,以光栅阶由输入片缓冲器404接收将被变换的像素数据。在一个实施例中,基于从系统时钟406接收到的值和像素窗口402的位置(即,输入图像中的参考瓦片的地点),控制逻辑408产生一组控制比特,它向交换网络410提供该组控制比特。在一个实施例中,控制比特被称为变换索引,这是因为比特配置交换网络410执行所期望的变换。用于产生并使用控制复用器阵列的控制比特的一个系统是在2009年6月提交的名称为“Method and apparatus for FIR Filtering Using Space-VaryingRotation”的美国专利申请No.12/488,479中讨论的。
在一个实施例中,交换网络410基于用于图像的一组参考区域瓦片的量化模型对于像素窗口402的图像数据执行一个或多个几何变换。在一个实施例中,对于特定应用和/或在接收到图像数据之前将被校正的图像失真获得并优化量化模型。在一个实施例中,交换网络410向插值器412输出图像数据。在一个实施例中,插值器412产生插值后的像素数据作为最终的变换后的输出414。
图4B示出了对于图像数据执行几何变换的系统的另一实施例。在一个实施例中,图4所示的系统提供了如上所述的图4A的系统的额外细节。在一个实施例中,行缓冲器454顺序地保存输入光栅图像452。在一个实施例中,输入片缓冲器456通过从行缓冲器454得到光栅图像452的像素窗口保存图像数据的输入片。
在一个实施例中,在每个像素时钟,定时信号生成器模块458基于输入定时信号和系统处理延迟产生输出定时信号。输出定时信号还被控制器模块460进一步使用以便基于上面更加详细描述的失真模型分别地对于X和Y维度生成控制比特462A和462B。在一个实施例中,控制比特462A和462B随后被用于通过交换网络模块464打开从输入片缓冲器456的一条或多条路径。
在一个实施例中,交换网络模块464的输出像素和X和Y控制比特462A和462B随后被插值模块466所使用以生成插值后的像素作为最终的变换后的输出468。在一个实施例中,插值器模块466基于输入像素执行双线性插值。在一个实施例中,X和Y控制比特462A和462B被用于确定用于X和Y维度双线性插值器的系数。
图5示出了几何变换引擎的一个实施例。在一个实施例中,几何变换引擎包括交换网络510。在一个实施例中,交换网络510可被图4所示的系统使用。
在一个实施例中,交换网络510包括根据一组控制比特508变换输入图像数据504的复用器的阵列。在一个实施例中,基于已经获得的用于输入图像的一组参考区域瓦片的量化模型来配置交换网络510。尽管交换网络510被示出具有七个复用器,根据输入大小和/或由交换网络将要执行的几何变换还可在交换网络中包括更多的或更少的复用器。在一个实施例中,在交换网络510变换图像数据之后,输出512变换后的图像数据。
示例性应用
几何变换的实施例的应用领域十分广阔。上述讨论聚焦于用于失真校正的具体的二维系统,以避免混淆本发明。然而,其他的图像处理应用也可以受益于图像数据的量化后的并行处理并实现实质上的运算节省。
图6示出了对于图像片注册使用并行数据处理的系统的一个实施例。在一个实施例中,对于基于块(block)的运动估计使用了图像片注册。来自图像片的比较的反馈控制参考对象变换。在一个实施例中,系统600是修改由GTE604执行的几何变换以生成新的变换后的图像612的变换反馈系统。
在一个实施例中,几何变换的修改基于来自用于运动估计的判断标准608的反馈。在一个实施例中,对于多个参考片610-1至610-N并行地执行输入片602的比较,如上所述。在一个实施例中,比较结果是由判断标准608处理的,以便更新由GTE 604执行的几何变换。在一个实施例中,输入位移606生成用于修改将由GTE 604对图像数据应用几何变换的控制信号。由于GTE 604处理对应于图像片的像素窗口的几何变换,而非串行的一次一个像素,因此极大地提高了基于时钟的运动估计处理的效率。
图7示出了对于图案匹配使用并行数据处理的系统的一个实施例。在一个实施例中,可在例如面部识别应用中应用图案匹配的系统。在一个实施例中,由于数字照相机704的光学局限造成由数字照相机704捕捉的输入图像702的失真。在一个实施例中,所捕捉及失真的图像706将会与参考图像708相比较。
在不使用几何变换720的系统中,所捕捉的图像706和参考图像708的比较导致比较算法中的匹配不当。由于所捕捉的图像706失真,即使当在包括参考图像708的参考图像中存在与输入图像702的匹配时,仍无法找到积极的图像匹配。
在使用串行图像变换技术的系统中,由几何变换引擎730顺序地变换已失真的图像706并且在对变换后的图像732与参考图像708进行比较之前将已失真的图像706保存在存储器(未示出)当中。在一个实施例中,这种方法能够使用量化近似,但是模型的实施还可对每个像素使用顺序处理技术(类似于由传统的数字信号处理器或CPU执行的技术)。校正后的已保存的图像732随后与参考图像708进行比较并导致匹配。
在一个实施例中,利用在单个运算轴上进行分条恒定近似来实现图像数据的并行处理。利用如上所述的技术,所捕捉到的图像的片742由基于片的几何变换引擎740执行变换,并且将所捕捉到的图像的片742与参考图像的片744进行比较以产生比较结果。比较较小的片所需的运算资源比比较整个图像所需的运算资源少。另外,还可并行地处理片,这实现了图案匹配系统中的图像比较的更高的吞吐量。另外,对于整个图像的处理而非按照分片的处理可以重复地使用相同的并行片硬件。
示例性计算机系统
图8是执行这里描述的一个或更多个操作的计算机系统的方框图。在一个实施例中,可将计算机系统的一个或更多个部件集成到光学成像系统当中。在另一实施例中,计算机系统可控制光学成像系统。参考图8,计算机系统800包括示例性客户端或服务器计算机系统。计算机系统800包括用于传输信息的通信机制或总线811和用于处理信息的与总线811相连接的处理器812。处理器812包括微处理器,但是并不局限于微处理器,诸如是PentiumTM等。
系统800进一步包括用于保存将由处理器812执行的信息和指令的与总线811相连接的随机访问存储器(RAM)或其他的动态存储设备804(被称为主存储器)。主存储器804还被用于保存在由处理器812执行指令的期间内的临时变量或其他中间信息。计算机系统800还包括用于保存静态信息和用于处理器812的指令的与总线811相连接的只读存储器(ROM)和/或其他静态存储设备806和诸如磁盘或光盘及其对应的磁盘驱动器的数据存储设备807。数据存储设备807与总线811相连接并用于保存信息和指令。
计算机系统800还可进一步与诸如阴极射线管(CRT)或液晶显示器(LCD)的与总线811相连接的显示设备821相连接,显示设备821用于向计算机用户显示信息。包括字母和其他键的字母输入设备822还可与总线811相连接并用于与处理器812传送信息和命令选择。额外的用户输入设备是诸如鼠标、轨迹球、轨迹板、铁笔、或光标方向键的与总线811相连接的光标控制823,用于与处理器812之间传送方向信息和命令选择并且控制光标在显示器821上的运动。
可以与总线811相连接的另一设备是硬拷贝设备824,用于在诸如纸张、胶片或类似类型的介质等介质上打印指令、数据或其他信息。另外,诸如扬声器和/或麦克风的声音记录和回放设备可选地与总线811相连接,用作与计算机系统800之间的声音接口。可以与总线811相连接的另一设备是有线/无线通信功能825,用于与电话或手持掌上设备进行通信。
值得注意的是,在本发明中可使用系统800的任意的或全部的部件及其相关硬件。然而,可以理解的是,计算机系统的其他配置可包括某些或全部的设备。
虽然在阅读前面的说明之后毫无疑问本领域技术人员可以对本发明作出修改和变化,但是可以理解的是通过示例示出和描述的任何特定实施例绝不是用来限定。因此,对于各个实施例的细节的参考不是用来限定权利要求的范围,在权利要求中仅记录了对于本发明必须的那些特征。
Claims (12)
1.一种信号的高速和低复杂度的几何变换的系统,其特征在于,包括:
输入片,用于接收输入图像的像素窗口;
变换选择器,用于生成控制数据以基于正在被处理的当前像素的位置控制几何变换映射;以及
硬件几何变换引擎,用于利用控制数据通过硬件几何变换引擎打开从输入窗口到输出的一条路径来执行像素窗口的几何变换映射;
其中,
像素窗口包括环绕当前像素的一组固定的相邻像素;
像素窗口的大小是由横跨整个输入图像的所期望的几何变换映射的最大空间范围来确定的。
2.根据权利要求1所述的系统,其特征在于,控制数据包括由变换选择器基于像素窗口的位置生成的一组控制比特。
3.根据权利要求2所述的系统,其特征在于,所述一组控制比特是由分割图像的一组区域瓦片中的分条前向差分算子来确定的。
4.一种信号的高速和低复杂度的几何变换的方法,其特征在于,包括:
接收步骤,接收输入图像的像素窗口;
生成步骤,生成控制数据以基于正在被处理的当前像素的位置控制几何变换映射;以及
执行步骤,利用控制数据通过硬件几何变换引擎打开从输入窗口到输出的路径来执行几何变换映射;
其中,
像素窗口包括环绕当前像素的一组固定的相邻像素;
像素窗口的大小是由横跨整个输入图像的所期望的几何变换映射的最大空间范围来确定的。
5.根据权利要求4所述的方法,其特征在于,所述方法进一步包括:
利用多个复用器库执行几何变换映射;和
利用插值器执行插值后的几何变换映射以生成像素数据作为像素窗口的最终变换后的输出。
6.根据权利要求4所述的方法,其特征在于,控制数据包括由在所述生成步骤中基于像素窗口的位置生成的一组控制比特。
7.根据权利要求6所述的方法,其特征在于,所述一组控制比特是由分割图像的一组区域瓦片中的分条前向差分算子来确定的。
8.一种信号的高速和低复杂度的几何变换的方法,其特征在于,包括:
利用量化后的几何变换模型近似得到连续的功能变换模型;以及
基于量化后的几何变换模型配置硬件几何变换引擎;
所述的方法进一步包括:
接收图像的像素窗口;和
由硬件几何变换引擎执行像素窗口的几何变换映射;
其中,
像素窗口包括环绕当前像素的一组固定的相邻像素;
像素窗口的大小是由横跨整个图像的所期望的几何变换映射的最大空间范围来确定的。
9.根据权利要求8所述的方法,其特征在于,基于几何失真的一个或多个特性近似得到量化后的几何变换模型。
10.根据权利要求9所述的方法,其特征在于,量化后的几何变换模型是用于分割图像的一组瓦片的分条几何变换。
11.根据权利要求10所述的方法,其特征在于,优化量化后的几何变换模型以便对所述一组瓦片最小化连续的函数变换模型和量化后的几何变换模型之间的均方差。
12.根据权利要求11所述的方法,其特征在于,对分割图像的有限组的矩形瓦片定义量化后的几何变换模型。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/706,648 US8116587B2 (en) | 2010-02-16 | 2010-02-16 | Method and apparatus for high-speed and low-complexity piecewise geometric transformation of signals |
US12/706,648 | 2010-02-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102231788A CN102231788A (zh) | 2011-11-02 |
CN102231788B true CN102231788B (zh) | 2014-07-09 |
Family
ID=43911589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110040083.3A Expired - Fee Related CN102231788B (zh) | 2010-02-16 | 2011-02-16 | 信号的高速和低复杂度的分条几何变换的方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8116587B2 (zh) |
EP (1) | EP2362345B1 (zh) |
JP (1) | JP5742275B2 (zh) |
CN (1) | CN102231788B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
US9242602B2 (en) | 2012-08-27 | 2016-01-26 | Fotonation Limited | Rearview imaging systems for vehicle |
JP6273764B2 (ja) * | 2012-12-28 | 2018-02-07 | 株式会社リコー | 画像処理装置 |
US20140204083A1 (en) * | 2013-01-23 | 2014-07-24 | Brent Thomson | Systems and methods for real-time distortion processing |
DE102014112078A1 (de) * | 2014-08-22 | 2016-02-25 | Connaught Electronics Ltd. | Verfahren zum Transformieren eines Eingabebildes in ein Ausgabebild, Fahrerassistenzsystem und Kraftfahrzeug |
WO2016106140A1 (en) * | 2014-12-22 | 2016-06-30 | Otis Elevator Company | Mounting assembly for elevator linear propulsion system |
KR102328020B1 (ko) * | 2015-04-03 | 2021-11-17 | 한국전자통신연구원 | 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법 |
WO2017032468A1 (en) * | 2015-08-26 | 2017-03-02 | Fotonation Limited | Image processing apparatus |
GB2561170A (en) * | 2017-03-31 | 2018-10-10 | Apical Ltd | Image processing |
US10223766B2 (en) | 2017-03-31 | 2019-03-05 | Apical Ltd. | Image processing including geometric distortion adjustment |
US10757324B2 (en) * | 2018-08-03 | 2020-08-25 | Semiconductor Components Industries, Llc | Transform processors for gradually switching between image transforms |
US11412260B2 (en) * | 2018-10-29 | 2022-08-09 | Google Llc | Geometric transforms for image compression |
JP7467883B2 (ja) * | 2019-04-29 | 2024-04-16 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592599A (en) * | 1991-12-18 | 1997-01-07 | Ampex Corporation | Video special effects system with graphical operator interface |
CN1307426A (zh) * | 1999-11-06 | 2001-08-08 | 三星电子株式会社 | 图像显示系统中的假轮廓校正装置和假轮廓校正方法 |
US6538691B1 (en) * | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4631750A (en) * | 1980-04-11 | 1986-12-23 | Ampex Corporation | Method and system for spacially transforming images |
JPS62219176A (ja) * | 1986-03-20 | 1987-09-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像ひずみ補正方法および装置 |
US5315692A (en) * | 1988-07-22 | 1994-05-24 | Hughes Training, Inc. | Multiple object pipeline display system |
GB9003922D0 (en) * | 1990-02-21 | 1990-04-18 | Crosfield Electronics Ltd | Image display apparatus and method |
US5369735A (en) * | 1990-03-30 | 1994-11-29 | New Microtime Inc. | Method for controlling a 3D patch-driven special effects system |
US5424742A (en) | 1992-12-31 | 1995-06-13 | Raytheon Company | Synthetic aperture radar guidance system and method of operating same |
US5598488A (en) | 1993-09-13 | 1997-01-28 | Massachusetts Institute Of Technology | Object movement estimator using one-dimensional optical flow |
JPH10501901A (ja) * | 1995-04-07 | 1998-02-17 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | 画像の回転のための方法および装置 |
GB2305052B (en) * | 1995-09-08 | 2000-04-05 | Quantel Ltd | An image processing system |
JPH09212412A (ja) | 1996-02-06 | 1997-08-15 | Sony Computer Entertainment:Kk | メモリアクセス方法及びデータ処理装置 |
JPH11250238A (ja) * | 1998-02-27 | 1999-09-17 | Kyocera Corp | ブロック単位でディストーション補正を行うディジタル撮像装置 |
US6445182B1 (en) | 1998-04-24 | 2002-09-03 | Case Western Reserve University | Geometric distortion correction in magnetic resonance imaging |
US6556193B1 (en) | 1999-04-02 | 2003-04-29 | Teralogic, Inc. | De-interlacing video images using patch-based processing |
US7126616B2 (en) * | 2001-06-12 | 2006-10-24 | Silicon Optix Inc. | Method and system for processing a non-linear two dimensional spatial transformation |
US7177486B2 (en) * | 2002-04-08 | 2007-02-13 | Rensselaer Polytechnic Institute | Dual bootstrap iterative closest point method and algorithm for image registration |
US7304675B2 (en) * | 2003-06-10 | 2007-12-04 | Raytheon Company | Digital timing rate buffering for thermal stability of uncooled detectors |
JP4772281B2 (ja) * | 2003-07-28 | 2011-09-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
US7457433B2 (en) * | 2005-01-20 | 2008-11-25 | International Business Machines Corporation | System and method for analyzing video from non-static camera |
EP1742459A1 (en) | 2005-06-13 | 2007-01-10 | SONY DEUTSCHLAND GmbH | Method for geometry distorsion correction |
US8503817B2 (en) | 2006-03-01 | 2013-08-06 | Panasonic Corporation | Apparatus, method and imaging apparatus for correcting distortion of image data using interpolation |
US7792357B2 (en) | 2007-05-30 | 2010-09-07 | Microsoft Corporation | Chromatic aberration correction |
JP4940050B2 (ja) * | 2007-08-09 | 2012-05-30 | キヤノン株式会社 | 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体 |
JP4844979B2 (ja) * | 2007-08-30 | 2011-12-28 | 京セラ株式会社 | 画像処理方法と該画像処理方法を用いた撮像装置 |
US8326074B2 (en) | 2009-06-19 | 2012-12-04 | Ricoh Co., Ltd. | Method and apparatus for FIR filtering using space-varying rotation |
-
2010
- 2010-02-16 US US12/706,648 patent/US8116587B2/en not_active Expired - Fee Related
-
2011
- 2011-02-10 EP EP11153937.5A patent/EP2362345B1/en not_active Not-in-force
- 2011-02-15 JP JP2011030289A patent/JP5742275B2/ja not_active Expired - Fee Related
- 2011-02-16 CN CN201110040083.3A patent/CN102231788B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5592599A (en) * | 1991-12-18 | 1997-01-07 | Ampex Corporation | Video special effects system with graphical operator interface |
US6538691B1 (en) * | 1999-01-21 | 2003-03-25 | Intel Corporation | Software correction of image distortion in digital cameras |
CN1307426A (zh) * | 1999-11-06 | 2001-08-08 | 三星电子株式会社 | 图像显示系统中的假轮廓校正装置和假轮廓校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102231788A (zh) | 2011-11-02 |
EP2362345A2 (en) | 2011-08-31 |
EP2362345A3 (en) | 2015-04-29 |
JP5742275B2 (ja) | 2015-07-01 |
EP2362345B1 (en) | 2018-07-18 |
US8116587B2 (en) | 2012-02-14 |
US20110200271A1 (en) | 2011-08-18 |
JP2011170851A (ja) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102231788B (zh) | 信号的高速和低复杂度的分条几何变换的方法及装置 | |
WO2020001168A1 (zh) | 三维重建方法、装置、设备和存储介质 | |
US10410362B2 (en) | Method, device, and non-transitory computer readable storage medium for image processing | |
WO2021164269A1 (zh) | 基于注意力机制的视差图获取方法和装置 | |
CN108921801B (zh) | 用于生成图像的方法和装置 | |
US10163257B2 (en) | Constructing a 3D structure | |
CN112435193A (zh) | 一种点云数据去噪的方法、装置、存储介质和电子设备 | |
WO2023202695A1 (zh) | 数据处理方法及装置、设备、介质 | |
JP2024526417A (ja) | マルチスペクトルカメラ向けの高速画像レジストレーション方法及び装置 | |
Alt et al. | Learning sparse masks for diffusion-based image inpainting | |
CN114118181B (zh) | 一种高维回归点云配准方法、系统、计算机设备及应用 | |
US9147162B2 (en) | Method for classification of newly arrived multidimensional data points in dynamic big data sets | |
CN114648560A (zh) | 分布式图像配准方法、系统、介质、计算机设备及终端 | |
KR100362171B1 (ko) | 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체 | |
WO2024041027A1 (zh) | 全景图像处理方法、计算机设备和存储介质 | |
CN106548493A (zh) | 一种图匹配的方法及系统 | |
CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
CN110689513B (zh) | 彩色图像融合方法、装置和终端设备 | |
CN114612572A (zh) | 一种基于深度学习的激光雷达与相机外参标定方法及装置 | |
Zhao et al. | Single image super-resolution via blind blurring estimation and anchored space mapping | |
WO2013004012A1 (en) | Apparatus and method for re-sampling and processing digital images | |
CN112418344A (zh) | 一种训练方法、目标检测方法、介质及电子设备 | |
CN115082295B (zh) | 一种基于自注意力机制的图像编辑方法及装置 | |
US20230004694A1 (en) | Low-dimensional probabilistic density of high-dimensional data manifold | |
JP2019125128A (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140709 Termination date: 20200216 |
|
CF01 | Termination of patent right due to non-payment of annual fee |