CN102469249B - 影像校正方法及影像校正装置 - Google Patents

Abstract

发明提供一种影像校正装置，用以校正一摄影装置所拍摄的一原始影像，其中包含一储存模块和一纹理映射模块。该储存模块用以储存与该摄影装置相关的一映射数据。该纹理映射模块则用以根据该映射数据，透过一纹理映射处理校正该原始影像，以产生一校正后影像。

Description

影像校正方法及影像校正装置

技术领域

本发明与影像处理技术相关，并且尤其与用以校正形变的影像处理技术相关。

背景技术

随着制造各种消费性电子产品的技术日趋成熟，近年来许多车辆的驾驶座前方都装设有小型显示屏幕，用来播放影片、呈现多媒体系统的控制画面，或是显示导航软体提供的地图。除了上述功能外，目前有些屏幕还可以进一步配合装设在车辆前端或后端的摄影装置，呈现车辆外部的影像，协助使用者掌控邻近区域的状况。

为了扩大可提供给驾驶人的参考范围，上述车用摄影装置通常会采用广角镜头。然而，当被摄物和摄影装置之间的距离不够大，广角镜头所拍摄的画面边缘不可避免地会存在枕形形变或是桶形形变。换句话说，屏幕上所呈现的影像与实际上车外物体的尺寸比例、距离或是形状皆有或多或少的差异。这样的差异可能会导致驾驶人误判情势，甚至造成意外事故。

已知技术中已存在修正拍摄结果的形变的方案。现有的方案大多是在摄影装置和显示装置之间设置采用二维引擎(2Dengine)的影像处理晶片，用以即时分析每一张拍摄结果的形变情况，再针对该种形变进行还原运算，产生修正后影像。这种方式的缺点在于影像处理晶片所需负荷的运算量相当庞大，且能胜任复杂即时运算的影像处理晶片通常较为昂贵。

发明内容

为解决上述问题，本发明提出了一种影像校正方法及影像校正装置。利用纹理映射处理以及针对个别摄影装置预先建立的映射数据，影像中因摄影装置的光学镜头造成的形变可被有效校正。根据本发明的方法及装置可被广泛应用在各种配备有外部影像监控系统的交通工具中，也可应用于各种存在影像形变问题的摄影系统。

本发明揭露一种影像校正装置，用以校正一摄影装置所拍摄的一原始影像，其中包含一储存模块和一纹理映射模块。该储存模块用以储存与该摄影装置中的一光学镜头所造成的一影像形变相关的一映射数据。该纹理映射模块则用以根据该映射数据，透过一纹理映射处理校正该原始影像，以产生一校正后影像。

本发明亦揭露一种影像校正方法。该方法首先执行接收由摄影装置所拍摄的一原始影像的步骤。接着，该方法所执行的步骤为根据与该摄影装置中的一光学镜头所造成的一影像形变相关的一映射数据，透过一纹理映射处理校正该原始影像，以产生一校正后影像。

关于本发明的优点与精神可以藉由以下的发明详述及附图得到了解。

附图说明

图1为根据本发明的一具体实施例中的影像校正方法的流程图。

图2(A)为特定已知纹路物体的范例，图2(B)为相对应的拍摄结果的范例，图2(C)为包含多个三角形的网格图样的范例。

图3(A)为原始影像的范例，图3(B)为参考影像的范例，图3(C)为校正后影像的范例。

图3(D)为网格图样的范例，图3(E)为原始影像的范例，图3(F)为校正后影像的范例。

图4为纹理映射处理的一详细实施流程范例。

图5为根据本发明的一具体实施例中的影像校正装置的方块图；

图6为该影像校正装置的一详细实施范例。

主要元件符号说明

20：拍摄结果画面21A、21B、22A、22B：座标点

S12～S14：流程步骤T1：目标四角形

T2：原始四角形T3：四角形区域

S14A～S14C：流程步骤50：影像校正装置

52：储存模块54：纹理映射模块

54A：选择单元54B：映射单元

具体实施方式

根据本发明的一具体实施例为一影像校正方法。图1为此方法的流程图。举例而言，一摄影装置可被装设在车辆的前端或后端，用以拍摄车辆外部的周边情况。于此实施例中，与该摄影装置相关的一映射数据被预先建置、并储存于实施本方法的硬件内。该方法首先执行步骤S12，接收由该摄影装置所拍摄的一原始影像。接着，步骤S14为根据该映射数据，透过一纹理映射处理(texturemappingprocedure)校正该原始影像，以产生一校正后影像。

该映射数据可被设计为与摄影装置中的光学镜头所造成的影像形变相关，用以补偿、还原光学镜头所造成的影像失真。举例而言，设计者可利用该摄影装置拍摄具有特定已知纹路的物体，再藉由比较拍摄结果与实际物体的差异来决定该映射数据。图2(A)所示的矩形网格为上述特定已知纹路物体的范例，图2(B)中的实线矩形20及其中的虚线线条则是拍摄结果的范例。受到光学镜头本身或是摄影装置其他非理想特性影响，拍摄结果的边缘区域通常会发生如图2(B)所示的形变；实际物体原本为直线的线条在拍摄结果中被不规则地扭曲、伸展或是压缩。

步骤S14中所采用的映射数据包含对应于原始影像与校正后影像间的映射关系。该映射关系可以是座标与座标之间的对应关系，也可以是描述该对应关系的数学模型。举例而言，若以画面20中所包含的虚线图样的网格图样(meshpattern)，该网格图样即包含多多个形状不一的四角形，且每一四角形对应至校正后影像中的一四角形。若图2(A)中各线条的长度及其间的实际距离为已知，利用标示比例尺或是座标点的方式，可找出图2(A)和图2(B)中两影像间的映射关系。于此范例中，图2(A)中的座标点21A对应于图2(B)中的座标点21B，图2(A)中的座标点22A则是对应于图2(B)中的座标点22B，而该映射数据包含对应于原始影像的一网格图样的各个格子点与对应于校正后影像的一网格图样的各个格子点间的映射关系。

实务上，对应于原始影像的网格图样及对应于校正后影像的网格图样各可包含多个N角形，N为大于2的一正整数，例如等于3。图2(C)即为包含多个三角形的网格图样的范例。需说明的是，每一个摄影装置所适用的映射数据可能都不相同。易言之，在配合不同的摄影装置时可采用不同的映射数据，即不同的原始影像的网格图样与校正后影像的网格图样间的映射关系，以达到较佳的校正效果。根据该映射数据，校正前的拍摄结果(例如图2(B))可藉由纹理映射处理而产生校正后影像，进而使校正后影像接近如图2(A)所示的原始影像。

于本发明的另一个实施例中，设计者可首先拍摄任一画面或物件做为原始影像；如图3(A)所示，此原始影像具有光学镜头所造成的影像形变。如图3(B)所示，该原始影像上可被标示虚拟的格线，成为一参考影像。接着，设计者可凭肉眼及经验判断应如何拉伸或压缩该参考影像，以消除影像形变的影响。图3(C)即为经过拉伸/压缩的结果范例。如图3(C)所示，除了原始影像包含的内容之外，这些虚拟格线也一并被拉伸/压缩。比较图3(B)和图3(C)中的格线，也可以找出步骤S14中所采用的映射数据，亦即原始影像与校正后影像间的映射关系。于此范例中，校正图3(A)所示的原始影像的方式为拉伸该原始影像的四个角落，或是相对压缩该原始影像的上下两边界。实务上，步骤S14中所采用的映射数据可以为图3(C)中经过拉伸/压缩的虚线格线与图3(B)中的原始影像的虚线格线间的映射关系。在其它实施例中，亦可藉由影像分析处理来分析原始影像中的形变，再据以得到适当的映射数据，以消除影像形变。

在建立映射数据之后，后续由该摄影装置拍摄的影像皆可根据该映射数据藉由纹理映射处理而被校正，以产生校正后影像。换句话说，针对某一摄影装置，设计者只需要在一开始建立一映射数据做为后续的处理基准即可，不需要在每次拍摄影像时重新寻找形变模式及相对应的校正标准。

以采用图3(D)所示的虚线格线为网格图样的情况为例，步骤S14中的纹理映射处理可包含如图4所示的步骤。首先，步骤S14A为由网格图样的多个N角形中选择一目标N角形，例如图3(D)中的目标四角形T1。步骤S14B为根据该映射数据中该网格图样所对应的映射关系，由该原始影像中找出对应于该目标N角形的一原始N角形，例如图3(E)中的原始四角形T2。接着，步骤S14C为藉由纹理映射处理将该原始N角形映射为该校正后影像中的一N角形区域，例如图3(F)中的四角形区域T3。更明确地说，四角形区域T3为消除形变之后的影像区块，亦即较接近被拍摄物体的真实样貌的影像。为将校正后影像呈现于一显示装置上，需对校正后影像进行裁切以截去其四个角落较不规则的部份，使显示装置最终所呈现的校正后影像仅包含位在图3(F)中央的矩形区域。

摄影装置的拍摄结果(亦即上述原始影像)和该校正后影像通常存在一定的映射关系。如上所述，该映射数据即包含此映射关系。设计者可预先决定该目标四角形T1的四个顶点与该原始影像的对应关系，例如令目标四角形T1的四个顶点各自对应于原始影像中的四个预设座标。在已知这些对应关系的状况下，步骤S14B的详细实施方式可为根据这些预设座标找出原始四角形T2在原始影像中涵盖的范围。

于实际应用中，原始四角形T2的四个顶点可分别为一像素，每一个顶点像素又可各自对应于一组原始影像数据。在找出原始四角形T2之后，步骤S14C的详细实施方式可为根据这四组原始影像数据决定四角形区域T3的至少一校正后影像数据。举例而言，假设四角形区域T3包含M个像素(M为一正整数)，步骤S14C可包含以插补等方式根据原始四角形T2决定该M个像素中的每一个像素各自对应的一组校正后影像数据。或者，步骤S14C可为根据原始四角形T2决定填入四角形区域T3中的至少一影像纹理。

于实际应用中，步骤S14中的纹理映射处理可包含利用纹理过滤决定各像素的影像数据。目前普遍使用的方法是邻近区域插补法(nearest-neighborinterpolation)。此外，双线性插补法(bilinearinterpolation)和三线插补法(trilinearinterpolation)具有可降低失真和锯齿问题的优点，也常被采用。

目前许多交通工具中配备有用以处理多媒体数据或是配合导航装置的立体图像引擎(graphicthree-dimensionengine)，此立体图像引擎即可在原有的功能之外，进一步被用来执行步骤S14中的纹理映射处理。由于纹理映射处理为立体图像引擎中基本的功能，直接利用导航装置中的立体图像引擎来进行纹理映射处理，可省去另外设置专门用以校正影像失真的影像处理晶片的成本。须注意的是，步骤S14中的纹理映射处理可藉由其他图像引擎完成，不以立体图像引擎为限。实务上，立体图像引擎固有的纹理映射、纹理阴影(textureshading)功能和纹理过滤(texturefiltering)等功能都可以用以协助完成步骤S14中的纹理映射处理。

针对网格图样中的各个N角形，上述决定校正后影像数据的程序可被依序重复执行，以找出对应于各个N角形的校正后影像数据，再根据这些数据产生完整的校正后影像，亦即步骤S14的最终结果。

根据本发明的另一具体实施例为如图5所示的影像校正装置50，用以校正一摄影装置所拍摄的一原始影像，影像校正装置50包含一储存模块52和一纹理映射模块54。储存模块52用以储存与该摄影装置相关的一映射数据，该映射数据可被设计为与摄影装置中的光学镜头所造成的影像形变相关，用以补偿、还原光学镜头所造成的影像失真。纹理映射模块54则用以根据该映射数据，透过一纹理映射处理校正该原始影像，以产生一校正后影像。

如先前所述，交通工具中原本即配备有的立体图像引擎可被用以执行该纹理映射处理。易言之，纹理映射模块54可为影像校正装置50所处的系统中固有的立体图像引擎。这种共用硬件的做法可以省去另外设置高阶影像处理晶片的成本。

图6所示为影像校正装置50的一详细实施范例。此范例中的纹理映射模块54包含一选择单元54A和一映射单元54B。选择单元54A用以由映射数据中的网格图样的多个N角形中选择一目标N角形。映射单元54B则用以根据映射数据中的映射关系由该原始影像中找出对应于该目标N角形的一原始N角形，并将该原始N角形映射为该校正后影像中的一N角形区域。

如上所述，本发明提出了一种影像校正方法及影像校正装置，利用纹理映射处理以及针对个别摄影装置预先建立的映射数据，有效校正影像中因摄影装置的光学镜头造成的形变。根据本发明的方法及装置可被广泛应用在各种配备有外部影像监控系统的交通工具中，也可应用于各种存在影像形变问题的摄影系统。

藉由以上较佳具体实施例的详述，以更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。本发明可由熟悉本技术领域者任施匠思而为诸般修饰，皆不脱权利要求书限定的保护范围。

Claims (8)

1.一种影像校正方法，包含下列步骤：

(a)接收由一摄影装置所拍摄的一原始影像；以及

(b)根据与该摄影装置中的一光学镜头所造成的一影像形变相关的一映射数据，透过一立体图像引擎进行纹理映射处理校正该原始影像，以产生一校正后影像，

其中该映射数据是被预先建置、并储存于一储存模块中，其包含多个N角形的数据，N等于3，该纹理映射处理包含下列步骤：

(b1)由这些N角形中选择一目标N角形；

(b2)由该原始影像中找出对应于该目标N角形的一原始N角形；以及

(b3)将该原始N角形映射为该校正后影像中的一N角形区域；

其中该N角形区域包含M个像素，并且步骤(b3)包含根据该原始N角形决定该M个像素中的每一个像素各自对应的一组校正后影像数据，M为一正整数。

2.如权利要求1所述的影像校正方法，其特征在于，该目标N角形包含N个顶点，该N个顶点各自对应于该原始影像中的一预设座标，并且步骤(b2)根据这些预设座标找出该原始N角形。

3.如权利要求1所述的影像校正方法，其特征在于，该原始N角形具有N个顶点像素，每一个顶点像素各自对应于一组原始影像数据，并且步骤(b3)根据该N组原始影像数据决定该N角形区域的至少一校正后影像数据。

4.如权利要求1所述的影像校正方法，其特征在于，步骤(b3)包含根据该原始N角形决定填入该N角形区域中的至少一影像纹理。

5.一种影像校正装置，用以校正一摄影装置所拍摄的一原始影像，包含：

一储存模块，用以储存与该摄影装置中的一光学镜头所造成的一影像形变相关的一映射数据；以及

一纹理映射模块，用以根据该映射数据，透过一纹理映射处理校正该原始影像，以产生一校正后影像，

其中该映射数据包含多个N角形的数据，N等于3，该纹理映射模块为一立体图像引擎且包含：

一选择单元，用以由这些N角形中选择一目标N角形；以及

一映射单元，用以由该原始影像中找出对应于该目标N角形的一原始N角形，并将该原始N角形映射为该校正后影像中的一N角形区域；

其中该N角形区域包含M个像素，并且该映射单元根据该原始N角形决定该M个像素中的每一个像素各自对应的一组校正后影像数据，M为一正整数。

6.如权利要求5所述的影像校正装置，其特征在于，该目标N角形包含N个顶点，该N个顶点各自对应于该原始影像中的一预设座标，并且该映射单元根据这些预设座标找出该原始N角形。

7.如权利要求5所述的影像校正装置，其特征在于，该原始N角形具有N个顶点像素，每一个顶点像素各自对应于一组原始影像数据，并且该映射单元根据该N组原始影像数据决定该N角形区域的至少一校正后影像数据。

8.如权利要求5所述的影像校正装置，其特征在于，该映射单元根据该原始N角形决定填入该N角形区域中的至少一影像纹理。