CN103546678B - 用于校正后置摄像机的图像畸变的装置和方法 - Google Patents
用于校正后置摄像机的图像畸变的装置和方法 Download PDFInfo
- Publication number
- CN103546678B CN103546678B CN201210589818.2A CN201210589818A CN103546678B CN 103546678 B CN103546678 B CN 103546678B CN 201210589818 A CN201210589818 A CN 201210589818A CN 103546678 B CN103546678 B CN 103546678B
- Authority
- CN
- China
- Prior art keywords
- angle
- imaging device
- shooting
- inclination angle
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 111
- 238000012937 correction Methods 0.000 claims abstract description 58
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims 3
- 238000003702 image correction Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007634 remodeling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于校正后置成像设备的图像畸变的装置和方法,包括由处理器分析安装在车辆后部的成像设备的特征;由处理器根据成像设备的特征值设定对应于后置成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角;由处理器通过应用虚拟成像设备的多个拍摄区域的多个倾斜角而生成校正模型;由处理器基于校正模型使虚拟成像设备倾斜;由处理器根据设定的虚拟成像设备的多个拍摄区域的多个倾斜角,对通过后置成像设备拍摄的图像执行视图转换,以生成校正图像;以及由处理器输出校正图像。
Description
技术领域
本发明涉及用于校正后置成像设备的图像畸变的装置和方法,且更具体地,涉及一种用于校正后置成像设备的图像畸变的装置和方法,其通过应用取决于后置成像设备的特征值根据多个拍摄区域设定的虚拟成像设备的倾斜角而生成用于图像校正的校正模型,并基于该校正模型校正后置成像设备的拍摄图像的畸变。
背景技术
车辆的后置成像设备提供驾驶者可能不可见的后方区域的图像。特别地,后置成像设备利用具有大视角的广角镜头或鱼眼镜头向驾驶者提供覆盖更广区域的信息。广角镜头具有比标准镜头明显更短的焦距,并具有大约60度至120度的视角。作为超广角镜头的鱼眼镜头具有大约180度或更大的视角。特别地,鱼眼镜头被制造成通过生成筒形畸变关于大约180度或更大的整个视角维持均匀的亮度和清晰度。鱼眼镜头聚焦于对象的中心拍摄对象并使周围区域畸变。换言之,鱼眼镜头可获得广域图像。特别地,对于车辆,通过利用鱼眼镜头可向驾驶者提供更多车辆后方区域的信息。另外,当鱼眼镜头应用于图像手机时,可在短距离内拍摄宽视角。
然而,通过具有广角镜头或鱼眼镜头的后置成像设备拍摄的图像会发生畸变。特别地,畸变程度会从图像的中心向周边增加。因此,通过后置成像设备提供的畸变图像不能准确地描述所拍摄的区域。因此,驾驶者可能不能正确地识别车辆后方的状态。
作为校正这种镜头畸变的方法,可安装校正镜头来校正镜头畸变,或者可使用软件校正畸变的图像。因为安装附加的校正镜头会增加成像设备的制造成本,所以常规上使用了软件方法。
在现有技术中,可选择网格型测试图并手动校正成像设备的畸变校正系数,直到显示无畸变的图像。换言之,重复地执行通过从图像的中心径向拖曳测试图像的角部并校正被改变图像的内容而改变图像的轮廓,直到消除畸变。在另一现有技术中,可通过在接收图像时设定镜头畸变变量并增加或减少图像畸变变量的范围,从畸变的原始图像获得校正畸变的图像。
然而,根据用于数字图像的几何畸变校正的常规技术,驾驶者必须手动校正畸变校正系数。
发明内容
本发明提供了一种用于校正后置成像设备的图像畸变的装置和方法,其可通过应用取决于通过后置成像设备所拍摄图像的光学特征和后置成像设备的安装特征的成像设备特征值而生成用于图像校正的校正模型,并通过将所拍摄图像应用于校正模型而校正后置成像设备的图像畸变。
本发明还提供了一种用于校正后置成像设备的图像畸变的装置和方法,其可通过将对应于后置成像设备的虚拟成像设备的拍摄区域划分为多个区域并设定所划分区域的倾斜角,而使后置成像设备的盲区最小化并扩大驾驶者的可视区域。
根据本发明的一个实施例,提供了一种用于校正后置成像设备的图像畸变的装置。该装置可包括由具有存储器的控制器内的处理器执行的多个单元。该多个单元包括:倾斜角设定单元,其分析安装在车辆后部的成像设备的特征,并根据成像设备的特征值设定对应于成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角;校正模型生成单元,其通过应用虚拟成像设备的拍摄区域的倾斜角而生成校正模型;图像校正单元,其基于校正模型使虚拟成像设备倾斜,并根据所设定的虚拟成像设备的拍摄区域的倾斜角对通过成像设备拍摄的图像执行视图转换,以生成校正图像;以及图像输出单元,其输出由图像校正单元生成的校正图像。
各个倾斜角可以是当平行于地平线的方向被设定为0(零)度时从地平线沿向上方向(-)或向下方向(+)倾斜的角度。
倾斜角设定单元可基于预设的基准角,由处理器将上部固定区域的倾斜角固定为该基准角,并将下部可变区域的倾斜角可变地设定在基准角与预设的最大角之间的范围内。
当设定可变区域的倾斜角时,倾斜角设定单元可通过处理器将可变区域在竖直方向上分类为多个区域,并使倾斜角从可变区域的上侧至可变区域的下侧增加。
校正模型可具有根据虚拟成像设备的拍摄区域分类的形状,并可在存储器中存储对应于各个区域的拍摄区域的像素值和倾斜角中的至少一个设定值。
成像设备的特征值可包括下列中的至少一项:可布置成像设备的位置、拍摄方向、成像设备的镜头的焦距、视角和光学中心点。
根据本发明的另一实施例,提供了一种用于校正后置成像设备的图像畸变的方法。该方法可包括:由处理器分析安装在车辆后部的成像设备的特性,并且由处理器根据成像设备的特征值设定对应于成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角;由处理器通过应用虚拟成像设备的拍摄区域的倾斜角而生成校正模型;由处理器基于校正模型使虚拟成像设备倾斜,并且通过根据所设定的虚拟成像设备的拍摄区域的倾斜角对通过成像设备拍摄的图像执行视图转换而生成校正图像;以及由处理器输出在生成校正图像的处理中所生成的校正图像。
各个倾斜角可以是当平行于地平线的方向被设定为0(零)度时从地平线沿向上方向(-)或向下方向(+)倾斜的角度。
设定多个倾斜角的处理可包括,基于预设的基准角,由处理器将上部固定区域的倾斜角固定为该基准角,并将下部可变区域的倾斜角可变地设定在基准角与预设的最大角之间的范围内。
当设定可变区域的倾斜角时,设定倾斜角的处理可包括由处理器将可变区域在竖直方向上分类为多个区域,并将倾斜角设定成从可变区域的上侧至可变区域的下侧增加。
根据示例性实施例,可由处理器通过应用取决于通过后置成像设备所拍摄图像的光学特征和后置成像设备的安装特征的特征值而生成用于图像校正的校正模型,并可通过将所拍摄图像应用于校正模型而校正所拍摄图像的畸变。
另外,根据示例性实施例,可由处理器将对应于后置成像设备的虚拟成像设备的拍摄区域分类成多个区域,并可设定这些区域的倾斜角。此外,可由处理器取决于所设定的倾斜角根据多个区域使虚拟成像设备倾斜。因此,可校正地平线在水平方向上的弯曲或水平方向的线成分的弯曲,从而使竖直对象的畸变最小化,并且可以扩大原始图像的外部的视野,从而使盲区最小化。
附图说明
通过以下结合附图进行的详细说明,本发明的目的、特征和优点将会更加明显,在附图中:
图1是示出根据本发明的示例性实施例的用于校正后置成像设备的图像畸变的装置的构造的框图;
图2是示出根据本发明的示例性实施例的提取后置成像设备的特征值的操作的示例性视图;
图3是示出根据本发明的示例性实施例的校正模型的示例性视图;
图4是示出根据本发明的示例性实施例通过应用校正模型执行所拍摄图像的视图转换的实例的示例性视图;
图5和图6是示出根据本发明的示例性实施例通过应用校正模型校正所拍摄图像的畸变的实例的示例性视图;并且
图7是示出根据本发明的示例性实施例的用于校正后置成像设备的图像畸变的方法的示例性流程图。
附图中的各个元件的附图标记
1:后置成像设备
10:控制器
11:处理器
12:图像输入单元
13:图像输出单元
14:存储器
15:成像设备特征提取单元
16:倾斜角设定单元
17:校正模型生成单元
18:图像校正单元
具体实施方式
虽然示例性实施例被描述成利用多个单元执行示例性处理,但是可以理解示例性处理也可由一个或多个模块执行。此外,可以理解的是,术语控制器是指包括存储器和处理器的硬件设备。存储器配置为存储模块,并且处理器具体配置为执行所述模块,以执行以下进一步说明的一个或多个处理。
此外,本发明的控制逻辑可实施为包含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的实例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质还可分布在网络连接的计算机系统中,以便计算机可读介质例如通过远程信息处理服务器或控制器局域网(CAN),以分布方式存储和执行。
本文所使用的术语仅为了说明特定的实施例,而不意在限制本发明。如本文所使用的,单数形式“一”、“一个”和“该”意在同样包括复数形式,除非上下文另有明确表明之外。还将理解的是,当在本说明书中使用时,词语“包含”和/或“包括”具体指所述特征、整体、步骤、操作、元件和/或组件的存在,但是不排除一个或更多其他特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。如本文所使用的,词语“和/或”包括一个或更多相关列出项目的任何和所有组合。
现在将详细参考本发明的各种示例性实施例,其实例在附图中示出并在以下予以说明。在附图中相同的附图标记表示相同的元件。在本发明的实施例的说明中当确定相关公开中的结构或功能的详细说明中断对实施例的理解时,将省略该详细说明。
可以理解的是,本文所使用的术语“车辆”或“车辆的”或者其他相似术语包括一般的机动车辆,例如包括运动型多功能车(SUV)、客车、货车、各种商用车辆在内的载客车辆、包括各种艇和船在内的水运工具、以及飞行器等等,并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他代用燃料车辆(例如,从石油以外的资源获得的燃料)。如本文所提及的,混合动力车辆是具有两种或更多种动力源的车辆,例如同时具是汽油动力和电动力的车辆。
图1是示出根据本发明的用于校正后置成像设备的图像畸变的装置的构造的示例性框图。
参照图1,根据示例性实施例的用于校正后置成像设备的图像畸变的装置(在下文中,称为图像畸变校正装置)可包括由具有存储器14的控制器10内的处理器11执行的多个单元。该多个单元可包括:图像输入单元12、图像输出单元13、成像设备特征提取单元15、倾斜角设定单元16、校正模型生成单元17和图像校正单元18。处理器11可控制图像畸变校正装置的各个单元的操作。
图像输入单元12可与布置在车辆后部的成像设备连接,换言之,后置成像设备1可实时拍摄图像,其中图像输入单元可通过处理器采集图像。通过图像输入单元12输入的图像可以是通过后置成像设备1拍摄的原始图像。
图像输出单元13可与显示单元5例如布置在车辆中的监视器或导航系统连接,以通过处理器将由图像校正单元18生成的校正图像输出至显示单元5。
存储器14或控制器10可存储安装在车辆中的后置成像设备1的特征信息、校正系数、和用于校正图像畸变的设定值。此外,存储器14可存储通过校正模型生成单元17生成的校正模型。
成像设备特征提取单元15可通过处理器基于预设的数学模型分析安装于车辆后部的成像设备的特征,并可提取成像设备的特征值。
当提取成像设备的特征值时,成像设备特征提取单元15可由处理器通过考虑成像设备的安装特征(例如,成像设备的安装位置和拍摄方向的方向坐标(x,y,z)等)和光学特征(例如,后置成像设备的镜头的视角、焦距、光学中心点等),来提取成像设备的特征值。所提取的成像设备的特征值可用于生成对应于成像设备的虚拟成像设备和设定虚拟成像设备的拍摄区域的倾斜角。
倾斜角设定单元16可由处理器通过应用在成像设备特征提取单元15中提取的成像设备的特征值,来设定虚拟成像设备的区域的倾斜角。
可由处理器基于预设的基准角将虚拟成像设备的拍摄区域分类成上部固定区域和下部可变区域,并且可变区域可被进一步分类成多个区域。此外,当将平行于地平线的方向设定为0(零)度时,倾斜角可以是关于地平线沿向上方向(-)或向下方向(+)倾斜的角度。
倾斜角设定单元16可通过处理器将固定区域的倾斜角设定成对应于预设的基准角,并可将可变区域的倾斜角设定成从基准角至预设的最大角的范围内的值。基准角可设定为范围从-10度至5度的值。然而,其不限于此。在下文中,示例性实施例示出基准角被设定为0(零)度。
在此实施例中,与虚拟成像设备的拍摄区域的上侧对应的固定区域的倾斜角被固定为基准角,能够使拍摄图像上的竖直对象的畸变最小化,使水平方向上的线成分的弯曲最小化,并且使外部视野变宽。
当设定可变区域的倾斜角时,倾斜角设定单元16使划分为多个区域的可变区域的倾斜角从可变区域的上侧至可变区域的下侧增加。因此,由于与虚拟成像设备的拍摄区域的下部区域对应的可变区域的倾斜角从地平线朝向下侧增加,因此可在短距离确保宽视角。
作为实例,假设基准角为0(零)度,并且可变区域被分类为三个区域,其中最上部区域是第一区域,第一区域下方的区域是第二区域,且最下部区域是第三区域,则固定区域的倾斜角可固定为0(零)度,并且在可变区域中,第一区域至第三区域可分别设定为5度、11度和18度。最大倾斜角可等于或大于18度,并且倾斜角可取决于设置在车辆后部的成像设备的特征值而改变。
校正模型生成单元17根据之前由倾斜角设定单元16设定的拍摄区域的倾斜角生成校正模型。由于固定区域的倾斜角被固定为0度的基准角,因此可变区域的倾斜角朝向下侧变大,校正模型具有下侧弯曲的筒形。当基准角低于0(零)度时,校正模型可具有上侧和下侧均弯曲的筒形。校正模型的具体实例参见图3。
图像校正单元18可由处理器将通过后置成像设备拍摄的图像应用于校正模型生成单元所生成的校正模型,以对通过后置成像设备1拍摄的图像执行视图转换,并可由处理器生成校正图像。此外,图像校正单元18可由处理器基于校正模型控制相应于后置成像设备1生成的虚拟成像设备。在图像校正单元18的控制下,可由处理器根据拍摄区域的倾斜角使虚拟成像设备倾斜,使得可获得拍摄区域的校正图像。
例如,在假设基准角为0(零)度的情况下,当通过后置成像设备1拍摄的图像在竖直方向上被分类为六个区域时,最大角可为25度。此外,虚拟成像设备可分别通过将倾斜角设定为0(零)度对第一区域和第二区域执行视图转换、通过将倾斜角设定为5度对第三区域执行视图转换、通过将倾斜角设定为11度对第四区域执行视图转换、通过将倾斜角设定为17度对第五区域执行视图转换、以及通过将倾斜角设定为25度对第六区域执行视图转换。因此,图像校正单元18可由处理器获得六个区域的校正图像。
在图像校正单元18中获得的校正图像可由处理器经过图像输出单元13输出至车辆的显示单元5。驾驶者可通过显示单元5上所示的校正图像正确地观察车辆后方。
图2是说明根据示例性实施例的提取后置成像设备的特征值的操作的示例性视图。
参照图2,(a)示出安装在车辆后部的后置成像设备。图像畸变校正装置可基于(b)中所示的数学模型,由处理器根据(c)中所示的成像设备的安装位置和位置信息分析(a)的后置成像设备1的特征。另外,图像畸变校正装置可分析(d)中所示的广角成像设备的传感器和镜头的特征。
图像畸变校正装置可由处理器基于位置信息以及传感器和镜头特征的分析结果,提取(e)中所示的成像设备的特征值。取决于成像设备的安装位置和位置信息的特征值可包括坐标信息(x,y,z)和拍摄方向信息等。成像设备的传感器和镜头的特征值可包括镜头的视角、焦距、光学中心点信息等。
图3是示出根据示例性实施例的校正模型的实例的示例性视图。
参照图3,校正模型可以是筒形模型,并可通过将基准角设定为0(零)度而具有下侧弯曲的形状。换言之,图像畸变校正装置可由处理器设定虚拟成像设备的拍摄区域的倾斜角,使得固定区域的倾斜角被设定为0(零)度的基准角,并且可变区域被设定在从0度至最大角α度的范围内。
此外,可变区域可由处理器进一步分类成具有不同的区域倾斜角的多个区域,使得倾斜角可被设定为从可变区域的上侧朝向可变区域的下侧显著变大。例如,在假设最大角α为25度的情况下,可变区域可被分类成四个拍摄区域,并且从可变区域的上侧至可变区域的下侧,第一区域、第二区域、第三区域和第四区域的倾斜角可被分别设定为0(零)度、5度、15度和25度。因此,由于校正模型的倾斜角可具有从地平线朝向可变区域的下侧增加的斜率,所以校正模型可具有下侧弯曲的筒形。当基准角如上所述被设定为0度以下时,校正模型可具有上侧和下侧均弯曲的筒形。
校正模型可具有根据虚拟成像设备的拍摄区域分类的形状,并且设定值可由处理器存储在存储器中,例如,对应于各区域的各拍摄区域的像素值、倾斜角等可被存储为设定值。
图4是示出应用图3中所示的校正模型对拍摄区域执行视图转换的实例的示例性视图。
参照图4,当通过后置成像设备拍摄图像时,图像畸变校正装置可通过处理器使虚拟成像设备倾斜,并可基于图3的校正模型M对拍摄区域执行视图转换。
例如,在假设在可变区域中从上侧向下侧,第一区域至第四区域的倾斜角被分别设定为0度、5度、15度和25度的情况下,虚拟成像设备可基于校正模型M对相应于所拍摄图像的固定区域的图像执行视图转换,使得该区域可具有0度的倾斜角。
此外,虚拟成像设备可基于校正模型M由处理器对相应于所拍摄图像中的可变区域的第一区域的图像执行视图转换,使得相应于第一区域的图像的斜率成为0(零)度。另外,虚拟成像设备可基于校正模型M对相应于所拍摄图像中的可变区域的第二区域至第四区域的多个图像执行视图转换,使得相应于第二区域至第四区域的多个图像的斜率分别成为5度、15度和25度。
因此,图像畸变校正装置可由处理器获得校正图像,其可以是所拍摄图像中的固定区域和可变区域的第一区域至第四区域的最终图像。
图5和图6是示出根据示例性实施例通过应用校正模型校正所拍摄图像的畸变的实例的示例性视图。
参照图5和图6,(a)示出通过后置成像设备拍摄的原始图像且(b)示出原始图像的校正图像。而且,图5示出校正图像的具体校正项。
如图5和图6的(a)中所示,通常原始图像中的对象可以是关于地面或底面的竖直对象(例如,人、安全腿、三脚架等)。然而,由于广角镜头的特性,原始图像可显示对象处于倾斜位置或弯曲位置。另外,地面的边界线,即地平线,通常是水平方向的直线。然而,由于广角镜头的特性,可显示从中部向左右两侧弯曲的地平线。
在此实施例中,可捕获中部的视野。然而,由于在以广角范围获得的图像中左右两端的视野会很窄,因此驾驶者会观察不到后部环境的准确描绘。因此,图像畸变校正装置可通过处理器生成用于校正竖直对象、地平线等的形状和位置的校正模型。
换言之,图像畸变校正装置可通过处理器将对应于后置成像设备的虚拟成像设备的拍摄区域分类成多个区域,并可基于后置成像设备的特征值,即方位和位置的特征值及光学特性值,设定拍摄区域的倾斜角。
结果,图像畸变校正装置可根据校正模型通过处理器使对应于后置成像设备的虚拟成像设备倾斜,并可对拍摄区域的原始图像执行视图转换,从而获得如图5和图6的(b)中所示的校正畸变的图像。
而且,图像畸变校正装置可通过处理器在校正模型中设定不同的虚拟成像设备的拍摄区域的倾斜角。特别地,图像畸变校正装置可将固定区域的倾斜角设定成与基准角一致。由此,图像畸变校正装置可通过处理器获得其中考虑了固定区域内的倾斜角、竖直对象的曲率、地平线等的校正图像。如图5的(b)中所示,对象可如①所示竖直,并且地平线可如②所示校正为水平方向上基本线性的直线。
图像畸变校正装置可通过处理器将固定区域的倾斜角设定成与基准角一致,并可将作为下部区域的可变区域的倾斜角设定为从基准角至最大角的范围内的值。换言之,图像畸变校正装置可将可变区域的倾斜角设定成从可变区域的上侧向可变区域的下侧增加,以便获得宽视角。如图5的(b)中所示,可校正原始图像,使得如③所示扩大左右外部的视野。在此实施例中,可为驾驶者提供范围宽的图像,从而使盲区最小化。
因此,驾驶者可通过图5和图6中所示的校正图像准确地观察后部环境。
以下,将更详细地说明根据示例性实施例的具有上述构造的后置成像设备的图像畸变校正装置的方法。
图7是示出根据示例性实施例的用于校正后置成像设备的图像畸变的方法的示例性流程图。
参照图7,根据示例性实施例的后置成像设备的图像畸变校正装置可基于预设的数学模型由处理器分析安装在车辆后部的成像设备的特性(S100),并可提取后置成像设备的特征值(S110)。此外,步骤S100中的处理可由处理器分析根据成像设备安装位置和方向的安装特性以及如广角镜头、传感器等设备的光学特性。因此,步骤S100中的处理可提取成像设备的特征值,用于计算原始图像上的区域的视图转换角。
随后,图像畸变校正装置可由处理器通过应用在步骤S110中提取的成像设备的特征值,设定对应于后置成像设备的虚拟成像设备的拍摄区域的多个倾斜角(S120)。
此外,当平行于地平线的方向被设定为0(零)度时,虚拟成像设备的拍摄区域的倾斜角可以是从地平线向上侧方向(-)或下侧方向(+)倾斜的角。另外,在虚拟成像设备的拍摄区域分类成固定区域和可变区域的状态下,步骤S120中的处理可基于基准角,由处理器将固定区域的倾斜角设定为基准角,并可将可变区域的倾斜角设定为从基准角至预设的最大角的范围内的值。具体地,当设定可变区域的倾斜角时,可由处理器将可变区域在竖直方向上分类成多个区域,因此倾斜角可被设定成从可变区域的上侧向可变区域的下侧增加。
图像畸变校正装置可由处理器通过应用在步骤S120中计算的虚拟成像设备的拍摄区域的倾斜角而生成用于校正拍摄图像的校正模型(S130)。
因此,图像畸变校正装置可由处理器通过将成像设备的拍摄图像应用于在步骤S130中生成的校正模型,校正成像设备的拍摄图像的畸变(S140)。图像畸变校正装置可基于校正模型由处理器根据拍摄区域倾斜虚拟成像设备,并通过倾斜虚拟成像设备对拍摄区域的拍摄图像执行视图转换。从而校正拍摄图像(S150)。
随后,图像畸变校正装置可由处理器通过布置在车辆中的显示单元显示在步骤S150中获得的校正图像(S160)。
尽管图7中未示出,图像畸变校正装置还可由处理器生成用于补偿在步骤S150中校正拍摄图像的畸变时出现的差异的补偿模型,并可将校正图像应用于补偿模型以生成最终的输出图像。
如上所述,已参照附图说明了根据示例性实施例的用于校正后置成像设备的图像畸变的装置和方法。然而,本发明不受说明书和附图中公开的示例性实施例的限制,在本发明构思的保护范围内,将明显可见本发明的范围和精神内的各种替换形式、改型和变型。
为了例示和说明的目的,已给出了本发明的示例性实施例的前述说明。其并非意在穷举或将本发明限制于所公开的精确形式,并且在以上教导的启示之下,显然多种改型和变化是可能的。选择和说明示例性实施例是为了解释本发明的某些原理及其实际应用,从而使本领域的其他技术人员能够做出和利用本发明的各种示例性实施例及其各种替换形式和改型。意在由所附权利要求及其等效形式来限定本发明的保护范围。
Claims (15)
1.一种用于校正后置成像设备的图像畸变的装置,所述装置包括:
处理器,其配置成:
分析安装在车辆后部的成像设备的特征;
将虚拟成像设备的拍摄区域分类成多个拍摄区域,所述虚拟成像设备在拍摄图像的虚拟坐标范围内对安装在车辆后部的所述成像设备拍摄的图像执行视图转换;
为每个拍摄区域执行拍摄图像的视角转换;
根据所述后置成像设备的特征值,设定对应于所述后置成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角;
通过将所述多个倾斜角应用于所述虚拟成像设备的多个拍摄区域而生成校正模型;
基于所述校正模型使所述虚拟成像设备倾斜;
根据设定的所述虚拟成像设备的多个拍摄区域的多个倾斜角,对通过所述后置成像设备拍摄的图像执行视图转换,以生成校正图像;以及
输出所述校正图像,
其中,为所述多个拍摄区域设定多个倾斜角的步骤包括:
将所述多个拍摄区域中的上部固定区域的每个倾斜角固定为预设的基准角;
将下部可变区域在竖直方向上分类成多个区域;以及
从可变区域的上侧向其下侧增加各个倾斜角。
2.根据权利要求1所述的装置,其中各个倾斜角是当平行于地平线的方向被设定为0度时从地平线沿向上方向(-)或向下方向(+)倾斜的角度。
3.根据权利要求1所述的装置,其中所述处理器还配置成:
基于预设的基准角设定各个倾斜角;
将上部固定区域的各个倾斜角固定为所述基准角;以及
将下部可变区域的各个倾斜角设定在从所述基准角至预设的最大角的范围内。
4.根据权利要求1所述的装置,其中所述校正模型具有根据所述虚拟成像设备的多个拍摄区域分类的形状。
5.根据权利要求4所述的装置,其中所述处理器还配置成在所述校正模型中应用选自以下的至少一个设定值:对应于各个区域的拍摄区域的像素值和倾斜角。
6.根据权利要求1所述的装置,其中所述成像设备的特征值选自以下的至少一项:所述成像设备的位置、拍摄方向、所述成像设备的镜头的焦距、视角和光学中心点。
7.一种用于校正后置成像设备的图像畸变的方法,所述方法包括:
由处理器分析安装在车辆后部的成像设备的特征;
由处理器将虚拟成像设备的拍摄区域分类成多个拍摄区域,所述虚拟成像设备在拍摄图像的虚拟坐标范围内对安装在车辆后部的所述成像设备拍摄的图像执行视图转换;
由处理器为每个拍摄区域执行拍摄图像的视角转换;
由所述处理器根据所述成像设备的特征值,设定对应于所述后置成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角;
由所述处理器通过应用所述虚拟成像设备的多个拍摄区域的多个倾斜角而生成校正模型;
由所述处理器基于所述校正模型使所述虚拟成像设备倾斜;
由所述处理器根据设定的所述虚拟成像设备的多个拍摄区域的多个倾斜角,对通过所述后置成像设备拍摄的图像执行视图转换,以生成校正图像;以及
由所述处理器输出所述校正图像,
其中,为所述多个拍摄区域设定多个倾斜角的步骤包括:
由处理器将所述多个拍摄区域中的上部固定区域的每个倾斜角固定为预设的基准角;
由处理器将下部可变区域在竖直方向上分类成多个区域;以及
由处理器从可变区域的上侧向其下侧增加各个倾斜角。
8.根据权利要求7所述的方法,其中各个倾斜角是当平行于地平线的方向被设定为0度时从地平线沿向上方向(-)或向下方向(+)倾斜的角度。
9.根据权利要求7所述的方法,其中设定所述多个倾斜角的处理还包括:
由所述处理器将上部固定区域的各个倾斜角固定为预设的基准角;以及
由所述处理器将下部可变区域的各个倾斜角设定在从所述基准角至预设的最大角的范围内。
10.一种包含由处理器执行的程序指令的非暂时性计算机可读介质,所述计算机可读介质包括:
分析安装在车辆后部的成像设备的特征的程序指令;
将虚拟成像设备的拍摄区域分类成多个拍摄区域的程序指令,所述虚拟成像设备在拍摄图像的虚拟坐标范围内对安装在车辆后部的所述成像设备拍摄的图像执行视图转换;
为每个拍摄区域执行拍摄图像的视角转换的程序指令;
根据所述成像设备的特征值设定对应于所述成像设备的虚拟成像设备的多个拍摄区域的多个倾斜角的程序指令;
通过将所述多个倾斜角应用于所述虚拟成像设备的多个拍摄区域而生成校正模型的程序指令;
基于所述校正模型使所述虚拟成像设备倾斜的程序指令;
根据设定的所述虚拟成像设备的多个拍摄区域的多个倾斜角对通过所述成像设备拍摄的图像执行视图转换以生成校正图像的程序指令;以及
输出所述校正图像的程序指令,
其中,为所述多个拍摄区域设定多个倾斜角的步骤包括:
将所述多个拍摄区域中的上部固定区域的每个倾斜角固定为预设的基准角;
将下部可变区域在竖直方向上分类成多个区域;以及
从可变区域的上侧向其下侧增加各个倾斜角。
11.根据权利要求10所述的非暂时性计算机可读介质,其中各个倾斜角是当平行于地平线的方向被设定为0度时从地平线沿向上方向(-)或向下方向(+)倾斜的角度。
12.根据权利要求10所述的非暂时性计算机可读介质,其中所述计算机可读介质还包括:
基于预设的基准角设定各个倾斜角的程序指令;
将上部固定区域的各个倾斜角固定为所述基准角的程序指令;以及
将下部可变区域的各个倾斜角设定在从所述基准角至预设的最大角的范围内的程序指令。
13.根据权利要求10所述的非暂时性计算机可读介质,其中所述校正模型具有根据所述虚拟成像设备的多个拍摄区域分类的形状。
14.根据权利要求13所述的非暂时性计算机可读介质,其中所述计算机可读介质还包括在所述校正模型中应用选自以下的至少一个设定值的程序指令:对应于各个区域的拍摄区域的像素值和倾斜角。
15.根据权利要求10所述的非暂时性计算机可读介质,其中所述成像设备的特征值选自以下的至少一项:所述成像设备的位置、拍摄方向、所述成像设备的镜头的焦距、视角和光学中心点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120074668A KR101428169B1 (ko) | 2012-07-09 | 2012-07-09 | 후방 카메라의 영상 왜곡 보정 장치 및 방법 |
KR10-2012-0074668 | 2012-07-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103546678A CN103546678A (zh) | 2014-01-29 |
CN103546678B true CN103546678B (zh) | 2018-01-09 |
Family
ID=49780755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210589818.2A Active CN103546678B (zh) | 2012-07-09 | 2012-12-28 | 用于校正后置摄像机的图像畸变的装置和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8837858B2 (zh) |
JP (1) | JP6157107B2 (zh) |
KR (1) | KR101428169B1 (zh) |
CN (1) | CN103546678B (zh) |
DE (1) | DE102012223373A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10438331B2 (en) * | 2014-06-26 | 2019-10-08 | Intel Corporation | Distortion meshes against chromatic aberrations |
US9621798B2 (en) * | 2014-07-07 | 2017-04-11 | GM Global Technology Operations LLC | Grid-based image resolution enhancement for video processing module |
KR101592740B1 (ko) | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
KR101676161B1 (ko) * | 2015-03-31 | 2016-11-15 | 멀티펠스 주식회사 | 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법 |
JP6819514B2 (ja) * | 2017-08-28 | 2021-01-27 | トヨタ自動車株式会社 | 画像処理装置及び撮像装置 |
CN107645634A (zh) * | 2017-10-09 | 2018-01-30 | 深圳市天视通电子科技有限公司 | 一种无畸变广角网络摄像机及安防监控系统 |
US10937124B2 (en) * | 2017-12-25 | 2021-03-02 | Canon Kabushiki Kaisha | Information processing device, system, information processing method, and storage medium |
CN109829857B (zh) * | 2019-01-22 | 2021-07-06 | 武汉大学 | 一种基于生成对抗网络的倾斜图像的矫正方法及装置 |
CN115174896B (zh) * | 2022-07-26 | 2023-05-23 | 华夏城视网络电视股份有限公司 | 一种双摄像头位置校正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102620A (ja) * | 2006-10-17 | 2008-05-01 | Toyota Motor Corp | 画像処理装置 |
JP2008131176A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | カメラ校正装置 |
CN101410868A (zh) * | 2006-03-27 | 2009-04-15 | 三洋电机株式会社 | 驾驶辅助装置 |
CN101448065A (zh) * | 2007-08-27 | 2009-06-03 | 韩国科亚电子股份有限公司 | 校正图像失真的方法以及使用该方法处理图像的装置 |
CN101873428A (zh) * | 2009-04-22 | 2010-10-27 | 佳能株式会社 | 图像处理装置及图像处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5027104A (en) * | 1990-02-21 | 1991-06-25 | Reid Donald J | Vehicle security device |
KR100596976B1 (ko) * | 2004-11-08 | 2006-07-05 | (주)아이디스 | 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템 |
JP4268206B2 (ja) | 2007-09-21 | 2009-05-27 | 富士通株式会社 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
JP5305750B2 (ja) | 2008-06-18 | 2013-10-02 | アルパイン株式会社 | 車両周辺表示装置およびその表示方法 |
US8886206B2 (en) * | 2009-05-01 | 2014-11-11 | Digimarc Corporation | Methods and systems for content processing |
KR101045143B1 (ko) * | 2009-07-02 | 2011-06-30 | 고려대학교 산학협력단 | 탑 뷰 영상 보정 시스템 및 그 방법 |
KR101259550B1 (ko) * | 2010-06-03 | 2013-04-30 | 한국전자통신연구원 | 원근왜곡 보정을 통한 영상대조 방법 및 장치 |
KR20120012272A (ko) | 2010-07-30 | 2012-02-09 | (주)엠아이웨어 | 왜곡 영상 보정 기능을 갖는 영상 처리 장치 |
-
2012
- 2012-07-09 KR KR1020120074668A patent/KR101428169B1/ko active IP Right Grant
- 2012-12-03 US US13/692,164 patent/US8837858B2/en active Active
- 2012-12-17 DE DE102012223373.3A patent/DE102012223373A1/de active Pending
- 2012-12-21 JP JP2012278968A patent/JP6157107B2/ja active Active
- 2012-12-28 CN CN201210589818.2A patent/CN103546678B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101410868A (zh) * | 2006-03-27 | 2009-04-15 | 三洋电机株式会社 | 驾驶辅助装置 |
JP2008102620A (ja) * | 2006-10-17 | 2008-05-01 | Toyota Motor Corp | 画像処理装置 |
JP2008131176A (ja) * | 2006-11-17 | 2008-06-05 | Aisin Seiki Co Ltd | カメラ校正装置 |
CN101448065A (zh) * | 2007-08-27 | 2009-06-03 | 韩国科亚电子股份有限公司 | 校正图像失真的方法以及使用该方法处理图像的装置 |
CN101873428A (zh) * | 2009-04-22 | 2010-10-27 | 佳能株式会社 | 图像处理装置及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140010474A1 (en) | 2014-01-09 |
KR20140007212A (ko) | 2014-01-17 |
KR101428169B1 (ko) | 2014-08-07 |
DE102012223373A1 (de) | 2014-01-09 |
US8837858B2 (en) | 2014-09-16 |
JP6157107B2 (ja) | 2017-07-05 |
JP2014017802A (ja) | 2014-01-30 |
CN103546678A (zh) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103546678B (zh) | 用于校正后置摄像机的图像畸变的装置和方法 | |
CN109688392B (zh) | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 | |
KR101956149B1 (ko) | 이미지 사이의 광학 흐름의 효율적 결정 | |
CN109118542B (zh) | 激光雷达与相机之间的标定方法、装置、设备及存储介质 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
EP2437494B1 (en) | Device for monitoring area around vehicle | |
CN111223053A (zh) | 基于深度图像的数据增强方法 | |
KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
CN103426147B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
JP2015106785A (ja) | カメラ校正装置 | |
KR20080034797A (ko) | 헤드업 디스플레이 시스템용 보정 기술 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
CN111680685B (zh) | 一种基于图像的定位方法、装置、电子设备及存储介质 | |
CN112330755B (zh) | 环视系统的标定评价方法及装置、存储介质、终端 | |
CN109360144B (zh) | 一种基于手机平台的图像实时校正改进方法 | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
CN111405263A (zh) | 一种双摄像头结合共用于增强抬头显示的方法及系统 | |
CN110876053A (zh) | 图像处理装置、驾驶支援系统及记录介质 | |
CN111652937B (zh) | 车载相机标定方法和装置 | |
CN104754316A (zh) | 一种3d成像方法、装置及成像系统 | |
CN112016568A (zh) | 一种目标对象的图像特征点的跟踪方法及装置 | |
CN115713678A (zh) | 一种箭头图片数据增广方法、系统、电子设备及存储介质 | |
JPH1151611A (ja) | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 | |
US20070242876A1 (en) | Image Processing Apparatus, Image Processing Method, and Program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |