CN103530626A - 自动校正鸟瞰影像方法 - Google Patents

Abstract

本发明提供一种自动校正鸟瞰影像方法，将车辆移动至鸟瞰对准图案上，以撷取车辆周围多个鸟瞰对准影像，并进行影像扭曲校正，以形成校正影像，再对校正影像自动进行影像对准补偿后，搜寻校正影像的角点以转换视角，形成视角转换影像，并搜寻视角转换影像的角点，以进行影像缝合，形成一全景鸟瞰影像，并得出全景鸟瞰影像的对应参数。本发明可进行自动影像对准，并自动侦测角点以缝合车辆周围影像，形成一全景鸟瞰影像。

Description

自动校正鸟瞰影像方法

技术领域

本发明涉及一种鸟瞰影像缝合技术，特别是指一种应用于车辆周围鸟瞰的自动校正鸟瞰影像方法。

背景技术

摄影机的成本日渐下降，摄影器材已见于汽车辅助开车装置中，而由于驾驶者无法同时监视多个摄影画面，所以有技术人员将摄影的原始影像整合转换成一车顶俯视的二维环场鸟瞰画面，较为符合人眼视觉习惯且进一步克服人眼视线的限制。现今一般欲实现全周鸟瞰影像校正需经过扭曲校正、视点转换与影像缝合三个主要步骤，但在一般现有技术的三步骤执行过程中，皆须经由人工的介入判断，并做相关的参数设定才可实施流程，在使用上不仅耗时且缺乏便利性。此外，全周鸟瞰影像校正的准确度更会依摄影机的装配误差大小而改变，因此在装配误差的情况下，校正的效果将会大打折扣。

如中国台湾专利编号：I320756，以鱼眼镜头拍摄车辆四周景物，通过扭曲校正、视点转换、影像缝合，以得到单个鸟瞰影像，其中视点转换通过平面转换矩阵(planar homo-graphy matrix)，以进行视点转换，再搜寻两部摄影机相邻区域的相似特征点以进行影像缝合，但本发明则以区块匹配方式，自动搜寻特征点，使鸟瞰影像校正流程自动化，即使每部车辆的摄影机安装位置和角度有误差，依旧能自动修正。

如中国台湾专利编号：201103787，利用一映射表以将车辆周围影像经过影像扭曲、影像校正、影像缝合后转换为一鸟瞰影像，但前案在扭曲校正、视点转换与影像缝合的执行过程中皆须人工介入做参数设定，但本发明可提出自动角点搜寻装置及自动角点匹配装置，能取代人工介入调整参数的步骤，并可达到全自动校正，以使鸟瞰影像准确度更加精确。

有鉴于此，本发明针对上述的问题，提出一种自动校正鸟瞰影像方法改良，以有效解决现有技术的问题。

发明内容

本发明的主要目的在提供一种自动校正鸟瞰影像方法，可自动校正影像偏移误差，使鸟瞰影像缝合准确度更加精确，并可自动搜寻角点，以进行自动影像扭曲校正、视角转换以及多次自动影像缝合。

本发明的另一目的在提供一种自动校正鸟瞰影像方法，可进行多次自动影像缝合，因此可得到较完整且清晰的鸟瞰影像。

本发明的再一目的在提供一种自动校正鸟瞰影像方法，更可应用于各种校正鸟瞰影像系统中。

为达上述的目的，本发明提供一种自动校正鸟瞰影像方法，包括以下步骤：将一车辆移动至一鸟瞰对准图案上；撷取所述车辆周围多个鸟瞰对准影像；将所述多个鸟瞰对准影像进行影像扭曲校正，以形成多个校正影像；将所述多个校正影像自动进行影像对准补偿；搜寻所述多个校正影像的角点，以进行视角转换，形成多个视角转换影像；以及对所述多个视角转换影像进行角点搜寻，以将所述多个视角转换影像进行影像缝合，形成一全景鸟瞰影像，并得出所述全景鸟瞰影像的对应参数。

所述的自动校正鸟瞰影像方法，更包括将所述全景鸟瞰影像的对应参数储存。

所述的自动校正鸟瞰影像方法，其中，所述影像对准是根据所述鸟瞰对准影像上的一对准基准格来判断实际影像的偏移量，使所述校正影像根据实际影像对准基准格相对于所述对准基准格的偏移量，调整所述校正影像的角点搜寻范围，以补偿所述校正影像的对准偏移量。

所述的自动校正鸟瞰影像方法，其中，所述角点搜寻包括：定义欲搜寻角点的角点特征；于所述校正影像或所述视角转换影像中定义所述欲搜寻角点所搜寻的范围；以及于所述校正影像或所述视角转换影像中搜寻与所述欲搜寻角点的角点特征匹配的所述角点，以得出所述校正影像或所述视角转换影像中的所述欲搜寻角点。

所述的自动校正鸟瞰影像方法，其中，所述角点特征利用一角点对准格，且所述角点对准格中央设有一十字线，以将所述角点对准格区分为四个区块，且所述十字线中心对准所述校正影像或所述视角转换影像中所述角点，并定义所述四个区块的明暗特性，以根据所述明暗特性分辨所述角点的角点特征。

所述的自动校正鸟瞰影像方法，其中，在进行所述扭曲校正的步骤后还将所述多个校正影像二值化。

所述的自动校正鸟瞰影像方法，其中，在进行所述影像扭曲校正的步骤通过鱼眼校正方法将所述多个鸟瞰对准影像校正为非扭曲的所述多个校正影像。

所述的自动校正鸟瞰影像方法，其中，在进行所述视角转换的步骤利用一空间转换法将所述多个校正影像转换为所述多个视角转换影像。

所述的自动校正鸟瞰影像方法，其中，在进行所述影像缝合的步骤利用一双线性法将所述多个视角转换影像转换为所述全景鸟瞰影像。

所述的自动校正鸟瞰影像方法，其中，在进行所述影像缝合时，将所述多个视角转换影像失真的部位校正，以缝合成清晰度较高的所述全景鸟瞰影像。

本发明的主要有益效果在提供一种自动校正鸟瞰影像方法，可自动校正影像偏移误差，使鸟瞰影像缝合准确度更加精确，并可自动搜寻角点，以进行自动影像扭曲校正、视角转换以及多次自动影像缝合。

本发明的另一有益效果在提供一种自动校正鸟瞰影像方法，可进行多次自动影像缝合，因此可得到较完整且清晰的鸟瞰影像。

本发明的再一有益效果在提供一种自动校正鸟瞰影像方法，更可应用于各种校正鸟瞰影像系统中。

底下通过具体实施例详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1是本发明的方法流程图；

图2a至图2h是本发明的自动校正鸟瞰影像各步骤影像示意图；

图3是本发明的影像对准示意图；

图4是本发明的自动搜寻角点方法流程图；

图5a至图5c是本发明的角点征以及搜寻角点示意图；

图6a至图6d是本发明的影像摄影范围示意图；

图7是本发明的计算重复区域的相关系数示意图；

图8是本发明的可变换虚拟视角的全景鸟瞰影像示意图；

附图标记说明：10-车辆；14-鸟瞰对准图案；16-对准基准格；18-实际影像对准基准格；20-角点对准格；22-十字线；24-中心；28-区域；30-虚拟视角；32-全景鸟瞰影像范围；201-第一区块；202-第二区块；204-第三区块；203-第四区块；261~266-重复区域。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

请配合参照图1以及图2a至图2h，如图所示，首先进入步骤S 10，并同时参照图2a，如图所示，将一车辆10移动至鸟瞰对准图案14上，鸟瞰对准图案14是绘有校正图案的样板，可铺设于一校正场地中，接下来进入步骤S12，利用鱼眼镜头拍摄，撷取车辆10周围多个鸟瞰对准影像，并配合参照图2b，本实施例只举例车辆前方的影像作为叙述校正的范例，如图2b所示，一开始所撷取的影像是鱼眼扭曲的影像，因此必需并进入步骤S14，对多个鸟瞰对准影像进行影像扭曲校正，以形成如图2c所示，得出无扭曲的多个校正影像，其中影像扭曲校正利用鱼眼校正方法，以将鱼眼镜头拍摄的所述多个鸟瞰对准影像校正为非扭曲的所述多个校正影像，接下来进入步骤S16，对多个校正影像自动进行影像对准补偿后，可如图2d所示，将校正影像二值化，以加快影像处理的速度，并进入步骤S18，开始自动搜寻多个校正影像的角点，以进行视角转换，因此经过视角转换后会形成如图2e所示，形成多个视角转换影像，而视角转换的方法利用一空间转换法将所述多个校正影像转换为所述多个视角转换影像，接下来并请配合参照图2f，如图所示，搜寻多个视角转换影像中的角点，以如图2g所示将多个视角转换影像进行影像缝合，其中影像缝合利用一双线性法将所述多个视角转换影像缝合为所述全景鸟瞰影像，且本发明在影像缝合时，可将所述多个视角转换影像失真的部位校正，因此少了失真的部份，再者，本发明利用自动角点搜寻的方法，因此可进行较多次的影像缝合，可缝合如图2h所示，缝合出清晰度较高的全景鸟瞰影像。最后进入步骤S20，得出全景鸟瞰影像的对应参数，以将全景鸟瞰影像的对应参数储存，当车辆欲观看全景鸟瞰影像时可提出参数，以套用此参数，在输出全景鸟瞰影像时使用。

接下来进一步说明影像对准的方法，因在装配摄影机时，多少都有装配位置上的误差，摄影机拍摄的范围可能与预设的范围会有些许的误差，因此全景鸟瞰影像缝合的准确度就可能会依摄影机的装配误差而改变，校正的效果可能会大打折扣。鉴此，本发明提出影像对准的方法以提高全景鸟瞰影像准确度，请配合参照图3，如图所示，影像对准是依据鸟瞰对准图案上的一对准基准格16来判断实际影像的偏移量，但实际影像对准基准格18稍微偏移对准基准格16，因此本发明就会根据实际影像对准基准格18的偏移量进行校正补偿，调整所述校正影像的角点搜寻范围，以补偿校正影像的对准偏移量，因此可消除摄影机装配上的误差，可使的后在进行校正时，校正出更加清晰的全景鸟瞰影像。

除了上述的影像对准方法，本发明更公开一种自动角点搜寻方法，使本案可全自动化合成鸟瞰影像，在此进一步说明自动角点搜寻方法，请参照图4，如图所示，首先进入步骤S22，定义欲搜寻的角点特征，其中角点特征的说明请配合参照图5a，并定义所述四个区块的明暗特性，以根据所述明暗特性分辨所述角点的角点特征利用一角点对准格20，且所述角点对准格20中央设有一十字线22，以将所述角点对准格20区分为四个区块，区块可依据顺序给予编号，本实施例举例顺时针方向依序给予编号1、2、3、4，以分成第一区块201、第二区202块、第三区块204以及第四区块203，且所述十字线中心对准所述校正影像或所述视角转换影像中的角点。因此，本发明则可以定义欲搜寻角点区块的明暗特性，以根据每一区块的明暗特性分辨角点特征，接下来进入步骤S24于校正影像或视角转换影像中定义欲搜寻角点所要搜寻的范围，此范围乃根据影像中对准基准格18的偏移量而确定，最后进入步骤S26并配合参照图5b，于校正影像或视角转换影像中搜寻与所述欲搜寻角点的角点特征匹配的角点，搜寻时以十字线22的十字线中心24为预设中心点，搜寻范围内符合四个区块明暗特性的像素点并视为角点。本实施例若欲搜寻角点的角点特征为左上角的角点时，在步骤S22时则定义第三区块204的明暗特性与其他三区块的明暗特性不同，因此左上的角点则满足定义的角点特征，若角点特征为右下角时，则参照图5c，定义为第一区块201的明暗特性与其他三区块的明暗特性不同，因此右下的角点则满足定义的角点特征。鉴此，即可找出校正影像或视角转换影像中欲搜寻的角点。

鉴此，本发明通过上述自动影像对准以及自动角点搜寻的方法取代人工介入调整参数的步骤，可提供全自动的校正系统，达成全自动校正，且因自动搜寻角点可增加准确性，多次缝合视角转换影像，以形成较清晰的全景鸟瞰影像。

本发明在得出全景鸟瞰影像的参数更可应用在一利用鸟瞰影像判断障碍物的方法上，依据上述方法得出全景鸟瞰影像参数后，再将多个原始影像各别转换为独立鸟瞰影像，而获得多个独立鸟瞰影像后，比对其重复区域，判断两个独立鸟瞰影像的重复区域的影像相关性，依此作为侦测障碍物的手段。其中如果相关性大，表示重复区域未有障碍物；反之，如果相关性小，则表示重复区域出现障碍物。若测得的障碍物显示其位置于环场鸟瞰影像上，且发出警示信号提醒驾驶者注意障碍物。

接续，进一步详细说明如何通过比对两个独立鸟瞰影像的重复区域本发明由多个影像撷取器撷取车辆周围多个区域的影像，通过上述的自动校正鸟瞰影像方法转换为一环场鸟瞰影像，如请同时参照图6a至图6c，如图所示，本发明系统装置由多个影像撷取器撷取车辆10周围六个区域的影像，分别为A、B、C、D、E与F区域，接下来请参照图6d，如图所示，每相邻区域的影像包含一重复区域261、262、263、264、265、266。影像处理器将六个区域的原始影像各自转换为独立鸟瞰影像后，由障碍物计算单元分别比对两个相邻鸟瞰影像的重复区域261、262、263、264、265、266，判断其相关性。请参考图示图7，以图6a与图6c中的A区域的影像与E区域的影像为例，图中f(s,t)代表A区域的重复区域灰阶值，w(s,t)代表E区域的重复区域灰阶值，影像处理器将重复区域切割为九个子区域，计算两区域的相对子区域灰阶值的相关系数γ，其中相关系数的计算公式是

$\mathrm{\γ}=\frac{\underset{s}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}[f(s,t)-\stackrel{\‾}{f}][w(s,t)-\stackrel{\‾}{w}]}{{\left\{\underset{s}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}{[f(s,t)-\stackrel{\‾}{f}]}^2\underset{s}{\mathrm{\Σ}}\underset{t}{\mathrm{\Σ}}{[w(s,t)-\stackrel{\‾}{w}]}^2\right\}}^{1/2}}$

其中

与

是A区域与E区域重复区域影像的平均灰阶值。此公式的意义是计算两个影像重复区域的每个单点差异并累积每单点的差异值，进而获得两个影像的相关系数γ。倘若两影像的重复区域的影像为完全相同，相关系数是1；若两个重复区域的影像完全不相关，其相关系数为0。而本发明定义判断障碍物的相关系数的阈值为0.5，若相关系数小于所述阈值，代表此子区域有障碍物。在图7中，相关系数γ小于0.5的区域28，有障碍物存在。因此，当重复区域为平坦表面时，鸟瞰影像未扭曲失真，所得的相关系数高于阈值0.5，则表示重复区域没有障碍物存在。因此本发明通过比对鸟瞰影像的重复区域即可辨别所述区域是否有障碍物存在。

本发明在找出全景鸟瞰影像的参数后，更可应用设定每个摄影机位于车体的空间信息，可利用摄影机坐标转换矩阵、虚拟视点坐标转换矩阵、透视转换公式以及反透视转换进行影像转换，建立每一间隔的方向盘角度(5度、10度、15度…)，其所对应的虚拟视点变换的坐标转换信息，除了记录了原始影像的一点所对应到全景鸟瞰影像的另一点的转换过程。因此，撷取到影像时，并配合当时的方向盘转角信号，进而选择出所对应的全景鸟瞰影像的参数，将取得影像套入参数中，即可将影像信号快速处理，获得一个全景鸟瞰影像。以下举出一实例，驾驶者控制车辆向右转弯时，如图8所示，影像处理器接收到车辆10信号，将影像通过事前已设定好的参数转换，得到以偏向左后方的虚拟视角30，所呈现车头右前最大区域的全景鸟瞰影像范围32给驾驶者，并对所述此范围障碍物侦测。

综上所述，本发明可自动校正影像偏移的误差，并可自动搜寻角点，以进行自动影像扭曲校正、视角转换以及多次自动影像缝合，并且因本发明可进行多次影像缝合，可得到较完整清晰的全景鸟瞰影像，其中本发明更可应用于各种校正鸟瞰影像系统中。

以上说明仅为本发明的优选实施例，对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离以下所附权利要求所限定的精神和范围的情况下，可做出许多修改，变化，或等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种自动校正鸟瞰影像方法，其特征在于，包括以下步骤：

将一车辆移动至一鸟瞰对准图案上；

撷取所述车辆周围多个鸟瞰对准影像；

将所述多个鸟瞰对准影像进行影像扭曲校正，以形成多个校正影像；

将所述多个校正影像自动进行影像对准补偿；

搜寻所述多个校正影像的角点，以进行视角转换，形成多个视角转换影像；以及

对所述多个视角转换影像进行角点搜寻，以将所述多个视角转换影像进行影像缝合，形成一全景鸟瞰影像，并得出所述全景鸟瞰影像的对应参数。

2.权利要求1所述的自动校正鸟瞰影像方法，其特征在于，更包括将所述全景鸟瞰影像的对应参数储存。

3.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，所述影像对准是根据所述鸟瞰对准影像上的一对准基准格来判断实际影像的偏移量，使所述校正影像根据实际影像对准基准格相对于所述对准基准格的偏移量，调整所述校正影像的角点搜寻范围，以补偿所述校正影像的对准偏移量。

4.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，所述角点搜寻包括：

定义欲搜寻角点的角点特征；

于所述校正影像或所述视角转换影像中定义所述欲搜寻角点所搜寻的范围；以及

于所述校正影像或所述视角转换影像中搜寻与所述欲搜寻角点的角点特征匹配的所述角点，以得出所述校正影像或所述视角转换影像中的所述欲搜寻角点。

5.如权利要求4所述的自动校正鸟瞰影像方法，其特征在于，所述角点特征利用一角点对准格，且所述角点对准格中央设有一十字线，以将所述角点对准格区分为四个区块，且所述十字线中心对准所述校正影像或所述视角转换影像中的角点，并定义所述四个区块的明暗特性，以根据所述明暗特性分辨所述角点的角点特征。

6.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，在进行所述扭曲校正的步骤后还将所述多个校正影像二值化。

7.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，在进行所述影像扭曲校正的步骤通过鱼眼校正方法将所述多个鸟瞰对准影像校正为非扭曲的所述多个校正影像。

8.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，在进行所述视角转换的步骤利用一空间转换法将所述多个校正影像转换为所述多个视角转换影像。

9.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，在进行所述影像缝合的步骤利用一双线性法将所述多个视角转换影像转换为所述全景鸟瞰影像。

10.如权利要求1所述的自动校正鸟瞰影像方法，其特征在于，在进行所述影像缝合时，将所述多个视角转换影像失真的部位校正，以缝合成清晰度较高的所述全景鸟瞰影像。

Images