CN102143302A

CN102143302A - 全周鸟瞰影像无缝接合方法与系统

Info

Publication number: CN102143302A
Application number: CN2010101062651A
Authority: CN
Inventors: 沈信良; 郑国祥; 吴东权; 曾定章
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2010-01-29
Filing date: 2010-01-29
Publication date: 2011-08-03

Abstract

本发明提供一种全周鸟瞰影像无缝接合方法与系统，其是对不同影像撷取单元所取得的关于一载具的多张环境影像进行组合，以形成一无接缝的鸟瞰影像。其中，该多张环境影像是先经由转换形成对应的鸟瞰影像。在组合多张鸟瞰影像的过程中，找出相邻鸟瞰影像所具有的重迭区域并根据相邻鸟瞰影像位于重迭区域的特征点信息位置，分别计算出该特征点和该重迭区域边界距离，藉此决定相邻鸟瞰影像分别对于重迭区域的影像贡献的权重，进而形成重迭影像。决定相邻的鸟瞰影像间的重迭影像之后，即可形成无接缝的全周鸟瞰影像。

Description

全周鸟瞰影像无缝接合方法与系统

技术领域

本发明涉及一种影像处理技术，特别是涉及一种全周鸟瞰影像无缝接合方法与系统。

背景技术

影像辅助驾驶的技术已经行之有年，然而现有的影像辅助驾驶的技术中，多半是撷取影像之后，直接显示给使用者。虽然有可取之处，但是随着影像撷取单元的数量增加，在一个显示器中显示多个影像，对于驾驶者而言反而是一种视觉负担。因此，鸟瞰影像的重组技术便应运而生。在先进安全车辆的设计中，以利用架设于载具周围的相机发展影像式的全周鸟瞰辅助驾驶系统，为近年来各车厂及车辆系统商的主要研发技术。藉由影像转换与处理，将一般影像撷取单元所撷取的影像进行鸟瞰转换，再予以拼接组合以形成的全周鸟瞰影像，可以提供驾驶者参考，进而提升驾驶的安全性。

然而要将各个位置的环境影像重组形成鸟瞰影像的其中之一要件就是要如何决定在相邻的两的影像撷取单元所撷取的影像中共同重迭的区域所形成的影像。在现有技术中，如美国公开号US.Pub.No.2007/0003108揭示一种鸟瞰影像处理技术，在该技术中对于两相邻影像的结合之间则具有屏蔽线作为相邻影像间的区隔。因此在该技术中，对于影像无缝接合的技术并无相关的揭示。对于这类的技术，由于载具各方向所取得的影像没有做完整的接合动作，因此可能需要在两两影像重迭区域范围内，辅以车用超音波雷达传感器来达到警示效果，但如此可能在成本上是一额外负担。

此外在美国公开号US.Pat.No.2006/0202984则教导针对相机架设高度来决定采用的俯角，产生单一鸟瞰影像后，根据取得的重迭区域去裁切出全周鸟瞰影像，最后利用载具移动关系去模拟出较大的全周鸟瞰画面进行布局。日本特开平2008-048317则教导一种当两影像组合时，特征物体重迭的处理方式，该技术根据重迭区域内所出现的物体所占的比重，来决定该重达区块采用的相机信息进行布局。也就是说，该技术以权重比高的影像作为重迭区域的影像，也就是保留权重比高的影像，而删除权重比低影像中的重迭区域部分，最后拼接成全区域鸟瞰影像。又在美国公开号US.Pat.No.2009/0097708则教导一种针对不同的相机架设模式，参考一对应平面后，判断重迭区域的多寡，利用拼接的方式产生接缝式的全周鸟瞰影像。又如日本特开平2006-121587也揭示一种针对不同相机的视野涵盖范围，去找出重迭区域的位置后，改变不同模式的接缝式的显示模式，进而产生全周鸟瞰影像。前述这四个专利技术内容主要针对相机的架设位置信息来转换鸟瞰影像后，参考重迭区域去做接合动作或是用显示模式的选择来决定全周鸟瞰画面的四周信息。

另外，又如美国专利US.Pat.No.7,161,616则揭示一种合成鸟瞰影像的技术，该技术对于重迭区域的影像处理是利用各影像中的对应像素所具有的特征乘上一权值，再除以权值的总和。

发明内容

本发明提供一种全周鸟瞰影像无缝接合方法与系统，其是针对不同载具搭配不同视野涵盖范围的相机，利用校正技术和鸟瞰转换算法法则，辅以已知的地平面特征点信息，达到全周鸟瞰无接缝式的画面呈现技术，让使用者完整掌握载具移动时，载具的运动方向状态和周遭环境完整的对应关系，以避免接缝处造成使用者在驾驶时的误判。

在一实施例中，本发明提供一种全周鸟瞰影像无缝接合方法，其包括有下列步骤：提供多张环境影像；对该多张环境影像进行视角转换以形成多张鸟瞰影像；取得相邻两鸟瞰影像所具有的一重迭区域；藉由多次的权重运算以得到每一相邻两鸟瞰影像间的一迭合影像，每一次的权重运算还包括有下列步骤：求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重达影像的一边界距离；根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重；以及将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征；以及将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号。

在另一实施例中，本发明还提供一种全周鸟瞰影像无缝接合系统，包括：多个影像撷取单元，其分别设置于一载具的不同位置上，每一影像撷取单元产生一环境影像；一控制单元，其接收该多张环境影像，该控制单元对该多张环境影像进行视角转换以形成多张鸟瞰影像，并取得相邻两鸟瞰影像所具有的一重迭区域，再藉由一权重运算以得到每一相邻两鸟瞰影像间的一迭合影像，该控制单元求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭影像的一边界距离，然后根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重，再将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征，再将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号；以及一显示单元，其设置于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰影像讯号，并显示对应的全周鸟瞰影像。

附图说明

图1为本发明的全周鸟瞰影像无缝接合方法实施例流程示意图。

图2A为各个影像撷取单元所撷取的影像示意图。

图2B为各个环境影像转换成鸟瞰影像示意图。

图2C为鸟瞰影像中的特征点示意图。

图2D为相邻两鸟瞰影像调整示意图。

图2E为相邻两鸟瞰影像根据权重迭合完成示意图。

图2F为经过影像处理之后所形成的全周鸟瞰影像示意图。

图3为本发明的寻找重迭区域流程示意图。

图4为本发明的权重运算流程示意图。

图5A与图5B为本发明的全周鸟瞰影像无缝接合系统实施例示意图。

附图符号说明

2-全周鸟瞰影像无缝接合方法

20～25-步骤

220～222-步骤

230～232-步骤

3-全周鸟瞰影像无缝接合系统

30-影像撷取单元

31-控制单元

310-影像接收接口

311-运算处理单元

312-影像输出接口

313-存储模块

3130-静态随机存取存储器

3131-闪存

314-电源界面

315-载具讯号接口

32-显示单元

90-载具

900～903-影像撷取单缘

91～94-环境影像

91a～94a-鸟瞰影像

910、940-物体

95、96-影像撷取范围

97-重达区域

98-全周无接缝的鸟瞰影像

981-重迭合成区域

具体实施方式

为对本发明的特征、目的及功能有更进一步的认知与了解，下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明，以使得可以了解本发明的特点，详细说明陈述如下：

请参阅图1所示，该图为本发明的全周鸟瞰影像无缝接合方法实施例流程示意图。该方法首先以步骤20提供多张环境影像。该环境影像为可以为关于一载具的周围环境影像。该载具可以为可动的移动载具，例如：车辆。而产生该多张环境影像的方式，可以在该载具的不同位置上分别设置多个影像撷取单元，例如：电耦合感测组件(charged coupled device，CCD)或者是互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)的感光组件。藉由该多个影像撷取单元分别撷取该载具周围的环境影像。以形成如图2A的状态，图2A为各个影像撷取单元所撷取的影像示意图。在图2A中，载具90上的前、后、左与右各设置有一影像撷取单元900～903，其分别所撷取环境影像91～94。

再回到图1所示，接着进行步骤21，对该多张环境影像进行视角转换以形成多张鸟瞰影像。在本步骤中，主要是为由架设于不同位置的影像撷取单元所取得的环境影像后，利用校正技术消除鱼眼或者是变形的效应，然后将各个环境影像转换成鸟瞰平面的鸟瞰影像，以形成图2B所示的状态。在图2B中，鸟瞰影像91a～94a，分别对应该载具的前、后，左与右侧的环境影像91～94。至于消除与眼以及转换成鸟瞰影像的影像处理技术属于已有的技术，在此不作赘述。

再回到图1所示，接着进行步骤22，取得相邻两鸟瞰影像所具有的一重迭区域。如图2A所示，以影像撷取单元900与903为例，影像撷取单元900与903所具有的影像撷取范围95与96具有重迭的部分，也就是说，关于该载具的环境影像91与94中会具有重迭的物体。因此，在图2B中，经过鸟瞰视角转换所形成的相邻的鸟瞰影像，例如：鸟瞰影像91a与93a、鸟瞰影像91a与94a、鸟瞰影像92a与93a以及鸟瞰影像92a与94a间会有重迭的区域。因此，藉由步骤22可以将重迭区域找出。请参阅图3所示，该图为本发明的寻找重迭区域流程示意图。首先以步骤220，决定一参考平面。在本步骤中，该参考平面可以为地平面为主，但不以此为限。接着进行步骤221，于该相邻的鸟瞰影像中寻找出，落于该参考平面上且相互对应的至少一特征点。如图2C所示，该图为鸟瞰影像中的特征点示意图。在图2C中，于鸟瞰影像91a与94a中，分别具有对应的物体910与940，而物体910与940上则可以寻找出落于参考平面上的特征点P1与P2以及P1’与P2’。要说明的是，该特征点可为图样、线条、文字，但不以此为限。

个别寻找出对应的特征点之后，再来进行步骤222，对该两相邻的鸟瞰影像进行影像的几何调整，使两相邻的鸟瞰影像中相对应的该至少一特征点的对应误差最小。该误差为该两相邻的鸟瞰影像中相对应的至少一特征点所具有的特征信息差值的平均平方和，其可以表示成如下式(1)所示：

err = \frac{Σ_{i = 1}^{n} {[I_{1} (q_{1 i}) - I_{2} (p_{2 i})]}^{2}}{n}

其中p_2i＝M_rigid(q_1i)......(1)

式(1)的中假设共有n个特征点，结合图2C所示，其中q_1i为影像特征点i在鸟瞰影像91a的位置，而p_2i为影像特征点i在鸟瞰影像94a的位置。M_rigid(x)是一影像转换机制，在本实施例中包括影像旋转、位移及缩放，I_j(x)为第j张鸟瞰影像中的在坐标x的位置中所对应的特征点所具有的特征信息，在本实施例中，该特征信息包括亮度及色彩。如图2D所示，该图为相邻两鸟瞰影像调整示意图。在不同的调整位置下，都会对应有一个err值，当该err值最小时，即是代表鸟瞰影像91a与94a的特征点P1与P2以及P1’与P2’几乎重迭在一起。在err最小时所对应的相邻两鸟瞰影像的迭合状态则如图2E所示。此时，需限区域即为相邻两鸟瞰影像91a与94a的重迭区域97。基于前述的方式，亦可以寻找出相邻鸟瞰影像91a与93a、鸟瞰影像92a与93a以及鸟瞰影像92a与94a间的重迭区域。

请参阅图1所示，界定出重迭区域之后，随后进行步骤23，藉由多次权重运算以得到每一相邻两鸟瞰影像间的一迭合影像。为了让将来这些重迭区域在影像组合之后可以贴近反应载具周围的状态，并免死角的产生，藉由必须藉由步骤23利用权重运算的方式，将两张鸟瞰影像相互重迭的区域整合成单一的重迭影像。如图4所示，该图为本发明的权重运算流程示意图。每一次的权重运算还包括有利用步骤230，求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭影像的一边界距离。本步骤的意义在于，假设重迭区域97为该迭合影像的范围，因此重迭区域内的每一个像素与该重迭区域于该两相临鸟瞰影像间的边界上可以求得一距离。如图2E所示，该重迭区域97内的迭合像素P3与重迭区域97于鸟瞰影像91a与94a的边界970与971间分别具有一距离d2与d1。

再回到图4所示，接着进行步骤231，根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重。如下式(2)与(3)所示，

w_{1} = \frac{d_{2}}{d_{1} + d_{2}} . . . (2)

w_{2} = \frac{d_{1}}{d_{1} + d_{2}} . . . (3)

如图2E所示，根据距离所决定的权重w₁代表鸟瞰影像91a中对应迭合像素P3的像素对于形成像素P3的贡献度；同理，权重w₂代表鸟瞰影像94a中对应迭合像素P3的像素对于形成像素P3的贡献度。

再回到图4所示，决定权重之后，接着即以步骤232，将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征。如下式(4)所示：

I(P₃)＝w₁I₁(P₃′)+w₂I₂(P₃″)………………………(4)

根据式(4)可以得知，重迭区域内的每一个迭合像素的构成为相邻鸟瞰影像上对应该重迭区域中的迭合像素P3的像素P₃′与P₃″所具有的特征信息(颜色、亮度或对比度等)与权重值相乘的总和。如图2E所示，图2E中重迭区域97中其它迭合像素而言，也都是利用步骤230至232的演算方式得知。同样地，对于图2B中的其它相邻的鸟瞰影像91a与93a、鸟瞰影像92a与93a以及鸟瞰影像92a与94a间的重迭影像亦是利用前述的方式计算而得。再回到图1所示，最后进行步骤24，将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号，以形成如图2F所示的全周无接缝的鸟瞰影像98，其重迭合成区域981即如前述图2E所示的结合状态。由于本发明中对于相邻的两鸟瞰影像间的处理方式，是根据距离的关系来决定权重值，因此相邻两鸟瞰影像对于重迭区域内的每一个像素都有一定比例的贡献，藉由此方式，不但不需要拼接影像而解除影像部连续的问题，而且在演算后可以形成平顺而无接缝的全周鸟瞰影像。

请参阅图5A与5B所示，该图为本发明的全周鸟瞰影像无缝接合系统实施例示意图。该系统3包括有多个影像撷取单元30、一控制单元31以及一显示单元32。该多个影像撷取单元30，其分别设置于一载具90的不同位置上，每一影像撷取单元30产生一环境影像。该载具90可为一车辆，而该多个影像撷取单元30，其可为一照相机或动态影像摄影装置，其可以设置在该载具90的前方、后方、左方(后视镜的位置)与右方(后视镜的位置)，但不以此为限制。该多个影像撷取单元30的数量根据需要而定，并不以本发明的图标中的四个影像撷取单元为限制。每一个影像撷取单元30会撷取影像以形成环境影像。由于有多个影像撷取单元30，因此可以产生多张环境影像。

该控制单元31，其与该多个影像撷取单元30相耦接，以接收该多张环境影像。该控制单元31可以进行图1、图3与图4的影像处理流程，以得到关于该载具的周围环境的一全周鸟瞰影像讯号。在本实施例中，该控制单元31还包括有一影像接收接口310、一运算处理单元311、一影像输出接口312以及一存储模块313。该影像接收接口310，其与该多个影像撷取单元30相耦接，以接收该多个环境影像。该运算处理单元311，其接收该多个环境影像，以进行图1、图3与图4影像处理运算流程以对该多个环境影像进行处理以形成该全周鸟瞰影像讯号。该存储模块313，其与该运算处理单元311相耦接。本实施例中，该存储模块313还具有一静态随机存取存储器3130(static random access memory，SRAM)模块以及一闪存3131(flash)模块。该影像输出界面312，其与该运算处理单元311以及该显示单元32相耦接，以将该全周鸟瞰影像讯号传给该显示单元32。此外，该控制单元31还具有一电源接口314以接收电压源以及载具讯号接口315以接收载具所产生的讯号。该显示单元32，其设置于该载具90内并与该控制单元31相耦接，该显示单元32接收该全周鸟瞰影像讯号，并显示对应的全周鸟瞰影像。

以上所述仅为本发明的实施例，不能以的限制本发明范围。即凡依本发明的权利要求所做的均等变化及修饰，仍将不失本发明的要义所在，亦不脱离本发明的精神和范围，故都应视为本发明的进一步实施状况。

Claims

1.一种全周鸟瞰影像无缝接合方法，其包括有下列步骤：

提供多张环境影像；

对该多张环境影像进行视角转换以形成多张鸟瞰影像；

取得相邻两鸟瞰影像所具有的一重迭区域；

藉由多次的权重运算以得到每一相邻两鸟瞰影像间的一迭合影像，每一次权重运算还包括有下列步骤：

求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭影像的一边界距离；

根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重；以及

将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征；以及

将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号。

2.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该影像特征为亮度以及色彩。

3.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中决定该重迭区域还包括有下列步骤：

决定一参考平面；

于该相邻的鸟瞰影像中寻找出，落于该参考平面上且相互对应的至少一特征点；以及

对相邻的两鸟瞰影像进行调整，使两相邻的鸟瞰影像中相对应的该至少一特征点的对应误差最小。

4.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该特征点为该鸟瞰影像中的线条、图样或者是文字信息。

5.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该调整方式为藉由旋转、缩放或平移的方式进行调整。

6.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该误差为该两相邻的鸟瞰影像中相对应的至少一特征点所具有的特征信息差值的平均平方和。

7.如权利要求6所述的全周鸟瞰影像无缝接合方法，其中该特征信息为亮度或色彩。

8.如权利要求1所述的全周鸟瞰影像无缝接合方法，其还包括有将该全周鸟瞰影像讯号传递至一影像显示单元以进行显示的步骤。

9.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该多张环境影像是利用设置于一载具上不同位置的影像撷取单元撷取该载具周围环境的影像而得。

10.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该载具为车辆。

11.一种全周鸟瞰影像无缝接合系统，包括：

多个影像撷取单元，其分别设置于一载具的不同位置上，每一影像撷取单元产生一环境影像；

一控制单元，其还包括有一影像接收接口、一运算处理单元、一存储模块以及一影像输出界，该影像接收接口其接收该多个环境影像，该运算处理单元，其接收该多个环境影像，以对该多个环境影像进行处理以形成一全周鸟瞰影像讯号，该存储模块，其与该运算处理单元相耦接，该一影像输出界面，其与该运算处理单元以及该显示单元相耦接，以输出该全周鸟瞰影像讯号；以及

一显示单元，其设置于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰影像讯号，并显示对应的全周鸟瞰影像。

12.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该多个影像撷取单元分别设置于该载具的前、后、左与右侧上。

13.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该控制单元接收该多张环境影像，该控制单元对该多张环境影像进行视角转换以形成多张鸟瞰影像，并取得相邻两鸟瞰影像所具有的一重迭区域，再藉由一权重运算以得到每一相邻两鸟瞰影像间的一迭合影像，该控制单元求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭影像的一边界距离，然后根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重，再将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征，再将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合以得到该全周鸟瞰影像讯号。

14.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该载具为车辆。

15.如权利要求13所述的全周鸟瞰影像无缝接合系统，其中该控制单元决定该重迭区域还包括有下列步骤：

决定一参考平面；

16.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该特征点为该鸟瞰影像中的线条、图样或者是文字信息。

17.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该调整方式为藉由旋转、缩放或平移的方式进行调整。

18.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该误差为该两相邻的鸟瞰影像中相对应的至少一特征点所具有的特征信息差值的平均平方和。

19.如权利要求18所述的全周鸟瞰影像无缝接合系统，其中该特征信息为亮度或色彩。

20.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该控制单元还具有一电源接口以接收电压源以及载具讯号接口以接收载具所产生的讯号。

21.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该影像撷取单元为照相机或动态影像摄影装置。

22.如权利要求11所述的全周鸟瞰影像无缝接合系统，其该存储模块还具有一静态随机存取存储器模块以及一闪存模块。