CN102137247B - 全周鸟瞰图像距离界面产生方法与系统 - Google Patents

全周鸟瞰图像距离界面产生方法与系统 Download PDF

Info

Publication number
CN102137247B
CN102137247B CN 201010106975 CN201010106975A CN102137247B CN 102137247 B CN102137247 B CN 102137247B CN 201010106975 CN201010106975 CN 201010106975 CN 201010106975 A CN201010106975 A CN 201010106975A CN 102137247 B CN102137247 B CN 102137247B
Authority
CN
China
Prior art keywords
eye view
image
birds
round
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201010106975
Other languages
English (en)
Other versions
CN102137247A (zh
Inventor
吴东权
黄立恭
曾定章
沈信良
郑国祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation good Co.,Ltd.
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CN 201010106975 priority Critical patent/CN102137247B/zh
Publication of CN102137247A publication Critical patent/CN102137247A/zh
Application granted granted Critical
Publication of CN102137247B publication Critical patent/CN102137247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供一种全周鸟瞰图像距离界面产生方法与系统,其对不同图像撷取单元所取得的关于一载具的多张环境图像进行组合,以形成一全周鸟瞰图像。然后根据所撷取影之内的图像空间与实体空间中的对应关系,在该鸟瞰图像上形成辅助标志,以辅助载具驾驶者参考,避免碰撞或影响安全的情事发生。

Description

全周鸟瞰图像距离界面产生方法与系统
技术领域
本发明涉及一种图像处理技术,尤其是指一种全周鸟瞰图像距离界面产生方法与系统。
背景技术
图像辅助驾驶的技术已经行之有年,然而现有的图像辅助驾驶的技术中,多半是撷取图像之后,直接显示给使用者。虽然有可取之处,但是随着图像撷取单元的数量增加,在一个显示器中显示多个图像,对于驾驶者而言反而是一种视觉负担。因此,鸟瞰图像的重组技术便应运而生。在先进安全车辆的设计中,以利用架设于载具周围的相机发展图像式的全周鸟瞰辅助驾驶系统,为近年来各车厂及车辆系统商的主要研发技术。通过图像转换与处理,将一般图像撷取单元所撷取的图像进行鸟瞰转换,再予以拼接组合以形成的全周鸟瞰图像,可以提供驾驶者参考,进而提升驾驶的安全性。
然而要将各个位置的环境图像重组形成鸟瞰图像的其中之一要件就是要如何决定在相邻的两的图像撷取单元所撷取的图像中共同重迭的区域所形成的图像。在现有技术中,如美国公开号US.Pub.No.2007/0003108公开一种鸟瞰图像处理技术,在该技术中对于两相邻图像的结合之间则具遮罩线作为相邻图像间的区隔。因此在该技术中,对于图像无缝接合的技术并无相关的公开。对于这类的技术,由于载具各方向所取得的图像没有做完整的接合动作,因此可能需要在两两图像重迭区域范围内,辅以车用超音波雷达感测器来达到警示效果,但如此可能在成本上是一额外负担。
此外在美国公开号US.Pat.No.2006/0202984则教导针对相机架设高度来决定采用的俯角,产生单一鸟瞰图像后,根据取得的重迭区域去裁切出全周鸟瞰图像,最后利用载具移动关系去模拟出较大的全周鸟瞰画面进行布局。日本特开平2008-048317则教导一种当两图像组合时,特征物体重迭的处理方式,该技术根据重迭区域内所出现的物体所占的比重,来决定该重迭区块采用的相机信息进行布局。也就是说,该技术以权重比高的图像作为重迭区域的图像,也就是保留权重比高的图像,而删除权重比低图像中的重迭区域部分,最后拼接成全区域鸟瞰图像。又在美国公开号US.Pat.No.2009/0097708则教导一种针对不同的相机架设模式,参考一对应平面后,判断重迭区域的多寡,利用拼接的方式产生接缝式的全周鸟瞰图像。又如日本特开平2006-121587也公开一种针对不同相机的视野涵盖范围,去找出重迭区域的位置后,改变不同模式的接缝式的显示模式,进而产生全周鸟瞰图像。前述这四个专利技术内容主要针对相机的架设位置信息来转换鸟瞰图像后,参考重迭区域去做接合动作或是用显示模式的选择来决定全周鸟瞰画面的四周信息。
另外,又如美国专利US.Pat.No.7,161,616则公开一种合成鸟瞰图像的技术,该技术对于重迭区域的图像处理是利用各图像中的对应像素所具有的特征乘上一权值,在除以权值的总和。
发明内容
本发明提供一种全周鸟瞰图像距离界面产生方法与系统,其是将图像撷取装置所撷取到关于一载具的环境图像进行组合以形成一鸟瞰图像,并且于该鸟瞰图像上设置关于距离估侧的辅助标志以辅助载具驾驶者参考,避免碰撞或影响安全的情事发生。
本发明提供一种全周鸟瞰图像距离界面产生方法与系统,其针对不同载具搭配不同视野涵盖范围的相机,利用校正技术和鸟瞰转换演算法法则,辅以已知的地平面特征点信息,达到全周鸟瞰无接缝式的画面呈现技术,让使用者完整掌握载具移动时,载具的运动方向状态和周围环境完整的对应关系,以避免接缝处造成使用者在驾驶时的误判。
在一实施例中,本发明提供一种全周鸟瞰图像距离界面产生方法,其包括有下列步骤:提供多张环境图像;转换该多张环境图像并组合形成一全周鸟瞰图像;以及在该全周鸟瞰图像中产生关于距离的一辅助标志图像。
在另一实施例中,本发明还提供一种全周鸟瞰图像距离辅助显示系统,包括:多个图像撷取单元,其分别设置于一载具的不同位置上,每一图像撷取单元产生一环境图像;一控制单元,其接收该多张环境图像,该控制单元对该多张环境图像进行视角转换以形成一全周鸟瞰图像信号,该控制单元更产生关于距离的一辅助标志图像信号;以及一显示单元,其设置于该载具内并与该控制单元相耦接,该显示单元接收该全周鸟瞰图像信号以及该辅助标志图像信号,并显示对应该全周鸟瞰图像信号的全周鸟瞰图像以及在该全周鸟瞰图像形成对应该辅助标志图像信号的一辅助标志。
附图说明
图1为全周鸟瞰图像距离界面产生方法流程示意图。
图2为本发明的全周鸟瞰图像距离界面产生方法实施例流程示意图。
图3A为各个图像撷取单元所撷取的图像示意图。
图3B为各个环境图像转换成鸟瞰图像示意图。
图3C为鸟瞰图像中的特征点示意图。
图3D为相邻两鸟瞰图像调整示意图。
图3E是经过图像处理之后所形成的全周鸟瞰图像示意图。
图3F所示的全周无接缝的鸟瞰图像。
图4为本发明的寻找重迭区域流程示意图。
图5为本发明的权重运算流程示意图。
图6A为为载具于实际空间中示意图。
图6B与图6C为辅助标志不同实施例示意图。
图7A与图7B为本发明的全周鸟瞰图像无缝接合系统实施例示意图。
【主要元件符号说明】
2-全周鸟瞰图像距离界面产生方法
20~22-步骤
210~213-步骤
2110~2112-步骤
2120~2122-步骤
3-全周鸟瞰图像无缝接合系统
30-图像撷取单元
31-控制单元
310-图像接收接口
311-运算处理单元
312-图像输出接口
313-存储器模块
3130-静态随机存取存储器
3131-快闪存储器
314-电源接口
315-载具信号接口
32-显示单元
320-人机接口
40、41、42-图像撷取范围
43-物体
90-载具
900~903-图像撷取单缘
91~94-环境图像
91a~94a-鸟瞰图像
910、940-物体
95、96-图像撷取范围
97-重迭区域
98-全周无接缝的鸟瞰图像
980、981-辅助标志
982-图像重合区域
具体实施方式
为使本领域技术人员能对本发明的特征、目的及功能有更进一步的认知与了解,下文特将本发明的装置的相关细部结构以及设计的理念原由进行说明,以使得本领域技术人员可以了解本发明的特点,详细说明陈述如下:
请参阅图1所示,全周鸟瞰图像距离界面产生方法流程示意图。该方法包括有下列步骤,首先以步骤20,提供多张环境图像。该环境图像为可以为关于一载具的周围环境图像。该载具可以为可动的移动载具,例如:车辆。而产生该多张环境图像的方式,可以在该载具的不同位置上分别设置多个图像撷取单元,例如:电耦合感测元件(charged coupled device,CCD)或者是金属互补式金属-氧化层-半导体(complementary metal oxidesemiconductor,CMOS)的感光元件,也可为一照相机或摄影机。通过该多个图像撷取单元分别撷取该载具周围的环境图像。以形成如图3A的状态,图3A为各个图像撷取单元所撷取的图像示意图。在图3A中,载具90上的前、后、左与右各设置有一图像撷取单元900~903,其分别所撷取环境图像91~94。
再回到图1所示,接着进行步骤21,转换该多张环境图像并组合形成一全周鸟瞰图像。如图2所示,该图为形成全周鸟瞰图像流程示意图。形成全周鸟瞰图像的方法还包括有下列步骤。首先,以步骤210对该多张环境图像进行视角转换以形成多张局部鸟瞰图像。在本步骤中,主要是为由架设于不同位置的图像撷取单元所取得的环境图像后,利用校正技术消除鱼眼、变形或者是透视的效应,然后将各个环境图像转换成鸟瞰平面的鸟瞰图像,以形成图3B所示的状态。在图3B中,鸟瞰图像91a~94a,分别对应该载具之前、后,左与右侧的环境图像91~94。至于消除与眼以及转换成鸟瞰图像的图像处理技术属于现有的技术,在此不作赘述。
再回到图2所示,接着进行步骤211,取得相邻两局部鸟瞰图像所具有的一重迭区域。如图3A所示,以图像撷取单元900与903为例,图像撷取单元900与903所具有的图像撷取范围95与96具有重迭的部分,也就是说,关于该载具的环境图像91与94中会具有重迭的物体。因此,在图3B中,经过鸟瞰视角转换所形成的相邻的鸟瞰图像,例如:鸟瞰图像91a与93a、鸟瞰图像91a与94a、鸟瞰图像92a与93a以及鸟瞰图像92a与94a间会有重迭的区域。因此,通过步骤211可以将重迭区域找出。请参阅图4所示,该图为本发明的寻找重迭区域流程示意图。首先以步骤2110,决定一参考平面。在本步骤中,该参考平面可以为地平面为主,但不以此为限。接着进行步骤2111,在该相邻的鸟瞰图像中寻找出,落于该参考平面上且相互对应的至少一特征点。如图3C所示,该图为鸟瞰图像中的特征点示意图。在图3C中,在鸟瞰图像91a与94a中,分别具有对应的物体910与940,而物体910与940上则可以寻找出落于参考平面上的特征点P1与P2以及P1’与P2’。要说明的是,该特征点可为图样、线条、文字,但不以此为限。
个别寻找出对应的特征点之后,再来进行步骤2112,对该两相邻的鸟瞰图像进行图像的几何调整,使两相邻的鸟瞰图像中相对应的该至少一特征点的对应误差最小。该误差为该两相邻的鸟瞰图像中相对应的至少一特征点所具有的特征信息差值的平均平方和,其可以表示成如下式(1)所示:
Figure GSA00000011739700061
其中p2i=Mrigid(q1i)......(1)
式(1)之中假设共有n个特征点,配合图3C所示,其中q1i为图像特征点i在鸟瞰图像91a的位置,而p2i为图像特征点i在鸟瞰图像94a的位置。Mrigid(x)是一图像转换机制,在本实施例中包括图像旋转、位移及缩放,Ij(x)为第j张鸟瞰图像中的在坐标x的位置中所对应的特征点所具有的特征信息,在本实施例中,该特征信息包括亮度及色彩。如图3D所示,该图为相邻两鸟瞰图像调整示意图。在不同的调整位置下,都会对应有一个err值,当该err值最小时,即是代表鸟瞰图像91a与94a的特征点P1与P2以及P1’与P2’几乎重迭在一起。在err最小时所对应的相邻两鸟瞰图像的迭合状态则如图3E所示。此时,需限区域即为相邻两鸟瞰图像91a与94a的重迭区域97。基于前述的方式,也可以寻找出相邻鸟瞰图像91a与93a、鸟瞰图像92a与93a以及鸟瞰图像92a与94a间的重迭区域。
请参阅图2所示,界定出重迭区域之后,随后进行步骤212,通过多次权重运算以得到每一相邻两鸟瞰图像间的一迭合图像。为了让将来这些重迭区域在图像组合之后可以贴近反应载具周围的状态,并免死角的产生,通过必须通过步骤212利用权重运算的方式,将两张鸟瞰图像相互重迭的区域整合成单一的重迭图像。如图5所示,该图为本发明的权重运算流程示意图。每一次的权重运算还包括有利用步骤2120,求得每一迭合图像中的每一迭合像素与该重迭区域中关于该两相邻重迭图像的一边界距离。本步骤的意义在于,假设重迭区域97为该迭合图像的范围,因此重迭区域内的每一个像素与该重迭区域于该两相临鸟瞰图像间的边界上可以求得一距离。如图3E所示,该重迭区域97内的迭合像素P3与重迭区域97于鸟瞰图像91a与94a的边界970与971间分别具有一距离d2与d1。
再回到图5所示,接着进行步骤2121,根据该边界距离决定关于该每一迭合图像的两相邻鸟瞰图像所分别具有的一第一权重以及一第二权重。如下式(2)与(3)所示,
w 1 = d 2 d 1 + d 2 . . . ( 2 )
w 2 = d 1 d 1 + d 2 . . . ( 3 )
如图3E所示,根据距离所决定的权重w1代表鸟瞰图像91a中对应迭合像素P3的像素对于形成像素P3的贡献度;同理,权重w2代表鸟瞰图像94a中对应迭合像素P3的像素对于形成像素P3的贡献度。
再回到图5所示,决定权重之后,接着即以步骤2122,将该两相邻鸟瞰图像中对应该迭合像素的像素所分别具有的一图像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征。如下式(4)所示:
I(P3)=w1I1(P3′)+w2I2(P3″)...........................(4)
根据式(4)可以得知,重迭区域内的每一个迭合像素的构成为相邻鸟瞰图像上对应该重迭区域中的迭合像素P3的像素P3′与P3″所具有的特征信息(颜色、亮度或对比度等)与权重值相乘的总和。如图3E中重迭区域97中其它迭合像素而言,也都是利用步骤230至232的演算方式得知。同样地,对于图3B中的其他相邻的鸟瞰图像91a与93a、鸟瞰图像92a与93a以及鸟瞰图像92a与94a间的重迭图像亦是利用前述的方式计算而得。再回到图2所示,最后进行步骤213,将该多张鸟瞰图像中所具有的非重迭图像以及相邻鸟瞰图像间的迭合图像进行组合以得到一全周鸟瞰图像,以形成如图3F所示的全周无接缝的鸟瞰图像98。由于本发明中对于相邻的两鸟瞰图像间的处理方式,是根据距离的关系来决定权重值,因此相邻两鸟瞰图像对于重迭区域内的每一个像素都有一定比例的贡献,通过此方式,不但不需要拼接图像而解除图像部连续的问题,而且在演算后可以形成平顺而无接缝的全周鸟瞰图像。
形成全周鸟瞰图像之后,再回到图1所示,接着进行步骤22,在该全周鸟瞰图像中产生关于距离的一辅助标志图像。该辅助标志可以为一具有一刻度格线的图像或者是框线图像。要说明的是,该辅助标志主要是代表图像空间与实际空间中距离的转换关系,因此并不以框线或者是刻度的形式为限制。首先说明刻度格线的图像。由于取得环境图像的图像撷取单元所撷取到的图像空间可以与实际载具周围对应到该图像撷取单元的实际空间有对应关系。如图6A所示,该图为载具于实际空间中示意图。在图6A中,载具于实际的三度空间中具有各个不同角度的图像撷取范围,例如,标号40代表设置于载具90前方的图像撷取单元所具有的图像撷取范围、标号41代表设置于载具90侧方的图像撷取单元所具有的图像撷取范围,而标号42代表设置于载具90后方的图像撷取单元所具有的图像撷取范围。以前方的图像撷取范围40为例,在范围40所撷取到的图像中每一个像素所对应到实体空间的距离大小是可以经由演算而得知。
例如,假设在图6A中的实际空间中存在一物体43,因此该物体的中心在实际空间的坐标系下所具有的坐标位置会与图6B中所形成的全周鸟瞰图像中所形成的关于该物体43的图像中心的像素于图像空间中的图像坐标位置存在着对应关系,其中图像重合区域982为依据图3E所述的图像处理方式而成。这个对应关系可以通过图像撷取单元的装设位置(包括高度、倾角)以及图像撷取单元的内部参数经由转换而得。该图像撷取单元的内部参数是属本领域技术人员所熟知的参数,在此不作赘述。当撷取到的环境图像被转换成鸟瞰图像,再经过组合所形成的全周鸟瞰图像后,由于图像中的每一个像素都可对应实际空间中的一特定位置,因此可以得知载具90中心在全周鸟瞰图像中所对应的像素位置。得知载具中心之后,由于载具的尺寸(长度、宽度)的信息为已知,因此,如图6B所示,即可在该全周鸟瞰图像98中特定的位置(例如载具前端)形成距离刻度的辅助标志980,使得载具的驾驶者可以根据该距离刻度,判断载具移动时是否会有碰撞到物体的可能性,另外依据图3E所述。至于刻度的间隔则可以根据需要而定,例如每50公分建立一刻度。此外,如图6C所示,该图为本发明的辅助标志另一实施例示意图。在本实施例中,该辅助标志981为一框线,该框线环设在载具90的周围。由于根据实际空间中关于载具的中心位置所对应的该鸟瞰图像的像素位置为已知,因此可以根据该鸟瞰图像中关于该载具的中心建构出代表安全警示的框线,框设在载具90的外围,藉以辅助驾驶者。至于该框线的大小,则可以根据需要而定而予已改变或调整。
请参阅图7A与图7B所示,该图为本发明的全周鸟瞰图像无缝接合系统实施例示意图。该系统3包括有多个图像撷取单元30、一控制单元31以及一显示单元32。该多个图像撷取单元30,其分别设置于一载具90的不同位置上,每一图像撷取单元30产生一环境图像。该载具90可为一车辆,而该多个图像撷取单元30,可为摄影机或照相机,则可以设置在该载具90之前方、后方、左方(后视镜的位置)与右方(后视镜的位置),但不以此为限制。该多个图像撷取单元30的数量根据需要而定,并不以本发明的图示中的四个图像撷取单元为限制。每一个图像撷取单元30会撷取图像以形成环境图像。由于有多个图像撷取单元30,因此可以产生多张环境图像。
该控制单元31,其与该多个图像撷取单元30相耦接,以接收该多张环境图像。该控制单元31可以进行图1、图2、图4与图5的图像处理流程,以得到关于该载具的周围环境的一全周鸟瞰图像信号以及辅助标志图像信号。在本实施例中,该控制单元31还包括有一图像接收接口310、一运算处理单元311、一图像输出接口312以及一存储器模块313。该图像接收接口310,其与该多个图像撷取单元30相耦接,以接收该多个环境图像。该运算处理单元311,其接收该多个环境图像,以进行图1、图2、图4与图5图像处理运算流程以对该多个环境图像进行处理以形成该全周鸟瞰图像信号以及该辅助标志图像信号。该存储器模块313,其与该运算处理单元311相耦接。本实施例中,该存储器模块313还具有一静态随机存取存储器3130(static random access memory,SRAM)模块以及一快闪存储器3131(flash)模块。
该图像输出接口312,其与该运算处理单元311以及该显示单元32相耦接,以将该全周鸟瞰图像信号以及辅助标志图像信号传给该显示单元32。此外,该控制单元31还具有一电源接口314以接收电压源以及载具信号接口315以接收载具所产生的信号。该显示单元32,其设置于该载具90内并与该控制单元31相耦接,该显示单元32接收该全周鸟瞰图像信号以及辅助标志图像信号,而显示全周鸟瞰图像以及迭加于该全周鸟瞰图像上的辅助标志图像。该辅助标志图像可以为刻度图像或者是框线图像。此外,在该显示单元32上还可以显示一人机接口320,其为图形或文字的操作介面。该人机接口320可以提供使用者设定刻度或框线的大小,以符合载具的车型或尺寸。设定之后的相关讯息会传至该运算处理单元311,使得该运算处理单元311可以调整该在显示单元32中的刻度显示或框线显示的大小。
然而以上所述仅为本发明的实施例,当不能以之限制本发明范围。即大凡依本发明权利要求书所做的均等变化及修饰,仍将不失本发明的要义所在,亦不脱离本发明的精神和范围,故都应视为本发明进一步实施状况。

Claims (20)

1.一种全周鸟瞰图像距离界面产生方法,其包括有下列步骤:
提供多张环境图像;
转换该多张环境图像并组合形成一全周鸟瞰图像;以及
在该全周鸟瞰图像中产生关于距离的一辅助标志图像,
其中形成该全周鸟瞰图像还包括有下列步骤:
对该多张环境图像进行视角转换以形成多张局部鸟瞰图像;
取得相邻两局部鸟瞰图像所具有的一重迭区域;
通过多次的权重运算以得到每一相邻两局部鸟瞰图像间的一迭合图像;以及
将该多张局部鸟瞰图像中所具有的非重迭图像以及相邻局部鸟瞰图像间的迭合图像进行组合以得到该全周鸟瞰图像,
其中每一次权重运算还包括有下列步骤:
求得每一迭合图像中的每一迭合像素与该重迭区域中关于该两相邻重迭图像的一边界距离;
根据该边界距离决定关于该每一迭合图像的两相邻鸟瞰图像所分别具有的一第一权重以及一第二权重;以及
将该两相邻鸟瞰图像中对应该迭合像素的像素所分别具有的一图像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征。
2.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其中该图像特征为亮度以及色彩。
3.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其中决定该重迭区域还包括有下列步骤:
决定一参考平面;
在该相邻的鸟瞰图像中寻找出,落于该参考平面上且相互对应的至少一特征点;以及
对相邻的两鸟瞰图像进行调整,使两相邻的鸟瞰图像中相对应的该至少一特征点的对应误差最小。
4.如权利要求3所述的全周鸟瞰图像距离界面产生方法,其中该特征点为该鸟瞰图像中的线条、图样或者是文字信息。
5.如权利要求3所述的全周鸟瞰图像距离界面产生方法,其中该调整方式为通过旋转、缩放或平移的方式进行调整。
6.如权利要求3所述的全周鸟瞰图像距离界面产生方法,其中该误差为该两相邻的鸟瞰图像中相对应的至少一特征点所具有的特征信息差值的平均平方和。
7.如权利要求6所述的全周鸟瞰图像距离界面产生方法,其中该特征信息为亮度或色彩。
8.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其还包括有将该全周鸟瞰图像以及该辅助标志图像传递至一图像显示单元以进行显示的步骤。
9.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其中该多张环境图像利用设置于一载具上不同位置的图像撷取单元撷取该载具周围环境的图像而得。
10.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其中该载具为车辆。
11.如权利要求1所述的全周鸟瞰图像距离界面产生方法,其中该辅助标志图像为一框线图像或者是具有一刻度格线的图像。
12.一种全周鸟瞰图像距离辅助显示系统,包括:
多个图像撷取单元,其分别设置于一载具的不同位置上,每一图像撷取单元产生一环境图像;
一控制单元,其接收该多张环境图像,该控制单元对该多张环境图像进行视角转换以形成一全周鸟瞰图像信号,该控制单元还产生关于距离的一辅助标志图像信号;以及
一显示单元,其设置于该载具内并与该控制单元相耦接,该显示单元接收该全周鸟瞰图像信号以及该辅助标志图像信号,并显示对应该全周鸟瞰图像信号的全周鸟瞰图像以及在该全周鸟瞰图像形成对应该辅助标志图像信号的一辅助标志,
其中该控制单元包括有:
一图像接收接口,其接收该多个环境图像;
一运算处理单元,其接收该多个环境图像,以对该多个环境图像进行处理以形成该全周鸟瞰图像信号;
一存储器模块,其与该运算处理单元相耦接;以及
一图像输出接口,其与该运算处理单元以及该显示单元相耦接,以将该全周鸟瞰图像信号传给该显示单元。
其中,在该运算处理单元中,形成该全周鸟瞰图像包括:
对该多张环境图像进行视角转换以形成多张局部鸟瞰图像;
取得相邻两局部鸟瞰图像所具有的一重迭区域;
通过多次的权重运算以得到每一相邻两局部鸟瞰图像间的一迭合图像;以及
将该多张局部鸟瞰图像中所具有的非重迭图像以及相邻局部鸟瞰图像间的迭合图像进行组合以得到该全周鸟瞰图像,
其中,在该运算处理单元中,每一次权重运算包括:
求得每一迭合图像中的每一迭合像素与该重迭区域中关于该两相邻重迭图像的一边界距离;
根据该边界距离决定关于该每一迭合图像的两相邻鸟瞰图像所分别具有的一第一权重以及一第二权重;以及
将该两相邻鸟瞰图像中对应该迭合像素的像素所分别具有的一图像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征。
13.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中该多个图像撷取单元分别设置于该载具的前、后、左与右侧上。
14.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中该载具为车辆。
15.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中该辅助标志为一框线或者是具有一刻度格线。
16.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中显示单元还显示一人机操作界面。
17.如权利要求16所述的全周鸟瞰图像距离辅助显示系统,其中该人机操作界面提供更改该辅助标志的格式。
18.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中该控制单元还具有一电源接口以接收电压源以及载具信号接口以接收载具所产生的信号。
19.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其中该图像撷取单元为照相机或摄影机。
20.如权利要求12所述的全周鸟瞰图像距离辅助显示系统,其该存储器模块还具有一静态随机存取存储器模块以及一快闪存储器模块。
CN 201010106975 2010-01-22 2010-01-22 全周鸟瞰图像距离界面产生方法与系统 Active CN102137247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010106975 CN102137247B (zh) 2010-01-22 2010-01-22 全周鸟瞰图像距离界面产生方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010106975 CN102137247B (zh) 2010-01-22 2010-01-22 全周鸟瞰图像距离界面产生方法与系统

Publications (2)

Publication Number Publication Date
CN102137247A CN102137247A (zh) 2011-07-27
CN102137247B true CN102137247B (zh) 2013-01-30

Family

ID=44296889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010106975 Active CN102137247B (zh) 2010-01-22 2010-01-22 全周鸟瞰图像距离界面产生方法与系统

Country Status (1)

Country Link
CN (1) CN102137247B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011083378B4 (de) * 2011-09-26 2015-07-16 Robert Bosch Gmbh Vorrichtung und Verfahren zum Überprüfen von Streckendaten
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
EP2936393B1 (en) * 2012-12-24 2019-06-19 Harman International Industries, Inc. User location system
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持系统和产生俯视图像的方法
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101487895A (zh) * 2008-01-15 2009-07-22 华晶科技股份有限公司 显示鸟瞰车辆图像的倒车雷达系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801216A (zh) * 2004-10-25 2006-07-12 日产自动车株式会社 驾驶支持系统和产生俯视图像的方法
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
CN101487895A (zh) * 2008-01-15 2009-07-22 华晶科技股份有限公司 显示鸟瞰车辆图像的倒车雷达系统

Also Published As

Publication number Publication date
CN102137247A (zh) 2011-07-27

Similar Documents

Publication Publication Date Title
CN102137247B (zh) 全周鸟瞰图像距离界面产生方法与系统
TWI392366B (zh) 全周鳥瞰影像距離介面產生方法與系統
TWI417639B (zh) 全周鳥瞰影像無縫接合方法與系統
EP2437494B1 (en) Device for monitoring area around vehicle
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
CN101487895B (zh) 显示鸟瞰车辆图像的倒车雷达系统
CN102740055A (zh) 环场监控装置及其方法
CN103247030A (zh) 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN111273765B (zh) 车辆用显示控制装置、车辆用显示控制方法以及存储介质
CN111016788B (zh) 一种电子后视镜系统及交通工具
JP6253467B2 (ja) 画像処理装置および画像処理プログラム
CN102291541A (zh) 一种车辆虚拟合成显示系统
CN102555905B (zh) 产生车辆周围环境中至少一个物体的影像的方法和设备
CN106855999A (zh) 汽车环视图像的生成方法及装置
JP2009093332A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
EP2551817A2 (en) Vehicle rear view camera system and method
CN113525234A (zh) 一种辅助驾驶系统装置
EP4156125A1 (en) Image processing system, mobile object, image processing method, and storage medium
EP4156127A1 (en) Image processing system, mobile object, image processing method, and storage medium
CN112347825B (zh) 车身环视模型的调整方法及其系统
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
CN205010095U (zh) 三维行车影像校正装置
CN115883778A (zh) 移动体、图像处理方法和存储介质
CN211166677U (zh) 车辆环景影像装置
CN105447007A (zh) 一种电子设备及数据处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210820

Address after: Taipei City, Taiwan, China

Patentee after: Innovation good Co.,Ltd.

Address before: Hsinchu County, Taiwan, China

Patentee before: Industrial Technology Research Institute

TR01 Transfer of patent right