CN103530865A - 用于使用车辆周围图像检测三维物体的设备和方法 - Google Patents

用于使用车辆周围图像检测三维物体的设备和方法 Download PDF

Info

Publication number
CN103530865A
CN103530865A CN201210579926.1A CN201210579926A CN103530865A CN 103530865 A CN103530865 A CN 103530865A CN 201210579926 A CN201210579926 A CN 201210579926A CN 103530865 A CN103530865 A CN 103530865A
Authority
CN
China
Prior art keywords
frontier district
image
top view
vehicle
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210579926.1A
Other languages
English (en)
Inventor
尹大仲
崔在燮
藏裕珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103530865A publication Critical patent/CN103530865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本发明提供一种用于使用车辆周围图像检测三维物体的设备,该设备包括配置在车辆的前、后、左和右侧上的多个成像装置;处理器,其配置为:通过虚拟成像装置收集车辆的前、后、左和右侧的图像;通过合成上述图像的多个顶视图图像来生成合成图像;在每个边界区中提取多个顶视图图像的边界图案;比较多个顶视图图像的边界图案,从而分析每个边界区中的多个邻近图像之间的相关性;以及根据在每个边界区中多个邻近图像之间的相关性来检测三维物体。

Description

用于使用车辆周围图像检测三维物体的设备和方法
技术领域
本发明涉及用于使用车辆周围图像检测三维物体的设备和方法,并更特别涉及用于通过分析车辆的前、后、左和右顶视图图像之间的边界图案的相关性来检测位于边界区的三维物体的设备和方法。
背景技术
周围全景监控(AVM:Around View Monitoring)系统是转换通过配置在车辆的前、后、左和右侧上的成像装置拍摄的图像的视图并显示在一个图像中的系统。因此,驾驶员可以通过一个图像,通过周围全景监控系统来识别位于车辆周围的物体。
然而,周围全景监控系统使用由在车辆的前、后、左和右侧上的成像装置获取的多个图像来提供合成图像,由于每个成像装置的视角的不同,在合成图像中多个图像之间的边界区留下潜在盲区。
当盲区中可能具有三维(3D)物体时,该物体可以不在合成图像中出现,或可以仅在一个图像中出现。当3D物体仅在一个图像中出现时,驾驶员可能在合成图像中清晰地显示物体之前辨认该物体时遇到困难。
发明内容
因此,本发明提供用于使用车辆周围图像检测3D物体的设备和方法,其中比较在邻近图像之间的边界图案从而分析其相关性,由此检测位于合成图像中的每个边界区的3D图像,该边界图案可以从通过组合车辆的前、后、左和右侧的顶视图图像来获取的合成图像中的顶视图图像之间的边界区提取。
另外,本发明提供用于使用车辆周围图像检测3D物体的设备和方法,其中检测位于合成图像的每个边界区的3D物体并输出,因此驾驶员可以容易地检测位于盲区中的物体。
根据本发明的实施例,用于使用车辆周围图像检测3D物体的设备包括由控制器中的处理器执行的多个单元。该多个单元包括:图像获取单元,其配置为通过使用设置于车辆的前、后、左和右侧上的成像装置的数学模型生成的虚拟图像装置,来收集车辆的前、后、左和右侧的图像;图像合成单元,其配置为通过合成由图像获取单元捕捉的车辆的前、后、左和右侧的图像的顶视图图像,来生成合成图像;边界图案提取单元,其配置为从合成图像分析在车辆的前、后、左和右侧的顶视图图像之间的边界区,从而在每个边界区中提取车辆的前、后、左和右侧顶视图图像的边界图案(pattern);相关性分析单元,其配置为比较由边界图案提取单元提取的车辆的前、后、左和右侧的顶视图图像的边界图案,从而在每个边界区中分析邻近图像之间的相关性;以及三维(3D)物体检测单元,其配置为在每个边界区中根据邻近图像之间的相关性,检测位于每个边界区中的3D物体。上述边界图案在边界区中包括的车辆的前、后、左和右侧顶视图图像的像素或像素块(block、块)中的亮度、颜色和特征值中的至少一个。上述相关性分析单元在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性,并在每个边界区中邻近图像之间边界图案的差别较大时分析出较低相关性。3D物体检测单元根据相关性分析单元的分析结果,从在邻近图像之间具有较低相关性的边界区检测三维物体。
在本发明的另一实施例中,用于使用车辆周围图像检测3D物体的方法包括:通过使用配置在车辆的前、后、左和右侧上的成像单元的数学模型生成的虚拟图像装置,来捕捉车辆的前、后、左和右侧的图像;由控制器中的处理器通过合成车辆的前、后、左和右侧的图像的多个顶视图图像(top view image)来生成合成图像;由处理器从合成图像分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区,从而在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案;由处理器比较车辆的前、后、左和右侧的多个顶视图图像的边界图案,从而在每个边界区中分析邻近图像之间的相关性;以及由处理器在每个边界区中根据邻近图像之间的相关性,检测位于每个边界区中的3D物体。边界图案在边界区中包括车辆的前、后、左和右侧顶视图图像的像素或像素块(block)中的亮度、颜色和特征值中的至少一个。相关性的分析可以包括:在每个边界区中多个邻近图像之间边界图案的差别较小时由处理器分析出较高相关性,并在每个边界区中多个邻近图像之间边界图案的差别较大时由处理器分析出较低相关性。3D物体的检测可以包括由处理器根据分析相关性的分析结果,从在多个邻近图像之间具有较低相关性的边界区检测3D物体。
附图说明
本发明的目标、特征和优点从连同附图的以下详细描述更加明显,其中:
图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图;
图2是示出根据本发明的示例性实施例的用于使用车辆周围图像检测三维物体的设备的配置的示例框图;
图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图;
图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图;以及
图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
附图说明
10:多个成像装置
11:第一成像装置
12:第二成像装置
13:第三成像装置
14:第四成像装置
100:控制器
110:处理器
120:存储器
130:图像获取单元
140:视图转换单元
150:图像合成单元
160:边界图案提取单元
170:相关性分析单元
180:三维物体检测单元
190:输出单元
具体实施方式
应理解,术语“车辆”或“车辆的”或如在此使用的其它相似术语一般包括机动车辆,例如包括运动型多用途汽车(SUV)、公共汽车、卡车、各种商业车辆的乘用车、包括各种船只和船舶的水运工具、飞行器等等,并包括混合动力车辆、电动车辆、插入式混合动力电动车辆、氢动力车辆,以及其它代用燃料车辆(例如,来源于除石油之外的资源的燃料)。
尽管示例性实施例描述为使用多个单元执行示例进程,但应理解示例进程也可以由一个或多个模块执行。另外,应理解术语控制器指代包括存储器和处理器的硬件装置。存储器配置为存储模块,并且处理器具体配置为执行所述模块,从而执行在下面进一步描述的一个或更多进程。
此外,本发明的控制逻辑可以体现为在包括由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非易失性(非瞬时性)计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM(只读光盘)、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接网络的计算机系统中,因此计算机可读介质以分布形式存储并执行,例如由远程信息处理服务器(telematics server)或控制器域网络(CAN)存储并执行。
在此使用的术语仅用于描述具体实施例,并不意在限制本发明。本文所使用的单数形式“一个或一种(a、an和the)”除上下文以其它方式明确表明之外,意在同样包括复数形式。进一步应理解的是,本文中所使用的术语“包含(comprises和/或comprising)”是指存在所述特征、整数、步骤、操作、元件和/或部件,但不排除存在或添加一个或更多其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的,术语“和/或”包括一个或多个相关所列项目中的任何与所有组合。
参考附图详细描述本发明的示例性实施例。整个附图中的相同参考标号用来指代相同或相似的部分。可以省略包括在此的众所周知的功能和结构的详情,从而避免掩盖本发明的主题。
图1是示出根据本发明的示例性实施例的在周围全景监控系统中捕捉图像的操作的示例图。
参考图1,用于使用车辆周围图像检测三维物体的设备(在下文中,“3D物体检测设备”)可以通过使用在周围全景监控(AVM)系统中使用的图像,来检测车辆周围的3D物体。AVM系统可以配备配置在车辆外部的成像装置,并可以通过由相应成像装置拍摄的图像来监控车辆的周围区域。
在AVM系统中,多个成像装置11、12、13、14可以配置在车辆的前、后、左和右侧上,并且可以通过配置在车辆的前、后、左和右侧上的各个成像装置11、12、13、14拍摄前区R1、后区R2、左区R3、和右区R4的图像,并可以合成且转换成顶视图图像,其中该顶视图图像可以通过显示器单元上的屏幕来显示。因此,驾驶员可以通过监控通过ATM提供的顶视图图像,来辨认车辆的周围区域。
在根据本发明的三维物体检测设备中,可以使用应用到AVM系统的每个成像装置,并且可以分析通过每个成像装置捕捉的图像的边界区图案,从而检测靠近车辆的3D物体,例如石头。参考图2的示例性实施例说明3D物体检测装置的示例性配置的细节。
图2是示出根据本发明的用于使用车辆周围图像检测三维物体的设备的配置的示例框图。
参考图2,根据本发明的3D物体检测设备可以包括由具有存储器120的控制器100中的处理器110执行的多个单元。该多个单元包括:图像获取单元130、视图转换单元140、图像合成单元150、边界图案提取单元160、相关性分析单元170、三维物体检测单元180,以及输出单元190。这里,处理器110可以控制三维物体检测设备的每个元件的操作。
存储器120可以存储用于三维物体检测设备的检测3D物体的操作的设定值。另外,存储器120可以存储通过多个成像装置10拍摄的图像、合成图像,以及从每个图像提取的数据。此外,存储器120可以存储作为分析每个图像的结果的检测出的三维物体的信息。
图像获取单元130可以收集由配置在车辆外部的多个成像装置10拍摄的图像。
此外,配置在车辆外部的多个成像装置10可以包括配置在车辆的前、后、左侧和右侧上的第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14。该多个成像装置10可以分别配置在车辆的前、后、左侧和右侧上,然而,应注意可以另外设置其它成像装置。
即,图像获取单元130可以由处理器收集通过第一成像装置11、第二成像装置12、第三成像装置13和第四成像装置14拍摄的车辆的前、后、左和右侧的图像,并且处理器110可以在存储器120中存储由图像获取单元130收集的图像。
视图转换单元140可以由处理器转换由图像获取单元130收集的车辆的前、后、左和右侧的图像。具体地,视图转换单元140可以由处理器通过将车辆的前、后、左和右侧的多个图像的视图转换成顶视图,来生成顶视图图像。另外,图像合成单元150可以由处理器通过将源自视图转换单元140的车辆的前、后、左和右侧的视图的顶视图图像合成为一个图像,来生成合成图像。
在图2的示例性实施例中,视图转换单元140和图像合成单元150在该三维物体检测设备中可以是分立单元;然而根据另一实施例,合成图像可以从AVM系统被输入并且被使用,借此可以省略视图转换单元140和图像合成单元150。即,图像获取单元130可以从AVM系统收集车辆的前、后、左和右侧的顶视图图像的合成图像。
此外,边界图案提取单元160可以由处理器从车辆的前、后、左和右侧的多个顶视图图像的合成图像提取并分析在车辆的前、后、左和右侧的多个顶视图图像之间的边界区。具体地,边界图案提取单元160可以由处理器在每个边界区中提取车辆的前、后、左和右侧的多个顶视图图像的边界图案。
此外,边界区图案可以包括与多个顶视图图像之间每个边界区中的车辆的前、后、左和右侧顶视图图像的多个顶视图图像对应的像素或像素块中的亮度、颜色和特征值中的至少一个。
在示例性实施例中,边界图案提取单元160可以由处理器在车辆的前和右侧的顶视图图像之间的边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值(block value、块值)和特征值中的至少一个。类似地,边界图案提取单元160可以由处理器在车辆的后和右侧的顶视图图像之间边界区中、在车辆的后和左侧的顶视图图像之间边界区中,以及在车辆的前和左侧的顶视图图像之间边界区中提取每个顶视图图像的亮度、颜色、像素值、像素块值和特征值中的至少一个。
相关性分析单元170可以由处理器比较由边界图案提取单元160提取的车辆的前、后、左和右侧的多个顶视图图像的边界图案,从而在合成图像的每个边界区中分析多个邻近图像之间的相关性。具体地,多个邻近图像可以指代在合成图像的每个边界区中相互面对的图像。例如,在车辆的前和右侧的多个顶视图图像相互面对的边界区中,前侧的顶视图图像的邻近图像可以是右侧的顶视图图像。
此外,相关性分析单元170可以由处理器在合成图像的每个边界区中基于多个邻近图像之间的边界图案的差别,在相应边界区中分析多个邻近图像之间的相关性。具体地,相关性分析单元170可以在每个边界区中邻近图像之间边界图案的差别较小时分析出较高相关性,并且可以在边界图案的差别较大时分析出较低相关性。
三维物体检测单元180可以由处理器在合成图像的每个边界区中根据邻近图像之间的相关性,来检测位于每个边界区中的3D物体。具体地,三维物体检测单元180可以在合成图像中从邻近图像之间具有较低相关性的边界区检测3D物体。
在示例性实施例中,三维物体检测单元180可以由处理器在合成图像的边界区中邻近图像之间的亮度或颜色的差别较大时,确定三维物体位于相应边界区中。在由三维物体检测单元180确定检测到3D物体时,输出单元190可以由处理器输出通知检测到3D物体的消息。具体地,输出单元190可以输出3D物体被检测到的位置。
此外,输出单元190可以是显示器(display)例如监视器(monitor)、触摸屏或导航仪,和语音输出设备例如扬声器。因此,由输出单元190输出的消息并不仅限于一种形式,可以根据实施例来改变。
图3是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中合成图像的操作的示例图。
参考图3,根据本发明的三维物体检测设备,如(a)所示,可以收集通过配置在车辆的前、后、左和右侧上的多个成像装置拍摄的多个图像I1、I2、I3和I4。具体地,如图3的(b)所示,三维物体检测设备可以由处理器通过配置在车辆的前、后、左和右侧上的每个成像装置的数学建模来设定虚拟成像装置,并且,如(c)所示,可以将在(a)中获取的各自图像的视图转换成顶视图,从而生成合成图像。
即,在图3的(a)中通过配置在车辆的前侧的成像装置拍摄的图像I1对应于(c)的合成图像的I1,并且在图3的(a)中通过配置在车辆的后侧上的成像装置拍摄的图像I2对应于(c)的合成图像的I2。同样,在图3的(a)中通过配置在车辆的左侧上的成像装置拍摄的图像I3对应于(c)的合成图像的I3,并且在图3的(a)中通过配置在车辆的右侧上的成像装置拍摄的图像I4对应于(c)的合成图像的I4。
图4至7是示出根据本发明的示例性实施例在用于使用车辆周围图像检测三维物体的设备中检测三维物体的操作的示例图。
图4示出在图3中生成的合成图像中的车辆的前、后、左和右侧的多个顶视图图像之间的边界区。
参考图4,在图3的(c)中生成的合成图像中,车辆的前、后、左和右侧的顶视图图像之间的边界区可以在车辆的前-左(FL)、前-右(FR)、后-左(RL)和后-右(RR)侧上形成。
三维物体检测设备可以由处理器提取边界图案,例如在每个边界区中多个邻近图像的亮度、颜色、像素值、像素块值和特征值。具体地,三维物体检测设备可以关于边界区中邻近图像之间的边界线,将边界图案从车辆的内侧提取到外侧。
此外,三维物体检测设备可以由处理器关于每个边界区的边界线分析在对应于邻近图像的位置的边界图案的相关性,并且当相关性等于或大于参考值时可确定为平坦表面,并在相关性低于参考值时可确定三维物体位于相应区域。
即,三维物体检测设备可以由处理器在合成图像的每个边界区中关于邻近图像之间的边界线,比较边界图案,例如相应位置的亮度、颜色、像素值、像素块值和特征值,并可以在边界图案相似于参考图案时确定为平坦表面,并可以在边界图案不相似于参考图案时确定三维物体位于相应区域中。
图5示出在图4的边界图像中提取的邻近图像之间的边界图案的相关性。
参考图5,边界图案的相关性可以具有最大值1和最小值0,并且在每个边界区中根据邻近图像之间的边界图案的差别,该值在0至1的范围内变化。具体地,在每个边界区中用于检测三维物体的参考相关性可以根据设定修改,并且在图5的示例性实施例中,用于确定三维物体的参考相关性可以是0.98。
即,在每个边界区中邻近图像之间的边界图案的相关性等于或大于0.98时,可以根据较高相关性确定为平坦表面,并且在该相关性低于0.98时,可以根据较低相关性确定三维物体存在。
在图5中示出的图表中,横轴是排列像素块来提取边界图案的顺序(例如,最内像素块是第一个像素块,并且最外像素块是第100个像素块),纵轴是相关性。具体地,为了提取边界图案而进行排列的像素块可以具有对应于三个像素的宽度;然而,本发明不限于此。
此外,在合成图像的前方左侧上的边界区的相关性图表中,对于第一个至第40个像素块,相关性可能等于或大于0.98,并且第40个像素块以后可能低于0.98。在三维物体检测设备确定在车辆的前左方向上的第一个到第40个像素块是平坦表面时,三维物体可能位于第40个像素块以后。
另外,在合成图像的前方右侧上的边界区的相关性图表中,直至第25个像素块,相关性可能等于或大于0.98,并且在第25个像素块之后可能低于0.98。在三维物体检测设备确定在车辆的前右方向上的第一个到第25个像素块是平坦表面时,三维物体可能位于第25个像素块以后。
此外,在合成图像的后方左侧上的边界区的相关性图表中,直至第45个像素块和在第55个像素块之后,相关性可能等于或大于0.98,并且在第46个像素块和第55个像素块之间相关性可能低于0.98。在三维物体检测设备确定三维物体在车辆的后左方向上的第46个到第55个像素块之间存在时,剩余像素块可能是平坦表面。
另外,在合成图像的前方左侧上的边界区的相关性图表中,直到第20个像素块,相关性可能等于或大于0.98,并且在第20个像素块之后,相关性可能低于0.98。在三维物体检测设备确定在车辆的后右方向上的第一个到第20个像素块是平坦表面时,三维物体可能位于第20个像素块之后。
图6和7示出在实际车辆中拍摄的多个图像的示例性合成图像。
参考图6,在车辆的前右方向上的边界区中和在后右方向上的边界区中邻近图像之间显现出色差。具体地,邻近图像之间的显著差别在区域A1和区域A2之间显现。
此外,三维物体检测设备可以由处理器比较在车辆的前方右侧的边界区中和在后方右侧的边界区中的邻近图像之间的边界图案的差别,并可以确定在区域A1和区域A2中的邻近图像之间相关性较低。因此,三维物体检测设备可以确定三维物体位于区域A1和区域A2中,并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
此外,参考图7,在车辆的前左方向上的边界区中和在后左方向上的边界区中邻近图像之间显现出色差和亮度差。具体地,邻近图像之间的显著差别在区域B1和区域B2之间显现。
此外,三维物体检测设备可以由处理器比较在车辆的前方左侧的边界区中和在后方左侧的边界区中的邻近图像之间的边界图案的差别,并可以确定在区域B1和区域B2中的邻近图像之间相关性较低。因此,三维物体检测设备可以确定三维物体位于区域B1和区域B2中,并可以通过车辆的显示设备或语音输出设备输出三维物体检测信息。
因此,三维物体检测设备可以由处理器使用分析邻近图像之间的边界图案的相关性的技术来检测3D物体,因此,可以在不需要另外的用于检测3D物体的设备的情况下检测3D物体,并且驾驶员可以容易地辨认位于盲区中的3D物体。
下面详细描述上面根据本发明配置的三维物体检测设备的示例性方法。
图8是示出根据本发明的示例性实施例的使用车辆周围图像检测三维物体的方法的示例流程图。
参考图8,根据本发明的三维物体检测设备可以由处理器从配置在车辆的前、后、左和右侧上的多个成像装置收集图像(S100),并可以由处理器将在S100中收集的图像转换成顶视图图像(S110)。在S110中,可以基于配置在车辆的前、后、左和右侧上的多个成像装置的定位信息,通过数学建模来设定对应于每个成像装置的虚拟成像装置,并且可以使用设定好的虚拟成像装置转换在S100中获取的图像的顶视图。接下来,可以由处理器将多个顶视图图像合成为一个图像(S120)。另外,当在车辆中配置有AVM系统时,可以省略S110和S120。
此外,三维物体检测设备可以由处理器从在S120中生成的合成图像,提取在多个顶视图图像之间的边界区。具体地,三维物体检测设备可以提取包括在S130中提取的边界区中的多个顶视图图像的边界图案,并由处理器在其间进行比较(S140)。在S140中,可以由处理器从每个边界区在像素或像素块中(以像素或像素块单位)提取每个顶视图图像的亮度、颜色和特征点,并且在每个边界区中多个邻近顶视图图像的亮度、颜色和特征点,可以由处理器在其间进行比较。
基于S140的比较结果,三维物体检测设备可以由处理器分析在每个边界区中邻近顶视图图像之间的相关性(S150)。
在一个实施例中,三维物体检测设备可以由处理器在具体边界区中比较邻近顶视图图像的亮度,从而根据邻近顶视图图像之间的亮度差分析相关性。具体地,当邻近顶视图图像之间的亮度差较小时,分析出相关性较高,并且当邻近顶视图图像之间的亮度差较大时,分析出相关性较低。
当在S150中由处理器在车辆的前方左侧、前方右侧、后方右侧以及后方左侧中的边界区中完成邻近图像之间的相关性分析时,三维物体检测设备可以由处理器基于S150的分析结果检测位于每个边界区中的3D物体(S160)。
在S160中,三维物体检测设备可以由处理器在邻近图像之间具有低相关性的边界区中检测3D物体。在S160中检测到3D物体时,三维物体检测设备可以由处理器以文本或语音的形式通知驾驶员3D物体检测结果。
根据本发明,在合成车辆的前、后、左和右侧的顶视图的合成图像中,根据从顶视图图像之间的边界区中提取的邻近图像之间的边界图案的相关性来检测三维物体,由此,驾驶员可以容易辨认位于盲区中的3D物体。
根据本发明的三维物体检测设备可以使用分析邻近图像之间的边界图案的相关性的技术来检测三维物体,从而可以在不需要用于检测三维物体的分立设备的情况下检测3D物体,并且驾驶员可以容易地辨认位于盲区中的3D物体。
以上,尽管参考附图描述了本发明的实施例,但本领域技术人员应认识到,在不背离本发明的技术精神或基本特征的情况下,能够用其它具体形式实施本发明。因此,以上描述的本发明应解释为在各个方面的示例而不是限制。

Claims (12)

1.一种用于使用车辆周围图像检测三维物体的设备,所述设备包括:
配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置;和
处理器,所述处理器配置为:
通过使用每个成像装置的数学建模而生成的虚拟成像装置,来收集所述车辆的所述前方、后方、左侧和右侧的图像;
通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像,来生成合成图像;
从所述合成图像,分析所述多个顶视图图像之间的边界区,从而在每个边界区中提取所述多个顶视图图像的边界图案;
比较所述多个顶视图图像的所述边界图案,从而分析在每个边界区中多个邻近图像之间的相关性;以及
根据每个边界区中的所述多个邻近图像之间的相关性,检测布置在每个边界区中的三维物体。
2.如权利要求1所述的设备,其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
3.如权利要求1所述的设备,其中所述处理器进一步配置为,在每个边界区中所述多个邻近图像之间,所述边界图案的差别较小时,分析出较高相关性,并在每个边界区中所述多个邻近图像之间,所述边界图案的差别较大时,分析出较低相关性。
4.如权利要求1所述的设备,其中所述处理器进一步配置为,从所述多个邻近图像之间具有较低相关性的边界区检测所述三维物体。
5.一种使用车辆周围图像检测三维物体的方法,所述设备包括:
由处理器通过使用配置在所述车辆的前方、后方、左侧和右侧上的多个成像装置的数学建模而生成的虚拟成像装置,来收集所述车辆的所述前方、后方、左侧和右侧的图像;
由所述处理器通过合成所述车辆的前方、后方、左侧和所述右侧的图像的多个顶视图图像,来生成合成图像;
由所述处理器从所述合成图像分析所述多个顶视图图像之间的边界区,从而在每个边界区中提取所述多个顶视图图像的边界图案;
由所述处理器比较所述多个顶视图图像的边界图案,从而分析每个边界区中的多个邻近图像之间的相关性;以及
由所述处理器根据每个边界区中的所述多个邻近图像之间的相关性,检测布置在每个边界区中的三维物体。
6.如权利要求5所述的方法,其中所述边界图案选自下述中的至少一个:每个边界区中的所述多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
7.如权利要求5所述的方法,其中所述相关性的分析还包括:
在每个边界区中所述多个邻近图像之间,所述边界图案的差别较小时,由所述处理器分析出较高相关性,并在每个边界区中所述多个邻近图像之间,所述边界图案的差别较大时由所述处理器分析出较低相关性。
8.如权利要求5所述的方法,其中所述三维物体的检测还包括:
由所述处理器,从所述多个邻近图像之间具有较低相关性的所述边界区,检测所述三维物体。
9.一种含有由处理器执行的程序指令的非瞬时性计算机可读介质,所述计算机可读介质包括:
通过使用每个成像装置的数学建模而生成的虚拟成像装置,来收集所述车辆的前方、后方、左侧和右侧的图像的程序指令;
通过合成来自所述车辆的所述前方、后方、左侧和右侧的已收集图像的多个顶视图图像,来生成合成图像的程序指令;
从所述合成图像分析所述多个顶视图图像之间的边界区,从而在每个边界区中提取所述多个顶视图图像的边界图案的程序指令;
比较所述多个顶视图图像的边界图案,从而分析在每个边界区中多个邻近图像之间的相关性的程序指令;以及
根据在每个边界区中所述多个邻近图像之间的相关性,检测布置在每个边界区中的三维物体的程序指令。
10.如权利要求9所述的非瞬时性计算机可读介质,其中所述边界图案选自下述中的至少一个:每个边界区中的所述车辆的前方、后方、左侧和右侧的多个顶视图图像的像素或像素块中的亮度、颜色和特征值。
11.如权利要求9所述的非瞬时性计算机可读介质,还包括:
在每个边界区中所述多个邻近图像之间,所述边界图案的差别较小时分析出较高相关性,并在每个边界区中所述多个邻近图像之间,所述边界图案的差别较大时分析出较低相关性的程序指令。
12.如权利要求9所述的非瞬时性计算机可读介质,还包括:
从所述多个邻近图像之间具有较低相关性的边界区检测所述三维物体的程序指令。
CN201210579926.1A 2012-07-05 2012-12-27 用于使用车辆周围图像检测三维物体的设备和方法 Pending CN103530865A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120073147A KR101371893B1 (ko) 2012-07-05 2012-07-05 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법
KR10-2012-0073147 2012-07-05

Publications (1)

Publication Number Publication Date
CN103530865A true CN103530865A (zh) 2014-01-22

Family

ID=49780753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210579926.1A Pending CN103530865A (zh) 2012-07-05 2012-12-27 用于使用车辆周围图像检测三维物体的设备和方法

Country Status (5)

Country Link
US (1) US20140009614A1 (zh)
JP (1) JP2014016978A (zh)
KR (1) KR101371893B1 (zh)
CN (1) CN103530865A (zh)
DE (1) DE102012222963A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103863205A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 一种辅助车载全景系统摄像头安装的方法及其辅助系统
CN103863192A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 一种车载全景成像辅助方法及其系统
CN105034950A (zh) * 2014-05-02 2015-11-11 现代自动车株式会社 使用成像装置调节图像的系统和方法
CN106494309A (zh) * 2016-10-11 2017-03-15 广州视源电子科技股份有限公司 车辆的视觉盲区的画面显示方法、装置以及车载虚拟系统
CN106575475A (zh) * 2014-08-21 2017-04-19 松下知识产权经营株式会社 信息管理装置、车辆及信息管理方法
CN107004120A (zh) * 2014-09-19 2017-08-01 奔德士商用车系统有限责任公司 宽基线物体探测立体系统
CN108764115A (zh) * 2018-05-24 2018-11-06 东北大学 一种卡车危险提醒方法
CN111038389A (zh) * 2019-12-23 2020-04-21 天津布尔科技有限公司 一种基于视觉的大型车辆盲区监测装置
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
KR101623774B1 (ko) * 2014-09-04 2016-05-25 주식회사 토비스 차량의 운전 사각 모니터링 장치 및 그 방법
JP6008339B1 (ja) * 2015-04-28 2016-10-19 パナソニックIpマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR102441209B1 (ko) * 2016-03-28 2022-09-07 한국자동차연구원 Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
DE102016124747A1 (de) * 2016-12-19 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines erhabenen Objekts anhand perspektivischer Bilder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130953A1 (en) 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4248570B2 (ja) * 2006-08-21 2009-04-02 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103863192A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 一种车载全景成像辅助方法及其系统
CN103863205A (zh) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 一种辅助车载全景系统摄像头安装的方法及其辅助系统
CN105034950A (zh) * 2014-05-02 2015-11-11 现代自动车株式会社 使用成像装置调节图像的系统和方法
CN106575475A (zh) * 2014-08-21 2017-04-19 松下知识产权经营株式会社 信息管理装置、车辆及信息管理方法
CN106575475B (zh) * 2014-08-21 2019-08-09 松下知识产权经营株式会社 信息管理装置、车辆及信息管理方法
CN107004120B (zh) * 2014-09-19 2021-11-26 奔德士商用车系统有限责任公司 宽基线物体探测立体系统
CN107004120A (zh) * 2014-09-19 2017-08-01 奔德士商用车系统有限责任公司 宽基线物体探测立体系统
CN106494309A (zh) * 2016-10-11 2017-03-15 广州视源电子科技股份有限公司 车辆的视觉盲区的画面显示方法、装置以及车载虚拟系统
CN106494309B (zh) * 2016-10-11 2019-06-11 广州视源电子科技股份有限公司 车辆的视觉盲区的画面显示方法、装置以及车载虚拟系统
CN108764115A (zh) * 2018-05-24 2018-11-06 东北大学 一种卡车危险提醒方法
CN108764115B (zh) * 2018-05-24 2021-12-14 东北大学 一种卡车危险提醒方法
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助系统
CN112995584B (zh) * 2019-12-13 2024-03-22 本田技研工业株式会社 车辆的显示装置和停车辅助系统
CN111038389A (zh) * 2019-12-23 2020-04-21 天津布尔科技有限公司 一种基于视觉的大型车辆盲区监测装置

Also Published As

Publication number Publication date
KR20140005574A (ko) 2014-01-15
KR101371893B1 (ko) 2014-03-07
JP2014016978A (ja) 2014-01-30
US20140009614A1 (en) 2014-01-09
DE102012222963A1 (de) 2014-01-09

Similar Documents

Publication Publication Date Title
CN103530865A (zh) 用于使用车辆周围图像检测三维物体的设备和方法
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
US9113049B2 (en) Apparatus and method of setting parking position based on AV image
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
CN103730026A (zh) 用于确定停车区的装置和方法
US20160191795A1 (en) Method and system for presenting panoramic surround view in vehicle
CN103778795B (zh) 用于辅助在无停车线区域停车的装置和方法
JP2019106159A (ja) 知的地形特定のための方法及び装置、車両搭載端末、並びに車両
CN104050654B (zh) 道路边缘检测方法和装置
CN104835136B (zh) 通过迭代插值和扭曲生成深度图的系统和方法
CN106537904A (zh) 具有环境监测装置的车辆以及用于运行这种监测装置的方法
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
US9104920B2 (en) Apparatus and method for detecting obstacle for around view monitoring system
KR102338665B1 (ko) 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
CN103727879A (zh) 计算和显示在显示器图像中检测的物体高度的装置和方法
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
CN104166834A (zh) 路面检测方法和装置
CN103786731A (zh) 用于估算车辆速度的装置和方法
JPWO2017051480A1 (ja) 画像処理装置及び画像処理方法
CN103863190A (zh) 用于提供盲区的信息的装置和方法
CN105590090A (zh) 车辆的对象检测装置和方法
CN107358168A (zh) 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107517592A (zh) 汽车可行驶区域实时检测方法和系统
CN106155290A (zh) 利用视线追踪的菜单选择设备
JP6701189B2 (ja) 障害物視認能を高める方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140122