CN103793684A - 用于全景式监控系统的检测障碍物的设备和方法 - Google Patents

用于全景式监控系统的检测障碍物的设备和方法 Download PDF

Info

Publication number
CN103793684A
CN103793684A CN201210590495.9A CN201210590495A CN103793684A CN 103793684 A CN103793684 A CN 103793684A CN 201210590495 A CN201210590495 A CN 201210590495A CN 103793684 A CN103793684 A CN 103793684A
Authority
CN
China
Prior art keywords
image
view
mismatch
converted image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210590495.9A
Other languages
English (en)
Other versions
CN103793684B (zh
Inventor
尹晟源
权九度
权亨根
崔晋赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103793684A publication Critical patent/CN103793684A/zh
Application granted granted Critical
Publication of CN103793684B publication Critical patent/CN103793684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/16Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)

Abstract

本发明公开了一种用于全景式监控系统的检测障碍物的设备,其包括处理器,该处理器被配置成存储由成像装置捕获的多个图像、转换图像的视图、生成对应于图像的多个视图转换图像、比较与以不同时间间隔捕获的多个图像对应的视图转换图像、提取视图转换图像间的多个重叠区域、计算视图转换图像间的重叠区域的失配度、检测重叠区域中的失配区域、将失配区域归类为障碍物区域、并且通过车辆显示器显示障碍物的位置。

Description

用于全景式监控系统的检测障碍物的设备和方法
相关申请的交叉参考
本申请要求于2012年10月30日提交的韩国专利申请号第10-2012-0121566号的优先权,其全部公开内容通过引用的方式结合入本文。
技术领域
本发明涉及用于全景式监控(AVM)系统的检测障碍物的设备和方法,更具体地,涉及一种设备和方法,其通过比较由AVM系统获取的两个不同时间点的视图转换图像来检测重叠区域中的障碍物并显示障碍物的位置。
背景技术
近来开发的识别车辆周围障碍物的方法包括运动估计法、物体识别法、异质传感器数据融合法、以及基于成像装置-重叠区域的方法。
运动估计法应用多重运动估计技术,例如使用现有图像处理的光流、监控成像装置和物体跟踪技术。物体识别法使用例如图案识别的技术来识别物体。异质传感器数据融合法使用成像装置检测移动物体,使用激光雷达、激光扫描器、超声波检测固定物体,并且融合检测结果以识别物体。基于成像装置重叠区域的方法从图像中识别物体,该图像通过结合由多个成像装置在相同时间点捕获的图像的重叠区域而获取。
例如,可在行驶的车辆中安装从由成像装置输入的图像数据中获取光流的程序,并且这个程序可获取在车辆行驶过程中所产生的背景光流、比较光流与背景光流之间的差异、通过从比较结果获取的关于车辆周围的物体移动的光流来检测车辆区域、以及对车辆区域进行模板匹配,从而检测车辆。
除了上述方法外,可使用各种方法识别障碍物。然而,操作程序可能是复杂的,识别类型可能是受限的,并且系统的制造成本可能会增加。
发明内容
本发明提供用于全景式监控(AVM)系统的检测障碍物的设备和方法,其检测从两个不同时间点的由现有AVM系统获取的视图转换图像中提取的重叠区域间的差异。
与基于成像装置重叠区域的方法相比,本发明还提供使用两个不同时间点的视图转换图像的宽广(broad)识别区域来检测障碍物的设备和方法。另外,可检测障碍物。而且,该设备和方法不受障碍物识别的识别类型的限制。
根据本发明的一个实施方式,用于全景式监控(AVM)系统的检测障碍物的设备可包括处理器,该处理器在具有存储器的控制器内被配置成执行多个单元。这些单元可包括:图像转换单元,配置成转换存储在存储器中的图像的视图并产生对应于该图像的视图转换图像;重叠区域提取单元,配置成比较与不同时间点捕获的两个图像对应的视图转换图像,并提取视图转换图像间的重叠区域;失配区域检测单元,配置成计算视图转换图像之间的重叠区域的失配度,并检测重叠区域中的失配区域;以及障碍物通知单元,配置成将失配区域归类为障碍物区域,并通过车辆的显示器显示障碍物的位置。
重叠区域提取单元可计算在先前时间点捕获的图像的视图转换图像与在当前时间点捕获的图像的视图转换图像之间的位移,并提取视图转换图像之间的重叠区域。
失配区域检测单元可计算视图转换图像间的重叠区域在水平方向和垂直方向的失配度,并检测重叠区域中的失配区域。
障碍物通知单元可用不同于周边区域的颜色、对比度、图案(pattern)、以及视图中的至少一种来显示失配区域。
障碍物通知单元可在当前时间点捕获的图像或者其视图转换图像上显示障碍物的位置。
根据本发明的另一方面,用于AVM系统的检测障碍物的方法可包括:通过处理器存储由成像装置捕获的图像;通过处理器转换所存储图像的视图,并且生成对应于所存储图像的视图转换图像;通过处理器比较与不同时间点捕获的两个图像对应的视图转换图像,并且提取视图转换图像间的重叠区域;通过处理器计算视图转换图像间的重叠区域的失配度,并且检测重叠区域中的失配区域;以及通过处理器将失配区域归类为障碍物区域,并且通过车辆显示器显示障碍物的位置。
提取重叠区域可包括,通过计算先前时间点捕获图像的视图转换图像与当前时间点捕获图像的视图转换图像之间的位移,以提取视图转换图像之间的重叠区域。
检测失配区域可包括,通过计算视图转换图像间的重叠区域在水平方向和垂直方向的失配度,以检测重叠区域中的失配区域。
显示障碍物位置可包括,使用不同于周边区域的颜色、对比度、图案、以及视图中的至少一种来显示失配区域。另外,可在当前时间点捕获的图像或其视图转换图像上显示障碍物位置。
根据本发明,可从重叠区域间的差异检测障碍物,其中该重叠区域是从两个不同时间点的由现有AVM系统获取的视图转化图像中提取的。此外,因为使用处于两个不同时间点的视图转换图像,所识别的区域可能会较宽广。
本发明的设备和方法具有其他的特征、目的和优势,这些特征、目的和优势将更详细地在合并入本文的附图中以及在以下对示例性实施方式的说明中解释或可从附图和示例性实施方式中清晰得到,附图和示例性实施方式共同解释本发明的原理。
附图说明
图1是示出根据本发明示例性实施方式的用于全景式监控(AVM)系统的障碍物检测设备的示例图。
图2是示出根据本发明示例性实施方式的用于AVM系统的障碍物检测设备的配置的示例框图。
图3至图6是示出根据本发明示例性实施方式的在AVM系统的障碍物检测设备中检测被捕获图像间重叠区域的操作示例图。
图7和图8是示出根据本发明示例性实施方式的在AVM系统的障碍物检测设备中检测重叠区域间的失配区域的操作示例图。
图9是示出根据本发明示例性实施方式的在AVM系统的障碍物检测设备中显示障碍物区域的操作示例图。
图10和图11是示出根据本发明示例性实施方式的在AVM系统的障碍物检测设备中的障碍物检测方法的示例性流程图。
附图中各个元件的标记:
1:车辆
5:成像装置
10:障碍物检测设备
11:处理器
12:图像获取单元
13:显示单元
14:存储器
15:图像转换单元
16:重叠区域提取单元
17:失配区域检测单元
18:障碍物通知单元
P1、P2:侧区域
P3:重叠区域
具体实施方式
现在将做出对本发明的多种实施方式的详细参考,实施方式的实施例将在附图中示例并在以下描述。附图中相同的附图标记指代相同的元件。当确定在相关公开中的配置或功能的详细说明会在本发明实施方式的描述中干扰对实施方式的理解时,将省略该详细说明。
应该理解的是,本文用到的术语“车辆”或者“车辆的”或其他类似术语一般包括机动车辆,例如载客汽车,包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车;包括各种船和艇在内的水运工具;飞行器等,而且包括混合动力车、电动车、插电式混合电动车、氢动力车和其他替代燃料车(例如,从非石油类资源得来的燃料)。本文中提到的混合动力车是具有两种或更多种动力来源的车,例如同时为汽油动力和电动力的车。
尽管示例性实施方式被描述为使用多个单元以执行示例性进程,但应明白的是,示例性进程还可由一个或多个模块执行。另外,应当理解的是,术语“控制器”是指包括存储器和处理器的硬件装置。存储器被配置成存储模块/单元,处理器被具体配置成执行该模块以进行将在以下进一步描述的一个或更多进程。
此外,本发明的控制逻辑可以具体表现为,在含有由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的例子包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光数据存储装置。计算机可读记录介质也可以在连接网络的计算机系统中分布,从而计算机可读媒体可以通过例如远程信息处理服务器或控制器局域网络(CAN)以分布方式存储并执行。
本文所用的术语仅仅是出于描述具体的实施方式的目的,并不意在限制本发明。本文所用的单数形式“一个/一种”、“该”意在同样包括复数形式,除非上下文以其他方式明确指出。还应当理解,在用于本说明书时,术语“包括”、“包括”和/或“含有”是指所述特征、整数、步骤、操作、元件、和/或组件的存在,但并不排除一种或多种其他特征、整数、步骤、操作、元件、和/或组件的存在或加入。本文所用的术语“和/或”包括一种或多种相关所列项的任意或所有组合。
图1是示出根据本发明示例性实施方式的用于全景式监控(AVM)系统的障碍物检测设备的示例图。
根据本发明示例性实施方式的用于AVM系统的检测障碍物的设备(在下文中,称为“障碍物检测设备”)可比较在相同方向的两个不同时间点捕获的多个图像的重叠区域,归类并显示障碍物的位置。当车辆以低速行驶或者车辆在行驶中反复刹停时,本设备可执行障碍物检测操作。
参考图1,设置在车辆1侧面的成像装置5可在车辆行驶的同时捕获侧区域P1(例如,成像装置被布置在图1所示的示例性实施方式的右侧)。当经过预设时间段Δt时,成像装置5可捕获相同方向的侧区域P2。
同时,通过处理器,障碍物检测设备可实时地获取并存储由成像装置5(例如,照相机)捕获的多个图像。此外,通过处理器,障碍物检测设备比较在先前时间点(即,在时间点t0)捕获的区域P1的图像与在接下来时间点t0+Δt捕获的区域P2的图像,以检测所捕获图像间的重叠区域P3,并可比较两个捕获图像间的重叠区域,以检测障碍物。
将参考图2说明在障碍物检测设备中检测障碍物的详细操作。
图2是示出根据本发明示例性实施方式的用于AVM系统的障碍物检测设备的配置的示例框图。
参考图2,根据本发明的障碍物检测设备10(例如,控制器)可包括处理器11和存储器14。处理器可执行包括图像获取单元12、显示单元13、图像转换单元15、重叠区域提取单元16、失配区域检测单元17、以及障碍物通知单元18的多个单元。
图像获取单元12可连接至成像装置5(例如,照相机),并且可接收由成像装置5捕获的图像。成像装置可以不同的时间间隔捕获车辆周围的图像,并且由成像装置捕获的图像可通过图像获取单元12输入并存储在存储器14中。
通过处理器,图像转换单元15可转换由图像输入单元12输入的图像的视图,以产生与其相应的视图转换图像。在图像转换单元15中生成的视图转换图像可被存储在存储器14中。另外,存储器可存储视图转换图像,所以通过图像获取单元12输入的图像对应于视图转换图像。例如,存储器14可存储在第一时间点捕获的图像以及对应于在第一时间点捕获的图像的视图转换图像,并且可存储在第二时间点捕获的图像以及对应于在第二时间点捕获的图像的视图转换图像。
通过处理器,重叠区域提取单元16可对通过图像获取单元12输入的当前时间点图像的视图转换图像与对应的视图转换图像进行比较。在该时间处,通过处理器,重叠区域提取单元16可计算在当前时间点捕获的图像的视图转换图像与在先前时间点捕获的图像的视图转换图像之间的位移,以提取两个不同时间点的视图转换图像间的重叠区域。以下将参考图3至图6来描述两个不同时间点的视图转换图像之间的重叠区域的提取操作的详细实施方式。
通过处理器,失配区域检测单元17可比较从两个不同时间点的视图转换中提取的多个重叠区域,以计算两个重叠区域间的失配度。此外,失配区域检测单元17可计算两个重叠区域在水平方向和垂直方向的失配度,以检测两个重叠区域中的多个失配区域。例如,失配区域检测单元17可在多个列中比较两个重叠区域,以检测水平方向的失配区域,以及可在多个行中比较两个重叠区域,以检测垂直方向中的失配区域。
此外,通过处理器,失配区域检测单元17可将重叠区域中水平方向或者垂直方向的失配度大于阈值的区域确定为失配区域。例如,失配区域检测单元17可将水平方向和垂直方向的两个重叠区域中失配度大于约50%的区域确定为失配区域。将参考图7和图8描述关于检测失配区域的操作的详细实施方式。
障碍物通知单元18可通过处理器将由失配区域检测单元17检测到的失配区域归类为障碍物区域,且可通过车辆的显示器显示障碍物的位置。
此外,障碍物通知单元18可在当前时间点捕获的、显示在显示单元13中的图像或其视图转换图像上显示障碍物的位置。另外,障碍物通知单元18可使用不同于周边区域的颜色、对比度、图案和视图中的至少一种来显示由失配区域检测单元17检测的失配区域。
例如,障碍物通知单元18可使用不同于周边区域的颜色、对比度、图案和视图中的至少一种,在当前时间点捕获的图像中显示出被归类为障碍物区域的失配区域。或者,障碍物通知单元18可使用不同于周边区域的颜色、对比度、图案和视图中的至少一种,在当前时间点捕获图像的视图转换图像中显示出被归类为障碍物区域的失配区域。因此,用户可通过不同于周围图像的颜色、对比度、图案、视图等等,轻易地识别障碍物的位置。以下将参考图9描述显示障碍物位置的详细实施方式。
图3至图6是示出根据本发明的在用于AVM系统的障碍物检测设备中检测被捕获图像间的重叠区域的操作的示例图。
图3示出在时间点t0处捕获向左行驶的车辆的侧区域P1的操作。
参考图4,当如图3所示在时间点t0处捕获区域P1的第一图像I1位于第n帧中时,障碍物检测设备可将第一图像I1显示为“帧(n)[t0]”。当通过成像装置捕获对应区域P1的第一图像I1时,障碍物检测设备可生成并存储视图转换图像I3,在视图转换图像I3中所捕获的第一图像I1被视图转换。
图5示出在捕获图3所示第一图像后经过预设时间段后,捕获车辆侧区域的操作。换言之,当图3中车辆向左行进且经过预设时间段后,障碍物检测设备可捕获车辆侧区域P2的第二图像。图6示出所捕获的第二图像。
图6示出如图5所示当经过预设时间段Δt后,捕获区域P2的第二图像I2。换言之,在t0+Δt时捕获第二图像I2。基于图4中的图像I1,障碍物检测设备可将图像I2视为第n+Δt帧。此外,图像I2可被显示为“帧(n+Δt)[t0+Δt]”。当通过成像装置捕获区域P2的图像I2时,障碍物检测设备可产生并存储视图转换图像I4,在视图转换图像I4中所捕获的图像I2被视图转换。
此外,通过处理器,障碍物检测设备可计算在图4所示的视图转换图像I3与图6所示的视图转换图像I4之间的位移,以提取两个视图转换图像间的重叠区域R1和R2。随后,障碍物检测设备可比较两个重叠区域R1和R2间的失配度,并将失配度超过阈值的区域归类为障碍物区域。
图7和图8是示出根据本发明的在用于AVM系统的障碍物检测设备中检测重叠区域间的失配区域的操作的示例图。
图7示出通过处理器计算从图4和图6中提取的两个重叠区域R1和R2间在水平方向的失配度的操作。
参考图7,通过处理器,障碍物检测设备可比较两个重叠区域R1和R2的对应列,以计算对应列的失配度。在图7所示的两个重叠区域R1和R2中,六个块形成六个列,并且障碍物检测设备可比较六个列内的两个重叠区域R1和R2,以计算水平方向的失配度。
图7所示的示意图示出所计算的两个重叠图像间的失配度。因为如图所示第二与第三列之间以及第四与第五列之间的失配度最高,障碍物检测设备可将包括第三和第四列的区域确定为失配区域。此外,障碍物的中心可位于第三和第四列之间,且障碍物可重叠,因此失配度变得相对低。
参考图8,通过处理器,障碍物检测设备可比较从图4和图6中提取的两个重叠区域R1和R2的对应行,以计算对应行的失配度。在图8所示的两个重叠区域R1和R2中,五个块形成五个行,障碍物检测设备可比较五行内的两个重叠区域R1和R2,以计算垂直方向的失配度。
图8所示的示意图示出所计算的两个重叠区域间的失配度。示意图示出失配度从第一行到第四行较高,失配度在接下来的行中较低。因此,障碍物检测设备可将包括第一至第四行的区域确定为失配区域。
另外,通过处理器,障碍物检测设备可结合图7中检测的水平方向的失配区域与图8中检测的垂直方向的失配区域,从而确定障碍物区域。
图9是示出根据本发明的在用于AVM系统的障碍物检测设备中显示障碍物区域的操作的示例图。
参考图9,障碍物检测设备可通过在当前时间点获取的图像或对应视图转换图像来显示在图7和图8中检测的障碍物区域。图9(a)示出在当前时间点获取的图像上显示的障碍物区域。可通过不同于周边区域的颜色、对比度、图案、视图中的至少一种来显示障碍物区域。此外,图9(b)示出在所获取的视图转换图像上的障碍物区域。与图9(a)相似,可通过区别于周边区域的颜色、对比度、图案、视图中的至少一个来显示障碍物区域。因此,用户可轻易地在所获取的图像或视图转换图像中识别出障碍物所在的区域。
将详细描述具有根据本发明的配置的用于AVM系统的障碍物检测方法。
图10和图11是示出根据本发明的关于AVM系统的障碍物检测方法的示例流程图。
图10示出所获取图像的视图转换方法。
参考图10,通过处理器,障碍物检测设备可获取在当前时间点由成像装置捕获的捕获图像(S100),并且可在存储器中存储所获取的当前图像(S110)。此外,通过处理器,障碍物检测设备可转换在步骤S100中获取的所捕获的当前图像的视图(S120),并且可存储步骤S120中的视图转换图像(S130)。
当经过预设的时间段后,障碍物检测设备可在随后时间点获取所捕获的后续图像(S100),并且可存储所获取的后续图像以及视图转换图像。可以以预设的时间间隔重复该过程(S100至S130)。
如上所述,在输入图像捕获终止指令之前,障碍物检测设备可重复执行步骤S100至S150,并且可在经过预设时间段后连续地存储在对应时间点捕获的图像以及对应的视图转换图像。当输入图像捕获终止指令时(S140),可终止相应的操作。
图11示出通过在图10中产生的视图转换图像来检测障碍物的方法。
参考图11,通过处理器,障碍物检测设备可提取在图10的步骤S130中存储的先前时间点的第一视图转换图像以及当前时间点的第二视图转换图像(S200),并且可比较在步骤S200中提取的第一视图转换图像与第二视图转换图像(S210)。
此外,通过处理器,障碍物检测设备可计算第一视图转换图像与视图转换第二图像之间的位移(S220),提取第一视图转换图像与视图转换第二图像之间的重叠区域(S230),并且比较在步骤S230中提取的重叠区域以计算失配度(S240)。基于步骤S240中计算的失配度,障碍物检测设备可检测重叠区域中的失配区域。
例如,障碍物检测设备可在水平方向和垂直方向上比较第一视图转换图像与第二视图转换图像,从而计算水平方向和垂直方向的失配度,并且可检测水平方向和垂直方向的多个失配区域。
因此,通过处理器,障碍物检测设备可从步骤S250所检测的失配区域中归类出障碍物(S260)。此外,障碍物检测设备可结合水平方向的失配区域和垂直方向的失配区域,以将重叠区域归类为障碍物区域。
随后,通过处理器,障碍物检测设备可在当前时间点捕获的图像或对应视图转换图像上显示障碍物归类区域,以便用户识别障碍物的位置(S270)。此外,障碍物检测设备可使用区别于周围区域的颜色、对比度、图案、和视图中的至少一种来显示障碍物归类区域。
上面已经出于解释和说明的目的,对本发明的示例性实施方式进行了描述。这不是为了穷举或限制本发明于公开的准确形式,在以上教导下,多种改进和变形是可能的。选出并描述这些示例性实施方式以说明本发明的原理及其实际应用,从而使本领域技术人员能够做出和利用本发明的示例性实施方式以及多种替代和改进。本发明的范围由所附权利要求及其等同形式限定。

Claims (15)

1.一种用于全景式监控系统的检测障碍物的设备,所述设备包括:
处理器,被配置成
存储由成像装置捕获的多个图像;
转换所述多个图像的视图;
生成对应于所述多个图像的多个视图转换图像;
比较与以不同时间间隔捕获的所述多个图像对应的所述多个视图转换图像;
提取所述多个视图转换图像间的多个重叠区域;
计算所述多个视图转换图像间的所述多个重叠区域的失配度;
检测各个重叠区域中的失配区域;
将所述失配区域归类为障碍物区域;以及
在车辆的显示器上显示所述障碍物的位置。
2.根据权利要求1所述的设备,其中所述处理器还被配置成:
计算在先前时间点捕获的图像的第一视图转换图像与在当前时间点捕获的图像的第二视图转换图像之间的位移;以及
提取所述第一与所述第二视图转换图像之间的所述多个重叠区域。
3.根据权利要求1所述的设备,其中所述处理器还被配置成:
计算关于所述第一与所述第二视图转换图像之间的所述多个重叠区域在水平方向和垂直方向的失配度;以及
检测所述重叠区域中的失配区域。
4.根据权利要求1所述的设备,其中,
所述处理器被配置成使用不同于周边区域的颜色、对比度、图案、以及视图中的至少一种来显示所述失配区域。
5.根据权利要求1所述的设备,其中,
所述处理器还被配置成在当前时间点捕获的图像或其对应视图转换图像上显示所述障碍物的位置。
6.一种用于全景式监控系统的检测障碍物的方法,所述方法包括:
通过处理器,存储由成像装置捕获的多个图像;
通过所述处理器,转换所述多个图像的视图;
通过所述处理器,生成对应于所述多个图像的多个视图转换图像;
通过所述处理器,比较与以不同时间间隔捕获的所述多个图像对应的所述多个视图转换图像;
通过所述处理器,提取所述多个视图转换图像间的多个重叠区域;
通过所述处理器,计算所述多个视图转换图像间的所述多个重叠区域的失配度;
通过所述处理器,检测各个重叠区域中的失配区域;
通过所述处理器,将所述失配区域归类为障碍物区域;以及
通过所述处理器,在车辆的显示器上显示所述障碍物的位置。
7.根据权利要求6所述的方法,其中,
提取所述多个重叠区域还通过所述处理器计算在先前时间点捕获的图像的视图转换图像与在当前时间点捕获的图像的视图转换图像之间的位移。
8.根据权利要求6所述的方法,其中,
检测所述失配区域还包括,通过所述处理器,计算关于所述多个视图转换图像间的所述多个重叠区域在水平方向和垂直方向的失配度。
9.根据权利要求6所述的方法,其中,
显示所述障碍物的位置包括,通过所述处理器,使用不同于周边区域的颜色、对比度、图案、以及视图中的至少一种来显示所述失配区域。
10.根据权利要求6所述的方法,其中,
显示所述障碍物的位置还包括,通过所述处理器,在当前时间点捕获的图像或对应视图转换图像上显示所述障碍物的位置。
11.一种非暂时性计算机可读介质,其含有由处理器或控制器执行的程序指令,所述计算机可读介质包括:
存储由成像装置捕获的多个图像的程序指令;
转换所述多个图像的视图的程序指令;
生成对应于所述多个图像的视图转换图像的程序指令;
比较与以不同时间间隔捕获的所述多个图像对应的所述多个视图转换图像的程序指令;
提取所述多个视图转换图像间的多个重叠区域的程序指令;
计算所述多个视图转换图像间的所述多个重叠区域的失配度的程序指令;
检测各个重叠区域中的失配区域的程序指令;
将所述失配区域归类为障碍物区域的程序指令;以及
在车辆的显示器上显示所述障碍物的位置的程序指令。
12.根据权利要求11所述的计算机可读介质,还包括:
计算在先前时间点捕获的图像的第一视图转换图像与在当前时间点捕获的图像的第二视图转换图像之间的位移的程序指令;以及
提取所述第一与所述第二视图转换图像之间的所述多个重叠区域的程序指令。
13.根据权利要求11所述的计算机可读介质,还包括:
计算关于所述第一与所述第二视图转换图像之间的所述多个重叠区域在水平方向和垂直方向的失配度的程序指令;以及
检测所述重叠区域中的失配区域的程序指令。
14.根据权利要求11所述的计算机可读介质,还包括:
使用不同于周边区域的颜色、对比度、图案、以及视图中的至少一种来显示所述失配区域的程序指令。
15.根据权利要求11所述的计算机可读介质,还包括:
在当前时间点捕获的图像或其对应视图转换图像上显示所述障碍物位置的程序指令。
CN201210590495.9A 2012-10-30 2012-12-28 用于全景式监控系统的检测障碍物的设备和方法 Active CN103793684B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0121566 2012-10-30
KR1020120121566A KR101916467B1 (ko) 2012-10-30 2012-10-30 Avm 시스템의 장애물 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103793684A true CN103793684A (zh) 2014-05-14
CN103793684B CN103793684B (zh) 2018-11-16

Family

ID=50479741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210590495.9A Active CN103793684B (zh) 2012-10-30 2012-12-28 用于全景式监控系统的检测障碍物的设备和方法

Country Status (5)

Country Link
US (1) US9104920B2 (zh)
JP (1) JP2014089687A (zh)
KR (1) KR101916467B1 (zh)
CN (1) CN103793684B (zh)
DE (1) DE102012223360A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778548A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 用于检测障碍物的方法和装置
CN110371140A (zh) * 2019-08-02 2019-10-25 福建省汽车工业集团云度新能源汽车股份有限公司 一种基于全景环视图像处理的车门开启预警系统及方法
CN112434554A (zh) * 2020-10-16 2021-03-02 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527510B (en) * 2014-06-23 2016-12-14 Jaguar Land Rover Ltd Launch speed ratio selection in an automatic transmission
JP6303975B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 障害物警報装置
KR102275310B1 (ko) * 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법
JP2019202680A (ja) * 2018-05-24 2019-11-28 株式会社日立ハイテクファインシステムズ 線路の周囲物の異常検出装置及び異常検出方法
KR102195146B1 (ko) * 2019-08-22 2020-12-28 장현민 전방위 어라운드 뷰 모니터링 기반 자동차의 안전사고 방지 시스템 및 그 방법
KR102153486B1 (ko) 2019-09-09 2020-09-08 한국건설기술연구원 건설 기계 및 작업자 위치 측정을 위한 다중 avm 카메라 시스템 및 그의 건설 기계 및 작업자 위치 측정 방법
KR102106452B1 (ko) 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
KR102255978B1 (ko) 2019-12-02 2021-05-25 한국건설기술연구원 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
US20100002078A1 (en) * 2008-07-03 2010-01-07 Alpine Electronics, Inc. Periphery monitoring apparatus
CN101995239A (zh) * 2009-08-11 2011-03-30 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
CN102415096A (zh) * 2009-04-23 2012-04-11 本田技研工业株式会社 车辆周围监测装置
CN102555905A (zh) * 2010-10-06 2012-07-11 罗伯特·博世有限公司 产生车辆周围环境中至少一个物体的影像的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2865442B2 (ja) * 1991-04-10 1999-03-08 株式会社東芝 監視画像の変化領域抽出方法
KR0143632B1 (ko) 1995-11-23 1998-08-01 김태구 자동차의 이동 물체 검지 장치
KR19990026799U (ko) 1997-12-20 1999-07-15 양재신 차량의 화상비교에 의한 장애물 접근경고장치
KR100630088B1 (ko) 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP4687411B2 (ja) * 2005-11-15 2011-05-25 株式会社デンソー 車両周辺画像処理装置及びプログラム
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
TWI334393B (en) 2008-10-07 2010-12-11 Ind Tech Res Inst Image-based vehicle maneuvering assistant method and system
JP2010128795A (ja) 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 障害物検出装置
JP5226641B2 (ja) * 2009-10-14 2013-07-03 東芝アルパイン・オートモティブテクノロジー株式会社 車両用障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101396989A (zh) * 2007-09-26 2009-04-01 日产自动车株式会社 车辆周边监视设备和车辆周边监视方法
US20100002078A1 (en) * 2008-07-03 2010-01-07 Alpine Electronics, Inc. Periphery monitoring apparatus
CN102415096A (zh) * 2009-04-23 2012-04-11 本田技研工业株式会社 车辆周围监测装置
CN101995239A (zh) * 2009-08-11 2011-03-30 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
CN102555905A (zh) * 2010-10-06 2012-07-11 罗伯特·博世有限公司 产生车辆周围环境中至少一个物体的影像的方法和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778548A (zh) * 2016-11-30 2017-05-31 百度在线网络技术(北京)有限公司 用于检测障碍物的方法和装置
CN106778548B (zh) * 2016-11-30 2021-04-09 百度在线网络技术(北京)有限公司 用于检测障碍物的方法和装置
CN110371140A (zh) * 2019-08-02 2019-10-25 福建省汽车工业集团云度新能源汽车股份有限公司 一种基于全景环视图像处理的车门开启预警系统及方法
CN112434554A (zh) * 2020-10-16 2021-03-02 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统
CN112434554B (zh) * 2020-10-16 2023-08-04 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统

Also Published As

Publication number Publication date
KR20140055159A (ko) 2014-05-09
US20140118550A1 (en) 2014-05-01
CN103793684B (zh) 2018-11-16
KR101916467B1 (ko) 2018-11-07
DE102012223360A1 (de) 2014-04-30
US9104920B2 (en) 2015-08-11
JP2014089687A (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
CN103793684A (zh) 用于全景式监控系统的检测障碍物的设备和方法
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
EP3576008B1 (en) Image based lane marking classification
JP4967666B2 (ja) 画像処理装置および方法、並びに、プログラム
US20180150704A1 (en) Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
US8050459B2 (en) System and method for detecting pedestrians
US9626599B2 (en) Reconfigurable clear path detection system
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
JP5922257B2 (ja) 車両周辺監視装置
US20140104422A1 (en) Apparatus and method for determining parking area
Kowsari et al. Real-time vehicle detection and tracking using stereo vision and multi-view AdaBoost
CN103810901A (zh) 车辆停车位置显示装置及方法
US8977001B2 (en) Device and method for monitoring video objects
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
JP6226368B2 (ja) 車両監視装置、および車両監視方法
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
KR20210097782A (ko) 지시등 검출 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기록 매체
CN110088807A (zh) 分隔线识别装置
KR102405767B1 (ko) 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법
CN105206060B (zh) 一种基于sift特征的车型识别装置及其方法
JPWO2017158982A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
EP4113377A1 (en) Use of dbscan for lane detection
JP5772321B2 (ja) 車両検出装置、車両検出方法及びプログラム
Sanberg et al. Asteroids: A stixel tracking extrapolation-based relevant obstacle impact detection system
CN113917453A (zh) 一种基于雷达和视频的多传感器融合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant