CN107750213B - 前方车辆碰撞报警装置及报警方法 - Google Patents

前方车辆碰撞报警装置及报警方法 Download PDF

Info

Publication number
CN107750213B
CN107750213B CN201680017407.2A CN201680017407A CN107750213B CN 107750213 B CN107750213 B CN 107750213B CN 201680017407 A CN201680017407 A CN 201680017407A CN 107750213 B CN107750213 B CN 107750213B
Authority
CN
China
Prior art keywords
vehicle
contour
point
candidate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017407.2A
Other languages
English (en)
Other versions
CN107750213A (zh
Inventor
朴光一
林详默
金进赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLK Technologies Co Ltd
Original Assignee
PLK Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLK Technologies Co Ltd filed Critical PLK Technologies Co Ltd
Publication of CN107750213A publication Critical patent/CN107750213A/zh
Application granted granted Critical
Publication of CN107750213B publication Critical patent/CN107750213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及检测前方车辆而对与前方车辆的碰撞进行报警的前方车辆碰撞报警装置及方法，根据本发明的前方车辆碰撞报警方法包括：步骤(a)，从由摄像头拍摄的影像中对推定为前方车辆的物体的轮廓候选点进行提取；步骤(b)，对上述轮廓候选点随时间的移动进行跟踪；步骤(c)，对上述轮廓候选点是否属于车辆进行判断；步骤(d)，若在上述步骤(c)中判断为上述轮廓候选点属于车辆，则将上述轮廓候选点确定为上述前方车辆的车辆轮廓点；步骤(e)，对从地面开始的上述车辆轮廓点的高度进行推定；步骤(f)，对与上述前方车辆的相对距离进行运算；以及步骤(g)，利用上述相对距离计算出预计碰撞时间。

Description

前方车辆碰撞报警装置及报警方法
技术领域
本发明涉及前方车辆碰撞报警装置及报警方法，更加详细地，涉及通过跟踪前方车辆的轮廓点来计算出预计碰撞时间，从而即使在因前方车辆靠近而无法检测出下端部的情况下，也可准确地计算出预计碰撞时间的前方车辆碰撞报警装置及报警方法。
背景技术
一般情况下，前方车辆碰撞报警装置在车辆行驶时为了防止安全事故而运算出与前方车辆之间的安全距离，并在存在碰撞隐患的情况下，通过报警向驾驶员发出警告。通常所公知的前方车辆碰撞报警装置借助传感器或摄像头检测出前方车辆来对与自身车辆之间的相对距离及相对速度进行运算。并且从相对距离及相对速度运算出预计碰撞时间(TTC：Time to Collision)，并利用碰撞时间对与前方车辆的碰撞进行报警。
例如，如图1所示，车辆在行驶车道10的过程中利用安装于车辆的摄像头来拍摄的影像显示前方状况。在影像中若前方存在前方车辆12，则检测前方车辆12的过程如下。首先，通过摄像头获取前方影像，并对为了区分前方车辆12而获取的影像进行逆滤波(inverse filtering)处理。并且，通过识别前方车辆12的形状来判断是否为车辆。在判断为车辆的情况下，将后轮的下端部或车辆的下部阴影区域的尾部识别为距离基准点，并对从上述距离基准点至前方车辆12的相对距离进行运算。
在图2中，左侧图为用于表示对自身车辆14的前方车辆12的实际位置的坐标轴，右侧图表示由自身车辆14的摄像头拍摄的影像中的坐标轴。其中，没影点(vanishing point)为消失点。如上所述，随着将前方车辆12的后轮下端部或车辆的下部阴影区域的尾部设置为距离基准点，在前方车辆12的坐标轴中‘Y＝0’，因而如以下公式1，可简单地运算出与前方车辆之间的相对距离。
公式1
Figure GDA0002281085070000011
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，y为摄像头上的距离基准点的高度。
若在连续的影像中反复运算相对距离，则相对速度由以下公式2求出。
公式2
Figure GDA0002281085070000021
其中，v为相对于前方车辆的自身车辆的相对速度，Zt为时间t时的相对距离，以及Zt+Δt为基于时间变化量Δt的相对距离的变化量。
并且，如以下公式3，若相对距离除以相对速度后的碰撞时间在基准以下，则警告碰撞危险。
公式3
Figure GDA0002281085070000022
其中，TTC为预计碰撞时间，TTCthreshold为预计碰撞时间的基准值。
但是，在这种以往的方法中，虽然具有可容易获得相对距离的优点，但如图3所示，在因前方车辆位于近距离而难以检测后轮的情况下，发生无法获得距离基准点或错误识别的情况。这种现象在以低速驾驶车辆的情况下频繁发生，由于未及时进行碰撞报警，因而可能引发车辆碰撞事故。
另一方面，韩国专利公开第10-2013-0007243号中公开了在多种光照度或道路条件下成功识别前方车辆的前方车辆碰撞报警方法及报警系统。若参照上述现有文献，则通过识别和跟踪车辆来使中央处理器(CPU)的负荷最小化。但是，上述现有文献中的车辆跟踪部通过对由前方车辆识别部识别出的前方车辆的车辆下端进行检测来设定前方车辆的特征，如图2所例示，在前方车辆靠近的情况下无法获得特征，并存在造成上述碰撞报警失败的问题。
发明内容
发明所要解决的问题
本发明的目的在于，提供如下的前方车辆碰撞报警装置及报警方法，即，通过跟踪并非为前方车辆下端部的不特定轮廓点来对是否属于车辆进行判断，并对上述轮廓点的相对距离及高度进行跟踪，从而即使在无法获取距离基准点的情况下，也可运算出相对距离，由此，也可对靠近的前方车辆的相对距离进行运算，并在低速行驶中也可通过及时进行碰撞报警来预防车辆事故。
解决问题所采用的措施
本发明一实施例的前方车辆碰撞报警方法用于检测前方车辆，并对与前方车辆的碰撞进行报警，其中，包括：步骤(a)，从由摄像头拍摄的影像中对推定为前方车辆的物体的轮廓候选点进行提取；步骤(b)，对上述轮廓候选点随时间的移动进行跟踪；步骤(c)，对上述轮廓候选点是否属于车辆进行判断；步骤(d)，若在上述步骤(c)中判断为上述轮廓候选点属于车辆，则将上述轮廓候选点确定为上述前方车辆的车辆轮廓点；步骤(e)，对从地面开始的上述车辆轮廓点的高度进行推定；步骤(f)，通过以下公式6对与上述前方车辆之间的相对距离进行运算；以及步骤(g)，利用上述相对距离计算出预计碰撞时间。
公式6
Figure GDA0002281085070000031
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，Yc为从地面开始的上述车辆轮廓点的高度，以及yc为由摄像头拍摄的影像中的上述车辆轮廓点的高度。
优选地，在上述步骤(a)中，在上述摄像头拍摄的影像中，以横向边缘和纵向边缘相互交叉的交叉点作为上述轮廓候选点来提取。
优选地，上述步骤(b)包括：步骤(b-1)，在第一影像中的上述轮廓候选点的周边定义由多个像素形成的第一块；步骤(b-2)，在从上述第一影像经过规定时间的第二影像中定义大小与上述第一块的大小相同的第二块；步骤(b-3)，使上述第二影像中的上述第二块以与上述第一块的位置相同的位置为基准向周边部移动，并对上述第二块的像素值是否与第一块的像素值相一致进行判断；以及步骤(b-4)，若在上述步骤(b-3)中，上述第二块的像素值与上述第一块的像素值相一致，则确定为在上述第二块内发生上述轮廓候选点的移动。
优选地，上述步骤(c)包括：步骤(c-1)，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点；步骤(c-2)，通过以下公式4来在与上述轮廓候选点之间的相对距离中减去与上述距离基准点之间的相对距离；步骤(c-3)，对上述步骤(c-2)的减法结果是否随着时间的经过来在规定的误差范围内达到一致进行判断；以及步骤(c-4)，若在上述步骤(c-3)中判断为不一致，则判断为上述轮廓候选点属于车辆。
公式4
Figure GDA0002281085070000041
其中，Zc0为与上述轮廓候选点之间的相对距离，Z0为与上述距离基准点之间的相对距离，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
优选地，上述步骤(c)包括：步骤(c-1)，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点；步骤(c-2)，通过以下公式5来运算相对于上述距离基准点的上述轮廓候选点的高度；步骤(c-3)，对上述步骤(c-2)的运算结果是否随着时间的经过来在规定的误差范围内达到一致进行判断；以及步骤(c-4)，若在上述步骤(c-3)中判断为一致，则判断为上述轮廓候选点属于车辆。
公式5
Figure GDA0002281085070000042
其中，Yc0为上述轮廓候选点的高度，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
本发明一实施例的前方车辆碰撞报警装置，用于检测前方车辆，并对与前方车辆的碰撞进行报警，其中，包括：摄像头，用于拍摄车辆的前方；轮廓候选点提取部，用于从由上述摄像头拍摄的影像中对被推定为前方车辆的物体的轮廓候选点进行提取；轮廓点判断部，用于对上述轮廓候选点的移动进行跟踪，并对上述轮廓候选点是否属于车辆进行判断，由此在属于车辆的情况下确定为车辆轮廓点；相对距离运算部，利用以下公式6来运算上述车辆轮廓点与前方车辆之间的相对距离；以及预计碰撞时间计算部，利用由上述相对距离运算部运算的相对距离来计算出预计碰撞时间。
公式6
Figure GDA0002281085070000051
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，Yc为上述车辆轮廓点距地面的高度，以及yc为由摄像头拍摄的影像中的上述车辆轮廓点的高度。
优选地，上述轮廓候选点提取部在由上述摄像头拍摄的影像中将横向边缘和纵向边缘相互交叉的交叉点作为轮廓候选点来提取。
优选地，上述轮廓点判断部通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点，并通过以下公式4来在与上述轮廓候选点之间的相对距离中减去与上述距离基准点之间的相对距离，之后对上述减法结果是否随着时间的经过来达到一致进行判断，在不一致的情况下，判断为上述轮廓候选点属于车辆。
公式4
Figure GDA0002281085070000052
其中，Zc0为与上述轮廓候选点之间的相对距离，Z0为与上述距离基准点之间的相对距离，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
优选地，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点，并对通过以下公式5运算的相对于上述距离基准点的上述轮廓候选点的高度是否随着时间的经过而达到一致进行判断，在一致的情况下，判断为上述轮廓候选点属于车辆。
公式5
其中，Yc0为上述轮廓候选点的高度，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
发明的效果
根据本发明的前方车辆碰撞报警装置及报警方法，具有如下效果：通过跟踪前方车辆的轮廓点来对是否属于车辆进行判断，并对轮廓点的相对距离及高度进行跟踪，因而即使在无法获取前方车辆下端部的距离基准点的情况下，也能够以轮廓点的高度为依据来运算出相对距离，从而可对靠近的前方车辆的相对距离进行运算，由此，即使在低速行驶等前方车辆靠近的情况下，也可及时发生碰撞报警来向驾驶员发出警告。
附图说明
图1为例示以往获取距离基准点的图。
图2为例示以往运算相对距离的图。
图3为例示以往无法获取距离基准点的图。
图4为例示本发明的车辆碰撞报警装置的框图。
图5为例示本发明的车辆碰撞报警方法的流程图。
图6为对判断轮廓候选点是否属于车辆的过程进行例示的流程图。
图7为对判断轮廓候选点是否属于车辆进行例示的图。
图8为例示本发明中在无法获取距离基准点时运算相对距离的图。
具体实施方式
在下文中，将参照附图详细描述本发明的优选实施例。然而，本发明不旨在限于具体实施例，而是旨在覆盖落入本发明的精神和范围内的所有修改，等同和替代。
附图中相同的附图标记在整个说明书中表示相同的部件。为了说明的目的而提供的附图的形状和尺度可以被夸大或省略。
在参考附图对本发明的优选实施例的描述中，省略对本领域技术人员显而易见的技术的冗余描述。此外，在下面的描述中，当被称为包括其它部分时，这意味着除了另有说明之外，还可以包括本说明书中描述的部件以外的元件。
在本说明书中描述的术语“～部”，“～器”，“～组件”等意味着用于处理至少一个功能或操作的单元，并且可以通过硬件或软件或硬件和软件的组合来实现可以。此外，当一部分电连接到另一部分时，它不仅包括其直接连接的情况，而且包括其他部分在中间彼此连接的情况。
包括诸如第一，第二等的序数的术语可以用于描述各种元素，但是元素不限于这些术语。该术语仅用于区分一个组件与另一个组件。例如，第二部件可以被称为第一部件，同样地，在不脱离本发明的范围的情况下，第一部件可以被称为第二部件。
图4为例示本发明的车辆碰撞报警装置的框图。参照图4，本发明的前方车辆碰撞报警装置包括：摄像头100，用于拍摄车辆的前方；影像处理部200，通过对由摄像头100拍摄的影像进行处理来计算出预计碰撞时间；以及报警发生部300，根据影像处理部200的输出发生碰撞报警。
其中，如图所示，影像处理部200包括轮廓候选点提取部210、轮廓点判断部220、相对距离跟踪部230、高度跟踪部240、相对距离运算部250及预计碰撞时间计算部260。
轮廓候选点提取部210从由摄像头100拍摄的影像中对推定为前方车辆的物体的轮廓候选点进行提取。轮廓点判断部220对由轮廓候选点提取部210提取的轮廓候选点是否属于车辆进行判断。如图所示，轮廓点判断部220包括相对距离跟踪部230和高度跟踪部240。
在由轮廓点判断部220判断车辆轮廓点之后，相对距离运算部250对车辆轮廓点的相对距离进行运算。并且，预计碰撞时间计算部260利用车辆轮廓点的相对距离计算出预计碰撞时间。
图5为例示本发明的车辆碰撞报警方法的流程图，图6为对判断轮廓候选点是否属于车辆的过程进行例示的流程图。参照图5及图6，更加具体地对上述各个结构的动作关系及本发明的车辆碰撞报警方法说明如下。
首先，影像处理部200的轮廓候选点提取部210从由摄像头100拍摄的影像中对推定为前方车辆的物体的轮廓候选点进行提取(步骤ST110)。例如，在由摄像头100拍摄的影像中将横向边缘和纵向边缘相互交叉的交叉点作为轮廓候选点来提取。
之后，轮廓点判断部220跟踪轮廓候选点的移动(步骤ST120)。例如，在提取出轮廓候选点的第一影像中，在轮廓候选点的周边定义由多个像素形成的第一块。并且在从经过规定时间的第二影像中定义大小与第一块的大小相同的第二块。使第二影像中的第二块以与第一块的位置相同的位置为基准来向周边部移动(例如，按照旋风形状移动)，并对上述第二块的像素值是否与第一块的像素值相一致进行判断。若像素值相一致，则确定为在上述第二块内发生轮廓候选点的移动。
接着，对轮廓候选点是否属于车辆进行判断(步骤ST130)。对轮廓候选点是否属于车辆进行判断的步骤可利用以下2种方法中的一种或并行以下2种方法来进行。
第一种方法中由相对距离跟踪部230跟踪轮廓候选点的相对距离，第二种方法中由高度跟踪部240跟踪轮廓候选点的高度。
图7为对判断轮廓候选点是否属于车辆进行例示的图。参照图7，如左侧图所示，可假设在由摄像头100拍摄的成像画面400中存在被推定为前方车辆410的一部分的轮廓候选点xc0、yc0。其中，没影点(vanishing point)为消失点，轮廓候选点的坐标值xc0、yc0为以没影点为基准的影像中的x轴及y轴的坐标值。相当于前方车辆后轮的下端部或车辆下部阴影区域的尾部距离基准点的y轴坐标值为yo。
若图7的轮廓候选点xc0、yc0不属于车辆，则如图7的右侧上端图表所示，轮廓候选点被摄像头100投影于道路上的一点Zc0。若作为距离基准点的实际坐标轴的Z轴坐标值为Z0，则道路上的形状具有从Zc0中减去Z0的长度，上述长度具有与以下公式4相同的值。
公式4
其中，Zc0为与上述轮廓候选点之间的相对距离，Z0为与上述距离基准点之间的相对距离，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
若图7的轮廓候选点xc0、yc0属于车辆，则如图7的右侧下端图表所示，轮廓候选点在距离基准点的Z轴上的距离Z0上投影于实际高度Yc0的点，上述高度具有与以下公式5相同的值。
公式5
Figure GDA0002281085070000082
其中，Yc0为上述轮廓候选点的高度，yc0为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及y0为由摄像头拍摄的影像中的上述距离基准点的高度。
若随着时间的经过，通过公式4计算的减法结果在规定的误差范围内保持恒定，则可通过道路上的形状来判断上述轮廓候选点。在此情况下，可判断为被提取的轮廓候选点不属于车辆。并且，若随着时间的经过，通过公式5运算的高度在规定的误差范围内保持恒定，则可判断为上述轮廓候选点为车辆的一部分。在此情况下，可视为所提取的轮廓候选点属于车辆。
重新参照图6，对轮廓候选点是否属于车辆进行判断的步骤(步骤ST130)从提取距离基准点开始(步骤ST131)。
第一，相对距离跟踪过程如下，即，在‘t＝0’的情况下，通过上述公式4来在与轮廓候选点之间的相对距离中减去与距离基准点之间的相对距离(步骤ST132)，随着时间的经过，在‘t＝1’的情况下，通过公式4来进行相同的减法。并且，对‘t＝0’时的减法结果和‘t＝1’时的减法结果在规定的误差范围内是否相同进行判断(步骤ST136)。若相同，则返回步骤ST110来提取新的轮廓候选点。若不同，则将轮廓候选点确定为车辆轮廓点(步骤ST140)。
第二，高度跟踪过程如下，即，在‘t＝0’的情况下，通过上述公式5来运算相对于距离基准点的轮廓候选点的高度(步骤ST133)，随着时间的经过，在‘t＝1’的情况下，通过公式5来进行相同的高度运算。并且，对‘t＝0’时的运算结果和‘t＝1’时的运算结果在规定的误差范围内是否相同进行判断(步骤ST136)。若相同，则将上述轮廓候选点确定为车辆轮廓点(步骤ST140)。若不同，则返回步骤ST110来提取新的轮廓候选点。
之后，推定车辆轮廓点的高度(步骤ST150)。此时，如图8所示，在成像画面400上无法获取距离基准点的情况下推定车辆轮廓点的高度。若在可获取距离基准点的情况下，也可通过之前所说明的公式1来从距离基准点运算出相对距离。但是，在通过跟踪轮廓候选点来确定为车辆轮廓点之后，如图8所示，在无法获取距离基准点的情况下，如步骤ST150，推定车辆轮廓点的高度。
并且，相对距离运算部250通过以下公式6来运算与前方车辆之间的相对距离(步聚ST160)。
公式6
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，Yc为从地面开始的上述车辆轮廓点的高度，以及yc为由摄像头拍摄的影像中的上述车辆轮廓点的高度。
之后，预计碰撞时间计算部260利用通过步骤ST160运算出的相对距离来计算出预计碰撞时间(步骤ST170)。在无法获取距离基准点的情况下，本发明的前方车辆碰撞报警装置及报警方法提供运算相对距离的过程。之后，计算预计碰撞时间的过程与公知的前方车辆碰撞报警方法相同。例如，若在连续的影像中反复运算相对距离，则可通过以下公式7来求出相对速度。
公式7
Figure GDA0002281085070000102
其中，v为相对于前方车辆的自身车辆的相对速度，Zt为t时间时的相对距离，以及Zt+Δt为基于时间变化量Δt的相对距离的变化量。
并且，如以下公式8，当相对距离除以相对速度后的碰撞时间在基准以下时，警告碰撞危险。
公式8
Figure GDA0002281085070000103
其中，TTC为预计碰撞时间，TTCthreshold为预计碰撞时间的基准值。
若由预计碰撞时间计算部260计算出碰撞时间并输出警告信号，则报警发生部300输出警告音，与此同时，可通过车辆内的导航装置或影像显示装置输出碰撞警告画面。
虽然为了说明的目的已经描述了各种实施例，但对本领域技术人员将显而易见的是，在不脱离如权利要求书限定的本发明的精神和范围的情况下可进行各种改变和修改。

Claims (9)

1.一种前方车辆碰撞报警方法，用于检测前方车辆，并对与前方车辆的碰撞进行报警，其特征在于，包括：
步骤(a)，从由摄像头拍摄的影像中对推定为前方车辆的物体的轮廓候选点进行提取；
步骤(b)，对上述轮廓候选点随时间产生的移动进行跟踪；
步骤(c)，对上述轮廓候选点是否属于车辆进行判断；
步骤(d)，若在上述步骤(c)中判断为上述轮廓候选点属于车辆，则将上述轮廓候选点确定为上述前方车辆的车辆轮廓点；
步骤(e)，对上述车辆轮廓点距地面的高度进行推定；
步骤(f)，通过以下公式6来对与上述前方车辆之间的相对距离进行运算；以及
步骤(g)，利用上述相对距离计算出预计碰撞时间，
公式6
Figure FDA0002281085060000011
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，Yc为上述车辆轮廓点距地面的高度，以及yc为由摄像头拍摄的影像中的上述车辆轮廓点的高度。
2.根据权利要求1所述的前方车辆碰撞报警方法，其中，在上述步骤(a)中，在上述摄像头拍摄的影像中，以横向边缘和纵向边缘相互交叉的交叉点作为上述轮廓候选点来提取。
3.根据权利要求1所述的前方车辆碰撞报警方法，其中，上述步骤(b)包括：
步骤(b-1)，在第一影像中的上述轮廓候选点的周边定义由多个像素形成的第一块；
步骤(b-2)，在从上述第一影像经过规定时间的第二影像中定义大小与上述第一块的大小相同的第二块；
步骤(b-3)，使上述第二影像中的上述第二块以与上述第一块的位置相同的位置为基准向周边部移动，并对上述第二块的像素值是否与第一块的像素值相一致进行判断；以及
步骤(b-4)，若在上述步骤(b-3)中，上述第二块的像素值与上述第一块的像素值相一致，则确定为在上述第二块内发生上述轮廓候选点的移动。
4.根据权利要求1所述的前方车辆碰撞报警方法，其中，上述步骤(c)包括：
步骤(c-1)，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点；
步骤(c-2)，通过以下公式4来在与上述轮廓候选点之间的相对距离中减去与上述距离基准点之间的相对距离；
步骤(c-3)，对上述步骤(c-2)的减法结果是否随着时间的经过来在规定的误差范围内达到一致进行判断；以及
步骤(c-4)，若在上述步骤(c-3)中判断为不一致，则判断为上述轮廓候选点属于车辆，
公式4
Figure FDA0002281085060000021
其中，ZcO为与上述轮廓候选点之间的相对距离，ZO为与上述距离基准点之间的相对距离，ycO为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及yO为由摄像头拍摄的影像中的上述距离基准点的高度。
5.根据权利要求1所述的前方车辆碰撞报警方法，其中，上述步骤(c)包括：
步骤(c-1)，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点；
步骤(c-2)，通过以下公式5来运算相对于上述距离基准点的上述轮廓候选点的高度；
步骤(c-3)，对上述步骤(c-2)的运算结果是否随着时间的经过来在规定的误差范围内达到一致进行判断；以及
步骤(c-4)，若在上述步骤(c-3)中判断为一致，则判断为上述轮廓候选点属于车辆，
公式5
Figure FDA0002281085060000031
其中，YcO为上述轮廓候选点的高度，ycO为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及yO为由摄像头拍摄的影像中的上述距离基准点的高度。
6.一种前方车辆碰撞报警装置，用于检测前方车辆，并对与前方车辆的碰撞进行报警，其特征在于，包括：
摄像头，用于拍摄车辆的前方；
轮廓候选点提取部，用于从由上述摄像头拍摄的影像中对被推定为前方车辆的物体的轮廓候选点进行提取；
轮廓点判断部，用于对上述轮廓候选点的移动进行跟踪，并对上述轮廓候选点是否属于车辆进行判断，由此在属于车辆的情况下确定为车辆轮廓点；
相对距离运算部，利用以下公式6来运算上述车辆轮廓点与前方车辆之间的相对距离；以及
预计碰撞时间计算部，利用由上述相对距离运算部运算的相对距离来计算出预计碰撞时间，
公式6
其中，Z为自身车辆与前方车辆之间的相对距离，λ为摄像头的焦点距离，h为摄像头的高度，Yc为上述车辆轮廓点距地面的高度，以及yc为由摄像头拍摄的影像中的上述车辆轮廓点的高度。
7.根据权利要求6所述的前方车辆碰撞报警装置，其中，上述轮廓候选点提取部在由上述摄像头拍摄的影像中将横向边缘和纵向边缘相互交叉的交叉点作为轮廓候选点来提取。
8.根据权利要求6所述的前方车辆碰撞报警装置，其中，上述轮廓点判断部通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点，并通过以下公式4来在与上述轮廓候选点之间的相对距离中减去与上述距离基准点之间的相对距离，之后对上述减法结果是否随着时间的经过来达到一致进行判断，在不一致的情况下，判断为上述轮廓候选点属于车辆，
公式4
Figure FDA0002281085060000041
其中，ZcO为与上述轮廓候选点之间的相对距离，ZO为与上述距离基准点之间的相对距离，ycO为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及yO为由摄像头拍摄的影像中的上述距离基准点的高度。
9.根据权利要求6所述的前方车辆碰撞报警装置，其中，通过对上述前方车辆的后轮的下端部或车辆的下部阴影区域的尾部进行提取来识别为距离基准点，并对通过以下公式5运算的相对于上述距离基准点的上述轮廓候选点的高度是否随着时间的经过而达到一致进行判断，在一致的情况下，判断为上述轮廓候选点属于车辆，
公式5
Figure FDA0002281085060000042
其中，YcO为上述轮廓候选点的高度，ycO为由摄像头拍摄的影像中的上述轮廓候选点的高度，以及yO为由摄像头拍摄的影像中的上述距离基准点的高度。
CN201680017407.2A 2015-05-26 2016-04-27 前方车辆碰撞报警装置及报警方法 Active CN107750213B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0072668 2015-05-26
KR1020150072668A KR101604447B1 (ko) 2015-05-26 2015-05-26 선행차량 추돌 경보 장치 및 방법
PCT/KR2016/004383 WO2016190555A1 (ko) 2015-05-26 2016-04-27 선행차량 추돌 경보 장치 및 방법

Publications (2)

Publication Number Publication Date
CN107750213A CN107750213A (zh) 2018-03-02
CN107750213B true CN107750213B (zh) 2020-01-24

Family

ID=57008084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017407.2A Active CN107750213B (zh) 2015-05-26 2016-04-27 前方车辆碰撞报警装置及报警方法

Country Status (4)

Country Link
US (1) US10192444B2 (zh)
KR (1) KR101604447B1 (zh)
CN (1) CN107750213B (zh)
WO (1) WO2016190555A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865766B1 (ko) * 2016-10-11 2018-06-11 주식회사 피엘케이 테크놀로지 대형 차량의 이동 객체 충돌 경고 장치 및 방법
KR101955506B1 (ko) 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
EP3597501B1 (en) * 2017-03-15 2022-03-02 Hitachi Astemo, Ltd. Vehicle control device, and vehicle control method
EP3807128B1 (en) * 2018-06-13 2024-01-31 Ride Vision Ltd. A rider assistance system and method
CN110648427B (zh) * 2018-06-26 2023-05-09 上海蔚兰动力科技有限公司 行车辅助系统及行车辅助系统的操作方法
JP7111586B2 (ja) * 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
CN112668361B (zh) * 2019-10-15 2024-06-04 北京地平线机器人技术研发有限公司 报警准确度确定方法、装置及计算机可读存储介质
CN113119964B (zh) * 2019-12-30 2022-08-02 宇通客车股份有限公司 一种自动驾驶车辆碰撞预测判断方法及装置
KR20220026154A (ko) * 2020-08-25 2022-03-04 현대자동차주식회사 차량 및 그 제어방법
CN115547060B (zh) * 2022-10-11 2023-07-25 上海理工大学 一种考虑车辆轮廓的交叉口交通冲突指标计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1572597A (zh) * 2003-05-30 2005-02-02 丰田自动车株式会社 冲撞预测装置
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
CN103287372A (zh) * 2013-06-19 2013-09-11 贺亮才 一种基于图像处理的汽车防撞安全保护方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142286A (en) 1990-10-01 1992-08-25 General Electric Company Read-out photodiodes using sigma-delta oversampled analog-to-digital converters
KR960000621A (ko) * 1994-06-24 1996-01-25 김주용 비디오 카메라를 이용한 차량출동 방지장치 및 방법
EP1741079B1 (en) * 2004-04-08 2008-05-21 Mobileye Technologies Limited Collision warning system
JP4052291B2 (ja) * 2004-08-05 2008-02-27 日産自動車株式会社 車両用画像処理装置
KR100818317B1 (ko) * 2006-07-07 2008-03-31 주식회사 피엘케이 테크놀로지 차영상을 이용한 이동 차량 인식 방법
JP4967666B2 (ja) * 2007-01-10 2012-07-04 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP2012098776A (ja) * 2010-10-29 2012-05-24 Daihatsu Motor Co Ltd 運転支援装置
KR20130007243A (ko) 2011-06-30 2013-01-18 (주)베라시스 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
KR101382873B1 (ko) * 2012-06-29 2014-04-08 엘지이노텍 주식회사 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법
JP2014106200A (ja) * 2012-11-29 2014-06-09 Toyota Motor Corp 周辺監視装置及び駐車支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1572597A (zh) * 2003-05-30 2005-02-02 丰田自动车株式会社 冲撞预测装置
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
CN103287372A (zh) * 2013-06-19 2013-09-11 贺亮才 一种基于图像处理的汽车防撞安全保护方法

Also Published As

Publication number Publication date
US20180075749A1 (en) 2018-03-15
KR101604447B1 (ko) 2016-03-28
US10192444B2 (en) 2019-01-29
CN107750213A (zh) 2018-03-02
WO2016190555A1 (ko) 2016-12-01

Similar Documents

Publication Publication Date Title
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
JP6511283B2 (ja) 物体検知装置
CN107787496B (zh) 消失点修正装置及方法
US9047518B2 (en) Method for the detection and tracking of lane markings
JP6440411B2 (ja) 物体検出装置
EP2928178B1 (en) On-board control device
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US10339396B2 (en) Vehicle accessibility determination device
EP2963634B1 (en) Stereo camera device
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
TWI504858B (zh) A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium
JP6226368B2 (ja) 車両監視装置、および車両監視方法
WO2014002692A1 (ja) ステレオカメラ
JP6815963B2 (ja) 車両用外界認識装置
JP4940177B2 (ja) 交通流計測装置
EP3115933A1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP6069938B2 (ja) 飛び出し検出装置
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
WO2020036039A1 (ja) ステレオカメラ装置
JP2010015235A (ja) 歩行者検出装置及びプログラム
JP6677142B2 (ja) 駐車枠認識装置
US9430707B2 (en) Filtering device and environment recognition system
KR20140076043A (ko) 보행자 후보 검출장치 및 검출방법
JP6334773B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant