CN107787496B - 消失点修正装置及方法 - Google Patents

消失点修正装置及方法 Download PDF

Info

Publication number
CN107787496B
CN107787496B CN201680017327.7A CN201680017327A CN107787496B CN 107787496 B CN107787496 B CN 107787496B CN 201680017327 A CN201680017327 A CN 201680017327A CN 107787496 B CN107787496 B CN 107787496B
Authority
CN
China
Prior art keywords
point
vehicle
contour
camera
contour candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017327.7A
Other languages
English (en)
Other versions
CN107787496A (zh
Inventor
朴光一
林详默
金进赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLK Technologies Co Ltd
Original Assignee
PLK Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLK Technologies Co Ltd filed Critical PLK Technologies Co Ltd
Publication of CN107787496A publication Critical patent/CN107787496A/zh
Application granted granted Critical
Publication of CN107787496B publication Critical patent/CN107787496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及安装于车辆并从用影像机拍摄的影像对消失点的位置进行修正的消失点修正装置及方法，根据本发明的消失点修正方法包括：(a)从用摄像机拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点的步骤；(b)对随时间的经过的上述轮廓候选地点的移动进行追踪的步骤；(c)对上述轮廓候选地点是否属于车辆进行判断的步骤；(d)如果在上述步骤(c)中判断为上述轮廓候选地点属于车辆，则将该轮廓候选地点确定为上述前方运行车辆的车辆轮廓点的步骤；(e)计算上述车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化的步骤；以及(f)计算上述消失点的变化量的步骤。根据本发明，追踪前方运行车辆的轮廓点而判断是否属于车辆，并可从相同高度的轮廓点之间的幅度变化计算消失点变化量，因此，有如下效果：若在用摄像机拍摄的影像中存在前方运行车辆，则可实时间地获得消失点的变化信息，可防止在像前方运行车辆追尾警报装置那样的尖端驾驶员辅助系统中的误报，向驾驶员提供正确的信息。

Description

消失点修正装置及方法
技术领域
本发明涉及在车辆内影像识别装置中修正消失点的装置及方法，更详细而言，所涉及的消失点修正装置及方法正确修正消失点的变化而可防止在诸如前方运行车辆追尾警报装置或车道偏离警报装置等尖端驾驶员辅助系统中的误报。
背景技术
通常，在诸如前方运行车辆追尾警报装置(FCWS：Forward Collision WarningSystem)、车道偏离警报装置(LDWS：Lane Departure Warning System)、车道维持装置(LKAS：Lane Keeping Assistant System)等尖端驾驶员辅助系统(ADAS：Advanced DriverAssistance System)中搭载用于车道识别的影像识别装置。
而为了车道识别需要如下过程，即，用摄像机(camera)获得要识别的目标物的影像后，用数字影像处理技术提取目标物的特征，利用该特征确认目标物。此时，为了正确提取车道，车辆两侧的两个车道线相遇的消失点(Vanishing Point)成为很重要的信息。
另一方面，消失点因车辆的上下颠簸(pitch)运动或道路的弯曲等而发生变化。消失点变化时，车道识别信息或客体获得信息等中产生误差，需要对这些误差进行修正。韩国授权专利第10-1257871号公开了如下的技术，即，通过摄像机隔时差获得多个图像(image)，在产生上下颠簸运动的情况下基于消失点及光流对上下颠簸导致的误差进行最小化而检测客体。该先行文献并不是直接修正消失点，而是通过对上下颠簸运动导致的影响进行最小化来减少误差。但是，为了更加准确地检测客体，需要确认消失点的变化。
图1示出了在通常的前方运行车辆追尾警报装置中的消失点变化例。如图1所示，车辆运行在运行车道10的过程中用摄像机拍摄的影响显示前方的状况。如果在影像中前方存在前方运行车辆12，则检测前方运行车辆12的过程如下。首先，通过摄像机获得前方的影像，为了区分前方运行车辆12而对所获得的影像进行反向滤波(inverse filtering)处理。并且，识别前方运行车辆12的形状而判断车辆与否。如果判断为车辆，则将后轮的下端部或车辆下部影子区域的末端部分识别为距离基准点，从该距离基准点起计算与前方运行车辆12的相对距离。
相对距离可利用下面的(数式1)得到。
(数式1)
Figure BDA0001414548230000021
在此，Z为本车辆与前方运行车辆的相对距离，λ为摄像机的焦点距离，h为摄像机的高度，y为在摄像机上的距离基准点的高度。
如果在连续的影像中相对距离计算反复，则利用下面的(数式2)求相对速度。
(数式2)
Figure BDA0001414548230000022
在此，ν为对前方运行车辆的本车辆的相对速度，Zt为在时间t时的相对距离，Zt+△t为随时间变化量△t的相对距离的变化量。
此外，从用相对速度除掉相对距离的值可计算出追尾预期时间(TTC:Time toCollision)，当如下面的(数式3)所示地TTC成为基准以下时，警告追尾危险。
(数式3)
Figure BDA0001414548230000023
在此，TTC为追尾预期时间，TTCthreshold为追尾预期时间的基准值。
但是，在(数式1)中y为以消失点P为基准的高度，该消失点因车辆的上下颠簸运动或道路的弯曲等而变化。如果如图1所示地消失点从P变化至M，则应如下面的(数式4)所示地考虑消失点变化而修正相对距离。
(数式4)
Figure BDA0001414548230000024
在此，ym为消失点的y轴变化量。
如果检测不出消失点的变化量，则像尽管前方运行车辆相隔充分的距离也发出追尾警报或在前方运行车辆急剧接近的状态下也不发出追尾警报等那样发出误报的可能性上升。
发明内容
(发明所要解决的问题)
本发明的目的在于提供一种消失点修正装置及方法，上述消失点修正装置及方法提取前方运行车辆的轮廓点，追踪该轮廓点的移动而确定具有相同高度的轮廓点，从轮廓点的幅度变化追踪消失点的变化，由此，检测瞬间的消失点的变化而进行正确修正，可防止在诸如前方运行车辆追尾警报装置等尖端驾驶员辅助系统中的误报。
(解决问题所采用的措施)
本发明一实施例的消失点修正方法，其为在搭载于车辆的影像识别装置从用摄像机拍摄的影像修正消失点的位置的消失点修正方法，其特征在于，包括：(a)从用上述摄像机拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点的步骤；(b)对随时间的经过的上述轮廓候选地点的移动进行追踪的步骤；(c)对上述轮廓候选地点是否属于车辆进行判断的步骤；(d)如果在上述步骤(c)中判断为上述轮廓候选地点属于车辆，则将该轮廓候选地点确定为上述前方运行车辆的车辆轮廓点的步骤；(e)计算上述车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化的步骤；以及(f)利用下面的(数式13)计算上述消失点的变化量的步骤，
(数式13)
Figure BDA0001414548230000031
在此，y1及y2分别为在时间t1及t2用摄像机拍摄的影像中的上述车辆轮廓点的高度，w1及w2分别为在时间t1及t2的上述车辆轮廓点之间的幅度，ym1及ym2分别为在时间t1及t2的消失点的高度，时间t2为从时间t1经过规定时间的时间。
优选地，上述步骤(a)在用上述摄像机拍摄的影像中将横边缘和纵边缘交叉的点提取为上述轮廓候选地点。
优选地，上述步骤(b)包括：(b-1)在第一影像中在上述轮廓候选地点周边定义以多个像素构成的第一区的步骤；(b-2)在从上述第一影像过规定时间的第二影像定义与上述第一区相同大小的第二区的步骤；(b-3)在上述第二影像中将上述第二区以与上述第一区相同的位置为基准向周边部移动的同时，判断像素值是否与第一区一致的步骤；以及(b-4)如果在上述步骤中上述第二区与上述第一区的像素值一致，则确定在相应区内发生了上述轮廓候选地点的移动的步骤。
优选地，上述步骤(c)包括：(c-1)将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点的步骤；(c-2)利用下面的(数式6)从与上述轮廓候选地点的相对距离减去与上述距离基准点的相对距离的步骤；(c-3)对随时间经过的上述步骤(c-2)的减去运算结果是否在规定的误差范围内一致进行判断的步骤；以及(c-4)如果在上述步骤(c-3)判断为不一致，则将该轮廓候选地点判断为属于车辆的步骤，
(数式6)
Figure BDA0001414548230000041
在此，Zc0为与上述轮廓候选地点的相对距离，Z0为与上述距离基准点的相对距离，yc0为用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为用摄像机拍摄的影像中的上述距离基准点的高度。
优选地，上述步骤(c)包括：(c-1)将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点的步骤；(c-2)利用下面的(数式7)计算相对于上述距离基准点的上述轮廓候选地点的高度的步骤；(c-3)对随时间经过的上述步骤(c-2)的计算结果是否在规定的误差范围内一致进行判断的步骤；以及(c-4)如果在上述步骤(c-3)判断为一致，则将该轮廓候选地点判断为属于车辆的步骤，
(数式7)
Figure BDA0001414548230000042
在此，Yc0为上述轮廓候选地点的高度，yc0为在用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为在用摄像机拍摄的影像中的上述距离基准点的高度。
本发明一实施例的消失点修正装置，其为搭载于车辆并从用摄像机拍摄的影像修正消失点的位置的消失点修正装置，其特征在于，包括：轮廓候选地点提取部，其从用上述摄像机拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点；轮廓点判断部，其追踪上述轮廓候选地点的移动，判断上述轮廓候选地点是否属于车辆，若属于车辆，则确定为车辆轮廓点；轮廓点幅度变化演算部，其计算上述车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化；以及消失点修正部，其从在上述轮廓点幅度变化演算部计算的幅度变化利用下面的(数式13)计算消失点变化量，
(数式13)
Figure BDA0001414548230000043
在此，y1及y2分别为在时间t1及t2用摄像机拍摄的影像中的上述车辆轮廓点的高度，w1及w2分别为在时间t1及t2的上述车辆轮廓点之间的幅度，ym1及ym2分别为在时间t1及t2的消失点的高度，时间t2为从时间t1经过规定时间的时间。
优选地，上述轮廓候选地点提取部在用上述摄像机拍摄的影像中将横边缘和纵边缘交叉的点提取为轮廓候选地点。
优选地，上述轮廓点判断部包括相对距离追踪部，上述相对距离追踪部将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点，对利用下面的(数式6)从与上述轮廓候选地点的相对距离减去与上述距离基准点的相对距离的结果是否随时间经过而一致进行判断，如果不一致，则将该轮廓候选地点判断为属于车辆，
(数式6)
Figure BDA0001414548230000051
在此，Zc0为与上述轮廓候选地点的相对距离，Z0为与上述距离基准点的相对距离，yc0为用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为用摄像机拍摄的影像中的上述距离基准点的高度。
优选地，上述轮廓点判断部包括高度追踪部，上述高度追踪部将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点，对利用下面的(数式7)计算的相对于上述距离基准点的上述轮廓候选地点的高度是否随时间经过而一致进行判断，如果一致，则将该轮廓候选地点判断为属于车辆，
(数式7)
Figure BDA0001414548230000052
在此，Yc0为上述轮廓候选地点的高度，yc0为在用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为在用摄像机拍摄的影像中的上述距离基准点的高度。
(发明的效果)
根据本发明的消失点修正装置及方法有如下效果：追踪前方运行车辆的轮廓点而判断是否属于车辆，从相同高度的轮廓点之间的幅度变化计算消失点的变化量，由此，在用摄像机拍摄的影像中存在前方运行车辆的情况下，可实时获得消失点的变化信息，检测瞬间的消失点的变化而加以正确修正，可在诸如前方运行车辆追尾警报装置等尖端驾驶员辅助系统中防止误报并向驾驶员提供正确的信息。
附图说明
图1为示出了在前方运行车辆追尾警报装置的消失点变化例的图。
图2为例示了根据本发明的消失点修正装置的框图。
图3为例示了根据本发明的消失点修正方法的流程图。
图4为例示了对轮廓候选地点是否属于车辆进行判断的过程的流程图。
图5为示出了提取轮廓候选地点的例子的图。
图6为示出了对轮廓候选地点是否属于车辆进行判断的例子的图。
具体实施方式
在下文中，将参照附图详细描述本发明的优选实施例。然而，本发明不旨在限于具体实施例，而是旨在覆盖落入本发明的精神和范围内的所有修改，等同和替代。
附图中相同的附图标记在整个说明书中表示相同的部件。为了说明的目的而提供的附图的形状和尺度可以被夸大或省略。
在参考附图对本发明的优选实施例的描述中，省略对本领域技术人员显而易见的技术的冗余描述。此外，在下面的描述中，当被称为包括其它部分时，这意味着除了另有说明之外，还可以包括本说明书中描述的部件以外的元件。
在本说明书中描述的术语“～部”，“～器”,“～组件”等意味着用于处理至少一个功能或操作的单元，并且可以通过硬件或软件或硬件和软件的组合来实现可以。此外，当一部分电连接到另一部分时，它不仅包括其直接连接的情况，而且包括其他部分在中间彼此连接的情况。
包括诸如第一，第二等的序数的术语可以用于描述各种元素，但是元素不限于这些术语。该术语仅用于区分一个组件与另一个组件。例如，第二部件可以被称为第一部件，同样地，在不脱离本发明的范围的情况下，第一部件可以被称为第二部件。
图2为例示了根据本发明的消失点修正装置的框图。参照此，本发明的消失点修正装置包括对安装于车辆的摄像机100所拍摄的影像进行处理的影像处理部200，影像处理部200所输出的消失点修正值传递至诸如前方运行车辆追尾警报装置(FCWS：ForwardCollision Warning System)300、车道偏离警报装置(LDWS：Lane Departure WarningSystem)400、车道维持装置(LKAS：Lane Keeping Assistant System)等尖端驾驶员辅助系统(ADAS：Advanced Driver Assistance System)。例如，消失点修正装置可包括在所列举的或未列举的其他尖端驾驶员辅助系统，或者构成为独自的装置，并将消失点修正值传递至尖端驾驶员辅助系统。
在此，如图所示，影像处理部200包括轮廓候选地点提取部210、轮廓点判断部220、相对距离追踪部230、高度追踪部240、轮廓点幅度变化演算部250及消失点修正部260。
轮廓候选地点提取部210从摄像机100所拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点。轮廓点判断部220判断轮廓候选地点提取部210所提取的轮廓候选地点是否属于车辆。如图所示，轮廓点判断部220具有相对距离追踪部230和高度追踪部240。
轮廓点幅度变化演算部250计算影像处理部200所决定的车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化。此外，消失点修正部260利用车辆轮廓点之间的幅度变化来计算消失点变化量。
图3为例示了根据本发明的消失点修正方法的流程图，图4为例示了对轮廓候选地点是否属于车辆进行判断的过程的流程图。参照图3及图4对上述各构成要素的工作关系及根据本发明的消失点修正方法具体说明如下。
首先，影像处理部200的轮廓候选地点提取部210从摄像机100接收影像信息而提取推定为前方运行车辆的物体的轮廓候选地点(ST110)。例如，在用摄像机100拍摄的影像中将横边缘(edge)和纵边缘交叉的点提取为轮廓候选地点。
图5示出了在本发明中提取轮廓候选地点的例子。参照图5，以实际坐标轴为基准相对于本车辆520的前方运行车辆510的位置可以用坐标(X，Z)来表达。
设前方运行车辆510的车幅为‘W’。如图5的右侧所示，在用摄像机100拍摄的摄像画面500上以消失点P为基准在前方运行车辆510的轮廓候选地点中，将左侧的轮廓候选地点设为OLl，将右侧的轮廓候选地点设为OLr，则轮廓候选地点OLl的坐标为(xl，yc)，OLr的坐标为(xr，yc)。此时，根据考虑了消失点的联兹的公式，在摄像画面500上两个轮廓候选地点(OLl，OLr)之间的幅度‘w’可用下面的(数式5)表达。
(数式5)
Figure BDA0001414548230000071
在此，Z为本车辆与前方运行车辆的相对距离，λ为摄像机的焦点距离。
即，在摄像画面500上两个轮廓候选地点(OLl，OLr)之间的幅度比例于实际坐标轴上的前方运行车辆510的幅度，反比于以本车辆520为基准的与前方运行车辆510的相对距离。
接下来，轮廓点判断部220追踪轮廓候选地点的移动(ST120)。例如，在用于提取轮廓候选地点的第一影像中在轮廓候选地点周边定义以多个像素(pixel)构成的第一区(block)。而且，在过规定时间的第二影像定义与第一区相同大小的第二区。将第二影像中的第二区以与第一区相同的位置为基准向周边部移动的同时(例如，沿着旋风形状移动)，判断像素值是否与第一区一致。如果像素值一致，则确定在相应区内发生了轮廓候选地点的移动。
接下来，判断轮廓候选地点是否属于车辆(ST130)。通过下述两个方法中的某一个或并行下述两个方法来执行轮廓候选地点是否属于车辆的判断。
第一个方法是在相对距离追踪部230追踪轮廓候选地点的相对距离，而第二个方法是在高度追踪部240追踪轮廓候选地点的高度。
图6为示出了对轮廓候选地点是否属于车辆进行判断的例子的图。参照图6对判断轮廓候选地点是否属于车辆的过程进行观察如下。另一方面，在图6中例示着对一个轮廓候选地点进行是否属于车辆的判断的过程，而这样的判断过程同样也适用于其他轮廓候选地点。
参照图6，如左侧图所示，在摄像画面500上可设轮廓候选地点的坐标为(xc0，yc0)。相当于前方运行车辆510的后轮下端部或车辆下部影子区域的末端部分的距离基准点的y轴坐标值为yo。
如果图6的轮廓候选地点(xc0，yc0)不属于车辆，则如图6的右侧上端图表所示，轮廓候选地点由摄像机100投影于道路上的一点Zc0。若设作为距离基准点的实际坐标轴的Z轴坐标值为Z0，则道路上的形状具有从Zc0减去Z0的长度，该长度具有与下面的(数式6)相同的值。
(数式6)
Figure BDA0001414548230000081
在此，Zc0为与上述轮廓候选地点的相对距离，Z0为与上述距离基准点的相对距离，yc0为用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为用摄像机拍摄的影像中的上述距离基准点的高度。
如果图6的轮廓候选地点(xc0，yc0)属于车辆，则如图6的右侧下端图表所示，轮廓候选地点在距离基准点的Z轴上的距离Z0上投影于实际高度Yc0的点，该高度具有与下面的(数式7)相同的值。
(数式7)
Figure BDA0001414548230000082
在此，Yc0为上述轮廓候选地点的高度，yc0为在用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为在用摄像机拍摄的影像中的上述距离基准点的高度。
现在，若根据时间流逝的(数式6)的减算结果在规定的误差范围内一定，则相应轮廓候选地点可判断为道路上的形状。在此情况下，提取的轮廓候选地点可以说不属于车辆。此外，若根据时间流逝的(数式7)的高度在规定的误差范围内一定，则相应轮廓候选地点可判断为车辆的一部分。在此情况下，提取的轮廓候选地点可以说属于车辆。
再次，参照图4，判断轮廓候选地点是否属于车辆的步骤(ST130)从提取距离基准点(ST131)开始。
作为第一个的相对距离追踪过程在‘t＝0’利用上述(数式6)从与轮廓候选地点的相对距离减去与距离基准点的相对距离(ST132)，随着时间流逝，在‘t＝1’利用上述(数式6)进行同样的减法运算。而且，对在‘t＝0’的减法运算结果和在‘t＝1’的减法运算结果在规定的误差范围内是否相同进行判断(ST136)。如果相同，则回到步骤ST110而提取新的轮廓候选地点。如果不相同，则将相应轮廓候选地点确定为车辆轮廓点(ST140)。
作为第二个的高度追踪过程在‘t＝0’利用上述(数式7)计算相对于距离基准点的轮廓候选地点的高度(ST133)，随着时间流逝，在‘t＝1’利用上述(数式7)进行同样的高度计算。而且，对在‘t＝0’的计算结果和在‘t＝1’的计算结果在规定的误差范围内是否相同进行判断(ST136)。如果相同，则将相应轮廓候选地点确定为车辆轮廓点(ST140)。如果不相同，则回到步骤ST110而提取新的轮廓候选地点。
接下来，计算在如图3所示地确定的车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化(ST150)。此外，利用车辆轮廓点之间的幅度变化计算消失点的变化量(ST160)。下面，在说明计算消失点的变化量的过程中，时间t1及t2意味着消失点的变化量计算中的时间的经过。
设在时间t1的消失点的位置为ym1，如在上面的(数式4)所观察，与前方运行车辆510的相对距离可利用下面的(数式8)获得。另一方面，在(数式4)中，以前方运行车辆510的下端部为基准获得了距离基准点，因此，相对于地面的实际坐标轴的高度可以说是‘Y＝0’，而与现有获得距离基准点的方式不同，本发明中的车辆轮廓点为提取自前方运行车辆510的车体外廓线，因此，应考虑实际坐标轴上的车辆轮廓点的高度Y。
(数式8)
Figure BDA0001414548230000091
在此，Z1为在时间t1与前方运行车辆的相对距离，Y为上述车辆轮廓点的在实际坐标轴上的高度，y1为在时间t1用摄像机拍摄的影像中的上述车辆轮廓点的高度，ym1为在时间t1消失点的高度。
在从时间t1经过规定时间的t2，消失点的位置变化为ym2，则与前方运行车辆的相对距离可用下面的(数式9)表达。
(数式9)
Figure BDA0001414548230000101
在此，Z2为在时间t2与前方运行车辆的相对距离，Y为上述车辆轮廓点的在实际坐标轴上的高度，y2为在时间t2用摄像机拍摄的影像中的上述车辆轮廓点的高度，ym2为在时间t2消失点的高度。
但是，在现有技术中，因无法认知消失点的变化量ym2，直接利用在时间t1的消失点信息ym1而计算在时间t2的相对距离Z2，而这成为误报的原因。本发明提供参照上面说明的(数式5)利用车辆轮廓点的幅度变化的计算消失点的变化量ym2的方法
参照上面说明的(数式5)，则可将(数式8)中右边的分母表达为下面的(数式10)。
(数式10)
Figure BDA0001414548230000102
在此，w1为在时间t1上述车辆轮廓点之间的幅度。
此外，在(数式9)右边的分母也可表达为下面的(数式11)。
(数式11)
Figure BDA0001414548230000103
在此，w2为在时间t2上述车辆轮廓点之间的幅度。
在(数式10)和(数式11)，前方运行车辆的实际坐标轴上的幅度W，摄像机的高度h，车辆轮廓点在实际坐标轴上的高度Y都是常数。因此，(数式10)和(数式11)的比例式可用下面的(数式12)表达。
(数式12)
Figure BDA0001414548230000104
现在，利用摄像机上的车辆轮廓点的幅度变化从下面的(数式13)可获得消失点的y轴变化量。
(数式13)
Figure BDA0001414548230000105
即，通过在摄像画面上提取车辆轮廓点而测定幅度变化来可计算消失点变化量，利用消失点变化量来修正消失点的位置，由此，可在如前方运行车辆追尾警报装置等尖端驾驶员辅助系统中减少未认知消失点变化量导致的误报。
虽然为了说明的目的已经描述了各种实施例，但对本领域技术人员将显而易见的是，在不脱离如权利要求书限定的本发明的精神和范围的情况下可进行各种改变和修改。

Claims (9)

1.一种消失点修正方法，其为在搭载于车辆的影像识别装置从用摄像机拍摄的影像修正消失点的位置的消失点修正方法，其特征在于，
包括：
(a)从用上述摄像机拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点的步骤；
(b)对随时间的经过的上述轮廓候选地点的移动进行追踪的步骤；
(c)对上述轮廓候选地点是否属于车辆进行判断的步骤；
(d)如果在上述步骤(c)中判断为上述轮廓候选地点属于车辆，则将该轮廓候选地点确定为上述前方运行车辆的车辆轮廓点的步骤；
(e)计算上述车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化的步骤；以及
(f)利用下面的(数式13)计算上述消失点的变化量的步骤，
(数式13)
Figure FDA0002965589750000011
在此，y1及y2分别为在时间t1及t2用摄像机拍摄的影像中的上述车辆轮廓点的高度，w1及w2分别为在时间t1及t2的上述车辆轮廓点之间的幅度，ym1及ym2分别为在时间t1及t2的消失点的高度，时间t2为从时间t1经过规定时间的时间。
2.根据权利要求1所述的消失点修正方法，其特征在于，
上述步骤(a)在用上述摄像机拍摄的影像中将横边缘和纵边缘交叉的点提取为上述轮廓候选地点。
3.根据权利要求1所述的消失点修正方法，其特征在于，
上述步骤(b)包括：
(b-1)在第一影像中在上述轮廓候选地点周边定义以多个像素构成的第一区的步骤；
(b-2)在从上述第一影像过规定时间的第二影像定义与上述第一区相同大小的第二区的步骤；
(b-3)在上述第二影像中将上述第二区以与上述第一区相同的位置为基准向周边部移动的同时，判断像素值是否与第一区一致的步骤；以及
(b-4)如果在上述步骤中上述第二区与上述第一区的像素值一致，则确定在相应区内发生了上述轮廓候选地点的移动的步骤。
4.根据权利要求1所述的消失点修正方法，其特征在于，
上述步骤(c)包括：
(c-1)将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点的步骤；
(c-2)利用下面的(数式6)从与上述轮廓候选地点的相对距离减去与上述距离基准点的相对距离的步骤；
(c-3)对随时间经过的上述步骤(c-2)的减去运算结果是否在规定的误差范围内一致进行判断的步骤；以及
(c-4)如果在上述步骤(c-3)判断为不一致，则将该轮廓候选地点判断为属于车辆的步骤，
(数式6)
Figure FDA0002965589750000021
在此，Zc0为与上述轮廓候选地点的相对距离，Z0为与上述距离基准点的相对距离，yc0为用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为用摄像机拍摄的影像中的上述距离基准点的高度，λ为摄像机的焦点距离，h为摄像机的高度。
5.根据权利要求1所述的消失点修正方法，其特征在于，
上述步骤(c)包括：
(c-1)将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点的步骤；
(c-2)利用下面的(数式7)计算相对于上述距离基准点的上述轮廓候选地点的高度的步骤；
(c-3)对随时间经过的上述步骤(c-2)的计算结果是否在规定的误差范围内一致进行判断的步骤；以及
(c-4)如果在上述步骤(c-3)判断为一致，则将该轮廓候选地点判断为属于车辆的步骤，
(数式7)
Figure FDA0002965589750000031
在此，Yc0为上述轮廓候选地点的高度，yc0为在用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为在用摄像机拍摄的影像中的上述距离基准点的高度，h为摄像机的高度。
6.一种消失点修正装置，其为搭载于车辆并从用摄像机拍摄的影像修正消失点的位置的消失点修正装置，其特征在于，
包括：
轮廓候选地点提取部，其从用上述摄像机拍摄的影像提取推定为前方运行车辆的物体的轮廓候选地点；
轮廓点判断部，其追踪上述轮廓候选地点的移动，判断上述轮廓候选地点是否属于车辆，若属于车辆，则确定为车辆轮廓点；
轮廓点幅度变化演算部，其计算上述车辆轮廓点中相同高度的车辆轮廓点之间的幅度变化；以及
消失点修正部，其从在上述轮廓点幅度变化演算部计算的幅度变化利用下面的(数式13)计算消失点变化量，
(数式13)
Figure FDA0002965589750000032
在此，y1及y2分别为在时间t1及t2用摄像机拍摄的影像中的上述车辆轮廓点的高度，w1及w2分别为在时间t1及t2的上述车辆轮廓点之间的幅度，ym1及ym2分别为在时间t1及t2的消失点的高度，时间t2为从时间t1经过规定时间的时间。
7.根据权利要求6所述的消失点修正装置，其特征在于，
上述轮廓候选地点提取部在用上述摄像机拍摄的影像中将横边缘和纵边缘交叉的点提取为轮廓候选地点。
8.根据权利要求6所述的消失点修正装置，其特征在于，
上述轮廓点判断部包括相对距离追踪部，上述相对距离追踪部将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点，对利用下面的(数式6)从与上述轮廓候选地点的相对距离减去与上述距离基准点的相对距离的结果是否随时间经过而一致进行判断，如果不一致，则将该轮廓候选地点判断为属于车辆，
(数式6)
Figure FDA0002965589750000041
在此，Zc0为与上述轮廓候选地点的相对距离，Z0为与上述距离基准点的相对距离，yc0为用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为用摄像机拍摄的影像中的上述距离基准点的高度，λ为摄像机的焦点距离，h为摄像机的高度。
9.根据权利要求6所述的消失点修正装置，其特征在于，
上述轮廓点判断部包括高度追踪部，上述高度追踪部将上述前方运行车辆的后轮下端部或车辆下部影子区域的末端部分提取而识别为距离基准点，对利用下面的(数式7)计算的相对于上述距离基准点的上述轮廓候选地点的高度是否随时间经过而一致进行判断，如果一致，则将该轮廓候选地点判断为属于车辆，
(数式7)
Figure FDA0002965589750000042
在此，Yc0为上述轮廓候选地点的高度，yc0为在用摄像机拍摄的影像中的上述轮廓候选地点的高度，y0为在用摄像机拍摄的影像中的上述距离基准点的高度，h为摄像机的高度。
CN201680017327.7A 2015-05-26 2016-04-14 消失点修正装置及方法 Active CN107787496B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150072669A KR101639722B1 (ko) 2015-05-26 2015-05-26 소실점 보정 장치 및 방법
KR10-2015-0072669 2015-05-26
PCT/KR2016/003878 WO2016190544A1 (ko) 2015-05-26 2016-04-14 소실점 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
CN107787496A CN107787496A (zh) 2018-03-09
CN107787496B true CN107787496B (zh) 2021-07-13

Family

ID=56506112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017327.7A Active CN107787496B (zh) 2015-05-26 2016-04-14 消失点修正装置及方法

Country Status (4)

Country Link
US (1) US10235579B2 (zh)
KR (1) KR101639722B1 (zh)
CN (1) CN107787496B (zh)
WO (1) WO2016190544A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
CN107924573B (zh) * 2015-08-31 2021-05-11 三菱电机株式会社 图像处理装置、图像处理方法和存储介质
JP7111586B2 (ja) * 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
CN112924707B (zh) * 2019-12-06 2023-08-29 金恒燮 利用影像追踪的车辆速度检测装置及方法
KR20210103865A (ko) 2020-02-14 2021-08-24 삼성전자주식회사 소실점 추출 장치 및 소실점 추출 방법
CN112348752B (zh) * 2020-10-28 2022-08-16 武汉极目智能技术有限公司 一种基于平行约束的车道线消失点补偿方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2002327635A (ja) * 2001-04-27 2002-11-15 Nissan Motor Co Ltd 車両用走行制御装置
CN102414715A (zh) * 2009-04-23 2012-04-11 丰田自动车株式会社 物体检测装置
WO2014003168A1 (ja) * 2012-06-29 2014-01-03 株式会社デンソー 車両に搭載される画像解析装置
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
CN104050681A (zh) * 2014-07-04 2014-09-17 哈尔滨工业大学 一种基于视频图像的道路消失点检测方法
KR20150051425A (ko) * 2013-11-04 2015-05-13 현대모비스 주식회사 차선이탈경보 as 보정 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US20020032142A1 (en) * 2000-06-30 2002-03-14 The Procter & Gamble Company Detergent compositions comprising a cyclodextrin glucanotransferase enzyme and a detergent ingredient
JP2002232874A (ja) * 2001-02-07 2002-08-16 Nissan Motor Co Ltd 車両用カメラの撮像方向のずれ検出方法および装置
KR100814028B1 (ko) * 2006-05-30 2008-03-14 김주현 주행 차량 자동 계중 시스템
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
KR100979726B1 (ko) * 2008-08-29 2010-09-02 (주)제이티 이동 물체의 특징점을 이용하는 영상 검지 방법
KR101257871B1 (ko) 2011-08-05 2013-04-23 엘지전자 주식회사 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2002327635A (ja) * 2001-04-27 2002-11-15 Nissan Motor Co Ltd 車両用走行制御装置
CN102414715A (zh) * 2009-04-23 2012-04-11 丰田自动车株式会社 物体检测装置
WO2014003168A1 (ja) * 2012-06-29 2014-01-03 株式会社デンソー 車両に搭載される画像解析装置
CN103578115A (zh) * 2012-07-31 2014-02-12 电装It研究所 移动体识别系统以及移动体识别方法
KR20150051425A (ko) * 2013-11-04 2015-05-13 현대모비스 주식회사 차선이탈경보 as 보정 장치 및 방법
CN104050681A (zh) * 2014-07-04 2014-09-17 哈尔滨工业大学 一种基于视频图像的道路消失点检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于单目视觉反馈的智能车导航研究;郑烨;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120115(第01期);I138-396 *
基于视觉的驾驶员横向辅助系统关键技术研究;王家恩;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20140515(第05期);C035-10 *
高速公路自主驾驶汽车视觉感知算法研究;聂一鸣;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20141115(第11期);C035-2 *

Also Published As

Publication number Publication date
KR101639722B1 (ko) 2016-07-15
WO2016190544A1 (ko) 2016-12-01
US10235579B2 (en) 2019-03-19
CN107787496A (zh) 2018-03-09
US20180060679A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN107787496B (zh) 消失点修正装置及方法
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
JP6511283B2 (ja) 物体検知装置
EP3549055B1 (en) Information processing device, imaging device, apparatus control system, information processing method, and computer program product
US9053554B2 (en) Object detection device using an image captured with an imaging unit carried on a movable body
US9665781B2 (en) Moving body detection device and moving body detection method
US20070127778A1 (en) Object detecting system and object detecting method
JP6458651B2 (ja) 路面標示検出装置及び路面標示検出方法
WO2014002692A1 (ja) ステレオカメラ
JP6815963B2 (ja) 車両用外界認識装置
US8160300B2 (en) Pedestrian detecting apparatus
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JP2010003253A (ja) 運動推定装置
TW201536609A (zh) 障礙物偵測裝置
CN112513573B (zh) 立体摄像机装置
CN112400094B (zh) 物体探测装置
JP6677142B2 (ja) 駐車枠認識装置
JP6334773B2 (ja) ステレオカメラ
CN115485721A (zh) 图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant