JP2003281700A - Cutting-in vehicle detecting device and method - Google Patents

Cutting-in vehicle detecting device and method

Info

Publication number
JP2003281700A
JP2003281700A JP2002084599A JP2002084599A JP2003281700A JP 2003281700 A JP2003281700 A JP 2003281700A JP 2002084599 A JP2002084599 A JP 2002084599A JP 2002084599 A JP2002084599 A JP 2002084599A JP 2003281700 A JP2003281700 A JP 2003281700A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
vehicle
interrupt
region
area
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002084599A
Other languages
Japanese (ja)
Other versions
JP3656056B2 (en )
Inventor
Takeshi Nakano
Ryuzo Okada
剛 仲野
隆三 岡田
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a cutting-in vehicle detecting device obtaining a traveling track of other vehicles cutting into an own vehicle traveling/stopping lane or an area on which traveling of the own vehicle is assumed from a time series image obtained from an image inputting device mounted on the vehicle by tracking a vehicular potential area, and detecting the cutting-in vehicle from the traveling track thereof. <P>SOLUTION: This cutting-in vehicle detecting device determining the cutting-in vehicle, is composed of an image inputting portion 1 taking in the time series image obtained by an image input device mounted on the vehicle by a single eye, a processing are setting portion 2 setting a reference border line for detecting cutting-in from the time series image, a potential area setting portion 3 setting the vehicular potential area on the outside to the reference border line, a traveling track assuming portion 4 assuming a traveling track of other vehicles by the vehicular potential area having a moving direction special to a specified cutting-in with reference to the reference border line, and a cutting-in determining portion 5 determining the cutting-in vehicle from the other vehicles when the traveling track of the other vehicle has a specified special feature of cutting-in. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、自動車などの車両に代表される移動体に取り付けられたTVカメラから得られる画像を用いて、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する画像処理装置及びその方法に関するものである。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention uses an image obtained from the TV camera mounted on the moving object represented by a vehicle such as an automobile, and travel of the vehicle and that lane, or to an image processing apparatus and method for detecting a vehicle coming interrupting the area where the running of the vehicle is predicted. 【0002】 【従来の技術】「割り込み車両」とは、自車両の走行、 [0002] 2. Description of the Prior Art "interrupt vehicle", the travel of the vehicle,
または、停止しているレーン、または、自車両の走行が予測される領域に侵入してくる車両である。 Or, lane is stopped, or a vehicle traveling in the vehicle intrudes into area expected. 自車と近い距離で突発的に発生する現象であるため、非常に危険であり、迅速に検出する必要がある。 Since a phenomenon that suddenly occur in the vehicle and the short distance, is very dangerous, it is necessary to quickly detect. 【0003】自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる車両を検出する手段として、大きく分けてレーダを用いる方式と、画像を用いる方式が提案されている。 [0003] Lane running of the vehicle or, as a means for detecting a vehicle coming interrupting the area where the running of the vehicle is predicted, is proposed system using a method using a radar roughly, an image ing. 【0004】レーダを用いる方式として、特開平7−8 As a method using a radar, JP 7-8
9367号公報において、レーザレーダを用いて検出する方法が提案されている。 In 9367, JP method for detecting using a laser radar has been proposed. レーザレーダを用いる方式は雨など悪天候に弱いという問題がある。 System using a laser radar has a problem that the weak in bad weather such as rain. また、割り込み車両の場合、レーザレーダが斜めに照射されるため、反射波を受光できないという問題や、指向性が強く、曲がった道路での利用などは困難であるということや、他車両から発せられるレーザと干渉するという問題がある。 Also, if the interrupt vehicle, since the laser radar is irradiated obliquely, or impossible receive the reflected waves, highly directional, and that it is difficult, such as use in curved road, emitted from other vehicles there is a problem that the laser interfere with that is. 【0005】これに対して、画像を用いる方式では、例えば自車両の走行レーンを検出することができるため、 [0005] In contrast, in the method using an image, it is possible to detect for example lane of the vehicle,
自車両の走行に対して危険となる領域を限定することができる。 It is possible to limit the region to be a hazard to the vehicle traveling. このように様々の情報を、画像から取得することができる。 Thus a variety of information can be acquired from the image. また、装置を安価に構成することもできる。 It is also possible to inexpensively constitute the device. したがって、センサとしてレーダを用いるのではなく画像を用いる。 Therefore, using the image rather than using radar as the sensor. 【0006】この画像を用いる方式には、複数のTVカメラを用いる方式と、単一のTVカメラによって単眼で撮影した画像を用いる方式とがある。 [0006] system using this image, there is a method of using a system using a plurality of TV cameras, the images taken by the monocular by a single TV camera. 【0007】複数のTVカメラを用いる方式として、特開平11−213295号公報において、ステレオ視により車両までの距離を計測して、3次元シーンにおける他車両の移動ベクトルを求め、その延長線と走行レーンが交わったとき割り込み車両と検出する手法が提案されている。 [0007] As a method of using a plurality of TV cameras, in JP-A-11-213295 discloses measures the distance to the vehicle by the stereo vision, obtains a movement vector of the other vehicle in the three-dimensional scene, the running and its extension method of detecting an interrupt vehicle when the lane is crossed is proposed. このステレオ視による手法は割り込み車両が、 This approach by the stereo vision interrupt vehicle,
二台のTVカメラの共通視野領域に入ってくるまで検出できないため、検出が遅くなるという問題がある。 Since that can not be detected until coming to a common field of view of the two units of the TV camera, there is a problem that the detection becomes slow. また、左右の画像間から互いの点の応対付けにより視差を求めるので、計算量が大きくなるという問題もある。 Moreover, there is so determined parallax by answering with each other point from among the left and right images, a problem that the calculation amount increases. したがって、カメラとしては、複数のカメラを用いるのではなく、単一のカメラを用いるのが好ましい。 Therefore, as the camera, rather than using a plurality of cameras, it is preferable to use a single camera. 【0008】単一のTVカメラによって単眼で撮影した画像を用いる方式として、下記の二つの方式が知られている。 [0008] As a method of using an image captured by a monocular by a single TV camera, it is known two methods below. 【0009】第1の方式としては、特開平8−2495 [0009] As the first method, JP-A-8-2495
97号公報において、道路面のエッジ点数の変化に注目して割り込み車両を検出する方法が提案されている。 In 97 JP, a method of detecting an interrupt vehicle by focusing on the change in the number of edge points of the road surface has been proposed. この手法は、予め設定したある領域内部のエッジ点数の最大値が、ある閾値以上になったときに、割り込み車両が存在したとする。 This approach, the maximum value of the number of edge points inside a region which is set in advance, when it is above a certain threshold, the interrupt vehicle is present. この手法では、エッジ点数から検出しているため、道路面に模様があると車両が存在しなくてもエッジ点数が増大することから誤検出する可能性がある。 In this method, since the detected edge points, it may be erroneously detected because the number of edge points without the vehicle exists if there is a pattern on the road surface is increased. 【0010】第2の方式としては、特許第307506 [0010] As the second method, Patent No. 307506
4号公報において、まず車両を検出し、検出した車両が走行レーン領域に十分に重なったら割り込み車両であると判断する手法が提案されている。 In 4 JP, first it detects the vehicle, approaches the detected vehicle is determined to be an interrupt vehicle After overlap sufficiently lane region has been proposed. この手法では、正確な車両検出が必要となるが、精度の良い車両検出自体困難である。 In this approach, it is necessary to correct vehicle detection, an accurate vehicle detection itself difficult. 【0011】 【発明が解決しようとする課題】前述のように、単一のTVカメラを用いる第2の方式においては、割り込み車両の検出のために車両の正確な検出が必要である。 [0011] As described above [0006] In the second scheme using a single TV camera, it is necessary to accurately detect the vehicle for the detection of the interrupt vehicle. 【0012】しかし、この車両の正確な検出は、非常に困難である。 [0012] However, accurate detection of the vehicle, it is very difficult. 【0013】そこで本発明では、以上のような点を考慮して、車両を正確に検出するのでなく、自車両の走行しているレーン、または、自車両の走行が予測される領域に割り込んでくる他車両の走行軌跡を、車両候補領域を追跡することにより求め、その走行軌跡から割り込み車両を検出する画像処理装置及びその方法を提供することを目的とする。 [0013] Therefore, in the present invention, in view of the points mentioned above, rather than to accurately detect the vehicle, and the vehicle traveling lane, or, interrupt the region running of the vehicle is predicted the travel locus of coming other vehicles, determined by tracking the vehicle candidate region, and an object thereof is to provide an image processing apparatus and method for detecting an interrupt vehicle from the travel locus. 【0014】 【課題を解決するための手段】請求項1の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得手段と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定手段と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定手段と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定手段と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の [0014] [Means for Solving the Problems of claims 1 invention, for example, by the image input device mounted on a vehicle, an image acquisition means for capturing the time-series images acquired photographed by monocular, wherein a range traveling of the vehicle, and said to come interrupted by another vehicle range vehicle is dangerous as a risk area, set the reference boundary of the range of the critical region with respect to the time-series images a reference boundary setting unit that, all that is estimated to another vehicle, or the vehicle candidate region is a part of the region, vehicle tracking initiation region is a region outside the above with the reference border boundary danger area given the candidate area setting unit that sets a travel locus estimating means estimates that based on the travel locus of the vehicle candidate region in the time-series images, the travel path of the vehicle candidate regions the estimated relative to the reference border of 割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定手段と、を具備することを特徴とする割り込み車両検出装置である。 When having an interrupt condition, an interrupt vehicle detecting apparatus characterized by comprising, an interrupt vehicle determining unit that determines the vehicle candidate region as an interrupt vehicle. 【0015】請求項2の発明は、前記割り込み車両判定手段は、前記車両候補領域の走行軌跡と前記基準境界線が交わるという割り込み条件、または、前記車両候補領域の走行軌跡の延長線が前記基準境界線と所定の角度範囲を持って交わるという割り込み条件の少なくともどちらか一方の割り込み条件が具備されたときに、前記車両候補領域を割り込み車両と判定することを特徴とする請求項1記載の割り込み車両検出装置である。 The invention of claim 2, the interrupt vehicle determining means, the interrupt condition that the the traveling path of the vehicle candidate region reference border intersects or extension line to the reference traveling locus of the vehicle candidate region, when at least one of the interrupt condition interrupt condition that intersects with the boundary line and a predetermined angle range is provided, the interruption of claim 1, wherein determining the vehicle candidate region and interrupt the vehicle a vehicle detection device. 【0016】請求項3の発明は、前記候補領域設定手段は、前記車両追跡開始領域にエッジ検出フィルタを配置することにより特定方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記特定方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記エッジ検出フィルタの適用領域を大きくするエッジ検出手段と、前記エッジ位置に前記車両候補領域を設定すると共に、その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定手段と、を具備することを特徴とする請求項1または2記載の割り込み車両検出装置である。 [0016] The invention of claim 3, wherein the candidate area setting means determines an edge intensity distribution in a specific direction by arranging an edge detection filter to the vehicle tracking initiation region, the peak position of the calculated edge intensity distribution wherein is intended to identify the direction of the edge position and the edge detection of the edge detecting filter when disposed on the vehicle tracking initiation region, enough distance from the vanishing point is at infinity point on the image is large an edge detecting means for increasing the coverage area of ​​the filter, and sets the vehicle candidate region in the edge position, corresponding to the size of the vehicle candidate region on the distance between the distance and the reference boundary lines from said vanishing point an interrupt vehicle detecting apparatus according to claim 1 or 2, wherein the comprising the vehicle candidate region setting means for setting the size, is. 【0017】請求項4の発明は、前記走行軌跡追跡手段は、前記基準境界線に対して所定の割り込み特有の運動方向を持つ車両候補領域に限定して走行軌跡を推定することを特徴とする請求項1から3のうちいずれか一項に記載の割り込み車両検出装置である。 [0017] A fourth aspect of the present invention, the travel locus tracking means, and estimates the travel locus is limited to a vehicle candidate area having a predetermined interrupt specific motion direction with respect to the reference boundary line among of claims 1 to 3 is an interrupt vehicle detecting apparatus according to any one. 【0018】請求項5の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得ステップと、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定ステップと、他車両と推定される全部、または、一部の領域である車両候補領域を、 [0018] The invention of claim 5, for example, by the image input device mounted on a vehicle, an image acquisition step of capturing time-series images acquired loaded with a monocular, a range of travel of the vehicle and, the other vehicle comes interrupts the scope vehicle is dangerous as a risk area, the reference boundary line setting step of setting a reference boundary of the range of the critical region with respect to the time-series images, other all that is estimated to vehicle, or the vehicle candidate region is a part of the region,
前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定ステップと、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定ステップと、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定ステップと、 A candidate area setting step of setting the vehicle tracking initiation region is a region outside the said danger area by the reference border boundary, the travel track estimating for estimating based on the travel locus of the vehicle candidate region in the time-series images a step, when the travel locus of the estimated vehicle candidate region has a predetermined interrupt condition with respect to the reference boundary, and determining interruption vehicle determination step the vehicle candidate region as an interrupt vehicle,
を具備することを特徴とする割り込み車両検出方法である。 An interrupt vehicle detecting method characterized by comprising the. 【0019】請求項6の発明は、自車両に搭載された画像入力装置により例えば、単眼で撮影されて取得される時系列画像を取り込む画像取得機能と、前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定機能と、他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定機能と、前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定機能と、前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記 [0019] The invention of claim 6 is, for example, by an image input device mounted on a vehicle, an image acquisition function of taking the time-series images acquired loaded with a monocular, a range of travel of the vehicle and, the other vehicle comes interrupts the scope vehicle is dangerous as a risk area, and the time the reference boundary line setting function for setting a reference boundary line in the range of the critical region with respect to series images, other all that is estimated to vehicle, or a candidate area setting function of the vehicle candidate region, set by the reference border boundaries vehicle tracking initiation region which is outside the region of the critical region is a part of the region, a travel track estimating function of estimating based on the travel locus of the vehicle candidate region in the time-series images, when the traveling trace of the vehicle candidate region the estimated has a predetermined interrupt condition with respect to the reference boundary, the 両候補領域を割り込み車両として判定する割り込み車両判定機能と、をコンピュータによって実現することを特徴とする割り込み車両検出方法のプログラムである。 A program interrupt vehicle detecting method characterized by the determining interrupt vehicle determination function both candidate regions as an interrupt vehicle, the realized by a computer. 【0020】本発明は、車両に搭載された画像入力装置により例えば、単眼で取得される時系列画像から、車両領域候補を設定して、その車両領域候補を追跡することにより車両の移動軌跡を計算して、割り込み車両であるかどうかを判定する。 The present invention, for example, by the image input device mounted on a vehicle, from the time series images obtained by monocular, and set the vehicle area candidate, the moving locus of the vehicle by tracking the vehicle area candidate It calculates and determines whether an interrupt vehicle. 【0021】追跡するときに割り込み車両特有の割り込み条件を用いることにより、安定な追跡を実現することができて、処理時間を小さくすることができる。 [0021] By using the interrupt vehicle specific interrupt condition when tracking, it is possible to realize a stable tracking, it is possible to reduce the processing time. 【0022】また、車両を認識することなく、割り込み車両特有の特徴を用いて追跡することによって、割り込み車両を検出することができる。 Further, without recognizing the vehicle by tracking using the interrupt vehicle-specific features, it is possible to detect the interrupt vehicle. 【0023】 【発明の実施の形態】本実施形態では、他車両が、自車両の走行している領域、または自車両の走行が予測される領域に進入する動きを持っていることに着目する。 [0023] DETAILED DESCRIPTION OF THE INVENTION The present embodiment, another vehicle, attention is paid to a region running of the vehicle or traveling of the vehicle, has a motion that enters the area expected . すなわち、割り込んでくる車両が、自車両の走行している領域、自車両の停止している領域、または、自車両の走行が予定される領域の境界線に対して、画像上における車両の走行軌跡が交わっている状態であることや、交わるような動きを持っている場合、割り込み車両の存在及び画像上の位置を検出する。 That is, interrupted by coming vehicle, region running of the vehicle, the area is stopped in the vehicle, or the boundary line of the area running of the vehicle is expected, the running of the vehicle on the image and that the trajectory is a state where the intersect, if you have movements intersect, to detect the position on the presence and the image of the interrupt vehicle. 画像上における車両の走行軌跡は、車両候補領域を追跡することにより計算される。 Travel locus of the vehicle on the image is calculated by tracking the vehicle candidate region. 【0024】 【実施例】以下、図1から図15を参照して本発明の実施形態を具体的に実現する一実施例を説明する。 [0024] [Embodiment] Hereinafter, an embodiment for specifically implementing embodiments of the present invention with reference to FIGS. 1 to 15. 【0025】図1に本実施例の割り込み車両検出装置の基本的な構成例を示す。 [0025] shows a basic configuration example of the interrupt vehicle detecting apparatus of the embodiment in FIG. 【0026】図1に示すように、割り込み車両検出装置は、画像入力部1、処理領域設定部2、候補領域設定部3、走行軌跡推定部4、割り込み判定部5とより構成され、これら各部1〜5の機能は、コンピュータに記憶されたプログラムによって実現される。 As shown in FIG. 1, the interrupt vehicle detecting apparatus includes an image input unit 1, the processing region setting unit 2, the candidate area setting unit 3, the traveling locus estimating unit 4, is more configured an interrupt judging section 5, these sections 1-5 functions are realized by a program stored in a computer. 【0027】自車両に取り付けられた車両周辺の画像を取得可能な装置(例えば、1台のTVカメラ)である画像入力部1によって、単眼で撮影された時系列画像を取得する。 [0027] a device capable of acquiring an image around the vehicle attached to the vehicle (e.g., a single TV camera) by the image input unit 1 is to acquire the time-series images captured by a monocular. 【0028】この単眼で撮影された時系列画像から、他車両が割り込みであるかどうか判定するために、自車両の走行に危険である領域(以下、危険領域という)を画像内に処理領域設定部2により領域を設定する。 [0028] from the time-series images captured by the monocular, to determine whether the other vehicle is an interrupt, the vehicle region is dangerous traveling (hereinafter, the risk that areas) processing area setting to the image It sets a region by part 2. 【0029】また、割り込み車両の候補を検出するために追跡開始領域を画像内に領域を設定する。 Further, it sets a region in the image tracking initiation region in order to detect the candidate of the interrupt vehicle. 【0030】なお、「割り込み車両」とは、自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる車両をいう。 [0030] Incidentally, the "interrupt vehicle", the area where the vehicle is traveling, the area wherein the vehicle is stopped, or the vehicle traveling in the vehicle intrudes into area expected Say. 【0031】(a)処理領域設定部2 図2に示すように、処理領域設定部2は、走行レーン検出部21、基準境界線設定部22からなる。 [0031] (a) As shown in the processing region setting unit 2 2, the processing area setting section 2, lane detecting unit 21 and a reference boundary line setting unit 22. 【0032】(a−1)走行レーン検出部21 割り込み車両が走行レーンの境界線と交わるときを割り込みであると判断するため、自車両が現在、走行しているレーンを検出する。 [0032] To determine the (a-1) traveling lane detecting unit 21 interrupts the vehicle is an interrupt when crossing the boundary line of the traveling lane, detecting the lane in which the vehicle is currently traveling. すなわち、自車両は道路を走行しているので、白線検出の結果を用いて、白線を走行レーンの境界線とする。 That is, since the vehicle is traveling on a road, by using the result of the white line detection, the boundary line of the traveling lane white lines. なお、自車両は停止してもよい。 Incidentally, the vehicle may be stopped. 【0033】また、検出された2本の白線の交点を消失点とする。 Further, the vanishing point detected two intersections of white lines were. 【0034】この「消失点」とは、画像上における無限遠点のことである。 [0034] This "vanishing point" is the point at infinity on the image. 白線検出としては、特開平7−89 The white line detection, JP-7-89
367による方法など様々な手法が提案されていて、どのような手法を用いても良い。 367 have been proposed various methods such as the method according to, may be used any method. 【0035】(a−2)基準境界線設定部22 割り込み車両は、自車両前方の近い距離において走行レーンの外側から進入してくるものである。 [0035] (a-2) the reference boundary line setting unit 22 interrupts the vehicle is to come to enter from the outside of the traveling lane in the front of the vehicle with a short distance. 【0036】そこで、図6に示すように、自車両からある距離までの走行レーンに挟まれた領域を、危険領域と設定する。 [0036] Therefore, as shown in FIG. 6, a region sandwiched between the driving lane to the distance from the own vehicle, it sets a dangerous area. 【0037】また、危険領域の外側の領域を「車両追跡開始領域」として設定する。 Further, to set the region outside the danger zone as a "vehicle tracking initiation region." 【0038】さらに、危険領域の左右の境界線を「基準境界線」として設定する。 [0038] In addition, to set the left and right of the boundary line of the danger area as a "reference boundary line". 【0039】このときの車両追跡開始領域の幅は、消失点に近づくにつれて幅が小さくなるように設定される。 The width of the vehicle tracking start area at this time is set such that the width becomes smaller toward the vanishing point. 【0040】(b)候補領域設定部3 図3に示すように、候補領域設定部3は、エッジ検出部31、車両候補領域設定部32からなる。 [0040] (b) As shown in the candidate area setting unit 3 3, the candidate area setting unit 3, the edge detection unit 31, consisting of the vehicle candidate region setting unit 32. 【0041】ところで、車両は、垂直・水平の線分が多い。 [0041] By the way, the vehicle, there are many vertical and horizontal line segments. したがって、垂直・水平方向を持つエッジが多い領域が車両領域である可能性が高い。 Therefore, the area edges often have vertical and horizontal is likely to be a vehicle area. そこで、垂直方向または、水平方向のエッジに注目して、エッジ検出し、その密度が高い領域を「車両候補領域」として設定する。 Therefore, the vertical direction or by focusing in the horizontal direction of the edge, and edge detection, the density is set high region as "vehicle candidate region". 【0042】(b−1)エッジ検出部31 車両候補領域を設定するために水平・垂直エッジ成分が必要となるので、エッジ検出部31によりエッジ検出を行う。 [0042] (b-1) Since the horizontal and vertical edge components in order to set the edge detection unit 31 vehicle candidate region is required, the edge detection is performed by the edge detection unit 31. 【0043】車両が走行している環境では、雨、影、照明変動など環境変化が激しいことがあるので、従来のS [0043] In the environment in which the vehicle is traveling, rain, shadows, because the environmental changes such as variations in lighting is sometimes intense, traditional S
obelフィルタのような画像の局所情報を用いたエッジ検出ではノイズの影響を受けやすく、望ましい結果が得られないことが多い。 Local information of the image susceptible to noise in the edge detection using such as obel filter, desirable results are not often obtained. 【0044】そこで、“Edge Extractio [0044] Therefore, "Edge Extractio
n Method Based on Separab n Method Based on Separab
ility of ImageFeatures,IE ility of ImageFeatures, IE
ICE TRANS. ICE TRANS. INF. INF. & SYST. & SYST. ,VO , VO
L. L. E78−D,NO. E78-D, NO. 12DECEMBER 199 12DECEMBER 199
5”において提案されている、分離度フィルタを用いたエッジ検出を用いる。 【0045】このエッジ検出手法は、ノイズの影響を受けにくく特徴点の輝度差に依存しないで求まる。図7において、分離度ηとは、判別分析により領域1と2における内部情報(例えば輝度)の差を表す量で、この分離度を用いたエッジ検出とは、以下のような式を用いて処理する。 【0046】 【数1】 5 "has been proposed in, using an edge detection using a separability filter. [0045] The edge detection technique, in obtained. FIG. 7 is not dependent on the luminance difference of less susceptible feature point noise or separation the degree eta, in an amount representing the difference of the internal information (e.g., luminance) in the region 1 and 2 by discriminant analysis, and the separation edge detection using, for processing using the following formula. [0046 ] [number 1] 【数2】 [Number 2] 【数3】 [Number 3] ここで、但し、η は領域1内の画像数、η は領域2内の画像数、σ は領域全体の分散値、P は領域1の平均輝度値、P は領域2の平均輝度値、P Here, however, eta 1 is the number of images in the area 1, eta 2 is the number of images in the region 2, sigma T is the dispersion value of the entire region, P 1 is the average luminance value of the region 1, P 2 is the region 2 average luminance value, P
は領域全体の平均輝度値、P は画像における位置iの輝度値。 m is the entire area of the average luminance value, the luminance value at the position i in P i is the image. 分離度ηは0から1の範囲の値を取る。 The degree of separation η takes a value in the range from 0 to 1. 【0047】この分離度ηを領域1と2の境界線のエッジ強度とする。 [0047] the edge strength of the separability η area 1 and 2 of the boundary line. また、領域1と2を合わせて、分離度フィルタの適用領域とする。 Moreover, the combined area 1 and 2, the application area of ​​separability filter. 【0048】なお、エッジ検出に関しては、様々な手法が提案されており、分離度フィルタによるエッジ検出手法に限定されず、任意のエッジ検出手法を用いることができる。 [0048] Regarding the edge detection is proposed various methods, not limited to the edge detection method using separability filter, it is possible to use any edge detection technique. 【0049】処理領域設定部2で設定した車両追跡開始領域に対して、図8(a)に示すように分離度フィルタを配置して分離度を求め、そのフィルタにおける中央の位置を求めるエッジ強度とした。 [0049] with respect to the vehicle tracking start area set by the processing area setting section 2 calculates the separation degree of separability filter arranged as shown in FIG. 8 (a), edge strength to determine the position of the center of the filter and the. 【0050】分離度フィルタの大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。 The size of the separability filter with respect the width is set such that the width becomes smaller toward the vanishing point. 【0051】水平エッジの場合は、図9のような型の分離度フィルタを消失点に向かって密に配置して、水平エッジを求める。 [0051] In the case of horizontal edge, and densely arranged toward the vanishing point the type of separability filter as shown in FIG. 9 to determine the horizontal edge. さらに、消失点に向かってエッジ強度のピーク検出を行い、ピーク位置をエッジの位置とした。 Furthermore, it performs peak detection of the edge intensity toward the vanishing point, and the peak position as the position of the edge.
例えば、図8(b)のような、横軸が水平エッジ強度、 For example, the horizontal edge intensity such, the horizontal axis as shown in FIG. 8 (b), the
縦軸が位置を表すグラフがある場合、位置方向にある閾値以上のピーク値をもつ場所を検出して、その位置を水平エッジが存在する位置とする。 If the vertical axis is a graph representing the position, by detecting the location having a threshold above the peak value in the position-direction, and the position of the position is a horizontal edge exists. 【0052】垂直エッジの場合は、図10のような型の分離度フィルタを用いて、水平エッジの場合と同様に行う。 [0052] For vertical edges, with the type of separability filter as shown in FIG. 10, performed in the same manner as in the horizontal edge. 【0053】(b−2)車両候補領域設定部32 車両は、縦方向、横方向の線分を多く含むので、エッジ検出部31で検出されたエッジ位置周辺に車両候補領域を設定する。 [0053] (b-2) vehicle candidate area setting unit 32 vehicle longitudinal direction, because it contains a lot of lateral segments, sets the vehicle candidate region around the detected edge positions in the edge detection unit 31. 【0054】図11に示すように、車両追跡開始領域内において、太線の位置にエッジが検出されたとする。 [0054] As shown in FIG. 11, the vehicle tracking start area, the edge is detected in the thick line position. すなわち、水平エッジの場合は、エッジ位置より画像上で上の領域に、垂直エッジの場合は、エッジ位置を横方向の中心とした領域を、車両候補領域と設定する。 That is, in the case of horizontal edge, in the region of the upper on the image from the edge position, if the vertical edge, the regions with horizontal center of the edge position, is set as the vehicle candidate region. 【0055】このときの車両候補領域は、一台の車両に一個とは限らず、複数個設定することが可能である。 [0055] the vehicle candidate region in this case is not limited to one to one vehicle, it is possible to configure several. 【0056】ここで、車両候補領域の大きさは、幅に関しては、消失点に近づくにつれて幅が小さくなるように設定される。 [0056] Here, the size of the vehicle candidate region with respect width is set such that the width becomes smaller toward the vanishing point. 【0057】(c)走行軌跡推定部4 図4に示すように、走行軌跡推定部4は、候補領域追跡部41、走行軌跡計算部42からなる。 [0057] (c) As shown in the travel track estimating unit 4 4, the travel track estimating unit 4, the candidate area tracking unit 41, consisting of traveling locus calculating section 42. 【0058】(c−1)候補領域追跡部41 図5に示すように、候補領域追跡部41は、マッチング部411、割り込み運動追跡部412よりなる。 [0058] (c-1) as shown in the candidate area tracking unit 41 5, the candidate area tracking unit 41, the matching unit 411, composed of the interrupt motion tracking unit 412. 【0059】(c−1−1)マッチング部411 マッチング部411で、フレーム間の画像で車両候補領域に対してテンプレートマッチングを行う。 [0059] In (c-1-1) matching section 411 matching section 411 performs template matching on the vehicle candidate region in the image between frames. テンプレートマッチングは、2つの画像が与えられるとき、両者を重ね合わせてその違いを見れば、両者が同じものか否かを判断することができるというような考えに基づく処理である。 Template matching, when the two images are given, if you look at the difference by superimposing them, a process based on the idea that being able both to determine whether the same thing. 【0060】このとき、2つの画像間における違いを様々な尺度で表すことができる。 [0060] At this time, it is possible to represent the difference between two images at different scales. よく使われる尺度としては、輝度値の残差絶対値和(SAD)や画像間の正規化相関係数(CC)や“Object Search U Well as a measure to be used, Ya residual absolute value sum of luminance values ​​(SAD) or a normalized correlation coefficient between the image (CC) "Object Search U
sing Orientation Code Mat sing Orientation Code Mat
ching,IAPR Workshop on Ma ching, IAPR Workshop on Ma
chine Vision Application chine Vision Application
(MVA2000),NOV. (MVA2000), NOV. 28−30,2000” 28-30,2000 "
で提案されている方向符号法(OCM)などがある。 And the like in the proposed direction code method (OCM). 【0061】なお、マッチングの手法として、この手法に限定されるわけではなく、装置や必要とされる精度に応じて、どのようなマッチング手法を用いてもよい。 [0061] Incidentally, as a technique of matching is not limited to this method, depending on the precision that is device and required, it may be used any matching method. 【0062】このマッチング部411により、車両候補領域がどこに動いたかが、画像上の座標値で出力される。 [0062] The matching unit 411, or moved to where the vehicle candidate region is outputted by the coordinate values ​​on the image. 【0063】(c−1−2)割り込み運動検出部412 割り込み運動検出部412では、割り込み運動を持っている車両候補領域のみを追跡して、それ以外の場合、つまり下記の(i)マッチングが失敗している場合、(i [0063] In (c-1-2) Interrupt movement detecting portion 412 interrupts the motion detection unit 412, and only tracks the vehicle candidate regions that have an interrupt movement, otherwise, that is, (i) matching the following If you are unsuccessful, (i
i)、(iii)所定の割り込み特有の方向を持っていない場合は、追跡を止めて車両候補領域を破棄する。 i), if you do not have a predetermined interrupt specific direction (iii), it discards the vehicle candidate region stop tracking. このように、不要な車両候補領域を破棄するのは、追跡する車両候補領域の数を減らして、計算の負担を軽くするためである。 Thus, to discard unwanted vehicle candidate region is to reduce the number of vehicle candidate regions to be tracked in order to reduce the computational burden. 【0064】まず、他車両が右側から割り込んでくることを想定する。 [0064] First, it is assumed that the other vehicle comes interrupted from the right side. 【0065】(i)マッチングが失敗している場合マッチング部411における車両候補領域の対応付けは、必ずしも正しいとは限らない。 [0065] (i) the association of the vehicle candidate region when the matching unit 411 matching is failed, not necessarily correct. そこで、マッチング部411の処理から求まる、車両候補領域内における残差絶対値和の値を用いて、マッチングの信頼性を評価する。 Therefore, it obtained from the processing of the matching unit 411, using the value of the residual absolute value sum of the vehicle candidate region, to evaluate the reliability of the matching. 【0066】つまり、残差絶対値和の値がある値より小さいときは、そのマッチングは成功している、大きいときは、マッチングが失敗しているとする。 [0066] That is, when less than the value with the value of the residual absolute value sum, the matching is successful, when large, the matching is unsuccessful. 【0067】マッチングが失敗している場合は、追跡を打ち切り、車両候補領域を破棄する。 [0067] If the matching is unsuccessful, abort tracking discards the vehicle candidate region. 【0068】(ii)短いフレーム間において、所定の割り込み特有の方向を持っていない場合マッチング部411における車両候補領域の対応付けが成功しているとき、画像上の車両候補領域の運動方向を求める。 [0068] (ii) between short frames, when the association of the vehicle candidate region when the matching unit 411 does not have the predetermined interrupt specific direction is successful, obtains the movement direction of the vehicle candidate region in the image . 【0069】図12に示すように、画像の垂直の上方向を0度とすると、短いフレーム間(例えば、1フレーム間)の車両候補領域の運動方向θが、次の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。 [0069] As shown in FIG. 12, when the upward direction of the vertical image to 0 °, between short frames (e.g., one frame) motion direction θ of the vehicle candidate region is, when satisfying the following equation, the interrupt and to have a specific direction, the tracking is successful. それ以外のときは、追跡が失敗しているとする。 In a case other than the above, the tracking has failed. 【0070】θ =<θ=<θ 但し、θ は画像における垂直の上方向の角度であり、θ は基準境界線と平行をなす角度である。 [0070] θ 1 = <θ = <θ 2 where, theta 1 is a direction at an angle on the vertical of the image, theta 2 is an angle formed parallel to the reference boundary. 【0071】追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。 [0071] When the tracking has failed, abort tracking discards the vehicle candidate region. 追跡方向を限定することによって、より安定した追跡結果を得ることができる。 By limiting the tracking direction, it is possible to obtain a more stable tracking result. 【0072】このような処理を毎フレームごとに行えば、車両候補領域の移動履歴がわかる。 [0072] By performing such processing for each frame, it is clear the movement history of the vehicle candidate region. 【0073】(iii)長いフレーム間において所定の割り込み特有の方向を持っていない場合短いフレーム間だけではなく、長いフレーム間においても追跡方向を限定する。 [0073 (iii) The not only between when short frames do not have a predetermined interrupt specific direction between the long frames, to limit the tracking direction between the long frame. 【0074】車両候補領域の移動距離が短いと、ピクセル量子化のために、追跡方向の分解能は小さいが、長いフレーム間追跡して移動距離が長くなると分解能が大きくなる。 [0074] When the movement distance of the vehicle candidate region is short, for a pixel quantization, although the resolution of the tracking direction is small, the resolution increases the moving distance to track long inter-frame becomes longer. そこで、ある車両候補領域に対して、ある長さのフレーム間の情報が蓄えられると、追跡を開始した点の座標と現在の位置座標から追跡方向ベクトルを計算して、図13に示すように、画像の垂直の上方向を0度とすると、追跡方向ベクトルの角度θが、下記の式を満たすとき、割り込み特有の方向を持っているとし、追跡が成功しているとする。 Therefore, for a vehicle candidate region, the information between frames of a certain length is stored, by calculating the tracking direction vector from the start the point coordinates and the current coordinates of the tracking, as shown in FIG. 13 when the upward direction of the vertical image to 0 °, the angle θ of the tracking direction vector, when satisfying the following equation, and to have the interrupt specific direction, the tracking is successful. それ以外のときは、追跡が失敗しているとする。 In a case other than the above, the tracking has failed. そして、追跡が失敗しているときは、追跡を打ち切り、車両候補領域を破棄する。 Then, when the tracking is unsuccessful, abort tracking discards the vehicle candidate region. 長いフレーム間の追跡方向を限定することによって、より安定した追跡結果を得ることができる。 By limiting the tracking direction between the long frame, it is possible to obtain a more stable tracking result. 【0075】θ =<θ=<θ 但し、画像における垂直の上方向の角度を0度とすると、θ は基準境界線と平行をなす角度であり、消失点方向に向かっている方である。 [0075] θ 1 = <θ = <θ 2 However, if the direction of the angle on the vertical of the image and 0 °, theta 1 is an angle formed parallel to the reference boundary, who are toward the vanishing point direction it is. θ は、基準境界線と平行をなす角度であり、θ とは逆側である。 theta 2 is the angle parallel to the reference boundary, the theta 1 is opposite side. この角度の範囲は、追跡方向ベクトルの正確さにより変化し、正確である場合は、さらに角度範囲を限定しても良い。 This angle range is changed by the accuracy of the tracking direction vector, if accurate, may be limited further angular range. また、他車両が左側から割り込んでくる場合も同様に処理する。 Also treated as if another vehicle coming interrupts from the left side. 【0076】このように処理することにより、長いフレーム間において所定の割り込み車両特有の運動方向を持つ追跡方向ベクトルが、安定して求まる。 [0076] By processing in this manner, the tracking direction vector having a predetermined interrupt vehicle specific direction of movement between the long frame, obtained stably. また、毎フレームごとに候補領域設定部3から出力される車両候補領域は、増加していくが、追跡が失敗している車両候補領域を破棄することにより増加が抑えられることになり、 The vehicle candidate region outputted from the candidate area setting unit 3 every frame is gradually increased, will be increased by discarding vehicle candidate region tracking is unsuccessful is suppressed,
処理量を小さくすることができる。 It is possible to reduce the processing amount. 【0077】(c−2)走行軌跡計算部42 走行軌跡計算部42は、割り込み運動検出部412により求まる車両候補領域の追跡方向ベクトルの履歴から走行軌跡を計算する。 [0077] (c-2) traveling locus calculating section 42 traveling locus calculating section 42 calculates the traveling locus from the history of the tracking direction vector of the vehicle candidate region obtained by the interrupt movement detecting portion 412. 【0078】具体的には、図14に示すように、1フレーム目の画像上の追跡を開始した位置座標と、Nフレーム目の画像上の車両候補領域の位置座標の2点から走行軌跡を計算する。 [0078] Specifically, as shown in FIG. 14, the position coordinates start tracking the first frame image, the traveling locus from two points of position coordinates of the vehicle candidate region on the N-th frame image calculate. 【0079】また、フレーム間全ての履歴から多くの点を用いて、最小2乗法などにより走行軌跡を計算しても良い。 [0079] Also, using a number of points from all the history between frames may be calculated traveling locus by a least squares method. 【0080】(d)割り込み判定部5 上記したように、走行軌跡計算部42で走行軌跡が計算された車両候補領域は、割り込み車両の確率が高いものが残っている。 [0080 (d) The interruption judging unit 5 as described above, the vehicle candidate region travel locus is calculated by the travel locus calculation unit 42, the probability of interruption vehicle is remains high. そのため、割り込み判定部5では、走行軌跡計算部42で計算された車両候補領域の走行軌跡と基準境界線設定部22で設定された基準境界線を用いて、割り込みであるかどうかをさらに確実に判定する。 Therefore, the interrupt judging section 5, using the reference boundaries set by the traveling trace and the reference boundary setting unit 22 of the vehicle candidate region calculated by the traveling locus calculating section 42, more reliably whether an interrupt judge.
判定条件として2種類を用いる。 Using two types as a determination condition. 【0081】(i) 入力された時系列画像上において車両の走行軌跡が基準境界線に交わっている場合(ii) 入力された時系列画像上において車両の走行軌跡の延長線が基準境界線に対して、所定の角度範囲を持って交わる場合のどちらか一方の条件を用いて割り込み車両を検出できる。 [0081] (i) the input time series when the traveling path of the vehicle on the image intersects the reference boundary line (ii) the extension line reference boundary line of the traveling path of the vehicle on the time-series images that are input to the interrupt vehicle can be detected and used, either one of the conditions when intersecting at a predetermined angle range against. 【0082】まず、他車両が右側から割り込んでくることを想定する。 [0082] First, it is assumed that the other vehicle comes interrupted from the right side. 【0083】(ii)の所定の角度範囲とは、図15に示すように、基準境界線と走行軌跡の延長線のなす角度θが、割り込みであると判定する角度θ と次式の条件を満たしていることである。 [0083] The predetermined angle range of (ii), as shown in FIG. 15, the angle of extension of the reference boundary lines and the traveling locus theta is the determined angle theta C and the following equation is an interrupt condition it is that you meet the. 【0084】θ>=θ このθ は、カメラの設置位置などにより変化するので、適宜に決定する必要がある。 [0084] θ> = θ c Kono theta C, since changes due installation position of the camera, it is necessary to suitably determined. 【0085】また、他車両が左側から割り込んでくる場合も同様に処理する。 [0085] also treated as if another vehicle coming interrupts from the left side. 【0086】(1)の場合は、交わっている状態であるから、車両が基準領域に対して進入を開始するときから割り込みであると判定される。 [0086] For the (1), is determined because it is intersected by that state, and an interrupt from the time when the vehicle starts entering the reference region. 【0087】(ii)の場合は、自車両の危険領域に侵入する前の、早い段階で判定することができる。 [0087] For the (ii), before entering the hazardous area of ​​the vehicle can be determined at an early stage. 【0088】また、割り込みであると判定する角度は、 [0088] In addition, the angle is determined to be an interrupt,
カメラの設置位置などにより変化するので、適宜に決定する必要がある。 Since changes due camera installation position, the need to be suitably determined. この2つの判定条件のどちらかを満たしていれば割り込み車両と判定する。 If they meet one of the two determination conditions is determined that the interrupt vehicle. また、画像上における割り込み車両の位置は、他車両の走行軌跡または延長線と基準境界線との交点である。 The position of the interrupt vehicle on the image is the intersection of the travel locus or extension and the reference boundary of the other vehicle. 【0089】<変更例1>本発明は、前記実施例で記載した内容に限定されるものではない。 [0089] <Modification 1> The present invention is not limited to the contents described in the previous examples. 【0090】例えば、走行レーン検出部21において、 [0090] For example, in the traveling lane detecting section 21,
自車が走行しているレーンの境界線を検出する手法以外の、他の手法を用いても良い。 Other than a method of detecting the boundaries of the lane which the vehicle is traveling, it is also possible to use another technique. 【0091】例えば、自車両の速度、ハンドル舵角から自車両の走行が予測される領域の境界線を求めて、それを走行レーンとみなして用い、同様の処理をしても良い。 [0091] For example, the speed of the vehicle, seeking boundaries of the area running of the vehicle is predicted from the steering wheel angle, using considers it a traveling lane may be the same process. 【0092】<変更例2>割り込み判定部5において、 [0092] In <Modification 2> The interrupt judging section 5,
割り込みであるかどうか判定する条件は、入力された時系列画像上における手法と限られず、他の手法を用いても良い。 What determines the condition or an interrupt is not limited and techniques on time-series images are inputted, it is also possible to use another technique. 【0093】例えば、画像を道路の真上から見た視点の画像である逆投影画像に変換してから、(i) 逆投影画像上において車両の走行軌跡が逆投影画像上に設定した基準境界線に交わっている場合(ii) 逆投影画像上において車両の走行軌跡の延長線が逆投影画像上に設定した基準境界線に対して、所定の角度範囲を持って交わる場合を判定条件としても良い。 [0093] For example, the reference boundary image has been translated to a back projection image of a viewpoint as viewed from directly above the road, the traveling locus of the vehicle on (i) backprojected image is set on the back projection image the reference boundary extension of the traveling path of the vehicle is set on the back projection image in the case (ii) on the reverse projection image intersects the line, even as the determination condition when intersecting at a predetermined angle range good. 【0094】このように、本発明は部分的な要素処理の置き換えなどにより様々な拡張が可能である。 [0094] Thus, the present invention is replacement of partial element processing may have various extended due. 【0095】 【発明の効果】本発明によれば、車両に搭載された画像入力装置により取得される時系列画像から割り込み車両を安定に検出することができ、画像情報に基づく機器制御などの技術の実現に大きく貢献する。 [0095] According to the present invention, from the time series images acquired by the image input device mounted on a vehicle interrupt vehicle can be stably detected, technologies such as device control based on image information contribute significantly to the realization of.

【図面の簡単な説明】 【図1】本発明の一実施形態の構成を示すブロック図である。 It is a block diagram showing a configuration of an embodiment of the BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】図1の処理領域設定部の一実施形態を示すブロック図である。 2 is a block diagram illustrating one embodiment of a processing region setting unit of FIG. 【図3】図1の候補領域設定部の一実施形態を示すブロック図である。 3 is a block diagram illustrating one embodiment of a candidate area setting unit of FIG. 【図4】図1の走行軌跡推定部の一実施形態を示すブロック図である。 Is a block diagram illustrating an embodiment of a traveling locus estimating unit of FIG. 1; 【図5】図4の候補領域追跡部の一実施形態を示すブロック図である。 5 is a block diagram illustrating one embodiment of a candidate area tracking unit of FIG. 【図6】処理領域を設定する手法の説明図である。 6 is an explanatory view of a method of setting the processing region. 【図7】分離度フィルタの説明図である。 7 is an explanatory view of a separability filter. 【図8】分離度フィルタによるエッジ検出を行う手法の説明図である。 8 is an explanatory view of a method of performing edge detection by separability filter. 【図9】エッジ検出におけるフィルタの説明図である。 9 is an explanatory view of a filter in the edge detection. 【図10】エッジ検出におけるフィルタの説明図である。 10 is an explanatory view of a filter in the edge detection. 【図11】候補領域を設定する手法の説明図である。 11 is an explanatory diagram of a method of setting the candidate region. 【図12】追跡方向を限定する手法の説明図である。 12 is an explanatory view of a method of limiting the tracking direction. 【図13】追跡方向を限定する手法の説明図である。 13 is an explanatory view of a method of limiting the tracking direction. 【図14】走行軌跡を計算する手法の説明図である。 FIG. 14 is an explanatory diagram of the method for calculating the traveling locus. 【図15】割り込み判定条件の説明図である。 15 is an explanatory diagram of the interrupt determination condition. 【符号の説明】 1 画像入力部2 処理領域設定部3 候補領域設定部4 走行軌跡推定部5 割り込み判定部21 走行レーン検出部22 基準境界線設定部31 エッジ検出部32 車両候補領域設定部41 候補領域追跡部42 走行軌跡計算部411 マッチング部412 割り込み運動検出部 [Description of Reference Numerals] 1 image input unit 2 processing area setting unit 3 candidate area setting unit 4 traveling locus estimating unit 5 interrupt judging section 21 traveling lane detecting unit 22 reference boundary setting unit 31 an edge detection unit 32 vehicle candidate area setting unit 41 candidate area tracking unit 42 traveling locus calculating section 411 matching unit 412 interrupts movement detecting portion

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA16 AA19 BA02 BA24 DA07 DA15 DB02 DC16 DC19 DC36 5H180 AA01 CC04 CC24 LL01 LL02 LL04 5L096 BA02 BA04 CA04 CA24 DA03 FA06 FA69 HA04 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 5B057 AA16 AA19 BA02 BA24 DA07 DA15 DB02 DC16 DC19 DC36 5H180 AA01 CC04 CC24 LL01 LL02 LL04 5L096 BA02 BA04 CA04 CA24 DA03 FA06 FA69 HA04

Claims (1)

  1. 【特許請求の範囲】 【請求項1】自車両に搭載された画像入力装置により撮影されて取得される時系列画像を取り込む画像取得手段と、 前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像に対して前記危険領域の範囲の基準境界線を設定する基準境界線設定手段と、 他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定手段と、 前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定手段と、 前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領 And [Claims 1 image acquisition means for capturing the time-series images acquired photographed by an image input device mounted on a vehicle, wherein a range traveling the vehicle, and, range the vehicle to come interrupted by another vehicle is dangerous as a risk area, the reference boundary setting means for setting a reference boundary of the range of the critical region with respect to the time-series images, the other vehicle estimated all that is, or, the vehicle candidate region is a part of the region, and the candidate area setting means for setting a vehicle tracking initiation region is a region outside the above with the reference border boundary danger area, the vehicle candidate a travel track estimating means for estimating on the basis of the travel locus of regions in the time-series images, when the traveling trace of the vehicle candidate region the estimated has a predetermined interrupt condition with respect to the reference boundary, the vehicle candidate territory を割り込み車両として判定する割り込み車両判定手段と、 を具備することを特徴とする割り込み車両検出装置。 Interrupt vehicle detecting apparatus characterized by comprising a determining interrupt vehicle judgment means as an interrupt vehicle, the a. 【請求項2】前記割り込み車両判定手段は、 前記車両候補領域の走行軌跡と前記基準境界線が交わるという割り込み条件、または、前記車両候補領域の走行軌跡の延長線が前記基準境界線と所定の角度範囲を持って交わるという割り込み条件の少なくともどちらか一方の割り込み条件が具備されたときに、前記車両候補領域を割り込み車両と判定することを特徴とする請求項1記載の割り込み車両検出装置。 Wherein said interrupt vehicle determining means, the vehicle candidate region interrupt condition that the running locus and the reference boundary lines intersect, or, an extension of the travel locus of the vehicle candidate region is the reference border and predetermined, when at least one of the interrupt condition interrupt condition that intersect at an angle range is provided, the interrupt vehicle detecting apparatus according to claim 1, wherein determining the vehicle candidate region and interrupt the vehicle. 【請求項3】前記候補領域設定手段は、 前記車両追跡開始領域にエッジ検出フィルタを配置することにより特定方向のエッジ強度分布を求め、その求めたエッジ強度分布のピーク位置を前記特定方向のエッジ位置とするものであり、かつ、前記エッジ検出フィルタを前記車両追跡開始領域に配置するときに、画像上の無限遠点である消失点からの距離が大きい程に前記エッジ検出フィルタの適用領域を大きくするエッジ検出手段と、 前記エッジ位置に前記車両候補領域を設定すると共に、 Wherein the candidate area setting means, the vehicle obtains the edge intensity distribution in a specific direction by arranging the track initiation region an edge detection filter, the calculated edge intensity distribution the specific direction of the edge peak position of is intended to position and said edge detection filter when disposed on the vehicle tracking initiation region, the application area of ​​the edge detection filter to the extent that a greater distance from the vanishing point is at infinity point on the image an edge detecting means for increasing, and sets the vehicle candidate region in the edge position,
    その車両候補領域の大きさを前記消失点からの距離や前記基準境界線間の距離に応じた大きさに設定する車両候補領域設定手段と、 を具備することを特徴とする請求項1または2記載の割り込み車両検出装置。 Claim 1 or 2, characterized by comprising a vehicle candidate area setting means for setting the size of the vehicle candidate region on the distance magnitude corresponding to of the inter-distance and the reference boundary lines from the vanishing point, the interrupt vehicle detecting apparatus according. 【請求項4】前記走行軌跡追跡手段は、 前記基準境界線に対して所定の割り込み特有の運動方向を持つ車両候補領域に限定して走行軌跡を推定することを特徴とする請求項1から3のうちいずれか一項に記載の割り込み車両検出装置。 Wherein said travel locus tracking means from claim 1, wherein the estimating the travel locus is limited to a vehicle candidate area having a predetermined interrupt specific motion direction with respect to the reference border 3 interrupt vehicle detecting apparatus according to any one of the. 【請求項5】自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる割り込み車両を検出する割り込み車両検出方法において、 前記自車両に搭載された画像入力装置により単眼で撮影されて取得される時系列画像を取り込む画像取得ステップと、 前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像上において前記危険領域の範囲を示す基準境界線を設定する基準境界線設定ステップと、 他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補領域設定ステップと、 前記車両候補 5. A region where the vehicle is traveling, the region the vehicle is stopped or, the interrupt vehicle detecting method running of the host vehicle to detect the interrupt vehicle invading the area expected in the image acquisition step of capturing time-series images acquired loaded with monocular by mounting image input device on the vehicle, wherein a range for vehicle traveling, and come interrupted by another vehicle and the range the vehicle is dangerous as a risk area, the reference boundary line setting step of setting a reference boundary line indicating the range of the critical region on the time-series images, all that is estimated to another vehicle, or, the vehicle candidate region is a part of the region, a candidate area setting step of setting the vehicle tracking initiation region is a region outside the said danger area by the reference border boundary, the vehicle candidate 領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定ステップと、 前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定ステップと、 を具備することを特徴とする割り込み車両検出方法。 A travel track estimating step of estimating on the basis of the travel locus of regions in the time-series images, when the traveling trace of the vehicle candidate region the estimated has a predetermined interrupt condition with respect to the reference boundary, the vehicle candidate region interrupt vehicle detecting method characterized by comprising the interrupt vehicle judgment step of judging as an interrupt vehicle, the. 【請求項6】自車両が走行している領域、前記自車両が停止している領域、または、前記自車両の走行が予測される領域に侵入してくる割り込み車両を検出する割り込み車両検出方法をコンピュータによって実現するプログラムにおいて、 前記自車両に搭載された画像入力装置により単眼で撮影されて取得される時系列画像を取り込む画像取得機能と、 前記自車両の走行する範囲であって、かつ、他車両が割り込んでくると前記自車両が危険である範囲を危険領域として、前記時系列画像上において前記危険領域の範囲を示す基準境界線を設定する基準境界線設定機能と、 他車両と推定される全部、または、一部の領域である車両候補領域を、前記基準境界線を境界にして前記危険領域の外側の領域である車両追跡開始領域に設定する候補 6. The area where the vehicle is traveling, the region the vehicle is stopped or, the interrupt vehicle detecting method running of the host vehicle to detect the interrupt vehicle invading the area expected the a program for implementing by a computer, the image acquisition function of taking the time-series images acquired loaded with monocular by mounting image input device on the vehicle, wherein a range traveling the vehicle, and, range the vehicle to come interrupted by another vehicle is dangerous as a risk area, the reference boundary line setting function for setting a reference boundary line indicating the range of the critical region on the time-series images, the other vehicle estimated all that is, or candidate sets of the vehicle candidate region is a part of the region, and the reference border boundaries vehicle tracking initiation region which is outside the area of ​​the risk area 域設定機能と、 前記車両候補領域の走行軌跡を前記時系列画像に基づいて推定する走行軌跡推定機能と、 前記推定した車両候補領域の走行軌跡が前記基準境界線に対して所定の割り込み条件を持つとき、前記車両候補領域を割り込み車両として判定する割り込み車両判定機能と、 を実現することを特徴とする割り込み車両検出方法のプログラム。 A frequency setting function, a travel track estimating functions estimated to based traveling locus of the vehicle candidate region in the time-series images, a predetermined interrupt condition running locus of the vehicle candidate regions the estimated relative to the reference boundary line with time, the program interrupt vehicle detecting method characterized by realizing, an interrupt vehicle determination function determines the vehicle candidate region as an interrupt vehicle.
JP2002084599A 2002-03-25 2002-03-25 Interrupt vehicle detecting apparatus and method Expired - Fee Related JP3656056B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002084599A JP3656056B2 (en) 2002-03-25 2002-03-25 Interrupt vehicle detecting apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002084599A JP3656056B2 (en) 2002-03-25 2002-03-25 Interrupt vehicle detecting apparatus and method

Publications (2)

Publication Number Publication Date
JP2003281700A true true JP2003281700A (en) 2003-10-03
JP3656056B2 JP3656056B2 (en) 2005-06-02

Family

ID=29231859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002084599A Expired - Fee Related JP3656056B2 (en) 2002-03-25 2002-03-25 Interrupt vehicle detecting apparatus and method

Country Status (1)

Country Link
JP (1) JP3656056B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117073A (en) * 2006-11-01 2008-05-22 Fuji Heavy Ind Ltd Interruption vehicle detection device
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
CN104350510A (en) * 2012-06-14 2015-02-11 国际商业机器公司 Multi-cue object detection and analysis
JP2015046132A (en) * 2013-08-29 2015-03-12 株式会社デンソー Collision possibility determination apparatus and program
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
JP2015225546A (en) * 2014-05-28 2015-12-14 本田技研工業株式会社 Object detection device, drive support apparatus, object detection method, and object detection program
KR101593484B1 (en) * 2014-07-10 2016-02-15 경북대학교 산학협력단 Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and system for assisting vehicle driving employing the same
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
JP2008117073A (en) * 2006-11-01 2008-05-22 Fuji Heavy Ind Ltd Interruption vehicle detection device
CN104350510A (en) * 2012-06-14 2015-02-11 国际商业机器公司 Multi-cue object detection and analysis
JP2016027490A (en) * 2012-06-14 2016-02-18 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Method, system, product and computer program for multi-cue object detection and analysis (multi-cue object detection and analysis)
JP2015046132A (en) * 2013-08-29 2015-03-12 株式会社デンソー Collision possibility determination apparatus and program
JP2015225546A (en) * 2014-05-28 2015-12-14 本田技研工業株式会社 Object detection device, drive support apparatus, object detection method, and object detection program
US9569685B2 (en) 2014-07-10 2017-02-14 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same
KR101593484B1 (en) * 2014-07-10 2016-02-15 경북대학교 산학협력단 Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and system for assisting vehicle driving employing the same

Also Published As

Publication number Publication date Type
JP3656056B2 (en) 2005-06-02 grant

Similar Documents

Publication Publication Date Title
US6879706B2 (en) Apparatus and method for detecting traffic lane mark for automotive vehicle
US20050276450A1 (en) Vehicle surroundings monitoring apparatus
US6670912B2 (en) Method for detecting stationary object located above road
US20070165910A1 (en) Vehicle surroundings monitoring apparatus, method, and program
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
US20120140076A1 (en) Forward collision warning trap and pedestrian advanced warning system
Jung et al. A lane departure warning system using lateral offset with uncalibrated camera
JP2003228711A (en) Lane mark recognition method
JP2001092970A (en) Lane recognizing device
US20070291987A1 (en) Vehicle surroundings monitoring apparatus
JPH08320997A (en) Vehicle travel lane recognition device, and obstacle detector and road deviation reporting device
US20040057599A1 (en) Image processing apparatus and method
JP2000329852A (en) Obstacle recognition device
JP2000207693A (en) Obstacle detector on vehicle
US20090192686A1 (en) Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle
JP2003084064A (en) Device and method for recognizing vehicle in front side
CN101135558A (en) Vehicle anti-collision early warning method and apparatus based on machine vision
JPH09264954A (en) Image processing system using radar
US7889116B2 (en) Object detecting apparatus
JP2003076987A (en) Preceding vehicle recognizing device
JP2009014445A (en) Range finder
US7899211B2 (en) Object detecting system and object detecting method
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JPH06107096A (en) Forward monitoring method for vehicle
JPH08138036A (en) Preceding vehicle recognition device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees