JPH06314340A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring deviceInfo
- Publication number
- JPH06314340A JPH06314340A JP5104187A JP10418793A JPH06314340A JP H06314340 A JPH06314340 A JP H06314340A JP 5104187 A JP5104187 A JP 5104187A JP 10418793 A JP10418793 A JP 10418793A JP H06314340 A JPH06314340 A JP H06314340A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- optical flow
- flow
- image
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 170
- 238000012544 monitoring process Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 18
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 230000005019 pattern of movement Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000008602 contraction Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、自動車に搭載し車両
周辺の状況を監視する装置に関し、特にイメージセンサ
等の光学系により撮像された画像を用いて、周辺の車両
状況を監視する車両周辺監視装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device mounted on an automobile for monitoring the condition of the surroundings of the vehicle, and more particularly to a device for monitoring the condition of the surrounding vehicle using an image picked up by an optical system such as an image sensor. The present invention relates to a monitoring device.
【０００２】[0002]
【従来の技術】オプティカルフロー（動きベクトル）法
を周辺の車両の相対位置・相対速度検出に利用したもの
に特開平２−２４１８５５号公報に開示されているよう
な先行車識別装置がある。オプティカルフローとは、画
像の空間方向の濃度勾配と、時間方向の濃度勾配を用い
て計算される画像上の動きの速度成分である。このオプ
ティカルフローを求める方法の１つとして一般的にグロ
ーバル法と呼ばれる方法「ビー．ケー．ピー．ホーンと
ビー．ジー．シュンク著の『オプチカルフローの決定』
第１７巻１ー３号（１９８１）（B.K.P.Horn & B.G.Sch
unck,“Determining optical flow",Artificial Intell
igence.Vol.17.No.1-3(1981)第２０５頁〜第２１０頁参
照）」がある。以下にその方法を説明する。2. Description of the Related Art There is a preceding vehicle identifying apparatus as disclosed in Japanese Patent Laid-Open No. 2-241855, which uses an optical flow (motion vector) method for detecting relative positions and relative speeds of surrounding vehicles. The optical flow is a velocity component of a motion on an image calculated using a density gradient in the spatial direction of the image and a density gradient in the time direction. As one of the methods for obtaining this optical flow, a method generally called a global method "B.K.P.Horn and B.G.Shunk's" Optical Flow Determination ""
Volume 17 Numbers 1-3 (1981) (BKPHorn & BGSch
unck, “Determining optical flow”, Artificial Intell
igence. Vol.17. No.1-3 (1981), pages 205 to 210) ". The method will be described below.
【０００３】ある時刻ｔにおける画像中のある座標
（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表したとき、物
体の濃度は時間的に不変であると仮定すれば、下に示す
近似式(1)が成立する。When the density of a coordinate (x, y) in an image at a certain time t is represented by E (x, y, t), the density of an object is assumed to be temporally invariant. The approximate expression (1) shown below is established.
【０００４】 Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０ (1) Ｅｘ，Ｅｙ：空間方向（ｘ方向，ｙ方向）の濃度勾配 Ｅｔ ：時間方向（ｔ方向）の濃度勾配 ｕ，ｖ ：ｘ方向，ｙ方向の濃度成分Ex · u + Ey · v + Et = 0 (1) Ex, Ey: concentration gradient in the spatial direction (x direction, y direction) Et: concentration gradient in the time direction (t direction) u, v: in the x direction, y direction Concentration component
【０００５】式(1)に、局所的な速度は滑らかに変化す
るという仮定を加え、下式（２）の誤差関数を最小にす
るｕ，ｖが求めるオプティカルフローの速度成分である
とするものである。The assumption that the local velocity smoothly changes is added to the equation (1), and u and v that minimize the error function of the following equation (2) are the velocity components of the optical flow to be obtained. Is.
【０００６】 ∫∫（ｅｂ2＋ｅｃ2）ｄｘｄｙ (2) ここで、 ｅｄ ＝Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ ｅｃ2 ＝(∂ｕ／∂ｘ)2＋(∂ｕ／∂ｙ)2＋(∂ｖ／∂ｘ)2＋(∂ｖ／∂ｙ)2 ｕ(n+1)＝ｕ(n)−Ｅｘ（Ｅｘ＊ｕ(n)＋Ｅｙ＊ｖ(n)＋Ｅｔ）／ （Ｅｘ2＋Ｅｙ2＋α2） (3) ｖ(n+1)＝ｖ(n)−Ｅｙ（Ｅｘ＊ｕ(n)＋Ｅｙ＊ｖ(n)＋Ｅｔ）／ （Ｅｘ2＋Ｅｙ2＋α2） (4) （ｕ，ｖ：ベクトルｕ，ｖの８近傍の加重平均、ｕ：繰
り返し回数、α：誤差の重み係数）∫∫ (eb 2 + ec 2 ) dxdy (2) where ed = Ex · u + Ey · v + Et ec 2 = (∂u / ∂x) 2 + (∂u / ∂y) 2 + (∂v / ∂x) 2 + (∂v / ∂y) 2 u (n + 1) = u (n) -Ex (Ex * u (n) + Ey * v (n) + Et) / (Ex 2 + Ey 2 + α 2 ). (3) v (n + 1 ) = v (n) -Ey (Ex * u (n) + Ey * v (n) + Et) / (Ex 2 + Ey 2 + α 2) (4) (u, v: vector u , V, a weighted average of 8 neighborhoods, u: number of iterations, α: error weighting factor)
【０００７】図８，９はこのオプティカルフロー法を示
す説明図である。図８は連続画像５０，５１及びこの２
枚の連続画像５０，５１における物体の位置関係とオプ
ティカルフローの関係を表した２次元画像５２を示した
ものである。今図８に示したように画像５０における物
体５４が画像５１上で５５で示す位置に移動したと考え
る。図９（ａ），（ｂ）は図８における連続画像５０，
５１のIX−IX線における画像の濃度を１次元信号で表し
たものであり、６０，６５は画像５０における濃度レベ
ルを示す信号、６１，６６は画像５１における濃度レベ
ルを示す信号、実線矢印６２はオプティカルフロー、点
線矢印６３は空間的な濃度勾配、一点鎖線矢印６４は時
間的な濃度勾配を示す。このオプティカルフローの向き
は図９（ｂ）に示すように背景と物体の濃度差が逆にな
っている画像の信号６５、６６の様な場合でも変わらな
い。この性質は図８の２次元画像５２において５３のよ
うなオプティカルフローとして得られる。図８に示すよ
うに、このような連続画像５０，５１から得られるオプ
ティカルフローは背景との濃度差がある部分（物体のエ
ッジ部分）において、空間的な濃度勾配６３と時間的な
濃度勾配６４のベクトル和６２，６３であるとして与え
られる。8 and 9 are explanatory views showing this optical flow method. FIG. 8 shows continuous images 50 and 51 and the two.
2 shows a two-dimensional image 52 showing the relationship between the positional relationship between objects and the optical flow in the continuous images 50 and 51. It is now considered that the object 54 in the image 50 has moved to the position indicated by 55 on the image 51 as shown in FIG. 9A and 9B show the continuous images 50 in FIG.
The density of the image on the IX-IX line of 51 is represented by a one-dimensional signal, 60 and 65 are signals indicating the density level in the image 50, 61 and 66 are signals indicating the density level in the image 51, and a solid arrow 62. Indicates an optical flow, a dotted arrow 63 indicates a spatial concentration gradient, and a chain line arrow 64 indicates a temporal concentration gradient. The direction of this optical flow does not change even in the case of signals 65 and 66 of an image in which the density difference between the background and the object is reversed as shown in FIG. 9B. This property is obtained as an optical flow such as 53 in the two-dimensional image 52 of FIG. As shown in FIG. 8, the optical flow obtained from such continuous images 50 and 51 has a spatial density gradient 63 and a temporal density gradient 64 at a portion (edge portion of the object) having a density difference from the background. Given as being the vector sum of 62,63.
【０００８】又、交通渋滞時等における車両の停車の際
に周辺車両の相対位置の変化を検出し、相対位置変化時
にこれを運転者に報知する装置として、特開平４−４０
５９９号公報に開示されているような周辺車両と自車両
の相対位置監視装置がある。これは画像上に所定の領域
（ウィンドウ）を設定し、自車両停止時における上記の
ウィンドウ内の周辺車両画像を記憶し、該記憶画像とそ
の後に撮像されたウィンドウ内の画像との差異を検出す
る事により、自車両の駐停車中における周辺車両との相
対位置変化を検出するものである。Further, as a device for detecting a change in the relative position of surrounding vehicles when the vehicle is stopped due to traffic congestion or the like, and notifying the driver of the change in the relative position, Japanese Patent Laid-Open No. 4-40 / 1992
There is a relative position monitoring device for the surrounding vehicle and the own vehicle as disclosed in Japanese Patent No. 599. This is to set a predetermined area (window) on the image, store the surrounding vehicle image in the above window when the vehicle is stopped, and detect the difference between the stored image and the image in the window captured after that. By doing so, it is possible to detect a change in relative position with respect to a surrounding vehicle while the vehicle is parked or stopped.
【０００９】[0009]
【発明が解決しようとする課題】オプティカルフロー法
は１画素単位の画像の動きを求めるものである為、実画
像のような複雑背景、ノイズの多い画像ではその影響を
強く受けてしまい、そのままでは背景やノイズから対象
の動きを切り出す事が困難である。またある程度の面積
のある物体の移動を塊として検出するためには式(3)，
(4)における繰り返し演算回数を多くする必要があり、
処理時間が長くなるという問題がある。更に、走行中の
道路の凹凸によるバウンドで、画像に揺れが生じた場合
オプティカルフローはこれにも敏感に反応するため、こ
うしたバウンドによるノイズを除去し求める先行車のフ
ローを特定する事が難しくなる。Since the optical flow method seeks the movement of an image on a pixel-by-pixel basis, it is strongly affected by a complicated background such as a real image or an image with a lot of noise. It is difficult to separate the movement of the object from the background and noise. In order to detect the movement of an object with a certain area as a lump, Equation (3),
It is necessary to increase the number of repeated operations in (4),
There is a problem that the processing time becomes long. In addition, when the image is shaken due to bounces due to uneven roads, the optical flow is sensitive to this as well, so it is difficult to remove the noise due to such bounces and specify the flow of the preceding vehicle to seek. .
【００１０】また、従来の自車両駐停車時における周辺
車両との相対位置検出装置では、駐停車時におけるウィ
ンドウ内の周辺車両画像とその後のウィンドウ内の画像
との差分の変化により周辺車の相対位置変化を検出する
ものであるが、この方法では、画像の動きの有無は検出
できるが画像の動きの方向は検出する事が出来ない。従
ってもし駐停車している自車両内の人間が動くなどして
自車両自身が揺れた場合、自車両に取り付けたイメージ
センサで撮像された画像内の周辺車両像も動くため、記
憶されたウィンドウ内の周辺車両画像とこの時のウィン
ドウ内の画像との差異は大きくなり、周辺車両が全く動
かなくても周辺車両が動いて相対位置が変化したものと
誤判断されることがある。Further, in the conventional relative position detecting device for the surrounding vehicle when the vehicle is parked or stopped, the relative position of the surrounding vehicle is detected by the change in the difference between the image of the surrounding vehicle in the window and the image in the subsequent window when the vehicle is parked or stopped. This method detects a position change, but this method can detect the presence or absence of image movement, but cannot detect the direction of image movement. Therefore, if a person inside the parked vehicle moves, and the vehicle itself shakes, the surrounding vehicle image in the image captured by the image sensor attached to the vehicle also moves, so the stored window The difference between the image of the surrounding vehicle inside and the image in the window at this time becomes large, and even if the surrounding vehicle does not move at all, the surrounding vehicle may move and the relative position may be erroneously determined.
【００１１】この発明は上記のような問題点を解消する
ためになされたものでオプティカルフロー演算手段によ
りオプティカルフローを演算する領域を限定する事によ
り、背景になると思われる部分を最初から除外してオプ
ティカルフローのノイズを減らすと共に演算時間を短縮
する事が出来る車両周辺監視装置を得る事を目的とす
る。又、フローパターン抽出手段において検出したい周
辺車が出現すると思われる位置にフロー監視領域を設定
し、このフロー監視領域内で、特定の動きを持つ先行車
（周辺接近車・周辺割込車）の方向と同様の方向パター
ンに注目し、そのパターンを抽出する事により、背景等
から検出したい移動体、特に周辺接近車・割り込み車等
を分離し、これらの車両のみを検出する事が容易に行え
る車両周辺監視装置を得る事を目的とする。そして道路
の凹凸によるパウンドから起こる画像の揺れや複雑背景
等から生じる強度の大きいノイズを除去し、周辺車（周
辺接近車・周辺割込車）の検出を正確に行う事の出来る
車両周辺監視装置を得る事を目的とする。The present invention has been made in order to solve the above-mentioned problems, and by limiting the area where the optical flow is calculated by the optical flow calculating means, the part which seems to be the background is excluded from the beginning. An object of the present invention is to obtain a vehicle periphery monitoring device that can reduce the noise of the optical flow and the calculation time. Further, a flow monitoring area is set at a position where a peripheral vehicle to be detected by the flow pattern extracting means appears, and a preceding vehicle (a peripheral approaching vehicle or a peripheral interrupt vehicle) having a specific movement is set in this flow monitoring area. By paying attention to the same direction pattern as the direction and extracting that pattern, it is easy to separate the moving objects you want to detect from the background, especially the approaching vehicles and interrupting vehicles, and to detect only these vehicles. The purpose is to obtain a vehicle surroundings monitoring device. A vehicle periphery monitoring device that can accurately detect surrounding vehicles (vehicles approaching in the vicinity or vehicles interrupting the surrounding area) by removing high-noise from image shakes caused by pounding due to road irregularities and complex backgrounds. The purpose is to obtain.
【００１２】更に自車両が駐停車している際において、
上記で説明したようなオプティカルフロー演算手段によ
り画像上の見かけの動きの速度分布を示す大きさと方向
を有するオプティカルフローを求め、画像上の所定の位
置に１つ以上の前車発進のオプティカルフロー監視領域
を設定し、その領域内で上記のフローの方向検出手段に
より検出されたオプティカルフローをもとに、前車発進
の画像上での動きの方向パターンと同じパターンを持つ
オプティカルフローを抽出する前車発進フローパターン
抽出手段により前車発進のオプティカルフロー候補を抽
出し、上記フローパターン抽出手段により抽出されたオ
プティカルフローから前車発進検出手段により前車発進
を検出する事により、自車両の揺れなどによる周辺車両
画像の動きと発進による周辺画像の動きを区別し、前車
発進即ち周辺車両の相対位置変化を正確に検出できる車
両周辺監視装置を得る事を目的とする。Furthermore, when the vehicle is parked or stopped,
An optical flow having a magnitude and a direction indicating the apparent velocity distribution of the motion on the image is obtained by the optical flow calculation means as described above, and one or more front vehicle start optical flow monitoring is performed at a predetermined position on the image. Before extracting an optical flow that has the same pattern as the direction pattern of movement on the image of the vehicle starting from the front vehicle, based on the optical flow detected by the flow direction detection means in the area set above The vehicle start flow pattern extraction means extracts an optical flow candidate for the front vehicle start, and the front vehicle start detection means detects the front vehicle start from the optical flow extracted by the flow pattern extraction means, thereby causing the vehicle to sway, etc. By distinguishing the movement of the surrounding image by the vehicle and the movement of the surrounding image by the start, For the purpose of obtaining a vehicle periphery monitoring device capable of accurately detecting a relative positional change.
【００１３】[0013]
【課題を解決するための手段】この発明の請求項１に係
る車両周辺監視装置は、車両の周辺を撮像する撮像手段
と、この撮像手段により撮像された撮像画面内に所定の
位置に１つ以上の演算領域を設定し、その領域内で時系
列的に異なる２枚の画像からこの画像上での速度分布を
示す大きさと方向を有するオプティカルフローを求める
オプティカルフロー演算手段と、上記演算領域内でオプ
ティカルフロー演算手段により得られたオプティカルフ
ローのうち、上記の演算領域で設定した一定値以上の大
きさを持つオプティカルフローの方向を出力するフロー
の方向検出手段と、上記演算領域内の所定の位置に更に
１つ以上のフロー監視領域を設定し、この監視領域内で
上記オプティカルフローの方向検出手段により得られた
各々のオプティカルフローの方向を監視し、周辺接近車
・周辺割り込み車が存在する場合に仮定される画像上で
の動きの方向と同様の方向を持つオプティカルフローを
抽出するフローパターン抽出手段と、上記フロー監視領
域内でフローパターン抽出手段により抽出されたオプテ
ィカルフローから周辺接近車・周辺割り込み車の存在を
検出する手段とを備えたものである。According to a first aspect of the present invention, there is provided a vehicle periphery monitoring device, an image pickup means for picking up an image of the periphery of a vehicle, and one device at a predetermined position in an image pickup screen imaged by the image pickup means. An optical flow calculating means for setting the above-mentioned calculation area and obtaining an optical flow having a size and a direction showing a velocity distribution on this image from two images which are different in time series in the area, and an inside of the calculation area In the optical flow obtained by the optical flow calculation means in, the flow direction detection means for outputting the direction of the optical flow having a size equal to or larger than a certain value set in the calculation area, and a predetermined direction in the calculation area. Further, one or more flow monitoring areas are set at the positions, and the respective optical controllers obtained by the optical flow direction detecting means in the monitoring area are set. Flow pattern extraction means for monitoring the flow direction and extracting an optical flow having a direction similar to the direction of movement on the image assumed when a vehicle approaching in the vicinity or a vehicle interrupting the vicinity exists, and the flow monitoring area. And a means for detecting the presence of a vehicle approaching in the vicinity and a vehicle interrupting in the vicinity from the optical flow extracted by the flow pattern extracting means.
【００１４】また、この発明の請求項２に係る車両周辺
監視装置は、車両の周辺を撮像する撮像手段と、この撮
像手段により撮像された撮像画面内に所定の位置に１つ
以上の演算領域を設定し、その領域内で時系列的に異な
る２枚の画像からこの画像上での速度分布を示す大きさ
と方向を有するオプティカルフローを求めるオプティカ
ルフロー演算手段と、上記演算領域内でオプティカルフ
ロー演算手段により得られたオプティカルフローのう
ち、上記の演算領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力するフローの方向検
出手段と、上記演算領域内の所定の位置に１つ以上の前
車発進のオプティカルフロー監視領域を設定する手段
と、上記前車発進フロー監視領域内で、上記フローの方
向検出手段により検出されたオプティカルフローから前
車発進車の画像上での動きの方向パターンと同じパター
ンを持つオプティカルフロー領域を抽出する前車発進フ
ローパターン抽出手段と、上記フローパターン抽出手段
により抽出されたオプティカルフローから前車発進を検
出する手段とを備えたものである。According to a second aspect of the present invention, there is provided a vehicle periphery monitoring device, and an image pickup means for picking up an image of the periphery of a vehicle, and one or more calculation areas at predetermined positions within an image pickup screen imaged by the image pickup means. And an optical flow calculating means for obtaining an optical flow having a size and a direction indicating a velocity distribution on this image from two images that are different in time series within the region, and an optical flow calculation in the calculation region. Of the optical flows obtained by the means, a flow direction detecting means for outputting a direction of the optical flow having a size equal to or larger than a certain value set in the above-mentioned calculation area, and one at a predetermined position in the above-mentioned calculation area. The above-mentioned means for setting the optical flow monitoring area for starting the front vehicle, and the detection means for detecting the flow direction within the front-vehicle starting flow monitoring area From the optical flow extracted by the front vehicle start flow pattern extraction means and the optical flow extraction means for extracting the optical flow region having the same pattern as the direction pattern of the movement on the image of the front vehicle start vehicle from the optical flow And means for detecting the start of the preceding vehicle.
【００１５】[0015]
【作用】この発明の請求項１に係る車両周辺監視装置に
おいては、オプティカルフロー演算手段ではオプティカ
ルフローを演算する領域を限定することにより、背景に
なると思われる部分を最初から除外してオプティカルフ
ローのノイズを減らすと共に処理時間を短縮する。フロ
ーパターン抽出手段では、検出したい周辺車（接近車・
割り込み車）が出現すると思われる位置に１つ以上のフ
ロー監視領域を設定し、該フロー監視領域内でフローの
方向検出手段により検出されたオプティカルフローから
周辺接近車・割り込み車の画像上での動きの方向と同様
の方向パターンを持つオプティカルフローを抽出する事
により背景から検出したい移動体を分離し、道路の凹凸
によるバウンドから起こる画像の揺れや複雑背景から生
じる強度の大きいノイズを除去し、接近車・割り込み車
の検出を正確に行う。In the vehicle periphery monitoring device according to the first aspect of the present invention, the optical flow calculating means limits the area for calculating the optical flow, thereby excluding a portion which is considered to be the background from the beginning, and Reduces noise and processing time. In the flow pattern extraction means, the surrounding vehicles (approaching vehicles,
At least one flow monitoring area is set at a position where an interrupting vehicle is expected to appear, and an optical flow detected by the flow direction detecting means in the flow monitoring area is used to detect an oncoming vehicle or an interrupting vehicle on the image. By extracting an optical flow that has the same direction pattern as the direction of motion, we separate the moving object that we want to detect from the background, remove the shaking of the image caused by the bounce due to the unevenness of the road and the high intensity noise generated from the complicated background, Accurately detect approaching vehicles and interrupting vehicles.
【００１６】また、この発明の請求項２に係る車両周辺
監視装置においては、自車両が駐停車している際におい
て、前車発進フローパターン抽出手段では、前車及びそ
の周辺の所定の位置に１つ以上前車発進のフロー監視領
域を設定し、このフロー監視領域内において、上記オプ
ティカルフロー演算手段、フローの方向検出手段により
検出されたオプティカルフローから前車発進の画像上で
の動きの方向パターンと同じパターンをもつオプティカ
ルフローを抽出し、自車両の揺れなどにより周辺車両画
像の動きと発進による周辺画像の動きを区別し、前車発
進による画像の動きを正確に検出する。Further, in the vehicle periphery monitoring device according to the second aspect of the present invention, when the own vehicle is parked or stopped, the front vehicle start flow pattern extraction means sets the front vehicle and a predetermined position around the front vehicle. One or more front vehicle start flow monitoring areas are set, and within this flow monitoring area, the direction of movement on the image of the front vehicle starting from the optical flow detected by the optical flow computing means and flow direction detecting means. An optical flow having the same pattern as the pattern is extracted, and the movement of the surrounding vehicle image and the movement of the surrounding image due to the start are distinguished by the shake of the own vehicle, and the movement of the image due to the start of the front vehicle is accurately detected.
【００１７】[0017]
実施例１．以下、この発明の一実施例を車両前方監視装
置に例とり図について説明する。図１はこの発明の実施
例１による車両前方監視装置の処理ブロック図である。
１，２は図示しない撮像手段である例えばイメージセン
サから入力された時間的に異なる２枚の入力画像、３は
画像内の所定の位置に１つ以上の領域を設定し、その領
域内で画像１，２から速度分布を示す大きさと方向を有
するオプティカルフローを計算するオプティカルフロー
演算手段、４はオプティカルフロー演算手段により得ら
れたオプティカルフローのうち、それぞれの演算領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するフローの方向検出手段、５は自車両が
停止した状態かどうかを判断する自車両停止状態判断手
段、６は自車両が走行中と判断されたときに上記の演算
領域内の所定の位置に更に１つ以上のフロー監視領域を
設定し、このフロー監視領域内で、上記オプティカルフ
ローの方向検出手段４により得られた各々のオプティカ
ルフローの方向を監視し、接近車及び割込車が存在する
場合に仮定される画像上での動きの方向パターンと同様
の方向パターンを持つオプティカルフローを抽出するフ
ローパターン抽出手段、７は上記フローパターン抽出手
段により得られたオプティカルフローから前方接近車・
割り込み車を検出する前方接近車・割り込み車検出手
段、８は上記自車両停止状態判断手段５により自車両が
停止していると判断されたときに、上記の演算領域内の
前方車及びその周辺の所定の位置に前車発進のフロー監
視領域を設定し、該領域で上記オプティカルフローの方
向検出手段４により得られたオプティカルフローの方向
を監視し、前車発進の画像上での動きの方向パターンと
同様のパターンを持つオプティカルフローを抽出する前
車発進フローパターン抽出手段、９は上記前車発進フロ
ーパターン抽出手段８によって抽出されたオプティカル
フローから前車発進を検出する手段である。Example 1. An embodiment of the present invention will be described below with reference to a vehicle front monitoring device. 1 is a processing block diagram of a vehicle front monitoring apparatus according to a first embodiment of the present invention.
Reference numerals 1 and 2 denote two input images that are temporally different from each other and are input from an image sensor (not shown) such as an image sensor. Reference numeral 3 sets one or more regions at predetermined positions in the image, and the images in the regions are set. Optical flow calculating means for calculating an optical flow having a size and direction showing a velocity distribution from 1 and 2, and 4 is a size of a certain value or more set in each calculation area among the optical flows obtained by the optical flow calculating means. Flow direction detecting means for outputting the direction of the optical flow having a certain degree, 5 means own vehicle stop state judging means for judging whether the own vehicle is in a stopped state, and 6 means when the own vehicle is judged to be traveling. Further, one or more flow monitoring areas are set at a predetermined position in the calculation area of, and the direction of the optical flow direction is detected in the flow monitoring area. A flow for monitoring the direction of each optical flow obtained in 4 and extracting an optical flow having a directional pattern similar to the directional pattern of movement on the image assumed when an approaching vehicle and an interrupting vehicle exist. The pattern extracting means, 7 is a vehicle approaching forward from the optical flow obtained by the flow pattern extracting means.
Forward approaching vehicle / interrupting vehicle detection means 8 for detecting an interrupting vehicle, and 8 when the own vehicle is in a stopped state by the own vehicle stop state determining means 5, the preceding vehicle in the above calculation area and its surroundings. A flow monitoring area for starting the front vehicle is set at a predetermined position, and the direction of the optical flow obtained by the direction detecting means 4 for the optical flow is monitored in the area, and the direction of movement on the image of starting the front vehicle is monitored. Front vehicle start flow pattern extraction means for extracting an optical flow having a pattern similar to the pattern, and 9 is means for detecting the front vehicle start from the optical flow extracted by the front vehicle start flow pattern extraction means 8.
【００１８】図２は高速道路を走行中の自車両からイメ
ージセンサ等により撮像した前方画像を示したものであ
る。図２の画像２０、画像２１は割り込み車４０をとら
えた連続画像である。この２枚の連続画像２０，２１上
に図３に示したような位置にオプティカルフローの演算
領域４１を設定し、該演算領域内で上記に説明した方法
でオプティカルフローを算出する。これがオプティカル
フロー演算手段３である。FIG. 2 shows a front image picked up by an image sensor or the like from a vehicle running on a highway. Images 20 and 21 of FIG. 2 are continuous images of the interrupting vehicle 40. An optical flow calculation area 41 is set at a position as shown in FIG. 3 on the two continuous images 20 and 21, and the optical flow is calculated in the calculation area by the method described above. This is the optical flow calculation means 3.
【００１９】次にオプティカルフロー演算手段３により
得られたオプティカルフローの大きさに対しある閾値を
設定し、この閾値以上のものについてのみその方向を図
４（ａ）の１０〜１７に示すような８方向に量子化して
出力し、それ以下のオプティカルフローは全てその大き
さを０とした。本実施例では上記のオプティカルフロー
演算領域４１におけるオプティカルフローの閾値を０.
１とした。これにより、イメージセンサの特性やイメー
ジセンサを搭載している自車両の微細な揺れ等から生じ
る前方画像の微妙な揺れに対応したオプティカルフロー
等が背景とみなされ０になる。この様にして得られたオ
プティカルフローの方向を２次元画像で示したものが図
４（ｂ）である。図に示したように、上記のフロー方向
手段により接近車・割込車や白線、標識などコントラス
トの大きい背景のオプティカルフローが出力される。Next, a threshold value is set for the magnitude of the optical flow obtained by the optical flow calculation means 3, and only for those values larger than this threshold value, the directions are as shown in 10-17 of FIG. 4 (a). Quantization was performed in eight directions and output, and all optical flows below that were set to 0. In this embodiment, the threshold value of the optical flow in the optical flow calculation area 41 is set to 0.
It was set to 1. As a result, the optical flow or the like corresponding to the slight shake of the front image caused by the characteristics of the image sensor or the slight shake of the vehicle equipped with the image sensor is regarded as the background, and becomes zero. FIG. 4B is a two-dimensional image showing the direction of the optical flow obtained in this manner. As shown in the figure, the above-mentioned flow direction means outputs an optical flow of a background with a high contrast such as an approaching vehicle / interrupting vehicle, a white line, and a sign.
【００２０】次にフローパターン抽出手段６，８につい
て説明する。検出したい前方車の動きの種類（接近・割
り込み・発進）により抽出するオプティカルフローのフ
ローパターンは異なる。まず、割り込み車のフローパタ
ーン抽出手段について説明する。上記のオプティカルフ
ロー演算手段３、オプティカルフロー方向検出手段４に
よって得られたオプティカルフローに対し、図３の４
２，４３の様に左右にフロー監視領域を設定し、この領
域の中で割込車の動きの方向と想定されるものと同様の
方向を持つオプティカルフローを抽出する。Ｒ領域４３
では、割り込み車４０が動くと仮定される１３，１４の
方向フローを持つオプティカルフローを、Ｌ領域４２で
は割り込み車４０が動くと仮定される１０，１１の方向
フローを持つオプティカルフローを抽出する。この方法
により抽出されたオプティカルフローを２次元画像で示
したものが図５の画像２４である。これに示したように
Ｌ領域４２では割り込み車４０の周辺にオプティカルフ
ロー３０が抽出される。Next, the flow pattern extraction means 6 and 8 will be described. The flow pattern of the optical flow to be extracted differs depending on the type of movement (approach, interruption, start) of the vehicle ahead that you want to detect. First, the flow pattern extraction means of the interrupting vehicle will be described. The optical flow obtained by the optical flow calculation means 3 and the optical flow direction detection means 4 described above is shown in FIG.
Flow monitoring areas are set on the left and right like 2 and 43, and the optical flow having the same direction as the assumed movement direction of the interrupting vehicle is extracted in this area. R region 43
Then, an optical flow having 13 and 14 directional flows in which the interrupting vehicle 40 is assumed to move is extracted, and an optical flow having 10 and 11 directional flows in which the interrupting vehicle 40 is assumed to move are extracted in the L region 42. An image 24 of FIG. 5 shows a two-dimensional image of the optical flow extracted by this method. As shown in the figure, in the L area 42, the optical flow 30 is extracted around the interrupting vehicle 40.
【００２１】このようにして割り込み車のオプティカル
フロー候補が抽出されるが、割込車のオプティカルフロ
ー以外に画像２４に示すようなノイズ（背景）のオプテ
ィカルフロー８２が抽出される。このオプティカルフロ
ー８２は走行中の自車両のバウンドによる画像の大きな
揺れ等により、コントラストの強い背景の一部で抽出さ
れる。こうしたノイズを除去し、後方接近車のオプティ
カルフローを強調するため、本実施例では各々のフロー
監視領域４２，４３に縦横３画素ずつの３×３の膨張・
収縮フィルタ８０をかけた。まず、膨張フィルタについ
て説明する。それぞれフロー監視領域内５３，５４内に
おける各画素について、該画素及びその８近傍で上記で
説明した方法によって得られた割り込み車の候補オプテ
ィカルフロー３０がｎ（ｎ＜５）個以上あればその画素
の値を１とし、それ以下の時は上記の画素の値を０とす
る。次にこうして得られた２値画像上におけるそれぞれ
のフロー監視領域内の各画素に対し、該画素及びその８
近傍における画素の値が１である画素がｍ（ｍ＞５）個
以上であれば、その画素の値を１とし、それ以下であれ
ばその値を０とする。これが収縮フィルタである。以上
のようにして、割り込み車候補のオプティカルフロー３
０がバウンド等による画像の揺れから生じたノイズであ
るかどうかを判断し、ノイズと判断すればこれを除去
し、後方接近車であると判断すれば、その領域を拡大し
隣接する抽出領域同志を結合させる。本実施例ではｎ＝
３，ｍ＝７と設定して処理を行なったが、画像の特性や
オプティカルフローの出方によりこの値は自由に設定し
てよく、又今回はフィルタの大きさを３×３画素に設定
したがこれも上記の条件により自由に設定してよい。In this way, the optical flow candidates of the interrupting vehicle are extracted, but the optical flow 82 of noise (background) as shown in the image 24 is extracted in addition to the optical flow of the interrupting vehicle. This optical flow 82 is extracted in a part of the background with high contrast due to a large shake of the image due to the bouncing of the running vehicle. In order to remove such noise and emphasize the optical flow of a vehicle approaching to the rear, in the present embodiment, each flow monitoring region 42, 43 has a 3 × 3 expansion / contraction of 3 pixels vertically and horizontally.
A shrink filter 80 was applied. First, the expansion filter will be described. For each pixel in the flow monitoring areas 53 and 54, if there are n (n <5) or more candidate optical flows 30 of the interrupting vehicle obtained by the above-described method in the pixel and its 8 neighborhoods, the pixel. Is set to 1, and when the value is less than 0, the value of the above pixel is set to 0. Next, for each pixel in each flow monitoring area on the binary image thus obtained, the pixel and its 8
If the number of pixels having a pixel value of 1 in the vicinity is 1 or more (m> 5), the value of the pixel is set to 1, and if it is less than 0, the value is set to 0. This is a contraction filter. As described above, the optical flow of the interrupting vehicle candidate 3
It is judged whether 0 is noise caused by image shake due to bounce, etc. If it is judged as noise, this is removed, and if it is judged that it is a rear approaching vehicle, the area is enlarged and adjacent extraction areas are combined. Combine. In this embodiment, n =
Although the processing was performed with 3, m = 7 set, this value may be set freely depending on the characteristics of the image and the appearance of the optical flow, and this time, the filter size is set to 3 × 3 pixels. However, this may also be freely set according to the above conditions.
【００２２】上記の膨張・収縮フィルタをかけることに
よって得られた画像を示したものが図５のオプティカル
フロー画像２５である。図に示したように、膨張・収縮
フィルタ８０によって出力されたオプティカルフロー画
像２５は上記の処理を行う以前のオプティカルフロー画
像２４に比べ、割り込み車４０のオプティカルフロー３
０が強調され、ノイズがかなり減少するが、バウンド等
による画像の揺れが激しい時には膨張・収縮フィルタ８
０による処理後も画像２５に示すような粒状ノイズ８２
が残る場合がある。こうしたノイズ８２はこのオプティ
カルフロー画像２５に更に３×３画素のメディアンフィ
ルタ８１をかける事により除去する事が出来る。フロー
のうち、連続して検出されないオプティカルフローはノ
イズとして除去する。メディアンフィルタ８１によりノ
イズを除去した後に得られる画像が２６である。画像２
６に示すようにノイズは除去され割り込み車のオプティ
カルフロー３３のみが抽出できる。The optical flow image 25 of FIG. 5 shows an image obtained by applying the expansion / contraction filter. As shown in the figure, the optical flow image 25 output by the expansion / contraction filter 80 is compared with the optical flow image 24 before the above-described processing, and the optical flow 3 of the interruption vehicle 40 is compared.
Although 0 is emphasized and the noise is considerably reduced, the expansion / contraction filter 8 is used when the image shakes sharply due to bouncing.
Even after the processing by 0, the granular noise 82 as shown in the image 25
May remain. Such noise 82 can be removed by further applying a 3 × 3 pixel median filter 81 to the optical flow image 25. Of the flows, optical flows that are not continuously detected are removed as noise. The image obtained after removing the noise by the median filter 81 is 26. Image 2
As shown in FIG. 6, the noise is removed and only the optical flow 33 of the interrupting vehicle can be extracted.
【００２３】以上が割り込み車のフローパターン抽出手
段である。次に前車発進及び前方接近車のフローパター
ン抽出手段について説明する。まず図３の４４に示すよ
うにフローの方向監視領域を設定し、この領域で前方接
近車・発進車の動きの方向と同様の方向即ち８方向１０
〜１７全ての方向を持つオプティカルフローを抽出す
る。抽出したオプティカルフローに対し、割り込み車の
時と同様３×３画素の膨張・収縮フィルタ、メディアン
フィルタをかけてノイズ除去した画像が図６である。こ
の時発進車のオプティカルフローの方向は実線矢印８３
が示すような内向きの方向であり、接近車の方向は点線
矢印８４が示すような外向きの方向となる。そこで、図
６の画像２８に示すようにフローの方向監視領域４４内
に４つの領域４５〜４８を設定し、発進車・接近車の動
きと同じ方向のオプティカルフロー（上下左右方向）を
抽出する。例えば発進車の場合領域４５で下方向１６の
フロー、領域４６で上方向１２のフロー、領域４７で右
方向１４のフロー、領域４８で左方向１０のフローを抽
出する。こうした抽出したオプティカルフロー３５を示
したのが画像２９である。The above is the flow pattern extraction means of the interrupting vehicle. Next, the flow pattern extraction means for starting the vehicle ahead and approaching the vehicle ahead will be described. First, as shown by 44 in FIG. 3, a flow direction monitoring region is set, and in this region, a direction similar to the direction of movement of a front approaching vehicle / starting vehicle, that is, 8 directions 10
Extract optical flows with all ~ 17 directions. FIG. 6 shows an image in which noise is removed from the extracted optical flow by applying a 3 × 3 pixel expansion / contraction filter and a median filter to the image as in the case of the interrupting vehicle. At this time, the direction of the optical flow of the starting vehicle is indicated by the solid arrow 83.
Is the inward direction, and the direction of the approaching vehicle is the outward direction as indicated by the dotted arrow 84. Therefore, as shown in the image 28 of FIG. 6, four regions 45 to 48 are set in the flow direction monitoring region 44 to extract the optical flow (upward, downward, leftward, and rightward) in the same direction as the movement of the starting vehicle and the approaching vehicle. . For example, in the case of a starting vehicle, the flow in the downward direction 16 is extracted in the region 45, the flow in the upward direction 12 in the region 46, the flow in the rightward direction 14 in the region 47, and the flow in the leftward direction 10 in the region 48. The image 29 shows the extracted optical flow 35.
【００２４】以上のようなフローパターン抽出手段によ
り抽出したオプティカルフローを基に前方割り込み車・
接近車・発進車をそれぞれ検出する。以下にその手法に
ついて説明する。図７はフローパターン抽出手段によっ
て抽出された前方割り込み車のオプティカルフロー３３
を示した２次元画像である。このオプティカルフロー画
像２６上のそれぞれのフロー監視領域Ｒ領域４３、Ｌ領
域４２上に図に示すようなウィンドウ領域８５を設定
し、これを動かしながら該領域内に含まれるオプティカ
ルフロー３３の大きさ（画素数）がある閾値以上である
矩形範囲８６を取りだし、この範囲を割り込み車領域と
して検出する。本実施例ではオプティカルフロー画像２
６の大きさ５１２×４８０画素に対し割り込み車検出用
ウィンドウの大きさをＲ領域４３、Ｌ領域４２共に６４
×６４（Ｈ×Ｖ）画素、閾値を２０００画素とした。こ
のウィンドウの大きさは、画像の大きさや、検出したい
割り込み車の大きさによって自由に設定でき、又それぞ
れのフロー監視領域で異なる大きさの前方車検出用ウィ
ンドウを設定してもよい。Based on the optical flow extracted by the flow pattern extraction means as described above, a vehicle with front interruption
Detects approaching vehicles and starting vehicles. The method will be described below. FIG. 7 shows the optical flow 33 of the front interruption vehicle extracted by the flow pattern extraction means.
It is a two-dimensional image showing. A window area 85 as shown in the drawing is set on each of the flow monitoring areas R area 43 and L area 42 on the optical flow image 26, and the size of the optical flow 33 included in the area is set while moving this area ( A rectangular range 86 in which the number of pixels) is equal to or greater than a certain threshold value is taken out, and this range is detected as an interruption vehicle area. In this embodiment, the optical flow image 2
6 size 512 × 480 pixels, the size of the interrupting vehicle detection window is set to 64 in both the R area 43 and the L area 42.
× 64 (H × V) pixels and the threshold value was 2000 pixels. The size of this window can be freely set depending on the size of the image and the size of the interrupting vehicle to be detected, and different sizes of forward vehicle detection windows may be set in the respective flow monitoring areas.
【００２５】上記実施例では１つ以上の領域を設定しそ
の中で前方接近車・割り込み車の動きと同様のある特定
の方向のオプティカルフローのみを抽出し、それをもと
に前方接近車割り込み車を検出するように構成したの
で、走行車両という移動体から撮像した画像のように移
動体のみならず背景も移動するような画像であっても画
像からある特定の方向へ移動する物体（接近車）を分離
して抽出できる。又、ノイズ除去のために２種類のフィ
ルタを採用したため、激しいバウンド等による画像の揺
れから生じるオプティカルフローのノイズを除去でき、
安定して移動体（前方接近車・割り込み車）の検出を行
える。更に従来の前方車両との相対位置検出装置が、画
像の差分を利用した物で画像上での動きの有無しかわか
らないのに対し、本発明ではオプティカルフローにより
画像上の動きの大きさと方向がわかるため、停車中の自
車両及び前方車両の揺れ等による画像の揺れと前方車両
の発進による相対位置変化との区別が出来、前車発進を
より正確に検出出来、またその位置を検出する事が出来
る。In the above embodiment, one or more areas are set, and only the optical flow in a certain specific direction similar to the movement of the vehicle approaching / interrupting is extracted in the area, and based on that, the vehicle interrupting in front of the vehicle is extracted. Since it is configured to detect a vehicle, even an image in which not only a moving body but also a background, such as an image taken from a moving body called a traveling vehicle, moves in a certain direction from an image (approach Car) can be separated and extracted. Also, because two types of filters are used for noise removal, it is possible to remove optical flow noise that is caused by image fluctuations due to intense bounce, etc.
Stable detection of moving objects (front approaching vehicles / interrupting vehicles). Further, while the conventional relative position detecting device with respect to the vehicle ahead knows only the presence / absence of movement on the image by using the difference between the images, in the present invention, the magnitude and direction of the movement on the image can be known by the optical flow. Therefore, it is possible to distinguish the image shake caused by the shaking of the own vehicle and the preceding vehicle in the stopped state and the relative position change caused by the start of the preceding vehicle, and the start of the preceding vehicle can be detected more accurately, and the position can be detected. I can.
【００２６】[0026]
【発明の効果】この発明の請求項１に係る車両前方監視
装置は、車両の前方を撮像する撮像手段と、この撮像手
段により撮像された撮像画面内に所定の位置に１つ以上
の演算領域を設定し、その領域内で時系列的に異なる２
枚の画像からこの画像上での速度分布を示す大きさと方
向を有するオプティカルフローを求めるオプティカルフ
ロー演算手段と、上記演算領域内でオプティカルフロー
演算手段により得られたオプティカルフローのうち、上
記の演算領域で設定した一定値以上の大きさを持つオプ
ティカルフローの方向を出力するフローの方向検出手段
と、上記演算領域内の所定の位置に更に１つ以上のフロ
ー監視領域を設定し、この監視領域内で上記オプティカ
ルフローの方向検出手段により得られた各々のオプティ
カルフローの方向を監視し、前方接近車・前方割り込み
車が存在する場合に仮定される画像上での動きの方向と
同様の方向を持つオプティカルフローを抽出するフロー
パターン抽出手段と、上記フロー監視領域内でフローパ
ターン抽出手段により抽出されたオプティカルフローか
ら前方接近車・前方割り込み車の存在を検出する手段と
を備えたため、従来のオプティカルフロー法を用いた先
行車識別手法に比べ、処理時間を短縮でき、走行中の車
両から撮像した画像のように検出したい移動体（接近
車）のみならず背景も移動するような画像に対しても特
定の動きを持つ移動体を背景から分離して検出すること
ができ、しかも実際に車道を走行中に大きなバウンド等
により画像が激しく揺れても安定してこの検出を行う事
が出来るという効果を奏する。According to the first aspect of the present invention, there is provided the vehicle front monitoring device, the image pickup means for picking up an image of the front of the vehicle, and one or more calculation areas at predetermined positions in the image pickup screen imaged by the image pickup means. 2 and set differently in that area in time series
An optical flow calculating means for obtaining an optical flow having a size and a direction indicating a velocity distribution on this image from a single image, and the above-mentioned calculation area among the optical flows obtained by the optical flow calculating means in the above-mentioned calculation area The flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than the fixed value set in step 1, and one or more flow monitoring areas are further set at predetermined positions in the calculation area. The direction of each optical flow obtained by the optical flow direction detection means is monitored, and the direction is the same as the direction of movement on the image assumed when there is a vehicle approaching in front or a vehicle interrupting in front. A flow pattern extracting means for extracting an optical flow and a flow pattern extracting means in the flow monitoring area Since it is equipped with a means to detect the presence of a vehicle approaching in front or a vehicle interrupting the front from the extracted optical flow, the processing time can be shortened compared to the preceding vehicle identification method using the conventional optical flow method, and the vehicle running It is possible to separate and detect a moving object that has a specific movement from the background, not only for the moving object (approaching vehicle) to be detected as in the image captured from, but also for the image in which the background moves. In addition, it is possible to perform this detection in a stable manner even when the image is violently shaken due to a large bounce or the like while traveling on the road.
【００２７】また、この発明の請求項２に係る車両前方
監視装置は、車両の前方を撮像する撮像手段と、この撮
像手段により撮像された撮像画面内に所定の位置に１つ
以上の演算領域を設定し、その領域内で時系列的に異な
る２枚の画像からこの画像上での速度分布を示す大きさ
と方向を有するオプティカルフローを求めるオプティカ
ルフロー演算手段と、上記演算領域内でオプティカルフ
ロー演算手段により得られたオプティカルフローのう
ち、上記の演算領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力するフローの方向検
出手段と、上記演算領域内の所定の位置に１つ以上の前
車発進のオプティカルフロー監視領域を設定する手段
と、上記前車発進フロー監視領域内で、上記フローの方
向検出手段により検出されたオプティカルフローから前
車発進車の画像上での動きの方向パターンと同じパター
ンを持つオプティカルフロー領域を抽出する前車発進フ
ローパターン抽出手段と、上記フローパターン抽出手段
により抽出されたオプティカルフローから前車発進を検
出する手段とを備えたため、従来の前方車両との監視装
置に比べ、注目する前方車両の画像上の動きの大きさと
方向がわかるため、車両の揺れ等による前方車両画像の
動きと、発進による前方車両画像の動きを区別すること
ができ、前方車両の発進及びそれに伴う相対位置変化を
正確に検出する事が出来る。According to a second aspect of the present invention, there is provided a vehicle front monitoring device, an image pickup means for picking up an image of the front of the vehicle, and one or more calculation areas at predetermined positions within an image pickup screen imaged by the image pickup means. And an optical flow calculating means for obtaining an optical flow having a size and a direction indicating a velocity distribution on this image from two images that are different in time series within the region, and an optical flow calculation in the calculation region. Of the optical flows obtained by the means, a flow direction detecting means for outputting a direction of the optical flow having a size equal to or larger than a certain value set in the above-mentioned calculation area, and one at a predetermined position in the above-mentioned calculation area. The above-mentioned means for setting the optical flow monitoring area for starting the front vehicle, and the detection means for detecting the flow direction within the front-vehicle starting flow monitoring area From the optical flow extracted by the front vehicle start flow pattern extraction means and the optical flow extraction means for extracting the optical flow region having the same pattern as the direction pattern of the movement on the image of the front vehicle start vehicle from the optical flow Since it has means for detecting the start of the front vehicle, the size and direction of the movement of the front vehicle of interest on the image of the front vehicle of interest can be known compared to the conventional monitoring device for the front vehicle. It is possible to distinguish the movement of the image of the forward vehicle due to the start of the vehicle, and it is possible to accurately detect the start of the forward vehicle and the change in the relative position thereof.
【図１】この発明の実施例１を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of the present invention.
【図２】この発明の実施例１におけるオプティカルフロ
ー演算手段の説明図である。FIG. 2 is an explanatory diagram of an optical flow calculation means according to the first embodiment of the present invention.
【図３】実施例１におけるオプティカルフロー演算領域
とオプティカルフロー監視領域を示す説明図である。FIG. 3 is an explanatory diagram showing an optical flow calculation area and an optical flow monitoring area in the first embodiment.
【図４】実施例１におけるオプティカルフローの方向検
出手段と該手段によるオプティカルフローの出力状況を
示す説明図である。FIG. 4 is an explanatory diagram showing an optical flow direction detection unit according to the first embodiment and an optical flow output state by the unit.
【図５】実施例１における前方割り込み車のフローパタ
ーン抽出手段を示す説明図である。FIG. 5 is an explanatory diagram showing a flow pattern extraction means of a front interruption vehicle in the first embodiment.
【図６】実施例１における前方接近車・発進車のフロー
パターン抽出手段を示す説明図である。FIG. 6 is an explanatory diagram showing flow pattern extraction means for a front approaching vehicle / starting vehicle in the first embodiment.
【図７】実施例１における割り込み車検出手段を説明す
るための図である。FIG. 7 is a diagram for explaining interrupt vehicle detection means in the first embodiment.
【図８】物体が移動する際に得られるオプティカルフロ
ーのパターンを示す説明図である。FIG. 8 is an explanatory diagram showing an optical flow pattern obtained when an object moves.
【図９】一次元信号で模式的に表したオプティカルフロ
ーの性質を説明するための説明図である。FIG. 9 is an explanatory diagram for explaining properties of an optical flow schematically represented by a one-dimensional signal.
１，２ 画像 ３ オプティカルフロー演算手段 ４ オプティカルフローの方向検出手段 ５ 自車両停止状態判断手段 ６ フローパターン抽出手段 ７ 前方接近車・割り込み車検出手段 ８ 前車発進のフローパターン抽出手段 ９ 前車発進検出手段 ３３ 割り込み車のオプティカルフロー ３５ 発進車のオプティカルフロー ４１ オプティカルフロー演算領域 ４２，４３ 割り込み車のオプティカルフローの方向監
視領域 ４４ 接近車、前車発進のオプティカルフローの方向監
視領域 ６２ オプティカルフロー ８０ 膨張・収縮フィルタ用ウィンドウ ８１ メディアンフィルタ用ウィンドウ ８５ 割り込み車検出用ウィンドウ ８６ 検出された割り込み車領域1, 2 images 3 optical flow calculation means 4 optical flow direction detection means 5 own vehicle stop state determination means 6 flow pattern extraction means 7 front approaching vehicle / interrupted vehicle detection means 8 front vehicle start flow pattern extraction means 9 front vehicle start Detecting means 33 Optical flow of interrupting vehicle 35 Optical flow of starting vehicle 41 Optical flow calculation area 42, 43 Directional monitoring area of optical flow of interrupting vehicle 44 Directional monitoring area of optical flow of approaching vehicle and front vehicle 62 Optical flow 80 Expansion -Contraction filter window 81 Median filter window 85 Interruption vehicle detection window 86 Detected interruption vehicle area
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｊ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 5 Identification code Office reference number FI technical display location H04N 7/18 J
Claims (2)
の位置に１つ以上の演算領域を設定し、その領域内で時
系列的に異なる２枚の画像からこの画像上での速度分布
を示す大きさと方向を有するオプティカルフローを求め
るオプティカルフロー演算手段と、 上記演算領域内でオプティカルフロー演算手段により得
られたオプティカルフローのうち、上記の演算領域で設
定した一定値以上の大きさを持つオプティカルフローの
方向を出力するフローの方向検出手段と、 上記演算領域内の所定の位置に更に１つ以上のフロー監
視領域を設定し、この監視領域内で上記オプティカルフ
ローの方向検出手段により得られた各々のオプティカル
フローの方向を監視し、周辺接近車・周辺割り込み車が
存在する場合に仮定される画像上での動きの方向と同様
の方向を持つオプティカルフローを抽出するフローパタ
ーン抽出手段と、 上記フロー監視領域内でフローパターン抽出手段により
抽出されたオプティカルフローから周辺接近車・周辺割
り込み車の存在を検出する手段と、 を備えたことを特徴とする車両周辺監視装置。1. An image pickup means for picking up an image of the periphery of a vehicle, and one or more calculation areas are set at predetermined positions in an image pickup screen picked up by this image sensor. An optical flow calculating means for obtaining an optical flow having a size and a direction indicating a velocity distribution on this image from a single image, and the above-mentioned calculation area among the optical flows obtained by the optical flow calculating means in the above-mentioned calculation area The flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than the fixed value set in step 1, and one or more flow monitoring areas are set at predetermined positions in the calculation area. The direction of each optical flow obtained by the optical flow direction detection means is monitored in Flow pattern extraction means for extracting an optical flow having a direction similar to the direction of motion on the image that is assumed when it exists, and a peripheral approach from the optical flow extracted by the flow pattern extraction means in the flow monitoring area. Vehicle / surroundings interrupting means for detecting the presence of a vehicle, and a vehicle surroundings monitoring apparatus comprising:
の位置に１つ以上の演算領域を設定し、その領域内で時
系列的に異なる２枚の画像からこの画像上での速度分布
を示す大きさと方向を有するオプティカルフローを求め
るオプティカルフロー演算手段と、 上記演算領域内でオプティカルフロー演算手段により得
られたオプティカルフローのうち、上記の演算領域で設
定した一定値以上の大きさを持つオプティカルフローの
方向を出力するフローの方向検出手段と、 上記演算領域内の所定の位置に１つ以上の前車発進のオ
プティカルフロー監視領域を設定する手段と、 上記前車発進フロー監視領域内で、上記フローの方向検
出手段により検出されたオプティカルフローから前車発
進車の画像上での動きの方向パターンと同じパターンを
持つオプティカルフロー領域を抽出する前車発進フロー
パターン抽出手段と、 上記フローパターン抽出手段により抽出されたオプティ
カルフローから前車発進を検出する手段と、 を備えたことを特徴とする車両周辺監視装置。2. An image pickup means for picking up an image of the periphery of a vehicle, and one or more calculation areas are set at predetermined positions in an image pickup screen picked up by this image sensor. An optical flow calculating means for obtaining an optical flow having a size and a direction indicating a velocity distribution on this image from a single image, and the above-mentioned calculation area among the optical flows obtained by the optical flow calculating means in the above-mentioned calculation area Flow direction detecting means for outputting the direction of the optical flow having a size equal to or larger than the predetermined value set in step 2, and means for setting one or more optical flow monitoring areas for starting the preceding vehicle at a predetermined position in the calculation area. In the front vehicle start flow monitoring area, the front vehicle start vehicle is detected from the optical flow detected by the flow direction detecting means. A front vehicle start flow pattern extraction means for extracting an optical flow region having the same pattern as the direction pattern of movement on the image; and a means for detecting the front vehicle start from the optical flow extracted by the flow pattern extraction means, A vehicle surroundings monitoring device characterized by being provided.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5104187A JP2994170B2 (en) | 1993-04-30 | 1993-04-30 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5104187A JP2994170B2 (en) | 1993-04-30 | 1993-04-30 | Vehicle periphery monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06314340A true JPH06314340A (en) | 1994-11-08 |
| JP2994170B2 JP2994170B2 (en) | 1999-12-27 |
Family
ID=14373993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5104187A Expired - Lifetime JP2994170B2 (en) | 1993-04-30 | 1993-04-30 | Vehicle periphery monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2994170B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| JP2005013626A (en) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | Awakefullness detector |
| JP2010160802A (en) * | 2010-02-08 | 2010-07-22 | Fujitsu Semiconductor Ltd | Method and device for processing image including mobile object |
| JP2010182171A (en) * | 2009-02-06 | 2010-08-19 | Nissan Motor Co Ltd | Vehicular approaching object detection device |
| JP2010262357A (en) * | 2009-04-30 | 2010-11-18 | Alpine Electronics Inc | Apparatus and method for detecting obstacle |
| JP2012150765A (en) * | 2011-01-21 | 2012-08-09 | Fujitsu Ten Ltd | Parallel traveling object detection device |
| JP2013084242A (en) * | 2011-10-06 | 2013-05-09 | Honda Research Inst Europe Gmbh | Video-based warning system for vehicle |
| EP2637150A2 (en) | 2012-03-07 | 2013-09-11 | Clarion Co., Ltd. | Vehicle peripheral area observation system |
| CN104537839A (en) * | 2015-01-04 | 2015-04-22 | 大陆汽车电子(长春)有限公司 | Vehicle-mounted based information collecting and processing method, device and system |
| KR101534968B1 (en) * | 2013-12-18 | 2015-07-07 | 현대자동차주식회사 | Method for classifing moving body and fixed body using avm of vehicle |
| JP2015185135A (en) * | 2014-03-26 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Parking recognition device, parking recognition method and program |
| JP2016173723A (en) * | 2015-03-17 | 2016-09-29 | トヨタ自動車株式会社 | Image processing device and image processing method |
| US9684823B2 (en) | 2014-09-16 | 2017-06-20 | Kabushiki Kaisha Toshiba | Moving body position estimating device, moving body position estimating method, and non-transitory recording medium |
| WO2020195822A1 (en) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | Image capturing system |
| CN111768542A (en) * | 2020-06-28 | 2020-10-13 | 浙江大华技术股份有限公司 | Gate control system, method and device, server and storage medium |
-
1993
- 1993-04-30 JP JP5104187A patent/JP2994170B2/en not_active Expired - Lifetime
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09142209A (en) * | 1995-11-17 | 1997-06-03 | Yazaki Corp | Monitor device for vehicular peripheral circumference |
| JP2005013626A (en) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | Awakefullness detector |
| JP2010182171A (en) * | 2009-02-06 | 2010-08-19 | Nissan Motor Co Ltd | Vehicular approaching object detection device |
| JP2010262357A (en) * | 2009-04-30 | 2010-11-18 | Alpine Electronics Inc | Apparatus and method for detecting obstacle |
| JP2010160802A (en) * | 2010-02-08 | 2010-07-22 | Fujitsu Semiconductor Ltd | Method and device for processing image including mobile object |
| JP2012150765A (en) * | 2011-01-21 | 2012-08-09 | Fujitsu Ten Ltd | Parallel traveling object detection device |
| JP2013084242A (en) * | 2011-10-06 | 2013-05-09 | Honda Research Inst Europe Gmbh | Video-based warning system for vehicle |
| EP2637150A2 (en) | 2012-03-07 | 2013-09-11 | Clarion Co., Ltd. | Vehicle peripheral area observation system |
| KR101534968B1 (en) * | 2013-12-18 | 2015-07-07 | 현대자동차주식회사 | Method for classifing moving body and fixed body using avm of vehicle |
| JP2015185135A (en) * | 2014-03-26 | 2015-10-22 | 株式会社Ｊｖｃケンウッド | Parking recognition device, parking recognition method and program |
| US9684823B2 (en) | 2014-09-16 | 2017-06-20 | Kabushiki Kaisha Toshiba | Moving body position estimating device, moving body position estimating method, and non-transitory recording medium |
| CN104537839A (en) * | 2015-01-04 | 2015-04-22 | 大陆汽车电子(长春)有限公司 | Vehicle-mounted based information collecting and processing method, device and system |
| JP2016173723A (en) * | 2015-03-17 | 2016-09-29 | トヨタ自動車株式会社 | Image processing device and image processing method |
| WO2020195822A1 (en) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | Image capturing system |
| CN111768542A (en) * | 2020-06-28 | 2020-10-13 | 浙江大华技术股份有限公司 | Gate control system, method and device, server and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2994170B2 (en) | 1999-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3463858B2 (en) | Perimeter monitoring device and method | |
| JP3580475B2 (en) | Perimeter monitoring device | |
| EP0804779B1 (en) | Method and apparatus for detecting object movement within an image sequence | |
| JP2994170B2 (en) | Vehicle periphery monitoring device | |
| US7250593B2 (en) | Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium | |
| WO2019026785A1 (en) | Attached object detection device, and vehicle system provided with same | |
| JP2003067752A (en) | Vehicle periphery monitoring device | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| JP3011566B2 (en) | Approaching vehicle monitoring device | |
| JP2001101592A (en) | Collision preventing device for vehicle | |
| KR100355993B1 (en) | An apparatus for warning lane deviation and a method for warning the same | |
| JPH07249128A (en) | Picture processor for vehicle | |
| JP3984863B2 (en) | Start notification device | |
| JP3729005B2 (en) | Vehicle rear monitoring device | |
| JP3738949B2 (en) | Vehicle peripheral area monitoring device | |
| JP3226699B2 (en) | Perimeter monitoring device for vehicles | |
| JPH1040490A (en) | Road monitoring device | |
| JP2003306102A (en) | Passing vehicle detection device, and rear side alarm device for drive supporting system | |
| JP3942289B2 (en) | Vehicle monitoring device | |
| JP3638028B2 (en) | Vehicle number recognition device | |
| KR101432727B1 (en) | moving object detection system using Head light beam pattern for crash prevention of vehicle and object and moving object detection method using Thereof | |
| JP2735033B2 (en) | Lane change detection apparatus and method | |
| JP3735468B2 (en) | Mobile object recognition device | |
| JP3543912B2 (en) | Optical flow detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071022 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081022 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091022 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101022 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111022 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121022 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term |