JP2002083301A - Traffic monitoring device - Google Patents

Traffic monitoring device

Info

Publication number
JP2002083301A
JP2002083301A JP2000270261A JP2000270261A JP2002083301A JP 2002083301 A JP2002083301 A JP 2002083301A JP 2000270261 A JP2000270261 A JP 2000270261A JP 2000270261 A JP2000270261 A JP 2000270261A JP 2002083301 A JP2002083301 A JP 2002083301A
Authority
JP
Japan
Prior art keywords
image
external environment
moving object
image feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000270261A
Other languages
Japanese (ja)
Inventor
Hideo Kawamura
秀男 川村
Hiroyasu Miyahara
景泰 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000270261A priority Critical patent/JP2002083301A/en
Publication of JP2002083301A publication Critical patent/JP2002083301A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve a problem that a conventional traffic monitoring device judges the external environment of day, night, and dusk by the luminance of a road surface portion, makes an erroneous judgment due to the reflection of headlights of vehicles and street lamps or the like at night, and makes erroneous vehicle detection as a result. SOLUTION: This traffic monitoring device is provided with an image feature extracting means splitting the input image from an image input means inputting a vehicle image into the prescribed size with an image splitting means to obtain image features in split areas, an external environment judging means judging the external environment of a photographed object from the image features, a background difference generating means generating a background difference image from a background image photographed and stored in advance and the input image, a moving body detecting means detecting a moving body from the background difference image, and a moving body tracking means tracking the moving body.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、車両の通過台
数、速度などの情報を取得したり、また路面上の落下物
等を検出して車両の運転者への警告等に供する交通監視
装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a traffic monitoring apparatus for acquiring information such as the number of vehicles passing and the speed of the vehicles, detecting falling objects on a road surface, and providing a warning to a driver of the vehicles. Things.

【0002】[0002]

【従来の技術】車両検出を行う従来技術としては、例え
ば、電子情報通信学会技術報告、PRMU97-6, 1997, pp.4
1-48「画像処理による交通流監視方法の研究」記載の車
両検出方法がある。図10はこの検出方法を行う交通監
視装置の構成図である。図において1は画像入力手段、
2は画像特徴抽出手段、4は外部環境判定手段、6は動
体検出手段、7は動体追跡手段である。図11は車両検
出方法を説明する図であり、図において10,11は移
動する車両、30は車両を検出する初期検出領域、31
は外部環境を判定する路面部である。図12は図10の
構成を用いて交通監視装置を行う処理の流れを示す。
2. Description of the Related Art Conventional techniques for vehicle detection include, for example, IEICE Technical Report, PRMU97-6, 1997, pp.4.
1-48 There is a vehicle detection method described in "Research on traffic flow monitoring method by image processing". FIG. 10 is a configuration diagram of a traffic monitoring device that performs this detection method. In the figure, 1 is an image input means,
2 is an image feature extracting means, 4 is an external environment determining means, 6 is a moving object detecting means, and 7 is a moving object tracking means. FIG. 11 is a diagram for explaining a vehicle detection method. In the figure, reference numerals 10 and 11 denote moving vehicles, 30 denotes an initial detection area for detecting a vehicle, 31
Is a road surface portion for determining the external environment. FIG. 12 shows a flow of a process performed by the traffic monitoring device using the configuration of FIG.

【0003】次に、図12のフローチャートを用いて図
10に示す交通監視装置の動作を説明する。ステップS
61でカメラからの入力画像を画像入力手段1に入力す
る。ステップS62では、画像特徴抽出手段2が入力画
像から路面部分31の輝度分布を求め、次に外部環境判
定手段4が前記輝度分布に基づいて昼・夜・薄暮である
か判定する。
Next, the operation of the traffic monitoring device shown in FIG. 10 will be described with reference to the flowchart of FIG. Step S
At 61, the input image from the camera is input to the image input means 1. In step S62, the image feature extracting means 2 obtains the luminance distribution of the road surface portion 31 from the input image, and the external environment determining means 4 determines whether it is day / night / dusk based on the luminance distribution.

【0004】ステップS63では動体検出手段6が車両
前面の明暗パターンあるいはヘッドライトペアを検出し
て、車両前部の小領域画像(テンプレート)を保存す
る。具体的には外部環境判定手段4の結果に基づいて、
昼間と判定された場合は初期検出領域30における所定
値以上の輝度の垂直および水平投影分布が所定閾値以上
の範囲を車両とみなし、動体検出手段6の検出結果が車
両とみなせる時に車両として検出する。夜間と判定され
た場合は初期検出領域30の第2の所定値以上の輝度の
垂直投影分布の水平微分のゼロクロス点をテールランプ
位置とし、このテールランプ位置のペアが存在する時車
両として検出する。ステップS64では動体追跡手段7
が前のフレームで得たテンプレートと類似した画像の現
フレーム中より探索して車両を検出する。
In step S63, the moving body detecting means 6 detects a light / dark pattern or a headlight pair on the front of the vehicle and stores a small area image (template) at the front of the vehicle. Specifically, based on the result of the external environment determining means 4,
If it is determined that it is daytime, the range in which the vertical and horizontal projection distributions of the brightness equal to or more than a predetermined value in the initial detection area 30 are equal to or more than a predetermined threshold is regarded as a vehicle, and the moving object detection unit 6 detects the vehicle when the detection result can be regarded as a vehicle. . If it is determined to be nighttime, the zero cross point of the horizontal differentiation of the vertical projection distribution of the luminance equal to or higher than the second predetermined value in the initial detection area 30 is set as the tail lamp position, and when this pair of tail lamp positions exists, it is detected as a vehicle. In step S64, the moving body tracking means 7
Detects a vehicle by searching from the current frame of an image similar to the template obtained in the previous frame.

【0005】[0005]

【発明が解決しようとする課題】従来の交通監視装置は
上述のように路面部分の輝度に基づいて、昼・夜・薄暮
といった外部環境を判定するために、夜間時の車両のヘ
ッドライト,街灯等の映り込みにより誤って昼間と判定
を行ってしまい、その結果として誤った車両検出を行う
という問題点がある。
As described above, the conventional traffic monitoring device determines the external environment such as daytime, nighttime or dusk based on the brightness of the road surface portion, as described above. As a result, there is a problem in that the daytime is erroneously determined due to reflection of the vehicle, and as a result, an erroneous vehicle detection is performed.

【0006】この発明は上記のような問題点を解決する
ためになされたもので、画像の任意の部分領域の画像情
報により外部環境を判定することで、夜間時の車両のヘ
ッドライト,街灯等の映り込みがある場合においても正
しく外部環境を判定でき、その結果として正しい車両検
出ができることを目的とする。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and determines the external environment based on image information of an arbitrary partial area of an image, thereby enabling a vehicle headlight, a streetlight, etc. at night. It is an object of the present invention to be able to correctly determine the external environment even when there is reflection of a vehicle, and as a result, to be able to correctly detect a vehicle.

【0007】[0007]

【課題を解決するための手段】この発明に係る交通監視
装置は、撮像された車両画像を入力する画像入力手段
と、画像入力手段からの入力画像を所定サイズで分割す
る画像分割手段と、前記分割領域内での画像特徴を得る
画像特徴抽出手段と、前記画像特徴により撮像対象の外
部環境を判定する外部環境判定手段と、予め撮像され保
存された背景画像と前記入力画像から背景差分画像を生
成する背景差分生成手段と、前記背景差分画像より動体
を検出する動体検出手段と、動体を追跡する動体追跡手
段とを備える。
A traffic monitoring device according to the present invention comprises: an image input unit for inputting a captured vehicle image; an image dividing unit for dividing an input image from the image input unit into a predetermined size; Image feature extraction means for obtaining an image feature in the divided area; external environment determination means for determining an external environment of an imaging target based on the image feature; and a background difference image from a previously captured and stored background image and the input image. The image processing apparatus includes a background difference generating unit that generates a moving object, a moving object detecting unit that detects a moving object from the background difference image, and a moving object tracking unit that tracks the moving object.

【0008】また、別な発明に係る交通監視装置は、前
記外部環境判定手段は、異なる時刻で画像特徴が大きく
異なる分割領域のみを判定対象とする。
Further, in the traffic monitoring device according to another invention, the external environment determining means determines only the divided areas having greatly different image characteristics at different times.

【0009】また、別な発明に係る交通監視装置は、前
記画像特徴抽出手段が、画像のRGB値から色相と輝度
の分布を抽出し、前記外部環境判定手段は雨・霧等での
視程悪化状態を輝度と色相とで判定するように構成され
た。
In the traffic monitoring device according to another invention, the image feature extracting means extracts a hue and a luminance distribution from an RGB value of the image, and the external environment determining means deteriorates visibility in rain, fog or the like. The state is determined to be based on the luminance and the hue.

【0010】また、別な発明に係る交通監視装置は、前
記画像特徴抽出手段が、異なる複数の時刻における画像
特徴をそれぞれ予め保持し、現時刻に最も近い時刻の画
像特徴を基準画像特徴として、外部環境判定手段はこの
基準画像特徴と現在の画像特徴とから外部環境を判定す
るように構成された。
In a traffic monitoring apparatus according to another aspect of the invention, the image feature extracting means holds image features at a plurality of different times in advance, and uses an image feature at a time closest to the current time as a reference image feature. The external environment determining means is configured to determine the external environment from the reference image feature and the current image feature.

【0011】また、別な発明に係る交通監視装置は、前
記画像特徴抽出手段が、予め異なる時刻の画像特徴を保
持し、現時刻に近い複数時刻の画像特徴を基準画像特徴
として、外部環境判定手段はこの複数の基準画像特徴と
現在の画像特徴とから外部環境を判定するように構成さ
れた。
Further, in the traffic monitoring device according to another invention, the image feature extracting means holds image features at different times in advance, and uses image features at a plurality of times close to the current time as reference image features to determine an external environment. The means is configured to determine an external environment from the plurality of reference image features and the current image features.

【0012】また、別な発明に係る交通監視装置は、前
記外部環境判定手段が、前記動体検出手段において動体
として検出された領域の画像特徴を判定対象から除外す
る構成にされた。
Further, in the traffic monitoring device according to another invention, the external environment determining means excludes image characteristics of an area detected as a moving object by the moving object detecting means from a determination target.

【0013】[0013]

【発明の実施の形態】実施形態1.図1はこの発明の実
施の形態1の構成を示す図である。図において、1は図
示しないカメラからの画像(画素値は0〜255の値を
とるものとする)を入力する画像入力手段、2は画像入
力手段1からの入力画像の所定領域内での画像特徴を得
る画像特徴抽出手段、3は入力画像を所定サイズで分割
し、画像特徴抽出手段へ出力する画像分割手段、4は前
記画像特徴抽出手段2からの画像特徴により外部環境を
判定する外部環境判定手段、5は図示しないカメラで予
め撮像し、保管している動体領域10,11(後で説明
する)のない背景画像と上記入力画像とから背景差分画
像を得る背景差分検出手段、6は動体領域を検出する動
体検出手段、7は前記動体を追跡し、動体の位置、速
度、移動方向を出力する動体追跡手段、8は背景差分検
出手段5に保管されている背景画像を入力画像に基づい
て更新する背景画像更新手段である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 FIG. FIG. 1 is a diagram showing a configuration of the first embodiment of the present invention. In the figure, reference numeral 1 denotes an image input means for inputting an image from a camera (not shown) (pixel values take values from 0 to 255), and 2 denotes an image within a predetermined area of the input image from the image input means 1. Image feature extracting means for obtaining features, 3 is an image dividing means for dividing an input image into a predetermined size and outputting the image to the image feature extracting means, 4 is an external environment for determining an external environment based on image features from the image feature extracting means 2 The determination means 5 is a background difference detection means which previously captures an image with a camera (not shown) and obtains a background difference image from the stored background image having no moving body regions 10 and 11 (described later) and the input image. A moving object detecting means for detecting a moving object area, a moving object tracking means for tracking the moving object and outputting the position, speed, and moving direction of the moving object, and a moving image detecting means for inputting a background image stored in the background difference detecting means to an input image. Based Is the background image updating means for updating.

【0014】図2は動体検出手段6を説明する図であ
る。図において10,11は時刻t−1における、バイ
クや四輪車あるいは落下中の積載物などの動体領域、1
2,13は時刻tにおける動体領域である。図3は本実
施の形態1の動作を説明するフローチャートである。な
お、カメラからの入力画像は図2からも明らかなように
任意の路面以外の領域を含む。
FIG. 2 is a diagram for explaining the moving object detecting means 6. In the figure, reference numerals 10 and 11 denote moving body regions such as a motorcycle, a four-wheeled vehicle, and a falling load at time t-1.
Reference numerals 2 and 13 denote moving body regions at time t. FIG. 3 is a flowchart illustrating the operation of the first embodiment. Note that the input image from the camera includes an arbitrary area other than the road surface, as is clear from FIG.

【0015】次に図3のフローチャートを用いて本実施
の形態の動作を説明する。ステップS1では、路上を撮
像する図示しないカメラから出力される時刻tにおける
撮像画像を画像入力手段1により各画素の値が0〜25
5の輝度値をとるデジタル画像として入力する。ステッ
プS2では画像分割手段3は入力画像を所定サイズで分
割し、画像特徴抽出手段2へ出力する。画像特徴抽出手
段2は各分割領域について、輝度統計情報Vを式(1)
で得る。
Next, the operation of this embodiment will be described with reference to the flowchart of FIG. In step S1, a captured image at time t output from a camera (not shown) that captures an image of a road is converted by the image input unit 1 to a value of each pixel of 0 to 25.
A digital image having a luminance value of 5 is input. In step S2, the image dividing means 3 divides the input image into a predetermined size and outputs the image to the image feature extracting means 2. The image feature extraction means 2 calculates the luminance statistical information V for each divided area according to the equation (1).
Get in.

【0016】 Vj=(δi)/n ・di ……………………(1) ここで、Vjは該分割領域jにおける輝度統計情報、n
は移動平均するフレーム数、δiは時刻i における該分
割領域jの分散、diは時刻i における該分割領域jの
エッジ勾配量である。エッジ勾配量は例えば、該分割領
域において隣接画素輝度値の差分値を該領域の総和とす
る。
Vj = (δi) / n · di (1) where Vj is luminance statistical information in the divided area j, n
Is the number of frames to be averaged, δi is the variance of the divided area j at time i, and di is the edge gradient amount of the divided area j at time i. As the edge gradient amount, for example, a difference value between adjacent pixel luminance values in the divided area is set as a sum of the areas.

【0017】ステップS3において外部環境判定手段4
は前記輝度統計情報Vから全分割領域について下記式
(2)を満足する領域数Vnumを求める。
In step S3, the external environment determining means 4
Calculates the number of areas Vnum satisfying the following equation (2) for all divided areas from the luminance statistical information V.

【0018】 Vj>Vth ……………………(2) ここでVjは分割領域jにおける輝度統計情報、Vth
は予め定めた閾値である。
Vj> Vth (2) where Vj is luminance statistical information in divided area j, Vth
Is a predetermined threshold.

【0019】上記領域数Vnumにより外部環境判定手段
4は外部環境が昼・夜・薄暮か否か決定し、予め設定し
た昼・夜・薄暮における処理パラメータを選択する。例
えば式(3)が満足する場合は夜と判定する。これは夜
間は全体輝度が低下するため、カメラ機器が増感を行う
ので、入力光が不足する画素ではノイズレベルが大きく
なるために、分散値が夜間において大きくなる知見によ
るものである。
The external environment determining means 4 determines whether the external environment is day / night / dusk based on the number of areas Vnum, and selects a preset processing parameter for day / night / dusk. For example, when Expression (3) is satisfied, it is determined that the night is at night. This is based on the finding that the camera apparatus performs sensitization because the overall luminance decreases at night, and the noise level increases at the pixel where the input light is insufficient, so that the variance value increases at night.

【0020】 Vnum > Vth1 ……………………(3) ここでVth1は第1の所定閾値である。Vnum> Vth1 (3) where Vth1 is a first predetermined threshold.

【0021】次に式(4)が満足する場合は昼とする。 Vnum < Vth2 ……………………(4) ここでVth2は第2の所定閾値であり、Vth2<V
th1である。
Next, it is daytime when the expression (4) is satisfied. Vnum <Vth2... (4) where Vth2 is a second predetermined threshold, and Vth2 <V
th1.

【0022】また、上記式(3)および式(4)を満足
しない場合は薄暮と判定する。
If the above equations (3) and (4) are not satisfied, it is determined that twilight occurs.

【0023】ステップS4で背景差分検出手段5は動体
領域を求めるため入力画像と背景画像とから背景差分画
像を式(5)で求める。これを入力画像の全画素につい
て行う。
In step S4, the background difference detection means 5 obtains a background difference image from the input image and the background image by using equation (5) in order to obtain a moving object region. This is performed for all pixels of the input image.

【0024】 H(x,y) = |B(x,y) - I(x,y)| ……………………(5) ここでH(x,y)は背景差分画像の点(x,y)における輝度
値、B(x,y)は背景画像の点(x,y)における輝度値、I(x,
y)は入力画像の点(x,y)における輝度値である。
H (x, y) = | B (x, y) −I (x, y) | (5) where H (x, y) is a point of the background difference image The luminance value at (x, y), B (x, y) is the luminance value at point (x, y) of the background image, I (x,
y) is a luminance value at a point (x, y) of the input image.

【0025】これは例えば文献「画像の処理と認識」
(昭晃堂、安居院 猛,長尾 智晴共著、PP. 161−1
62)で開示されている背景差分法と呼ばれる動体検出
の一方式である。
This is described, for example, in the document "Image processing and recognition".
(Co-authored by Shokodo, Takeshi Aiin and Tomoharu Nagao, PP. 161-1
62) is one method of moving object detection called a background subtraction method.

【0026】ステップS5で動体検出手段6は前記背景
差分画像から動体領域12、13を求める。動体領域は
例えば前記背景差分画像を前記外部環境判定手段4が判
定した結果に基づいて2値化閾値を求め、2値化した背
景差分2値画像をラベリング法により領域として検出す
る。ここで2値化閾値は例えば昼・夜・薄暮毎の2値化閾
値を予め決定しておいたものを用いる。ラベリング法は
文献「コンピュータ画像処理入門」(総研出版、田村秀
行監修、PP.75−76)で開示され、背景差分2値画像
から連結した画素を1つの領域として抽出することで行
える。
In step S5, the moving object detecting means 6 obtains moving object regions 12, 13 from the background difference image. For example, a binarization threshold is obtained for the moving object region based on the result of the external environment determination unit 4 determining the background difference image, and the binarized background difference binary image is detected as a region by a labeling method. Here, as the binarization threshold, for example, a binarization threshold for each of day, night, and dusk is used in advance. The labeling method is disclosed in the document "Introduction to Computer Image Processing" (published by Soken Publishing, Hideyuki Tamura, PP. 75-76), and can be performed by extracting connected pixels from a background difference binary image as one region.

【0027】ステップS6で動体追跡手段7は前回撮像
した時刻t−1における動体領域情報と前記時刻tにお
ける動体領域情報から物体の追跡を行う。追跡方法は時
刻t−1において検出された動体領域10、11の代表
点と該動体領域12、13の代表点の間で対応づけを行
い追跡を行う。ここで代表点は例えば領域重心等を用い
る。対応づけは例えば時刻tの動体領域代表点に最も距
離が近くかつ距離が所定範囲内の時刻t−1の動体領域
を求め、対応した動体領域を同一動体として保存する。
さらに対応づいた動体代表点間の距離から速度・移動方
向を求める。速度・移動方向は例えば式(6)により求
める。
In step S6, the moving body tracking means 7 tracks the object based on the moving body area information at the time t-1 and the moving body area information at the time t. In the tracking method, the representative points of the moving body regions 10 and 11 detected at time t-1 are associated with the representative points of the moving body regions 12 and 13 to perform tracking. Here, for example, the center of gravity of the region or the like is used as the representative point. For the association, for example, a moving body area at time t−1 that is closest to the moving body area representative point at time t and the distance is within a predetermined range is obtained, and the corresponding moving body area is stored as the same moving body.
Further, the speed and the moving direction are obtained from the distance between the corresponding moving object representative points. The speed and the moving direction are obtained by, for example, Expression (6).

【0028】 速度=D(Ot, Ot-1)/T 移動方向=arctan(|Ot.x - Ot-1.x|/|Ot.y - Ot-1.y|) ……………………(6) ただし、D(a,b)は2点a,b間のユークリッド距離、Tは時
刻tと時刻t−1の時間間隔、Otは時刻tにおける物体
位置、Ot.xは物体のX座標、Ot.yは物体のY座標であ
る。
Speed = D (Ot, Ot-1) / T Moving direction = arctan (| Ot.x-Ot-1.x | / | Ot.y-Ot-1.y |) ……………… (6) where D (a, b) is the Euclidean distance between two points a and b, T is the time interval between time t and time t-1, Ot is the object position at time t, and Ot.x is the object Is the X coordinate and Ot.y is the Y coordinate of the object.

【0029】ステップS7で背景画像更新手段8は背景
差分画像に基づいて背景画像を更新する。更新方法は例
えば式(7)で行う。これを入力画像の全画素について
行う。
In step S7, the background image updating means 8 updates the background image based on the background difference image. The updating method is performed by, for example, Expression (7). This is performed for all pixels of the input image.

【0030】 Bt(x,y) = Bt-1(x,y) + α・{It-1(x,y)- Bt-1(x,y)} ………(7) ここでBt(x,y)は背景画像の点(x,y)における時刻tの輝
度値、It(x,y)は入力画像の点(x,y)における時刻tの輝
度値、αは予め定めた定数である。
Bt (x, y) = Bt−1 (x, y) + α · {It−1 (x, y) −Bt−1 (x, y)} (7) where Bt ( (x, y) is the luminance value at time t at point (x, y) in the background image, It (x, y) is the luminance value at time t at point (x, y) in the input image, and α is a predetermined constant It is.

【0031】上記動作を一定間隔毎に実行する。例えば
ビデオレート(30ms)で実行する。
The above operation is executed at regular intervals. For example, it is executed at a video rate (30 ms).

【0032】以上のように、本実施の形態によれば、任
意の路面以外の領域を含む部分領域の画像情報の総合結
果に基づいて外部環境を判定するようにしたので車両の
ヘッドライトや街灯による外部環境を誤判定することが
なくなる。
As described above, according to the present embodiment, the external environment is determined based on the total result of the image information of the partial area including the area other than the arbitrary road surface. Erroneous determination of the external environment due to the above.

【0033】実施の形態2.上記実施の形態1では、定
めた分割領域全てにおいて外部環境を判定するようにし
たが、本実施の形態では予め異なる時刻の画像特徴と比
較して、大きく異なる分割領域のみを外部環境判定手段
4での判定対象とするようにした。
Embodiment 2 FIG. In the first embodiment, the external environment is determined in all of the determined divided regions. However, in the present embodiment, only the divided regions that are significantly different from the image features at different times in advance are determined by the external environment determining unit 4. It was made to be a judgment target in.

【0034】実施の形態2の構成を示すブロック図は実
施の形態1と同一であるが、外部環境判定手段4の構成
及び動作が異なる。
Although the block diagram showing the configuration of the second embodiment is the same as that of the first embodiment, the configuration and operation of the external environment determining means 4 are different.

【0035】次に本実施の形態の動作を説明する。画像
入力手段1、画像分割手段3、背景差分検出手段5、動
体検出手段6、動体追跡手段7、背景画像更新手段8の
動作は実施の形態1と同一である。本実施の形態の動作
を説明する図4のフローチャートを用いて判定対象分割
領域を決定する装置調整時の画像特徴抽出手段2、外部
環境判定手段4の動作を説明する。
Next, the operation of this embodiment will be described. The operations of the image input unit 1, the image dividing unit 3, the background difference detecting unit 5, the moving object detecting unit 6, the moving object tracking unit 7, and the background image updating unit 8 are the same as those in the first embodiment. The operation of the image feature extraction unit 2 and the external environment determination unit 4 at the time of device adjustment for determining the determination target divided region will be described with reference to the flowchart of FIG. 4 for explaining the operation of the present embodiment.

【0036】まず、装置調整時においては、図示しない
カメラで予め定められた時刻における動体領域10,1
1のない背景画像を撮像して入力する。ステップS11
で画像特徴抽出手段2は実施の形態1と同様に所定サイ
ズで分割し、各分割領域の画像特徴を求める。さらにス
テップS12にて予め定められた複数の画像特徴保存時
刻とその時刻におけるそれぞれの画像特徴を外部環境判
定手段4に保存する。保存する時刻は、例えば昼・夜・
薄暮に相当する時刻12:00、00:00、17:0
0とする。ステップS13では各時刻における画像特徴
を比較し、その画像特徴が大きく異なる領域を求める。
具体的には式(8)を満足するj番目の分割領域Dを求
める。
First, at the time of device adjustment, the moving object regions 10, 1 at a predetermined time by a camera (not shown) are set.
A background image without 1 is captured and input. Step S11
Then, the image feature extracting means 2 divides the image into a predetermined size in the same manner as in the first embodiment, and obtains an image feature of each divided region. Further, in step S12, a plurality of predetermined image feature storage times and the respective image features at that time are stored in the external environment determining means 4. The time to save is, for example, day / night /
Times 12:00, 00:00, 17:00 corresponding to twilight
Set to 0. In step S13, the image features at each time are compared, and a region where the image features are significantly different is determined.
Specifically, a j-th divided area D satisfying the expression (8) is obtained.

【0037】 max(|Vj−Vj’|) ……………………(8) ここで、Vjは分割領域jにおける現在時刻の輝度統計
情報、Vj’は分割領域jにおける判定結果に対応する
画像特徴保存時刻での輝度統計情報である。
Max (| Vj−Vj ′ |) (8) where Vj corresponds to luminance statistical information at the current time in the divided area j, and Vj ′ corresponds to a determination result in the divided area j. This is luminance statistical information at the image feature saving time.

【0038】次に装置運用時には、画像入力手段1、画
像特徴抽出手段2、画像分割手段3、背景差分検出手段
5、動体検出手段6、動体追跡手段7、背景画像更新手
段8は実施の形態1と同様の動作をし、外部環境判定手
段4は前記分割領域Dを判定対象領域とし、実施の形態
1と同様に外部環境を判定する。
Next, at the time of operation of the apparatus, the image input means 1, the image feature extracting means 2, the image dividing means 3, the background difference detecting means 5, the moving object detecting means 6, the moving object tracking means 7, and the background image updating means 8 are the same as those of the embodiment. In the same manner as in the first embodiment, the external environment determining means 4 determines the external environment as in the first embodiment, using the divided area D as a determination target area.

【0039】以上のように、本実施の形態によれば、予
め異なる時刻の画像特徴と比較して、大きく異なる分割
領域のみを外部環境判定手段4の判定対象とするように
したので、わずかな日照変動で誤って外部環境を判定す
ることがなくなる。
As described above, according to the present embodiment, only the divided regions that are greatly different from the image features at different times are determined as the objects to be determined by the external environment determining means 4 in advance. This eliminates the possibility of erroneously determining the external environment due to sunlight fluctuation.

【0040】実施の形態3 上記実施の形態1では、外部環境判定手段4は輝度統計
情報から外部環境を判定するようにしたが、本実施の形
態ではさらに分割領域内での平均輝度と色分布を考慮し
て判定するようにした。
Third Embodiment In the first embodiment, the external environment determining means 4 determines the external environment from the luminance statistical information. In the present embodiment, the average luminance and the color distribution in the divided area are further determined. In consideration of the above.

【0041】実施の形態3は、その構成を示すブロック
図は実施の形態1と同一であるが、画像特徴抽出手段2
及び外部環境判定手段4の動作が異なる。図5は本実施
の形態の動作を説明するフローチャートである。
The third embodiment is the same as the first embodiment in the block diagram showing the configuration thereof, but the image feature extraction means 2
And the operation of the external environment determining means 4 is different. FIG. 5 is a flowchart illustrating the operation of the present embodiment.

【0042】次に本実施の形態の動作を説明する。画像
入力手段1、画像分割手段3、背景差分検出手段5、動
体追跡手段7、背景画像更新手段8の動作は実施の形態
1と同一である。まず、図5のフローチャートを用いて
画像特徴抽出手段2、外部環境判定手段4の動作を説明
する。ステップS21では画像特徴抽出手段2は式
(9)、式(10)により輝度I、彩度Sを求めた後
に、前記分割領域内の平均輝度Ij’、平均彩度Sj’
を求める。
Next, the operation of this embodiment will be described. The operations of the image input unit 1, the image dividing unit 3, the background difference detecting unit 5, the moving object tracking unit 7, and the background image updating unit 8 are the same as those in the first embodiment. First, the operation of the image feature extraction unit 2 and the external environment determination unit 4 will be described with reference to the flowchart of FIG. In step S21, the image feature extraction means 2 obtains the luminance I and the saturation S according to the equations (9) and (10), and then calculates the average luminance Ij 'and the average saturation Sj' in the divided area.
Ask for.

【0043】 I = (1/3)×(R+G+B) ……………………(9) S = 1 - (3/(R+G+B)) × a ……………………(10) ここでRは赤色成分の輝度値、Gは緑色成分の輝度値、
Bは青色成分の輝度値、aはR,G,Bのうちの最小値、
Sは彩度で0〜1.0までの値をとる、Iは輝度で0〜
255までの値をとる。
I = (1/3) × (R + G + B) (9) S = 1- (3 / (R + G + B)) × a Where R is the luminance value of the red component, G is the luminance value of the green component,
B is the luminance value of the blue component, a is the minimum value of R, G, B,
S takes a value from 0 to 1.0 in saturation, and I takes 0 to luminance in brightness.
It takes values up to 255.

【0044】ステップS22で外部環境判定手段4は前
記平均輝度Ij’、平均彩度Sj’から外部環境を求め
る。具体的には式(11)を満足する分割領域数Vnu
m’を求める。
In step S22, the external environment determining means 4 obtains an external environment from the average luminance Ij 'and the average saturation Sj'. Specifically, the number of divided regions Vnu that satisfies Expression (11)
Find m '.

【0045】 Sj’ < Sth かつ Ij’ > Ith ……………………(11) ここでSj’は分割領域jにおける平均彩度、Sthは
彩度所定閾値、Ij’は分割領域jにおける平均輝度,
Ithは輝度所定閾値である。
Sj ′ <Sth and Ij ′> Ith (11) where Sj ′ is the average saturation in the divided region j, Sth is the predetermined saturation threshold, and Ij ′ is the divided saturation j in the divided region j. Average brightness,
Ith is a predetermined luminance threshold value.

【0046】次にVnum’が式(12)を満足する場
合、視程が不良とみなす。これは雨・霧などで視程が悪
化した場合には、空中の水滴による反射光により輝度が
一様に高くなり、彩度は低下する知見によるものであ
る。
Next, when Vnum 'satisfies the expression (12), the visibility is regarded as poor. This is based on the finding that when the visibility is deteriorated due to rain or fog, the brightness is uniformly increased by the reflected light from the water droplets in the air, and the saturation is reduced.

【0047】 Vnum’> VSth ……………………(12) ここでVSthは所定閾値である。Vnum ′> VSth (12) where VSth is a predetermined threshold value.

【0048】次に動体検出手段6の動作を説明する。前
記外部環境判定手段4が視程不良と判定した場合は、動
体検出手段6は背景差分検出手段5が出力する背景画像
から動体検出を行う、2値化処理時に閾値を0として、
動体検出結果が0となるようにする。以降の処理は実施
の形態1と同一である。
Next, the operation of the moving object detecting means 6 will be described. When the external environment determining unit 4 determines that the visibility is poor, the moving object detecting unit 6 performs moving object detection from the background image output from the background difference detecting unit 5 and sets a threshold value to 0 during binarization processing.
The moving object detection result is set to 0. Subsequent processing is the same as in the first embodiment.

【0049】以上のように、本実施の形態によれば、分
割領域内での色分布でも判定するようにしたので、雨・
霧などで視程が悪化したことが判定でき、不安定な画像
で車両検出結果が誤る時には車両検出結果を0とするこ
とで、誤った車両検出結果となることを防ぐことができ
る。
As described above, according to the present embodiment, the color distribution within the divided area is also determined, so that
It can be determined that the visibility is deteriorated due to fog or the like, and when the vehicle detection result is erroneous in an unstable image, the vehicle detection result is set to 0, thereby preventing an erroneous vehicle detection result.

【0050】実施の形態4.上記実施の形態1では、現
在の画像特徴から外部環境を判定したが、本実施の形態
では異なる時刻の画像特徴をそれぞれ有し、現時刻に最
も時刻の近い画像特徴を基準画像特徴として、この基準
画像特徴と現在の画像特徴とから外部環境を判定するよ
うにした。
Fourth Embodiment In the first embodiment, the external environment is determined based on the current image feature. However, in the present embodiment, the image feature having different image times and having the closest time to the current time is provided. With the feature as a reference image feature, an external environment is determined from the reference image feature and the current image feature.

【0051】実施の形態4の構成を示すブロック図は実
施の形態1と同一であるが、画像特徴抽出手段2及び外
部環境判定手段4の構成及び動作が異なる。図6は外部
環境判定手段の動作を説明する図である。図において2
0は予め求められた昼の時間毎の画像特徴、21は予め
求められた夜の時間毎の画像特徴、22は予め求められ
た薄暮の時間毎の画像特徴、23は予め求められた大雨
の時間毎の画像特徴、24は予め求められた霧の時間毎
の画像特徴、25は昼の画像特徴が保存された時間帯、
26は夜の画像特徴が保存された時間帯、27は薄暮の
画像特徴が保存された時間帯、28は大雨の画像特徴が
保存された時間帯、29は霧の画像特徴が保存された時
間帯であり、これ等が画像特徴テーブル(20〜24)
として、外部環境判定手段4に保存されている。図7は
本実施の形態の動作を説明するフローチャートである。
Although the block diagram showing the configuration of the fourth embodiment is the same as that of the first embodiment, the configurations and operations of the image feature extraction means 2 and the external environment judgment means 4 are different. FIG. 6 is a diagram for explaining the operation of the external environment determining means. 2 in the figure
0 is a previously obtained image feature for each daytime, 21 is a previously obtained image feature for each night time, 22 is a previously obtained image feature for each hour of dusk, and 23 is a previously calculated heavy rainfall image feature. 24, the image feature for each time of the fog obtained in advance, 25 is the time zone in which the image feature for the day is stored,
26 is a time zone where night image features are stored, 27 is a time zone where dusk image features are stored, 28 is a time zone where heavy rain image features are stored, and 29 is a time zone where fog image features are stored. Bands, which are image feature tables (20 to 24)
Is stored in the external environment determination means 4. FIG. 7 is a flowchart illustrating the operation of the present embodiment.

【0052】次に本実施の形態の動作を説明する。画像
入力手段1、画像分割手段3、背景差分検出手段5、動
体検出手段6、動体追跡手段7、背景画像更新手段8の
動作は実施の形態1と同一である。図7のフローチャー
トを用いて画像特徴抽出手段2、外部環境判定手段4の
動作を説明する。
Next, the operation of this embodiment will be described. The operations of the image input unit 1, the image dividing unit 3, the background difference detecting unit 5, the moving object detecting unit 6, the moving object tracking unit 7, and the background image updating unit 8 are the same as those in the first embodiment. The operation of the image feature extraction unit 2 and the external environment determination unit 4 will be described with reference to the flowchart of FIG.

【0053】ステップS31では画像特徴抽出手段2は
入力画像における部分領域の画像特徴を求める。ステッ
プS32では外部環境判定手段4は予め求められた画像
特徴、例えば昼・夜・薄暮・大雨・霧における時刻毎時
0分の画像特徴と画像特徴抽出手段2で得られた画像特
徴とを比較する。具体的には、例えば昼・夜・薄暮・大
雨・霧における画像特徴テーブル(20〜24)を予め
求めておく。但し、昼・夜・薄暮での保存時間帯(25
〜27)以外では、画像特徴は0とする。現在時刻が1
2時14分の場合は時刻12時00分の昼・夜・薄暮・
大雨・霧状況での画像特徴テーブル値(20〜24)と
前記ステップS31で求めた入力画像部分領域の画像特
徴間の差分を求め、最も差分値が小さい画像特徴を得
る。ステップS33では該差分値最小の画像特徴テーブ
ルに対応する気象条件を現在の外部環境とする。
In step S31, the image feature extracting means 2 obtains image features of a partial area in the input image. In step S32, the external environment determining means 4 compares the image features obtained in advance, for example, the image features obtained by the image feature extracting means 2 with the hourly hourly hour in day / night / dusk / heavy rain / fog. . Specifically, for example, the image feature tables (20 to 24) for day / night / dusk / heavy rain / fog are obtained in advance. However, during day / night / dusk storage time (25
Except for (27), the image feature is set to 0. Current time is 1
In the case of 2:14, 12:00 noon, night, twilight,
The difference between the image feature table value (20 to 24) under heavy rain / fog conditions and the image feature of the input image partial area obtained in step S31 is obtained, and the image feature with the smallest difference value is obtained. In step S33, the weather condition corresponding to the image feature table having the minimum difference value is set as the current external environment.

【0054】以上のように、本実施の形態によれば、異
なる時刻の画像特徴を予め求めておき、現時刻に最も時
刻の近い記憶画像特徴を基準画像特徴として、この基準
画像特徴と現在の画像特徴とから外部環境を判定するよ
うにしたので、薄暮時のような日没による日照変動に伴
う画像特徴の変動に対してもより精度よく外部環境を判
定することができるようになる。
As described above, according to the present embodiment, the image features at different times are obtained in advance, and the stored image feature closest to the current time is set as the reference image feature, and this reference image feature and the current Since the external environment is determined from the image characteristics, the external environment can be determined with higher accuracy even when the image characteristics fluctuate due to sunshine fluctuation due to sunset such as at twilight.

【0055】実施の形態5.上記実施の形態4では、外
部環境判定手段4は現在時刻に最も時刻の近い予め保存
した画像特徴から判定するようにしたが、本実施の形態
ではさらに現在時刻に近い複数時刻の画像特徴から判定
するようにした。
Fifth Embodiment In the fourth embodiment, the external environment determination means 4 makes a determination based on a pre-stored image feature closest to the current time. Judgment was made from image features at a plurality of close times.

【0056】実施の形態5の構成を示すブロック図は実
施の形態1と同一であるが、画像特徴抽出手段2及び外
部環境判定手段4の動作が異なる。図8は本実施の形態
の動作を説明するフローチャートである。
The block diagram showing the structure of the fifth embodiment is the same as that of the first embodiment, but the operations of the image feature extraction means 2 and the external environment judgment means 4 are different. FIG. 8 is a flowchart illustrating the operation of the present embodiment.

【0057】次に本実施の形態の動作を説明する。画像
入力手段1、画像分割手段3、背景差分検出手段5、動
体検出手段6、動体追跡手段7、背景画像更新手段8の
動作は実施の形態1と同一である。図8のフローチャー
トを用いて画像特徴抽出手段2、外部環境判定手段4の
動作を説明する。
Next, the operation of this embodiment will be described. The operations of the image input unit 1, the image dividing unit 3, the background difference detecting unit 5, the moving object detecting unit 6, the moving object tracking unit 7, and the background image updating unit 8 are the same as those in the first embodiment. The operation of the image feature extraction unit 2 and the external environment determination unit 4 will be described with reference to the flowchart of FIG.

【0058】ステップS41では画像特徴抽出手段2は
入力画像部分領域の画像特徴を求める。ステップS42
では外部環境判定手段4は予め求められ外部環境判定手
段4に保存されている画像特徴、例えば昼・夜・薄暮・
小雨・大雨・霧における時刻毎時0分の画像特徴と画像
特徴抽出手段2で得られた画像特徴とを比較する。具体
的には、現在時刻が12時14分の場合は時刻12時0
0分および時刻11時00分と時刻13時00分の昼・
夜・薄暮・小雨・大雨・霧状況での画像特徴と前記ステ
ップS41で求めた画像特徴間の差分を求め、最も差分
値が小さい画像特徴を得る。ステップS43では該差分
値最小の画像特徴に対応する気象条件を現在の外部環境
とする。
In step S41, the image feature extracting means 2 obtains an image feature of the input image partial area. Step S42
Then, the external environment determining means 4 obtains image features obtained in advance and stored in the external environment determining means 4, such as day / night / dusk /
The image feature obtained at 0 hour / hour in light rain, heavy rain, and fog is compared with the image feature obtained by the image feature extraction means 2. Specifically, if the current time is 12:14, the time is 12: 0
Noon at 0 minutes and at 11:00 and 13:00
The difference between the image feature in the night / dusk / light rain / heavy rain / fog situation and the image feature obtained in step S41 is obtained, and the image feature having the smallest difference value is obtained. In step S43, the weather condition corresponding to the image feature having the smallest difference value is set as the current external environment.

【0059】以上のように、本実施の形態によれば、異
なる時刻の画像特徴を有し、現時刻に近い複数の画像特
徴を基準画像特徴として、この基準画像特徴と現在の画
像特徴とから外部環境を判定するするようにしたので、
季節による日照変動がある場合でもより精度よく外部環
境を判定することができる。
As described above, according to the present embodiment, a plurality of image features having image features at different times and close to the current time are set as reference image features, and the reference image features and the current image features are used. Because we decided to judge the external environment,
The external environment can be determined with higher accuracy even when there is seasonal variation in sunshine.

【0060】実施の形態6.上記実施の形態1では、定
めた分割領域全てにおいて外部環境を判定するようにし
たが、本実施の形態では予め検出された動体領域と重複
する分割領域を判定対象から除外するようにした。
Sixth Embodiment In the first embodiment, the external environment is determined in all of the defined divided regions. In the present embodiment, however, a divided region overlapping with a previously detected moving object region is determined. To be excluded from

【0061】実施の形態6の構成を示すブロック図は実
施の形態1と同一であるが、画像特徴抽出手段2及び外
部環境判定手段4の動作が異なる。図9は本実施の形態
の動作を説明するフローチャートである。
The block diagram showing the configuration of the sixth embodiment is the same as that of the first embodiment, but the operations of the image feature extraction means 2 and the external environment judgment means 4 are different. FIG. 9 is a flowchart illustrating the operation of the present embodiment.

【0062】次に本実施の形態の動作を説明する。画像
入力手段1、画像分割手段3、背景差分検出手段5、動
体検出手段6、動体追跡手段7、背景画像更新手段8の
動作は実施の形態1と同一である。図9のフローチャー
トを用いて画像特徴抽出手段2、外部環境判定手段4の
動作を説明する。
Next, the operation of this embodiment will be described. The operations of the image input unit 1, the image dividing unit 3, the background difference detecting unit 5, the moving object detecting unit 6, the moving object tracking unit 7, and the background image updating unit 8 are the same as those in the first embodiment. The operation of the image feature extraction unit 2 and the external environment determination unit 4 will be described with reference to the flowchart of FIG.

【0063】ステップS51では画像特徴抽出手段2は
前回実行時の動体検出手段6の結果に基づいて、動体が
存在する部分領域を画像特徴算出対象から除外し、実施
の形態1と同様に画像特徴を求める。例えば除外された
部分領域の画像特徴を負値(-1)とする。ステップS5
2にて外部環境判定手段4は動体が存在する部分領域を
画像特徴算出対象から除外し、実施の形態1と同様に外
部環境を判定する。例えば前記部分領域の画像特徴が負
値(-1)の時は判定対象としない様にする。
In step S51, based on the result of the moving object detecting means 6 at the previous execution, the image feature extracting means 2 excludes the partial area where the moving object is present from the image feature calculation target, and performs the image feature calculating as in the first embodiment. Ask for. For example, the image feature of the excluded partial area is set to a negative value (-1). Step S5
In 2, the external environment determination unit 4 excludes the partial area where the moving object exists from the image feature calculation target, and determines the external environment as in the first embodiment. For example, when the image feature of the partial area is a negative value (-1), it is not determined to be a determination target.

【0064】以上のように、本実施の形態によれば、予
め検出された動体領域と重複する分割領域を判定対象か
ら除外するようにしたので、動体部の画像特徴が誤って
判定対象とならず誤った外部環境の判定を低減すること
ができ、外部環境判定手段4の処理量を低減することが
できる。
As described above, according to the present embodiment, the divided area overlapping with the previously detected moving object area is excluded from the judgment object, so that if the image feature of the moving object part is erroneously judged as the judgment object, Therefore, it is possible to reduce the erroneous determination of the external environment, and it is possible to reduce the processing amount of the external environment determination unit 4.

【0065】[0065]

【発明の効果】以上のように、この発明によれば、任意
の路面以外の領域を含む部分領域の画像情報により個々
に所定の基準と比較し、この比較結果に基づいて外部環
境を判定するようにしたので車両のヘッドライトや街灯
による外部環境を誤判定することがなくなる。
As described above, according to the present invention, an external environment is determined based on the comparison result by individually comparing the image information of a partial area including an area other than an arbitrary road surface with a predetermined reference. This eliminates the possibility of erroneously determining the external environment due to the headlights and street lights of the vehicle.

【0066】また、別な発明によれば、予め異なる時刻
の画像特徴と比較して、大きく異なる分割領域のみを外
部環境判定手段の判定対象とするようにしたので、わず
かな日照変動で誤って外部環境を判定することがなくな
る。
According to another aspect of the present invention, only the divided regions that are significantly different from the image features at different times are set as the determination targets of the external environment determining means, so that a slight change in the sun may cause an error. There is no need to determine the external environment.

【0067】また、別な発明によれば、分割領域内での
色分布でも判定するようにしたので、雨・霧などで視程
が悪化したことが判定でき、不安定な画像で車両検出結
果が誤る時には車両検出結果を0とすることで、誤った
車両検出結果となることを防ぐことができる。
According to another aspect of the present invention, the determination is also made based on the color distribution in the divided area. Therefore, it is possible to determine that the visibility is deteriorated due to rain, fog, etc. When an error occurs, the vehicle detection result is set to 0, thereby preventing an incorrect vehicle detection result.

【0068】また、別な発明によれば、異なる時刻の画
像特徴を予め求めておき、現時刻に最も時刻の近い記憶
画像特徴を基準画像特徴として、この基準画像特徴と現
在の画像特徴とから外部環境を判定するようにしたの
で、薄暮時のような日没による日照変動に伴う画像特徴
の変動に対してもより精度よく外部環境を判定すること
ができるようになる。
According to another aspect of the present invention, image features at different times are obtained in advance, and a stored image feature closest to the current time is set as a reference image feature. Since the external environment is determined, it is possible to determine the external environment with higher accuracy even when image characteristics change due to sunshine fluctuation due to sunset such as at twilight.

【0069】また、別な発明によれば、異なる時刻の画
像特徴を有し、現時刻に近い複数の画像特徴を基準画像
特徴として、この基準画像特徴と現在の画像特徴とから
外部環境を判定するするようにしたので、季節による日
照変動がある場合でもより精度よく外部環境を判定する
ことができる。
According to another aspect of the present invention, a plurality of image features having image features at different times and close to the current time are set as reference image features, and the external environment is determined from the reference image features and the current image features. Therefore, the external environment can be determined more accurately even when there is a seasonal variation in sunshine.

【0070】また、別な発明によれば、予め検出された
動体領域と重複する分割領域を判定対象から除外するよ
うにしたので、動体部の画像特徴が誤って判定対象とな
らず誤った外部環境の判定を低減することができ、外部
環境判定手段4の処理量を低減することができる。
According to another aspect of the present invention, a divided region overlapping with a moving body region detected in advance is excluded from the determination target, so that the image feature of the moving body part is not erroneously determined as a determination target and an erroneous external feature is determined. The determination of the environment can be reduced, and the processing amount of the external environment determining means 4 can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 この発明の実施の形態1の構成図である。FIG. 1 is a configuration diagram of a first embodiment of the present invention.

【図2】 実施の形態1における動体検出手段6の説明
図である。
FIG. 2 is an explanatory diagram of a moving object detecting means 6 according to the first embodiment.

【図3】 実施の形態1の動作を説明するフローチャー
トである。
FIG. 3 is a flowchart illustrating the operation of the first embodiment.

【図4】 実施の形態2の動作を説明する図4のフロー
チャートである。
FIG. 4 is a flowchart of FIG. 4 for explaining the operation of the second embodiment.

【図5】 実施の形態3の動作を説明するフローチャー
トである。
FIG. 5 is a flowchart illustrating the operation of the third embodiment.

【図6】 実施の形態4における外部環境判定手段の動
作を説明する図である。
FIG. 6 is a diagram illustrating an operation of an external environment determination unit according to the fourth embodiment.

【図7】 実施の形態4の動作を説明するフローチャー
トである。
FIG. 7 is a flowchart illustrating the operation of the fourth embodiment.

【図8】 実施の形態5の動作を説明するフローチャー
トである。
FIG. 8 is a flowchart illustrating the operation of the fifth embodiment.

【図9】 実施の形態6の動作を説明するフローチャー
トである。
FIG. 9 is a flowchart illustrating the operation of the sixth embodiment.

【図10】 従来の交通監視装置の構成図である。FIG. 10 is a configuration diagram of a conventional traffic monitoring device.

【図11】 従来の交通監視装置の車両検出方法を説明
する図である。
FIG. 11 is a diagram illustrating a vehicle detection method of a conventional traffic monitoring device.

【図12】 従来の交通監視装置の動作を説明するフロ
ーチャートである。
FIG. 12 is a flowchart illustrating the operation of a conventional traffic monitoring device.

【符号の説明】[Explanation of symbols]

1:画像入力手段、2:画像特徴抽出手段、3:画像分
割手段、4:外部環境判定手段、5:背景差分検出手
段、6:動体検出手段、7:動体追跡手段、8:背景画
像更新手段、10,11:時刻t−1における動体領
域、12,13:時刻tにおける動体領域。
1: image input means, 2: image feature extraction means, 3: image division means, 4: external environment determination means, 5: background difference detection means, 6: moving object detection means, 7: moving object tracking means, 8: background image update Means 10, 11: moving body region at time t-1, 12, 13: moving body region at time t.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA16 BA02 CA01 CA08 CA12 CA16 DA06 DB02 DB06 DB09 DC25 DC32 5H180 AA01 CC04 DD03 5L096 AA02 AA06 BA04 CA02 FA32 GA06 GA08 GA19 HA03  ────────────────────────────────────────────────── ─── Continued on the front page F term (reference) 5B057 AA16 BA02 CA01 CA08 CA12 CA16 DA06 DB02 DB06 DB09 DC25 DC32 5H180 AA01 CC04 DD03 5L096 AA02 AA06 BA04 CA02 FA32 GA06 GA08 GA19 HA03

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 撮像された車両画像を入力する画像入力
手段と、画像入力手段からの入力画像を所定サイズで分
割する画像分割手段と、前記分割領域内での画像特徴を
得る画像特徴抽出手段と、前記画像特徴により撮像対象
の外部環境を判定する外部環境判定手段と、予め撮像さ
れ保存された背景画像と前記入力画像から背景差分画像
を生成する背景差分生成手段と、前記背景差分画像より
動体を検出する動体検出手段と、動体を追跡する動体追
跡手段とを備えることを特徴とする交通監視装置。
1. An image input unit for inputting a captured vehicle image, an image dividing unit for dividing an input image from the image input unit into a predetermined size, and an image feature extracting unit for obtaining an image feature in the divided area. An external environment determination unit that determines an external environment of an imaging target based on the image characteristics; a background difference image generation unit that generates a background difference image from a previously captured and stored background image and the input image; A traffic monitoring device, comprising: a moving object detection unit that detects a moving object; and a moving object tracking unit that tracks the moving object.
【請求項2】 前記外部環境判定手段は、異なる時刻で
背景画像の特徴が大きく異なる分割領域のみを判定対象
とする構成にされたことを特徴とする請求項1記載の交
通監視装置。
2. The traffic monitoring device according to claim 1, wherein the external environment determination unit is configured to determine only the divided regions having significantly different features of the background image at different times.
【請求項3】 前記画像特徴抽出手段は、画像のRGB
値から色相と輝度の分布を抽出し、前記外部環境判定手
段は雨・霧等での視程悪化状態を輝度と色相とで判定す
るように構成されたことを特徴とする請求項1記載の交
通監視装置。
3. The image feature extracting means according to claim 1, wherein said image feature extracting means comprises an RGB
The traffic according to claim 1, wherein a distribution of hue and luminance is extracted from the value, and the external environment determining means is configured to determine a visibility deterioration state by rain and fog based on the luminance and the hue. Monitoring device.
【請求項4】 前記画像特徴抽出手段は、異なる複数の
時刻における背景画像特徴をそれぞれ予め保持し、現時
刻に最も近い時刻の背景画像特徴を基準画像特徴とし
て、外部環境判定手段はこの基準画像特徴と現在の画像
特徴とから外部環境を判定するように構成されたことを
特徴とする請求項1記載の交通監視装置。
4. The image feature extraction means holds in advance the background image features at a plurality of different times, and sets the background image feature at the time closest to the current time as the reference image feature, 2. The traffic monitoring apparatus according to claim 1, wherein an external environment is determined from the features and the current image features.
【請求項5】 前記画像特徴抽出手段は、予め異なる時
刻の背景画像特徴を保持し、現時刻に近い複数時刻の背
景画像特徴を基準画像特徴とし、外部環境判定手段はこ
の複数の基準画像特徴と現在の画像特徴とから外部環境
を判定するように構成されたことを特徴とする請求項4
記載の交通監視装置。
5. The image feature extracting means holds background image features at different times in advance, sets background image features at a plurality of times close to the current time as reference image features, and the external environment determining means includes the plurality of reference image features. 5. The method according to claim 4, wherein the external environment is determined from the current image characteristics and the current image characteristics.
The traffic monitoring device as described.
【請求項6】 前記外部環境判定手段は、前記動体検出
手段において動体として検出された領域の画像特徴を判
定対象から除外する構成にされたことを特徴とする請求
項1〜5の何れかに記載の交通監視装置。
6. The apparatus according to claim 1, wherein said external environment determining means excludes image characteristics of a region detected as a moving object by said moving object detecting means from a determination target. The traffic monitoring device as described.
JP2000270261A 2000-09-06 2000-09-06 Traffic monitoring device Pending JP2002083301A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000270261A JP2002083301A (en) 2000-09-06 2000-09-06 Traffic monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000270261A JP2002083301A (en) 2000-09-06 2000-09-06 Traffic monitoring device

Publications (1)

Publication Number Publication Date
JP2002083301A true JP2002083301A (en) 2002-03-22

Family

ID=18756727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000270261A Pending JP2002083301A (en) 2000-09-06 2000-09-06 Traffic monitoring device

Country Status (1)

Country Link
JP (1) JP2002083301A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329762A (en) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller
JP2008033872A (en) * 2006-07-04 2008-02-14 Denso Corp Visibility condition determining device for vehicle
JP2008077379A (en) * 2006-09-21 2008-04-03 Seiko Epson Corp Image detection device, image detection method, and image detection program
JP2008165743A (en) * 2006-12-29 2008-07-17 Alpine Electronics Inc Day and night image discriminating method, and device
JP2010006295A (en) * 2008-06-30 2010-01-14 Kobe Steel Ltd Falling object detection device, mobile body, and falling object detection method
JP2010178036A (en) * 2009-01-29 2010-08-12 Victor Co Of Japan Ltd Imaging apparatus and imaging method
JP2011123726A (en) * 2009-12-11 2011-06-23 Mitsubishi Electric Corp Image processing device for monitoring
JP2013108671A (en) * 2011-11-21 2013-06-06 Mitsubishi Electric Corp Method and device for recognition of room shape, and air conditioner using the same
JP2013171319A (en) * 2012-02-17 2013-09-02 Toshiba Corp Vehicle state detection device, vehicle behavior detection device and vehicle state detection method
JP2013235444A (en) * 2012-05-09 2013-11-21 Denso Corp Vehicle view support apparatus
TWI420429B (en) * 2011-02-24 2013-12-21 Chunghwa Telecom Co Ltd Night traffic detection method combined with fuzzy theory
CN103826102A (en) * 2014-02-24 2014-05-28 深圳市华宝电子科技有限公司 Recognition method and device of moving object
JP2016029534A (en) * 2014-07-25 2016-03-03 株式会社ソシオネクスト Mist image determination device and determination method
CN107046757A (en) * 2017-02-23 2017-08-15 湖南农业大学 Adaptive street lamp communication system and method
CN109255349A (en) * 2017-07-14 2019-01-22 富士通株式会社 Object detection method, device and image processing equipment
WO2021140601A1 (en) * 2020-01-09 2021-07-15 オリンパス株式会社 Image processing system, endoscope system, and image processing method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329762A (en) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd Apparatus and method for detecting object candidate area, walker recognition apparatus, and vehicle controller
JP2008033872A (en) * 2006-07-04 2008-02-14 Denso Corp Visibility condition determining device for vehicle
JP4730267B2 (en) * 2006-07-04 2011-07-20 株式会社デンソー Visibility state determination device for vehicle
JP2008077379A (en) * 2006-09-21 2008-04-03 Seiko Epson Corp Image detection device, image detection method, and image detection program
JP2008165743A (en) * 2006-12-29 2008-07-17 Alpine Electronics Inc Day and night image discriminating method, and device
JP2010006295A (en) * 2008-06-30 2010-01-14 Kobe Steel Ltd Falling object detection device, mobile body, and falling object detection method
JP2010178036A (en) * 2009-01-29 2010-08-12 Victor Co Of Japan Ltd Imaging apparatus and imaging method
JP2011123726A (en) * 2009-12-11 2011-06-23 Mitsubishi Electric Corp Image processing device for monitoring
TWI420429B (en) * 2011-02-24 2013-12-21 Chunghwa Telecom Co Ltd Night traffic detection method combined with fuzzy theory
JP2013108671A (en) * 2011-11-21 2013-06-06 Mitsubishi Electric Corp Method and device for recognition of room shape, and air conditioner using the same
JP2013171319A (en) * 2012-02-17 2013-09-02 Toshiba Corp Vehicle state detection device, vehicle behavior detection device and vehicle state detection method
JP2013235444A (en) * 2012-05-09 2013-11-21 Denso Corp Vehicle view support apparatus
CN103826102A (en) * 2014-02-24 2014-05-28 深圳市华宝电子科技有限公司 Recognition method and device of moving object
JP2016029534A (en) * 2014-07-25 2016-03-03 株式会社ソシオネクスト Mist image determination device and determination method
CN107046757A (en) * 2017-02-23 2017-08-15 湖南农业大学 Adaptive street lamp communication system and method
CN109255349A (en) * 2017-07-14 2019-01-22 富士通株式会社 Object detection method, device and image processing equipment
CN109255349B (en) * 2017-07-14 2021-11-23 富士通株式会社 Target detection method and device and image processing equipment
WO2021140601A1 (en) * 2020-01-09 2021-07-15 オリンパス株式会社 Image processing system, endoscope system, and image processing method

Similar Documents

Publication Publication Date Title
JP2002083301A (en) Traffic monitoring device
KR101511853B1 (en) Night-time vehicle detection and positioning system and method using multi-exposure single camera
Diaz-Cabrera et al. Robust real-time traffic light detection and distance estimation using a single camera
EP1962226B1 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
CN106934808B (en) Method for identifying and tracking tail lamp of automobile headlight under visual perception
US7949190B2 (en) Real-time nighttime vehicle detection and recognition system based on computer vision
US7566851B2 (en) Headlight, taillight and streetlight detection
KR101370215B1 (en) Method for controlling a headlight arrangement for a vehicle and such a headlight arrangement
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
JP5409929B2 (en) Control method for headlight device for vehicle and headlight device
Alcantarilla et al. Night time vehicle detection for driving assistance lightbeam controller
CN110450706B (en) Self-adaptive high beam control system and image processing algorithm
US20130027511A1 (en) Onboard Environment Recognition System
CN107506760A (en) Traffic signals detection method and system based on GPS location and visual pattern processing
CN105303160A (en) Method for detecting and tracking vehicles at night
US10922827B2 (en) Distance estimation of vehicle headlights
CN110688907A (en) Method and device for identifying object based on road light source at night
CN110084111A (en) A kind of quick vehicle detection at night method applied to adaptive high beam
CN112348813A (en) Night vehicle detection method and device integrating radar and vehicle lamp detection
CN111027494A (en) Matrix vehicle lamp identification method based on computer vision
CN106407895A (en) Vehicle shadow detection algorithm based on image gray and Lab color space
KR101026778B1 (en) Vehicle image detection apparatus
CN110969647B (en) Method for integrating identification tracking and car lamp detection of vehicle
JP2003196786A (en) Method and device for detecting moving object
CN107066929B (en) Hierarchical recognition method for parking events of expressway tunnel integrating multiple characteristics

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040630