JP2007235952A - Method and device for tracking vehicle - Google Patents

Method and device for tracking vehicle Download PDF

Info

Publication number
JP2007235952A
JP2007235952A JP2007043723A JP2007043723A JP2007235952A JP 2007235952 A JP2007235952 A JP 2007235952A JP 2007043723 A JP2007043723 A JP 2007043723A JP 2007043723 A JP2007043723 A JP 2007043723A JP 2007235952 A JP2007235952 A JP 2007235952A
Authority
JP
Japan
Prior art keywords
vehicle
frame image
tracking
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007043723A
Other languages
Japanese (ja)
Other versions
JP4877801B2 (en
Inventor
Wei Ryo
ウェイ リョ
Rinrin Jiu
リンリン ジゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Publication of JP2007235952A publication Critical patent/JP2007235952A/en
Application granted granted Critical
Publication of JP4877801B2 publication Critical patent/JP4877801B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and a device for tracking vehicle that can track the vehicle, even in various vehicle travel states and are based on vehicle state classification. <P>SOLUTION: The vehicle tracking method for tracking a vehicle includes a step for acquiring one frame image; a step for determining a region for enabling the vehicle to exist in the acquired frame image by estimating the motion of the vehicle, based on information on the position of the vehicle in previous frame images and the size; a step for determining the vehicle state classification; and a step for processing the image data of the region for enabling the vehicle to exist by the tracking method, according to the determined vehicle state classification and for determining the position and size of the vehicle in the acquired frame image. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両追跡方法及び装置に係り、特に、車両状態分類に基づく追跡方法により車両を追跡する車両追跡方法及び装置に関する。   The present invention relates to a vehicle tracking method and apparatus, and more particularly to a vehicle tracking method and apparatus for tracking a vehicle by a tracking method based on vehicle state classification.

従来より車両追跡分野においては、多くの車両追跡方法が提案され、主に、テンプレートマッチング追跡方法（相関追跡ともいう）、特徴に基づく追跡方法、及びオプティカルフロー法追跡方法が提案されている。
テンプレートマッチング追跡方法(非特許文献１，２)は、伝統的な追跡方法であり、テンプレートとマッチング領域との相似度合を計算して、最も相似している位置をマッチング点とする技術である。テンプレートマッチング追跡方法は、安定性がよく、原理が簡単で、車両が正常運転状態、遮られる状態にある場合の追跡を行うことができる利点がある。しかし、テンプレートマッチング追跡方法は、計算方法のリアルタイム性が悪く、車両の画像が変形する時（例えば車両が曲がる時）、又は照光条件が変化する時に、追跡の効果が悪いという欠点がある。このため、テンプレートマッチング位置についてエッジ検出を行い、テンプレート画像の位置補正を行う技術も提案されている(特許文献１)。 Conventionally, in the field of vehicle tracking, many vehicle tracking methods have been proposed, and mainly a template matching tracking method (also referred to as correlation tracking), a feature-based tracking method, and an optical flow method tracking method have been proposed.
The template matching tracking method (Non-Patent Documents 1 and 2) is a traditional tracking method, and is a technique for calculating the similarity degree between a template and a matching area and using the most similar position as a matching point. The template matching tracking method is advantageous in that the stability is good, the principle is simple, and tracking is possible when the vehicle is in a normal driving state or in a blocked state. However, the template matching tracking method has a drawback in that the calculation method is poor in real time, and the tracking effect is poor when the image of the vehicle is deformed (for example, when the vehicle is bent) or when the illumination conditions are changed. For this reason, a technique for detecting the edge of the template matching position and correcting the position of the template image has also been proposed (Patent Document 1).

一方、特徴に基づく追跡方法は、まず、１つのフレーム画像から幾つかの車両特徴を選定し、次に、その後の各フレーム画像において幾つかの制約条件でこれら車両特徴を探すとともに、マッチングを行う技術である。かかる特徴に基づく従来技術として、車両のコーナーの特徴を抽出すると共に該車両の次の時刻の状況を予測し、該予測したデータと次の時刻の車両状態を比較し、比較結果に基づいて車両の追跡を行う方法が提案されている(非特許文献３)。また、離れた車両を認識するために着目画像の水平エッジマップと垂直エッジマップを取得し、しかる後、各マップより着目画像の左、右、上、下の各エッジを求め、エッジより計算される縦横のアスペクト比が１に近い物を車両候補とみなし、かつ、該候補の4隅画像と車両テンプレートとの相関演算により相関値が大きければ車両であると認識する方法も提案されている(非特許文献４)。さらに、検出した特長(車両のシルエット、微分画像)に基づき、特徴データメモリに記憶されている車両の特徴データを参照して車両の車種(大型/小型、貨物/乗用など)を判別して追跡する技術が提案されている(特許文献2)。しかし、特徴に基づく追跡方法は、追跡速度が速いという利点があるが、フレーム画像における車両特徴が明らかでない場合に、追跡を連続して行えず、追跡が途絶えることがある。
オプティカルフロー法追跡方法は、フレーム画像上の車両の輝度モードが車両の運動に従って変化しない原理に基づいて、車両を追跡する。そのため、前後のフレーム画像についてオプティカルフロー分析を行うことによって、車両の検知及び追跡の目的を達成可能である。オプティカルフロー法追跡方法は、車両のフレーム画像間の運動範囲に対する制限が少なく、車両がフレーム画像の間に大きく転移する場合に実行可能であるという利点がある。しかし、計算方法がかなり複雑で雑音抵抗性能が悪く、リアルタイム性が悪いという欠点がある。
特開２００１−６０２６３号公報 特開平１１−３５３５８１号公報 "Vehicle Tracking Using Template Matching based on Feature Points" Jong-Ho Choi, Kang-Ho Lee, Kuk-Chan Cha, Jun-Sik Kwon, Dong-Wook Kim, Ho-Keum Song, Information Reuse and Integration, 2006 IEEE International Conference on Publication , Sept. 2006, page 573−577 "A Platform for Robust Real-time Vehicle Tracking Using Decomposed Temparatures" M.B. van Leeuwen, F.C.A. Groen ”Vehicles Tracking Based on Corner Feature in Video-based ITS", 2006 6th International Conference on ITS Telecommunications Proceedings, Lei Xie, Guangxi Zhu, Miao Tang, Haixiang Xu, Zhenming Zhang, page 163-166 ”Real-time multiple vehicle detection and tracking from a moving vehicle" Margrit Betke, Esin Haritaoglu, Larry S. Davis, Machine Vision and Applications (2000) 12: 69-83, page 69-83, On the other hand, in the feature-based tracking method, first, several vehicle features are selected from one frame image, and then, in each subsequent frame image, these vehicle features are searched with some constraints and matching is performed. Technology. As a conventional technique based on such features, the feature of the corner of the vehicle is extracted, the situation at the next time of the vehicle is predicted, the predicted data is compared with the vehicle state at the next time, and the vehicle is based on the comparison result. Has been proposed (Non-Patent Document 3). In addition, the horizontal edge map and vertical edge map of the image of interest are acquired in order to recognize a distant vehicle, and then the left, right, top and bottom edges of the image of interest are obtained from each map and calculated from the edges. A method is also proposed in which an object having a vertical and horizontal aspect ratio close to 1 is regarded as a vehicle candidate, and if the correlation value between the four corner images of the candidate and the vehicle template is large, the vehicle is recognized as a vehicle ( Non-patent document 4). Furthermore, based on the detected features (vehicle silhouette, differential image), the vehicle type (large / small, cargo / passenger, etc.) is identified and tracked by referring to the vehicle feature data stored in the feature data memory. A technique has been proposed (Patent Document 2). However, the feature-based tracking method has an advantage that the tracking speed is fast, but when the vehicle feature in the frame image is not clear, the tracking cannot be continuously performed and the tracking may be interrupted.
The optical flow method tracking method tracks the vehicle based on the principle that the luminance mode of the vehicle on the frame image does not change according to the motion of the vehicle. Therefore, the purpose of vehicle detection and tracking can be achieved by performing optical flow analysis on the front and rear frame images. The optical flow method tracking method has an advantage that it is feasible when there is little restriction on the range of motion between frame images of the vehicle, and the vehicle makes a large transition between the frame images. However, the calculation method is considerably complicated, noise resistance performance is poor, and real-time characteristics are poor.
JP 2001-60263 A JP-A-11-353581 "Vehicle Tracking Using Template Matching based on Feature Points" Jong-Ho Choi, Kang-Ho Lee, Kuk-Chan Cha, Jun-Sik Kwon, Dong-Wook Kim, Ho-Keum Song, Information Reuse and Integration, 2006 IEEE International Conference on Publication, Sept. 2006, page 573−577 "A Platform for Robust Real-time Vehicle Tracking Using Decomposed Temparatures" MB van Leeuwen, FCA Groen “Vehicles Tracking Based on Corner Feature in Video-based ITS”, 2006 6th International Conference on ITS Telecommunications Proceedings, Lei Xie, Guangxi Zhu, Miao Tang, Haixiang Xu, Zhenming Zhang, page 163-166 "Real-time multiple vehicle detection and tracking from a moving vehicle" Margrit Betke, Esin Haritaoglu, Larry S. Davis, Machine Vision and Applications (2000) 12: 69-83, page 69-83,

以上のように、各追跡方法は、それぞれある特定の所定状態において車両を追跡する際に用いられる。しかし、実際的に車両は、いろいろな状態をとりつつ走行しており、前記何れか１つの追跡方法だけでは、種々の状態に対応することができない。
また、車両がトンネル又は橋脚の間の空間に入ったような特殊な場合には（車両の大部分の特徴が消失する）、前記何れの追跡方法でも車両を上手に追跡することができない。
以上より、本発明の目的は、車両の走行場面に基づいて車両の走行状態を分類し、走行状態に応じた追跡方法を用いて追跡することにより、種々の走行状態においても車両を正しく追跡できる車両追跡方法及び装置を提供することである。
また、本発明の別の目的は、陰の場面に走行する車両をうまく追跡できる車両状態分類に基づく車両追跡方法及び装置を提供することである。 As described above, each tracking method is used when tracking a vehicle in a specific predetermined state. However, the vehicle actually travels in various states, and it is impossible to cope with various states by only one of the tracking methods.
In a special case where the vehicle enters a space between a tunnel or a pier (most of the characteristics of the vehicle disappear), the vehicle cannot be tracked well by any of the above tracking methods.
As described above, an object of the present invention is to correctly track a vehicle even in various traveling states by classifying the traveling state of the vehicle based on the traveling scene of the vehicle and tracking using the tracking method according to the traveling state. It is to provide a vehicle tracking method and apparatus.
Another object of the present invention is to provide a vehicle tracking method and apparatus based on vehicle state classification that can successfully track a vehicle traveling in a shadow scene.

本発明の第1の態様は車両を追跡する車両追跡方法であり、（ａ）一つのフレーム画像を取得するステップと、（ｂ）車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在可能な領域を決定するステップと、（ｃ）前記車両の状態分類を決定するステップと、（ｄ）該決定された車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定するステップと、（ｅ）前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力するステップと、を有している。   A first aspect of the present invention is a vehicle tracking method for tracking a vehicle, based on (a) a step of acquiring one frame image, and (b) information on the position and size of a vehicle in a previous frame image. Determining a region in which the vehicle can exist in the acquired frame image; (c) determining a state classification of the vehicle; and (d) the determined vehicle. (E) determining the position and size of the vehicle in the acquired frame image by processing the image data of the determined region by a tracking method according to the state classification; Outputting information on the position and size in the acquired frame image.

本発明の第2の態様は車両を追跡する車両追跡装置であり、フレーム画像を取得する取得手段と、以前のフレーム画像中の車両の位置及び大きさの情報に基づいて、車両運動推定を行って該車両が前記取得されたフレーム画像に存在可能な領域を決定する領域決定手段と、前記車両の状態分類を決定する分類決定手段と、決定された前記車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段と、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段と、を含んでいる。   A second aspect of the present invention is a vehicle tracking device that tracks a vehicle, and performs vehicle motion estimation based on acquisition means for acquiring a frame image and information on the position and size of the vehicle in the previous frame image. An area determining means for determining an area in which the vehicle can exist in the acquired frame image, a classification determining means for determining a state classification of the vehicle, and a tracking method according to the determined state classification of the vehicle. Position and size determining means for processing the image data of the determined area to determine the position and size of the vehicle in the acquired frame image; and in the acquired frame image of the vehicle Output means for outputting the position and size information.

本発明の車両追跡方法及び装置は、車両の異なる走行場面に応じた追跡方法を選択し、例えば境界に達すること、陰に入ること、運転変動状態又は正常運転状態にあること等に応じた追跡方法を選択し、該追跡方法により車両を追跡するため、各種の場面において走行する車両をうまく追跡することができる。   The vehicle tracking method and apparatus of the present invention selects a tracking method according to different driving scenes of the vehicle, for example, tracking according to reaching a boundary, entering a shadow, driving fluctuation state or normal driving state, etc. Since the method is selected and the vehicle is tracked by the tracking method, the vehicle traveling in various scenes can be tracked well.

図１は本発明の車両状態分類に基づく車両追跡装置による車両追跡処理フローである。以下、図１のフローチャートに基づいて、過去のフレーム画像中(たとえば第１〜９フレーム画像中)の車両位置及び大きさなどの情報を追跡し、該追跡しようとする車両の現フレーム画像中(第１０フレーム画像中)の位置及び大きさなどの情報を取得する場合を例にとって、本発明の車両追跡方法を説明する。なお、車両追跡装置の構成は後述(図１１)する。
まず、車両追跡装置は撮像機又はイメージセンサから第１０フレーム画像を読み込む（ステップＳ１０）。次に、第１〜９フレーム画像中において追跡または検出された車両のうちのどの車両が新たに出現したもの（つまり追跡された回数が所定値より小さい車両）であるか、及び、どの車両が存在したもの（つまり追跡された回数が所定値以上である車両）であるかを判断する（ステップＳ２０）。例えば、最近の二つのフレーム画像(第8、第9フレーム画像)中だけにおいて検知された車両を新出現車両と定義し、最近の三つ以上のフレーム画像中(第７−第9フレーム画像)において追跡又は検知された車両を既知車両と定義する。 FIG. 1 is a vehicle tracking processing flow by a vehicle tracking device based on the vehicle state classification of the present invention. Hereinafter, based on the flowchart of FIG. 1, information such as the vehicle position and size in the past frame image (for example, in the first to ninth frame images) is tracked, and the current frame image of the vehicle to be tracked ( The vehicle tracking method of the present invention will be described by taking as an example the case of acquiring information such as the position and size of (in the tenth frame image). The configuration of the vehicle tracking device will be described later (FIG. 11).
First, the vehicle tracking device reads the tenth frame image from the image pickup device or the image sensor (step S10). Next, which of the vehicles tracked or detected in the first to ninth frame images is a newly appearing vehicle (that is, a vehicle whose number of times of tracking is smaller than a predetermined value), and which vehicle is It is determined whether the vehicle exists (that is, a vehicle whose number of times of tracking is equal to or greater than a predetermined value) (step S20). For example, a vehicle detected only in the latest two frame images (eighth and ninth frame images) is defined as a newly appearing vehicle, and in three or more recent frame images (seventh to ninth frame images). A vehicle tracked or detected in is defined as a known vehicle.

新出現車両の第8、第9フレーム画像中の位置及び大きさの情報に基づいて、車両運動の推定を行うことによって該新出現車両が第１０フレーム画像中に存在可能な領域(存在可能領域)を推定する（ステップＳ３０）。次に、周知の「特徴に基づく追跡方法」により該推定された存在可能領域の画像データを処理することによって、新出現車両の第１０フレーム画像中の位置及び大きさを決定する（ステップＳ４０）。特徴に基づく追跡方法でフレーム画像を処理することは周知技術であるので、ここで、その処理過程の詳細を省略する。最後に、決定された新出現車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する。本発明において、新出現車両の履歴情報（位置及び大きさの情報など）は多くはないので、特徴に基づく簡単な追跡方法だけで追跡することができる。
既知車両については、追跡又は検知により得られた該既知車両の第１〜９フレーム画像中の位置及び大きさの情報に基づいて、車両運動の推定を行うことによって該既知車両が第１０フレーム画像中に存在可能な領域を推定する（ステップＳ５０）。
次に、追跡又は検知により得られた既知車両の第１〜９フレーム画像中の位置及び大きさ情報に基づいて、該既知車両の状態分類を決定する（ステップ６０）。 A region where the newly appearing vehicle can exist in the tenth frame image (presence possible region) by estimating the vehicle motion based on the position and size information in the eighth and ninth frame images of the newly appearing vehicle. ) Is estimated (step S30). Next, the position and size of the newly appearing vehicle in the tenth frame image are determined by processing the image data of the estimated existence region by a known “feature tracking method” (step S40). . Since it is a well-known technique to process a frame image by a tracking method based on features, the details of the process are omitted here. Finally, information on the position and size of the determined new appearance vehicle in the tenth frame image is output as a tracking result. In the present invention, since there is not much history information (such as position and size information) of newly appearing vehicles, it can be tracked only by a simple tracking method based on features.
For a known vehicle, the known vehicle is estimated to be in the tenth frame image by estimating the vehicle motion based on the position and size information in the first to ninth frame images of the known vehicle obtained by tracking or detection. An area that can exist is estimated (step S50).
Next, based on the position and size information in the first to ninth frame images of the known vehicle obtained by tracking or detection, the state classification of the known vehicle is determined (step 60).

図２は、本発明のステップ60の車両状態分類の処理フローチャートである。以下、図２を参照して、どのように既知車両の状態分類を決定するかを説明する。
図２に示すように、まず、既知車両の第９フレーム画像中の位置及び大きさの情報に基づいて、該既知車両が第９フレーム画像中に占拠する画像領域を決定する（ステップＳ６００）。
次に、各既知車両が占拠する画像領域は、他の車両が占拠する画像領域により遮られるか否かを判断する（ステップＳ６０２）。既知車両が占拠する画像領域が、他の車両が占拠する画像領域により遮られれば、この存在した車両の状態分類を、"遮られた状態"に設定し（ステップＳ６０４）、かつ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。 FIG. 2 is a process flowchart of the vehicle state classification in step 60 of the present invention. Hereinafter, how to determine the state classification of the known vehicle will be described with reference to FIG.
As shown in FIG. 2, first, based on the position and size information of the known vehicle in the ninth frame image, an image area occupied by the known vehicle in the ninth frame image is determined (step S600).
Next, it is determined whether or not the image area occupied by each known vehicle is blocked by the image area occupied by another vehicle (step S602). If the image area occupied by the known vehicle is blocked by the image area occupied by another vehicle, the state classification of the existing vehicle is set to “blocked state” (step S604), and this known vehicle is set. The state classification result is output (step S620).

一方、既知車両が占拠する画像領域が、他の車両が占拠する画像領域により遮られなければ、該既知車両が占拠する画像領域は第９フレーム画像のフレーム境界に達したか否かを判断する（ステップＳ６０６）。既知車両が占拠する画像領域は第９フレーム画像のフレーム境界に達していれば、この既知車両の状態分類を"境界状態"に設定し（ステップＳ６０８）、かつ、この既知車両の状態分類結果を出力する。
既知車両が占拠する画像領域が第９フレーム画像のフレーム境界に達してなければ、既知車両が建物などの陰に入った旨を示すフラグが設定されているか否かを判断する（ステップＳ６１０）。既知車両が陰に入った旨を示すフラグがすでに設定されていれば、この既知車両の状態分類を"陰状態"に設定して（ステップＳ６１２）、かつ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。
既知車両が陰に入った旨を示すフラグが設定されていなければ、該既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の位置に対して顕著な変化を有するか否かを判断する（ステップＳ６１４）。例えば、既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置を接続することにより形成された直線から遠く離れたか、又は、既知車両の第８フレームと第９フレーム画像中の位置変化量がその車両の第７フレームと第８フレーム画像中の位置変化量よりはるかに大きいかを判断する。
既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置に対して顕著な変化を有すれば、この既知車両の状態分類を"運転変動状態"に設定し（ステップＳ６１６）、且つ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。
既知車両の第９フレーム画像中の位置が、それ以前のフレーム画像中の車両位置に対して顕著な変化を有しなければ、この既知車両の状態分類を"正常運転状態"に設定して（ステップＳ６１８）、且つ、この既知車両の状態分類結果を出力する（ステップＳ６２０）。以上が本発明の車両の状態分類の処理流れである。 On the other hand, if the image area occupied by the known vehicle is not blocked by the image area occupied by another vehicle, it is determined whether the image area occupied by the known vehicle has reached the frame boundary of the ninth frame image. (Step S606). If the image area occupied by the known vehicle has reached the frame boundary of the ninth frame image, the state classification of this known vehicle is set to “boundary state” (step S608), and the state classification result of this known vehicle is Output.
If the image area occupied by the known vehicle does not reach the frame boundary of the ninth frame image, it is determined whether or not a flag indicating that the known vehicle has entered the shadow of a building or the like is set (step S610). If the flag indicating that the known vehicle has entered the shadow has already been set, the state classification of the known vehicle is set to “shadow state” (step S612), and the state classification result of the known vehicle is output. (Step S620).
If the flag indicating that the known vehicle has entered the shade is not set, whether or not the position of the known vehicle in the ninth frame image has a significant change with respect to the position in the previous frame image Is determined (step S614). For example, the position in the ninth frame image of the known vehicle is far from the straight line formed by connecting the vehicle positions in the previous frame image, or the eighth and ninth frame images of the known vehicle. It is determined whether the position change amount in the vehicle is much larger than the position change amounts in the seventh and eighth frame images of the vehicle.
If the position of the known vehicle in the ninth frame image has a significant change with respect to the vehicle position in the previous frame image, the state classification of the known vehicle is set to “driving variation state” (step S616). ) And the state classification result of the known vehicle is output (step S620).
If the position of the known vehicle in the ninth frame image has no significant change with respect to the vehicle position in the previous frame image, the state classification of this known vehicle is set to “normal operation state” ( In step S618), the state classification result of the known vehicle is output (step S620). The above is the processing flow of the vehicle state classification of the present invention.

既知車両の状態分類を決定した後、各既知車両の状態分類に基づいて対応する追跡方法を選択し、該追跡方法により既知車両の第１０フレーム画像中の位置及び大きさを決定する。
具体的に言えば、存在した車両の状態分類が"遮られた状態"であれば、周知の「テンプレートマッチング追跡方法」を採用し、該テンプレートマッチング追跡方法により既知車両の第１０フレーム画像中の位置及び大きさを追跡し、追跡時、該既知車両の遮られない部分のテンプレートだけを利用する（区分されるテンプレートマッチング追跡方法）（ステップＳ７０）。なお、区分されるテンプレートマッチング追跡方法は周知技術であるので、ここで、その処理過程の詳細を省略する。 After determining the state classification of the known vehicle, a corresponding tracking method is selected based on the state classification of each known vehicle, and the position and size of the known vehicle in the tenth frame image are determined by the tracking method.
Specifically, if the state classification of the existing vehicle is “blocked”, the well-known “template matching tracking method” is adopted, and the template matching tracking method uses a known vehicle in the 10th frame image. The position and size are tracked, and at the time of tracking, only the template of the unobstructed portion of the known vehicle is used (segmented template matching tracking method) (step S70). Since the template matching tracking method to be classified is a well-known technique, the details of the processing process are omitted here.

既知車両の状態分類が"境界状態"であれば、この存在した車両の一部はフレーム画像の外にあったので、"遮られた状態"と同じであり、テンプレートマッチング追跡方法で既知車両の第１０フレーム画像中の位置及び大きさを追跡する（ステップＳ８０）。テンプレートマッチング追跡方法は従来の技術であるので、ここで、その処理過程の詳細を省略する。
既知車両の状態分類が"陰状態"であれば、以下に詳しく説明するような「車両が陰に入った追跡方法」（図４を参照しながら後述する）を用いて、この既知車両の第１０フレーム画像中の位置及び大きさを追跡する（ステップＳ９０）。
既知車両の状態分類が"運転変動状態"又は"正常運転状態"である時に、「特徴に基づく追跡方法」でこの既知車両の第１０フレーム画像中の位置及び大きさを決定し、かつ、この既知車両の以前のフレーム画像中の位置及び大きさの情報を利用してそれを校正する（ステップＳ１００及びＳ１１０）。 If the state classification of the known vehicle is “boundary state”, a part of the existing vehicle was outside the frame image, so it is the same as the “obstructed state”. The position and size in the tenth frame image are tracked (step S80). Since the template matching tracking method is a conventional technique, the details of the process are omitted here.
If the state classification of the known vehicle is “shadow state”, the “tracking method in which the vehicle enters the shadow” (described later with reference to FIG. 4) as described in detail below is used. The position and size in the 10-frame image are tracked (step S90).
When the state classification of the known vehicle is “driving fluctuation state” or “normal driving state”, the position and size of the known vehicle in the tenth frame image is determined by the “feature-based tracking method”, and this The position and size information in the previous frame image of the known vehicle is used to calibrate it (steps S100 and S110).

次に、既知車両の第９及び第１０フレーム画像中の位置及び大きさの情報に基づいて、既知車両が陰に入ったか否かを判断する方法(図３)を用いて、この既知車両が第１０フレーム画像において陰に入ったか否かを判断し（ステップＳ１２０）、既知車両が第１０フレーム画像中の陰に入ったと判断すれば、「車両が陰に入った追跡方法」を用いて、この既知車両の第１０フレーム画像中の位置及び大きさを改めて追跡する（ステップＳ１３０）。しかる後、既知車両の第１０フレーム画像中の位置及び大きさを決定し、それを追跡結果として出力する（ステップＳ１４０）。以上が本発明の車両の状態分類に基づく車両追跡方法である。   Next, based on the position and size information in the ninth and tenth frame images of the known vehicle, this known vehicle is determined using a method for determining whether the known vehicle has entered the shade (FIG. 3). It is determined whether or not the 10th frame image has entered the shade (step S120). If it is determined that the known vehicle has entered the shade in the 10th frame image, the “tracking method in which the vehicle has entered the shade” is used. The position and size of the known vehicle in the tenth frame image are tracked again (step S130). Thereafter, the position and size of the known vehicle in the tenth frame image are determined and output as a tracking result (step S140). The above is the vehicle tracking method based on the vehicle state classification of the present invention.

図３は、本発明の車両が陰に入ったことを判断する方法のフローチャートである。以下、図３を参照しながら前記車両が陰に入ったことを判断する方法を詳しく説明する。
前記ステップＳ１００とＳ１１０に記載したように車両の第１０フレーム画像中の位置及び大きさが「特徴に基づく追跡方法」に基づく追跡により得られたら、まず、該車両の第９及び第１０フレーム画像中の位置及び大きさの情報に基づいて、第１０フレーム画像中の車両下辺の位置と、第９フレーム画像中の車両下辺の位置を比べ、大きい位置変化があるか否かを判断する（ステップＳ１１００）。
比較的に大きい変化がないと判断すれば、この既知車両が陰に入っていないと決定する（ステップＳ１１１０）。 FIG. 3 is a flowchart of a method for determining that the vehicle of the present invention has entered the shade. Hereinafter, a method for determining that the vehicle has entered the shade will be described in detail with reference to FIG.
When the position and size in the tenth frame image of the vehicle are obtained by the tracking based on the “feature-based tracking method” as described in steps S100 and S110, first, the ninth and tenth frame images of the vehicle are obtained. Based on the position and size information in the middle, the position of the lower side of the vehicle in the tenth frame image is compared with the position of the lower side of the vehicle in the ninth frame image to determine whether there is a large position change (step) S1100).
If it is determined that there is no relatively large change, it is determined that the known vehicle is not in the shade (step S1110).

一方、比較的に大きい変化があると判断すれば、第１０フレーム画像中における既知車両の存在可能領域内に下部領域を設定する。なお、下部領域の高さは存在可能領域の高さの０．２〜０．６であることが好ましい。ついで、下部領域における総画素数Nと、輝度値が閾値Ｔ（Ｔが３０〜８０であることが好ましい）より小さい暗い画素数Ndとを算出する（ステップＳ１１０２）。次に、この輝度値が閾値Ｔより小さい画素数Ndと前記総画素数Nとの比率Nd/Nが所定値Ｒ（Ｒは０．７より大きいことが好ましい）より大きいか否かを判断する（ステップＳ１１０４）。
比率Nd/Nが前記所定値Ｒより大きければ、着目している既知車両は陰に入ったと判断してフラグをセットし（ステップＳ１１０６）、かつ、該基地車両が陰に入ったと決定する（ステップＳ１１０８）。しかし、比率Nd/Nが所定値Ｒより小さければ、既知車両は陰に入っていないと決定する(ステップS1110)。 On the other hand, if it is determined that there is a relatively large change, the lower region is set in the region where the known vehicle can exist in the tenth frame image. In addition, it is preferable that the height of a lower area | region is 0.2-0.6 of the height of a possible area | region. Next, the total number of pixels N in the lower region and the number of dark pixels Nd whose luminance value is smaller than the threshold value T (T is preferably 30 to 80) are calculated (step S1102). Next, it is determined whether or not the ratio Nd / N of the number Nd of pixels whose luminance value is smaller than the threshold T and the total number N of pixels is larger than a predetermined value R (R is preferably larger than 0.7). (Step S1104).
If the ratio Nd / N is greater than the predetermined value R, it is determined that the known vehicle of interest has entered the shade, a flag is set (step S1106), and it is determined that the base vehicle has entered the shade (step S1106). S1108). However, if the ratio Nd / N is smaller than the predetermined value R, it is determined that the known vehicle is not in the shade (step S1110).

図４は、本発明の車両が陰に入った場合の追跡方法のフローチャートである。以下、図４を参照しながら、追跡された車両の第１０フレーム画像中の位置及び大きさの情報を例として、車両が陰に入った場合の追跡方法を詳しく説明する。
図４に示すように、まず、追跡により得られた車両の最近のフレーム画像中の位置及び大きさの情報に基づいて、該車両が依然として陰にあるか否かを判断する（ステップＳ４００）。なお、この車両が陰に入った場合の追跡方法が図２のステップＳ９０の追跡に際して用いられる場合には、上記最近のフレーム画像は第９フレーム画像であり、図２のステップＳ１３０の追跡に際して用いられる場合には、上記最近のフレーム画像は第１０フレーム画像である。
ステップ４００において、基地車両が依然として陰にあるか否かを判断するには、まず、最近のフレーム画像中の車両存在可能領域内に下部領域を設定し、該下部領域の総画素数Nと、輝度値が閾値Ｔ（Ｔが３０〜８０であることが好ましい）より小さい画素数Ndとを算出する。下部領域の高さはこの存在可能領域の高さの０．２〜０．６であることが好ましい。次に、輝度値が閾値Ｔより小さい画素数と前記総画素数との比率Nd/Nが所定値Ｒ（Ｒが０．７より大きいことが好ましい）より大きいか否かを判断する。前記比率が所定値Ｒより大きければ、この車両が依然として陰にあると判断する。さもなければ、この車両が陰にないと判断する。 FIG. 4 is a flowchart of the tracking method when the vehicle of the present invention enters the shade. Hereinafter, with reference to FIG. 4, the tracking method when the vehicle enters the shadow will be described in detail by taking the position and size information in the 10th frame image of the tracked vehicle as an example.
As shown in FIG. 4, first, based on the position and size information in the latest frame image of the vehicle obtained by tracking, it is determined whether or not the vehicle is still behind (step S400). When the tracking method when the vehicle enters the shade is used for tracking in step S90 in FIG. 2, the latest frame image is the ninth frame image, and is used for tracking in step S130 in FIG. If so, the most recent frame image is the tenth frame image.
In step 400, in order to determine whether or not the base vehicle is still in the shadow, first, a lower region is set in the vehicle existence possible region in the latest frame image, and the total number of pixels N in the lower region is The number of pixels Nd whose luminance value is smaller than the threshold value T (T is preferably 30 to 80) is calculated. The height of the lower region is preferably 0.2 to 0.6 of the height of this possible region. Next, it is determined whether or not the ratio Nd / N between the number of pixels whose luminance value is smaller than the threshold value T and the total number of pixels is larger than a predetermined value R (R is preferably larger than 0.7). If the ratio is greater than a predetermined value R, it is determined that the vehicle is still in the shadow. Otherwise, it is determined that this vehicle is not in the shade.

既知車両が陰にないと判断すれば、この車両が陰に入った旨を示すフラグをリセットし（ステップＳ４０２）、この車両の走行状態は"正常運転状態"であるとして第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４０４）、かつ、追跡により得られた該車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。
一方、着目している既知車両が依然として陰にあると判断すれば、最近のフレーム画像に車両の上部特徴が抽出されて保持されているか否かを判断する（ステップＳ４０６）。車両の上部特徴は、主に車両の上辺(エッジ)及び左右辺（エッジ）を含む。
最近のフレーム画像から既知車両の上部特徴が抽出、保持されていなければ、追跡により得られた該車両の第１０フレーム画像の前のフレーム画像（例えば第６〜９フレーム画像）中の位置及び大きさの情報を利用して、車両運動推定を行って該車両の第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４０８）、かつ、追跡により得られた第１０フレーム画像中の車両位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。
最近のフレーム画像から既知車両の上部特徴が抽出、保持されていれば、後述する特徴計算追跡方法でこの既知車両の第１０フレーム画像中の位置及び大きさを追跡し（ステップＳ４１０）、かつ追跡により得られた既知車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ４１２）。 If it is determined that the known vehicle is not in the shade, the flag indicating that the vehicle has entered the shade is reset (step S402), and the running state of the vehicle is assumed to be the “normal operation state” in the tenth frame image. The position and size are tracked (step S404), and the position and size information in the tenth frame image of the vehicle obtained by the tracking is output as a tracking result (step S412).
On the other hand, if it is determined that the known vehicle of interest is still behind, it is determined whether or not the upper feature of the vehicle is extracted and held in the latest frame image (step S406). The upper features of the vehicle mainly include the upper side (edge) and the left and right sides (edges) of the vehicle.
If the upper feature of the known vehicle is not extracted and held from the latest frame image, the position and size in the previous frame image (for example, the sixth to ninth frame images) of the tenth frame image of the vehicle obtained by tracking The vehicle motion is estimated using the information on the vehicle to track the position and size of the vehicle in the tenth frame image (step S408), and the vehicle position in the tenth frame image obtained by the tracking is obtained. The size information is output as a tracking result (step S412).
If the upper feature of the known vehicle is extracted and held from the latest frame image, the position and size of the known vehicle in the tenth frame image are tracked by the feature calculation tracking method described later (step S410) and tracked. The information on the position and size in the tenth frame image of the known vehicle obtained by the above is output as a tracking result (step S412).

図５は、本発明の特徴計算追跡方法のフローチャートである。図６は、本発明の特徴計算追跡方法を説明する画像である。以下、図５及び６を参照しながら、車両の第１０フレーム画像中の位置及び大きさを決定する場合を例として、本発明の特徴計算追跡方法を詳しく説明する。
図５に示すように、まず、第１０フレーム画像中の車両の存在可能領域（例えば図６Ａに示す）から、車両の上部特徴を含む部分画像（図６Ｂに示す）を取得する（ステップＳ５００）。次に、取得した部分画像に対してエッジ抽出を行って画像のエッジ特徴（図６Ｃに示す）を取得する（ステップＳ５０２）。次に、車両の第９フレーム画像中の位置及び大きさの情報と、得られた画像のエッジ特徴とに基づいて、車両の第１０フレーム画像中の上辺と左右辺の位置を決定し、該車両の第１０フレーム画像中の上辺と左右辺によって、車両の第１０フレーム画像中の大体の位置を決定する（ステップＳ５０４）。次に、車両の第１０フレーム画像中の位置情報と、第９フレーム画像中の大きさ情報（つまり上辺、左右辺及び下辺）とに基づいて、該車両の第１０フレーム画像中の下辺位置を計算し、得られた車両の第１０フレーム画像中の上辺、左右辺及び下辺によって、該車両の第１０フレーム画像中の位置及び大きさの情報（図６Ｄに示す）を決定する（ステップＳ５０６）。最後に、得られた車両の第１０フレーム画像中の位置及び大きさの情報を追跡結果として出力する（ステップＳ５０８）。 FIG. 5 is a flowchart of the feature calculation tracking method of the present invention. FIG. 6 is an image for explaining the feature calculation tracking method of the present invention. Hereinafter, the feature calculation tracking method of the present invention will be described in detail with reference to FIGS. 5 and 6 as an example of determining the position and size of the vehicle in the tenth frame image.
As shown in FIG. 5, first, a partial image (shown in FIG. 6B) including the upper feature of the vehicle is acquired from the vehicle possible region (for example, shown in FIG. 6A) in the tenth frame image (step S <b> 500). . Next, edge extraction is performed on the acquired partial image to acquire an edge feature (shown in FIG. 6C) of the image (step S502). Next, based on the position and size information in the ninth frame image of the vehicle and the edge characteristics of the obtained image, the positions of the upper side and the left and right sides in the tenth frame image of the vehicle are determined, The approximate position in the tenth frame image of the vehicle is determined by the upper side and the left and right sides in the tenth frame image of the vehicle (step S504). Next, based on the position information in the tenth frame image of the vehicle and the size information in the ninth frame image (that is, the upper side, the left and right sides, and the lower side), the lower side position in the tenth frame image of the vehicle is determined. The position and size information (shown in FIG. 6D) in the tenth frame image of the vehicle is determined based on the calculated upper and left and right sides and the lower side in the tenth frame image of the vehicle (step S506). . Finally, the obtained position and size information in the tenth frame image of the vehicle is output as a tracking result (step S508).

図７〜図１０は、それぞれ本発明の車両状態分類に基づく車両追跡方法で車両を追跡する場合の説明図であり、追跡する車両TCRがフレーム境界FLBにある場合(図７)、他車両CRにより追跡車両TCRが遮られている場合(図８)、橋脚の間の空間の陰BSHに追跡車両TCRが入った場合(図９)、トンネルTNLの陰に追車両TCRが入った場合(図１０)である。図７〜図１０に示すように、本発明の車両追跡方法を用いれば、異なる状態において走行する車両をうまく追跡することができる。   FIGS. 7 to 10 are explanatory diagrams when the vehicle is tracked by the vehicle tracking method based on the vehicle state classification of the present invention. When the tracked vehicle TCR is at the frame boundary FLB (FIG. 7), the other vehicle CR is shown. If the tracking vehicle TCR is blocked by (Fig. 8), if the tracking vehicle TCR enters the shadow BSH in the space between the piers (Fig. 9), if the tracking vehicle TCR enters the shadow of the tunnel TNL (Fig. 10). As shown in FIGS. 7 to 10, if the vehicle tracking method of the present invention is used, a vehicle traveling in different states can be tracked well.

図１１は本発明の車両状態分類に基づく車両追跡装置を示す図である。その内、本発明に関する手段だけを示し、従来の技術において本発明と関係しない手段を示さない。本発明の車両状態分類に基づく車両追跡装置は、ソフトウエア、ハードウエア、又はソフトウエアとハードウエア組合せる方式を用いて実現される。
図１１に示すように、本発明の車両追跡装置は、フレーム画像を取得する取得手段１０と、追跡又は検出により得られた車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在する可能性のある領域(存在可能領域)を決定する領域決定手段２０と、前記車両の走行状態の分類を決定する分類決定手段３０と、決定された前記車両の走行状態の分類に基づいて、相応する追跡方法で前記決定された存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段４０と、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段５０とを有している。 FIG. 11 is a diagram showing a vehicle tracking device based on the vehicle state classification of the present invention. Among them, only the means related to the present invention are shown, and means not related to the present invention are not shown in the prior art. The vehicle tracking device based on the vehicle state classification of the present invention is implemented using software, hardware, or a combination of software and hardware.
As shown in FIG. 11, the vehicle tracking device of the present invention is based on the acquisition unit 10 that acquires a frame image, and the position and size information in the previous frame image of the vehicle obtained by tracking or detection, Region determining means 20 for performing vehicle motion estimation and determining a region (existable region) where the vehicle may exist in the acquired frame image, and classification determining means for determining a classification of the running state of the vehicle 30 and processing the image data of the determined possible area by a corresponding tracking method based on the determined classification of the running state of the vehicle, and the position of the vehicle in the acquired frame image and A position and size determining means 40 for determining the size and an output means 50 for outputting information on the position and size of the vehicle in the acquired frame image.

その内、分類決定手段３０は、占有領域決定手段３０aと、判断手段３０bと、設定手段３０cとを含む。占有領域決定手段３０aは、車両の取得されたフレーム画像直前の１フレーム画像中の位置及び大きさの情報によって、該直前の１フレーム画像において車両が占める画像領域を決定する。判断手段３０bは、まず、前記直前の１フレーム画像において車両が占める画像領域が他の車両で遮られるか否かを判断し、遮られれば、設定手段３０ｃは、該車両の状態分類を"遮られた状態"に設定し、遮られなければ、判断手段３０ｂは、前記直前の１フレーム画像において車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを続いて判断する。フレーム境界に達していれば、設定手段３０ｃは、車両の状態分類を"境界状態"に設定し、フレーム境界に達してなければ、判断手段３０ｂは、車両が陰に入った旨を示すフラグ設定されているか判断する。フラグが設定されていれば設定手段３０ｃは、車両の状態分類を"陰状態"に設定し、フラグが設定されていなければ、判断手段３０ｂは、車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定によって車両が運転変動状態にあるか否かを判断する。運転変動状態にあれば、設定手段３０ｃは、前車両の状態分類を"運転変動状態"に設定し、運転変動状態になければ、設定手段３０ｃは、車両の状態分類を"正常運転状態"に設定する。   Among them, the classification determining unit 30 includes an occupied area determining unit 30a, a determining unit 30b, and a setting unit 30c. The occupied area determining means 30a determines the image area occupied by the vehicle in the immediately preceding one frame image based on the position and size information in the immediately preceding frame image of the vehicle. The judging means 30b first judges whether or not the image area occupied by the vehicle in the immediately preceding one frame image is obstructed by another vehicle, and if it is obstructed, the setting means 30c "obstructs the state classification of the vehicle. If it is not blocked, the determination means 30b continues to determine whether or not the image area occupied by the vehicle in the immediately preceding one frame image reaches the frame boundary of the immediately preceding one frame image. . If the frame boundary has been reached, the setting means 30c sets the vehicle state classification to "boundary state". If the frame boundary has not been reached, the determination means 30b sets a flag indicating that the vehicle has entered the shadow. Judge whether it has been. If the flag is set, the setting means 30c sets the vehicle state classification to “shadow state”, and if the flag is not set, the determination means 30b determines the position and size of the vehicle in the previous frame image. Based on this information, it is determined whether or not the vehicle is in a driving fluctuation state by vehicle motion estimation. If it is in the driving fluctuation state, the setting means 30c sets the state classification of the preceding vehicle to “driving fluctuation state”, and if it is not in the driving fluctuation state, the setting means 30c sets the vehicle state classification to “normal driving state”. Set.

車両の状態分類がそれぞれ"遮られた状態"と"境界状態"である場合、位置及び大きさ決定手段４０は、周知の区分されたテンプレートマッチング追跡方法とテンプレートマッチング追跡方法とで前記決定された可能な領域を処理する。
位置及び大きさ決定手段４０は更に、処理手段４０a、校正手段４０b、陰入れ判断手段４０ｃ、追跡手段４０d、フラグ取消し手段４０e、正常追跡手段４０fを備えている。処理手段４０aは、前記車両の状態分類が"運転変動状態"又は"正常運転状態"であれば、“特徴に基づく追跡方法”で前記存在可能領域の画像データを処理して車両の前記取得されたフレーム画像中の位置及び大きさの情報を取得する。校正手段４０bは、車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する。陰入れ判断手段４０ｃは、得られた車両の取得されたフレーム画像と直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において車両が陰に入ったか否かを判断する。追跡手段４０dは、陰に入ったと判定すれば、“車両が陰に入った追跡方法”で車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する。フラグ取消し手段４０eは車両が陰に存在しないと判定すれば、車両が陰に入った旨を示すフラグをリセットする。正常追跡手段４０fは、車両が陰にないと判断すれば、車両を正常運転状態にある車両として、前記取得されたフレーム画像中の位置及び大きさの情報を追跡する。 When the vehicle state classification is “blocked state” and “boundary state”, respectively, the position and size determining means 40 is determined by the well-known segmented template matching tracking method and the template matching tracking method. Process possible areas.
The position and size determining means 40 further includes a processing means 40a, a calibration means 40b, an intrusion determining means 40c, a tracking means 40d, a flag canceling means 40e, and a normal tracking means 40f. If the state classification of the vehicle is “driving fluctuation state” or “normal driving state”, the processing means 40a processes the image data of the possible area by the “tracking method based on features” and acquires the vehicle. The position and size information in the frame image obtained is acquired. The calibration means 40b calibrates the information on the position and size of the obtained vehicle in the acquired frame image based on the information on the position and size in the previous frame image of the vehicle. The shade determination unit 40c determines whether the vehicle has entered the shade in the acquired frame image based on the acquired frame image of the obtained vehicle and the position and size information in the immediately preceding one frame image. To do. If the tracking means 40d determines that the vehicle has entered the shade, the tracking means 40d retraces the information on the position and size of the vehicle in the acquired frame image by the “tracking method in which the vehicle has entered the shade”. If the flag canceling means 40e determines that the vehicle does not exist in the shade, it resets a flag indicating that the vehicle has entered the shade. If the normal tracking means 40f determines that the vehicle is not in the shadow, the normal tracking means 40f tracks the position and size information in the acquired frame image as a vehicle in a normal driving state.

陰入れ判断手段４０ｃは、さらに、車両の前記取得されたフレーム画像中の下辺の位置と直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断する下辺位置判断手段と、大きい変化があれば、前記取得されたフレーム画像の車両存在可能領域内に下部領域を設定し、該下部領域の総画素数Nと輝度値が所定の閾値より小さい画素数Ndとを算出する画素算出手段と、前記輝度値が閾値より小さい画素数と前記総画素数との比率Nd/Nが所定値より大きいか否かを判断する比率判断手段と、前記閾値より大きければ車両が陰に入った旨を示すフラグセットするフラグ設定手段と、前記取得されたフレーム画像において前記車両が陰に入ったことを決定する陰入れ決定手段と、を含む。
追跡手段４０dは、さらに、前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断する陰判断手段と、依然として陰にあると判断する場合に、前記取得されたフレーム画像において車両の上部特徴が抽出されて保持されているか否かを判断する特徴判断手段と、前記車両の上部特徴が保持されていれば、“特徴計算追跡方法”で車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する特徴計算追跡手段と、前記車両の上部特徴が保持されていなければ、追跡により得られた車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段を含む。 The shadow insertion determining means 40c further compares the position of the lower side in the acquired frame image of the vehicle with the position of the lower side in the immediately preceding one frame image to determine whether there is a large position change. If there is a large change in the determination means, a lower area is set in the vehicle existence possible area of the acquired frame image, and the total number of pixels N of the lower area and the number of pixels Nd whose luminance value is smaller than a predetermined threshold Pixel calculating means for calculating the ratio, ratio determining means for determining whether the ratio Nd / N between the number of pixels whose luminance value is smaller than a threshold and the total number of pixels is larger than a predetermined value, and a vehicle if it is larger than the threshold Flag setting means for setting a flag indicating that the vehicle has entered the shade and shade insertion determining means for determining that the vehicle has entered the shade in the acquired frame image.
The tracking unit 40d further includes a shade determination unit that determines whether or not the vehicle is still in the shade in the acquired frame image, and a vehicle in the acquired frame image when the tracking unit 40d determines that the vehicle is still in the shade. If the upper feature of the vehicle is held, feature determination means for determining whether or not the upper feature of the vehicle is extracted and held, and if the upper feature of the vehicle is held, the “feature calculation tracking method” in the acquired frame image of the vehicle Feature calculation tracking means for tracking the position and size information anew, and based on the position and size information in the previous frame image of the vehicle obtained by tracking if the upper feature of the vehicle is not retained Motion estimation tracking means for performing vehicle motion estimation to determine information on the position and size of the vehicle in the acquired frame image.

前記特徴計算追跡手段は、さらに、前記取得されたフレーム画像の車両存在可能領域から、車両の上部特徴を含む部分の画像を取得する画像取得手段と、取得された部分画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、車両の前記直前の１フレーム画像中の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、車両の前記取得されたフレーム画像中の上辺及び左右辺を決定するエッジ決定手段と、車両の前記取得されたフレーム画像中の上辺、左右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、車両の前記フレーム画像中の下辺位置、サイズを計算し、その内、得られた車両の前記フレーム画像中の上辺、左右辺及び下辺によって、車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段を含む。   The feature calculation tracking means further includes an image acquisition means for acquiring an image of a portion including an upper feature of the vehicle from the vehicle existence possible area of the acquired frame image, and an image obtained by extracting an edge from the acquired partial image. Edge extracting means for obtaining the edge feature of the vehicle, and the upper side in the acquired frame image of the vehicle based on the position and size information in the immediately preceding one frame image of the vehicle and the edge feature of the obtained image And edge determination means for determining the left and right sides, and the upper side, the left and right sides in the acquired frame image of the vehicle, and the size information in the immediately preceding one frame image, in the frame image of the vehicle Calculate the position and size of the lower side, and among them, information on the position and size in the frame image of the vehicle by the upper side, the left and right sides and the lower side in the frame image of the obtained vehicle Including lower computing means determining.

また、位置及び大きさ決定手段４０は、追跡手段40dだけを含み、即ち、車両の状態分類が陰状態であれば、前記直前の１フレーム画像において車両が依然として陰にあるか否かを判断する陰判断手段と、依然として陰にあると判断する場合に、前記直前の１フレーム画像において車両の上部特徴が保持されているか否かを判断する特徴判断手段と、前記車両の上部特徴が保持されていれば、“特徴計算追跡方法”により車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡する特徴計算追跡手段と、車両の上部特徴が保持されていなければ、追跡により得られた車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、車両が陰に存在しなければ、車両が陰に入った旨を示すフラグをリセットするフラグ取消し手段と、車両が陰に存在しなければ、車両を正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡する正常追跡手段と、を含む。   Further, the position and size determining means 40 includes only the tracking means 40d, that is, if the vehicle state classification is a shaded state, it is determined whether or not the vehicle is still shaded in the immediately preceding one frame image. A shade judging means, a feature judging means for judging whether or not the upper feature of the vehicle is held in the immediately preceding one-frame image when it is judged that it is still shaded, and the upper feature of the vehicle is held. Then, the feature calculation tracking means for tracking the position and size information in the acquired frame image of the vehicle by the “feature calculation tracking method”, and if the upper feature of the vehicle is not held, it is obtained by tracking. Based on the position and size information of the previous vehicle in the previous frame image, vehicle motion estimation is performed to determine the position and size information of the vehicle in the acquired frame image. A motion estimation tracking means, a flag canceling means for resetting a flag indicating that the vehicle has entered the shadow if the vehicle is not in the shadow, and a vehicle in a normal operation state if the vehicle is not in the shadow Normal tracking means for tracking position and size information in the acquired frame image.

前記特徴計算追跡手段は、さらに、前記取得されたフレーム画像中の車両存在可能領域から、車両の上部特徴を含む部分の画像を取得する画像取得手段と、前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、車両の前記直前の１フレーム画像中の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、車両の前記取得されたフレーム画像中の上辺及び左右辺を決定するエッジ決定手段と、車両の前記取得されたフレーム画像中の上辺、左右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、車両の前記フレーム画像中の下辺の位置、サイズを計算し、その内、得られた車両の前記フレーム画像中の上辺、左右辺及び下辺によって、車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段を含む。
本発明の上記記載は、実質的に好ましい実施形態だけであるので、本発明の主旨から脱離しない各種の変形が可能であるが、該変形は本発明の範囲内にある。このような変形は、本発明の主旨及び範囲からずれるものであると認められない。 The feature calculation tracking means further includes an image acquisition means for acquiring an image of a portion including an upper feature of the vehicle from an area where the vehicle can exist in the acquired frame image, and edge extraction from the image of the acquired portion. Edge extracting means for obtaining an edge feature of the image, information on the position and size of the vehicle in the immediately preceding one frame image, and the acquired frame image of the vehicle based on the edge feature of the obtained image The frame of the vehicle is determined based on edge determination means for determining the upper side and the left and right sides of the vehicle, and the size information in the upper frame, the left and right sides of the acquired frame image of the vehicle, and the immediately preceding one frame image. The position and size of the lower side in the image are calculated, and the position and the size in the frame image of the vehicle are determined by the upper side, the left and right sides, and the lower side in the frame image of the obtained vehicle. Including lower calculation means for determining the information.
Since the above description of the present invention is only a preferred embodiment, various modifications are possible without departing from the spirit of the present invention, and such modifications are within the scope of the present invention. Such variations are not recognized as deviating from the spirit and scope of the present invention.

図１は本発明の車両状態分類に基づく車両追跡方法のフローチャートである。FIG. 1 is a flowchart of a vehicle tracking method based on vehicle state classification according to the present invention. 図２は本発明の車両状態分類の処理フローチャートである。FIG. 2 is a process flowchart of vehicle state classification according to the present invention. 図３は本発明の車両が陰に入ったことを判断する方法のフローチャートである。FIG. 3 is a flowchart of a method for determining that the vehicle of the present invention has entered the shade. 図４は本発明の車両が陰に入った場合の追跡方法のフローチャートである。FIG. 4 is a flowchart of the tracking method when the vehicle of the present invention enters the shade. 図５は本発明の特徴計算追跡方法のフローチャートである。FIG. 5 is a flowchart of the feature calculation tracking method of the present invention. 図６は本発明の特徴計算追跡方法を説明する画像である。FIG. 6 is an image for explaining the feature calculation tracking method of the present invention. 図７は本発明の車両状態分類に基づく車両追跡方法で画像境界にある車両を追跡する結果を示す図である。FIG. 7 is a diagram showing a result of tracking a vehicle at an image boundary by the vehicle tracking method based on the vehicle state classification of the present invention. 図８は本発明の車両状態分類に基づく車両追跡方法で、遮られている車両を追跡する結果を示す図である。FIG. 8 is a diagram showing a result of tracking an obstructed vehicle in the vehicle tracking method based on the vehicle state classification of the present invention. 図９は本発明の車両状態分類に基づく車両追跡方法で、橋脚の間の空間の陰に入った車両を追跡する結果を示す図である。FIG. 9 is a diagram showing a result of tracking a vehicle that is behind the space between the piers in the vehicle tracking method based on the vehicle state classification of the present invention. 図１０は本発明の車両状態分類に基づく車両追跡方法で、トンネルの陰に入った車両を追跡する結果を示す図である。FIG. 10 is a diagram illustrating a result of tracking a vehicle that has entered the shadow of a tunnel in the vehicle tracking method based on the vehicle state classification of the present invention. 図１１は本発明の車両状態分類に基づく車両追跡装置を示す図である。FIG. 11 is a diagram showing a vehicle tracking device based on the vehicle state classification of the present invention.

符号の説明Explanation of symbols

１０ 取得手段
２０ 領域決定手段
３０ 分類決定手段
３０a 占有領域決定手段
３０ｂ 判断手段
３０c 設定手段
４０ 位置及び大きさ決定手段
４０a 処理手段
４０b 校正手段
４０c 陰入れ判断手段
４０d 追跡手段
４０e フラグ取消し手段
４０f 正常追跡手段
５０ 出力手段 DESCRIPTION OF SYMBOLS 10 Acquisition means 20 Area determination means 30 Classification determination means 30a Occupied area determination means 30b Determination means 30c Setting means 40 Position and size determination means 40a Processing means 40b Calibration means 40c Imputation determination means 40d Tracking means 40e Flag cancellation means 40f Normal tracking Means 50 Output means

Claims (20)

車両を追跡する車両追跡方法において、
一つのフレーム画像を取得する第１ステップと、
車両の以前のフレーム画像中の位置及び大きさの情報に基づいて、車両運動推定を行って前記車両が前記取得されたフレーム画像に存在可能な領域(車両存在可能領域)を決定する第２ステップと、
前記車両の状態分類を決定する第３ステップと、
該決定された車両の状態分類に応じた追跡方法により、前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する第４ステップと、
前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する第５ステップと、
を有することを特徴とする車両追跡方法。 In a vehicle tracking method for tracking a vehicle,
A first step of acquiring one frame image;
A second step of performing vehicle motion estimation based on the position and size information in the previous frame image of the vehicle to determine an area where the vehicle can exist in the acquired frame image (vehicle existence possible area). When,
A third step of determining a state classification of the vehicle;
A fourth step of processing the image data of the vehicle possible area by the tracking method according to the determined vehicle state classification and determining the position and size of the vehicle in the acquired frame image; ,
A fifth step of outputting information on the position and size of the vehicle in the acquired frame image;
A vehicle tracking method characterized by comprising: 前記第３ステップは、さらに、
前記車両の前記取得されたフレーム画像直前の１フレーム画像中の位置及び大きさの情報によって、前記直前の１フレーム画像において前記車両が占める画像領域を決定するステップと、
前記直前の１フレーム画像において前記車両が占める画像領域が他の車両で遮られるか否かを判断するステップと、
遮られる場合には、前記車両の状態分類を“遮られた状態”に設定するステップと、
遮られない場合には、前記直前の１フレーム画像において前記車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを判断するステップと、
フレーム境界に達している場合には、前記車両の状態分類を“境界状態”に設定するステップと、
フレーム境界に達していな場合には、前記車両が陰に入ったことを示すフラグが設定されているか判断するステップと、
該フラグ設定されている場合には、前記車両の状態分類を“陰状態”に設定するステップと、
該フラグ設定されていない場合には、前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定によって前記車両が運転変動状態にあるか否かを判断するステップと、
運転変動状態にある場合には、前記車両の状態分類を“運転変動状態”に設定するステップと、
運転変動状態にない場合には、前記車両の状態分類を“正常運転状態”に設定するステップと、
を含むことを特徴とする請求項１記載の車両追跡方法。 The third step further includes:
Determining an image area occupied by the vehicle in the immediately preceding one frame image according to the position and size information in the immediately preceding one frame image of the vehicle;
Determining whether an image area occupied by the vehicle in the immediately preceding one frame image is blocked by another vehicle;
If blocked, setting the vehicle state classification to “blocked”;
If not blocked, determining whether an image area occupied by the vehicle in the immediately preceding one frame image reaches a frame boundary of the immediately preceding one frame image;
If the frame boundary has been reached, setting the vehicle state classification to "boundary state";
If the frame boundary has not been reached, determining whether a flag indicating that the vehicle has entered the shade is set;
If the flag is set, setting the vehicle's state classification to "shadow state";
If the flag is not set, the step of determining whether or not the vehicle is in a driving fluctuation state by the vehicle motion estimation based on the position and size information of the vehicle in the previous frame image When,
If in a driving fluctuation state, setting the vehicle state classification to "driving fluctuation state";
If not in a driving fluctuation state, setting the vehicle state classification to "normal driving state";
The vehicle tracking method according to claim 1, further comprising: 前記第４ステップは、さらに
前記車両の状態分類が前記遮られた状態である場合には、区分されたテンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理するステップ、
を含むことを特徴とする請求項２記載の車両追跡方法。 In the fourth step, when the vehicle state classification is the blocked state, the image data of the vehicle existence possible region is processed by a divided template matching tracking method;
The vehicle tracking method according to claim 2, further comprising: 前記第４ステップは、さらに
前記車両の状態分類が前記境界状態である場合に、テンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理するステップ、
を含むことを特徴とする請求項２記載の車両追跡方法。 The fourth step further includes a step of processing image data of the vehicle existence possible area by a template matching tracking method when the vehicle state classification is the boundary state,
The vehicle tracking method according to claim 2, further comprising: 前記第４ステップは、さらに、
前記車両の状態分類が前記運転変動状態又は正常運転状態である場合に、特徴に基づく追跡方法により前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を得る第１サブステップと、
前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する第２サブステップと、
得られた前記車両の前記取得されたフレーム画像と前記直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において前記車両が陰に入ったか否かを判断する第３サブステップと、
陰に入っている場合には、車両が陰に入った追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する第４サブステップと、
を含むことを特徴とする請求項２記載の車両追跡方法。 The fourth step further includes:
When the state classification of the vehicle is the driving fluctuation state or the normal driving state, the image data of the vehicle possible area is processed by a tracking method based on features, and the position of the vehicle in the acquired frame image And a first sub-step for obtaining size information;
A second sub-step of calibrating the obtained position and size information of the vehicle in the acquired frame image based on the position and size information of the vehicle in the previous frame image;
It is determined whether or not the vehicle has entered the shade in the acquired frame image based on the acquired frame image of the acquired vehicle and the position and size information in the immediately preceding one frame image. Substeps,
A fourth sub-step for re-tracking information on the position and size of the vehicle in the acquired frame image according to a tracking method in which the vehicle enters the shadow,
The vehicle tracking method according to claim 2, further comprising: 前記第３サブステップは、さらに
前記取得されたフレーム画像中の前記車両の下辺の位置と、前記直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断するステップと、
大きい変化がある場合には、前記車両が前記取得されたフレーム画像にある前記車両存在可能領域内の下部領域の総画素数と輝度値が所定の閾値より小さい画素数とを算出するステップと、
前記輝度値が所定の閾値より小さい画素数と前記総画素数との比率が所定値より大きいか否かを判断するステップと、
前記所定値より大きい場合には、前記車両が前記陰に入っている旨を示すフラグを設定すると共に、前記取得されたフレーム画像において前記車両が陰に入っていると決定するステップと、
を含むことを特徴とする請求項５記載の車両追跡方法。 The third sub-step further compares the position of the lower side of the vehicle in the acquired frame image with the position of the lower side of the immediately preceding one frame image to determine whether there is a large position change. Steps,
If there is a large change, calculating the total number of pixels of the lower region in the vehicle possible region and the number of pixels whose luminance value is smaller than a predetermined threshold in the acquired frame image of the vehicle;
Determining whether the ratio of the number of pixels whose luminance value is smaller than a predetermined threshold and the total number of pixels is larger than a predetermined value;
If greater than the predetermined value, setting a flag indicating that the vehicle is in the shade, and determining that the vehicle is in the shade in the acquired frame image;
The vehicle tracking method according to claim 5, further comprising: 前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断するステップと、
依然として陰にあると判断する場合には、前記取得されたフレーム画像において前記車両の上部特徴を保持しているか否かを判断するステップと、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法で前記車両を改めて追跡することによってその前記取得されたフレーム画像中の位置及び大きさの情報を取得するステップと、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定するステップと、
を含むことを特徴とする請求項５記載の車両追跡方法。 Determining whether the vehicle is still shaded in the acquired frame image;
If it is determined that it is still in the shadow, determining whether or not the upper feature of the vehicle is retained in the acquired frame image;
If the upper feature of the vehicle is held, acquiring the position and size information in the acquired frame image by tracking the vehicle again with a feature calculation tracking method;
When the upper feature of the vehicle is not retained, the vehicle motion estimation is performed based on the position and size information of the vehicle in the previous frame image obtained by tracking. Determining position and size information in the acquired frame image;
The vehicle tracking method according to claim 5, further comprising: 前記第４ステップは、さらに、
前記車両の状態分類が前記陰状態である場合に、前記直前の１フレームにおいて前記車両が依然として陰にあるか否かを判断するステップと、
依然として陰にあると判断する場合に、前記直前の１フレーム画像において前記車両の上部特徴を保持しているか否かを判断するステップと、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法で前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡するステップと、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定するステップと、
を含むことを特徴とする請求項２記載の車両追跡方法。 The fourth step further includes:
When the vehicle state classification is the shaded state, determining whether the vehicle is still shaded in the immediately preceding frame;
Determining whether to retain the upper feature of the vehicle in the immediately preceding one frame image when determining that it is still in the shadow;
Tracking the position and size information of the vehicle in the acquired frame image with a feature calculation tracking method if holding the upper feature of the vehicle;
When the upper feature of the vehicle is not retained, the vehicle motion estimation is performed based on the position and size information of the vehicle in the previous frame image obtained by tracking. Determining position and size information in the acquired frame image;
The vehicle tracking method according to claim 2, further comprising: さらに、
前記車両が陰にないと場合には、前記車両に設置された前記陰に入った旨を示すフラグをリセットするステップと、
前記車両を前記正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡するステップと、
を含むことを特徴とする請求項７又は８記載の車両追跡方法。 further,
If the vehicle is not in the shade, resetting a flag indicating that it has entered the shade installed in the vehicle;
Tracking the position and size information in the acquired frame image as the vehicle in the normal driving state;
The vehicle tracking method according to claim 7, further comprising: 前記特徴計算追跡方法で前記車両を追跡するステップは、さらに、
前記取得されたフレーム画像の車両存在可能域から、前記車両の上部特徴を含む部分の画像を取得するステップと、
前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るステップと、
前記直前の１フレーム画像中の前記車両の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、前記取得されたフレーム画像中の前記車両の上辺及び左右辺を決定するステップと、
前記取得されたフレーム画像中の前記車両の上辺、左辺、右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、前記フレーム画像中の前記車両の下辺位置を計算し、ここで、得られた前記車両の前記フレーム画像中の上辺、左辺、右辺及び下辺によって、前記フレーム画像中の前記車両の位置及び大きさの情報を決定するステップを、
含むことを特徴とする請求項７又は８記載の車両追跡方法。 The step of tracking the vehicle with the feature calculation tracking method further comprises:
Obtaining an image of a portion including an upper feature of the vehicle from a vehicle possible area of the acquired frame image;
Extracting an edge from the image of the acquired part to obtain an edge feature of the image;
Determining upper and left and right sides of the vehicle in the acquired frame image based on information on the position and size of the vehicle in the immediately preceding one frame image and edge characteristics of the obtained image; ,
Based on the upper side, the left side, and the right side of the vehicle in the acquired frame image, and the size information in the immediately preceding one frame image, the lower side position of the vehicle in the frame image is calculated. Determining the position and size information of the vehicle in the frame image by the upper side, the left side, the right side and the lower side of the obtained frame image of the vehicle,
The vehicle tracking method according to claim 7, further comprising: 車両を追跡する車両追跡装置において、
フレーム画像を取得する取得手段と、
以前のフレーム画像中の車両の位置及び大きさの情報に基づいて、車両運動推定を行って該車両が前記取得されたフレーム画像に存在可能な領域(車両存在可能領域)を決定する領域決定手段と、
前記車両の状態分類を決定する分類決定手段と、
決定された前記車両の状態分類に応じた追跡方法により、前記決定された領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさを決定する位置及び大きさ決定手段と、
前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を出力する出力手段と、
を備えたことを特徴とする車両追跡装置。 In a vehicle tracking device that tracks a vehicle,
An acquisition means for acquiring a frame image;
Area determination means for performing vehicle motion estimation based on information on the position and size of the vehicle in the previous frame image and determining an area where the vehicle can exist in the acquired frame image (vehicle existence possible area) When,
Classification determination means for determining a state classification of the vehicle;
A position and size for determining the position and size of the vehicle in the acquired frame image by processing the image data of the determined area by a tracking method according to the determined vehicle state classification A determination means;
Output means for outputting information on the position and size of the vehicle in the acquired frame image;
A vehicle tracking device comprising: 前記分類決定手段は、
前記取得されたフレーム画像直前の１フレーム画像中の前記車両の位置及び大きさの情報によって、前記直前の１フレーム画像において前記車両が占める画像領域を決定する占有領域決定手段と、
前記直前の１フレーム画像において前記車両が占める画像領域が他の車両で遮られるか否かを判断する判断手段と、
遮られたことを決定する場合に、前記車両の状態分類を“遮られた状態”に設定する設定手段と、をさらに含み、
前記判断手段は、遮られていない場合には、前記直前の１フレーム画像において前記車両が占める画像領域が前記直前の１フレーム画像のフレーム境界に達するか否かを判断し、
前記設定手段は、フレーム境界に達している場合には、前記車両の状態分類を“境界状態”に設定し、
前記判断手段は、フレーム境界に達していない場合には、前記車両に陰に入っていることを示すフラグが設定されているか否かを判断し、
前記設定手段は、フラグが設定されている場合には、前記車両の状態分類を“陰状態”に設定し、
前記判断手段は、フラグが設定されていない場合には、前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定によって前記車両が運転変動状態にあるか否かを判断し、
前記設定手段は、運転変動状態にあると決定する場合には、前記車両の状態分類を“運転変動状態”に設定し、
前記設定手段は、運転変動状態にない決定する場合には、前記車両の状態分類を“正常運転状態”に設定する、
ことを特徴とする請求項１１記載の車両追跡装置。 The classification determining means includes
Occupied area determining means for determining an image area occupied by the vehicle in the immediately preceding one frame image based on information on the position and size of the vehicle in the immediately preceding one frame image.
Determining means for determining whether an image area occupied by the vehicle in the immediately preceding one frame image is obstructed by another vehicle;
Setting means for setting the vehicle state classification to “blocked state” when determining that the vehicle is blocked; and
The determination means determines whether or not an image area occupied by the vehicle in the immediately preceding one frame image reaches a frame boundary of the immediately preceding one frame image when not obstructed;
The setting means sets the vehicle state classification to “boundary state” when the frame boundary is reached,
The determination means determines whether or not a flag indicating that the vehicle is behind the vehicle is set when the frame boundary is not reached,
When the flag is set, the setting means sets the vehicle state classification to “shadow state”;
If the flag is not set, the determination means determines whether the vehicle is in a driving fluctuation state based on the vehicle motion estimation based on the position and size information of the vehicle in the previous frame image. Determine whether
When the setting means determines that the vehicle is in a driving variation state, it sets the vehicle state classification to “driving variation state”;
The setting means sets the vehicle state classification to “normal driving state” when determining that the driving fluctuation state is not present,
The vehicle tracking device according to claim 11. 前記車両の状態分類が前記遮られた状態である場合に、前記位置及び大きさ決定手段は、区分されたテンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理することを特徴とする請求項１２記載の車両追跡装置。   The position and size determination means processes the image data of the vehicle existence possible area by a divided template matching tracking method when the state classification of the vehicle is the blocked state. Item 13. The vehicle tracking device according to Item 12. 前記車両の状態分類が前記境界状態である場合に、前記位置及び大きさ決定手段は、テンプレートマッチング追跡方法により前記車両存在可能領域の画像データを処理することを特徴とする請求項１２記載の車両追跡装置。   13. The vehicle according to claim 12, wherein, when the state classification of the vehicle is the boundary state, the position and size determining unit processes image data of the vehicle existence possible region by a template matching tracking method. Tracking device. 前記位置及び大きさ決定手段は、さらに、
前記車両の状態分類が前記運転変動状態又は正常運転状態である場合に、特徴に基づく追跡方法で前記車両存在可能領域の画像データを処理して、前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を得る処理手段と、
前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、得られた前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を校正する校正手段と、
得られた前記車両の前記取得されたフレーム画像と前記直前の１フレーム画像中の位置及び大きさの情報によって、前記取得されたフレーム画像において前記車両が陰に入ったか否かを判断する陰入れ判断手段と、
陰に入ったと決定する場合に、車両が陰に入った追跡方法で前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する追跡手段と、
を含むことを特徴とする請求項１２記載の車両追跡装置。 The position and size determining means further includes:
When the vehicle state classification is the driving variation state or the normal driving state, the image data of the vehicle existence possible region is processed by a feature-based tracking method, and the position of the vehicle in the acquired frame image And processing means for obtaining size information;
Calibration means for calibrating the obtained position and size information of the vehicle in the acquired frame image based on the position and size information of the vehicle in the previous frame image;
Imputation for determining whether or not the vehicle has entered the shade in the obtained frame image based on the obtained frame image of the obtained vehicle and information on the position and size in the immediately preceding one frame image Judgment means,
A tracking means for re-tracking information on the position and size of the vehicle in the acquired frame image by a tracking method in which the vehicle has entered the shadow when it is determined that the vehicle has entered the shadow;
The vehicle tracking device according to claim 12, comprising: 前記陰入れ判断手段は、さらに
前記車両の前記取得されたフレーム画像中の下辺の位置と、前記直前の１フレーム画像中の下辺の位置とを比べ、大きい位置変化があるか否かを判断する下辺位置判断手段と、
大きい変化がある場合には、前記車両が前記取得されたフレーム画像にある前記車両存在可能領域の下部領域の総画素数と輝度値が所定の閾値より小さい画素数とを算出する画素算出手段と、
前記輝度値が所定の閾値より小さい画素数と前記総画素数との比率が所定値より大きいか否かを判断する比率判断手段と、
前記所定値より大きい場合には、前記車両が前記陰に入ったことを示すフラグを設定するフラグ設定手段と、
前記取得されたフレーム画像において前記車両が陰に入ったことを決定する陰入れ決定手段と、
を含むことを特徴とする請求項１５記載の車両追跡装置。 The intrusion determining means further compares the position of the lower side in the acquired frame image of the vehicle with the position of the lower side in the immediately preceding one frame image to determine whether there is a large position change. A lower side position determination means;
A pixel calculating means for calculating the total number of pixels in the lower region of the vehicle existable region and the number of pixels whose luminance value is smaller than a predetermined threshold when there is a large change in the vehicle in the acquired frame image; ,
Ratio determining means for determining whether or not a ratio of the number of pixels whose luminance value is smaller than a predetermined threshold and the total number of pixels is larger than a predetermined value;
A flag setting means for setting a flag indicating that the vehicle has entered the shade, if greater than the predetermined value;
Intrusion determination means for determining that the vehicle has entered the shadow in the acquired frame image;
The vehicle tracking device according to claim 15, comprising: 前記追跡手段は、さらに、
前記取得されたフレーム画像において前記車両が依然として陰にあるか否かを判断する陰判断手段と、
依然として陰にあると判断する場合に、前記取得されたフレーム画像において前記車両の上部特徴を保持しているか否かを判断する特徴判断手段と、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を改めて追跡する特徴計算追跡手段と、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、
を含むことを特徴とする請求項１５記載の車両追跡装置。 The tracking means further includes:
Shade determination means for determining whether the vehicle is still shaded in the acquired frame image;
Feature determination means for determining whether or not the upper frame feature of the vehicle is retained in the acquired frame image when it is determined that it is still in the shade;
In the case where the upper feature of the vehicle is held, a feature calculation tracking means for tracking the position and size information of the vehicle in the acquired frame image by a feature calculation tracking method;
When the upper feature of the vehicle is not retained, the vehicle motion estimation is performed based on the position and size information of the vehicle in the previous frame image obtained by tracking. A motion estimation tracking means for determining position and size information in the acquired frame image;
The vehicle tracking device according to claim 15, comprising: 前記位置及び大きさ決定手段は、さらに、
前記車両の状態分類が前記陰状態である場合に、前記直前の１フレームにおいて前記車両が依然として陰にあるか否かを判断する陰判断手段と、
依然として陰にあると判断する場合には、前記直前の１フレーム画像において前記車両の上部特徴を保持しているか否かを判断する特徴判断手段と、
前記車両の上部特徴を保持している場合には、特徴計算追跡方法により前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を追跡する特徴計算追跡手段と、
前記車両の上部特徴を保持していない場合には、追跡により得られた前記車両の前記以前のフレーム画像中の位置及び大きさの情報に基づいて、前記車両運動推定を行って前記車両の前記取得されたフレーム画像中の位置及び大きさの情報を決定する運動推定追跡手段と、
を含むことを特徴とする請求項１２記載の車両追跡装置。 The position and size determining means further includes:
A shade judging means for judging whether or not the vehicle is still shaded in the immediately preceding frame when the vehicle state classification is the shaded state;
A feature judging means for judging whether or not the upper feature of the vehicle is held in the immediately preceding one frame image when it is judged that it is still in the shade;
In the case of holding the upper feature of the vehicle, feature calculation tracking means for tracking information on the position and size of the vehicle in the acquired frame image by a feature calculation tracking method;
When the upper feature of the vehicle is not retained, the vehicle motion estimation is performed based on the position and size information of the vehicle in the previous frame image obtained by tracking. A motion estimation tracking means for determining position and size information in the acquired frame image;
The vehicle tracking device according to claim 12, comprising: さらに、
前記車両が陰にないことを決定する場合に、車両が陰に入ったことを示すフラグフラグをリセットするフラグ標識取消し手段と、
前記車両を前記正常運転状態にある車両として、その前記取得されたフレーム画像中の位置及び大きさの情報を追跡する正常追跡手段と、
を含むことを特徴とする請求項１７又は１８記載の車両追跡装置。 further,
Flag sign canceling means for resetting a flag flag indicating that the vehicle has entered the shade when determining that the vehicle is not in the shade;
Normal tracking means for tracking the position and size information in the acquired frame image as the vehicle in the normal driving state,
The vehicle tracking device according to claim 17 or 18, characterized by comprising: 前記特徴計算追跡手段は、さらに、
前記取得されたフレーム画像の前記車両存在可能領域から、前記車両の上部特徴を含む部分の画像を取得する画像取得手段と、
前記取得された部分の画像よりエッジ抽出して画像のエッジ特徴を得るエッジ抽出手段と、
前記直前の１フレーム画像中の前記車両の位置及び大きさの情報と前記得られた画像のエッジ特徴に基づいて、前記取得されたフレーム画像中の前記車両の上辺及び左右辺を決定するエッジ決定手段と、
前記取得されたフレーム画像中の前記車両の上辺、左辺、右辺、及びその前記直前の１フレーム画像中の大きさ情報に基づいて、前記車両の前記フレーム画像中の下辺位置を計算し、ここで、得られた前記車両の前記フレーム画像中の上辺、左右辺及び下辺によって、前記車両の前記フレーム画像中の位置及び大きさの情報を決定する下辺計算手段と
を含むことを特徴とする請求項１７又は１８記載の車両追跡装置。 The feature calculation tracking means further includes:
Image acquisition means for acquiring an image of a portion including an upper feature of the vehicle from the vehicle existence possible area of the acquired frame image;
Edge extraction means for extracting an edge from the image of the acquired part to obtain an edge feature of the image;
Edge determination for determining upper and left and right sides of the vehicle in the acquired frame image based on the position and size information of the vehicle in the immediately preceding one frame image and the edge characteristics of the obtained image Means,
Based on the upper side, left side, and right side of the vehicle in the acquired frame image, and the size information in the immediately preceding one frame image, the lower side position in the frame image of the vehicle is calculated, where And a lower side calculating means for determining position and size information of the vehicle in the frame image based on the upper side, the left and right sides and the lower side of the obtained frame image of the vehicle. The vehicle tracking device according to 17 or 18.
JP2007043723A 2006-02-28 2007-02-23 Vehicle tracking method and apparatus Expired - Fee Related JP4877801B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2006100093779A CN101029823B (en) 2006-02-28 2006-02-28 Method for tracking vehicle based on state and classification
CN200610009377.9 2006-02-28

Publications (2)

Publication Number Publication Date
JP2007235952A true JP2007235952A (en) 2007-09-13
JP4877801B2 JP4877801B2 (en) 2012-02-15

Family

ID=38556005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007043723A Expired - Fee Related JP4877801B2 (en) 2006-02-28 2007-02-23 Vehicle tracking method and apparatus

Country Status (2)

Country Link
JP (1) JP4877801B2 (en)
CN (1) CN101029823B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081666A (en) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd Vehicle periphery monitoring apparatus and image displaying method
CN114067270A (en) * 2021-11-18 2022-02-18 华南理工大学 Vehicle tracking method and device, computer equipment and storage medium

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775359B2 (en) * 2007-09-19 2014-07-08 Utc Fire & Security Corporation System and method for occupancy estimation
CN101739551B (en) * 2009-02-11 2012-04-18 北京智安邦科技有限公司 Method and system for identifying moving objects
DE102011053052B3 (en) * 2011-08-26 2013-02-28 Jenoptik Robot Gmbh Method and device for identifying motor vehicles for traffic monitoring
CN103473757B (en) * 2012-06-08 2016-05-25 株式会社理光 Method for tracing object in disparity map and system
CN104599249B (en) * 2015-01-13 2017-07-14 重庆大学 Cableway platform bridge floor car load is distributed real-time detection method
US10181266B2 (en) * 2015-09-11 2019-01-15 Sony Corporation System and method to provide driving assistance
CN105354857B (en) * 2015-12-07 2018-09-21 北京航空航天大学 A kind of track of vehicle matching process for thering is viaduct to block
US11680813B2 (en) 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
DE102020130886A1 (en) * 2020-11-23 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method, system and computer program product for detecting movements of the vehicle body in a motor vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329397A (en) * 1995-05-26 1996-12-13 Nissan Motor Co Ltd Vehicle recognition device and vehicle approach reporting device using same
JP2001229488A (en) * 2000-02-15 2001-08-24 Hitachi Ltd Vehicle tracking method and traffic state tracking device
JP2002074368A (en) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd Moving object recognizing and tracking device
JP2003346157A (en) * 2002-05-23 2003-12-05 Toshiba Corp Object tracking device and object tracking method
JP2004032460A (en) * 2002-06-27 2004-01-29 Toshiba Corp Image processing apparatus and method therefor

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2718699Y (en) * 2004-07-21 2005-08-17 上海高德威智能交通系统有限公司 Intelligent monitoring and recording system based on video trigger and velocity measurement for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329397A (en) * 1995-05-26 1996-12-13 Nissan Motor Co Ltd Vehicle recognition device and vehicle approach reporting device using same
JP2001229488A (en) * 2000-02-15 2001-08-24 Hitachi Ltd Vehicle tracking method and traffic state tracking device
JP2002074368A (en) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd Moving object recognizing and tracking device
JP2003346157A (en) * 2002-05-23 2003-12-05 Toshiba Corp Object tracking device and object tracking method
JP2004032460A (en) * 2002-06-27 2004-01-29 Toshiba Corp Image processing apparatus and method therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081666A (en) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd Vehicle periphery monitoring apparatus and image displaying method
CN114067270A (en) * 2021-11-18 2022-02-18 华南理工大学 Vehicle tracking method and device, computer equipment and storage medium
CN114067270B (en) * 2021-11-18 2022-09-09 华南理工大学 Vehicle tracking method and device, computer equipment and storage medium

Also Published As

Publication number Publication date
CN101029823A (en) 2007-09-05
JP4877801B2 (en) 2012-02-15
CN101029823B (en) 2010-09-15

Similar Documents

Publication Publication Date Title
JP4877801B2 (en) Vehicle tracking method and apparatus
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2357614B1 (en) Method and terminal for detecting and tracking moving object using real-time camera motion estimation
JP4157620B2 (en) Moving object detection apparatus and method
JP5136504B2 (en) Object identification device
Ding et al. An adaptive road ROI determination algorithm for lane detection
US8094884B2 (en) Apparatus and method for detecting object
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
US20060212215A1 (en) System to determine distance to a lead vehicle
JP4957807B2 (en) Moving object detection apparatus and moving object detection program
JP2006268097A (en) On-vehicle object detecting device, and object detecting method
WO2020154990A1 (en) Target object motion state detection method and device, and storage medium
CN109478329B (en) Image processing method and device
CN107909009B (en) Obstacle detection method and device based on road surface learning
CN112261390B (en) Vehicle-mounted camera equipment and image optimization device and method thereof
JP3800785B2 (en) White line recognition device
CN110728700A (en) Moving target tracking method and device, computer equipment and storage medium
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
CN112435278B (en) Visual SLAM method and device based on dynamic target detection
WO2022215409A1 (en) Object tracking device
JP5903901B2 (en) Vehicle position calculation device
JP4842301B2 (en) Pedestrian detection device and program
JP4107273B2 (en) Moving body detection device
JP4069916B2 (en) Object detection apparatus and method
JP2006107314A (en) Image processor and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111122

R150 Certificate of patent or registration of utility model

Ref document number: 4877801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees