JP2014059655A

JP2014059655A - 道路状況監視装置、及び道路状況監視方法

Info

Publication number: JP2014059655A
Application number: JP2012203499A
Authority: JP
Inventors: Katsuhiro Horie; 勝大堀江; Toshio Sato; 俊雄佐藤; Yasuhiro Aoki; 泰浩青木; Yoshihiko Suzuki; 美彦鈴木; Kenji Kimiyama; 健二君山; Yusuke Takahashi; 雄介高橋
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2014-04-03
Anticipated expiration: 2032-09-14
Also published as: JP5931662B2

Abstract

【課題】車両の進行方向が変化する画像に対しても、安定して車両の抽出、及び追跡ができ、車両検出精度を向上させることが可能な道路状況監視装置、及び道路状況監視方法を提供する。
【解決手段】撮影装置は、監視エリアを撮影する。画像取得部は、撮影装置から監視エリアの画像を取得する。車両検出部は、取得した画像から監視エリアに写る車両を検出する。テンプレート作成部は、取得された画像から、検出した車両の監視エリア上の位置とその特徴を計算し、この計算結果からテンプレートを作成する。車両追跡部は、取得される画像に対してテンプレートを順次比較照合することで同一の車両を検出する。道路状況検知部は、車両検出部、及び車両追跡部を経て得られる検出結果に基づいて道路状況を検知する。
【選択図】図１

Description

本発明の実施形態は、道路上の車両等を検出して道路状況を監視する道路状況監視装置、及び道路状況監視方法に関する。

一般に、道路上の車両を検出して道路状況を監視する装置として道路状況監視装置が知られている。

従来の道路状況監視装置では、カーブ等、車両の進行方向が変化する画像に対応できないため、適用可能な道路が直線に限られる。これにより、入力画像上の道路面ごとにテンプレート作成範囲を指定する必要があるため、車両検出精度が低下するという課題がある。

特許第３４３５６２３号公報

以上のように、従来の道路状況監視装置では、カーブ等、車両の進行方向が変化する画像に対応できないため、適用可能な道路が直線に限られる。これにより、入力画像上の道路面ごとにテンプレート作成範囲を指定する必要があるため、車両検出精度が低下するという課題がある。

そこで、目的は、カーブ等、車両の進行方向が変化する画像に対しても、安定して車両の抽出、及び追跡ができ、車両検出精度を向上させることが可能な道路状況監視装置、及び道路状況監視方法を提供することにある。

本実施形態によれば、道路状況監視装置は、撮影手段と、取得手段と、第１の検出手段と、作成手段と、第２の検出手段と、道路状況検知手段とを具備する。撮影手段は、監視エリアを撮影する。取得手段は、前記撮影手段から前記監視エリアの画像を取得する。第１の検出手段は、前記取得した画像から前記監視エリアに写る車両を検出する。作成手段は、前記取得手段で取得された画像から、前記検出した車両の前記監視エリア上の位置情報とその特徴情報を計算し、この計算結果から前記車両を識別するためのテンプレートを作成する。第２の検出手段は、前記取得手段で取得される画像に対して前記作成手段で作成されたテンプレートを順次比較照合することで同一の車両を検出する。道路状況検知手段は、前記第１の検出手段、及び第２の検出手段を経て得られる検出結果に基づいて道路状況を検知する。

本実施形態に係る道路状況監視装置の構成を示すブロック図。図１に示す車両領域抽出部における車両領域の抽出結果を示す図。図１に示すテンプレート作成部で作成されたテンプレート画像を示す図。図１に示すマッチング処理部におけるラスタスキャンの過程を示す図。図１に示すマッチング処理部における車両追跡の過程を示す図。本実施形態に係る候補領域の複数抽出を示す図。

以下、実施形態について、図面を参照して説明する。

図１は、本実施形態に係る道路状況監視装置の構成を示すブロック図である。

道路状況監視装置は、撮影装置と、画像取得部１と、車両検出部２と、識別器構築部３と、テンプレート作成部４と、車両追跡部５と、テンプレート更新部６と、道路状況検知部７とを備える。

画像取得部１は、撮影装置からフレーム単位で監視エリアの画像データを受け取り、車両検出部２へ画像データを伝送する。なお、本実施形態の撮影装置は、例えば、ＩＴＶカメラであり、道路脇、あるいは道路の上方の所定位置に設置されて、監視対象の道路の画像を撮影して、画像データをフレーム単位で出力する。

車両検出部２は、画像取得部１から得られたフレーム単位での画像データごとに、局所領域での特徴量の頻度に基づいて、監視エリアに写る道路上の車両を検出する。なお、特徴量とは、輝度等、画像データ中の数値的変化を表す量のことである。この車両検出部２は、探索窓設定部２１と、第１の高次特徴量算出部２２と、尤度算出部２３と、識別器選択部２４と、車両領域抽出部２５とを有する。

探索窓設定部２１は、得られた画像データ上に探索領域を設定する。

第１の高次特徴量算出部２２は、探索窓設定部２１から探索領域の情報を受け取り、受け取った探索領域から高次特徴量を算出する。

尤度算出部２３は、第１の高次特徴量算出部２２で算出した高次特徴量と複数の識別器２７１〜２７Ｎに保持された車両情報に基づいて、車両か車両でないか、乃至どのような車両か、数値で表現する尤度を算出する。

識別器選択部２４は、尤度算出部２３で尤度を算出する際、車両検出部２内に保持され、普通車、及び大型車等、複数のカテゴリに分類された識別器２７１〜２７Ｎの中から、最適な識別器を選択する。このとき、識別器選択部２４は、設置された複数の辞書２６１〜２６Ｎの中に保持されている車両の輝度等の数値を参照して、尤度の算出に最適な識別器を選択する。

車両領域抽出部２５は、尤度算出部２３で算出した尤度情報に基づいて、車両が検出されたと思われる車両領域を抽出する。

テンプレート作成部４は、車両検出部２で抽出された車両領域において、画像取得部１で取得された画像から検出した車両の監視エリア上の位置情報とその特徴情報を計算し、この計算結果から車両を識別するためのテンプレートを作成する。作成されたテンプレートは、テンプレート情報記憶部６３に記憶される。

車両追跡部５は、テンプレート作成部４で作成されたテンプレートを用いて、画像取得部１で取得される画像に対してテンプレートを順次比較照合することで同一の車両を検出し、追跡する。この車両追跡部５は、テンプレート情報読込部５１と、マッチング処理部５２とを有する。

テンプレート情報読込部５１は、テンプレート作成部４で作成されたテンプレートと、テンプレート内に設定された探索領域の左上座標、及び右下座標を読み込む。ここで、テンプレート画像内の探索領域は、テンプレート作成時における車両領域の位置情報に基づいて設定され、車両追跡部５は、その周辺について探索を行う。

マッチング処理部５２は、テンプレート情報読込部５１で読み込まれたテンプレート画像、探索領域の左上座標、及び右下座標を用いて、ラスタスキャンを行う。マッチング処理部５２は、ラスタスキャンにより、テンプレートと探索領域との輝度差の総和を算出し、算出された輝度差の総和から車両を検出し、追跡する。

また、車両追跡部５は、マッチング処理部５２におけるテンプレート画像と探索領域との比較を輝度差の総和だけではなく、正規相関のように類似度で算出してもよい。

テンプレート更新部６は、車両追跡部５で検出、追跡される車両の画像データごとに、テンプレートを更新する。このテンプレート更新部６は、重なり率算出部６１と、テンプレート更新判定部６２を有する。

重なり率算出部６１は、車両領域抽出部２５から得られる座標と、マッチング処理部５２で得られる座標とを比較し、２つの矩形領域の重なり率を算出する。

テンプレート更新判定部６２は、重なり率算出部６１で算出した重なり率が一定値より大きいかを判定し、重なり率が一定値より大きい場合、車両抽出部２で抽出された矩形領域をテンプレートとして更新し、探索領域の左上座標と右下座標も同時に更新する。このとき、更新されたテンプレートは、テンプレート情報記憶部６３に記憶される。

道路状況検知部７は、車両検出部２、及び車両追跡部５を経て得られる検出結果を用いて、道路上の渋滞、通過台数、速度超過、停止、低速、回避、及び逆走等の事象を検知する。このとき、事象の検知は、車両追跡部５で得られる車両の移動データに基づいて行う。

ここで、上記識別器を構築する過程について説明する。

識別器構築部３は、識別器選択部２４で選択するための識別器を構築する。この識別器構築部３は、学習用データ保持部３１と、教示データ作成部３２と、第２の高次特徴量算出部３３と、学習部３４と、識別器構築処理部３５とを有する。

教示データ作成部３２は、学習用データ保持部３１で保持された複数の学習用の画像データに対して、手動で矩形の車両領域を作成する。

第２の高次特徴量算出部３３は、教示データ作成部３２により作成された矩形の車両領域から、ＣｏＨＯＧ（Co-occurrence Histograms of Gradients）特徴量、乃至ＨＯＧ（Histograms of Gradients）特徴量等に基づいて、局所領域の高次特徴量を算出する。なお、算出される局所領域の高次特徴量の数は、教示データ作成部３１で作成された車両領域の数と一致する。

学習部３４は、第２の高次特徴量算出部３３で算出された局所領域の高次特徴量から、車種情報等の学習データを算出する。

識別器構築処理部３５は、学習部３４により算出された学習データを、普通車、及び大型車等、複数のカテゴリに分類し、カテゴリ別で複数の識別器２７１〜２７Ｎに保持する。ここで、識別器２７１〜２７Ｎの構築には、例えば、部分空間法、サポートベクターマシン、Ｋ近傍識別器、ベイズ分類等の機械学習により、大量のデータから識別パラメータを構成する非ルールベースの手法を用いる。なお、本実施形態は、上記以外の手法で実現してもよい。

図２は、車両領域抽出部２５における、車両領域の抽出結果を示す図である。

図２には、３台の車両を用いて説明しているが、台数に上限はなく、道路上の車両全てに対して車両領域２０１〜２０３を抽出する。

図３は、テンプレート作成部４で作成されたテンプレート画像を示す図である。

テンプレート作成部４では、カメラの設置場所、及び道路面の大きさ等に依存せず、テンプレート画像を作成することが可能である。また、テンプレート画像サイズ３０１は、車両検出時の矩形サイズ２０１でも良いし、背景等を削除する目的で、高さ、及び幅共に、車両検出時より予め設定している数値分だけ小さく設定してもよい。このとき、車両抽出領域２０１とテンプレート画像３０１、車両抽出領域２０２とテンプレート画像３０２、車両抽出領域２０３とテンプレート画像３０３がそれぞれ対応付けられている。図３では、３台の車両を用いて説明しているが、テンプレート作成部４は、台数に上限がなく、道路上の車両全てに対しテンプレートを作成する。

図４は、マッチング処理部５２におけるラスタスキャンの過程を示す図である。

図４に示すように、テンプレート情報読込部５１で読み込まれたテンプレート画像４０２、探索領域の左上座標４０１、及び右下座標４０４を用いて、ラスタスキャン４０３を行い、テンプレート画像４０２で輝度差の総和を算出し、算出された輝度差の総和から車両を追跡する。

図５は、マッチング処理部５２における車両追跡の過程を示す図である。

図５に示す５０１〜５０６はそれぞれ、前フレームのテンプレート画像５０１〜５０３、現在フレームにおけるマッチング結果画像５０４〜５０６を示している。

図５では、３台の車両を用いて説明しているが、車両追跡部５は、台数に上限がなく、道路上の車両全てに対して、車両を検出、追跡する。

以上のように、本実施形態では、車両検出部２の検出処理と車両追跡部５の検出処理を併用することによって、片方の検出処理が検出に失敗した場合でも、もう片方の検出処理でカバーできる。

これにより、安定して車両を抽出や追跡ができ、車両検出精度を向上させることができる。

したがって、カーブ等、車両の進行方向が変化する画像に対しても、安定して車両の抽出、及び追跡ができ、車両検出精度を向上させることが可能な道路状況監視装置、及び道路状況監視方法を提供することが可能になる。

ここで、車両検出部２の識別器２７１〜２７Ｎは、車両検出部２が車両の検出に失敗した場合において、車両追跡部５における車両の検出、追跡が成功した場合にはその検出結果を学習させることで、その後の検出精度を向上させることができる。

また、図６は、候補領域の複数抽出を示す図である。

図６に示すように、車両追跡部５は、時刻tにおけるマッチング処理部６２でのマッチング処理の際、候補領域６０３〜６０４を複数抽出する。さらに、車両追跡部５は、過去に検出した車両領域の軌跡６０１〜６０２に応じて、候補領域から追跡結果６０３を選択する。

これにより、隣接レーンへの車両対応付けに失敗しなくなるため、車両の車両追跡精度が向上する。

なお、図６では、軌跡を計算する時間間隔、及び候補領域数は、図上の数値に限定せず、自由に決定できるものとする。

また、本実施形態で示した識別器構築部３において、学習部３４は車両の向き情報を予め学習し、識別器構築処理部３５は、識別器の構築を行う。識別器選択部２４は、カーブ等、車両検出部２で検出された画像中の車両の見え方が一定角度以上変わった時に、角度に応じて識別器の選択を行う。同時に、テンプレート更新判定部６２は、車両領域抽出部２５で抽出された矩形領域をテンプレート５０２として更新し、探索領域の左上座標５０１と右下座標５０４も更新する。

これにより、カーブ等、車両の進行方向が変化する画像にも安定して車両を抽出や追跡ができ、車両検出精度を向上させることができる。

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像取得部、２…車両検出部、２１…探索窓設定部、２２…第１の高次特徴量算出部、２３…尤度算出部、２４…識別器選択部、２５…車両領域抽出部、２６１〜２６Ｎ…辞書、２７１〜２７Ｎ…識別器、３…識別器構築部、３１…学習用データ保持部、３２…教示データ作成部、３３…第２の高次特徴量算出部、３４…学習部、３５…識別器構築処理部、４…テンプレート作成部、５…車両追跡部、５１…、５２…、６…テンプレート更新部、６１…重なり率算出部、６２…テンプレート更新判定部、６３…テンプレート情報記憶部、７…道路状況検知部。

Claims

監視エリアを撮影する撮影手段と、
前記撮影手段から前記監視エリアの画像を取得する取得手段と、
前記取得した画像から前記監視エリアに写る車両を検出する第１の検出手段と、
前記取得手段で取得された画像から、前記検出した車両の前記監視エリア上の位置情報とその特徴情報を計算し、この計算結果から前記車両を識別するためのテンプレートを作成する作成手段と、
前記取得手段で取得される画像に対して前記作成手段で作成されたテンプレートを順次比較照合することで同一の車両を検出する第２の検出手段と、
前記第１の検出手段、及び第２の検出手段を経て得られる検出結果に基づいて道路状況を検知する道路状況検知手段と
を具備することを特徴とする道路状況監視装置。
前記第１の検出手段は、複数のカテゴリに分類した識別器を保持することを特徴とする請求項１記載の道路状況監視装置。
前記第１の検出手段は、局所領域の特徴量の頻度に基づいて、車両を検出することを特徴とする請求項１記載の道路状況監視装置。
前記第１の検出手段で車両の検出に失敗し、前記第２の検出手段で車両の検出及び追跡に成功した場合、前記第１の検出手段の識別器に前記第２の検出手段による検出結果を学習させることを特徴とする請求項１記載の道路状況監視装置。
前記第１の検出手段は、部分空間法、サポートベクターマシン、Ｋ近傍識別器、及びベイズ分類の機械学習のいずれか一つに基づいて検出することを特徴とする請求項１記載の道路状況監視装置。
前記第２の検出手段は、テンプレート作成時の位置情報に基づいて、その周辺を探索領域として設定することを特徴とする請求項１記載の道路状況監視装置。
前記第２の検出手段は、前記テンプレート画像と前記探索領域の輝度差との総和、乃至類似度を算出することを特徴とする請求項１記載の道路状況監視装置。
前記第２の検出手段は、候補領域を複数抽出し、過去に検出した車両領域の軌跡に応じて、候補領域から追跡結果を選択することを特徴とする請求項１記載の道路状況監視装置。
前記第２の検出手段で追跡する車両ごとにテンプレートを更新する更新手段をさらに具備することを特徴とする請求項１記載の道路状況監視装置。
前記更新手段は、前記第１の検出手段で得られた矩形領域と、前記第２の検出手段で得られた矩形領域との重なり率によって、前記テンプレート情報を更新するか判定することを特徴とする請求項９記載の道路状況監視装置。
前記更新手段は、前記第１の検出手段で検出された画像中の車両の見え方が一定角度以上変わった場合、角度に応じて前記識別器の選択し、その向き情報に基づいて、前記テンプレート情報を更新するか判定することを特徴とする請求項９記載の道路状況監視装置。
監視エリアを撮影し、
前記撮影手段から画像を取得し、
前記取得した画像ごとに、特徴量を用いて車両を検出し、
前記検出した車両の位置、及び車両の向き情報に基づいて、テンプレートを作成し、
前記作成したテンプレートを用いて、車両領域から車両を検出し、追跡し、
前記テンプレートを更新し、
前記２つの検出結果に基づいて、道路状況を検知すること
を特徴とする道路状況監視方法。