JP2012003549A - 異常走行車両検出システムおよび道路監視プログラム - Google Patents

Abstract

【課題】道路および車両に特別な設備や機能をもたせることなく、道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムおよび道路監視プログラムを提供する。
【解決手段】異常走行車両検出処理部１３−１６は、上記キャプチャ部１２が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する。
【選択図】 図１

Description

本発明の実施形態は、単眼カメラで撮影した映像をもとに道路を監視し異常走行車両を検出する異常走行車両検出システムおよび道路監視プログラムに関する。

自動車走行道路における車両の異常走行検出技術として、種々の検出技術が存在するが、いずれも煩雑なシステム構成を必要とし、設備が大掛かりになることから、経済性並びに実用性の面で問題があった。具体例を挙げると、従来では、色彩、形状等の違う複数の線状表示をイメージセンサで撮影して、線状表示の並び方を検出し、線状表示の位置関係から車両の走行方向を認識する技術（引用文献１参照）、路側に、入口情報を常時無線により発信し、車載器に、入口情報を所定時間継続して受信すると逆送を警告する音声発生手段を具備した技術（引用文献２参照）、道路標識をパターン認識して、その道路標識が走行車線よりも左側にあるか右側にあるかを判定し、右側にあると判定したとき振動発生機を振動させて運転手に警告する技術（引用文献３）、１フレームの画像情報からナンバープレートの画像情報を抽出し、文字認識するとともに、ナンバープレートの位置を認識して、前フレームの画像情報から抽出し認識した上記各内容と比較し、ナンバープレートの移動方向から車両の走行方向を認識する技術（引用文献４）、道路標識らしきものの大きさを検出し、右側の道路標識が正常走行時のものより大きいとき、あるいは左側の道路標識が正常走行時のものより小さいときに逆走の警報を出力する技術（引用文献５）等が存在する。

特開２００２−１６３７７７号公報 特開２００７−１０２４４３号公報 特開２００７−２９３３９０号公報 特開２００４−２３４４８６号公報 特開２００７−１４０８８３号公報

上述したように、従来では、種々の自動車走行道路における車両の異常走行検出技術が存在するが、そのいずれもシステム構成が煩雑になることから、経済性並びに実用性の面で問題があった。

本実施形態は上記実情に鑑みなされたもので、道路および車両に特別な設備や機能をもたせることなく、道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムおよび道路監視プログラムを提供することを目的とする。

本実施形態は、車道を撮影する単眼カメラと、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、を具備した異常走行車両検出システムを特徴とする。

また本実施形態は、単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための道路監視プログラムであって、前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、をコンピュータに実現させるための道路監視プログラムを特徴とする。

上記実施形態によれば、道路および車両に特別な設備や機能をもたせることなく、一台のカメラで撮影した映像をもとに道路を走行する車両の異常走行を一定の精度で検出し外部に報知することのできる異常走行車両検出システムが提供できる。

本発明の実施形態に係る異常走行車両検出システムの構成を示すブロック図。 上記実施形態に係る異常走行車両検出処理部の構成を示すブロック図。 上記実施形態に係る異常走行車両検出システムの構成をより詳細に示すブロック図。 上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。 上記実施形態に係る異常走行車両検出システムの処理手順を示すフローチャート。 上記実施形態における異常走行パターン（異常走行ルート）の事前設定例（逆送検出パターン）を説明するための図。 上記実施形態における異常走行パターンの事前設定例（路肩走行検出パターン）を説明するための図。 上記実施形態における異常走行パターンの事前設定例（進入禁止道路進入検出パターン）を説明するための図。 上記実施形態における異常走行判定処理（指定方向ゲート通過判定処理における交差判定処理）を説明するための図。 上記実施形態における異常走行判定処理を説明するための図。 上記実施形態における異常走行判定処理を説明するための図。 上記実施形態における異常走行判定処理を説明するための図。 上記実施形態における異常走行判定処理を説明するための図。 上記実施形態における異常走行判定処理を説明するための図。 上記実施形態における異常走行判定処理手順を示すフローチャート。

以下図面を参照して本発明の実施形態を説明する。

本発明の実施形態は、自動車が通行する道路（車道）、または同道路に付帯する、例えばパーキングエリア、サービスエリア、高速道路のインターチェンジ、駐車場施設、車道の交差点等における走行車両の監視カメラ装置に適用して好適な異常走行車両検出システムおよび異常走行監視プログラムを実現する。

本発明の実施形態に係る異常走行車両検出システムは、車両に機器を設置する必要はなく、道路を監視している１台のカメラ（単眼カメラ）映像に対して、検出したい異常走行ルート（異常走行パターン）を任意に設定（設定はゲート設定のみ）することで、走行すべき方向に進んでいない車両や、走行してはいけない場所（例えば路肩または待避車線等）を走行している車両を異常走行車両として検出し通知することができる。

この異常走行車両検出システムは、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。また、一方通行道路に限定することなく、複数車線でも、対面通行道路でも、車線単位で異常走行を検出することが可能であり、カメラの撮像範囲内であれば、１台の装置（システム）にて通行ポイント（ゲート）を複数設定して設定した通行ポイント毎に異常走行を検出処理することが可能である。また、異常走行の検出処理としては、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する（進入している方向を決められる）ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、１つの装置（システム）で通行ポイント（ゲート）を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。

本発明の実施形態に係る異常走行車両検出システムは図１に示すように、一台のカメラ（単眼カメラ）１１と、キャプチャ部１２と、異常走行車両検出処理部１３−１６と、表示部１７とを具備して構成される。カメラ（単眼カメラ）１１、キャプチャ部１２、および表示部１７は、それぞれハードウェア（ＨＷ）により実現される構成要素であり、異常走行車両検出処理部１３−１６はソフトウェア（ＳＷ）により実現される構成要素である。

カメラ１１は、監視対象となる道路（監視対象車線）の撮影が可能な、例えば道路の路側、道路を跨ぐ架橋、道路上の表示盤支持フレーム等に設置または支持されて、道路上の距離を異にする複数の地点が監視映像（キャプチャした映像フレーム）の位置座標により判別できるよう、監視対象車線を斜め上方から撮影する。キャプチャ部１２はカメラ１１で撮影した監視対象車線の画像をフレーム単位で取り込む。

異常走行車両検出処理部１３−１６は、上記キャプチャ部１２が取り込んだフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する処理機能を実現している。表示部１７は上記異常走行車両検出処理部１３−１６において監視対象オブジェクトが異常走行状態にあることを判定したとき、当該オブジェクトに関する軌跡を含む所定の情報を登録するとともに異常走行状態が発生したことを外部に報知する出力機能を実現している。

異常走行車両検出処理部１３−１６は、図２に示すように、車両検出処理部１５ａと、車両追跡処理部１５ｂと、車種推定処理部１５ｃと、車種判別処理部１６ａと、異常走行検出処理部１６ｂとを具備して構成される。

車両検出処理部１５ａは、カメラ１１が撮影した監視対象領域の画像を入力し、入力したフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域（矩形領域）として抽出し、当該矩形領域を監視対象車線を走行する車両として検出する処理を行う。

車両追跡処理部１５ｂは、車両検出処理部１５ａが検出した走行車両（矩形領域）を処理対象オブジェクトとして当該オブジェクトを一定の周期毎に追跡する処理を行う。

車種推定処理部１５ｃは、車両追跡処理部１５ｂが追跡した走行車両（矩形領域）について、設定された矩形領域との大きさの比較により走行車両の車種（大型車両／小型車両／二輪車等）を推定する処理を行う。

車種判別処理部１６ａは、車種推定処理部１５ｃが推定した車種の車両について、当該車両が設定された検出対象車種であるか否かを判別する処理を行う。

異常走行検出処理部１６ｂは、車種判別処理部１６ａで検出対象車種であると判別された走行車両について、当該車両が設定された異常走行パターンに合致する異常走行車両であるか否かを判定し、異常走行車両を検出する処理を行う。さらに異常走行検出処理部１６ｂは異常走行車両を検出すると、当該異常走行車両に関する所定の情報を登録するとともに、異常走行が発生した旨を外部に通知する処理を行う。

異常走行検出処理部１６ｂから異常走行が発生した旨を受けた表示部１７は、当該異常走行が発生した旨を表示出力する。この表示部１７は、例えば上記道路の監視対象車線近傍の路上に設置された道路表示盤であってもよく、または道路を管理する道路監視室の表示装置であってもよい。路上に設置された道路表示盤に上記異常走行が発生した旨を表示することにより、異常走行車両の運転者、異常走行車両近傍の他の車両運転者にそれぞれ異常走行を報知することができる。

上記した異常走行車両検出処理部１３−１６における各構成要素の詳細については図３乃至図１５を参照して後述する。

上記図１および図２に示した異常走行車両検出システムのより具現化した構成を図３に示している。

図３に示す異常走行車両検出システムは、カメラ（単眼カメラ）１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１５と、異常走行判定処理部１６と、表示部１７とを具備して構成される。画像処理記憶部１３と、画像処理部１５と、異常走行判定処理部１６とにより上記図２に示した異常走行車両検出処理部１３−１６が実現される。

図３に示す画像処理部１５および異常走行判定処理部１６は、それぞれ上記検出対象となる車両を処理対象オブジェクトとして、検出対象となる車両の抽出並びに追跡処理、異常走行車両の判定処理等を実施する。

上記構成要素のうち、画像処理部１５は、上記図２に示す車両検出処理部１５ａの処理機能を実現する変化領域抽出処理部１５１と、車両追跡処理部１５ｂの処理機能を実現する追跡処理部１５２と、車種推定処理部１５ｃの処理機能を実現するオブジェクト推定処理部１５３とを具備する。異常走行判定処理部１６は、同じく上記図２に示す車種判別処理部１６ａの処理機能を実現する検出対象オブジェクト判定処理部１６１と、異常走行検出処理部１６ｂの処理機能を実現する異常軌跡オブジェクト判定処理部１６２および異常軌跡オブジェクト登録処理部１６３とを具備する。なお、画像処理部１５の各構成要素については、特許第４４２７０５２（参考文献１）、特開平２００９−２１１１２２号公報（参考文献２）、および特開平２００９−２１０２８６号公報（参考文献３）に記載された画像処理部の技術を援用して実現しており、ここではその詳細（演算式等）について説明を省略する。

カメラ１１は、上記したように、監視対象車線が撮影可能な位置に設置され、監視対象車線を斜め上方から撮影する。このカメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、上記道路の監視対象領域における動きを伴う被写体（動物体）を対象に、一定の画角で撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素（ｐｉｘ）＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１５の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファ１３１に保持する処理機能をもつ。この画像バッファ１３１に取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、画像処理部１５の処理に供される、キャプチャ部１２が取り込んだ入力画像および処理中の各画像を含む各種データを記憶する。この画像処理記憶部１３には、画像処理部１５の制御の下に、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ一画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ１３１を構成する領域が確保されるとともに、画像処理部１５の処理に用いられる画像領域が確保される。さらに画像処理記憶部１３には、画像処理部１５の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、追跡処理に於いて生成若しくは取得される各種情報の記憶領域も確保される。

画像処理部１５は、画像処理記憶部１３の画像バッファ１３１に保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、この差分二値化画像から、変化画素を含む矩形の領域を抽出する変化領域抽出処理部１５１と、この変化領域抽出処理部１５１で抽出した矩形領域を処理対象に、領域を追跡する、追跡情報バッファ（ＢＵＦ）を備えた追跡処理部１５２と、参照テーブル１５４を用いて、追跡処理部１５２で追跡した矩形領域が検出対象として指定されたオブジェクト（検出対象車両）であることを推定するオブジェクト推定処理部１５３とを具備して構成される。

オブジェクト推定処理部１５３は、抽出した矩形領域（追跡開始オブジェクト、および追跡オブジェクト）について、オブジェクトモデルテーブルを構成する参照テーブル１５４を用いてオブジェクトの推定を行う現在オブジェクトモデル推定処理部１５５と、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに、尤度（likelihood）を利用してオブジェクトモデルの判定を行うオブジェクトモデル更新処理部１５６とを具備して構成される。

オブジェクトモデルテーブルを構成する参照テーブル１５４には、あらかじめ初期設定として、オブジェクト（検出対象車両）を推定するため、所定の場所に設置されたカメラ１１により、検出対象となる１オブジェクトについて、画角に収まる３地点以上の複数地点で当該オブジェクトを撮影し、その各映像フレームから生成したオブジェクトの矩形の領域がサンプルモデル（オブジェクトモデル）として登録される。この各地点の矩形の領域の位置と高さと幅の情報に基づいて算出されるオブジェクトモデルデータを用いて、オブジェクト推定処理部１５３は、大きさを異にする車種毎の検出対象オブジェクトを推定する。このサンプルモデルに従うオブジェクトモデルデータの生成手段については参考文献２に詳述されているので、ここではその詳細な説明を省略する。さらに上記参照テーブル１５４には、異常走行判定処理部１６が参照する異常走行ルート（異常走行パターン）の定義情報および指定方向ゲート通過判定処理のためのゲート通過判定用設定情報が登録される。この異常走行パターンの定義内容については図６乃至図８を参照して、またゲート通過判定用設定内容については図９乃至図１４を参照して後述する。

現在オブジェクトモデル推定処理部１５５は、キャプチャ部１２が取り込んだキャプチャ画像を入力し、追跡処理部１５２が取得した変化領域情報、追跡情報等を利用して、オブジェクト（検出対象物である走行車両）を推定するオブジェクト推定機能を実現している。このオブジェクト推定機能により、例えば、検出すべきでない対象物の検出を排除し、ユーザが検出したい対象物（走行車両）に対する検出並びに追跡した結果の情報を取得することができる。また、ユーザが指定した対象物か否か（検出対象車種であるか否か）を特定することができる。

オブジェクトモデル更新処理部１５６は、現在オブジェクトモデル推定処理部１５５が推定した、現在と過去の推定結果の情報をもとに、現在オブジェクトモデルを更新し、尤度を利用してオブジェクトモデルの判定を行う処理機能を実現している。

異常走行判定処理部１６は、オブジェクト推定処理部１５３が推定したオブジェクトについて、当該オブジェクトが検出対象オブジェクトであるか否かを判定する検出対象オブジェクト判定処理部１６１と、検出対象オブジェクト判定処理部１６１が判定した検出対象オブジェクトについて、当該オブジェクトが予め設定された異常走行パターンに該当する異常軌跡オブジェクトであるか否かを判定する異常軌跡オブジェクト判定処理部１６２と、異常軌跡オブジェクト判定処理部１６２が判定した異常軌跡オブジェクトを登録し発報情報を生成する異常軌跡オブジェクト登録処理部１６３とを具備して構成される。

検出対象オブジェクト判定処理部１６１は、上記オブジェクトモデル更新処理部１５６が更新処理を実施したオブジェクトについて、上記参照テーブル１５４に登録されたサンプルモデル（オブジェクトモデル）に従うオブジェクトモデルデータを参照して、当該オブジェクトが検出対象にある車種（例えば、大型車両、二輪車等）であるか否かを判定する処理を行う。

異常軌跡オブジェクト判定処理部１６２は、検出対象オブジェクト判定処理部１６１が検出対象にある車種であると判定した検出対象オブジェクト（検出対象車両）について、当該検出対象オブジェクトの追跡の軌跡情報（走行軌跡）と上記ゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが上記参照テーブル１５４に登録された異常走行パターン（図６乃至図８参照）に該当する異常軌跡オブジェクト（異常走行車両）であるか否か（検出対象オブジェクトが指定ゲートを指定方向に通過したか否か）を判定する処理を行う。

異常軌跡オブジェクト登録処理部１６３は、異常軌跡オブジェクト判定処理部１６２において指定ゲートを指定方向に通過した異常軌跡オブジェクトについて当該オブジェクトを外部出力の対象となる異常走行オブジェクト（異常走行車両）として、当該異常走行オブジェクトに対する検出コード（オブジェクト名称）、異常走行軌跡（位置座標）、発報日時（検出日時）等の異常走行検出情報を生成し、図示しない内部バッファに登録するとともに、異常走行車両が走行中である旨を外部に発報するための外部出力処理を行う。

上記図３に示す異常走行車両検出システムの動作を図４および図５に示すフローチャートを参照して説明する。

異常走行車両の検出処理にあたって、カメラ１１の撮影位置設定（監視映像の設定）、並びに車種判定のためのオブジェクトモデルの登録（判定用矩形領域の設定）処理、および異常走行を検出するためのゲートの設定処理を実施する。

カメラ（単眼カメラ）１１は、監視対象となる道路を撮影可能な位置で、かつ道路を走行する車両の位置と移動方向と移動距離がそれぞれ撮影した画面上の位置座標から認識できるよう、道路の監視対象領域を斜め上方から撮影する位置（例えば路側位置）に設置される。車種判定のためのオブジェクトモデルの登録処理、および異常走行を検出するためのゲート設定処理は上記カメラ１１で撮影した監視映像（映像フレーム）をキャプチァすることにより行う。

車種判定のためのオブジェクトモデルの登録（判定用矩形領域の設定）処理は、上記道路の監視対象領域に撮影画角をあわせた（撮影位置を固定した）カメラ１１により、検出対象となる車両を、形状（大きさ）を異にする車種（例えば、大型貨物車、中小型貨物車、乗用車、二輪車等）毎に、それぞれ画面上で設定した３地点以上の複数地点で撮影し、その各地点毎のフレーム画像から各車両の矩形の領域を抽出し、車種を単位に路上の地点を変えた複数地点の大きさが変化する矩形の領域をもとに車種毎のサンプルモデル（オブジェクトモデル）に従うオブジェクトモデルデータを作成し参照テーブル１５４に保存することにより行う。

異常走行を検出するためのゲート設定処理は、上記カメラ１１で道路の監視対象領域を撮影し、キャプチャ部１２がキャプチァした画像上で、異常走行を検出するゲートのラインおよび進入方向を設定することにより行う。

ここでは、キャプチァした画像上で、ゲートの始端および終端の２点設定によりゲートのライン（Ｌ）を設定することにより、検出する位置および範囲と検出する方向（進入方向）を設定する。この設定例を図６乃至図８に示している。

図６に示す、異常走行例１）は、逆走検出を行う場合のゲートのライン（Ｌ）および進入方向の設定例である。この異常走行例１）では、監視対象道路の矢印Ａを順方向とする車線において、順方向（カメラ１１で撮影した画面上の上から下に向かう方向）と逆の方向に走行する車両を異常走行車両として検出する。この場合は、画面上で、ゲートの始端（Ｐａ）とその終端（Ｐｂ）の２点を設定することで、検出対象車線の検出開始位置と、検出エリア（検出対象車線）と、検出方向（逆送方向）とを設定する。

図７に示す、異常走行例２）は、路肩走行検出を行う場合のゲートのラインおよび進入方向の設定例である。この異常走行例２）では、ゲートのライン（Ｌ）により、車線Ｃの路肩（または待避線）Ｃａを走行する車両を異常走行車両として検出する。この場合は、路肩（または待避線）Ｃａを対象に、その検出開始位置と、検出エリア（検出対象の路肩Ｃａ）と、検出方向（進行方向）を設定する。

図８に示す、異常走行例３）は、進入禁止道路を進入する車両を検出する場合のゲートのラインおよび進入方向の設定例である。この異常走行例３）では、ゲートのライン（Ｌ）により、進入禁止の検出開始位置と、検出エリア（進入禁止道路の入り口の範囲）と、検出方向（進入禁止方向）を設定する。

ここでは、異常走行パターンを定義するゲートの設定例として、逆走検出のためのゲートの設定と、路肩走行検出のためのゲートの設定と、進入禁止道路を進入する車両を検出するためのゲートの設定とを例に示したが、上記したゲートの設定以外に、例えば駐車禁止区域における駐車車両を検出のためのゲートの設定、車線を定めた低速走行車両検出のためのゲートの設定、待避車線を走行する車両を検出するためのゲートの設定、停車禁止区域における停車車両を検出するためのゲートの設定、規定速度以下の低速走行車両を検出するためのゲートの設定、規定速度を超える高速走行車両を検出するためのゲートの設定、一時停止を怠った車両を検出するためのゲートの設定等、各種の走行異常検出のための複数のゲート設定が可能である。なお、車両の走行速度および停止状態を検知するための速度および時間情報は、検出対象車両である矩形の領域を追跡処理して得た追跡バッファ情報を用いることにより容易に取得できる。

上記した異常走行検出のための初期設定の後、図４および図５に示す処理手順に従い異常走行車両の検出処理が実施される。

この異常走行車両の検出処理では、カメラ１１により撮影された監視映像がフレーム単位でキャプチャ部１２によりキャプチャされ、画像処理記憶部１３内の画像バッファ１３１に、所定のフレーム数単位で、常に新たなフレームに更新されながら保持される。この画像処理記憶部１３の情報をもとに、画像処理部１５および異常走行判定処理部１６においてキャプチャ部１２が取り込んだフレーム単位の現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出し、抽出した矩形の領域を処理対象オブジェクトとして上記一定の周期毎に追跡し、追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定して、判定した監視対象オブジェクトについて追跡情報と設定情報とをもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定し、異常走行パターンに合致する異常走行と判定した場合に、異常走行の発生を外部に報知する。

画像処理部１５は、車両検出処理部１５ａの処理機能を実現する変化領域抽出処理部１５１と、車両追跡処理部１５ｂの処理機能を実現する追跡処理部１５２と、車種推定処理部１５ｃの処理機能を実現するオブジェクト推定処理部１５３とにより構成され、異常走行判定処理部１６は、車種判別処理部１６ａの処理機能を実現する検出対象オブジェクト判定処理部１６１と、異常走行検出処理部１６ｂの処理機能を実現する異常軌跡オブジェクト判定処理部１６２および異常軌跡オブジェクト登録処理部１６３とにより構成される。

車両検出処理部１５ａの処理機能を実現する変化領域抽出処理部１５１は、入力画像の映像を利用して、差分処理、ノイズ除去処理、ラベリング処理によりノイズを除去した差分二値化画像を生成し、この差分二値化画像から、変化画素を含む矩形の領域を変化画素領域として抽出する（ステップＡ１１）。

この変化領域抽出処理部１５１で変化画素領域（矩形の領域）が抽出されると、車両追跡処理部１５ｂの処理機能を実現する追跡処理部１５２は、変化画素領域の追跡処理を行い、変化領域情報を追跡情報バッファ（ＢＵＦ）に格納し追跡情報を更新する（ステップＡ１２）。

追跡情報バッファ（ＢＵＦ）の追跡情報が更新されると、車種推定処理部１５ｃの処理機能を実現するオブジェクト推定処理部１５３内の現在オブジェクトモデル推定処理部１５５において、追跡情報バッファ（ＢＵＦ）の追跡情報を利用して、参照テーブル１５４にあらかじめ設定されているオブジェクトモデルテーブルを利用し、現在のオブジェクトモデルを推定する（ステップＡ１３）。さらにオブジェクト推定処理部１５３内のオブジェクトモデル更新処理部１５６において、現在オブジェクトモデル推定処理部１５５が推定したこれまでのオブジェクトモデル推定情報を利用して、現在オブジェクトモデルを更新する（ステップＡ１４）。

オブジェクトモデル更新処理部１５６において現在オブジェクトモデルが更新されると、車種判別処理部１６ａの処理機能を実現する検出対象オブジェクト判定処理部１６１は、オブジェクトモデルの推定結果が事前に登録されたモデルと一致するかを判定する（ステップＡ１５）。

この判定で一致しない場合は処理を終了する。

オブジェクトモデルの推定結果が事前に登録されたモデルと一致した場合（ステップＡ１５ Ｙｅｓ）、異常走行検出処理部１６ｂの処理機能を実現する異常軌跡オブジェクト判定処理部１６２および異常軌跡オブジェクト登録処理部１６３のうち、異常軌跡オブジェクト判定処理部１６２において、当該オブジェクトを異常走行の判定対象にある検出対象オブジェクトとして、追跡の軌跡情報を格納する（ステップＡ１６）。

さらに 異常軌跡オブジェクト判定処理部１６２は、検出対象オブジェクト判定処理部１６１が検出対象にある車種であると判定した検出対象オブジェクト（検出対象車両）について、当該検出対象オブジェクトの追跡の軌跡情報（走行軌跡）とゲート通過判定用設定情報をもとに、当該検出対象オブジェクトが参照テーブル１５４に登録された異常走行パターン（図６乃至図８参照）に該当する異常軌跡オブジェクト（異常走行車両）であるか否か（検出対象オブジェクトが指定ゲートを指定方向に通過したか否か）を判定する。この判定処理（指定方向ゲート通過判定処理）では、検出対象オブジェクトについて、追跡軌跡情報と事前に登録したゲートの交差及び、交差方向を判定し、指定ゲートを指定方向に通過したか否かを判定する（ステップＡ１７）。この指定方向ゲート通過判定処理については、図９乃至図１５を参照して後述する。

この判定処理において、指定ゲートを通過していない場合や、指定方向への通過でない場合は処理を終了する。

異常軌跡オブジェクト判定処理部１６２において異常走行パターンに該当する異常軌跡オブジェクトであると判定された場合（追跡の軌跡が指定ゲートへの指定方向に対して通過したと判断された場合）、当該異常軌跡オブジェクトを、外部出力の対象となる異常走行オブジェクト（異常走行車両）として検出する。

この異常軌跡オブジェクト判定処理部１６２において異常走行オブジェクトが検出されると（ステップＡ１７ Ｙｅｓ）、異常軌跡オブジェクト登録処理部１６３は、当該異常走行オブジェクト（異常走行車両）に対する検出コード（オブジェクト名称）、異常走行軌跡（位置座標）、発報日時（検出日時）等の異常走行検出情報を生成し、図示しない内部バッファに登録する（ステップＡ１８）。さらに、異常走行車両が走行中である旨を外部に発報するための外部出力処理（発報出力処理）を行う（ステップＡ１９）。

この発報出力処理は、例えば異常走行である旨を道路上の表示盤に表示して、異常走行車両およびその周囲の運転者に異常走行を報知するとともに、異常走行車両が通行する道路を監視している道路監視室のモニタ画面に表示する発報出力を実施する。

ここで、上記した指定方向ゲート通過判定処理について、図９乃至図１４に示す判定例と図１５に示す判定処理フローを参照して説明する。

この指定方向ゲート通過判定処理では、図１５に示すステップＳ２１において、ゲートの始端および終端の２点と、侵入角度α、侵入角度範囲±β、オブジェクトの追跡開始位置（始点と呼ぶ）および追跡終了位置（終点と呼ぶ）をゲート通過判定用設定情報として設定する。このゲート通過判定用設定情報に基づいて図１５に示すステップＳ２２〜Ｓ２９の判定処理を実施する。

［判定１］において、ゲートの侵入方向左を基準に交差判定を行う。

（１）．図１５に示すステップＳ２２において、図９に示すように、ゲートの侵入方向左の点（始端）を基準とし、始点（チェック点）が、ゲートの進入方向右の点（終端）に対して、ゲートの左または右のどちら側に存在するかを判定する（ゲートの侵入方向左を基準に、ゲートの侵入方向右と、始点の外積を求め、始点が侵入ゲートの右にある場合は、外積により、正の解が得られる）。

（２）．図１５に示すステップＳ２３において、図１０に示すように、ゲートの侵入方向左の点を基準とし、終点（チェック点）が、ゲートの侵入方向右の点に対して、ゲートの左または右のどちら側に存在するかを判定する（ゲートの侵入方向左を基準に、ゲートの侵入方向右と、終点の外積を求め、終点が侵入ゲートの左にある場合は、外積により、負の解が得られる）。

［判定２］において、追跡開始位置（始点と呼ぶ）を基準に交差判定を行う。

（１）．図１５に示すステップＳ２４において、図１１に示すように、始点を基準とし、ゲートの侵入方向右の点（チェック点）が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する（始点を基準に、終点と、ゲートの侵入方向右の外積を求め、ゲートの侵入方向右が、終点の右にある場合は、外積により、正の解が得られる）。

（２）．図１５に示すステップＳ２５において、図１２に示すように、始点を基準とし、ゲートの侵入方向左の点（チェック点）が、終点に対して、ゲートの左または右のどちら側に存在するかを判定する（始点を基準に、終点と、ゲートの侵入方向左の外積を求め、ゲートの侵入方向左が、終点の左にある場合は、外積により、負の解が得られる）。

［判定３］において、交差判定を行う。

図１５に示すステップＳ２６において、上記判定１と判定２の各結果が以下を全て満たす場合に、交差状態とする。

・判定１−（１）：０以上の値
・判定１−（２）：負の値
・判定２−（１）：０以上の値
・判定２−（２）：０以下の値
上記において、０を含んでいるのは、判定した点がゲート上に存在する場合もゲート通過とするためであり、判定１−（２）のみ０を含まないのは、追跡開始位置がゲート上にある場合はゲート通過としないためである。

なお、判定１と２を組み合わせで、交差判定を行っているのは、片方だけでは、実際のゲートと追跡軌跡が交差していない可能性があるためである。交際していない可能性の例を図１３に示している。

［判定４］において、角度判定を行う。

角度を利用する場合は、交差判定による、交差状態となった場合に、図１４に示すように、ゲートと追跡軌跡のなす角θを算出し、θの値が、α±βの範囲内にある場合は、角度範囲内として異常走行の検出処理を行い、異常走行の発報処理を実施する（図１５ステップＳ２７〜Ｓ２９）。

上記したように本発明の実施形態によれば、車両に機器を設置する必要なく、道路を監視している１台のカメラ（単眼カメラ）映像に対して、検出したい異常走行ルート（異常走行パターン）を任意に設定（設定はゲート設定のみ）することで、走行すべき方向に進んでいない車両や、走行してはいけない場所（例えば路肩または待避車線等）を走行している車両を異常走行車両として検出し通知することができる。また、単眼カメラに撮像されている道路の全車線を対象に、設定した各種の走行異常を検出でき、車両が撮像される画角であれば、どのような環境にも適用できる。さらに、あらかじめ設定したゲートに対して、追跡した軌跡がどのように交差するかを角度的な判断を加味して判定する（進入している方向を決められる）ことが可能であり、これにより設置位置や進行方向を限定することなく、容易に異常走行を検出することが可能である。また、異常走行検出結果を画像として蓄積することで、事後の検証も可能である。このように、本発明の実施形態では、一方通行とは限らない監視可能な道路全体にわたる各種の異常走行検出が可能であり、１つの装置（システム）で通行ポイント（ゲート）を複数設定可能であり、各通行ポイント走行では、角度的な判断を加味して検出が可能であるという機能上の特徴をもつ。

なお、本発明は、車道を走行する車両だけでなく、人や船舶の監視並びに特定状態検出にも適用可能である。また、本発明は、自動車以外の動物体の監視装置に適用することも可能であり、例えば配送品の仕分けラインにおける搬送物の監視並びに搬送ルートの検出処理、または立ち入り禁止区域の侵入監視並びに侵入者の検知処理等に適用することも可能である。また、本発明は、監視対象区域を単眼カメラで撮影して、その画像から、自動車や人などの動物体を矩形の領域として抽出し追跡する処理を行う、例えば渋滞監視や混雑監視や停止物監視などを行うシステムに容易に組み込むことが可能であり、広い汎用性が期待できる。

１１…単眼カメラ（一台のカメラ）、１２…キャプチャ部、１３−１６…異常走行車両検出処理部、１３…画像処理記憶部、１５…画像処理部、１６…異常走行判定処理部、１５ａ…車両検出処理部、１５ｂ…車両追跡処理部、１５ｃ…車種推定処理部、１６ａ…車種判別処理部、１６ｂ…異常走行検出処理部、１３１…画像バッファ、１５１…変化領域抽出処理部、１５２…追跡処理部、１５３…オブジェクト推定処理部、１５４…参照テーブル、１５５…現在オブジェクトモデル推定処理部、１５６…オブジェクトモデル更新処理部、１６１…検出対象オブジェクト判定処理部、１６２…異常軌跡オブジェクト判定処理部、１６３…異常軌跡オブジェクト登録処理部、ＢＵＦ…追跡情報バッファ。

Claims (7)

1. 車道を撮影する単眼カメラと、
   前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理手段と、
   前記領域抽出処理手段が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理手段と、
   前記領域追跡処理手段が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理手段と、
   前記監視対象判定処理手段が判定した監視対象オブジェクトについて、前記領域追跡処理手段が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理手段と、
   前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力手段と、
   を具備したことを特徴とする異常走行車両検出システム。
2. 前記監視対象判定処理手段は、
   監視対象となる車両について、対象物となる車両を単位に、前記単眼カメラで撮影した画面上で位置を異にする３地点以上の複数地点においてサンプルモデルを撮影し、撮影した各地点毎の画像におけるサンプルモデルの矩形の領域について、接地位置と高さおよび幅の各情報を取得し、取得した情報をもとに、直線近似式に従うオブジェクト判定用の参照テーブルを作成し保持する参照テーブルの取得処理手段と、
   前記領域抽出処理手段が抽出した矩形の領域について、前記参照テーブルを参照し、接地位置に対する領域の大きさから前記対象物となる車両を監視対象オブジェクトとして推定する推定処理手段と
   を具備して構成されていることを特徴とする請求項１に記載の異常走行車両検出システム。
3. 前記異常走行判定処理手段は、
   前記単眼カメラで撮影した画面上で、検出ゲートラインと進入方向を指定した異常走行パターンを定義し登録する異常走行パターンの登録手段と、
   前記監視対象オブジェクトについて、前記登録手段に登録された異常走行パターンを参照し、検出ゲートラインと進入方向をもとに、前記監視対象オブジェクトが異常走行パターンに合致する走行状態にあるか否かを判定する指定方向ゲート通過判定処理手段と
   を具備して構成されていることを特徴とする請求項１に記載の異常走行車両検出システム。
4. 前記異常走行判定処理手段が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態にある監視対象オブジェクトを異常走行車両として走行軌跡とともに登録する異常走行車両登録手段をさらに具備したことを特徴とする請求項３に記載の異常走行車両検出システム。
5. 前記異常走行パターンの登録手段は、
   前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点を登録し、
   前記指定方向ゲート通過判定処理手段は、
   前記異常走行パターンの登録手段に登録された前記検出ゲートラインの両端点と、前記監視対象オブジェクトの侵入角度α、侵入角度範囲±β、追跡開始点、追跡終了点のデータを用いて外積による解をもとに前記判定を行うことを特徴とすることを特徴とする請求項３または４に記載の異常走行車両検出システム。
6. 前記異常走行パターンを定義するゲートラインとして、逆走を検出するためのゲートライン、路肩走行を検出するためのゲートライン、進入禁止道路を進入する車両を検出するためのゲートライン、駐車禁止区域における駐車を検出するためのゲートライン、停車禁止区域における停車を検出するためのゲートライン、規定速度以下の低速走行車両を検出するためのゲートライン、規定速度を超える高速走行車両を検出するためのゲートライン、待避車線を走行する車両を検出するためのゲートライン、一時停止を怠った車両を検出するためのゲートラインのうち、少なくとも一つのゲートラインが設定される請求項３または５に記載の異常走行車両検出システム。
7. 単眼カメラで車道を撮影し、撮影したフレーム単位の画像をもとに前記車道を走行する異常車両を検出する異常走行車両検出装置としてコンピュータを機能させるための異常走行監視プログラムであって、
   前記単眼カメラが撮影したフレーム単位の画像を一定の周期で入力し、入力した現在画像と過去画像を差分処理して変化画素領域を矩形の領域として抽出する領域抽出処理機能と、
   前記領域抽出処理機能が抽出した矩形の領域を処理対象オブジェクトとして前記一定の周期毎に追跡する領域追跡処理機能と、
   前記領域追跡処理機能が追跡している処理対象オブジェクトが予め設定された監視対象オブジェクトであるか否かを判定する監視対象判定処理機能と、
   前記監視対象判定処理機能が判定した監視対象オブジェクトについて、前記領域追跡処理機能が追跡した追跡情報をもとに当該オブジェクトが予め設定された異常走行パターンに合致する走行状態にあるか否かを判定する異常走行判定処理機能と、
   前記異常走行判定処理機能が前記監視対象オブジェクトについて異常走行状態にあることを判定したとき、当該異常走行状態が発生したことを外部に報知する出力機能と、
   をコンピュータに実現させるための異常走行監視プログラム。

Images