JP2004005148A - 道路監視システム及び道路監視方法 - Google Patents

Abstract

【課題】的確にシャドウイングの検出を行う。
【解決手段】車両の存在領域を抽出手段１２において抽出し、抽出された領域の代表位置座標を第１の座標変換手段１３にて座標変換して道路上における車両の実空間座標値を求め、得られた実空間座標値と車両の速度情報とに基づき次の観測時において車両が道路上に存在する実空間座標値を予測手段１４にて予測して、予測した実空間座標値をカメラ２により得られる画像における座標値に第２の座標変換手段１５にて変換して、次の観測時における車両の存在領域内に、上記得られた座標値が存在するか否かに基づきシャドウイングの発生を検出手段１６により検出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、高速道路等の道路に監視カメラを設けて得た画像データを画像処理することにより道路状況の監視を行う道路監視システム及び道路監視方法に関するものであり、更に詳しくは、画像において複数の車両が重なりを生じたシャドウイングと称される状態を検出し、適切な画像処理を可能とする道路監視システム及び道路監視方法に関するものである。
【０００２】
【従来の技術】
従来のこの種の技術としては、複数の認識領域を設定して認識を行い、物体が重複しない状態を見付け出す特開２００２−７４３６８号公報の技術、２方向からの画像を用いる特開２０００−４８２９８号公報や特開平１０−１８７９７５号公報の技術、予測位置により補正を行う特開平８−１４７５９１号公報の技術などが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の技術はシャドウイングが発生した画像であることを検出し、これに基づく処理を行うものではない。これに対し、交通量計測や渋滞の発生検出や車種判定などの処理を行う場合には、シャドウイング発生の検出が必須であり、的確なシャドウイングの検出処理の実現が求められている。
【０００４】
本発明は上記のような道路監視システム及び道路監視方法の現状に鑑みてなされたもので、その目的は、的確にシャドウイングの検出を行うことの可能な道路監視システム及び道路監視方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る道路監視システムは、車両が手前と遠方を結ぶ道路を走行するような画像を得られるように配置されたカメラを備え、このカメラにより得られる画像データに基づき道路状況を画像処理して求める道路監視システムにおいて、第１の観測時に得られる画像に映し出された車両の存在領域を抽出する抽出手段と、前記抽出手段により抽出された領域の代表位置座標を座標変換して前記道路上における前記車両の実空間座標値を求める第１の座標変換手段と、前記第１の座標変換手段により得られた実空間座標値と前記車両の速度情報とに基づき次の観測時点である第２の観測時において前記車両が前記道路上に存在する実空間座標値を予測する予測手段と、前記予測手段が予測した実空間座標値をカメラにより得られる画像における座標値に変換する第２の座標変換手段と、前記第２の観測時において得られる画像に映し出される車両の存在領域内に、前記第２の座標変換手段により得られた座標値が存在するか否かに基づきシャドウイングの発生を検出する検出手段とを具備することを特徴とする。
【０００６】
本発明に係る道路監視システムでは、前記カメラは、車両が手前と遠方を結ぶ道路を手前から遠方へ走行するような画像を得られるように配置されていることを特徴とする。
【０００７】
本発明に係る道路監視システムでは、第１の観測時と第２の観測時の差は、画像データの１フレーム分であることを特徴とする。
【０００８】
本発明に係る道路監視方法は、車両が手前と遠方を結ぶ道路を走行するような画像を得られるように配置されたカメラを用い、このカメラにより得られる画像データに基づき道路状況を画像処理して求める道路監視方法において、第１の観測時に得られる画像に映し出された車両の存在領域を抽出する抽出ステップと、前記抽出ステップにより抽出された領域の代表位置座標を座標変換して前記道路上における前記車両の実空間座標値を求める第１の座標変換ステップと、前記第１の座標変換ステップにより得られた実空間座標値と前記車両の速度情報とに基づき次の観測時点である第２の観測時において前記車両が前記道路上に存在する実空間座標値を予測する予測ステップと、前記予測ステップが予測した実空間座標値をカメラにより得られる画像における座標値に変換する第２の座標変換ステップと、前記第２の観測時において得られる画像に映し出される車両の存在領域内に、前記第２の座標変換ステップにより得られた座標値が存在するか否かに基づきシャドウイングの発生を検出する検出ステップとを具備することを特徴とする。
【０００９】
本発明に係る道路監視方法では、前記カメラは、車両が手前と遠方を結ぶ道路を手前から遠方へ走行するような画像を得られるように配置されていることを特徴とする。
【００１０】
本発明に係る道路監視方法では、第１の観測時と第２の観測時の差は、画像データの１フレーム分であることを特徴とする。
【００１１】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る道路監視システム及び道路監視方法の実施の形態を説明する。図１には、本発明に係る道路監視システムの構成が示されている。このシステムでは、画像処置装置１がカメラ２により撮像された映像に係る画像信号を受け取る。画像処理装置１が処理した結果の情報は、表示装置やプリンタ装置等である外部出力装置３へ送られて出力される。カメラ２は、車両が手前と遠方を結ぶ道路を走行するような画像を得られるように配置されている。つまり、図６や図１０に示すように道路を撮像する位置にカメラ２が配置されている。
【００１２】
画像処理装置１には、カメラ２により得られた画像信号をコンピュータ処理可能な画像データに変換する画像取得部１１が設けられている。また、画像処理装置１には、処理部１０と車両情報記憶部１８及び座標変換テーブル１９が備えられている。処理部１０には、抽出手段１２、第１の座標変換手段１３、予約手段１４、第２の座標変換手段１５、検出手段１６、主処理手段１７が具備されている。
【００１３】
抽出手段１２は、第１の観測時に得られる画像に映し出された車両の存在領域を抽出するものである。ここに、第１の観測時とは、例えば、画像の１フレーム毎のタイミングである。第１の座標変換手段１３は、抽出手段１２により抽出された領域の代表位置座標値を座標変換して道路上における車両の実空間座標値（世界座標値）を求めるものである。なお、代表座標値等の画像における座標値は、画像における左上角の位置を原点とし、縦方向をｙ軸、横方向をｘ軸として得ることができ、実空間座標は、画像に映し出される道路における最も手前の中央位置を原点とし、道路の幅員方向をＸ軸とし、道路の遠方方向をＹ軸とし、高さ方向をＺ軸として得ることができる。予約手段１４は、第１の座標変換手段１３により得られた実空間座標値と車両の速度情報とに基づき次の観測時点である第２の観測時（ここにおいては、第１の観測時点よりも１フレーム後を意味する）において車両が道路上に存在する実空間座標値を予測するものである。第２の座標変換手段１５は、予測手段１４が予測した実空間座標値をカメラにより得られる画像における座標値に変換するものである。検出手段１６は、第２の観測時において得られる画像に映し出される車両の存在領域内に、第２の座標変換手段１５により得られた座標値が存在するか否かに基づきシャドウイングの発生を検出するものである。
【００１４】
主処理手段１７は、この道路監視システムのメイン処理がどのようなものであるかにより異なるものであって、例えば、画像において存在している車両の台数を検出するシステムである場合には、当該台数検出処理を行う。また、画像において存在する車両の車種を検出する処理を行うシステムである場合には、当該車種検出処理を行う。
【００１５】
処理部１０に接続されている車両情報記憶部１８は、画像の各フレーム毎に、抽出された車両領域の情報、予測した実空間座標値が図２に示すように記憶される。例えば、図６に示すように車両領域Ｅ１、Ｅ２が求められたとすると、それらを識別する番号と、車両領域の情報が四角形の例えば、左下の角の位置座標（ｘ１，ｙ１）、縦辺の長さａ１、横辺の長さｂ１が記憶される。また、予測した実空間座標値は、例えば撮像された画像において最も手前側に映し出される道路の中央位置（図７においては、破線で示される車線ラインの最下位置）を三次元座標の（０，０，０）として示すものである。座標変換テーブル１９は、画像における座標値（ｘ，ｙ）を実空間座標値（Ｘ，Ｙ，Ｚ）へ変換し、またその逆の変換を行うためのテーブルであって、例えば道路上にマークを付すなどして実際に撮像を行って作成したものである。このテーブルは、第１の座標変換手段１３及び第２の座標変換手段１５により用いられる。
【００１６】
図３には、上記画像処理装置１を実現するパーソナルコンピュータやワークステーションである電子計算機のシステム構成例を示している。すなわち、図３の電子計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、画像変換部５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、画像変換部５７にはカメラ２から画像信号を取り込むためのカメラインタフェース６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理装置１には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、画像変換部５７、カメラインタフェース６３が少なくとも設けられる。そして、外部出力装置３として、プリンタ装置６２やＣＲＴ表示装置６１が備えられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００１７】
以上のように構成された電子計算機が主記憶装置５２や磁気ディスク装置６５に記憶された図４、図５に示されるフローチャートに対応するプログラムを実行することにより、画像処理装置１として動作を行う。以下、これらのフローチャートを参照してシャドウイング検出の動作を説明する。まず、抽出手段１２は与えられた１フレーム分の画像データについてフレーム間差分や背景差分の手法による画像処理を行って、車両の存在領域を抽出する（Ｓ１）。抽出結果は車両情報記憶部１８へ図２のフレームナンバー１に示されるように記憶される。
【００１８】
次に、第１の座標変換手段１３は、車両情報記憶部１８に記憶されている車両領域情報に基づき代表値を座標変換テーブル１９を用いて実空間座標値（世界座標値）への変換を行なう（Ｓ２）。代表値は、四角形の下辺における中央位置の座標である。例えば、得られた１フレームの画像により図６に示した車両領域Ｅ１、Ｅ２が得られた場合には、２つの実空間座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）が図７に示されるように求められる。
【００１９】
次に、予測手段１４は、実空間座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）と、それぞれの車両の速度情報とに基づき次のフレームにおいて上記車両が上記道路上に存在する実空間座標値を予測する（Ｓ３）。速度は、上記実空間座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１）、Ｐ２（Ｘ２，Ｙ２，Ｚ２）が得られる１フレーム前における画像データについても、車両領域を求めて対応する実空間座標値への変換を行っているので、これらの座標値の対応するものの差が距離であり、この距離を１フレーム間隔の時間にて割算することにより求めることができる。勿論、道路に速度センサを設けて速度データを得て、これを用いるようにしても良い。
【００２０】
上記のステップＳ３による予測の結果、道路上における実空間座標値Ｐ１１とＰ２２が図８に示される位置に求められる。実空間座標値Ｐ１１とＰ２２は、それぞれ、Ｐ１１（Ｘ１１，Ｙ１１，Ｚ１１）、Ｐ２２（Ｘ２２，Ｙ２２，Ｚ２２）のように求められる。次に、この実空間座標値Ｐ１１とＰ２２について、第２の座標変換手段１５は、座標変換テーブル１９を用いて画像座標の座標値へ変換を行う（Ｓ４）。この結果、例えば、図９に示すように画像におけるポイントＣ１（ｘ１１，ｙ１１）とＣ２（ｘ２２，ｙ２２）が求められ、これを車両情報記憶部１８へ記憶し、処理を次に渡す（Ｓ５）。
【００２１】
抽出手段１２においては、与えられた次の１フレーム分の画像データについてフレーム間差分や背景差分の手法による画像処理を行って、車両の存在領域を抽出する（Ｓ１１）。抽出結果は車両情報記憶部１８へ図２のフレームナンバー２に示されるように記憶される。このフレームにおいては、２つの車両が図１０に示されるように重なり、１つの車両領域Ｅ３のみが得られたとする。この車両領域Ｅ３に対応する情報としては、左下の角の位置座標（ｘ３，ｙ３）、縦辺の長さａ３、横辺の長さｂ３が車両情報記憶部１８へ記憶される。
【００２２】
検出手段１６は、車両情報記憶部１８を介して予測手段１４が予測し座標変換した車両の存在位置であるポイントＣ１（ｘ１１，ｙ１１）とＣ２（ｘ２２，ｙ２２）を受け取り（Ｓ１２）、上記ステップＳ１１において抽出された車両領域Ｅ３に、上記ポイントＣ１（ｘ１１，ｙ１１）とＣ２（ｘ２２，ｙ２２）が存在するか（含まれているか）を調べる（Ｓ１３）。そして、車両領域Ｅ３に２つのポイントＣ１とＣ２が含まれているか否かを判定し（Ｓ１４）、例えば図１１に示されるように車両領域Ｅ３内に２つのポイントＣ１とＣ２が含まれており、ステップＳ１４においてＹＥＳとなると、シャドウイング発生の旨を主処理手段１７へ通知する（Ｓ１５）。
【００２３】
この結果、主処理手段１７はシャドウイング発生の通知を受けて、自らの処理へ反映させる。例えば、台数検出処理を行う場合や車種判定の場合には、当該シャドウイングが発生したフレームを用いた処理を行わずにその前のフレームの画像を用いる。また、渋滞の検出の場合には、シャドウイングが発生する前後のフレームの画像により、シャドウイングにより何台の車両が重なったかを求めるなどの処理を行うことができる。
【００２４】
以上の説明においては、１フレーム毎に検出を行ったが２フレーム以上の所定フレーム毎に検出を行うようにしても良い。また、車両が手前側から遠方へ向かう道路における処理を説明したが、車両が遠方から手前側へ向かう道路における処理において用いることもできる。この場合には、時刻が新しい側のフレームの画像データにて車両領域を抽出し、時間を逆上るようにして道路上の過去における車両位置を予測し、この予測した位置を画像における座標値へ変換する。そして、この変換位置が、対応する過去におけるフレームの画像に存在する車両領域に入っているか否かによりシャドウイングの検出を行うことができる。
【００２５】
【発明の効果】
以上説明したように本発明によれば、車両の存在領域を抽出し、抽出された領域の代表位置座標を座標変換して前記道路上における前記車両の実空間座標値を求め、得られた実空間座標値と車両の速度情報とに基づき次の観測時において車両が道路上に存在する実空間座標値を予測して、予測した実空間座標値をカメラにより得られる画像における座標値に変換して、次の観測時における車両の存在領域内に、上記得られた座標値が存在するか否かに基づきシャドウイングの発生を検出するので、経時的に変化する車両の座標値と検出された車両領域の関係から適切にシャドウイングの検出が可能である。
【図面の簡単な説明】
【図１】本発明に係る道路監視システムにおける実施の形態を示すブロック図。
【図２】本発明に係る道路監視システムにおける実施の形態にて記憶される情報の内容を示す図。
【図３】本発明に係る道路監視システムにおける実施の形態にて用いられる画像処理装置を構成する電子計算機のブロック図。
【図４】本発明に係る道路監視システムにおける実施の形態の動作を説明するフローチャート。
【図５】本発明に係る道路監視システムにおける実施の形態の動作を説明するフローチャート。
【図６】本発明に係る道路監視システムにおける実施の形態の動作を説明するための車両領域検出を示す図。
【図７】実空間座標値への座標変換の結果を示す図。
【図８】予測した車両の実空間座標値を示す図。
【図９】予測した車両の実空間座標値を画像座標値へ変換した結果を示す図。
【図１０】シャドウイングを判定する画像における車両領域検出を示す図。
【図１１】シャドウイングを判定する画像における車両領域に、予測した車両の実空間座標値を画像座標値へ変換した結果を位置付けた図。
【符号の説明】
１　画像処理装置
２　カメラ
３　外部出力装置
１０　処理部
１１　画像取得部
１２　抽出手段
１３　第１の座標変換手段
１４　予測手段
１５　第２の座標変換手段
１６　検出手段
１７　主処理手段

Claims (6)

1. 車両が手前と遠方を結ぶ道路を走行するような画像を得られるように配置されたカメラを備え、このカメラにより得られる画像データに基づき道路状況を画像処理して求める道路監視システムにおいて、
   第１の観測時に得られる画像に映し出された車両の存在領域を抽出する抽出手段と、
   前記抽出手段により抽出された領域の代表位置座標を座標変換して前記道路上における前記車両の実空間座標値を求める第１の座標変換手段と、
   前記第１の座標変換手段により得られた実空間座標値と前記車両の速度情報とに基づき次の観測時点である第２の観測時において前記車両が前記道路上に存在する実空間座標値を予測する予測手段と、
   前記予測手段が予測した実空間座標値をカメラにより得られる画像における座標値に変換する第２の座標変換手段と、
   前記第２の観測時において得られる画像に映し出される車両の存在領域内に、前記第２の座標変換手段により得られた座標値が存在するか否かに基づきシャドウイングの発生を検出する検出手段と
   を具備することを特徴とする道路監視システム。
2. 前記カメラは、車両が手前と遠方を結ぶ道路を手前から遠方へ走行するような画像を得られるように配置されていることを特徴とする請求項１に記載の道路監視システム。
3. 第１の観測時と第２の観測時の差は、画像データの１フレーム分であることを特徴とする請求項１に記載の道路監視システム。
4. 車両が手前と遠方を結ぶ道路を走行するような画像を得られるように配置されたカメラを用い、このカメラにより得られる画像データに基づき道路状況を画像処理して求める道路監視方法において、
   第１の観測時に得られる画像に映し出された車両の存在領域を抽出する抽出ステップと、
   前記抽出ステップにより抽出された領域の代表位置座標を座標変換して前記道路上における前記車両の実空間座標値を求める第１の座標変換ステップと、
   前記第１の座標変換ステップにより得られた実空間座標値と前記車両の速度情報とに基づき次の観測時点である第２の観測時において前記車両が前記道路上に存在する実空間座標値を予測する予測ステップと、
   前記予測ステップが予測した実空間座標値をカメラにより得られる画像における座標値に変換する第２の座標変換ステップと、
   前記第２の観測時において得られる画像に映し出される車両の存在領域内に、前記第２の座標変換ステップにより得られた座標値が存在するか否かに基づきシャドウイングの発生を検出する検出ステップと
   を具備することを特徴とする道路監視方法。
5. 前記カメラは、車両が手前と遠方を結ぶ道路を手前から遠方へ走行するような画像を得られるように配置されていることを特徴とする請求項４に記載の道路監視方法。
6. 第１の観測時と第２の観測時の差は、画像データの１フレーム分であることを特徴とする請求項４に記載の道路監視方法。

Images