JP2007164375A - 三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム - Google Patents
三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム Download PDFInfo
- Publication number
- JP2007164375A JP2007164375A JP2005358261A JP2005358261A JP2007164375A JP 2007164375 A JP2007164375 A JP 2007164375A JP 2005358261 A JP2005358261 A JP 2005358261A JP 2005358261 A JP2005358261 A JP 2005358261A JP 2007164375 A JP2007164375 A JP 2007164375A
- Authority
- JP
- Japan
- Prior art keywords
- data
- dimensional object
- image
- background
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】安価でなおかつ精度の高い車両等の三次元対象物の検出装置、検出方法、及びそれを実行するためのプログラムが格納されたコンピュータ可読媒体及び三次元対象物の管理システムを提供する。
【解決手段】少なくとも１以上の区画を有する区画エリアに侵入し、停止し、そして区画から出る移動物体である三次元対象物の存否を検出するための三次元対象物の検出装置であって、撮像手段１１と、画像処理手段１２と、判定手段１３と、出力手段１４と、から構成され、前記判定手段は、各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、クラスタリング処理およびトラッキング処理したデータに基づいて、前記各区画エリアにおける移動物体である三次元対象物の区画エリア内への侵入、区画エリア内での停止、及び区画エリア内から出ることを判定して、判定結果を出力する。
【選択図】図１
【解決手段】少なくとも１以上の区画を有する区画エリアに侵入し、停止し、そして区画から出る移動物体である三次元対象物の存否を検出するための三次元対象物の検出装置であって、撮像手段１１と、画像処理手段１２と、判定手段１３と、出力手段１４と、から構成され、前記判定手段は、各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、クラスタリング処理およびトラッキング処理したデータに基づいて、前記各区画エリアにおける移動物体である三次元対象物の区画エリア内への侵入、区画エリア内での停止、及び区画エリア内から出ることを判定して、判定結果を出力する。
【選択図】図１
Description
本発明は、車両等の三次元対象物の検出装置、三次元対象物の検出方法、前記検出方法を実行するためのプログラムが格納されたコンピュータ可読媒体及び三次元対象物の管理システムに関する。
自動車保有台数の増加に伴い，駐車場不足が深刻な問題となっている．そこで，ドライバーに空車情報を提供することで，無駄な移動や入場待ちの渋滞を緩和する方法が検討されている。
例えば、特許文献１では、駐車場において、利用者が自己の選択に基づいてスムースに空きスペースに移動できるようにするような誘導システムとして、ホストコンピュータが、カメラによって撮影された駐車場の俯瞰の画像に基づいて、駐車場４中の空き駐車スペースの位置が視認できる画像を生成し、生成された画像を、狭域無線アンテナが通信エリア７に送出し、通信機能を有するカーナビゲーション装置を搭載した車両は通信エリアにおいて、当該送出された画像を受信し、カーナビゲーション装置の表示装置に表示させる駐車場誘導システムを提案している。
また、特許文献２には、駐車エリアへの入路ランプ上の車両の状態を撮影する第１のカメラと、駐車エリア内の特定のブロック上の車両の駐車状態を撮影する第２のカメラと、これらのカメラにより得られた画像情報に基づき前記入路ランプについては車両の渋滞長，渋滞列の平均速度，車間間隔等の加工情報に、前記特定のブロックについてはそのブロック上の車両の駐車状態等の加工情報に変換する画像処理部と、予め設定されている前記駐車エリア内全体の混雑度に関連づけられた経験情報と前記画像処理部からの入路ランプおよび特定のブロックについての加工情報とを比較してこの駐車エリア内全体の車両の混雑度を推定する混雑度判定部とを備えた駐車エリア内の車両混雑度検出装置が開示されている。
非特許文献１には、「屋外駐車場で利用するために天候や照明の変化に強い手法が必要とし、なおかつ導入コストが低いことも条件を満足する駐車車両検出装置として、固定カメラの画像を入力とし，車両のエッジを抽出することで駐車を判定する手法が開示されている。非特許文献１の方法は、１台のカメラで広い範囲を撮影すると駐車区画の一部が隣の駐車車両に隠されてしまので、正しく認識するため、駐車区画の境界を示す白線の遮蔽を利用する手法を導入している。
特開２００５−１０７８４４号公報（図１、請求項１〜６、要約書）
特許第２６４９２７２号公報（図１、請求項１）
ｈｔｔｐ：／／ｗｗｗ−ｉｓ．ｍｅｉｊｏ−ｕ．ａｃ．ｊｐ／〜ｔａｎａｋａ／ｒｅｓｅａｒｃｈ／ｐｄｆ／ｕｍｉｎｏ＿２００３．ｐｄｆ（平成１７年１２月９日検索）
しかしながら、特許文献１及び２に開示される技術は、区画エリア毎にセンサを取り付け車両の有無判別を行うものであるが、このような技術では一台一台を正確に検出できる一方、１区画エリア毎にセンサ設置する必要があるので導入コストが非常に高い欠点がある。
また、非特許文献１に記載の技術は、センサの代わりに近年セキリティなどによく用いられるカメラを用いた画像処理によって目標を達成する手法であり、背景となる画像をあらかじめ取得しておき、現在の画像との差分をとり車両の有無を判別する技術である。しかしながら、非特許文献１に記載の技術では、背景が刻々と変化する環境に対してはあまり成果が期待できない。より具体的には、駐車区画での「白線」のエッジ情報が車両駐車によって遮蔽されること（白線区画のエッジ比率）と、「駐車車両のエッジ情報（駐車区画のエッジ比率）」との２つの情報を利用して、車両の駐車の有無を判定しているので、例えば「黒い車ではエッジが出にくいので，車両区画では検出できないことがあり、白線を遮蔽すれば，車の色によらず安定して検出できるが，場所によっては駐車していても白線を隠さないことがあるので，白線だけでは判定できないという欠点がある。更に、黒い車両に限らず画面全体が暗い場合は、どの車両も暗くなりエッジ検出は困難であるという欠点がある。
したがって、本発明の課題は、安価でなおかつ精度の高い車両等の三次元対象物の検出装置、三次元対象物の検出方法、前記検出方法を実行するためのプログラムが格納されたコンピュータ可読媒体及び三次元対象物の管理システムを提供することである。
前記課題を解決する本発明は、次の各項目に関する。
（１） 少なくとも１以上の区画を有する区画エリア（例えば、駐車場における各区画エリア）に侵入し、停止し、そして区画から出る移動物体である三次元対象物（例えば、車両）の存否を検出するための三次元対象物の検出装置であって、
（ａ） 前記各区画を撮像できる位置に配置された少なくとも１つの撮像手段と、
（ｂ） 前記撮像手段からの画像を処理するための画像処理手段と、
（ｃ） 前記画像処理手段により処理された画像に基づいて前記移動物体の存否を判定する判定手段と、
（ｄ） 前記判定結果により判定された結果を出力するための出力手段と、
から構成され、
前記判定手段は、前記撮像手段で撮像され、前記画像処理手段で画像処理された各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
検出した三次元対象物の画像データをクラスタリング処理し、
クラスタリング処理した画像データをトラッキング処理し、
トラッキングしたデータに基づいて、前記各区画エリアにおける
移動物体である三次元対象物の区画エリアへの侵入、区画エリアでの停止、及び区画エリアから出ることを判定して、判定結果を出力手段に送出し、
前記出力手段は、前記判定手段からの出力された判定結果を出力することを特徴とする三次元対象物の検出装置。
（ａ） 前記各区画を撮像できる位置に配置された少なくとも１つの撮像手段と、
（ｂ） 前記撮像手段からの画像を処理するための画像処理手段と、
（ｃ） 前記画像処理手段により処理された画像に基づいて前記移動物体の存否を判定する判定手段と、
（ｄ） 前記判定結果により判定された結果を出力するための出力手段と、
から構成され、
前記判定手段は、前記撮像手段で撮像され、前記画像処理手段で画像処理された各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
検出した三次元対象物の画像データをクラスタリング処理し、
クラスタリング処理した画像データをトラッキング処理し、
トラッキングしたデータに基づいて、前記各区画エリアにおける
移動物体である三次元対象物の区画エリアへの侵入、区画エリアでの停止、及び区画エリアから出ることを判定して、判定結果を出力手段に送出し、
前記出力手段は、前記判定手段からの出力された判定結果を出力することを特徴とする三次元対象物の検出装置。
（２） 少なくとも１以上の区画を有する区画エリア（駐車場）に侵入し、停止し、そして区画から出る移動物体である三次元対象物（車両）の存否を検出するための三次元対象物の検出方法であって、
（Ａ） 各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
（Ｂ） 検出した三次元対象物の画像データをクラスタリング処理し、
（Ｃ） クラスタリング処理した画像データをトラッキング処理してトラッキングデータとし、
（Ｄ） トラッキングしたデータに基づいて、前記各区画エリアにおける移動物体である三次元対象物（車両）の区画エリア内への侵入、区画エリアでの停止、及び区画エリアから出ることを判定して、そして
（Ｅ） 判定結果を出力する
工程を含むことを特徴とする、三次元対象物の検出方法。
（Ａ） 各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
（Ｂ） 検出した三次元対象物の画像データをクラスタリング処理し、
（Ｃ） クラスタリング処理した画像データをトラッキング処理してトラッキングデータとし、
（Ｄ） トラッキングしたデータに基づいて、前記各区画エリアにおける移動物体である三次元対象物（車両）の区画エリア内への侵入、区画エリアでの停止、及び区画エリアから出ることを判定して、そして
（Ｅ） 判定結果を出力する
工程を含むことを特徴とする、三次元対象物の検出方法。
（３） 前記工程（Ａ）が、
（Ａ１） 各区画エリアにおける画像を読み込み、
（Ａ２） 読み込んだ画像の解像度を変換して所定のサイズの低解像度画像とし、
（Ａ３） 前記低解像度画像をグレースケール画像に変換し、
（Ａ４） 前記グレースケール画像をローパスフィルタに通して高周波ノイズを除去する
工程を含むことを特徴とする（２）に記載の三次元対象物の検出方法。
（Ａ１） 各区画エリアにおける画像を読み込み、
（Ａ２） 読み込んだ画像の解像度を変換して所定のサイズの低解像度画像とし、
（Ａ３） 前記低解像度画像をグレースケール画像に変換し、
（Ａ４） 前記グレースケール画像をローパスフィルタに通して高周波ノイズを除去する
工程を含むことを特徴とする（２）に記載の三次元対象物の検出方法。
（Ａ５） 高周波ノイズが除去された画像データを読み込み
（Ａ６） テンポラリーデータの有無を確認して、テンポラリーデータが存在する場合にはテンポラリーデータを読み込み、又はテンポラリデータが存在しない場合は、テンポラリデータを初期化し、
（Ａ７） フレーム差分パラメータを読み込み、
（Ａ８） テンポラリデータと入力データの差分結果を累積し、フレーム差分データを算出し、
（Ａ９） テンポラリデータを更新し、
（Ａ１０） 工程（Ａ８）のフレーム差分データ及び工程（Ａ９）のテンポラリデータを出力する
工程を含むことを特徴とする（３）に記載の三次元対象物の検出方法。
（Ａ６） テンポラリーデータの有無を確認して、テンポラリーデータが存在する場合にはテンポラリーデータを読み込み、又はテンポラリデータが存在しない場合は、テンポラリデータを初期化し、
（Ａ７） フレーム差分パラメータを読み込み、
（Ａ８） テンポラリデータと入力データの差分結果を累積し、フレーム差分データを算出し、
（Ａ９） テンポラリデータを更新し、
（Ａ１０） 工程（Ａ８）のフレーム差分データ及び工程（Ａ９）のテンポラリデータを出力する
工程を含むことを特徴とする（３）に記載の三次元対象物の検出方法。
（５） 前記工程（Ａ）が、
（Ａ１１） 高周波ノイズが除去された画像データを読み込み、
（Ａ１２） 背景データの有無を確認して、背景データが存在する場合には背景データを読み込み、又は背景データが存在しない場合は、背景データを初期化し、
（Ａ１３） 背景データと入力データの差分を算出し、背景差分データを取得し、
（Ａ１４） 工程（Ａ１３）の背景データと背景差分データを出力する
工程を含むことを特徴とする（３）に記載の三次元対象物の検出方法。
（Ａ１１） 高周波ノイズが除去された画像データを読み込み、
（Ａ１２） 背景データの有無を確認して、背景データが存在する場合には背景データを読み込み、又は背景データが存在しない場合は、背景データを初期化し、
（Ａ１３） 背景データと入力データの差分を算出し、背景差分データを取得し、
（Ａ１４） 工程（Ａ１３）の背景データと背景差分データを出力する
工程を含むことを特徴とする（３）に記載の三次元対象物の検出方法。
（６） 前記工程（Ａ）が、
（Ａ１５） 高周波ノイズが除去された画像データを読み込み
（Ａ１６） 工程（Ａ１４）で出力された背景データを読み込み、
（Ａ１７） 工程（Ａ１０）で出力されたフレーム差分データを読み込み、
（Ａ１８） 背景更新パラメータを読み込み、
（Ａ１９） フレーム差分データのなかで反応しているピクセル以外の画素を検索し、
（Ａ２０） 工程（Ａ１９）の画素の背景データと同じ画素の入力データに学習率を掛けた値を算出して背景画像を更新し、
（Ａ２１） 工程（Ａ１９）の画素の背景データを工程（Ａ２０）の更新背景データで置き換え、
（Ａ２２） 工程（Ａ２１）の背景データとして出力する
工程を含むことを特徴とする（５）に記載の三次元対象物の検出方法。
（Ａ１５） 高周波ノイズが除去された画像データを読み込み
（Ａ１６） 工程（Ａ１４）で出力された背景データを読み込み、
（Ａ１７） 工程（Ａ１０）で出力されたフレーム差分データを読み込み、
（Ａ１８） 背景更新パラメータを読み込み、
（Ａ１９） フレーム差分データのなかで反応しているピクセル以外の画素を検索し、
（Ａ２０） 工程（Ａ１９）の画素の背景データと同じ画素の入力データに学習率を掛けた値を算出して背景画像を更新し、
（Ａ２１） 工程（Ａ１９）の画素の背景データを工程（Ａ２０）の更新背景データで置き換え、
（Ａ２２） 工程（Ａ２１）の背景データとして出力する
工程を含むことを特徴とする（５）に記載の三次元対象物の検出方法。
（７） 前記工程Ａがさらに
（Ａ２３） 工程（Ａ１０）で出力されたフレーム差分データを読み込み
（Ａ２４） 工程（Ａ１４）で出力された背景差分データを読み込み
（Ａ２５） 前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体を検出することを特徴とする、（５）又は（６）に記載の三次元対象物の検出方法。
（Ａ２３） 工程（Ａ１０）で出力されたフレーム差分データを読み込み
（Ａ２４） 工程（Ａ１４）で出力された背景差分データを読み込み
（Ａ２５） 前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体を検出することを特徴とする、（５）又は（６）に記載の三次元対象物の検出方法。
（８） 工程Ｂでクラスタリング処理した画像データをノイズ除去した後に工程Ｃでトラッキング処理することを特徴とする、請求項１〜７のいずれか１項に記載の三次元対象物の検出方法。
（９） 前記工程Ｄが、
（Ｄ１） 予め設定された各区画エリア設定データを読み込み、
（Ｄ２） 区画エリアの状態を示す区画エリアデータを読み込み、
（Ｄ３） 工程（Ｃ）からのトラッキングデータを読み込み、
（Ｄ４） 移動物体が存在する場合には、各区画エリアに対する移動物体の状態を検出し、
（Ｄ５） 前記区画エリアの状態と検出した移動物体の状態とから区画エリアの状態を検出し、
（Ｄ６） 区画エリアの状態を区画エリアデータにさせる
工程を含むことを特徴とする（２）から（８）のいずれか１項に記載の三次元対象物の検出方法。
（９） 前記工程Ｄが、
（Ｄ１） 予め設定された各区画エリア設定データを読み込み、
（Ｄ２） 区画エリアの状態を示す区画エリアデータを読み込み、
（Ｄ３） 工程（Ｃ）からのトラッキングデータを読み込み、
（Ｄ４） 移動物体が存在する場合には、各区画エリアに対する移動物体の状態を検出し、
（Ｄ５） 前記区画エリアの状態と検出した移動物体の状態とから区画エリアの状態を検出し、
（Ｄ６） 区画エリアの状態を区画エリアデータにさせる
工程を含むことを特徴とする（２）から（８）のいずれか１項に記載の三次元対象物の検出方法。
（１０） （２）から（９）に記載の三次元対象物の検出方法の各工程を実行するためのプログラムが格納されたコンピュータ可読媒体。
（１１） 前記三次元対象物の検出装置がさらに、出力した判定結果を公衆回線を介して通信するための通信手段を有する少なくとも１つの（１）に記載の三次元対象物の検出装置と、
前記三次元対象物の検出装置と公衆回線を介して通信可能なサーバと、
から構成された三次元対象物の管理システムであって、
前記サーバは、各三次元対象物の検出装置から出力された判定結果に基づいて、前記三次元対象物の検出装置における各区画の三次元対象物の状況を表示することを特徴とする、三次元対象物の管理システム。
（１１） 前記三次元対象物の検出装置がさらに、出力した判定結果を公衆回線を介して通信するための通信手段を有する少なくとも１つの（１）に記載の三次元対象物の検出装置と、
前記三次元対象物の検出装置と公衆回線を介して通信可能なサーバと、
から構成された三次元対象物の管理システムであって、
前記サーバは、各三次元対象物の検出装置から出力された判定結果に基づいて、前記三次元対象物の検出装置における各区画の三次元対象物の状況を表示することを特徴とする、三次元対象物の管理システム。
本発明によると、安価な構成で、時々刻々と変化する背景の変化に無関係に精度よく車両等の三次元対象物を検出することが可能となる。
以下、本発明の実施形態を添付図面に基づいて説明する。なお、以下の実施形態は、三次元対象物として車両を例示し、検査装置、検査方法及び検査システムとして、駐車場の管理システムを例示して説明するが本発明は、これらの実施形態に限定されるものではなく、例えば、バス停における車両の有無、タクシー乗り場における車両の有無等や倉庫における商品の在庫の有無等に幅広く適用できるものである。
まず、図１に基づいて本発明の駐車場満室状況検出装置１（三次元対象物の検出装置）を説明する。
図１は、本発明の三次元対象物の検出装置の一実施形態である駐車場満室状況検出装置を示す模式図である。
図１は、本発明の三次元対象物の検出装置の一実施形態である駐車場満室状況検出装置を示す模式図である。
図１に示す通り、本発明の駐車場満室状況検出装置１は、１又は複数の区画エリア（駐車スペース）１０Ａ、１０Ｂ、１０Ｃに侵入し、駐車し（停止）し、そして出車する（区画から出る）移動物体である車両が各区画エリアに存在するか否か、すなわち駐車中であるか空車状態であるかを検出・判定する装置であり、前記各区画１０、１０・・・を撮像できる位置に配置された１又は複数の撮像手段１１と、前記撮像手段１１からの画像を処理するための画像処理手段１２と、前記画像処理手段１２により処理された画像に基づいて前記移動物体の存否を判定する判定手段１３と、前記判定結果により判定された結果を出力するための出力手段１４と、とから主として構成されている。
本発明における駐車場は、例えば個人用の駐車場であっても、公共用の駐車場であってもよく、個人用の駐車場の場合には１又は数台分の駐車スペース（区画エリア）における車両の駐車状況を検出確認する装置であり、また公共用の駐車場の場合には、数台ないし数十台分の駐車スペースの各々の駐車状況を検出する装置である。図１では、説明を容易にするため区画エリアとして３台分の駐車スペースを示したが、本発明はこれに限定されるものではない。
本発明において使用できる撮像手段１１とは、三次元対象物（ここでは車両）を連続して撮像し、撮像したデータを後段の画像処理手段１２にデジタルデータとして送信できる機能を有するものであり、一般にはＣＣＤカメラ、ＣＭＯＳカメラ等のデジタルカメラ（ビデオカメラ）である。
なお、各駐車スペース１０Ａ、１０Ｂ、１０Ｃを撮像できる位置に配置されるとは、例えば駐車スペース１０Ａに車高の高い車両が駐車することによって他の駐車スペース１０Ｂ、１０Ｃへの車両の侵入、出車が認識が妨げられない位置という意味である。そのために、撮像手段は、各駐車スペース１０Ａ、１０Ｂ、１０Ｃを俯瞰できる高所又は複数の撮像手段を配置することにより各撮像のデッドスポットを補足する等適宜設定される。
画像処理手段１２は、前記撮像手段１１からの連続画像を処理するための公知の手段であり、ハードウェア的処理手段であってもよくソフトウェア的処理手段であってもよい。判定手段１３は、例えば中央演算子、メモリ、オペレーティングシステム（ＯＳ）並びに後述する判定プログラムを格納するための記憶手段、及び出力手段から主として構成されたコンピュータシステムである。
このようなコンピュータシステムにおいて、前記撮像手段１１で撮像され、前記画像処理手段１２で画像処理された各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、検出した三次元対象物の画像データをクラスタリング処理し、クラスタリング処理した画像データをトラッキング処理し、トラッキングしたデータに基づいて、前記各区画エリアにおける移動物体である車両の区画エリアへの侵入（入車）、区画エリア内での停止（駐車）、及び区画エリアから出ること（出車）を判定するプログラムが導入されて判定手段が構成されている。
ここで、本発明の特徴の一つは、現在の移動物体を背景ノイズの影響を受けずに検出するため、そして背景変化（影や明暗の時間的変化）に強い背景データを得る目的で背景差分法をフレーム差分法と組合わせて用いている点にある。
前記判定手段１３で判定された結果は、コンピュータシステムを介して、ディスプレイ等の表示手段やネットワークを介して他のコンピュータシステム等に出力される。
なお、判定プログラムについては後述する動作（検出方法）で詳細する。
前記判定手段１３で判定された結果は、コンピュータシステムを介して、ディスプレイ等の表示手段やネットワークを介して他のコンピュータシステム等に出力される。
なお、判定プログラムについては後述する動作（検出方法）で詳細する。
以上説明した本発明の駐車場満室状況検出装置は、非常に簡単な構成により精度よく駐車場の車両情報を判断することが可能である。特に、本発明では背景差分法をフレーム差分法と組合わせて用いているので、従来技術の欠点、特に「黒い車ではエッジが出にくいので，車両区画では検出できないことがあり、白線を遮蔽すれば，車の色によらず安定して検出できるが，場所によっては駐車していても白線を隠さないことがあるので，白線だけでは判定できないという欠点がある。更に、黒い車両に限らず画面全体が暗い場合は、どの車両も暗くなりエッジ検出は困難であるという欠点を克服することが可能である。
さらに、後述する通り、判定結果は、例えば不存在（０）又は存在（１）の簡単なデータとすることができるので、データの取扱いが容易となる。
（動作）
次に、本発明の駐車場満室状況検出装置の動作（駐車場満室状況検出方法）を図２及び図３に基づいて説明する。
図２は、図１に示す車場満室状況検出装置の処理全体の一例を示すフローチャートであり、そして図３は、図２における工程Ａの処理を更に詳細に説明するフローチャートである。
次に、本発明の駐車場満室状況検出装置の動作（駐車場満室状況検出方法）を図２及び図３に基づいて説明する。
図２は、図１に示す車場満室状況検出装置の処理全体の一例を示すフローチャートであり、そして図３は、図２における工程Ａの処理を更に詳細に説明するフローチャートである。
図２に示す通り、車場満室状況検出装置は、まず、（Ａ）画像データとして取り込んだ
駐車スペースである区画エリアにおける画像（車両）を、フレーム差分法及び背景差分法に基づいて画像データとして検出する（工程Ａ）。
そして、検出した車両の画像データをクラスタリング処理し（工程Ｂ）、クラスタリング処理した画像データをトラッキング処理してトラッキングデータとし（工程Ｃ）、トラッキングしたデータに基づいて、前記駐車スペースにおける車両の侵入、区画エリアでの停止、及び区画エリアから出ることを判定して（工程Ｄ）、そして判定結果を出力する（工程Ｅ）。本発明においては、このような画像の取得から判断結果の出力を連続して行っている。
駐車スペースである区画エリアにおける画像（車両）を、フレーム差分法及び背景差分法に基づいて画像データとして検出する（工程Ａ）。
そして、検出した車両の画像データをクラスタリング処理し（工程Ｂ）、クラスタリング処理した画像データをトラッキング処理してトラッキングデータとし（工程Ｃ）、トラッキングしたデータに基づいて、前記駐車スペースにおける車両の侵入、区画エリアでの停止、及び区画エリアから出ることを判定して（工程Ｄ）、そして判定結果を出力する（工程Ｅ）。本発明においては、このような画像の取得から判断結果の出力を連続して行っている。
（前処理）
工程Ａにおける処理の詳細は、例えば図３に示す通りである。
すなわち、画像データの元となるデジタル画像処理データを取得するため撮像手段からデジタル画像を読み込み読み込んだデータをメモリ領域に確保する（工程Ａ１：図３中、画像取得）。工程Ａ１の処理の際に画像データを取得するために撮像手段からのデジタル画像の他、ファイル又はストリーミングデータ等であってもよく、例えばファイルの場合にはファイルを開き、画像データを読み込み、ファイルを閉じ、そして画像データを出力するという処理フローにより行われる。
工程Ａにおける処理の詳細は、例えば図３に示す通りである。
すなわち、画像データの元となるデジタル画像処理データを取得するため撮像手段からデジタル画像を読み込み読み込んだデータをメモリ領域に確保する（工程Ａ１：図３中、画像取得）。工程Ａ１の処理の際に画像データを取得するために撮像手段からのデジタル画像の他、ファイル又はストリーミングデータ等であってもよく、例えばファイルの場合にはファイルを開き、画像データを読み込み、ファイルを閉じ、そして画像データを出力するという処理フローにより行われる。
次いで、処理時間の短縮、高周波ノイズ除去の目的で工程Ａ１読み込んだ画像データの解像度を所定の低解像度画像データに変換する（工程Ａ２：図３中、解像度変換）。
例えば、1.画像データを入力として読み込み、2.解像度変換のパラメータを設定し、3.解像度変換処理を行い、そして4.解像度変化した画像を解像度変換データとして出力することによって行うことができる。
例えば、1.画像データを入力として読み込み、2.解像度変換のパラメータを設定し、3.解像度変換処理を行い、そして4.解像度変化した画像を解像度変換データとして出力することによって行うことができる。
この際のパラメータは本発明の目的効果が達成されれば特に限定されるものではなく、適宜選択することができる。例えば、防犯カメラ等で採用されている６８０＊４８０〜３４０＊２４０程度の解像度の画像に変換することができる。解像度変換処理は、当該技術分野に公知の方法から選択することができ、例えば（ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｊａｐａｎ／ｍｓｄｎ／ａｃａｄｅｍｉｃ／Ａｒｔｉｃｌｅｓ／Ａｌｇｏｒｉｔｈｍ／０４）に記載されているような最近傍法により処理することが可能である。最近傍法とは、補間処理の手法の一つでありある画素の周辺で一番近い画素の値を設定する手法である。最近傍法は、処理速度が高速であると言うメリットを有している。
次いで、ＲＧＢの３色から画像処理のしやすい輝度に置き換えるため解像度変換した画像をグレースケール画像に変換する（工程Ａ３：図３中、グレースケール化）。グレースケール画像への変換は従来公知の方法に従って、ＲＧＢ表色系の入力画像データを読み込み、グレースケール画像変換処理を行い、その結果をグレースケール画像データとして出力する工程により行うことができる。大半のカラー画像ファイルの場合、ＲＧＢ表色系で保存されており、グレースケール濃度値Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂである。なお、ＴＶ画像やストリーミングデータを用いる場合はＨＳＶ表色系からグレースケールへの変換を行う。
そして、グレースケール変換した画像から高周波ノイズを除去する目的でローパスフィルタ処理を行う（工程Ａ４）。ローパスフィルター処理は、当該技術分野に周知の方法、例えば各ピクセルの局所的な近傍から推定される統計量を基にピクセル単位に作用する適応Wiener法を用いることができる。
以上説明した工程（Ａ１）〜（Ａ４）は、取得した画像を容易に処理するためのいわゆる前処理であり、本発明の好ましい実施形態において、このようにして取得した画像からフレーム差分法及び背景差分法に基づいて移動物体を検出する。
（フレーム差分処理）
フレーム差分処理は、背景ノイズに強く、移動物体の軌跡を検出でき、そして後述する背景差分における背景データの更新に用いるために行われる。
フレーム差分処理を行う場合には、デジタル画像データが取得できており、そして指定フレーム分のテンポラリ画像データが存在していることを前提にし、フレーム差分処理により最新の画像データにおける指定フレーム分のフレーム差分データが得られる。
具体的には（Ａ５）高周波ノイズが除去された画像データを読み込み、（Ａ６）テンポラリーデータの有無を確認して、テンポラリーデータが存在する場合にはテンポラリーデータを読み込み、あるいはテンポラリデータが存在しない場合は、テンポラリデータを初期化し、（Ａ７） フレーム差分パラメータを読み込み、（Ａ８）テンポラリデータと入力データの差分結果を累積し、フレーム差分データを算出し、（Ａ９）テンポラリデータを更新し、（Ａ１０）工程（Ａ８）のフレーム差分データ及び工程（Ａ９）のテンポラリデータを出力する工程から構成される。なお、負の変化にも対応するために差分には絶対値を取ることが好ましい。
出力された工程（Ａ８）のフレーム差分データは、後述する移動体検出用データ及び背景更新データとして使用される。一方、出力された（Ａ９）のテンポラリデータは、次回の処理のために再び工程Ａ６に入力される。
フレーム差分処理は、背景ノイズに強く、移動物体の軌跡を検出でき、そして後述する背景差分における背景データの更新に用いるために行われる。
フレーム差分処理を行う場合には、デジタル画像データが取得できており、そして指定フレーム分のテンポラリ画像データが存在していることを前提にし、フレーム差分処理により最新の画像データにおける指定フレーム分のフレーム差分データが得られる。
具体的には（Ａ５）高周波ノイズが除去された画像データを読み込み、（Ａ６）テンポラリーデータの有無を確認して、テンポラリーデータが存在する場合にはテンポラリーデータを読み込み、あるいはテンポラリデータが存在しない場合は、テンポラリデータを初期化し、（Ａ７） フレーム差分パラメータを読み込み、（Ａ８）テンポラリデータと入力データの差分結果を累積し、フレーム差分データを算出し、（Ａ９）テンポラリデータを更新し、（Ａ１０）工程（Ａ８）のフレーム差分データ及び工程（Ａ９）のテンポラリデータを出力する工程から構成される。なお、負の変化にも対応するために差分には絶対値を取ることが好ましい。
出力された工程（Ａ８）のフレーム差分データは、後述する移動体検出用データ及び背景更新データとして使用される。一方、出力された（Ａ９）のテンポラリデータは、次回の処理のために再び工程Ａ６に入力される。
なお、工程（Ａ６）のテンポラリデータは前時間の画像データであり、フレーム差分パラメータは、蓄積するテンポラリーデータ数である。
また、工程（Ａ８）のテンポラリデータと入力データの差分結果は、A８＝|A5−(テンポラリデータ)|として蓄積される。
また、工程（Ａ８）のテンポラリデータと入力データの差分結果は、A８＝|A5−(テンポラリデータ)|として蓄積される。
（背景差分処理）
また、本発明において、フレーム差分処理と組合わせて現在時間の移動物体を検出する目的で背景差分処理が行われる。
背景差分処理は、（Ａ１１）高周波ノイズが除去された画像データを読み込み、
（Ａ１２）背景データの有無を確認して、背景データが存在する場合には背景データを読み込み、あるいは背景データが存在しない場合は、背景データを初期化し、（Ａ１３）背景データと入力データの差分を算出し、背景差分データを取得し、（Ａ１４）工程（Ａ１２）の背景データと工程Ａ（１３）の背景差分データを出力する工程から主として構成される。
また、本発明において、フレーム差分処理と組合わせて現在時間の移動物体を検出する目的で背景差分処理が行われる。
背景差分処理は、（Ａ１１）高周波ノイズが除去された画像データを読み込み、
（Ａ１２）背景データの有無を確認して、背景データが存在する場合には背景データを読み込み、あるいは背景データが存在しない場合は、背景データを初期化し、（Ａ１３）背景データと入力データの差分を算出し、背景差分データを取得し、（Ａ１４）工程（Ａ１２）の背景データと工程Ａ（１３）の背景差分データを出力する工程から主として構成される。
なお、工程（Ａ１３）では、例えば次式にしたがって差分データを出力するＡ１３＝｜（背景データ）−（入力データ）｜
ここで、背景差分データを（背景データ）−（入力データ）の絶対値としたのは、負の変化にも対応するためである。
ここで、背景差分データを（背景データ）−（入力データ）の絶対値としたのは、負の変化にも対応するためである。
本発明においては、このようにして得られた、フレーム差分データと背景差分データとから、前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体である車両を検出する。
このように本発明においては、フレーム差分と背景差分との両方に基づいて三次元移動物体を検出するので、背景の変化に影響されることなく確実に三次元移動物体の追跡が可能となる。
このように本発明においては、フレーム差分と背景差分との両方に基づいて三次元移動物体を検出するので、背景の変化に影響されることなく確実に三次元移動物体の追跡が可能となる。
なお、図３に示す通り、工程（Ａ１０）で得られたフレーム差分データ及び工程（Ａ１４）で得られたデータは、高周波ノイズを除去する目的でスムージング処理及び画像データの各画素においての有無を求める目的で二値化処理することが好ましい。
（スムージング処理）
より具体的には、スムージング処理は、入力データ（フレーム差分データ及び背景差分データ）を読み込み、スムージングパラメータを読み込み、スムージング処理を行い、そしてこれをスムージングデータとして出力する公知の工程により実行される。例えば、スムージング処理には2次元FIRフィルタを適用することが可能である。
（スムージング処理）
より具体的には、スムージング処理は、入力データ（フレーム差分データ及び背景差分データ）を読み込み、スムージングパラメータを読み込み、スムージング処理を行い、そしてこれをスムージングデータとして出力する公知の工程により実行される。例えば、スムージング処理には2次元FIRフィルタを適用することが可能である。
（二値化処理）
一方、二値化処理は、入力データフレーム差分データ及び背景差分データ）を読み込み、閾値パラメータを読み込み、入力データに対して閾値以下の画素にはＦＡＬＳＥ（０）を設定し、入力データに対してＦＡＬＳＥ（０）の画素以外にはＴＲＵＥ（１）を設定し、ＦＡＬＳＥ（０）及びＴＲＵＥ（１）のデータを２値化データとして出力する工程により実行される。例えば、画素８ｂｉｔの場合はＴＲＵＥ２５５である。
一方、二値化処理は、入力データフレーム差分データ及び背景差分データ）を読み込み、閾値パラメータを読み込み、入力データに対して閾値以下の画素にはＦＡＬＳＥ（０）を設定し、入力データに対してＦＡＬＳＥ（０）の画素以外にはＴＲＵＥ（１）を設定し、ＦＡＬＳＥ（０）及びＴＲＵＥ（１）のデータを２値化データとして出力する工程により実行される。例えば、画素８ｂｉｔの場合はＴＲＵＥ２５５である。
（背景更新）
また、本発明において時間変化に伴う背景変化に対応するため、背景更新処理を行うことが好ましい。このような背景更新処理は、本発明では、刻々変化する背景に対応して駐車場における車場満室状況検出装置において特に有効である。
背景更新処理は、（Ａ１５）高周波ノイズが除去された画像データを読み込み、（Ａ１６）工程（Ａ１４）で出力された背景データを読み込み、（Ａ１７）工程（Ａ１０）で出力されたフレーム差分データを読み込み、（Ａ１８）背景更新パラメータを読み込み、（Ａ１９）フレーム差分データのなかで反応しているピクセル以外の画素を検索し、（Ａ２０）工程（Ａ１９）の画素の背景データと同じ画素の入力データに学習率を掛けた値を算出して背景画像を更新し、（Ａ２１）工程（Ａ１９）の画素の背景データを工程（Ａ２０）の更新背景で置き換え、（Ａ２２）工程Ａ（Ａ２１）の背景データとして出力する工程から主として構成される。
また、本発明において時間変化に伴う背景変化に対応するため、背景更新処理を行うことが好ましい。このような背景更新処理は、本発明では、刻々変化する背景に対応して駐車場における車場満室状況検出装置において特に有効である。
背景更新処理は、（Ａ１５）高周波ノイズが除去された画像データを読み込み、（Ａ１６）工程（Ａ１４）で出力された背景データを読み込み、（Ａ１７）工程（Ａ１０）で出力されたフレーム差分データを読み込み、（Ａ１８）背景更新パラメータを読み込み、（Ａ１９）フレーム差分データのなかで反応しているピクセル以外の画素を検索し、（Ａ２０）工程（Ａ１９）の画素の背景データと同じ画素の入力データに学習率を掛けた値を算出して背景画像を更新し、（Ａ２１）工程（Ａ１９）の画素の背景データを工程（Ａ２０）の更新背景で置き換え、（Ａ２２）工程Ａ（Ａ２１）の背景データとして出力する工程から主として構成される。
なお、工程Ａ（Ａ１７）で読み込むデータは画像内で変化した（動いたと思われる）画素を表すデータであり、工程Ａ１９における背景更新パラメータは学習率であり、工程（Ａ１９）は工程（Ａ１０）で出力されたフレーム差分データ（工程Ａ１７）のデータの画素から、変化していない（動いていないと思われる）画素の検索を行う。
工程（Ａ２０）は、工程（Ａ１９）で検索した検索した画素に対して、高周波ノイズが除去された画像データに工程（Ａ１８）の学習率で背景データの更新値を例えば次式を用いて計算する。
（更新値）＝（背景データ）＊（１−Ａ１８）＋（画像データ）＊Ａ１８
このように構成することによって、更新された背景データを得ることが可能となる。
工程（Ａ２０）は、工程（Ａ１９）で検索した検索した画素に対して、高周波ノイズが除去された画像データに工程（Ａ１８）の学習率で背景データの更新値を例えば次式を用いて計算する。
（更新値）＝（背景データ）＊（１−Ａ１８）＋（画像データ）＊Ａ１８
このように構成することによって、更新された背景データを得ることが可能となる。
（移動物体検出）
本発明においては、前述の通り、フレーム差分データと背景差分データとから、前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体である車両を検出するが、このように背景差分とフレーム差分とを組合わせて移動物体を検出することによって、背景ノイズに強く、移動物体の検出がリアルタイムで行うことが可能となる。
本発明においては、前述の通り、フレーム差分データと背景差分データとから、前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体である車両を検出するが、このように背景差分とフレーム差分とを組合わせて移動物体を検出することによって、背景ノイズに強く、移動物体の検出がリアルタイムで行うことが可能となる。
（クラスタリング）
本発明の好ましい実施形態において、移動物体を集合体（クラスタ）として認識するためにクラスタリング処理を行う。
すなわち、二値化した画像のTRUEピクセル群を一つの集合としてまとめ移動物体を集合体として認識させる。具体的には、入力データを読み込み、クラスタリングパラメータを読み込み、クラスタリング処理を行い、その結果をクラスタリングデータとして出力する処理工程によって行う。
なお、クラスタリングした際、内部にFALSE状態の画素が存在する（ホール）場合はTRUE状態に変換する処理を行うことが好ましい。
クラスタリングの方法として、例えばTRUEピクセル群の境界をトレースし、その集合における画素の座標[xmin、xmax、ymin、ymax]を求める従来公知の手法を用いることが可能である。また、クラスタリングパラメータとは、境界をトレースする際、周囲4方向(上下左右)、周囲8方向(上下左右＋斜め)のどちらのチェックを行うかのパラメータであり、例えば周囲8方向を選択する。
本発明の好ましい実施形態において、移動物体を集合体（クラスタ）として認識するためにクラスタリング処理を行う。
すなわち、二値化した画像のTRUEピクセル群を一つの集合としてまとめ移動物体を集合体として認識させる。具体的には、入力データを読み込み、クラスタリングパラメータを読み込み、クラスタリング処理を行い、その結果をクラスタリングデータとして出力する処理工程によって行う。
なお、クラスタリングした際、内部にFALSE状態の画素が存在する（ホール）場合はTRUE状態に変換する処理を行うことが好ましい。
クラスタリングの方法として、例えばTRUEピクセル群の境界をトレースし、その集合における画素の座標[xmin、xmax、ymin、ymax]を求める従来公知の手法を用いることが可能である。また、クラスタリングパラメータとは、境界をトレースする際、周囲4方向(上下左右)、周囲8方向(上下左右＋斜め)のどちらのチェックを行うかのパラメータであり、例えば周囲8方向を選択する。
（ノイズ除去：オプション）
本発明の好ましい実施形態において、クラスタリングした画像からノイズ、すなわち設定した画素数より小さいクラスタを除去することが好ましい。これは例えば、駐車場における他の移動物体（人など）と車両とを区別するためである。ノイズ除去は、クラスタリングデータを読み込み、閾値パラメータを読み込み、クラスタリングデータの画素が最小閾値以下の場合は０に設定し、クラスタリングデータの画素が最大閾値以上の場合は０に設定し、前記閾値から外れるデータをノイズ除去データとして出力する工程により処理される。
本発明の好ましい実施形態において、クラスタリングした画像からノイズ、すなわち設定した画素数より小さいクラスタを除去することが好ましい。これは例えば、駐車場における他の移動物体（人など）と車両とを区別するためである。ノイズ除去は、クラスタリングデータを読み込み、閾値パラメータを読み込み、クラスタリングデータの画素が最小閾値以下の場合は０に設定し、クラスタリングデータの画素が最大閾値以上の場合は０に設定し、前記閾値から外れるデータをノイズ除去データとして出力する工程により処理される。
なお、ノイズ除去に代えて複数の画素数のクラスタ（例えば、画素数大＝車両、画素数小＝人）等により、車両の移動及び人の移動を別々に判別し、例えば後述する駐車判定において人に対応する画素数小を判別した場合の画像（人及び車両の両方を含む画像）を保存又は一時保存することにより盗難等を防止することも可能である。
（トラッキング）
次いで、所望によりノイズ除去されたクラスタリングデータ（移動物体データ）を同一の移動物体として追跡を行う目的でトラッキング処理を行う。
トラッキング処理は、クラスタリングデータを読み込み、トラッキングデータを読み込み、トラッキング追跡処理を行い、そしてこれをトラッキングデータとして出力する工程によって実行される。
トラッキングデータに変化が無い場合は止まっている可能性が高い。このようなトラッキングデータに変化が無い状態が所定期間続く場合には、追跡を中止し、データを順に消去していくことも可能である。
次いで、所望によりノイズ除去されたクラスタリングデータ（移動物体データ）を同一の移動物体として追跡を行う目的でトラッキング処理を行う。
トラッキング処理は、クラスタリングデータを読み込み、トラッキングデータを読み込み、トラッキング追跡処理を行い、そしてこれをトラッキングデータとして出力する工程によって実行される。
トラッキングデータに変化が無い場合は止まっている可能性が高い。このようなトラッキングデータに変化が無い状態が所定期間続く場合には、追跡を中止し、データを順に消去していくことも可能である。
（入出庫判断）
このようにして得られたトラッキングデータ及び区画エリア設定データに基づいて、区画エリアである駐車スペースに駐車しているか否か（全て駐車している場合には満車）を判断する。
そのために、まず予め設定した区画エリア設定データ（例えば駐車スペースの四隅の情報）を読み込み、区画エリアデータを読み込み、そしてトラッキングデータを読み込む。
移動物体が存在する場合、各区画エリアに対する車両の状態を検出し、区画エリアの状態と車両の状態から区画エリアの状態を検出し、そして区画エリアの状態を区画エリアデータに反映する。
このようにして得られたトラッキングデータ及び区画エリア設定データに基づいて、区画エリアである駐車スペースに駐車しているか否か（全て駐車している場合には満車）を判断する。
そのために、まず予め設定した区画エリア設定データ（例えば駐車スペースの四隅の情報）を読み込み、区画エリアデータを読み込み、そしてトラッキングデータを読み込む。
移動物体が存在する場合、各区画エリアに対する車両の状態を検出し、区画エリアの状態と車両の状態から区画エリアの状態を検出し、そして区画エリアの状態を区画エリアデータに反映する。
この際に得られるデータは、ＴＲＵＥ（１）又はＦＡＬＳＥ（０）が設定された区画エリアデータデータである。
このようにして得られたデータに基づき、本発明において各区画エリアに対してトラッキング開始点と現地点が“入る”、“止まる”、“出る”を判別するが、区画エリアにおける、車両の状態の条件は、表１に示す通りである。
このようにして得られたデータに基づき、本発明において各区画エリアに対してトラッキング開始点と現地点が“入る”、“止まる”、“出る”を判別するが、区画エリアにおける、車両の状態の条件は、表１に示す通りである。
そして、区画エリア状態と車両の状態（“入る”、“止まる”、“出る”）に基づいて満車、空車状態を判断する場合の条件は、表２に示す通りである。
このようにして判断された満車・空車状態は、満車又は空車としてあるいは段階的に（例えば、◎：十分に空きあり、○：若干の空きあり、△：混雑、×：満車等）に表示手段に出力される。
（応用例）
以上説明した本発明の駐車場満室状況検出装置は、単体として用いることを前提に説明したが、例えば、複数の駐車場の満室状況検出をネットワークを介して表示することも可能である。
更に、区画エリアからはみ出して駐車した車両に対して警告を表示することも可能である。
更にまた、駐車時間を管理して課金システムと連動することも本発明の範囲内である。
以上説明した本発明の駐車場満室状況検出装置は、単体として用いることを前提に説明したが、例えば、複数の駐車場の満室状況検出をネットワークを介して表示することも可能である。
更に、区画エリアからはみ出して駐車した車両に対して警告を表示することも可能である。
更にまた、駐車時間を管理して課金システムと連動することも本発明の範囲内である。
１ 駐車場満室状況検出装置
１０Ａ，１０Ｂ，１０Ｃ 区画エリア（駐車スペース）
１１ 撮像手段
１２ 画像処理手段
１３ 判定手段
１４ 出力手段
１０Ａ，１０Ｂ，１０Ｃ 区画エリア（駐車スペース）
１１ 撮像手段
１２ 画像処理手段
１３ 判定手段
１４ 出力手段
Claims (11)
- 少なくとも１以上の区画を有する区画エリアに侵入し、停止し、そして区画から出る移動物体である三次元対象物の存否を検出するための三次元対象物の検出装置であって、
（ａ） 前記各区画を撮像できる位置に配置された少なくとも１つの撮像手段と、
（ｂ） 前記撮像手段からの画像を処理するための画像処理手段と、
（ｃ） 前記画像処理手段により処理された画像に基づいて前記移動物体の存否を判定する判定手段と、
（ｄ） 前記判定結果により判定された結果を出力するための出力手段と、
から構成され、
前記判定手段は、前記撮像手段で撮像され、前記画像処理手段で画像処理された各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
検出した三次元対象物の画像データをクラスタリング処理し、
クラスタリング処理した画像データをトラッキング処理し、
トラッキングしたデータに基づいて、前記各区画エリアにおける
移動物体である三次元対象物の区画エリア内への侵入、区画エリア内での停止、及び区画エリア内から出ることを判定して、判定結果を出力手段に送出し、
前記出力手段は、前記判定手段からの出力された判定結果を出力することを特徴とする三次元対象物の検出装置。 - 少なくとも１以上の区画を有する区画エリアに侵入し、停止し、そして区画から出る移動物体である三次元対象物の存否を検出するための三次元対象物の検出方法であって、
（Ａ） 各区画エリアにおける画像を、フレーム差分法及び背景差分法に基づいて移動物体である三次元対象物を画像データとして検出し、
（Ｂ） 検出した三次元対象物の画像データをクラスタリング処理し、
（Ｃ） クラスタリング処理した画像データをトラッキング処理してトラッキングデータとし、
（Ｄ） トラッキングしたデータに基づいて、前記各区画エリアにおける移動物体である三次元対象物（車両）の区画エリア内への侵入、区画エリア内での停止、及び区画エリア内から出ることを判定して、そして
（Ｅ） 判定結果を出力する
工程を含むことを特徴とする、三次元対象物の検出方法。 - 前記工程（Ａ）が、
（Ａ１） 各区画エリアにおける画像を読み込み、
（Ａ２） 読み込んだ画像の解像度を変換して所定のサイズの低解像度画像とし、
（Ａ３） 前記低解像度画像をグレースケール画像に変換し、
（Ａ４） 前記グレースケール画像をローパスフィルタに通して高周波ノイズを除去する
工程を含むことを特徴とする、請求項２に記載の三次元対象物の検出方法。 - 前記工程（Ａ）が、
（Ａ５） 高周波ノイズが除去された画像データを読み込み
（Ａ６） テンポラリーデータの有無を確認して、テンポラリーデータが存在する場合にはテンポラリーデータを読み込み、又はテンポラリデータが存在しない場合は、テンポラリデータを初期化し、
（Ａ７） フレーム差分パラメータを読み込み、
（Ａ８） テンポラリデータと入力データの差分結果を累積し、フレーム差分データを算出し、
（Ａ９） テンポラリデータを更新し、
（Ａ１０） 工程（Ａ８）のフレーム差分データ及び工程（Ａ９）のテンポラリデータを出力する
工程を含むことを特徴とする請求項３に記載の三次元対象物の検出方法。 - 前記工程（Ａ）が、
（Ａ１１） 高周波ノイズが除去された画像データを読み込み、
（Ａ１２） 背景データの有無を確認して、背景データが存在する場合には背景データを読み込み、又は背景データが存在しない場合は、背景データを初期化し、
（Ａ１３） 背景データと入力データの差分を算出し、背景差分データを取得し、
（Ａ１４） 工程（Ａ１３）の背景データと背景差分データを出力する
工程を含むことを特徴とする請求項３に記載の三次元対象物の検出方法。 - 前記工程（Ａ）が、
（Ａ１５） 高周波ノイズが除去された画像データを読み込み
（Ａ１６） 工程（Ａ１４）で出力された背景データを読み込み、
（Ａ１７） 工程（Ａ１０）で出力されたフレーム差分データを読み込み、
（Ａ１８） 背景更新パラメータを読み込み、
（Ａ１９） フレーム差分データのなかで反応しているピクセル以外の画素を検索し、
（Ａ２０） 工程（Ａ１９）の画素の背景データと同じ画素の入力データに学習率を掛けた値を算出して背景画像を更新し、
（Ａ２１） 工程（Ａ１９）の画素の背景データを工程（Ａ２０）の更新背景データで置き換え、
（Ａ２２） 工程（Ａ２１）の背景データとして出力する
工程を含むことを特徴とする請求項５に記載の三次元対象物の検出方法。 - 前記工程Ａがさらに
（Ａ２３） 工程（Ａ１０）で出力されたフレーム差分データを読み込み
（Ａ２４） 工程（Ａ１４）で出力された背景差分データを読み込み
（Ａ２５） 前記フレーム差分データと背景差分データの同一位置における画素に対して積を算出して移動物体を検出することを特徴とする、請求項５又は請求項６に記載の三次元対象物の検出方法。 - 工程Ｂでクラスタリング処理した画像データをノイズ除去した後に工程Ｃでトラッキング処理することを特徴とする、請求項２〜７のいずれか１項に記載の三次元対象物の検出方法。
- 前記工程Ｄが、
（Ｄ１） 予め設定された各区画エリア設定データを読み込み、
（Ｄ２） 区画エリアの状態を示す区画エリアデータを読み込み、
（Ｄ３） 工程（Ｃ）からのトラッキングデータを読み込み、
（Ｄ４） 移動物体が存在する場合には、各区画エリアに対する移動物体の状態を検出し、
（Ｄ５） 前記区画エリアの状態と検出した移動物体の状態とから区画エリアの状態を検出し、
（Ｄ６） 検出した区画エリアの状態に基づいて区画エリアデータを更新する
工程を含むことを特徴とする請求項２から請求項８のいずれか１項に記載の三次元対象物の検出方法。 - 請求項２から請求項９に記載の三次元対象物の検出方法の各工程を実行するためのプログラムが格納されたコンピュータ可読媒体。
- 前記三次元対象物の検出装置がさらに、出力した判定結果を公衆回線を介して通信するための通信手段を有する少なくとも１つの請求項１に記載の三次元対象物の検出装置と、
前記三次元対象物の検出装置と公衆回線を介して通信可能なサーバと、
から構成された三次元対象物の管理システムであって、
前記サーバは、各三次元対象物の検出装置から出力された判定結果に基づいて、前記三次元対象物の検出装置における各区画の三次元対象物の状況を表示することを特徴とする、三次元対象物の管理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005358261A JP2007164375A (ja) | 2005-12-12 | 2005-12-12 | 三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005358261A JP2007164375A (ja) | 2005-12-12 | 2005-12-12 | 三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007164375A true JP2007164375A (ja) | 2007-06-28 |
Family
ID=38247211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005358261A Pending JP2007164375A (ja) | 2005-12-12 | 2005-12-12 | 三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007164375A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015036980A (ja) * | 2013-08-09 | 2015-02-23 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | 駐車区画占有率判定のための映像および視覚ベースのアクセス制御のハイブリッド方法およびシステム |
| JP2016218953A (ja) * | 2015-05-26 | 2016-12-22 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
| CN111915922A (zh) * | 2020-06-03 | 2020-11-10 | 西安艾润物联网技术服务有限责任公司 | 基于etc设备的车辆停放位置状态的确定方法及装置 |
| CN112509367A (zh) * | 2020-11-26 | 2021-03-16 | 无锡职业技术学院 | 智能车辆管理方法、装置、服务器及存储介质 |
| WO2022190530A1 (ja) * | 2021-03-09 | 2022-09-15 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04290199A (ja) * | 1991-03-19 | 1992-10-14 | Hitachi Plant Eng & Constr Co Ltd | 駐車場の管理方法 |
| JPH05225341A (ja) * | 1992-02-13 | 1993-09-03 | Matsushita Electric Ind Co Ltd | 移動物体検出装置 |
| JPH09265585A (ja) * | 1996-03-28 | 1997-10-07 | Hitachi Ltd | 監視および威嚇装置 |
-
2005
- 2005-12-12 JP JP2005358261A patent/JP2007164375A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04290199A (ja) * | 1991-03-19 | 1992-10-14 | Hitachi Plant Eng & Constr Co Ltd | 駐車場の管理方法 |
| JPH05225341A (ja) * | 1992-02-13 | 1993-09-03 | Matsushita Electric Ind Co Ltd | 移動物体検出装置 |
| JPH09265585A (ja) * | 1996-03-28 | 1997-10-07 | Hitachi Ltd | 監視および威嚇装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015036980A (ja) * | 2013-08-09 | 2015-02-23 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | 駐車区画占有率判定のための映像および視覚ベースのアクセス制御のハイブリッド方法およびシステム |
| JP2016218953A (ja) * | 2015-05-26 | 2016-12-22 | 日本電信電話株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
| CN111915922A (zh) * | 2020-06-03 | 2020-11-10 | 西安艾润物联网技术服务有限责任公司 | 基于etc设备的车辆停放位置状态的确定方法及装置 |
| CN112509367A (zh) * | 2020-11-26 | 2021-03-16 | 无锡职业技术学院 | 智能车辆管理方法、装置、服务器及存储介质 |
| WO2022190530A1 (ja) * | 2021-03-09 | 2022-09-15 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6904346B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
| US8655078B2 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
| US8588466B2 (en) | Object area detection system, device, method, and program for detecting an object | |
| JP4811653B2 (ja) | 物体検出装置 | |
| US20130266190A1 (en) | System and method for street-parking-vehicle identification through license plate capturing | |
| EP2555163B1 (en) | Image processing apparatus, image processing method, and program | |
| EP2570992A1 (en) | Image processing apparatus, image processing method, and program | |
| CN105390021A (zh) | 车位状态的检测方法及装置 | |
| CN102348128A (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
| KR20080022189A (ko) | 물체 검출 장치 및 엘리베이터의 물체 검출 장치 | |
| Liu et al. | A multi-classifier image based vacant parking detection system | |
| KR102127276B1 (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
| JP2006059252A (ja) | 動き検出方法及び装置，プログラム，車両用監視システム | |
| JP2010003177A (ja) | 画像処理装置 | |
| JP4674179B2 (ja) | 影認識方法及び影境界抽出方法 | |
| JP4821355B2 (ja) | 人物追跡装置、人物追跡方法および人物追跡プログラム | |
| JP2007164375A (ja) | 三次元対象物の検出装置、検出方法、コンピュータ可読媒体及び三次元対象物の管理システム | |
| JP5142416B2 (ja) | 物体検出装置 | |
| Sharma et al. | Automatic vehicle detection using spatial time frame and object based classification | |
| JP2003248895A (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| Bong et al. | Car-park occupancy information system | |
| KR101726313B1 (ko) | 이동 객체 검출 장치 및 방법 | |
| JP2001126192A (ja) | 駐車場の駐車スペースの駐／空車判定方法 | |
| KR102188162B1 (ko) | 안개 상황에서 차량 검출 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110117 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110704 |