JP2013206462A - デジタルカメラ画像から駐車場占有状態を測定する方法 - Google Patents

Abstract

【課題】安価な自動式および半自動式の駐車実行システムのために駐車場占有状態推定を実行し空きスペースの場所を検出する自動化システムを提供する。
【解決手段】少なくとも１つのデジタルカメラから駐車場の１つまたは複数の画像フレームを取得するステップと、ピクセルが車両に属する可能性を測定するために、取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行するステップと、空間的に変化する所属確率密度関数および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップと、計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するステップとを含む。
【選択図】図２

Description

本発明は、デジタルカメラ画像から駐車場占有状態を測定する方法に関する。

背景として、利用可能な駐車スペースを見つけることは、燃料消費および交通渋滞に強く相関しているために、世界的に非常に重要なことである。研究は、サンフランシスコおよびニューヨーク市のような、人口密度の高い米国の都市において、かなりの割合の交通量が空き駐車スペース探しと関連していることを示している。たとえば、サンフランシスコにおいて約３分の１の交通量および２分の１の使用燃料が空いた駐車スペースを探している車両によるものと推定される。ブルックリンにおいて行われた駐車スペース関連問題に関する研究によって、総交通量の４５％および地方交通量の６４％が空き駐車スペースを探しているものであることが明らかになった。それゆえ、駐車場占有状態の自動推定および空きスペース検出が、交通量の多い地域における燃料消費および交通量の問題に対処することができる。駐車を実行するにあたっては、一般的に、自動化されている部分が極めて少なく、それがこのプロセスを非効率的に、そして多くの場合効果のないものにしている。安価な自動式および半自動式の駐車実行システムが必要とされている。駐車センサに基づくシステムが利用可能であるが、それらは一般的に多額の設置および配備費用ならびに設置許可の獲得を伴い、これは一筋縄ではいかない過程である。カメラのセットから成るシステムは、配備が容易である安価な解決策を提供するだけでなく、道路交通法の執行および監視のような他のタスクをもサポートし、これは顧客に対して付加価値を提供するであろう。カメラベースの執行システムに関する主要な課題の１つは、画像およびビデオから占有率および空き場所を測定することである。

駐車場占有状態推定を実行し空きスペースの場所を検出する自動化システムが必要とされている。次いで、この情報は、無線、インターネット、路上サイン、および／またはＧＰＳ補助信号を介して運転者に中継されることができる。

一実施形態では、デジタル画像から駐車場占有状態を測定する方法が提供される。本方法は、複数の駐車スペースを有する駐車場のレイアウトを取得するステップと、少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルがその駐車スペース容積に属する確率を推定するステップとを含む、設定手順を含む。本方法は、少なくとも１つのデジタルカメラから駐車場の１つまたは複数の画像フレームを取得するステップと、ピクセルが車両に属する可能性を測定するために、取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行するステップと、空間的に変化する所属確率密度関数（ＰＤＦ）および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップと、計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するステップとをさらに含む。

別の実施形態では、デジタル画像から駐車場占有状態を測定するシステムが提供される。システムは、デジタル画像およびデジタル画像処理に関係するデータを記憶するデータベースと、プロセッサを含む画像処理ユニットと、システムメモリと、システムメモリを処理ユニットに結合するシステムバスとを含む。画像処理ユニットは、複数の駐車スペースを有する駐車場のレイアウトを取得し、少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルがその駐車スペース容積に属する確率を推定し、少なくとも１つのデジタルカメラから駐車場の１つまたは複数の画像フレームを取得し、ピクセルが車両に属する可能性を測定するために、取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行し、空間的に変化する所属確率密度関数（ＰＤＦ）および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算し、計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定する。

さらに別の実施形態では、コンピュータによって実行されると、コンピュータにデジタル画像から駐車場占有状態を測定する方法を実行させる命令を記憶する、持続性コンピュータ使用可能データ記憶媒体が提供される。本方法は、複数の駐車スペースを有する駐車場のレイアウトを取得するステップと、少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルがその駐車スペース容積に属する確率を推定するステップとを含む、設定手順を含む。本方法は、少なくとも１つのデジタルカメラから駐車場の１つまたは複数の画像フレームを取得するステップと、ピクセルが車両に属する可能性を測定するために、取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行するステップと、空間的に変化する所属確率密度関数（ＰＤＦ）および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップと、計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するステップとをさらに含む。

図１は、１つまたは複数のカメラ画像から駐車場占有状態を測定する例示的な方法を実施するのに適したデジタル画像処理装置を示すブロック図である。 図２は、カメラ画像から駐車場占有状態を測定する例示的な方法の流れ図である。 図３は、駐車場レイアウトを指定するための例示的なユーザインタフェース（ＵＩ）の図である。 図４は、例示的な車両容積モデル化方法を使用した駐車スペース容積の推定を示す図である。 図５は、ＬＢＰ−ＳＶＭ車両分類器を使用したピクセル分類結果を示す図である。 図６は、局所二値パターン符号化方式を示す図である。 図７は、駐車スペースの所属確率密度関数を示す図である。 図８は、例示的な方法によって解析されたサンプル駐車場画像の占有状態結果を有するＵＩを示す図である。

本明細書において、１つまたは複数のカメラビューからの際立った駐車場占有状態検出のための方法およびシステムを説明する。カメラを許容可能な高さに設置する一般的な方法は街灯柱に設置することであるが、任意の高さ（たとえば、８フィート超）にカメラを設置することが適切であることもあることを理解されたい。例示的な実施形態は、街灯柱カメラビューからの際立った駐車場占有状態検出に焦点を当てているが、特に白線を引かれた道路（すなわち、境界を定められた「区画」）に対する路上駐車にも関係する。より高いレベルにおいて、例示的な実施形態の一態様は、静止画像から占有率および占有／空き場所を測定する画像処理ステップのセットである。特に、例示的な実施形態は一般的に、（１）ユーザマーカラインを使用して駐車場のレイアウトを測定する半手動アルゴリズムと、（２）車両／背景識別を実行するためのセグメンテーションアルゴリズムと、（３）車両容積モデル化を使用した占有状態決定アルゴリズムとを含む。

図１は、例示的な方法を実施するためのデジタル画像処理装置１００を図式的に示している。例示的な実施形態にしたがって形成されるデジタル画像処理装置１００は、デジタル画像処理および他の電子計算操作を実行するための画像処理ユニット（ＩＰＵ）１０２を備える。

コンピュータは、ＩＰＵ１０２のための１つの可能なハードウェア構成である。スタンドアロンのアーキテクチャが示されているが、本発明にしたがって人時の適切なコンピューティング環境が採用されることができることを諒解されたい。たとえば、限定ではないが、スタンドアロン、マルチプロセッサ、分散、クライアント／サーバ、ミニコンピュータ、メインフレーム、スーパーコンピュータ、デジタルおよびアナログを含むコンピューティングアーキテクチャが、本発明にしたがって採用されることができる。

図面内には具体的には図示されていないが、当業者には既知であるように、ＩＰＵ１０２は一般的に、処理ユニットと、システムメモリと、システムメモリを含むさまざまなシステム構成要素を処理ユニットに結合するシステムバスとを含む。処理ユニットは、任意のさまざまな市販のプロセッサのいずれかであることができる。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャも、処理ユニットとして使用することができる。

システムバスは、メモリバスまたはメモリコントローラ、周辺機器用バス、および、さまざまな市販のバスアーキテクチャのいずれかを使用したローカルバスを含むいくつかのタイプのバス構造のいずれかであることができる。コンピュータメモリは、読み出し専用メモリ（ＲＯＭ）およびランダム・アクセス・メモリ（ＲＡＭ）を含む。起動中などにコンピュータ内の要素間の情報の伝達を助ける基本ルーチンを含む、基本入出力システム（ＢＩＯＳ）がＲＯＭ内に記憶される。

ＩＰＵ１０２は、ハード・ディスク・ドライブ、たとえば、取り外し可能ディスクに読み書きする磁気ディスクドライブ、および、ＣＤ−ＲＯＭディスクを読み出すか、または他の光媒体に読み書きするための光ディスクドライブをさらに含むことができる。ＩＰＵ１０２は一般的に、少なくとも何らかの形態のコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であることができる。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータのような情報を記憶するための、任意の方法または技術において実装される揮発性および不揮発性、取り外し可能および固定媒体を含む。コンピュータ記憶媒体は、限定ではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の磁気記憶デバイス、または、所望の情報を記憶するのにしようされることができるとともにコンピュータによってアクセスされることができる任意の他の媒体を含む。

オペレーティングシステム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュール、およびプログラム非中断データを含む、多数のプログラムモジュールが、ドライブおよびＲＡＭ内に記憶され得る。ＩＰＵ１０２内のオペレーティングシステムは、多数の市販のオペレーティングシステムのうちのいずれかであることができる。

ＩＰＵ１０２は、当該技術分野においてよく理解されているような、入力として画像を受信し、画像を表すデジタル画像データを導出する、デジタルカメラのようなデジタル画像入力デバイス１０４に動作可能に結合される。ＩＰＵ１０２は、画像入力デバイス１０４からデジタル画像データを受信する。

ＩＰＵ１０２は、ＩＰＵ１０２からデジタル画像データを受信する１つまたは複数の出力デバイス１０６にも動作可能に結合される。画像出力デバイス（複数の場合もあり）１０６は、デジタル画像データを後に取り出すために記憶するデジタルデータ記憶デバイス（たとえば、ＣＤ−ＲＯＭ、磁気媒体、もしくは他の記憶媒体）、および／またはデジタル画像データに基づいて視覚画像を生成するビデオ表示端末を含み得る。

本明細書に示されているように、ＩＰＵ１０２は、コンピュータネットワーク１１２に任意選択的に接続される。したがって、ＩＰＵ１０２は、接続する任意のネットワークに対してデジタル画像データを送受信することができる。ＩＰＵ１０２は、１つまたは複数の遠隔コンピュータに対する論理および／または物理接続を使用したネットワーク接続環境において動作することができる。遠隔コンピュータ（複数の場合もあり）は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、マイクロプロセッサベースのエンタテインメント電化製品、ピアデバイスまたは他の共通ネットワークノードであることができ、一般的に、コンピュータに対して記載される要素のうちの多くまたはすべてを含む。記載されている論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）を含む。そのようなネットワーク環境は、オフィス、企業規模コンピュータネットワーク、イントラネットおよびインターネットにおいて一般的である。ＬＡＮネットワーク環境において使用される場合、コンピュータはネットワークインタフェースまたはアダプタを通じてローカルネットワークに接続される。ＷＡＮネットワーク環境において使用される場合、コンピュータは一般的に、モデムを含むか、もしくは、ＬＡＮ上で通信サーバに接続されるか、または、インターネットのような、ＷＡＮにわたる通信を確立するための他の手段を有する。ネットワーク接続環境において、コンピュータに関連して記載されているプログラムモジュールまたはその一部は、遠隔メモリ記憶デバイス内に記憶され得る。本明細書に記載のネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段が使用されてもよいことは諒解されよう。

ＩＰＵ１０２は、デジタル画像処理に関係するデータを記憶するデジタル画像データベース１０８にも動作可能に結合される。このデジタル画像データベース１０８は、単純な固定磁気ディスクドライブおよび／もしくは取り外し可能磁気ディスク、光記憶媒体を受け取る光媒体リーダ（たとえば、ＣＤ−ＲＯＭ入力デバイス）、ならびに／または、デジタル画像記憶媒体を含み、かつ／もしくはデジタル画像記憶媒体を受け取り読み出す任意の他の適切なデジタル画像データ記憶デバイスであることができる。

図１の装置１００は任意選択的に、ＩＰＵ１０２に動作可能に結合されるユーザインタフェース（ＵＩ）１１０を備えてもよい。任意の適切な入出力デバイスを含むＵＩ１１０は、ユーザによって、画像処理ユニット１０２から情報を受け取り、画像処理ユニットに対して情報を入力するために使用される。適切なユーザ・インタフェース・デバイスは、キーボード／キーパッド、機械ボタン／スイッチ、グラフィカル・ユーザ・インタフェースを有するビデオ表示端末、ジョイスティックもしくはマウスのようなポインティングデバイス、音声コマンド入力デバイス、タッチスクリーン、および／または、ユーザがＩＰＵ１０２から情報を受け取るとともにＩＰＵに対して情報を入力することができる任意の他の適切な入出力デバイスを含む。

ＵＩ１１０および出力デバイス１０６に関連して何らかの重複が存在する可能性があることを当業者には認識されよう。たとえば、出力デバイス１０６のビデオ表示端末またはスクリーンは、ＵＩ１１０の一部である可能性もあり、ユーザに視覚情報を提供することもできる。

ＩＰＵ１０２を含む、図１にしたがって形成される装置は、多種多様な既知のシステムによって提供されることができることも、当業者には認識されよう。

ここで図２を参照すると、より具体的なレベルにおいて、例示的な方法のステップは、（１）対象の駐車場のレイアウトを受信および／または決定（または他の様態で取得）するステップ（２０１）と、（２）観測されるピクセルが所与の駐車容積に属する確率（すなわち、所属確率密度関数、またはＰＤＦ）とともに１つまたは複数の視角についての駐車スペース容積を推定するステップ（２０２）と、（３）好ましくは街灯柱のような高い構造物上に設置された少なくとも１つのデジタルカメラ少なくとも１つのデジタルカメラから駐車場の１つまたは複数の画像フレームを取得するステップ（２０３）と、（４）ピクセルが車両に属する可能性を測定するために、取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器（または車両検出アルゴリズム）を使用してピクセル分類を実行するステップ（２０４）と、（５）空間的に変化する所属ＰＤＦおよび対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップ（２０５）と、（６）計算された確率と所定のしきい値（Ｔｈ）との比較によって駐車場の空きを測定するステップ（２０６）とを含み得る。なお、図２に示されるように、ステップのうちの少なくともいくつか（２０３〜２０６）は通常、時間の経過とともに、および必要に応じて繰り返されることを強調するために、フィードバックループ２０７が導入され得、一方で他のステップ（２０１および２０２）は一般的に、所与の駐車場およびカメラの設置に対して一回実行される。これらのステップの各々を、下記により詳細に説明する。

第１のステップ（２０１）は、対象の駐車場に関する駐車スペースレイアウトを受信および／または決定することである。駐車場内の空き（すなわち、どれだけのスペースが利用可能であるか、および、より重要なことには、それらがどこにあるか）を測定する測定するために、対象の駐車場内のレイアウトに関して何らかの知識を有しておくことが有益である。この情報を収集するにはさまざまな方法がある。たとえば、駐車場レイアウトを推測するために、すでに存在する駐車場見取り図と、それに加えて、カメラ設置設定の知識を使用することが可能である。毎日受信される駐車場占有の空間情報をまとめることによって、駐車場レイアウトを経時的に学習することも可能である。別の手法は、取得された画像から（理想的には、駐車場が最も空いているときに取得された画像から）直接、駐車スペースを画定するマーク（または線）を検出することである。例示的な実施形態に関して、ＵＩ３００を用いる半手動的な手法が、このタスクを実行するために使用され得る（図３を参照されたい）。たとえば、ＵＩ３００を介して、ユーザはラインを、それらの交差点が駐車スペースの角を画定する場合に描画する（または他の様態で入力する）ように求められ得る。なお、駐車スペースレイアウトはカメラを設置する毎に一度だけ画定すればよいため、この手法は、この実施態様については適度に正確かつ有効である。なお、いくつかの駐車場については、適切な場合には駐車スペースを画定するために曲線も使用することができる。

図３に示されるように、例示的なＵＩ３００は一般的に、少なくとも駐車場画像スクリーン３０２を含む。加えて、ＵＩ３００は、「画像を開く」（３０４）、「線を描画する」（３０６）、「線を読み出す」（３０８）、「線を保存する」（３１０）、「ピクセル分類」（３１２）、「方法を選択する」（３１４）（たとえば、ＬＢＰ、ＴｅｘｔｏｎＢｏｏｓｔ、ＬＢＰ＋ＴｅｘｔｏｎＢｏｏｓｔ）、「占有状態推定」（３１６）、「グランドトルスを作成する」（３１８）、「グランドトルスを保存する」（３２０）、および／または「評価する」（３２２）のような、他のさまざまな機能を含み得る。しかしながら、他のＵＩレイアウトが可能であること、および、他の機能が含まれてもよいことは理解されたい。

ここで、図２に戻って、方法の第２のステップ（２０２）は、カメラの斜視図を構成するために駐車容積を推定することである。すなわち、カメラの視点のために、駐車している車が単一の駐車スペースよりも広く専有している（または確定された駐車ラインを超えて延在している）ように見える場合がある。これに関連して、図４は、提案される車両容積モデル化方法を使用した駐車場の所与の画像／ビュー４０２に関する駐車場容積の推定を示している。

このステップにおいて、画像４０２内の駐車スペースに関連付けられる容積、すなわち、駐車している車両が観察され得る、撮像された駐車スペースに関連付けられる三次元（３−Ｄ）領域が推定される。容積は、たとえば、駐車スペースを平行六面体に近似することによって推定され得る。これは、第１のステップ２０１からの駐車スペースのマーカラインを使用すること（４０４）、ならびに、たとえば、４つの基本の辺を平均した長さの半分として高さを推定すること（４０６および４０８）によって達成され得る。所与のカメラアングルから見た平行六面体のマスクは、所与の駐車スペースに関する対象の３−Ｄ領域（正確であるべき容積）の投影をもたらす、単純な幾何演算によって取得され得る（４０８）。次に、この領域内の各ピクセルに対して、その所与の駐車スペースに所属している確率が割り当てられる。これは、３−Ｄシーンを表す二次元（２−Ｄ）画像の場所に関して不確実性が内在しているため、好ましい。この所属ＰＤＦは、対象領域の中心（より大きい重みを有する中心ピクセル）からの距離、および、隣接する駐車スペースと重なっている可能性のある領域（４０８内の閉塞した、色分けされた領域）の数の関数である。この所属ＰＤＦの詳細は、第５のステップ（２０５）に関連して説明されている。

方法の第３のステップ（２０３）において、駐車場の少なくとも１つの画像フレームＩ（ｘ）が、たとえば、街灯柱または類似の高さの構造物に設置された少なくとも１つのデジタルカメラから取得される。画像は、駐車場および／または駐車場内の対象の駐車スペースの占有状態を測定するために、後続のステップにおいてさらに処理されることになる。

方法の第４のステップ（２０４）は、少なくとも１つのタイプの車両検出器（または車両検出アルゴリズム）を使用してピクセル分類を実行することである。より詳細には、取得された画像（複数の場合もあり）に対して少なくとも１つの車両検出器を使用したピクセル分類が、ピクセルが車両に属する可能性を測定するために実行される。好ましい実施形態では、２つの異なる物体認識アルゴリズム（すなわち、車両検出器または分類器）の分類／出力が融合され得る。例として、回転不変量局所二値パターン（ＬＢＰ）を入力特徴として使用するサポート・ベクタ・マシン（ＳＶＭ）および／またはＴｅｘｔｏｎＢｏｏｓｔ（ＴＢ）分類器が使用され得る。しかしながら、他の車両検出器が例示的な方法とともに使用されてもよいことは理解されたい。このステップの出力は、ピクセルｘが車両に属する（したがって、そのスペースが占有されている証拠をもたらす）可能性を示す、確率マップＰ_ｖ（ｘ）である。図５は、ＬＢＰ−ＳＶＭ車両分類器を画像５０２に適用したときのサンプル結果５０４を示している。

図６を参照して、回転不変量ＬＢＰを入力特徴として使用するＳＶＭ分類器が下記により詳細に説明されている。局所二値パターンは一般的に、画像を良好に記述するものであり、顔認識のコンテキストにおいて成功裏に使用されている。したがって、画像内のすべてピクセルについて、その中心からほぼ選択された半径ｒにある周囲の隣接ピクセル（ｎｅｉｇｈｂｏｒ）が、図６の第１の図６０２において考慮される。所与のピクセル（たとえば、中心ピクセル）以上の値を有するすべての隣接ピクセルが符号１を割り当てられ、より低い値を有するすべての隣接ピクセルが符号０を割り当てられる。その後、結果としての二値符号系列が第２の図６０４に示されるようにトラバースされる。それゆえ、８つの隣接ピクセルを考慮するとき、８つの二進値がともに一続きにされて１バイトを形成する（６０６）。この二進値が十進数に変換され（たとえば、１１０１００１１）、したがって、単一の数（２１１）が取得される。この数が、その所与のピクセルに関するＬＢＰコード値である。このピクセルは画像内のすべてのピクセルに対して繰り返され、したがってコード画像が取得される。

均一な局所二値パターンは、ビット列において０と１との間の最大で２つの遷移を有するパターンである。たとえば、以下のパターン、すなわち、００００１１００、１１１１００１１、１１１１１１１１１、００００００００、０００１１１１１は均一である。また、以下のパターン、すなわち、００１１００１１、０１０１０１０１は均一でない。

回転不変量パターンは、循環オフセットのみによって異なっているすべての列が等価であるとみなす。たとえば、以下のパターンのリスト、すなわち、０００１１０００、００００１１００、０００００１１０、００００００１１、１００００００１、１１００００００、および０１１０００００はすべて、００１１００００の回転不変量である可能性があるバージョンである。本事例においては、回転不変量である列のセットのすべての成員に対する最小の二進値を有する列が割り当てられ得る。

画像は、ｍ×ｍピクセルの格子（たとえば、ｍ＝１５）に分割され得、各ブロック内の回転不変量均一ＬＢＰ値のヒストグラムが計算され得る。

すべてのブロックはグランドトルス（すなわち、トレーニングおよび評価の目的に使用される、絶対に正確であると仮定される、人間がラベリングしたデータ）に基づいて、車両、舗道、木、空、建物および／または空隙（上記のいずれでもない）のような、さまざまなタイプの物体のうちの１つに属するものとしてラベリングされ得る。しかしながら、物体のタイプは、駐車場の場所および他の状況に応じて使用されてもよいことは理解されたい。各ブロックの内部の値のヒストグラムは、ＳＶＭ分類器をトレーニングするために特徴ベクトルとして使用され得る。例として、主要な関心が一般的に車両クラスにあるとしても、駐車場設定における最も一般的な物体のうち５つが使用され得る。

したがって、分類器の出力は一般的に、ピクセルｘが車両に属するか否かを表す二値出力（このタイプの分類器は「ハード分類器」として示される）として扱われる。

次に、ＴｅｘｔｏｎＢｏｏｓｔ ｃｌａｓｓｉｆｉｅｒをより詳細に説明する。ＴｅｘｔｏｎＢｏｏｓｔ分類器は、Ｊａｍｉｅ Ｓｈａｔｏｎによって「ＴｅｘｔｏｎＢｏｏｓｔ ｆｏｒ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ： Ｍｕｌｔｉ−Ｃｌａｓｓ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｂｙ Ｊｏｉｎｔｌｙ Ｍｏｄｅｌｉｎｇ Ｔｅｘｔｕｒｅ， Ｌａｙｏｕｔ， ａｎｄ Ｃｏｎｔｅｘｔ（画像理解のためのＴｅｘｔｏｎＢｏｏｓｔ：テクスチャ、レイアウト、およびコンテキストをともにモデル化することによるマルチクラス物体認識およびセグメント化）」（２００７）において紹介されている物体認識方法である。これは、所与の画像にわたる物体クラスラベルの条件付き分布を学習するための条件付きランダム・フィールド・モデルを使用する。このモデルは、テクスチャレイアウト、色、位置およびエッジ特徴を利用する。ＴｅｘｔｏｎＢｏｏｓｔは、以前に言及されたクラス（すなわち、車両、木、空、建物、および／または空隙）に基づく。ＬＢＰと同様に、ＴｅｘｔｏｎＢｏｏｓｔのハード出力は、ピクセルｘが車両に属するか否かを示す二値分類子として使用され得る。

なお、１つのみのハードピクセル分類子しか使用されない場合、ハード分類出力しか計算されない。しかしながら、より良好な車両ピクセル検出のための最終分類決定をもたらすために複数のピクセル分類子の出力を融合することが有利な場合がある。この事例においては、１つまたは複数の分類子の出力の加重融合から取得されるソフト分類出力が使用され得る。たとえば、車両検出モデルはＬＢＰおよびＴｅｘｔｏｎＢｏｏｓｔ分類器の両方を組み込むことができる。特に、ＴｅｘｔｏｎＢｏｏｓｔ分類器について、
についてピクセルが「車両」クラスに属する確率が、ハード分類の代わりに使用される。さらに、各クラスラベルの確率のエントロピーが計算され、これは、すべてのピクセルにおける決定の不確実性の測度である。この値を１の最大値を達成するようにスケーリングすること、および、１からその結果を減産することによって、すべてのピクセルにおける決定の確実性の測度を得ることが可能である。ピクセルｘ，η_ｘ，における決定の確実性は０（低い確実性）〜１（最大の確実性）に及ぶ。なお、同様に、ＬＢＰ−ＳＶＭのソフト確率出力
を、ＴｅｘｔｏｎＢｏｏｓｔ分類器のハード分類出力
と融合することもできる。

ＬＢＰのハード出力と融合したＴｅｘｔｏｎＢｏｏｓｔのソフト出力を使用する、ピクセルｘが車両である確率に関するモデルを下記に記載する。
ここで、
はＴｅｘｔｏｎＢｏｏｓｔによる車両出力に対応するピクセルのソフト確率であり、
は入力としてＬＢＰ値を用いるＳＶＭ分類器によって提供される、車両に対応するピクセルのハード分類出力である。

代替的には、ＴｅｘｔｏｎＢｏｏｓｔのハード出力およびＬＢＰのハード出力を使用する、ピクセルｘが車両である確率に関するモデルは、
または
のうちの一方を含み得、ここで、
はＴｅｘｔｏｎＢｏｏｓｔによって与えられる、車両に対応するピクセルのハード分類であり、
はＬＢＰを入力として用いるＳＶＭ分類器によって与えられる、車両に対応するピクセルのハード分類である。

ＴｅｘｔｏｎＢｏｏｓｔおよびＬＢＰが詳細に説明されたが、他の画像処理機能が分類プロセスにおいて使用されてもよい。例として、勾配方向ヒストグラム（ＨＯＧ）、回転不変量特徴変換（Ｒｏｔａｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）（ＲＩＦＴ）、一般化ＲＩＦＴ（Ｇ−ＲＩＦＴ）、加速ロバスト特徴（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）（ＳＵＲＦ）、勾配位置および方向ヒストグラム（Ｇｒａｄｉｅｎｔ Ｌｏｃａｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍ）（ＧＬＯＨ）、ＳＩＦＴ（スケール不変特徴変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ））、および／またはハリスコーナー特徴が使用されてもよい。

方法の第５のステップ（２０５）において、駐車スペースが車両によって占有されている確率が、各駐車スペースの対象領域内の車両ピクセルの確率（第２のステップ（２０２）を参照されたい）の加重和に基づいて計算され得る。本明細書において使用される場合、「対象領域」という用語は、所与の駐車スペースに駐車されている車両に属する可能性があり得るピクセルを指す。

ここで、空間的に変化する重みが、第２のステップ（２０２）において紹介された所属ＰＤＦに対応する。より具体的には、駐車スペースの対称の領域の重心を中心として、対称の領域の優勢方向に沿って方向付けられるガウスカーネルが使用される。これによって、位置が対象領域の中心に近づくにつれてピクセルに対してより大きな重みが与えられる。これらの重みは、隣接する駐車スペースの対称領域からの重なっている可能性のある領域（可能性のある閉塞）の数に基づいてさらにスケーリングされる。

ほとんどの車両は各駐車スペースの中心付近に駐車されていると仮定され得る。すべての車両が同じサイズであるとは限らないため、車両容積の中心においてより重みづけすることは意味がある。したがって、下記に示すような重みづけ関数が使用され得る。
ここで、ｘ_０は駐車スペース容積（対象領域）の中心であり、Σ（２×２行列）はガウスカーネルの回転、および、ピクセルの中心までの距離が増大するにつれて重みが減少する割合を示すパラメータを含む。

利用可能なカメラ設置位置によって提供される選択肢が限られていることに起因して、何らかの閉塞が起こり得る。閉塞はそれ自体が、たとえば、駐車スペース容積（対象領域）の重なっている３−Ｄモデルを表す。したがって、各対称領域は、多数の部分領域に分割されることができ、各部分領域は、隣接する駐車スペースとの可能性のある重なり（閉塞）の数、すなわち、塞がれていない、１つの駐車スペースによって塞がれている可能性がある、２つの駐車スペースによって塞がれている可能性がある、などによって特徴づけられる。

１つまたは複数のいずれかの閉塞が発生している可能性がある部分領域内のピクセルについて、一般的に、連続するスペースは、１つの車両に属する確率（適切に対処されない場合に複数回カウントされることになり得る）に寄与している可能性がある。この制限を改善するために、
の形態の部分領域重みが指定され、ここで、ｋは、可能性のある閉塞部分領域に課すことが望ましいカウント減算を示し、ｎは、その部分領域（重なり）を主張する駐車スペースの数である。

上記の２つの重み（ガウスカーネル重みおよび閉塞ペナルティ重み）を組み合わせて、書くピクセルｘに対する最終的な空間的に変化する重みは
として指定される。これらの値は、各対象領域（すなわち、各駐車スペース）内の１に対する和に正規化され、したがって、所属ＰＤＦを表す（図７を参照されたい）。図７は、サンプル駐車場の車両容積（７０２）、サンプル車両容積（７０４）、ガウスカーネルによるサンプル車両容積の対応する所属ＰＤＦ（７０６）、ならびに、ガウスカーネルおよび閉塞ペナルティの両方によるサンプル車両容積の対応する最終的な所属ＰＤＦ（７０８）を示している。直観的に言えば、重みは、車両容積の中心近くにあるピクセルほど、かつ、各３−Ｄ車両容積駐車スペースについて閉塞が発生していない部分領域内にあるピクセルほど、大きい。

駐車スペースｓが占有されている確率は、ｓに属する各個々のピクセルが占有されている
すべての駐車スペースｓに関する占有の確率を合わす１つのこのような値が得られる。その後、この値はしきい値と比較され、二値決定が成される。

方法の第６のステップ（２０６）において、各駐車スペースの計算された確率の所定のしきい値（Ｔｈ）との比較によって、駐車場の空きが求められる。たとえば、単純な選択肢は、Ｔｈ＝０．５である。しかしながら、他の値が可能であることは理解されたい。分類器の特性に基づいて、かつ／またはトレーニングを通じてより高度な方法が使用されることができる。任意選択的に、所定のしきい値は、上記駐車場に入る車両および出る車両の総数、ならびに、空き駐車区画の総数のうちの少なくとも１つを含む追加の情報に基づいて調整されてもよい。

次いで、結果としての情報は、無線、インターネット、路上サイン、および／またはＧＰＳ補助信号を介して運転者または他の関係者に中継されることができる。

例示的な実施形態の実現可能性およびパフォーマンスを実証するために、さまざまな駐車場画像がデータセットを形成するために収集された。データセットは３つの画像セットで構成される。６２個の画像から成る第１のセットは、およそ５つの異なる駐車場で構成され、さまざまなビューは一日のうちのおよそ２つの異なる時点において撮影された。これらの画像のほとんどは、日当たりの良い天気の間に撮影されたが、霧の影響を受けているものもある。第２のデータセットは、種々の照明下で一日のさまざまな時点において取得された、１つの駐車場の画像で構成される。これらの画像はすべて、非常に類似した角度から撮影されている。第３の画像セットは、Ｇｏｏｇｌｅ画像検索から収集された１０個の画像で構成される。これは、各画像が照明条件、視角などに関して他のものから異なっているため、最も多様なデータセットである。

物体分類のためのピクセルレベルのグランドトルスが、第１のセットからの３２個の画像について作成された。これらは車両検出器のトレーニングに使用されている。残りの画像（すなわち、第１のセットからの３０個、第２のセットからの１５個、および第３のセットからの１０個）は、システムのテストのために使用された。駐車スペースマーカラインが、これらの画像に対するユーザ入力、および、各駐車スペースに対する占有状態グランドトルスから作成された。下記に、このデータセットに対するパフォーマンス分析を提示する。

下記の表１は、種々の数（９、２５および３２）の画像においてトレーニングされた、半径１および２のＬＢＰのパフォーマンス、ならびに、第１のデータセットからの３２個の画像においてトレーニングされた、ＴｅｘｔｏｎＢｏｏｓｔのパフォーマンスの要約を表し、これらはすべて閉塞パラメータを有する。これらの値は、画像セット全体にわたる占有される駐車スペースおよび空き駐車スペースの正確な検出の百分率の値を表す。期待されたように、これらの方法は一般的に、トレーニングデータがテストデータと同じタイプのものであるため、第１のデータセットに関して最良に機能している。より現実的なシナリオでは、トレーニングデータおよびテストデータは、システムが一度設定されるとトレーニングが駐車場の類似のビューから行われるため、互いに類似している。第１のデータセットはおよそ５つの駐車場の異なるビューで構成されており、したがって、パフォーマンスは１つのビューから観察される１つの駐車場のみによって動作する場合に増大すると予測される。他の２つのデータセットに対する結果はこの方法を一般化する可能性を探求したものである。

９つの画像においてトレーニングされた半径１のＬＢＰが一般的に最良に機能していることに留意されたい。画像をより多くトレーニングするとパフォーマンスが低下することに対する可能性のある理由は、ＳＶＭ分類器の段階において過剰適合が発生している可能性があることである。

次に、閉塞パラメータｋの影響を考える。下記の表２から分かるようにアルゴリズム一般的にｋ＝２について最良に機能している。この実験には、９つの画像においてトレーニングされたｒ＝１のＬＢＰ手法が使用された。

一般的に、画像サイズ（および、したがって車両物体の解像度）が増大すると、９つの画像においてトレーニングされたＬＢＰｒ＝１の精度が８５％〜８８％増大した。

次に、最良のＬＢＰ方法（９つの画像においてトレーニングされたｒ＝１）と、ｋ＝２を使用したＴｅｘｔｏｎＢｏｏｓｔとの融合を考える。下記の表３からの結果は、ＬＢＰおよびＴＢ分類器の融合が、個々の分類器からの結果を上回るわずかな改善をもたらすことを示している。直感的には、融合手法は、複数の分類器の中でピクセルレベルに至るまでの最良のものを選定するように試みている。融合戦略は、所望の効果を部分的に達成した。

最後に、レイジを目的として、駐車場画像８０２および占有状態（または中間）結果８０４を有するＵＩ８００の一例が、図８に示されている。中間結果８０４は、（１）クラス毎に色分けされた分類器出力（８０６）、（２）ユーザガイドラインから推定される駐車スペース（８０８）、（３）駐車スペースの重ね合わされた容積（８１０）、および、（４）色がその特定のピクセルに関する可能性のある閉塞を表すすべての場所における閉塞マップ（８１２）を表している。上記に記載されたように、ＵＩ８００は、画像を開く（８１４）、線を描画する（８１６）、線を読み出す（８１８）、線を保存する（８２０）、ピクセル分類（８２２）、方法を選択する（８２４）（たとえば、ＬＢＰ、ＴｅｘｔｏｎＢｏｏｓｔ、ＬＢＰ＋ＴｅｘｔｏｎＢｏｏｓｔ）、占有状態推定（８２６）、グランドトルスを作成する（８２８）、グランドトルスを保存する（８３０）、および／または、評価する（８３２）のような、他のさまざまな機能を含み得る。

例示的な実施形態は、車に関連して説明された。しかしながら、このアルゴリズムは、類似の特徴を呈するため、オートバイおよびトラックのような他の車両においてトレーニングされることができる。

ＬＢＰおよびＴＢ（ＴｅｘｔｏｎＢｏｏｓｔ）の結果を組み合わせる他の融合方法が考慮されてもよい。たとえば｛ＬＢＰ ∧ ＴＢ｝であり、これによると、ＬＢＰおよびＴＢの両方の結果が、占有されていると宣言している場合、スペースが占有されていると考えられる。別の例は｛ＬＢＰ ∨ ＴＢ｝であり、これによると、ＬＢＰまたはＴＢのいずれかの結果が、占有されていると宣言している場合、スペースが占有されていると考えられる。前者の方法の出力は、スペースが占有されている確実性が高くない限り、スペースが空であるという決定にバイアスされている。後者の方法の出力は、スペースが占有されているという決定にバイアスされている。具体的な用途の需要によって、種々の組み合わせの選択を支持する決定が促進される。

駐車容量、出入りする車両の数などのような所与の駐車場の生の統計が利用可能である場合、これらの方法が本発明の方法におけるパラメータの改良に使用されることができる。単純な例として、確率しきい値の設定（たとえば、ＬＢＰおよびＴＢ分類器に対しては０．５、ＬＢＰ＋ＴＢ分類器に対しては０．３）は、占有と空との出力との間で、占有の総数および空の総数が駐車場の生の統計に最も近くなるように設定され得る。

例示的な方法は、コンピューティングデバイス上で実行され得るコンピュータプログラム製品において実装され得る。コンピュータプログラム製品は、ディスク、ハードドライブのような、制御プログラムが記録される持続性コンピュータ可読記録媒体であり得、または、制御プログラムがデータ信号として具現化される伝送可能搬送波であり得る。一般的な形態のコンピュータ可読媒体は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、もしくは任意の他の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、もしくは他のメモリチップもしくはカートリッジ、無線波および赤外線データ通信の間に生成されるもののような音響または光波伝送媒体など、または、コンピュータが読み出し使用することができる任意の他の媒体を含む。

Claims (10)

1. デジタル画像から駐車場占有状態を測定する方法であって、
   複数の駐車スペースを有する駐車場のレイアウトを取得するステップと、
   前記駐車スペースの少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルが前記駐車スペース容積に属する確率を推定するステップと、
   少なくとも１つのデジタルカメラから前記駐車場の１つまたは複数の画像フレームを取得するステップと、
   ピクセルが車両に属する可能性を測定するために、前記取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行するステップと、
   空間的に変化する所属確率密度関数および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップと、
   前記計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するステップとを含む、方法。
2. 回転不変量局所二値パターン（ＬＢＰ）を入力特徴として使用するサポート・ベクタ・マシン（ＳＶＭ）分類器およびＴｅｘｔｏｎＢｏｏｓｔ分類器のうちの少なくとも１つを使用して前記ピクセル分類ステップを実行するステップをさらに含む、請求項１に記載の方法。
3. 前記所定のしきい値は、前記駐車場に入る車両および前記駐車場を出る車両の総数、ならびに、空き駐車区画の総数のうちの少なくとも１つを含む追加の情報に基づいて調整される、請求項１に記載の方法。
4. 前記駐車場レイアウトを取得するステップは、前記駐車場が少なくとも部分的に空であるか、または、ユーザインタフェースを介してユーザから入力が受信される場合に、前記駐車場の画像から１つまたは複数の駐車スペースを画定する１つまたは複数のマーカまたは線を自動的に検出するステップをさらに含み、前記データは、前記駐車場の１つまたは複数の画像上のマーカまたは線を含み、前記マーカまたは線の交差点は駐車スペースの１つまたは複数の角を画定する、請求項１に記載の方法。
5. 前記画像内の駐車スペースに関連付けられる前記容積を推定するステップは、前記駐車スペースの前記マーカラインを使用すること、および、４つの基本の辺を平均した長さのおよそ半分として高さを推定することによって、前記駐車スペースを平行六面体に近似するステップと、所与の前記駐車スペースに関する対象の三次元領域の投影をもたらす幾何演算によって所与のカメラアングルから見た前記平行六面体のマスクを取得するステップと、前記領域内の各ピクセルに対して、前記ピクセルの前記所与の駐車スペースに所属している確率を割り当てるステップとをさらに含み、前記所属確率密度関数は、前記対象領域の中心からの距離、および、隣接する駐車スペースと重なっている可能性のある複数の領域の関数である、請求項１に記載の方法。
6. デジタル画像から駐車場占有状態を測定するためのシステムであって、前記システムは、
   デジタル画像およびデジタル画像処理に関係するデータを記憶するデータベースであって、前記データは１つまたは複数の駐車場レイアウトを含む、データベースと、
   プロセッサを含む画像処理ユニットと、システムメモリと、前記システムメモリを前記処理ユニットに結合するシステムバスとを備え、前記画像処理ユニットは、
   複数の駐車スペースを有する駐車場のレイアウトを取得し、
   前記駐車スペースの少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルが前記駐車スペース容積に属する確率を推定し、
   少なくとも１つのデジタルカメラから前記駐車場の１つまたは複数の画像フレームを取得し、
   ピクセルが車両に属する可能性を測定するために、前記取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行し、
   空間的に変化する所属確率密度関数および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算し、
   前記計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するように動作可能である、システム。
7. 前記画像処理ユニットは、回転不変量局所二値パターン（ＬＢＰ）を入力特徴として使用するサポート・ベクタ・マシン分類器およびＴｅｘｔｏｎＢｏｏｓｔ分類器のうちの少なくとも１つを使用して前記ピクセル分類ステップを実行するようにさらに動作可能である、請求項６に記載のシステム。
8. 前記画像処理ユニットは、前記ＴｅｘｔｏｎＢｏｏｓｔ分類器のソフト出力および前記ＳＶＭ分類器のハード出力を使用する、ピクセルｘが車両である確率に関するモデルを使用し、前記モデルは、
   を備え、ここで、
   は前記ＴｅｘｔｏｎＢｏｏｓｔによって与えられる車両に対応するピクセルのソフト確率であり、
   は入力としてＬＢＰ値を用いる前記ＳＶＭ分類器によって与えられる、車両に対応するピクセルのハード分類である、請求項７に記載のシステム。
9. 前記画像処理ユニットは、前記ＴｅｘｔｏｎＢｏｏｓｔのハード出力および前記ＳＶＭ分類器のハード出力を使用する、ピクセルｘが車両である確率に関するモデルを使用するように動作可能であり、前記モデルは、
   または
   のうちの一方を含み、ここで、
   は前記ＴｅｘｔｏｎＢｏｏｓｔによって与えられる、車両に対応するピクセルのハード分類であり、
   はＬＢＰを入力として用いる前記ＳＶＭ分類器によって与えられる、車両に対応するピクセルのハード分類である、請求項７に記載のシステム。
10. 持続性コンピュータ使用可能データ記憶媒体であって、コンピュータによって実行されると、前記コンピュータに、
    複数の駐車スペースを有する駐車場のレイアウトを取得するステップと、
    前記駐車スペースの少なくとも１つの視角についての駐車スペース容積、および、観測されるピクセルが前記駐車スペース容積に属する確率を推定するステップと、
    少なくとも１つのデジタルカメラから前記駐車場の１つまたは複数の画像フレームを取得するステップと、
    ピクセルが車両に属する可能性を測定するために、前記取得された１つまたは複数の画像フレームに対して少なくとも１つの車両検出器を使用してピクセル分類を実行するステップと、
    空間的に変化する所属確率密度関数および対象領域内の車両ピクセルの可能性に基づいて、駐車スペースが車両によって占有されている確率を計算するステップと、
    前記計算された駐車スペースが車両によって占有されている確率と所定のしきい値との比較によって駐車場の空きを測定するステップとを含む方法を実行させる命令を記憶する、持続性コンピュータ使用可能データ記憶媒体。