JP2012053609A - 駐車検出装置、駐車検出方法および駐車検出プログラム - Google Patents

Abstract

【課題】多数の駐車マスを持つ駐車場の各駐車マスの駐車状況を正確に検出することができる駐車検出装置、駐車検出方法および駐車検出プログラムを提供する。
【解決手段】駐車検出装置１は、表示パターンが描かれた複数の駐車マスを含む検出対象エリアを撮影する撮影手段（カメラ１０）と、空車状態の検出対象エリアの画像に対してＰｒｅｗｉｔｔエッジ処理を施して基準画像データ２３ｄを生成するとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段（エッジ抽出処理部２４）と、判定対象の画像に対してエッジオペレータによるエッジ抽出処理を施した被検査画像データ（エッジ抽出処理画像データ２３ｃ）を生成する検査データ生成手段（エッジ抽出処理部２４）と、被検査画像データと基準画像データとの相関から駐車の有無を判定する判定手段（相関率算出部２５、相関率判定処理部２６）と、を備える。
【選択図】図１

Description

本発明は、駐車検出装置、駐車検出方法および駐車検出プログラムに関する。さらに詳しくは、高速道路のサービスエリアなど、多数の駐車マスを持つ駐車場の各駐車マスの駐車状況を画像処理により正確に検出することができる駐車検出装置、駐車検出方法および駐車検出プログラムに関する。

従来の車両検出方法として、車両検出対象領域を俯瞰撮影した画像の各駐車マスに対応する画像領域からエッジを抽出し、そのエッジ量の大小に基づいて駐車と空車とを判定することが知られている（例えば、特許文献１参照）。すなわち、複雑な形状を有する車両から抽出されるエッジの量と、空車状態の駐車マスから抽出されるエッジの量と、に差が生じることに基づいて駐車状況を検出するものである。

しかしながら、エッジ量の大小に基づいて駐車と空車とを判定する場合、駐車マスに「バス」、「トラック」などの文字や、車椅子の図形で知られる国際シンボルマークなどの図形等の表示パターンが表示されていると、これら表示パターンのエッジも抽出されてしまう。また、検出対象となる駐車マスに、駐車検出に外乱を及ぼす要素、例えば、他の車両の影や建造物の影など、が存在する場合、これら外乱となる要素からもエッジが抽出されてしまう。その結果、空車時であってもエッジ量が大きくなるため、駐車と誤判定してしまうといった問題があった。

特開平１１−６６４９０号公報

本発明は、上記問題の解決を図るため、駐車場を時々刻々撮影した画像において位置や形状の変化が少ない表示パターンに着目する。本発明は、駐車マスに描かれた表示パターンに基づいて駐車か空車かを判定することにより、その駐車マスに他の車両の影や建造物の影などが存在したときにもそれらの影響を低減することができ、駐車の有無を正確に判定することが可能な駐車検出装置、駐車検出方法および駐車検出プログラムを提供することを目的とする。

本発明は、以下の通りである。
１．表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする。
２．上記１．において、前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
３．上記１．または２．において、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
前記判定手段は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
４．表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする。
５．上記４．において、前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
６．上記４．または５．において、前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
前記判定工程は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。
７．表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする。
８．上記７．において、前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定することを特徴とする。
９．上記７．または８．において、前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
前記判定機能は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定することを特徴とする。

本発明の駐車検出装置によると、基準データ生成手段により、あらかじめ、複数の駐車マスが空車状態である駐車場の検出対象エリアが撮影され、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施して基準画像データが生成されるため、その基準画像データには、「バス」、「トラック」などの表示パターンのエッジが抽出される。また、基準画像データとともに、そのエッジ処理に用いられたマスクパターンが画素毎のエッジオペレータとして記憶される。その後、検査データ生成手段により、前記と同じ検出対象エリアを撮影した画像に対して、記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことによりエッジ抽出処理画像が被検査画像データとして生成されるため、その被検査画像データには、当初から変化していない表示パターンのエッジは明瞭に抽出され、当初になかった車や影などのエッジは抽出され難いこととなる。そこで、判定手段により、駐車マスごとに基準画像データと被検査画像データとの相関をみれば、他の車の影などがあっても、表示パターンが撮影されている場合には相関率が高く、駐車はないと判定することができる。一方、駐車した車によって表示パターンが隠されている場合には相関率は低く、駐車ありと判定することができる。
したがって、駐車マスに他の車両の影や建造物の影などが存在したときにも、それらのエッジが抽出されることによって生じる誤判定を防ぐことができ、駐車マスごとに駐車の有無を精度よく判定することが可能となる。

また、前記検査データ生成手段は、撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する場合は、基準データ生成手段により取得された当初の画像に対して、検査データ生成手段により取得された画像に位置ずれが生じた場合であっても、前記所定の範囲内で合致する点がある限り前記エッジオペレータを最適に作用させることができる。これにより、風、温度などによりカメラの位置や角度が変動しても、正確に駐車と空車との判定を行うことができる。

さらに、前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して基準画像データを生成し、その各基準画像データとともにそれぞれのエッジオペレータを記憶し、前記検査データ生成手段は、基準データ生成手段により記憶された複数の基準画像データのうちの１または２以上に対応するエッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、前記判定手段は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、駐車マス毎の駐車の有無を判定する場合は、天候や時間帯が異なる条件で撮影された複数の画像から基準画像データおよびエッジオペレータが生成される。そして、それらの情報を適宜に用いて、被検査画像データが生成されるとともに基準画像データとの相関率が算出される。このため、天候や時間帯によって明るさやコントラスト等が異なる画像に合わせて最適な条件で、エッジ抽出処理を行うことができ、相関率をみることができる。これによって、画像処理の負担を減らし、駐車の有無判定をさらに正確にすることが可能になる。

以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような駐車検出装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、上記に示す駐車検出装置に限らず、各種の態様を含むものである。したがって、本発明思想は、プログラム、ソフトウェアであったり、ハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として上記装置を制御するためのソフトウェアとなる場合には、かかるプログラム、ソフトウェア、あるいはソフトウェアを記録した記録媒体上においても存在し、利用される。

また、プログラム、ソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよく、今後開発されるいかなる記録媒体においても全く同様に考えることができる。一次複製品、二次複製品などの複製段階についても同等である。その他、供給装置として通信回線を利用して行う場合でも本発明が利用されていることにはかわりない。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態であってもよい。

本実施形態にかかる駐車検出装置を示す概略ブロック図である。 本実施形態にかかるＰｒｅｗｉｔｔエッジ処理に用いられる８種類のマスクパターンとそれらに対応するエッジ方向を示す図である。 本実施形態にかかる基準画像データおよびエッジオペレータデータ生成処理のフローチャートを示す図である。 本実施形態にかかる駐車検出処理のフローチャートを示す図である。 検出対象エリアとカメラの配置を模式的に示す平面図である。 検出対象エリアを撮影した画像の例を模式的に示す図である。 基準画像データの生成を説明するための図である。 判定対象用として撮影した画像の例を模式的に示す図である。 検索範囲と処理領域の例を模式的に示す図である。 検索範囲と処理領域の例を模式的に示す図である。 検索範囲と処理領域の例を模式的に示す図である。 表示パターンを含む画像領域の例を示す図であって、（ａ）〜（ｃ）は撮影画像、（ｄ）〜（ｈ）はエッジ抽出処理画像をそれぞれ示す。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）駐車検出装置の構成：
（２）駐車検出処理：
（２−１）基準画像データおよびエッジオペレータデータ生成処理：
（２−２）駐車検出処理：

本書において、画像のエッジ抽出を行うための演算子を「エッジオペレータ」という。エッジオペレータは、例えば図２のＡ〜Ｈに示すようにマトリックスにより構成され、それぞれ画素のエッジの方向に対応する。このエッジオペレータを「マスクパターン」と呼ぶ場合もある。また、エッジオペレータは画像の画素毎に適用されるが、１つの画像の処理について「エッジオペレータ」という場合には、当該画像を構成する画素毎のエッジオペレータの集合を表す。

（１）駐車検出装置の構成：
図１は、本実施形態にかかる駐車検出装置の概略構成を示している。同図において、駐車検出装置１は、カメラ１０と制御部２０とから構成されている。カメラ１０は、所定の表示パターンを有する複数の駐車マスを含む検出対象エリアを撮影した画像を制御部２０に出力する。制御部２０は、カメラ１０から取得した画像を処理することによって、各駐車マスの駐車の有無を検出するように構成される。

制御部２０は、主要な構成として、インターフェース（Ｉ／Ｆ）２１、ＣＰＵ２２、記憶部２３、エッジ抽出処理部２４、相関率算出部２５、相関率判定処理部２６、および出力部２７を備えている。
カメラ１０により撮影された画像は、Ｉ／Ｆ２１を介して制御部２０に取り込まれる。
ＣＰＵ２２は、記憶部２３に記憶された駐車検出プログラム２３ａを実行し、各部を制御するとともに所定の演算処理を実行する。

記憶部２３は、プログラムおよびデータを格納可能な記憶媒体である。記憶部２３には、駐車検出処理の全体を制御するための駐車検出プログラム２３ａが格納されている。また、その駐車検出処理の過程で使用される撮影画像データ２３ｂ、エッジ抽出処理画像データ２３ｃ、基準画像データ２３ｄおよびエッジオペレータデータ２３ｅが格納される。さらに、駐車有無の判定基準となる基準相関率データ２３ｆが格納されている。

上記撮影画像データ２３ｂは、検出対象エリアを撮影した画像データを格納するために用いられる領域である。
上記エッジ抽出処理画像データ２３ｃは、前記撮影画像データ２３ｂに対してエッジ抽出処理を施した画像データ（被検査画像データ）を格納するために用いられる領域である。
上記基準画像データ２３ｄは、検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対してＰｒｅｗｉｔｔエッジ処理を施した画像データ（基準画像データ）を格納するために用いられる領域である。また、基準画像データ２３ｄには、１または複数の画像ごとに、それぞれの画像に対応する基準画像データを格納することができる。
上記エッジオペレータデータ２３ｅは、前記Ｐｒｅｗｉｔｔエッジ処理により基準画像データを生成した際の画素ごとのマスクパターンを、エッジオペレータとして格納するために用いられる領域である。また、エッジオペレータデータ２３ｅには、１または複数の画像ごとに、それぞれの画像に対応するエッジオペレータを格納することができる。

以下のエッジ抽出処理部２４、相関率算出部２５および相関率判定処理部２６は、本駐車検出装置１の中心的な画像処理および演算処理を実行するように構成されている。これら各部は、前記駐車検出プログラム２３ａの一部として備えられてもよい。

エッジ抽出処理部２４は、検出対象エリアを撮影した画像データ（撮影画像データ２３ｂ）に対して、次の２つのエッジ抽出処理を行うように構成される。
第１のエッジ抽出処理は、あらかじめ検出対象エリア内の駐車マスが空車状態であるときに撮影した画像に対するＰｒｅｗｉｔｔエッジ処理である。ここで、Ｐｒｅｗｉｔｔエッジ処理とは、複数のエッジ方向にそれぞれ対応するマスクパターンを用いて、エッジを抽出する処理をいう。例えば、図２のＡ〜Ｈに示すような８方向のエッジに対応する８種類のマスクパターンを用いて、エッジ抽出処理を行うことができる。具体的には、画像の各画素について、各マスクパターンに示される３×３のマトリックスの中央の値を注目画素の輝度値に乗じるとともに、周囲の値を注目画素の周囲の各画素の輝度値にそれぞれ乗じ、それらの和（積和値）を算出する。マトリックス内の各数値は、注目画素のエッジの方向とマスクパターンに対応するエッジの方向との一致度を示す値であり、方向が一致する場合に、当該マスクパターンを用いて算出した積和値が他のマスクパターンを用いて算出した積和値よりも大きな値となるように重み付けされている。これにより、マスクパターン毎に求められた積和値のうち最大となった積和値を注目画素におけるエッジの強さとして、エッジ抽出処理画像を生成することができる。また、エッジ抽出処理部２４は、上記Ｐｒｅｗｉｔｔエッジ処理を行った際に、画素ごとに上記積和値（一致度）が最大となったマスクパターンを画素毎のエッジオペレータとして、その集合を画像毎にエッジオペレータデータ２３ｅに格納する。

第２のエッジ抽出処理は、駐車の有無を検出するに際して撮影した画像に対するエッジ抽出処理である。このエッジ抽出処理は、その画像の各画素に対して、前記エッジオペレータデータ２３ｅに格納された画素毎のエッジオペレータを作用させることによって、エッジ抽出を行う。これによって、あらかじめ取得されたエッジ方向に略一致する方向のエッジを抽出することができる。

相関率算出部２５は、エッジ抽出処理画像データ２３ｃと基準画像データ２３ｄとの相関率を算出する。相関率は、例えば、エッジ抽出処理画像データ２３ｃに対する基準画像データ２３ｄの２次元相互相関演算を実行することにより算出することができる。
相関率判定処理部２６は、相関率算出部２５により算出された相関率と記憶部２３に格納されている基準相関率データ２３ｆとを比較することにより、各駐車マスに車両が駐車しているか否かを判定する。なお、相関率判定処理部２６による判定結果を判定結果データとして記憶部２３に記憶させるようにしてもよい。
出力部２７は、相関率判定処理部２６による判定結果等を出力する。出力された判定結果データは、駐車場管理システム等に送られて管理されたり、駐車場の駐車状況を示す表示板等に反映されたりすることができる。

本実施形態の駐車検出装置においては、複数の駐車マスを含む検出対象エリアを撮影する撮影手段は、カメラ１０によって構成される。駐車マスが空車状態で検出対象エリアを撮影した画像に対して、Ｐｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎のエッジオペレータを記憶する基準データ生成手段は、主としてエッジ抽出処理部２４によって構成される。検出対象エリアを撮影した画像に対して、前記エッジオペレータを用いてエッジ抽出処理を施すことにより被検査画像データを生成する検査データ生成手段は、主としてエッジ抽出処理部２４によって構成される。前記被検査画像データと前記基準画像データとの相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段は、主として相関率判定処理部２６によって構成される。

（２）駐車検出処理：
本実施形態における駐車検出処理では、上述の構成において、最初にＰｒｅｗｉｔｔエッジ処理によって生成された基準画像データとエッジオペレータデータを用いて、実際の駐車状況を検出する駐車検出処理を実行する。

（２−１）基準画像データおよびエッジオペレータデータ生成処理：
基準画像データおよびエッジオペレータデータ生成処理は、例えば、図３に示すようなフローチャートに従って実行することができる。
最初に、カメラ１０によって検出対象エリアとなる駐車場を所定の高さから俯瞰撮影した画像を取得する（ステップＳ１００）。このとき撮影する画像（判定基準となる画像）は、各駐車マスが空車状態の検出対象エリアの画像である。この撮影画像は制御部２０に取り込まれ、撮影画像データ２３ｂとして記憶部２３に記憶される。図５は、このようにして撮影される検出対象エリアの例を模式的に示す図であり、図６は、撮影した画像の例を模式的に示す図である。本実施形態においては、図５および６に示すように、検出対象エリアに５つの駐車マスＰＳ１〜ＰＳ５が含まれており、各駐車マスＰＳ１〜ＰＳ５には、表示パターンとして、「バス」という文字がそれぞれ表示されている場合を例示する。なお、ステップＳ１００により取得する画像は、各駐車マスの表示パターンが明瞭に撮影されているとともに、各駐車マスに他の車両や建造物等の影が写り込んでいないことが好ましい。

次に、ステップＳ１１０において、変数ｎを"１"に初期化する。変数ｎは、最大値をＮとする整数であり、Ｎは駐車検出処理にて駐車と空車とが判定される駐車マスの数である。本実施形態において、この変数ｎの値は各駐車マスにそれぞれ対応しており、変数ｎの値に応じて、これに対応する駐車マス毎の基準画像データ２３ｄおよびエッジオペレータデータ２３ｅを生成する。

ステップＳ１２０では、エッジ抽出処理部２４により、撮影画像データ２３ｂの表示パターンを含む画像領域ＩＲに対して、Ｐｒｅｗｉｔｔエッジ処理によるエッジ抽出処理を実行する。それぞれの駐車マスの駐車の有無を検出するために用いる画像領域ＩＲを撮影画像内のどの領域とするかは特に限定されず、駐車マスの枠や表示パターンの態様に応じて適宜に設定されればよい。例えば、図７に示すように、撮影画像の各駐車マス内の表示パターン部を切り出すように、駐車マス毎に画像領域ＩＲをあらかじめ設定することができる。そして、ｎ番目の駐車マスＰＳｎの「バス」という表示パターンを含む画像領域ＩＲｎに対して、Ｐｒｅｗｉｔｔエッジ処理によるエッジ抽出処理を実行することができる。なお、この画像領域ＩＲは、カメラ１０により撮影される画像内の各駐車マスの位置ずれが生じても、各表示パターンがそれぞれ含まれるように予め設定されている。

なお、エッジ抽出処理が施された画像領域ＩＲに対して、２値化処理をさらに施すようにして、所定値以上のエッジ強さのみを抽出したエッジ抽出処理画像としてもよい。また、輝度値の変化が小さく、注目画素のエッジ方向が明確でない場合は、当該画素に対応する位置にはエッジ抽出処理を適用しないようすることもできる。

ステップＳ１３０では、上述のようにして各画像領域ＩＲに対してエッジ抽出処理を施した画像データを、基準画像データ２３ｄとして記憶部２３に記憶する。そして、ステップＳ１４０では、上記Ｐｒｅｗｉｔｔエッジ処理において、画素毎に一致度が最も高かったマスクパターンを、各画像領域ＩＲごとにエッジオペレータデータ２３ｅとして記憶部２３に記憶する。

ステップＳ１５０においては、変数ｎが最大値Ｎに達しているか否か、すなわち、すべての駐車マスについての基準画像データ２３ｄおよびエッジオペレータデータ２３ｅを生成したか否かを判別する。変数ｎが最大値Ｎに達していると判別されなければ、ステップＳ１６０において変数ｎをインクリメントしてステップＳ１２０以降の処理を繰り返し、他の駐車マスについて基準画像データ２３ｄおよびエッジオペレータデータ２３ｅを生成する処理を実行する。変数ｎが最大値Ｎに達していると判別されれば、基準画像データおよびエッジオペレータデータ生成処理を終了する。

（２−２）駐車検出処理：
駐車検出処理は、上記ステップＳ１２０〜Ｓ１４０において生成・記憶された基準画像データおよびエッジオペレータデータを用いて、例えば、図４に示すようなフローチャートに従って実行することができる。
先ず、カメラ１０によって駐車の有無の検出対象エリアとなる駐車場を俯瞰撮影する（ステップＳ２００）。この撮影画像（判定対象となる画像）は制御部２０に取り込まれ、撮影画像データ２３ｂとして記憶部２３に記憶される。図８は、このようにして撮影される画像の例を模式的に示す図である。同図は、駐車マスＰＳ４には車両Ｖが駐車しており、他の駐車マスＰＳ１〜３およびＰＳ５には駐車する車両がない状態を示している。また、駐車マスＰＳ３には、隣接する駐車マスＰＳ４に駐車中の車両Ｖの影Ｖｓがかかっている状態を示している。

次に、ステップＳ２０５において、検出処理の対象となる駐車マスの番号を示す変数ｎを"１"に初期化する。そして、ステップＳ２１０では、記憶部２３から、検出処理の対象となるｎ番目の駐車マスに対応するｎ番目のエッジオペレータデータ２３ｅと、ｎ番目の基準画像データと、をそれぞれ取得する。

ステップＳ２１５では、変数ｍを"１"に初期化する。この変数ｍは、最大値をＭとする整数である。本駐車検出処理においては、前記ステップＳ２００で撮影した画像の所定の範囲に対して、前記エッジオペレータデータを画素単位でずらしながら順次適用することにより、各位置に対応した被検査画像データを生成する。上記所定の範囲とは、後述する検索範囲ＳＲである。変数ｍは、この検索範囲ＳＲ内でエッジオペレータデータを画素単位でずらす制御のために使用される。エッジオペレータデータを作用させる領域を処理領域ＰＲとすると、変数ｍの値は、検索範囲ＳＲ内での処理領域ＰＲの位置に対応する。

一般に、固定した撮影手段により位置が不変の撮影対象を撮影した複数の画像において、撮影対象の画像上の位置は略一定である。しかし、本発明に用いるような俯瞰撮影の場合、撮影手段が支柱の先端などの比較的高所に設置され、風等による揺れ、支柱の熱による膨張、収縮等の影響を受け易い。このため、位置が不変の撮影対象を撮影した複数の撮影画像であっても、画像上の撮影対象の位置にずれが生じる場合がある。すなわち、カメラ１０により撮影した基準画像データ２３ｄの元となる撮影画像データ２３ｂと、判定対象となる撮影画像データ２３ｂと、では、撮影した表示パターンの画像上の位置にずれが生じている場合がある。このため、判定対象となる撮影画像データ２３ｂに対してエッジオペレータデータ２３ｅを適用する際に、所定の検索範囲ＳＲ内を画素単位でずらしながら順次適用するようにして位置ずれに対処している。

ステップＳ２２０では、エッジ抽出処理部２４により、撮影画像データ２３ｂに対してエッジオペレータデータ２３ｅを用いたエッジ抽出処理を実行する。すなわち、撮影画像データ２３ｂにおいて、検索範囲ＳＲ内のｍ番目の位置に設定された処理領域ＰＲにエッジオペレータデータ２３ｅを作用させて、エッジ抽出処理を施す。

具体的には、図９〜１１に示すように、エッジ抽出処理の対象領域となる処理領域ＰＲを、この処理領域ＰＲよりも広く設定された検索範囲ＳＲに対して、各前記画像領域ＩＲの位置を基準として画素単位で位置をずらしながら順次設定し、処理領域ＰＲが設定された各位置においてエッジオペレータデータ２３ｅによるエッジ抽出処理をそれぞれ実行するようにしている。処理領域ＰＲは、上述の画像領域ＩＲと同じ大きさであり、検索範囲ＳＲは、処理領域ＰＲを所定画素（例えば、画像領域ＩＲの設定位置を中心として、２０×２０画素など）の範囲でずらすことが可能なように予め設定してある。

エッジオペレータデータ２３ｅは、Ｐｒｅｗｉｔｔエッジ処理（ステップＳ１２０）で用いられた各マスクパターンのうち最大の一致度（積和値）となるマスクパターンを、画素単位で記憶したデータである。したがって、このエッジオペレータをステップＳ２００で撮影した画像に作用させることによって、ステップＳ１００で撮影された画像上のエッジの方向と同じ方向のエッジは明瞭に抽出され、異なる方向のエッジは強く抽出されないこととなる。このエッジ抽出処理（Ｓ２２０）により、当初から変化しない表示パターンがステップＳ２００で撮影した画像に表れている場合には、そのエッジが明瞭に抽出され、他の車の影などのエッジは強く抽出されないエッジ抽出画像を得ることができる。

上記エッジオペレータを用いたエッジ抽出の例を説明する。図１２（ａ）〜（ｃ）は、それぞれ同一の駐車マスを撮影した画像である。図１２（ａ）の画像は、表示パターンである「バス」の文字が明瞭に撮影されており、車両の影や建造物の影は写り込んでいない。一方、図１２（ｂ）および（ｃ）の各画像には、それぞれ車両の影や建造物の影が写り込んでしまっている。これら図１２（ａ）〜（ｃ）のそれぞれの画像に対してＰｒｅｗｉｔｔエッジ処理を施した画像が、図１２（ｄ）〜（ｆ）である。図１２（ｄ）の画像には、表示パターンである「バス」の文字のエッジが明瞭に抽出されている。一方、図１２（ｅ）および（ｆ）の各画像では、表示パターンのエッジとともに、影のエッジも明瞭に抽出されてしまっている。

そこで、図１２（ｂ）および（ｃ）の画像に対して、図１２（ａ）の画像から図１２（ｄ）のエッジ抽出画像を生成した際のマスクパターンを用いてエッジを抽出すると、図１２（ｇ）および（ｈ）に示すように、影のエッジが軽減されたエッジ画像を取得することができる。これは、図１２（ｂ）および（ｃ）の各画像の影のエッジに対して、そのエッジ方向と一致しないマスクパターンが適用されることにより、エッジが抽出されにくいからである。一方、図１２（ｂ）および（ｃ）の各画像上の表示パターンのエッジ方向は、図１２（ａ）の画像上の表示パターンのエッジ方向と略一致しているので、表示パターンのエッジが明瞭に抽出されることになる。

また、図１２（ｂ）に示す画像では、影は表示パターンの一部にかかる程度であり、図１２（ｃ）に示す画像では、影は表示パターンの大部分を覆っている。いずれの画像においても、影で覆われている部分の表示パターンは周囲との輝度値の差が小さいため、単にエッジ抽出処理を行っても、輝度の差が大きい影自体のエッジが強く抽出されてしまうこととなり、これが外乱となって表示パターンの検出精度が低下する。このような画像であっても、図１２（ａ）の画像から図１２（ｄ）のエッジ抽出画像を生成した際のマスクパターンを用いてエッジ抽出を行えば、図１２（ｇ）および（ｈ）に示すように、影のエッジは抽出され難い。このようなエッジ抽出処理が施された画像データが被検査画像データである。
上記被検査画像データは、エッジ抽出処理画像データ２３ｃとして記憶部２３に記憶される。

図４に戻り、ステップＳ２２５では、相関率算出部２５により、ステップＳ２２０において生成したエッジ抽出処理画像データ２３ｃと、基準画像データ２３ｄと、の相関率を算出する。すなわち、相関率算出部２５は、検索範囲ＳＲ内のｍ番目の処理領域ＰＲから取得したエッジ抽出処理画像データ２３ｃに対して、駐車検出対象の駐車マスに対応する基準画像データ２３ｄの２次元相互相関演算を実行して相関率を算出する。

図９に示すように、検索範囲ＳＲに含まれる検出対象の駐車マスＰＳが空車状態である場合、そのエッジ抽出処理画像データ２３ｃには表示パターンのエッジが抽出されているため、この駐車マスＰＳに対応する基準画像データ２３ｄとの２次元相互相関を実施すると、ある処理領域ＰＲの設定位置において、大きな値の相関率が算出される。また、図１１に示すように、空車状態であるが他の車両等の影がかかっている場合であっても、そのエッジ抽出処理画像データ２３ｃには表示パターンのエッジが抽出されており、かつ影など外乱となるエッジは低減されているため、比較的大きな値の相関率が算出される。

一方、図１０に示すように、検索範囲ＳＲに含まれる検出対象の駐車マスＰＳに車両Ｖが駐車している場合は、車両Ｖにより表示パターンが隠されているので、処理領域ＰＲがどの位置に設定されたとしても、当該駐車マスＰＳに対応する基準画像データ２３ｄとの相関率は小さな値が算出される。
このように、車両が駐車している場合と空車の場合とでは、影などの外乱があるかどうかに関わらず、算出される相関率の値の大きさに明確な差が表れる。

ステップＳ２３０では、相関率判定処理部２６により、ステップＳ２２５において算出した相関率と、記憶部２３に予め記憶されている基準相関率データ２３ｆと、を比較する。すなわち、相関率判定処理部２６は、基準相関率データ２３ｆに基づいて、ステップＳ２２５において算出された相関率が所定の値よりも大きいか否かを判別する。算出された相関率が所定の値よりも大きいと判別された場合には、ステップＳ２３５にて空車判定し、そうでない場合には、ステップＳ２４０に進む。

ステップＳ２４０では、変数ｍが最大値Ｍに達しているか否か、すなわち、検索範囲ＳＲ内のすべての位置に対して処理領域ＰＲを適用し、エッジ抽出処理および相関率算出処理を実行したか否かを判別する。変数ｍが最大値Ｍに達していると判別された場合は、ステップＳ２４５にて駐車判定する。変数ｍが最大値Ｍに達していると判別されない場合は、ステップＳ２５０にて変数ｍをインクリメントしてステップＳ２２０以降の処理を繰り返し、検索範囲ＳＲの他の位置について同様の各処理を実行する。
そして、ステップＳ２５５において、ステップＳ２３５またはステップＳ２４５にて判定された駐車の有無の判定結果を記憶する。

ステップＳ２６０においては、変数ｎが最大値Ｎに達しているか否か、すなわち、すべての駐車マスについての駐車の有無を判定したか否かを判別する。変数ｎが最大値Ｎに達していると判別されなければ、ステップＳ２６５において変数ｎをインクリメントし、ステップＳ２１０以降の処理を繰り返して他の駐車マスについての駐車の有無を判定する。変数ｎが最大値Ｎに達していると判別されれば、駐車検出処理を終了する。なお、通常、駐車場の駐車状況は常時監視されていることが好ましく、したがって、この駐車検出処理を繰り返し実行することが好ましい。

このように、本実施形態においては、あらかじめ、複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データ（２３ｄ）を生成し、基準画像データ（２３ｄ）とともに画素毎のエッジオペレータをエッジオペレータデータ（２３ｅ）に記憶する基準データ生成工程（ステップＳ１００〜Ｓ１６０）を備える。また、検出対象エリアを撮影し、当該画像（２３ｂ）に対して、前記エッジオペレータ（２３ｅ）を用いてエッジ抽出処理を施すことにより、被検査画像データ（２３ｃ）を生成する検査データ生成工程（ステップＳ２００〜Ｓ２２０）を備える。そして、被検査画像データ（２３ｃ）と、基準画像データ（２３ｄ）と、の相関に基づいて、駐車マス毎の駐車の有無を判定する判定工程（ステップＳ２２５〜Ｓ２４５）を備え、前記エッジオペレータは、前記Ｐｒｅｗｉｔｔ処理で用いられた複数のマスクパターンのうち、画素毎に積和値が最大となったマスクパターンであるため、位置や形状が時間的に変化する他の車両や建造物の影など、誤判定の要因となるエッジの抽出を軽減することができ、車両から抽出されるエッジ情報に基づいて駐車検出する従来の方法と比較して正確に駐車検出することができる。

さらに、前記検査データ生成工程は、前記撮影した画像（２３ｂ）の所定の範囲（ＳＲ）に対して、前記エッジオペレータ（２３ｅ）を画素単位でずらしながら順次適用することにより各位置に対応した被検査画像データ（２３ｃ）を生成し、前記判定工程は、前記各位置に対応した被検査画像データ（２３ｃ）と、基準画像データ（２３ｄ）と、の相関率を算出することにより駐車の有無を判定するようにすることができる。これにより、判定対象となる撮影画像と、基準画像データ２３ｄの元となった撮影画像と、の間に位置ずれが生じている場合であっても、各位置について２次元相互相関演算を行った結果から、駐車の判定のために最適な相関率を採用することができる。

また、とくに屋外の駐車場においては、晴れ、曇り、雨等の天候や、日中、夜間等の時間帯等、さまざまな条件下で撮影した画像を用いて駐車の検出を行う必要がある。このため、前記基準データ生成工程では、上記のような異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データ（２３ｄ１、２３ｄ２、２３ｄ３、・・・とする）を生成し、その各基準画像データとともにそれぞれの前記エッジオペレータ（２３ｅ１、２３ｅ２、２３ｅ３、・・・とする）を記憶するようにすることができる。
そして、前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成するようにすることができる。例えば、複数の基準画像データのそれぞれに対応したすべてのエッジオペレータ（２３ｅ１、２３ｅ２、２３ｅ３、・・・）を用いて、撮影した画像のエッジ抽出処理を行い、対応する被検査画像データ（２３ｃ１、２３ｃ２、２３ｃ３、・・・）を生成してもよい。また、天候、時間帯、撮影した画像の明るさ等の条件が類似するいくつかの基準画像データ（例えば、２３ｄ１、２３ｄ３の２つ）を選択し、それに対応するエッジオペレータ（２３ｅ１、２３ｅ３の２つ）によってエッジ抽出処理を行い、被検査画像データ（２３ｃ１、２３ｃ３の２つ）を生成してもよい。このようにすれば、類似する撮影条件の画像について、最適なエッジ抽出処理を施すことができる。

上記被検査画像データの生成後、前記判定工程は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定するようにすることができる。例えば、複数の基準画像データ（２３ｄ１、２３ｄ２、２３ｄ３、・・・）のすべてと、前記検査データ生成工程で生成されたすべての被検査画像データ（２３ｃ１、２３ｃ２、２３ｃ３、・・・）と、のそれぞれの間で２次元相互相関をとってもよい。また、前記検査データ生成工程において選択したいくつかの基準画像データ（２３ｄ１、２３ｄ３の２つ）と、被検査画像データ（２３ｃ１、２３ｃ３の２つ）と、のそれぞれの間で２次元相互相関をとってもよい。このようにすれば、類似する撮影条件で撮影され、エッジ抽出された画像間での相関をみることができる。駐車の有無は、撮影条件が類似する画像間の相関率の大きさをあらかじめ定めた基準と比較する等の方法により判定することができる。例えば、雨天・薄暮のときの撮影画像から生成した基準画像データと、同様の条件の撮影画像から生成した被検査画像データとの相関率は、撮影条件が異なる場合に比べて大幅に高いため、駐車検出の精度を高めることが可能である。

なお、前記駐車検出装置１の構成に加えて、基準画像データを適宜更新する更新手段を備えるようにしてもよい。これにより、表示パターンの劣化等、変化の状態に応じた基準画像データが新たに生成されるので、所望の判定精度を維持することができ、より正確に駐車検出することができる。この更新手段により基準画像データを更新する形態としては、例えば、目視により劣化状態を確認して必要に応じて更新する形態や、定期的に更新する形態、相関率の数値が所定値に満たなくなった際に更新するなど、駐車検出処理時に算出される相関率の数値に基づいて更新する形態等とすることができる。

また、上述の実施形態においては、駐車検出対象エリアに含まれる駐車マスが５つである例を示したが、駐車マスの数は特に限定されない。駐車検出対象エリアに含まれる駐車マスの数が多いような場合、処理速度を勘案して、複数の制御部を用いて並列処理を実行するようにしてもよい。また、より広大な駐車場の駐車検出をする際には、複数のカメラにより複数の駐車検出対象エリアを撮影した画像について、順次駐車検出処理を実施するようにしたり、複数の駐車検出装置により複数の駐車検出対象エリアの駐車検出をするようにしたりしてもよい。

また、Ｐｒｅｗｉｔｔエッジ処理で用いる８種マスクパターンは、それぞれ３×３のマトリックスで構成されている。しかし、本発明の思想は、基本となる画像のエッジ情報を、後に撮影した画像に作用させることである。したがって、画像のエッジ方向を抽出し、そのエッジ方向に一致するエッジを別の画像から抽出することが可能である限り、マスクパターンの種類やマトリックス構成は上記に限定されるものではない。これらは、画像のエッジ方向の細分化の程度に応じて、適宜設定されてもよい。

１；駐車検出装置、１０；カメラ、２０；制御部、２１；インターフェース（Ｉ／Ｆ）、２２；ＣＰＵ、２３；記憶部、２３ａ；駐車検出プログラム、２３ｂ；撮影画像データ、２３ｃ；エッジ抽出処理画像データ、２３ｄ；基準画像データ、２３ｅ；エッジオペレータデータ、２３ｆ；基準相関率データ、２４；エッジ抽出処理部、２５；相関率算出部、２６；相関率判定処理部、２７；出力部、ＩＲ；画像領域、ＰＲ；処理領域、ＰＳ；駐車マス、ＳＲ；検索範囲、Ｖ；車両、Ｖｓ；影。

Claims (9)

1. 表示パターンが描かれた複数の駐車マスを撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出装置であって、
   前記複数の駐車マスを含む検出対象エリアを撮影する撮影手段と、
   あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の前記検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成手段と、
   前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成手段により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成手段と、
   前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定手段と、を備えることを特徴とする駐車検出装置。
2. 前記検査データ生成手段は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
   前記判定手段は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項１記載の駐車検出装置。
3. 前記基準データ生成手段は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
   前記検査データ生成手段は、前記基準データ生成手段により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
   前記判定手段は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項１または２記載の駐車検出装置。
4. 表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出方法であって、
   あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成工程と、
   前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成工程により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成工程と、
   前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定工程と、を備えることを特徴とする駐車検出方法。
5. 前記検査データ生成工程は、前記撮影した画像の所定の範囲に対して、前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
   前記判定工程は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項４記載の駐車検出方法。
6. 前記基準データ生成工程は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
   前記検査データ生成工程は、前記基準データ生成工程により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
   前記判定工程は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項４または５記載の駐車検出方法。
7. 表示パターンが描かれた複数の駐車マスを撮影手段により撮影し、その画像に基づいて前記駐車マスのそれぞれの駐車の有無を検出する駐車検出プログラムであって、
   あらかじめ、前記撮影手段により前記複数の駐車マスが空車状態の検出対象エリアを撮影し、当該画像に対してＰｒｅｗｉｔｔエッジ処理を施すことにより基準画像データを生成し、その基準画像データとともに画素毎の積和値が最大となったマスクパターンをエッジオペレータとして記憶する基準データ生成機能と、
   前記撮影手段により前記検出対象エリアを撮影し、当該画像に対して、前記基準データ生成機能により記憶された前記エッジオペレータを用いてエッジ抽出処理を施すことにより、被検査画像データを生成する検査データ生成機能と、
   前記被検査画像データと、前記基準画像データと、の相関に基づいて、前記駐車マス毎の駐車の有無を判定する判定機能と、をコンピュータに実現させることを特徴とする駐車検出プログラム。
8. 前記検査データ生成機能は、前記撮影した画像の所定の範囲に対して前記エッジオペレータを画素単位でずらしながら順次適用することにより各位置に対応した前記被検査画像データを生成し、
   前記判定機能は、前記各位置に対応した前記被検査画像データと、前記基準画像データと、の相関率を算出することにより駐車の有無を判定する請求項７記載の駐車検出プログラム。
9. 前記基準データ生成機能は、異なる撮影条件において撮影した複数の画像のそれぞれに対して前記基準画像データを生成し、その各基準画像データとともにそれぞれの前記エッジオペレータを記憶し、
   前記検査データ生成機能は、前記基準データ生成機能により記憶された複数の前記基準画像データのうちの１または２以上に対応する前記エッジオペレータを用いて、それに対応する１または２以上の被検査画像データを生成し、
   前記判定機能は、前記１または２以上の被検査画像データと、前記１または２以上の基準画像データと、のそれぞれの相関に基づいて、前記駐車マス毎の駐車の有無を判定する請求項７または８記載の駐車検出プログラム。