JP2004326270A

JP2004326270A - 路上落下物検出装置

Info

Publication number: JP2004326270A
Application number: JP2003117689A
Authority: JP
Inventors: Soichi Sudo; 聡一須藤
Original assignee: Koito Industries Ltd
Current assignee: Koito Industries Ltd
Priority date: 2003-04-22
Filing date: 2003-04-22
Publication date: 2004-11-18
Anticipated expiration: 2023-04-22
Also published as: JP4152800B2

Abstract

【課題】演算量を抑えつつ、より高い精度で路上落下物を検出する。
【解決手段】カメラ１は、路上領域を撮像する。処理部２は、画像領域を分割した各小領域について、カメラ１から得られ順次サンプリングされる画像と背景画像との間の第１の相関値を得る。処理部２は、現画像及び過去の画像について得た各小領域の第１の相関値に基づいて、路上落下物候補領域を得て、これを検出処理対象として登録する。処理部２は、現在登録されている路上落下物候補領域について、現画像と前回の画像との間の第２の相関値を得る。処理部２は、第２の相関値が所定値以下である領域を、検出処理対象としての登録から削除する。処理部２は、現在登録されている落下物候補領域いずれかの領域の、登録されている時間に応じた値が、所定時間以上であることを示す場合に、路上落下物が存在すると判定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、路上の落下物を検出する路上落下物検出装置に関するものである。
【０００２】
【従来の技術】
従来から、この種の路上落下物検出装置として、下記の特許文献１に開示された装置が知られている。この装置では、動画像からサンプリングした画像を小領域に切り分け、一つ一つの小領域について予め準備した移動物体を含まず障害物の存在しない背景画像の対応する領域との正規化相関値の計算を一定時間ごとにサンプリングされる画像に対して繰り返し行って、その相関値の変化状態を一定の閾値で判定することにより、路上障害物を検出する。
【０００３】
このような従来の路上落下物検出装置では、小領域ごとにサンプリング画像と背景画像との間の相関値を求め、これらの相関値に基づいて路上落下物を検出するので、例えば小領域に分けることなく全領域について一括してサンプリング画像と背景画像との間の相関値を求めて、この相関値に基づいて路上落下物を検出する場合に比べて、相関値演算の処理速度を高めることができるとともに、路上落下物の検出精度を高めることができる。
【０００４】
【特許文献１】
特開２００２−２４８０８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前記従来の路上落下物検出装置では、小領域ごとに求めたサンプリング画像と背景画像との間の相関値の時間的な変化状態を一定の閾値で求めているので、必ずしも十分な検出精度を得ることが困難であった。
【０００６】
本発明は、このような事情に鑑みてなされたもので、比較的少ない演算量ですむとともに、より高い精度で路上落下物を検出することができる路上落下物検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するため、本発明の第１の態様による路上落下物検出装置は、路上領域を含む監視領域を撮像する撮像手段と、前記監視領域に応じた画像領域を分割した複数の小領域の各々について、前記撮像手段から時間経過に従って得られ順次サンプリングされる画像と背景画像との間の相関値を得る第１の相関値演算手段と、最新にサンプリングされた前記画像である現画像及び過去にサンプリングされた前記画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像に関連して路上落下物の候補となる路上落下物候補領域を得る路上落下物候補領域取得手段と、前記現画像に関連して得られた前記路上落下物候補領域を検出処理対象として登録する手段と、前記検出処理対象として現在登録されている前記路上落下物候補領域について、前記現画像と前回サンプリングされた前記画像との間の相関値を得る第２の相関値演算手段と、前記第２の相関値演算手段により得られた前記相関値が所定値以下である前記路上落下物候補領域を、前記検出処理対象としての登録から削除する手段と、前記検出処理対象として現在登録されている前記落下物候補領域のうちの少なくとも１つの領域の、前記検出処理対象として登録されている時間に応じた値が、所定時間以上であることを示す場合に、前記路上落下物が存在すると判定する判定手段と、を備えたものである。
【０００８】
この第１の態様では、小領域ごとに求めたサンプリング画像と背景画像との間の相関値に基づいて路上落下物候補領域を得、この落下物候補領域のうち現画像と前回のサンプリング画像との間の相関値が所定値より大きいものについて検出処理対象とし、当該検出処理対象の落下物候補領域が所定時間以上存在する場合に路上落下物が存在すると判定している。このように、前記第１の態様によれば、小領域ごとのサンプリング画像と背景画像との相関による路上落下物候補領域の抽出と、現画像と前回のサンプリング画像との間の相関による路上落下物候補領域の絞り込みとの、いわば２段階の選抜を経た領域に関して、時間的に継続して存在するという条件下で、路上落下物を検出している。したがって、前記従来の路上落下物検出装置に比べて、より高い精度で路上落下物を検出することができる。
【０００９】
また、前記第１の態様では、路上落下物候補領域の抽出の際の相関値演算は小領域ごとに行うので、その演算量は全領域について一括して行う場合に比べて少なくてすむ。さらに、路上落下物候補領域の絞り込みの際の相関値演算は路上落下物候補領域についてのみ行うので、その演算量も少なくてすむ。したがって、前記第１の態様によれば、全体的に見ても、演算量は比較的少なくてすむ。
【００１０】
本発明の第２の態様による路上落下物検出装置は、前記第１の態様において、前記路上落下物候補領域取得手段は、（ａ）前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像について前記複数の小領域の各々が、前記路上落下物の一次的な候補となる小領域である一次候補小領域か否かを判定する一次候補小領域判定手段と、（ｂ）前記複数の小領域の各々に関連づけられたカウント値のうち、前記現画像について前記一次候補小領域であると判定された小領域に関連づけられたカウント値を、インクリメントするインクリメント手段と、（ｃ）前記複数の小領域の各々に関連づけられた前記カウント値のうち、前記現画像について前記一次候補小領域でないと判定された小領域に関連づけられたカウント値を、リセットするリセット手段と、（ｄ）前記インクリメント手段によるインクリメントの後に、前記複数の小領域のうち、関連づけられた前記カウント値が所定値以上の小領域である二次候補小領域を判別する二次候補小領域判別手段と、を有するものである。
【００１１】
この第２の態様では、小領域ごとのカウント値を導入して前記インクリメント手段及び前記リセット手段を採用することで、一次候補小領域の連続性を条件として二次候補小領域を抽出している。したがって、前記第２の態様によれば、落下物候補領域をより適切に抽出することができ、ひいては、より高い精度で路上落下物を検出することができる。
【００１２】
本発明の第３の態様による路上落下物検出装置は、前記第１の態様において、前記路上落下物候補領域取得手段は、（ａ）前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像について前記複数の小領域の各々が、前記路上落下物の一次的な候補となる小領域である一次候補小領域か否かを判定する一次候補小領域判定手段と、（ｂ）前記複数の小領域の各々に関連づけられたカウント値のうち、前記現画像について前記一次候補小領域であると判定された小領域に関連づけられたカウント値を、インクリメントするインクリメント手段と、（ｃ）前記複数の小領域の各々に関連づけられた前記カウント値のうち、前記現画像について前記一次候補小領域でないと判定された小領域に関連づけられたカウント値を、デクリメントするデクリメント手段と、（ｄ）前記インクリメント手段によるインクリメントの後に、前記複数の小領域のうち、関連づけられた前記カウント値が所定値以上の小領域である二次候補小領域を判別する二次候補小領域判別手段と、を有するものである。
【００１３】
この第３の態様は、前記第２の態様と基本的に同様であるが、前記第２の態様で採用されていたリセット手段に代えて前記デクリメント手段が採用されている。したがって、路上落下物が自動車の陰に隠れて見え隠れするような事態が頻繁に起きても、より迅速に路上落下物を検出することができる。
【００１４】
本発明の第４の態様による路上落下物検出装置は、前記第２又は第３の態様において、前記一次候補小領域判定手段は、前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値が所定値以上であるか否かを判定する相関値判定手段を有し、前記相関値判定手段により前記相関値が前記所定値以上であると判定された小領域を前記一次候補小領域であると判定するものである。
【００１５】
この第４の態様は、一次候補小領域の判定手法の一例を挙げたものである。この第４の態様によれば、単純に相関値の大小のみで一次候補小領域を判定しているので、その演算量が少なくてすむ。
【００１６】
本発明の第５の態様による路上落下物検出装置は、前記第２又は第３の態様において、前記一次候補小領域判定手段は、前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値が所定値以上であるか否かを判定する相関値判定手段と、前記現画像と前記背景画像との差分画像を得る手段と、を有し、前記相関値判定手段により前記相関値が前記所定値以上であると判定された小領域のうち、前記差分画像において差分値が所定値以上である画素を含む小領域を、前記一次候補小領域であると判定するものである。
【００１７】
この第５の態様は、一次候補小領域の判定手法の他の例を挙げたものである。この第５の態様によれば、相関値の大小のみで一次候補小領域を判定するだけでなく、相関値が大きい小領域のうち、差分画像において差分値が所定値以上である画素を含む小領域を、一次候補小領域であると判定している。したがって、前記第４の態様に比べて若干演算量は増えるものの、より精度良く一次候補小領域を抽出することができ、ひいては、より高い精度で路上落下物を検出することができる。
【００１８】
本発明の第６の態様による路上落下物検出装置は、前記第２乃至第５のいずれかの態様において、前記路上落下物候補領域取得手段は、前記二次候補小領域をラベリングするラベリング手段を有し、前記ラベリングされた領域を前記路上落下物候補領域として得るものである。
【００１９】
この第６の態様は、路上落下物候補領域として、二次候補小領域のラベリング領域を採用する例を挙げたものである。
【００２０】
本発明の第７の態様による路上落下物検出装置は、前記第２乃至第５のいずれかの態様において、前記路上落下物候補領域取得手段は、前記二次候補小領域をラベリングするラベリング手段と、前記ラベリングされた領域の大きさが所定大きさ以上であるか否かを判定する大きさ判定手段とを有し、前記大きさ判定手段により前記所定大きさ以上であると判定されたラベリング領域を、前記路上落下物候補領域として得るものである。
【００２１】
この第７の態様は、前記第６の態様と同様に、路上落下物候補領域として、二次候補小領域のラベリング領域を採用する例を挙げたものである。この第７の態様では、ラベリング領域の大きさが所定大きさ以上のものを路上落下物候補領域とするので、より精度良く路上落下物候補領域を抽出することができ、ひいては、より高い精度で路上落下物を検出することができる。
【００２２】
本発明の第８の態様による路上落下物検出装置は、前記第６又は第７の態様において、前記検出処理対象として現在登録されている前記路上落下物候補領域について、前記現画像と前記背景画像との間の相関値を得る第３の相関値演算手段と、前記第３の相関値演算手段により得られた前記相関値が所定値以上である前記路上落下物候補領域を、前記検出処理対象としての登録から削除する手段と、を備えたものである。
【００２３】
この第８の態様によれば、落下物候補領域としてのラベリング領域について、現画像と背景画像との間の相関値を得、この相関値が所定値以上である領域を検出処理対象領域から除外しているので、より高い精度で路上落下物を検出することができる。
【００２４】
本発明の第９の態様による路上落下物検出装置は、前記第２乃至第５のいずれかの態様において、前記路上落下物候補領域取得手段は、前記二次候補小領域を前記路上落下物候補領域として得るものである。
【００２５】
この第９の態様は、路上落下物候補領域として、二次候補小領域をそのまま採用する例を挙げたものである。
【００２６】
本発明の第１０の態様による路上落下物検出装置は、前記第１乃至第９のいずれかの態様において、サンプリングされた前記画像に基づいて、所定条件下で前記背景画像を更新する更新手段を備えたものである。
【００２７】
この第１０の態様によれば、所定条件下で前記背景画像を更新する更新手段を備えているので、周囲の状況（屋外における気象条件や、トンネル内における照明条件や、自動車の停止や渋滞など）が変化しても、より高い精度で路上落下物を検出することができる。
【００２８】
【発明の実施の形態】
以下、本発明による路上落下物検出装置について、図面を参照して説明する。
【００２９】
図１は、本発明の一実施の形態による路上落下物検出装置を示す概略ブロック図である。
【００３０】
本実施の形態による路上落下物検出装置は、図１に示すように、路上領域を含む監視領域を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号をＡ／Ｄ変換して画像メモリ３にサンプリングして取り込み、このサンプリングされた画像に基づいて処理を行って路上落下物を検出する処理部２と、前記画像メモリ３とを備えている。なお、図面には示していないが、処理部２は、Ａ／Ｄ変換器の他、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。
【００３１】
本発明では、前記監視領域は、トンネル内の領域であってもよいし、屋外の領域であってもよい。
【００３２】
図２及び図３は、テレビカメラ１により撮像された画像の例を模式的に示す概略図である。図２は路上落下物や自動車等の移動体が存在しない状態を示し、図３は路上落下物が存在する状態を示している。図２及び図３において、１１は道路の一方側の車線の像、１２はセンターラインの像、１３は他方側の車線の像である。また、図３において、１４は路上落下物の像である。
【００３３】
本実施の形態では、図２及び図３において破線の升目で示すように、画像に対して、前記監視領域に応じた画像領域を分割した複数の小領域を予め設定しておく。本実施の形態では、各小領域は、画像領域上において同じ大きさに設定されているが、実際の大きさに合わせて、手前側の領域の小領域を大きく設定するとともに、奥側の領域の小領域を小さく設定するようにしてもよい。また、個々の小領域の数や形状は、検出すべき路上落下物の大きさを考慮して、適宜に設定することができる。また、各小領域には、後述するステップＳ３２〜Ｓ３４で用いるカウント値を関連づけておき、それらカウント値はゼロに初期設定しておく。これらのカウント値は、処理部の内部メモリ（図示せず）に格納される。
【００３４】
なお、本実施の形態では、テレビカメラ１により撮像された画像の全体が監視領域であるものとしているが、路上落下物が存在し得ない領域については、監視領域から除外することとして、当該領域をマスク処理して後述する処理の対象から除外してもよいことは、言うまでもない。この場合、所望の監視領域についてのみ前記小領域を設定しておけばよい。
【００３５】
次に、本実施の形態による路上落下物検出装置の動作について、図４乃至図９を参照して説明する。
【００３６】
図４は、本実施の形態による路面状態判別装置の動作の全体を示す概略フローチャートである。図５は、図４中のステップＳ２の詳細を示す概略フローチャートである。図６は、図４中のステップＳ４の一部の詳細を示す概略フローチャートである。図７は、図４中のステップＳ４の残りの部分の詳細を示す概略フローチャートである。図８は、図４中のステップＳ５の詳細を示す概略フローチャートである。図９は、図４中のステップＳ６の詳細を示す概略フローチャートである。
【００３７】
まず、本実施の形態による路上落下物検出装置の概略の動作を、図４を参照して説明する。
【００３８】
最初に、図示しない入力部を操作して、処理に必要な各種のパラメータ（例えば、後述するステップＳ１６で用いる累積回数Ｎ、ステップＳ２６で用いる閾値ａ、ステップＳ３４で用いる閾値ｂ、ステップＳ５４で用いる閾値ｃ、ステップＳ５８で用いる閾値ｄ、ステップＳ６０で用いる閾値ｅなど）を設定しておく（ステップＳ１）。これらのパラメータは、処理部の内部メモリ（図示せず）に格納される。勿論、これらのパラメータは、予め設定しておき、その変更等ができないようにしておいてもよい。
【００３９】
次いで、処理部２は、初期の背景画像を作成する（ステップＳ２）。次に、処理部２は、最初の１ループの処理においてステップＳ５で必要となる前回の画像として、テレビカメラ１からの現在の画像をサンプリングして画像メモリ３に取り込んでおく（ステップＳ３）。その後、処理部２は、落下物候補領域の抽出・登録を行い（ステップＳ４）、登録されている落下物候補領域について追跡処理を行うことで、路上落下物の有無を判定する（ステップＳ５）。処理部２は、路上落下物が存在すると判定すると、落下物検出信号を外部に出力し、処理を終了する。一方、処理部は、路上落下物が存在しないと判定すると、所定条件下で背景画像を更新し（ステップＳ６）、ステップＳ４へ戻る。
【００４０】
次に、ステップＳ２の初期の背景画像の作成処理の詳細について、図５を参照して説明する。
【００４１】
ステップＳ１が終了すると、処理部２は、累積回数を示すカウント値ｎをゼロにセットする（ステップＳ１１）。次いで、処理部２は、前回の累積画像ｆ（ｔ−１）を全画素がゼロの画像に初期設定する（ステップＳ１２）。その後、処理部２は、テレビカメラ１からの現在の画像を、現在の画像ｇ（ｔ）としてサンプリングして画像メモリ３に取り込む（ステップＳ１３）。
【００４２】
次に、処理部２は、前回の累積画像ｆ（ｔ−１）とステップＳ１３でサンプリングした画像ｇ（ｔ）とに基づいて、下記の数１に従って現在の累積画像ｆ（ｔ）を作成する（ステップＳ１４）。数１において、αは、０＜α＜１を満たす重み係数であり、自動車等の移動体の影響などが低減されるような値に設定される。
【００４３】
【数１】
ｆ（ｔ）＝αｆ（ｔ−１）＋（１−α）ｇ（ｔ）
【００４４】
その後、処理部２は、その内部メモリ（図示せず）に格納されたカウント値ｎを１だけインクリメントした（ステップＳ１５）後、カウント値ｎが所定累積回数Ｎに達したか否かを判定する（ステップＳ１６）。所定累積回数Ｎに達していなければ、処理部２は、現在の累積画像ｆ（ｔ）を前回の累積画像ｆ（ｔ−１）とし（ステップＳ１７）、ステップＳ１３へ戻る。一方、ステップＳ１６で所定累積回数Ｎに達したと判定されると、処理部２は、現在の累積画像ｆ（ｔ）を初期の背景画像として画像メモリ３に保存する（ステップＳ１８）。
【００４５】
このようにして初期の背景画像を作成することで、図２に示すような初期の背景画像を作成することができる。勿論、自動車等の移動体が存在しない状態でテレビカメラ１により撮像された画像をサンプリングし、この画像を初期の背景画像としてもよいことは、言うまでもない。
【００４６】
以下の説明において、背景画像は、ステップＳ６で更新されるまでは、ステップＳ１８で保存された初期の背景画像を意味し、ステップＳ６で更新された後には、ステップＳ６で最新に更新された背景画像を意味する。
【００４７】
次に、ステップＳ４の落下物候補領域の抽出・登録処理の詳細について、図６及び図７を参照して説明する。
【００４８】
ステップＳ３の処理が終了すると、処理部２は、テレビカメラ１からの現在の画像をサンプリングして画像メモリ３に取り込む（ステップＳ２１）。このステップＳ２１で最新にサンプリングされた画像を、現画像と呼ぶ。
【００４９】
次いで、処理部２は、現画像と背景画像との差分画像（背景差分画像）を作成し、（ステップＳ２２）、この背景差分画像を所定閾値で２値化する（ステップＳ２３）。ここでは、２値化後の背景差分画像において、現画像の画素と背景画像の画素との差が大きい画素は白画素となるものとする。したがって、路上落下物が存在する箇所の画素は白画素となる。なお、背景差分画像の２値化に用いる閾値は、固定閾値でもよいし、例えば判別分析法などによる可変閾値でもよい。
【００５０】
その後、処理部２は、既に説明したようにして予め設定された複数の小領域（例えば、図２及び図３中の破線により区切られた個々の領域）のうち、当該ステップＳ２４で今回未だ選択されていない１つの小領域を選択する（ステップＳ２４）。
【００５１】
次に、処理部２は、ステップＳ２４で最新に選択された小領域について、現画像と背景画像との間の相関値を算出する（ステップＳ２５）。例えば、ステップＳ２４で最新に選択された小領域が図２及び図３中の左下の小領域であれば、処理部２は、現画像の左下の小領域と背景画像の左下の小領域との間の相関値を算出する。相関値は、相関係数とも呼ばれ、その値が高いほど両領域の相関性が高いことを示している。
【００５２】
相関値を得るための具体的な計算式は、公知の種々の式を採用することができる。その一例として、下記の数２を挙げることができる。数２において、ｒは相関値を示している。数２は、画像ｆ（ｘ，ｙ）と画像ｇ（ｘ，ｙ）のｐ×ｑ画素領域での相関値ｒを算出するための式である。数２において、Ｎは当該領域の全画素数である。
【００５３】
【数２】

【００５４】
次いで、処理部２は、ステップＳ２５で算出した当該小領域の相関値が閾値ａより小さいか否かを判定する（ステップＳ２６）。閾値ａより小さければ（すなわち、現画像の当該小領域と背景画像の当該小領域との相関性が所定程度より低ければ）、ステップＳ２７へ移行し、一方、閾値ａより小さくなければ、ステップＳ２９へ移行する。当該小領域が路上落下物に相当する領域であれば、当該小領域の相関値は閾値ａより小さくなり、ステップＳ２７へ移行することになる。
【００５５】
ステップＳ２７において、処理部２は、ステップＳ２３で得た２値化背景差分画像における当該小領域（ステップＳ２４で最新に選択された小領域）が、白画素（現画像の画素と背景画像の画素との差が大きい画素）を含むか否かを、判定する。白画素を含む場合は、処理部２は、当該小領域を一次候補小領域（路上落下物の一次的な候補となる小領域）であると判別した（ステップＳ２８）後に、ステップＳ２９へ移行する。一方、ステップＳ２８において白画素を含まないと判定されると、処理部２は、当該小領域を一次候補小領域であると判別することなく、ステップＳ２９へ移行する。
【００５６】
ステップＳ２９において、処理部２は、既に説明したようにして予め設定された複数の小領域の全てについてステップＳ２４の選択が終了した否かを判定し、終了していなければステップＳ２４へ戻り、終了していればステップＳ３０へ移行する。
【００５７】
本実施の形態のように、一次候補小領域の判別に際して、ステップＳ２２，Ｓ２３の処理を行い、ステップＳ２７でＹＥＳの場合にのみ当該小領域を一次候補小領域であると判別することが、一次候補小領域の抽出の精度をより高めるために好ましい。しかしながら、本発明では、ステップＳ２２，Ｓ２３，２７を除去してステップＳ２１の後に直ちにステップＳ２４へ移行し、ステップＳ２６でＹＥＳの場合にステップＳ２８へ移行してもよい。
【００５８】
ステップＳ３０において、処理部２は、既に説明したようにして予め設定された複数の小領域のうち、当該ステップＳ３０で今回未だ選択されていない１つの小領域を選択する。
【００５９】
次に、処理部２は、ステップＳ３０で最新に選択された小領域がステップＳ２８で一次候補小領域であると判別されたものか否かを、判定する（ステップＳ３１）。当該小領域が一次候補小領域でなければ、処理部２は、当該小領域に関連づけられたカウント値をゼロにリセットし（ステップＳ３２）、ステップＳ３６へ移行する。一方、当該小領域が一次候補小領域であれば、処理部２は、当該小領域に関連づけられたカウント値を１だけインクリメントし（ステップＳ３３）、ステップＳ３４へ移行する。
【００６０】
ステップＳ３４において、処理部２は、当該小領域のカウント値が閾値ｂ以上であるか否かを判定する。閾値ｂ以上であれば、処理部２は、当該小領域を二次候補小領域であると判別し（ステップＳ３５）、ステップＳ３６へ移行する。
【００６１】
ステップＳ３１〜Ｓ３５によって、ステップＳ２１でサンプリングされたｂ枚の連続する画像の全てについて、ある小領域が一次候補小領域となった場合に、初めて、当該小領域が二次候補小領域であると判別されることになる。路上落下物は静止物体であるので、当該小領域が路上落下物に相当する領域であれば、やがて当該領域は二次候補小領域と判別されることになる。
【００６２】
本発明では、ステップＳ３２において、当該小領域に関連づけられたカウント値をゼロにリセットする代わりに、当該小領域に関連づけられたカウント値を、ゼロを最小値として１だけデクリメントしてもよい。この場合には、路上落下物が自動車の陰に隠れて見え隠れするような事態が頻繁に起きても、より迅速に二次候補小領域が判別されるため、より迅速に路上落下物を検出することができる。
【００６３】
ステップＳ３６において、処理部２は、既に説明したようにして予め設定された複数の小領域の全てについてステップＳ３０の選択が終了した否かを判定し、終了していなければステップＳ３０へ戻り、終了していればステップＳ３７へ移行する。
【００６４】
ステップＳ３７において、処理部２は、ステップＳ３５で二次候補小領域であると判別された小領域についてラベリング処理を行う。これによるラベリング領域（ラベル付けされた領域）には、隣接する複数の二次候補小領域が存在する場合のそれらの連結領域と、他の隣接しない単独の二次候補小領域がある場合のその単独の二次候補小領域とが含まれることになる。
【００６５】
次に、処理部２は、ステップＳ３７でラベル付けされた各領域（各ラベリング領域）についてその大きさが所定大きさ以上であるか否かを判定し、所定大きさ以上のラベリング領域のみをそれぞれ落下物候補領域として判別する（ステップＳ３８）。小領域の大きさを比較的小さく設定した場合には、本実施の形態のように、ラベリング領域の大きさで落下物候補領域を選別することが好ましい。もっとも、処理部２は、ステップＳ３８を行う代わりに、ラベリング領域の大きさに拘わらず、全てのラベリング領域をそれぞれ落下物候補領域として判別してもよい。特に、小領域の大きさを比較的大きく設定した場合などには、ラベリング領域の大きさで落下物候補領域を選別しなくても、落下物候補領域の選別精度が落ちるようなことはない。
【００６６】
ここで、背景画像が図２に示す画像であるとともに、各ループにおけるステップＳ２１でのサンプリング画像が、図２に示す画像からある時点で図３に示す画像となり、その後も繰り返して図３に示す画像となる場合を例に挙げて、説明する。サンプリング画像が最初に図３に示す画像となったループのステップＳ３３で、図１０（ａ）に示すように、４つの小領域のカウント値が１となる。その後、サンプリング画像が最初に図３に示す画像となってからｎ回目のループのステップＳ３３で、図１０（ｂ）に示すように、前記４つの小領域のカウント値がｎとなる。そして、サンプリング画像が最初に図３に示す画像となってからｂ回目のループのステップＳ３３で、前記４つの小領域のカウント値がｂとなると、ステップＳ３５でこれらの４つの小領域がそれぞれ二次候補小領域と判別され、図１０（ｃ）に示すように、これらの４つの小領域がステップＳ３７でラベリングされて４つの小領域分の連結領域（図１０（ｃ）のハッチング領域）、この１つの連結領域が所定大きさ以上であれば、ステップＳ３８で落下物候補領域として判別される。
【００６７】
ステップＳ３９以降の処理は、このようにして得られる落下物候補領域に関して行われる。なお、ステップＳ３８で判別される落下物候補領域が１つに限られるものでないことは、言うまでもない。
【００６８】
なお、本発明では、ステップＳ３７及びＳ３８を除去して、ステップＳ３６でＹＥＳの場合には、ステップＳ３５で判別された各二次候補小領域をそのまま落下物候補領域として判別し、この落下物候補領域に関してステップＳ３９以降の処理を行ってもよい。
【００６９】
ステップＳ３８が終了すると、処理部２は、最新のステップＳ３８で落下物候補領域として判別されたラベリング領域があるか否かを判定する（ステップＳ３９）。最新のステップＳ３８で判別された落下物候補領域がない場合は、ステップＳ４の処理を終了してステップＳ５へ移行する。一方、最新のステップＳ３８で判別された落下物候補領域がある場合は、処理部２は、最新のステップＳ３８で判別された落下物候補領域のうち、今回未だステップＳ３９で選択されていない１つの落下物候補領域を選択する（ステップＳ４０）。
【００７０】
次に、処理部２は、ステップＳ３９で選択された落下物候補領域について、当該落下物候補領域が検出処理対象として、既に、処理部２の内部メモリ（図示せず）に登録されているか否かを判定する（ステップＳ４１）。既に登録されていれば、ステップＳ４３へ移行する。一方、未登録であれば、処理部２は、ステップＳ３９で選択された落下物候補領域を前記メモリに検出処理対象として登録し（ステップＳ４２）、ステップＳ４３へ移行する。なお、ステップＳ３９で選択された落下物候補領域が既に登録されている落下物候補領域と完全に同一でなければ、両者の領域の一部が重複していても、ステップＳ３９で選択された落下物候補領域は、ステップＳ４２で検出処理対象として登録される。一旦検出処理対象として登録された落下物候補領域は、後述するステップＳ５５で削除されない限り、検出処理対象として登録され続ける。
【００７１】
ステップＳ４３において、処理部２は、最新のステップＳ３８で判別された落下物候補領域の全てについてステップＳ４０の選択が終了した否かを判定し、終了していなければステップＳ４０へ戻り、終了していればステップＳ４の処理を終了してステップＳ５へ移行する。
【００７２】
次に、ステップＳ５の落下物候補領域の追跡・落下物判定処理の詳細について、図８を参照して説明する。
【００７３】
ステップＳ４の処理が終了すると、処理部２は、その内部メモリに、現在、落下物候補領域が検出処理対象として登録されているか否かを判定する（ステップＳ５１）。登録されていなければ、ステップＳ５の処理を終了してステップＳ６へ移行する。一方、登録されていれば、ステップＳ５２へ移行する。
【００７４】
ステップＳ５２において、処理部２は、その内部メモリに検出処理対象として現在登録されている落下物候補領域のうち、当該ステップＳ５２で未だ今回選択されていない１つの落下物候補領域を選択する。
【００７５】
次に、処理部２は、ステップＳ５２で選択された落下物候補領域ついて、現画像と背景画像との間の相関値を算出する（ステップＳ５３）。次いで、処理部２は、ステップＳ５３で算出した当該落下物候補領域の相関値が閾値ｃより小さいか否かを判定する（ステップＳ５４）。閾値ｃより小さければ（すなわち、現画像の当該落下物候補領域と背景画像の当該落下物候補領域との相関性が所定程度より低ければ）、ステップＳ５７へ移行し、一方、閾値ｃより小さくなければ、ステップＳ５５へ移行する。当該落下物候補領域が路上落下物に相当する領域であれば、当該落下物候補領域の相関値は閾値ｃより小さくなり、ステップＳ５７へ移行することになる。
【００７６】
本実施の形態のように、ステップＳ５３，Ｓ５４の処理を行うことが、路上落下物の検出精度をより高めるために好ましい。しかしながら、本発明では、ステップＳ５３，５４を除去してステップＳ５２の後に直ちにステップＳ５７へ移行してもよい。
【００７７】
ステップＳ５５において、処理部２は、当該落下物候補領域（ステップＳ５２で最新に選択された落下物候補領域）の検出処理対象としての登録を、内部メモリから削除し、ステップＳ５６へ移行する。なお、ステップＳ５５において、当該落下物候補領域の検出処理対象としての登録を削除するだけでなく、ステップＳ３２と同様に、当該落下物候補領域に相当する小領域に関連づけられているカウント値をリセット又はデクリメントしてもよい。
【００７８】
ステップＳ５７において、処理部２は、当該落下物候補領域（ステップＳ５２で最新に選択された落下物候補領域）について、現画像と前回ステップＳ２１でサンプリングされた画像との間（ただし、１ループ目のステップ５７では、現画像とステップＳ３でサンプリングされた画像との間）の相関値を算出する。次いで、処理部２は、ステップＳ５７で算出した相関値が閾値ｄより大きいか否かを判定する（ステップＳ５８）。閾値ｄより大きければ（すなわち、現画像の当該落下物候補領域と前回ステップＳ２１でサンプリングされた画像（ただし、１ループ目では、ステップＳ３でサンプリングされた画像）の当該落下物候補領域との間の相関性が所定の程度より大きければ）、ステップＳ５９へ移行し、一方、閾値ｄより大きくなければ、ステップＳ５５へ移行する。当該落下物候補領域がが路上落下物に相当する領域であれば、当該落下物候補領域の相関値は閾値ｄより大きくなり、ステップＳ５９へ移行することになる。
【００７９】
ステップＳ５９において、処理部２は、当該落下物候補領域（ステップＳ５２で最新に選択された落下物候補領域）に関連づけられた存在時間カウント値を、１だけインクリメントする。存在時間カウント値は、ステップＳ４１で落下物候補領域が検出処理対象が登録される際に、ゼロに初期設定されて当該落下物候補領域に関連づけて、処理部２の内部メモリに記憶されている。したがって、存在時間カウント値は、これに関連づけられた落下物候補領域が検出処理対象として登録されている時間に対応している。
【００８０】
次に、処理部２は、当該落下物候補領域（ステップＳ５２で最新に選択された落下物候補領域）に関連づけられた存在時間カウント値が閾値ｅ以上であるか否かを判定する（ステップＳ６０）。すなわち、処理部２は、当該落下物候補領域が検出処理対象として登録されている時間が所定時間以上であるか否かを判定する。閾値ｅ以上でなければステップＳ５６へ移行する。一方、閾値ｅ以上であれば、処理部２は、路上落下物が存在すると判定し、落下物検出信号を出力し、全ての処理を終了する。当該落下物候補領域が路上落下物に相当する領域であれば、当該落下物候補領域の存在時間カウント値はやがて閾値以上となり、ステップＳ６１へ移行することになる。
【００８１】
なお、ステップＳ４１で落下物候補領域が検出処理対象が登録される際に、当該落下物候補領域と関連づけてその登録時刻を記憶し、ステップＳ５９を削除して、ステップＳ５８でＹＥＳの場合に、ステップＳ６０において、当該落下物候補領域の登録時刻と現在時刻とを比較することで当該落下物候補領域の登録されている時間を求め、その時間が所定時間以上であるか否かを判定してもよい。
【００８２】
ステップＳ５６において、処理部２は、検出処理対象として現在登録されている全ての落下物候補領域の全てについてステップＳ５２の選択が終了したか否かを判定し、終了していなければステップＳ５２へ戻り、終了していればステップＳ５の処理を終了してステップＳ６へ移行する。
【００８３】
次に、ステップＳ６の背景画像の更新処理の詳細について、図９を参照して説明する。
【００８４】
ステップＳ５からステップＳ６へ移行すると、まず、処理部２は、背景更新条件を満たしているか否かを判定する（ステップＳ７１）。背景更新条件を満たしていなければ、背景画像を更新することなくステップＳ４へ戻り、満たしていれば、背景画像を更新した（ステップＳ７２）後にステップＳ４へ戻る。ステップＳ７２の背景画像の更新は、例えば、現画像をｇ（ｔ）とするとともに現在の背景画像をｆ（ｔ−１）として前述した数１に従って画像ｆ（ｔ）を算出し、この画像ｆ（ｔ）を更新後の背景画像とすることによって、行うことができる。
【００８５】
ここで、背景更新条件としては、例えば、下記の（ａ）〜（ｆ）の条件のうちの任意の１つ以上の条件の組み合わせとすることができる。また、下記の（ｆ）の条件を満たす場合には、（ａ）〜（ｅ）の条件を満たすか否かに拘わらずに、強制的に背景画像を更新するようにしてもよい。このとき、背景更新処理として、新たに背景画像を作成し直すこととし、ステップＳ２と同じ処理を行ってもよい。
【００８６】
（ａ）外部から停止車両の検知信号を受けることとし、当該検知信号を受けていないこと。
【００８７】
（ｂ）外部から渋滞情報を受けることとし、当該渋滞情報を受けていないこと。
【００８８】
（ｃ）最新にステップＳ２５で算出された各小領域についての現画像と背景画像との間の相関値に基づいて、これらの相関値の平均値及び分散値のうちの少なくとも一方を算出することとし、前記平均値が所定値よりも大きいか、前記分散値が所定値よりも小さいか、あるいは、前記平均値が所定値よりも大きくかつ前記分散値が所定値よりも小さいこと。前記平均値が大きいければ、渋滞などが発生していないと推測できることが判明した。また、前記分散値が小さければ、渋滞などが発生していないと推測できることが判明した。
【００８９】
（ｄ）現在、検出処理対象として落下物候補領域が登録されていないこと。
【００９０】
（ｅ）最新にステップＳ３７でラベル付けされた領域の大きさが所定値以下であること。
【００９１】
（ｆ）監視領域がトンネル内の領域である場合において、トンネル内の照明モードを示す信号を受けることとし、照明モードが変更されたこと。
【００９２】
本実施の形態では、小領域ごとに求めたサンプリング画像と背景画像との間の相関値（ステップＳ２５）に基づいて路上落下物候補領域（ステップＳ３８）を得、この落下物候補領域のうち現画像と前回のサンプリング画像との間の相関値が所定値より大きいもの（ステップＳ５８）について検出処理対象とし、当該検出処理対象の落下物候補領域が所定時間以上存在する場合に路上落下物が存在すると判定している（ステップＳ６０，Ｓ６１）。このように、本実施の形態によれば、小領域ごとのサンプリング画像と背景画像との相関による路上落下物候補領域の抽出と、現画像と前回のサンプリング画像との間の相関による路上落下物候補領域の絞り込みとの、いわば２段階の選抜を経た領域に関して、時間的に継続して存在するという条件下で、路上落下物を検出している。したがって、本実施の形態によれば、前記従来の路上落下物検出装置に比べて、より高い精度で路上落下物を検出することができる。
【００９３】
また、本実施の形態では、路上落下物候補領域の抽出の際の相関値演算（ステップＳ２５）は小領域ごとに行うので、その演算量は全領域について一括して行う場合に比べて少なくてすむ。さらに、路上落下物候補領域の絞り込みの際の相関値演算（ステップＳ５３，Ｓ５７）は路上落下物候補領域についてのみ行うので、その演算量も少なくてすむ。したがって、本実施の形態によれば、全体的に見ても、演算量は比較的少なくてすむ。
【００９４】
以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限定されるものではない。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、比較的少ない演算量ですむとともに、より高い精度で路上落下物を検出することができる路上落下物検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による路上落下物検出装置を示す概略ブロック図である。
【図２】撮像された画像の例を模式的に示す概略図である。
【図３】撮像された画像の他の例を模式的に示す概略図である。
【図４】図１に示す路上落下物検出装置の動作の全体を示す概略フローチャートである。
【図５】図４中のステップＳ２の詳細を示す概略フローチャートである。
【図６】図４中のステップＳ４の一部の詳細を示す概略フローチャートである。
【図７】図４中のステップＳ４の残りの部分の詳細を示す概略フローチャートである。
【図８】図４中のステップＳ５の詳細を示す概略フローチャートである。
【図９】図４中のステップＳ６の詳細を示す概略フローチャートである。
【図１０】図１に示す路上落下物検出装置の所定の処理過程を模式的に示す説明図である。
【符号の説明】
１テレビカメラ
２処理部
３画像メモリ

Claims

路上領域を含む監視領域を撮像する撮像手段と、
前記監視領域に応じた画像領域を分割した複数の小領域の各々について、前記撮像手段から時間経過に従って得られ順次サンプリングされる画像と背景画像との間の相関値を得る第１の相関値演算手段と、
最新にサンプリングされた前記画像である現画像及び過去にサンプリングされた前記画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像に関連して路上落下物の候補となる路上落下物候補領域を得る路上落下物候補領域取得手段と、
前記現画像に関連して得られた前記路上落下物候補領域を検出処理対象として登録する手段と、
前記検出処理対象として現在登録されている前記路上落下物候補領域について、前記現画像と前回サンプリングされた前記画像との間の相関値を得る第２の相関値演算手段と、
前記第２の相関値演算手段により得られた前記相関値が所定値以下である前記路上落下物候補領域を、前記検出処理対象としての登録から削除する手段と、
前記検出処理対象として現在登録されている前記落下物候補領域のうちの少なくとも１つの領域の、前記検出処理対象として登録されている時間に応じた値が、所定時間以上であることを示す場合に、前記路上落下物が存在すると判定する判定手段と、
を備えたことを特徴とする路上落下物検出装置。
前記路上落下物候補領域取得手段は、（ａ）前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像について前記複数の小領域の各々が、前記路上落下物の一次的な候補となる小領域である一次候補小領域か否かを判定する一次候補小領域判定手段と、（ｂ）前記複数の小領域の各々に関連づけられたカウント値のうち、前記現画像について前記一次候補小領域であると判定された小領域に関連づけられたカウント値を、インクリメントするインクリメント手段と、（ｃ）前記複数の小領域の各々に関連づけられた前記カウント値のうち、前記現画像について前記一次候補小領域でないと判定された小領域に関連づけられたカウント値を、リセットするリセット手段と、（ｄ）前記インクリメント手段によるインクリメントの後に、前記複数の小領域のうち、関連づけられた前記カウント値が所定値以上の小領域である二次候補小領域を判別する二次候補小領域判別手段と、を有することを特徴とする請求項１記載の路上落下物検出装置。
前記路上落下物候補領域取得手段は、（ａ）前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値に基づいて、前記現画像について前記複数の小領域の各々が、前記路上落下物の一次的な候補となる小領域である一次候補小領域か否かを判定する一次候補小領域判定手段と、（ｂ）前記複数の小領域の各々に関連づけられたカウント値のうち、前記現画像について前記一次候補小領域であると判定された小領域に関連づけられたカウント値を、インクリメントするインクリメント手段と、（ｃ）前記複数の小領域の各々に関連づけられた前記カウント値のうち、前記現画像について前記一次候補小領域でないと判定された小領域に関連づけられたカウント値を、デクリメントするデクリメント手段と、（ｄ）前記インクリメント手段によるインクリメントの後に、前記複数の小領域のうち、関連づけられた前記カウント値が所定値以上の小領域である二次候補小領域を判別する二次候補小領域判別手段と、を有することを特徴とする請求項１記載の路上落下物検出装置。
前記一次候補小領域判定手段は、前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値が所定値以上であるか否かを判定する相関値判定手段を有し、前記相関値判定手段により前記相関値が前記所定値以上であると判定された小領域を前記一次候補小領域であると判定することを特徴とする請求項２又は３記載の路上落下物検出装置。
前記一次候補小領域判定手段は、前記現画像について前記第１の相関値演算手段により得られた前記各小領域の前記相関値が所定値以上であるか否かを判定する相関値判定手段と、前記現画像と前記背景画像との差分画像を得る手段と、を有し、前記相関値判定手段により前記相関値が前記所定値以上であると判定された小領域のうち、前記差分画像において差分値が所定値以上である画素を含む小領域を、前記一次候補小領域であると判定することを特徴とする請求項２又は３記載の路上落下物検出装置。
前記路上落下物候補領域取得手段は、前記二次候補小領域をラベリングするラベリング手段を有し、前記ラベリングされた領域を前記路上落下物候補領域として得ることを特徴とする請求項２乃至５のいずれかに記載の路上落下物検出装置。
前記路上落下物候補領域取得手段は、前記二次候補小領域をラベリングするラベリング手段と、前記ラベリングされた領域の大きさが所定大きさ以上であるか否かを判定する大きさ判定手段とを有し、前記大きさ判定手段により前記所定大きさ以上であると判定されたラベリング領域を、前記路上落下物候補領域として得ることを特徴とする請求項２乃至５のいずれかに記載の路上落下物検出装置。
前記検出処理対象として現在登録されている前記路上落下物候補領域について、前記現画像と前記背景画像との間の相関値を得る第３の相関値演算手段と、
前記第３の相関値演算手段により得られた前記相関値が所定値以上である前記路上落下物候補領域を、前記検出処理対象としての登録から削除する手段と、
を備えたことを特徴とする請求項６又は７記載の路上落下物検出装置。
前記路上落下物候補領域取得手段は、前記二次候補小領域を前記路上落下物候補領域として得ることを特徴とする請求項２乃至５のいずれかに記載の路上落下物検出装置。
サンプリングされた前記画像に基づいて、所定条件下で前記背景画像を更新する更新手段を備えたことを特徴とする請求項１乃至９のいずれかに記載の路上落下物検出装置。