JP2004072415A

JP2004072415A - 侵入物検出装置

Info

Publication number: JP2004072415A
Application number: JP2002228996A
Authority: JP
Inventors: Norifumi Shibayama; 柴山　憲文
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-08-06
Filing date: 2002-08-06
Publication date: 2004-03-04

Abstract

【課題】入射光量を調整するための特別なハードウエアを用いることなくハレーションの影響を排除し、侵入物を正確に検出する。
【解決手段】画像の１フレーム分から侵入物の候補領域を抽出し（Ｓ１）、各侵入物候補のそれぞれについて、ハレーションを含むか否かの判定を行い、「ハレーション候補リストＬＨ」と「侵入物リストＬ１」とに分類する（Ｓ２）。そして、ハレーション候補領域が１個以上有る場合には、電子シャッタの指示値を現在の値よりも一定量だけ高速化した値に変更し（Ｓ３，Ｓ５）、次の１フレーム分の画像について、画像中の処理対象領域をハレーション候補領域の内部に限定して侵入物検出処理を行う（Ｓ６）ことで、ハレーションの影響を排除して侵入物を正確に検出する。
【選択図】　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像を用いて視野内に侵入した物体を検出する侵入物検出装置に関し、詳しくは、ハレーションの影響を排除して誤検出を防止する侵入物検出装置に関する。
【０００２】
【従来の技術】
画像認識技術の応用の一つとして、カメラの視野内に侵入した物体を検出する侵入物検出装置がある。この侵入物検出装置では、監視領域をカメラで撮像する関係上、高輝度の対象がカメラの画角内に存在すると、光学系内で光が乱反射して像の鮮明度が低下したり、反射光により多重露光される、いわゆるハレーションが発生する可能性があり、ハレーション領域全体を物体として誤検出する虞がある。
【０００３】
例えば、夜間、踏切に侵入する自動車の位置及び大きさを検出しようとする場合、自動車のヘッドライトからの光がカメラの視野内に入ると、ハレーションが発生し、このハレーションの広がり全体を物体として誤検出する可能性があり、自動車の真の位置・大きさを検知することが困難となる。
【０００４】
このような高輝度の対象がカメラの画角内に存在する望ましくない撮影条件に対処する技術としては、例えば、特開平９−２１４８２７号公報に開示されている技術がある。この先行技術では、ＣＣＤ（電荷結合素子）を撮像素子として用いたカメラのレンズ前方に、液晶板からなる光量調節手段を設けており、ＣＣＤの輝度に応じて制御信号を液晶板に与えて駆動し、光の透過率を変化させることにより、カメラの画角内に存在する高輝度の対象から入射する過剰な光をマスキングしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述の先行技術では、過剰な入射光によるハレーションの影響を排除するためには、通常のカメラの構成に加えて光の透過率を調整する液晶板等の特別なハードウエアが必要であり、コスト上昇の原因となる。
【０００６】
本発明は上記事情に鑑みてなされたもので、特別なハードウエアを用いることなく（一般的なカメラが具備するハードウエアのみで）ハレーションの影響を排除し、視野内に侵入する物体を正確に検出することのできる侵入物検出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、撮像手段で撮像した撮像画像を用いて視野内に侵入した物体を侵入物として検出する侵入物検出装置において、上記撮像画像より侵入物の候補となる複数の領域を侵入物候補領域として抽出する手段と、上記侵入物候補領域がハレーションを含むか否かを判断し、ハレーションを含むハレーション候補リストと、ハレーションを含まない侵入物リストとに分類する手段と、上記ハレーション候補リストに分類される領域が存在する場合、上記撮像手段のシャッタ速度を高速側に変更する手段と、上記撮像手段のシャッタ速度を高速側に変更した後の撮像画像から上記侵入物候補領域を再抽出する手段とを備えたことを特徴とする。
【０００８】
すなわち、本発明は、侵入物の候補となる複数の領域を侵入物候補領域として撮像画像から抽出し、抽出した侵入物候補領域がハレーションを含むか否かを判断し、ハレーションを含むハレーション候補リストと、ハレーションを含まない侵入物リストとに分類する。そして、ハレーション候補リストに分類される領域が存在する場合には、撮像手段のシャッタ速度を高速側に変更して撮像し、その撮像画像から侵入物候補領域を再抽出することで、入射光量を調整するための特別なハードウエアを要することなくハレーションによる影響を排除して侵入物を正確に検出する。
【０００９】
その際、撮像手段のシャッタ速度を高速側に変更する前のハレーション候補リストの領域を対象として侵入物候補領域の再抽出を行い、再抽出した侵入物候補領域から得られる侵入物リストと、撮像手段のシャッタ速度を高速側に変更する前の侵入物リストとを用いて侵入物を検出することが望ましく、撮像手段は、固体撮像素子を用いた電子シャッタ機能を有するものが望ましい。
【００１０】
また、ハレーションを含むか否かの判断は、侵入物候補領域のうち、領域中で輝度飽和に達している画素が所定以上の割合で、輝度飽和している部分が被写体によって定まる形状を成し、且つ領域の外周方向に向かって緩やかに輝度が減少している場合、該当する領域はハレーションを含むと判断することが望ましく、自動車のヘッドライト等のライト光によるハレーションである場合には、輝度飽和している部分を略楕円形若しくは円形とすることで、ハレーションを正確に判断することができる。
【００１１】
更に、侵入物候補領域は、以前に記憶した侵入物を含まない画像と現在の画像とを比較して輝度差が閾値以上の画素の集合として抽出することが望ましい。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図４は本発明の実施の一形態に係わり、図１は侵入物検出装置のブロック図、図２は侵入物検出処理のフローチャート、図３はハレーション候補領域の輝度変化を示す説明図、図４はハレーション候補領域の他の検出法を示す説明図である。
【００１３】
図１は、カメラから得られる動画像を用いて視野内に侵入した物体（侵入物）を検出する侵入物検出装置を示し、この侵入物検出装置は、監視対象領域を撮像するためのカメラ１、カメラ１で撮像した画像信号を比例増幅するアンプ２、アンプ２で比例増幅したアナログ画像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像信号に変換するＡ／Ｄ変換器３、アンプ２の固有ゲインの補正等を行なう補正回路４、この補正回路４を経たデジタル画像をストアする画像データメモリ５、画像データメモリ５にストアされた画像を用いて各種画像処理・画像認識を行い、侵入物を検出する画像処理装置６を備えて構成される。
【００１４】
カメラ１は、本形態においては、撮像素子として固体撮像素子であるＣＣＤ（電荷結合素子）を用いたカメラ（カラー或いはモノクロカメラ）であり、ＣＣＤの露光時間すなわちＣＣＤの電子シャッタ速度が、画像処理装置６から出力される電子シャッタ指示値によって可変される。画像処理装置６はマイクロコンピュータを中心として構成され、ソフトウエア処理によって実現される侵入物検知部６ａにおいて、カメラ１で撮像した動画像から侵入物を検出する。
【００１５】
この侵入物検出処理では、ハレーションが発生していると判断されるときには、電子シャッタ速度を高速化して入射光量を減らし、ハレーションを抑制して誤検出を排除するようしている。以下、画像処理装置６における侵入物検出処理について、図２のフローチャートを用いて説明する。
【００１６】
この処理は、カメラ１で撮像した動画像の１フレーム毎に繰返し実行され、先ず、ステップＳ１において、動画像の現在の１フレーム分の画像全体を処理し、画像中に侵入してきた物体（侵入物）である可能性が高い領域、すなわち侵入物の候補となる領域を抽出する。この侵入物候補領域の抽出処理としては、既知の技術、例えば背景差分法による領域抽出の技術を採用することができる。背景差分法による領域抽出では、過去の侵入物を含まない画像をメモリ上に記憶しておき、現フレームの画像との間で画素毎の輝度を比較し、輝度の差の絶対値が所定の閾値以上である画素の集合を、侵入物の候補となる領域として抽出する。
【００１７】
この処理により、画像中から０〜複数個の領域が抽出されるが、これらは、真の侵入物を表す領域と、画像内に侵入した光源によるハレーション領域との両方を含んでいる。従って、これらの領域を侵入物候補としてリストを作成する。そして、侵入物候補リストを作成した後、ステップＳ２へ進み、各侵入物候補のそれぞれについて、ハレーションを含むか否かの判定を行い、「ハレーション候補リストＬＨ」と「侵入物リストＬ１」との２種類に分類する。
【００１８】
この分類は、侵入物候補領域の領域内及び近傍の画像データを参照し、以下の（１）〜（３）の条件を全て満足する場合には、その領域を「ハレーション候補リストＬＨ」に分類し、そうでない領域は「侵入物リストＬ１」に分類する。
【００１９】
（１）領域中の過半数の画素が輝度飽和している（グレースケールでは、輝度値＝２５５）。
【００２０】
（２）輝度飽和している部分が被写体によって定まる形状を成している。
【００２１】
（３）領域が外周方向に向かって緩やかに輝度が減少している。
【００２２】
ここで、（２）の条件において輝度飽和部分の形状は、自動車を検出対象とする場合には、ヘッドライトやその他のライトが画面上において略楕円形（若しくは円形）として現れることから、略楕円形（若しくは円形）とする。この形状検出は、以下の（ａ），（ｂ）の処理によって行う。
【００２３】
（ａ）輝度値が飽和している（輝度値＝２５５）画素のうち、外周側に隣接する画素の輝度値が飽和していない（輝度値＜２５５）ものを検出することで、輝度飽和している部分の外周を検出する。
【００２４】
（ｂ）輝度飽和部分の形状は、外周（輪郭）を形成する画素の位置情報をハフ変換することで形状が楕円（若しくは円形）であるか否かを判断する。
【００２５】
輝度飽和部分の形状を検出した後は、例えば、図３に示すように、Ｘ軸又はＹ軸方向の輝度減少の傾きｍが設定値以下であるか否かを調べることにより（３）の条件が成立するか否かを判断する。この場合、輝度減少の度合いを調べる方向は、Ｘ軸又はＹ軸方向に限定されるものではなく、図４に示すように、Ｘ，Ｙ軸間の所定のＡ方向或いはＢ方向における輝度減少が設定値以下であるか否かを調べることにより、（３）の条件を判断しても良い。
【００２６】
次に、ステップＳ２に続くステップＳ３では、「ハレーション候補リストＬＨ」の領域数が１個以上か否かを調べ、その結果に応じて分岐処理を行う。すなわち、ハレーション候補領域が０個である場合には、ステップＳ３からステップＳ４へ分岐して「侵入物リストＬ１」の全てのデータを出力し、カメラ１に対する電子シャッタの指示値を変更せずにルーチンを抜け、次フレームの処理に移行する。
【００２７】
一方、ハレーション候補領域が１個以上有る場合には、ステップＳ３からステップＳ５へ分岐し、電子シャッタの指示値を、現在の値よりも一定量だけ高速化した値に変更してカメラ１に出力する。そして、ステップＳ６へ進み、カメラ１の電子シャッタを高速化して撮像した次の１フレーム分の画像について、前述のステップＳ１と同様の処理を行う。但し、この場合の画像中の処理対象領域は、ハレーション候補領域の内部のみとする。
【００２８】
次に、ステップＳ７へ進み、ステップＳ６で抽出した領域を「侵入物リストＬ２」として、前のフレームの画像から抽出した「侵入物リストＬ１」に加えて出力する。これは、電子シャッタ速度を高速化して入射光量を減らした場合、黒く潰れてしまうような暗い侵入物を光量減少前の画像を用いて検知対象とするためである。その後、ステップＳ７からステップＳ８へ進み、電子シャッタ指示値をステップＳ５での高速化以前の値に復旧させてルーチンを抜け、次フレームの処理に移行する。
【００２９】
このように、本実施の形態では、ハレーションが発生している場合には、ＣＣＤカメラに一般的に備えられている電子シャッタを用いて入射光量を減少させるため、液晶板からなる光量調節手段等の特別な光量調整用のハードウエアを要することなくハレーションの影響を排除し、安価な構成で正確に侵入物を検出することができる。
【００３０】
しかも、ハレーションを検知して電子シャッタを高速化し、入射光量を減少させた場合においても、電子シャッタを高速化する以前の画像から得られた侵入物候補リストと合わせて侵入物を検出するため、暗い侵入物を見失うこともなく、検出精度を向上することができる。
【００３１】
また、ハレーションの有無を判断する領域を、侵入物の候補領域に限定しているため、それ以外の領域で生じているハレーション、例えば、検知対象外の背景の照明等によるハレーションを検知して光量を絞ってしまうことがなく、本来検出すべき暗い侵入物を見失ってしまうこがない。
【００３２】
【発明の効果】
以上説明したように本発明によれば、特別なハードウエアを用いることなく（一般的なカメラが具備するハードウエアのみで）ハレーションの影響を排除し、視野内に侵入する物体を正確に検出することができる。
【図面の簡単な説明】
【図１】侵入物検出装置のブロック図
【図２】侵入物検出処理のフローチャート
【図３】ハレーション候補領域の輝度変化を示す説明図
【図４】ハレーション候補領域の他の検出法を示す説明図
【符号の説明】
１　カメラ
５　画像データメモリ
６　画像処理装置
ＣＣＤ　電荷結合素子（固体撮像素子）
ＬＨ　ハレーション候補リスト
Ｌ１，Ｌ２　侵入物リスト

Claims

撮像手段で撮像した撮像画像を用いて視野内に侵入した物体を侵入物として検出する侵入物検出装置において、
上記撮像画像より侵入物の候補となる複数の領域を侵入物候補領域として抽出する手段と、
上記侵入物候補領域がハレーションを含むか否かを判断し、ハレーションを含むハレーション候補リストと、ハレーションを含まない侵入物リストとに分類する手段と、
上記ハレーション候補リストに分類される領域が存在する場合、上記撮像手段のシャッタ速度を高速側に変更する手段と、
上記撮像手段のシャッタ速度を高速側に変更した後の撮像画像から上記侵入物候補領域を再抽出する手段とを備えたことを特徴とする侵入物検出装置。
上記撮像手段のシャッタ速度を高速側に変更する前のハレーション候補リストの領域を対象として上記侵入物候補領域の再抽出を行い、再抽出した侵入物候補領域から得られる侵入物リストと、上記撮像手段のシャッタ速度を高速側に変更する前の侵入物リストとを用いて侵入物を検出することを特徴とする請求項１記載の侵入物検出装置。
上記撮像手段は、固体撮像素子を用いた電子シャッタ機能を有することを特徴とする請求項１又２記載の侵入物検出装置。
上記侵入物候補領域のうち、領域中で輝度飽和に達している画素が所定以上の割合で、輝度飽和している部分が被写体によって定まる形状を成し、且つ領域の外周方向に向かって緩やかに輝度が減少している場合、該当する領域はハレーションを含むと判断することを特徴とする請求項１、２，３の何れか一に記載の侵入物検出装置。
上記形状を、略楕円形若しくは円形とすることを特徴とする請求項４記載の侵入物検出装置。
上記侵入物候補領域を、以前に記憶した侵入物を含まない画像と現在の画像とを比較して輝度差が閾値以上の画素の集合として抽出することを特徴とする請求項１，２，３，４，５の何れか一に記載の侵入物検出装置。