JP2004094640A - 侵入物検出装置 - Google Patents

Abstract

【課題】背景中に存在する立体物や環境条件の影響を排除し、高精度且つ信頼性高く侵入物を検出する。
【解決手段】起動直後に、固定物体（テーブル）のみが映った侵入物のない左右画像を背景画像として読込み、この背景画像から背景視差を求める。次に、背景画像に対して侵入物がある場合、侵入物（人物）が移動中の動画像が読込まれ、右画像上の画素の輝度と左画像上で背景視差だけずれた画素の輝度との比較結果、右画像から侵入物（人物）の画像だけが切り出される。これにより、背景中に存在する立体物や環境条件の影響を排除し、高精度且つ信頼性高く侵入物を検出することができる。
【選択図】　　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラを用いて視野内に侵入した物体を検出する侵入物検出装置に関する。
【０００２】
【従来の技術】
画像認識技術の応用の一つとして、カメラの視野内に侵入した物体を検出する侵入物検出装置があり、例えば、特開平５−１６８１１号公報には、カメラで撮像した画像から鉄道の踏切道上に侵入した障害物を検出するシステムが開示されており、この従来技術では、２台のカメラで撮像した背景画像の位置合わせをした後、踏切内の物体の有無を一次元フーリエ変換による相関処理を行うことによって判別している。更に、特開平８−３１７３７３号公報や特開平９−２８２５６９号公報には、単眼カメラのモノクロ画像の照度変化を利用して視野内への侵入物を検出する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の先行技術では、位置合わせによるは画像補正を単一の地面平面を基準として行う関係上、地面上の立体物でありながら検出対象物ではない固定物体、例えば、踏切付近の壁、柵、雑草、各種機器などの立体物が視野内に含まれている場合、これを侵入物と誤検出する虞がある。
【０００４】
また、モノクロ画像の照度変化を利用して侵入物を検出する後者の先行技術では、原理上、環境的な照度変動による物体の誤検出や検出ミスを完全に排除することは困難である。
【０００５】
本発明は上記事情に鑑みてなされたもので、背景中に存在する立体物や環境条件の影響を排除し、高精度且つ信頼性高く侵入物を検出することのできる侵入物検出装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ステレオカメラで撮像した基準画像と参照画像とからなる一対の画像を用いて視野内に侵入した物体を侵入物として検出する侵入物検出装置であって、上記基準画像と上記参照画像との間の同一被写体に対する対応位置を求め、求めた対応位置を記憶する手段と、上記基準画像の任意の位置と、この位置から上記記憶した対応位置だけずらした上記参照画像の位置との両者の近傍における画像情報の相違度を評価し、相違度が高い領域を侵入物を表す領域として出力する手段とを備えたことを特徴とする。
【０００７】
その際、基準画像と参照画像との間の同一被写体に対する対応位置は、基準画像と参照画像との間の同一被写体に対する視差とし、画素毎に或いは画像中の特定の大きさ及び形状からなるブロック毎に求めることが望ましい。また、画像情報の相違度は、画像の輝度の差の絶対値として、画素毎に或いは画像中の特定の大きさ及び形状からなるブロック毎に評価することが望ましい。
【０００８】
更に、基準画像と参照画像との間の同一被写体に対する対応位置を記憶する処理は、画面全体を対象として侵入物検出処理に先だって一度だけ実行する、或いは、画像の一部を対象として侵入物検出処理と並行して逐次実行することで対応位置の記憶データを随時更新することが望ましい。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図５は本発明の実施の第１形態に係わり、図１は侵入物検出装置のブロック構成図、図２は侵入物検出処理のフローチャート、図３は左右画像の対応位置の輝度比較を示す説明図、図４は侵入物の画像切り出しを示す説明図、図５は侵入物検出の説明図である。
【００１０】
図１は、カメラの視野内に侵入した物体（侵入物）を検出する侵入物検出装置を示し、監視対象領域を撮像するため、互いに同期が取れた１組のカメラ１ａ，１ｂからなるステレオカメラ１を用いている。ステレオカメラ１には、各カメラ１ａ，１ｂの系統に対応して、各カメラ１ａ，１ｂからの画像信号を比例増幅するアンプ２ａ，２ｂ、アンプ２ａ，２ｂで比例増幅したアナログ画像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像信号に変換するＡ／Ｄ変換器３ａ，３ｂ、アンプ２ａ，２ｂの固有ゲインの補正等を行なう補正回路４ａ，４ｂ、補正回路４ａ，４ｂを経たデジタル画像をストアする画像データメモリ５ａ，５ｂからなる画像データメモリ５、各画像データメモリ５ａ，５ｂにストアされた画像を用いて各種画像処理・画像認識を行い、侵入物を検出する画像処理装置６を備えて構成される。
【００１１】
ステレオカメラ１を構成する２台のカメラ１ａ，１ｂは、本形態においては、撮像素子として固体撮像素子であるＣＣＤ（電荷結合素子）を用いたカメラ（カラー或いはモノクロカメラ）であり、所定の基線長で互いの光軸（撮像面垂直軸）が平行となるよう配置されている。尚、以下の説明では、カメラ１ａ，１ｂを左右水平に配置し、一方のカメラ１ａをステレオマッチング処理における基準画像を撮像する右カメラ、他方のカメラ１ｂをステレオマッチング処理における参照画像を撮像する左カメラ、基準画像を右画像、参照画像を左画像と表現するが、両カメラ１ａ、１ｂを上下方向や斜め方向に配置しても良い。
【００１２】
また、画像処理装置６はマイクロコンピュータを中心として構成されるものであり、ソフトウエア処理によって実現される画像認識処理部６ａを備えている。この画像認識処理部６ａでは、ステレオカメラ１で撮像した左右画像をステレオマッチング処理して左右画像間の対応位置を求め、この対応位置近傍の画像情報の相違に基づいて侵入物を検出する。
【００１３】
以下、画像処理装置６における侵入物検出処理について、図２のフローチャートを用いて説明する。
【００１４】
図２に示す侵入物検出処理は、当初、カメラ視野内に侵入物を含まない状態で起動する。すなわち、起動直後のステップＳ１において、侵入物を含まない左右の背景画像から互いの対応位置を求め、その後のステップＳ２において、この互いの対応位置に基づいて侵入物を含む可能性がある動画像に対して１フレーム毎に侵入物検出処理を行う。
【００１５】
具体的には、先ず、ステップＳ１では、侵入物を含まない左右の各画像を画像データメモリ５から読出し、周知のステレオマッチング処理により、二つの画像間の相関から互いに対応する位置を求める。本形態においては、左右画像の対応関係として、左右画像のエピポーラライン上の一次元探索により右画像上の各位置における視差を求める。
【００１６】
ここでの「視差」とは、右画像の画像平面上の水平座標ｘ，垂直座標ｙなる画素に映っている対象物が、ステレオマッチンにより左画像の画像平面上では座標（ｘ＋ｄ，ｙ）なる画素に映っていると決定されたときの水平方向の画素ずれ量ｄであり、この画素ずれ量ｄは、ｘ座標位置とｙ座標位置とで異なる値を持つため、座標（ｘ，ｙ）の位置の視差はｄ［ｘ，ｙ］であると表現する。
【００１７】
そして、右画像全域について視差を求める処理を行い、求めた視差値ｄ［ｘ，ｙ］をメモリに保存する。以下、このメモリに保存された視差値ｄ［ｘ，ｙ］の配列を、「背景視差」と称し、例えば、右画像のサイズが５１２×２００画素の場合、背景視差も５１２×２００個のデータを有する。
【００１８】
尚、本形態では、右画像の画素に対して左画像上に対応位置が存在しないケースを減らすよう、右カメラ１ｂに対して左カメラ１ｂの画角を広く設定している。また、本形態では、右画像に対する左画像上の視差を求めるものとするが、これは左右逆でも良い。更に、カメラ１ａ，１ｂを上下方向や斜め方向に配置した場合には、それぞれ垂直或いは斜め方向のエピポーラライン上の一次元探索により基準画像と参照画像との間の対応位置を求める。
【００１９】
この場合、背景視差の計算は、上述のように１画素単位で行うこともできるが、比較的メモリの容量の少ない装置の場合は、一定の大きさのブロック単位で行うことが望ましく、データ量を少なくしてメモリ容量の低減を図ることができる。例えば、画像全体を４×４画素の小領域に区切り、１つの小領域に対して１つだけの視差を算出し、小領域毎の視差を背景視差としてメモリに記憶する。小領域毎の視差は、例えば、左右画像の小領域のシティブロック距離を計算することで求めることができ、シティブロック距離が最小となる左右画像の小領域の位置ずれが視差となる。これにより、１画素毎に背景視差を記憶する場合に比較し、記憶するデータ量を小さくすることができ（４×４画素の小領域毎に背景視差を記憶する場合には記憶データ量は１／１６）、必要メモリ容量の低減が可能となる。
【００２０】
次に、背景視差を求めた後は、動画像の１周期毎にステップＳ２の処理を実行する。このステップＳ２の処理では、ステップＳ１で求めた左右画像の対応点近傍の画像情報の相違度を評価し、相違度が高い点の座標を侵入物として出力する。具体的は、画像データメモリ５から現フレームの左右画像を読出し、図３に示すように、右画像の座標（ｘ，ｙ）の画素Ｒ［ｘ，ｙ］の輝度と、左画像上で背景視差ｄだけ水平にずれた画素Ｌ［ｘ＋ｄ［ｘ，ｙ］，ｙ］の輝度とを比較することで、再マッチングを行う。そして、この左右画像の再マッチングにおいて、輝度の差の絶対値が所定の閾値より大きい画素を右画像から抽出する。この画素抽出を右画像上の全座標（ｘ，ｙ）について行い、抽出された画素の座標の集合を、侵入物の検出結果としてフレーム毎に出力する。
【００２１】
すなわち、起動直後にステップＳ１で、図４（ａ）に例示するように、固定物体（テーブル）のみが映った侵入物のない左右画像を背景画像として読込み、この背景画像から背景視差を求める。次に、背景画像に対して侵入物がある場合、図４（ｂ）に示すような、侵入物（人物）の動画像がステップＳ２での処理で読込まれ、右画像上の画素の輝度と左画像上で背景視差だけずれた画素の輝度との比較の結果、図４（ｃ）に示すように、右画像から固定物（テーブル）の前の侵入物（人物）の画像だけが切り出され、侵入物の有無・位置・形状を検知することができる。また、侵入物が実在しない状況においては、前述の「画素の座標の集合」が空集合として出力されることによって、侵入物の不在を検知することができる。
【００２２】
図５は、以上の関係を模式的に示すものであり、背景画像に対して侵入物がない場合には、右画像上の点と背景視差分だけずらした左画像上の点とは実空間上の同じ位置（右画像で背景視差に相当する角度θのＡ点）を映しており、輝度差は生ぜず、侵入物は抽出されない。一方、侵入物があると、右画像上の点と左画像上で背景視差分だけずらした点とが実空間上で別の対象（右画像では侵入物のＢ点、左画像ではＡ点）を映すことになり、左右画像上で各々の対象が偶然にも非常に近い輝度をもっている場合を除いて輝度差が生じ、この輝度差の絶対値が閾値より大きい領域が侵入物の領域として抽出される。図５においては、Ａ点が図４のテーブルに相当し、Ｂ点が図４の人物に相当する。
【００２３】
以上の処理においては、左右画像がカラー画像である場合、右画像の座標（ｘ，ｙ）の画素Ｒ［ｘ，ｙ］と、左画像上で背景視差ｄだけ水平にずれた画素の画素Ｌ［ｘ＋ｄ［ｘ，ｙ］，ｙ］との間で、Ｒ（赤），Ｇ（緑），Ｂ（青）の各原色毎に輝度を比較する。そして、Ｒ，Ｇ，Ｂ各色の輝度の差の絶対値の和が所定の閾値より大きい画素を、侵入物を表す領域として右画像から抽出する。背景視差を求める場合も同様であり、カラー画像では、モノクロ画像よりも情報量が多いことから、画素抽出の信頼性が向上し、侵入物の検出精度をより向上することができる。
【００２４】
また、左右画像の再マッチングは、画素単位ではなくブロック単位で行っても良い。すなわち、右画像から一定の大きさのブロック、例えば４×４画素の小領域を切り出す。更に、この右画像の小領域の原点（左隅の画素）（ｘ，ｙ）に対して背景視差分だけずらした左画像上の画素（ｘ＋ｄ［ｘ，ｙ］，ｙ）を原点として、左画像から４×４画素の小領域を切り出す。但し、視差ｄ［ｘ，ｙ］は、小領域単位の背景視差データから、画素（ｘ，ｙ）が属する小領域の視差を読出したものである。
【００２５】
そして、両小領域内で対応する位置の画素同士の輝度の差の絶対値の和を求め、この和が所定の閾値より大きい小領域を抽出する。この処理を右画像上の全ての小領域について行い、抽出された小領域を侵入物を表す区画リストとして出力する。
【００２６】
このブロック単位の再マッチングでは、画素単位のそれよりも多数の画素を用いた輝度比較を行うためにノイズ等の影響を受けにくくなり、より信頼性の高い物体検知が実現できる。
【００２７】
このように本実施の形態では、ステレオマッチングにより背景視差を求める処理を、起動直後の準備期間に実施するため、処理速度が比較的低速の装置でも対処可能である。すなわち、一般的なステレオマッチング処理では、左右画像の対応点を発見して視差を決定するための探索処理が１画素或いは１ブロック当たり少なくとも数十回もの輝度比較演算を要し、画像全体での演算量が膨大なものとなっていたが、このような処理を起動直後の準備期間に行うことから、比較的低速の装置でも対処可能であり、更には、動画像の１周期当毎に１画素或いは１ブロック当たり１回の輝度比較で視差を求めることで、低速で安価な装置を用いることが可能となる。このことは、逆に、視差を求めるための既知のステレオマッチング処理のうちでも複雑で演算負荷の高い手法を適用することも可能であることを意味し、視差精度の更なる向上を図ることが可能である。
【００２８】
しかも、背景までの視差を画面の部分各々について記憶するため、地面上の固定物体、例えば、壁、柵、樹木等の立体物が視野内に含まれている場合であっても、これらの視差を背景視差として記憶するので、これらの物体を侵入物として誤認識することがなく、適用範囲が広く、且つ信頼性の高い装置とすることができる。
【００２９】
また、ステレオカメラで撮像した２枚の画像間の輝度差を利用して侵入物を検出するため、日照変動等の環境的な照度変化はステレオカメラを構成する２台のカメラに均等に表われ、完全に打ち消される。従って、単眼カメラのモノクロ画像における照度変化を利用して侵入物を検出する場合のように日照変動等の環境的な照度変化の影響を受けることがなく、これらの要因に起因する誤検出や検出漏れを防止して装置の信頼性を向上することができる。
【００３０】
次に、本発明の実施の第２形態について説明する。図６及び図７は本実施の第２形態に係わり、図６は侵入物検出処理のフローチャート、図７は視差探索点の説明図である。
【００３１】
前述の第１形態では、装置の起動時に、予め侵入物を含まない視界を撮像する必要があること、すなわち監視対象領域の状態に依存することから、侵入物検出装置の設置対象に若干の制約があった。これに対し、第２形態では、動作中の自動処理によって不動の物体への視差を背景として記憶してゆくことで、このような制約を解消するものである。
【００３２】
図６のフローチャートに示す第２形態の侵入物検出処理は、カメラ視野内に侵入物が含まれるか否かを問わず、任意の時点において起動可能であり、動画像の１周期毎に実行される。
【００３３】
この処理が起動されると、先ず、ステップＳ１１で、前述の第１形態と同様の視差計算を、右画像の所定の視差計算対象点（視差探索点）Ｐについて行う。点Ｐの座標は、画面全体のラスタスキャンの順序で１フレーム毎に移動させる。起動直後の点Ｐの初期位置は画面の原点であり、本形態においては、画面左下隅として初期化されている。ステップＳ１１で計算した視差は、メモリ内に点Ｐの座標毎の配列データとして記憶される。以下、このステップＳ１１の繰返しにより得られる視差配列データを最新視差配列と称する。
【００３４】
次に、ステップＳ１２へ進み、点Ｐの座標がラスタスキャン順で画像全体をスキャンし終え、画面全体の視差を求め終わったか否か、すなわち現在の点Ｐの位置が画像右上端にあるかどうかを判定する。その結果、点Ｐが画像右上端に達しておらず、画像全体の視差を求め終わっていない場合には、ステップＳ１２からステップＳ１３へ進み、視差探索点Ｐを、ラスタスキャン順に最小単位だけ次の位置に移動させる。すなわち、図７に示すように、現在の視差探索点Ｐの位置が画像右端でなければ右方向に１画素だけ移動させ、これ以外の場合は、すぐ上のラインの左端に移動させる。ステップＳ１３に続くステップＳ１４の処理は、前述の第１形態における侵入物検出処理のステップＳ２と同様であり、左右画像の再マッチングを行って侵入物の領域を抽出する。
【００３５】
その後、視差探索点Ｐの位置が画像右上端に達してステップＳ１１で視差を計算し、画像全体の視差を求め終わった場合には、ステップＳ１２からステップＳ２１へ進む。ステップＳ２１では、ステップＳ１１の繰返しによりメモリ上に生成された最新視差配列と、１フレーム前の旧視差配列（次のステップＳ２２で生成される）とを比較する。
【００３６】
新旧の視差配列は、共に右画面上における各座標点の視差値であり、ある座標点（ｘ，ｙ）において、両配列の視差値が等しい場合、この視差値を点（ｘ，ｙ）における背景視差としてメモリ上に保存し、前フレームまで保存されていた同位置（ｘ，ｙ）の背景視差を更新する。この視差探索点Ｐ毎に視差を求める処理を画面上の全座標について行った結果として、第１形態と同じく背景視差が生成される。
【００３７】
一方、ステップＳ２１において、新旧の両視差配列の比較の結果、視差値が異なっている場合には、視差値が異なる点（ｘ，ｙ）のデータ更新は行わない。尚、ステップＳ２１が初めて実行されるときには、旧視差配列は未だ生成されていないため、最新視差配列と旧視差配列との比較を行うことなく、次のステップＳ２２へ進む。
【００３８】
ステップＳ２２では、旧視差配列が保存されるメモリ上の領域に、最新視差配列をコピーし、旧視差配列データを更新する。そして、ステップＳ２３で、視差探索点Ｐを画面原点すなわち左隅下へと変更し、ステップＳ１４を経て次フレームの処理へ移行する。
【００３９】
すなわち、以上のステップＳ１１〜Ｓ１３，Ｓ２１〜Ｓ２３の処理により、背景視差が装置の動作中に繰返し生成・更新される。本形態では、動画の１周期当たり１画素分だけ視差計算を行うので、例えば、画面が５１２×２００＝１０２４００画素で構成されているものとし、動画像の周期を３０フレーム／秒とすると、１０２４００／３０≒３４１３秒≒１時間弱を１周期として背景視差の生成・更新が行われる。そして、ステップＳ２１における新旧の視差配列の比較により、この１周期をまたいで同じ視差を持っていた不動の物体すなわち背景への視差値が背景視差として記録される一方、視差が変動した物体すなわち移動物体は、背景視差には記録されない。そして、画像のフレーム毎に以上の処理を繰返すことにより、フレーム毎の侵入物を表す区画リストが出力される。
【００４０】
第２形態では、前述の第１形態と同様、背景中に存在する立体物や環境条件の影響を排除し、高精度且つ信頼性高く侵入物を検出することができるばかりでなく、動作中の自動処理により不動の物体への視差を背景として記憶してゆくので、起動時に侵入物を含まない視界をカメラに提示する必要がなく、装置の設置・起動が容易となる。このことは、監視領域が鉄道の踏切等で車両の運行を止めることが困難な場合に、特に有効である。
【００４１】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラで撮像した基準画像と参照画像との間の同一被写体に対する対応位置を求めて記憶し、基準画像の任意の位置と、この位置から記憶した対応位置だけずらした参照画像の位置との両者の近傍における画像情報の相違度を評価し、相違度が高い領域を侵入物を表す領域として出力するので、背景中に存在する立体物や環境条件の影響を排除し、高精度且つ信頼性高く侵入物を検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、侵入物検出装置のブロック構成図
【図２】同上、侵入物検出処理のフローチャート
【図３】同上、左右画像の対応位置の輝度比較を示す説明図
【図４】同上、侵入物の画像切り出しを示す説明図
【図５】同上、侵入物検出の説明図
【図６】本発明の実施の第２形態に係わり、侵入物検出処理のフローチャート
【図７】同上、視差探索点の説明図
【符号の説明】
１　ステレオカメラ
１ａ，１ｂ　左右カメラ
５ａ，５ｂ　画像データメモリ
６　画像処理装置
６ａ　画像認識処理部
ｄ　視差

Claims (9)

1. ステレオカメラで撮像した基準画像と参照画像とからなる一対の画像を用いて視野内に侵入した物体を侵入物として検出する侵入物検出装置であって、
   上記基準画像と上記参照画像との間の同一被写体に対する対応位置を求め、求めた対応位置を記憶する手段と、
   上記基準画像の任意の位置と、この位置から上記記憶した対応位置だけずらした上記参照画像の位置との両者の近傍における画像情報の相違度を評価し、相違度が高い領域を侵入物を表す領域として出力する手段とを備えたことを特徴とする侵入物検出装置。
2. 上記対応位置を、上記基準画像と上記参照画像との間の同一被写体に対する視差とすることを特徴とする請求項１記載の侵入物検出装置。
3. 上記対応位置を、画素毎に求めることを特徴とする請求項１又は２記載の侵入物検出装置。
4. 上記対応位置を、画像中の特定の大きさ及び形状からなるブロック毎に求めることを特徴とする請求項１又は２記載の侵入物検出装置。
5. 上記画像情報の相違度を、画像の輝度の差の絶対値とすることを特徴とする請求項１，２，３，４の何れか一に記載の侵入物検出装置。
6. 上記画像情報の相違度を、画素毎に評価することを特徴とする請求項１，２，３，４，５の何れか一に記載の侵入物検出装置。
7. 上記画像情報の相違度を、画像中の特定の大きさ及び形状からなるブロック毎に評価することを特徴とする請求項１，２，３，４，５の何れか一に記載の侵入物検出装置。
8. 上記対応位置を記憶する処理を、画面全体を対象として侵入物検出処理に先だって一度だけ実行することを特徴とする請求項１，２，３，４，５，６，７の何れか一に記載の侵入物検出装置。
9. 上記対応位置を記憶する処理を、画像の一部を対象として侵入物検出処理と並行して逐次実行し、上記対応位置の記憶データを随時更新することを特徴とする請求項１，２，３，４，５，６，７の何れか一に記載の侵入物検出装置。

Images