JP2009088840A - ステレオ画像処理装置及び同画像処理用プログラム - Google Patents

Abstract

【課題】異物を検知するためのステレオ画像処理装置を提供する。
【解決手段】設定段階では、床面に引いた基準線を撮像した左右画像のうち、左画像の基準線を右画像の基準線に一致させるために必要なシフト量を取得し、前記シフト量に従って前記一方の画像をシフト処理すると共に前記シフト処理した左画像と右画像の差分画像（背景画像）を形成する。また、取得したシフト量を記憶手段に記録する。運用段階では、監視領域の左画像を前記記憶手段に記録したシフト量に応じてシフト処理し、前記シフト処理した左画像と同領域の右画像との差分画像と前記背景画像の差分画像から異物画像を抽出する。
【選択図】図４

Description

本発明は、光軸が平行なステレオカメラによる床面から高さのある異物を認識するためのステレオ画像処理装置及び同画像処理用プログラムに関する。

ステレオ画像処理における立体異物の抽出方法として、例えば特許文献１に記載されたように、左右の画像の細かな各部分毎に対応付けを行い視差を求め、これによりカメラからの距離を演算し、３次元の距離データ画像を求めるものがある。このようにして得られた立体画像から、侵入者や障害物などの立体異物を抽出することができる。しかし、この処理は複雑で処理装置の処理負担が非常に重いという問題がある。また、特許文献に記載されたものではないが、光軸が平行でないステレオカメラで撮像した画像から射影変換した左右の画像の比較で立体異物を抽出する方法も知られている。
特開２００５−２７０４８４号公報

本発明は、従来技術の処理負担の問題を解決すべくなされたものであって、その目的は、光軸が平行なステレオカメラを用いた上記従来の装置のように写像変換のような複雑な処理を行うことなく、床に一本の線を引く（又は置く）だけで、侵入者や障害物などの立体異物を正確に抽出できるようにすることである。

請求項１の発明は、異物を検知するためのステレオ画像処理装置であって、監視領域の床面に引いた基準線を撮像した左右画像のうち、一方の画像の基準線を他方の画像の基準線に一致させるために必要なシフト量を取得する手段と、前記シフト量に従って前記一方の画像をシフト処理する第１のシフト処理手段と、前記シフト処理した画像と前記他方の画像との背景画像の差分画像を形成する手段と、取得したシフト量を記憶手段に記録する手段と、監視領域の左右画像のうち、一方の画像を前記記憶手段に記録したシフト量に応じてシフト処理する第２のシフト処理手段と、前記シフト処理した監視領域の画像と他方の監視領域の画像との監視領域差分画像を形成する手段と、前記監視領域差分画像と前記背景画像との差分画像を形成する手段と、前記差分画像から異物画像を抽出する手段と、を有することを特徴とする。
請求項２の発明は、請求項１に記載されたステレオ画像処理装置において、前記必要なシフト量を取得する手段は、左右画像の基準線を一致させたときの、前記一方の画像における当該画像を横断する複数のライン毎のエッジ画像のシフト量を算出する手段、を有することを特徴とする。
請求項３の発明は、請求項１又は２に記載されたステレオ画像処理装置において、前記異物画像を抽出する手段で得た異物抽出画像を上述の処理で２値化する手段を有することを特徴とする。
請求項４の発明は、ステレオ画像処理装置のコンピュータを請求項１乃至３のいずれかのステレオ画像処理装置の上記各手段として機能させるためのステレオ画像処理用プログラムである。

本発明によれば、比較的単純な処理により立体異物を容易に抽出することができる。つまり、光軸が平行なステレオカメラにおいて、床に一本の基準線を引くだけで射影変換を行わないで立体異物を抽出することができる。

本発明は、光軸が平行なステレオカメラによる床面から高さのある異物を認識するためのステレオ画像処理システムであって、従来のようにフレーム毎にラインの輝度変化のマッチングを演算して３次元データを求めるのではなく、地面は平面であることに着目して、その面上で左右の視差が消えるように機械的変換、つまり予め変換処理した一方の画像と他方の画像との差分画像を利用して地面から浮き上がっている異物のみを抽出するものである。

本発明の実施形態について図面を参照して説明する。
図１Ａは、本発明の１実施形態に係るステレオ画像処理システムを概略的に示すブロック図であり、図１Ｂはステレオ画像処理装置を概略的に示すブロック図である。
本ステレオ画像処理システム１は、一対のデジタルステレオカメラ１０と、画像処理装置２０とから成っている。デジタルステレオカメラ１０は市販のものでよく、デジタルステレオカメラ１０で撮像した画像データは、例えばＵＳＢ（Universal Serial Buss）ケーブルなどの周知のインタフェース部３０を介して画像処理装置２０に送られる。

画像処理装置２０は、図１Ｂに示すようにその全体を制御するためのコンピュータである制御部２２とデータや指令を入力するための入力部２４，入力や出力を確認するため等に用いる表示部２６とから成っている。
制御部２２は、データの処理や演算などを行うＣＰＵ（Central Processing Unit）２００と、ＣＰＵ２００を動作させるプログラムなどを記録したＲＯＭ（Read Only Memory）２０２、ＣＰＵ２００のワークエリアとして処理データ等を一時的に保存するＲＡＭ（Random Access Memory）２０４と、ＮＶ（Non-Volatile）ＲＡＭからなる画像メモリ２０６とから成っている。
なお、本実施形態では画像処理のための負担が従来に比して大幅に低減できるので、上記ＣＰＵ２００として、ＦＰＧＡ（Field Programmable Gate Array）と低パーフォーマンスＣＰＵを組み合わせたもの或いはＣＰＵ２２０の代わりに低コストＤＳＰ（Digital Signal Processor）を用いることができ、それによってコストを低減することができる。ここでは、これらのものを含めてＣＰＵという。

以上の構成において、まず、本ステレオ画像処理システムの設定段階における原理について概略的に説明する。
本ステレオ画像処理システムは、（１）異物がない状態で画面中央に基準線である１本のマーカーラインＭＬを置いてステレオ画像を取得する。なお、ここではマーカーライン（基準線）ＭＬを画像中央部に配置しているが、基準線としては画像中央部でなくとも、左右のカメラ画像に写る位置であればどこの位置に配置してもよい。
（２）取得した左右画像のうち左画像を、画面中央部のみに着目して、画面全体に水平に写し込んだ複数（例えば３０本程度でよい）各ライン毎に、上記マーカーラインＭＬが右画像のマーカーラインＭＬと合致するために必要なシフト量を演算し、そのシフト量のテーブルを作成する。
（３）上記テーブルを参照し、左画像をライン毎にシフトさせた左画像を作成する（つまり一種のアフィン変換を行う）。
（４）右画像とシフト変換した左画像との差分画像を作成する（ステレオ差分背景画像）。

以上が、ステレオ画像処理の概要であるが、次に、より詳細に説明する。
ステレオ画像処理は、立体画像から異物を抽出するに当たり、先ずその準備のための設定段階と、設定後の運用段階の２段階で構成される。
そこで、まず、設定段階から説明する。設定段階では、監視領域を撮像するための固定デジタルカメラ１０を左右２台（一台のステレオカメラでもよい）設置し、図２に示すように、デジタルカメラの視野内で床に基準となる一本の縦のマーカーラインＭＬを引く、次に左側のカメラで写した画像（図３Ａ参照）のマーカーラインＭＬと右側のカメラで写した画像（図３Ｂ参照）を画像処理装置２０に送る。画像処理装置２０では、その制御部２２の処理により、映像内のマーカーラインＭＬが同一位置になるように、ここでは左画像を、後述するように、画像に付した上記複数のラインごとシフトを行う（図３Ｃ参照）。このシフト量を、ＮＶＲＡＭ２０６に設けたテーブルに記録する処理を行う。この状態で左右の画像間の差分画像（図３Ｄ参照）を背景画像として上記ＮＶＲＡＭ２０６に保存する。
最後にマーカーラインＭＬを外して設定を完了する。また、この設定は設置時に１度行うだけでよい。

図４は、設定時に行う処理を説明するためのフロー図である。
設置設定では、ライン毎のシフト量算出が行われる。まず、設置者は、カメラ２台（光軸が平行なステレオカメラを使用する：一台のステレオカメラでもよい）を床面と並行になるように設置して、床にマーカーラインＭＬを置く（又は引く）ことで設置の準備が整う。
次に、設置したステレオカメラでマーカーラインＭＬを撮像し、その左画像及び右画像を入力する（Ｓ１０１）。次に入力画像の歪みつまり歪曲補正を行う（Ｓ１０２）。入力画像の歪みを補正した後、左画像を各画素毎にその濃度を検出し、その検出値と予め定めた閾値とを比較して例えば閾値未満であれば白画像、閾値以上であれば黒画像のエッジを検出し、エッジの２値化画像を作成する（Ｓ１０３）。得られたエッジ画像について、当該画像を横方向に分断する複数のラインを定め、左画像と右画像のマーカーラインＭＬを一致させたときの左画像における各ライン毎のエッジ画像のシフト量を算出し（Ｓ１０４）、算出されたライン毎のシフト量をテーブルに記録して（Ｓ１０５）、背景左画像及び右画像を画像メモリに保存する（Ｓ１０６）。

ここで、上記設置時におけるＣＰＵ２００が行うライン毎のシフト量の算出方法についてその一例を説明する。マーカーラインＭＬは画像の中心付近にあると仮定した場合、作成した左画像のエッジの２値化画像の中心位置の画素を左から右方向に走査していき、エッジの画像を探す。エッジが見つかれば、そのエッジの画素を中心とした左カメラ画像のブロック（例えば大きさ９×９画素のブロック）に相当する部分が、右カメラ画像では横に何ブロックずれているかを検出し、そのずれ量をそのラインのシフト量とする。
その評価方法としては、ブロック内の各画素について、輝度差の絶対値を合計したものがある探査範囲内で最小となるブロックを画素一致点とする方法を用いる。全てのラインについて同様の処理を行う。

図５Ａはシフト量を取得する際に行うマーカーラインのエッジの走査範囲を示す図であり、図５Ｂは、シフト量を記録するプロセスを説明するフロー図である。
まず、左画像のある走査範囲内（ここでは、マーカーラインＭＬを含む処置の幅内）でエッジ点を見つける（Ｓ２０１：図５Ａ参照）。エッジ点をみつけたら、その点が右画像のどの点と一致するか、ライン上の右ブロックと上述のように、輝度差の絶対値を合計したものがある探査範囲内で最小となるブロックを探し出すことによって（Ｓ２０２）、それが何ブロックずれているかを計数する。そのブロックのずれ量（ブロック数）をシフト量として記録する。これを全てのラインについて行う、各ライン毎のシフト量をテーブルに記録する（Ｓ２０３）。

次に、設定後の運用時の処理について説明する。
運用時には前記テーブルを参照し、左画像をシフト変形した画像と右画像の差分画像を、設定時に保存した背景画像との差分をとることで立体異物を抽出する。

運用時における処理を以下で概略的に説明する。なお、図６は運用時における撮像画像及び処理画像を示す。
（１）２台のステレオカメラによりステレオ画像を撮像する。
（２）左画像（図６Ａ）を、設定時に作成したテーブルに基づきシフト変換した画像（図６Ｂ）を作成する。
（３）右画像とシフト変換した左画像の差分画像を作成する（図６Ｃ）。
（４）設置設定時のステレオ用背景左画像と上記差分画像との差分画像を作成する（図６Ｄ）。この差分画像で２値化処理すると地面より浮き上がっている物体が現れる。
（５）更に、ノイズ除去、ブロック化、ラベリング処理などで例えば４０×３０程度の画素にて異物を抽出する。

次に、以上で説明した背景画像差分により移動立体異物を抽出する工程を図７のフロー図で説明する。
図中、まず、設定時と同様に、ステレオデジタルカメラで撮像した左画像と右画像を入力し（Ｓ３０１）、入力画像の歪曲補正を行い（Ｓ３０２）、続いて、背景左画像と現在左画像のシフト変換後画像、即ち背景画像と現在左画像を各ライン毎にテーブルから読み出したシフト量だけシフトさせたシフト変換後画像を作成する（Ｓ３０３：図６Ｂ参照）。
得られた背景シフト変換後画像から背景右画像を引いた、背景ステレオ差分画像を取得し（Ｓ３０４）、さらに現在左シフト変換後画像から現在右画像を引いた現在ステレオ差分画像を取得し（Ｓ３０５：図６Ｃ参照）、それぞれ取得した背景ステレオ差分画像から現在ステレオ差分画像を引くことで異物抽出画像を取得し（Ｓ３０６：図６Ｄ参照）、このようにして取得した異物抽出画像を上述の処理で２値化する（Ｓ３０７）。
ここで、得られた２値化画像から定法によりノイズを除去し、２値化した画素をブロック化し、ラベリング処理を行い、収縮更に膨張処理等を必要に応じて行い、異物画像を抽出して処理を終了する（Ｓ３０８）。

以上の説明において、マーカーラインＭＬは全てのラインに必ず写っていなければならないわけではなく、写っている床が全て平面であったり、一定傾斜角度の坂である場合（図２）には、図８に示すように、マーカーラインＭＬが写っているラインのみのシフト量を算出後、そのシフト量の近似直線式又は近似曲線式を最小二乗法で求め、マーカーラインＭＬが写っていない部分のシフト量をその求めた近似式より推定して当てはめることもできる。但し、写っている床の傾斜角度が一定でない場合、例えば坂―平面―坂や階段等では推定することはできない。

なお、以上の説明では左画像をシフトさせる場合を例に採って説明したが、逆に右画像を左画像に合わせてシフトするように処理するようにしてもよい。

以上説明したように、本実施形態によれば、床面に引いた（又は置いた）一本のマーカーラインを基準に左右画像の視差を利用して床面上にある異物を、少ない画像処理で容易に抽出することができる。

図１Ａは本発明の１実施形態に係るステレオ画像処理システムを概略的に示すブロック図であり、図１Ｂはステレオ画像処理装置を概略的に示すブロック図である。 設定段階におけるカメラの配置及び床面に引かれたマーカーラインを示す。 左右のカメラによる撮像画像及び処理画像を示す。 設定時に行う処理を説明するためのフロー図である。 図５Ａは設定時にシフト量を取得する際に行うマーカーラインのエッジの走査範囲を示す図であり、図５Ｂは、設定時におけるシフト量を記録するプロセスを説明するフロー図である。 運用時における撮像画像及び処理画像を示す 背景画像差分により移動立体異物を抽出する工程を示すフロー図である。 シフト量算出を近似式で求める手法を説明する図である。

符号の説明

１・・・ステレオ画像処理システム、１０・・・デジタルカメラ、２０・・・画像処理装置、２２・・・制御部、２４・・・、２６・・・、２８・・・、２２０・・・、２２２・・・ＲＯＭ、２２４・・・ＲＡＭ、２２６・・・入力部、２２８・・・表示部、２３０・・・ＲＶＲＡＭ、ＭＬ・・・マーカーライン。

Claims (4)

1. 異物を検知するためのステレオ画像処理装置であって、
   監視領域の床面に引いた基準線を撮像した左右画像のうち、一方の画像の基準線を他方の画像の基準線に一致させるために必要なシフト量を取得する手段と、
   前記シフト量に従って前記一方の画像をシフト処理する第１のシフト処理手段と、
   前記シフト処理した画像と前記他方の画像との背景画像の差分画像を形成する手段と、
   取得したシフト量を記憶手段に記録する手段と、
   監視領域の左右画像のうち、一方の画像を前記記憶手段に記録したシフト量に応じてシフト処理する第２のシフト処理手段と、
   前記シフト処理した監視領域の画像と他方の監視領域の画像との監視領域差分画像を形成する手段と、
   前記監視領域差分画像と前記背景画像との差分画像を形成する手段と、
   前記差分画像から異物画像を抽出する手段と、
   を有することを特徴とするステレオ画像処理装置。
2. 請求項１に記載されたステレオ画像処理装置において、
   前記必要なシフト量を取得する手段は、左右画像の基準線を一致させたときの、前記一方の画像における当該画像を横断する複数のライン毎のエッジ画像のシフト量を算出する手段、を有することを特徴とするステレオ画像処理装置。
3. 請求項１又は２に記載されたステレオ画像処理装置において、
   前記異物画像を抽出する手段で得た異物抽出画像を前記シフト処理で２値化する手段を有することを特徴とするステレオ画像処理装置。
4. ステレオ画像処理装置のコンピュータを請求項１乃至３のいずれかのステレオ画像処理装置の上記各手段として機能させるためのステレオ画像処理用プログラム。

Images