JP2020042727A

JP2020042727A - 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Info

Publication number: JP2020042727A
Application number: JP2018171678A
Authority: JP
Inventors: 秀敏椿; Hidetoshi Tsubaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-09-13
Filing date: 2018-09-13
Publication date: 2020-03-19
Anticipated expiration: 2038-09-13
Also published as: JP7241492B2

Abstract

【課題】移動する撮像装置で撮影されたステレオ画像による空間のマッピングにおいて、大きな記憶領域や高い処理能力を必要とせずに静止領域と移動体領域を判別できる技術を実現する。【解決手段】画像処理装置は、ステレオ画像を入力する入力手段と、前記ステレオ画像を撮影したときの撮像装置の位置と姿勢の情報を取得する取得手段と、ステレオ画像間の相関および撮影時刻の異なるステレオ画像間の相関から静止領域と移動体領域の判別を行い、三次元情報を生成する生成手段と、を有し、前記生成手段は、前記撮像装置の位置と姿勢を考慮して、前記ステレオ画像間における相関を求めるための第１の相関処理を行い、当該ステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間における相関を求めるための第２の相関処理を行い、前記第１の相関処理により求められた相関と前記第２の相関処理により求められた相関との組み合わせにより静止領域および移動体である可能性の高い領域を判別する。【選択図】図２

Description

本発明は、ステレオ画像から静止領域および移動体領域を判別し空間マップを生成する技術に関する。

空間を移動するカメラの画像や外界・内界センサの観測データにより空間のマップとカメラの軌跡を取得する空間マッピングまたはＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）と呼ばれる技術がある。空間マップは車載用途では人体や標識の認識の入力に利用され、自動運転や危険回避動作の判断に用いられる。また、空間マップは、携帯電話では物体の認識／判別を用いたＡＲ（拡張現実）ナビゲーションに用いられる。

空間マップを生成する際に静止物体は静止領域、移動体は移動体領域と判別できると、カメラの軌跡自体のロバスト性と精度を向上させることができる。また、人体と静止物体を判別できると、人体を移動体として管理できるなど、物体の認識等において空間マップの利用効率や価値が向上する。

特許文献１には、空間マップを静止領域用と移動体領域に分けて管理し、入力画像と静止領域用マップとの相関、入力画像と移動体領域用マップとの相関により静止領域と移動体領域を判別する技術が記載されている。特許文献２には、時系列に入力されるステレオ画像もしくは多眼画像を用いて、ステレオ画像間の相関により立体物を検出し、立体物の領域を時系列フレーム間で動きベクトル追跡により追尾して動きの有無で静止領域と移動体領域を判別する技術が提案されている。

特開２０１２−１０３８１９号公報特開２０１７−１４２７６０号公報特許第５１９２０９６号公報

"ＰｒｏｊｅｃｔＴａｎｇｏＤｅｖｅｌｏｐｍｅｎｔＫｉｔ" ｈｔｔｐｓ：／／ｄｅｖｅｌｏｐｅｒｓ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／，ａｃｃｅｓｓｅｄ：２０１７−０２−２８． "コンピュータビジョン最先端ガイド３" 第２章「ＩＣＰアルゴリズム」増田健（産業技術研究所）ｐ．３３−６２

特許文献１では、移動するカメラで撮影した画像においてカメラに相対的なものでない絶対的な静止領域と移動体領域を判別するためには静止領域用と移動体領域用の２つの空間マップを維持更新しなければならない。このため、大きな記憶領域や高い処理能力が必要である。また、カルマンフィルタのような予測更新の必要なループ処理のため、隠れパラメータの安定まで再度数フレーム初期化処理を行う必要があり、例外処理からの復帰に処理時間がかかる。さらに、初期化処理のような負荷の高い処理が別途必要になる。特許文献２では、距離と動きによる判別を別々に行うため、カメラに対して相対的に動きのない物体は静止物体として判別されてしまう。

本発明は、上記課題に鑑みてなされ、その目的は、移動する撮像装置で撮影されたステレオ画像による空間のマッピングにおいて、大きな記憶領域や高い処理能力を必要とせずに静止領域と移動体領域を判別できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、ステレオ画像を入力する入力手段と、前記ステレオ画像を撮影したときの撮像装置の位置と姿勢の情報を取得する取得手段と、ステレオ画像間の相関および撮影時刻の異なるステレオ画像間の相関から静止領域と移動体領域の判別を行い、三次元情報を生成する生成手段と、を有し、前記生成手段は、前記撮像装置の位置と姿勢を考慮して、前記ステレオ画像間における相関を求めるための第１の相関処理を行い、当該ステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間における相関を求めるための第２の相関処理を行い、前記第１の相関処理により求められた相関と前記第２の相関処理により求められた相関との組み合わせにより静止領域および移動体である可能性の高い領域を判別する。

本発明によれば、移動する撮像装置で撮影されたステレオ画像による空間のマッピングにおいて、大きな記憶領域や高い処理能力を必要とせずに静止領域と移動体領域を判別できる。

実施形態１の画像処理装置を説明する図。実施形態１の処理フローを説明する図。プレーンスウィープ法による相関処理を説明する図。ステレオ画像の相関処理を説明する図。移動体領域の判別処理を説明する図。移動体領域を判別するための相関処理を説明する図。静止領域、移動体の可能性領域、移動体領域をラべリングしたマップを説明する図。３眼以上のステレオカメラへの適用例を説明する図。実施形態２の装置構成を説明する図。瞳分割光学系の撮像部の構成を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、実施形態１について説明する。

まず、図１を参照して、実施形態１の画像処理装置１００の構成および機能について説明する。

画像処理装置１００は、ステレオ画像入力部１０１、カメラ状態取得部１０２、画像処理部１０３、記憶部１０４、を備える。

ステレオ画像入力部１０１は、ステレオカメラなどの撮像装置により撮影されたステレオ画像を入力する。ステレオ画像は、２眼または３眼以上のステレオカメラにより異なる視点で撮影された少なくとも２枚の画像を含み、被写体までの距離や姿勢などの三次元形状を復元し空間マップを生成するために用いられる。ステレオ画像は、ステレオカメラなどの撮像装置から時間的に連続する画像または動画のフレームが取得可能である。以下では、ステレオ画像入力部１０１がステレオカメラにより動画撮影されたステレオ画像のフレームを入力するものとする。

カメラ状態取得部１０２は、ステレオ画像の各フレーム撮影時のカメラの位置と姿勢に関する情報を取得する。カメラの位置および姿勢はある時点からの相対的な位置および姿勢でもよいし、カメラの位置と姿勢の変化値の積分により算出してもよい。例えば、ジャイロセンサや加速度センサ等の慣性センサの組み合わせで実現したり、慣性計測ユニット（ＩＭＵ）アセンブリを用いてもよい。また、慣性センサに制約せず、姿勢方位基準装置（ＡＨＲＳ）とＧＰＳサービスを組み合わせて実現してもよい。さらに地磁気センサ等の他のセンサを組み合わせたり、画像情報を組み合わせることで位置や姿勢の変化の情報の取得精度を高めてもよい。室内ならばビーコンによる測位機構を組み合わせて位置の変化を検出してもよい。また、ステレオ画像入力部１０１から入力したステレオ画像もしくは一方の単眼画像を用いてＶｉｓｕａｌＳＬＡＭ処理により各フレームに対するカメラの位置と姿勢の変化の情報を取得してもよい。または前述のセンサ群とＶｉｓｕａｌＳＬＡＭ処理を組み合わせたＶｉｓｕａｌ−ＩｎｅｒｔｉａｌＳＬＡＭ処理により各フレームに対するカメラの位置と姿勢の変化の情報を取得してもよい。

画像処理部１０３は、ステレオ画像入力部１０１で取得したステレオ画像のシーケンスとカメラ状態取得部１０２で取得したステレオ画像の各フレーム撮影時のカメラの位置と姿勢の情報を入力する。そして、各フレームに対応する空間マップを生成し、静止領域および移動体の可能性領域、さらに移動体領域を判別したラベルマップを生成する。そして必要に応じてステレオ画像の各フレーム撮影時のカメラの位置と姿勢の情報を用いて各フレームに対応して生成されたそれぞれの空間マップおよびラベルマップを経時的に統合していく。

空間マッピングあるいはＳＬＡＭと呼ばれる技術は、空間のマップとカメラの軌跡を相互依存する形で同時に取得する技術である。実際には、カメラ軌跡、言い換えれば、カメラの位置と姿勢の情報を求める基準となるマップの更新、例えば新しいフレーム分のマップ追加はカメラの位置と姿勢の追跡処理に比べて時間的に低頻度である。また、空間マップの利用価値が高まるにつれてカメラ軌跡推定は処理の軽量な疎なマップで実施し、別途軌跡情報と画像入力を用いて密で情報量の多い空間マップを生成する方法も非力なリソースで魅力的なデバイスを実現する方法として増加している（非特許文献１）。画像処理部１０３で生成した空間マップおよび静止領域、移動体の可能性領域、移動体領域を判別したラベルマップは、それ以降のカメラ状態取得部１０２の処理に利用してもよいし、まったく利用しない場合もありうる。空間マップ生成のみの構成やその入力である奥行画像取得のみの構成も考えられる。

記憶部１０４は、ステレオ画像入力部１０１で入力したステレオ画像、カメラ状態取得部１０２で取得したカメラの位置と姿勢の情報を記憶する。また、画像処理部１０３でフレームごとに生成した空間マップ、対応する静止領域、移動体領域ラベルマップ、カメラの位置と姿勢の情報に基づき統合した空間マップおよびラベルマップを記憶する。

次に、図２を参照して、実施形態１の空間マップ生成処理について説明する。

なお、図２の処理は、ステレオ画像の入力処理（Ｓ１０１）、カメラの位置と姿勢の情報の取得処理（Ｓ１０２）、静止領域および移動体の可能性領域の判別処理（Ｓ１０３）、移動体領域の判別処理（Ｓ１０４）および空間マップ統合処理（Ｓ１０５）を含む。ステレオ画像の取得処理（Ｓ１０１）はステレオ画像入力部、カメラの位置と姿勢の情報の取得処理（Ｓ１０２）はカメラ状態取得部１０２が実行する。静止領域および移動体の可能性領域の判別処理（Ｓ１０３）、移動体領域の判別処理（Ｓ１０４）および空間マップ統合処理（Ｓ１０５、Ｓ１０６）は、画像処理部１０３が実行し記憶部１０４に保存する。

Ｓ１０１では、ステレオ画像入力部１０１がステレオ画像を時系列に入力する。画像処理装置１００にステレオカメラが接続されている場合は、ステレオカメラから時間的に連続するステレオ画像または動画撮影されたステレオ画像のフレームを順次入力する。

Ｓ１０２では、カメラ状態取得部１０２がＳ１０１で入力した時系列のステレオ画像ごとに撮影時の各フレームのカメラの位置Ｔと姿勢Ｒまたはフレーム間の位置の変化量ΔＴ、姿勢の変化量ΔＲを取得する。ステレオ画像のフレーム間のカメラの位置と姿勢の変化量ΔＴ、ΔＲを用いる場合は、ある時点でのカメラの位置と姿勢を基準に積算して相対的なカメラの位置／姿勢の情報として出力する。

Ｓ１０３では、画像処理部１０３が静止領域および移動体の可能性領域の判別を行う。画像処理部１０３は、ステレオ画像間でカメラの位置と姿勢を考慮して相関処理を行い、また、ステレオ画像と時系列のステレオ画像の少なくともいずれかとの間でカメラの位置と姿勢を考慮して相関処理を行い、静止画領域および移動体である可能性のある領域を判別する。Ｓ１０３では、ステレオカメラで撮影された少なくとも時間的に同期した２枚の画像間の相関と、これら２枚の画像と撮影時刻の異なる少なくとも１枚の画像（各々の画像撮影時のカメラの位置と姿勢の関係が判明している画像）との間の撮影時のカメラの位置と姿勢を考慮した相関との高低の組み合わせの関係により静止領域および移動体の可能性領域を判別する。

Ｓ１０４では、画像処理部１０３が、移動体である可能性のある領域の中から移動体領域を判別する。ステレオ画像と時系列のステレオ画像のセット、Ｓ１０２で得られた時系列のステレオ画像ごとの撮像時のカメラの位置と姿勢の情報を用いて判別を行う。

ここで、Ｓ１０３における各画像撮影時のカメラの位置と姿勢の関係が分かっているステレオ画像間での相関処理を説明する。以下では、図３を参照して、プレーンスウィープ法の三次元復元による相関と逆射影変換による写像の相関を組み合わせた場合の例を説明する。

プレーンスウィープ法では、複数のカメラから物体を撮影して得られる参照画像（カメラ画像）と仮想空間上で仮想視点に設定した仮想カメラの光軸に対して平行に等間隔に並べられた複数枚のプレーンを用いて相関演算を実施して三次元形状の復元を行う。

まず、参照画像を撮影したカメラを、Ｓ１０２で得られた各ステレオ画像の撮像時のカメラの位置と姿勢の情報に基づいて仮想空間上に並べる。

図３（ａ）は各画像撮像時のカメラの位置と姿勢に基づいて仮想空間に左カメラ３０１と右カメラ３０２を並べ、仮想カメラ３０３およびプレーン３０４を設定した様子を示している。なお、説明の簡易化のため、仮想カメラ３０３は左カメラ３０１と右カメラ３０２と異なるように設定したが、いずれかと同一のものと設定してもよい。

図３（ｂ）のようにプレーン３０４の各面に対して各参照画像を逆射影する。そして、プレーン３０４の各面上での輝度または色の同一性の計算により、各画像に写像された物体表面の仮想空間上での位置の判定を行う。例えば図３（ｃ）に示すようにプレーン３０４の各面上で右カメラ３０１と左カメラ３０２から投影された像が重なる部分に対して、仮想視点カメラ３０３の画像の画素ごとに各カメラの画像間の輝度または色の同一性を判定するための評価値（スコア）を計算する。そして、同一性が高いプレーン上の計算点は物体表面上の点（物体表面点）である可能性が高いものとみなす。この計算をすべてのプレーンに対してデプス値の昇順、すなわち、仮想視点に最も近い前方のプレーンから、後方のプレーンに向けて１枚ずつ順に行う。最終的に、仮想視点カメラの画像の画素ごとに最も同一性の高い最良のスコアを持つデプス位置に物体表面点があるものと判定し、仮想視点から見た三次元の物体形状を復元する。

また、スコアを計算する際に用いた各カメラの画像の色を平均化したものをその仮想空間上の物体の表面点の輝度または色の属性情報として与えてもよい。図３（ｄ）は復元された三次元形状の例を示している。白丸３０５が３次元空間のプレーン上で再構成された三次元形状のサンプリング点、実線が三次元形状の想定上の包絡面３０６である。包絡面３０６に沿うように奥行き方向に十分密にする場合にはプレーンの間隔を十分密に狭める必要がある。

以上の処理により、左カメラ画像上の画素−仮想空間上の三次元点−右カメラ画像上の画素の対応付けが得られる。対応付けが得られなかった領域には右カメラでは見えているが左カメラでは見えないオクルージョン領域などが考えられる。

次に、ステレオ画像と撮影時刻が異なるステレオ画像の少なくともいずれかとの間で相関処理を行う。そして、先に求めたステレオ画像間の相関と、ステレオ画像と撮影時刻が異なるステレオ画像の少なくともいずれかとの間の相関との高低の組み合わせの関係により静止領域および移動体の可能性領域を判別する。

プレーンスウィープ法を用いる場合は、ステレオ画像間の相関と、当該ステレオ画像と撮影時刻の異なるステレオ画像のフレームの少なくともいずれかとの間の相関とを、三次元形状の復元結果を用いて一連の手順としてより簡便に算出できる。

図４を参照して、三次元形状と三次元形状の算出に用いたステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間での相関処理を説明する。

図４（ａ）はステレオカメラの位置関係を示しており、図３で説明したある時刻におけるステレオカメラ３０１および３０２で撮影した画像から復元した三次元形状を示している。白丸３０５はサンプリング点を示し、カメラ４０１および４０２は三次元形状を復元したステレオ画像のフレームとは撮影時刻が異なる、例えば隣接した時系列のステレオ画像のフレームに対応したカメラを示している。カメラの位置と姿勢の関係は、Ｓ１０２において絶対的、もしくは、三次元形状を復元したステレオ画像のフレームに対応するカメラに対して相対的に取得されているとする。この新たなステレオ画像のフレームのいずれかに対して三次元形状を写像して輝度または色に関する相関処理を行う。図４（ｂ）はステレオカメラの左カメラ４０１に写像して相関処理を行う様子を示している。ステレオ画像のフレーム間における相関と同様に、写像される画素ごとにカメラ画像と三次元形状の輝度または色の同一性を判定するための評価値（スコア）を計算する。
（式１）

ここで、Ｒ_ａ，Ｇ_ａ，Ｂ_ａはカメラ画像の画素値、Ｒ_３ｄ，Ｇ_３ｄ，Ｂ_３ｄは写像された三次元形状の色属性値である。

そして、画像上の同一性が高い画素は、ステレオ画像間で相関が高く３次元復元が可能で、かつ、撮影時刻の異なるステレオ画像のフレームのカメラの位置と姿勢を考慮した画像上でも対応関係にあると考えられる。つまり、時間的に移動していない３次元空間上の静止物体の物体表面が写像されたものである可能性が高いものとみなせる。一方、ステレオ画像間で相関が高く３次元復元が可能であるのに、撮影時刻の異なるステレオ画像のフレームのカメラの位置と姿勢を考慮した画像との間では相関の低い領域は移動体が写像されたため相関が低くなっていると考えられる。また、相関が低い領域には前述のオクルージョンを含む誤対応なども含まれる。このような属性を持つ領域でいずれの時刻のいずれかの画像に写像したものを移動体の可能性領域と呼ぶ。図４（ｃ）はステレオ画像間の相関とステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間での相関の高低と静止領域、移動体の可能性領域との関係の組み合わせを示している。

以上のように、Ｓ１０３における静止領域および移動体の可能性領域の判別処理の例として、例えばプレーンスウィープ法を用いる例を説明したが、静止領域および移動体の可能性領域を判別する方法としては上述した例に限定されない。例えば、ステレオ画像間で平行化を行い、通常の領域相関手法などによりステレオ画像の各画素間で対応を求め、ステレオカメラの基線長や焦点距離、画素サイズ等に基づき各ステレオ画像間で三次元復元を実施する。そして、ステレオ画像の各フレームを撮影した時点でのカメラの位置と姿勢を取得し、カメラ間の位置Ｔと姿勢Ｒの変化に基づき、三次元復元結果の空間座標系を統合することにより、ステレオ画像のフレームごとに求めた三次元復元結果の間での相関を実施する。三次元復元結果の間の相関には各三次元形状のサンプリング点の属性として付加した色や輝度情報、三次元点座標を用いて行う。相関の高い領域は、プレーンスウィープ法を用いた場合と同様に静止領域とみなすことができる。一方、相関の低い領域は、移動体である可能性のある領域と判別することができる。移動体の可能性領域にはオクルージョンを含む誤対応なども含まれる。

以上の例では、説明の簡略化のために、ステレオ画像間の相関により三次元復元を行い静止領域および移動体の可能性領域を判別する手法を説明したが、プレーンスウィープ法を用いる場合と同様に、ステレオ画像と撮影時刻の異なる時刻のステレオ画像の少なくともいずれかとの間でカメラの位置と姿勢を考慮して相関処理を行う場合も同様である。まずステレオ画像間、およびステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間の２組で再構成を行う。そして、三次元復元結果の空間座標系を統合し、三次元復元結果間の相関処理により静止領域および移動体の可能性領域を判別する。画像の平行化および三次元復元結果の空間座標系の統合はステレオ画像間および時系列のステレオ画像間のカメラの位置Ｔと姿勢Ｒの変化の情報に基づいて行う。

Ｓ１０４では、画像処理部１０３は、Ｓ１０３で可能性領域と判別された領域中から移動体領域を判別する。判別は、ステレオ画像と時系列のステレオ画像のセット、Ｓ１０２で得られた各ステレオ画像の撮像時のカメラの位置と姿勢の情報を用いる。ただし、画像処理部１０３の処理能力に余裕がある場合は可能性領域の判別結果を事前情報として画像の全領域に対して移動体領域の判別を行ってもよい。

次に、図５を参照して、実施形態１の動作について説明する。図５（ａ）は、説明の容易化のための参考例を示している。図５（ａ）は、ある時刻におけるステレオ画像から３次元形状を復元したある静止領域の３次元座標点、および撮影時刻の異なるステレオ画像のフレームから３次元形状を復元したある静止領域の３次元座標点をそれぞれ示している。ステレオカメラは移動しても被写体は静止しているため、共通の領域が写像されている領域は三次元形状を復元した座標点が重複する。５０６はある時点での三次元形状を復元した包絡面、５０７は撮影時刻の異なるステレオ画像から三次元形状を復元した包絡面である。各ステレオ画像に写像される対応する領域が静止領域となる。参考例ではあるが最初に三次元形状の復元を行ったステレオ画像と撮影時刻の異なるステレオ画像の対応付けは最初のステレオ画像で復元した三次元形状の座標点を撮影時刻の異なるステレオ画像のそれぞれに写像することで容易に得られる。

図５（ｂ）は、ある時刻におけるステレオ画像および撮影時刻の異なるステレオ画像から３次元形状を復元した移動体の可能性領域の例を示している。例えば被写体が図中で右に移動する場合、ある時点での三次元形状を復元した包絡面５０８の位置に対して、撮影時刻の異なるステレオ画像から三次元形状を復元した包絡面５０９の位置は異なって相関で一致せず、ずれることになる。また、ずれ量やずれの状態は分からない。

撮影時刻の異なるステレオ画像からの３次元形状の復元は、静止領域の場合と異なり、前回の処理でステレオ画像から３次元形状を復元した結果の逆射影では得られない。このため、Ｓ１０３におけるステレオ画像間の三次元復元と同様にして、移動体の可能性領域を選択して実施する。

図５（ｂ）のように求められた、撮影時刻の異なるステレオ画像からそれぞれ３次元形状を復元した三次元情報とＳ１０２で取得した各ステレオ画像を撮像したカメラの座標情報とを用いて相関を行い、移動体領域を決定する。

次に、図６を参照して、被写体の移動による移動体の可能性領域の判別する場合に、三次元形状の復元に用いた情報の間のずれを被写体の位置と姿勢の変化を探索して求めて相関を行う手法を説明する。図６（ａ）は、被写体の位置と姿勢の変化のある状態を示している。例えば被写体が剛体の場合、被写体の位置と姿勢の変化をカメラの位置と姿勢の変化として三次元形状のサンプリング点の間の座標系の移動に関する探索として扱うことができる。これにより、相関の高い領域を移動体の可能性領域からオクルージョン領域やその誤対応を生じている領域として除き移動体領域を得ることができる。

図６（ｂ）は、既知のＩＣＰ（ＩｔｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）法（非特許文献２）を用いて、被写体の位置と姿勢の変化をカメラの位置と姿勢の変化の逆射影変換として探索して一致が得られる移動体の三次元領域を算出する様子を示している。

撮影時刻の異なるステレオ画像から３次元形状を復元したある移動体領域を、それを撮像したカメラ座標系ごとの位置と姿勢について探索する。
カメラの位置と姿勢の探索は、以下の式２、式３により行う。
（式２）

（式３）

ここで、ｐ，ｑは三次元復元形状、ΔＲ_ｏｂ，ΔＴ_ｏｂは被写体の位置と姿勢の変化量、ｐ’はカメラの位置と姿勢を考慮した座標系から被写体の位置と姿勢の変化量の逆射影変換で三次元点ｐを座標変換した三次元復元形状である。

これにより被写体の三次元復元形状５０８および５０９の相関が最も高くなるカメラの位置と姿勢の逆射影変換が、被写体の位置と姿勢の変化量となり、高相関部分が真の移動体の三次元復元形状部分となる。そして、そのステレオ画像への写像部分が真の移動体領域となる。

以上の処理により相関の整合度で移動体可能性領域が真の移動体かを判別できるが、同時に相関の探索における被写体の位置と姿勢の変化量ΔＴ_ｏｂ，ΔＲ_ｏｂから、相関を取った撮影時刻の異なるステレオ画像のフレーム間での被写体の位置と姿勢の変化の情報を取得できる。

図７は、Ｓ１０３で求められる移動体の可能性領域マップ、Ｓ１０４求められる移動体領域マップの例を示している。図７（ａ）は対応するフレームのステレオ画像の一方である。図７（ｂ）はＳ１０３で求められる静止領域７０１および移動体の可能性領域７０２をラべリングした静止領域および移動体の可能性領域マップを示し、図７（ａ）のステレオ画像の一方に対応する。図７（ｃ）はＳ１０４で求められる移動体領域マップを示し、静止領域７０１および移動体領域７０３、そしてオクルージョンによる誤対応や対応不能領域を含むその他の領域７０４をラべリングした静止／移動体領域マップを示している。図７（ｂ）、（ｃ）はラべリングが対応する画像のピクセルレベルまでされたマップの例を示しているが、より荒いブロックごとのラべリングマップでもよい。

また、Ｓ１０３およびＳ１０４での判別は、撮影時刻の同じステレオ画像間およびステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間のそれぞれの画素についての対応関係のグラフを構築する処理に対応する。図７（ｄ）、（ｅ）は、図７（ｂ）、（ｃ）に対応する画像間の画素の対応関係のグラフのイメージを示している。グラフのエッジ関係についてはここまで述べた領域ベースのマッチングやプレーンスウィープ法による３次元復元を経た相関処理により、隣接画素関係や三次元幾何的な前後関係について整合ある対応を求める。また、図７（ｄ）の移動体領域マップにおける移動体の撮影時刻の異なる画像間の対応付けでは、Ｓ１０４で説明したように被写体の移動をＩＣＰ法を用いて幾何学的に考慮して探索することで時空間的にも整合の取れた対応付けを求める。

Ｓ１０３のステレオ画像間で対応が求められるが、撮影時刻の異なるステレオ画像との間で対応が見つからない移動体の可能性領域の画素に対して相関処理を実施し、エッジが構築できるかを確認していく。このグラフ構築処理を、基準とする画像上の各画素もしくは一部の画素をグルーピングしたサブ領域に対してまんべんなく行うことでマップへのラべリングを実施する。図７（ｄ）のようにステレオ画像（ｓｔｅｒｅｏＡ，ｓｔｅｒｅｏＢ）間で幾何学的に整合ある対応が見つかり、撮影時刻の異なる画像（ｄｉｆｆＴｉｍｅ）との間でも対応付けのエッジが構築できた画素またはサブ領域には静止領域のラベルが付与される。ステレオ画像（ｓｔｅｒｅｏＡ，ｓｔｅｒｅｏＢ）間で整合ある対応は見つかるが、Ｓ１０３で撮影時刻の異なる画像（ｄｉｆｆＴｉｍｅ）との間では整合ある対応が見つけられず、エッジが構築できない場合は移動体の可能性領域ラベルが付与される。移動体の可能性領域ラベルが付与された領域については図７（ｅ）のようにＳ１０４の撮影時刻の異なるステレオ画像の間、または撮影時刻の異なるステレオ画像のいずれかとの間でカメラの移動および被写体の移動を考慮した相関処理を実施する。そして、整合ある対応が見つけられてグラフノード間でエッジが構築できた場合には移動体領域のラベルが付与される。それ以外の領域には未対応のラベルを付与するかＮａＮとしてそのままにする。

更に、グラフ構築の処理を数式で表す。Ｓ１０３における同時刻に撮影のステレオ画像間の相関処理のオペレータを式４で表す。
（式４）

撮影時刻の異なる画像間の被写体動きを考慮しない相関処理のオペレータを式５で表す。
（式５）

Ｓ１０４における撮影時刻の異なる画像間の被写体動きを考慮した相関処理のオペレータを式６で表す。
（式６）

ここで、ｘ→（ｘの上の矢印の意）は基準とするある画像上の座標、…は、カメラの位置と姿勢の情報や判別のための各種中間情報への閾値などの追加パラメータである。ｆｌｇ｛ｏｋ，ｎｇ｝は相関による画像またはサブ領域間の対応付けの可否を表す。ｙ→（ｙの上の矢印の意）は相関付けを行った他方の画像上の座標である。ｆｌｇ＝ｏｋの場合のみｙ→は値を持ち、次のオペレータの入力値ｘ→とすることができる（ｆｌｇ＝ｎｇならば、ｙ→＝ＮａＮ）とする。すると、静止領域は、式７の値を取る画素またはサブ領域となる。
（式７）

移動可能性領域は、式８の値を取る画素またはサブ領域となる。
（式８）

更に、式８と判別された領域に式５を適用して、式９となる領域が、移動体領域の画素またはサブ領域と判別される。
（式９）

となる領域が、移動体領域の画素またはサブ領域と判別される。

本実施形態においては２眼ステレオカメラの例を説明したが、３眼以上のステレオカメラの画像に対しても同様に入力できる。特に、プレーンスウィープ法を相関処理に用いる場合、図８（ａ）に示すように容易にカメラを追加して演算を実施可能である。また、同様に撮影時刻の異なるステレオ画像のフレームも隣接する１枚の画像である必要はなく、図８（ｂ）に示すよう隣接する数フレームの画像を用いてもよく、フレーム数が増えるほどスコアの顕著性が増加する。

また、本実施形態においては被写体が１つの場合を説明したが、移動体可能性領域がフレーム画像内に複数ある場合には各々の領域に対し、それぞれで移動体領域の判別処理を行うことで、複数の移動体に対応する移動体領域を取り扱うことができる。また、本実施形態では、被写体が剛体の場合を説明したが、移動体の可能性領域のサイズを小さく区切ることにより、非剛体も同様に取り扱うことが可能となり、各移動体領域の位置と姿勢の変化の情報を算出することも可能となる。隣接領域の位置と姿勢の変化の情報を事前情報として用いてもよい。

以上の処理により、時系列のステレオ画像の各フレームに対応する静止領域、移動体領域とそれ以外の判別不能領域の判別が可能となる。後段で認識処理を実施することを想定して、動いている人や自動車の可能性がある画像領域のみを選別して認識処理に投入するような場合、静止被写体か移動体のラべリング情報のみ取得できれば十分である。そのような場合は、各ステレオ画像のフレームに対応するラべリング画像情報を記憶部１０４に順次保存していく。

一方、ステレオ画像もしくは過去のフレームとの関係からフレームごとに三次元情報を生成していく場合、それを順次フレーム処理して蓄積していく場合には、対応する画素から生成された三次元情報に静止領域、移動体領域の領域属性を付加していく。そして必要ならいずれにも含まれない算出不能領域の属性を割り当ててもよい。例えば三次元情報をポイントクラウドとして保持する場合には、Ｒ，Ｇ，Ｂの色情報をＸ，Ｙ，Ｚの空間座標と共に多次元ベクトル情報として保持するように１次元追加して移動体属性をセットする。移動体領域には移動体の位置と姿勢の変化の情報ΔＴ_ｏｂ，ΔＲ_ｏｂを付加してもよい。

Ｓ１０５、Ｓ１０６では、画像処理部１０３は、各ステレオ画像のフレームに対応して生成した三次元情報を蓄積し統合していく。蓄積・統合は、各ステレオ画像のフレームに対応して生成した三次元情報をフレームごとのカメラの位置と姿勢を用いて実行していく。例えば、ある時点からのあるフレームのカメラの相対的な位置と姿勢をＴ，Ｒとすると、フレームに対応して生成された三次元情報を、対応するカメラ座標から、最初のフレームに対応する統合座標系に座標変換する。そして過去の三次元情報を加算するなどの処理により統合して統合していく。

このように算出した移動体の属性情報は、ある特定のフレーム間での静止・移動を判別した属性情報である。そのため、統合・蓄積された三次元空間マップ上で隣接する距離、類似した色情報の同一被写体と考えらえる領域が、過去に移動体領域であったものがある統合時点から静止領域に変わった場合は、蓄積された三次元空間マップ内でその領域の３次元点群を全て静止領域に変換するなど、マップの更新処理を行ってもよい。

以上のように、本実施形態によれば、移動するカメラで撮影したステレオ画像と時系列のステレオ画像の少なくともいずれかとの間でカメラの位置と姿勢を考慮して相関処理を行うことで移動体である可能性のある領域を判別できる。さらに、ステレオ画像および撮影時刻の異なるステレオ画像との間でカメラの位置と姿勢を考慮して相関処理を行うことで移動体領域を判別できる。また、各移動体の位置と姿勢の変化の情報も算出できる。

よって、移動するステレオカメラによる空間のマッピングにおいて、大きな記憶領域や高い処理能力が必要な処理が不要になり、静止領域と移動体領域を少ない計算量で判別できるようになる。

［実施形態２］次に、実施形態２について説明する。

まず、図９を参照して、実施形態２の撮像装置２００の構成および機能について説明する。

撮像装置２００は、１つ以上の撮像部２０１とカメラ状態取得部１０２、画像処理部２０３、記憶部１０４、を備える。

撮像部２０１は、図１０（ａ）に示すように、１つの撮像部で２つ以上のステレオ画像を撮像することができる瞳分割光学系である（特許文献３）。ステレオ画像の撮像部を２つ以上の撮像系を用いて実現する場合は、瞳分割光学系ではない普通の撮像系を用いてもよい。

瞳分割光学系では、同一光学系１００１の射出瞳１０３０の異なる瞳領域１０３１ａ、１０３１ｂを通過した光束１０３２ａ、１０３２ｂにより形成される被写体の光像（Ａ像、Ｂ像）間で相対的な視点位置のずれが生じる。そのため、射出瞳１０３０上におけるＡ像とＢ像を形成する重心間隔に対応する基線長を持つステレオ画像を撮像することが可能となる。

撮像素子１００３は、図１０（ｂ）に示すように多数の測距画素（以下、画素とも呼ぶ）１０１０Ｒ、１０１０Ｇ、１０１０Ｂがｘｙ平面上に二次元に配列されている。

各画素１０１０Ｒ、１０１０Ｇ、１０１０Ｂは、図１０（ｃ）に示すようにマイクロレンズ１０１１、カラーフィルタ１０２２Ｒ、１０２２Ｇ、１０２２Ｂ、光電変換部１０１０Ｒａ、１０１０Ｒｂ、１０１０Ｇａ、１０１０Ｇｂ、１０１０Ｂａ、１０１０Ｂｂ、導波路１０１３を含む。撮像素子１００３は画素ごとにカラーフィルタ１０２２Ｒ、１０２２Ｇ、１０２２Ｂによって検出する波長帯域に応じた分光特性が与えられ、それぞれ、主として赤光、緑光、青光を取得する画素となっている。図示しない公知の配色パターンによってｘｙ平面上に配置されている。基板１０２４は、検出する波長帯域で吸収を有する材料、例えばＳｉであり、イオン打ち込みなどで、内部の少なくとも一部の領域に各光電変換部が形成される。各画素は、図示しない配線を備えている。

光電変換部１０１０Ｒａ、１０１０Ｇａ、１０１０Ｂａ、１０１０Ｒｂ、１０１０Ｇｂ、１０１０Ｂｂには、それぞれ射出瞳１０３０の異なる領域である第１の瞳領域１０３１ａを通過した光束１０３２ａおよび第２の瞳領域１０３１ｂを通過した光束１０３２ｂが入射し、それぞれ第１の信号および第２の信号が得られる。Ａ像を形成する第１の信号を取得する光電変換部をＡ画素と呼び、Ｂ像を形成する第２の信号を取得する光電変換部をＢ画素と呼ぶ。各光電変換部で取得された信号は、一旦画像処理部２０３に転送され現像処理が施されステレオ画像のフレームが生成される。このように、撮像素子１００３上でステレオ画像間の同期処理を実施できるため、フレームレートを高速にしても同期の取れた基線長の小さな対応付けを行い易いステレオ画像を取得可能である。

カメラ状態取得部１０２、ステレオ画像の現像処理を除く画像処理部２０３、記憶部１０４の機能は実施形態１と同様であるため説明を省略する。

また、実施形態２の処理フローは実施形態１と同様のため説明を省略する。

以上のように、本実施形態においても、実施形態１と同等の作用効果を得ることができ、移動するステレオカメラによる空間のマッピングにおいて、大きな記憶領域や高い処理能力が必要な処理が不要になり、静止領域と移動体領域を少ない計算量で判別できるようになる。

［その他の実施形態］
本実施形態として適用可能な画像処理装置や撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ、車載カメラ、携帯電話やスマートフォンなどを含む。

本実施形態の画像処理または撮像装置を画像認識装置と結合して自動車に搭載する場合、走行線上に侵入してくる可能性のある歩行者や自転車等の危険度を、画像中の移動している領域のみに対して認識処理にかけることが可能となり、認識処理可能なフレームの向上や処理負荷の軽減に役立てることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、１０１…ステレオ画像入力部、１０２…カメラ状態取得部、１０３…画像処理部、１０４…記憶部

Claims

ステレオ画像を入力する入力手段と、
前記ステレオ画像を撮影したときの撮像装置の位置と姿勢の情報を取得する取得手段と、
ステレオ画像間の相関および撮影時刻の異なるステレオ画像間の相関から静止領域と移動体領域の判別を行い、三次元情報を生成する生成手段と、を有し、
前記生成手段は、前記撮像装置の位置と姿勢を考慮して、前記ステレオ画像間における相関を求めるための第１の相関処理を行い、当該ステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間における相関を求めるための第２の相関処理を行い、前記第１の相関処理により求められた相関と前記第２の相関処理により求められた相関との組み合わせにより静止領域および移動体である可能性の高い領域を判別することを特徴とする画像処理装置。
前記生成手段は、前記移動体の可能性領域に基づいて、前記ステレオ画像間で前記撮像装置の位置と姿勢を考慮して前記第１の相関処理を行い、当該ステレオ画像と撮影時刻の異なるステレオ画像との間で前記撮像装置の位置と姿勢および前記移動体の位置と姿勢の変化を考慮して第３の相関処理を行い、前記第１の相関処理により求められた相関と前記第３の相関処理により求められた相関との組み合わせにより移動体領域およびそれ以外の領域を判別することを特徴とする請求項１に記載の画像処理装置。
前記生成手段は、前記移動体領域の位置および／または姿勢の変化を算出することを特徴とする請求項２に記載の画像処理装置。
前記生成手段は、前記移動体の可能性領域が画像内に複数ある場合には領域ごとに移動体領域の判別処理を行うことを特徴とする請求項２または３に記載の画像処理装置。
前記生成手段は、前記移動体の可能性領域を分割して移動体領域の判別処理を行うことで剛体の領域と非剛体の領域を判別して各領域の位置と姿勢の変化を算出することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
前記第１の相関処理はプレーンスウィープ法を用いて行われ、前記第２の相関処理は、前記プレーンスウィープ法を用いた前記第１の相関処理の逆射影変換による相関処理であることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記生成手段は、前記第１の相関処理により求められた相関と前記第２の相関処理により求められた相関がいずれも高い領域を静止領域と判別し、前記第１の相関処理により求められた相関は高いが前記第２の相関処理により求められた相関は低い領域を前記移動体の可能性領域と判別することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記第３の相関処理は、前記第１の相関処理により生成された三次元情報と前記第２の相関処理により生成された三次元情報との間で、前記撮像装置の位置と姿勢および移動体の位置と姿勢の変化を考慮して三次元形状の対応付けを行い、移動体領域およびそれ以外の領域を判別することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
前記対応付けはＩＣＰ（ＩｔｒａｔｉｖｅＣｌｏｓｅｓｔＰｏｉｎｔ）法を用いて行われることを特徴とする請求項８に記載の画像処理装置。
前記生成手段は、前記静止領域および移動体領域の判別に用いた少なくとも２組の時系列のステレオ画像から空間マップを生成し、生成した空間マップを前記撮像装置の位置と姿勢を考慮して統合することを特徴とする請求項２から９のいずれか１項に記載の画像処理装置。
前記入力手段は撮像手段であり、
前記画像処理装置は前記撮像装置であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
前記撮像手段は瞳分割光学系を含み、少なくとも１つ備えることを特徴とする請求項１１に記載の画像処理装置。
入力手段が、ステレオ画像を入力する入力ステップと、
取得手段が、前記ステレオ画像を撮影したときの撮像装置の位置と姿勢の情報を取得する取得ステップと、
生成手段が、ステレオ画像間の相関および撮影時刻の異なるステレオ画像間の相関から静止領域と移動体領域の判別を行い、三次元情報を生成する生成ステップと、を有し、
前記生成ステップでは、前記撮像装置の位置と姿勢を考慮して、前記ステレオ画像間における相関を求めるための第１の相関処理を行い、当該ステレオ画像と撮影時刻の異なるステレオ画像の少なくともいずれかとの間における相関を求めるための第２の相関処理を行い、前記第１の相関処理により求められた相関と前記第２の相関処理により求められた相関との組み合わせにより静止領域および移動体である可能性の高い領域を判別することを特徴とする画像処理方法。
請求項１３に記載された画像処理方法を、コンピュータに実行させるためのプログラム。
請求項１３に記載された画像処理方法を、コンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。