JP2022126527A - 画像処理装置、ステレオカメラ装置、移動体及び画像処理方法 - Google Patents

Abstract

【課題】視差の算出精度を向上させる。【解決手段】画像処理装置１０は取得部１７と制御部２０とを有する。取得部１７は基準画像及び参照画像を取得する。制御部２０は探索領域と比較領域との第１の相違度に基づいて探索領域内の被写体像の視差を算出する。探索領域は基準画像内の基準点を含む。比較領域は参照画像内で基線長方向に沿って画素単位で変位する。制御部２０は基準画像内の各画素が被写体別にグループ分けされるようにクラスタリングを行う。制御部２０は探索領域において基準点が属する被写体と同一の被写体に属する画素に対して当該被写体以外の被写体に属する画素と異なる重付けを施して第１の相違度を算出する。【選択図】図１

Description

本発明は、画像処理装置、ステレオカメラ装置、移動体及び画像処理方法に関するものである。

ステレオカメラが撮像するステレオ画像それぞれにおいて、同じ物体の位置の違い（視差）に基づいて、実空間における当該物体の位置を算出することが知られている。視差の算出方法として、例えば、ブロックマッチング方式が用いられている。ブロックマッチングでは、ブロック内に背景が含まれる場合、異なる距離の物体が含まれやすくなるため、ブロックマッチングの一致度が低下する。そのため、視差の算出精度が低下し得る。また、屋外環境においては、ビル等の人工物特有の鉛直方向のエッジ情報及び水平方向のエッジ情報が多く含まれることがあり、これらのエッジ情報が、ブロックマッチングの一致度に大きな影響を与え得る。一致度に大きな影響を与えることにより、視差の算出精度が低下し得る。

そこで、ステレオペアにおける一次的な視差を算出し、当該一次的な視差に基づいてマッチングウィンドウのウィンドウサイズの拡大又は縮小を行うことが提案されている（特許文献１参照）。

特開２０１４－１７４９３０号公報

ブロックマッチングにおいて、ブロックに含まれる画素が属する物体の距離に応じてブロックの大きさを変更できれば、ブロックマッチングの一致度を高められると考えられる。しかし、一次的な視差の精度が低ければ、ブロックの大きさを変更させても、視差の算出精度を向上させることは困難である。また、鉛直方向及び水平方向のエッジ情報を含む画像に対してはブロックの大きさを変更したとしても、視差の算出精度を向上させることは困難である。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、視差の算出精度を向上させる画像処理装置、ステレオカメラ装置、移動体、及び画像処理方法を提供することにある。

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
ステレオカメラが撮像した基準画像及び参照画像を取得する取得部と、
前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する制御部と、を備え、
前記制御部は、
前記基準画像内の各画素が被写体別にグループ分けされるように、クラスタリングを行い、
前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する。

また、第２の観点によるステレオカメラ装置は、
基準画像及び参照画像を撮像するステレオカメラと、
前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置とを備え、
前記画像処理装置は、
前記基準画像内で、各画素を被写体別にクラスタリングを行い、
前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する。

また、第３の観点による移動体は、
基準画像及び参照画像を撮像するステレオカメラと、前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置とを有する、ステレオカメラ装置を備え、
前記ステレオカメラ装置は、
前記基準画像内で、各画素を被写体別にクラスタリングを行い、
前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する。

また、第４の観点による画像処理方法は、
ステレオカメラに基準画像及び参照画像を撮像させるステップと、
前記基準画像内で、各画素を被写体別にクラスタリングを行うステップと、
前記基準画像内の基準点を含む探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けになるように、各画素の重み付けを決定するステップと、
前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の第１の相違度と、前記各画素の重付けとに基づいて前記探索領域内の被写体像の視差を算出するステップと、を備える。

上記のように構成された本開示に係る画像処理装置、ステレオカメラ装置、移動体及び画像処理方法によれば、視差の算出精度が向上する。

本実施形態に係る画像処理装置を含むステレオカメラ装置の概略構成を示すブロック図である。 図１のステレオカメラの移動体における位置を概念的に例示する側面図である。 図１のステレオカメラの移動体における位置を概念的に例示する正面図である。 図１の制御部が実行する第１の位置算出処理を説明するためのフローチャートである。 図１の制御部が実行する第２の位置算出処理を説明するためのフローチャートである。 図１の制御部が実行する第３の位置算出処理を説明するためのフローチャートである。 視差の算出精度の説明のために例示した探索領域の画素の集合を示す図である。 図７で例示した探索領域に対応する範囲で切出した参照画像の画素の集合を示す図である。 図８の参照画像に対して指定される第１の比較領域、第２の比較領域、及び第３の比較領域の範囲を示す図である。

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。

図１に示すように、本開示を適用した画像処理装置１０を含むステレオカメラ装置１１は、ステレオカメラ１２及び画像処理装置１０を含む。図２に示すように、ステレオカメラ装置１１は、撮像したステレオ画像に基づいて、ステレオ画像に含まれる被写体像に相当する被写体の、移動体１３を基準にしたワールド座標系における位置を算出してよい。図１に示すように、ステレオカメラ装置１１は、被写体のワールド座標系の位置を外部装置１４に通知してよい。外部装置１４は、オートクルーズコントロールなどの走行支援装置、自動ブレーキ装置などの運転支援装置、被写体までの距離を報知する報知装置、ならびに警告を発する警告装置を含んでよい。

移動体１３は、例えば車両、船舶、航空機などを含んでよい。車両は、例えば、自動車、産業車両、鉄道車両、生活車両、滑走路を走行する固定翼機などを含んでよい。自動車は、例えば、乗用車、トラック、バス、二輪車、トロリーバスなどを含んでよい。産業車両は、例えば、農業、建設向けの産業車両などを含んでよい。産業車両は、例えば、フォークリフト、ゴルフカートなどを含んでよい。農業向けの産業車両は、例えば、トラクター、耕耘機、移植機、バインダー、コンバイン、芝刈り機などを含んでよい。建設向けの産業車両は、例えば、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、ロードローラなどを含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えば、マリンジェット、ボート、タンカーを含んでよい。航空機は、例えば、固定翼機、回転翼機などを含んでよい。

ステレオカメラ１２及び画像処理装置１０は、有線又は無線通信により通信可能であってよい。ステレオカメラ１２及び画像処理装置１０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線又は無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでよい。ステレオカメラ１２及び画像処理装置１０は、同一の筺体内に収納され一体的に構成されてよい。ステレオカメラ１２及び画像処理装置１０は、移動体１３内に位置し、移動体１３内のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と通信可能に構成されてよい。

図２に示すように、ステレオカメラ装置１１は、例えば、移動体１３に搭載されてよい。ステレオカメラ１２は、例えば、移動体１３の前方を撮像するように設置されてよい。ステレオカメラ１２は、例えば、後述する、ステレオカメラ１２に含まれる複数のカメラの少なくとも１つの光軸ＯＸは、移動体１３の前後方向に略平行となるように配置される。

ステレオカメラ１２は、移動体１３の多様な場所に搭載されてよい。ステレオカメラ１２は、例えば、移動体１３の内部に搭載され、ウインドシールドを介して移動体１３の外部を撮像する。ステレオカメラ１２は、ルームミラーの前方又はダッシュボード上に配置されてよい。ステレオカメラ１２は、移動体１３のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットのいずれかに固定されていてよい。

ステレオカメラ１２は、互いに視差を有する複数のカメラを含んでよい。図１に示すように、ステレオカメラ１２は、例えば、第１のカメラ１５及び第２のカメラ１６を含んでよい。ステレオカメラ１２は、複数のカメラを協働させて、複数の方向から対象を撮像してよい。ステレオカメラ１２は、単一の筐体に複数のカメラを含んでよい。ステレオカメラ１２は互いに独立し、且つ互いに離れて位置する２台以上のカメラを含んでよい。ステレオカメラ１２は、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラがステレオカメラ１２として採用され得る。

ステレオカメラ１２において、第１のカメラ１５及び第２のカメラ１６は、それぞれの光軸ＯＸが互いに同じ被写体を撮像可能な方向を向くように、位置してよい。第１のカメラ１５及び第２のカメラ１６は、撮像した画像に少なくとも同じ被写体像が含まれるように、光軸ＯＸ及び位置が定められてよい。第１のカメラ１５及び第２のカメラ１６の光軸ＯＸは、例えば、互いに平行である。光軸ＯＸが平行とは、厳密な平行に限定されず、組立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容してよい。第１のカメラ１５及び第２のカメラ１６の光軸ＯＸは、平行に限定されず、互いに異なる方向を向いてよい。

第１のカメラ１５及び第２のカメラ１６は、光軸ＯＸに交わる方向において離れて位置してよい。図３に示すように、第１のカメラ１５及び第２のカメラ１６は、移動体１３への取り付けにおいて定められている姿勢において、左右方向に沿って位置してよい。第１のカメラ１５及び第２のカメラ１６の位置の違いにより、各カメラで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１のカメラ１５が生成する基準画像、及び第２のカメラ１６が生成する参照画像は、異なる視点から撮像したステレオ画像である。第１のカメラ１５及び第２のカメラ１６は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像してよい。

第１のカメラ１５及び第２のカメラ１６は、それぞれ光軸ＯＸを規定する光学系と撮像素子とを備えてよい。第１のカメラ１５及び第２のカメラ１６はそれぞれ異なる光軸ＯＸを有してよい。光学系は、レンズ又はミラーを含み、被写体像を撮像素子の受光面に結像させてよい。撮像素子は、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）、又はＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）である。第１のカメラ１５及び第２のカメラ１６それぞれの撮像素子は、それぞれのカメラの光軸ＯＸに垂直な同一面内に存在してよい。第１のカメラ１５及び第２のカメラ１６それぞれの撮像素子は、行列状に配置される複数の画素を有してよい。第１のカメラ１５及び第２のカメラ１６の撮像素子において、画素の並ぶ行方向がステレオカメラ１２の基線長方向に平行であってよい。基線長方向は、第１のカメラ１５の撮像素子の受光面への光軸ＯＸの交点と、第２のカメラ１６の撮像素子の受光面への光軸ＯＸの交点とを通る直線の方向である。第１のカメラ１５及び第２のカメラ１６は、撮像素子に結像された画像を信号として生成する。第１のカメラ１５及び第２のカメラ１６は、撮像した画像に、歪み補正、明度調整、コントラスト調整、ガンマ補正などの任意の画像処理を施してよい。

図１に示すように、画像処理装置１０は、取得部１７、出力部１８、メモリ１９及び制御部２０を備える。画像処理装置１０は、移動体１３内において任意の位置に配置されてよい。画像処理装置１０は、例えば、移動体１３のダッシュボード内に配置される。

取得部１７は、ステレオカメラ１２及び外部機器から情報を取得する、画像処理装置１０の入力インタフェースである。取得部１７には、物理コネクタ、及び無線通信機が採用されてよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ及び電磁波による伝送に対応した電磁コネクタが含まれてよい。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ－１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ－５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ及びＢＮＣを含む同軸ケーブルに対応するコネクタが含まれてよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含んでよい。

取得部１７は、ステレオカメラ１２が撮像により生成した基準画像及び参照画像を信号として取得する。取得部１７は取得した基準画像及び参照画像を、制御部２０に引き渡す。取得部１７は、ステレオカメラ１２の撮像信号の伝送方式に対応してよい。取得部１７は、ネットワークを介してステレオカメラ１２の出力インタフェースに接続されてよい。

出力部１８は、画像処理装置１０が算出する被写体のワールド座標系における位置を、移動体１３内の他の装置又は他の移動体、路側機などの移動体１３外の外部装置１４に出力し得る、画像処理装置１０の出力インタフェースである。出力部１８は、取得部１７と同様に、有線及び無線の通信に対応した種々のインタフェースを含んでよい。出力部１８は、例えば、ＣＡＮのインタフェースを有し、移動体１３内の他の装置と通信を行う。

メモリ１９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含んでよい。メモリ１９は、制御部２０を機能させる多様なプログラム、及び制御部２０が用いる多様な情報を記憶してよい。

制御部２０は、１以上のプロセッサ及びメモリを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２０は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

制御部２０は、基準画像内の各画素が被写体別にグループ分けされるように、クラスタリングを行う。制御部２０は、多様な方法によりクラスタリングを行ってよい。制御部２０は、少なくとも１つの方法により、クラスタリングを行ってよい。制御部２０は、複数の方法を組合わせて、クラスタリングを行ってよい。

例えば、制御部２０は、以下に説明する、オプティカルフローに基づいて、クラスタリングを行ってよい。オプティカルフローに基づくクラスタリングを行うために、制御部２０は、基準画像を連続して取得してよい。基準画像を連続して取得とは、任意のフレームレートで、撮像時点が異なる２フレーム以上の基準画像を取得することを意味する。撮像時点が異なる２フレーム以上の基準画像は、撮像時点が連続するフレームの基準画像であってよい。

制御部２０は、例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法等の任意の方法により、基準画像の各画素におけるオプティカルフローを算出する。制御部２０は、算出した各画素のオプティカルフローの中で、オプティカルフロー、即ち連続する基準画像間での動きベクトルが同じ画素であって、互いに近接する画素を同一の被写体に属する画素とみなしてよい。制御部２０は、各画素を任意の被写体に属するとみなすことにより、被写体別にグループ分けしてよい。

また、例えば、制御部２０は、以下に説明する、オクルージョン領域に基づいて、クラスタリングを行ってよい。オクルージョン領域とは、近距離の被写体の周辺における遠距離の背景等の被写体領域のように、基準画像及び参照画像の一方に撮像され、他方には撮像されない領域である。

制御部２０は、基準画像から参照画像への視差、及び参照画像から基準画像への視差の比較によりオクルージョン領域を決定してよい。制御部２０は、ブロックマッチングにより、基準画像の各画素からの参照画像の各画素への第１の視差を算出してよい。また、制御部２０は、ブロックマッチングにより、参照画像の各画素からの基準画像の各画素への第２の視差を算出してよい。

制御部２０は、第１の視差及び第２の視差の比較に基づいて、相違性を算出してよい。相違性は、第１の視差及び極性を反転させた第２の視差の合計の絶対値であってよい。オクルージョン領域においては、第１の視差は、極性を反転させた第２の視差に相違する可能性が高い。そこで、制御部２０は、相違性が閾値以上である画素を、オクルージョン領域内の画素とみなしてよい。

制御部２０は、基準画像内で、オクルージョン領域内とみなし、且つ互いに隣接する画素により形成される輪郭を認識してよい。制御部２０は、認識した輪郭に基づいて、基準画像を複数の領域に区分けしてよい。制御部２０は、基準画像の各画素をいずれの領域内に含まれるかに基づいて、被写体別にグループ分けしてよい。

制御部２０は、以下に説明するように、少なくとも第１フィッティング関数を作成してよい。制御部２０は、基準画像内の任意の領域を探索領域に指定する。制御部２０は、例えば、任意の１画素を注目画素として、当該注目画素を含む所定の大きさの領域を探索領域に指定する。探索領域は、例えば、注目画素を中心としたｍ行ｎ列（ｍ、ｎは自然数）の大きさの領域であってよい。本願明細書において、注目画素に対応する基準画像内の点を基準点と呼ぶ。

制御部２０は、参照画像内で、探索領域の位置から基線長方向に沿って画素単位で変位させた領域を比較領域に指定する。制御部２０は、基線長方向に沿った両方向に１画素ずつ変位させて複数の比較領域を指定する。

制御部２０は、探索領域及び比較領域に含まれる部分画像同士の第１の相違度を算出する。制御部２０は、第１の相違度の算出において、以下に説明するように、クラスタリングに基づく重付けを施す。制御部２０は、探索領域内で基準点が属する被写体、言換えると、注目画素が属する被写体を判別する。制御部２０は、探索領域内で、注目画素が属する被写体と同一の被写体に属する画素を判別する。制御部２０は、注目画素と同一の被写体に属する画素に、当該被写体以外の被写体に属する画素と異なる重付けを施す。例えば、制御部２０は、注目画素と同一の被写体に属する画素に、当該被写体以外の被写体に属する画素よりも大きな重付けを施す。より具体的に説明すると、制御部２０は、注目画素と同じ被写体に属する画素の画素値と、比較領域内で当該画素と同じ位置に位置する画素の画素値との差分に、他の画素よりも大きく重付けた係数を乗じてよい。係数は、例えば、注目画素と同一の被写体に属する画素に対して２であり、注目画素の被写体とは異なる被写体に属する画素に対して１である。

制御部２０は、上述の係数を乗じた、探索領域及び比較領域内の同じ位置の画素の画素値の差分を用いて、第１の相違度を算出する。第１の相違度は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等の部分画像を構成する画素の画素値の相違に応じて変化する指数である。制御部２０は、変位させた位置別の複数の第１の相違度を算出する。

一般的に、相違度が極値である比較領域は、第１の相違度を算出した比較領域の中で最も探索領域に類似している。本実施形態において、第１の相違度の極値は、ＳＡＤ及びＳＳＤのように探索領域と比較領域との相違が大きくなるほど相違度が増加する構成においては、極小値である。

制御部２０は、複数の比較領域それぞれに対して算出した第１の相違度に基づいて、第１フィッティング関数を作成してよい。第１フィッティング関数は、探索領域に対して比較領域を基線長方向に移動させた移動量に対する第１の相違度の関係を示す関数である。第１フィッティング関数は、前述の移動量に対応する相違度を通るように、等角直線フィッティング又はパラボラフィッティング等を行うことにより作成されてよい。

制御部２０は、以下に説明するように、更に第２フィッティング関数を作成してよい。制御部２０は、基準画像及び参照画像の一方を基線長方向に０．５画素変位させてよい。０．５画素変位させるとは、例えば、画像を構成する画素を変位方向に沿って互いに隣接する画素値を平均することにより画素補間を行い、０．５画素変位させた位置の画素値を算出することを意味する。基準画像及び参照画像の一方の変位は、画像全体でなく、視差を算出する探索領域及び比較領域の周辺であってもよい。変位方向は－０．５画素としたマイナス方向であってよい。

制御部２０は、基準画像及び参照画像の一方を基線長方向に０．５画素変位させた状態で、第１フィッティング関数の作成時の画像全体の中の同じ位置で同じ大きさの領域を探索領域に指定してよい。

制御部２０は、基準画像及び参照画像の一方を基線長方向に０．５画素変位させた状態で、参照画像内で、探索領域の位置から基線長方向に沿って画素単位で変位させた領域を比較領域に指定してよい。制御部２０は、基線長方向に沿った両方向に１画素ずつ変位させて複数の比較領域を指定してよい。

制御部２０は、基準画像及び参照画像の一方を基線長方向に０．５画素変位させた状態で、探索領域及び比較領域に含まれる部分画像同士の第２の相違度を算出してよい。制御部２０は、第２の相違度の算出において、第１の相違度の算出と類似して、クラスタリングに基づく重付けを施してよい。

制御部２０は、基準画像を０．５画素変位させる構成において、０．５画素変位させた基準画像に対してクラスタリングを行うことにより、０．５画素変位させた基準画像の各画素を被写体別にグループ分けしてよい。または、制御部２０は、第１の相違度の算出に用いた基準画像のクラスタリングを０．５画素変位させることにより、０．５画素変位させた基準画像の各画素を被写体別にグループ分けしてよい。制御部２０は、参照画像を０．５画素変位させる構成においては、第１の相違度の算出に用いたクラスタリングをそのまま、第２の相違度の算出に適用してよい。

制御部２０は、第２の相違度の算出において、探索領域内で、注目画素が属する被写体と同一の被写体に属する画素を判別してよい。制御部２０は、注目画素と同一の被写体に属する画素に、当該被写体以外の被写体に属する画素と異なる重付けを施してよい。例えば、制御部２０は、注目画素と同一の被写体に属する画素に、当該被写体以外の被写体に属する画素よりも大きな重付けを施してよい。

制御部２０は、第１の相違度の算出と類似して、重付けに応じた係数を乗じた探索領域及び比較領域内の同じ位置の画素の画素値の差分を用いて、第２の相違度を算出してよい。第２の相違度は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等の部分画像を構成する画素の画素値の相違に応じて変化する指数として、第１の相違度の算出に用いられた算出式とを同じ算出式が適用された指数である。制御部２０は、変位させた位置別の複数の第２の相違度を算出してよい。

制御部２０は、基準画像及び参照画像の一方を基線長方向に０．５画素変位させた状態で、複数の比較領域それぞれに対して算出した第２の相違度に基づいて、第２フィッティング関数を作成してよい。第２フィッティング関数は、探索領域に対して比較領域を基線長方向に移動させた移動量に対する相違度の関係を示す関数であってよい。制御部２０は、等角直線フィッティング又はパラボラフィッティング等の方法の中で第１フィッティング関数の算出に採用した方法と同じ方法で、第２フィッティング関数を作成してよい。

制御部２０は、第１の相違度に基づいて、探索領域内の被写体像の視差を算出する。より具体的には、制御部２０は、第１の相違度により作成される第１フィッティング関数に基づいて、視差を算出する。制御部２０は、第１フッティング関数の第１の相違度が最小となる移動量を、視差として算出してよい。

制御部２０は、第２フィッティング関数を更に作成した構成においては、第２の相違度にも基づいて視差を算出してよい。より具体的には、制御部２０は、第２の相違度により作成される第２フィッティング関数に基づいて、視差を算出してよい。より詳細には、制御部２０は、第１フィッティング関数及び第２フィッティング関数の、同じ移動量における第１の相違度及び第２の相違度を合計又は平均化したフィッティング関数において第１の相違度及び第２の相違度の合計値又は平均値が最小となる移動量を、視差として算出してよい。

制御部２０は、算出した視差、外部標定要素、及び内部標定要素に基づいて、探索領域内の被写体像に対応する被写体のワールド座標系における位置を算出してよい。制御部２０は、算出した被写体のワールド座標系の位置を外部装置１４に出力するように、出力部１８を制御してよい。制御部２０は、基準画像の一部または基準画像のすべてを順次比較領域に指定して、画素毎に被写体の位置を算出してよい。

次に、本実施形態において制御部２０が実行する、第１の位置算出処理について、図４のフローチャートを用いて説明する。第１の位置算出処理では、第２の相違度の算出のために、基準画像を０．５画素変位させ、変位させた基準画像に対してクラスタリングが行われる。第１の位置算出処理は、ステレオカメラ１２から１フレームの基準画像及び参照画像を取得するたびに開始する。

ステップＳ１００において、制御部２０は、基準画像を０．５画素の移動量で変位させる。変位後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部２０は、基準画像及びステップＳ１００において０．５画素変位させた基準画像に、クラスタリングを行う。オプティカルフローに基づくクラスタリングを行う構成においては、直前のフレームの基準画像を、第１の位置算出処理の開始時に取得したフレームの基準画像とともに用いてオプティカルフローを算出する。オクルージョン領域に基づくクラスタリングを行う構成においては、第１の位置算出処理の開始時に取得したフレームの基準画像を用いてオクルージョン領域を算出してよい。クラスタリング後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部２０は、基準画像及びステップＳ１００において０．５画素変位させた基準画像に対して指定すべき領域の中で、未指定である領域の中から探索領域を指定する。指定後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、制御部２０は、探索領域における注目画素が、ステップＳ１０１においてクラスタリングしたいずれの被写体に属するかを判別する。さらに、制御部２０は、探索領域の各画素が注目画素と同じ被写体に属するか否かに基づいて、各画素の重付けを決定する。決定後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部２０は、ステップＳ１０２において指定した探索領域に対して、複数の比較領域を指定する。さらに、制御部２０は、ステップＳ１０２において指定した探索領域、複数の比較領域、及びステップＳ１０３において決定した重付けに基づいて、第１の相違度及び第２の相違度を算出する。算出後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、制御部２０は、ステップＳ１０４において算出した第１の相違度に基づいて、第１フィッティング関数を作成する。さらに、制御部２０は、ステップＳ１０４において算出した第２の相違度に基づいて、第２フィッティング関数を作成する。作成後、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、制御部２０は、ステップＳ１０５において作成した第１フィッティング関数及び第２フィッティング関数に基づいて、視差を算出する。視差の算出後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、制御部２０は、ステップＳ１０６において算出した視差、外部標定要素、及び内部標定要素に基づいて、ステップＳ１０２において指定した探索領域に含まれる被写体像に対応する被写体の位置を算出する。算出後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、制御部２０は、ステップＳ１０７において算出した位置を外部装置１４に出力するように出力部１８を制御する。出力後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、制御部２０は、基準画像及びステップＳ１００において０．５画素変位させた基準画像に対して指定すべき領域のすべてが探索領域として指定されたか否かを判別する。一部が指定されていない場合、プロセスはステップＳ１０２に戻る。すべての指定すべき領域が指定済みである場合、第１の位置算出処理は終了する。

次に、本実施形態において制御部２０が実行する、第２の位置算出処理について、図５のフローチャートを用いて説明する。第２の位置算出処理では、第２の相違度の算出のために、基準画像を０．５画素変位させ、元の基準画像に対して行ったクラスタリングによる各画素の被写体別のグループ分けを０．５画素の移動量で基準画素と同じ方向に変位させることにより、０．５画素変位させた基準画像に対するクラスタリングの結果が得られる。第１の位置算出処理は、ステレオカメラ１２から１フレームの基準画像及び参照画像を取得するたびに開始する。

ステップＳ２００において、制御部２０は、基準画像を０．５画素の移動量で変位させる。変位後、プロセスはステップＳ２０１に進む。

ステップＳ２０１では、制御部２０は、基準画像に、クラスタリングを行う。オプティカルフローに基づくクラスタリングを行う構成においては、直前のフレームの基準画像を、第１の位置算出処理の開始時に取得したフレームの基準画像とともに用いてオプティカルフローを算出する。オクルージョン領域に基づくクラスタリングを行う構成においては、第１の位置算出処理の開始時に取得したフレームの基準画像を用いてオクルージョン領域を算出してよい。クラスタリング後、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、制御部２０は、ステップＳ２０１で行ったクラスタリングによる各画素の被写体別のグループ分けを０．５画素の移動量で基準画素と同じ方向に変位させる。変位後、プロセスはステップＳ２０３に進む。

ステップＳ２０３では、制御部２０は、基準画像及びステップＳ１００において０．５画素変位させた基準画像に対して指定すべき領域の中で、未指定である領域の中から探索領域を指定する。指定後、プロセスはステップＳ２０４に進む。

ステップＳ２０４では、制御部２０は、基準画像の探索領域における注目画素が、ステップＳ２０１においてクラスタリングしたいずれの被写体に属するかを判別する。また、制御部２０は、０．５画素変位させた基準画像の探索領域における注目画素が、ステップＳ２０２において０．５画素変位させたいずれの被写体別に属するかを判別する。さらに、制御部２０は、探索領域の各画素が注目画素と同じ被写体に属するか否かに基づいて、各画素の重付けを決定する。決定後、プロセスはステップＳ２０５に進む。

ステップＳ２０５からＳ２１０では、制御部２０は、第１の位置算出処理におけるステップＳ１０４からＳ１０９に類似した処理を行う。ステップＳ２１０において、すべての指定すべき領域が指定済みである場合、第２の位置算出処理は終了する。

次に、本実施形態において制御部２０が実行する、第３の位置算出処理について、図６のフローチャートを用いて説明する。第３の位置算出処理では、第２の相違度の算出のために、参照画像を０．５画素変位させる。第３の位置算出処理は、ステレオカメラ１２から１フレームの基準画像及び参照画像を取得するたびに開始する。

ステップＳ３００において、制御部２０は、参照画像を０．５画素の移動量で変位させる。変位後、プロセスはステップＳ３０２に進む。

ステップＳ３０１では、制御部２０は、基準画像に、クラスタリングを行う。オプティカルフローに基づくクラスタリングを行う構成においては、直前のフレームの基準画像を、第１の位置算出処理の開始時に取得したフレームの基準画像とともに用いてオプティカルフローを算出する。オクルージョン領域に基づくクラスタリングを行う構成においては、第１の位置算出処理の開始時に取得したフレームの基準画像を用いてオクルージョン領域を算出してよい。クラスタリング後、プロセスはステップＳ３０２に進む。

ステップＳ３０２では、制御部２０は、基準画像に対して指定すべき領域の中で、未指定である領域の中から探索領域を指定する。指定後、プロセスはステップＳ３０３に進む。

ステップＳ３０３では、制御部２０は、探索領域における注目画素が、ステップＳ３０１においてクラスタリングしたいずれの被写体に属するかを判別する。さらに、制御部２０は、探索領域の各画素が注目画素と同じ被写体に属するか否かに基づいて、各画素の重付けを決定する。決定後、プロセスはステップＳ３０４に進む。

ステップＳ３０４では、制御部２０は、ステップＳ３０２において指定した探索領域に対して、参照画像中で、複数の比較領域を指定する。また、制御部２０は、当該探索領域に対して、ステップＳ３００において０．５画素変位させた参照画像中で、複数の比較領域を指定する。さらに、制御部２０は、ステップＳ３０２において指定した探索領域、複数の比較領域、及びステップＳ３０３において決定した重付けに基づいて、第１の相違度及び第２の相違度を算出する。算出後、プロセスはステップＳ３０５に進む。

ステップＳ３０５からＳ３０９では、制御部２０は、第１の位置算出処理におけるステップＳ１０５からＳ１０９に類似した処理を行う。ステップＳ３０９において、すべての指定すべき領域が指定済みである場合、第３の位置算出処理は終了する。

以上のような構成の本実施形態の画像処理装置１０は、基準画像内の基準点を含む探索領域と参照画像内で基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて探索領域内の被写体像の視差を算出する制御部２０を有し、制御部２０は、基準画像内の各画素が被写体別にグループ分けされるようにクラスタリングを行い、探索領域において基準点が属する被写体と同一の被写体に属する画素に対して、当該被写体以外の被写体に属する画素よりも大きな重付けを施して、第１の相違度を算出する。撮像した画像中には、観測対象の種類の被写体とともに、当該被写体の背景となる被写体の像が含まれることが一般的である。背景には距離の異なる複数の被写体が含まれることがあるため、ブロックマッチングによる視差の算出精度が低下する。特に、屋外の自然環境においてはビル等の鉛直方向及び水平方向のエッジ情報が画像に多く含まれるので、ブロックマッチングを用いた視差算出において、エッジ情報の強い影響により視差の算出精度がさらに低下する。このような事象に対して、上述の構成の画像処理装置１０は、以下に具体例を用いて説明するように、注目画素と同じ被写体に属する画素に大きな重付けが施されるので、正確な視差以外の視差におけるフィッティング関数を大きく増大させる。したがって、画像処理装置１０は、正確な視差に対するフィッティング関数の値が、正確でない視差に対するフィッティング関数の値よりも小さくなる可能性を高める。それゆえ、画像処理装置１０は、視差の算出精度を向上させる。

視差の算出精度の説明のために、図７に示すように、５行５列の探索領域ＳＲが例示される。図示の探索領域ＳＲでは、中央の注目画素ＦＰがステレオカメラ１２から近距離に位置する被写体Ａに属する。また、探索領域ＳＲでは、注目画素ＦＰから右側１列且つ下側２列の、注目画素ＦＰを含めた６個の画素が、当該被写体Ａに属する。当該被写体Ａに属する画素の輝度は、５０である。探索領域ＳＲにおける左端の１列に並ぶ５画素は中距離の被写体Ｂに属する。当該被写体Ｂに属する画素の輝度は、１００である。探索領域ＳＲにおいて、被写体Ａ及び被写体Ｂに属する画素以外の全画素は、遠距離の被写体Ｃに属する。当該被写体Ｃに属する画素の輝度は、２００である。

また、図８に示すように、図７の探索領域ＳＲに対応する、５行７列に切出した参照画像ＲＩが例示される。図示の参照画像ＲＩには、左端２列及び右端１列に並ぶ合計１５画素は中距離の被写体Ｂに属する。また、参照画像ＲＩには、右端から２、３列目の下端から１から３行目に並ぶ合計６画素は近距離の被写体Ａに属する。参照画像ＲＩにおいて、被写体Ａ及び被写体Ｂに属する画素以外の全画素は、遠距離の被写体Ｃに属する。

図９に示すように、参照画像ＲＩにおいて、左端の１列目を含む５行５列の画素の領域が、第１の比較領域ＣＲ１に定められる。参照画像ＲＩにおいて、左端の２列目を含む５行５列の画素の領域が、第２の比較領域ＣＲ２に定められる。参照画像ＲＩにおいて、左端の３列目を含む５行５列の画素の領域が、第３の比較領域ＣＲ３に定められる。図示の参照画像ＲＩに対しては、第３の比較領域ＣＲ３が正確な視差に相当する領域である。

図７に例示した探索領域ＳＲ、並びに図９に例示した第１の比較領域ＣＲ１、第２の比較領域ＣＲ２、及びに第３の比較領域ＣＲ３対して、以下のように第１の相違度が算出される。第１の相違度は、重付けを施さない構成及び本実施形態のように重付けを施す構成で別々に算出される。本例示において、第１の相違度は、ＳＡＤにより算出される。重付け係数は、注目画素ＦＰと同じ被写体に属する画素に対して２、当該被写体と異なる被写体に属する画素に対して１とする。

重付けを施さない構成で、第１の相違度は、第１の比較領域ＣＲ１に対して、１８５０である。重付けを施さない構成で、第１の相違度は、第２の比較領域ＣＲ２に対して、９００である。重付けを施さない構成で、第１の相違度は、第３の比較領域ＣＲ３に対して、１０００である。したがって、重付けを施さない構成では、第１の相違度は、第２の比較領域ＣＲ２において極小となる。

重付けを施す構成で、第１の相違度は、第１の比較領域ＣＲ１に対して、２７５０である。重付けを施す構成で、第１の相違度は、第２の比較領域ＣＲ２に対して、１３５０である。重付けを施す構成で、第１の相違度は、第３の比較領域ＣＲ３に対して、１０００である。したがって、重付けを施す構成では、第１の相違度は、第３の比較領域ＣＲ３において極小となる。

また、本実施形態の画像処理装置１０は、オプティカルフローに基づいてクラスタリングを行う。オプティカルフローが同じである画素は、同じ被写体像を表示している可能性が高い。それゆえ、上述の構成を有する画像処理装置１０は、被写体に対応する被写体像のクラスタリングの正確性を向上させる。

また、本実施形態の画像処理装置１０は、基準画像の各画素からの参照画像の各画素への視差と、当該参照画像の各画素からの基準画像の各画素への視差との比較による相違性を算出し、当該相違性が閾値以上である画素が構成する輪郭で区分けすることによりクラスタリングを行う。このような構成により、画像処理装置１０は、静止している被写体であっても、当該被写体に対応する被写体像のクラスタリングの正確性を向上させる。

また、本実施形態の画像処理装置１０は、複数の方法を組合わせてクラスタリングを行う。このような構成により、画像処理装置１０は、実際には異なる被写体を、画像において、より正確にグループ分けし得る。例えば、オプティカルフローに基づくクラスタリングでは、動きの少ない被写体に対しては画像によるグループ分けは困難である。一方、オクルージョン領域に基づくクラスタリングは、動きの少ない被写体に対しても画像によるグループ分けを行い得る。したがって、これらを組合わせることにより、上述のように、実際には異なる被写体が、より正確にグループ分けされ得る。

また、画像処理装置１０は、基準画像内の基準点を含む探索領域と参照画像内で基線長方向に沿って画素単位で変位させる比較領域との第１の相違度と、基準画像及び参照画像の一方を基線長方向に０．５画素変位させた状態で基準画像の探索領域と参照画像内で基線長方向に沿って画素単位で変位させる比較領域との第２の相違度とに基づいて、言換えると、第１フィッティング関数及び第２フィッティング関数に基づいて、探索領域内の被写体像の視差を算出する。このような構成、言換えるとＥＥＣ方式により、画像処理装置１０は、サブピクセル推定における系統誤差を低減し得る。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

本開示において「第１」、「第２」などの記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」などの記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１のカメラは、第２のカメラと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」などの識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 画像処理装置
１１ ステレオカメラ装置
１２ ステレオカメラ
１３ 移動体
１４ 外部装置
１５ 第１のカメラ
１６ 第２のカメラ
１７ 取得部
１８ 出力部
１９ メモリ
２０ 制御部
ＣＲ１ 第１の比較領域
ＣＲ２ 第２の比較領域
ＣＲ３ 第３の比較領域
ＦＰ 注目画素
ＲＩ 参照画像
ＳＲ 探索領域

Claims (8)

1. ステレオカメラが撮像した基準画像及び参照画像を取得する取得部と、
   前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する制御部と、を備え、
   前記制御部は、
   前記基準画像内の各画素が被写体別にグループ分けされるように、クラスタリングを行い、
   前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記制御部は、少なくとも１つの方法により、前記クラスタリングを行う
   画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記取得部は、前記基準画像を連続して取得し、
   前記制御部は、撮像時点の異なる基準画像間のオプティカルフローに基づいて、前記クラスタリングを行う
   画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置において、
   前記制御部は、前記基準画像の各画素からの前記参照画像の各画素への視差と、該参照画像の各画素からの前記基準画像の各画素への視差との比較による相違性を算出し、該相違性が閾値以上である画素が構成する輪郭で区分けすることにより、前記クラスタリングを行う
   画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置において、
   前記制御部は、
   前記基準画像及び前記参照画像の一方を前記基線長方向に０．５画素変位させた状態で前記基準画像の探索領域と前記参照画像内で前記基線長方向に沿って画素単位で変位させる比較領域との第２の相違度にも基づいて、前記視差を算出し、
   前記第２の相違度の算出に用いる探索領域において、該探索領域の基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施す
   画像処理装置。
6. 基準画像及び参照画像を撮像するステレオカメラと、
   前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置とを備え、
   前記画像処理装置は、
   前記基準画像内で、各画素を被写体別にクラスタリングを行い、
   前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する
   ステレオカメラ装置。
7. 基準画像及び参照画像を撮像するステレオカメラと、前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との第１の相違度に基づいて前記探索領域内の被写体像の視差を算出する画像処理装置とを有する、ステレオカメラ装置を備え、
   前記ステレオカメラ装置は、
   前記基準画像内で、各画素を被写体別にクラスタリングを行い、
   前記探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けを施して、前記第１の相違度を算出する
   移動体。
8. ステレオカメラに基準画像及び参照画像を撮像させるステップと、
   前記基準画像内で、各画素を被写体別にクラスタリングを行うステップと、
   前記基準画像内の基準点を含む探索領域において、前記基準点が属する被写体と同一の被写体に属する画素に対して、該被写体以外の被写体に属する画素と異なる重付けになるように、各画素の重付けを決定するステップと、
   前記基準画像内の基準点を含む探索領域と前記参照画像内で前記ステレオカメラの基線長方向に沿って画素単位で変位させる比較領域との複数の第１の相違度と、前記各画素の重付けとに基づいて前記探索領域内の被写体像の視差を算出するステップと、を備える
   画像処理方法。
   

Images