JP2017162024A - ステレオマッチングの処理方法、処理プログラムおよび処理装置 - Google Patents

Abstract

【課題】高速処理が可能であり、低遅延のリアルタイム処理を実現できる、線分情報を用いたステレオマッチング処理方法、処理プログラム２および処理装置１を提供する。【解決手段】ステレオマッチング処理方法として、基準画像３から第一の線分５を抽出するステップと、前記第一の線分５上の画素に対応する対応点を前記基準画像３とは別の探索画像４から求めるステップと、求めた前記対応点を基に前記探索画像４の第二の線分６の第二の始点10および第二の終点11を求めるステップと、前記第一の線分５の第一の始点８および第一の終点９と、求めた前記第二の始点10および前記第二の終点11とを基に、3次元線分Lを求めるステップとを含む構成とした。【選択図】図３

Description

本発明はステレオマッチングの処理方法、処理プログラムおよび処理装置に関し、特に2次元線分情報から3次元線分を抽出するステレオマッチングの処理方法、処理プログラムおよび処理装置に関する。

近年、ステレオマッチングと呼ばれる、カメラから被写体までの距離測定を目的とした画像処理技術が盛んに研究されている。そのステレオマッチングの応用例として、自己位置推定と環境地図（物の配置やどこに壁があるかなどの周辺環境の情報を記述した地図）の作成を同時に行うSLAM（Simultaneous Localization and Mapping）技術が研究されている。特に、画像中の特徴点情報ではなく、線分情報を用いた線分ベースSLAMは、テクスチャの少ない環境下で安定的に動作する技術として注目されている。また、ステレオマッチングの別な応用例として、無人航空機（Unmanned Aerial Vehicle，UAV）や災害用ロボット等へ搭載し、自己位置推定や環境地図の作成だけでなく、姿勢制御や速度測定への適用が期待されている。このため、リアルタイムでステレオマッチングを実行できる、簡便で高速なアルゴリズムの開発が求められている。

ステレオマッチングの一手法として、絶対差（SAD: the Sum of Absolute Difference）の和を整合基準とし、探索プロセスの間にマッチング処理を制限し、左画像中の参照ブロックと、右画像中の不適格な候補ブロックとの間の不必要な整合基準の計算を終了し、できる限り早期に不適格ブロックを除去して、各画素の最適視差を保証する手法が提案されている（例えば、非特許文献１参照）。

その他、3次元線分を抽出する方法として、Microsoft社のKinect（登録商標）が取得したRGB-D画像に対し、LSD（fast Line Segment Detector）を用いて2次元線分を検出し、検出された2次元線分から3次元線分の位置を算出する方法が提案されている（例えば、非特許文献２参照）。

Tao, T., et al., "A Fast Block Matching Algorithm for Stereo Correspondence", Proceedings of IEEE 2008 Conference on Cybernetics and Intelligent Systems, Chengdu, China, September 21-24, 2008, pp. 38-41. 中山祐介他，"カメラ位置姿勢推定のためのRBG-Dカメラによる3次元線分モデル生成法"，映像情報メディア学会誌Vol.69，No.4，pp.J148-J159（2015）

上記非特許文献１のステレオマッチング手法では、画像全域の対応点の探索が必要であり、計算量が多いという問題がある。

上記非特許文献２の3次元線分抽出方法では、奥行き情報の誤差除去や、LSDの実行に多くの計算時間を要するという問題がある。また、該抽出方法を使用した装置では、Microsoft社のKinect（登録商標）を必要とし、汎用性に欠けるという問題もある。

このように、組込みシステムでのリアルタイム処理を考えた場合、既存手法は計算量が多く、計算時間を要するという問題を抱えている。

本発明は、このような事情に鑑みてなされたものであり、高速処理が可能であり、低遅延のリアルタイム処理を実現できる、線分情報を用いたステレオマッチング処理方法、処理プログラムおよび処理装置を提供することを課題とする。

かかる課題を解決するため、本発明によるステレオマッチング処理方法は、基準画像から第一の線分を抽出するステップと、第一の線分上の画素に対応する対応点を基準画像とは別の探索画像から求めるステップと、求めた対応点を基に探索画像の第二の線分の第二の始点および第二の終点を求めるステップと、第一の線分の第一の始点および第一の終点と、求めた第二の始点および第二の終点とを基に、3次元線分を求めるステップとを含むことを特徴とする。

また、本発明によるステレオマッチング処理プログラムは、基準画像から第一の線分を抽出するステップと、第一の線分上の画素に対応する対応点を基準画像とは別の探索画像から求めるステップと、求めた対応点を基に探索画像の第二の線分の第二始点および第二終点を求めるステップと、第一の線分の第一の始点および第一の終点と、求めた第二の始点および第二の終点とを基に、3次元線分を求めるステップとを、コンピュータに実行させることを特徴とする。

また、本発明によるステレオマッチング処理装置は、基準画像から第一の線分を抽出する第一の線分抽出部と、第一の線分上の画素に対応する対応点を基準画像とは別の探索画像から求める対応点導出部と、求めた対応点を基に探索画像の第二の線分の第二始点および第二終点を求める端点導出部と、第一の線分の第一の始点および第一の終点と、求めた第二の始点および第二の終点とを基に、3次元線分を求める3次元線分導出部とを備えることを特徴とする。

本発明のステレオマッチング処理方法、処理プログラムおよび処理装置によれば、探索画像上の第二の線分の端点を求めるために、第一の線分上の画素に対応する対応点を探索画像から求めることで、高速探索処理が可能であり、高解像度映像の距離計測のためのリアルタイム処理を低遅延で実現することができる。

本発明の実施の形態に係るステレオマッチング処理装置の構成を概略的に示すブロック図である。 OPLSD（One-Pass Line Segment Detector）による線分抽出の流れを示すフロー図である。 本発明の実施の形態に係るステレオマッチング処理のフロー図である。 同上、左画像中の任意の2次元線分l_iから3次元線分L_iを求めるフロー図である。 同上、対応点の探索する方法のフロー図である。 同上、左画像中の任意の2次元線分l_iから3次元線分Liを求めるステップの一部を示す説明図である。 同上、左画像中の任意の2次元線分l_iから3次元線分Liを求めるステップの一部を示す説明図である。 同上、左画像中の任意の2次元線分l_iから3次元線分Liを求めるステップの一部を示す説明図である。 同上、左画像中の任意の2次元線分l_iから3次元線分Liを求めるステップの一部を示す説明図である。 同上、粗密探索に使用するピラミッド画像を示す説明図である。 同上、粗密探索の説明図である。 同上、コンピュータの構成の一例を概略的に示す図である。 同上、第一のカメラで撮影した基準画像である。 同上、第二のカメラで撮影した探索画像である。 同上、基準画像および探索画像からステレオマッチング処理により求めた出力画像である。 同上、第一のカメラで撮影した基準画像である。 同上、基準画像および探索画像からステレオマッチング処理により求めた出力画像である。

以下、本発明の実施の形態における、ステレオマッチング処理方法、ステレオマッチング処理プログラム１およびステレオマッチング装置２について、図面を参照しながら説明する。

図１は本実施の形態のステレオマッチング処理装置１の構成を概略的に示すブロック図である。探索画像を撮影する撮像部45は、所定の間隔でセットされた、左画像を撮像する第一のカメラ46と右画像を撮像する第二のカメラ47とを備え、ステレオマッチング処理装置１に接続される。処理装置１は、第一のカメラ46から得られた左画像と第二のカメラ47から得られた右画像とを用いて、ステレオマッチング処理を行う。

本実施の形態では、処理装置１は、第一の線分抽出部20と対応点導出部21と端点導出部22と3次元線分導出部23を備える。第一の線分抽出部20は、基準画像（例えば左画像）から第一の線分を抽出する。対応点導出部21は、第一の線分上の画素に対応する対応点を基準画像とは別の探索画像（例えば右画像）から求める。端点導出部22は、求めた対応点を基に探索画像の第二の線分の始点と終点を求める。3次元線分導出部23は、第一の線分の始点および終点と、第二の線分について求めた始点および終点とを基に、3次元線分Lを求める。処理装置１に接続された画像表示部48は、求められた3次元線分Lを表示する。

本実施の形態では、まず、ステレオ画像の中の基準となる一方の画像たる基準画像から、本件発明者らが開発した線分抽出手法である、OPLSD（One-Pass Line Segment Detector）法を用いて第一の線分を抽出する。OPLSDについては、清水 嘉泰他「フレームバッファの不要な1-pass 線分抽出法」情報・システムソサイエティ特別企画 学生ポスターセッション予稿集2014 ISS-SP-363等を参照することができる。ステレオ画像とは、第一のカメラ46および第二のカメラ47の2台のカメラで、異なる位置からほぼ同一の撮像対象を撮影した2つの画像である。以下、便宜的に、第一のカメラ46を左側に配置して撮影した画像を左画像３、第二のカメラ47を右側に配置して撮影した画像を右画像４と表記し、左画像３を基準画像、右画像４を探索画像とする。

図２は、OPLSDによる線分抽出の流れを示すフロー図である。OPLSDは、エッジ抽出30、端点候補抽出31、連結成分分析32および線分判定33の4つの処理で構成され、一連の処理が1-pass処理として実装される。該処理を実行する際には、ラインバッファ等を使用するため、１フレームの画像全体を記憶するためのフレームバッファが不要であり、メモリ使用量を大幅に少なくすることができる。また、処理量を少なくすることができるため、低遅延なリアルタイムでの実効処理が可能となる。なお、OPLSDの処理はソフトウェアをインストールしてコンピュータに実行させる他、FPGA（Field Programmable Gate Array）等へ実装して行うことも可能である。

図２において、初めに、エッジ抽出処理30で、入力画像中のエッジを1画素の線幅で抽出する。次に、端点候補抽出処理31で、エッジ抽出処理30で得られたエッジ画素の内、線分の端点（始点および終点）となり得る画素を、端点候補として抽出する。続いて、連結成分分析処理32で、端点候補画素で挟まれたエッジ画素をラベル付けしていき、ラベル付けが完了したエッジ領域を仮線分として抽出する。続いて、線分判定処理33で、連結成分分析処理32で得られた仮線分が線分として相応しいかどうかを判定する。該判定では、短すぎたり、折れ曲がっていたりする仮線分が排除され、長く直線状に伸びた仮線分のみが線分として抽出される。

OPLSDを用いた場合、例えば、複数種類のディスプレイの評価用ツールとしてWebで公開されているTESTIMAGES GRAY のテスト画像群（100 枚，1200×1200）を用いて既存手法との比較実験を行うと、既存手法の1/72 倍以下のメモリ使用量（推定値）で、2.4 倍以上の高速化を達成できることが確認されている。OPLSDの線分抽出結果の特徴として、既存手法よりも抽出される線分数が若干少ないものの、木や枝の線分をほとんど抽出していないことが挙げられる。消失点検出などへの応用を考えた場合、木などの構造物でない線分は極力抽出されないことが望まれる。したがって、OPLSDは高位な画像処理への応用に適している。

次に、図３のフロー図を基に、ステレオ画像間の対応線分を探索し、３次元線分を求める方法について説明する。OPLSDを用いて、左画像３たる基準画像からの第一の線分５を抽出する。第一の線分５の抽出方法として、先に図２のフローで説明した方法と同じ処理を用いることができる。図中、図２と同じ処理には同一の符号を付している。続いて、対応線分探索処理41で、該第一の線分５の画素に対して対象となる右画像４たる探索画像の対応点を求める。なお、左画像３および右画像４に対して行うピラミッド画像の作成処理40は粗密探索法を用いて対応線分探索処理41を行うために用いるものであり、詳しくは後述する。

次に、対応線分探索処理41の具体例として、左画像３中の任意の2次元線分l_iから3次元線分L_iを求めるフロー図を図４に示す。まず、ステップS101で、線分l_i上の画素に対応する右画像４中の対応点（対応する画素）の探索を行う。対応点が見つかった場合には、ステップS102で視差の計算を行い、ステップS103で線分l_i上の次の画素に移る。ここで、視差とは、左右の画像での対応点が何画素分ずれて映っているかという計算に相当し、左画像３中の画素の座標が(x_l,y_l)、右画像４中の画素の座標が(x_r,y_r)とすると、視差＝x_l−x_rとなる。右画像４中の対応点が見つからなかった場合には、ステップS102の処理を行わずにステップS103に移る。ステップS103で線分l_i上の次の画素がある場合はステップS101に戻ってステップS101からステップS103までの処理を繰り返す。ステップS103で線分l_i上の次の画素が無い場合は、ステップS102で計算して得られた視差の数を判定する。得られた視差の数が２よりも大きい場合、ステップS104で、最小二乗法により画素位置−視差直線を求める。得られた視差の数が２以下の場合には、ステップS107に移行し、次の線分l_i+1に移る。ステップS104の後、ステップS105で探索画像である右画像４の第二の線分６の第二の始点10および第二の終点11の視差を画素位置−視差直線16から求める。最後に、ステップS106で、求めた視差を3次元座標に変換し、3次元線分L_iを得る。続いてステップS107に移行し、次の線分l_i+1に移る。ステップS101からステップS106までの処理を探索する線分が無くなるまで繰り返す。

図４のステップS101の右画像４の対応点を探索する方法について、図５にフロー図を示す。対応点は、左画像３（基準画像）と右画像４（探索画像）のそれぞれの点の周辺領域の画素を比較することで行う。まず、ステップS201で、対応点を探したい任意の点の第一の周辺領域(M×N)を基準画像から取り出す。次に、ステップS202で、対応点の候補点の第二の周辺領域(M×N)を探索画像から取り出す。次に、ステップS203で、2つの点のそれぞれの周辺領域である第一の周辺領域および第二の周辺領域の類似度を計算する。全探索範囲が終了するまで、ステップS204に移行し、次の候補点に移ってステップS202〜ステップS203を探索範囲内で繰り返す。全探索範囲が終了した場合には、ステップS205に移行し、類似度が最大になる候補点を対応点とする。

図６〜９は、上記のフローにしたがって、左画像３中の任意の2次元線分l_iから3次元線分L_iを求める様子を、図を用いて示した説明図である。

図６では、OPLSDを用いて左画像３（基準画像）中の第一の線分５として2次元線分l_iを抽出する。OPLSDではCannyエッジのラベリングを行うことにより、第一の線分５の端点（第一の始点８および第一の終点９）の2次元座標(x_s，y_s)，(x_e，y_e)を抽出する。

図７は、第一の線分５上の画素の対応点を右画像４（探索画像）から探索する処理により求められた、第一の線分５上のいくつかの点７での視差d_n(n=1，2， …，N)を示している。なお、図７の正方形のマークの濃度の違いは、視差の大きさの違いを表し、濃度の濃いd_Nから薄いd₁に向かって視差が順に小さくなっていることを表している。ここで、第一の線分５上の画素位置と視差は比例関係にあると考えられるため、図８に示すように、N個の視差値を用いて画素位置−視差直線16を計算することができる。

最後に、図９に示すように、画素位置−視差直線16を用いて第二の線分６の端点（第二の始点10および第二の終点11）の視差d_s，d_eを決定する。以上の処理で得られたd_s，d_eと、（x_s，y_s），（x_e，y_e）とを式（１）に適用することで、2次元線分l_iの端点（始点および終点）の3次元座標（X_s，Y_s，Z_s），（X_e，Y_e，Z_e）を求めることができる。

ここで、図４のステップS101の対応点を探索する方法において、対応点を高速で求めるために、粗密探索法を用いることができる。粗密探索では、図５のS201からS205までの処理を、ステレオ画像を構成するそれぞれの画像を、図１０のピラミッド画像に示すような低解像度側（1/4スケール画像）から高解像度側（元画像）へと段階を上げながら探索を行う。まず、上記ステップS201で、基準画像の元画像325から取り出した周辺領域14を1/4スケールに縮小して1/4スケール画像327を得る。次に、上記ステップS202で、周辺領域15の1/4スケール画像427において、対応点を探索する。そして、これらの処理を、基準画像および探索画像のそれぞれの1/2スケール画像326，426において実行し、順に密な探索に移行して行う。最終的に元画像において基準画像中の任意の点12の第一の周辺領域14と探索画像中の候補点13の第二の周辺領域15とを求め、第一の周辺領域14と第二の周辺領域15の類似度を計算する。このように粗い探索から順に密な探索で対応点を探索することにより、探索速度を向上することができる。

このような処理を行う場合、毎回の対応点の探索ごとに、「点周辺領域の取り出し」後に「周辺領域を縮小」とするより、図３のビラミッド画像の作成処理40で示したように、初めに1/4スケールの画像327，427、1/2スケールの画像326，426を作っておいて、毎回の対応点の探索では「点周辺領域の取り出し」のみを行う（左画像３および右画像４共にピラミッド画像317，417を作成）とした方が処理の効率化ができる。すなわち、左画像３および右画像４共に、図１０で示すようなピラミッド画像317，417を作成し、図１１に示すように粗い探索から順に密な探索で対応点を探索することにより、さらに探索速度を向上することができる。

上記処理装置１は、後述するコンピュータによって実現したり、上記処理をFPGA等で処理するよう実装することによって実現したりすることができる。また、処理装置１は、コンピュータの他にも、例えば図示しないスマートフォンやタブレット型情報端末、PDA（Personal Digital Assistant）等、本実施の形態の処理プログラムを実行可能な機器により実現することができる。

図１２はコンピュータ50の構成の一例を概略的に示す図である。プログラム２は、図４のステップS101〜S107、および図５のステップS201〜S205をコンピュータに実行させるプログラムである。該プログラム２をコンピュータ50にインストールし、実行することで、本実施の形態のステレオマッチング処理装置１を実現したり、ステレオマッチング処理方法を実行したりすることができる。

コンピュータ50には、インターフェース51を介して、第一のカメラ46および第二のカメラ47が接続される。コンピュータ50は、例えばCPU（中央演算装置）52を有し、例えばHDD（ハードディスク駆動装置）からなる記憶装置53に、プログラム２がインストールされる。本実施の形態の処理装置の機能および処理方法は、コンピュータ50のハードウェア資源とコンピュータプログラムとが協働して実現することができる。

CPU52は、プログラム２に基づき様々な演算処理を実行する。プログラム２は、例えばFD（フレキシブルディスク）やCD-ROM、その他の記録媒体54からドライバ55を介して記憶装置53に取り込まれてもよく、LAN（Local Area Network）やインターネットといったコンピュータネットワークから記憶装置53に取り込まれてもよい。CPU52および記憶装置53はバス60で相互に接続される。バス60には、さらにメインメモリ56やフレームバッファ57、出力インターフェース58等が接続されてもよい。

メインメモリ56は、例えばDRAM（Dynamic Random Access Memory）等の揮発性の記憶装置で構成される。フレームバッファ57は、対応点の探索の際に、基準画像３および探索画像４の元画像325，425の画素値データを一時的に蓄えるのに使用される。出力インターフェース58は、例えばディスプレイ等の出力装置59に接続される。この出力インターフェース58を介して、プログラム２による処理結果等が出力装置59に表示される。

図１３の左画像３および図１４の右画像４について、本実施の形態のステレオマッチング処理により求めた出力画像70を図１５に示す。処理時間は6.2msecであり、その内訳は、ピラミッド画像317，417の作成が1.0msec、OPLSD処理が3.3msec、マッチング処理が1.9msecであった。

図１７は、図１６の左画像３から抽出された第一の線分５のうち、視差が得られたものを表示した出力画像71である。出力画像71の3次元線分Lは色分けされており、該線分Lの色は2つの端点（第二の始点10および第二の終点11）の視差d_s，d_eの平均値の大小を表している。 視差の取得精度の評価のために、図１６に示す点P1〜P8の視差の正解値を手作業で求め、取得された視差値との誤差を計算した。表１に示すように、ほとんどの点で誤差が10％未満という高い精度の視差が得られた。さらに640×480pixels のステレオ動画像に本実施の形態の処理方法を実施した際の処理時間を計測した。1000フレームの平均処理時間は7.9msecであり、これはリアルタイム処理の指標である33msecの4倍以上の高速処理である。また、左画像および右画像の両方の線分をOPLSDで抽出し、線分同士を直接用いてステレオマッチングする方法では、500フレームの平均処理時間が22.3msecであり、本実施の形態の方が処理速度の高速化が実現できる。なお、上記本発明の実施の形態における各処理はIntel社製 Core i7-3537U 2.00GHz プロセッサの環境で実施した。

上記実施の形態では、基準画像からの線分抽出方法としてOPLSDを用いている。線分抽出方法として他の方法を用いることは可能であるが、OPLSDを用いることで、より少ないメモリ使用量で高速処理が可能となることが期待できる。

１ ステレオマッチング処理装置
２ ステレオマッチング処理プログラム
３ 基準画像
４ 探索画像
５ 第一の線分
６ 第二の線分
７ 第一の線分上の点
８ 第一の始点
９ 第一の終点
10 第二の始点
11 第二の終点
L 3次元線分
12 任意の点
13 候補点
14 第一の周辺領域
15 第二の周辺領域
16 画素位置−視差直線
317，417 ピラミッド画像
20 第一の線分抽出部
21 対応点導出部
22 端点導出部
23 3次元線分導出部

Claims (7)

1. ステレオ画像を構成する基準画像と探索画像を用いて、処理を行うステレオマッチング処理方法であって、
   基準画像から第一の線分を抽出するステップと、
   前記第一の線分上の画素に対応する対応点を前記基準画像とは別の探索画像から求めるステップと、
   求めた前記対応点を基に前記探索画像の第二の線分の第二の始点および第二の終点を求めるステップと、
   前記第一の線分の第一の始点および第一の終点と、求めた前記第二の始点および前記第二の終点とを基に、3次元線分を求めるステップと
   を含むことを特徴とするステレオマッチング処理方法。
2. 前記対応点を求めるステップは、
   抽出した前記第一の線分から任意の点を選択するステップと、
   前記任意の点の第一の周辺領域を前記基準画像から取り出すステップと、
   前記任意の点に対応する前記探索画像上の候補点の第二の周辺領域を前記探索画像から取り出すステップと、
   前記第一および第二の周辺領域の類似度を計算するステップとを含み、
   前記類似度に基づき前記対応点を求める請求項１に記載のステレオマッチング処理方法。
3. 前記第二の線分の前記第二の始点および前記第二の終点を求めるステップは、
   得られた前記対応点と前記任意の点との視差を基に画素位置−視差直線を求め、前記画素位置−視差直線を基に前記第二の始点および前記第二の終点を求めるものである請求項１または２に記載のステレオマッチング処理方法。
4. 前記対応点を求めるステップは、
   前記対応点の探索に粗密探索を用いる請求項１〜３のいずれか１項に記載のステレオマッチング処理方法。
5. 前記粗密探索を行うに際して、前記基準画像および前記探索画像のそれぞれのピラミッド画像を作成する請求項４に記載のステレオマッチング処理方法。
6. ステレオ画像を構成する基準画像と探索画像を用いて、コンピュータに処理を実行させるためのステレオマッチング処理プログラムであって、
   基準画像から第一の線分を抽出するステップと、
   前記第一の線分上の画素に対応する対応点を前記基準画像とは別の探索画像から求めるステップと、
   求めた前記対応点を基に前記探索画像の第二の線分の第二の始点および第二の終点を求めるステップと、
   前記第一の線分の第一の始点および第一の終点と、求めた前記第二の始点および第二の終点とを基に、3次元線分を求めるステップとを、
   コンピュータに実行させるためのステレオマッチング処理プログラム。
7. ステレオ画像を構成する基準画像と探索画像を用いて、処理を行うステレオマッチング処理装置であって、
   基準画像から第一の線分を抽出する第一の線分抽出部と、
   前記第一の線分上の画素に対応する対応点を前記基準画像とは別の探索画像から求める対応点導出部と、
   求めた前記対応点を基に前記探索画像の第二の線分の第二の始点および第二の終点を求める端点導出部と、
   前記第一の線分の第一の始点および第一の終点と、求めた前記第二の始点および前記第二の終点とを基に、3次元線分を求める3次元線分導出部と
   を備えることを特徴とするステレオマッチング処理装置。