JP2015219186A

JP2015219186A - 画像生成装置及びその制御方法

Info

Publication number: JP2015219186A
Application number: JP2014104516A
Authority: JP
Inventors: 貴幸原; Takayuki Hara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-20
Filing date: 2014-05-20
Publication date: 2015-12-07
Anticipated expiration: 2034-05-20
Also published as: US9609303B2; US20150341612A1; JP6418784B2

Abstract

【課題】距離画像生成処理速度を向上させる画像生成装置を提供する。【解決手段】視差を有する第１の画像４００と第２の画像４０１を比較することによって、被写体距離を示す距離画像４０７を生成する画像生成装置であって、第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持部４０２と、保持部に保持された夫々の画素群の画素値を領域毎に順に読み出す読出部４０３と、読出部により読み出された画素値から評価値を算出する算出部４０４と、評価値から被写体距離を推定する推定部４０５と、推定部により推定された被写体距離を用いて距離画像を生成する生成部４０６とを備え、読出部は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用する。【選択図】図１

Description

本発明は、視差画像から距離画像を生成する装置において、距離画像生成処理の処理速度を向上させる技術に関する。

視差のある２枚の視差画像から距離画像を生成する装置の実現方法として、様々な方法が提案されている。例えば、特許文献１や特許文献２には、テンプレートマッチングを用いた距離画像の生成方法が提案されている。テンプレートマッチングを行う一般的な回路の動作と構成について、図面を用いて説明する。また、説明の便宜上、視差を持った２枚の視差画像を、それぞれＡ像とＢ像と記載する。

図７は、視差画像である入力画像（Ａ像１００、Ｂ像１０１）と距離画像である出力画像１０２、並びに出力画像を構成する出力画素を算出するために参照する入力画像における参照範囲を示す図である。たとえば出力画素（ｘ，ｙ）１０９を出力するにあたり、Ａ像１００上の参照範囲１０４とＢ像１０１上の参照範囲１０６を参照する。

出力画素（ｘ，ｙ）１０９の出力をより具体的に説明する。まず、Ａ像１００の一部であるＡ像の遅延ラインメモリに格納される範囲１０７は、Ａ像用遅延ラインメモリ上に保持される。同様に、Ｂ像１０１の一部であるＢ像の遅延ラインメモリに格納される範囲１０８は、Ｂ像用遅延ラインメモリ上に保持される。

次にＡ像用遅延ラインメモリからＡ像上の参照範囲１０４に対応する領域を読み出してＡ像用記憶素子群に画素値を保持する。一方で、Ｂ像用遅延ラインメモリからＢ像上の参照範囲１０６に対応する領域を読み出してＢ像用記憶素子群に画素値を保持する。Ａ像用記憶素子群とＢ像用記憶素子群に保持されたそれぞれの画素値を比較することによって、出力画素（ｘ，ｙ）１０９に対応する距離値を算出する。

この比較は、図８のような手順で行われる。図８のＳｔｅｐ１では、Ａ像上の参照範囲１０４の中の左端の矩形領域であるＡ像上の比較範囲２０２をＡ像用記憶素子群に読み込み、Ｂ像上の参照範囲１０６の中の右端の矩形領域であるＢ像上の比較範囲２０３をＢ像用記憶素子群に読み込む。これらＡ像用記憶素子群とＢ像用記憶素子群に記憶されているそれぞれの画素値を比較することによって、第１の評価値を算出する。

Ｓｔｅｐ２では、Ａ像上の比較範囲２０２を参照範囲１０４の範囲内で１画素右にシフトしたＡ像上の比較範囲２０６をＡ像用記憶素子群に読み込み、Ｂ像上の比較範囲２０３を参照範囲１０６の範囲内で１画素左にシフトしたＢ像上の比較範囲２０７をＢ像用記憶素子群に読み込む。これらＡ像用記憶素子群とＢ像用記憶素子群に記憶されているそれぞれの画素値を比較することによって、第２の評価値を求める。

以降、Ａ像用記憶素子群は１画素ずつ右へシフト、さらにＢ像用記憶素子は１画素ずつ左へシフトさせながら、順次評価値を求めていく。この様にして、出力画素（ｘ，ｙ）ごとに対応する参照範囲を用いて求めた複数の評価値から、最も類似していると判定した評価値に対応する距離を推定し、距離画像の画素値を求める。

特許第４４２４２９９号公報特開２００９−２３９４８５号公報

従って、従来の距離画像の生成方法では、Ａ像用遅延ラインメモリからＡ像用記憶素子群へ読み出す処理、ならびにＢ像用遅延ラインメモリからＢ像用記憶素子群へ読み出す処理が、出力する距離画像の全画素に対して必要となり、処理に長時間を要するという問題があった。

例えば、図９のような構成の場合、遅延ラインメモリから１ライン当たり１画素ずつ読み出すとすれば、Ｗ×Ｈ個ある画素保持用記憶素子３０１全てに読み出すためにＷサイクルの時間がかかる。この間、Ａ像とＢ像の比較が行えないため、そのまま処理の時間遅延となる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、視差画像から距離画像を生成する装置において、距離画像の生成処理の処理速度を向上させることである。

本発明に係わる画像生成装置は、視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置であって、前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持手段と、前記保持手段に保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出手段と、前記読出手段により読み出された画素値から評価値を算出する算出手段と、前記評価値から前記被写体距離を推定する推定手段と、前記推定手段により推定された被写体距離を用いて前記距離画像を生成する生成手段と、を備え、前記読出手段は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする。

本発明によれば、視差画像から距離画像を生成する装置において、距離画像生成処理の処理速度を向上させることが可能となる。

本発明の一実施形態に係わる距離画像生成装置の構成を示す図。読出部の内部構成図。座標（ｘ，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。座標（ｘ＋１，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。座標（ｘ＋２，ｙ）における読出部へ読み込む第１の画像の範囲を示す図。座標（ｘ，ｙ）における読出部へ読み込む第２の画像の範囲を示す図。距離画像生成処理の入出力イメージを示す図。距離画像生成処理の処理シーケンスを示す図。距離画像生成回路の概略構成図。

以下に、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる距離画像生成装置の構成を示す図である。図１に示される距離画像生成装置は、撮影画像について取得された視差を有する一対の視差画像である第１の画像４００と第２の画像４０１を比較することによって、撮影画像の被写体距離を示す距離画像を生成する画像生成装置である。

図１において、距離画像生成装置は、撮影画像の画素毎に、第１の画像４００と第２の画像４０１の夫々から比較の対象となる画素群の画素値を保持する保持部４０２と、夫々の画素群の画素値を領域毎に順に読み出す読出部４０３を備える。また、読出部４０３により読み出された画素値から評価値を算出する算出部４０４と、この評価値から被写体距離を推定する推定部４０５と、推定部４０５により推定された被写体距離を用いて距離画像を生成する生成部４０６とを有する。なお、距離画像生成装置を構成する各部は、不図示の制御部により制御される。

保持部４０２は、たとえば一般的に遅延ラインメモリと呼ばれる記憶手段を用いることができ、入力画像の一部または全部を保持する記憶手段である。遅延ラインとして保持するライン数は、読出部４０３で読み出すライン数と同じかそれよりも多いライン数である。

読出部４０３は、第１保持部４０２から順次画素値を読み出して、フリップフロップ（以下、ＦＦと呼ぶ）などの記憶素子に画素値を保持する手段である。水平Ｗ画素×垂直Ｈ画素の場合の読出部４０３の内部構造を図２に示す。この図２に示す読出部４０３は、１つの入力画像に対して１つ設けられるため、距離画像生成装置には、第１の画像４００用と第２の画像４０１用とで、２つの読出部４０３の回路が搭載される。

遅延ラインメモリ５００は、複数のラインメモリ（遅延ラインメモリ０から遅延ラインメモリ（Ｈ−１））から構成され、各ラインメモリは入力画像（第１の画像４００または第２の画像４０１）の１ライン分の画素値を保持する。したがって、遅延ラインメモリ５００は、入力画像のＨライン分の画素値を保持することができる。順逆シフト方向選択セレクタ５０１と、画素値保持用ＦＦ（フリップフロップ）５０２は、（Ｗ×Ｈ）組搭載される。

まず、第１の画像用の読出部の動作について説明する。図３に、入力画像である第１の画像と、その参照範囲の関係を示す。距離画像の座標（ｘ，ｙ）６０６に対する被写体距離を示す画素値（距離画素値）を求めるに当たり、その近傍のＮ×Ｈ画素を第１の画像上の参照範囲６０１とする。これを拡大したのが図３における第１の画像上の参照範囲６０３である。

保持部４０２（遅延ラインメモリ５００）から、座標（０，０）６０４を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納する。これを順方向へシフトする。すなわち、次に座標（１，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納する。この処理をＷ回繰り返すことにより、画素値保持用ＦＦ５０２には、座標（０，０）から座標（Ｗ−１，Ｈ−１）までのＷ画素×Ｈ画素の画素値が保持され、それは図３における読出領域６０２と一致する。この比較可能な状態になるまでの待ち時間を、ここでは詰め込み時間と記載する。この状態になったら、後段の算出部４０４によって比較が行われ、１つ目の比較結果が求められる。なお、比較対象である第２の画像については後述する。

次に、保持部４０２（遅延ラインメモリ５００）から、座標（Ｗ，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。つまり、座標（Ｗ，０）を含む１列分の画素（Ｈ画素）を読み取ることにより、画素値保持用ＦＦ５０２には、座標（１，０）から座標（Ｗ，Ｈ−１）までのＷ画素×Ｈ画素の画素値が保持される。ここで後段の算出部４０４によって比較が行われ、２つ目の比較結果が求められる。これを（Ｎ−Ｗ）回繰り返すことによって、（Ｎ−Ｗ）個の比較結果が求められる。この時点で、座標（ｘ，ｙ）６０６の距離画素の算出に必要な情報が揃い、後段の算出部４０４、推定部４０５、並びに生成部４０６によって座標（ｘ，ｙ）６０６に対する距離画素値が求められる。さらに、次の準備のために保持部４０２（遅延ラインメモリ５００）から、座標（Ｎ，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。

図４に、次の距離画素の算出時の参照位置関係を示す。座標（ｘ＋１，ｙ）７０６に対する距離画素値を求めるに当たり、その近傍のＮ×Ｈ画素を第１の画像上の参照範囲７０１とする。これを拡大したのが図４における第１の画像上の参照範囲７０３である。

上記の準備の結果、読出部４０３（画素値保持用ＦＦ５０２）には図４の読出領域７０２に対応した画素値が保持されている。これをそのまま利用（直前の結果を再利用）して、今度は順逆シフト方向選択セレクタ５０１によりシフト方向を逆方向に反転して、画素値保持用ＦＦ５０２へのＷ画素×Ｈ画素の画素値の保持のシフトを（Ｎ−Ｗ）回繰り返し、（Ｎ−Ｗ）個の比較結果を求める。すなわち、画素値を求めようとする距離画像の座標（ｘ，ｙ）が一画素ずれるごとに、シフト方向が交互に反転される。つまり、読出部４０３は、視差の順方向と逆方向の両方向に対するシフトレジスタの集合として構成されている。

さらに、次の準備のために保持部４０２（遅延ラインメモリ５００）から、座標（１，０）を含む１列分の画素（Ｈ画素）を読み取り、画素値保持用ＦＦ５０２へ格納しながら、順方向へシフトする。この準備により、図５の状態になる。

座標（ｘ＋２，ｙ）８０６に対する距離画素値の算出には、図５の状態から始まり、座標（ｘ，ｙ）６０６に対する距離画素値の算出と同じ処理を行えばよい。以後、ｘ座標が偶数・奇数で、シフト方向を両方向に反転し、算出順序を反転しながら反復して処理する。

次に、第２の画像用の読出部の動作について説明する。第２の画像は、基本的に第１の画像用の読出部と同じ処理を行うが、ｘ座標に対するシフト方向は、第１の画像に対する方向と逆方向である。第１の画像が図３の状態の時に、第２の画像は図６の状態になる。このように処理することにより、詰め込み期間は、距離画像の左端１列の生成の時にのみ発生するだけで済む。

算出部４０４は、読出部４０３に読み出された第１の画像の一部分と、第２の画像の一部分とを比較して類似度を求める。例えば、読出部４０３（画素値保持用ＦＦ５０２）がＷ画素×Ｈ画素の場合に、第１の画像の読出領域をＰ（ｘ，ｙ）、第２の画像の読出領域をＱ（ｘ，ｙ）とすれば、以下の式によって求めたＳＡＤ値（Sum of Absolute Difference）を類似度とする。該類似度を、評価値と定義する。

推定部４０５は、距離画素１つに対して、（Ｎ−Ｗ）個求められる評価値から、視差を推定する。例えば、もっとも類似すると判定されたシフト位置のシフト量に対して、所定の係数を掛けた値を視差推定値とする。

生成部４０６は、推定部４０５によって求められた視差推定値から、距離画像として必要なレンジの距離画素値へと変換する。例えば、視差推定値に所定の係数を掛けたものでも構わない。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

４００：第１の画像、４０１：第２の画像、４０２：保持部、４０３：読出部、４０４：算出部、４０５：推定部、４０６：生成部、４０７：距離画像、５００：遅延ラインメモリ

Claims

視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置であって、
前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持手段と、
前記保持手段に保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出手段と、
前記読出手段により読み出された画素値から評価値を算出する算出手段と、
前記評価値から前記被写体距離を推定する推定手段と、
前記推定手段により推定された被写体距離を用いて前記距離画像を生成する生成手段と、を備え、
前記読出手段は、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする画像生成装置。
前記読出手段は、視差の順方向と逆方向の両方向に対するシフトレジスタの集合として構成されていることを特徴とする請求項１に記載の画像生成装置。
前記読出手段は画素値を読み出す方向を交互に異ならせるとともに、前記算出手段は前記評価値の算出順序を反転させ、前記読み出し手段は、さらに前記距離画像の異なる座標の前記評価値を算出する際に、画素値を読み出す方向を反転させる直前に読み出した結果を再利用することを特徴とする請求項１に記載の画像生成装置。
前記読出手段は、前記第１の画像を読み出す第１の読出手段と、前記第２の画像を読み出す第２の読出手段とを有し、前記第１の読出手段と前記第２の読出手段のそれぞれで、画素値を読み出す方向が反転する直前の読み出し結果を再利用して、前記評価値を算出することを特徴とする請求項１に記載の画像生成装置。
視差を有する第１の画像と第２の画像を比較することによって、被写体距離を示す距離画像を生成する画像生成装置を制御する方法であって、
前記第１の画像と第２の画像の夫々から比較の対象となる画素群の画素値を保持する保持工程と、
前記保持工程において保持された夫々の前記画素群の画素値を領域毎に順に読み出す読出工程と、
前記読出工程により読み出された画素値から評価値を算出する算出工程と、
前記評価値から前記被写体距離を推定する推定工程と、
前記推定工程において推定された被写体距離を用いて前記距離画像を生成する生成工程と、を備え、
前記読出工程では、画素値を読み出す方向を交互に異ならせることによって、画素値を読み出す方向が反転する直前の読み出し結果を再利用することを特徴とする画像生成装置の制御方法。
前記読出工程は、視差の順方向と逆方向の両方向に対するシフトレジスタにより行われることを特徴とする請求項５に記載の画像生成装置の制御方法。
前記読出工程では画素値を読み出す方向を交互に異ならせるとともに、前記算出工程では前記評価値の算出順序を反転させ、前記読み出し工程では、さらに前記距離画像の異なる座標の前記評価値を算出する際に、画素値を読み出す方向を反転させる直前に読み出した結果を再利用することを特徴とする請求項５に記載の画像生成装置の制御方法。
前記読出工程は、前記第１の画像を読み出す第１の読出工程と、前記第２の画像を読み出す第２の読出工程とを有し、前記第１の読出工程と前記第２の読出工程のそれぞれで、画素値を読み出す方向が反転する直前の読み出し結果を再利用して、前記評価値を算出することを特徴とする請求項１に記載の画像生成装置の制御方法。