JP2021002783A - 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 - Google Patents

Abstract

【課題】少ない計算量で高精度な奥行きマップを推定できる奥行きマップ生成装置を提供する。【解決手段】奥行きマップ生成装置３０は、多視点画像入力手段３１と、パラメータ設定手段３２と、変換前の視点位置において、多視点画像から奥行きマップを生成する奥行きマップ生成手段３３と、奥行きレイヤ毎にシフト量を算出するシフト量算出手段３４と、シフト量に基づいて変換前の視点位置における奥行きマップをシフトすることで奥行きマップを視点変換する視点変換手段３５と、リファインメント手段３６とを備える。【選択図】図３

Description

本発明は、多視点画像を用いて奥行きマップを生成する奥行きマップ生成装置及びそのプログラム、並びに、奥行きマップを用いて立体画像を生成する立体画像生成装置に関する。

近年、光線再生型表示システムの研究開発が盛んに行われている。この光線再生型表示システムは、空間中に物体の光線を再生可能な光線再生型立体方式が採用されており、特殊な眼鏡が不要で、観測方向に応じた視点の映像が見られる。この光線再生型立体方式として、レンチキュラー方式やインテグラル方式が知られている（非特許文献１，２）。この他、複数台のプロジェクタを利用したＲＥＩ方式（非特許文献３）や、ＡｋｔｉｎａＶｉｓｉｏｎも知られている（特許文献１、非特許文献４）。

この光線再生型立体方式で立体画像を表示するためには、被写体の光線情報を取得する必要がある。正確に被写体の光線を再生できるように、撮像時において、表示装置の光線構造に合わせて、被写体の光線情報を取得するのが理想的である。現実的には、立体画像を構成する全光線を取得することは難しいので、計算処理により、複数のカメラで撮影した画像から立体画像を生成するのが一般的である。例えば、複数台のカメラを用いて撮影し、三角測量の原理により奥行きマップを推定することで、被写体の立体画像を生成する手法が知られている（非特許文献５，６）。

特開２０１７−６２２９５号公報

G. Lippmann, "Epreuves reversibles Photographies integrals." Comptes-Rendus Academie des Sciences 146, 446-451 (1908). F. Okano et al., "Real-time pickup method for a three-dimensional image based on integral photography." Appl. Opt. 36(7), 1598-1603 (1997). M. Kawakita et al., "Glasses-free large-screen three-dimensional display and super multi-view camera for highly realistic communication." Optical Engineering, Vol.57 No.6, 061610,2018, p.061610.1-061610.13 渡邉 他、"トップハット型拡散スクリーンを用いた３３万画素光線再生型３次元映像表示システム"、映像情報メディア学会冬季大会、２３Ｄ−２、２０１８ 加納 他、"カメラアレイを用いた３３万画素の３次元映像撮像技術"、映情報メディア学会冬季大会、２３Ｄ−１、２０１８ Y. Taguchi et al., "TransCAIP: A live 3D TV system using a camera array and an integral photography display with interactive control of viewing parameters." IEEE Transactions on Visualization and Computer Graphics 15.5 (2009): 841-852.

計算処理により高品質な立体画像を生成するには、以下で説明するように二つの課題がある。
課題の一つ目は、奥行きマップを生成する計算量の低減である。立体画像は様々な視点の映像から構成されているため、各視点に対応した奥行きマップが必要となる。しかし、各視点の奥行きマップを生成すると、計算量が膨大になってしまう。
課題の二つ目は、奥行きマップの高精度化である。立体画像の精度を向上させるためには、高精度な奥行きマップを推定する必要がある。しかし、非特許文献５，６に記載の手法では、高精度な奥行きマップを推定することが困難である。

そこで、本発明は、少ない計算量で高精度な奥行きマップを推定できる奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置を提供することを課題とする。

前記した課題に鑑みて、本発明に係る奥行きマップ生成装置は、撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、被写体の奥行き値を示す奥行きマップを生成する奥行きマップ生成装置であって、パラメータ設定手段と、奥行きマップ生成手段と、シフト量算出手段と、視点変換手段とを備える構成とした。

かかる構成によれば、パラメータ設定手段は、被写体が位置する撮影空間内の奥行き方向に所定間隔で配置された奥行きレイヤと、変換前の視点位置と、変換後の視点位置とが予め設定される。
奥行きマップ生成手段は、変換前の視点位置において、多視点画像から、被写体が位置する奥行きレイヤと変換前の視点位置の光線との交点であるサンプリング点の奥行き値を示した奥行きマップを生成する。

また、シフト量算出手段は、奥行きレイヤ毎に、変換前の視点位置と変換後の視点位置との位置ずれ量であるシフト量を算出する。
視点変換手段は、シフト量に基づいて変換前の視点位置における奥行きマップをシフトすることで、変換前の視点位置における奥行きマップを変換後の視点位置における奥行きマップに変換する。

また、前記した課題に鑑みて、本発明に係る立体画像生成装置は、本発明に係る奥行きマップ生成装置と、奥行きマップ生成装置が生成した奥行きマップから立体画像を生成する立体画像生成手段と、を備える構成とした。

このように、本発明によれば、被写体の奥行きに応じたシフト量を算出するので、高精度な奥行きマップを推定することができる。さらに、本発明によれば、所望の視点位置に奥行きマップを視点変換するので、各視点位置で奥行きマップを生成する必要がなく、計算量を少なくすることができる。

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した奥行きマップ生成装置として動作させるプログラムで実現することもできる。

本発明によれば、被写体の奥行きに応じたシフト量を算出し、所望の視点位置に奥行きマップを視点変換するので、少ない計算量で高精度な奥行きマップを推定することができる。

各実施形態において、（ａ）及び（ｂ）は、平行投影の光線構造を説明する説明図である。 各実施形態において、（ａ）及び（ｂ）は透視投影レンズシフトの光線構造を説明する説明図である。 各実施形態に係る立体画像生成装置の構成を示すブロック図である。 第１実施形態において、撮影空間を説明する説明図である。 第１実施形態において、（ａ）及び（ｂ）は、奥行きマップの算出に必要な光線群を説明する説明図である。 第１実施形態において、（ａ）及び（ｂ）は、光線領域を説明する説明図である。 第１実施形態において、（ａ）は奥行きレイヤを説明する説明図であり、（ｂ）はサンプリング点を説明する説明図である。 第１実施形態において、コストボリュームの一例を説明する説明図である。 第１実施形態において、奥行きマップの生成を説明する説明図である。 第１実施形態において、（ａ）及び（ｂ）は、奥行きレイヤ毎のシフト量を説明する説明図である。 第１実施形態において、シフト量の算出を説明する説明図である。 第１実施形態において、奥行きレイヤでのシフト方向を説明する説明図である。 第１実施形態において、視点位置の変換を説明する説明図である。 第１実施形態において、奥行きマップの統合を説明する説明図である。 第１実施形態において、奥行きマップのリファインメント処理を説明する説明図である。 図３の立体画像生成装置の動作を示すフローチャートである。 第２実施形態において、シフト量の算出を説明する説明図である。 第２実施形態において、シフト量の算出を説明する説明図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。

図１を参照し、各実施形態を説明する前提として、光線再生型表示システムの光線構造について説明する。光線再生型表示システムが再生する光線は、後記する仮想レンズアレイの平行面上で光線間隔が一定になる。この特徴を利用すれば、簡単な計算処理で視点変換を実現できる。

光線再生型表示システムの光線構造は、第１実施形態で説明する平行投影（図１）と、第２実施形態で説明する透視投影レンズシフト（図２）とに大別できる。平行投影は、図１（ａ）に示すように全光線が平行であり、図１（ｂ）に示すように視点位置が異なっても同様である。一方、透視投影レンズシフトは、図２（ａ）に示すように全光線が奥行き方向の一定距離で集光点Ｔに集光し、図２（ｂ）に示すように視点位置が異なっても同様である。
なお、図１（ｂ）及び図２（ｂ）では、実線及び破線の光線群のそれぞれが、別々の視点位置の光線であることを示す。

以後、図１及び図２に示すように、３体の被写体９（９_１〜９_３）が撮影空間内に配置されていることとする。奥行き方向において、被写体９_１〜９_３が撮影空間の手前側から順に並んでおり、被写体９_２が撮影空間の中央に位置する。また、水平方向において、被写体９_１〜９_３は、左右にずれて配置される。なお、撮影空間の中央には、後記する仮想要素レンズｌを備える仮想レンズアレイ（仮想表示素子）Ｌが設定されている。

ここで、後記する奥行きレイヤＤと各光線との交点をサンプリング点ＳＰとする。図１（ｂ）及び図２（ｂ）に示すように、平行投影及び透視投影レンズシフトの何れでも、奥行きレイヤＤが同一であれば、視点位置に関わらず、サンプリング点ＳＰの間隔が同一になる。つまり、奥行きレイヤＤが同一であれば、シフト量が同一になるという特徴がある。この特徴を利用し、奥行きレイヤＤ毎にシフト量を算出し、奥行きマップを視点変換する。
なお、「シフト」とは、奥行きレイヤＤ上における異なる視点同士の位置ずれのことであり、「シフト量」とは、その位置ずれ量のことである。

（第１実施形態）
［立体画像生成システムの全体構成］
図３を参照し、第１実施形態に係る立体画像生成システム１の全体構成を説明する。
立体画像生成システム１は、インテグラル立体方式の立体画像（要素画像）を生成するものである。図３に示すように、立体画像生成システム１は、カメラアレイ２と、立体画像生成装置３とを備える。

カメラアレイ２は、撮影カメラ２０を二次元状に並べたものであり、異なる視点位置で被写体を撮影した多視点画像を生成し、生成した多視点画像を立体画像生成装置３に出力する。例えば、カメラアレイ２は、縦横に８台ずつ等間隔で配列された計６４台の撮影カメラ２０を備え、６４視点分の多視点画像を生成する。また、カメラアレイ２は、撮影カメラ２０が同一平面（図４のＸ−Ｙ面）上に位置するように、図示を省略したフレームに撮影カメラ２０を搭載している。例えば、撮影カメラ２０としては、一般的なネットワークカメラを用いることができる。

なお、カメラアレイ２では、カメラ校正を行えばよいので、各撮影カメラ２０を厳密に同一平面に位置せずともよい。また、カメラアレイ２の詳細は、下記の参考文献１に詳細に記載されているため、これ以上の説明を省略する。
参考文献１：田口裕一, 高橋桂太, 苗村健,“ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム”, 電子情報通信学会技術研究報告, vol. 107, no. 539, PRMU2007-258, pp. 79-86 (2008)

［立体画像生成装置の構成］
以下、立体画像生成装置３の構成を説明する。
立体画像生成装置３は、奥行きマップ生成装置３０が生成した奥行きマップを用いて、立体画像を生成するものである。図３に示すように、立体画像生成装置３は、奥行きマップ生成装置３０と、立体画像生成手段３７とを備える。

＜奥行きマップ生成装置＞
奥行きマップ生成装置３０は、カメラアレイ２から入力された多視点画像を用いて、被写体の奥行き値を示す奥行きマップを生成するものである。奥行きマップ生成装置３０は、多視点画像入力手段３１と、パラメータ設定手段３２と、奥行きマップ生成手段３３と、シフト量算出手段３４と、視点変換手段３５と、リファインメント手段（投票手段）３６とを備える。

多視点画像入力手段３１は、カメラアレイ２から多視点画像が入力され、入力された多視点画像を奥行きマップ生成手段３３に出力するものである。

パラメータ設定手段３２は、立体画像の生成に必要な各種パラメータが予め設定されるものである。例えば、立体画像生成システム１の利用者が、図示を省略したマウス、キーボード等の操作手段を介して、パラメータ設定手段３２に各種パラメータを設定する。そして、パラメータ設定手段３２は、設定された各種パラメータを奥行きマップ生成手段３３に出力する。

各種パラメータとしては、仮想レンズアレイＬの位置及びピッチと、仮想要素レンズｌの個数と、撮影空間αと、奥行きレイヤＤと、変換前の視点位置と、変換後の視点位置とがあげられる。

＜＜パラメータの設定＞＞
図４〜図７を参照し、パラメータの設定を詳細に説明する。以後、水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸とする。また、「インテグラル立体表示装置」を「ＩＰ立体表示装置」と略記する。このＩＰ立体表示装置は、所定個数の要素レンズを二次元状に並べたレンズアレイを備える。

仮想レンズアレイＬは、ＩＰ立体表示装置のレンズアレイ（表示素子）を撮影空間α内に配置したものである。つまり、仮想レンズアレイＬは、撮影空間αにおいて、ＩＰ立体表示装置のレンズアレイを仮想したものである。この仮想レンズアレイＬは、実物のレンズアレイと同様、二次元状に並んだ所定個数の仮想要素レンズｌを備える。ここで、仮想要素レンズｌ同士の間隔（素子間隔）がピッチとなる。また、仮想レンズアレイＬは、奥行き方向で撮影空間αの中央に位置し、奥行きレイヤＤ（図７）と平行になる（Ｘ−Ｙ面上に位置する）。以後、仮想レンズアレイＬを構成する各仮想要素レンズｌのレンズ面をレンズアレイ面と呼ぶ。
以上を考慮し、パラメータ設定手段３２では、仮想レンズアレイＬの位置と方向、仮想要素レンズｌのピッチ及び個数とを設定すればよい。

ＩＰ立体表示装置の視域や奥行きをどこまで再現するかにより、立体像を再現する範囲が定まり、この再現範囲をカメラアレイ２で撮影する。従って、撮影空間αが立体像の再現範囲を含んでいればよい。なお、図４では、撮影空間αをハッチングで図示した。奥行き方向では、撮影空間αが、仮想レンズアレイＬを中心として、手前側位置α_Ｆから奥側位置α_Ｂまでの範囲となる。また、水平方向では、撮影空間αが、最も外側の仮想要素レンズｌの主点からＩＰ立体表示装置の視域角だけ拡がった範囲となる。
以上を考慮し、パラメータ設定手段３２では、撮影空間αを設定すればよい。

図５（ａ）には、奥行きマップの生成に必要な光線群を矢印で図示した。同一線種の光線群が、平行投影カメラで撮影したときの同一視点に対応する。つまり、実線、一点鎖線及び破線の光線群のそれぞれが、別々の視点位置に対応する。
以上を考慮し、パラメータ設定手段３２では、奥行きマップを生成する視点位置（変換前の視点位置）と、奥行きマップを推定する視点位置（変換後の視点位置）とを設定すればよい。

図５（ｂ）には図５（ａ）の光線群で形成される光線領域を図示し、図面を見やすくするため、図６（ａ）には図５（ｂ）の光線領域のみを図示した。なお、「光線領域」とは、撮影空間αにおいて、同一視点に対応する光源群が仮想レンズアレイＬを通過する領域のことである。実際のインテグラル立体方式では、光線群がもっと密なので、図６（ａ）の光線領域を高密度にしたものを図６（ｂ）に図示した。図６（ｂ）では、図６（ａ）の破線及び一点鎖線の光線領域の間に点線の光線領域を追加し、一点鎖線及び実線の光線領域の間に二点鎖線の光線領域を追加した。

図７（ａ）に示すように、撮影空間αに奥行きレイヤＤ（Ｄ_１〜Ｄ_５）を設定する。この奥行きレイヤＤは、仮想レンズアレイＬと平行である。また、奥行きレイヤＤは、奥行き方向において、仮想レンズアレイＬを基準として、撮影空間α内で等間隔に位置する。例えば、奥行きレイヤＤ_１〜Ｄ_５が、撮影空間αの手前側から奥側まで順に等間隔で並んでいる。奥行きレイヤＤ_１は、撮影空間αの手前側位置α_Ｆに重なる。奥行きレイヤＤ_３は、奥行き方向で撮影空間の中央に位置し、仮想レンズアレイＬに重なる。奥行きレイヤＤ_５は、撮影空間αの奥側位置α_Ｂに重なる。
以上を考慮し、パラメータ設定手段３２では、奥行きレイヤＤを設定すればよい。なお、奥行きレイヤＤは、奥行き方向で必ずしも等間隔である必要はない。

ここで、パラメータ設定手段３２では、視点位置毎に、各光線と奥行きレイヤＤとの交点をサンプリング点ＳＰとして算出してもよい。ある１視点、例えば、図６（ａ）で実線の光線群に対応する視点位置について考える。この視点では、図７（ｂ）に示すように、実線矢印で図示した光線と奥行きレイヤＤとの交点がサンプリング点ＳＰとなり、サンプリング点ＳＰの奥行き値を示す奥行きマップが算出される。つまり、サンプリング点ＳＰは、ドットで図示した小領域の代表として機能する。

図３に戻り、立体画像生成装置３の構成について説明を続ける。
奥行きマップ生成手段３３は、パラメータ設定手段３２で設定された変換前の視点位置において、多視点画像入力手段３１より入力された多視点画像から奥行きマップを生成するものである。本実施形態では、奥行きマップ生成手段３３は、後記するコストボリュームから奥行きマップを生成するため、コストボリューム算出手段３３１と、奥行き値算出手段３３２とを備える。

なお、「奥行きマップ」とは、被写体が位置する奥行きレイヤＤ上において、サンプリング点ＳＰの奥行き値を示す情報のことである。つまり、奥行きマップは、各画素（各サンプリング点ＳＰ）が各視点位置の奥行き値を示す奥行き画像に相当する。
また、「コスト」とは、奥行きレイヤＤ上のサンプリング点ＳＰを多視点画像に投影したときの画像間の類似度（又は非類似度）を表すものである。例えば、カラーコンシステンシ(color consistency)コストなどの一般的なコストを用いればよい。
このコストを全ピクセルで集めたものを「コストマップ」と呼ぶ。さらにコストマップを奥行き方向に拡張し、このコストマップを全奥行きレイヤＤで集めたものを「コストボリューム」と呼ぶ。

コストボリューム算出手段３３１は、視点位置毎に、一般的なイメージベースドレンダリングによりコストボリュームを算出するものである。イメージベースドレンダリングは、カメラを２次元状に並べたカメラアレイを用いて多視点画像を撮影し、この多視点画像に光線を挿入することで任意視点画像を生成するものである。本実施形態では、コストボリューム算出手段３３１は、パラメータ設定手段３２で設定されたサンプリング点ＳＰにおいて、ＲＧＢ各色の分散の和によりカラーコンシステンシコストを求め、コストボリュームを算出する。

奥行き値算出手段３３２は、コストボリューム算出手段３３１が算出したコストボリュームのコスト列毎に最小値又は最大値となるコストを抽出するものである。そして、奥行き値算出手段３３２は、抽出したコストから奥行き値を求め、コスト列毎に求めた奥行き値の二次元配列を奥行きマップとして生成する。その後、奥行き値算出手段３３２は、生成した奥行きマップをシフト量算出手段３４に出力する。

＜＜奥行きマップの生成＞＞
図８及び図９を参照し、奥行きマップの生成を詳細に説明する。
図８に示すように、コストマップＣＭは、コストＣＳを水平方向及び垂直方向に２次元配列したものである。図８の例では、コストマップＣＭは、水平方向に５個及び垂直方向に４個、合計２０個のコストＣＳで構成されている。また、コストボリュームＣＶは、コストＣＳを水平方向と垂直方向と奥行き方向とに３次元配列したものである。つまり、コストボリュームＣＶは、奥行き方向に配列された５個のコストマップＣＭで構成されている。

図８のコストボリュームＣＶを垂直方向から見ると図９のようになる。ここで、コストボリュームＣＶにおいて、奥行き方向に配列されたコストＣＳの列をコスト列ＣＡとする（破線で図示）。図９の例では、コスト列ＣＡは、奥行き方向に配列された５個のコストＣＳで構成されている。なお、奥行きの方向でコストＣＳの位置は、奥行きレイヤＤの位置に対応した奥行き値を示す。

図９では、各コスト列ＣＡにおいて、最小値又は最大値となるコストＣＳをハッチングで図示した。各コスト列ＣＡでは、奥行き方向でコストＣＳが最小値又は最大値となる位置に被写体９が位置する可能性が高い。そこで、奥行き値算出手段３３２は、各コスト列ＣＡから、最小値又は最大値となるコストＣＳを抽出し、抽出したコストＣＳの奥行き位置（奥行き値）を求める。図９の例では、奥行き値算出手段３３２は、各コスト列ＣＡから、ハッチングで図示したコストＣＳを合計５個抽出する。さらに、奥行き値算出手段３３２は、各コスト列ＣＡから抽出したコストＣＳの奥行き値を水平方向及び垂直方向で配列し、奥行きマップとして生成する。

なお、図９には、コストボリュームＣＶで最上面のコスト列ＣＡのみを図示したが、最上面より下面のコスト列ＣＡについても同様に奥行き値を求める。
また、奥行き値算出手段３３２は、コストＣＳが類似度を示す場合、各コスト列ＣＡから最大値のコストＣＳを１個抽出する。一方、奥行き値算出手段３３２は、コストＣＳが非類似度を示す場合、各コスト列ＣＡから最小値のコストＣＳを１個抽出する。

図３に戻り、立体画像生成装置３の構成について説明を続ける。
シフト量算出手段３４は、奥行きマップ生成手段３３から入力された奥行きマップにおいて、変換前の視点位置と変換後の視点位置との位置ずれ量であるシフト量を奥行きレイヤＤ毎に算出するものである。そして、シフト量算出手段３４は、奥行きレイヤＤ毎のシフト量と、奥行きマップとを視点変換手段３５に出力する。

＜＜平行投影におけるシフト量の算出＞＞
図１０〜図１２を参照し、平行投影におけるシフト量の算出を詳細に説明する。
ここでは、実線の光線領域に対応する視点位置を「視点Ａ」、一点鎖線の光線領域に対応する視点位置を「視点Ｃ」、二点鎖線の光線領域に対応する視点位置を「視点Ｂ」と呼ぶ。図１０（ａ）では、視点Ａ〜Ｃのそれぞれに対応する光線領域に符号Ａ〜Ｃを付した。

図１０（ｂ）に示すように、奥行きレイヤＤ_１〜Ｄ_５では、シフト量ｓが異なっている。奥行きレイヤＤ_３が奥行き方向で撮影空間αの中心に位置するので、シフト量ｓが０である。そして、奥行きレイヤＤ_３から離れる程、シフト量ｓが増大する。つまり、奥行きレイヤＤ_１，Ｄ_５のシフト量ｓの方が、奥行きレイヤＤ_２，Ｄ_４のシフト量ｓよりも大きくなる。

図１１を参照し、シフト量ｓの具体的な算出方法を説明する。
図１１に示すように、仮想レンズアレイＬは、仮想要素レンズｌがピッチｐで配列されている。この仮想レンズアレイＬのレンズアレイ面ＬＰを基準としたレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。このレンズアレイ面ＬＰは、奥行きレイヤＤ_３に位置する。ここで、変換前の視点位置が視点Ａであり、変換後の視点位置が視点Ｂであることとする。この場合、変換前の視点Ａの光線ベクトル（光線方向のベクトル）Ｖ_Ａと変換後の視点Ｂの光線ベクトルＶ_Ｂが定義できる。２本の光線ベクトルＶ_Ａ，Ｖ_Ｂの奥行き方向（Ｚ軸方向）の成分が１となるように正規化し、その差分ベクトルＶ_Ａ−Ｂの水平方向（Ｘ軸方向）の成分をｖとする。このとき、シフト量算出手段３４は、下記の式（１）でシフト量ｓを算出できる。なお、式（１）において、奥行きレイヤＤの奥行き方向の位置をｄとする。

図１２に示すように、仮想レンズアレイＬが位置する奥行きレイヤＤ_３を境に、シフト方向が反転する。ここでは、手前側の奥行きレイヤＤ_１では左方向にシフトする一方、奥側の奥行きレイヤＤ_５では右方向にシフトする。このシフト方向の反転を考慮し、奥行きレイヤＤ毎にシフト量ｓの符号（正負）を決めればよい。

図３に戻り、立体画像生成装置３の構成について説明を続ける。
視点変換手段３５は、シフト量算出手段３４から入力されたシフト量ｓに基づいて、変換前の視点位置における奥行きマップをシフトするものである。つまり、視点変換手段３５は、変換前の視点位置における奥行きマップを変換後の視点位置における奥行きマップに変換する。そして、視点変換手段３５は、各視点位置の奥行きマップをリファインメント手段３６に出力する。

＜＜奥行きマップの視点変換＞＞
図１３及び図１４を参照し、奥行きマップＭの視点変換を詳細に説明する。
ここでは、実線の光線領域に対応する視点位置を「視点Ｅ」、一点鎖線の光線領域に対応する視点位置を「視点Ｇ」とする。また、被写体９_１が奥行きレイヤＤ_２上に位置し、被写体９_２が奥行きレイヤＤ_３上に位置し、被写体９_３が奥行きレイヤＤ_４上に位置する。また、視点Ｅの奥行きマップＭ_Ｅを視点Ｇの奥行きマップＭ_Ｇに視点変換することとして説明する。図１３に示すように、視点Ｅの奥行きマップＭ_Ｅでは、被写体９_１〜９_３を左前方から見ているので、被写体９_１〜９_３が重なっていない。一方、視点Ｇの奥行きマップＭ_Ｇでは、被写体９_１〜９_３を右前方から見ているので、被写体９_１〜９_３が重なっている。

まず、視点変換手段３５は、図１４に示すように、視点Ｅの奥行きマップＭ_Ｅを奥行きレイヤＤ毎に分解する。つまり、視点変換手段３５は、全奥行きレイヤＤに対応する奥行きマップＭ_Ｅを、奥行きレイヤＤ_１〜Ｄ_５のそれぞれに対応する奥行きマップＭ_Ｅ１〜Ｍ_Ｅ５に分解する。この場合、奥行きレイヤＤ_２の奥行きマップＭ_Ｅ２に被写体９_１が属し、奥行きレイヤＤ_３の奥行きマップＭ_Ｅ３に被写体９_２が属し、奥行きレイヤＤ_４の奥行きマップＭ_Ｅ４に被写体９_３が属する。一方、奥行きレイヤＤ_１の奥行きマップＭ_Ｅ１及び奥行きレイヤＤ_５の奥行きマップＭ_Ｅ５には、被写体９が属していない。

次に、視点変換手段３５は、各奥行きレイヤＤのシフト量ｓだけ、各奥行きレイヤＤに属する被写体９をシフトする。つまり、視点変換手段３５は、奥行きレイヤＤ_１〜Ｄ_５のそれぞれに応じたシフト量ｓだけ、奥行きレイヤＤ_１〜Ｄ_５に対応する奥行きマップＭ_Ｅ１〜Ｍ_Ｅ５をシフトする。ここで、視点変換手段３５は、奥行きレイヤＤ_３のシフト量ｓが０のため、被写体９_２をシフトしない。また、視点変換手段３５は、奥行きレイヤＤ_２のシフト量ｓだけ、被写体９_１を左方向にシフトし、奥行きレイヤＤ_４のシフト量ｓだけ被写体９_３を右方向にシフトする。

次に、視点変換手段３５は、シフト済みの奥行きマップＭ_Ｇ１〜Ｍ_Ｇ５を統合し、視点Ｇの奥行きマップＭ_Ｇを生成する。この場合、視点変換手段３５は、手前側の奥行きレイヤＤを優先して統合する。具体的には、視点変換手段３５は、奥行きレイヤＤ_４の奥行きマップＭ_Ｇ４の上に、奥行きレイヤＤ_３の奥行きマップＭ_Ｇ３を重ね合わせる。また、視点変換手段３５は、奥行きレイヤＤ_３の奥行きマップＭ_Ｇ３の上に、奥行きレイヤＤ_２の奥行きマップＭ_Ｇ２を重ね合わせる。このようにして、視点変換手段３５は、視点Ｅの奥行きマップＭ_Ｅを視点Ｇの奥行きマップＭ_Ｇに視点変換する。
なお、視点変換手段３５は、オクルージョンが発生した場合、既知の手法でオクルージョン領域の奥行き値を推定すればよい。

図３に戻り、立体画像生成装置３の構成について説明を続ける。
リファインメント手段３６は、視点変換手段３５から入力された奥行きマップＭにおいて、後記するリファインメント処理（投票処理）を行うものである。そして、リファインメント手段３６は、リファインメント処理を施した奥行きマップＭを立体画像生成手段３７に出力する。

＜＜リファインメント処理＞＞
図１５を参照し、リファインメント処理を詳細に説明する。
３つの視点Ｅ〜Ｇの奥行きマップＭ_Ｅ〜Ｍ_Ｇが推定済みであることとする。現実的には、奥行きマップＭは、誤った奥行き値であるノイズを有することが多い。図１５（ａ）に示すように、視点Ｆの奥行きマップＭ_Ｆにおいて、ある画素にノイズＮが含まれている。そこで、視点Ｆの奥行きマップＭ_Ｆをノイズ除去対象とし、視点Ｆの奥行きマップＭ_ＦからノイズＮを除去することを考える。

まず、リファインメント手段３６は、ノイズ除去対象でない視点Ｅ，Ｇの奥行きマップＭ_Ｅ，Ｍ_Ｇを、ノイズ除去対象となる視点Ｆの奥行きマップＭ_Ｆに視点変換する。図１５の例では、視点Ｆの奥行きマップＭ_Ｆが３つ存在することになる。
なお、視点変換の手法は、視点変換手段３５と同様のため、説明を省略する。

次に、リファインメント手段３６は、３つの視点Ｆの奥行きマップＭ_Ｆの画素毎に、画素値（奥行き値）の投票を行う。図１５（ｂ）に示すように、視点Ｅ，Ｇから視点変換した奥行きマップＭ_Ｆで奥行きレイヤＤ_３に２票分投票され、ノイズＮが含まれる元々の視点Ｆの奥行きマップＭ_Ｆで奥行きレイヤＤ_１に１票分投票される。この場合、リファインメント手段３６は、最多得票数となる奥行きレイヤＤ_３をその画素の奥行き値とすることで、ノイズＮを除去する。
なお、図１５の例では、オクルージョンを考慮していないが、視点変換の際にオクルージョンが生じると、そのオクルージョン領域の得票数が少なくなる。

図３に戻り、立体画像生成装置３の構成について説明を続ける。
立体画像生成手段３７は、リファインメント手段３６より入力された奥行きマップＭから立体画像を生成するものである。本実施形態では、立体画像生成手段３７は、既知の手法により、奥行きマップＭからインテグラル方式の立体画像（要素画像）を視点位置毎に生成する。例えば、立体画像生成手段３７は、多視点画像と奥行きマップＭとを用いて、立体画像を生成できる（参考文献２参照）。具体的には、奥行きマップが得られると、空間内での被写体の３次元位置が既知となる。その３次元位置を多視点画像に投影することで、その光線の色（ＲＧＢ値）を取得できる。この処理を立体画像の生成に必要な全視点について行うと、立体画像が生成できる。そして、立体画像生成手段３７は、生成した立体画像を外部（例えば、ＩＰ立体表示装置）に出力する。
参考文献２：加納正規, 渡邉隼人， 河北真宏， 三科智之，“カメラアレイを用いた３３万画素の３次元映像撮像技術”，２０１８年映像情報メディア学会冬季大会,２３Ｄ−１

［立体画像生成装置の動作］
図１６を参照し、立体画像生成装置３の動作を説明する。
図１６に示すように、ステップＳ１において、多視点画像入力手段３１は、カメラアレイ２から多視点画像が入力される。
ステップＳ２において、パラメータ設定手段３２は、立体画像の生成に必要な各種パラメータが予め設定される。各種パラメータとしては、仮想レンズアレイＬの位置及びピッチと、仮想要素レンズｌの個数と、撮影空間αと、奥行きレイヤＤと、変換前の視点位置と、変換後の視点位置とがあげられる。

ステップＳ３において、奥行きマップ生成手段３３は、ステップＳ２で設定された変換前の視点位置において、ステップＳ１で入力された多視点画像から奥行きマップＭを生成する。具体的には、コストボリューム算出手段３３１は、イメージベースドレンダリングによりコストボリュームＣＶを算出する。そして、奥行き値算出手段３３２は、コストボリュームＣＶのコスト列ＣＡ毎に最小値又は最大値となるコストＣＳを抽出し、抽出したコストＣＳの奥行き値を求め、奥行き値の二次元配列を奥行きマップＭとして生成する。

ステップＳ４において、シフト量算出手段３４は、ステップＳ４で生成した奥行きマップＭにおいて、変換前の視点位置と変換後の視点位置との位置ずれ量であるシフト量ｓを奥行きレイヤＤ毎に算出する。具体的には、シフト量算出手段３４は、前記した式（１）を用いて、シフト量ｓを算出する。

ステップＳ５において、視点変換手段３５は、ステップＳ４で算出したシフト量ｓに基づいて、変換前の視点位置における奥行きマップＭをシフトする。つまり、視点変換手段３５は、変換前の視点位置における奥行きマップＭを変換後の視点位置における奥行きマップＭに変換する。

ステップＳ６において、リファインメント手段３６は、各視点位置の奥行きマップにおいて、リファインメント処理を行う。具体的には、リファインメント手段３６は、ノイズ除去対象でない視点位置の奥行きマップＭを、ノイズ除去対象となる視点位置の奥行きマップＭに視点変換する。そして、リファインメント手段３６は、奥行きマップＭの画素毎に、画素値の投票を行い、最多得票数となる奥行きレイヤＤの奥行き値をその画素の奥行き値とする。

ステップＳ７において、立体画像生成手段３７は、ステップＳ６でリファインメント処理を施した奥行きマップＭから立体画像を生成する。例えば、立体画像生成手段３７は、多視点画像と奥行きマップＭとを用いて、立体画像を生成できる。

［作用・効果］
以上のように、立体画像生成装置３は、被写体の奥行きに応じたシフト量ｓを算出し、所望の視点位置の奥行きマップＭに視点変換するので、少ない計算量で高精度な奥行きマップＭを推定することができる。さらに、立体画像生成装置３は、多くの光線再生型表示システムで共通する平行投影型の光線構造の特徴を利用しているため、汎用性を向上させることができる。
さらに、立体画像生成装置３は、奥行きマップＭにリファインメント処理を施すので、奥行きマップＭのノイズを低減し、奥行きマップＭの精度をより向上させることができる。

（第２実施形態）
［立体画像生成装置の構成］
以下、第２実施形態に係る立体画像生成装置３Ｂの構成について、第１実施形態と異なる点を説明する。
第１実施形態では、光線再生型表示システムの光線構造が平行投影（図１）であったのに対し、第２実施形態では、その光線構造が透視投影レンズシフト（図２）である。このため、立体画像生成装置３Ｂは、シフト量ｓの算出方法が、第１実施形態と異なっている。

図３に示すように、立体画像生成装置３Ｂは、奥行きマップ生成装置３０Ｂと、立体画像生成手段３７とを備える。また、奥行きマップ生成装置３０Ｂは、多視点画像入力手段３１と、パラメータ設定手段３２Ｂと、奥行きマップ生成手段３３と、シフト量算出手段３４Ｂと、視点変換手段３５と、リファインメント手段３６とを備える。
なお、パラメータ設定手段３２Ｂ及びシフト量算出手段３４Ｂ以外の構成は、第１実施形態と同様のため、説明を省略する。

パラメータ設定手段３２Ｂは、立体画像の生成に必要な各種パラメータが予め設定されるものである。また、パラメータ設定手段３２Ｂは、透視投影レンズシフトに対応したサンプリング点ＳＰを算出する。
他の点、パラメータ設定手段３２Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。

シフト量算出手段３４Ｂは、奥行きマップ生成手段３３から入力された奥行きマップＭにおいて、変換前の視点位置と変換後の視点位置との位置ずれ量であるシフト量ｓを奥行きレイヤＤ毎に算出する。本実施形態では、シフト量算出手段３４Ｂは、以下の式（２）及び式（３）を用いて、透視投影レンズシフトにおけるシフト量ｓを算出する。

＜＜透視投影レンズシフトにおけるシフト量の算出＞＞
図１７及び図１８を参照し、透視投影レンズシフトにおけるシフト量ｓの算出を詳細に説明する。ここでは、仮想レンズアレイＬのレンズアレイ面ＬＰを基準としたレンズアレイ座標系を設定し、このレンズアレイ座標系で考える。
図１７に示すように、集光点をＴ、仮想レンズアレイＬに対する集光点Ｔの奥行き方向（Ｚ軸方向）の位置をＷ、レンズアレイ面ＬＰに対する奥行きレイヤＤの奥行き方向の位置をｄとする。ここで、隣り合う仮想要素レンズｌを通り同一の集光点Ｔに集まる２本の光線について考える。この２本の光線の間隔（画素ピッチ）Ｐ_Ｐは、集光点Ｔからレンズアレイ面ＬＰに近づくに従って大きくなり、以下の式（２）で表される。

ここで、レンズアレイ面ＬＰ上におけるレンズピッチをｐとする。さらに、図１８に示すように、レンズアレイ面ＬＰ上で交差する視点Ａ，Ｂの光線ベクトルＶ_Ａ，Ｖ_Ｂについて考える。図１８において、集光点Ｔ_Ａ，Ｔ_Ｂは、視点Ａ，Ｂそれぞれの集光点Ｔである。２本の光線ベクトルＶ_Ａ，Ｖ_Ｂの奥行き方向が１となるように正規化し、その差分ベクトルＶ_Ａ−Ｂの水平方向（Ｘ軸方向）の成分をｖとする。この場合、各奥行きレイヤＤのシフト量ｓは、以下の式（３）で表される。

［作用・効果］
以上のように、立体画像生成装置３Ｂは、被写体の奥行きに応じたシフト量ｓを算出し、所望の視点位置の奥行きマップＭに視点変換するので、少ない計算量で高精度な奥行きマップＭを推定することができる。さらに、立体画像生成装置３Ｂは、透視投影レンズシフトの光線構造においても、第１実施形態と同様の効果を奏する。

（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、光線再生型立体方式の一例として、インテグラル方式を説明したが、これに限定されない。例えば、本発明は、レンチキュラー方式にも適用することができる。

前記した各実施形態では、リファインメント処理の際、最多得票数の奥行き値を求めることとして説明したが、これに限定されない。例えば、リファインメント手段は、予め閾値を設定し、最多得票数がその閾値を超えた場合のみ、その最多得票数の奥行き値を採用してもよい。

前記した各実施形態では、水平方向のシフトにより視点変換することとして説明したが、水平方向と同様、垂直方向のシフトにより視点変換を行うこともできる。
前記した各実施形態では、奥行きマップを立体画像の生成に利用することとして説明したが、奥行きマップの用途は、これに限定されない。つまり、奥行きマップ生成装置を独立したハードウェアとして構成してもよい。

前記した各実施形態では、仮想表示素子がレンズアレイであることとして説明したが、これに限定されない。例えば、レンズアレイを必要としない立体方式の場合、仮想表示素子がディスプレイであってもよい。この場合、レンズアレイ面をディスプレイ面とすればよい。

前記した各実施形態では、ノイズ除去対象の奥行きマップの視点位置（図１５の視点Ｆ）が、ノイズ除去対象でない奥行きマップの視点位置（図１５の視点Ｅ，Ｇ）に隣接することとして説明したが、これに限定されない。つまり、ノイズ除去対象でない奥行きマップの視点位置は、任意に設定できる。

前記した各実施形態では、奥行きマップ生成装置をハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した奥行きマップ生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 立体画像生成システム
２ カメラアレイ
３ 立体画像生成装置
２０ 撮影カメラ
３０ 奥行きマップ生成装置
３１ 多視点画像入力手段
３２ パラメータ設定手段
３３ 奥行きマップ生成手段
３３１ コストボリューム算出手段
３３２ 奥行き値算出手段
３４ シフト量算出手段
３５ 視点変換手段
３６ リファインメント手段（投票手段）
３７ 立体画像生成手段
９，９_１〜９_３ 被写体
Ａ，Ｂ，Ｃ 光線領域
ＣＡ コスト列
ＣＭ コストマップ
ＣＳ コスト
ＣＶ コストボリューム
Ｄ，Ｄ_１〜Ｄ_５ 奥行きレイヤ
Ｌ 仮想レンズアレイ（仮想表示素子）
ＬＰ レンズアレイ面
ｌ 仮想要素レンズ
Ｍ，Ｍ_Ｅ１〜Ｍ_Ｅ５，Ｍ_Ｇ１〜Ｍ_Ｇ５ 奥行きマップ
ＳＰ サンプリング点
ｓ シフト量
Ｖ_Ａ，Ｖ_Ｂ 光線ベクトル
Ｖ_Ａ−Ｂ 差分ベクトル
α 撮影空間
α_Ｂ 奥側位置
α_Ｆ 手前側位置

Claims (7)

1. 撮影カメラを二次元状に並べたカメラアレイが被写体を撮影した多視点画像を用いて、前記被写体の奥行き値を示す奥行きマップを生成する奥行きマップ生成装置であって、
   前記被写体が位置する撮影空間内の奥行き方向に所定間隔で配置された奥行きレイヤと、変換前の視点位置と、変換後の視点位置とが予め設定されるパラメータ設定手段と、
   前記変換前の視点位置において、前記多視点画像から、前記被写体が位置する奥行きレイヤと前記変換前の視点位置の光線との交点であるサンプリング点の奥行き値を示した前記奥行きマップを生成する奥行きマップ生成手段と、
   前記奥行きレイヤ毎に、前記変換前の視点位置と前記変換後の視点位置との位置ずれ量であるシフト量を算出するシフト量算出手段と、
   前記シフト量に基づいて前記変換前の視点位置における前記奥行きマップをシフトすることで、前記変換前の視点位置における前記奥行きマップを前記変換後の視点位置における前記奥行きマップに変換する視点変換手段と、
   を備えることを特徴とする奥行きマップ生成装置。
2. 前記パラメータ設定手段は、前記視点位置毎の光線が平行になる平行投影において、立体表示装置の表示素子を前記撮影空間内に配置した仮想表示素子の位置及び素子間隔と、前記仮想表示素子に平行な前記奥行きレイヤとが設定され、
   前記シフト量算出手段は、前記仮想表示素子から前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記被写体から前記変換前の視点位置までの光線ベクトルと前記被写体から前記変換後の視点位置までの光線ベクトルとの差分ベクトルの要素ｖと、前記素子間隔ｐとが含まれる下記の式（１）を用いて、
   

   

   前記シフト量ｓを算出することを特徴とする請求項１に記載の奥行きマップ生成装置。
3. 前記パラメータ設定手段は、前記視点位置毎の光線が１つの集光点に集光する透視投影レンズシフトにおいて、立体表示装置の表示素子を前記撮影空間内に配置した仮想表示素子の位置及び素子間隔と、前記仮想表示素子に平行な前記奥行きレイヤとが設定され、
   前記シフト量算出手段は、
   前記素子間隔ｐと、前記仮想表示素子から前記奥行きレイヤまでの奥行きベクトルの要素ｄと、前記仮想表示素子に対する前記集光点の位置を示すベクトルの要素Ｗとが含まれる式（２）を用いて、
   

   

   変換前後の前記視点位置におけるサンプリング点同士の間隔Ｐ_Ｐを算出し、
   前記被写体から前記変換前の視点位置までの光線ベクトルと前記被写体から前記変換後の視点位置までの光線ベクトルとの差分ベクトルの要素ｖと、前記要素ｄと、前記間隔Ｐ_Ｐとが含まれる式（３）を用いて、
   

   

   前記シフト量ｓを算出することを特徴とする請求項１に記載の奥行きマップ生成装置。
4. 前記奥行きマップの間で対応するサンプリング点毎に前記奥行き値の投票処理を行い、最多得票数の前記奥行き値を求める投票手段、
   をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の奥行きマップ生成装置。
5. 前記奥行きマップ生成手段は、
   前記変換前の視点位置において、イメージベースドレンダリングにより、前記サンプリング点を前記多視点画像に投影したときの画像間の類似度又は非類似度を表すコストの三次元配列であるコストボリュームを算出するコストボリューム算出手段と、
   前記コストボリュームで奥行き方向に配列されたコスト列毎に最小値又は最大値となる前記コストを抽出し、抽出した前記コストの奥行き値を求め、前記コスト列毎に求めた奥行き値の二次元配列を前記奥行きマップとして生成する奥行き値算出手段と、
   を備えることを特徴とする請求項１から請求項４の何れか一項に記載の奥行きマップ生成装置。
6. コンピュータを、請求項１から請求項５の何れか一項に記載の奥行きマップ生成装置として機能させるためのプログラム。
7. 請求項１から請求項５の何れか一項に記載の奥行きマップ生成装置と、
   前記奥行きマップ生成装置が生成した奥行きマップから立体画像を生成する立体画像生成手段と、
   を備えることを特徴とする立体画像生成装置。

Images