JP2019046077A - オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法 - Google Patents

Abstract

【課題】計算機におけるより少ないメモリ資源をもって、より少ない計算量で自由視点映像を合成することができる映像合成装置を提供する。【解決手段】オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な本映像合成装置は、３次元モデル空間内に、投影先としての「複数の面」を設定する面群設定手段と、映像データ毎に、当該映像データにおけるオブジェクトの画像部分に係るオブジェクト情報を「複数の面」の各々に投影した際の、指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段と、この重ね合わせ結果に基づいて、指定された視点に係る映像を合成する視点映像合成手段とを有する。ここで、面群設定手段は、指定された視点の向きに応じた向きを有する「複数の面」を設定することも好ましい。【選択図】図１

Description

本発明は、自由視点映像の合成技術に関する。

近年、スポーツシーン等を撮影対象とし、実際にはそこから撮影されていない任意の仮想視点からの映像である自由視点映像を生成する技術が提案されている。

この技術は、例えば非特許文献１〜３や、特許文献１にも開示されているように、視点の異なる複数のカメラで撮影された映像を基にして、これらのカメラの視点とは異なる仮想視点からの映像を合成し、その合成結果を画面に表示するものであり、例えばユーザの指定する様々な視点から見た映像の観賞を可能にする。

この自由視点映像合成技術の典型例として、非特許文献１に記載されているフルモデル方式が挙げられる。フルモデル方式は、図８に概略を示したような視体積交差法と呼ばれる原理を利用して、視点の異なる複数のカメラから得られる被写体の概形情報を３次元空間に投影し、それらを膨大な数の点群データとして記述して、被写体の概形を精緻に再現した３ＤＣＧ（3-Dimensional Computer Graphics）モデルを生成するものである。

ここで、自由視点映像は、このように生成された被写体の３ＤＣＧモデルを入力とし、仮想視点の位置に基づいてディスプレイ上にレンダリングすることによって生成される。ちなみに、このフルモデル方式において、３ＤＣＧモデルの代わりに例えば、マーチングキューブと呼ばれる手法を用いてポリゴンモデルを生成する場合もあるが、膨大な３次元の点群データを中間的に使用する点に変わりはない。

特開２０１６−７１６４５号公報

Laurentini, A. "The Visual Hull Concept for Silhouette Based Image Understanding"IEEE PAMI, Volume 16 Issue 2, １９９４年, １５０〜１６２頁 Hayashi, K.; Saito, H., "Synthesizing Free-Viewpoing Images from Multiple View Videos in Soccer StadiumADIUM" International Conference on Computer Graphics, Imaging and Visualisation (CGIV'06), ２００６年, ２２０〜２２５頁 古谷 仁志, 北原 格, 亀田 能成, 大田 友一, 「視点に依存した微小面群モデルによるスポーツシーンの自由視点映像生成」 第２回デジタルコンテンツシンポジウム講演予稿集, ２００６年

一般にフルモデル方式では、膨大な点群データの１つ１つに対し、被写体であるか否かを判定して３ＤＣＧ化（又はポリゴンモデル化）するため、入力してから最終的なデータを出力するまでに相当の時間を要するという問題が生じていた。例えば、10m×10m×10mの領域に1cm間隔でボクセルを配置する場合、1.0×10⁹個の全てのボクセルについて、カメラ毎に前景物体か否かの判定を行う必要が生じ、膨大な量の計算を実行しなければならないのである。

さらに、フルモデル方式であるが故に、仮想視点が指定される前に予め、全てのシーンの被写体モデルを生成しておく必要がある。したがって、例えばサッカースタジアム等の広大な空間について自由視点映像を合成しようとしても、使用する計算機のメモリ資源にも限界があり、例えば点群の密度を疎にして画質を犠牲にするといった対処を施さない限り、その実現は困難であった。

そこで、本発明は、計算時におけるより少ないメモリ資源をもって、より少ない計算量で自由視点映像を合成することができる映像合成装置、映像合成プログラム及び映像合成方法を提供することを目的とする。

本発明によれば、オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置であって、
３次元モデル空間内に、投影先としての複数の面を設定する面群設定手段と、
当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段と、
当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成する視点映像合成手段と
を有する映像合成装置が提供される。

この本発明による映像合成装置の一実施形態として、面群設定手段は、当該３次元モデル空間内に、当該指定された視点の向きに応じた向きを有する当該複数の面を設定することも好ましい。さらに、当該指定された視点から当該視点の向きに伸長する視線軸が垂直に貫通するような当該複数の面を設定することも好ましい。

また、本発明による映像合成装置の他の一実施形態として、面群設定手段は、当該３次元モデル空間内に、当該指定された視点に係る映像の表示領域の大きさに応じて決定される間隔をもって離隔した、所定数の当該面を設定することも好ましい。

さらに、本発明による映像合成装置の他の一実施形態として、オブジェクト情報処理手段は、当該映像データ毎に、当該映像データを構成する画像における当該オブジェクトのアルファ値を当該面の各々に投影した際の、当該指定された視点に係る映像を構成する画像における対応するアルファ値の重ね合わせ結果を算出することも好ましい。

また、このアルファ値を扱う実施形態において、本映像合成装置は、当該オブジェクトの背景画素のアルファ値として、非ゼロ値、又は前景と背景との境界から当該背景画素までの距離に応じて単調に減少する値を設定するアルファ値決定手段を更に有することも好ましい。

さらに、これらのアルファ値を扱う実施形態において、視点映像合成手段は、
当該指定された視点の近傍となる所定数の当該映像データ毎に、当該映像データを構成する画像における当該オブジェクトのテクスチャを当該面の各々に投影した際の、当該指定された視点に係る映像を構成する画像における対応するテクスチャのアルファブレンド結果を算出するテクスチャマッピング手段を更に有し、
当該重ね合わせ結果及び当該アルファブレンド結果に基づいて、当該指定された視点に係る映像を合成する
ことも好ましい。

また、このテクスチャマッピング手段は、当該対応するテクスチャの投影元の当該映像データに係る視点と、当該指定された視点との距離に基づいて設定された割合をもって、当該対応するテクスチャをアルファブレンドすることも好ましい。

本発明によれば、また、オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置に搭載されたコンピュータを機能させる映像合成プログラムであって、
３次元モデル空間内に、投影先としての複数の面を設定する面群設定手段と、
当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段と、
当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成する視点映像合成手段と
してコンピュータを機能させる映像合成プログラムが提供される。

本発明によれば、さらに、オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置に搭載されたコンピュータにおける映像合成方法であって、
３次元モデル空間内に、投影先としての複数の面を設定するステップと、
当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するステップと、
当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成するステップと
を有する映像合成方法が提供される。

本発明の映像合成装置、映像合成プログラム及び映像合成方法によれば、計算時におけるより少ないメモリ資源をもって、より少ない計算量で自由視点映像を合成することが可能となる。

本発明による映像合成装置を備えた映像配信・合成システムの一実施形態における機能構成を示す機能ブロック図である。 カメラキャリブレーション部によるキャリブレーション処理の一実施形態を説明するための模式図である。 対象マスク抽出部によるマスク画像データ抽出処理の一実施例を示す模式図である。 逆投影面群設定部による逆投影面設定処理の一実施形態を説明するための模式図である。 逆投影面群設定部による逆投影面設定処理の一実施形態を説明するための模式図である。 アルファ値逆投影部によるアルファ値逆投影処理及びレンダリング処理の一実施形態を示す模式図である。 本発明による映像合成方法の一実施形態を概略的に示すフローチャートである。 従来のボクセルをベースにした視体積交差法を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［映像配信・合成システム］
図１は、本発明による映像合成装置を備えた映像配信・合成システムの一実施形態における機能構成を示す機能ブロック図である。

図１に示した、本発明による映像合成装置の一実施形態としてのスマートフォン１は、配信サーバ２に対し、通信ネットワークを介して大容量の多視点映像データの送信要求を行い、受信した当該データを用いて自由視点映像を合成して表示するクライアント（端末）である。ここで、スマートフォン１、配信サーバ２、及び両者を接続する通信ネットワークは、本発明による映像配信・合成システムを構成している。

本実施形態において、配信サーバ２の保存する多視点映像データは、対象物（オブジェクト）の画像を含む複数視点の映像データであり、例えば複数のカメラによって撮影された映像データや、ＣＧ（Computer Graphics）データであってもよい。

ここで、各視点の映像データは、それぞれ複数のセグメントに分割されている。すなわち、配信サーバ２には、各セグメントについて互いに視点の異なる複数の映像データ（複数種のセグメントファイル）が準備されている。スマートフォン１は、このような互いに視点の異なる複数種のセグメントファイルを受信して合成し、指定された視点位置から見たオブジェクトを含む自由視点映像を生成するのである。

さらに、配信サーバ２では、複数種のセグメントファイルの各々について、互いにビットレート（品質）の異なる複数のセグメントファイルが準備されていることも好ましい。この場合、スマートフォン１は、１つ又は複数のセグメント分を受信するにあたり、各視点のセグメントファイルについて、いずれのビットレートのものを取得したいかを指定した配信プロファイルを含む配信要求（HTTP Request）を行うことになる。

ちなみに本実施形態において、多視点映像データは、多視点映像のＨＴＴＰ型ストリーミング方式に基づいて送受信され、そのプロトコルとして具体的に、例えばＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）が使用可能となっている。また、ＨＴＴＰサーバである配信サーバ２は、予め作成された映像コンテンツとしての多視点映像ストリームデータを、ＶｏＤ（Video on Demand）型配信方式を用いて配信することができる。

このような方式では、上述したように、映像ストリームを例えば数〜１０秒程度の再生時間長を有するセグメントファイルに予め分割しておき、クライアント側がこのセグメント単位で受信及び再生開始を行うことによって、映像ストリームデータを受信しながら再生する擬似ストリーミングが実現される。なお当然に、本映像配信・合成システムにおける多視点映像ストリームデータの配信方式及び採用可能なプロトコルは、以上に述べたものに限定されるものではない。なお当然に、スマートフォン１は、通信以外の方法で（例えばストレージに直結する形で）多視点映像データを取得するものであってもよい。

同じく図１において、スマートフォン１は、受信されたこのようなオブジェクト画像を含む多視点映像データ（セグメントファイル）を用い、指定された仮想視点についての自由視点映像を合成する。ここで、この合成処理を、従来のように膨大な３次元点群データを中間的に生成して実施するのではなく、３次元モデル空間内に「複数の面」を設定してオブジェクト情報を当該面の各々に投影することによって実現するのである。

具体的に、スマートフォン１は、図１に示すように、
（Ａ）３次元モデル空間内に、投影先としての「複数の面」を設定する面群設定手段としての逆投影面群設定部１１１と、
（Ｂ）受信された視点の異なる映像データ毎に、当該映像データにおけるオブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段としてのアルファ値逆投影部１２１と、
（Ｃ）当該重ね合わせ結果に基づいて、指定された視点に係る映像を合成する視点映像合成手段としての視点映像合成部１２２と
を有することを特徴としている。

このように、スマートフォン１は、３次元モデル空間内に、オブジェクト情報の投影先として「複数の面」を設定する。すなわち、従来のように被写体判定を行う対象として膨大な数の３次元点群データを設定することなく、２次元の投影先における重ね合わせ結果から、指定された視点に係る自由視点映像を合成することができる。また、従来のフルモデル方式のように、視点が指定される前に予め、全てのシーンの被写体モデルを生成しておくといった処理も必要ない。その結果、スマートフォン１によれば、計算時におけるより少ないメモリ資源をもって、より少ない計算量で自由視点映像を合成することが可能となるのである。

ちなみに、以後、オブジェクト情報を「複数の面」の各々に投影する際の「投影」を、（通常投影という場合の）３次元体から２次元画像への向きとは逆であるとの意味を込めて、「逆投影」と称する場合もある。また、被写体であるオブジェクトは当然、人物に限定されるものではない。

［映像合成装置の機能構成、各機能構成部の処理内容］
図１に示した機能ブロック図によれば、スマートフォン１は、通信インタフェース部１０１と、タッチパネルディスプレイ（ＴＰ・ＤＰ）１０２と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スマートフォン１のコンピュータを機能させるプログラムを実行することによって、本発明による映像合成方法の一実施形態としての映像合成機能を具現化する。

さらに、このプロセッサ・メモリは、機能構成部として、逆投影面群設定部１１１と、自由視点レンダリング部１２と、カメラキャリブレーション部１３１と、対象マスク抽出部１３２と、アルファ値決定部１３３と、視点位置検出部１３４と、通信制御部１４１とを有する。このうち、自由視点レンダリング部１２は、アルファ値逆投影部１２１と、テクスチャマッピング部１２２ｔを含む視点映像合成部１２２と、メディアエンジン１２３とを含む。ここで、図１におけるスマートフォン１の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像合成方法の一実施形態としても理解される。

同じく図１において、通信インタフェース部１０１は、
（ａ）通信制御部１４１で生成されたHTTP Request（多視点映像データ要求）を、事業者通信網やインターネット等の無線又は有線の通信ネットワークを介し、配信サーバ２宛てに送信する。また、
（ｂ）配信サーバ２から、HTTP Requestへの応答として、多視点映像データ（セグメントファイル）を受信する。ここで、配信形態によっては、各視点の映像データに合わせて、各視点に存在するオブジェクトに係る情報（オブジェクト情報：マスク画像，３次元位置，大きさ情報）や、各視点のカメラキャリブレーション情報を受信することも可能である。

また、通信インタフェース部１０１は、
（ｃ）自由視点レンダリング部１２で生成された自由視点映像データを、外部の情報処理装置宛てに送信してもよく、
（ｄ）外部のサーバから、本発明による映像合成プログラム（アプリ）をダウンロードしてもよい。

通信制御部１４１は、通信インタフェース部１０１を介して受信した多視点映像データ（セグメントファイル）を管理し、適宜、視点映像合成部１２２へ出力する。

カメラキャリブレーション部１３１は、多視点映像データが複数のカメラで撮影された映像データである場合、これらの映像データを用いて、カメラ毎に、実空間の地面（フィールド）とカメラ画像とを対応付け、その結果を対象マスク抽出部１３２や、アルファ地逆投影部１２１、さらには視点映像合成部１２２へ出力する。

ちなみに以下、複数の実カメラ映像の場合について説明を行うが、多視点映像データがＣＧデータである場合も、設定された複数視点の仮想カメラについて同様の対応付けを行い出力するのであり、同様の処理を行うこととなる。

図２は、カメラキャリブレーション部１３１によるキャリブレーション処理の一実施形態を説明するための模式図である。

図２によれば、カメラキャリブレーション部１３１は、ある時刻において撮影された映像画面（カメラ画像U-V座標系）におけるフィールド上の特徴的な点（例えば競技コートの白線の交点等）と、現実空間（X-Y-Z世界座標系）でのフィールド上の点との対応付けを行い、その対応関係をカメラパラメータ（外部パラメータ及び内部パラメータ）として算出し出力する。

これにより、例えば映像データがスポーツ観戦の映像である場合、競技コートのサイズは通常規格化されているので、カメラ画像上の点(u, v)が現実空間（世界座標系）のどの座標(x, y, z)に対応するかを容易に計算することができる。

このようなキャリブレーション処理は、一部人手に頼って実施してもよいが、公知の自動キャリブレーション技術を用いて実施することもできる。ここで、一部人手による場合、例えば、画面内の白線の交点をユーザの操作により選択し、あらかじめ測定されているフィールドモデルとの対応付けを行うことによって、カメラパラメータを推定することができる。なお、画面に歪みがある場合、後述するように内部パラメータを予め推定しておくことも好ましい。

一方、これと同様の操作を自動で行う場合、例えば、閾値処理等を用いて画面内の白線を抽出し、ハフ変換による直線成分抽出を実行することによって画面（画像座標系）における白線の交点の座標を推定することが可能となっている。

さらに、魚眼レンズ等の広角レンズを撮影に用いる場合、カメラの内部パラメータを個別に推定し、画面の歪みを補正する必要がある。このような補正は、例えば予め、撮影に用いるカメラを用いてチェッカーボード等の幾何模様を撮影しておき、この撮影画像を解析することによって可能となる。

ちなみに、キャリブレーション処理の対象となる映像は当然に、スポーツ観戦映像に限定されるものではない。例えば、複数視点の映像間において同一の特徴点が特定できるならば、種々の映像がその対象となる。また、以上に説明したようなキャリブレーション処理は、固定カメラでの撮影を前提とする場合、自由視点映像合成の最初に各カメラについて一度実施すればよい。一方で移動カメラを前提とした場合は、上述した公知の自動キャリブレーション技術を用いてフレーム毎にキャリブレーション処理を実施する必要が生じる。

なお、例えば配信サーバ２から、配信映像データとともにカメラキャリブレーション情報も取得される場合、本カメラキャリブレーション部１３１は設けられなくともよい。

図１に戻って、対象マスク抽出部１３２は、取得された多視点映像データを用い、各視点の映像データ毎に（カメラ毎に）、映像における時刻tの画像からマスク画像情報を抽出する。

具体的に、対象マスク抽出部１３２は、ある時刻tの画像における各画素を背景及び前景のうちのいずれかに分類し、背景画素群と前景画素群とを分離する。この分離処理は、公知の背景差分法を用いて実施可能となっている。ここで本実施形態において、背景及び前景とされた画素の値は、例えばそれぞれ0及び1に設定される。

図３は、対象マスク抽出部１３２によるマスク画像データ抽出処理の一実施例を示す模式図である。

図３によれば、対象（オブジェクト）としての人物を含むある時刻tの原画像に対し、背景差分法を適用することによって、背景差分結果としての画像が生成されている。この画像は、オブジェクトである人物に相当する前景画素部分が白色（画素値が1）であってその他の背景画素部分は黒色（画素値が0）であるマスク画像となっている。

また、このマスク画像と原画像とから、人物（オブジェクト）のテクスチャ情報を含み背景画素部分は黒色のままであるオブジェクトのテクスチャ画像が取得されている。このように、映像画像背景とその前景との分離を行うことによって、人物等のオブジェクト（の画像情報）を大まかに抽出することができるのである。

なお以下、容易な理解のため、マスク画像として２値のものを扱う場合について説明するが、当然に、例えば前景の尤度を画素値とした（グレースケール等の階調を有する）マスク画像を取り扱い、このマスク情報（オブジェクト情報）をアルファ値決定部１３３へ出力することも可能である。

また、例えば配信サーバ２から、配信映像データとともにマスク情報を含むオブジェクト情報も取得される場合、本対象マスク抽出部１３２は設けられなくともよい。

図１に戻って、アルファ値決定部１３３は、対象マスク抽出部１３２で生成されたマスク画像情報を用い、この後アルファ値逆投影部１２１によって逆投影面群に逆投影すべきアルファ値を、各視点映像の画像毎に（カメラ画像毎に）決定する。ここで、このアルファ値を調整することによって、合成される自由視点映像の画像におけるオブジェクトの輪郭の残り具合を加減することが可能となるのである。

このアルファ値決定処理における最も単純な方法は、対象マスク抽出部１３２から入力したマスク画像の画素値をそのままアルファ値とするものである。例えば、入力した２値（0及び1）のマスク画像の画素値をそのまま２値のアルファ値としてもよい。すなわち、前景（画素値＝1）領域のアルファ値が1となり、背景（画素値＝0）領域のアルファ値が0となる。なお、このような方法を採用する場合、アルファ値決定部１３３を設けないことも可能となる。

このシンプルなアルファ値決定方法は、対象マスク抽出部１３２において、正しい前景被写体（オブジェクト）のマスク画像が抽出されている場合には有効となる。しかしながら、実際には、現実世界の映像からマスク画像を抽出した際、ノイズの影響により、例えば被写体の一部が欠損しているようなマスク画像が抽出されることも少なくない。このような正しいマスク画像の抽出が期待され得ない状況においては、以下に示す２つのアルファ値決定方法を採用することも好ましい。

１つめのアルファ値決定方法は、マスク画像における背景の画素について、そのアルファ値を、非ゼロであってゼロより大きく１未満の値τ（例えばτ＝0.5）に設定する方法である。このような設定を行うことによって、次いで実施されるアルファ値逆投影処理で逆投影を行ってアルファ値を重ね合わせた際、背景画素値τがゼロではないので、前景と背景との境界部分が若干残り易くなる効果が期待され、対象マスク抽出部１３２で抽出された不正確なマスク画像を修正する方向に処理を進めることが可能となる。

２つめのアルファ値決定方法は、マスク画像における前景と背景との境界からアルファ値決定対象の画素までの距離が大きくなるに従い、当該画素に設定されるアルファ値を減じていく方法である。具体的には、アルファ値決定対象の背景画素から、当該画素近傍のマスク境界までの距離（例えば垂線距離）をdとして、アルファ値αを、次式
（１） α＝θ・f(d)
を用いて算出することができる。ここで、f(d)はdの単調減少関数であり、θはアルファ値の減衰率である。

この２つ目の方法は、１つめの方法と比較すると、より自然な見た目をもって被写体（オブジェクト）を自由視点映像化することを可能にするが、一方で、各画素近傍のマスク境界までの距離dを算出する必要があるので、計算量及び計算時間が増大する方向にあるといえる。

さらに、以上に述べた方法以外でも、例えば前景の画素のアルファ値を1とし、一方で背景の画素のアルファ値を1未満の値とするような方法であれば、種々の方法が採用可能である。例えば、対象マスク抽出部１３２において、２値化されたマスク画像ではなく、グレースケール等の階調を有する画素からなる画像が出力された場合、これらの画素値を0から1までの値に正規化し、その正規化した値をアルファ値として採用することも好ましい。

いずれにしても、アルファ値決定部１３３は、複数のアルファ値算出手順を保持し、被写体に求められる品質と計算機の処理能力とに応じて、ユーザがそのうちの１つを選択できるようになっていることも好ましい。

同じく図１において、視点位置検出部１３４は、例えばタッチパネルディスプレイ１０２に視点指定用画面が表示されている際、ユーザによるタッチパネルディスプレイ１０２に対する操作を監視し、ユーザによる視点を指定する操作を検出した際、指定された視点の情報（視点位置及び視線向き情報）を生成して逆投影面群設定部１１１に出力する。

逆投影面群設定部１１１は、３次元モデル空間内に、投影先としての複数の面である逆投影面群を設定する。この逆投影面群は、配信された複数視点の映像を３次元モデル空間へ逆投影する際の基準となる。本実施形態において、逆投影面群設定部１１１は、視点位置検出部１３４から入力された視点情報を利用して、逆投影面群を３次元モデル空間内に設置する。例えば、指定された視点の向きに応じた向きを有する逆投影面を設定するのである。

図４及び図５は、逆投影面群設定部１１１による逆投影面設定処理の一実施形態を説明するための模式図である。

最初に、逆投影面の枚数及びその間隔について説明する。自由視点映像における画質向上の観点からすると、逆投影面群Znはできるだけ密に配置されることが好ましい。一方で、逆投影面の枚数が増えるほど、次いで実施されるテクスチャマッピング処理における計算機の一時メモリ、特にＧＰＵ（Graphics Processing Unit）メモリの使用量がより増大してしまう。したがって、自由視点映像において必要な画質を担保しつつメモリ使用量を抑制するために、被写体（オブジェクト）に合った好適な逆投影面の枚数及び間隔を設定することが重要となる。

そのような好適な設定の１つとして、図４（Ａ）及び（Ｂ）に示したように、逆投影面群設定部１１１は、３次元モデル空間内に、指定された仮想視点に係る映像の表示領域の大きさに応じて決定される間隔をもって離隔した、所定数Nの逆投影面を有する逆投影面群Znを設定することも好ましい。

具体的には、使用する計算機の能力から使用可能な逆投影面の枚数Nを決定し、このNを固定値として取り扱う。次いで、指定された仮想視点情報に基づいてディスプレイに表示される領域のみを逆投影面群Znで表現する。すなわち、仮想視点から算出される（表示対象である）オブジェクトの画像領域に、N枚の逆投影面を配置するのである。

例えば、図４（Ａ）に示すように、仮想視点がオブジェクトからより遠い位置にあり、その結果、より広大な空間が表現される（ディスプレイに表示される）場合には、逆投影面の間隔はより大きく設定される。一方、図４（Ｂ）に示すように、仮想視点がオブジェクトのより近い位置にあり、その結果、オブジェクトのより細かな部分が表現される（ディスプレイに表示される）場合には、逆投影面の間隔はより小さく設定される。

さらに具体的な例として、例えば奥行き50mのフィールドにおける競技観戦の多視点映像を用いて自由視点映像を合成する場合において、ディスプレイにおける表示領域が丁度この奥行き50m分である際、5000枚（N＝5000）の逆投影面を配置するものとすると、３次元モデル空間におけるその配置間隔は、1cm（＝5000cm／5000）に設定される。

このように、仮想視点の位置から決まるオブジェクトに必要な表現力（画像品質）に合わせて、逆投影面の配置間隔を動的に変更することによって、オブジェクトに必要な画質を確保しつつ、一時メモリの使用量を低減することが可能となるのである。

次に、逆投影面の向きの設定について説明する。向き設定の好適な実施形態として、逆投影面群設定部１１１は、３次元モデル空間内に、指定された視点から指定された視点の向きに伸長する視線軸が垂直に貫通するような向きを有する逆投影面を設定することも好ましい。すなわちこの場合、逆投影面群Znは常時、指定された仮想視点に正対するように設定される。

例えば、図５（Ａ）に示すように、仮想視点がオブジェクトからより遠い位置にあり、より広大な空間が表現される場合であろうと、一方で図５（Ｂ）に示すように、仮想視点がオブジェクトからより近い位置にあり、オブジェクトのより細かな部分が表現される場合であろうと、仮想視点位置から指定された視線向きに伸長した視線ベクトルに垂直な向きを有する逆投影面群Znが設定されるのである。なお勿論、計算量は若干増大するものの、視線ベクトルと逆投影面とが９０度未満の一定の角度をなすように設定されることも可能である。

このように、仮想視点映像の品質に影響し得る逆投影面の配置向きを、仮想視点に対して一定の態様となるように決定することによって、この後のレンダリング処理によって生成される自由視点映像の品質を所定範囲内に保つことが可能となる。また、任意の仮想視点に対応すべく様々な角度をもって対峙する逆投影面群を用意する、といった不必要な処理を行わなくて済み、より一層の省メモリ化が実現されるのである。

ちなみに、以上に説明した逆投影面は、逆投影処理の容易さから、図４及び５に示したように平面であることが好ましい。実際、１つの逆投影面を、４つ頂点を有するポリゴンとして設定し、それらの座標データをＧＰＵに実装された頂点シェーダに出力することによって、次いで実施されるレンダリング処理をより高速に実施することも可能となる。

また、以上に説明したような、一時メモリ、特にＧＰＵメモリの使用量低減を指向した逆投影面群Znの配置方法以外にも、種々の配置方法が採用可能である。例えば、計算量の制約がより緩やかである場合、３次元モデル空間のX軸、Y軸及びZ軸のそれぞれに垂直な平面群を配置してもよい。

図１に戻って、自由視点レンダリング部１２は、アルファ値決定部１３３で決定されたアルファ値、及び逆投影面群設定部１１１で設定された逆投影面群Znを用い、オブジェクトを自由視点化してディスプレイ領域にレンダリングする。

より具体的に、自由視点レンダリング部１２は、設定された逆投影面群ZnをＧＰＵの頂点シェーダへ入力し、指定された仮想視点情報（視点位置座標及び視線向き情報）に基づいて、ディスプレイ上に自由視点映像をレンダリングする。ここでこの際、オブジェクト以外の背景の情報である３ＤＣＧデータも読み込み、公知の方法に基づき同時に並行してレンダリングを行うことによって、最終的な自由視点映像が合成されるのである。

以下、自由視点レンダリング部１２に含まれるアルファ値逆投影部１２１と、テクスチャマッピング部１２２ｔを含む視点映像合成部１２２との説明を行う。ちなみに、この２つの機能構成部は、ＧＰＵに実装されたピクセルシェーダによって実現することも可能である。この場合、レンダリング処理は、ディスプレイ上の表示領域におけるピクセル単位で実施される。

最初に、アルファ値逆投影部１２１は、配信された多視点の映像データ毎に、当該映像データにおけるオブジェクトの画像部分に係るオブジェクト情報（本実施形態では、当該映像データを構成する画像におけるオブジェクトのアルファ値）を逆投影面群Znの各逆投影面に投影した際の、指定された視点に係る映像における対応するオブジェクト情報（本実施形態では、指定された視点に係る映像を構成する画像における対応するアルファ値）の重ね合わせ結果を算出するオブジェクト情報処理手段となっている。

図６は、アルファ値逆投影部１２１によるアルファ値逆投影処理及びレンダリング処理の一実施形態を示す模式図である。

図６（Ａ）に示したように、本実施形態のアルファ値投影処理では、
（ａ）配信された多視点の映像データ毎に、カメラキャリブレーション部１３１から入力したカメラキャリブレーションデータを用い、当該映像データにおけるオブジェクトに係る画像であるマスク画像を３次元モデル空間（X-Y-Z世界座標系）に配置し、
（ｂ）映像データ毎に、配置されたマスク画像におけるオブジェクトのアルファ値を、指定された視点に合わせて設定された逆投影面群Znの各逆投影面に投影し、
（ｃ）指定された視点に係る自由視点映像を表示する表示ウィンドウの画像Wを構成する画素I(u, v)毎に、対応するアルファ値の重ね合わせ結果を、ＧＰＵのピクセルシェーダを用いて算出する。

ここで、複数視点の映像データ（を撮影した複数カメラ）の間における時刻の同期は予め行われているものとする。また、上記（ｃ）の表示ウィンドウ画像Wも図６（Ａ）に示すように、カメラキャリブレーションデータによって算出される画像Wの平面と３次元モデル空間内の平面との対応関係に基づき、３次元モデル空間内に配置される。

さらに、上記（ｃ）のアルファ値の重ね合わせ結果とは、表示ウィンドウ画像Wの画素I(u, v)毎に、当該画素を通る視線ベクトルが貫通する位置となる各逆投影面の画素における投影された（いわば透過度である）アルファ値を、１つずつ全て透過して得られる積み重ね結果のことである。例えば、アルファ値0.5の逆投影面の画素がｎ個連続している場合、ｎ個の逆投影面画素が積層され（積み重ねられ）、0.5ずつ透過されて表示されるのである。

このような逆投影面群へのアルファ値（透過度）の逆投影によって、図６（Ｂ）に示したように、各視点のカメラ画像において前景とされた（アルファ値が1である）領域の共通部分を、３次元モデル空間上に構築することができ、結果的に、ボクセルを用いた視体積交差法と同等の被写体３次元形状表現を、大幅に少ない計算量（場合によっては1桁小さな計算量）をもって達成することが可能となる。

さらに、ここで設定される逆投影面群は、指定された仮想視点に合わせて適宜動的に変更されるので、常時より少ないメモリ資源でのモデル構築を達成することができ、それ故、より高速なレンダリング（表示）処理を実現することも可能となるのである。

また、本実施形態では、ＧＰＵのピクセルシェーダを利用して、このように３次元モデル空間上に構築されたアルファ値を、仮想視点の表示ウィンドウ画像Wへ投影するのであり、言い換えると、３次元モデル空間上の個々の点にアルファ値をひとまず保持するようなことをせず、ウィンドウ画像Wのピクセルベースで一気に計算が進められる。その結果、より少ない一時メモリ使用量をもって、仮想視点から見たオブジェクトの形状を表現することが可能となる。なお、形状の表現されたこのオブジェクトにおける映像テクスチャの構築は、次のテクスチャマッピング部１２２ｔによって実現される。

また以上のことから、本発明によるアルファ値逆投影法は、従来にない新規な高速度の視体積交差法ともいえることが理解される。この点、２次元の面の重ね合わせを設定し利用するので、ＧＰＵに実装された頂点シェーダや、ピクセルシェーダとの親和性も高く、これらの機能を利用することによって、より一層の処理の高速化が達成されるのである。

ちなみに、本発明によるアルファ値逆投影処理において、計算量をさらに低減させる有効な処置として、図６に示したような（アルファ値の逆投影元である）各マスク画像を、そのサイズを縮小した上で３次元モデル空間（X-Y-Z世界座標系）に配置することも好ましい。例えば、場合によってはオブジェクトのシルエットさえ抜けていればよいので、マスク画像を縦横それぞれ半分にすることも可能となる。これにより、逆投影処理の計算量は大幅に低減される。

図１に戻って次に、視点映像合成部１２２は、アルファ値逆投影部１２１で生成された仮想視点ウィンドウ画像Wでの重ね合わせ結果に基づいて、指定された視点に係る自由視点映像を合成する。また、多視点の映像データを逆投影面へ同様に逆投影することによって、実際のモデル表示に必要な映像データを生成する。すなわち、本実施形態では、オブジェクトのマスク画像情報のみならず実映像の画像情報も、逆投影面群Znへ逆投影されるのである。

視点映像合成部１２２は具体的に、テクスチャマッピング部１２２ｔを備えている。このテクスチャマッピング部１２２ｔは、
（ａ）指定された視点の近傍となる映像データ毎に、当該映像データを構成する画像におけるオブジェクトのテクスチャを各逆投影面に逆投影し、
（ｂ）その際の、指定された視点に係る自由視点映像を構成する画像における対応するテクスチャのアルファブレンド結果を算出する。
次いで、視点映像合成部１２２は、
（ｃ）このアルファブレンド結果と、上記の重ね合わせ結果と基づいて、指定された視点に係る自由視点映像を合成するのである。

ここで上記（ａ）において、指定された仮想視点の近傍となる映像データとして、多視点映像データに係る複数の視点から、仮想視点に近い順に所定数Mの視点を選択し、選択されたM個の視点に係る映像データを自動的に採用することができる。これにより、仮想視点から見た映像を生成する際、不要なテクスチャがオブジェクトにマッピングされる事態を回避することができる。

実際、例えば複数のカメラ映像の中には、仮想視点から見てオブジェクトを挟んでその反対側に配置されたカメラによる映像も存在し得るため、すべてのカメラ映像を採用すると、自由視点映像の品質が著しく低下する可能性がある。

また上記（ｂ）において、テクスチャマッピング部１２２ｔは、対応するテクスチャの投影元の映像データに係る視点と、指定された視点との距離dに基づいて設定された割合をもって、対応するテクスチャをアルファブレンドすることも好ましい。

すなわちこの場合、視点の異なる複数の映像データのテクスチャは、当該視点の仮想視点からの距離dに応じてアルファブレンドされるのである。例えば、近傍２つ（M＝2）の映像データを採用する場合、仮想視点からの距離をそれぞれd1及び d2とすると、２つの映像データのテクスチャは、
1−d1／(d1+d2)：1−d2／(d1+d2)
の比をもってアルファブレンドされてもよい。

いずれにしても本実施形態において、逆投影面群Znは常時、仮想視点に正対するように配置されており、さらに、指定された仮想視点から見たオブジェクトの形状は前もってアルファ値逆投影部１２１によって、ウィンドウ画像Wのピクセル毎のアルファ値として算出されているので、視点映像合成部１２２は、マッピングされた映像を適宜自動的に自由視点映像として表示させることができるのである。

メディアエンジン１２３は、生成した自由視点映像を、例えばタッチパネルディスプレイ１０２へ出力してユーザに提供させる。または、スマートフォン１に搭載されたアプリ（アプリケーションプログラム）に出力し、生成した自由視点映像を当該アプリに利用させてもよい。

［映像合成方法］
図７は、本発明による映像合成方法の一実施形態を概略的に示すフローチャートである。

（Ｓ１０１）スマートフォン１は、（配信要求の結果として）配信サーバ２から多視点映像データを受信する。
（Ｓ１０２）取得した映像データからカメラキャリブレーションデータを生成する。
（Ｓ１０３）取得した映像データから、オブジェクト（被写体）のマスク画像、及び当該オブジェクトの「テクスチャ」を抽出する。

（Ｓ１０４）マスク画像における「アルファ値」を決定する。
（Ｓ１０５）ユーザによって指定された視点情報に応じて「逆投影面群Zn」を設定する。
（Ｓ１０６）設定された「逆投影面群Zn」に「アルファ値」を逆投影する。

（Ｓ１０７）逆投影され、ウィンドウ画像Wに重ね合わされた「アルファ値」に基づいて、「テクスチャ」をマッピングし、自由視点映像を生成する。
（Ｓ１０８）生成した自由視点映像を、例えばタッチパネルディスプレイ１０２に出力して表示させる。

これ以降、スマートフォン１は、ステップＳ１０１〜Ｓ１０８と同様の手順を繰り返し、各再生時間の多視点映像データ（セグメントファイル）を取得して、自由視点映像を合成・再生していくのである。なお通常、スマートフォン１による多視点映像データ（セグメントファイル）の取得要求（HTTP Request）は、１セグメント（に含まれるメディア）分の再生時間長（例えば数〜１０秒程度）の経過毎に、周期的に行われることも好ましい。

いずれにしても、本実施形態においては、同一のオブジェクトを含む互いに視点の異なる複数の映像データに基づき、３次元モデル空間に指定された仮想視点に応じて配置された逆投影面群Znに、映像データ毎に算出される前景領域／背景領域のアルファ値及びテクスチャを逆投影することによって自由視点映像を合成可能としている。

ここで、全ての映像データにおけるオブジェクトのシルエットを各逆投影面に投影した際に共通部分として現れるオブジェクトの形状は、例えばボクセルを用いた視体積交差法で得られる物体の概形を、逆投影面による連続する断面図の集合として捉えたものとして解される。したがって、それらを表示画像上で重ね合わせることによって、従来の視体積交差法と同等の表現を、より少ない計算量・メモリ使用量をもって実現することができるのである。

以上、詳細に説明したように、本発明によれば、３次元モデル空間内に、オブジェクト情報の投影先として複数の面を設定する。すなわち、膨大な３次元点群データによらず、２次元の投影先における重ね合わせ結果から、指定された視点に係る自由視点映像を合成することが可能となる。さらに、全てのシーンの被写体モデルを予め生成しておく必要もない。その結果、計算時におけるより少ないメモリ資源をもって、より少ない計算量で自由視点映像を合成することができる。

ちなみに、より効率的な自由視点合成技術の確立は、来る５Ｇ（第５世代移動通信システム）においても非常に重要な課題となっている。すなわち、５Ｇの下、膨大な容量の多視点映像データを随時受信可能となった端末が遅延なく、より少ない計算負荷をもって自由視点映像を適宜高速に合成することができるか否かが、非常に重要なポイントとなるのである。この点、本発明は、そのような重大な課題を解決するための要となる技術を提供するものとなっている。

例えば、現段階のボクセルを使用した視体積交差法では、視点を順次移動させての自由視点映像をリアルタイムで（遅延が例えば数十msec以内で）レンダリングすることは困難であるが、本発明による逆投影面を利用した視体積交差法によれば、それも実現可能となるのである。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ スマートフォン（映像合成装置）
１０１ 通信インタフェース部
１０２ タッチパネルディスプレイ（ＴＰ・ＤＰ）
１１１ 逆投影面群設定部
１２ 自由視点レンダリング部
１２１ アルファ値逆投影部（オブジェクト情報処理手段）
１２２ 視点映像合成部
１２２ｔ テクスチャマッピング部
１２３ メディアエンジン
１３１ カメラキャリブレーション部
１３２ 対象マスク抽出部
１３３ アルファ値決定部
１３４ 視点位置検出部
１４１ 通信制御部
２ 配信サーバ

Claims (10)

1. オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置であって、
   ３次元モデル空間内に、投影先としての複数の面を設定する面群設定手段と、
   当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段と、
   当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成する視点映像合成手段と
   を有することを特徴とする映像合成装置。
2. 前記面群設定手段は、当該３次元モデル空間内に、当該指定された視点の向きに応じた向きを有する当該複数の面を設定することを特徴とする請求項１に記載の映像合成装置。
3. 前記面群設定手段は、当該３次元モデル空間内に、当該指定された視点から当該視点の向きに伸長する視線軸が垂直に貫通するような当該複数の面を設定することを特徴とする請求項２に記載の映像合成装置。
4. 前記面群設定手段は、当該３次元モデル空間内に、当該指定された視点に係る映像の表示領域の大きさに応じて決定される間隔をもって離隔した、所定数の当該面を設定することを特徴とする請求項１から３のいずれか１項に記載の映像合成装置。
5. 前記オブジェクト情報処理手段は、当該映像データ毎に、当該映像データを構成する画像における当該オブジェクトのアルファ値を当該面の各々に投影した際の、当該指定された視点に係る映像を構成する画像における対応するアルファ値の重ね合わせ結果を算出することを特徴とする請求項１から４のいずれか１項に記載の映像合成装置。
6. 当該オブジェクトの背景画素のアルファ値として、非ゼロ値、又は前景と背景との境界から当該背景画素までの距離に応じて単調に減少する値を設定するアルファ値決定手段を更に有することを特徴とする請求項５に記載の映像合成装置。
7. 前記視点映像合成手段は、
   当該指定された視点の近傍となる所定数の当該映像データ毎に、当該映像データを構成する画像における当該オブジェクトのテクスチャを当該面の各々に投影した際の、当該指定された視点に係る映像を構成する画像における対応するテクスチャのアルファブレンド結果を算出するテクスチャマッピング手段を更に有し、
   当該重ね合わせ結果及び当該アルファブレンド結果に基づいて、当該指定された視点に係る映像を合成する
   ことを特徴とする請求項５又は６に記載の映像合成装置。
8. 前記テクスチャマッピング手段は、当該対応するテクスチャの投影元の当該映像データに係る視点と、当該指定された視点との距離に基づいて設定された割合をもって、当該対応するテクスチャをアルファブレンドすることを特徴とする請求項７に記載の映像合成装置。
9. オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置に搭載されたコンピュータを機能させる映像合成プログラムであって、
   ３次元モデル空間内に、投影先としての複数の面を設定する面群設定手段と、
   当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するオブジェクト情報処理手段と、
   当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成する視点映像合成手段と
   してコンピュータを機能させることを特徴とする映像合成プログラム。
10. オブジェクトの画像を含んでおり互いに視点の異なる複数の映像データを用いて、指定された視点に係る映像を合成可能な装置に搭載されたコンピュータにおける映像合成方法であって、
    ３次元モデル空間内に、投影先としての複数の面を設定するステップと、
    当該映像データ毎に、当該映像データにおける当該オブジェクトの画像部分に係るオブジェクト情報を当該面の各々に投影した際の、当該指定された視点に係る映像における対応するオブジェクト情報の重ね合わせ結果を算出するステップと、
    当該重ね合わせ結果に基づいて、当該指定された視点に係る映像を合成するステップと
    を有することを特徴とする映像合成方法。