JP2015114716A - 画像データ再生装置および画像データ生成装置 - Google Patents

Abstract

【課題】高品質な自由視点映像の生成と再生が可能な装置を提供すること。
【解決手段】画像データ生成装置１は、視点画像データにおけるオブジェクトの大きさを示すサイズデータ、オブジェクトを囲む矩形領域の法線により前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデルデータ上におけるオブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データ、のうち少なくとも一つ以上を含む自由視点メタデータを生成する自由視点メタデータ生成部３と、視点画像データ、および視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部３と、自由視点メタデータ、視点画像データ、領域画像データ、および背景モデルデータを多重化し、自由視点画像データを生成する多重化部４と、を具備する。
【選択図】図１

Description

本発明は、画像データ再生装置および画像データ生成装置に関し、より具体的には、入力された視点画像データを用いて任意の視点からの画像の再生が可能な自由視点画像データを生成する画像データ再生装置と、その画像データ再生装置が生成する自由視点画像データを再生する画像データ再生装置に関する。

近年、任意の視点位置から見ることのできる自由視点画像を表示するために、複数台のカメラで異なる視点位置から同一シーンを撮影し、様々な方法でそれらの画像を再生して表示させる手法が存在する。例えば、特許文献１では、複数のカメラにより撮影された画像から補間した中間視点画像を生成する技術が開示されている。

また、固定カメラで撮影した画像に加え、パンや、チルト、ズーム、フォーカス値の変更を伴う非固定ズームカメラで撮影した画像を特定の被写体に合成することにより、合成画質の向上を図る手法が存在する。例えば、特許文献２に記載された自由視点画像を生成する方法では、固定カメラで撮影した画像データと、非固定ズームカメラで撮影した画像データから、非固定ズームカメラの中心射影行列を推定し、非固定ズームカメラで撮影した画像データに含まれる被写体の３次元モデルを構築し、固定カメラ画像からの自由視点画像データを生成し、被写体の３次元モデルテクスチャを、自由視点画像データにマッピングすることができる。

特開２００８−２１７２４３号公報 特開２０１２−１８５７７２号公報

上記特許文献１では、自由視点画像の生成に必要な視点情報として、ユーザが任意に指定した位置を入力している。しかし、動画データの場合、カメラがパンすることによってユーザが任意に指定した位置がずれてしまい、望みの視点と異なる視点が表示されてしまう可能性があった。また、ユーザが、特定の被写体を異なる視点から見るために視点位置を指定した場合では、被写体自体が移動したり、フレームアウトしたりすることなどにより、望みの視点と異なる視点が表示されてしまう可能性があった。

一方、特許文献２の手法では、非固定ズームカメラの映像からビルボードを使って３次元モデルを構築し、自由視点画像を実現しているが、本手法では、伝送すべき情報量が多く、放送やネットでの配信が難しい。また、伝送後も表示側で３次元モデルを構築する必要があり、非常に負荷がかかるという問題があった。

また、撮影時、被写体の重なりによって生じるオクルージョンや、被写体のフレームアウト等が生じた場合に、ユーザが望んだ視点の画像がうまく合成できなかったり、合成しても非常に低品質な画像になる可能性が存在する。このように、品質に問題がある視点の画像を表示しないようにする等の表示に対する制御を送信側で行う仕組みが存在しないため、視点が合成できない、もしくは合成しても低品質になる可能性が高い視点映像が表示されてしまうような視点をユーザが選択してしまうという問題があった。

本発明は、このような問題に鑑みてなされたもので、その目的は、自由視点画像を再生する際に、自由視点画像データを生成する側で視点位置を制御することで、高品質の自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することにある。

上記の課題を解決するために、本発明の一態様によれば、
画像データ生成装置は、少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、前記視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線により前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデルデータ上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データ、のうち少なくとも一つ以上を含む自由視点メタデータを生成する自由視点メタデータ生成部と、前記視点画像データ、および前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、および前記背景モデルデータを多重化し、前記自由視点画像データを生成する多重化部と、を具備することを特徴とする。

本発明の別の一態様によれば、画像データ生成装置は、
前記自由視点表示を行う際の視点を移動させる範囲を制限する視点範囲データと、前記視点を移動させるときの移動量の単位を示す視点分解能データと、を含むことを特徴とする。

本発明の別の一態様によれば、本発明にかかる画像データ再生装置は、
任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、少なくとも一つ以上の視点から撮影された視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線によって前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデル上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データのうち少なくとも一つ以上を含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、前記視点画像データ内の各オブジェクトの領域を識別するための領域画像データと、前記背景モデルデータと、が多重化された自由視点画像データを取得するとともに、前記自由視点画像データを表示する際の視点位置を指定したユーザ視点データを取得し、前記自由視点メタデータと、前記ユーザ視点データとを用いて、前記自由視点画像データの視点位置を設定する視点設定データを生成する視点設定部と、前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、前記背景モデルデータ、および前記視点設定データから、所定の表示部で表示可能な前記自由視点画像データを生成する自由視点画像生成部と、を具備することを特徴とする。

本発明の別の一態様によれば、画像データ再生装置は、
前記視点設定部が、前記ユーザ視点データにより指定された視点位置では前記オブジェクトが前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記フレームアウトするオブジェクトが発生しないように視点位置を設定し、または前記ユーザ視点データにより指定された視点位置に関わらず、前記視点設定データに、特定のオブジェクトが前記自由視点画像データの画面内に入らないように視点位置を設定することを特徴とする。

本発明の別の一態様によれば、画像データ再生装置は、前記自由視点メタデータが少なくとも前記回転起点データを含み、
前記視点設定部が、前記配置データに示される配置位置に前記視点の回転中心が設定されているオブジェクトが、前記ユーザ視点データにより示された視点位置では前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記ユーザ視点データにより指定された視点位置とは別の位置に前記視点の回転中心を設定することを特徴とする。

本発明によれば、自由視点画像を再生する際に、自由視点画像データを生成する側で視点位置を制御することで、高品質の自由視点画像データを生成できるようにした画像データ生成装置と、その画像データ生成装置で生成された自由視点画像データによる自由視点画像を再生する画像データ再生装置とを提供することができる。

本発明の実施形態に係る画像データ生成装置の構成を示すブロック図である。 画像データ生成装置に入力される画像データの一例を示す図である。 画像データ生成装置に入力される領域画像データの一例を示す図である。 背景モデルデータの一例を示す図である。 自由視点画像データの一例を示す図である。 画像データ生成装置の動作の一例を示すフローチャートである。 自由視点メタデータの一例を示す図である。 オブジェクト別自由視点メタデータの一例を示す図である。 サイズ・法線データの一例を示す図である。 視点画像データにおけるビルボードの一例を示す図である。 中心位置データ、切り出しサイズデータ、および法線データを説明するための図である。 視点画像データにおけるオブジェクトごとのビルボードの一例を示す図である。 ビルボード表示の一例を示す図である。 一つのオブジェクトを中心にしてカメラを回転させて撮影した状態を上から観察した様子を説明する図である。 同一オブジェクトに対する複数のビルボードから形成された三次元モデルオブジェクトについて説明するための図である。 複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する図である。 複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する他の図である。 カメラから各オブジェクトまでの距離と、撮影画像におけるオブジェクトの大きさについて説明するための図である。 切り出したビルボードを、縮尺を合わせずにそのまま配置した場合の様子を示す図である。 回転起点データの一例を説明するための図である。 回転起点データの別の一例を説明するための図である。 ユーザが自由に視点を回転させて自由視点画像データを表示する際の様子を説明するための図である。 ユーザが自由に視点を回転させて自由視点画像データを表示する際の様子を説明するための他の図である。 視点制御データを格納した回転起点データの例を示す図である。 視点範囲データと視点分解能データを説明するための図である。 仮想カメラとその位置に合わせて選択されるビルボードの関係を説明するための図である。 本発明の実施形態に係る画像データ再生装置の構成を示すブロック図である。 画像データ再生装置の動作の一例を示すフローチャートである。 自由視点画像生成部の動作を示すフローチャート図である。 視点設定部の動作を示すフローチャート図である。 視点設定部の別の動作を示すフローチャートである。 視点を変えた結果フレームアウトするオブジェクトについて説明するための図である。 視点を変えた結果フレームアウトするオブジェクトについて説明するための他の図である。 視点設定部の別の動作を示すフローチャートである。 カメラの撮影範囲とオブジェクトの関係について説明する図である。 カメラの撮影範囲とオブジェクトの関係について説明する他の図である。 視点設定部の別の動作を示すフローチャートである。 本発明の実施形態に係る画像データ生成装置と、画像データ再生装置とが一体化された画像処理システムの構成を示すブロック図である。

以下に添付図面を参照して、本発明に係る画像データ再生装置の好適な実施形態を詳細に説明する。以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。
以下で述べる画像データとは、静止画像データと動画像データの両方を示すものとする。また、画像データには、音声データを含んでも構わないが、以下では、説明の簡易化のため、音声データに関する説明は省略する。

＜本発明の実施形態に係る画像データ生成装置の構成の説明＞
図１は、本発明の実施形態に係る画像データ生成装置１の構成を示すブロック図である。まず、この図を用いて本発明の実施形態に係る画像データ生成装置１の構成の概略を説明する。画像データ生成装置１は、自由視点メタデータ生成部２と、符号化部３と、多重化部４と、を具備している。
画像データ生成装置１の具体的な例として、画像データを生成する放送機器装置や、クラウド上のサーバ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）の画像データ生成ソフトウェア等が挙げられる。

自由視点メタデータ生成部２は、外部から入力されるサイズ・法線データと、配置データと、回転起点データと、アノテーションデータとを受け付け、自由視点メタデータを生成し、多重化部４に出力するための装置である。なお、サイズ・法線データ、配置データ、回転起点データ、アノテーションデータ、および自由視点メタデータの具体的内容と、自由視点メタデータ生成部２の詳細な動作については後述する。

符号化部３は、外部から入力される少なくとも一つ以上の画像データと、その画像データに対応する領域画像データとを受け付けて符号化し、符号化した画像データと領域画像データとを多重化部４に出力するための装置である。ここで画像データと領域画像データについて図面を用いて説明する。

図２は、画像データ生成装置に入力される画像データの一例を示す図である。視点画像データ５は、少なくとも一つ以上の視点から撮影された画像データである。図２に示す視点画像データ５において、オブジェクト６、７はそれぞれサッカーをしている人物を示し、オブジェクト８はサッカーボールを示している。

図３は、画像データ生成装置に入力される領域画像データの一例を示す図である。図３に示す領域画像データ９は、図２の視点画像データ５の各オブジェクト６〜８の領域を示す画像データであり、例えば、領域１０、１１、１２は、それぞれ図２に示すオブジェクト６、７、８の領域を示している。
このとき領域画像データ９は、０〜２５５の値のいずれかを持つ画像データであるものとし、例えば、背景の領域の値を０とし、それ以外のオブジェクトの値を２５５のとしてもよく、あるいは各オブジェクトの領域ごとに異なる値としても構わない。このときの各オブジェクトに対応する領域の値をオブジェクトＩＤとし、後述する自由視点メタデータ内に含ませても構わない。

またここで、画像データから各オブジェクトの領域を切り出して領域画像データを作成する際に、各視点画像データに対応する視差画像データ、もしくはデプス画像データの奥行き情報から各オブジェクト領域を切り出してもよい。あるいは背景を予め用意して、オブジェクト領域として前景を切り出してもよく、人が手動でオブジェクト領域を切り出しても構わない。このオブジェクト領域を切り出す手法については、いずれの手法を適用しても構わず、本発明を直接特徴づけるものではなく公知の手法であるためその詳細な説明は省略する。

また、符号化部３で用いる符号化方式としては、例えばＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐａｒｔｓ Ｇｒｏｕｐ）で標準化された方式であるＭＰＥＧ−２方式や、Ｈ．２６４方式、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式や、ＪＰＥＧ（Ｊｏｉｎｔ ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等、画像を符号化する方式であればいずれの方式であっても適用できる。これら符号化方式は、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。また、入力された画像データや領域画像データは、符号化することなく非圧縮のまま出力しても構わない。

多重化部４は、自由視点メタデータ生成部２で生成された自由視点メタデータと、符号化部３で符号化された視点画像データおよび領域画像データと、背景モデルデータとを多重化し、自由視点メタデータを含んだ自由視点画像データを生成し、出力するための装置である。

ここで、背景モデルデータについて説明する。背景モデルデータは、背景をモデル化して作成した画像データであり、視点画像データ内の各オブジェクト以外の領域である背景領域のモデルデータとテクスチャデータとで構成されている。このときの背景モデルデータは、テクスチャ付きの３次元モデルをコンピュータグラフィック（以下、ＣＧと呼ぶ）で作成したものであっても構わない。あるいは、複数のカメラを用いて、被写体を複数の方向から撮影した画像から特徴点を算出し、特徴点マッチングを行なって３次元モデルを生成し、生成した３次元モデルにテクスチャを張り付けるといった一般的な手法で生成されたものであっても構わない。あるいはその他のフォーマットのデータであっても構わない。なお、背景モデルデータのフォーマットについては、本発明を直接特徴づけるものではなく公知の技術であるためその詳細な説明は省略する。

図４は、背景モデルデータの一例を示す図で、サッカースタジアムのテクスチャデータ付きのモデルデータを示す。本モデルは、図４に示すように、例えば、スタジアム１３の左上部にある原点１４として、ｘ軸、ｙ軸、ｚ軸をそれぞれ設定して作成されている。

次に、自由視点画像データと、その自由視点画像データに含まれる自由視点メタデータの構成について、図面を用いて詳細に説明する。
図５は、自由視点画像データの一例を示す図である。自由視点画像データは、少なくとも一つ以上の視点から撮影された画像データである視点画像データと、各視点画像データに対応する領域画像データ、背景モデルデータ、および自由視点メタデータの少なくとも一つ以上から構成される。

＜本発明の実施形態に係る画像データ生成装置の動作の概略＞
次に、本発明の実施形態に係る画像データ生成装置１の動作について説明する。図６は、画像データ生成装置１の動作の一例を示すフローチャートである。
まずステップＳ１において、画像データ生成装置１の自由視点メタデータ生成部２に、各種データ、すなわちサイズ・法線データ、配置データ、回転起点データ、およびアノテーションデータが入力され、ステップＳ２に移行する。ステップＳ２において、自由視点メタデータ生成部２は、入力された各種データから自由視点メタデータを生成する。

ここで、自由視点メタデータについて図面を用いて詳細に説明する。図７は、自由視点メタデータの一例を示す図である。自由視点メタデータは、複数の視点画像データのいずれかに存在するオブジェクトの総数を示すオブジェクト数を含んでいる。このとき、オブジェクト数は、１から最大ｍの値となる（ｍは１以上の整数）。また、自由視点メタデータは、各オブジェクトに対応するオブジェクト別自由視点メタデータ（最大ｍ個）を含んでいる。

なお、このオブジェクトに関して、例えば、所定のオブジェクトが所定の視点の画像データに含まれているが、別の視点の画像データに含まれない場合が存在する。オブジェクトの例として、サッカーの場合であれば、選手や審判、ボール、ゴール等がオブジェクトになる。またコンサートやライブ等の場合であれば、歌手や演奏者、ダンサー、その他司会者等の人物がオブジェクトとなる。

次に、オブジェクト別自由視点メタデータについて説明する。図８は オブジェクト別自由視点メタデータの一例を示す図である。図８に示すように、オブジェクト別自由視点メタデータ１は、そのオブジェクトを識別するためのＩＤ、サイズ・法線データ、配置データ、回転起点データ、およびアノテーションデータを含んで構成されている。

まず、サイズ・法線データについて説明する。なお、以下の説明では、説明の簡略化のため、少なくとも一つ以上の視点画像データから作成した、視点画像データの数と同じ数のビルボードを用いて、背景以外の各オブジェクトのモデルを構築する場合の例を説明する。ここで、ビルボード方式とは、板にテクスチャを張り付けてレンダリングする方式であって、レンダリング時の処理量を削減するためによく使われるごく一般的な手法である。この板のことを一般的にビルボードと呼んでいる。

なお、レンダリングの際、アルファチャネルと呼ばれるテクスチャに対応した領域情報を用いて、特定の領域の透過度を変えてレンダリングするアルファブレンデイング法を用いることにより、板状のモデル形状を感じさせずに臨場感の高い自由視点画像データを高速表示させることができる。

図９は、サイズ・法線データの一例を示す図である。図９に示すように、サイズ・法線データは、視点データ数と、サイズデータと、法線データとを含んで構成される。このうち、視点データ数は、自由視点画像データ内に含まれるｎ個の視点画像データの数を示す（ｎは1以上の整数）。
また、サイズデータは、視点画像データ内のオブジェクトの大きさを示すデータであって、切り出し位置データと、切り出しサイズデータとを含んで構成されている。まず、切り出し位置データと切り出しサイズデータについて説明する。図１０は、視点画像データにおけるビルボードの一例を示す図である。図１０において、オブジェクト６を取り囲む矩形の点線の示す領域である、ビルボード１５に囲まれた領域のテクスチャが視点画像データ５から切り出され、オブジェクト６用のビルボードのテクスチャとして使用される。

図１１は、中心位置データ、切り出しサイズデータ、および法線データを説明するための図である。ここで図１１において、ビルボード１５の左上の位置である点１６を、オブジェクト６の視点画像データ５からビルボード用のテクスチャとして切り出す際の始点となる切り出し位置データデータとする。また、ビルボード１５の上下左右の長さを切り出しサイズデータとする。さらにまた、ビルボード１５の向きを示す法線１７をオブジェクト６の法線データとする。なお、このときの法線データの向きは、撮影時のカメラの光軸の向きを反転させた向きとしても構わない。

このように、オブジェクト６を囲むビルボード１５の左上の座標、サイズ、および法線の向きを、それぞれオブジェクト６の切り出し位置データ、切り出しサイズデータ、および法線データとしてサイズ・法線データに格納する。なおこのときの切り出しサイズデータは、ビルボードの水平方向の長さと垂直方向の長さであってもよく、また、切り出し位置データは、視点画像データの右上を原点とした座標であっても構わない。また、法線データについては、背景モデルを設置する世界座標上における法線ベクトルとして表現しても構わない。

また、サイズ・法線データは、オブジェクトごとに存在する。図１２は、視点画像データにおけるオブジェクトごとのビルボードの一例を示す図である。図１２において、ビルボード１８がオブジェクト７に対応し、ビルボード１９がオブジェクト８に対応してそれぞれ存在する。また、オブジェクト毎に存在するサイズ・法線データは、それぞれ切り出す元となる視点画像データの数だけさらに存在する。

このようにして、視点画像データから切り出したビルボード用のテクスチャは、実際にビルボードに張り付け、背景モデルデータ上に配置されるが、このときの各オブジェクトのビルボードの配置情報が配置データとなる。配置データは、背景モデル上におけるオブジェクトの配置位置を示すデータである。
配置データは、撮影時にオブジェクトのデプス情報を取得し、取得したデプス情報から各オブジェクトの背景モデル上の位置を求めても構わない。なお、配置データは、すべての視点で同じであるため、オブジェクト別自由視点メタデータ毎に一つだけ含まれる。

図１３は、ビルボード表示の一例を示す図である。図１３において、背景モデルであるスタジアム２０上の配置データが示す位置に、各オブジェクトに対応するビルボードを配置する。またこのとき、ビルボードは、法線データが示す方向に傾けて配置する。さらに、これらのビルボードには、切り出し位置データとサイズデータとを用いて、視点画像データ５から切り出したビルボード１５、１８、１９のテクスチャを貼り付けて表示する。

なお、ビルボード１５、１８、１９のテクスチャを貼り付ける際は、図３で示した領域画像データ内の領域情報であって、各ビルボードのオブジェクトのＩＤに対応するオブジェクトＩＤをもつ領域情報を用いることにより、オブジェクト以外の領域を透過させ、表示することができる。

次に、複数の視点画像データからそれぞれ作成した複数のビルボードのデータ表示方法について説明する。図１４は、一つのオブジェクトを中心にしてカメラを回転させて撮影した状態を上から観察した様子を説明する図である。図１４において、オブジェクト２１の重心となる点２２に向けてカメラ２３を配置し、さらに点２２を中心にして回転させた位置にカメラ２４を配置する。このとき、各カメラ２３、２４に対する点２２の位置が等しくなるように配置する。

ここで、例えば、オブジェクト２１が水平方向に細長い形をしている場合、その向きに応じてビルボードの水平方向の長さも変化する。カメラ２３が撮影した画像において、画像全体の水平方向の長さを線分２５の長さとすると、オブジェクト２１の占める水平方向の長さは、ビルボード２６が示す長さとなり、同様に、カメラ２４が撮影した画像において、画像全体の水平方向の長さを線分２７の長さとすると、オブジェクト２１の占める水平方向の長さは、ビルボード２８が示す長さとなる。

図１５は、同一オブジェクトに対する複数のビルボードから形成された三次元モデルオブジェクトについて説明するための図である。図１５において、カメラ２３とカメラ２４で撮影した２つの異なる視点の視点画像データからそれぞれ切り出した、同じオブジェクトのビルボード２６、２８が配置され、そのとき、オブジェクト２１の重心となる点２２の位置に、ビルボード２６とビルボード２８の中心が位置するように各ビルボード２６，２８が配置されている。

次に、このように配置されたビルボードがどのように表示されるかについて説明する。図１６と図１７は、複数のビルボードから形成された三次元モデルオブジェクトを観察する際の様子について説明する図である。図１６において、ユーザ２９は、ビルボード２６が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２８は表示されず、ビルボード２６のみが表示される。また、図１７において、ユーザ２９は、ビルボード２８が正面となる位置で３次元モデルオブジェクトを観察している。この場合は、ビルボード２６は表示されず、ビルボード２８のみが表示される。

以上のように、表示する３次元オブジェクトに対する視点の方向に合わせて、視点の方向に最も近い方向を向いている法線を有するビルボードのみを表示することにより、より近い視点の画像を使ってビルボード表示できるため、より違和感のない、実際の映像に近い表示を行うことができる。
またこのとき、同じオブジェクトの各ビルボードの位置が変わらないように配置することにより、視点を変え、異なる方向の視点画像から切り出したビルボードを表示した場合でも、オブジェクトの中心位置は画面内の同じ位置に表示されるため、ユーザに違和感を生じさせずにオブジェクトを表示させることができる。

また、撮影画像は、カメラから透視投影された画像になるため、カメラから各オブジェクトまでの距離に応じてオブジェクトの縮尺が異なる。このため、切り出したビルボードをそのまま表示するのではなく、カメラからオブジェクトまでの距離に応じた縮尺を考慮する必要がある。この場合について図面を用いて説明する。

図１８は、カメラから各オブジェクトまでの距離と、撮影画像におけるオブジェクトの大きさについて説明するための図であり、２台のカメラによって水平方向からオブジェクト３０を観察したときの様子を示す図である。
図１８において、オブジェクト３０からカメラ３１までの距離が、オブジェクト３０からカメラ３２までの距離よりも近くなるように、各カメラ３１、３２が配置されている。このとき、各カメラ３１、３２が撮影する画像データ内に占めるオブジェクト３０の垂直方向の割合は、カメラ３１とカメラ３２とで異なる。

例えば、カメラ３１が撮影した画像において、画像全体の垂直方向の長さを線分３３の長さとすると、オブジェクト３０が占める垂直方向の長さは、オブジェクト３０のビルボード３４の長さとなる。同様に、カメラ３２が撮影した画像において、画像全体の垂直方向の長さを線分３５の長さとすると、オブジェクト３０が占める垂直方向の長さは、オブジェクト３０のビルボード３６の長さとなる。

図１９は、切り出したビルボードを、縮尺を合わせずにそのまま配置した場合の様子を示す図である。図１９（Ａ）において、配置データが示す位置３７が各ビルボード３４、３６の中心に一致するように各ビルボード３４、３６を設置する。この場合、ビルボード３４とビルボード３６は、同じオブジェクトにもかかわらず縮尺が異なって表示される。

このように、オブジェクトからカメラまでの距離に応じて縮尺が異なるため、背景モデルのスタジアムのサイズに合わせて違和感のない正しい大きさとなるように、各ビルボードのサイズを変換して配置する必要がある。
図１９（Ｂ）に、ビルボード３４の縮尺とビルボード３６の縮尺とが同じになるようにサイズを変換した際の様子を示す。図１９（Ｂ）において、ビルボード３８は、ビルボード３６の縮尺を変換した後のビルボードとなる。

なお、このときの各オブジェクトの実際のサイズについては、デプス情報から取得しても構わないし、予めデータベースに登録しておいたものを使用しても構わないし、ユーザが入力しても構わない。なお、スタジアムのサイズについては、背景モデルデータを参照する。また、このときのオブジェクトの実寸のサイズをアノテーションデータの一部として記録しても構わない。なお、アノテーションデータについては、再度あらためて説明する。

以上のようにして、各オブジェクトのカメラまでの距離が異なる場合であっても、その距離に応じて各ビルボードのサイズを変換して配置し、それら複数のビルボードの中から最も視点方向に近い法線を有するビルボードを用いることによって、ユーザにとってより違和感のない実際の映像に近い表示を行うことができる。

次に回転起点データについて説明する。図２０は、スタジアムを４方向から撮影した際の様子について説明する図である。
図２０において、それぞれ異なる４方向に設置したカメラ４１、４２、４３、４４によって、スタジアム３９の中心の点４０を撮影する。このときの各カメラ４１〜４４は、その光軸が点４０で交差するように配置される。そしてこの点４０を回転起点とし、点４０のスタジアム上の座標を回転起点データとして、自由視点メタデータ内に格納する。

また、自由視点画像データを生成する際、回転起点データの座標を自由に指定しても構わない。図２１は、別の回転起点データの一例を示す図である。図２１において、回転起点データの座標として、左上側のコーナーポストの点４５、左中央のゴール前の点４６、左下側のコーナーポストの点４７、右上側のコーナーポストの点４８、右中央のゴール前の点４９、あるいは右下側のコーナーポストの点５０のうちのいずれかの座標を自由視点メタデータ内に格納しても構わない。

なお、回転起点データが示す座標は、ユーザが自由に視点を回転させて、自由視点画像データを表示する際の回転中心座標となる。図２２と図２３は、ユーザが自由に視点を回転させて自由視点画像データを表示する際の様子を説明するための図である。
図２２において、スタジアム３９上に、図１２で示した視点画像データ５から切り出して作成されたビルボード１５、ビルボード１８、およびビルボード１９がそれぞれ表示されている。ここで、回転起点データは点４０に設定されているものとし、回転起点データを中心に反時計回りに回転させた場合を図２３に示す。

図２２では、スタジアム３９の左上方向から見た視点で自由視点画像データが表示されていたが、図２３では、中央の低い位置から見た視点による表示になっている。また、回転起点データを所定の時刻ごとに格納しても構わない。この場合、視点が適切な位置となるように、時刻ごとに視点画像データに回転起点データを指定することができる。
以上のようにして、ユーザは、自由視点画像データ内に記録された回転起点データを用いて、自由に視点を回転させることができる。

また上記では、ユーザが、自由視点画像データ内に記録された回転起点データを用いて自由に視点を回転させることができる仕組みについて説明したが、回転起点データの代わりに、配置データを用いて自由に視点を回転させても構わない。この場合、例えばユーザの望みに応じて、各選手やボール等の配置データを用いて、自由に視点を回転させることが可能である。

以上のようにして、各オブジェクトのカメラまでの距離が異なる場合であっても、その距離に応じて、各ビルボードのサイズを変更して配置し、それら複数のビルボードの中から最も視点方向に近い法線を有するビルボードを用いることによって、より違和感のない、実際の映像に近い表示を行うことができる。
またこのとき、視点を回転する際の回転方向と、視点を一度に移動させることが可能な角度とについて、制限を設けても構わない。制限を設けるための方法として、例えば、回転起点データ内に視点制御データを格納しても構わない。

図２４は、視点制御データを格納した回転起点データの例を示す図である。視点制御データは、視点範囲データと、視点分解能データとから構成されている。以下に、図面を用いて、視点範囲データと視点分解能データについて説明する。図２５は、視点範囲データと、視点分解能データとを説明するための図である。
ユーザは、自由視点画像データをその視点を変えて表示することができるが、このときに自由視点表示を行う際の視点を移動させる範囲を制限するデータが視点範囲データであり、視点を移動させるときの分解能、すなわち視点の移動量の単位を示すデータが視点分解能データとなる。

まず、視点範囲データについて説明する。自由視点画像データを表示する場合、例えば、まず図２５に示すように、自由視点画像データをレンダリングするための仮想カメラ５１を、回転起点データの座標位置の点５２の方向に向けて、レンダリングした画像を表示する。次に、ユーザが、点５２を中心として反時計回りに視点を動かした画像を表示したい場合、仮想カメラ５１の位置から仮想カメラ５３の位置に仮想カメラを移動させ、その位置で点５２の方向に向けてレンダリングした画像を表示すればよい。

ここで視点範囲データは、回転起点データの座標位置の点を中心として、視点を回転できる角度のデータとして表現する。例えば、図２５の仮想カメラ５１の光軸方向に一致する点線５４と、仮想カメラ５３の光軸方向に一致する点線５５とのなす角度αが視点範囲データとなる。

以上のように、仮想カメラを移動させることができる範囲に制限を設けて視点範囲データとして記録し、自由視点メタデータ内に格納することで、自由視点画像データを生成する側で、選択できる視点の範囲を制御する。これにより、仮想カメラとオブジェクトの角度と位置に応じてオクルージョンで隠れていた部分が現れてしまったり、撮影されていないモデルの背面が見えてしまったりするような視点位置の画像を表示しないようにすることができる。

また、ある一つのシーンで視点位置を変更する際、移動させる仮想カメラの移動方向と位置によっては、ユーザが注目しているオブジェクトが仮想カメラの画角からはみ出し、フレームアウトする場合がある。このような場合でも、視点範囲データを設け、自由視点画像データを生成する側で、選択できる視点の範囲を同様に制御する。これにより、ユーザが注目しているオブジェクトが仮想カメラの画角からはみ出してフレームアウトしないように、ユーザが選択できる視点の位置を制御することができる。

また、このとき視点範囲データを複数用意していても構わない。例えば、相対的に大きい範囲の視点範囲データと、相対的に小さい範囲の視点範囲データとを用意し、再生時、通常は範囲の小さい範囲の視点範囲データを用いて再生を行い、例えば課金処理やパスワードの入力に応じて大きい範囲の視点範囲データを用いて再生を行うことができるようにしても構わない。
以上のようにして、視点範囲データを複数用意することにより、自由視点画像データを再生するユーザは、変更したい視点の範囲に応じて料金を支払い、送信側は、その料金を受け取る、といった多様なサービスが実現できる。

次に、視点分解能データについて説明する。
視点分解能データは、上記のように視点を移動させるときの分解能、すなわち視点の移動量の単位を示すデータであり、例えば視点範囲データで規定された範囲内において、仮想カメラを移動させることができる角度の最小単位である。例えば、図２５において、仮想カメラ５１の位置と、仮想カメラ５３の位置との中間の位置を、仮想カメラ５６の位置とする。この場合、仮想カメラ５１の光軸方向に一致する点線５４、または、仮想カメラ５３の光軸方向に一致する点線５５と、仮想カメラ５６の光軸方向に一致する点線５７とがなす角度は、それぞれβとなる。例えば、このときのβを視点分解能データとすると、仮想カメラは、仮想カメラ５１の位置と、仮想カメラ５３の位置と、仮想カメラ５６の位置にのみ移動させることができる。

以上のように、視点分解能データを用いて、ユーザが選択できる自由視点の角度を制御することにより、自由視点画像データを生成する側で、表示側に見せたい視点をより詳細に制御することができる。さらに、ユーザが表示時に自由視点を選択する際、同じ操作を行ったにもかかわらず、表示機器によって視点の移動量が異なってしまう、という問題があるが、視点分解能データを規定して、視点を移動させる移動量の最小単位を規定することにより、異なる表示機器であっても、同じ操作を行えば同じ量だけ視点を移動させることができる。

また、視点分解能データは、仮想カメラを移動させることができる角度の最小単位の他に、仮想カメラを移動させることができる角度の標準単位を含んでもよい。このようにすることにより、視点を通常に移動させる場合は、標準単位で視点を移動させ、画面のズーム後の視点変更等、さらに詳細に視点を移動させたい場合は、最小単位を用いて移動させるといったように、用途ごとに移動させる視点の単位を変えて、視点方向の制御を行うことができる。

また上記では、回転起点データ内に視点制御データを設けることにより、視点を制御することについて説明したが、配置データ内に視点制御データを設けても構わない。この場合、自由視点表示の視点方向を変化させた際に、回転起点データの代わりに配置データを用いてその視点方向も制御することができる。

次に、複数のビルボードを用いた自由視点表示について説明する。
複数の視点画像データに同一のオブジェクトが含まれる場合、そのオブジェクトのビルボードは、複数の視点画像データの数だけ作成される。作成された複数のビルボードは、背景モデル上の同じ位置に配置される。
ここで、自由視点画像データをレンダリングする際は、仮想カメラに最も正対するビルボードのみが、そのオブジェクトのレンダリングに用いられる。例えば、作成された各ビルボードの法線と仮想カメラの光軸とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているようなビルボードがレンダリングの際に選択される。

図２６は、複数の視点画像データから作成した複数のビルボードを使って自由視点表示を行う場合の仮想カメラと、仮想カメラの位置に合わせて選択されるビルボードとの関係を説明するための図である。
図２６において、例えば、仮想カメラ５１の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラの方向を示しているビルボードは、線分５８の位置に配置されたビルボードとなる。一方、仮想カメラ５３の光軸とビルボードの法線とのなす角が最小で、かつ、ビルボードの法線が仮想カメラのある方向を示しているビルボードは、線分５９の位置に配置されたビルボードとなる。

以上のように、仮想カメラとビルボードの法線とのなす角が最小となるビルボードを用いて自由視点画像をレンダリングし、実際の視点に最も近い視点の画像データを用いることにより、ユーザにとって違和感の少ない自由視点表示を行うことができる。

次にアノテーションデータについて説明する。自由視点メタデータには、各オブジェクトに対するアノテーションデータを含んでいても構わない。以下にアノテーションデータの例について説明する。
まず例えば、そのオブジェクトが、選手なのか、ボールなのか、あるいは観客なのか等を示すオブジェクト種別データや、オブジェクト種別データが選手の場合は、選手名や所属するチーム名、現在のレッドカードやイエローカードの枚数、経歴データ等をアノテーションデータとして含んでも構わない。また、これらのデータ以外にそのオブジェクトの付加的な説明をする情報であれば、どのような情報を含んでも構わない。また、自由視点画像データを表示する際、これらのアノテーションデータをユーザが指定したオブジェクトに合ませて表示しても構わない。

以上のように、各オブジェクトの属性情報をアノテーションデータとしてユーザに提示することにより、ユーザが選択したオブジェクトを中心として視点を変える際に、選択オブジェクトを決定するための手がかりとして使うことができる。

図６のフローチャートに戻って説明する。上記のようにして自由視点メタデータが生成されると、画像データ生成装置１の動作は図６のフローチャートのステップＳ３に移行する。ステップＳ３において、符号化部３は、入力された画像データを、例えばＨＥＶＣなどの機器ごとに予め設定された符号化方式で符号化し、符号化した画像データを出力する。

次に、画像データ生成装置１の動作はステップＳ４に移行する。ステップＳ４において、符号化部３は、入力された領域画像データを、例えば、ＨＥＶＣなどの機器ごとにあらかじめ設定された符号化方式で符号化し、符号化された領域画像データを出力する。

次に、画像データ生成装置１の動作はステップＳ５に移行する。ステップＳ５において、多重化部４には、符号化された画像データと、符号化された領域画像データと、背景モデルデータと、自由視点メタデータとが入力され、多重化部４はこれら入力されたデータを多重化し、自由視点画像データを生成する。

次に、画像データ生成装置１の動作は判定ステップＳ６に移行する。判定ステップＳ６において、画像データ生成装置１は、入力された画像データのフレームが最後のフレームか否かを判定し、最後のフレームである場合は処理を終了し、そうでない場合はステップＳ１に戻る。

以上の説明により、本発明に係る実施形態の画像データ生成装置１によれば、画像データ生成装置１は、生成する自由視点画像データ内に含まれる各オブジェクトに対して、画像データにおける各オブジェクトの領域を示すサイズデータ、各オブジェクトを背景モデル上に配置するための法線データ、背景モデル上におけるオブジェクトの配置位置を示す配置データ、視点を切り替える際の中心となる回転起点データ、および各オブジェクトについての説明を記述するためのアノテーションデータ等の情報を、自由視点メタデータとして含むように自由視点画像データを生成する。これにより、オクルージョンや背景の領域が映らないようにする等の視点方向の制御をデータの制作者が行うことができる。また、このようにすることにより、自由視点画像データの制作者側で、表示の際の映像の品質を高めるように制御することができる。

なお、上記では、各オブジェクトの３次元モデルとして、ビルボードを用いた場合について説明したが、背景モデルデータのように、一般的な３次元モデルであっても構わない。その場合、ＴＯＦ（Ｔｉｍｅｏｆ Ｆｌｉｇｈｔ）方式などのデプスカメラで撮影した点群のデプスデータや、２枚の画像からステレオマッチングにより算出した視差マップ画像から、それぞれ、もしくはそれらを組み合わせることにより、各オブジェクトの３次元モデルを生成しても構わないし、位置や方向、解像度等がばらばらな複数の画像データから３次元モデルを生成しても構わない。
なお、通常の３次元モデルを使う場合は、領域画像データと、各オブジェクトの領域を示すサイズデータとの代わりに、３次元モデルデータと、各視点画像データのテクスチャマッピングの情報を送ればよい。

＜本発明の実施形態に係る画像データ再生装置の構成要素の説明＞
図２７は、本発明の実施形態に係る画像データ再生装置１００の構成を示すブロック図である。まず、この図を用いて、本発明の実施形態に係る画像データ再生装置１００の構成の概略を説明する。画像データ再生装置１００は、分離部１０１と、復号部１０２と、自由視点画像生成部１０３と、視点設定部１０５と、表示部１０６と、を具備している。

なお、画像データ再生装置１００の具体的な例として、例えば、スマートフォンやタブレットのようなタッチパネル機能を持つ装置であっても構わないし、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなどに代表される光磁気ディスク、ＵＳＢメモリやＳＤ（登録商標）カードなどに代表される半導体メモリ等の電子媒体からコンテンツデータを読み込み、再生する装置であってもよい。また、ＴＶ放送の放送波を受信するテレビ信号受信装置、もしくはインターネットやその他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。

あるいは、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ ＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）レシーバなどで構成しても構わない。すなわち、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生するための装置であれば、どのような装置であっても構わない。

分離部１０１は、外部から自由視点画像データの入力を受け付け、その自由視点画像データから、視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、を分離して出力するための装置である。分離部１０１は、入力された自由視点画像データから、画像データと領域用画像データを復号部１０２に出力し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを自由視点メタデータ解析部１０４に出力する。

復号部１０２は、外部から入力される視点画像データと、領域画像データとを復号し、出力するための装置である。なお、このときの復号の方法は、ＨＥＶＣ等の一般的な符号化方式の画像データや、領域データを復号するためのものであり、ここに適用できる複合方式は本発明を直接特徴づけるものではなく公知の手法を適用できるためその詳細な説明は省略する。
復号部１０２は、入力された視点画像データと、領域画像データとを復号し、復号された視点画像データと、領域画像データとを、自由視点画像生成部１０３に出力する。

自由視点画像生成部１０３は、外部から入力される視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとを用いて、自由視点画像データである表示用画像データを生成し、出力するための装置である。自由視点画像生成部１０３は、入力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定データとから、表示用画像データを生成し、表示部１０６に出力する。

自由視点メタデータ解析部１０４は、外部から入力される自由視点メタデータを解析し、自由視点メタデータを出力するための装置である。自由視点メタデータ解析部１０４は、分離部１０１から入力された自由視点メタデータを解析し、自由視点メタデータを視点設定部１０５に出力するが、本発明に係る実施形態では、単に入力された自由視点メタデータをそのまま出力している。

視点設定部１０５は、表示させたい視点方向を示すユーザ視点データの外部からの入力を受け付け、ユーザ視点データと、自由視点メタデータとから、視点設定データを生成し、自由視点メタデータとともに出力するための装置である。視点設定部１０５は、外部から入力されるユーザ視点データと自由視点メタデータとから、視点位置を設定するための視点設定データを生成し、視点設定データと自由視点メタデータとを自由視点画像生成部１０３に出力する。なお、ユーザ視点データについては後述する。

表示部１０６は、外部から入力される表示用画像データを表示するための装置であり、外部から入力された表示用画像データを表示する。このときユーザは、自由視点画像生成部１０３で生成された表示用画像データを、ユーザが指定した視点の画像として視認する。

＜本発明の実施形態に係る画像データ再生装置の動作＞
次に、本発明の実施形態に係る画像データ再生装置１００の動作について説明する。
（全体動作）
図２８は、画像データ再生装置１００の動作の一例を示すフローチャートである。
ステップＳ１００において、画像データ再生装置１００の分離部１０１に自由視点画像データが入力される。分離部１０１は、入力された自由視点画像データから、少なくとも１つ以上の視点画像データと、それに対応する領域画像データとを分離し、復号部１０２に出力する。これと同時に分離部１０１は、背景モデルデータと自由視点メタデータとを分離し、背景モデルデータを自由視点画像生成部１０３に出力し、自由視点メタデータを自由視点メタデータ解析部１０４に出力する。

次に、画像データ再生装置１００の動作はステップＳ１０１に移行する。
ステップＳ１０１において、復号部１０２は、分離部１０１から出力された視点画像データを復号し、出力する。次に、画像データ再生装置１００の動作はステップＳ１０２に移行する。ステップＳ１０２において、復号部１０２は、分離部１０１から出力された領域画像データを復号し、出力する。次に、画像データ再生装置１００の動作はステップＳ１０３に移行する。ステップＳ１０３において、自由視点メタデータ解析部１０４は、分離部１０１から出力された自由視点メタデータを視点設定部１０５に出力する。次に、画像データ再生装置１００の動作はステップＳ１０４に移行する。

ステップＳ１０４において、視点設定部１０５は、デフォルトの視点設定データを自由視点画像生成部１０３に出力し、自由視点画像生成部１０３は、分離部１０１からそれぞれ出力された視点画像データと、領域画像データと、背景モデルデータと、自由視点メタデータと、視点設定部１０５から出力された視点設定データから、デフォルト視点の自由視点画像データを生成し、表示用画像データとして、表示部１０６に出力する。なお、ステップＳ１０４の詳細な動作については、後述する。

次に、画像データ再生装置１００の動作は判定ステップＳ１０５に移行する。判定ステップＳ１０５において、画像データ再生装置１００に対し、ユーザにより外部から視点位置を変更するユーザ視点データが入力された否かを判定し、ユーザ視点データが入力された場合はステップＳ１０６に移行し、そうでない場合は、ステップＳ１０８に移行する。

ステップＳ１０６において、ユーザは、外部から画像データ再生装置１００にユーザ視点データを入力し、視点位置を設定する。そして、視点設定部１０５は、入力されたユーザ視点データにあわせて、視点設定データを新たに生成する。
なおこのときの、ユーザ視点データの入力の具体的な例として、例えばマウスでのポインティング入力や、キーボードのキー入力、タッチパネルによるフリックや、ピンチイン、ピンチアウト等の操作があげられる。なお、ステップＳ１０６の詳細な動作については、後述する。

次に、画像データ再生装置１００の動作はステップＳ１０７に移行する。ステップＳ１０７において、自由視点画像生成部１０３は、ステップＳ１０４と同様にして、自由視点画像データを生成し、表示用画像データとして表示部１０６に出力する。
次に、画像データ再生装置１００の動作はステップＳ１０８に移行する。ステップＳ１０８において、表示部１０６は、入力された表示用画像データとしての自由視点画像データを表示する。

次に、画像データ再生装置１００の動作は判定ステップＳ１０９に移行する。判定ステップＳ１０９において、画像データ再生装置１００の分離部１０１は、入力されたコンテンツデータである自由視点画像データの最後のフレームを再生したか否かを判定する。ここで、最後のフレームを再生した場合は、画像データ再生装置１００の動作は終了し、そうでない場合、画像データ再生装置１００の動作はステップＳ１０１に移行する。

（自由視点画像データの生成処理）
次に、上記図２８におけるステップＳ１０４の自由視点画像データの生成処理についてさらに詳細に説明する。
ステップＳ１０４において、自由視点画像生成部１０３は、所定の視点の画像を生成するが、その方法は、画像データ生成装置１における自由視点メタデータの生成処理と同様の方法である。ここで、自由視点画像生成部１０３が、入力された視点設定データに基づいて任意の視点の自由視点画像データを生成する動作について、フローチャート図を用いて詳細に説明する。図２９は、自由視点画像生成部１０３の動作を示すフローチャート図である。

ステップＳ１１０において、自由視点画像生成部１０３は、背景の設定を行う。ここでは自由視点画像生成部１０３は、入力されたテクスチャ付きの背景モデルデータから、ＣＧモデル空間上に背景モデルを設置する。次に、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。
ステップＳ１１１において、自由視点画像生成部１０３は、モデルの設定を行う。ここでは自由視点画像生成部１０３は、所定のオブジェクトに対し、自由視点メタデータに含まれる法線データを参照し、デフォルト視点に最も平行に近くなる法線データとなる視点を選択し、その視点の切り出しサイズデータから、ビルボードモデルを生成する。そして、生成したビルボードモデルは、そのオブジェクトのモデルとしてＣＧモデル空間上の配置データの示す位置に配置される。

次に、自由視点画像生成部１０３の動作はステップＳ１１２に移行する。ステップＳ１１２において、自由視点画像生成部１０３は、テクスチャの設定を行う。ここでは自由視点画像生成部１０３は、生成したビルボードに対し、自由視点画像生成部１０３で選択された視点に対応する視点画像データから、切り出し位置データと、切り出しサイズデータをと使ってテクスチャを切り出し、さらに、その視点画像データに対応する領域画像データから、オブジェクトの形状を抽出し、オブジェクトに含まれない部分については背景を透過させるようにしてテクスチャを修正した後、対応するビルボードモデルに貼り付ける。

次に、自由視点画像生成部１０３の動作は判定ステップＳ１１３に移行する。判定ステップＳ１１３において、自由視点画像生成部１０３は、視点画像データ内に含まれる全オブジェクトのうちの最後のオブジェクトであるかを判別することで、全オブジェクトに対して処理を終えたか否かを判定する。ここで、全オブジェクトに対して処理を終えた場合は、自由視点画像生成部１０３の動作はステップＳ１１４に移行し、そうでない場合、自由視点画像生成部１０３の動作はステップＳ１１１に移行する。

ステップＳ１１４において、自由視点画像生成部１０３は、デフォルト視点の位置が格納された視点設定データを用い、各モデルが配置されたＣＧモデル空間上に、視点設定データが示す位置と向きに仮想カメラを設置して、レンダリングし、表示用画像データとして表示部１０６に出力する。これにより自由視点画像生成部１０３の動作は終了する。
なおここで、視点設定データとは、ユーザが望みの視点で自由視点画像データを表示する際の視点位置を表すデータであり、例えば、レンダリング時の仮想カメラ位置の向きと座標であっても構わない。また、デフォルトの視点設定データは、１枚目の画像データが表示されるような視点であっても構わない。

（視点位置の設定処理）
次に、上記図２８におけるステップＳ１０６の視点位置の設定処理についてさらに詳細に説明する。ステップＳ１０６では、視点設定部１０５は、ユーザからのユーザ視点データの入力を受け付け、入力された視点に合わせ、視点設定データを再設定する。ここで、ユーザ視点データとは、ユーザが指定する視点位置を示すデータであり、回転中心を示す視点変更中心位置データと、回転中心を中心として変更前からどの方向にどれだけ回転させるかを示す視点変更回転角度データおよび前後位置データとから構成される。

図３０は、ステップＳ１０６における視点設定部１０５の動作を示すフローチャートである。判定ステップＳ１１５において、視点設定部１０５は、視点を変える際の回転中心を変更する旨の入力をユーザが行ったか否かを判定し、変更の入力があった場合は、ステップＳ１１６に移行し、そうでない場合は、判定ステップＳ１１７に移行する。

ステップＳ１１６において、ユーザは、視点を変える際の回転中心を指定する。ここで、ユーザが指定した位置を視点変更中心位置データとする。このとき、画面上で自由に回転中心を指定してもよいし、指定できるポイントを、自由視点メタデータにある回転起点データの示す位置や、配置データの示す位置に限定しても構わない。
以上のようにすることにより、ユーザは好みの選手を中心に視点を回転させたり、サッカーのゴールやコーナーポスト、センターライン等の特定の場所を中心に視点を回転させたりすることができる。また、回転中心を、例えば空の映っているエリアに指定する等の想定外の視点にならないように制御することもできる。

次に、視点設定部１０５の動作は判定ステップＳ１１７に移行する。判定ステップＳ１１７において、視点設定部１０５は、ユーザが視点を変える際の回転角度を変更する旨の入力を行ったか否かを判定し、変更の入力があった場合はステップＳ１１８に移行し、そうでない場合は、判定ステップＳ１１９に移行する。
ステップＳ１１８において、ユーザは、視点を変える際の回転角度を指定する。ここで、ユーザが指定した回転角度を視点変更回転角度データとする。

次に、視点設定部１０５の動作は判定ステップＳ１１９に移行する。判定ステップＳ１１９において、ユーザが、視点変更中心位置データにより指定された位置に対する前後方向の視点の位置（前後位置と称す）の入力を行ったか否かを判定し、前後位置の入力があった場合は、ステップＳ１２０に移行し、そうでない場合は、ステップＳ１０７に移行する。前後位置によりズーム位置を指定することができる。

次に、視点設定部１０５の動作はステップＳ１２０に移行する。ステップＳ１２０において、ユーザは、前後位置を指定する。ここで、ユーザが指定した前後位置のデータを前後位置データとする。
次に、視点設定部１０５の動作はステップＳ１２１に移行する。ステップＳ１２１において、視点設定部１０５は、視点変更中心位置データと、視点変更回転角度データと、前後位置データのうち、ユーザが変更入力したデータのみを参照し、現在の視点位置を修正し、修正した視点位置を示すデータを視点設定データとして出力する。そして視点設定部１０５の動作は、ステップＳ１０７（図２８）に移行する。

以上のように、画像データ再生装置１００に入力された視点画像データに対し、ユーザが、回転中心位置、回転角度、および前後位置を入力することにより、望みの視点の画像データを表示することができる。

次に、ユーザが視点位置を変更する際の視点設定部１０５の別の動作について説明する。
例えば、視点設定部１０５では、自由視点メタデータに含まれる視点制御データを参照し、移動可能な視点範囲や、一度に視点を移動させる量を制限しても構わない。
このときの視点設定部１０５の別の動作について説明する。
図３１は、図３０のステップＳ１１８の回転角度の指定処理における別の動作を示すフローチャートである。図３１の判定ステップＳ１２２において、視点設定部１０５は、入力されたユーザ視点データの示す位置が、自由視点メタデータに含まれる視点範囲データの示す範囲を越えているか否かを判定し、越えている場合はステップＳ１２３に移行し、そうでない場合はステップＳ１１９に移行する。
ステップＳ１２３において、視点設定部１０５は、視点範囲データの示す範囲を越えていない直前の視点位置を保持し、ステップＳ１１９（図３０）に移行する。つまり、視点範囲データが示す範囲内であって、範囲の境界外となる直前の視点位置を保持し、この視点位置における回転角度を指定する。

以上のように、自由視点メタデータ内に含まれる視点範囲データを用いて、ユーザが入力する視点位置の移動可能範囲を制限することにより、撮影できなかったモデルの背面領域やオクルージョン領域が表示されないようにするといったような制御を、データの生成側で行うことができる。
またここで、自由視点メタデータ内に含まれる視点分解能データを用いて、ユーザが入力する視点位置の一回の移動可能量を制限しても構わない。以上のようにすることにより、異なる機器でも同じ量で視点変更できるので、ユーザが混乱せずに済む。

また例えば、ズーム表示の場合に通常と同じ単位で視点を移動させると、オブジェクトが大きく、かつ速く動きすぎてしまい、現在の自分の選択した視点が、どのような視点であるのかが分からなくなるという問題がある。これに対して、通常の表示用のデータと、ズーム表示用のデータとが視点分解能データに含まれる場合は、現在の表示状態に合わせて、移動可能な視点の単位を変えて表示しても構わない。このようにすることにより、ズーム時に視点を移動させる単位を通常時よりも大きくすることにより、オブジェクトが大きく、かつ速く動きすぎてしまわないようにすることができる。

次に、視点設定部１０５のさらに別の動作例について説明する。視点設定部１０５は、自由視点メタデータに含まれる視点制御データを参照し、視点画像データ内に含まれるオブジェクトの数や位置に応じて、設定できる視点の範囲や、視点を一度に移動させる量を制限しても構わない。以下にそのときの視点設定部１０５の動作について図面を用いて説明する。

ユーザが自由に視点を変更する際、オブジェクトがフレームアウトすることがある。その場合、各オブジェクトの位置関係が不明瞭となって、ユーザにとって空間の把握が難しくなったり、注視したいオブジェクト自体が見えなくなったりするといった問題があった。
図３２と図３３は、視点を変えた結果、フレームアウトするオブジェクトについて説明するための図である。図３２において、仮想カメラ１０７の視点でレンダリングした画像内には、オブジェクト１０８とオブジェクト１０９の両方が存在する。一方、点１１０を中心として、仮想カメラ１１１の位置に回転させた視点でレンダリングした画像では、オブジェクト１０９はフレームアウトし、オブジェクト１０８しか存在しない。

図３３では、仮想カメラを図３２と同様の位置に配置した状態で、オブジェクトの位置が図３２とは異なっている場合を示す。この場合、仮想カメラ１０７の視点でレンダリングした画像内には、オブジェクト１１２とオブジェクト１１３の両方が存在するが、仮想カメラ１１１の位置に回転させた視点でレンダリングした画像内には、オブジェクト１１２はフレームアウトし、オブジェクト１１３しか存在しない。

このような問題を解決するため、例えば、視点を移動させた際に、オブジェクトがフレームアウトしないように、視点の移動を制限しても構わない。またこのとき、各オブジェクトが画面の端にかからないように、視点の移動をさらに制限しても構わない。

このときの視点設定部１０５の別の動作について説明する。図３４は、図３０のステップＳ１１８における回転角度の指定処理の別の動作を示すフローチャートである。
図３４の判定ステップＳ１２４において、視点設定部１０５は、入力されたユーザ視点データが示す位置に視点を変化させた際、レンダリングした画像データ内に含まれるオブジェクトＩＤを視点変更の前後で比較することにより、新たにフレームアウトするオブジェクトが存在するか否かを判定する。そしてフレームアウトするオブジェクトが存在する場合はステップＳ１２５に移行し、そうでない場合は、ステップＳ１１９に移行する。
ステップＳ１２５において、視点設定部１０５は、フレームアウトするオブジェクトが存在しない範囲となるように視点位置を制限して回転角度を指定することで視点設定データを生成し、ステップＳ１１９に移行する。すなわち、視点設定部１０５は、ユーザ視点データにより指定された視点位置ではオブジェクトが自由視点画像データの画面からフレームアウトする場合には、視点設定データに対して、フレームアウトするオブジェクトが発生しないように視点位置を設定する。

以上のようにして、視点画像データ内において、各オブジェクトがフレームアウトしたり、端にかからないようにしたりすることのないように、視点の位置を制限することにより、視点を変更した場合でも、それまで表示されていたオブジェクトがフレームアウトすることなく表示させることができる。このような表示を行った場合には、ユーザが注視したいオブジェクトを必ず表示させることができる。また、注視したいオブジェクトの位置と向きを手掛かりにして、各オブジェクトの位置関係がわかるため、空間の把握が容易である。

また、上記では、フレームアウトさせたくないオブジェクトが全てのオブジェクトの場合について説明したが、一部のオブジェクトだけをフレームアウトしないように視点の位置を制限しても構わない。例えば、ユーザが任意に選択したオブジェクトのみをフレームアウトさせないように視点を制御しても構わない。以上のようにすることにより、ユーザは視点を変更した場合でも、ユーザの望みのオブジェクトがフレームアウトしないようにすることができる。

またここで、逆にフレーム内に表示したくないオブジェクトを任意にユーザが選択し、そのオブジェクトが必ずフレームアウトするように視点を制御しても構わない。つまり、背点設定部１０５は、ユーザ視点データにより指定された視点位置に関わらず、視点設定データに対して特定のオブジェクトが自由視点画像データの画面内に入らないように視点位置を設定することができる。
以上のようにすることにより、ユーザは、視点を変更した場合でも、ユーザが見たくないオブジェクトがフレーム内に入ってこないように表示することができる。

次に、視点設定部１０５のさらに別の動作について説明する。上記の例では、ユーザが指定した配置データを中心に視点を設定することについて述べたが、このときの配置データが選手やボールなどの動物体である場合、撮影時、カメラのフレームから出てしまうことがあり、このとき、回転中心が画面内に存在しなくなることがある。このような場合のカメラとオブジェクトの関係について図面を用いて説明する。

図３５、図３６は、カメラの撮影範囲とオブジェクトとの関係について説明する図である。図３５（Ａ）において、カメラ１１４は、オブジェクト１１５とオブジェクト１１６を撮影している。また、図３５（Ｂ）は、図３５（Ａ）で撮影した画像データから作成した自由視点画像データに対し、仮想カメラ１１７を用いて自由視点画像をレンダリングする場合について説明する図である。このとき、オブジェクト１１５の配置データが示す位置にある点１１８を中心にユーザが視点を回転させると、仮想カメラ１１７が仮想カメラ１１９の位置に移動する。このように図３５においては、オブジェクト１１５とオブジェクト１１６の両方が、仮想カメラ１１７および仮想カメラ１１９のフレーム内にある。

図３６は、図３５よりも後の時刻に撮影した状態を示す。図３６（Ａ）において、カメラ１１４は、オブジェクト１１５とオブジェクト１１６を撮影している。このとき、オブジェクト１１６は静止しているが、オブジェクト１１５は、図３５に示す状態よりも右の位置に移動してカメラ１１４の撮影範囲の外に位置している。
このとき、図３５（Ｂ）に示すように、オブジェクト１１５の配置データの示す位置にある点（図３５の点１１８に相当）を中心に視点を回転させようとしても、図３６（Ｂ）では、オブジェクト１１５がフレームアウトしてしまう。この場合、オブジェクト１１５の配置データが示す位置にある点の代わりに、別の点１２０を中心にして視点を回転させても構わない。例えば、点１２０を中心にして、仮想カメラ１１７の位置から仮想カメラ１２１の位置に視点を回転させても構わない。

このときの回転の中心となる点１２０は、回転起点データや、画面内にある別のオブジェクトの配置データであっても構わないし、任意の点でも構わない。これらの候補となる点のうちのいずれかを自動的に選択するか、もしくは回転中心となる配置データを持つオブジェクトがフレームアウトすることをユーザに通知し、ユーザに候補点を提示して選択させても構わない。

このときの視点設定部１０５の動作について図面を用いて説明する。図３７は、視点設定部１０５の別の動作を示すフローチャートである。図３５において、図２８で説明したステップＳ１０６の視点位置の設定処理とステップＳ１０７の自由視点画像データの生成処理との間で、判定ステップＳ１２６とステップＳ１２７が実行される。
判定ステップＳ１２６において、視点設定部１０５は、設定された視点位置と各オブジェクトの配置データとから、回転中心となる配置データを持つオブジェクトがフレームアウトしたか否かを、画面内に含まれるオブジェクトのオブジェクトＩＤの有無により判定する。そしてオブジェクトがフレームアウトした場合は、ステップＳ１２７に移行し、そうでない場合は、ステップＳ１０７に移行する。

ステップＳ１２７において、視点設定部１０５は、別の回転中心、すなわち回転起点データの位置、もしくは画面内にある別のオブジェクトの配置データの位置、もしくは任意の点のいずれかの位置の回転中心の視点に切り替える。次に、視点設定部１０５の動作はステップＳ１０７に移行する。
以上のようにして、視点設定部１０５は、回転中心として選択された配置データを持つオブジェクトがある時刻でフレームアウトした場合であっても、回転中心を別の点に設定することにより、ユーザは継続して自由な視点を選択することができる。

また、画像データ再生装置１００は、上述した例えばテレビやデジタルビデオレコーダーのような画像データ再生装置だけでなく、デジタルカメラ、デジタルムービー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等、画像データを扱う装置に広く適用可能である。また、これらの装置は、装置自体が画像表示部を備えず、外部の画像表示装置を用いて画像表示を行う画像データ再生装置であっても構わない。また、画像データ処理装置と外部の画像表示装置を含む画像データ表示システムであってもよい。また、本発明は、画像データ表示方法や画像データ処理方法にも適用可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
本発明に係る実施形態は、図３８に示されるように、画像データ生成装置１と画像データ再生装置１００とが一体化されたものであってもよい。図３８の画像処理システム２００は、画像データ生成装置１と、画像データ再生装置１００とを具備している。

この場合、第１のユーザおよび第２のユーザは、画像処理システム２００を共有するかもしくは個別に所有し、第１のユーザは、画像処理システム２００の画像データ生成装置１を利用して画像データの生成を行ない、第２のユーザは、画像処理システム２００の画像データ再生装置１００を利用して、画像データの再生を行なっても構わない。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

なお上記の各実施形態で記載されている技術的特徴（構成要件）は、お互いに組み合わせ可能であり、組み合わせることにより、新しい技術的特徴を形成することができる。

１…画像データ生成装置、２…自由視点メタデータ生成部、３…符号化部、４…多重化部、５…視点画像データ、６〜８…オブジェクト、９…領域画像データ、１３…スタジアム、１４…原点、１５…ビルボード、１６…点、１７…法線、１８〜１９…ビルボード、２０…スタジアム、２１…オブジェクト、２２…点、２３〜２４…カメラ、２５…線分、２６…ビルボード、２７…線分、２８…ビルボード、２９…ユーザ、３０…オブジェクト、３１〜３２…カメラ、３３…線分、３４…ビルボード、３５…線分、３６…ビルボード、３７…位置、３８…ビルボード、３９…スタジアム、４０…点、４１…カメラ、４５〜５０…点、５１…仮想カメラ、５２…点、５３…仮想カメラ、５４〜５５…点線、５６…仮想カメラ、５７…点線、５８〜５９…線分、１００…画像データ再生装置、１０１…分離部、１０２…復号部、１０３…自由視点画像生成部、１０４…自由視点メタデータ解析部、１０５…視点設定部、１０６…表示部、１０７…仮想カメラ、１０８〜１０９…オブジェクト、１１１…仮想カメラ、１１２〜１１３…オブジェクト、１１４…カメラ、１１５〜１１６…オブジェクト、１１７…仮想カメラ、１１８…点、１１９…仮想カメラ、１２０…点、１２１…仮想カメラ、２００…画像処理システム。

Claims (5)

1. 少なくとも一つ以上の視点から撮影された視点画像データを入力し、該入力した視点画像データを使用して、任意の視点からの画像の再生を可能とした自由視点画像データを生成する画像データ生成装置であって、
   前記視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線により前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデルデータ上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データ、のうち少なくとも一つ以上を含む自由視点メタデータを生成する自由視点メタデータ生成部と、
   前記視点画像データ、および前記視点画像データにおける各オブジェクトの領域を識別するための領域画像データを符号化する符号化部と、
   前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、および前記背景モデルデータを多重化し、前記自由視点画像データを生成する多重化部と、を具備することを特徴とする画像データ生成装置。
2. 前記回転起点データは、前記自由視点表示を行う際の視点を移動させる範囲を制限する視点範囲データと、前記視点を移動させるときの移動量の単位を示す視点分解能データと、を含むことを特徴とする請求項１に記載の画像データ生成装置。
3. 任意の視点からの画像の再生を可能とした自由視点画像データを再生する画像データ再生装置において、
   少なくとも一つ以上の視点から撮影された視点画像データにおけるオブジェクトの大きさを示すサイズデータ、前記オブジェクトを囲む矩形領域の法線によって前記オブジェクトの向きを示す法線データ、背景をモデル化して画像データとして作成した背景モデル上における前記オブジェクトの配置位置を示す配置データ、および視点を回転させて自由視点表示を行う際の視点の回転中心を示す回転起点データのうち少なくとも一つ以上を含む自由視点メタデータと、少なくとも一つ以上の視点から撮影された視点画像データと、前記視点画像データ内の各オブジェクトの領域を識別するための領域画像データと、前記背景モデルデータと、が多重化された自由視点画像データを取得するとともに、
   前記自由視点画像データを表示する際の視点位置を指定したユーザ視点データを取得し、
   前記自由視点メタデータと、前記ユーザ視点データとを用いて、前記自由視点画像データの視点位置を設定する視点設定データを生成する視点設定部と、
   前記自由視点メタデータ、前記視点画像データ、前記領域画像データ、前記背景モデルデータ、および前記視点設定データから、所定の表示部で表示可能な前記自由視点画像データを生成する自由視点画像生成部と、を具備することを特徴とする画像データ再生装置。
4. 前記視点設定部は、前記ユーザ視点データにより指定された視点位置では前記オブジェクトが前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記フレームアウトするオブジェクトが発生しないように視点位置を設定し、
   または前記ユーザ視点データにより指定された視点位置に関わらず、前記視点設定データに、特定のオブジェクトが前記自由視点画像データの画面内に入らないように視点位置を設定することを特徴とする請求項３に記載の画像データ再生装置。
5. 前記自由視点メタデータは少なくとも前記回転起点データを含み、
   前記視点設定部は、前記配置データに示される配置位置に前記視点の回転中心が設定されているオブジェクトが、前記ユーザ視点データにより示された視点位置では前記自由視点画像データの画面からフレームアウトする場合、前記視点設定データに、前記ユーザ視点データにより指定された視点位置とは別の位置に前記視点の回転中心を設定することを特徴とする請求項３または４に記載の画像データ再生装置。

Images