JP2022083816A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】表示装置の特性に応じて、所望の仮想視点画像の表示が行われるようにする。【解決手段】仮想視点画像を生成する画像生成装置は、仮想空間に位置する仮想カメラの撮影範囲に対する表示手段の結像範囲に、仮想空間における被写体の位置が含まれるように、仮想カメラの位置を制御し、制御された仮想カメラの位置に基づいて仮想視点画像を生成する。【選択図】 図１

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

コンピュータグラフィックスの分野では、三次元の仮想空間内に配置されるオブジェクトを、当該仮想空間内に配置される仮想的なカメラ（以下、仮想カメラという）で撮影することにより得られる画像を、任意の表示装置で表示することが行われている。以降の説明では、仮想カメラが行う撮影により得られる画像を、仮想視点画像という。

特許文献１には、仮想空間内に配置された人が移動し、かつ移動する人を仮想視点画像内に収め続けたい場合の仮想カメラの移動方法について開示されている。ここで、仮想カメラの移動方法とは、撮影範囲に収めたい複数の被写体の位置関係から、当該被写体が撮影範囲に含まれる仮想カメラ座標を算出し、算出した仮想カメラ座標へ仮想カメラを移動させることで実現する方法である。

特開２０１７－５４５号公報

しかしながら、仮想視点画像を表示させる表示装置の特性によっては、所望する仮想視点画像の表示がされない場合がある。例えば、立体画像を表示する裸眼立体視ディスプレイでは、被写体を結像可能な物理的な結像範囲をもつという特性を有しており、仮想カメラの撮影範囲よりも結像範囲が狭い場合がある。そのため、特許文献１に記載の仮想カメラの移動方法のように、仮想カメラの撮影範囲に被写体が含まれるように仮想カメラを移動させても、結像範囲を超えて被写体が動くと、結像範囲に被写体が入らず結像できない場合が生じ得る。この結果、仮想視点画像に映るオブジェクトがぼやけた表示になってしまうなど、所望の仮想視点画像の表示がされない可能性がある。

本発明は、上記の課題を鑑みてなされたものであり、表示装置の特性に応じて、所望の仮想視点画像の表示が行われるようにすることを目的とする。

上記目的を達成するために、本発明の一態様による画像生成装置は、仮想空間に位置する仮想的なカメラである仮想カメラの撮影範囲に対する表示手段の結像範囲に、前記仮想空間における被写体の位置が含まれるように、前記仮想カメラの位置を制御する制御手段と、
前記制御手段により制御された前記仮想カメラの位置に基づいて仮想視点画像を生成する生成手段と、を備えることを特徴とする。

本発明によれば、表示装置の特性に応じて、所望の仮想視点画像の表示が行われるようにすることができる。

実施形態１に係る仮想視点画像生成システムの機能構成を説明するためのブロック図。 実施形態１、２に係る複数の撮像装置の配置例を示す図。 実施形態１、２に係る仮想視点画像生成システムのハードウェア構成を説明するためのブロック図。 表示装置が有する結像範囲を説明するための図。 実施形態１に係る操作可能領域制御部の機能構成を説明する図。 実施形態１に係る処理の流れを説明するフローチャート。 実施形態１に係る制御処理の説明図。 実施形態２に係る仮想視点画像生成システムの機能構成を説明するためのブロック図。 実施形態２に係る操作可能領域制御部の機能構成を説明する図。 実施形態２に係る奥行き算出部による算出例を説明する図。 実施形態２に係る処理の流れを説明するフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
本実施形態では、表示装置が有する結像範囲に任意の被写体が含まれるように仮想カメラの位置を制御する処理に関して説明する。

以下の説明では、図１により実施形態１に係る仮想視点画像生成システムの全体について説明し、図２により仮想空間上の被写体を実際の撮像装置の撮影画像を基に生成する場合の撮像装置の配置例を説明する。

そして、図３により、仮想視点画像生成システムのハードウェア構成を説明し、図４により、表示装置が有する結像範囲について説明する。続いて図５により、本発明の実施形態１の特徴である、結像範囲に任意の被写体が含まれるように制御する処理に関する機能構成について説明し、図６により、その制御処理の流れを説明する。

（仮想視点画像生成システム１００の説明）
図１は実施形態１に係る仮想視点画像生成システム１００の機能構成を説明するためのブロック図である。仮想視点画像生成システム１００は、仮想空間上の被写体を、ユーザから指定された仮想視点に基づいて、指定された仮想視点からの見えを表す仮想視点画像として画像化するシステムである。仮想視点画像生成システム１００は、操作情報入力部１０１と、仮想視点画像生成装置１０２とを有する。

（操作情報入力部１０１）
仮想視点の操作入力は操作情報入力部１０１を介して行われ、仮想視点画像の生成は仮想視点画像生成装置１０２が行う。なお、実施形態１における仮想視点画像は、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば、予め備える複数の視点候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、実施形態１では仮想視点画像が動画である場合を中心に説明するが、この例に限定されず、仮想視点画像は静止画であってもよい。

操作情報入力部１０１は、ユーザの指示を受け、入力された情報を処理したうえで仮想視点画像生成装置１０２へ処理した情報を送信する機能を有する。送信される情報には、仮想視点の操作を行うための仮想カメラの操作指示情報と、不図示の表示装置が有する物理的な結像範囲を識別するための物理情報、結像対象とする被写体情報とが含まれる。ここで、ユーザの指示は、例えば、操作情報入力部１０１に接続されたマウスやキーボードといった外部デバイスによる入力で行われる。

仮想カメラの操作指示情報は、仮想空間上における仮想カメラの移動量を指定するパラメータ値である。パラメータ値は、例えば、３次元空間におけるＸＹＺ方向を示すベクトル値である。パラメータ値は、ユーザにより指示されることを想定しており、例えば、操作情報入力部１０１に接続されたジョイスティック等のパン、チルトおよびロール方向の3軸を操作するコントローラで指示可能である。なお、ジョイスティック以外にもマウスやキーボード等のユーザが操作可能なデバイスであってもよい。

また、仮想カメラの操作指示情報は、ＸＹＺ方向の３軸以外にも仮想視点の視野の大きさである画角を操作可能なパラメータ値もよく、単一の仮想カメラに限られず、複数の仮想カメラを操作可能なパラメータ値であってもよい。

表示装置が有する物理的な結像範囲を識別するための物理情報は、例えば、不図示の表示装置の型番といった個々のデバイスを識別する情報である。

物理情報の取得方法としては、例えば、ユーザの手動操作により、操作情報入力部１０１が予め保有する型番のリストから該当する型番を選択することにより物理情報を取得することが可能であるが、この他、操作情報入力部１０１が仮想視点画像生成システム１００に接続された不図時の表示装置を自動認識し、該当する型番をリスト上から選択する構成でもよい。ここで、表示装置には、例えば、裸眼立体視ディスプレイが含まれる。

結像対象とする被写体情報は、例えば、仮想空間内の各被写体に配された識別情報（ＩＤ）である。操作情報入力部１０１は、予め被写体と識別情報（ＩＤ）とを対応付けたテーブルを有しており、仮想視点画像を表示可能な不図示の表示装置のモニタ上で、任意の被写体をマウスでクリックすることで被写体に対応付けられた識別情報（ＩＤ）が選択される。なお、モニタ上での任意の被写体の選択には、マウスによる選択以外にも、任意の閾値に基づいた画像処理によって画像中から該当する被写体を選択することも可能である。例えば、ラグビーでボールを持っている選手を被写体として画像中から抽出し、選択してもよい。また、結像対象外の被写体が選択されてもよい。

（仮想視点画像生成装置１０２）
仮想視点画像生成装置１０２は、操作情報入力部１０１から送信された各情報に基づいて、表示装置が有する結像範囲に仮想空間上の被写体が含まれるような仮想カメラの視点を決定し、仮想視点画像を生成する。操作情報入力部１０１から送信される情報は、それぞれ表示特性識別部１０３、仮想カメラ座標取得部１０４、被写体座標取得部１０５で処理される。

表示特性識別部１０３は、操作情報入力部１０１から受信した個々のデバイスを識別する物理情報から、仮想カメラの撮影範囲に対する結像範囲の位置と大きさを識別する。結像範囲の位置と大きさは、型番といった個々のデバイスを示す物理情報に対応付けられており、仮想視点画像生成装置１０２は、撮影範囲に対する結像範囲の位置と大きさと物理情報とを対応づける不図示のテーブルを有している。表示特性識別部１０３は、操作情報入力部１０１から受信した表示装置の物理情報に基づいて、当該テーブルを参照することで物理情報に対応付けられた結像範囲の位置と大きさを識別することができる。表示特性識別部１０３は、識別した結像範囲の位置と大きさを、操作可能領域制御部１０６へ入力する。

仮想カメラ座標取得部１０４は、操作情報入力部１０１から受信した操作指示情報から、仮想空間内における仮想カメラの位置座標（位置情報）を取得する。ここで、操作指示情報は、仮想空間上における仮想カメラの移動量を指定するパラメータ値、例えば、ベクトル値であり、現在の仮想カメラの位置をベクトル値の分だけ移動した座標を、操作指示を反映した次の仮想カメラの位置座標（位置情報）として取得する。仮想カメラ座標取得部１０４は、取得した位置座標を、操作可能領域制御部１０６へ入力する。

被写体座標取得部１０５は、操作情報入力部１０１から受信した被写体情報から、仮想空間における被写体の位置座標を取得する。仮想視点画像生成装置１０２は、被写体情報と仮想空間における被写体の位置座標とを対応づける不図示のテーブルを有しており、被写体座標取得部１０５は、当該テーブルを参照することで被写体の位置座標を取得できる。被写体座標取得部１０５は、取得した位置座標を、操作可能領域制御部１０６へ入力する。

操作可能領域制御部１０６は、表示特性識別部１０３、仮想カメラ座標取得部１０４、被写体座標取得部１０５から受信した各情報に基づいて、仮想空間上の被写体が、表示装置が有する結像範囲の内部に含まれるように、仮想カメラの視点（仮想カメラの位置）を制御する。操作可能領域制御部１０６は、制御された仮想カメラの位置を仮想カメラ位置設定部１０７に送信し、仮想カメラ位置設定部１０７は、操作可能領域制御部１０６により制御された仮想カメラの位置の情報に基づいて仮想カメラの位置を実際に設定する。その後、仮想視点画像生成部１０８は仮想カメラの視点に基づく仮想視点画像を生成する。

なお、一つの仮想視点画像生成装置１０２に対して、複数の操作情報入力部１０１が接続されてもよく、一つの操作情報入力部１０１に対して、複数の仮想視点画像生成装置１０２が接続されてもよい。また、仮想視点画像生成装置１０２と操作情報入力部１０１とを１対多や多対１で接続する場合の接続方法は、有線の通信ケーブルで接続してもよく、無線による通信で接続してもよく、ルータ、ネットワークハブといった中継機器を介する構成としてもよい。

（複数の撮像装置の配置例）
仮想空間上の被写体は、コンピュータグラフィクスで生成された被写体でもよいが、実際に複数の撮像装置で撮影した画像に基づいて生成してもよい。図２は、複数の撮像装置で撮影を行う場合の、複数の撮像装置の配置例を示す図である。

例えば、サッカーやラグビーといった競技が行われる競技場２１１を取り囲むように複数の撮像装置２１０ａから撮像装置２１０ｎをそれぞれ異なる位置に設定し、同期して撮像を行うことで、複数の撮像装置２１０ａ～２１０ｎにより複数の撮影画像が取得される。次に、取得された複数の撮影画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。

その後、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想空間上に被写体が生成される。ただし、被写体の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により生成する方法など、種々の方法を用いることができる。

なお、複数の撮像装置２１０ａ～２１０ｎは撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置２１０ａ～２１０ｎの数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場２１１の周囲に、例えば、３０台程度の撮像装置２１０ａ～２１０ｎが設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

（仮想視点画像生成システム１００のハードウェア構成）
図３は、仮想視点画像生成システム１００のハードウェア構成を説明するためのブロック図である。

ＣＰＵ（Central Processing Unit）３２０は、ＲＡＭ（Random Access Memory）３２１やＲＯＭ（Read Only Memory）３２２に格納されるプログラムやデータを用いて本発明の実施形態に係る処理を実行する。

ＣＰＵ３２０は、仮想視点画像生成システム１００の全体的な動作制御を行う。なお、操作情報入力部１０１もしくは仮想視点画像生成装置１０２がＣＰＵ３２０とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３２０による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ３２１は、プログラムやデータを保持する。ＲＡＭ３２２は、ＲＯＭ３２１から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、ＲＡＭ３２２は、ＣＰＵ３２０が各処理を実行する際に用いるワークエリアを提供する。

操作入力部３２３は、例えばマウスやキーボード、ジョイティック等の三軸コントローラであってユーザが操作する情報を取得する。取得した情報は操作情報入力部１０１に送信される。なお、操作入力部３２３は、これらに限定されない。

外部インターフェース３２４は、高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））やＳＤＩ（シリアルデジタルインタフェース）等の画像出力ポートを介し、外部モニタへ情報を送信しても良い。また、イーサネット（登録商標）等を介して画像データを送信しても良い。

（表示装置４０３の結像範囲）
図４は、表示装置が有する結像範囲を説明するための図である。図４（ａ）は、表示装置４０３の表示で、人物を被写体とした表示の模擬図である。点線で描画された被写体４０５は、結像せずにボケた状態で表示されていることを示しており、実線で描画された被写体４０４は結像した状態で表示されていることを示している。このときの撮影条件を図４（ｂ）および図４（ｃ）を用いて説明する。

図４（ｂ）は、仮想カメラ４００が、表示装置４０３に対して表示する仮想視点画像を撮影している場面の模擬図であり、図４（ｃ）は、図４（ｂ）を横から見た図である。仮想カメラ４００の位置に対して手前側に被写体４０４が位置しており、仮想カメラ４００の位置に対して奥側に被写体４０５が位置している。表示範囲４０１は、仮想カメラ４００の視点における撮影範囲のうち、表示装置４０３上に表示可能な撮影範囲を示し、枠内の被写体のみ表示装置４０３で表示される。結像範囲４０２は、表示範囲４０１のうち、被写体が結像される範囲を示し、枠内の被写体のみ表示装置４０３で結像される。被写体４０４は結像範囲４０２内に位置するため、表示装置４０３上で結像される。一方で、被写体４０５は結像範囲４０２の外に位置するため、表示装置４０３上で結像されずに、例えばボケた状態で表示される。

撮影範囲と表示範囲４０１、結像範囲４０２が、図４（ｂ）で示す関係性を持つのは、本実施形態が表示装置と想定する裸眼立体視ディスプレイの特性によるものである。裸眼立体視ディスプレイとは、３次元（３Ｄ）眼鏡等のデバイスを利用せずに、裸眼で３次元（３Ｄ）映像を視ることが可能なディスプレイである。例えば、レンズアレイを用いた裸眼立体視ディスプレイであれば、ディスプレイの表面上に並んだレンズアレイの光学特性を利用して、被写体が表示されるディスプレイ内の奥行き方向のある面に、レンズアレイの結像面が設けられる。これが結像範囲４０２である。このような原理から、ディスプレイの奥行き方向全てを結像面とすることが難しく、結像範囲４０２は表示範囲４０１よりも狭い範囲となる。

また、結像面はディスプレイ表面に物理的に設けられたレンズアレイによって決まるため、表示範囲４０１に対する結像範囲４０２の位置と大きさは、ディスプレイ（表示装置）ごとに固有の設定となる。ゆえに、表示範囲４０１に対して結像範囲４０２だけを例えば大きくすることはできない。結像範囲４０２の外に位置した被写体４０５を結像させるには、例えば、仮想カメラ４００の位置を被写体から遠ざけて、被写体に対する結像範囲４０２の相対的な大きさを大きくする必要がある。

そこで、所定の被写体が結像範囲４０２内に含まれるか否かを判別し、結像範囲４０２内に被写体が含まれない場合に、結像範囲４０２内に仮想空間における被写体の位置が含まれるように仮想カメラ４００の位置を制御する処理を行うのが、図３に示す操作可能領域制御部１０６である。

（操作可能領域制御部１０６の構成）
図５は本発明の実施形態１に係る操作可能領域制御部１０６の機能構成を説明するためのブロック図である。操作可能領域制御部１０６は、機能構成として、結像範囲算出部５００、奥行き算出部５０１、比較部５０２、座標算出部５０３、座標送信部５０４を有する。

結像範囲算出部５００は、まず、仮想カメラ座標取得部１０４から入力された仮想カメラ４００の位置座標を基にして仮想カメラ４００の撮影範囲を求める。次に、結像範囲算出部５００は、表示特性識別部１０３で識別した仮想カメラ４００の撮影範囲に対する結像範囲の位置と大きさのテーブルから、仮想カメラ４００の位置座標における結像範囲４０２を算出する。すなわち、結像範囲算出部５００は、仮想カメラ座標取得部１０４から入力された仮想カメラを操作するための指示情報と、表示特性識別部１０３から入力された表示装置の結像範囲をする識別ための物理情報とに基づいて、仮想カメラ４００の現在の視点（仮想カメラ４００の位置）における表示装置の結像範囲を算出する。

奥行き算出部５０１は、仮想カメラ４００の光軸７００と被写体との交点のうち、仮想カメラ４００に対する第１の位置と、第１の位置に比べて仮想カメラ４００から遠い第２の位置との間の位置座標を求め、この位置座標に基づいた距離を被写体の奥行きとして算出する。例えば、奥行き算出部５０１は、仮想カメラ４００の位置情報と、被写体の座標位置情報を基に、被写体座標取得部１０５で選択された被写体について、仮想カメラ４００の光軸方向と被写体との交点のうち、仮想カメラ４００に対して最も近い最近部（第１の位置）および仮想カメラ４００に最も遠い最遠部（第２の位置）の間の位置座標を求め、２点間の距離を被写体の奥行きとして算出する。

比較部５０２は、結像範囲算出部５００で算出された結像範囲４０２と、奥行き算出部５０１で算出された被写体の奥行きを比較して、結像範囲４０２内に被写体が含まれているか否かを判断する。

座標算出部５０３は、比較部５０２の比較結果で、被写体の奥行きが結像範囲４０２内に含まれていないと判断された場合に（被写体の奥行き＞結像範囲４０２）、結像範囲４０２内に被写体が含まれるように仮想カメラ４００の位置座標を修正した仮想カメラ４００の位置を算出する。

一方、比較部５０２の比較結果で、被写体の奥行きが結像範囲４０２内に含まれている判断された場合に（被写体の奥行き≦結像範囲４０２）、座標送信部５０４は、座標算出部５０３による仮想カメラ４００の位置座標の修正を行うことなく、取得した仮想カメラ４００の位置座標に基づいて仮想カメラ４００の位置座標を更新する。

座標送信部５０４は、比較部５０２の情報もしくは、座標算出部５０３により修正された仮想カメラ４００の位置情報を基に、仮想カメラ４００の位置座標を仮想カメラ位置設定部１０７に設定する。

（実施形態１の処理）
図６は実施形態１に係る処理の流れを説明するフローチャートであり、図６のフローチャートを用いて、本発明の実施形態１の特徴となる任意の被写体が結像範囲に含まれるように仮想カメラ４００の位置を制御する処理について説明する。本制御処理はＣＰＵ３２０が実行する。

まず、ステップＳ６０１において、操作情報入力部１０１に接続された、表示装置４０３の物理情報が参照され、操作情報入力部１０１は、表示装置４０３の物理情報を表示特性識別部１０３に送信する。

続くステップＳ６０２で、表示特性識別部１０３は、操作情報入力部１０１から受信した個々の表示装置（表示デバイス）の特性を示す物理情報から、仮想カメラの撮影範囲に対する結像範囲の位置と大きさを、保有するテーブルの参照により識別する。

ステップＳ６０３において、ユーザが不図示のモニタ上で、結像対象の被写体を選択し、操作情報入力部１０１が、選択された被写体の、例えば、ＩＤを保有するテーブルの参照により取得し、取得したＩＤを結像対象の被写体情報として被写体座標取得部１０５に送信する。

ステップＳ６０４において、被写体座標取得部１０５は、保有するテーブルの参照により、受信した被写体情報（ＩＤ）と対応付けられた仮想空間における被写体の位置座標を取得する。そして、被写体座標取得部１０５は、取得した被写体の位置座標を操作可能領域制御部１０６に対して送信する。

なお、結像対象の被写体を選択し、当該被写体が結像範囲に含まれるように仮想カメラ４００の位置を制御する場合に限られず、結像対象外の被写体を選択することも可能である。この場合、以降のステップで、結像対象外の被写体が結像範囲に含まれないように仮想カメラ４００の位置を修正するように制御を行えばよい。

ステップＳ６０５において、ユーザが仮想カメラ４００の位置を操作する。操作情報入力部１０１は、ユーザの操作に基づいた仮想カメラの操作指示情報（例えば、仮想カメラ４００の移動量を指定する移動ベクトル）を仮想カメラ座標取得部１０４に送信する。

ステップＳ６０６において、仮想カメラ座標取得部１０４は、操作情報入力部１０１から受信した操作指示情報（移動ベクトル）を基に、仮想カメラ４００の仮想空間上における位置座標を取得する。その後、仮想カメラ座標取得部１０４は、取得した仮想カメラ４００の位置座標を操作可能領域制御部１０６に対して送信する。

ステップＳ６０７において、結像範囲算出部５００は、ステップＳ６０６で受信した仮想カメラ４００の位置座標に基づいて表示装置４０３上に表示可能な表示範囲４０１（撮影範囲）を算出する。

ステップＳ６０８において、結像範囲算出部５００は、仮想カメラ４００の撮影範囲に対する結像範囲の位置と大きさのテーブルから、現在の仮想カメラ４００の位置座標における結像範囲４０２を算出する。そして、結像範囲算出部５００は、算出した結像範囲４０２を比較部５０２に対して送信する。

ステップＳ６０９において、奥行き算出部５０１は、ステップＳ６０６で受信した仮想カメラ４００の位置座標における光軸７００を算出する。

ステップＳ６１０において、奥行き算出部５０１は、ステップＳ６０４で算出された位置座標に位置する被写体について、仮想カメラ４００の光軸７００方向における被写体の奥行き７０１を算出する。なお、結像対象の被写体が複数の場合は、例えば、図７（ｂ）のように、仮想カメラ４００に対して最も近い被写体４０４と、仮想カメラ４００に対して最も遠い被写体４０５との距離を求め、２点間の距離を奥行き７０１として算出する。

ステップＳ６１１において、比較部５０２は、ステップＳ６０８で結像範囲算出部５００により算出された結像範囲４０２の範囲内に、ステップＳ６１０で奥行き算出部５０１により算出された奥行き７０１が含まれているか否かを判断する。ステップＳ６１１の判断の結果、結像範囲４０２の範囲内に被写体の奥行き７０１が含まれている場合は（Ｓ６１１－Ｙｅｓ）、処理をステップＳ６１２に進める。ステップＳ６１２では、座標送信部５０４は、ステップＳ６０６で取得した仮想カメラ４００の位置座標を仮想カメラ位置設定部１０７に送信する。ここで、座標送信部５０４は、座標算出部５０３による仮想カメラ４００の位置座標の修正を行うことなく、ステップＳ６０６で取得した仮想カメラ４００の位置座標に基づいて仮想カメラ４００の視点の位置を維持（修正なく位置を更新）する。

一方、Ｓ６１１の判断の結果、結像範囲４０２の範囲内に被写体の奥行き７０１が含まれていない場合（Ｓ６１１－Ｎｏ）、処理をステップＳ６１３に進める。ステップＳ６１３では、座標算出部５０３は、ステップＳ６１０で算出した奥行き７０１が結像範囲４０２の範囲内に含まれるように、仮想カメラ４００の位置座標を修正し、修正した位置座標により仮想カメラの位置を更新する。例えば、図７（ｃ）のように、仮想カメラ４００を光軸７００に沿って被写体から離す方向（矢印７０２の方向）に位置座標を修正することで、被写体に対する結像範囲４０２の相対的な大きさを大きくすることができる。これにより、拡大した結像範囲４０２の範囲内に被写体の奥行き７０１が含まれるように仮想カメラの位置を制御することができる。このような処理によって、位置座標の修正前では図７（ａ）のように結像対象である被写体４０５が結像できていない状態（破線で示す状態）から、位置座標の修正後では図７（ｄ）のように、結像できている状態（実線で示す状態）へと結像範囲４０２の範囲内に被写体を含めることが可能となる。なお、仮想カメラ４００の位置座標の修正制御は、視点をずらさないように光軸７００方向に沿って修正することを想定しているが、光軸７００からずれる方向に修正してもよい。

以上に説明したように、表示装置が有する結像範囲に任意の被写体が含まれるように制御する処理によって、結像範囲に被写体が含まれるか否かを人為的に確認せずに仮想視点画像を生成することが可能になる。これにより、裸眼立体視ディスプレイなどの表示装置で仮想視点画像を表示する場合に、被写体が動いても結像させ続けることが可能になり、例えば、ダンスやスポーツなど、被写体が継続的に移動するシーンでも、任意の被写体を結像し続けることができる。

［実施形態２］
本実施形態では、表示装置が有する結像範囲に対して、被写体ごとに結像範囲に含める程度を任意に指定する制御処理に関して説明する。

実施形態１においては、結像対象の被写体が完全に結像範囲４０２の範囲内に含まれるように仮想カメラ４００の位置座標を制御する方法を説明した。ただし、被写体を意図的に結像させないような映像制作の手法も可能である。例えば、ドラマや映画といった映像制作において、注目する被写体を浮き上がらせるために、カメラの被写界深度を狭くして、他の被写体をある程度ぼかすという表現方法をとることがある。実施形態２では、被写体ごとにどの程度結像させるかの閾値を設定可能とすることで、このような表現方法への対応を可能とするものである。

以下の説明では、図８により実施形態２に係る仮想視点画像生成システムの全体について説明し、図９、図１０により本発明の実施形態２の特徴である、結像範囲に被写体が含まれる範囲を指定する処理に関する機能構成について説明し、図１１により、その処理の流れを説明する。

実施形態１と同一の番号が付されているものは、同一の構成要素を示すものであり、ここでは説明を省略する。

（仮想視点画像生成システム８００の説明）
図８は実施形態２に係る仮想視点画像生成システム８００の機能構成を説明するためのブロック図である。仮想視点画像生成システム８００は、操作情報入力部８０１と、仮想視点画像生成装置８０２とを有する。

（操作情報入力部８０１）
操作情報入力部８０１は、仮想視点画像生成装置８０２に対して、仮想視点の操作を行うための仮想カメラの操作指示情報、表示装置が有する物理的な結像範囲を識別するための物理情報、結像対象とする被写体情報のほかに、被写体ごとの閾値情報を送信する。

被写体ごとの閾値情報は、表示装置が有する結像範囲に対して、被写体ごとに結像範囲に含まれる程度（割合）を任意に指定する閾値であり、ユーザが結像対象として被写体を選択する際に、追加的に設定するものである。閾値情報は、例えば、５０％や１００％といった割合で設定され、設定された閾値情報に基づいて、奥行き７０１を補正する。なお、閾値情報の設定方法としては、割合以外にも、例えば、優先度が「高い」、又は優先度が「低い」など、閾値の段階を示す設定であってもよい。

仮想視点画像生成装置８０２は、操作情報入力部８０１から送信された各情報に基づいて、仮想空間上の被写体を表示装置が有する結像範囲に被写体が含まれるように仮想カメラの位置を制御して、仮想視点画像を生成する。仮想視点画像生成装置８０２は、機能構成として閾値設定部８０３と操作可能領域制御部８０４とを有する点で、実施形態１で説明した仮想視点画像生成装置１０２と相違する。

閾値設定部８０３は、操作情報入力部８０１から送信される、被写体ごとにどの程度の割合で結像範囲４０２に含めるかの閾値情報を識別する。例えば、被写体の全てを結像範囲４０２に含める場合の閾値（割合）を１００％とする。操作情報入力部８０１から送られる閾値情報が「高・低」といった優先度で送られてくる場合に、閾値設定部８０３は、優先度（高）として設定されている閾値（例えば、７０％）や優先度（低）として設定されている閾値（例えば、３０％）への修正を行う。

操作可能領域制御部８０４は、表示特性識別部１０３、仮想カメラ座標取得部１０４、被写体座標取得部１０５および閾値設定部８０３から受信した各情報に基づいて、結像範囲内部に指定の閾値の割合だけ被写体が含まれるように、仮想カメラの位置を制御する。操作可能領域制御部８０４は、制御された仮想カメラの位置を仮想カメラ位置設定部１０７に送信し、仮想カメラ位置設定部１０７は、操作可能領域制御部８０４により制御された仮想カメラの位置の情報に基づいて仮想カメラの位置を実際に設定する。

（操作可能領域制御部８０４の構成）
図９は本発明の実施形態２に係る操作可能領域制御部８０４の機能構成を説明するためのブロック図である。操作可能領域制御部８０４は、実施形態１の操作可能領域制御部１０６の機能構成から奥行き算出部９００が変更された機能構成となっている。

奥行き算出部９００は、閾値設定部８０３から取得した被写体ごとに設定された閾値情報と、仮想カメラ４００の位置情報と、被写体の座標位置情報を基に、奥行きを算出する。奥行き算出部９００は、算出した奥行きを比較部５０２へ送信する。比較部５０２は、結像範囲算出部５００で算出された結像範囲４０２と、奥行き算出部９００で算出された被写体の奥行きを比較し、結像範囲４０２内に閾値情報に基づいた被写体の奥行きが含まれているか否かを判断する。比較部５０２による比較の結果は、座標算出部５０３または座標送信部５０４に送信され、以降、実施形態１と同様の処理を経て、仮想カメラ位置設定部１０７に仮想カメラ４００の位置座標が送信される。

（奥行き算出部９００の説明）
図１０は、実施形態２に係る奥行き算出部９００による奥行きの算出例を説明する図である。仮想カメラ４００の位置に対して手前側に被写体４０４が位置しており、仮想カメラ４００の位置に対して奥側に被写体４０５が位置している。この例では、被写体４０４に対して設定される閾値が１００％で、被写体４０５に対して設定される閾値が５０％であるとする。この場合、被写体４０４における仮想カメラ４００に対して最も近い位置から、被写体４０５自身が有する奥行き１００１を半分（設定された閾値：５０％相当分）だけ短くした位置までの距離をとった奥行き１００２を算出する。

（実施形態２の処理）
図１１は実施形態２に係る処理の流れを説明するフローチャートであり、図１１のフローチャートを用いて、本発明の実施形態２の特徴となる、表示装置が有する結像範囲に対して、被写体ごとに結像範囲に含める程度を任意に指定する閾値を踏まえて仮想カメラ４００の位置を制御する処理について説明する。本処理はＣＰＵ３２０が実行する。実施形態１で説明した処理のフローチャート（図６）と同様の処理については、同一のステップ番号を付し、説明を省略する。

まず、ステップＳ１１０１において、ステップＳ６０３で選択された結像対象の各被写体について、ユーザが閾値情報を設定する。設定された閾値情報は操作情報入力部８０１から閾値設定部８０３に送信される。

ステップＳ１１０２において、奥行き算出部９００は、被写体の座標位置情報（Ｓ６０４）と、仮想カメラ４００の位置情報（Ｓ６０６）と、閾値設定部８０３から取得した被写体ごとに設定された閾値情報（Ｓ１１０１）とに基づいて、被写体の奥行きを算出する。奥行き算出部９００は、算出した奥行き１１０２を比較部５０２へ送信する。

以降の制御処理は実施形態１に係る制御処理と同等である。ステップＳ６１１の判断の結果、結像範囲４０２の範囲内に被写体ごとに設定された閾値情報に基づいた被写体の奥行きが含まれている場合は（Ｓ６１１－Ｙｅｓ）、処理をステップＳ６１２に進める。ステップＳ６１２では、座標送信部５０４は、ステップＳ６０６で取得した仮想カメラ４００の位置座標を仮想カメラ位置設定部１０７に送信する。ここで、座標送信部５０４は、座標算出部５０３による仮想カメラ４００の位置座標の修正を行うことなく、ステップＳ６０６で取得した仮想カメラ４００の位置座標に基づいて仮想カメラ４００の位置座標を更新する。

一方、Ｓ６１１の判断の結果、結像範囲４０２の範囲内に被写体ごとに設定された閾値情報に基づいた被写体の奥行きが含まれていない場合（Ｓ６１１－Ｎｏ）、処理をステップＳ６１３に進める。ステップＳ６１３では、座標算出部５０３は、ステップＳ６１０で算出した奥行き７０１が結像範囲４０２の範囲内に含まれるように、仮想カメラ４００の位置座標を修正して仮想カメラ４００の位置を制御する。

先に説明した実施形態１では、被写体の奥行き７０１を結像範囲４０２に含めるために、図７（ｃ）のように、仮想カメラ４００を光軸７００に沿って被写体から離す方向（矢印７０２の方向）に位置座標を修正することで、被写体に対する結像範囲４０２の相対的な大きさを大きくする例を説明した。

実施形態２では、図７（ｃ）で説明した処理例の他に、例えば、閾値が設定された被写体の奥行きを結像範囲に含めるために、被写体に対する結像範囲の相対的な大きさを小さくすることが必要とされる場合には、仮想カメラ４００を光軸７００に沿って被写体に近づける方向（矢印７０２の逆方向）に位置座標を修正することも可能である。

以上説明したように、裸眼立体視ディスプレイなどの表示装置で仮想視点画像を表示する場合に、被写体が動いても結像させ続けることが可能になり、更に、表示装置が有する結像範囲に対して、被写体ごとに設定された閾値情報に基づき、被写体ごとに結像範囲に含める範囲を任意に指定する処理によって、特定の被写体のみ結像し、他の被写体をある程度ぼかした仮想視点画像を生成することが可能になる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：仮想視点画像生成システム、
１０１：操作情報入力部、１０２：仮想視点画像生成装置、
１０３：表示特性識別部、１０４：仮想カメラ座標取得部、
１０５：被写体座標取得部、１０６：操作可能領域制御部、
１０７：仮想カメラ位置設定部、４００：仮想カメラ、
４０２：結像範囲、４０３：表示装置

Claims (13)

1. 仮想空間に位置する仮想的なカメラである仮想カメラの撮影範囲に対する表示手段の結像範囲に、前記仮想空間における被写体の位置が含まれるように、前記仮想カメラの位置を制御する制御手段と、
   前記制御手段により制御された前記仮想カメラの位置に基づいて仮想視点画像を生成する生成手段と、
   を備えることを特徴とする画像生成装置。
2. 前記仮想カメラを操作するための操作指示情報と、前記表示手段の結像範囲を識別ための物理情報と、選択された被写体を特定するための被写体情報とを入力する入力手段と、
   前記操作指示情報に基づいて前記仮想空間における前記仮想カメラの位置を取得するカメラ座標取得手段と、
   前記物理情報に基づいて、前記仮想カメラの撮影範囲に対する前記結像範囲の位置と大きさを識別する識別手段と、
   前記被写体情報に基づいて、前記仮想空間における前記被写体の位置を取得する被写体座標取得手段と、
   を更に備えることを特徴とする請求項１に記載の画像生成装置。
3. 前記制御手段は、
   前記仮想カメラの位置に基づいた撮影範囲を求め、当該撮影範囲に対する結像範囲の位置と大きさを保持するテーブルから、前記仮想カメラの位置における前記結像範囲を算出する結像範囲算出手段と、
   前記仮想カメラの位置と、前記被写体の位置とに基づいて、前記仮想カメラの光軸方向における前記被写体の奥行きを算出する奥行き算出手段と、
   前記結像範囲と前記被写体の奥行きとを比較する比較手段と、を備え、
   前記比較手段の比較により、前記被写体の奥行きが前記結像範囲に含まれていない場合に、前記結像範囲に前記被写体の奥行きが含まれるように前記仮想カメラの位置を制御することを特徴とする請求項１または２に記載の画像生成装置。
4. 前記制御手段は、前記被写体の奥行きが前記結像範囲に含まれていない場合に、前記仮想カメラの位置を前記被写体から離す方向に前記仮想カメラの位置を制御することを特徴とする請求項３に記載の画像生成装置。
5. 前記制御手段は、前記仮想カメラの光軸に沿って、前記被写体から離す方向に前記仮想カメラの位置を制御することを特徴とする請求項４に記載の画像生成装置。
6. 前記制御手段は、前記比較手段の比較により、前記被写体の奥行きが前記結像範囲に含まれている場合に、前記仮想カメラの位置を維持することを特徴とする請求項３に記載の画像生成装置。
7. 前記奥行き算出手段は、前記仮想カメラの光軸と前記被写体との交点のうち、前記仮想カメラに対する第１の位置と、前記第１の位置に比べて前記仮想カメラから遠い第２の位置との間の位置座標を求め、当該位置座標に基づいた距離を前記被写体の奥行きとして算出することを特徴とする請求項３乃至６のいずれか１項に記載の画像生成装置。
8. 前記結像範囲に前記被写体の奥行きを含める割合を設定する閾値設定手段を更に備え、
   前記奥行き算出手段は、前記被写体の位置と、前記仮想カメラの位置と、前記割合とに基づいて、前記被写体の奥行きを算出し、
   前記制御手段は、前記割合が設定された被写体の奥行きが前記結像範囲に含まれるように前記仮想カメラの位置を制御することを特徴とする請求項３乃至７のいずれか１項に記載の画像生成装置。
9. 前記閾値設定手段は、前記被写体が複数の場合に、複数の被写体のそれぞれに、前記割合を設定することを特徴とする請求項８に記載の画像生成装置。
10. 前記奥行き算出手段は、前記閾値設定手段で設定された前記割合に基づいて、前記被写体の奥行きを補正することを特徴とする請求項８または９に記載の画像生成装置。
11. 前記表示手段には、裸眼立体視ディスプレイが含まれることを特徴とする請求項１乃至１０のいずれか１項に記載の画像生成装置。
12. 仮想視点画像を生成する画像生成装置における画像生成方法であって、
    仮想空間に位置する仮想的なカメラである仮想カメラの撮影範囲に対する表示手段の結像範囲に、前記仮想空間における被写体の位置が含まれるように、前記仮想カメラの位置を制御し、
    前記制御された前記仮想カメラの位置に基づいて前記仮想視点画像を生成することを特徴とする画像生成方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

Images