JP2019197409A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】仮想視点の変化により仮想視点画像が見づらくなる虞を低減する。【解決手段】画像処理装置は、設定された仮想視点に対応する仮想視点画像を生成し、該仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定し、該設定された仮想視点の速度に応じて、該仮想視点画像における該指定されたオブジェクトの表示態様を制御する。【選択図】 図４

Description

本発明は、仮想視点画像の表示制御に関する。

複数カメラを用いて異なる位置から同期撮影を行い、得られた多視点の画像を使用して、仮想視点画像と呼ばれる画像を生成する技術が注目されている。この技術は、撮影に使用するカメラとは異なる視点である仮想視点から画像を見ることを可能にする。このような仮想視点画像を生成する技術は、例えば、サッカーやラグビーなどのスポーツのハイライトシーンを様々な角度から閲覧することが出来るため、通常の画像と比較して、ユーザに高臨場感を与えることが出来る。

近年では、仮想視点画像を応用した技術が開発されている。特許文献１には、仮想視点画像に仮想的な広告を合成する技術について開示されている。具体的には、仮想視点が所定の位置と向きの場合に、所定の仮想広告を表示することが記載されている。

特許第５５９３３５６号公報

しかしながら、特許文献１に開示されている技術では、広告の表示制御において仮想視点の変化の速度が考慮されていない。そのため、仮想視点が速く動くシーンにおいて、仮想視点画像中の広告のブレによりユーザ（視聴者）が内容を認識しづらくなり、煩わしい印象をユーザに与える場合や、広告としての表示効果を失ってしまう場合がある。また、特許文献１に開示されている仮想広告に限らず、仮想視点画像に含まれるその他のオブジェクトに関しても、仮想視点が速く動く時に、オブジェクトによっては煩わしい印象をユーザに与える、または、元の表示効果を失ってしまう可能性がある。

本発明は上記課題に鑑みてなされたものであり、仮想視点の変化により仮想視点画像が見づらくなる虞を低減することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、設定された仮想視点に対応する仮想視点画像を生成する生成手段と、前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御する表示制御手段と、を有する。

本発明によれば、仮想視点の変化により仮想視点画像が見づらくなる虞を低減することが可能となる。

仮想視点画像生成システムを説明するための図。 画像処理装置１０４の構成を説明するための図。 仮想視点の動きと速度を説明するための図。 実施形態１における表示制御のフローチャート。 実施形態１における仮想視点画像の一例を説明するための図。 オブジェクトの見かけ上の動きと速度を説明するための図。 実施形態２における表示制御のフローチャート。 実施形態２における仮想視点画像の一例を説明するための図。 実施形態３における表示制御のフローチャート。 実施形態３における仮想視点画像の一例を説明するための図。

以下、本発明の実施形態について図面を参照し説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。

［実施形態１］
実施形態１では、仮想視点の速度に応じたオブジェクトの表示制御の一例として、オブジェクトの通常表示と例外表示の切り替えを説明する。以下の実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。

（仮想視点画像生成システムの構成と配置）
図１に、本実施形態における仮想視点画像生成システムを説明するための図を示す。図１（ａ）は、仮想視点画像生成システムの構成図である。仮想視点画像生成システムは、Ｎ個のセンサシステム１０１ａ、１０１ｂ、１０１ｃ、…１０１ｎを含む。特に説明がない場合は、Ｎ個のセンサシステム１０１ａ、１０１ｂ、１０１ｃ、…１０１ｎは区別せず、センサシステム１０１と記載する。センサシステム１０１は、それぞれカメラとマイク（不図示）を有する。センサシステム１０１の各カメラは、同期し画像を撮影することができる。また、センサシステム１０１の各マイクは、同期し音声を集音することができる。画像記録装置１０２は、センサシステム１０１から画像及び音声を取得し、データベース１０３に書き込む。仮想視点操作ＵＩ（ユーザインタフェース）１０５は、ジョイスティック、ジョグダイヤル、タッチパネル等であり、仮想視点の移動や回転などの操作が可能な入力装置である。

画像処理装置１０４は、仮想視点操作ＵＩ１０５から仮想視点の指定を受け付け、その仮想視点に応じて、データベース１０３から必要な画像及び音声データを読み出す。画像処理装置１０４は、読み出したデータをレンダリング処理し、仮想視点画像を生成する。画像処理装置１０４は、仮想視点の速度に応じて、あらかじめ表示制御対象として設定したオブジェクトの表示態様を切り換えて、仮想視点画像を生成する。この処理の詳細は図４を用いて後述する。画像処理装置１０４は、生成した仮想視点画像を、放送局やユーザ端末（スマートフォンなど）へ送る。なお、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

図１（ｂ）は、仮想視点画像生成システムの設置例を示す図である。本実施形態では、スタジアムのフィールドを囲むように、Ｎ台のセンサシステム１０１が設置される。仮想視点１１０（仮想カメラとも呼ぶ）は、センサシステム１０１に含まれるどのカメラとも異なる視点でスタジアム内を閲覧できる。なお、仮想視点画像生成システムの設置場所は、スタジアムに限らず、スタジオ等でも可能である。

（画像処理装置の構成）
次に、図２を参照して、画像処理装置１０４の構成を説明する。図２（ａ）は、画像処理装置１０４の機能構成図である。パラメータ取得部２０１は、仮想視点操作ＵＩ１０５から、仮想視点パラメータを取得する。仮想視点パラメータは、仮想視点を指定するためのパラメータ（値）であり、仮想視点（仮想カメラ）の位置や向き（姿勢）に関するパラメータが含まれる。またこれに限らず、仮想視点パラメータには仮想視点の焦点距離に関するパラメータなどが含まれてもよい。パラメータ取得部２０１は、仮想視点パラメータを、仮想視点画像のフレーム毎に取得する。三次元モデル生成部２０２は、データベース１０３より取得した撮影画像を基に、三次元モデルを生成する。三次元モデルは、例えばＶｉｓｕａｌ Ｈｕｌｌなどの形状推定方法により生成され、点群で構成されるものとする。ただしモデルの生成方法はこれに限定されず、三次元モデルはポリゴンなどで構成されてもよい。

画像生成部２０３は、三次元モデル生成部２０２により生成された三次元モデルを利用して、仮想視点の位置と向きに基づき仮想視点画像を生成する。具体的には、画像生成部２０３は、三次元モデルを構成する点毎に撮影画像を選択し、撮影画像から適切な画素値を取得して色付け処理を行う。そして、画像生成部２０３は、色付け処理を施した点群を三次元空間に配置し、仮想視点へ投影することにより仮想視点画像を生成する。速度取得部２０４は、パラメータ取得部２０１により取得された仮想視点パラメータを用いて、仮想視点の速度（仮想視点速度と呼ぶ）を算出する。仮想視点速度については、図３を用いて後述する。

オブジェクト指定部２０５は、仮想視点画像に含まれる１つ以上のオブジェクトの中から、ユーザによる操作または画像処理等を介して、表示制御対象のオブジェクトを指定（選択）する。ここで、オブジェクト指定部２０５は、例えばユーザが選択したオブジェクトを表示制御対象のオブジェクトに指定してもよいし、逆に、複数のオブジェクトのうちユーザが選択したオブジェクト以外のオブジェクトを表示制御対象のオブジェクトに指定してもよい。本実施形態において、オブジェクトとは、仮想視点画像の前景や背景に含まれる対象物である、例えば、フィールド上の人物、フィールド周辺の構造物、スタジアム内の広告等とする。また、仮想広告のような、実際のフィールド上には存在しないが、仮想視点画像に表示される仮想オブジェクトも、表示制御対象のオブジェクトに含まれてもよい。オブジェクト指定部２０５は、選択したオブジェクトに関する情報（オブジェクト情報と呼ぶ）を、表示制御部２０６に渡す。本実施形態において、オブジェクト情報とは、例えばオブジェクトの座標である。

表示制御部２０６は、仮想視点速度に基づいて、仮想視点画像内のオブジェクトの表示を制御する。オブジェクト表示制御の処理結果は、画像生成部２０３で生成される仮想視点画像に反映される。オブジェクト表示制御については、図４と図５を用いて後述する。外部画像データ保持部２０７は、データベース１０３以外から取得した外部データを保持する。外部データとは、例えば広告の内容を示すデータである。外部画像データ保持部２０７は、外部データをオブジェクト情報に含め、オブジェクト指定部２０５を介して画像生成部２０３に渡すことができ、結果として、外部データは仮想視点画像に追加され得る。画像出力部２１０は、画像生成部２０３により生成された仮想視点画像を、放送局やユーザ端末に出力する。

次に、画像処理装置１０４のハードウェア構成について説明する。図２（ａ）は、画像処理装置１０４のハードウェア構成図である。ＣＰＵ（Central Processing Unit）１１１は、ＲＡＭ（Random Access Memory）１１２やＲＯＭ（Read Only Memory）１１３に格納されているコンピュータプログラムやデータを用いて処理を行う。また。ＣＰＵ１１１は、画像処理装置１０４の全体の動作制御と後述する各種の処理を実行する。

ＲＡＭ１１２は、ＲＯＭ１１３からロードされたコンピュータプログラムやデータを一時的に記憶するためのワークエリアを有する。また、ＲＡＭ１１２は、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアを提供する。ＲＯＭ１１３は、コンピュータプログラムやデータを保持する。

入力部１１４は、例えば、仮想視点操作ＵＩ１０５からの入力情報を受け付ける。外部インタフェース１１５は、例えば、ＬＡＮ（Local Area Network）を通じて、データベース１０３や仮想視点操作ＵＩ１０５との間で情報の送受信を行う。例えば、外部インタフェース１１５は、仮想視点画像をＳＤＩケーブル経由で放送局に出力し、および／または、インターネット経由でユーザ端末に出力する。出力部１１６は、例えば、ディスプレイやスピーカ等から構成され、オペレータ操作に必要な情報をとして、生成した仮想視点画像やＵＩなどを出力する。

（仮想視点の動きの算出手法）
図３を用いて仮想視点の動き（変化）について説明する。概要として、仮想視点の動きは、仮想視点の移動と回転の組み合わせとなる。また、単位時間当たりの仮想視点の変化量が仮想視点速度となり、速度取得部２０４により算出される。仮想視点速度は、図４を用いて後述するオブジェクト表示制御で使用される。

仮想視点の移動と回転を表現するための座標系を図３（ａ）に示す。本実施形態では、図３（ａ）に示す座標系がスタジアムに設定される。例えば、原点（０、０、０）がフィールドの中心へ、Ｚ軸がフィールドに対して鉛直方向へ、Ｘ軸がフィールドの長辺方向へ、Ｙ軸がフィールドの短辺方向に設定される。なお、各軸の方向については、これに限定されない。

図３（ｂ）に、仮想視点操作ＵＩ１０５での操作が行われていない場合の、仮想視点の位置と向きについて説明する。図３（ｂ）に示される四角錐において、頂点が仮想視点の位置３０１を表し、頂点を起点とする視線方向のベクトルが仮想視点の向き３０２を表す。仮想視点の向き３０２は、前方クリップ面３０３と後方クリップ面３０４の中心点を通るものとする。また、画像生成部２０３が仮想視点画像に投影する範囲（すなわち仮想視点画像の生成対象の範囲）である、仮想視点の視錐台は、前方クリップ面３０３と後方クリップ面に挟まれた空間３０５である。

次に、仮想視点操作ＵＩ１０５での操作が行われた場合の、仮想視点の移動と回転について説明する。仮想視点の位置３０１は、仮想視点操作ＵＩ１０５での操作に従い、三次元座標で表現された空間内を移動および／または回転する。単位時間当たりの仮想視点の移動に係る変化量は移動速度となる。また、仮想視点の回転は、ヨー、ピッチ、ロールの３つの指定可能である。ヨー（Ｙａｗ）は、Ｚ軸回りの回転、ピッチ（Ｐｉｔｃｈ）はＸ軸回りの回転、ロール（Ｒｏｌｌ）はＹ軸回りの回転とする。仮想視点の回転に係る変化量は角速度となる。

次に、仮想視点の動きの例を、図３（ｄ）を参照して説明する。図３（ｄ）は、仮想視点の動きを説明するための図である。図３（ｄ）では、仮想視点がＸ軸のプラス方向に移動し、かつ、Ｙａｗ軸をマイナス方向に回転した動きの例が示されている。なお、図の例は一例に過ぎず、仮想視点の動きは、これらの方向に限定されないことは言うまでもない。仮想視点の動きを説明するために、仮想視点の視錐台内の一点３１０を使用する。図３（ｃ）に、視錐台内の一点３１０を説明するための図を示す。図３（ｃ）は、図３（ｂ）の仮想視点を上（Ｚ軸）から見た図である。視錐台内の一点３１０は、図３（ｃ）に示すように、仮想視点の向きを示すベクトル上の、前方クリップ面３０３と後方クリップ面３０４の間の中点とする。図３（ｄ）に示すように、点３１０の動き３１１（仮想視点の位置３０１からの視線方向に離れた一点の動き）が、仮想視点の動きである移動と回転との組み合わせを反映したものとなる。

次に、単位時間当たりの仮想視点の変化量である仮想視点速度について説明する。なお、本実施形態では、仮想視点速度（仮想視点の速度）と、前述の移動速度は異なるものとして定義する。仮想視点速度は、仮想視点の視錐台内の一点３１０の移動量に応じた速度とする。つまり、仮想視点速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、視錐台内の一点３１０の１フレーム間における変化量を、フレーム間隔の時間で除算し得ることができる。例えば、図３（ｄ）は、６０ｆｐｓの画像を想定し、１フレームの間に仮想視点が移動したものを示すとすると、仮想視点速度は（点３１０の座標の差分）／（１／６０）となる。仮想視点速度は、フレーム毎に計算され、図４を用いて後述するオブジェクト表示制御で使用される。

なお、仮想視点速度の定義は、仮想視点の移動に係る変化量と回転に係る変化量とに応じたパラメータであれば、これに限るものでない。また、仮想視点の移動速度や角速度だけでなく、加速度などを含めてもよい。

（実施形態１におけるオブジェクトの表示制御）
図４を参照して、仮想視点速度に応じたオブジェクトの表示制御について説明する。図４は、本実施形態における表示制御のフローチャートである。

ステップＳ４０１では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、フィールド周辺の構造物が表示制御対象のオブジェクトとして事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、表示制御対象のオブジェクトは、フィールド周辺の構造物に限らず、仮想視点画像に含まれる指定されたオブジェクトであればよい。

ステップＳ４０２では、表示制御部２０６が、仮想視点速度を所定の閾値と比較する。仮想視点速度の算出方法は図３で説明した通りである。判定結果が真の場合（仮想視点速度が閾値未満）は、処理はステップＳ４０３へ、偽の場合（仮想視点速度が閾値以上）は、処理はステップＳ４０４へ進む。この閾値は、例えば画像処理装置１０４に対するユーザ操作に基づいて設定されてもよいし、仮想視点画像の生成対象となるイベントの内容や、表示制御対象のオブジェクトに応じて自動で設定されてもよい。ステップＳ４０３では、表示制御部２０６が、表示制御対象のオブジェクトを通常通りに表示する通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。ステップＳ４０４では、表示制御部２０６が、表示制御対象のオブジェクトを通常通りに表示しない例外表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。例外表示とは、オブジェクトの透過度を上げたり、グレーアウトしたり、解像度を下げたり、ぼかしたりすることによる、通常表示と異なる表示形態での表示を意味する。ステップＳ４０４では、例えば、例外表示として、表示制御対象のオブジェクトの透過度を１００％に設定する。なお、仮想視点速度に応じて異なる例外表示が行われてもよい。例えば、仮想視点速度が速いほど表示制御対象のオブジェクトの透過率を上げたり、ボケ量を大きくしたりしてもよい。

なお、ステップＳ４０２の仮想視点速度と閾値の比較に関して、仮想視点速度は速度ベクトルで表されるため、厳密には仮想視点速度の大きさと閾値の比較となる。また、仮想視点速度の方向を限定して速度を比較する（仮想視点の変化量の１以上の所定の方向における大きさを比較する）構成も可能である。例えば、仮想視点速度のＸ方向とＹ方向の大きさのみを閾値との比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。また、ステップＳ４０２の仮想視点速度と閾値の比較において、閾値を０に設定した場合は、仮想視点速度に関わらず常に判定が偽となる。つまり、表示制御対象のオブジェクトを常にステップＳ４０４で例外表示に設定することもできる。

また、上記説明では、ステップＳ４０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ４０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図５（ａ）〜（ｃ）は、図４の処理により表示される仮想視点画像の一例を説明するための図である。図５（ａ）〜（ｃ）では、いずれも、左図にＺ軸の負方向（上空からフィールドへの方向）から見た仮想視点の動きと、右図に左図に示す仮想視点の動きに応じて生成・表示される仮想視点画像を表している。なお、図５（ｃ）の仮想視点の動きに関しては、図５（ｂ）と同じため省略している。

図５（ａ）の右図に示すように、仮想視点画像に含まれるオブジェクトは、観客席５０１、フィールド周辺の構造物５０２、フィールド５０３や、ボール５１１、人物５２１〜５２８、である。ここで、オブジェクト指定部２０５が、これらのオブジェクトの中から、表示制御対象のオブジェクトとして、フィールド周辺の構造物５０２を事前に指定しているものとする。

図５（ａ）は、仮想視点の動きが小さく、ほぼ動いていない例を示している。この時、表示制御部２０６は、ステップＳ４０２で仮想視点速度が閾値未満であると判定し、ステップＳ４０３に進み、表示制御対象のオブジェクトである構造物５０２を通常表示に設定する。画像生成部２０３は、当該設定を反映した仮想視点画像を生成する。画像生成部２０３により生成された仮想視点画像が図５（ａ）の右図となる。この図では、構造物５０２を含め、全オブジェクトが通常表示されている。

続いて、図５（ｂ）〜（ｃ）について説明する。図５（ｂ）〜（ｃ）は、仮想視点の動きは速く、仮想視点速度は閾値以上である例を示している。図５（ｂ）と図５（ｃ）の違いは、図４で説明した表示制御を実行するか否かに基づく。すなわち、図５（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図５（ｃ）では、構造物５０２が表示制御対象のオブジェクトとして事前に指定され、図４の表示制御が実行されている。

図５（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図４の表示制御は実行されない。結果として、図５（ｂ）の右図に示すように、全オブジェクトが通常表示される仮想視点画像が生成される。この図では、仮想視点速度が速いため、フィールド周辺の構造物５０２はブレが目立ち、内容を理解しづらく煩わしい印象をユーザに与えてしまう問題が発生する。

図５（ｃ）では、構造物５０２が表示制御対象のオブジェクトとして事前に指定され、図４の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ４０２で仮想視点速度が閾値以上であると判定し、ステップＳ４０４に進み、構造物５０２を例外表示に設定する。結果として、図５（ｃ）の右図に示すような仮想視点画像が生成される。この図では、構造物５０２のみが透過度１００％で非表示となり、それ以外の全オブジェクトは通常表示されている。図５（ｂ）ではフィールド周辺の構造物５０２は、内容を理解しづらく煩わしく感じさせるが、図５（ｃ）では、構造物５０２を非表示にすることで、ユーザ（視聴者）はフィールド内のプレイに集中し視聴することが可能となる。

このように、本実施形態によれば、仮想視点速度に応じたオブジェクトの表示制御を行うことができる。仮想視点画像は、実カメラで困難なダイナミックなカメラパスを仮想視点により実現できる点が、大きな長所となる。そのため、仮想視点の速い動きによって、ユーザに煩わしい印象を与えてしまうと、その長所を発揮しきれず仮想視点画像の価値が低下することになる。一方、本実施形態によれば、例えば、仮想視点が速く動くダイナミックなシーンにおいて、従来は内容を理解しづらく煩わしく感じていたオブジェクトを例外表示することで、注目したいオブジェクトに集中し視聴できる仮想視点画像を提供することができる。

［実施形態２］
実施形態２では、仮想視点の速度に加え、オブジェクトの速度に応じた表示制御について説明する。本実施形態において、仮想画像視点生成システムの構成は図１、画像処理装置１０４の構成は図２と同様であるため、説明を省略する。また、仮想視点の速度（仮想視点速度）は、図３を参照して説明したように算出される。

（オブジェクトの速度の算出手法）
図６を参照して、オブジェクトの動きと速度、および、オブジェクトの見かけ上の動きと速度について説明する。図６は、オブジェクトの見かけ上の動きと速度を説明する図である。概要としては、本実施形態において、オブジェクトの見かけ上の動きは、仮想視点の動きと、オブジェクトの動きの組み合わせとなる。そして、オブジェクトの見かけ上の動きの変化量が、オブジェクトの見かけ上の速度（オブジェクトの擬似速度と呼ぶ）となる。 言い換えると、オブェクトの擬似速度は、仮想視点の速度（仮想視点速度）と、オブジェクトの速度（オブジェクト速度）を合わせたものと表すこともできる。このオブジェクトの擬似速度は、後述する図７に示すオブジェクトの表示制御で使用される。

図６（ａ）は、三次元空間上を人物二人が移動中の例を示す。人物二人をそれぞれオブジェクト６０１、６０２とする。これらのオブジェクトは、図に示す様に、フレーム間で、それぞれ右（Ｘ軸）方向に移動中である。二つのオブジェクトの動きを、それぞれ動き６１１、６１２とする。各オブジェクト６０１、６０２を映すため、仮想視点も右（Ｘ軸）方向に移動（仮想視点の動き３１１）する。図６（ａ）において、オブジェクト（人物）と仮想視点とも、現フレームは黒色（濃色、右）で、前フレームは灰色（淡色、左）で記載されている。

単位時間当たりの各オブジェクト６０１、６０２の動き６１１、６１２の変化量が、各オブジェクト速度となる。オブジェクト速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、オブジェクト速度は、各オブジェクト６０１、６０２の座標の１フレーム間の変化量を、フレーム間隔の時間で除算し得ることができる。例えば、図６（ａ）は、６０ｆｐｓの画像を想定し１フレームの間にオブジェクト６０１が移動したものとすると、オブジェクト速度は（動き６１２の変化量）／（１／６０）となる。オブジェクト速度はフレーム毎に計算される。なお、各オブジェクト６０１、６０２の座標は、三次元モデル生成部２０２で生成した各オブジェクトの点群の中心点などから算出される。もしくは、各オブジェクト６０１、６０２（すなわち人物）にセンサーを付与し、センサー情報に基づいてオブジェクトの座標値が算出される構成などでもよい。

なお、同図における仮想視点やオブジェクトの移動方向は一例である。実施形態１に示した様に、仮想視点の動きは、一方向に限定されないことは言うまでもなく、オブジェクトに関しても同様である。

次に、仮想視点の動きと各オブジェクトの動きを合わせた仮想視点画像について説明する。図６（ｂ）は、図６（ａ）の仮想視点を使用して作成中の仮想視点画像である。具体的には、画像生成部２０３は、各オブジェクト６０１、６０２の三次元モデルと仮想視点の位置及び向きに基づき、投影中（色付け処理前）の仮想視点画像を生成する。図６（ｂ）の上図は前フレーム、下図は現フレームのものであり、オブジェクト６０１はオブジェクト６０２より手前にあり、大きく投影されている。

続いて、図６（ａ）と（ｂ）を合わせ、オブジェクトの見かけ上の動きについて説明する。オブジェクトの見かけ上の動きは、仮想視点の動きと、オブジェクトの動きと、仮想視点とオブジェクトの位置関係から決まるものであり、仮想視点画像内におけるオブジェクトの動きと言い換えることもできる。オブジェクト６０１の見かけ上の動きは、仮想視点の動き３１１と、オブジェクトの動き６１１とを合わせた動き６２１となる。同様に、オブジェクト６０２の見かけ上の動きは、仮想視点の動き３１１と、オブジェクトの動き６１２とを合わせた動き６２２となる。オブジェクト６０１、６０２の動きは、三次元空間上で同じ移動量とする。つまり、オブジェクト６０１、６０２は同速度で移動中である。しかし、オブジェクト６０１、６０２の見かけ上の動きは、仮想視点に向かって手前にあるオブジェクト６０２が大きくなる（動き６２１＞動き６２２）。

最後に、オブジェクトの見かけ上の速度（擬似速度）について説明する。オブジェクトの擬似速度は、単位時間当たりの上記のオブジェクトの見かけ上の動きの変化量で表す。つまり、オブジェクトの疑似速度は、大きさと方向を持つ速度ベクトルで表される。具体的には、オブジェクトの疑似速度は、オブジェクトのフレーム間の見かけ上の移動量を、フレーム間隔の時間で除算し得ることができる。例えば、図６（ｂ）は、６０ｆｐｓの画像を想定し１フレームの間に仮想視点及びオブジェクトが移動したものとすると、オブジェクト６０１の擬似速度は（６２１の変化量）／（１／６０）である。オブジェクトの擬似速度は、フレーム毎に計算され、後述する図７のオブジェクト表示制御で使用される。

なお、オブジェクトの擬似速度の定義は、仮想視点の速度とオブジェクトの速度とに基づいて決まるパラメータ、あるいは、仮想視点の動きとオブジェクトの動き双方の大きさに関わるパラメータであればよく、上記に限定されない。また、オブジェクトの加速度などを含めてもよい。

（実施形態２におけるオブジェクトの表示制御）
図７を参照して、仮想視点速度とオブジェクト速度に応じたオブジェクトの表示制御を説明する。図７は、本実施形態における表示制御のフローチャートである。

ステップＳ７０１では、表示制御部２０６が、仮想視点速度を取得する。仮想視点速度の算出方法は図３を用いて説明した通りである。ステップＳ７０２では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得し、ステップＳ７０１で取得した仮想視点速度とあわせて、表示制御対象のオブジェクトの擬似速度を算出する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、フィールド上の全ての人物が事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、表示制御対象のオブジェクトは、人物に限らない。仮想視点画像に含まれるオブジェクトであれば何でも良い。オブジェクトの擬似速度の算出方法は、図６で説明した通りである。

ステップＳ７０３では、表示制御部２０６が、表示制御対象のオブジェクトの擬似速度を所定の閾値と比較する。判定結果が真の場合（擬似速度が閾値未満）は、処理はステップＳ７０４へ、偽の場合（擬似速度が閾値以上）は、処理はステップＳ７０５へ進む。ステップＳ７０４では、表示制御部２０６が、表示制御対象のオブジェクトを通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。ステップＳ７０５では、表示制御部２０６が、表示制御対象のオブジェクトを例外表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。例外表示とは、実施形態１で説明したように、オブジェクトの透過度を上げることや、グレーアウトすることや、解像度を下げることや、ぼかし効果を加えることによる、通常表示と異なる表示を意味する。また、実施形態１で説明したのと同様に、オブジェクトの疑似速度（仮想視点画像におけるオブジェクトの速度）に応じて程度の異なる例外処理を行ってもよい。ステップＳ７０５では、例えば、例外表示としてオブジェクトの透過度を１００％に設定する。

なお、ステップＳ７０３のオブジェクト疑似速度と閾値の比較に関して、オブジェクト疑似速度は速度ベクトルで表されるため、厳密にはオブジェクト疑似速度の大きさと閾値の比較となる。また、オブジェクト疑似速度の方向を限定して比較する（仮想視点の移動の変化量とオブジェクトの移動の変化量それぞれの１以上の所定の方向における大きさを合せたものを比較する）構成も可能である。例えば、オブジェクト疑似速度のＸ方向とＹ方向の大きさのみを比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。

また、上記説明では、ステップＳ７０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ７０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図８（ａ）〜（ｃ）は、図７の処理により表示される仮想視点画像の一例を説明するための図である。図８（ａ）は、フレーム間における仮想視点の動きを示す。前フレームは灰色（淡色、左）で、現フレームは黒色（濃色、右）で記載されている。図８（ａ）では、仮想視点がＸ軸のプラス方向に移動し、かつ、Ｙａｗ軸をプラス方向に回転した動きの例が示されている。図８（ｂ）〜（ｃ）は共に、左図は、前フレームにおける仮想視点画像であり、右図は現フレームにおける仮想視点画像である。

図８（ｂ）〜（ｃ）に示すように、仮想視点画像に含まれるオブジェクトは、観客席８０１、フィールド８０２や、ボール８１１、人物８２１〜８２６、である。例えば、フィールド内にいる人物８２１〜８２３はプレーヤー、フィールド外にいる人物８２４〜８２６は、審判やカメラマンである。ここで、オブジェクト指定部２０５が、これらのオブジェクトの中から、表示制御対象のオブジェクトとして、人物８２１〜８２６を事前に指定しているものとする。

図８（ａ）に示すように、仮想視点の動き３１１は、フィールド内の人物８２１〜８２３に注目し、人物８２１〜８２３を中心に旋回する。このような旋回により、ダイナミックなカメラパスの仮想視点画像が生成される。フィールド内の人物８２１〜８２３は、旋回の中心に据えられるため、見かけ上ほぼ動かない。一方で、フィールド外のオブジェクト（人物８２４〜８２６）は、旋回の中心（人物８２１〜８２３）から離れているため、見かけ上の速度が非常に速くなる。そのため、図８（ｂ）に示すように、ブレによる煩わしい印象をユーザに与える問題が発生する可能性がある。

図８（ｂ）と図８（ｃ）の違いは、図７で説明した表示制御を実行するか否かに基づく。すなわち、図８（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図８（ｃ）では、人物８２１〜８２６が表示制御対象のオブジェクトとして事前に指定され、図７の表示制御が実行されている。

図８（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図４の表示制御は実行されない。結果として、図８（ｂ）の左図と右図に示すように、全オブジェクトが通常表示される仮想視点画像が生成される。この図では、オブェクトの擬似速度が速いため、フィールド外のオブジェクト（人物８２４〜８２６）はブレが目立ち、内容を理解しづらく煩わしい印象をユーザに与えてしまう問題が発生する。

図８（ｃ）では、人物８２１〜８２６が表示制御対象のオブジェクトとして事前に指定され、図７の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ７０２で、表示制御対象のオブジェクトの擬似速度を閾値と比較する。人物８２１〜８２３の擬似速度は閾値未満のため、処理は、ステップＳ７０４に進み、通常表示に設定される。一方、人物８２４〜８２６の擬似速度は閾値以上のため、処理はステップＳ７０５に進み、例外表示に設定される。当該例外表示を反映して生成された仮想視点画像を図８（ｃ）に示す。図８（ｃ）では、人物８２４〜８２６のみが透過度１００％で非表示となり、それ以外の全オブジェクトが通常表示されている。

図８（ｂ）と図８（ｃ）とを比較すると、図８（ｂ）では、手前にあるフィールド外のオブジェクト（人物８２４〜８２６）のブレが目立ち、注目したいフィールド内のオブジェクト（人物８２１〜８２３）に集中して見ることができない煩わしい印象をユーザに与えてしまう。一方、図８（ｃ）では、フィールド外のオブジェクト（人物８２４〜８２６）は非表示となり、注目したいオブジェクト（人物８２１〜８２３）に集中してみることができる。

このように、本実施形態に依れば、仮想視点の速度とオブジェクトの速度に応じたオブジェクトの表示制御を行うことができる。例えば、仮想視点が速く動くダイナミックなシーンにおいて、従来はブレにより煩わしく感じていたオブジェクトを非表示にすることで、注目したいオブジェクトに集中し視聴できる仮想視点画像を提供することができる。

［実施形態３］
実施形態３では、仮想視点速度とオブジェクト速度に応じた、オブジェクト上書き制御について説明する。オブジェクト上書き制御とは、上記に説明した実施形態１と実施形態２における通常表示と例外表示の切り替えと異なる、オブジェクト表示制御の一実施形態である。概要としては、仮想視点速度を考慮して、三次元空間上のオブジェクト速度を変更し、その速度で元のオブジェクトを上書きする処理である。この処理が実行された場合、ユーザは、仮想視点画像で元のオブジェクトは見えず、速度変更されたオブジェクトが見えることになる。

本実施形態において、仮想画像視点生成システムの構成は図１、画像処理装置１０４の構成は図２と同様であるため、説明を省略する。また、仮想視点の速度（仮想視点速度）は、図３を参照して説明したように算出され、オブジェクトの擬似速度は、図６を参照して説明したように算出される。

（オブジェクトの上書き制御）
図９を参照して、仮想視点速度とオブジェクト速度に応じた、オブジェクトの上書き制御を説明する。図９は、本実施形態における表示制御（オブジェクトの上書き制御）のフローチャートである。

ステップＳ９０１では、表示制御部２０６が、表示制御対象のオブジェクトのオブジェクト情報を取得する。オブジェクト情報は、前述の様にオブジェクトの座標や領域等である。表示制御対象のオブジェクトは、例えば、オブジェクト指定部２０５により、広告などが事前に指定され、当該表示制御対象のオブジェクトのオブジェクト情報が表示制御部２０６に渡される。なお、所定のオブジェクト速度や、外部画像データ保持部２０７が外部から取得した画像データ（表示制御対象のオブジェクトの内容を示す画像データ等）も、オブジェクト指定部２０５にてオブジェクト情報に含めることができる。なお、表示制御対象のオブジェクトの指定は事前設定でもよいし、ユーザ端末にて仮想視点画像を表示時にユーザの選択操作を受け付ける構成にしてもよい。例えば、タッチパネルを使用して領域を選択し、その領域をオブジェクトとして扱い、表示制御対象（上書きの対象）にすることも可能である。仮想視点画像中のオブジェクトを指定するものであれば、方法は問わない。

ステップＳ９０２では、表示制御部２０６が、仮想視点速度を所定の閾値と比較する。仮想視点速度の算出方法は図３で説明した通りである。判定結果が真の場合（仮想視点速度が閾値未満）は、処理はステップＳ９０３へ、偽の場合（仮想視点速度が閾値以上）は、処理はステップＳ９０４へ進む。ステップＳ９０３では、表示制御部２０６が、表示制御対象のオブジェクトを通常表示に設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。

ステップＳ９０４では、表示制御部２０６が、オブジェクトの速度を変更し、表示制御対象のオブジェクトを上書きに設定する。具体的には、表示制御部２０６が、ステップＳ９０１で取得した元のオブジェクト速度と、ステップＳ９０２で使用した仮想視点速度とに基づいて、新たなオブジェクトの速度を算出し、オブジェクトの速度を当該新たなオブジェクトの速度に変更する。例えば、表示制御部２０６は、仮想視点から見た見かけ上のオブジェクトの速度が遅くなるように、元のオブジェクト速度から、仮想視点速度の影響をあらかじめ除いたものを、新たなオブジェクト速度として算出する。そして、表示制御部２０６は、オブジェクト情報で指定される領域に、表示制御対象のオブジェクトの内容を示す画像データを、変更したオブジェクト速度で上書き設定する。続いて、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示する。このような上書き制御を実行することで、仮想視点が速く動く場合においも、仮想視点の動きに影響を受けていないかのように、表示制御対象オブジェクトを適切な速度でユーザに表示することが可能となる。

なお、ステップＳ９０２の仮想視点速度と閾値の比較に関して、仮想視点速度は速度ベクトルで表されるため、厳密には仮想視点速度の大きさと閾値の比較となる。別途、仮想視点速度の方向を限定して速度を比較する（仮想視点の移動の変化量の１以上の所定の方向における大きさを比較する）構成も可能である。例えば、仮想視点速度のＸ方向とＹ方向の大きさのみを比較対象とし、Ｚ方向の大きさを考慮しないことも可能である。また、オブジェクト速度の方向を考慮して、比較する仮想視点の方向を限定してもよい。例えば、オブジェクト速度のベクトル成分がＸ方向のみの場合は、仮想視点速度のＸ方向の大きさのみを閾値と比較する構成としてよい。

また、上記説明では、ステップＳ９０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３が当該設定を反映した仮想視点画像を生成し、表示制御部２０６が生成された仮想視点画像を表示した。これに替えて、ステップＳ９０２の判定に応じて表示制御部２０６が表示制御対象のオブジェクトの通常表示または例外表示を設定し、画像生成部２０３を介さずに、表示制御部２０６が当該設定を反映させた仮想視点画像を表示するようにしてもよい。

続いて、本実施形態における仮想視点画像の表示形態の一例について説明する。図１０（ａ）〜（ｃ）は、図９の処理により表示される仮想視点画像の一例を説明するための図である。図１０（ａ）〜（ｃ）では、いずれも、左図にＺ軸の負方向（上空からフィールドへの方向）から見た仮想視点の動きと、右図に左図に示す仮想視点の動きに応じて生成・表示される仮想視点画像を表している。

図１０（ａ）の右図に示すように、仮想視点画像に含まれるオブジェクトは、観客席１００１、リボン広告１００２、フィールド１００３や、ボール１０１１、人物１０２１〜１０２５、である。ここで、オブジェクト指定部２０５が、表示制御対象のオブジェクトとして、スタジアム内のリボン広告１００２を事前に指定しているものとする。リボン広告は、帯状のデジタルサイネージにテキストや画像から構成される広告を移動させながら表示させる。固定広告と比較し、広告を移動させながら表示することにより、観客の注目を浴びることを容易にする効果がある。なお、ここで表示制御対象となるリボン広告は、実際に競技場において表示され撮影されたオブジェクトであってもよいし、仮想視点画像の生成時に挿入される仮想オブジェクトであってもよい。

オブジェクト指定部２０５では、表示制御対象のオブジェクトであるリボン広告１００２のオブジェクト情報として、その座標や領域を保持しているものとする。リボン広告１００２のオブジェクト情報には、リボン広告１００２の速度である速度１０３２も含まれる。また、オブジェクト指定部２０５は、広告内容である画像データや表示速度についても、外部画像データ保持部２０７を介して保持しているものとする。

図１０（ａ）は、仮想視点が移動及び回転せずに停止している例を示している。図１０（ａ）の左図では、リボン広告１００２は、左（Ｘ軸をマイナス）方向に移動している。この場合、図９のステップＳ９０２において、表示制御部２０６は、仮想視点速度が閾値未満と判定し、ステップＳ９０３に進み、表示制御対象のオブジェクトであるリボン広告１００２を通常表示に設定する。画像生成部２０３は、当該設定を反映した仮想視点画像を生成する。画像生成部２０３により生成された仮想視点画像が図１０（ａ）の右図となる。この仮想視点画像において、リボン広告１００２の見かけ上の速度は速度１０３３とする。

続いて、図１０（ｂ）〜（ｃ）について説明する。図１０（ｂ）〜（ｃ）は、仮想視点の動き及び速度は同じである。図１０（ｂ）と図１０（ｃ）の違いは、図９で説明した表示制御を実行するか否かに基づく。図１０（ｂ）では、表示制御対象のオブジェクトが指定されておらず、図１０（ｃ）では、リボン広告１００２が表示制御対象のオブジェクトとして事前に指定され、図９の表示制御が実行されている。なお、表示制御対象のオブジェクトは広告に限らず、仮想視点画像に含まれるオブジェクトであれば、いずれも可能である。

図１０（ｂ）〜（ｃ）において、仮想視点は、右（Ｘ軸をプラス方向）へ移動している（仮想視点の動き３１１）。また、リボン広告１００２は、速度１０３２で移動している。つまり、仮想視点は、リボン広告１００２と逆方向に移動している（速度１０３１と速度１０３２を参照）。なお、図１０では説明の簡略化のため、仮想視点およびリボン広告１００２の移動方向は共にＸ軸方向としているが、これに限定されるものでなく、いずれの移動方向であってもよい。

図１０（ｂ）では、表示制御対象のオブジェクトが指定されていないため、図９のオブジェクトの上書きは実行されない。結果として、全オブジェクトが通常表示される仮想視点画像が生成される。この仮想視点画像におけるリボン広告の擬似速度を速度１０３４とすると、仮想視点速度が速くなるほど、その疑似速度も速くなる（速度１０３４＞速度１０３３）。この結果、図１０（ｂ）の右図に示すように、広告のブレが発生し、ユーザ注目を集めたい広告のはずが、広告内容を理解できずに、かえって煩わしい印象を与える問題がある。

図１０（ｃ）では、リボン広告１００２が表示制御対象のオブジェクトとして事前に指定され、図９の表示制御が実行される。具体的には、表示制御部２０６は、ステップＳ９０１で、上書き制御のオブジェクトであるリボン広告１００２のオブジェクト情報として、オブジェクトの座標、速度、画像データ等を取得する。続いて、表示制御部２０６は、ステップＳ９０２で、仮想視点速度は閾値以上と判定し、ステップＳ９０４に進む。ステップＳ９０４で、表示制御部２０６は、新たなオブジェクト速度１０３５を算出する。これは、例えば、見かけ上のオブジェクト速度が遅くなるように、元のオブジェクト速度１０３２に仮想視点速度１０３１を加えたものである。そして、表示制御部２０６は、オブジェクト情報として取得した広告内容を示す画像データを、オブジェクト情報に含まれる領域に、新たな速度で上書きする。結果として、図１０（ｃ）の右図に示すような仮想視点画像が生成される。

この表示設定を使用し、生成した仮想視点画像が図１０（ｃ）となる。図１０（ｃ）では、仮想視点が右（Ｘ軸にプラス）方向に移動しているが、リボン広告１００２の擬似速度は、図１０（ａ）の場合と同じ速度１０３３となる。すなわち、仮想視点速度が速く動くシーンにおいても、リボン広告１００２は元の表示効果を維持したまま、仮想視点画像に表示される。ここでのリボン広告の表示効果とは、広告が移動することでユーザの注目を浴びることを容易にし、かつ、その移動速度はユーザが内容を容易に理解できることである。

このように、本実施形態によれば、仮想視点の速度とオブジェクトの速度に応じたオブジェクトの上書きを行うことができる。例えば、仮想視点が速く動くシーンにおいて、従来はブレにより内容を理解できず煩わしく感じていたオブジェクトを、元の表示効果を維持した状態で表示にすることができる。なお、本実施形態における仮想視点速度と閾値の比較（図９のステップＳ９０２）を実施形態２において述べたオブジェクトの擬似速度（仮想視点画像におけるオブジェクトの速度）と閾値の比較に替えることで、本実施形態を実施形態２に適用することも可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 画像処理装置、１０５ 仮想視点操作ＵＩ、２０１ 仮想パラメータ取得部、 ２０２ 三次元モデル生成部、２０３ 画像生成部、２０４ 速度取得部、２０５ オブジェクト指定部、２０６ 表示制御部、２０７ 外部画像データ保持部、２１０ 画像出力部

Claims (12)

1. 画像処理装置であって、
   設定された仮想視点に対応する仮想視点画像を生成する生成手段と、
   前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定手段と、
   前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御する表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記仮想視点の速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
   前記表示制御手段は、前記判定手段により前記仮想視点の速度が前記所定の閾値未満であると判定された場合に、前記指定されたオブジェクトを通常通りに表示し、前記判定手段により前記仮想視点の速度が所定の閾値以上であると判定された場合に、前記指定されたオブジェクトを通常通りに表示しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記仮想視点の速度は、前記仮想視点の移動の変化量の１以上の所定の方向における大きさであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示制御手段は、前記仮想視点の速度と前記指定されたオブジェクトの速度とを合わせた、前記指定されたオブジェクトの擬似速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御することを特徴とする請求項１に記載の画像処理装置。
5. 前記指定されたオブジェクトの擬似速度が所定の閾値より大きいか否かを判定する判定手段を更に有し、
   前記表示制御手段は、前記判定手段により前記擬似速度が前記所定の閾値未満であると判定された場合に、前記指定されたオブジェクトを通常通りに表示し、前記判定手段により前記擬似速度が前記所定の閾値以上であると判定された場合に、前記指定されたオブジェクトを通常通りに表示しないことを特徴とする請求項４に記載の画像処理装置。
6. 前記指定されたオブジェクトの擬似速度は、前記仮想視点の移動の変化量と前記オブジェクトの移動の変化量それぞれの１以上の所定の方向における大きさを合せたものであることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記指定されたオブジェクトを通常通りに表示しないことは、前記指定されたオブジェクトを非表示すること、前記指定されたオブジェクトの透過度を上げること、グレーアウトすること、解像度を下げること、のいずれかを含むことを特徴とする請求項２または５に記載の画像処理装置。
8. 前記指定されたオブジェクトを通常通りに表示しないことは、前記指定されたオブジェクトの部分に、前記指定されたオブジェクトの内容を示す画像データを、前記指定されたオブジェクトの速度と前記仮想視点の速度から算出される速度で表示することを含むことを特徴とする請求項２または５に記載の画像処理装置。
9. 前記指定手段は、前記仮想視点画像に含まれる前景または背景に含まれる対象物を、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記指定手段は、前記仮想視点画像に挿入される仮想オブジェクトを、前記表示制御対象のオブジェクトとして指定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
11. 画像処理方法であって、
    設定された仮想視点に対応する仮想視点画像を生成する生成工程と、
    前記仮想視点画像に含まれる１つ以上の表示制御対象のオブジェクトを指定する指定工程と、
    前記設定された仮想視点の速度に応じて、前記仮想視点画像における前記指定されたオブジェクトの表示態様を制御する表示制御工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。