JP2020135290A - 画像生成装置、画像生成方法、画像生成システム、及びプログラム - Google Patents

Abstract

【課題】仮想視点画像における注目対象の視認性の低下を抑制する。【解決手段】画像生成装置１２０は、仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段４０６と、複数の被写体のうち、注目対象の被写体を設定する設定手段４０８と、前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段４０９とを備える。画像生成手段は、仮想視点の視線方向に、注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、仮想視点画像を生成する。【選択図】図４

Description

本発明は、仮想視点画像を生成するための技術に関する。

近年、複数のカメラを異なる位置に配置して複数視点で同期撮影し、その撮影により得られた複数視点画像を用いて、カメラの配置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理部に集約し、その画像処理部において、仮想視点に基づくレンダリング等の処理を施し、さらにユーザ端末に仮想視点画像を表示することで実現される。

そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献１には、被写体を取り囲むように複数のカメラを配置し、被写体を撮影した画像を用いて、任意の仮想視点画像を生成及び表示する技術が開示されている。

特開２００８−１５７５６号公報

特許文献１の技術によって仮想視点画像を生成する場合、仮想視点画像に含まれる複数のオブジェクトの位置関係によっては、画像を視聴するユーザの注目対象が見づらくなる場合がある。例えば、サッカーの試合等を撮影した画像に基づいて、ユーザの注目対象の選手の近くに仮想カメラ位置を設定して仮想視点画像を生成する場合、注目対象の選手を遮蔽する位置に他の選手がいると、ユーザは注目対象の選手に集中して視聴できない。即ち、仮想視点画像における注目対象の視認性が低下するという課題がある。

本発明は、前記従来の課題に鑑みてなされたものであって、その目的は、仮想視点画像における注目対象の視認性の低下を抑制することである。

本発明は、複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置であって、仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段と、複数の被写体のうち、注目対象の被写体を設定する設定手段と、前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段とを備え、前記画像生成手段は、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする。

本発明によれば、仮想視点画像における注目対象の視認性の低下を抑制することができる。

画像処理システムの概略ブロック図である。 撮像装置の設置例を示す図である。 画像生成装置のハードウェア構成を示す図である。 画像生成装置の機能構成を示す図である。 画像生成装置の処理の手順を示すフローチャートである。 ユーザ端末の表示画面を示す図である。 ユーザ端末の表示画面を示す図である。 画像生成装置の処理の手順を示すフローチャートである。 仮想カメラと被写体の位置関係を示す図である。 ユーザ端末の表示画面を示す図である。 画像生成装置の処理の手順を示すフローチャートである。 仮想カメラと被写体の位置関係を示す図である。 ユーザ端末の表示画面を示す図である。 画像生成装置の処理の手順を示すフローチャートである。 ユーザ端末の表示画面を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。

＜実施形態１＞
図１は、本実施形態に係る画像処理システム１００の概略ブロック図である。画像処理システム１００は、図１に示されるように、撮像装置１１０、画像生成装置１２０、ユーザ端末１３０を備える。

撮像装置１１０は、例えば、画像（静止画像及び動画像）を撮像可能なデジタルカメラ等である。撮像装置１１０は、２台以上で構成され、例えば、サッカー場等の競技場や特定の被写体を取り囲むように配置され、その特定の被写体を撮像する。図２は、撮像装置１１０の設置例を示す図である。本実施形態において、複数の撮像装置１１０は、各々、サッカー場の全て又は一部を撮像するように設置されているものとする。

撮像装置１１０により撮像された画像は、例えば、ＬＡＮ（Local Area Network）ケーブル等の通信ケーブルを介して、画像生成装置１２０に伝送（送信）される。なお、画像生成装置１２０への伝送は、必ずしも有線ケーブルを用いて行う必要はなく、無線により行ってもよい。

画像生成装置１２０は、撮像装置１１０により撮像された撮像画像を蓄積しておき、ユーザ端末１３０の操作に基づく仮想カメラ情報（仮想視点情報）が入力されると、複数の撮像画像から仮想カメラ情報に対応した仮想カメラ画像を生成する。なお、ここで、仮想カメラ情報とは、撮像した競技場の中央等の所定位置に対する相対的な位置である仮想空間上の３次元位置情報と、その位置からどの方向を見ているかを示す方向情報（視線方向に関する情報）を少なくとも含むものとする。

画像生成装置１２０は、例えば、サーバ装置等であり、データベース機能や画像処理機能を備えている。画像生成装置１２０は、データベース機能として、競技の開始前等、予め被写体が存在しない状態の競技場の場面が撮像された画像を背景画像データとして保持する。また、競技中の選手等、被写体の存在するシーンでは、被写体である前景を画像処理により分離して管理（保持）する。

なお、被写体である前景の分離方法として、例えば、背景画像との差分を抽出する等のオブジェクト抽出の画像処理を用いる。また、その他の検出（分離）方法として、動体を検出するようにしてもよい。ここで、補足として、前景とは競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、及び／又は審判等）であってもよいし、ボールやゴール等、画像パターンが予め定められている物体であってもよい。

画像生成装置１２０は、保持（管理）している背景画像データと前景画像データから、指定された仮想カメラ情報に対応する仮想カメラ画像を生成する。画像生成装置１２０は、生成した仮想カメラ画像を、ＬＡＮケーブル等を介して、ユーザ端末１３０に伝送する。また、仮想カメラ画像の生成方式として、例えば、モデルベースレンダリング（Model-Based Rendering：ＭＢＲ）を用いる。

ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを用いて、仮想カメラ画像を生成する方式である。具体的には、三次元形状復元方法により得られた対象シーンの三次元形状（三次元モデル）に対して，仮想視点からの三次元形状の見えに対応した複数の撮像画像をレンダリング画像として投影することで、仮想カメラ画像を生成する方式である。なお、三次元形状復元方法には、視体積交差法、ＭＶＳ（Multi-View-Stereo）等の方法がある。また、仮想カメラ画像の生成方式としては、ＭＢＲ以外のレンダリング方式を用いてもよい。

ユーザ端末１３０は、ユーザからの操作を操作情報として受け付け、その操作情報を仮想カメラ情報に変換して、例えば、ＬＡＮケーブル等を介して、画像生成装置１２０に伝送する。また、ユーザ端末１３０は所定の表示画面を備え、ユーザは、この表示画面に画像生成装置１２０から受信した仮想カメラ画像を表示させることで、自身の操作に基づく視点でコンテンツを視聴することができる。

ユーザ端末１３０は例えば、ＰＣ（Personal Computer）やタブレットである。ユーザは、例えば、不図示のマウス、キーボード、６軸コントローラ、タッチパネル等を操作することで、ユーザ端末１３０の表示画面上に静止画像や動画像を表示させる。

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、表示部３０５、入力部３０６、通信部３０７を有している。

ＣＰＵ（Central Processing Unit）３０１は、ＲＯＭ３０２に記憶された制御プログラムを用いて、各種処理を実行する。ＲＯＭ（Read Only Memory）３０２は、ブートプログラム、制御プログラム、画像生成装置１２０の各部を設定する設定パラメータ等を記憶する記憶領域を有する。ＲＡＭ３０３（Random Access Memory）は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ＨＤＤ（Hard Disk Drive）３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、液晶画面等の表示装置であり、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。

通信部３０７は、ネットワークを介して、撮像装置１１０等の外部装置との通信処理を実行する。なお、ネットワークとしては、イーサネット（登録商標）等の有線であってよい。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。

なお、後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、ユーザ端末１３０のハードウェア構成も、画像生成装置１２０のハードウェア構成と同様である。

次に、図４を用いて、画像生成装置１２０の機能構成について説明する。図４は、画像生成装置１２０の機能構成を示す図である。撮像画像入力部４０１は、撮像装置１１０からＬＡＮケーブルを介して入力された伝送信号を撮像画像データに変換し、前景背景分離部４０２に出力する。

前景背景分離部４０２は、撮像画像入力部４０１から入力された撮像画像のうち、競技の開始前等、予め被写体が存在しない状態の競技場の場面を撮像した画像を背景画像データとして、撮像画像データ保存部４０３に出力する。また、前景背景分離部４０２は、競技中に撮像された画像から選手等、被写体を抽出し、前景画像データとして撮像画像データ保存部４０３に出力する。

撮像画像データ保存部４０３は、所定のデータベースであり、前景背景分離部４０２から入力された撮像画像データのうち、被写体が存在しない状態で予め撮像された画像を背景画像データとして保存する。また、撮像画像データ保存部４０３は、背景画像データと被写体の存在する撮像画像データとの差分データを前景画像データとして保存する。

さらに、撮像画像データ保存部４０３は、被写体形状生成部４０４に前景画像データを出力する。また、撮像画像データ保存部４０３は、仮想カメラ画像生成部４０９により指定された背景画像データと前景画像データを仮想カメラ画像生成部４０９に出力する。

被写体形状生成部４０４は、オブジェクト生成手段の一例であり、撮像画像データ保存部４０３から入力された前景画像データとカメラパラメータ保持部４０５から入力されたカメラパラメータ情報を用いて、被写体の形状を推定（生成）する。被写体形状生成部４０４は、被写体の形状を生成する上で、例えば、視体積交差法等の三次元形状復元方法を用いる。また、被写体形状生成部４０４は、生成した被写体の形状（形状モデル情報）を仮想カメラ画像生成部４０９に出力する。

カメラパラメータ保持部４０５は、予め３Ｄスキャン等により競技場全体を計測し、競技場に配置された複数の撮像カメラの位置情報と、撮像カメラの焦点距離やシャッタースピード等のカメラ設定情報をカメラパラメータ情報として、事前に保持しておく。なお、複数の撮像カメラは、予め決められた位置に設置されるものとする。また、カメラパラメータ保持部４０５は、カメラパラメータ情報を、被写体形状生成部４０４と仮想カメラ画像生成部４０９に出力する。

ユーザ入力部４０６は、ユーザ端末１３０からＬＡＮケーブルを介して入力された伝送信号をユーザコマンドデータに変換する。ユーザ入力部４０６は、ユーザコマンドデータが仮想カメラ差分情報である場合、仮想カメラ差分情報を仮想カメラ情報生成部４０７に出力する。また、ユーザ入力部４０６は、ユーザコマンドデータが注目対象の選択指示である場合、注目対象選択情報を表示優先度設定部４０８に出力する。

仮想カメラ情報生成部４０７は、ユーザ入力部４０６から入力された仮想カメラ差分情報に基づいて、仮想空間内の現在位置と方向を含む仮想カメラ位置情報を更新する。また、仮想カメラ情報生成部４０７は、仮想カメラ位置情報を更新すると、仮想カメラ画像生成部４０９に出力する。なお、仮想空間の原点は、競技場の中心等、予め設定されているものとする。

表示優先度設定部４０８は、ユーザ入力部４０６から入力された注目対象選択情報を保持し、仮想カメラ画像生成部４０９に出力する。なお、注目対象選択情報は、複数の被写体のうち、注目する被写体に関する情報、被写体毎に表示する優先度に関する情報（表示優先度情報）を含むものとする。

仮想カメラ画像生成部４０９は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング（着色処理）する。仮想カメラ画像生成部４０９は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部４０９は、その生成した仮想カメラ画像を画像出力部４１０に出力する。

なお、仮想カメラ画像生成部４０９は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、表示優先度設定部４０８から入力された注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、他のオブジェクトに対して、透過処理を施すことで表示様態を変更する。画像出力部４１０は、仮想カメラ画像生成部４０９から入力した仮想カメラ画像を、ユーザ端末１３０へ伝送可能な伝送信号に変換して、ユーザ端末１３０に出力する。

次に、図５のフローチャートを用いて、画像生成装置１２０の処理の手順について説明する。なお、ここでは、仮想カメラ画像に注目オブジェクトが存在する場合、他のオブジェクトを透過表示する例を示す。また、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。

Ｓ５０１において、仮想カメラ情報生成部４０７は、ユーザ端末１３０からユーザ入力部４０６を介して仮想カメラ情報が入力されると、仮想カメラ情報を更新し、仮想カメラ画像生成部４０９に仮想カメラ情報を出力する。Ｓ５０２において、仮想カメラ画像生成部４０９は、仮想カメラ情報に基づいて、前景画像データと背景画像データを撮像画像データ保存部４０３から取得する。

Ｓ５０３において、仮想カメラ画像生成部４０９は、被写体形状生成部４０４から形状モデル情報を取得する。Ｓ５０４において、仮想カメラ画像生成部４０９は、カメラパラメータ保持部４０５からカメラパラメータ情報を取得する。

Ｓ５０５において、仮想カメラ画像生成部４０９は、仮想カメラ情報に基づいて、仮想カメラ画像を生成する。ここで、仮想カメラ画像の生成において、仮想カメラ画像生成部４０９は、形状モデル情報から所定の範囲内の実カメラ位置を含むカメラパラメータ情報がある場合、その実カメラの前景画像データを形状モデルの色としてレンダリング（着色処理）する。

Ｓ５０６において、仮想カメラ画像生成部４０９は、表示優先度設定部４０８から入力される注目対象選択情報に表示優先度情報が含まれているか否かを判定する。ここで、図６を用いて、ユーザ端末１３０の表示画面における表示優先度の設定に関して、説明を補足する。

図６に示されるユーザ端末１３０において、ユーザは、ＧＵＩ（Graphical User Interface）画面を操作して、注目したい選手を選択する。選手一覧枠６００には、例えば、サッカーの試合等で出場する選手が予め設定されており、ユーザは、選手一覧枠６００内に表示される複数の選手から選手選択枠６０１を操作して、注目したい選手（注目選手）を選択する。また、ユーザは、プレビュー画面６０２において、実際のサッカーの試合の様子を確認することができ、注目選手６１０の様子やその他の選手６１１等を確認することができるようになっている。

なお、注目したい選手の選択数は、１つ（１人）であってもよいし、複数選択であってもよいものとする。また、サッカーのボールのような競技を行う上で欠かせない器具（物体）については、予め注目物体として選択されているものとする。

このＧＵＩ画面において、ユーザが注目したい選手を指定すると、ユーザ端末１３０から画像生成装置１２０に表示優先度情報が含まれる注目対象選択情報を送信する。なお、表示優先度情報には、少なくともユーザ指定の被写体識別番号が含まれるものとする。

図５のフローチャートに戻り、仮想カメラ画像生成部４０９は、表示優先度情報が含まれると判定すると（Ｓ５０６ Ｙｅｓ）、Ｓ５０７において、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定する。他方、仮想カメラ画像生成部４０９は、表示優先度情報が含まれていないと判定すると（Ｓ５０６ Ｎｏ）、処理をＳ５０９に移行させる。

なお、仮想カメラ画像生成部４０９は、仮想カメラ画像内に注目オブジェクトが存在するか否かを、以下のように判定する。先ず、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置し、次に、被写体識別番号と、オブジェクト形状情報と、被写体位置情報とを対応付けて管理しておく。そして、ユーザにより指定された被写体識別番号と予め付与された被写体識別番号を有するオブジェクトが仮想カメラの撮像範囲内に存在するか否かを判定する。また、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定する方法は、必ずしもこの方法に限定されない。したがって、例えば、撮像画像データに対して被写体特徴量を検出する方法や別の識別装置により位置情報を検出する方法を用いて、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定するようにしてもよい。

仮想カメラ画像生成部４０９は、仮想カメラ画像内に注目オブジェクトが存在すると判定すると（Ｓ５０７ Ｙｅｓ）、Ｓ５０８において、注目オブジェクト以外の他のオブジェクトに透過処理を施すことで表示様態を変更する。即ち、他のオブジェクトについては、所定の範囲内の実カメラ位置を含むカメラパラメータ情報があった場合でも、その実カメラの前景画像データによる形状モデルの着色を行わない。これにより、仮想カメラ画像から見た他のオブジェクトにおいては、背景が見える透過状態になる。他方、仮想カメラ画像生成部４０９は、仮想カメラ画像内に注目オブジェクトが存在しないと判定すると（Ｓ５０７ Ｎｏ）、処理をＳ５０９に移行させる。

なお、注目オブジェクト以外の他のオブジェクトに施す透過処理は、必ずしもこれに限定されず、注目オブジェクトの視認性の低下を抑制する程度の半透過状態にするようにしてもよい。半透過処理の場合、背景色と前景画像データを所定の割合で合成したり、前景画像データにおいて画素を所定の単位で間引いたりして、オブジェクトを着色処理するものとする。また、他のオブジェクトの表示様態の変更として、必ずしも透過処理に限らず、別の手段として、例えば、特定の単色で着色してもよいものとする。特定の単色については、予め設定されたグレー等の色情報や前景画像データの画素から取得した特定の色情報であってもよいものとする。

そして、Ｓ５０９において、画像生成装置１２０は、画像出力部４１０を介して、ユーザ端末１３０に画像を出力する。ここで、図７を用いて、ユーザ端末１３０の表示画面に出力される仮想カメラ画像について説明を補足する。

図７に示されるユーザ端末１３０において、ユーザの注目選手６１０である注目オブジェクトが仮想カメラ画像内に表示されている場合、その他の選手６１１等の他のオブジェクトには透過処理が施され、仮想カメラ画像内に表示されない。これにより、ユーザは、その他の選手が画面上に多く現れたり、注目選手を遮蔽したりしたとしても、必ず注目選手を視認することができる。

なお、補足として、図７では、他の選手６１１等を模式的に点線で示しているが、点線は、ユーザからは視認できないものである。また、図７の画面表示例では、他のオブジェクトに透過処理を施しているが、必ずしもこれに限らず、注目オブジェクトの視認性の低下を抑制する程度に半透過状態としてもよいものとする。

以上、説明したように、本実施形態に係る画像生成システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、それ以外の選手の表示様態として透過処理を施すことで、注目選手を判別しやすく、注目選手に集中して視聴することが可能となる。

＜実施形態２＞
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た他の選手が注目選手の手前に存在する場合、他の選手の位置に応じて、他の選手の透過度を変更する。

次に、図４を参照して、本実施形態に係る画像生成装置１２０の機能構成を、上述の実施形態１と異なる点に着目して説明し、上述の実施形態１と同様の構成については、その説明を省略する。仮想カメラ画像生成部４０９は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング（着色処理）する。仮想カメラ画像生成部４０９は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部４０９は、その生成した仮想カメラ画像を画像出力部４１０に出力する。

なお、仮想カメラ画像生成部４０９は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、表示優先度設定部４０８から入力された注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、他のオブジェクトのうち、仮想カメラに近い他のオブジェクトから順に高い透過度で透過処理を施す。

次に、図８のフローチャートを用いて、本実施形態に係る画像生成装置１２０の処理の手順について説明する。なお、ここでは、上述の実施形態１（図５）と異なる点に着目して説明する。

仮想カメラ画像生成部４０９は、Ｓ５０７の処理を実行すると、Ｓ８０１において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部４０９は、他のオブジェクトが存在していると判定すると（Ｓ８０１ Ｙｅｓ）、処理をＳ８０２に移行させ、また、他のオブジェクトが存在していないと判定すると（Ｓ８０１ Ｎｏ）、処理をＳ８０５に移行させる。

ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態１と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写体位置情報とを対応付けて管理しておくことで、判定することができる。

Ｓ８０２において、仮想カメラ画像生成部４０９は、他のオブジェクトと仮想カメラ間の距離を算出する。Ｓ８０３において、仮想カメラ画像生成部４０９は、他のオブジェクトの仮想カメラからの距離順に基づいて、表示優先度を設定する。

ここで、Ｓ８０３の処理に関して、図９の概念図を用いて説明を補足する。図９では、仮想空間上の仮想カメラと、注目オブジェクト９０１と、その他のオブジェクト９０２から９０４の位置関係を示している。仮想カメラに対して、他のオブジェクト９０４が最も距離が近く、また、他のオブジェクト９０３、他のオブジェクト９０２、注目オブジェクト９０１の順に距離が遠くなっている。

この場合において、仮想カメラに近いオブジェクトほど、表示優先度を低く設定する。具体的には、他のオブジェクト９０４の表示優先度を最も低く、他のオブジェクト９０３、他のオブジェクト９０２、注目オブジェクト９０１の順に表示優先度を高く設定する。

Ｓ８０４において、仮想カメラ画像生成部４０９は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト９０４の透過度を１００％、他のオブジェクト９０３の透過度を５０％、他のオブジェクト９０２の透過度を２５％に設定する。また、注目オブジェクト９０１の透過度は、仮想カメラ画像において注目オブジェクト９０１を透過させないため、０％に設定される。なお、透過度は、この設定値に限らず、例えば、被写体の数、距離等に基づいて、変化させるようにしてもよい。

そして、Ｓ８０５において、画像生成装置１２０は、画像出力部４１０を介して、ユーザ端末１３０に画像を出力する。ここで、図１０を用いて、ユーザ端末１３０の表示画面に出力される仮想カメラ画像について説明を補足する。

図１０に示されるユーザ端末１３０において、ユーザの注目選手である注目オブジェクト９０１が仮想カメラ画像内に表示されている場合、仮想カメラに近い他の選手（他のオブジェクト）から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部４０９は、画面を多く遮蔽している、仮想カメラに最も近い他の選手（他のオブジェクト９０４）を透過させ、仮想カメラ画像には表示させない。他方、仮想カメラから離れていくにつれ、オブジェクトが画面を遮蔽する可能性は低くなるため、仮想カメラ画像生成部４０９は、オブジェクトの低過度を徐々に低下させる。この場合、ユーザは、他の選手に遮蔽されていても遮蔽されてないとしても、必ず注目選手（注目オブジェクト９０１）を視認することが可能となる。

以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、その手前の選手で仮想カメラにより近い他の選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視聴することが可能となる。

＜実施形態３＞
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た、注目選手と他の選手との距離に応じて、その他の選手の表示態様を変更する。

次に、図４を参照して、本実施形態に係る画像生成装置１２０の機能構成を、上述の実施形態１と異なる点に着目して説明し、上述の実施形態１と同様の構成については、その説明を省略する。仮想カメラ画像生成部４０９は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング（着色処理）する。仮想カメラ画像生成部４０９は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部４０９は、その生成した仮想カメラ画像を画像出力部４１０に出力する。

なお、仮想カメラ画像生成部４０９は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、その他のオブジェクトのうち、注目オブジェクトの位置から遠い他のオブジェクトから順に高い透過度で透過処理を施す。

次に、図１１のフローチャートを用いて、本実施形態に係る画像生成装置１２０の処理の手順について説明する。なお、ここでは、上述の実施形態１（図５）と異なる点に着目して説明する。

仮想カメラ画像生成部４０９は、Ｓ５０７の処理を実行すると、Ｓ１１０１において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部４０９は、他のオブジェクトが存在していると判定すると（Ｓ１１０１ Ｙｅｓ）、処理をＳ１１０２に移行させ、また、他のオブジェクトが存在していないと判定すると（Ｓ１１０１ Ｎｏ）、処理をＳ１１０５に移行させる。

ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態１と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写体位置情報とを対応付けて管理しておくことで、判定することができる。

Ｓ１１０２において、仮想カメラ画像生成部４０９は、注目オブジェクトと他のオブジェクト間の距離を算出する。Ｓ１１０３において、仮想カメラ画像生成部４０９は、注目オブジェクトと他のオブジェクトとの距離順に基づいて、表示優先度を設定する。

ここで、Ｓ１１０３の処理に関して、図１２の概念図を用いて説明を補足する。図１２では、仮想空間上の仮想カメラと、注目オブジェクト１２０１と、その他のオブジェクト１２０２から１２０４の位置関係を示している。注目オブジェクト１２０１に対して、他のオブジェクト１２０２が最も距離が近く、また、他のオブジェクト１２０３、他のオブジェクト１２０４の順に距離が遠くなっている。

この場合において、注目オブジェクト１２０１から遠いオブジェクトほど、表示優先度を低く設定する。具体的には、他のオブジェクト１２０４の表示優先度を最も低く、他のオブジェクト１２０３、他のオブジェクト１２０２、注目オブジェクト１２０１の順に表示優先度を高く設定する。

Ｓ１１０４において、仮想カメラ画像生成部４０９は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト１２０４の透過度を１００％、他のオブジェクト１２０３の透過度を５０％、他のオブジェクト１２０２の透過度を２５％に設定する。また、注目オブジェクト１２０１の透過度は、仮想カメラ画像において注目オブジェクト１２０１を透過させないため、０％に設定される。なお、透過度は、この設定値に限らず、例えば、被写体の数、距離等に基づいて、変化させるようにしてもよい。

そして、Ｓ１１０５において、画像生成装置１２０は、画像出力部４１０を介して、ユーザ端末１３０に画像を出力する。ここで、図１３を用いて、ユーザ端末１３０の表示画面に出力される仮想カメラ画像について説明を補足する。

図１３に示されるユーザ端末１３０において、ユーザの注目選手である注目オブジェクト１２０１が仮想カメラ画像内に表示されている場合、その注目選手から遠い他の選手（他のオブジェクト）から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部４０９は、プレー上、注目選手との関わりの低い他の選手（他のオブジェクト１２０４）を透過させ、仮想カメラ画像には表示させない。

他方、注目選手（注目オブジェクト１２０１）とのプレー関連性の高い他の選手（他のオブジェクト１２０２）の透過度を抑制する。これにより、ユーザは、注目選手とのプレーの関連性を視認しつつ、注目選手が、他の選手に遮蔽されていても又は遮蔽されていないとしても、必ず注目選手を視認することが可能となる。

以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、注目選手から遠い他の選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視認することが可能となる。

＜実施形態４＞
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の関連性（具体的には、例えば、注目選手と他の選手の所属グループ）に応じて、その他の選手の表示態様を変更する。

次に、図４を参照して、本実施形態に係る画像生成装置１２０の機能構成を、上述の実施形態１と異なる点に着目して説明し、上述の実施形態１と同様の構成については、その説明を省略する。仮想カメラ画像生成部４０９は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング（着色処理）する。仮想カメラ画像生成部４０９は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部４０９は、その生成した仮想カメラ画像を画像出力部４１０に出力する。

なお、仮想カメラ画像生成部４０９は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、その他のオブジェクトのうち、注目オブジェクトと同じグループに属する他のオブジェクトから順に低い透過度で透過処理を施す。

その他、補足として、注目対象選択情報には、注目オブジェクトの所属チーム等の第１グループ、対戦チームの所属チーム等の第２グループ、審判等の第３グループ等、複数の被写体が属する複数のグループが予め設定されているものとする。

次に、図１４のフローチャートを用いて、本実施形態に係る画像生成装置１２０の処理の手順について説明する。なお、ここでは、上述の実施形態１（図５）と異なる点に着目して説明する。

仮想カメラ画像生成部４０９は、Ｓ５０７の処理を実行すると、Ｓ１４０１において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部４０９は、他のオブジェクトが存在していると判定すると（Ｓ１４０１ Ｙｅｓ）、処理をＳ１４０２に移行させ、また、他のオブジェクトが存在していないと判定すると（Ｓ１４０１ Ｎｏ）、処理をＳ１４０５に移行させる。

ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態１と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写体位置情報とを対応付けて管理しておくことで、判定することができる。

Ｓ１４０２において、仮想カメラ画像生成部４０９は、他のオブジェクトが属しているグループを判定する。Ｓ１４０３において、仮想カメラ画像生成部４０９は、注目オブジェクトと他のオブジェクトの所属グループに基づいて、表示優先度を設定する。

ここで、Ｓ１４０３の処理に関して、上述の図１２の概念図を用いて説明を補足する。図１２において、注目選手（注目オブジェクト１２０１）を第１のグループとする。他のオブジェクト１２０２は注目選手の相手チームの選手であり、他のオブジェクト１２０２を第２のグループとする。また、他のオブジェクト１２０３は注目選手と同じチームの選手であり、他のオブジェクト１２０３を第１のグループとし、他のオブジェクト１２０４は審判であり、他のオブジェクト１２０４を第３のグループとする。

この場合において、他のオブジェクトのうち、注目選手（注目オブジェクト１２０１）が属していないグループの表示優先度を低く設定する。具体的には、審判（他のオブジェクト１２０４）の属する第３のグループの表示優先度を最も低く設定する。また、他の選手（他のオブジェクト１２０２）の属する第２のグループの表示優先度、注目選手（注目オブジェクト１２０１）と同じ第１のグループに属する他の選手（他のオブジェクト１２０３）の表示優先度を順に高く設定する。

Ｓ１４０４において、仮想カメラ画像生成部４０９は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト１２０４の透過度を１００％、他のオブジェクト１２０２の透過度５０％、他のオブジェクト１２０３の透過度を２５％に設定する。また、注目オブジェクト１２０１の透過度は、仮想カメラ画像において注目オブジェクト１２０１を透過させないため、０％に設定される。なお、このグループは、必ずしも所属チームに限定されず、ユーザが任意にグループを設定してもよい。したがって、例えば、選手のポジション、年齢、体格等によって、グルーピングしてもよい。

そして、Ｓ１４０５において、画像生成装置１２０は、画像出力部４１０を介して、ユーザ端末１３０に画像を出力する。ここで、図１５を用いて、ユーザ端末１３０の表示画面に出力される仮想カメラ画像について説明を補足する。

図１５に示されるユーザ端末１３０において、ユーザの注目選手である注目オブジェクト１２０１が仮想カメラ画像内に表示されている場合、その注目選手と異なるグループの他の選手から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部４０９は、注目選手とのプレーの連携性の低い審判である他のオブジェクト１２０４は透過させ、仮想カメラ画像には表示させない。

他方、注目選手（注目オブジェクト１２０１）とのプレーの連携性の高い他の選手（他のオブジェクト１２０３）の透過度を抑制する。これにより、ユーザは、注目選手とのプレーの連携性を視認しつつ、注目選手が、他の選手に遮蔽されていても又は遮蔽されていないとしても、必ず注目選手を視認することが可能となる。

以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、注目選手と関連の度合い（関連性）が低い選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視認することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理システム
１１０ 撮像装置
１２０ 画像生成装置
１３０ ユーザ端末

Claims (14)

1. 複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置であって、
   仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段と、
   複数の被写体のうち、注目対象の被写体を設定する設定手段と、
   前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段と
   を備え、
   前記画像生成手段は、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする画像生成装置。
2. 前記画像生成手段は、前記注目オブジェクトの視認性の低下を抑制するように前記他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする請求項１に記載の画像生成装置。
3. 前記画像生成手段は、前記他のオブジェクトが所定の透過度で透過されるように、前記仮想視点画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記画像生成手段は、前記所定の透過度を、前記仮想視点と前記他のオブジェクトとの位置関係に応じて設定することを特徴とする請求項３に記載の画像生成装置。
5. 前記画像生成手段は、前記他のオブジェクトのうち、前記仮想視点と前記他のオブジェクトとの距離が遠い前記他のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項４に記載の画像生成装置。
6. 前記画像生成手段は、前記所定の透過度を、前記注目オブジェクトと前記他のオブジェクトとの位置関係に応じて設定することを特徴とする請求項３に記載の画像生成装置。
7. 前記画像生成手段は、前記他のオブジェクトのうち、前記注目オブジェクトとの距離が近い前記他のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項６に記載の画像生成装置。
8. 前記画像生成手段は、前記所定の透過度を、前記注目対象の被写体と前記他の被写体との関連性に応じて設定することを特徴とする請求項３に記載の画像生成装置。
9. 前記画像生成手段は、前記他のオブジェクトのうち、前記注目対象の被写体と関連性の高い前記他の被写体のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項８に記載の画像生成装置。
10. 前記画像生成手段は、前記注目対象の被写体の属する第１のグループに含まれる他の被写体のオブジェクトの透過度を、前記注目対象の被写体の属さない第２のグループに含まれる他の被写体のオブジェクトの透過度よりも低く設定することを特徴とする請求項９に記載の画像生成装置。
11. 前記画像生成手段は、前記他のオブジェクトが所定の色情報で着色されるように、前記仮想視点画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
12. コンピュータを、請求項１から１１のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。
13. 複数の被写体を撮像する複数の撮像装置と、
    前記複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置と、
    前記仮想視点画像を表示する表示画面を有するユーザ端末と
    を備え、
    前記画像生成装置は、仮想視点の視線方向に、注目オブジェクト及び他のオブジェクトが存在する場合に、当該他のオブジェクトの表示態様を変更して、前記ユーザ端末の表示画面に前記仮想視点画像を出力することを特徴とする画像生成システム。
14. 複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置における画像生成方法であって、
    仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得ステップと、
    複数の被写体のうち、注目対象の被写体を設定する設定ステップと、
    前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成ステップと
    を含み、
    前記画像生成ステップにおいて、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする画像生成方法。

Images