JP2023184358A - 画像処理システム、画像処理システムの制御方法、及びプログラム - Google Patents

Abstract

【課題】 複数の仮想オブジェクトを表示領域に切り替えて表示する場合、仮想カメラの視野によっては仮想オブジェクトを含まない仮想視点画像を生成してしまい、仮想視点画像に各仮想オブジェクトを適切に表示できない恐れがある。【解決手段】 画像処理システム１００は、仮想視点画像に第１仮想オブジェクトが表示される時間を示す第１表示時間と、仮想視点画像に第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得し、第１表示時間と第２表示時間に基づいて、第１仮想オブジェクトおよび第２仮想オブジェクトのいずれか一方を含む仮想視点画像を生成する。【選択図】 図４

Description

本開示は、画像処理システム、画像処理システムの制御方法、及びプログラムに関する。

複数の撮像装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、指定された仮想カメラからなる仮想視点画像を生成する技術が注目されている。

特許文献１には、仮想的に生成されるオブジェクト（以下、「仮想オブジェクト」と表記する）の一例である仮想広告に対し、仮想空間上に仮想カメラの位置および姿勢に応じた仮想広告枠を設け、仮想広告枠に広告情報を表示、課金する技術が開示されている。

特開２０１４－０４１２５９号公報

しかし、複数の仮想広告を仮想広告枠に切り替えて表示する場合、仮想カメラの視野によっては仮想広告枠を含まない仮想視点画像を生成してしまい、仮想視点画像に各仮想広告を適切に表示できない恐れがある。また、仮想広告が他の仮想オブジェクトである場合にも、仮想オブジェクトを表示するための表示領域を含まない仮想視点画像を生成してしまい、同様の問題が発生する恐れがある。

本開示は、複数の仮想オブジェクトを表示領域に切り替えて表示する場合に、仮想視点画像に各オブジェクトを適切に表示することを目的とする。

本開示の１つの実施態様の画像処理システムは、
第１仮想オブジェクトと第２仮想オブジェクトとが切り替えて表示される領域に対し相対的に位置が変動する仮想カメラの視野を取得する第１取得手段と、
前記仮想カメラの視野内に前記領域が位置する時間のうち、前記領域に前記第１仮想オブジェクトが表示される時間を示す第１表示時間と、前記領域に前記第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得する第２取得手段と、
前記仮想カメラに対応する仮想視点画像であって、前記第１表示時間と前記第２表示時間に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む仮想視点画像を生成する生成手段と
を有することを特徴とする。

本開示によれば、複数の仮想オブジェクトを表示領域に切り替えて表示する場合に、仮想視点画像に各仮想オブジェクトを適切に表示することができる。

画像処理システム１００を示す図である。 撮像装置１１０の設置例を示す図である。 画像生成装置１２０のハードウェア構成を示す図である。 実施形態１に係る画像生成装置１２０の機能構成を示す図である。 実施形態１に係る画像生成装置１２０の動作フローを示す図である。 実施形態１に係る仮想空間の概念図である。 実施形態１に係る仮想広告画像の例を示す図である。 実施形態１に係る仮想広告の表示優先度を示す図である。 実施形態１に係る画面表示例を示す図である。 実施形態２に係る画像生成装置１０００の機能構成を示す図である。 実施形態２に係る画像生成装置１０００の動作フローを示す図である。 実施形態２に係る仮想空間の概念図である。 実施形態２に係る仮想広告と仮想広告枠の対応関係を示す図である。 実施形態２に係る画面表示例を示す図である。 実施形態３に係る画像生成装置１５００の機能構成を示す図である。 実施形態３に係る画像生成装置１５００の動作フローを示す図である。 実施形態３に係る仮想広告の表示優先度を示す図である。

以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

＜実施形態１＞
実施形態１では、１つの仮想広告枠において複数の仮想広告を切り替えて表示する際の実施形態を説明する。なお、本実施形態では仮想広告を用いて説明するが、本開示は仮想広告に限定されるものではなく、仮想オブジェクトであればよい。具体的には、２次元の画像や文字列、３次元のアバターや立体形状の多面体（例えばキューブ状）のデジタルコンテンツなどである。その場合、１つの表示領域に複数の仮想オブジェクトを切り替えて表示することになる。なお、２次元の仮想広告や画像のデータのファイルフォーマットは特に限定されず、ＰＮＧやＪＰＥＧなどでもよい。また、３次元のアバターや立体形状のデジタルコンテンツのデータもファイルフォーマットは特に限定されず、ＳＴＰやＯＢＪなどでもよい。

図１は、本実施形態に係る画像処理システム１００を示す図である。

画像処理システム１００は、複数の撮像装置１１０と、画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。

画像処理システム１００は、複数の撮像装置１１０による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。なお、撮像装置は、カメラだけでなく、画像処理を行う機能部を有していてもよい。また、撮像装置は、カメラ以外に、距離情報を取得するセンサを有していてもよい。

図２は、撮像装置１１０の設置例を示す図である。各撮像装置１１０は、スタジアムの撮像領域を複数の方向から取り囲むように設置され、領域内の被写体の画像（映像）を撮影する。撮像領域は、被写体の３次元形状を推定する３次元空間と対応していてもよい。３次元空間は、撮像領域の全部であっても良いし、一部であっても良い。また、撮像領域は、スタジアムに限らず、コンサート会場、撮像スタジオなどであってもよい。撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。

画像生成装置１２０は、撮像装置１１０により得られた撮影画像を蓄積しておき、端末装置１３０に対するユーザ操作により、仮想視点情報と再生時刻情報とが受信されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置と角度等を示す情報である。仮想視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技場内の被写体撮影開始前など予め被写体が存在しない状態の場面を撮影した画像を背景画像として、撮像装置１１０を介して保持しておく。また被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を特定オブジェクト画像として画像処理により分離処理する。なお、特定オブジェクトは、人物だけでなくボールなど用具の画像パターンが予め定められている物体であってもよい。

前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルであり、コントローラ１３１をユーザが操作する。

端末装置１３０は、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに接続されたコントローラ１３１からのユーザ操作を再生時刻情報と仮想視点位置の移動指示（移動量と移動方向に関する指示）情報に変換し画像生成装置１２０に送信する。

なお、再生時刻と仮想視点位置の移動指示は、再生時刻と仮想視点位置の連続的な移動に限らず、仮想空間上の被写体の正面位置、背面位置、上から見下ろす位置などあらかじめ設定された所定仮想視点位置への移動も可能である。また再生時刻を予め設定しておくことで瞬時にその時刻へ移動することも可能とするものである。

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、表示部３１５、操作部３１６、通信Ｉ／Ｆ３１７、及びバス３１８を有する。

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１２０の全体を制御することで、図１に示す画像処理装置１２０の各機能を実現する。なお、画像処理装置１２０がＣＰＵ３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３１３は、補助記憶装置３１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部３１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部３１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３１１に受信する。ＣＰＵ３１１は、表示部３１５を制御する表示制御部、及び操作部３１６を制御する操作制御部として動作する。通信Ｉ／Ｆ３１７は、画像処理装置１２０の外部の装置との通信に用いられる。例えば、画像処理装置１２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。画像処理装置１２０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３１７はアンテナを備える。バス３１８は、画像処理装置１２０の各部をつないで情報を伝達する。

本実施形態では表示部３１５と操作部３１６が画像処理装置１２０の内部に存在するものとするが、表示部３１５と操作部３１６との少なくとも一方が画像処理装置１２０の外部に別の装置として存在していてもよい。

図４は、画像生成装置１２０の機能構成を示す図である。

撮影画像受信部４０１は、撮像装置１１０からＬＡＮケーブルを介して受信した伝送信号を撮影画像データに変換して、前景背景分離部４０２へ送信する。

前景背景分離部４０２は、撮影画像受信部４０１から受信した撮影画像のうち、被写体の撮影開始前など予め撮影対象となる被写体が存在しない状態の場面を撮影した画像を背景画像データとして保持する。また背景画像データを撮影画像データ保存部４０３へ送信する。また、撮影対象となる被写体が撮影範囲に存在する状態で撮影された画像と保持しておいた背景画像データとの差分に基づいて被写体を抽出し、前景画像データとして撮影画像データ保存部４０３へ送信する。

撮影画像データ保存部４０３は、データベースであり、前景背景分離部４０２から受信した前景画像データと、背景画像データを保存する。また、３次元形状生成部４０５に前景画像データを送信する。また、レンダリングに使用する前景画像データと背景画像データを仮想視点画像生成部４１３に送信する。

カメラパラメータ保持部４０４は、被写体を取り囲むような所定の複数の撮影カメラ位置情報と、撮影カメラの焦点距離などのカメラ設定情報をカメラパラメータ情報として、あらかじめ保持しておく。撮影カメラの設置についてはあらかじめ決められた位置に設置することとする。またカメラパラメータ保持部４０４は、カメラパラメータ情報を３次元形状生成部４０５と、仮想視点画像生成部４１３へ送信する。

３次元形状生成部４０５は、撮影画像データ保存部４０３から受信した前景画像データと、カメラパラメータ保持部４０４から受信したカメラパラメータ情報を用いて、被写体の形状を推定する。被写体の形状の推定は、例えば視体積交差法（Ｓｈａｐ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法）が用いられる。この処理の結果、被写体の３次元形状を表現した３Ｄ点群（３次元座標を持つ点の集合）が得られる。なお、撮影画像から被写体の形状を導出する方法はこれに限らない。生成した３次元形状情報を仮想視点画像生成部４１３へ送信する。

ユーザ受信部４０６は、端末装置１３０からＬＡＮケーブルを介して受信した伝送信号をユーザ受信データに変換する。ユーザ受信データが再生時刻情報と仮想視点情報である場合、再生時刻情報と仮想視点情報を仮想視点情報設定部４０７へ送信する。

仮想視点情報設定部４０７は、ユーザ受信部４０６から受信した再生時刻情報と仮想視点情報とに基づき、仮想空間内における仮想視点の現在位置と視線方向と再生時刻とを更新する。

その後、再生時刻情報と仮想視点情報とを仮想視点画像生成部４１３と広告表示時間計測部４１１へ送信する。なお、仮想空間の原点は競技場内の中心などを予め設定するものとする。

広告画像保持部４０８は、仮想空間上に広告として表示させたい企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などの広告画像データを広告主から提供され、あらかじめ保持するものとする。また広告画像保持部４０８は、広告画像を広告画像配置部４１０へ送信する。

広告枠情報保持部４０９は、広告画像を配置する３次元の仮想空間上での位置と領域情報を含む広告枠設定情報を保持する。広告枠は撮像領域ごとに予め設定されているものとする。例えば、競技場を撮影して得られた仮想空間の観客席壁面に広告枠を設定することで、実際の競技場の壁面などには存在しないが、実世界に基づく仮想空間を仮想視点から見ると仮想の広告が壁面に表示されることとなる。なお、広告枠は２次元領域に限定されず、３次元領域を設定してもよい。また、仮想広告枠の位置は、背景モデルに基づいて設定される。具体的には、サッカーの競技場において、フィールド外かつコーナーポストの横に直方体の仮想広告枠を設定してもよい。なお、広告枠情報保持部４０９は、広告枠設定情報を広告画像配置部４１０へ送信する。

広告画像配置部４１０は、広告画像保持部４０８から受信した広告画像と、広告枠情報保持部４０９から受信した広告枠設定情報とに基づき、広告枠設定情報に記載の指定の仮想空間上の位置に広告画像を配置した配置広告画像を生成する。なお、広告枠設定情報の位置は１つの広告枠に、少なくとも１つ以上の広告画像が指定されているものとし、広告表示順決定部４１２から受信した広告表示指示情報に基づいて１つの広告画像が仮想広告として表示に使用されるものとする。その後、配置広告画像を仮想視点画像生成部４１３へ送信する。また配置仮想広告情報を広告表示時間計測部４１１へ送信する。

広告表示時間計測部４１１は、仮想視点情報設定部４０７から受信した再生時刻情報と仮想視点情報と、広告画像配置部４１０から受信した配置仮想広告情報とに基づき、仮想視点画像内に、所定の角度、所定の大きさに仮想広告が表示されている時間を計測する。また配置仮想広告情報に対応した広告画像が表示された仮想広告表示時間情報を、広告表示順決定部４１２へ送信する。ここで所定の角度とは例えば、仮想視点から見て仮想広告の面が正対する角度を０度とした場合、４５度以下などとする。また所定の大きさとは仮想視点に基づいて生成される仮想視点画像において３％以上の大きさなどとする。またこれに限らず、所定の角度と大きさなどは変更可能としてもよいものとする。

広告表示順決定部４１２は、広告表示時間計測部４１１から仮想広告表示時間を受信する。次に仮想広告枠が仮想視点から見えなくなり再度表示される際に、仮想広告時間時間に基づき仮想広告枠に広告画像を表示させる広告表示指示情報を広告画像配置部４１０へ送信する。例えば２つ以上の広告画像の表示時間を計測していた場合、仮想広告枠が再度表示されるタイミングで表示時間の最も短い仮想広告の画像を表示するように広告表示指示情報は設定され、広告画像配置部４１０へ送信される。

仮想視点画像生成部４１３は、仮想視点情報設定部４０７から仮想視点情報を受信する。また撮影画像データ保存部４０３から撮影画像データを受信する。またカメラパラメータ保持部からカメラパラメータ情報を受信する。また３次元形状生成部４０５から３次元形状情報を受信し、仮想視点からみた３次元形状情報に対してカメラパラメータ情報と撮影画像データに基づく色情報でレンダリング処理を行う。レンダリングされた仮想視点画像は、画像送信部４１４へ送信する。

ここでレンダリングとは例えば、仮想視点位置から見た被写体の３次元形状に対して、該当時刻に実カメラで撮影された画像データの色情報でレンダリング（着色処理）する。仮想視点から３次元形状情報に基づく被写体が見えている状況で、仮想視点の位置から所定の範囲内に実カメラ位置がある場合、その実カメラの前景画像データを形状の色として使用するものとし被写体のレンダリング画像を生成する。次に、別途撮影画像データ保存部４０３に保存された背景画像データと、広告画像配置部４１０から受信した仮想広告情報と、その仮想視点位置から撮影された被写体のレンダリング画像とを合成して仮想視点画像となる。

画像送信部４１４は、仮想視点画像生成部４１３から受信した仮想視点画像データを、端末装置１３０へ伝送可能な伝送信号に変換して、端末装置１３０へ送信する。

図５は、実施形態１に係る画像生成装置１２０の動作フローを示す図である。

ステップＳ５０１において、撮影画像受信部４０１は、複数の実カメラを介して実カメラによる撮影画像が受信したか否か、つまり撮像が開始されたか否かを判断する。撮像画像が受信されない場合、ステップＳ５０１でループ処理を行うことで待機する。一方、撮像画像が受信した場合、ステップＳ５０２に進む。

ステップＳ５０２において、前景背景分離部４０２は、被写体が撮影された画像から被写体を抽出した前景画像データと、被写体が撮影されてない画像である背景画像データとを生成する。生成した前景画像データと背景画像データを撮像画像データ保存部４０３に送信する。

ステップＳ５０３において、撮影画像データ保存部４０３は、前景背景分離部４０２により生成された前景画像データと背景画像データとを保存する。

ステップＳ５０４において、３次元形状生成部４０５は、カメラパラメータ保持部４０４から受信したカメラパラメータ情報と、撮影画像データ保存部４０３に保存された前景画像データに基づいて、被写体の３次元形状を生成する。ここで、被写体の形状情報とは、複数の点群により構成され、各点は位置情報を含むものとする。

ステップＳ５０５において、仮想視点情報設定部４０７は、ユーザ受信部４０６を介して再生時刻情報と仮想視点情報が受信した否かを判断する。再生時刻情報と仮想視点情報が受信した場合、ステップＳ５０６に進む。再生時刻情報と仮想視点情報が受信されない場合、ステップＳ５０５においてループ処理を行い待機する。

ステップＳ５０６において、仮想視点画像生成部４１３は、仮想視点情報設定部４０７から受信した仮想視点情報に基づいて、仮想視点位置から見た視点の画像を生成するため、撮影画像データ保存部４０３から撮影画像データを受信する。また、３次元形状生成部４０５から３次元形状情報を受信し、広告画像配置部４１０から配置広告情報を受信する。受信した仮想視点情報と撮像画像データ、３次元形状情報、配置広告情報に基づいてレンダリング処理を行う。レンダリングされた仮想視点画像は、画像送信部４１４へ送信する。

ステップ５０７において、広告表示時間計測部４１１は、仮想視点情報設定部４０７から受信した仮想視点情報と広告画像配置部４１０から受信した配置広告画像情報とに基づいて、仮想視点から見て仮想広告が表示されたか否かを判定する。言い換えるならば、仮想カメラの視野内に仮想広告枠が存在しているか否かを判定する。または、仮想視点画像に仮想広告が表示されているか否かを判定する。これは、３次元空間上に設定された仮想広告枠の位置に対しユーザが仮想カメラを操作することによって、仮想広告枠に対し仮想カメラが相対的に変動するため、仮想視点画像に仮想広告が表示されないことがあるためである。また、本実施形態では、仮想視点画像に仮想広告枠が全て含まれており、仮想広告が全て表示されていることを想定しているが、これに限定されず、仮想広告の一部が仮想視点画像に表示されていてもよい。

ステップＳ５０８において、仮想視点画像に表示されている広告情報の表示時間を計測し、仮想広告表示時間情報を広告表示順決定部４１２へ送信する。

ステップＳ５０９において、広告表示順決定部４１２は、広告表示時間計測部４１１から受信した仮想広告表示時間情報に基づいて、次のフレーム時刻で仮想広告枠に配置する広告画像表示を指示する広告表示指示情報を広告画像配置部４１０へ送信する。例えば２つ以上の広告画像の表示時間を計測していた場合、表示時間の最も短い仮想広告の画像を表示するように広告表示指示情報は設定され、広告画像配置部４１０へ送信される。

図６は、本実施形態の仮想空間の概念図である。撮像装置１１０の撮影画像をもとに生成された仮想空間上で、仮想視点６０１には撮影範囲６０２の範囲が設定され、被写体６０３を撮影している。また、仮想広告を表示するための仮想広告枠６０４は撮影範囲６０２に含まれている。仮想広告枠６０４は２次元平面の仮想広告枠であるが、３次元の仮想広告枠でもよい。例えば、直方体や円柱、円錐の仮想広告枠である。

仮想視点画像上には、指定された広告画像が仮想広告枠６０４に配置されて表示されることとなる。

図７は、仮想広告画像の一例を示す図である。広告画像７０１は企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などの広告画像が所定のデータ形式で広告主から提供されるものとする。また広告画像７０２も広告画像７０１と同様に、企業などの会社名ロゴや製品名ロゴ、製品イメージ画像などの広告画像ではあるが、内容は広告画像７０１とは異なるものとする。

なお広告画像は、仮想広告配置情報に含まれる仮想広告枠に収まるような大きさや縦横比であるとするが、仮想広告枠に適合しない場合は、拡大縮小、縦横比変更、余白の付与などの変更処理が行われてもよいものとする。本実施形態では、仮想広告を２次元の広告画像として記載するが、これに限定されない。３次元のデジタルコンテンツを仮想広告として用いてもよく、その場合、３次元の仮想広告枠に対応付けられる。

図８は、仮想広告の表示優先度を示す図である。本実施形態では、１つの仮想広告枠に対しＡ社とＢ社の仮想広告が対応付けられている。仮想広告枠の位置は、長方形の２次元平面であるため、長方形を構成する４点の位置により構成されるが、これに限定されない。本実施形態では、仮想広告枠の位置は、背景モデルに基づいて３次元空間上に予め定められているものとするが、これに限定されない。仮想広告枠の位置が連続的に変化することもできる。表示時間は、広告表示時間計測部４１１から受信した仮想広告表示時間であり、例えばＡ社の広告を１０秒間表示している。また、Ｂ社の広告は５秒表示しているとする。このとき、表示時間の少ない広告を表示するためにＢ社の広告の表示優先度は１、Ａ社の広告の表示優先度は２と設定される。そして視点が移動して、仮想広告枠が仮想視点画像に表示されるタイミングで、Ｂ社の広告を表示するように指示が出されることになる。

図９は、端末装置１３０に表示される仮想視点画像の画面表示例を示す図である。仮想広告枠６０４の位置に広告画像７０１が配置された仮想空間において、図９（ａ）では仮想視点が１０秒間、Ａ社の仮想広告を表示している。この後、仮想視点は仮想広告枠６０４が表示されない位置に移動して、再度仮想広告枠６０４を表示する。この場合、図８のような表示時間の少ない広告を優先する表示優先度に従い、Ｂ社の広告の方を優先度１に設定したため、図９（ｂ）ではＢ社の広告を表示している。

以上のように実施形態１によれば、仮想視点画像に表示されている仮想広告の表示時間に基づいて、複数の仮想広告のうち次に表示する仮想広告を決定することで、仮想視点画像に各仮想広告を適切に表示することができる。そのため、複数のユーザが仮想視点を操作する場合、ユーザの仮想視点操作に合わせ、仮想視点画像に表示される仮想広告を決定することになるため、各ユーザに対して複数の仮想広告を公平に表示することもできる。

なお、本実施形態では、仮想広告表示時間が少ない仮想広告の表示優先度を高めるよう設定したが、これに限定されない。２つの仮想広告表示時間の差が所定の時間より大きい場合に、仮想広告表示時間が少ない仮想広告の表示優先度を高めるよう設定してもよい。例えば、Ｂ社よりＡ社の方の仮想広告表示時間が長く、Ａ社とＢ社の仮想広告表示時間の差が１０秒より大きい場合に、Ｂ社の仮想広告の表示優先度を高くする。これにより、仮想視点の移動が早く、仮想広告枠が短時間しか仮想視点画像に表示されない場合に、頻繁に仮想広告が切り替わることを防ぐことができる。

なお、本実施形態では、仮想広告の表示優先度を仮想広告表示時間により決定したが、これに限定されない。仮想広告に支払われる掲載対価が仮想広告ごとに異なる場合、仮想広告に支払われる掲載対価と仮想広告表示時間に基づいて表示優先度を決定してもよい。掲載対価とは、金銭や仮想通貨、非代替トークン、ポイントなどである。例えば、Ａ社の広告に支払われる金銭が２０万円で、Ｂ社の広告に支払われる金銭が１０万円である場合、Ａ社の仮想広告表示時間が２０秒、Ｂ社の仮想広告表示時間が１０秒と決定してもよい。この場合、仮想視点を仮想広告枠６０４が表示されない位置に移動して、再度仮想広告枠６０４を表示す位置に移動する際も、Ａ社の仮想広告表示時間が２０秒未満であれば、Ａ社の仮想広告を表示する。Ａ社の仮想広告表示時間が２０秒になった場合、Ｂ社の仮想広告を表示する。また、同様に仮想視点を仮想広告枠６０４が表示されない位置に移動して、再度仮想広告枠６０４を表示す位置に移動する際も、Ｂ社の仮想広告表示時間が１０秒未満であれば、Ｂ社の仮想広告を表示する。これにより、掲載対価に基づいて、各仮想広告を公平にユーザに配信される仮想視点画像に表示することができる。

＜実施形態２＞
実施形態２は、複数の仮想広告枠がある場合に、仮想広告の優先度を複数の仮想広告枠の位置に基づいて設定する例である。なお、本実施形態において、画像処理システムは実施形態１で説明した構成と同じであるため、説明を省略する。また、画像生成装置のハードウェア構成も、図３と同様であるため、その説明を省略する。

図１０、実施形態２に係る画像生成装置１０００の機能構成を示す図である。なお、広告表示位置決定部１００１以外は、図４と同様であるため説明を省略する。

広告表示位置決定部１００１は、広告表示時間計測部４１１から仮想広告表示時間を受信する。次に仮想広告枠が仮想視点から見えなくなり、再度仮想視点画像に表示される際に、仮想広告表示時間に基づき複数の仮想広告枠に配置する複数の広告画像の組み合わせを指示する広告位置指示情報を広告画像配置部４１０へ送信する。例えば２つの仮想広告枠があり、ある仮想視点から見て手前と奥の２つの仮想広告枠があるとする。また２つ以上の広告画像の表示時間を計測していた場合、表示時間の最も短い仮想広告の画像を仮想視点から見た手前の広告枠位置に表示するように広告表示指示情報は設定され、広告画像配置部４１０へ送信される。

図１１は、実施形態２に係る画像生成装置１０００による動作フローを示す図である。なお、ステップＳ５０１からステップＳ５０８までは図５の説明と同一であるため説明は省略する。

ステップＳ１１０１において、広告表示位置決定部１００１は、ステップＳ５０８の広告表示時間計測部４１１から仮想広告表示時間を受信する。次に仮想広告枠が仮想視点画像から表示されなくなった後、再度仮想視点画像に表示される際に、仮想広告表示時間に基づき複数の仮想広告枠に配置する複数の広告画像の組み合わせを指示する広告位置指示情報を広告画像配置部４１０へ送信する。

図１２は、本実施形態の仮想空間の概念図である。図６の概念図に加えて、仮想広告枠６０４の後方に、仮想広告枠１２０１、仮想広告枠６０４の右隣りに仮想広告枠１２０２が設定されているものとする。仮想広告枠１２０１は２次元の仮想広告を表示する仮想広告枠であり、仮想広告枠１２０２は３次元の仮想広告を表示する仮想広告枠である。３次元の仮想広告枠１２０２は、立方体の形状をしているが、これに限定されず、直方体や円柱、円錐などの形状であってもよい。なお、３次元の仮想広告を表示する仮想広告枠１２０２に２次元の仮想広告を表示してもよい。その場合、３次元の仮想広告枠１２０２の特定面に、２次元の仮想広告が表示される。仮想視点画像上には、指定された広告画像が仮想広告枠６０４と仮想広告枠１２０１、仮想広告枠１２０２に配置されて表示されることとなる。

図１３は、仮想広告と仮想広告枠の対応関係を示す図である。表示時間とは、広告表示時間計測部４１１から受信した仮想広告表示時間で例えばＡ社の広告を１０秒間表示している。また、Ｂ社の広告は５秒表示、Ｃ社の広告を１０秒表示しているとする。このとき、仮想視点位置から見た際に表示時間の短い仮想広告の表示面積を大きくさせるために、Ｂ社の広告の広告枠は手前の広告枠６０４、Ａ社の広告の広告枠は奥の広告枠１２０１と設定される。Ｃ社の広告は３次元形状の仮想広告であるため、３次元の仮想広告枠１２０２に設定される。

図１４は、端末装置１３０に表示される仮想視点画像の画面表示例を示す図である。図１３のような表示時間の少ない広告を優先する広告表示枠に設定するため、Ｂ社の広告７０２の方は手前の広告枠６０４に設定し、またＡ社の広告７０１は、後方の広告枠１２０１に表示している。Ｃ社の広告１４０１は３次元オブジェクトであるため、３次元の仮想広告枠１２０２に表示している。なお、３次元の仮想広告枠が複数存在する場合、Ａ社およびＢ社の広告を表示する広告枠を設定したように、表示時間の少ない広告を優先して、仮想視点位置から見た際に表示面積が大きい仮想広告枠に表示させる。

以上、実施形態２の形態によれば、複数の広告枠を使用する場合、広告の表示時間の少ない広告画像を手前に配置可能となり、各ユーザに表示される広告の表示大きさを適切にすることができる。

なお、広告主が仮想広告を表示させたい仮想広告枠を指定してもよく、その場合は仮想広告を複数存在する仮想広告枠のうち指定された仮想広告枠に対応付ける情報も広告画像配置部４１０に送信する。

＜実施形態３＞
実施形態３は、仮想広告画像において、動画像などのように所定の再生時間が存在する場合の例である。

図１５は、実施形態３に係る画像生成装置１５００の機能構成を示す図である。画像生成装置１５００は、図４を参照しつつ説明した、実施形態１に係る画像生成装置１２０の構成の広告表示順決定部４１２に替えて以下の機能部品を有している。

広告再生制御部１５０１は、広告表示時間計測部４１１から仮想広告表示時間を受信する。次にいったん仮想広告枠が仮想視点から見えなくなり再度表示される際に、仮想広告枠に配置する複数の広告画像の再生時間と仮想広告表示時間に基づいて広告画像表示指示情報を広告画像配置部４１０へ送信する。

例えば２つ以上の広告画像の再生時間が３０秒設定されており、表示時間を計測していた場合、再生時間の３０秒に達するまで同一の仮想広告の画像を表示するように広告表示指示情報は設定され、広告画像配置部４１０へ送信される。

図１６は、実施形態３に係る画像生成装置１５００動作フローを示す図である。なお、ステップＳ５０１からステップＳ５０８までは図５の説明と同一であるため説明は省略する。

ステップＳ１６０１においては、広告再生制御部１５０１は、広告表示時間計測部４１１から仮想広告表示時間を受信する。次にいったん仮想広告枠が仮想視点から見えなくなり再度表示される際に、仮想広告枠に配置する複数の広告画像の再生時間と仮想広告表示時間に基づいて広告画像表示指示情報を広告画像配置部４１０へ送信する。

図１７は、実施形態３に係る仮想広告の表示優先度を示す図である。仮想広告の再生時間は、３０秒であるとして、広告表示時間計測部４１１から受信した仮想広告表示時間で例えばＡ社の広告を１５秒間表示している。また、Ｂ社の広告は０秒表示しているとする。このとき、表示時間の少ない広告はＢ社の広告であるが、再生時間に達してないＡ社の広告表示するため広告のＡ社の表示優先度は１、Ｂ社の広告の表示優先度は２と設定される。そして視点が移動して、仮想広告枠が表示されるタイミングで、Ａ社の広告を表示するように指示が出されることになりＡ社の表示時間が再生時間の３０秒に達するまでＡ社の広告が表示されることになる。Ａ社の表示時間が３０秒に達した時点でＢ社の表示優先度が１に設定される。

以上、実施形態３の形態によれば、仮想視点から見える複数の仮想広告を、再生時間も考慮しながら表示していくことで、動画などの広告の広告主の制作意図をできるだけ反映しつつ仮想広告の表示機会の不公平さを低減させることが可能となる。

以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものではない。例えば、以上の実施形態１～３を適宜組み合わせてもよい。

尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は全主記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（構成１）第１仮想オブジェクトと第２仮想オブジェクトとが切り替えて表示される領域に対し相対的に位置が変動する仮想カメラの視野を取得する第１取得手段と、
前記仮想カメラの視野内に前記領域が位置する時間のうち、前記領域に前記第１仮想オブジェクトが表示される時間を示す第１表示時間と、前記領域に前記第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得する第２取得手段と、
前記仮想カメラに対応する仮想視点画像であって、前記第１表示時間と前記第２表示時間に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成する生成手段と
を有することを特徴とする装置。

（構成２）前記生成手段は、前記第１表示時間が前記第２表示時間より長い場合、前記第２仮想オブジェクトを含む前記仮想視点画像を生成し、前記第１表示時間が前記第２表示時間より短い場合、前記第１仮想オブジェクトを含む前記仮想視点画像を生成することを特徴とする構成１に記載の装置。

（構成３）前記生成手段は、前記第１表示時間が前記第２表示時間より長く、前記第１表示時間と前記第２表示時間との差が所定の時間より大きい場合、前記第２仮想オブジェクトを含む前記仮想視点画像を生成し、前記第１表示時間が前記第２表示時間より短く、前記第１表示時間と前記第２表示時間との差が所定の時間より大きい場合、前記第１仮想オブジェクトを含む前記仮想視点画像を生成することを特徴とする構成１又は２に記載の装置。

（構成４）前記第１仮想オブジェクトおよび前記第２仮想オブジェクトは、画像または３次元オブジェクトであることを特徴とする構成１乃至３のいずれか１項に記載の装置。

（構成５）前記第１仮想オブジェクトおよび前記第２仮想オブジェクトは、仮想広告、画像、文字列、アバター、立体形状のデジタルコンテンツであることを特徴とする構成１乃至４のいずれか１項に記載の装置。

（構成６）前記立体形状のデジタルコンテンツは、キューブ状のデジタルコンテンツであることを特徴とする構成５に記載の装置。

（構成７）前記第１表示時間および前記第２表示時間は、前記仮想カメラの視野内に前記領域の一部が位置する時間であることを特徴とする構成１乃至６のいずれか１項に記載の装置。

（構成８）前記領域は、３次元空間における領域であることを特徴とする構成１乃至７のいずれか１項に記載の装置。

（構成９）前記領域の形状は、２次元の平面であることを特徴とする構成１乃至８のいずれか１項に記載の装置。

（構成１０）前記領域の形状は、立体形状の多面体であることを特徴とする構成１乃至８のいずれか１項に記載の装置。

（構成１１）前記第２取得手段は、前記第１仮想オブジェクトを前記領域に表示するための優先度を示す第１表示優先度と、前記第２仮想オブジェクトを前記領域に表示するための優先度を示す第２表示優先度とを取得し、
前記生成手段は、前記第１表示優先度と前記第２表示優先度とに基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成することを特徴とする構成１乃至１０のいずれか１項に記載の装置。

（構成１２）前記第１表示優先度は、前記第１表示時間と前記第１仮想オブジェクトに対する掲載対価とに基づいて決定され、
前記第２表示優先度は、前記第１表示時間と前記第１仮想オブジェクトに対する掲載対価とに基づいて決定されることを特徴とする構成１１に記載の装置。

（方法）第１仮想オブジェクトと第２仮想オブジェクトとが切り替えて表示される領域に対し相対的に位置が変動する仮想カメラの視野を取得する第１取得工程と、
前記仮想カメラの視野内に前記領域が位置する時間のうち、前記領域に前記第１仮想オブジェクトが表示される時間を示す第１表示時間と、前記領域に前記第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得する第２取得工程と、
前記仮想カメラに基づいて生成される仮想視点画像であって、前記第１表示時間と前記第２表示時間に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成する生成工程と
を有することを特徴とする方法。

（プログラム）構成１乃至１２のいずれか１項に記載の装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

１００ 画像処理システム
１１０ 撮像装置
１２０ 映像生成装置
１３０ 端末装置

Claims (14)

1. 第１仮想オブジェクトと第２仮想オブジェクトとが切り替えて表示される領域に対し相対的に位置が変動する仮想カメラの視野を取得する第１取得手段と、
   前記仮想カメラの視野内に前記領域が位置する時間のうち、前記領域に前記第１仮想オブジェクトが表示される時間を示す第１表示時間と、前記領域に前記第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得する第２取得手段と、
   前記仮想カメラに対応する仮想視点画像であって、前記第１表示時間と前記第２表示時間に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成する生成手段と
   を有することを特徴とする画像処理システム。
2. 前記生成手段は、前記第１表示時間が前記第２表示時間より長い場合、前記第２仮想オブジェクトを含む前記仮想視点画像を生成し、前記第１表示時間が前記第２表示時間より短い場合、前記第１仮想オブジェクトを含む前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理システム。
3. 前記生成手段は、前記第１表示時間が前記第２表示時間より長く、前記第１表示時間と前記第２表示時間との差が所定の時間より大きい場合、前記第２仮想オブジェクトを含む前記仮想視点画像を生成し、前記第１表示時間が前記第２表示時間より短く、前記第１表示時間と前記第２表示時間との差が所定の時間より大きい場合、前記第１仮想オブジェクトを含む前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理システム。
4. 前記第１仮想オブジェクトおよび前記第２仮想オブジェクトは、画像または３次元オブジェクトであることを特徴とする請求項１に記載の画像処理システム。
5. 前記第１仮想オブジェクトおよび前記第２仮想オブジェクトは、仮想広告、画像、文字列、アバター、立体形状のデジタルコンテンツであることを特徴とする請求項４に記載の画像処理システム。
6. 前記立体形状のデジタルコンテンツは、キューブ状のデジタルコンテンツであることを特徴とする請求項５に記載の画像処理システム。
7. 前記第１表示時間および前記第２表示時間は、前記仮想カメラの視野内に前記領域の一部が位置する時間であることを特徴とする請求項１に記載の画像処理システム。
8. 前記領域は、３次元空間における領域であることを特徴とする請求項１に記載の画像処理システム。
9. 前記領域の形状は、２次元の平面であることを特徴とする請求項１に記載の画像処理システム。
10. 前記領域の形状は、立体形状の多面体であることを特徴とする請求項１に記載の画像処理システム。
11. 前記第２取得手段は、前記第１仮想オブジェクトを前記領域に表示するための優先度を示す第１表示優先度と、前記第２仮想オブジェクトを前記領域に表示するための優先度を示す第２表示優先度とを取得し、
    前記生成手段は、前記第１表示優先度と前記第２表示優先度とに基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理システム。
12. 前記第１表示優先度は、前記第１表示時間と前記第１仮想オブジェクトに対する掲載対価とに基づいて決定され、
    前記第２表示優先度は、前記第１表示時間と前記第１仮想オブジェクトに対する掲載対価とに基づいて決定されることを特徴とする請求項１１に記載の画像処理システム。
13. 第１仮想オブジェクトと第２仮想オブジェクトとが切り替えて表示される領域に対し相対的に位置が変動する仮想カメラの視野を取得する第１取得工程と、
    前記仮想カメラの視野内に前記領域が位置する時間のうち、前記領域に前記第１仮想オブジェクトが表示される時間を示す第１表示時間と、前記領域に前記第２仮想オブジェクトが表示される時間を示す第２表示時間とを取得する第２取得工程と、
    前記仮想カメラに基づいて生成される仮想視点画像であって、前記第１表示時間と前記第２表示時間に基づいて、前記第１仮想オブジェクトおよび前記第２仮想オブジェクトのいずれか一方を含む前記仮想視点画像を生成する生成工程と
    を有することを特徴とする画像処理方法。
14. 請求項１乃至１２のいずれか１項に記載の画像処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。

Images