JP2023065073A - 画像生成システム及び画像生成方法 - Google Patents

Abstract

【課題】実空間とバーチャル空間の両方を用いたイベントの実空間での参加者が、イベントを容易に楽しめるようにする。【解決手段】画像生成システムは、バーチャル空間を可視化した画面であるバーチャル空間画像をリアルタイムに取得するバーチャル空間画像取得部と、ユーザを撮影し、撮影画像を生成する撮影部と、前記バーチャル空間画像と前記撮影画像とを合成して合成画像を生成する画像処理部と、前記合成画像を表示する表示装置と、を備える。【選択図】図１

Description

本発明は、画像生成システム及び画像生成方法に関する。

実空間を模したバーチャル空間（仮想空間）の展開が広がり、利用者が増えている。例えば、実空間とバーチャル空間の両方を用いたイベントが開催されている。実空間のイベント会場では、ヘッドマウントディスプレイ等のＶＲデバイスを装着したり、バーチャル空間の映像をディスプレイやスクリーンに表示したりしている。しかし、ＶＲデバイスの装着者のみが楽しめる状況になり、非装着者は表示された映像を見るだけになってしまい、イベント会場の盛り上がりに欠けるという問題があった。

特開２００６－２６８４４２号公報 特開２０１１－０５５４８３号公報 特開２０１６－０６６９９８号公報 特開２０２０－２０４８５６号公報

本発明は、実空間とバーチャル空間の両方を用いたイベントの実空間での参加者が、イベントを容易に楽しむことができる画像生成システム及び画像生成方法を提供することを課題とする。

本発明の画像生成システムは、バーチャル空間を可視化した画面であるバーチャル空間画像をリアルタイムに取得するバーチャル空間画像取得部と、ユーザを撮影し、撮影画像を生成する撮影部と、前記バーチャル空間画像と前記撮影画像とを合成して合成画像を生成する画像処理部と、前記合成画像を表示する表示装置と、を備えるものである。

本発明の画像生成方法は、バーチャル空間を可視化した画面であるバーチャル空間画像をリアルタイムに取得する工程と、撮影部を用いてユーザを撮影し、撮影画像を生成する工程と、前記バーチャル空間画像と前記撮影画像とを合成して合成画像を生成する工程と、前記合成画像を表示装置に表示する工程と、を備えるものである。

本発明によれば、実空間とバーチャル空間の両方を用いたイベントの実空間での参加者が、イベントを容易に楽しむことができる。

本発明の実施形態に係る画像生成システムの概略構成図である。 画像生成装置の概略構成図である。 画像生成プログラムによる機能ブロック図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る画像生成システムの概略構成を示す。画像生成システムは、実空間及びバーチャル空間の両方で並行してイベントを行っている際に、実空間のイベント会場に来訪したユーザＵを撮影し、ユーザＵの画像を、バーチャル空間ＶＳをキャプチャした画像Ｇ１と合成し、合成画像Ｇ２をディスプレイ４に表示するものである。

画像生成システムは、配信端末１、事業者端末２、画像生成装置３及びディスプレイ４を備える。

配信端末１は、イベントに関連するバーチャル空間ＶＳの環境を提供する。バーチャル空間ＶＳにおけるイベントの種類は限定されず、例えば、マルチプレーヤーによるオンラインゲーム、ミラーワールド、バーチャル展示会等である。配信端末１は、バーチャル空間ＶＳの背景、アバター等のバーチャルオブジェクトの外観や位置、効果音等の情報を保存し、これらを用いて仮想空間を可視化する描画を行う。

複数のユーザが、スマートフォン、タブレット、ＰＣ等の端末５を使用して、バーチャル空間でのイベントを楽しむことができる。ユーザは、自分の仮想的な分身であるアバターをバーチャル空間ＶＳに登場させて、所望の動作をさせることができる。

事業者端末２は、イベントを主催する事業者が使用するコンピュータであり、バーチャル空間ＶＳの画面をリアルタイムで連続的に取得（キャプチャ）する。事業者端末２は、取得したバーチャル空間ＶＳの画面を、バーチャル空間画像として画像生成装置３へ送信する。

画像生成装置３は、実空間のイベント会場に設置される。図２に示すように、画像生成装置３は、演算制御装置３０、撮影部３１、プリンタ３２及び通信部３３を備える。撮影部３１は例えばデジタルカメラであり、イベント会場に来場したユーザＵを撮影する。

演算制御装置３０は、画像生成プログラムを格納した記憶部やＣＰＵ等を有するコンピュータであり、ＣＰＵが画像生成プログラムを実行することで、図３に示すように、バーチャル空間画像取得部３０１、撮影画像取得部３０２、画像処理部３０３、表示制御部３０４及びプリンタ制御部３０５の機能が実現される。

バーチャル空間画像取得部３０１は、通信部３３を介して、事業者端末２からバーチャル空間画像を取得する。

撮影画像取得部３０２は、通信部３３を介して、撮影部３１から、ユーザＵを撮影した撮影画像を取得する。

画像処理部３０３は、バーチャル空間画像と撮影画像とを合成して合成画像を生成する。画像処理部３０３は、クロマキー処理により撮影画像からユーザＵのみを切り出して、バーチャル空間画像と合成してもよい。あるいはまた、画像処理部３０３は、バーチャル空間画像からアバター等を抽出して、撮影画像と合成してもよい。

表示制御部３０４は、画像処理部３０３で生成された合成画像を、通信部３３を介してディスプレイ４へ転送し、表示させる。

プリンタ制御部３０５は、画像処理部３０３で生成された合成画像をプリンタ３２へ転送し、プリント物Ｐをプリント出力させる。

イベント会場に来場したユーザＵは、自身がバーチャル空間内にいる映像が会場内のディスプレイ４に表示されるため、実空間のイベントだけでなく、バーチャル空間のイベントも容易に楽しむことができる。

撮影部３１がユーザＵを連続的に撮影し、撮影画像を、事業者端末２により連続的に取得されたバーチャル空間画像と合成し、合成画像をディスプレイ４に連続的に表示してもよい。

イベント会場に来場したユーザＵが所有するスマートフォン等のユーザ端末を用いて撮影を行い、事業者端末２からバーチャル空間画像を取得し、撮影画像とバーチャル空間画像とを合成して合成画像を生成してもよい。また、ユーザ端末は、合成画像を事業者端末２へ送信し、ディスプレイ４に表示させてもよい。

上記実施形態では、リアルタイム配信されているバーチャル空間の画面をキャプチャする例について説明したが、アーカイブ配信されたものであってもよい。

上記実施形態に係る画像生成システムは、例えば、講演会や舞台・コンサート等のイベントに好適である。講演会の場合、バーチャル空間ではバーチャル上での登壇者による発表が行われ、バーチャル上での発表の様子がバーチャル空間画像として取得される。実空間（イベント会場）では、ユーザ（来場者）をバーチャル上での登壇者と共に撮影し、撮影画像とバーチャル空間画像とを合成した合成画像をディスプレイに表示する。

舞台・コンサートの場合、バーチャル空間では演技や演奏が行われ、演技や演奏のほか、背景や演出がバーチャル空間画像として取得される。実空間（イベント会場）では、演技や演奏をしているユーザ（来場者）と共に背景や演出を撮影し、撮影画像とバーチャル空間画像とを合成した合成画像をディスプレイに表示する。

本発明を特定の態様を用いて詳細に説明したが、本発明の意図と範囲を離れることなく様々な変更が可能であることは当業者に明らかである。

１ 配信端末
２ 事業者端末
３ 画像生成装置
４ ディスプレイ

Claims (4)

1. バーチャル空間を可視化した画面であるバーチャル空間画像をリアルタイムに取得するバーチャル空間画像取得部と、
   ユーザを撮影し、撮影画像を生成する撮影部と、
   前記バーチャル空間画像と前記撮影画像とを合成して合成画像を生成する画像処理部と、
   前記合成画像を表示する表示装置と、
   を備える画像生成システム。
2. 前記画像処理部は、前記撮影画像からユーザ部分を切り出して前記バーチャル空間画像と合成する、請求項１に記載の画像生成システム。
3. 前記画像処理部は、前記バーチャル空間画像からアバターを抽出して前記撮影画と合成する、請求項１に記載の画像生成システム。
4. バーチャル空間を可視化した画面であるバーチャル空間画像をリアルタイムに取得する工程と、
   撮影部を用いてユーザを撮影し、撮影画像を生成する工程と、
   前記バーチャル空間画像と前記撮影画像とを合成して合成画像を生成する工程と、
   前記合成画像を表示装置に表示する工程と、
   を備える画像生成方法。

Images