JP2022134182A - 映像出力方法、映像出力装置および映像出力システム - Google Patents

Abstract

【課題】ユーザがイベントとの一体感を得ることができる映像出力方法、映像出力装置および映像出力システムを提供する。【解決手段】映像出力方法は、複数のユーザのそれぞれの操作を受け付け、受け付けた前記操作に基づく演出画像と演出音とを生成し、第１の映像データを受け付け、前記第１の映像データと前記演出画像とを合成して出力映像データを生成し、前記出力映像データと前記演出音とを出力する。【選択図】図３

Description

この発明の一実施形態は、映像出力方法、映像出力装置および映像出力システムに関する。

特許文献１には、ライブ演奏などを行う会場に設置されるディスプレイに会場外の視聴者の動作を反映した映像を表示するシステムが開示されている。特許文献１のシステムは、会場のライブ演奏などの映像を会場外の視聴者の視聴端末にライブ送信し、会場外の視聴者の動作に応じた映像をディスプレイに表示する。

特許文献２の配信サーバは、受信部と、判定部と、合成部と、配信部とを備える。受信部は、配信者端末から生配信用の映像データを受信する。判定部は、演出条件が満足しているか否かを判定する。合成部は、演出条件が満足している時に、映像データに対して演出データを合成し合成映像データを生成する。配信部は、合成映像データを配信者端末および観客端末へ配信する。

特許文献３には、視聴者の盛り上がり度を取得し、盛り上がり度をもとに番組コンテンツのハイライトを抽出する情報処理装置が開示されている。

特開２０１３－２１４６６号公報 特開２０１９－９２１４６号公報 特開２０１０－１６４８２号公報

この発明の一実施形態は、ユーザにイベントとの一体感を知覚させることができる映像出力方法、映像出力装置および映像出力システムを提供することを目的とする。

本発明の一実施形態に係る映像出力方法は、複数のユーザのそれぞれの操作を受け付け、受け付けた前記操作に基づく演出画像と演出音とを生成し、第１の映像データを受け付け、前記第１の映像データと前記演出画像とを合成して出力映像データを生成し、前記出力映像データと前記演出音とを出力する。

また、本発明の別の一実施形態に係る映像出力方法は、複数のユーザのそれぞれの操作を受け付け、受け付けた前記操作に基づく演出を行うデバイスを撮影した第１の映像データを受け付け、前記第１の映像データに基づく出力映像データを出力する。

本発明の一実施形態によれば、ユーザは、イベントとの一体感を得ることができる。

映像出力システム１の構成を示すブロック図である。 会場１０の平面模式図である。 イベントの様子を示す模式図である。 映像出力装置１１の構成を示すブロック図である。 ユーザ端末５１Ａの構成を示すブロック図である。 映像出力装置１１の動作を示すフローチャートである。 イベントの様子を示す模式図である。 実施形態２に係る映像出力システム１Ａの構成を示すブロック図である。 会場１０の平面模式図である。 イベントの様子を示す模式図である。 実施形態３に係る映像出力システム１Ｂの構成を示すブロック図である。 イベントの様子を示す模式図である。 第４実施形態に係る映像出力システム１Ｃの構成を示すブロック図である。

（実施形態１）
図１は、映像出力システム１の構成を示すブロック図である。映像出力システム１は、映像出力装置１１、スピーカ１２Ｌ、スピーカ１２Ｒ、表示器１４、マイク１５Ａ、マイク１５Ｂ、マイク２５、ゲーム機１７、ユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃを備えている。なお、マイクの数、スピーカの数、およびユーザ端末の数等は、本実施形態で示す数に限るものではない。

図２は、会場１０の平面模式図である。この例では、会場１０は、イベントを行う会場である。図３は、イベントの様子を示す模式図である。会場１０の正面には、表示器１４が設置されている。表示器１４の左側にはスピーカ１２Ｌが設置され、表示器１４の右側にはスピーカ１２Ｌが設置されている。

第１演者１３Ａおよび第２演者１３Ｂは、表示器１４の前でパフォーマンスを行う。この例に示すイベントはゲームイベントであり、第１演者１３Ａおよび第２演者１３Ｂは、パフォーマンスの一例としてゲーム対戦を行う。ゲーム対戦の内容は表示器１４に表示される。

マイク１５Ａは、第１演者１３Ａの音声を取得する。マイク１５Ｂは、第２演者１３Ｂの音声を取得する。また、マイク２５は、司会者２１の音声を取得する。司会者２１は、例えば実況、解説等を行う。

スピーカ１２Ｌおよびスピーカ１２Ｒは、ゲームの音、第１演者１３Ａの音声、第２演者１３Ｂの音声、および司会者２１の音を出力する。

会場１０に居るユーザ３１Ａ、ユーザ３１Ｂ、およびユーザ３１Ｃは、表示器１４に表示される映像およびスピーカ１２Ｌおよびスピーカ１２Ｒから出力される音を視聴することでイベントを楽しむ。

図４は、映像出力装置１１の構成を示すブロック図である。映像出力装置１１は、図１に示した様にスピーカ１２Ｌ、スピーカ１２Ｒ、表示器１４、マイク１５Ａ、マイク１５Ｂ、マイク２５、ゲーム機１７、ユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃに接続されている。

映像出力装置１１は、例えば汎用的なパーソナルコンピュータ等の情報処理装置からなる。映像出力装置１１は、表示器１０１、ユーザＩ／Ｆ１０２、オーディオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）１０３、信号処理部（ＤＳＰ）１０４、ネットワークＩ／Ｆ１０５、ＣＰＵ１０６、フラッシュメモリ１０７、ＲＡＭ１０８、および汎用通信Ｉ／Ｆ１０９を備えている。

ＣＰＵ１０６は、映像出力装置１１の動作を制御する制御部である。ＣＰＵ１０６は、記憶媒体であるフラッシュメモリ１０７に記憶された所定のプログラムをＲＡＭ１０８に読み出して実行することにより各種の動作を行なう。ＣＰＵ１０６は、該プログラムにより、本発明のユーザ操作受付部、映像データ受付部、映像データ生成部、演出データ生成部、および出力部を機能的に構成する。

なお、ＣＰＵ１０６が読み出すプログラムは、自装置内のフラッシュメモリ１０７に記憶する必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ１０６は、該サーバから都度プログラムをＲＡＭ１０８に読み出して実行すればよい。

オーディオＩ／Ｏ１０３は、オーディオケーブルを介してマイク１５Ａ、マイク１５Ｂ、マイク２５、スピーカ１２Ｌ、およびスピーカ１２Ｒに接続される。

ネットワークＩ／Ｆ１０５は、無線または有線でユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃに接続される。なお、マイク１５Ａ、マイク１５Ｂ、マイク２５、スピーカ１２Ｌ、およびスピーカ１２Ｒは、ネットワークＩ／Ｆ１０５を介して接続されていてもよい。

汎用通信Ｉ／Ｆ１０９は、例えばＨＤＭＩ（登録商標）あるいはＵＳＢ等の規格に準じた通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ１０９は、ゲーム機１７および表示器１４に接続される。なお、マイク１５Ａ、マイク１５Ｂ、マイク２５、スピーカ１２Ｌ、およびスピーカ１２Ｒは、汎用通信Ｉ／Ｆ１０９を介して接続されていてもよい。

信号処理部１０４は、音信号処理および映像信号処理を行なうためのＤＳＰから構成される。信号処理部１０４は、オーディオＩ／Ｏ１０３を介してマイクから受け付けた音信号と、汎用通信Ｉ／Ｆ１０９を介して受け付けたゲームの音とをミキシングする。また、信号処理部１０４は、演出音の合成処理を行う。演出音の詳細は後述する。信号処理部１０４は、信号処理後の音信号を、オーディオＩ／Ｏ１０３を介して、スピーカ１２Ｌおよびスピーカ１２Ｒに出力する。これにより、スピーカ１２Ｌおよびスピーカ１２Ｒは、ゲームの音、第１演者１３Ａの音声、第２演者１３Ｂの音声、および司会者２１の音声を再生する。なお、第１演者１３Ａの音声、第２演者１３Ｂの音声、および司会者２１の音声を再生することは本発明において必須ではない。

また、信号処理部１０４は、汎用通信Ｉ／Ｆ１０９を介してゲーム機１７からゲーム画面に係る映像信号を受け付ける。信号処理部１０４は、受け付けた映像信号に、演出画像を合成して出力映像信号を生成する。ゲーム機１７から入力される映像信号は、本発明の第１の映像データの一例である。演出画像の詳細は後述する。信号処理部１０４は、信号処理後の映像信号を、汎用通信Ｉ／Ｆ１０９を介して、表示器１４に出力する。

ユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃは、それぞれユーザ３１Ａ、ユーザ３１Ｂ、およびユーザ３１Ｃの所有する情報処理端末（例えばスマートフォンやパーソナルコンピュータ等）である。

図５は、ユーザ端末５１Ａの構成を示すブロック図である。なお、ユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃは、主たる構成は同じであり、同じ機能を実現する。したがって、図６は代表してユーザ端末５１Ａの構成を示す。

ユーザ端末５１Ａは、タッチパネルディスプレイ２０１、ＣＰＵ２０２、ＲＡＭ２０３、ネットワークＩ／Ｆ２０４、およびフラッシュメモリ２０５を備えている。

記憶媒体であるフラッシュメモリ２０５は、本実施形態の映像出力システム１に係るアプリケーションプログラムを記憶している。ＣＰＵ２０２は、当該アプリケーションプログラムをＲＡＭ２０３に読み出して、所定の機能を実現する。なお、ＣＰＵ２０２が読み出すプログラムも、自装置内のフラッシュメモリ２０５に記憶されている必要はない。例えば、プログラムは、サーバ等の外部装置の記憶媒体に記憶されていてもよい。この場合、ＣＰＵ２０２は、該サーバから都度プログラムをＲＡＭ２０３に読み出して実行すればよい。

ＣＰＵ２０２は、タッチパネルディスプレイ２０１を介してユーザのタッチ操作を受け付ける。ＣＰＵ２０２は、ユーザのタッチ操作受け付けた場合、ユーザ操作情報を、ネットワークＩ／Ｆ２０４を介して映像出力装置１１に送信する。なお、ＣＰＵ２０２は、タッチパネルディスプレイ２０１のタッチ位置の情報も受け付けてもよい。ユーザ操作情報は、タッチ位置の情報を含んでいてもよい。

図６は、映像出力装置１１のＣＰＵ１０６の動作を示すフローチャートである。ＣＰＵ１０６は、ネットワークＩ／Ｆ１０５を介して、ユーザ端末５１Ａ、ユーザ端末５１Ｂ、およびユーザ端末５１Ｃからそれぞれユーザ３１Ａ、ユーザ３１Ｂ、およびユーザ３１Ｃのユーザ操作情報を受け付ける（Ｓ１１）。

ＣＰＵ１０６は、受け付けたユーザ操作情報に基づいて演出画像と演出音を生成する（Ｓ１２）。演出画像は、例えば図３に示す様なサムズアップ画像である。演出画像は、ゲーム画面内の一部を変更する様なエフェクト画像であってもよいし、「ｇｏｏｄ」等の文字情報であってもよい。演出音は、例えば声援、拍手、呼びかけ、歓声、またはざわめき等の音である。また、演出音は、ユーザ端末５１Ａのマイク（不図示）で取得したユーザ毎の音声であってもよい。また、演出音は、「ｇｏｏｄ」等の文字を読み上げた機械音声であってもよいし、人の読み上げた音声を録音したものであってもよい。

ＣＰＵ１０６は、ゲーム画像の映像信号（第１の映像データ）を受け付けて（Ｓ１３）、該映像データに演出画像を合成して出力映像データを生成する（Ｓ１４）。そして、ＣＰＵ１０６は、出力映像データと演出音とを出力する（Ｓ１５）。

これにより、映像出力装置１１は、ユーザの操作に応じた演出画像および演出音を再生する。例えば、ユーザ３１Ａがユーザ端末５１Ａのタッチパネルディスプレイ２０１を操作すれば、表示器１４に演出画像のサムズアップ画像が表示され、スピーカ１２Ｌまたはスピーカ１２Ｒから演出音が再生される。これにより、ユーザ３１Ａは、自身の操作に応じて演出画像および演出音が再生されるため、イベントに参加していると知覚することができ、イベントとの一体感を得ることができる。

なお、映像出力装置１１は、タッチパネルディスプレイ２０１のタッチ位置に応じて演出画像の表示位置を変更してもよい。この場合、ユーザ端末５１Ａは、タッチ位置を示す情報を映像出力装置１１に送信する。例えば、ユーザがタッチパネルディスプレイ２０１の右側をタッチした場合、映像出力装置１１は、表示器１４に表示する映像の右側に演出画像を合成する。ユーザがタッチパネルディスプレイ２０１の左側をタッチした場合、映像出力装置１１は、図７に示す様に表示器１４に表示する映像の左側に演出画像を合成する。

また、ユーザがタッチパネルディスプレイ２０１の下側をタッチした場合、映像出力装置１１は、表示器１４に表示する映像の下側に演出画像を合成する。ユーザがタッチパネルディスプレイ２０１の上側をタッチした場合、映像出力装置１１は、表示器１４に表示する映像の上側に演出画像を合成する。

また、映像出力装置１１は、タッチパネルディスプレイ２０１のタッチ位置に応じて演出音の音質を変更してもよい。音質は、ピッチおよびパニングを含む。例えば、ユーザがタッチパネルディスプレイ２０１の右側をタッチした場合、映像出力装置１１は、演出音が右側に定位する様に、スピーカ１２Ｒに出力する音信号のレベルをスピーカ１２Ｌに出力する音信号のレベルより高くする。ユーザがタッチパネルディスプレイ２０１の左側をタッチした場合、映像出力装置１１は、演出音が左側に定位する様に、スピーカ１２Ｌに出力する音信号のレベルをスピーカ１２Ｒに出力する音信号のレベルより高くする。この様にして映像出力装置１１は、タッチ位置に応じてパニング処理を行い、演出音の定位を変更する。また、例えば、ユーザがタッチパネルディスプレイ２０１の下側をタッチした場合、映像出力装置１１は、演出音が低い音になる様にピッチを低くする。ユーザがタッチパネルディスプレイ２０１の上側をタッチした場合、映像出力装置１１は、演出音が高い音になる様にピッチを高くする。

これにより、ユーザは、タッチ位置を変更することで、演出画像および演出音を好きな位置および音質で再生させることができる。例えばユーザが第２演者１３Ｂを応援したい場合にはタッチパネルディスプレイ２０１の右側をタッチすれば第２演者１３Ｂの近くに演出画像および演出音が再生される。したがって、ユーザは、自身の操作に応じて応援したい演者の近くに演出画像を表示させることができる。また、ユーザは、自身の操作に応じて応援したい演者の近くに演出音を再生させることができる。これにより、ユーザは、よりイベントとの一体感を得ることができる。

演出画像および演出音は、ユーザ毎に異なってもよい。つまり、演出画像と演出音は、複数のユーザのそれぞれの操作に対応して生成された演出画像と演出音声とを含む演出情報により構成されていてもよい。例えば、映像出力装置１１は、ユーザ端末５１Ａを介して操作を受け付けた場合とユーザ端末５１Ｂを介して操作を受け付けた場合とで、異なる演出画像を表示してもよい。また、映像出力装置１１は、ユーザ端末５１Ａを介して操作を受け付けた場合とユーザ端末５１Ｂを介して操作を受け付けた場合とで、異なる演出音を再生してもよい。

（実施形態２）
次に、図８は、実施形態２に係る映像出力システム１Ａの構成を示すブロック図である。図９は、会場１０の平面模式図である。図１０は、イベントの様子を示す模式図である。映像出力システム１Ａは、映像出力システム１において、さらにカメラ１６Ａおよびカメラ１６Ｂを備えている。その他の構成は、映像出力システム１と同一である。

カメラ１６Ａは、第１演者１３Ａおよびマイク１５Ａを撮影する。カメラ１６Ｂは、第２演者１３Ｂおよびマイク１５Ｂを撮影する。映像出力装置１１は、カメラ１６Ａの撮影した第１演者１３Ａの映像を含む第２の映像データと、カメラ１６Ｂの撮影した第２演者１３Ｂの映像を含む第３の映像データと、を更に受け付ける。映像出力装置１１は、ゲーム画像（第１の映像データ）に第１演者１３Ａの映像データ（第２の映像データ）および第２演者１３Ｂの映像データ（第３の映像データ）を合成し、出力映像データを生成する。これにより、図１０に示す様に、表示器１４には、ゲーム画像に第１演者１３Ａの映像および第２演者１３Ｂの映像が合成されて表示される。図１０の例では、映像出力装置１１は、画面内の左側に第１演者１３Ａの映像を合成し、画面内の右側に第２演者１３Ｂの映像を合成している。

映像出力装置１１は、各ユーザのユーザ操作情報を受け付けた場合、受け付けたユーザ操作情報に基づいて演出画像と演出音を生成する。この時、映像出力装置１１は、複数のユーザのそれぞれの操作に対応して生成された演出画像および演出音声（演出情報）を第１演者１３Ａまたは第２演者１３Ｂに関連付ける。

例えばユーザ３１Ａがユーザ端末５１Ａのタッチパネルディスプレイ２０１の右側をタッチした場合、映像出力装置１１は、演出情報を第２演者１３Ｂに関連付ける。そして、映像出力装置１１は、ユーザ端末５１Ａのユーザ操作に応じて生成した演出画像を第２演者１３Ｂの映像の近くに合成する。また、映像出力装置１１は、ユーザ端末５１Ａのユーザ操作に応じて生成した演出音が右側に定位する様に、スピーカ１２Ｒに出力する音信号のレベルをスピーカ１２Ｌに出力する音信号のレベルより高くする。例えば図１０に示す様に、映像出力装置１１は、第２演者１３Ｂの映像の近くに、ユーザ端末５１Ａの操作に対応したサムズアップ画像を表示する。また、映像出力装置１１は、第２演者１３Ｂの映像の近くに、ユーザ端末５１Ａの操作に対応した「ｇｏｏｄ」の音を再生する。

なお、各ユーザは、ユーザ端末を用いて、自身に関連付けられる演者を予め指定してもよい。この場合、ユーザがタッチパネルディスプレイのどの位置をタッチしても、指定された演者の近くに演出画像および演出音が再生される。例えば、ユーザ３１Ｂがユーザ端末５１Ｂを用いて第１演者１３Ａと関連付けを指定した場合、映像出力装置１１は、ユーザ端末５１Ｂのユーザ操作に応じて生成した演出画像を第１演者１３Ａの映像の近くに合成する。また、映像出力装置１１は、ユーザ端末５１Ｂのユーザ操作に応じて生成した演出音が左側に定位する様に、スピーカ１２Ｌに出力する音信号のレベルをスピーカ１２Ｌに出力する音信号のレベルより高くする。この場合、ユーザ３１Ｂがユーザ端末５１Ｂのタッチパネルディスプレイ２０１のどの位置をタッチしても、映像出力装置１１は、第１演者１３Ａの映像の近くに、ユーザ端末５１Ｂに対応したサムズアップ画像を表示する。また、映像出力装置１１は、第１演者１３Ａの映像の近くに、ユーザ端末５１Ｂに対応した「ＯＫ」の音を再生する。

このように、映像出力システム１Ａは、各ユーザ操作を各演者に関連付けて演出画像および演出音を再生する。これにより、ユーザは、応援したい演者の近くに演出画像を表示させることができる。また、ユーザは、応援したい演者の近くに演出音を再生させることができる。これにより、ユーザは、よりイベントとの一体感を得ることができる。

なお、カメラは、表示器１４に表示されているゲーム対戦の内容を含む画像を取得してもよい。この場合、カメラは１つであってもよい。カメラが１つであっても、映像出力装置１１は、複数の演者とゲーム画像とを含む映像データ（第１の映像データ）を取得することができる。この場合、第１の映像データは、カメラの撮影した映像データであり、該映像にゲーム画面の映像データが含まれる。第１の映像データは演者を撮影した映像データを含んでいる。

（実施形態３）
次に、図１１は、実施形態３に係る映像出力システム１Ｂの構成を示すブロック図である。図１２は、イベントの様子を示す模式図である。映像出力システム１Ｂは、映像出力システム１Ａにおいて、さらにマイク１５Ａおよびマイク１５Ｂに代えて、マイク１５０Ａおよびマイク１５０Ｂを備えている。その他の構成は、実施形態２における映像出力システム１Ａと同一である。

マイク１５０Ａおよびマイク１５０Ｂは、それぞれマイク１５Ａおよびマイク１５Ｂの機能に加えて、さらにＬＥＤ等の表示器を備える。映像出力装置１１は、各ユーザのユーザ操作情報を受け付けた場合、受け付けたユーザ操作情報に基づいてマイク１５０Ａおよびマイク１５０ＢのＬＥＤの点灯制御を行う。すなわち、映像出力装置１１は、各ユーザのユーザ操作情報を受け付けた場合、マイク１５０Ａまたはマイク１５０ＢのＬＥＤを点灯させる。

例えば、ユーザがタッチパネルディスプレイ２０１の右側をタッチした場合、映像出力装置１１は、図１２に示す様にマイク１５０ＢのＬＥＤを点灯させる。ユーザがタッチパネルディスプレイ２０１の左側をタッチした場合、映像出力装置１１は、マイク１５０ＡのＬＥＤを点灯させる。

そして、映像出力装置１１は、第１演者１３Ａを撮影した映像データ、第２演者１３Ｂを撮影した映像データ、およびゲーム画像を含む映像データを取得する。つまり第２実施形態では、映像出力装置１１は、ユーザ操作に基づく演出を行うデバイス（マイク１５０Ａまたはマイク１５０Ｂ）を撮影した第１の映像データを受け付ける。そして、映像出力装置１１は、第１の映像データに基づく出力映像データを出力する。

これにより、第２実施形態の映像出力装置１１は、ユーザ操作に基づく演出を行うデバイス（マイク１５０Ａまたはマイク１５０Ｂ）を撮影した映像を表示器１４に表示する。したがって、ユーザは、自身の操作に応じて演出が行われるデバイスを視聴することができるため、イベントに参加していると知覚することができ、イベントとの一体感を得ることができる。

なお、各ユーザは、ユーザ端末を用いて、自身に関連付けられる演者のデバイスを予め指定してもよい。この場合、ユーザがタッチパネルディスプレイのどの位置をタッチしても、指定されたデバイスが点灯する。例えば、ユーザ３１Ｂがユーザ端末５１Ｂを用いて第１演者１３Ａのマイク１５０Ａと関連付けを指定した場合、映像出力装置１１は、ユーザ端末５１Ｂのユーザ操作に応じてマイク１５０ＡのＬＥＤを点灯する。

この場合、ユーザは、応援したい演者のマイクを点灯させることができる。これにより、ユーザは、よりイベントとの一体感を得ることができる。

なお、ユーザ操作に基づく演出を行うデバイスは、マイクのＬＥＤに限らない。例えば、各演者が使用するゲームコントローラのＬＥＤを点灯させてもよい。この場合、ゲームコントローラも、ユーザ操作に基づく演出を行うデバイスである。

なお、第３実施形態においても、カメラは、表示器１４に表示されているゲーム対戦の内容を含む画像を取得してもよい。この場合、カメラは１つであってもよい。カメラが１つであっても、映像出力装置１１は、ユーザ操作に基づく演出を行うデバイスを撮影した映像データ（第１の映像データ）を取得することができる。

なお、第３実施形態の映像出力装置１１は、ユーザ操作に応じたデバイスの演出および演出画像を表示器１４に表示してもよい。映像出力装置１１は、ユーザ操作に応じたデバイスの演出を表示器１４に表示、さらに演出音を再生してもよい。映像出力装置１１は、ユーザ操作に応じたデバイスの演出および演出画像を表示器１４に表示し、さらに演出音を再生してもよい。

また、例えば、映像出力装置１１は、ユーザ操作を受け付けた場合に全てのデバイスに対して演出を行ってもよい。

（第４実施形態）
図１３は、第４実施形態に係る映像出力システム１Ｃの構成を示すブロック図である。映像出力システム１Ｃは、配信サーバ２０、ユーザ端末５１Ｄ～５１Ｆをさらに備える。その他の構成は、実施形態１における映像出力システム１と同一である。

配信サーバ２０は、インターネットを介して映像出力装置１１に接続される。映像出力装置１１は、出力映像データおよび音データを配信サーバ２０に送信する。音データは、ゲームの音、第１演者１３Ａの音声、第２演者１３Ｂの音声、および司会者２１の音声に係る音を含む。配信サーバ２０は、出力映像データおよび音データを受信する。

ユーザ端末５１Ｄ～５１Ｆは、インターネットを介して配信サーバ２０に接続される。ユーザ端末５１Ｄ～５１Ｆは、それぞれ異なる場所の異なるユーザに利用される。ユーザ端末５１Ｄ～５１Ｆは、図５に示したユーザ端末５１Ａと同じ構成および機能を有する。

配信サーバ２０は、ユーザ端末５１Ｄ～５１Ｄに、出力映像データおよび音データを送信する。ユーザ端末５１Ｄ～５１Ｆは、それぞれ配信サーバ２０から出力映像データおよび音データを受信し、再生する。これにより、ユーザ端末５１Ｄ～５１Ｆのユーザは、それぞれ遠隔地でイベントを視聴することができる。

映像出力装置１１は、配信サーバ２０を介して、ユーザ端末５１Ｄ～５１Ｆのそれぞれのユーザ操作情報を受け付ける。映像出力装置１１は、受け付けたユーザ操作情報に基づいて演出画像と演出音を生成する。このとき、映像出力装置１１は、ユーザ端末５１Ｄ～５１Ｆのタッチパネルディスプレイ２０１のタッチ位置に応じて演出画像の表示位置を変更してもよい。また、映像出力装置１１は、ユーザ端末５１Ｄ～５１Ｆのタッチパネルディスプレイ２０１のタッチ位置に応じて演出音の音質を変更してもよい。

映像出力装置１１は、演出画像を合成した出力映像データを生成する。映像出力装置１１は、演出画像を合成した出力映像データを表示器１４および配信サーバ２０に送信する。また、映像出力装置１１は、演出音を音データに含めて配信サーバ２０に送信する。

これにより、映像出力装置１１は、遠隔地のユーザの操作に応じた演出画像および演出音を再生する。演出画像および演出音は、配信サーバ２０を介して、遠隔地のユーザ端末５１Ｄ～５１Ｆにも送信され、再生される。なお、演出音の音質を変更する場合、ユーザ端末５１Ｄ～５１Ｆがパニング処理、ピッチ変更処理を行ってもよい。

これにより、遠隔地のユーザも、自身の操作に応じて演出画像および演出音が再生されるため、イベントに参加していると知覚することができ、イベントとの一体感を得ることができる。

第４実施形態の映像出力システム１Ｃは、第１実施形態の映像出力システム１に配信サーバ２０および遠隔地のユーザ端末５１Ｄ～５１Ｆを組み合わせる例を示したが、第４実施形態は、第２実施形態または第３実施形態と組み合わせることも可能である。

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

映像出力装置１１は、同時に複数の演出画像および複数の演出音を生成してもよい。ただし、演出音の数が多くなると、ユーザは、各演出音を区別して聴くことができなくなる。そのため、演出音の数の上限は、演出画像の数の上限よりも少ないことが好ましい。

１，１Ａ，１Ｂ，１Ｃ…映像出力システム
１０…会場
１１…映像出力装置
１２Ｌ，１２Ｒ…スピーカ
１３Ａ…第１演者
１３Ｂ…第２演者
１４…表示器
１５Ａ，１５Ｂ…マイク
１６Ａ，１６Ｂ…カメラ
１７…ゲーム機
２０…配信サーバ
２１…司会者
２５…マイク
３１Ａ，３１Ｂ，３１Ｃ…ユーザ
５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ，５１Ｅ，５１Ｆ…ユーザ端末
１０１…表示器
１０２…ユーザＩ／Ｆ
１０３…オーディオＩ／Ｏ
１０４…信号処理部
１０５…ネットワークＩ／Ｆ
１０６…ＣＰＵ
１０７…フラッシュメモリ
１０８…ＲＡＭ
１０９…汎用通信Ｉ／Ｆ
１５０Ａ，１５０Ｂ…マイク
２０１…タッチパネルディスプレイ
２０２…ＣＰＵ
２０３…ＲＡＭ
２０４…ネットワークＩ／Ｆ
２０５…フラッシュメモリ

Claims (20)

1. 複数のユーザのそれぞれの操作を受け付け、
   受け付けた前記操作に基づく演出画像と演出音とを生成し、
   第１の映像データを受け付け、
   前記第１の映像データと前記演出画像とを合成して出力映像データを生成し、
   前記出力映像データと前記演出音とを出力する、
   映像出力方法。
2. 複数のユーザのそれぞれの操作を受け付け、
   受け付けた前記操作に基づく演出を行うデバイスを撮影した第１の映像データを受け付け、
   前記第１の映像データに基づく出力映像データを出力する、
   映像出力方法。
3. 前記操作に基づいて前記出力映像データ内の前記演出画像の表示位置を変更する
   請求項１に記載の映像出力方法。
4. 前記出力映像データは、複数の前記演出画像を含み、
   前記演出音は、複数の演出音を含み、
   前記演出音の数の上限は、前記演出画像の数の上限よりも少ない、
   請求項１または請求項３に記載の映像出力方法。
5. 前記操作に基づいて前記演出音の音質を決定する、
   請求項１、請求項３または請求項４に記載の映像出力方法。
6. 前記音質はピッチおよびパニングを含む
   請求項５に記載の映像出力方法。
7. 第１演者の映像を含む第２の映像データと、第２演者の映像を含む第３の映像データと、を更に受け付け、
   前記出力映像データは、さらに前記第２の映像データおよび第３の映像データを含み、
   前記演出画像と演出音は、前記複数のユーザのそれぞれの操作に対応して生成された演出画像と演出音声とを含む演出情報により構成され、
   前記演出情報は、前記第１演者または前記第２演者のいずれかに関連付けられる
   請求項１、請求項３、請求項４、請求項５または請求項６に記載の映像出力方法。
8. 前記関連付けは、前記出力映像データにおける、前記第２の映像データおよび前記第３の映像データと、前記演出情報とに基づいて決定する
   請求項７に記載の映像出力方法。
9. 前記第１の映像データは演者を撮影した映像を含む
   請求項１乃至請求項８のいずれか１項に記載の映像出力方法。
10. 複数のユーザのそれぞれの操作を受け付けるユーザ操作受付部と、
    受け付けた前記操作に基づく演出画像と演出音とを生成する演出データ生成部と、
    第１の映像データを受け付ける映像データ受付部と、
    前記第１の映像データと前記演出画像とを合成して出力映像データを生成する映像データ生成部と、
    前記出力映像データと前記演出音とを出力する出力部と、
    を備えた映像出力装置。
11. 複数のユーザのそれぞれの操作を受け付けるユーザ操作受付部と、
    受け付けた前記操作に基づく演出を行うデバイスを撮影した第１の映像データを受け付ける映像データ受付部と、
    前記第１の映像データに基づく出力映像データを出力する出力部と、
    を備えた映像出力装置。
12. 前記映像データ生成部は、前記操作に基づいて前記出力映像データ内の前記演出画像の表示位置を変更する
    請求項１０に記載の映像出力装置。
13. 複数の前記演出画像および前記演出音を含み、
    前記演出音の数の上限は、前記演出画像の上限よりも少ない、
    請求項１０または請求項１２に記載の映像出力装置。
14. 前記演出データ生成部は、前記操作に基づいて前記演出音の音質を決定する、
    請求項１０、請求項１２または請求項１３に記載の映像出力装置。
15. 前記音質はピッチおよびパニングを含む
    請求項１４に記載の映像出力装置。
16. 前記映像データ受付部は、第１演者の映像を含む第２の映像データと、第２演者の映像を含む第３の映像データと、を更に受け付け、
    前記出力映像データは、さらに前記第２の映像データおよび第３の映像データを含み、
    前記演出画像と演出音は、前記複数のユーザのそれぞれの操作に対応して生成された演出画像と演出音声とを含む演出情報により構成され、
    前記演出情報は、前記第１演者または前記第２演者のいずれかに関連付けられる
    請求項１０、請求項１２、請求項１３、請求項１４または請求項１５に記載の映像出力装置。
17. 前記関連付けは、前記出力映像データにおける、前記第２の映像データおよび前記第３の映像データと、前記演出情報とに基づいて決定する
    請求項１６に記載の映像出力装置。
18. 前記第１の映像データは演者を撮影した映像を含む
    請求項１０乃至請求項１７のいずれか１項に記載の映像出力装置。
19. 複数のユーザのそれぞれの操作を受け付けるユーザ端末と、映像出力装置と、を備えた映像出力システムであって、
    前記映像出力装置は、
    前記ユーザ端末で受け付けた前記操作に基づく演出画像と演出音とを生成し、
    第１の映像データを受け付け、
    前記第１の映像データと前記演出画像とを合成して出力映像データを生成し、
    前記出力映像データと前記演出音とを出力する、
    映像出力システム。
20. 複数のユーザのそれぞれの操作を受け付け、受け付けた前記操作に基づく演出を行うデバイスと、
    前記デバイスを撮影した第１の映像データを受け付け、前記第１の映像データに基づく出力映像データを出力する映像出力装置と、
    を備えた映像出力システム。

Images