JP2016146544A - 通信システム、配信装置及びプログラム - Google Patents

Abstract

【課題】臨場感が高まるように映像を配信することができる通信システム及び配信装置を提供する。【解決手段】複数の端末装置へ映像をストリーミング配信する配信手段と、複数の端末装置から、配信手段により配信された映像が端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信手段と、タイミング受信手段により受信されたタイミング情報が示すタイミングの数を集計する集計手段と、集計手段により集計されたタイミングの数に基づいて、映像に付加される効果を決定する決定手段と、決定手段により決定された効果を、配信手段により配信中の映像に付加する付加手段と、を備える。【選択図】図２

Description

本発明は、映像を配信するシステムの技術分野に関する。

従来、複数の端末装置にネットワークを介して映像をストリーミング配信することにより、生中継を行う技術が知られている。例えば、特許文献１には、コンサートなどをカメラで撮影して映像データを生成し、この映像データをリアルタイムで複数のユーザ装置に配信するシステムが開示されている。

特開２０１１−１０３５２２号公報

しかしながら、特許文献１に記載の技術では、端末装置を利用する視聴者による例えば拍手や声援などの動作をコンサート会場に送ることができない。従って、端末装置に配信される映像にはそのような動作が反映されないため、映像に臨場感が不足していた。

本発明は、以上の点に鑑みてなされたものであり、臨場感が高まるように映像を配信することができる通信システム及び配信装置を提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、配信装置と、ネットワークを介して配信装置に接続可能な複数の端末装置を備える通信システムにおいて、前記端末装置は、前記配信装置からストリーミング配信される映像を受信する映像受信手段と、前記映像受信手段により受信された前記映像を再生する再生手段と、前記再生手段により前記映像が再生されているとき、所定のユーザ操作を受け付ける受付手段と、前記受付手段により前記所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を前記配信装置へ送信する送信手段と、を備え、前記配信装置は、前記複数の端末装置へ前記映像をストリーミング配信する配信手段と、前記複数の端末装置から前記タイミング情報を受信するタイミング受信手段と、前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を集計する集計手段と、前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段と、前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、を備えることを特徴とする。

請求項２に記載の発明は、複数の端末装置へ映像をストリーミング配信する配信手段と、前記複数の端末装置から、前記配信手段により配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信手段と、前記タイミング受信手段により受信された前記タイミング情報が示すタイミングの数を集計する集計手段と、前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段と、前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、を備えることを特徴とする。

請求項３に記載の発明は、請求項２に記載の配信装置において、前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、前記決定手段は、前記集計手段により集計された前記タイミングの数に基づいて、前記効果の程度を決定し、前記付加手段は、前記決定手段により決定された前記程度の効果を付加することを特徴とする。

請求項４に記載の発明は、請求項３に記載の配信装置において、前記効果の程度ごとに、前記程度と、前記タイミングの数とを対応付けて予め記憶しておく記憶手段を更に備え、前記決定手段は、前記集計手段により集計された前記タイミングの数に対応する程度を、前記記憶手段に記憶された複数の程度の中から決定することを特徴とする。

請求項５に記載の発明は、請求項３又は４に記載の配信装置において、前記決定手段により決定される効果は、前記映像に付加される効果音であり、前記決定手段は、前記集計手段により集計された前記タイミングの数が多い程、大きい音量の効果音を決定することを特徴とする。

請求項６に記載の発明は、請求項２乃至５の何れか１項に記載の配信装置において、前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得し、前記決定手段は、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定することを特徴とする。

請求項７に記載の発明は、請求項２乃至６の何れか１項に記載の配信装置において、前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得し、前記決定手段は、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記効果として手拍子音を決定し、前記付加手段は、前記配信手段により配信中の前記映像に前記手拍子音を合成することを特徴とする。

請求項８に記載の発明は、請求項７に記載の配信装置において、前記付加手段は、前記決定手段により前記手拍子音が決定された場合、前記特定周期で受信されたタイミング情報が示すタイミングに対応する位相と一致する位相に対応する再生位置で、前記手拍子音を、前記配信手段により配信中の前記映像に合成することを特徴とする。

請求項９に記載の発明は、請求項２乃至８の何れか１項に記載の配信装置において、前記所定のユーザ操作のタイミングを示す第２タイミング情報を前記複数の端末装置へ配信する第２配信手段を更に備え、前記集計手段は、前記第２タイミング情報が示すタイミングから所定時間内に受け付けられた前記ユーザ操作のタイミングの数を集計することを特徴とする。

請求項１０に記載の発明は、複数の端末装置へ映像をストリーミング配信する第１配信ステップと、前記複数の端末装置から、前記第１配信ステップにより配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信ステップと、前記タイミング受信ステップにより受信された前記タイミング情報が示すタイミングの数を集計する集計ステップと、前記集計ステップにより集計された前記数に基づいて、前記映像に付加される効果を決定する決定ステップと、前記決定ステップにより決定された効果を、配信中の前記映像に付加する付加ステップと、前記付加ステップにより前記効果が付加された前記映像を前記複数の端末装置へストリーミング配信する第２配信ステップと、をコンピュータに実行させることを特徴とする。

請求項１、２、４、５又は１０に記載の発明によれば、所定のユーザ操作のタイミングの数の集計に基づいて決定された効果が映像とともに再生されるので、臨場感を高めることができる。

請求項３に記載の発明によれば、集計されたタイミングの数に基づく程度の効果が映像とともに再生されるので、複数の視聴者が盛り上がっている程度を表現することができる。

請求項６に記載の発明によれば、複数の視聴者の所定のユーザ操作がタイミングを合わせて周期的に行われているかに応じた効果を適切に決定することができる。

請求項７に記載の発明によれば、複数の視聴者の所定のユーザ操作がタイミングを合わせて周期的に行われている場合、周期的な効果として手拍子音を再生させることができる。

請求項８に記載の発明によれば、手拍子音が再生されるタイミングを、再生される映像のリズムに合わせることができる。

請求項９に記載の発明によれば、所定のユーザ操作を複数の視聴者が一斉に行うタイミングを視聴者に示すことが可能となる。また、指定されたタイミングに合った所定のユーザ操作の集計に基づく効果が映像とともに再生されるので、臨場感をより高めることができる。

本実施形態の通信システムＳＡの概要構成例を示す図である。 通信システムＳＡの動作概要の一例を示す図である。 （Ａ）は、各サンプリング周期における所定のユーザ操作のタイミングの数の一例を示すグラフである。（Ｂ）は、周波数解析により得られた各周波数帯の所定のユーザ操作の数の一例を示す図である。（Ｃ）は、所定のユーザ操作のタイミングの数の集計結果に基づいて特定される、手拍子としての所定のユーザ操作のタイミング、及び手拍子音が再生されるタイミングの例を示す図である。 配信サーバ１における手拍子音・拍手音生成処理の一例を示すフローチャートである。 クライアント端末２におけるクライアント処理の一例を示すフローチャートである。 （Ａ）は、本実施形態の通信システムＳＢの概要構成例を示す図である。（Ｂ）は、通信システムＳＢの動作概要の一例を示す図である。 配信サーバ１におけるアクションタイミングデータ配信処理の一例を示すフローチャートである。 クライアント端末２におけるクライアント処理の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．第１実施形態］
［１−１．通信システムの構成］
図１は、本実施形態の通信システムＳＡの概要構成例を示す図である。図１に示すように、通信システムＳＡは、配信サーバ１、及び複数のクライアント端末２を含んで構成される。配信サーバ１は、本発明の配信装置の一例である。クライアント端末２は、本発明の端末装置の一例である。なお、図１に示すクライアント端末の数は一例であり、この数には限定されるものではない。配信サーバ１及びクライアント端末２は、それぞれ、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。

配信サーバ１は、コンテンツを複数のクライアント端末２へストリーミング配信する。コンテンツは、映像データを少なくとも含む。この映像データは、例えば動画データである。映像データは複数の画像フレームを含む。また、コンテンツは、音声データを含んでもよい。コンテンツは、例えば、コンサート等のイベントの様子をビデオカメラで撮影したコンテンツであってもよい。

配信サーバ１は、例えばビデオカメラにより撮影されたコンテンツをビデオカメラから受信しながら、受信されたコンテンツをリアルタイムでストリーミング配信してもよい。或いは、配信サーバ１は、例えば配信サーバ１に予め記憶されたコンテンツをストリーミング配信してもよい。

クライアント端末２は、配信サーバ１からストリーミング配信されてくるコンテンツを受信する。そして、クライアント端末２は、受信されたコンテンツを再生する。これにより、クライアント端末２は、コンテンツに含まれる映像を画面に表示する。また、クライアント端末２は、コンテンツに含まれる音声を出力する。クライアント端末２の種類としては、パーソナルコンピュータ、テレビ、ＳＴＢ、携帯電話機、スマートフォン、タブレット型コンピュータ等がある。

［１−２．各装置の構成］
次に、図１を参照して、本実施形態の通信システムＳＡに含まれる各装置の構成について説明する。配信サーバ１は、図１に示すように、制御部１１、記憶部１２、及びインターフェース部１３等を備えて構成される。これらの構成要素は、バス１４に接続されている。インターフェース部１３は、ネットワークＮＷに接続される。制御部１１は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。記憶部１２は、例えばハードディスクドライブにより構成される。記憶部１２には、ＯＳ、及びサーバプログラム等が記憶されている。サーバプログラムは、コンテンツの配信処理等をＣＰＵに実行させるプログラムである。また、記憶部１２には、１又は複数のコンテンツが記憶される。

次に、クライアント端末２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、及びインターフェース部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等がある。表示部２４ａと操作部２５ａとを兼ねるタッチパネルが適用されてもよい。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。記憶部２２は、例えば、ハードディスクドライブ又はフラッシュメモリ等により構成される。記憶部２２には、ＯＳ、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツの受信及び再生処理等をＣＰＵに実行させるプログラムである。

［１−３．配信中のコンテンツへの効果の付加］
例えばコンサート等のイベントのコンテンツを視聴中のユーザは、イベントが行われる会場に観客としてユーザがいたと仮定した場合に行うような動作を行いたい場合がある。そのような動作の例として、手拍子、拍手、掛け声を掛けること、声援を送ること、足の踏みならし、所定の身振り等がある。配信サーバ１は、このような動作に対応するユーザ操作に応じた効果を配信中のコンテンツに付加する。

図２は、通信システムＳＡの動作概要の一例を示す図である。図２に示すように、配信サーバ１は、複数のクライアント端末２へコンテンツをストリーミング配信する（ステップＳ１）。クライアント端末２は、配信サーバ１からストリーミング配信されてくるコンテンツを再生する。コンテンツの再生中、クライアント端末２は、ユーザから操作部２５ａに対する所定のユーザ操作を受け付ける。ユーザは、例えばユーザが望むタイミングで所定のユーザ操作を行うことができる。所定のユーザ操作は、例えば、操作部２５ａを構成する所定のキー、ボタン等を押す操作等であってもよいし、表示部２４ａに表示されている所定のキー、ボタンを選択する操作等であってもよい。所定のユーザ操作は、例えばユーザによる所定の動作が行われたことを示す操作である。上述したように、所定の動作は、例えばイベントが行われる会場にユーザがいたと仮定した場合にユーザが行うような動作であってもよい。例えば、所定の動作は、コンテンツの再生によって表示部２４ａに表示された映像及びスピーカ２６ａから出力された音声の少なくとも何れか一方に対するリアクションであってもよい。本実施形態においては、所定の動作は、ユーザの手を打ち鳴らすことである。例えば、ユーザが拍手したい場合、ユーザは所定のユーザ操作を小刻みに連続して行う。また例えば、ユーザが手拍子を取りたい場合、ユーザは例えば所定の周期で所定のユーザ操作を行う。例えば、表示部２４ａに表示される映像のリズムに合わせて又はスピーカ２６ａから出力される音声のリズムに合わせて、ユーザは所定のユーザ操作を行うことができる。

クライアント端末２は、所定のユーザ操作を受け付けたとき、そのユーザ操作を受け付けたタイミングを示すアクションデータを配信サーバ１へ送信する（ステップＳ２）。アクションデータは、本発明のタイミング情報の一例である。ユーザ操作を受け付けたタイミングは、例えばコンテンツの再生位置で示されてもよい。コンテンツの再生位置は、例えばコンテンツの再生が開始してから経過した時間で示される。

配信サーバ１は、コンテンツの配信中、複数のクライアント端末２のうち所定のユーザ操作を受け付けたクライアント端末２からアクションデータを受信する。配信サーバ１は、受信されたアクションデータが示す所定のユーザ操作のタイミングの数を集計する（ステップＳ３）。集計された所定のユーザ操作のタイミングの数を、集計数ともいう。配信サーバ１は、集計された所定のユーザ操作のタイミングの数に基づいて、配信中のコンテンツに付加される効果を決定する。コンテンツに付加される効果の例として、音声、映像、映像効果等がある。本実施形態において、配信サーバ１は、コンテンツに付加される効果として効果音を決定する。具体的に、配信サーバ１は、効果音として手拍子音及び拍手音の少なくとも何れか一方を決定する。手拍子音は、手拍子を示す効果音である。拍手音は、拍手を示す効果音である。そして、配信サーバ１は、決定した手拍子音又は拍手音を生成する（ステップＳ４）。

配信サーバ１は、決定された効果を、配信中のコンテンツに付加する。そして、決定された効果が付加されたコンテンツを複数のクライアント端末２へ配信する（ステップＳ５）。クライアント端末２は、決定された効果が付加されたコンテンツを受信して再生する。これにより、クライアント端末２は、決定された効果が付加された映像を表示部２４ａに表示し、又は決定された効果としての音声をスピーカ２６ａにより出力させる。そのため、再生されるコンテンツの臨場感を高めることができる。本実施形態においては、クライアント端末２は、手拍子音及び拍手音の少なくとも何れか一方をスピーカ２６ａにより出力させる。

次に、配信中のコンテンツに手拍子音及び拍手音を付加する場合の、所定のユーザ操作の数の集計方法、手拍子音及び拍手音の生成方法、及び手拍子音及び拍手音の付加方法の詳細を説明する。

例えば制御部１１は、所定のサンプリング周期ごとに、所定のユーザ操作のタイミングの数を集計する。具体的に、サンプリング周期がＳであり、コンテンツの再生開始からｎ周期目の所定のユーザ操作の数を集計するとする。この場合、制御部１１は、ｎ（Ｓ−１）秒からｎＳ秒までの範囲に含まれるタイミングを示すアクションデータの数を集計する。図３（Ａ）は、各サンプリング周期における所定のユーザ操作のタイミングの数の一例を示すグラフである。

制御部１１は、各サンプリング周期で集計されたタイミングの数に基づいて、長さの異なる複数の周期のタイミングのそれぞれで行われた所定のユーザ操作の数を取得する。具体的に、制御部１１は、各サンプリング周期で集計されたタイミングの数をフーリエ変換等により周波数解析して、周波数分布を生成する。すなわち、制御部１１は、複数の周波数帯のそれぞれの振幅を取得する。各周波数帯の振幅は、その周波数帯の代表値の逆数である周期のタイミングで行われた所定のユーザ操作の数に対応する。図３（Ｂ）は、周波数解析により得られた各周波数帯の所定のユーザ操作の数の一例を示す図である。

制御部１１は、長さの異なる複数の周期のうち、所定のユーザ操作の数が最も多い周期を特定周期として特定する。そして、制御部１１は、特定周期のタイミングで行われた所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、コンテンツに付加される効果音として、特定周期で行われる手拍子を示す手拍子音を決定する。一方、特定周期のタイミングで行われた所定のユーザ操作の数が、所定条件を満たす程度以上多くはない場合、コンテンツに付加される効果音として拍手音を決定する。

手拍子は、基本的に一定の周期で手を打ち鳴らす行為である。複数のユーザが手拍子を取りたい場合、例えばクライアント端末２が表示する映像又は出力する音声のリズムに合わせて、一定の周期で所定のユーザ操作を行う。従って、複数のユーザの間で、所定のユーザ操作を行う周期及びタイミングが略一致する。そのため、集計された所定のユーザ操作の数を周波数分析すると、特定の周波数帯の振幅がその他の周波数帯の振幅と比較して顕著に大きくなる。一方、複数のユーザが拍手を送りたい場合、各ユーザは、クライアント端末２が表示する映像又は出力する音声のリズムとは無関係な周期で、所定のユーザ操作を行う。このとき、所定のユーザ操作を行う周期はユーザによって異なる。また、所定のユーザ操作を行うタイミングもユーザによって異なる。従って、複数のユーザ全体で見ると、所定のユーザ操作を行う間隔は非周期的である。そのため、集計された所定のユーザ操作の数を周波数分析すると、全体的に振幅が均一になる傾向にある。

所定条件を満たす程度は、例えば特定周期のタイミングで行われた所定のユーザ操作の数と、特定周期以外の周期のタイミングで行われた所定のユーザ操作の数との相対的な関係に基づいて定められる。例えば、所定条件を満たす程度以上であることは、特定周期の所定のユーザ操作の数を全ての周期の所定のユーザ操作の数で割ることにより計算される割合が、所定の基準割合以上であることであってもよい。或いは、制御部１１は、所定のユーザ操作の数が２番目に多い周期を第２周期として特定してもよい。そして、所定条件を満たす程度以上とは、例えば特定周期の所定のユーザ操作の数を第２周期の所定のユーザ操作の数で割ることにより計算される比率が、所定の基準比率以上であることであってもよい。図３（Ｂ）においては、２Ｈｚの周波数帯の振幅が他の周波数帯の振幅と比較して顕著に大きい。そのため、例えば０．５秒が特定周期に決定される。

制御部１１は、各サンプリング周期で集計されたタイミングの数に基づいて、コンテンツに付加される効果の程度を決定してもよい。コンテンツに付加される効果の程度の例として、効果の強さ、量、数、大きさ等がある。具体的に、制御部１１は、集計数が多いほど、コンテンツに付加される効果の程度を大きくする。本実施形態においては、制御部１１は、例えば手拍子音や拍手音の程度として、例えば音量を決定してもよいし、手拍子音や拍手音の数を決定してもよい。手拍子音や拍手音の数は、例えば手拍子や拍手を行う人数に相当する。例えばコンテンツに付加される効果として手拍子音を決定した場合、制御部１１は、特定周期の所定のユーザ操作の数が多いほど、手拍子音の音量を大きくし、又は手拍子音の数を多くしてもよい。また例えば、コンテンツに付加される効果として拍手音を決定した場合、制御部１１は、全ての周期の所定のユーザ操作の数の合計又は平均が多いほど、拍手音の音量を大きくし、又は手拍子音の数を多くしてもよい。

例えば、記憶部１２には、効果の程度ごとに、効果の程度と所定のユーザ操作のタイミングの数とを対応付けて格納している程度決定テーブルが予め記憶されてもよい。制御部１１は、所定のユーザ操作のタイミングの数に対応する効果の程度を、程度決定テーブルに格納されている複数の程度の中から決定してもよい。

コンテンツに付加される効果の程度を決定すると、制御部１１は、決定した程度の効果を生成する。例えば、制御部１１は、コンテンツに付加される効果の程度として決定した音量の効果音を生成してもよい。また、制御部１１は、コンテンツに付加される効果の程度として決定した人数分の効果音を生成してもよい。制御部１１は、生成した複数の効果音を合成して、コンテンツに付加される合成効果音を生成してもよい。複数の手拍子音を合成して合成手拍子音を生成するとき、制御部１１は、各手拍子音が示す手拍子のタイミングが一致するように合成手拍子音を生成してもよい。このとき、制御部１１は、それぞれの手拍子のタイミングが互いに若干ずれるように合成手拍子音を生成してもよい。複数の拍手音を生成するとき、制御部１１は、例えば各拍手音について、拍手の周期を互いに異なる周期に決定してもよい。制御部１１は、それぞれ決定した周期で行われる拍手を示す拍手音を生成してもよい。制御部１１は、生成した複数の拍手音を合成して合成拍手音を生成してもよい。このとき、制御部１１は、それぞれの拍手のタイミングが互いにずれるように合成拍手音を生成してもよい。こうして、制御部１１は、非周期的に手が打ち鳴らされる音を示す合成拍手音を生成する。

コンテンツに付加される効果として拍手音が決定された場合であっても、特定周期以外の周期で、或る程度の所定のユーザ操作の数が取得されることがある。すなわち、多くのユーザは手拍子として所定のユーザ操作を行っているものの、或る程度の人数のユーザは、拍手として所定のユーザ操作を行っている蓋然性がある。そこで、制御部１１は、特定周期の所定のユーザ操作の数に基づいて、手拍子音を生成するとともに、特定周期の周期以外の周期の所定のユーザ操作の数に基づいて、拍手音を生成してもよい。例えば、制御部１１は、特定周期以外の周期の所定のユーザ操作の数の合計又は平均が多いほど、拍手音の音量を大きくし、又は拍手を行う人数を多くしてもよい。そして、制御部１１は、生成された手拍子音及び拍手音を合成して、コンテンツに付加される効果音を生成してもよい。

制御部１１は、決定された効果を、配信中のコンテンツに付加する。本実施形態においては、制御部１１は、手拍子音及び拍手音の少なくとも何れか一方をコンテンツに合成する。

ところで、ユーザは、例えば配信サーバ１から受信されたコンテンツを再生することによりクライアント端末２が表示した映像又は出力した音声のリズムに従って、手拍子としての所定のユーザ操作を行う。従って、制御部１１は、所定のユーザ操作が行われたタイミングに対応する再生位置と全く同じ再生位置で手拍子音がユーザ端末２により再生されるように、手拍子音をコンテンツに付加することはできない。また例えば、制御部１１が、手拍子音が直ちに再生されるように手拍子音をコンテンツに合成したとしても、実際に所定のユーザ操作が行われたタイミングから手拍子音が再生されるまでにずれが生じる。そこで、制御部１１は、手拍子音の再生を開始する位置を特定周期分遅延させて手拍子音をコンテンツに付加する。例えば、制御部１１は、各サンプリング周期で集計されたタイミングの数をフーリエ変換等により周波数解析して、特定周期の位相遅延を計算してもよい。制御部１１は、例えば計算した位相遅延に基づいて、特定周期の正弦波の関数を取得し、この関数が極値となる位相を、手拍子が行われる位相として特定してもよい。この位相は、特定周期で行われた所定のユーザ操作のタイミングに基本的に対応する。制御部１１は、例えば特定された位相と同位相となる再生位置のうち、現在の再生位置よりも前の再生位置であって、且つ現在の再生位置に最も近い再生位置を特定してもよい。そして特定した再生位置に特定周期を加算して、手拍子音の再生開始位置を計算してもよい。再生開始位置に対応する位相も、特定された位相と同位相となる。制御部１１は、計算した再生開始位置で手拍子音をコンテンツに合成する。これにより、クライアント端末２は、クライアント端末２が表示した映像又は出力した音声のリズムに合わせて、手拍子音を出力することができる。

図３（Ｃ）は、所定のユーザ操作のタイミングの数の集計に基づいて特定される所定のユーザ操作のタイミング、及び手拍子音が再生されるタイミングの例を示す図である。特定周期をＴとし、集計結果に基づいて特定される所定のユーザ操作のタイミングがｔ０秒であるとする。この場合、制御部１１は、例えばｔ０＋Ｔ秒を手拍子音の再生開始位置に決定する。そのため、ｔ０からＴ秒経過するごとに、手拍子音が出力される。このように、制御部１１は、手拍子音が再生されるタイミングを、その手拍子音に対応する所定のユーザ操作が行われた後に行われる次の所定のユーザ操作のタイミングに合わせることができる。例えば、或るユーザが所定の周期で所定のユーザ操作を行う。制御部１１は、例えばこの周期を特定周期に決定したとする。制御部１１は、特定周期でクライアント端末２から受信されたアクションデータが示すタイミングに対応する位相と一致する位相に対応する再生位置で、手拍子音をコンテンツに合成してコンテンツを複数のクライアント端末２に配信する。各クライアント端末２は、コンテンツを再生することにより、手拍子音を出力する。他のユーザは、手拍子音が出力されるタイミングに合わせて、所定のユーザ操作を行う。従って、略同一のタイミングを示すアクションデータを配信サーバ１が受信する数が次第に大きくなる。そのため、クライアント端末２で再生される手拍子音が次第に大きくなる。

なお、制御部１１は、周波数分布に基づいて、例えば２以上の周期の所定のユーザ操作の数がそれぞれ所定条件を満たす程度以上多い場合、その２以上の周期を特定周期に決定してもよい。そして、制御部１１は、例えば２以上の特定周期のそれぞれで行われる手拍子を示す手拍子音をそれぞれ生成してもよい。この場合、制御部１１は、複数の特定周期を特定した場合、例えばこれらの特定周期の最小公倍数を基本周期として計算してもよい。制御部１１は、各特定周期について、手拍子が行われる位相を特定する。制御部１１は、例えば特定周期ごとに、特定した位相と同位相となる再生位置のうち、現在の再生位置よりも前の再生位置であって、且つ現在の再生位置に最も近い再生位置を特定する。そして、制御部１１は、特定周期ごとに、特定した再生位置に基本周期を加算して、その特定周期の手拍子音の再生開始位置を計算する。複数の特定周期の手拍子のタイミングは基本周期が経過するごとに一致するものと考えられる。全て特定周期の手拍子音の再生開始位置が、実際の所定のユーザ操作が受け付けられたタイミングから基本周期分遅延する。従って、複数の特定周期の間で手拍子音が再生されるタイミングを合わせることができる。

なお、拍手音を生成した場合、制御部１１は、例えば拍手音が直ちに再生される再生位置で拍手音をコンテンツに合成してもよい。

手拍子、拍手、声援、歓声など、各ユーザが実際に発した音声をそのままコンテンツに合成した場合と比較した本実施形態の効果を説明する。例えば、クライアント端末２に接続されたマイクにより、ユーザが発した音声を音声データに変換して、クライアント端末２は音声データをリアルタイムで配信サーバ１に送信するものと仮定する。配信サーバ１は、各クライアント端末２から受信した音声データを合成する。そして、配信サーバ１は、合成された音声データを配信中のコンテンツに合成する。クライアント端末２の数が多くなるほど、配信サーバ１が合成すべき音声データの数が多くなる傾向があるので、配信サーバ１の合成処理の負荷が増大する。また、ユーザは不要な音声や不適切な音声を発する場合もある。このような音声もコンテンツに付加されてクライアント端末２に配信されてしまう。これに対して、本実施形態によれば、配信サーバ１は、複数のクライアント端末２から受信されたアクションデータが示すタイミングの数の集計に基づいて、配信中のコンテンツに付加される効果音を生成する。タイミングの数の集計処理の負荷は、複数のクライアント端末２から受信される音声データの合成処理の負荷よりも小さい。従って、配信サーバ１の処理負荷を軽減させることができる。また、所定のユーザ操作が受け付けられた場合に、ユーザ端末２はアクションデータを送信する。所定のユーザ操作は、例えば手を打ち鳴らすなどの所定の動作に対応付けられている。従って、配信サーバ１は、アクションデータが示すタイミングの数の集計に基づいて、所定の動作に対応する効果音のみを、配信中のコンテンツに付加される効果音として決定することができる。

［１−４．通信システムＳＡの動作］
次に、図４及び図５を参照して、本実施形態の通信システムＳＡの動作について説明する。図４は、配信サーバ１における手拍子音・拍手音生成処理の一例を示すフローチャートである。配信サーバ１の制御部１１は、例えば記憶部１２に記憶されたコンテンツのストリーミング配信を開始する。制御部１１は、コンテンツに含まれる映像データ及び音声データを順次複数のクライアント端末２へ送信する。ストリーミング配信を開始するとき、制御部１１は、例えば、再生位置としての現在時刻を０にリセットする。また、制御部１１は、手拍子音・拍手音生成処理の実行を開始する。

図４に示すように、制御部１１は、現在時刻に、記憶部１２に予め記憶されている集計間隔を加算して、集計時刻を計算する（ステップＳ１１）。集計間隔は、所定のユーザ操作のタイミングの数を集計する間隔である。例えば、集計間隔は、所定のユーザ操作のタイミングの数のサンプリング周期よりも長い。また、制御部１１は、集計リストを初期化する。例えば、制御部１１は、コンテンツの再生開始から再生終了までサンプリング周期間隔で設定された各再生位置を集計リストに登録する。また、制御部１１は、再生位置ごとに、集計数としての０を集計リストに登録する。

次いで、制御部１１は、コンテンツの配信が終了するか否かを判定する（ステップＳ１２）。このとき、制御部１１は、コンテンツの配信が終了しないと判定した場合には（ステップＳ１２：ＮＯ）、ステップＳ１３に進む。ステップＳ１３において、制御部１１は、少なくとも１つのクライアント端末２からアクションデータを受信したか否かを判定する（ステップＳ１３）。このとき、制御部１１は、少なくとも１つのクライアント端末２からアクションデータを受信したと判定した場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進む。一方、制御部１１は、何れのクライアント端末２からもアクションデータを受信していないと判定した場合には（ステップＳ１３：ＮＯ）、ステップＳ１５に進む。

ステップＳ１４において、制御部１１は、受信されたアクションデータに基づいて、集計数を更新する。具体的に、制御部１１は、アクションデータが示すタイミングに対応する再生位置を、集計リストから検索する。そして、制御部１１は、検索された再生位置に対応する集計数に１を加算する。制御部１１は、このような集計数を更新する処理を、受信したアクションデータごとに実行する。そして、制御部１１は、ステップＳ１５に進む。

ステップＳ１５において、制御部１１は、現在時刻が集計時刻以降であるか否かを判定する。このとき、制御部１１は、現在時刻が集計時刻以降ではないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ１２に進む。一方、制御部１１は、現在時刻が集計時刻以降であると判定した場合には（ステップＳ１５：ＹＥＳ）、ステップＳ１６に進む。

ステップＳ１６において、制御部１１は、過去の一定期間における集計数を周波数解析して、周波数分布を生成する。この一定期間の長さは集計間隔よりも長い。具体的に、制御部１１は、現在時刻の所定時間前から現在時刻までの期間内にある全再生位置を、集計リストから検索する。そして、制御部１１は、検索した再生位置に対応して集計リストに登録されている集計数を周波数解析する。制御部１１は、周波数解析の結果、複数の周波数帯のうち振幅が最も大きい特定周波数帯を特定する。次いで、制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きいか否かを判定する（ステップＳ１７）。例えば、制御部１１は、特定周波数帯の振幅を全周波数帯の振幅の合計で割ることにより、特定周波数帯の振幅の割合を計算してもよい。そして、制御部１１は、計算した割合が、記憶部１２に予め記憶されている基準割合以上である場合、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。或いは、制御部１１は、例えば複数周波数帯のうち振幅が２番目に大きい第２周波数帯を特定してもよい。次いで、制御部１１は、特定周波数帯の振幅を第２周波数帯の振幅で割ることにより比率を計算してもよい。そして、制御部１１は、計算した比率が、記憶部１２に予め記憶されている基準比率以上である場合、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。或いは、制御部１１は、計算した割合が基準割合以上であり、且つ計算した比率が基準比率以上である場合にのみ、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定した場合には（ステップＳ１７：ＹＥＳ）、ステップＳ１８に進む。一方、制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きくはないと判定した場合には（ステップＳ１７：ＮＯ）、ステップＳ２２に進む。

ステップＳ１８において、制御部１１は、特定周波数帯の代表値の逆数を、特定周期として計算する。そして、制御部１１は、特定周波数帯の振幅、及び特定周期に基づいて、合成手拍子音を生成する。例えば、制御部１１は、特定周波数帯の振幅に基づいて、手拍子音の数を決定してもよい。また、制御部１１は、例えば特定周波数帯の振幅に基づいて、各手拍子音の音量を決定してもよい。制御部１１は、例えば記憶部１２に記憶された手拍子音用の程度決定テーブルに基づいて、音量や数を決定してもよい。制御部１１は、例えば、決定した音量の手拍子が特定周期のタイミングで行われる手拍子音を、決定した数生成する。このとき、制御部１１は、例えば手拍子音の長さを集計間隔と一致させてもよいし、手拍子音の長さを集計間隔未満にしてもよい。制御部１１は、生成した手拍子音を合成して合成手拍子音を生成する。

次いで、制御部１１は、例えば特定周波数帯以外の周波数帯の振幅の平均値を計算する。そして、制御部１１は、計算した平均値に基づいて、合成拍手音を生成する（ステップＳ１９）。例えば、制御部１１は、振幅の平均に基づいて、拍手音の数を決定してもよい。また、制御部１１は、例えば振幅の平均に基づいて、各拍手音の音量を決定してもよい。制御部１１は、例えば記憶部１２に記憶された拍手音用の程度決定テーブルに基づいて、音量や数を決定してもよい。制御部１１は、例えば、決定した音量の拍手音を、決定した数生成する。制御部１１は、生成した拍手音を合成して合成拍手音を生成する。

次いで、制御部１１は、手拍子音の再生開始位置を決定する（ステップＳ２０）。例えば、制御部１１は、過去の一定期間における集計数を周波数解析して、特定周波数帯の位相遅延を計算する。制御部１１は、計算した位相遅延に基づいて、特定周期の正弦波の関数が極値となる位相を、手拍子が行われる位相として特定する。そして、制御部１１は、例えば、特定した位相と同一位相となる再生位置を、手拍子音の再生開始位置として決定する。

次いで、制御部１１は、決定された再生開始位置で合成手拍子音の再生が開始されるよう合成手拍子音を、配信中のコンテンツに含まれる音声データに合成する。制御部１１は、更に合成拍手音を、配信中のコンテンツに含まれる音声データに合成する（ステップＳ２１）。

ステップＳ２２において、制御部１１は、例えば全周波数帯の振幅の平均値を計算する。そして、制御部１１は、計算した平均値に基づいて、合成拍手音を生成する（ステップＳ２２）。合成拍手音の具体的な生成方法は、ステップＳ１９と同様である。次いで、制御部１１は、生成した合成拍手音を、配信中のコンテンツに含まれる音声データに合成する（ステップＳ２３）。次いで、制御部１１は、ステップＳ２４に進む。

ステップＳ２４において、制御部１１は、集計時刻に集計間隔を加算することにより、集計時刻を更新する。次いで、制御部１１は、ステップＳ１２に進む。ステップＳ１２において、制御部１１は、コンテンツの配信が終了すると判定した場合には（ステップＳ１２：ＹＥＳ）、手拍子音・拍手音生成処理を終了させる。

図５は、クライアント端末２におけるクライアント処理の一例を示すフローチャートである。クライアント端末２が配信サーバ１からストリーミング配信されてきたコンテンツの受信を開始すると、制御部２１は、クライアント処理の実行を開始する。図５に示すように、制御部２１は、コンテンツの再生が終了するか否かを判定する（ステップＳ３１）。このとき、制御部２１は、コンテンツの再生が終了しないと判定した場合には（ステップＳ３１：ＮＯ）、ステップＳ３２に進む。ステップＳ３２において、制御部２１は、受信したコンテンツを再生する（ステップＳ３２）。具体的に、制御部２１は、コンテンツに含まれる映像データの画像フレームを順次映像制御部２４に出力することにより、表示部２４ａにより映像を表示させる。また、制御部２１は、コンテンツに含まれる音声データを音声制御部２６に出力することにより、スピーカ２６ａから音声を出力させる。また、制御部２１は、コンテンツの再生位置を更新する。

次いで、制御部２１は、操作部２５ａを介して所定のユーザ操作が受け付けられたか否かを判定する（ステップＳ３３）。このとき、制御部２１は、所定のユーザ操作が受け付けられていないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、所定のユーザ操作が受け付けられたと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３４に進む。ステップＳ３４において、制御部２１は、現在の再生位置を、所定のユーザ操作が受け付けられたタイミングとして取得する。そして、制御部２１は、所定のユーザ操作が受け付けられたタイミングを示すアクションデータを配信サーバ１へ送信する。次いで、制御部２１は、ステップＳ３１に進む。ステップＳ３１において、制御部２１は、コンテンツの再生が終了すると判定した場合には（ステップＳ３１：ＹＥＳ）、クライアント処理を終了させる。

以上説明したように、本実施形態によれば、配信サーバ１が、複数のクライアント端末２から受信されたアクションデータが示すタイミングの数を集計する。また、配信サーバ１が、集計されたタイミングの数に基づいて効果を決定する。そして、配信サーバ１が、決定された効果を配信中のコンテンツに付加する。そのため、ユーザの所定の操作のタイミングに基づいて決定された効果が映像とともに再生されるので、臨場感を高めることができる。

［２．第２実施形態］
［２−１．通信システムの構成］
次に、図６（Ａ）を参照して、本発明の実施形態の通信システムＳＢの概要構成について説明する。図６（Ａ）は、本実施形態の通信システムＳＢの概要構成例を示す図である。図６（Ａ）において、図１と同様の要素については同様の符号が付されている。図６（Ａ）に示すように、通信システムＳＢは、配信サーバ１、複数のクライアント端末２、ビデオカメラ３、及びタイミング検知部４を含んで構成される。配信サーバ１及びクライアント端末２は、それぞれ、ネットワークＮＷに接続される。配信サーバ１とビデオカメラ３は、有線又は無線により接続される。また、配信サーバ１とタイミング検知部４は、有線又は無線により接続される。

ビデオカメラ３は、例えばイベントなどの様子を撮影するための撮影機器である。ビデオカメラ３は、例えば音声を入力するためのマイクを含む。ビデオカメラ３は、撮影された映像に対応する映像データを生成するともに、入力された音声に対応する音声データを生成する。そして、ビデオカメラ３は、映像の撮影及び音声の記録を実行しながら、生成した映像データ及び音声データをリアルタイムで配信サーバ１へ送信する。

配信サーバ１は、ビデオカメラ３から送信されてくる映像データ及び音声データを含むコンテンツを記憶部１２に記録しながら、記録されたコンテンツをリアルタイムで複数のクライアント端末２へストリーミング配信する。

タイミング検知部４は、クライアント端末２のユーザが所定の操作を行うべきタイミングを検知する入力装置である。タイミング検知部４は、例えば、キー、ボタン、ビデオカメラ、又はマイク等を含んで構成されてもよい。例えばイベントのスタッフ、出演者、主催者等がタイミング検知部４を操作したタイミングを、タイミング検知部４は、所定の操作を行うべきタイミングとして検知してもよい。或いは、タイミング検知部４は、例えばマイクから入力された出演者等の音声を解析してもよい。そして、タイミング検知部４は、出演者等が所定の言葉又は音声を発したタイミングを、所定の操作を行うべきタイミングとして検知してもよい。或いは、タイミング検知部４は、例えばビデオカメラにより撮影された出演者等の映像を解析してもよい。そして、タイミング検知部４は、映像の解析結果に基づいて出演者等が所定の動作を行ったと判定したタイミングを、所定の操作を行うべきタイミングとして検知してもよい。所定の操作を行うべきタイミングを検知すると、タイミング検知部４は、検知信号を配信サーバ１へ送信する。

［２−２．所定のユーザ操作のタイミングの集計］
本実施形態において、配信サーバ１は、複数のクライアント端末２のユーザが行った所定のユーザ操作のうち、イベントのスタッフ等が決定したタイミングに合わせて行われたユーザ操作のタイミングの数のみを集計する。

図６（Ｂ）は、通信システムＳＢの動作概要の一例を示す図である。ビデオカメラ３が撮影を開始することにより、ビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始されると、配信サーバ１は、映像データ及び音声データを含むコンテンツの記録を開始する。そして、コンテンツの記録を開始してから所定の緩衝時間が経過すると、配信サーバ１は、記録したコンテンツのストリーミング配信を開始する。

例えば、イベントのスタッフ等がタイミング検知部４を操作すると、タイミング検知部４は、検知信号を配信サーバ１へ送信する。配信サーバ１は、検知信号を受信すると、所定のユーザ操作を行うべきタイミングを示すアクションタイミングデータを生成する。アクションタイミングデータは、本発明の第２タイミング情報の一例である。所定のユーザ操作を行うべきタイミングは、例えば検知信号が受信されたタイミングである。このタイミングは、例えばコンテンツの記録位置で示される。コンテンツの記録位置は、例えばビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始してから経過した時間で示される。アクションタイミングデータは、更にタイミング到来情報を含む。タイミング到来情報は、所定のユーザ操作を行うタイミングが到来することを予告する画像、動画、又はメッセージ等であってもよい。タイミング到来情報は、クライアント端末２により表示される。例えば、タイミング到来情報は、所定の操作のタイミングを示す第１のマークが、静止している第２のマークに向かって移動していく動画であってもよい。この動画は、例えば第１のマークが第２のマークに到達することによって、所定の操作を行うべきタイミングが到来したことを示す動画である。配信サーバ１は、コンテンツのストリーミング配信を行いながら、生成したアクションタイミングデータを、コンテンツの配信先の複数のクライアント端末２へ配信する（ステップＳ４１）。

クライアント端末２は、アクションタイミングデータを受信すると、コンテンツに含まれる映像を表示しながら、タイミング到来情報を表示部２４ａに表示する（ステップＳ４２）。コンテンツの記録位置は、配信中のコンテンツの再生位置よりも、緩衝時間分未来にずれている。従って、クライアント端末２は、アクションタイミングデータが示すタイミングよりも早いタイミングで、タイミング到来情報の表示を開始することができる。ユーザは、タイミング到来情報を見た後に、所定のユーザ操作を行うことになる。従って、ユーザは、アクションタイミングデータが示すタイミングに合わせて、所定のユーザ操作を行うことができる。クライアント端末２は、例えばアクションタイミングデータが示すタイミングよりも所定時間前の再生位置で、タイミング到来情報を出力してもよい。

クライアント端末２は、所定のユーザ操作に基づいてアクションデータを配信サーバ１へ送信する（ステップＳ４３）。配信サーバ１は、送信したアクションタイミングデータが示すタイミングに合ったアクションデータのみを集計する（ステップＳ４４）。例えば、クライアント端末２が、所定のユーザ操作が受け付けられたタイミングが、受信したアクションタイミングデータが示すタイミングから前後所定時間以内である場合にのみ、アクションデータを配信サーバ１へ送信してもよい。或いは、配信サーバ１が、受信したアクションデータが示すタイミングのうち、生成したアクションタイミングデータが示すタイミングから前後所定時間以内であるタイミングの数のみを集計してもよい。

［２−３．通信システムＳＢの動作］
次に、図７及び図８を参照して、本実施形態の通信システムＳＢの動作について説明する。図７及び図８が示す例は、クライアント端末２が、アクションタイミングデータが示すタイミングに合ったアクションデータのみを配信サーバ１へ送信する場合の処理例である。なお、手拍子音・拍手音生成処理は、図４に示す処理と同様であってもよい。図７は、配信サーバ１におけるアクションタイミングデータ配信処理の一例を示すフローチャートである。ビデオカメラ３が撮影を開始することにより、ビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始されると、制御部１１は、記録位置としての現在時刻を０にリセットする。また、制御部１１は、アクションタイミングデータ配信処理の実行を開始する。

図７に示すように、制御部１１は、緩衝時間分の映像データ及び音声データを含むコンテンツを記憶部１２に記憶させると、コンテンツの配信が終了するか否かを判定する（ステップＳ５１）。このとき、制御部１１は、コンテンツの配信が終了しないと判定した場合には（ステップＳ５１：ＮＯ）、ステップＳ５２に進む。ステップＳ５２において、制御部１１は、ビデオカメラ３から送信されてきた映像データ及び音声データを含むコンテンツを記憶部１２に記憶する。また、制御部１１は、記憶部１２に記憶されたコンテンツを複数のクライアント端末２へストリーミング配信する。

次いで、制御部１１は、タイミング検知部４に対する操作が検知されたか否かを判定する（ステップＳ５３）。このとき、制御部１１は、タイミング検知部４に対する操作が検知されていないと判定した場合には（ステップＳ５３：ＮＯ）、ステップＳ５１に進む。一方、制御部１１は、タイミング検知部４に対する操作が検知されたと判定した場合には（ステップＳ５３：ＹＥＳ）、ステップＳ５４に進む。ステップＳ５４において、制御部１１は、現在の記録位置を、所定のユーザ操作を行うべきタイミングとして取得する。そして、制御部１１は、取得したタイミングを示すアクションタイミングデータを、コンテンツの配信先の複数のクライアント端末２へ配信する。次いで、制御部１１は、ステップＳ５１に進む。ステップＳ５１において、制御部１１は、コンテンツの配信が終了すると判定した場合には（ステップＳ５１：ＹＥＳ）、アクションタイミングデータ配信処理を終了させる。

図８は、クライアント端末２におけるクライアント処理の一例を示すフローチャートである。図８において、図５と同様の処理については同様の符号が付されている。図８に示すように、制御部２１は、タイミングリストを初期化する。タイミングリストは、アクションタイミングデータが登録されるリストである。そして、制御部２１は、コンテンツの再生が終了するか否かを判定する（ステップＳ３１）。このとき、制御部２１は、コンテンツの再生が終了しないと判定した場合には（ステップＳ３１：ＮＯ）、ステップＳ６１に進む。ステップＳ６１において、制御部２１は、配信サーバ１からアクションタイミングデータを受信したか否かを判定する。このとき、制御部２１は、アクションタイミングデータを受信していないと判定した場合には（ステップＳ６１：ＮＯ）、ステップＳ３２に進む。一方、制御部２１は、アクションタイミングデータを受信したと判定した場合には（ステップＳ６１：ＹＥＳ）、ステップＳ６２に進む。ステップＳ６２において、制御部２１は、アクションタイミングデータをタイミングリストに登録する。次いで、制御部２１は、タイミング到来情報を表示部２４ａに表示する（ステップＳ６３）。次いで、制御部２１は、ステップＳ３２に進む。

ステップＳ３２において、制御部２１は、受信したコンテンツを再生する（ステップＳ３２）。次いで、制御部２１は、所定のユーザ操作が受け付けられたか否かを判定する（ステップＳ３３）。このとき、制御部２１は、所定のユーザ操作が受け付けられていないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、所定のユーザ操作が受け付けられたと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ６４に進む。ステップＳ６４において、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されているか否かを判定する。このとき、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されてないと判定した場合には（ステップＳ６４：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されていると判定した場合には（ステップＳ６４：ＹＥＳ）、アクションデータを配信サーバ１へ送信する（ステップＳ３４）。次いで、制御部２１は、ステップＳ３１に進む。ステップＳ３１において、制御部２１は、コンテンツの再生が終了すると判定した場合には（ステップＳ３１：ＹＥＳ）、クライアント処理を終了させる。

以上説明したように、本実施形態によれば、配信サーバ１が、アクションタイミングデータを複数のクライアント端末２へ配信する。また、配信サーバ１が、アクションタイミングデータが示すタイミングから所定時間内に受け付けられた所定のユーザ操作のタイミングの数を集計する。従って、所定のユーザ操作を複数のユーザが一斉に行うタイミングをユーザに示すことが可能となる。そして、指定されたタイミングに合った所定のユーザ操作の集計に基づく効果が映像とともに再生されるので、臨場感をより高めることができる。

［３．その他の実施形態］
上述した各実施形態においては、所定のユーザ操作に対応する所定のユーザの動作が、手を打ち鳴らす動作であった。しかしながら、所定の動作は、例えば掛け声を掛けること、歓声を上げること、口笛を吹くこと、足を踏みならすこと、所定の身振り等であってもよい。所定の動作が、掛け声を掛けること、歓声を上げること、口笛を吹くこと、又は足を踏みならすことである場合、配信サーバ１は、コンテンツに付加される効果として、例えば掛け声の効果音、歓声の効果音、口笛の効果音、又は足を踏みならす効果音をそれぞれ決定してもよい。また例えば、所定の動作が足を踏みならすことである場合、配信サーバ１は、コンテンツに付加される効果として、例えば映像の表示画面を振動させる映像効果を決定してもよい。また例えば、所定の動作が所定の身振りである場合、配信サーバ１は、コンテンツに付加される効果として、例えば所定の身振りが行われる映像を決定してもよい。

また、配信サーバ１は、各サンプリング周期で集計された所定のユーザ操作のタイミングの数を周波数解析しなくてもよい。この場合、配信サーバ１は、サンプリング周期ごとに、集計された所定のユーザ操作のタイミングの数に基づいて、そのサンプリング周期に対応してコンテンツに付加される効果の程度を決定してもよい。例えば、配信サーバ１は、効果音の音量や数等を決定してもよい。また例えば、配信サーバ１は、映像の表示画面の振動の強さを決定してもよい。また例えば、配信サーバ１は、所定の身振りが行われる映像の大きさや数等を決定してもよい。

また、配信サーバ１は、所定のユーザの動作として複数種類の動作を許容してもよい。例えば、手を打ち鳴らすことは、ユーザがＡボタンを押すことに対応し、歓声を上げることが、ユーザがＢボタンを押すことに対応すること等が挙げられる。このような場合、クライアント端末２は、ユーザ操作が行われたタイミングと、行われたユーザ操作に対応する動作の種類を識別する動作識別情報とを含むアクションデータを配信サーバ１へ送信する。配信サーバ１は、クライアント端末２から受信したアクションデータに含まれる動作識別情報に基づいて、動作の種類ごとに、ユーザ操作のタイミングを集計する。そして、配信サーバ１は、動作の種類に応じて、コンテンツに付加される効果を決定する。

また、タイミング検知部４は、複数種類の動作のそれぞれについて、ユーザ操作を行うべきタイミングを検知可能に構成されてもよい。例えば、タイミング検知部４は、スタッフ等によるタイミング検知部４の操作内容等に応じて、動作の種類を決定してもよい。そして、タイミング検知部４は、決定した動作の種類を識別する動作識別情報を示す検知信号を配信サーバ１に送信する。配信サーバ１は、受信した検知信号が示す動作識別情報を含むアクションタイミングデータを生成してクライアント端末２へ配信する。クライアント端末２は、受信したアクションタイミングデータに含まれる動作識別情報に応じたタイミング到来情報を表示する。クライアント端末２は、ユーザ操作を受け付けたとき、例えばこのユーザ操作に対応する動作の種類を識別する動作識別情報を含むアクションデータを配信サーバ１へ送信する。配信サーバ１は、受信したアクションデータのうち、生成したアクションタイミングデータに含まれる動作識別情報と一致する動作識別情報を含むアクションデータであって、アクションタイミングデータが示すタイミングから所定時間以内のタイミングを示すアクションデータのみを集計してもよい。或いは、クライアント端末２が、受け付けたユーザ操作に対応する動作識別情報が、受信されたアクションタイミングデータに含まれる動作識別情報と一致し、且つユーザ操作が受け付けられたタイミングが、アクションタイミングデータが示すタイミングから所定時間以内である場合にのみ、アクションデータを配信サーバ１へ送信してもよい。また例えば、複数種類の動作全体でユーザ操作が共通であってもよい。この場合、クライアント端末２は、所定のユーザ操作を受け付けたタイミングが、アクションタイミングデータが示すタイミングから所定時間以内である場合、アクションデータを配信サーバ１へ送信してもよい。このとき、クライアント端末２は、アクションタイミングデータから動作識別情報を取得し、取得した動作識別情報を含むアクションデータを配信サーバ１へ送信してもよい。

また、クライアント端末２は、例えばマイク及びビデオカメラの少なくとも何れかと接続されてもよい。クライアント端末２は、例えばマイクから入力されたユーザの音声を解析してもよい。そして、クライアント端末２は、例えばユーザが所定の言葉又は音声を発した場合に、ユーザが所定の動作を行ったと判定してもよい。また例えば、クライアント端末２は、例えばビデオカメラにより撮影されたユーザの映像を解析してもよい。そして、タイミング検知部４は、映像の解析結果に基づいて、ユーザが所定の動作を行ったか否かを判定してもよい。ユーザが所定の動作を行ったと判定したとき、クライアント端末２は、アクションデータを配信サーバ１へ送信する。

また、上述した各実施形態では、配信サーバ１は、クライアント端末２から受信されたアクションデータが示す所定のユーザ操作のタイミングの数を集計していた（例えば、図２のステップＳ３）。しかしながら、配信サーバ１は、例えば１つのアクションデータが所定のユーザ操作の１つのタイミングを示すものとして、受信されたアクションデータの数を集計してもよい。この場合、上記各実施形態における「所定のユーザ操作のタイミングの数」という記述を、「受信したアクションデータの数」と読み替えて解釈すればよい。

１ 配信サーバ
２ クライアント端末
３ ビデオカメラ
４ タイミング検知部
１１、２１ 制御部
１２、２２ 記憶部
１３、２７ インターフェース部
２４ａ 表示部
２５ａ 操作部
２６ａ スピーカ
ＳＡ、ＳＢ 通信システム

Claims (10)

1. 配信装置と、ネットワークを介して配信装置に接続可能な複数の端末装置を備える通信システムにおいて、
   前記端末装置は、
   前記配信装置からストリーミング配信される映像を受信する映像受信手段と、
   前記映像受信手段により受信された前記映像を再生する再生手段と、
   前記再生手段により前記映像が再生されているとき、所定のユーザ操作を受け付ける受付手段と、
   前記受付手段により前記所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を前記配信装置へ送信する送信手段と、
   を備え、
   前記配信装置は、
   前記複数の端末装置へ前記映像をストリーミング配信する配信手段と、
   前記複数の端末装置から前記タイミング情報を受信するタイミング受信手段と、
   前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を集計する集計手段と、
   前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段と、
   前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、
   を備えることを特徴とする通信システム。
2. 複数の端末装置へ映像をストリーミング配信する配信手段と、
   前記複数の端末装置から、前記配信手段により配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信手段と、
   前記タイミング受信手段により受信された前記タイミング情報が示すタイミングの数を集計する集計手段と、
   前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段と、
   前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、
   を備えることを特徴とする配信装置。
3. 請求項２に記載の配信装置において、
   前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、
   前記決定手段は、前記集計手段により集計された前記タイミングの数に基づいて、前記効果の程度を決定し、
   前記付加手段は、前記決定手段により決定された前記程度の効果を付加することを特徴とする配信装置。
4. 請求項３に記載の配信装置において、
   前記効果の程度ごとに、前記程度と、前記タイミングの数とを対応付けて予め記憶しておく記憶手段を更に備え、
   前記決定手段は、前記集計手段により集計された前記タイミングの数に対応する程度を、前記記憶手段に記憶された複数の程度の中から決定することを特徴とする配信装置。
5. 請求項３又は４に記載の配信装置において、
   前記決定手段により決定される効果は、前記映像に付加される効果音であり、
   前記決定手段は、前記集計手段により集計された前記タイミングの数が多い程、大きい音量の効果音を決定することを特徴とする配信装置。
6. 請求項２乃至５の何れか１項に記載の配信装置において、
   前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得し、
   前記決定手段は、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定することを特徴とする配信装置。
7. 請求項２乃至６の何れか１項に記載の配信装置において、
   前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得し、
   前記決定手段は、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記効果として手拍子音を決定し、
   前記付加手段は、前記配信手段により配信中の前記映像に前記手拍子音を合成することを特徴とする配信装置。
8. 請求項７に記載の配信装置において、
   前記付加手段は、前記決定手段により前記手拍子音が決定された場合、前記特定周期で受信されたタイミング情報が示すタイミングに対応する位相と一致する位相に対応する再生位置で、前記手拍子音を、前記配信手段により配信中の前記映像に合成することを特徴とする配信装置。
9. 請求項２乃至８の何れか１項に記載の配信装置において、
   前記所定のユーザ操作のタイミングを示す第２タイミング情報を前記複数の端末装置へ配信する第２配信手段を更に備え、
   前記集計手段は、前記第２タイミング情報が示すタイミングから所定時間内に受け付けられた前記ユーザ操作のタイミングの数を集計することを特徴とする配信装置。
10. 複数の端末装置へ映像をストリーミング配信する第１配信ステップと、
    前記複数の端末装置から、前記第１配信ステップにより配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信ステップと、
    前記タイミング受信ステップにより受信された前記タイミング情報が示すタイミングの数を集計する集計ステップと、
    前記集計ステップにより集計された前記数に基づいて、前記映像に付加される効果を決定する決定ステップと、
    前記決定ステップにより決定された効果を、配信中の前記映像に付加する付加ステップと、
    前記付加ステップにより前記効果が付加された前記映像を前記複数の端末装置へストリーミング配信する第２配信ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images