JP7153143B2 - 映像提供システムおよびプログラム - Google Patents

Description

本発明は、視聴者をデジタル・コンテンツに参加させる技術に関し、より詳細には、視聴者の行動に応じて異なるデジタル・コンテンツを提供するオンデマンド映像提供システムおよびプログラムに関する。

情報処理技術およびコンピュータ・ハードウェア技術の進歩に伴い、映画館やシネコンなどで上映される映画についても、デジタル・コンテンツとして提供され、プロジェクタなどを通して上映される場合も増えてきている。また、映画館やシネコンなどの他にも、最近では、パーソナル・コンピュータに対し、コンテンツをストリーミングすることによってパーソナル・コンピュータの利用者に対して映画等のコンテンツを提供するサービスも可能となっている。

このような映像処理環境にあって、従来の映画は、定められたストーリーに沿って監督が出演者を演技させ、その演技を撮影し、ストーリーの最後まで連続した1つのコンテンツとして提供されている。ところで、近年、映画などがデジタル・コンテンツとして提供されるようになると、アナログ式の映像提供に比してより動的な映像提供が可能となる。このような映像提供として、例えば特開２０１１－１２４９７２号（特許文献１）には、ネットワークを介してデジタル・コンテンツを提供する際に、ユーザの端末から、ユーザの嗜好を示すデータを受信し、ユーザ毎に異なるコンテンツ・ストリームを提供するシステムが記載されている。

また、特開２０１０－０８８１１１号公報(特許文献２)には、視聴者毎に異なる映像を提供するストリーム提供方法が記載されている。特許文献２に記載された技術は、視聴者毎に異なる映像を提供することを可能とするものの、シャッタなどの機能により、視聴者に対して異なる映像を提供するものであり、コンテンツのストリーミングやコンテキストを変更するものではない。

本発明者は、特許第５，５８１，４３７号明細書（特許文献３）および特許第６，３２４，８２９号明細書（特許文献４）として、多数の視聴者に対してコンテンツを共有させるための映像提供システムを提案した。

特許文献３、特許文献４は、シアターなどで多数の視聴者が視聴するコンテンツにおいて、視聴者参加型でデジタル・コンテンツを変更するものであり、シアターやプロジェクション・マッピング等においてリアルタイムなコンテンツ修正を可能とする。しかしながら、特許文献３および特許文献４に記載された技術は、ＤＶＤ／Ｂｌｕｅ－Ｒａｙ／ビデオストリーミングなどのコンテンツ提供形態において視聴者を巻き込んだコンテンツ編集を可能とする構成を記載するものではない。

特開２０１１－１２４９７２号公報 特開２０１０－０８８１１１号公報 特許第５，５８１，４３７号明細書 特許第６，３２４，８２９号明細書

本発明は、シアター、ライブ公演、ＤＶＤ／Ｂｌｕｅ－Ｒａｙ／ビデオストリーミングとして提供されるデジタル・コンテンツにおいて、視聴者を巻き込んだ形でコンテンツの進行を編集することが可能な映像提供システムおよびプログラムを提供することを目的とする。

すなわち、本発明によれば、
視聴者に対ししてデジタル・コンテンツを提供する映像提供システムであって、
視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネントと、
前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネントと、
前記オプション・コンテンツを表示装置において再生または表示させるコンポーネントと
を含む、映像提供システムが提供できる。

前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される。

前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記ネットワークを介して取得したオプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する。

前記オプション・コンテンツの再生は、映像ストリーミングにより行われる。

前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる。

複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む。

前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する。

前記コラボレーション・サーバは、前記オプション・コンテンツを、多数の前記視聴者の投票により決定する。

さらに本発明によれば、上記機機能を提供するためのプログラムを提供することができる。

図１は、本実施形態の映像提供システム１００の実施形態を示す図。 図２は、本実施形態のコラボレーション・サーバ１２０の機能ブロックを示した図。 図３は、本実施形態のコンテンツ再生装置１０３の機能ブロックを示す図。 図４は、本実施形態におけるストリーミング・サーバ１３０の機能ブロックを示す図。 図５は、本実施形態の映像提供システム１００が提供する映像コンテンツ５００の実施形態を示す図。 図５は、本実施形態において、視聴者と、視聴者識別情報、視聴者からのアクセス情報と対応付けた視聴者情報の実施形態を示す図。 図７は、本実施形態において、ＤＶＤ，Ｂｌｕｅ－Ｒａｙといったメディア媒体からデジタル・コンテンツを再生する場合のメインストリーム・コンテンツに対するオプション・コンテンツの紐づけの実施形態を示す図。 図８は、本実施形態において、映像コンテンツをストリーミング配信する場合の誘導トリガの配置を例示した形態。 図９は、本実施形態の映像提供システム１００が実行する処理のフローチャート。 図１０は、本実施形態で使用するシーン１００のデータ構成を示した図。 図１１は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１２は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１３は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す図。 図１４は、本実施形態で使用することができる誘導トリガの実施形態を例示した図。 図１５は、本実施形態のコンテンツ再生装置１０３のハードウェア構成を示す図。 図１６は、第２の実施形態の第１の実施形態の映像提供システム１６００の実施形態を示す図。 図１７は、第２の実施形態のコラボレーション・サーバ１６０６の機能ブロックを示した図。 図１８は、第２の実施形態のコンテンツ・サーバ１６０５の機能ブロックを示す図。 図１９は、図１７で説明した視聴者管理部１７０３が作成するユーザ・データベースの実施形態を示す図。 図２０は、第２の実施形態のメインストリーム・コンテンツ２０００におけるトリガ登録形態およびデコードするべきシーンとして使用する情報の実施形態を示す図。 図２１は、第２の実施形態の映像提供システム１００が実行する処理のフローチャート。 図２２は、第２の実施形態で使用するシーンのデータ構成を示した図。 図２３は、第２の実施形態の映像提供システム１６００が提供する映像コンテンツ２３００の実施形態を示す図。

１００ 映像提供システム
１０１ ディスプレイ装置
１０２ スピーカ
１０３ コンテンツ再生装置
１０４ スマート・スピーカ
１０５ タブレット端末
１０６ スマートホン
１１０ ネットワーク
１２０ コラボレーション・サーバ
１３０ストリーミング・サーバ

＜第１実施形態＞
以下、本発明を、実施形態を以て説明するが本発明は後述する実施形態に限定されるものではない。図１は、本実施形態の映像提供システム１００の実施形態を示す。図１に示した映像提供システム１００は、例えば家庭において設置されるディスプレイ装置やホームシアターなどにおいて、コンテンツに対する臨場感を提供するため、設置することができる。映像提供システム１００は、ディスプレイ装置１０１に対してコンテンツ再生装置１０３がデコードした映像ストリームを送付し、ディスプレイ装置１０１が映像を表示し、同時のスピーカ１０２コンテンツに付随するオーディオデータを再生する。

コンテンツ再生装置１０３は、ネットワーク１１０に接続でき、ディスプレイ装置１０１、スピーカ１０２に対して映像信号、オーディオ信号を送付できる限り特に制限は無い。例えば、コンテンツ再生装置１０３としては、ＤＶＤプレイヤ、Ｂｌｕ－Ｒａｙ（登録商標）プレイヤ、ＸＢＯＸ（登録商標）、プレイステーション（登録商標）などのゲーム装置、およびパーソナル・コンピュータといった情報処理装置を使用することができる。なお、コンテンツ再生装置１０３は、ネットワーク１１０から送付された情報を解釈して、コンテンツの再生シーケンスを編集することができるプログラム（アプリであっても、ファームウェアであってもよい。）を実装することが好ましい。

さらに映像提供システム１００は、ネットワーク１１０を介してストリーミング・サーバ１３０およびコラボレーション・サーバ１２０が接続されている。ストリーミング・サーバ１３０は、デジタル・コンテンツをストリーミングしてコンテンツ再生装置１０３に送付し、ディスプレイ装置１０１、スピーカ１０２を介して映像を提供する。また、コラボレーション・サーバ１２０は、ユーザがアクセスすることができるスマート・スピーカ１０４、タブレット端末１０５またはスマートホン１０６から送付されたユーザアクションを受領し、ユーザアクションの内容を判断して、以後に再生するコンテンツの編集を可能とする機能を提供する。なお、視聴者が利用するデバイスには、例えばＡｍａｚｏｎ Ｆｉｒｅ Ｓｔｉｃｋ（登録商標）といったコントローラも含まれる。また、ディスプレイ装置１０１には、プロジェクタも含まれる。

なお、以下ネットワーク１１０は、ギガビットイーサネット、４Ｇ、５Ｇを含む有線・無線のＴＣＰ／ＩＰプロトコルを使用した通信の他、公衆電話網を使用した音声通話またはデータ通信のいずれかまたは両方を含むものとして説明する。さらに、スマート・スピーカ１０４、タブレット端末１０５、およびスマートホン１０６は、Ｆａｃｅｔｉｍｅ（登録商標）、ＬＩＮＥ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）など、いわゆるＳＮＳなどによるインターネットを通じた音声通話の他、公衆電話回線を使用した音声通話が可能とされていても良い。

図２は、本実施形態のコラボレーション・サーバ１２０の機能ブロックを示した図である。コラボレーション・サーバ１２０は、図２に示すようにインタフェース部１２１と、ウェブ・サーバ部１２２と、アクション処理サーバ部１２４とを含んで構成されている。ウェブ・サーバ部１２２は、ＨＴＴＰプロトコルを介してネットワーク１１０を介して視聴者が送付するユーザ情報や、スマート・スピーカ１０４、タブレット端末１０５、スマートホン１０６などで機能する専用アプリケーション（以下、単にスマホアプリとして参照する。）を介して送付される視聴者参加情報を受領して、ユーザ情報、使用端末形態、参加態様、アクションその他の情報を視聴者管理部１２３に登録する機能を有している。

なお、本実施形態におけるデバイスとしては、スマートホンや専用の携帯可能な制御装置を使用することができ、デバイスがスマートホンの場合、スマホアプリを介して、本実施形態における、視聴者のデバイスにおいて映像コンテンツへの参加を促す誘導トリガを受信するコンポーネント、誘導トリガに対する応答としてデバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネント、オプション・コンテンツを表示装置において再生または表示させるコンポーネントとして機能する。また、ＰＳＰなどの専用の制御装置が、そのためのプログラムをダウンロードまたはインストールして同様の機能を提供する場合も想定される。

視聴者参加情報には、視聴者がコンテンツを修正するためのキーワードやコマンドなどとして構成することができる視聴者トリガを含み、音声コールの場合には、視聴者の音声通話情報を含む。また、タッチスクリーンなどへのタップ、シェイクなどの動作を視聴者トリガとして使用することもできる。

アクション処理サーバ部１２４は、いわゆるＩＶＲ機能、音声解析機能、アクション解析機能を備えており、視聴者参加情報が音声情報の場合、音声情報を参加情報として参加情報解析部１２５に送付する。また特定の実施形態では、受信した音声コールの音声情報を、そのままコラボレーション・サーバ１２０に送付してスピーカ１０４から発生させ、デコードしたデジタル・コンテンツの音声情報と重畳して、あたかも音声コールを送付した参加者がコンテンツに初めから居たように、当該空間に臨場している視聴者にその音声コールをフィードバックさせることもできる。さらに、アクション処理サーバ部１２４は、タブレット端末１０５、スマートホン１０６から送信される、位置情報、加速度情報、タップ動作、スワイプ動作などを検出し、検出された視聴者トリガに基づいてコンテンツの編集を可能とする。なお、音声処理機能は、クラウドサーバとして構成することができ、このような音声処理を行うクラウドサービスとしては、例えば、Ｇｏｏｇｌｅアシスタント（商標）、ＩＢＭＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ（登録商標）などのＡＩを含むサービスを使用することができるが、特定のクラウドサービスに限定されるものではない。

視聴者管理部１２３は、予めネットワーク１１０を介して送付された視聴者のユーザＩＤ、必要に応じてパスワード、端末形態、参加態様などの情報を収集し、ユーザ・データベース（図示せず）に登録する機能を備えている。また、ウェブ・サーバ部１２２、アクション処理サーバ部１２４が、参加情報を受信した時に、視聴者の参加態様に対応した処理を参加情報解析部１２５に実行させる機能を備えている。

さらに、コラボレーション・サーバ１２０は、視聴者から送付された視聴者参加情報を解析する、参加情報解析部１２５と、トリガ抽出部１２６とを含んでいる。参加情報解析部１２５は、視聴者から送付された参加情報が、音声情報であるか、またはアプリなどからのコマンドであるかを判断し、視聴者の参加形態に応じて視聴者参加情報をデコードし、トリガ抽出部１２６に視聴者参加情報に予め設定した視聴者トリガが含まれているか否かを判断する。

視聴者トリガが含まれていなければ、コラボレーション・サーバ１２０は、コンテンツの修正に対して特段の指令を行うことをしない。また、コラボレーション・サーバ１２０は、視聴者参加情報に予め設定した視聴者トリガが含まれていると判断した場合、ネットワーク１１０を介して、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に対して視聴者トリガを含む、コンテンツ指令を送付する。当該指令は、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に送付され、コンテンツ再生装置１０３がデコードするデジタル・コンテンツのデコード順やストリーミング順を切替えたりすることで、映像上および音声上の視聴者参加を可能としている。

さらにコラボレーション・サーバ１２０は、レスポンスログ・データベース１２８を管理している。レスポンスログ・データベース１２８は、その回の上映ばかりではなく、過去に行った同一の動画またはイベントにおける視聴者参加の履歴を、ユーザ情報、ユーザ属性、視聴時間、視聴地域などと対応づけて視聴者参加の履歴を登録する。視聴者参加の状態としては、例えばシーンの選択、アクション情報の種類、スマホアプリからの指令の種類などを挙げることができ、コラボレーション・サーバ１２０は、これらをレスポンスログとして蓄積する。

本発明の態様においては、コラボレーション・サーバ１２０は、レスポンスログを解析し、デジタル・コンテンツにおいて参加者の多くが共感するシーンや映像などのコンテンツ内容を学習して効果的なコンテンツ作成に提供することができる。さらにレスポンスログ・データベース１２８に集積されたレスポンス情報は、以後のコンテンツ作成のためのビッグデータとして使用することができる。

図３は、本実施形態のコンテンツ再生装置１０３の機能ブロックを示す。コンテンツ再生装置１０３には、コラボレーション・サーバ１２０から、コンテンツ指令が送付される。コンテンツ再生装置１０３は、これらの信号を処理するためのインタフェース部１０３ａと、デコーダ１０３ｂと、コンテンツ・シーケンサ１０３ｃと、バッファ１０３ｄと、メディア媒体１０３ｅとを備えている。

以下、視聴者からの参加情報を受領した上流側の処理部からその機能を説明する。インタフェース部１０３ａは、シーンに追加されたアクションに対応してコラボレーション・サーバ１２０から送付されたコンテンツ指令を受領する。インタフェース部１０３ａは、受領したコンテンツ指令をコンテンツ・シーケンサ１０３ｃに送付する。コンテンツ・シーケンサ１０３ｃは、コンテンツ指令を解析して、コンテンツ指令に含まれる視聴者トリガに紐づけられたシーンＩＤを選択し、コンテンツ再生装置１０３に対して指定されたシーンＩＤを、メディア媒体１０３ｅからバッファ１０３ｄに読み込ませる。なお、シーンとは、複数のシーン、複数のＧＯＰ(Group of Picture)などから構成される、メインストリーム・コンテンツ内で一定の意味または属性を提供する時系列的な映像を意味する。

コンテンツ再生装置１０３は、バッファリングされたシーンＩＤのデータをデコーダ１０３ｂに送付し、デコードが完了するに応じて出力バッファ１０３ｆに視聴者トリガに紐づけられたシーンＩＤの映像情報を出力し、順次、ディスプレイ装置１０１およびスピーカ１０２に選択されたシーンの再生を可能としている。以上の処理を使用することにより、リアルタイムでメインストリーム・コンテンツのシーンを途切れなく再生することが可能となる。

なお、視聴者トリガと、シーンＩＤとの紐づけは、例えば特定のキーワード「上に行って」、「下に行って」、「右に行って」、「左に行って」、「進んで」、「戻って」などに対応して当該視聴者トリガに対応したコンテンツ内容にシーンＩＤに割り当てて行うことができる。その他、タブレット端末１０５、スマートホン１０６の位置情報、加速度情報、タップ、スワイプなどの操作に対応して選択するべきシーンＩＤを紐づけておくことができ、視聴者トリガと、これに紐づけられるコンテンツ内容は、デジタル・コンテンツへの視聴者の参加臨場感を改善することができる限り、特に制限はない。

図４は、本実施形態におけるストリーミング・サーバ１３０の機能ブロックを示す。ストリーミング・サーバ１３０は、例えばＹｏｕｔｕｂｅ（登録商標）、ＮＩＣＯ動（登録商標）、ｉＴｕｎｅｓ（登録商標）その他で使用されているストリーミング・サーバと同様の構成を含む。しかしながら、図４に示したストリーミング・サーバ１３０は、ストリーム・シーケンサ１３３の機能を実装する点で、従来のストリーミング・サーバとは相違する。以下、ストリーミング・サーバ１３０の機能を説明する。

ここで、ストリーミング・サーバ１３０は、すでに視聴者からの要求に応じて特定のデジタル・コンテンツをストリーミングしているものとして説明する。ストリーミング・サーバ１３０は、デジタル・コンテンツのストリーミング中に、コラボレーション・サーバ１２０からのコンテンツ指定を、視聴者トリガと共に受領する。コンテンツ指令を受領したインタフェース部１３１は、受領した情報がコンテンツ指令を含むと判断した場合、ストリーム・シーケンサ１３３にコンテンツ指令を送付する。ストリーム・シーケンサ１３３は、コンテンツ指令に含まれる視聴者トリガを解析し、当該視聴者トリガに紐づけられたシーンＩＤを選択し、当該シーンＩＤで指定されるデジタル・コンテンツをバッファ１３４にバッファリングする。

ストリーミング・サーバ１３０は、バッファリングしたデジタル・コンテンツを次に配信する映像ストリームとして送信部１３２に送付し、ネットワーク１１０を介して、コンテンツ再生装置１０３に送付する。なお、コンテンツ再生装置１０３は、ストリーミング・サーバ１３０からのストリーミングを行う場合は、インタフェース部１０３ａから直接デコーダ１０３ｂにストリームを提供してデコードした後、出力バッファ１０３ｆを介してディスプレイ装置１０１に映像を表示する。なお、コンテンツ再生装置１０３は、再生するべきコンテンツの種類・属性に応じて複数のデコーダを備えることができる。なお、ストリーミングの目的で好ましいエンコード方式としては、ＭＰ２、ＭＰ３、ＭＰ４、Ｈ２６４、ＭＯＶなどを挙げることができ、特に特定のフォーマットに限定されるものではない。

図５は、本実施形態の映像提供システム１００が提供する映像コンテンツ５００の実施形態を示す。映像コンテンツ５０１は、メインストリーム・コンテンツである。

また映像コンテンツ５０２は、視聴者参加により、メインストリーム・コンテンツ５００のシーケンスが編集される実施形態である。映像提供システム１００は、シーンＡで視聴者参加情報を受領すると、コンテンツ・サーバ１２０が視聴者トリガを解析し、視聴者トリガに紐づけられたシーンＩＤのデジタル・コンテンツをオプション・コンテンツとして選択して次のシーンとして再生する。このため、当初用意されているメインストリーム・コンテンツ５０１とは、視聴者のアクションに応じて編集されることになる。

そしてシーンＢで、さらに他の視聴者トリガを受領すると、当該視聴者トリガに応答してその次のオプション・コンテンツを選択して映像を提供する。ここで、オプション・コンテンツとは、視聴者トリガに対応してメインストリームのシーンに置き換えられるデジタル・コンテンツを意味する。ここで、さらにシーンＣで、さらに他の視聴者トリガを受領してシーンのシーケンスを修正し、さらにシーンＤでも視聴者トリガに対応してシーンのシーケンスを修正して、映像の最後までこれを継続する。

なお、シーンＡ～Ｄまでの間に視聴者トリガを送付できる視聴者は同じでも良いし、異なっていても良い。なお、視聴者トリガが全く受信されない場合、例えば、電話がつながらないなどのリアクションを提供するオプション・コンテンツを挿入するなどした後、メインストリーム・コンテンツ５０１が提供される。

図６は、本実施形態において、視聴者と、視聴者識別情報、視聴者からのアクセス情報と対応付けた視聴者情報の実施形態を示す。視聴者は、ネットワークアドレス、視聴者ＩＤ、電話番号などで、特定され、各視聴者にアクセスするデバイスが指定されている。なお、特定の視聴者が複数のデバイスからアクセス実施形態も想定することができる。

コラボレーション・サーバ１２０は、図６に示した情報を使用して視聴者参加情報に含まれる視聴者トリガを解析し、コンテンツの動的編集を可能とする。

図７は、本実施形態において、ＤＶＤ、Ｂｌｕ－Ｒａｙといったメディア媒体からデジタル・コンテンツを再生する場合のメインストリーム・コンテンツに対するオプション・コンテンツの紐づけの実施形態を示す。例えばメインストリーム・コンテンツ７００の特定のシーン７０１には、その先頭に、誘導トリガが配置されている。誘導トリガとは、視聴者に対してデジタル・コンテンツが能動的に視聴者のデバイスに対して、音声その他で、アクションを促すための情報を言う。

例えば誘導トリガとしては、アクターからの電話コール、アクターからの画面上での問いかけ、メッセージ送信、ＳＮＳ送信、バイブレーションなどを使用することができ、それぞれの誘導トリガに対応付けて複数のオプション・コンテンツ７０１ａが、シーンＩＤと対応付けられて記録されている。例えば誘導トリガが、「どっちに進めばいいと思う？」とか、「こいつをどうしてやろう？」として、視聴者のスマートホン１０６に音声コールを送付する場合、視聴者は当該音声コールに応答して、「左側に進むのが良いと思う」とか、「何もせず逃がすのがいいんじゃない」と返答すると、次のオプション・コンテンツとして、アクターが左に進んだ場合や、アクターを逃がした後のストーリー展開、例えばシリアス、コミカル、アクションなどのコンテキストに応じてストーリー展開される。

さらにオプション・コンテンツにもハッチング７０４で示すように、誘導トリガが配置されており、オプション・コンテンツからさらに他のオプション・コンテンツへと映像ストリームを変更することが可能となっている、また、他の実施形態では、子供など若年層に視聴させたくない場合など、保護者が、音声コールその他で、安全なシーンを選択するように指示することもできる。

さらにその後のメインストリーム・コンテンツ７０２、７０３にも同様の誘導トリガが追加されていて、視聴者のアクションに対応して各オプション・コンテンツ７０２ａ、７０３ａが対応付けられ、視聴者が映像コンテンツを編集することが可能となる。

図８は、本実施形態において、映像コンテンツをストリーミング配信する場合の誘導トリガの配置を例示した形態である。映像コンテンツは、所定のデータ長のストリームごとに配信され、配信するべきストリームの先頭部分に誘導トリガとして機能するコンテンツが付加される。誘導トリガには、それぞれオプション・コンテンツが割り当てられ、視聴者トリガに対応したオプション・コンテンツが選択されてストリーミング可能とされている。

なお、図７、図８で示した誘導トリガは、再生またはストリーミングするべきコンテンツの先頭に配置することが好ましい。先頭に配置することで、コンテンツ・サーバ１２０の処理に伴う画像再生の遅れを回避する時間的バッファを確保することができ、誘導トリガおよび視聴者トリガを処理している間に、提供するべきオプション・コンテンツを準備することができるためである。なお、本実施形態では、当該実施形態に関わらず、オプション・コンテンツが切れ目なくスムーズに提供できる限り、特に誘導トリガの位置は限定されるものではない。

図９は、本実施形態の映像提供システム１００が実行する処理のフローチャートである。図９の処理は、ステップＳ９００から開始し、ステップＳ９０１で、メインストリーム・コンテンツ中のトリガポイントに達した時に、適切な形式での誘導トリガを視聴者に送付する。ステップＳ９０２では、トリガ・バッファに視聴者から送付された参加情報に含まれた視聴者トリガが存在するか否かを判断する。

視聴者トリガが無い場合（ｎｏ）、ステップＳ９０５でタイムアウトか否かを判断し、タイムアウトでない場合（ｎｏ）、処理をステップＳ９０２に分岐させてさらに視聴者トリガの有無を確認する。一方、ステップＳ９０５でタイムアウトが満了した場合（ｙｅｓ）、このトリガは視聴者が寝ているとか、トイレに立っているとか、全く気がつかないなどの理由で、誘導トリガが不発に終わったと判断し、処理をステップＳ９０６に分岐させて、メインストリーム・コンテンツのシーケンスのまま映像の提供を次の誘導トリガのタイミングが来るまで継続する。

一方、ステップＳ９０２で、視聴者トリガが存在する場合（ｙｅｓ）、ステップＳ９０３で視聴者トリガのメディア属性および視聴者トリガの内容に対応するオプション・コンテンツを選択し、ステップＳ９０４でコラボレーション・サーバ１２０は、コンテンツ指令を、コンテンツ再生装置１０３またはストリーミング・サーバ１３０に送付する。

ステップＳ９０６では、コンテンツ再生装置１０３またはストリーミング・サーバ１３０が、次に再生するオプション・コンテンツを選択しデコードまたは送信の準備を開始する。その後、ステップＳ９０７で、コンテンツ再生装置１０３にてオプション・コンテンツを再生する。その後処理は、ステップＳ９０２に戻り、さらに後続する視聴者トリガの受領を待機する。

以上の処理を使用することにより、視聴者を映像の進行に誘導し、かつそれを空間に存在する視聴者にあたかも当該視聴者が予め映画などの中にアクターと共に出演していたかのように演出することができ、さらにその感覚を視聴者に共有させることが可能となる。

図１０は、本実施形態で使用するシーン１０００のデータ構成を示した図である。シーンには、誘導トリガに応じて、カスケード式にシーンが編集されることが白線で示されており、これらのシーンの編集は、デジタル・コンテンツが提供する誘導トリガと、当該誘導トリガにより視聴者のデバイスを通じた視聴者トリガの送付に基づいて、コンテンツ・サーバ１２０がコンテンツのシーケンスを編集することが示されている。

図１１～図１３は、本実施形態により、編集されるデジタル・コンテンツのストリームを示す。シーン０１では、映像中のアクター、キャラクター、登場人物、アニメ・キャラクターなどから誘導トリガとして、音声コールが視聴者のスマートホンに送付されている。ここで、視聴者は、アクターとの間の仮想的な会話の中で、予め設定した視聴者トリガを言う。なお、視聴者からの視聴者トリガが得られなかった場合、予め設定したストーリーにしたがって映像再生が行われる。

図１２は、図１１で、視聴者から視聴者トリガが得られた場合の実施形態である。図１２では、図１１における誘導路値に対応して修正されたオプション・コンテンツが表示され、このオプション・コンテンツでは、誘導トリガを複数の視聴者に対して異なるアクションで送付する。この場合、複数の視聴者から異なる視聴者トリガが送付された場合、最も早く受領した視聴者トリガに対応したオプション・コンテンツを表示させることができる。この場合、同一のオプション・コンテンツが表示されたとしても、視聴者の指示した行動に反した場合と、したがった場合で、視聴者に対する心理的効果は相反するものとなり、同一のコンテンツを提供しながらも、異なる印象を視聴者に提供することができる。

図１３は、例えば、図１２においてＳＮＳでメッセージを求められた視聴者が、視聴者トリガを送付し、これがコラボレーション・サーバに受領された場合に、図１２の後に表示されるオプション・コンテンツを示す。なお、オプション・コンテンツの挿入のタイミングは、必ずしも図１２の直後には限定されない。図１３の実施形態の場合、誘導トリガとして、異なる視聴者に対して例えばグループ通話の機能を提供し、ポイント－ツウ－ポイントの音声通信またはポイント－ツウ－グループの音声通信によりアクター、視聴者Ａ、Ｂとの間で恰も会話しているような状況を提供することができる。この場合においても、視聴者トリガとしては、最初に認識された情報、または、例えばアクター、キャラクター、登場人物、アニメ・キャラクターから明示的に要求された場合、視聴者Ａ、Ｂが協議して送信された視聴者トリガを使用して以後のコンテキストを編集することが可能となる。この実施形態では、複数の視聴者がさらに映像コンテンツへと能動的に参加した印象を提供することができ、さらに視聴者の投票によりオプション・コンテンツを決定するなど、コンテンツへの入り込みを効果的にすることが可能となる。

図１４は、本実施形態で使用することができる誘導トリガの実施形態を例示したものである。例えば誘導トリガとしては、スマートホン画面のフラッシング、バイブレーション、電子メール、ＳＮＳ、または現在提供しているコンテンツの別の視野から見た映像、パンニングなど、映像送信とすることができ、映像送信の場合でも、音声、タップ、スワイプなどのアクションにより、視聴者トリガを送付することが可能である。

図１５は、本実施形態のコンテンツ再生装置１０３のハードウェア構成を示す図である。本発明のコンテンツ再生装置１５００は、中央処理装置（ＣＰＵ）１５０１と、ＣＰＵ１５０１の処理を可能とするＲＡＭ、ＤＲＡＭなどの固体メモリ素子から形成されるメモリ１００２とを備える。ＣＰＵ１５０１およびメモリ１５０２は、システム・バス１５１０を介して、コンテンツ再生装置１０３の他のデバイスまたはドライバ、例えば、グラフィックス・ドライバ１５０３およびネットワーク・デバイス（ＮＩＣ）１５０５へと接続されている。グラフィックス・ドライバ１５０３は、適切なバスを介してディスプレイ装置１０２に接続されて、ＣＰＵ１５０１による処理結果をディスプレイ画面上に表示させている。

また、ネットワーク・デバイス１５０５は、トランスポート層レベルおよび物理層レベルでコンテンツ再生装置１０３を４Ｇ、５Ｇなどの無線ネットワーク／インターネットなどのネットワークへと接続して、ユーザ端末との間のセッションを確立させている。

システム・バス１５１０には、さらにＩ／Ｏバス・ブリッジ１５０６が接続されている。Ｉ／Ｏバス・ブリッジ１５０６の下流側には、ＰＣＩなどのＩ／Ｏバス１５０９を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスクなどの記憶装置１５０７が接続されている。また、Ｉ／Ｏバス１５０９には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置１５０８が接続され、システム管理者などのオペレータによる入力および指令を受付けている。

コンテンツ再生装置１０３が使用するＣＰＵ１５０１としては、より具体的には、例えば、ＰＥＮＴＩＵＭ（登録商標）～ＰＥＮＴＩＵＭ ＩＶ（登録商標）、ＰＥＮＴＩＵＭ（登録商標）互換ＣＰＵ、ＣＯＲＥ２ＤＵＯ（登録商標）、ＣＯＲＥｉ３～ｉ７（登録商標）、ＰＯＷＥＲ ＰＣ（登録商標）、ＸＥＯＮ（登録商標）などを挙げることができる。

また、使用するオペレーティング・システム（ＯＳ）としては、ＭａｃＯＳ（商標）、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＣＨＲＯＭＥ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）またはそれ以外の適切なＯＳを挙げることができる。さらに、コンテンツ再生装置１０３は、上述したＯＳ上で動作する、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ Ｃ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）ＳｃｒｉｐｔＰｅｒｌ、Ｒｕｂｙなどのプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。

また、本実施形態において使用されるコラボレーション・サーバ１２０、ストリーミング・サーバ１３０の機能構成も、提供機能に応じて実装形態は異なるものの、同様なハードウェア構成を採用することができる。

なお、本実施形態のプログラムは、所謂「アプリ」として参照され、視聴者デバイスである、スマート・スピーカ１０４、タブレット端末１０５、スマートホン１０６などにダウンロードさせることで実行させることができる。また、コンテンツ視聴装置１０４においても、ネットワークを介してプログラムをダウントードさせ、コンパイルやリセットすることなく、実行可能なジャストインタイム・コンパイラを使用するプログラムなどを利用して実装することができる。

本実施形態の視聴者が利用するデバイスについても基本的な要素は、図１５に示したコンテンツ再生装置１０３の構成とは、公衆電話回線に接続する機能を備えることを除き、大きな相違は無く、例えば、ＣＰＵとして、スマートホン用のＳｎａｐｄｒａｇｏｎ（登録商標）、Ｈｅｌｉｏ（登録商標）、Ｔｅｇｒａ（登録商標）、ＡｐｐｌｅＡシリーズ（登録商標）、Ｅｘｙｎｏｓ（登録商標）、Ｋｉｒｉｎ（登録商標）などを使用することができる。またハードディスク装置といった記憶装置１５０７として、例えばＮＡＮＤゲート型の随時書き換え可能なフラッシュメモリやＳＳＤなどを使用することができる。

また、視聴者が理由要するデバイスが実行するＯＳとしては、例えばＡｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、Ｂａｄａ（登録商標）、ＢｌａｃｋＢｅｒｒｙＯＳ（登録商標）、Ｆｉｒｅ Ｆｏｘ（登録商標）、ＳｙｍｂｉａｎＯＳ（登録商標）、ＢＲＥＷ（登録商標）、ＷｉｎｄｏｗｓＭｏｂｉｌｅ（登録商標）、ＷｉｎｄｏｗｓＰｈｏｎｅ（登録商標）を挙げることができるが、これらに限定されるものではない。

＜第２実施形態＞
以下、第２の実施形態について説明する。第２の実施形態は、シアター、ライブ講演などにおいて視聴者または観客の行動に応じてコンテンツを編集して提供する映像提供システムである。

以下、本発明を、実施形態を以て説明するが本発明は後述する実施形態に限定されるものではない。図１６は、本実施形態の第１の実施形態の映像提供システム１６００の実施形態を示す。図１６に示した映像提供システム１６００は、例えばシアター、シネコン、イベント会場と言った多数の視聴者が視聴する空間に設置することができる。映像提供システム１６００は、スクリーン１６０１に対してプロジェクタ１６０２、１６０３からスクリーン１６０１に対して映像を投映して、スクリーン１６０１上に映像を投映して多数の視聴者の視聴を可能としている。

スクリーン１６０１の近傍には、スピーカ１６０４が設置されており、プロジェクタ１６０２、１６０３から投映される映像に同期した音響を空間内に送付する用にされている。なお、図１に示したスピーカ１６０４は、２台に限られるものではなく、必要に応じて左右に４台、６台、８台というように空間の大きさや提供するべき音源の相違に対応して適宜設置することができる。例えば、２台を、プロジェクタ１６０２、１６０３から投影されるコンテンツに同期してエンコードされた音響を発生させるために使用し、他の２台を、後述する視聴者参加を可能とするためにＩＶＲが受信した音声データをリアルタイムで再生するために使用することができる。

また、図１６に示した実施形態は、説明の目的でプロジェクタ１６０２、１６０３として２台使用するものとして説明するが、プロジェクタが独立した映像をデュアル投映できる構成のものであれば、プロジェクタを２台使用する必要は無いし、さらに多くのプロジェクタを使用することができる。プロジェクタ１６０２、１６０３は、例えばプロジェクタ１６０２からの映像に対して、プロジェクション・マッピングを行うことにより、視聴者により送付された情報に応じて映像を変化させるために使用される。

映像提供システム１６００は、さらにコンテンツ・サーバ１６０５と、コラボレーション・サーバ１６０６とを含んで構成される。コンテンツ・サーバ１６０５は、プロジェクタ１６０２、１６０３により投映するためのコンテンツおよびコンテンツのデコードシーケンスを制御する機能を備える。またコラボレーション・サーバ１６０６は、ウェブ・サーバおよび音声処理（ＩＶＲ）サーバの機能を備えていている。コラボレーション・サーバ１６０６は、ネットワークまたは公衆電話網１６０７を介して空間内で映像を共有している視聴者からの携帯電話、スマートホン、タブレット端末などの携帯端末１６０８から視聴者が送付するユーザ情報、視聴者参加情報、音声情報などを処理する。なお、以下ネットワーク１６０７は、ギガビットイーサネット（登録商標）によるＴＣＰ／ＩＰプロトコルを使用した通信の他、４Ｇ、５Ｇと言った無線通信プロトコルによるデータ通信や、公衆電話網を使用した音声通話またはデータ通信のいずれかまたは両方を含むものとして説明する。また、通信のためのアプリケーションは、Ｆａｃｅｔｉｍｅ（登録商標）、ＬＩＮＥ（登録商標）、Ｆａｃｅｔｉｍｅ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）などいわゆるＳＮＳと言われるデータ通信を可能とする者であれば使用することができる。

コラボレーション・サーバ１６０６は、視聴者からの応答に対応してコンテンツ・サーバ１６０５の映像デコード順を修正したり、追加の音声情報をスピーカ１６０４から生成させたりする機能を備えている。なお、コンテンツ・サーバ１６０５と、コラボレーション・サーバ１６０６とを分離した構成として図１６に示すが、第２の実施形態では、機能的な構成を明確にする目的で分離したサーバとして説明するものであって、情報処理装置の能力が十分である限り、分離した構成とすることなく、単一のサーバ装置上に複数の機能を搭載することができる。

図１７は、第２の実施形態のコラボレーション・サーバ１６０６の機能ブロックを示した図である。コラボレーション・サーバ１６０６は、図１７に示すようにインタフェース部１７０１と、ウェブ・サーバ部１７０２と、音声処理サーバ部１７０４とを含んで構成されている。ウェブ・サーバ部１７０２は、ＨＴＴＰプロトコルを介してネットワーク１６０７を介して視聴者が送付するユーザ情報や、スマートホンなどで機能する専用アプリケーション（以下、単にスマホアプリとして参照する。）を介して送付される視聴者参加情報を受領して、ユーザ情報、使用端末形態、参加態様その他の情報を視聴者管理部１７０３に登録する機能を有している。視聴者参加情報には、視聴者がコンテンツを修正するためのキーワードやコマンドなどとして構成することができる視聴者トリガを含み、音声コールの場合には、視聴者の音声通話情報を含む。

音声処理サーバ部１７０４は、いわゆるＩＶＲ機能を備えており、視聴者参加情報が音声情報の場合、音声情報を参加情報として参加情報解析部１７０５に送付する。また特定の実施形態では、受信した音声コールの音声情報を、そのままコンテンツ・サーバ１６０５に送付してスピーカ１６０４から発生させ、デコードしたデジタル・コンテンツの音声情報と重畳して、あたかも音声コールを送付した参加者がコンテンツに初めから居たように、当該空間に臨場している視聴者にその音声コールをフィードバックさせている。

視聴者管理部１７０３は、予めネットワーク１６０７を介して送付された視聴者のユーザＩＤ、必要に応じてパスワード、端末形態、参加態様などの情報を収集し、ユーザ・データベース（図示せず）に登録する機能を備えている。また、ウェブ・サーバ部１７０２、音声処理サーバ部１７０４が、参加情報を受信した時に、視聴者の参加態様に対応した処理を参加情報解析部１７０５に実行させる機能を備えている。

さらに、コラボレーション・サーバ１６０６は、視聴者から送付された視聴者参加情報を解析する、参加情報解析部１７０５と、トリガ抽出部１７０６とを含んで構成されている。参加情報解析部１７０５は、視聴者から送付された参加情報が、音声情報であるか、またはスマホアプリからのコマンドであるかを判断し、視聴者の参加形態に応じて視聴者参加情報をデコードし、視聴者参加の態様に応じたトリガ抽出部１７０６に視聴者参加情報に予め設定した視聴者トリガが含まれているか否かを判断する。

視聴者トリガが含まれていなければ、コンテンツ・サーバ１６０５に対して特段の指令を行うことをしない。また、視聴者参加情報に予め設定した視聴者トリガが含まれていると判断した場合、コンテンツ・サーバ１６０５に対して指令を送付し、コンテンツ・サーバ１６０５がデコードするデジタル・コンテンツのデコード順を切替えたり、デジタル・コンテンツの映像部分と音声部分とを分離し、映像部分のみをデコードし、当該部分を他の音声情報に置き換える、プロジェクション・マッピングを行う、または他の音声情報と重畳したりすることで、映像上および音声上の視聴者参加を可能としている。なお、音声処理機能は、クラウドサーバとして構成することができ、このような音声処理を行うクラウドサービスとしては、例えば、Ｇｏｏｇｌｅアシスタント（商標）、ＩＢＭＳｐｅｅｃｈ ｔｏ Ｔｅｘｔ（登録商標）などのＡＩを含むサービスを使用することができるが、特定のクラウドサービスに限定されるものではない。

さらにコラボレーション・サーバ１６０６は、レスポンスログ・データベース１７０７を管理している。レスポンスログ・データベースは、その回の上映ばかりではなく、過去に行った同一の動画またはイベントにおける視聴者参加の履歴を、ユーザ情報、ユーザ属性、上映時間、上映地域などと対応づけて視聴者参加の状態を登録する。視聴者参加の状態としては、例えばシーンの選択、音声情報の種類、スマホアプリからの指令の種類などを挙げることができ、コラボレーション・サーバ１６０６は、これらをレスポンスログとして蓄積する。

第２の実施形態においては、コラボレーション・サーバ１６０６は、レスポンスログを解析し、当該上映またはイベントにおいて参加者の多くが共感するシーンや映像を選択し、コンテンツ内容を学習してコンテンツ・サーバ１６０５に表示させることができる。さらにレスポンスログ・データベース１７０７に集積されたレスポンス情報は、以後のコンテンツ作成のためのビッグデータとして使用することができる。

図１８は、第２の実施形態のコンテンツ・サーバ１６０５の機能ブロックを示す。コンテンツ・サーバ１６０５には、コラボレーション・サーバ１６０６から、視聴者トリガおよび存在する場合には、ＩＶＲが受信した音声信号が送付される。コンテンツ・サーバ１６０５は、これらの信号を処理するためのインタフェース部１８０１と、デコーダ１８０２と、コンテンツ・シーケンサ１８０３と、トリガ・バッファ１８０５とを備えている。

以下、視聴者からの参加情報を受領した上流側の処理部からその機能を説明する。トリガ・バッファ１８０５は、参加情報に含まれていた視聴者トリガをバッファリングする機能を備えている。なお、シーンとは、複数のシーン、複数のＧＯＰ(Group of Picture)などから構成される、メインストリーム・コンテンツ内で一定の意味または属性を提供する時系列的な映像を意味する。

コンテンツ・サーバ１６０５は、視聴者参加情報中の視聴者トリガに対応して次のシーンとしてデコードするべき視聴者参加を可能とする映像を提供するためのコンテンツを、オプション・データベース１８０９から予め読み出させる機能を備えている。コンテンツ・サーバ１６０５は、映像を提供するためのメインストリーム・コンテンツを、コンテンツ・データベース１８０８から読み出して、コンテンツ・バッファ１８０４に格納する。コンテンツ・バッファ１８０４に格納されたメインストリーム・コンテンツは、コンテンツ・シーケンサ１８０３の指令に応じてデコーダ１８０２へと送付され、プロジェクタ１６０２からの投映を可能とされている。

また、コンテンツ・サーバ１６０５は、トリガ・バッファ１８０５内の視聴者トリガを判断して、視聴者に対してオプションを提供するため、後続する映像を提供するためのコンテンツをコンテンツ・バッファ１８０４に読み込ませ、コンテンツ・シーケンサ１８０３が読み出しを行うためのシーン順を登録した再生順テーブルを視聴者トリガに従って修正する。さらに必要に応じてコンテンツ・バッファ１８０４は、読み出したシーンの映像部分情報と音声情報部分とを分離して、映像部分だけ、または音声部分だけを再生するようにシーンのコンテンツを修正する処理を行う。

この機能を提供するため、コンテンツ・サーバ１６０５は、視聴者トリガの内容および対応する誘導トリガの内容で指定されるオプション・コンテンツを指定する識別値を、例えばルックアップ・テーブルなどを使用して決定する。その後、決定した識別値を使用して識別値で指定されるオプション・コンテンツをコンテンツ・バッファに読み込ませている。

コンテンツ・シーケンサ１８０３は、再生順テーブルを参照し、再生順の若い順にシーンまたはコンテンツをデコーダ１８０２に供給してデコードを開始させる。デコーダ１８０２は、Ｈ２６４、ＭＰＥＧ４、その他ハイビジョン対応、４Ｋ対応、８Ｋ対応、３Ｄ対応の適切なデコード方式を使用して、送付されたシーン列を復号し、ＶＧＡ、ＳＶＧＡ、ＸＧＡなどの適切な映像ドライバを介してプロジェクタ１６０２にビデオ映像を供給している。

また、コンテンツ・サーバ１６０５は、は、視聴者トリガに対応し、視聴者トリガが、例えばプロジェクション・マッピングを指令する場合には、プロジェクション・マッピングを行うためのシーンの再生順テーブルの該当するシーンの再生に同期してプロジェクション・マッピングのためのコンテンツを読み込ませ、当該プロジェクション・マッピング用のコンテンツをデコーダ１８０６に送付してプロジェクタ１６０３からの同期したプロジェクション・マッピングを可能とさせている。

図１９は、図１７で説明した視聴者管理部１７０３が作成するユーザ・データベースの実施形態を示す。ユーザ・データベースには、ユーザを固有に識別するユーザ情報、ユーザのネットワーク情報、電話番号、アクセス種類などが登録されており、必要に応じて、ユーザがコンテンツの提供する誘導トリガに対してどのような反応を示したかを登録するリアクション情報を対応づけて登録することができる。

コラボレーション・サーバ１６０６は、視聴者から最初にユーザ情報などの登録を受け、図１９に示すユーザ・データベースに登録する。その後、メインストリーム・コンテンツに予め埋設したトリガタイミングが到来すると、参加させるべき視聴者をランダムまたはトリガに対して予め設定した属性情報を使用して参加させるべき視聴者を決定する。そして、コラボレーション・サーバ１６０６は、決定した視聴者に対してトリガとして設定した情報を送付する。

視聴者は、当該トリガ情報に誘導されてスマホアプリのボタン、スクロールバーなどのＧＵＩから参加情報をコラボレーション・サーバ１６０６に送付する。他の実施形態では、視聴者はコラボレーション・サーバ１６０６のＩＶＲ機能により着呼を受け、コラボレーション・サーバ１６０６に対して音声コールを送付することで、視聴者からの参加情報を送付することができる。

コラボレーション・サーバ１６０６は、視聴者からの参加情報を受領して、上述した処理を行うことで、音声・映像、音声映像両方、映像、プロジェクション・マッピングなどの形態で視聴者参加を可能としている。

図２０は、第２の実施形態のメインストリーム・コンテンツ２０００におけるトリガ登録形態およびデコードするべきシーンとして使用する情報の実施形態を示す。メインストリーム・コンテンツは、複数のシーン列により構成されていて、各シーンには、ヘッダ情報またはメタ情報が付されていて、シーン順やそのトリガ属性、時間、対応オプション・コンテンツ識別値などが登録されている。シーンの特定の時間位置には、トリガポイントとなることが設定されており、設定したトリガポイントの位置に応じて異なるオプション・コンテンツが呼び出し可能とされている。

また、シーンには、単一のトリガポイントを設定することもできるし、複数のトリガポイントを設定することもでき、視聴者の応答の有無の時間位置により、呼び出すオプション・コンテンツを変更するように設定することができる。さらに、第２の実施形態では、デコードを行う際に、映像・音声の両部分をデコードするか、映像部分だけをデコードするか、または音声部分だけをデコードするかを設定することができる。この実施形態の場合、視聴者の参加情報に応じて、全く異なる映像を与えたり、同一の映像でも全く異なる音声情報を提供したりするなど、さらに視聴者参加の態様を多様化させることができる。

図２１は、第２の実施形態の映像提供システム１６００が実行する処理のフローチャートである。図２１の処理は、ステップＳ２１００から開始し、ステップＳ２１０１で、メインストリーム・コンテンツ中のトリガポイントに達した時に、視聴者を決定し、適切な形式での誘導トリガを視聴者に送付する。ステップＳ２１０２では、トリガ・バッファに視聴者から送付された参加情報に含まれた視聴者トリガが存在するか否かを判断する。

視聴者トリガが無い場合（ｎｏ）、ステップＳ２１０５でタイムアウトか否かを判断し、タイムアウトでない場合（ｎｏ）、処理をステップＳ２１０２に分岐させてさらに視聴者トリガの有無を確認する。一方、ステップＳ２１０５でタイムアウトが満了した場合（ｙｅｓ）、このトリガは視聴者が寝ているとか、トイレに立っているとか、全く気がつかないなどの理由で、不発に終わったと判断し、処理をステップＳ２１０６に分岐させて、メインストリーム・コンテンツのシーケンスのまま映像の提供をメインストリーム・コンテンツの終了まで継続する。

一方、ステップＳ２１０２で、視聴者トリガが存在する場合（ｙｅｓ）、ステップＳ２１０３で視聴者トリガのメディア属性および内容に対応するオプション・コンテンツを、オプション・データベース１８０９から検索し、コンテンツ・バッファ１８０４に読み込ませ、ステップＳ２１０４で、コンテンツ・サーバ１６０５は、再生順テーブルの再生順を修正することで、再生シーケンスを設定する。その後、ステップＳ２１０６で、コンテンツ・シーケンサ１８０３が次に再生するべきシーンを読み込んで、デコーダ１８０２に送付し、指定された順でデコードを行い、ステップＳ２１０７でプロジェクタへとビデオ信号を送付して映像再生を可能とする。なおこのとき、視聴者参加情報に応じて、音声情報や映像情報として投映した映像に重畳して視聴者に提供することで、単一の視聴者の参加を空間に存在する全部の視聴者に共有させることができる。

ステップＳ２１０８では、視聴者参加情報中にさらに他のキーワードやコマンドと言った視聴者トリガを検索し、ステップＳ２１０９で、視聴者トリガとして、シーン変更を要求する情報があるか否かを判断し、当該情報があれば（ｙｅｓ）、処理をステップＳ２１０４に分岐させてシーケンスの変更を行い、視聴者参加を可能とする。一方、ステップＳ２１０９で当該情報が無ければ（ｎｏ）処理をステップＳ２１０６に分岐させてシーン変更を行わず、映像のデコードを継続する。

以上の処理を使用することにより、視聴者を映像の進行に誘導し、かつそれを空間に存在する視聴者にあたかも当該視聴者が予め映画などの中に出演していたかのように演出することができ、さらにその感覚を視聴者全員に共有させることが可能となる。

図２２は、第２の実施形態で使用するシーンのデータ構成を示した図である。シーンには、ヘッダ情報２２０１と、複数のフレーム列として定義されるシーン内容２２０２とを含んで構成することができる。ヘッダ情報２２０１内には、メタ情報としてトリガポイントのタイマ時刻、トリガ種類、シーン番号などを設定することができる。シーン内容２２０２で規定されるシーンの時間長が視聴者参加区間を定義する。当該時間長の間に音声・映像などの態様でオプション・コンテンツを同期重畳することにより、シーンの変更や音声変更、プロジェクション・マッピングによる映像変調などを行うことが可能となる。

図２３は、第２の実施形態の映像提供システム１６００が提供する映像コンテンツ２３００の実施形態を示す。映像コンテンツ２３０１は、メインストリーム・コンテンツ２３００のシーン・シーケンスを変えること無く、オプション情報として音声を変えたり、プロジェクション・マッピングを行ったりすることで、視聴者参加を可能とする実施形態であり、例えば、特定のイベントやコンサート会場などの映像・音楽などのコンテンツ提供のために使用することができる。

また映像コンテンツ２３０２は、視聴者参加により、メインストリーム・コンテンツ２３００のシーケンスが置き換えられる実施形態である。シーンＡで視聴者参加情報を受領すると、コンテンツ・サーバ１６０５は、次のシーンを変更し、メインストリーム・コンテンツを変更する。そしてシーンＢで、さらに他の視聴者参加情報を受領すると、その次のシーンを変えて映像を提供する。さらにシーンＣで、さらに他の視聴者参加情報を受領してシーンのシーケンスを修正し、さらにシーンＤでも視聴者参加情報に対応してシーンのシーケンスを修正して、映像の最後までこれを継続する。

なお、シーンＡ～Ｄまでの間に視聴者参加情報を送付できる視聴者は同じでも良いし、異なっていても良い。またオプション情報は、音声情報としても良いし、プロジェクション・マッピングなどの映像情報としても良い。さらに他の実施形態においては、デジタル・コンテンツを表示するためにプロジェクション・マッピングを使用することもでき、オプション・コンテンツにメインストリーム・コンテンツをプロジェクション・マッピングして表示することもできるし、この逆も可能である。

本実施形態の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラム、例えばアプリとして参照されるプログラムにより実現でき、ネットワークを通じたダウンロードや装置読書可能な記録媒体に記録して頒布することができる。また、第１の実施形態および第２の実施形態に共通する要素は、それぞれ共用することもできるし、特定の用途において、複数種類のコラボレーション・サーバを含むこともできる。

以上のように、本発明によれば、表示装置に映る画像を視聴する視聴者を巻き込んだ形でコンテンツの進行を制御する映像提供システムおよびプログラムが提供できる。

これまで本発明につき、実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

Claims (16)

1. 視聴者に対してデジタル・コンテンツを提供する映像提供システムであって、
   視聴者のデバイスにおいて映像コンテンツがトリガポイントに達したことに応じて映像提供システムから送付される前記映像コンテンツへの参加を促す映像表示以外の誘導トリガを受信するコンポーネントと、
   前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツを、ネットワークを通じて受け付けさせるコンポーネントと、
   前記オプション・コンテンツを表示装置において再生または表示させるコンポーネントと
   を含む、映像提供システム。
2. 前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される、請求項１に記載の映像提供システム。
3. 前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記オプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する、請求項１に記載の映像提供システム。
4. 前記オプション・コンテンツの再生は、映像ストリーミングにより行われる、請求項１に記載の映像提供システム。
5. 前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる、請求項１に記載の映像提供システム。
6. 複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む、請求項１に記載の映像提供システム。
7. 前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する、請求項６に記載の映像提供システム。
8. 前記オプション・コンテンツを、多数の前記視聴者の投票により決定する、請求項１に記載の映像提供システム。
9. 情報処理装置を、視聴者に対してデジタル・コンテンツを提供する映像提供システムとして機能させるための装置実行可能なプログラムであって、前記情報処理装置を、
   視聴者のデバイスにおいて映像コンテンツがトリガポイントに達したことに応じて映像提供システムから送付される前記映像コンテンツへの参加を促す映像表示以外の誘導トリガを受信するコンポーネント、
   前記誘導トリガに対する応答として前記デバイスから送られた視聴者トリガに対応するメインストリーム・コンテンツとは異なるオプション・コンテンツの指令またはオプション・コンテンツをネットワークを通じて受け付けさせるコンポーネント、
   前記オプション・コンテンツを表示装置において再生または表示させるコンポーネント
   として機能させる装置実行可能なプログラム。
10. 前記誘導トリガは、音声、バイブレーション、電子メール、ＳＮＳを含む前記デバイスの機能を介して前記デバイスに提供される、請求項９に記載のプログラム。
11. 前記オプション・コンテンツの再生は、メディア媒体を介して行われ、前記表示は、前記オプション・コンテンツを、ディスプレイ装置、映像スクリーンまたは物体に表示する、請求項９に記載のプログラム。
12. 前記オプション・コンテンツの再生は、映像ストリーミングにより行われる、請求項９に記載のプログラム。
13. 前記オプション・コンテンツの表示は、映像スクリーンまたはプロジェクション・マッピングにより行われる、請求項９に記載のプログラム。
14. 複数の前記視聴者の間でコミュニケーションを行うためのコラボレーション・サーバを含む、請求項９に記載のプログラム。
15. 前記コラボレーション・サーバは、ＳＮＳによる音声通信により、コラボレーションを実行する、請求項１４に記載のプログラム。
16. 前記オプション・コンテンツを、多数の前記視聴者の投票により決定する、請求項９に記載のプログラム。

Images