JP2017523620A - インターネット通信及びライブストリーミングに基づく交互応答システム及び方法 - Google Patents

Abstract

【課題】交互応答論理を編集、配信し、リアルタイムの交互応答請求を発信し、トリガー条件によりトリガーを引き起こして報告応答データを収集することにより、視聴者との良いインタラクションを実現する。それ以外、配信された時間軸と収集された報告の時間軸の比較により、タイムラグをよりよくコントロールする。【解決手段】本発明に係るインターネット通信及びライブストリーミングに基づく交互応答システムは、ストリーミングメディアデータ読取モジュール、交互応答編集発信モジュール及び発行モジュールを含む交互応答発行クライアントと、交互応答配信処理モジュール、交互応答配信ポリシー判断モジュール及びクライアント配信モジュールを含む交互応答サーバーと、交互応答処理モジュール、交互応答表示及びデータ収集モジュールを含む交互応答クライアントとを含む。【選択図】図２

Description

本発明は、通信業界のマルチメディア分野に関し、特にインターネット通信及びライブストリーミングに基づく交互応答システム及び方法に関する。

インターネットストリーミング技術は、ストリーミングを使い、インターネットにてマルチメディアファイルを送信し、連続のＡＶなどのマルチメディア情報を圧縮処理した後、ネットワークメディアサーバーに配信、保存することにより、インターネットクライアントがすべてのマルチメディアファイルのダウンロード完了を待たずに、ダウンロードすると同時に再生できるものである。リアルタイムライブストリーミングは、ＡＶ情報を収集すると同時に、ストリーミング技術を使い、収集中のメディア情報を発行、伝送し、クライアントがインターネットで収集中のメディア情報を低タイムラグに再生できるようなものである。

従来のインターネットストリーミングメディアのリアルタイム生放送は以下の工程によって実現される。まず、収集及び符号化工程では、ＡＶ情報を収集し、具体の符号化アルゴリズムを使い、ＡＶ情報を圧縮する。次に、多重合成工程では、具体のコンテナフォーマットを使い、符号化したＡＶ情報を具体のストリーミングメディアファイルコンテナに合成する。次に、発行工程では、転送及びコントロールプロトコルにより、ファイルをネットメディアサーバーにストリーミング配信する。次に、配信工程では、具体の転送及びコントロールプロトコルを使い、クライアントがネットメディアサーバーにあるストリーミングメディアをダウンロードする；次に、再生工程では、クライアントはストリーミングメディアのファイルコンテナフォーマットとＡＶ情報の符号化アルゴリズムにより復号化し、ＡＶ情報を還元して再生する。

インターネット、特にモバイルインターネットでは、ストリーミングメディアのリアルタイム生放送の各工程によく使われる技術、基準及び方法は以下のようになる。オーディオの符号化方式としてはＡＭＲ、ＡＡＣ、ＭＰ３３、Ｖｏｒｂｉｓ等がある。ビデオの符号化方式としては、ＭＰＥＧ−２２、ＭＰＥＧ−４４、Ｈ.２３２６３、Ｈ.２４２６４、Ｈ.２２６５、ＶＰ６/８等がある。ファイルコンテナとしては、ＭＰ４４、３３ＧＰＰ、ＦＬＶ、ＡＳＦ、ＷｅｂＭ、ＭＰＥＧ−ＴＳ等を含む。ストリーミングメディアの発行に使われる方式は、完全にストリーミングサーバーに依存する。異なるストリーミングサーバーにより、使用可能なプロトコルとしては、ＲＴＰ、ＲＴＭＰ、或いは独自プロトコルがある。ストリーミング配信によく使われるプロトコルとしては、ＨＬＳ、ＲＴＰ／ＲＴＳＰ、ＲＴＭＰ、ＭＭＳ等がある。クライアントの再生に使われる様々なメディアプレーヤーとしては、例えば、Ｆｌａｓｈ Ｐｌａｙｅｒ、ＨＴＭＬ５によってサポートされるブラウザ内蔵のプレーヤー、ｉＰｈｏｎｅ／ｉＰａｄ及びＡｎｄｒｏｉｄ等のモバイルプラットフォーム内蔵のプレーヤー及びその他のプレーヤーアプリがある。

図１に示すように、従来のインターネット通信に基づくライブストリーミングシステムは、発行クライアント、サーバー及び再生クライアントを含む。発行クライアントは、ＨＴＴＰメソッドでサーバーと情報交流を行い、ストリーミングメディアブロックをサーバーにアップロードする。サーバーは、設定されたストリーミングメディアセクション時間により、上記ストリーミングメディアブロックをストリーミングメディアセクションに合成して保存し、複数のストリーミングメディアセクションの順序に対応するインデックスを生成する。再生クライアントは、ＨＴＴＰメソッドでサーバーと情報交流を行い、インデックス順によりサーバーからストリーミングメディアセクションをダウンロードして再生する。上述した従来のインターネット通信に基づくライブストリーミングシステムは、各種のインターネット或いはモバイルインターネットのスマート端末プラットフォームで容易に実現され、頑健性及び耐障害性に優れ、インターネットで大規模の配置、ＣＤＮ展開の方式を実現できる。上述したシステムは、インターネットでのストリーミングメディアの生放送を実現できるが、視聴者と生放送のストリーミングメディアとの間のリアルタイムのインタラクションを実現できないので、視聴者の閲覧の積極性、視聴者と番組とのインタラクティブ性、番組形式の革新を制限している。

また、帯域幅を節約するために、ビデオストリーミングメディアのリアルタイム生放送はよくＰ２２Ｐ技術、即ちＰｏｉｎｔ−ｔｏ−Ｐｏｉｎｔ伝送技術を用いる。ストリーミングメディア再生クライアントは、ストリーミングサーバーに接続してストリーミングメディアコンテンツをダウンロードすると同時に、ストリーミングサーバーへ自分のネットワークセグメント、ルーディングテーブル、上り下り帯域幅などのネット総合情報を報告する。ストリーミングサーバーはこれらのデータを受信した後、近隣のネットワークセグメントにあって類似するルーディングテーブルを有する他のクライアントをこのストリーミング再生クライアントに返信し、これらのクライアントの間の同じストリーミングメディアコンテンツブロックを、近隣クライアントの間でＰ２２Ｐ、即ちＰｏｉｎｔ−ｔｏ−Ｐｏｉｎｔ伝送技術により入手するように変更する。生放送コンテンツの一貫性と一致性のため、近隣のクライアントの間には同じストリーミングメディアコンテンツブロックがある可能性が高いので、ストリーミングメディアサーバーのストリーミング配信データ量を大幅に減少することにより、ストリーミングサーバーへの帯域負担を軽減できる。しかしながら、こうすると、配信時、ストリーミングメディアコンテンツに対してインデックス及びブロックを作成して異なるクライアントによりダウンロードする。クライアントは、ストリーミングメディアブロックを受信した後に再合成及び処理をしなければならない。異なるクライアントの間でＰｏｉｎｔ−ｔｏ−Ｐｏｉｎｔの伝送品質がよく保証できなくて、全体処理時間を長くし、不確実な要素があるので、クライアントでの再生品質を下げた。

上述した従来技術によれば、基本的にインターネットでＡＶ信号のリアルタイムの伝送及び再生が実現できる。しかしながら、応用の観点から見ると、従来技術には下記の二つの主な欠点がある。
１、タイムラグの問題。一般の応用状況では、生放送信号源から再生クライアントまで６〜１０１秒のタイムラグがある。大規模の配信、１００００人のユーザを超えた場合には、帯域への負担を考えると、一般的にＰ２２Ｐ技術を採用し、それに伴ってタイムラグが１３１５〜３５秒以上に増えることになる。
２、視聴者はリアルタイムにインタラクションできない。生放送番組或いはコンテンツ、例えば、緊急事件、重要なスポーツ試合、コンサート、バラエティ番組などは強い時効性及び鑑賞性を持つことが多い。現在、ユーザは文字メッセージの投稿により生放送とのインタラクションしかできないので、リアルタイム性が悪いし、生放送現場にフィードバックすることができない。こういう時に、視聴者はインターネット通信手段を使い、文字・画像・音声ないしビデオでリアルタイムに生放送の現場または生放送コンテンツの作成、放送過程に参加できれば、大幅にインタラクション性を向上させ、番組の内包性（多様性）を増やし、視聴者の参加を促す。

本発明の目的は、タイムラグが小さく、インターネット通信手段により視聴者と発行信号源とのリアルタイムインタラクションを実現可能な交互応答システム及び方法を提供することである。

本発明に係るインターネット通信及びライブストリーミングに基づく交互応答システムは、データ収集合成コンソールを含む。また、インターネット通信及びライブストリーミングに基づく交互応答システムは、交互応答発行クライアントと、交互応答サーバーと、交互応答クライアントとを含む。前記交互応答発行クライアントは、ストリーミングメディアデータ読取モジュールと、交互応答編集発信モジュールと、発行モジュールとを含む。前記ストリーミングメディアデータ読取モジュールは、前記データ収集合成コンソールからのＡＶ信号及びＡＶ信号に対応する時間軸データを読み取る。前記交互応答編集発信モジュールは、インタラクションの交互応答論理を定義、編集するか、或いは?出インタラクションのリアルタイム交互応答要求を発信し、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定する。前記発行モジュールは、前記交互応答論理或いは前記リアルタイム交互応答要求、配信ポリシー及び時間軸データを、前記交互応答サーバーにアップロードする。前記交互応答サーバーは、交互応答配信処理モジュールと、交互応答配信ポリシー判断モジュールと、クライアント配信モジュールとを含む。前記交互応答配信処理モジュールは、アップロードされた前記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを受信する。前記交互応答配信ポリシー判断モジュールは、アップロードされた前記配信ポリシーを受信し、前記配信ポリシーを検証、判断する。前記クライアント配信モジュールは、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを、交互応答クライアントに配信する。交互応答クライアントは、交互応答処理モジュールと、交互応答表示と、データ収集モジュールとを含む。前記交互応答処理モジュールは、前記交互応答論理或いはリアルタイム交互応答要求を受信し、トリガー条件により交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こす。前記交互応答表示及びデータ収集モジュールは、時間軸データを受信し、応答データを収集、処理し、前記応答データ及び時間軸データを前記データ収集合成コンソールに報告する。

前記交互応答編集発信モジュールは、インタラクションに使われる交互応答論理を定義、編集したり、インタラクションに使われるリアルタイム交互応答要求を発信したりし、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定し、前記交互応答論理或いはリアルタイム交互応答要求及び配信ポリシーを前記発行モジュールに伝送する。前記発行モジュールは、前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを、前記交互応答配信処理モジュール及び交互応答配信ポリシー判断モジュールにアップローする。前記交互応答配信ポリシー判断モジュールは、アップロードされた配信ポリシーを受信し、前記配信ポリシーを検証、判断した後、検証後の前記配信ポリシーを前記クライアント配信モジュールに伝送する。前記交互応答配信処理モジュールは、アップロードされた前記交互応答論理或いはリアルタイム交互応答要求を受信し、受信された前記交互応答論理或いはリアルタイム交互応答要求を、前記クライアント配信モジュールに伝送する。前記クライアント配信モジュールは、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求を前記交互応答クライアントに配信する。前記交互応答処理モジュールは、前記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により前記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、応答データを前記交互応答表示及びデータ収集モジュールに伝送する。前記交互応答表示及びデータ収集モジュールは、時間軸データを受信し、応答データを収集、処理し、前記時間軸データ及び応答データを前記データ収集合成コンソールに報告する。

前記交互応答編集発信モジュールは、交互応答論理編集モジュールを含む。前記交互応答処理モジュールは、交互応答論理処理モジュールを含む。前記交互応答論理編集モジュールは、インタラクションにつかわれる交互応答論理を事前定義、事前編集し、前記交互応答論理の配信ポリシーを設定し、前記交互応答論理及び配信ポリシーを前記発行モジュールに伝送する。前記発行モジュールは、前記交互応答論理及び配信ポリシーを前記交互応答サーバーにアップロードする。前記交互応答配信ポリシー判断モジュールは、アップロードされた配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーを前記クライアント配信モジュールに伝送する。前記交互応答配信処理モジュールは、アップロードされた前記交互応答論理を受信し、受信された前記交互応答論理を前記クライアント配信モジュールに伝送する。前記クライアント配信モジュールは、検証後の前記配信ポリシーにより、前記交互応答論理を前記交互応答論理処理モジュールに配信する。前記交互応答論理処理モジュールは、前記交互応答論理を受信して保存する。前記ストリーミングメディアデータ読取モジュールは、ＡＶ信号及びＡＶ信号に対応する時間軸データを読み取り、前記時間軸データを前記発行モジュールに伝送する。前記発行モジュールは、前記時間軸データを前記交互応答サーバーにアップロードする。前記交互応答サーバーは、保存されている検証後の前記配信ポリシーにより、前記時間軸データを前記交互応答論理処理モジュールに配信する。前記交互応答論理処理モジュールは、受信された時間軸データにより、前記交互応答論理のトリガーを引き起こし、前記交互応答論理に対する応答データを前記データ収集合成コンソールに報告する。

前記交互応答編集発信モジュールは、リアルタイム交互応答要求発信モジュールを含む。前記交互応答処理モジュールは、リアルタイム交互応答要求処理モジュールを含む。前記リアルタイム交互応答要求発信モジュールは、インタラクションに使われるリアルタイム交互応答要求を受信して前記発行モジュールに発信する。前記発行モジュールは、受信された前記リアルタイム交互応答要求及び配信ポリシーを、前記交互応答サーバーにアップロードする。前記交互応答サーバーは、アップロードされた前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記リアルタイム交互応答要求を前記リアルタイム交互応答要求処理モジュールに配信する。前記リアルタイム交互応答要求処理モジュールは、リアルタイム交互応答要求を受信してトリガーし、前記リアルタイム交互応答要求に対する応答データを前記データ収集合成コンソールに報告する。

前記データ収集合成コンソールは、多重入力ソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成してから、時間軸データと共に前記ストリーミングメディアデータ読取モジュールに出力するか、或いはＳＩＰプロトコルにより前記リアルタイム交互応答要求発信モジュールにリアルタイム交互応答要求を配信する。

前記データ収集合成コンソールは、デジタルコーデックモジュール、ＴＳストリーム編集合成モジュール、独自編集合成モジュール及びライブストリーミング発行モジュールを含む。前記デジタルコーデックモジュールは、収集されたＡＶアナログ信号をＡＶデジタル信号に変換した後、前記ＴＳストリーム編集合成モジュールによりＴＳストリーム信号を合成した後にデジタルコーデックモジュールに入力して再符号化するか、或いは前記独自編集合成モジュールによりＡＶデジタル信号を復号化した後にデジタルコーデックモジュールに入力して再符号化し、再符号化後のＡＶ信号を前記ライブストリーミング発行モジュールに出力して発行する。前記データ収集合成コンソールは、リアルタイム交互応答要求を発信するためのＡＶ要求モジュールをさらに含む。

前記データ収集合成コンソールのデータ出力側には、ストリーミングメディア発行クライアントと、ストリーミングメディアサーバーと、ストリーミングメディア再生クライアントとが順次に接続され、前記ストリーミングメディア発行クライアントは、前記データ収集合成コンソールの発行信号を読み取り、異なるサイズ、フォーマット、方式の要求に応じて、ストリーミングメディアをパッケージ化、ブロック化する。ＨＴＴＰ或いは独自プロトコルにより、ストリーミングメディアをブロック化してアップロードし、それに対応する時間軸データを出力する。前記ストリーミングメディアサーバーは、時間軸によりストリーミングメディアブロックをストリーミングメディアセクションに合成して保存し、複数のストリーミングメディアセクションの順序に対応するインデックスを生成し、ストリーミングメディアセクション及びインデックスを配信し、相応の時間軸データを出力する。前記ストリーミングメディア再生クライアントは、インデックス順によりストリーミングメディアセクションをダウンロードし再生する。前記ストリーミングメディア発行クライアントは、前記ストリーミングメディアサーバーにより、ＡＶ信号及びそれに対応する時間軸データを、前記ストリーミングメディア再生クライアントに配信して再生すると同時に、前記交互応答発行クライアントは前記データ収集合成コンソールから出力されたＡＶ信号及びそれに対応する時間軸データを読み取って呼び出す。前記時間軸データは、前記交互応答サーバーにより、前記交互応答クライアントに配信される。前記交互応答クライアントは、前記ストリーミングメディア再生クライアントのストリーミングメディア再生時間軸を前記交互応答サーバーから配信された時間軸と比較した後、予めに設定された時間軸論理により、交互応答論理をトリガーするか、或いはリアルタイムにトリガーする。前記交互応答クライアントは、ユーザ応答データを前記データ収集合成コンソールに報告する。

本発明に係るインターネット通信及びライブストリーミングに基づく交互応答方法は、交互応答発行クライアントと、交互応答サーバーと、交互応答クライアントを含む、インターネット通信及びライブストリーミングに基づく交互応答システムに用いられる。インターネット通信及びライブストリーミングに基づく交互応答方法は、交互応答発行クライアントは、インタラクションに使われる交互応答論理を定義、編集するか、或いはインタラクションに使われるリアルタイム交互応答要求を発信し、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定し、前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバーにアップロードするステップＡと、交互応答サーバーはアップロードされた前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求を前記交互応答クライアントに配信するステップＢと、交互応答クライアントは前記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により、前記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、前記交互応答論理或いは前記リアルタイム交互応答要求に対する応答データを収集、報告するステップＣと、を含む。

前記ステップＡ〜Ｃは、交互応答発行クライアントは、インタラクションに使われる交互応答論理を事前定義、事前編集し、前記交互応答論理の配信ポリシーを設定し、前記交互応答論理及び配信ポリシーを前記交互応答サーバーにアップロードするステップＡ１と、交互応答サーバーはアップロードされた前記交互応答論理及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記交互応答論理を前記交互応答クライアントに配信するステップＢ１と、交互応答クライアントは前記交互応答論理を受信し保存し、前記交互応答発行クライアントはＡＣ信号及びＡＣ信号に対応する時間軸データを読み取り、前記時間軸データを交互応答サーバーにアップロードし、前記交互応答サーバーは保存されている検証後の前記配信ポリシーにより、時間軸データを交互応答クライアントに配信し、前記交互応答クライアントは受信された時間軸データにより、予め保存されている前記交互応答論理のトリガーを引き起こし、前記交互応答論理に対する応答データを収集、報告するステップＣ１と、を含む。

前記ステップＡ〜ステップＣは、交互応答発行クライアントはインタラクションに使われるリアルタイム交互応答要求を受信して発信し、前記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバーにアップロードするステップＡ２と、交互応答サーバーはアップロードされた前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記リアルタイム交互応答要求を前記交互応答クライアントに配信するステップＢ２と、交互応答クライアントはリアルタイム交互応答要求を受信してトリガーし、前記リアルタイム交互応答要求に対する応答データを収集、報告するステップＣ２と、を含む。

前記ステップＡの前に、多重入力ソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成した後、時間軸データと共に前記交互応答発行クライアントに出力するか、或いはＳＩＰプロトコルによりリアルタイム交互応答要求を前記交互応答発行クライアントに発信するステップＡ０を含む。

本発明に係るインターネット通信及びライブストリーミングに基づく交互応答方法は、報告された応答データ及び時間軸データを収集し、配信された時間軸データを報告された時間軸データと比較することにより、タイムラグをコントロールするステップＤをさらに含む。

本発明は、従来技術と比べて、以下のような効果を有する。
１、交互応答編集発信モジュールにより、交互応答論理を編集するか、或いはリアルタイム交互応答要求を発信し、交互応答論理或いはリアルタイム交互応答要求を、交互応答サーバーにより交互応答クライアントに配信し、トリガー条件によりトリガーを引き起こし、応答データを収集、報告することで、生放送の現場と視聴者との良好なインタラクションを実現することができる。
２、配信された時間軸を収集報告された時間軸と比較することにより、タイムラグをコントロールすることができる。

従来のインターネット通信に基づくライブストリーミングシステムの原理ブロック図。 本発明のシステムの原理ブロック図。 本発明の方法を示すフローチャート。 本発明のシステムとライブストリーミングシステムとの結合の原理ブロック図。 本発明のシステムと結合するライブストリーミングシステムの原理ブロック図。 本発明のシステムでのデータ収集合成コンソールの原理ブロック図。 本発明のシステムでのＷｅｂｓｏｃｋｅｔプロトコルによるハンドシェイク成立のシーケンス図。 本発明のシステムでのＷｅｂｓｏｃｋｅｔの通信原理図。

以下、本発明の実施形態における詳細な説明について、図面を参照しつつ説明する。

図１に示すように、既存のインターネットのライブストリーミングシステムは、発行クライアント、サーバー及び再生クライアントを含む。図２に示すように、本発明のインターネット通信及びライブストリーミングに基づく交互応答システムは、交互応答発行クライアント１、交互応答サーバー２、交互応答クライアント３及びデータ収集合成コンソール４を含む。

交互応答発行クライアント１は、全体の交互応答論理及び具体的な交互応答論理の編集、発行をコントロールする。交互応答論理はＡＶ生放送信号のコンテンツと強い相関性を有し、事前にカスタマイズされてもよいし、リアルタイムに発行されてもよい。また、交互応答発行クライアント１は、再生されるＡＶ信号の時間軸により自動的にトリガーを引き起こすように設定してもよいし、人工的にトリガーを引き起こすようにコントロールしてもよい。さらに、交互応答発行クライアント１は、全てのオンラインユーザに一斎発信してもよいし、個別や一部のユーザのみに発信してもよい。生放送番組が開始した後、交互応答発行クライアント１はＡＶ信号及びそれに対応する時間軸データを読み取り、時間軸により自動的に交互応答論理をトリガーするか、或いは交互応答要求をリアルタイムに配信する。

交互応答発行クライアント１は、ストリーミングメディアデータ読取モジュール１１、交互応答編集発信モジュール１２及び発行モジュール１３を含む。

前記ストリーミングメディアデータ読取モジュール１１は、データ収集合成コンソール４からのＡＶ信号及びＡＶ信号に対応する時間軸データを読み取る。

交互応答編集発信モジュール１２は、インタラクションの交互応答論理を定義、編集するか、或いはインタラクションのリアルタイム交互応答要求を発信し、交互応答論理或いはリアルタイム交互応答要求の配信ポリシーを設定する。交互応答論理は、事前に編集された文字、データ、図、アンケート又はタスク等であってもよい。リアルタイム交互応答要求は、リアルタイムの音声、インタラクティブビデオ要求等であってもよい。配信ポリシーとは、定義、編集された交互応答論理或いは発信されたリアルタイム交互応答要求がどのような形で交互応答クライアント３に配信し、例えば、身分表示、時間表示、又はその他配信ポリシーにより、異なる交互応答クライアント３に配信することである。

上記発行モジュール１３は、上記交互応答論理或いは上記リアルタイム交互応答要求、配信ポリシー及び時間軸データを、上記交互応答サーバー２にアップロードする。発行モジュール１３は、交互応答論理編集モジュール１２１から送信される交互応答論理及びそれに対応する配信ポリシーを受信し、リアルタイム交互応答要求発信モジュール１２２から送信されるリアルタイム交互応答要求及び配信ポリシーと、ストリーミングメディアデータ読取モジュール１１から送信される時間軸データとを受信し、受信された上記データを交互応答サーバー２に発行する。

上記交互応答編集発信モジュール１２は、交互応答論理編集モジュール１２１及びリアルタイム交互応答要求発信モジュール１２２をさらに含む。交互応答論理編集モジュール１２１は、インタラクションに使われる交互応答論理を事前定義、事前編集し、上記交互応答論理の配信ポリシーを設定する。リアルタイム交互応答要求発信モジュール１２２は、インタラクションに使われるリアルタイム交互応答要求を送受信する。

上記交互応答サーバー２は、交互応答配信処理モジュール２１、交互応答配信ポリシー判断モジュール２２及びクライアント配信モジュール２３を含む。上記交互応答配信処理モジュール２１は、アップロードされた上記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを受信する。上記交互応答配信ポリシー判断モジュール２２は、アップロードされた上記配信ポリシーを受信し、上記配信ポリシーを検証、判断する。上記クライアント配信モジュール２３は、検証後の上記配信ポリシーにより、上記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを、交互応答クライアント３に配信する。上記交互応答サーバー２はＨＴＴＰメソッドにより時間軸データを交互応答クライアント３に配信することが好ましい。上記交互応答サーバー２による時間軸データの配信方法は上記の方法に限定されないことを理解されたい。

交互応答クライアント３は、交互応答処理モジュール３１、交互応答表示及びデータ収集モジュール３２を含む。上記交互応答処理モジュール３１は、上記交互応答論理或いはリアルタイム交互応答要求を受信し、トリガー条件により交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こす。上記交互応答表示及びデータ収集モジュール３２は、時間軸データを受信し、応答データを収集してデータ収集合成コンソール４に報告する。収集、報告される応答データは、テキストや図、ローカル音声、ビデオであってもよいし、リアルタイムの音声、ビデオ録画データであってもよい。上記交互応答表示及びデータ収集モジュール３２はＨＴＴＰメソッドにより応答データを報告することが好ましい。上記交互応答表示及びデータ収集モジュール３２によるデータの報告方法はＨＴＴＰメソッドに限らず、その他の従来のデータ伝送方法を使ってもよいことを理解されたい。

交互応答処理モジュール３１は、交互応答論理処理モジュール３１１及びリアルタイム交互応答要求処理モジュール３１２をさらに含む。上記交互応答論理処理モジュール３１１は、予め設定された時間軸論理により予め保存されている交互応答論理のトリガーを引き起こす。リアルタイム交互応答要求処理モジュール３１２は、受信されたリアルタイム交互応答要求をリアルタイムに処理する。

交互応答クライアント３は、交互応答サーバー２により受信した時間軸データを、ストリーミング再生クライアント３３が受信した時間軸データと比較し、交互応答クライアント３とストリーミングメディア再生クライアント７との同期を確保し、正しい時間ブロックに相応の交互応答論理を表示することができる。

本発明のシステムの主な動作フローは、以下のようになる。上記交互応答編集発信モジュール１２は、インタラクションに使われる交互応答論理を定義、編集するか、或いはインタラクションに使われるリアルタイム交互応答要求を発信し、上記交互応答論理或いは上記リアルタイム交互応答要求の配信ポリシーを設定し、上記交互応答論理或いはリアルタイム交互応答要求及び配信ポリシーを上記発行モジュール１３に転送する。上記発行モジュール１３は、上記交互応答論理或いは上記リアルタイム交互応答要求及び配信ポリシーを、上記交互応答配信処理モジュール２１及び交互応答配信ポリシー判断モジュール２２にアップロードする。上記交互応答配信ポリシー判断モジュール２２は、アップロードされた配信ポリシーを受信し、上記配信ポリシーを検証、判断し、検証後の上記配信ポリシーを上記クライアント配信モジュール２３に転送する。上記交互応答配信処理モジュール２１は、アップロードされた上記交互応答論理或いはリアルタイム交互応答要求を受信し、受信された上記交互応答論理或いはリアルタイム交互応答要求を上記クライアント配信モジュール２３に転送する。上記クライアント配信モジュール２３は、検証後の上記配信ポリシーにより、上記交互応答論理或いはリアルタイム交互応答要求を上記交互応答クライアント３に配信する。上記交互応答処理モジュール３１は、上記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により、上記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、応答データを上記交互応答表示及びデータ収集モジュール３２に転送する。上記交互応答表示及びデータ収集モジュール３２は、上記交互応答論理或いは上記リアルタイム交互応答要求に対する応答データを収集、報告する。

本発明のシステムの第１実施形態について詳述する。上記交互応答編集発信モジュール１２は、交互応答論理編集モジュール１２１を含む。上記交互応答処理モジュール３１は、交互応答論理処理モジュール３１１を含む。第１実施形態の動作フローは、以下のようになる。上記交互応答論理編集モジュール１２１は、インタラクションに使われる交互応答論理を事前定義、事前編集し、上記交互応答論理の配信ポリシーを設定し、上記交互応答論理及び配信ポリシーを上記発行モジュール１３に転送する。上記発行モジュール１３は、上記交互応答論理及び配信ポリシーを上記交互応答サーバー２にアップロードする。上記交互応答配信ポリシー判断モジュール２２は、アップロードされた配信ポリシーを受信して検証、判断し、検証後の上記配信ポリシーを上記クライアント配信モジュール２３に転送する。上記交互応答配信処理モジュール２１は、アップロードされた上記交互応答論理を受信し、受信された上記交互応答論理を上記クライアント配信モジュール２３に転送する。上記クライアント配信モジュール２３は、検証後の上記配信ポリシーにより、上記交互応答論理を上記交互応答論理処理モジュール３１１に配信する。上記交互応答論理処理モジュール３１１は、上記交互応答論理を受信して保存する。上記ストリーミングメディアデータ読取モジュール１１は、ＡＶ信号及びＡＶ信号に対応する時間軸データを読み取り、上記時間軸データを上記発行モジュール１３に転送する。上記発行モジュール１３は、上記時間軸データを上記交互応答サーバー２にアップロードする。上記交互応答サーバー２は、保存されている検証後の上記配信ポリシーにより、上記時間軸データを上記交互応答論理処理モジュール３１１に配信する。上記交互応答論理処理モジュール３１１は、受信された時間軸データにより、上記交互応答論理のトリガーを引き起こし、上記交互応答論理に対する応答データをデータ収集合成コンソール４に報告する。

本発明のシステムの第２実施形態について詳述する。上記交互応答編集発信モジュール１２は、リアルタイム交互応答要求発信モジュール１２２を含む。上記交互応答処理モジュール３１は、リアルタイム交互応答要求処理モジュール３１２を含む。第２実施形態の動作フローは、以下のようになる。上記リアルタイム交互応答要求発信モジュール１２２は、インタラクションに使われるリアルタイム交互応答要求を受信して上記発行モジュール１３に発信する。上記発行モジュール１３は、受信された上記リアルタイム交互応答要求及び配信ポリシーを上記交互応答サーバー２にアップロードする。上記交互応答サーバー２は、アップロードされた上記リアルタイム交互応答要求及び配信ポリシーを受信し、上記配信ポリシーを検証、判断し、検証後の上記配信ポリシーにより、上記リアルタイム交互応答要求を上記リアルタイム交互応答要求処理モジュール３１２に配信する。上記リアルタイム交互応答要求処理モジュール３１２は、リアルタイム交互応答要求を受信し、そのトリガーを引き起こし、上記リアルタイム交互応答要求に対する応答データを報告する。

本発明のシステムのデータ収集合成コンソール４は、マルチインプットソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成した後、時間軸データと共に、上記ストリーミングメディアデータ読取モジュールに出力するか、或いはＳＩＰプロトコルにより上記リアルタイム交互応答要求発信モジュール１２２にリアルタイム交互応答要求を配信する。

データ収集合成コンソール４は、二つの技術に基づくものである。一つの技術は標準ＭＰＥＧ−ＴＳストリーミング方式である。マルチデジタル信号は入力された後に標準ＭＰＥＧ−ＴＳストリーミングに合成され、出力される。一つの標準ＭＰＥＧ−ＴＳストリーミングには、マルチデジタル信号（多重デジタル信号）が含まれる。データ収集合成コンソールは、表示するか否か、及び、いつになったら表示するか、どのデジタル信号を表示するかをリアルタイムにコントロールする。もう一つの技術は独自コデックアルゴリズムに基づくものである。入力されたデジタル信号を復号化した後、リアルタイムに文字、画像、オーディオ、ビデオ効果を挿入してから再符号化し合成、出力する。図６に示すように、上記データ収集合成コンソール４は、デジタルコーデックモジュール４１、４４、ＴＳストリーム編集合成モジュール４２、独自編集合成モジュール４３及びライブストリーミング発行モジュール４５を含む。上記デジタルコーデックモジュール４１は、収集されたＡＶアナログ信号をＡＶデジタル信号に変換した後、上記ＴＳストリーム編集合成モジュール４２によりＴＳストリーム信号を合成してから、デジタルコーデックモジュールに入力して再符号化するか、或いは上記独自編集合成モジュール４３によりＡＶデジタル信号を復号化した後、デジタルコーデックモジュール４４に入力して再符号化する。ＴＳストリーム信号、又はリアルタイムに文字、画像、オーディオ、ビデオを挿入したＡＶ信号は、デジタルコーデックモジュール４４によって再符号化、合成され、ライブストリーミング発行モジュール４５に出力される。上記データ収集合成コンソール４は、リアルタイム交互応答要求を発信するためのＡＶ要求モジュール４６をさらに含む。

データ収集合成コンソール４は、外付けのビデオカメラ、カメラ、テレビ、携帯電話などの外部設備で撮影したＡＶ信号、ローカルのマルチメディアデータ、または遠隔入力によるデジタル信号を収集できる。遠隔アナログ信号は、ビデオキャプチャカードにより符号化され、デジタル信号へ変換された後、データ収集合成コンソール４に入力され、データ収集合成コンソール４によりリアルタイムに編集、合成できる。

データ収集合成コンソール４は、リアルタイムに多重ＡＶ信号を編集、合成し、対応する時間軸データと共にストリーミングメディア発行クライアント５に出力してストリーミングを配信されるとともに、ＡＶ信号及びそれに対応する時間軸データを交互応答発行クライアント１に出力することができる。データ収集合成コンソール４のＡＶ要求モジュール４６は、標準ＳＩＰプロトコルによりリアルタイム交互応答要求を発信し、交互応答発行クライアント１により一人以上のユーザに配信する。ユーザからの応答を確認した後、交互応答クライアント３は、ユーザから応答されたリアルタイムオーディオ、ビデオ信号或いはその他の信号を、データ収集合成コンソール４に出力し、データ収集合成コンソール４により編集、合成する。データ収集合成コンソール４は、配信された時間軸と収集された時間軸とを比較することにより、タイムラグをコントロールし、ＡＶ信号と交互応答信号のリアルタイム性と論理有効性を最大限に保証する。

データ収集合成コンソール４の特徴としては、以下のようになる。１、データ収集合成コンソール４は、元々の単一信号のデジタル収集から多重信号のリアルタイム収集に変更する。２、データ収集合成コンソール４は、標準及び独自の二種のコデック方式により信号をリアルタイムに編集、合成し、異なる出力要求を満足する３。、デジタル信号収集コンソールは、ＡＶ信号論理を制御、出力し、時間軸の出力及び収集によってタイムラグをコントロールする。４、デジタル信号収集コンソールは、ＳＩＰプロトコルにより、オーディオ、ビデオ交互要求を配信し、ユーザのリアルタイムオーディオ、ビデオ信号を信号源の一つとして編集と合成を行う。

本発明のシステムでは、交互応答論理の配信に対してＷｅｂｓｏｃｋｅｔプロトコルを採用する。ＷｅｂＳｏｃｋｅｔプロトコルは双方向通信プロトコルであり、ＴＣＰを基礎とし、ＨＴＴＰと同様にＴＣＰによりデータを伝送する。しかし、ＷｅｂｓｏｃｋｅｔプロトコルとＨＴＴＰとの差異点は以下のようになる。１.Ｗｅｂｓｏｃｋｅｔは双方向通信プロトコルである。接続が確立された後、Ｗｅｂｓｏｃｋｅｔサーバー及びＢｒｏｗｓｅｒ／ＵＡ（即ちＵＡブラウザ）は、いずれもハンドシェイクのように能動的にデータを送受信できる。ＷｅｂＳｏｃｋｅｔは、Ｗｅｂをベースにする単純なハンドシェイクシミュレーションプロトコルである点でＨＴＴＰと異なる。２.ＷｅｂＳｏｃｋｅｔは、ハンドシェイクによって接続を行う必要がある。すなわち、ＷｅｂＳｏｃｋｅｔは、ＴＣＰのようにクライアントとサーバーとのハンドシェイクで接続を行い、接続が成功しなければ互いに通信ができない。

図７は、本発明のシステムでのＷｅｂｓｏｃｋｅｔプロトコルによるハンドシェイク確立のシーケンス図である。ＷｅｂＳｏｃｋｅｔによるハンドシェイクの実行プロセスは以下のようになる。
Ｗｅｂアプリがｎｅｗ ＷｅｂＳｏｃｋｅｔ（ＵＲＬ）インターフェースを呼び出す時に、ＢｒｏｗｓｅｒとＵＲＬアドレスのＷｅｂＳｅｒｖｅｒとのハンドシェイク接続を確立するプロセスが始まる。
１. Ｂｒｏｗｓｅｒは、ＷｅｂＳｏｃｋｅｔサーバーとの間でＴＣＰの３ウェイハンドシェイクにより接続を確立する。その接続確立が失敗した場合には、その後のプロセスを実行せずに、Ｗｅｂアプリがエラーメッセージを受信する。
２.ＴＣＰで接続確立が成功した後、Ｂｒｏｗｓｅｒ／ＵＡはＨＴＴＰプロトコルにより、ＷｅｂＳｏｃｋｅｔをサポートするバージョン番号、プロトコルのバージョン番号、元のアドレス、ホストアドレスなどのフィールドを、サーバーに転送する。
３. ＷｅｂＳｏｃｋｅｔサーバーはＢｒｏｗｓｅｒ／ＵＡから送信されたハンドシェイク要求を受信した後、パケットのデータとフォーマットが正しく、クライアントとサーバーのプロトコルのバージョン番号がマッチするなどの場合、そのハンドシェイク接続を認め、相応のデータを返信する。なお、返信されたデータパッケージもＨＴＴＰプロトコルにて伝送される。
４. Ｂｒｏｗｓｅｒはサーバーより返信されたデータパッケージを受信した後、パケットの内容・フォーマットに問題がなければ、その接続が成功したことが表され、ｏｎｏｐｅｎメッセージのトリガーを引き起こす。その際、Ｗｅｂ開発者はｓｅｎｄインターフェースにてサーバーへデータを送信できる。逆の場合、ハンドシェイク接続が失敗し、Ｗｅｂアプリはｏｎｅｒｒｏｒメッセージを受信して、接続失敗の原因が分かる。

Ｗｅｂｓｏｃｋｅｔ技術を採用するメリットとしては、一つのクライアントが一つのＴＣＰのみを使ってリンクすることができ、サーバーが直接にデータをクライアントに伝送することができ、パケットのデータ量が少なく、データ伝送に負荷が低く、クライアントの開発インターフェース論理が簡単かつ使いやすくて互換性が優れる。

本発明は、インターネット通信及びライブストリーミングに基づく交互応答方法をさらに公開している。該方法は、交互応答発行クライアント１、交互応答サーバー２及び交互応答クライアント３を含む、インターネット通信及びライブストリーミングに基づく交互応答システムによって行われる。その方法の特徴としては、下記のステップを含むことである。

ステップＡでは、交互応答発行クライアント１は、インタラクションに使われる交互応答論理を定義、編集するか、或いはインタラクションに使われるリアルタイム交互応答要求を発信し、上記交互応答論理或いは上記リアルタイム交互応答要求の配信ポリシーを設定し、上記交互応答論理或いは上記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバー２にアップロードする。

ステップＢでは、交互応答サーバー２は、アップロードされた上記交互応答論理或いは上記リアルタイム交互応答要求及び配信ポリシーを受信し、上記配信ポリシーを検証、判断し、検証後の上記配信ポリシーにより、上記交互応答論理或いはリアルタイム交互応答要求を上記交互応答クライアント３に配信する。

ステップＣでは、交互応答クライアント３は、上記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により、上記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、上記交互応答論理或いは上記リアルタイム交互応答要求に対する応答データを収集、報告する。

以下、本発明の方法の第１実施形態について詳述する。

ステップＡ１では、１交互応答発行クライアント１は、インタラクションに使われる交互応答論理を事前定義、事前編集し、上記交互応答論理の配信ポリシーを設定し、上記交互応答論理及び配信ポリシーを上記交互応答サーバー２にアップロードする。

ステップＢ１では、１交互応答サーバー２は、アップロードされた上記交互応答論理及び配信ポリシーを受信し、上記配信ポリシーを検証、判断し、検証後の上記配信ポリシーにより、上記交互応答論理を上記交互応答クライアント３に配信する。

ステップＣ１では、１交互応答クライアント３は、上記交互応答論理を受信して保存する。上記交互応答発行クライアント１は、ＡＶ信号及びＡＶ信号に対応する時間軸データを読み取り、上記時間軸データを交互応答サーバー２にアップロードする。上記交互応答サーバー２は、保存されている検証後の上記配信ポリシーにより、時間軸データを交互応答クライアント３に配信する。交互応答クライアント３は、受信された時間軸データにより、予め保存されている上記交互応答論理のトリガーを引き起こし、上記交互応答論理に対する応答データを収集、報告する。

以下、本発明の方法の第２実施形態について詳述する。

ステップＡ２では、交互応答発行クライアント１は、インタラクションに使われるリアルタイム交互応答要求を受信して発信するとともに、上記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバー２にアップロードする。

ステップＢ２では、交互応答サーバー２は、アップロードされた上記リアルタイム交互応答要求及び配信ポリシーを受信し、上記配信ポリシーを検証、判断し、検証後の上記配信ポリシーにより、上記リアルタイム交互応答要求を上記交互応答クライアント３に配信する。

ステップＣ２では、交互応答クライアント３は、リアルタイム交互応答要求を受信し、そのトリガーを引き起こし、上記リアルタイム交互応答要求に対する応答データを収集、報告する。

本発明の方法は、上記ステップＡの前に、多重入力ソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成した後に時間軸データと共に、上記交互応答発行クライアント１に出力するか、或いはＳＩＰプロトコルにより、リアルタイム交互応答要求を上記交互応答発行クライアント１に発信するステップＡ０をさらに含む。本発明の方法は、報告された応答データ及び時間軸データを収集し、配信された時間軸データを報告された時間軸データと比較することにより、タイムラグをコントロールするステップＤをさらに含む。

図４は、本発明のシステムとインターネットライブストリーミングシステムを結び合わせた実施例の原理ブロック図である。データ収集合成コンソール４は、収集側で収集されたＡＶ信号をリアルタイムに編集して多重ＡＶ信号に合成し、合成されたＡＶ信号を、それに対応する時間軸データと共にストリーミングメディア発行クライアント５に出力するとともに、合成されたＡＶ信号及びそれに対応の時間軸データを交互応答発行クライアント１に出力する。

ストリーミングメディア発行クライアント５は、ストリーミングメディアサーバー６により、ＡＶ信号及びそれに対応する時間軸データをストリーミングメディア再生クライアント７に配信して再生する。具体的には、下記とおりである。１、ストリーミングメディア発行クライアント５は、データ収集合成コンソール４の発行信号を読み取り、異なるサイズ、フォーマット、方式に対する要求に応じて、ストリーミングメディアをパッケージ化、ブロック化し、ＨＴＴＰまたは独自プロトコルにより、ストリーミングメディアブロックをストリーミングメディアサーバー６にアップロードし、相応の時間軸データを出力する。２、ストリーミングメディアサーバー６は、時間軸によりストリーミングメディアブロックをストリーミングメディアセクションに合成して保存し、複数のストリーミングメディアセクションの順序に対応するインデックスを生成し、ストリーミングメディアセクション、インデックスをストリーミングメディア再生クライアント７に配信し、相応の時間軸データを出力する。３、ストリーミングメディア再生クライアント７はストリーミングメディアサーバー６と情報交流を行い、インデックス順によりストリーミングメディアセクションをダウンロードし、再生する。ストリーミングメディアサーバー６により配信された時間軸データを、ストリーミングメディアセクションデータ及びクライアントシステム時間と比較することにより、ストリーミングメディアセクションの再生の時効性を最大限に保証する。

ストリーミングメディア発行クライアント５は、ストリーミングメディアサーバー６により、ＡＶ信号及びそれに対応する時間軸データを、ストリーミング再生クライアントに配信して再生する。それと同時に、交互応答発行クライアント１は、データ収集合成コンソール４より出力されたＡＶ信号及びそれに対応する時間軸データを読み取って呼び出す。時間軸データは、交互応答サーバー２により交互応答クライアント３に配信される。交互応答クライアント３は、ストリーミングメディア再生クライアント７のストリーミング再生時間軸を、交互応答サーバー２により配信された時間軸と比較した後、予めに設定された時間軸論理により交互応答論理をトリガーしたりリアルタイムにトリガーしたりする。ユーザが交互応答論理に応答してから、交互応答クライアント３はユーザ応答データをデータ収集合成コンソール４に報告する。

本発明のインターネットに基づくライブストリーミングシステムの構成は、上述した構成に限定されない。図４は実施例の一つだけである。本発明のシステムは、その他の構成のライブストリーミングシステムと組み合わせて、インタラクションを実現できる。

以下、本発明のシステム及び方法の応用について、例を挙げて説明する。

（応用例１）
生放送番組では、司会者が芸能人にインタビューする時に、視聴者はリアルタイムでインタラクティブに参加することができる。生放送の現場にいる芸能人、例えば、フェイ・ウォンやリー・ヤーポン（李亜鵬）、ドウ・ウェイなどから自分の大好きな芸能人を選んで投票してくださいと司会者が呼びかけた場合には、司会者が生放送の現場で呼びかけた投票要求がリアルタイム交互要求であり、その投票要求が交互応答発行クライアント１により交互応答サーバー２にアップロードされる。交互応答サーバー２は、さらにこの要求を交互応答クライアント３に配信する。視聴者は、交互応答要求を受信した後、自分の好きな芸能人を選ぶ。交互応答クライアント３は、視聴者の投票結果を収集して報告する。データ収集合成コンソール４は、報告されたデータを分類して纏め、現場ディレクター又は投影により、生放送の現場にいる司会者や芸能人にリアルタイムにフィードバックする。司会者や芸能人は、ユーザのフィードバックにより次の話題を引き出す。

（応用例２）
インターネットで話題の事件や重要な試合を生放送する時に、司会者やディレクターはリアルタイムに視聴者のコメントを収集又は調査できる。視聴者は、リアルタイムに交互応答クライアントにより自分の偏ったコメントをフィードバックできる。例如、交互応答発行クライアント１は、リアルタイム交互応答要求を発行する。例えば、マレーシア航空ＭＨ３３７０便の失踪原因については、飛行機の機械と通信システムが同時に故障したといった選択肢Ａと、テロリストによるハイジャックといった選択肢Ｂと、飛行機パイロットがある目的により通信システムを停止したといった選択肢Ｃと、その他といった選択肢Ｄを用意した。また、バイエルンミュンヘンチームとマンチェスターユナイテッドチームの試合結果については、バイエルンミュンヘンチーム優勝といった選択肢Ａと、引き分けといった選択肢Ｂと、マンチェスターユナイテッドチーム優勝といった選択肢Ｃとを用意した。交互応答サーバー２は、このリアルタイム交互応答要求を受信して交互応答クライアント３に配信する。交互応答クライアント３は、視聴者からのフィードバック結果を収集して報告し、データ収集合成コンソール４によりまとめてリアルタイムに生放送の現場にフィードバックする。

（応用例３）
歌唱コンクール時に、司会者又はディレクターは選手の本番での実力発揮により、交互応答論理を発行し、相応の応答データを入手できる。例えば、このコンクールの中では、昇進すると思われる選手は、リー・ユーチュン（李宇春）Ａ、ジェーン・チャン（張▲静▼穎）Ｂ、チョウ・ビーチャン（周筆暢）Ｃ、ハー・ジェ（何潔）Ｄから選んでください。この交互応答論理は、交互応答発行クライアント１により事前に作成され、交互応答サーバー２により交互応答クライアント３に事前に配信され、司会者が生放送の現場でトリガーを引き起こすことにより、交互応答クライアント３に表示される。現場ディレクターが交互応答発行クライアントによりリアルタイムに交互応答要求を作成し、交互応答サーバーによりリアルタイムに交互応答クライアント３に配信して表示させることも可能である。視聴者は、交互応答クライアントで投票してフィードバックする。相応のデータは、データ収集合成コンソール４に報告され、纏められる。例えば、リー・ユーチュンが得た票数は１２００票、ジェーン・チャンが得た票数は９００票、チョウ・ビーチャンが得た票数は８００票、ハー・ジェが得た票数は６００票という結果が得られた。現場ディレクターによる現場投影及び司会者による投票結果の口頭発表により、生放送の現場で昇進選手が決まる。

本発明のシステムは、従来のライブストリーミングシステムに容易に埋め込まれ、ライブストリーミングシステムと組み合わせて使うことが可能である。

１ 交互応答発行クライアント
２ 交互応答サーバー
３ 交互応答クライアント
４ データ収集合成コンソール

Claims (12)

1. データ収集合成コンソール（４）を含む、インターネット通信およびライブストリーミングに基づく交互応答システムであって、
   交互応答発行クライアント（１）と、交互応答サーバー（２）と、交互応答クライアント（３）とを含み、
   前記交互応答発行クライアント（１）は、ストリーミングメディアデータ読取モジュール（１１）と、交互応答編集発信モジュール（１２）と、発行モジュール（１３）とを含み、
   前記ストリーミングメディアデータ読取モジュール（１１）は、前記データ収集合成コンソール（４）からのＡＶ信号及びＡＶ信号に対応する時間軸データを読み取り、
   前記交互応答編集発信モジュール（１２）は、インタラクションの交互応答論理を定義、編集するか、或いはインタラクションのリアルタイム交互応答要求を発信し、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定し、
   前記発行モジュール（１３）は、前記交互応答論理或いは前記リアルタイム交互応答要求、配信ポリシー及び時間軸データを、前記交互応答サーバー（２）にアップロードし、
   前記交互応答サーバー（２）は、交互応答配信処理モジュール（２１）と、交互応答配信ポリシー判断モジュール（２２）と、クライアント配信モジュール（２３）とを含み、
   前記交互応答配信処理モジュール（２１）は、アップロードされた前記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを受信し、
   前記交互応答配信ポリシー判断モジュール（２２）は、アップロードされた前記配信ポリシーを受信し、前記配信ポリシーを検証、判断し、
   前記クライアント配信モジュール（２３）は、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求及び時間軸データを、交互応答クライアント（３）に配信し、前記交互応答クライアント（３）は、交互応答処理モジュール（３１）と、交互応答表示と、データ収集モジュール（３２）とを含み、
   前記交互応答処理モジュール（３１）は、前記交互応答論理或いはリアルタイム交互応答要求を受信し、トリガー条件により交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、
   前記交互応答表示及びデータ収集モジュール（３２）は、時間軸データを受信し、応答データを収集、処理し、前記応答データ及び時間軸データを前記データ収集合成コンソール（４）に報告することを特徴とする、インターネット通信およびライブストリーミングに基づく交互応答システム。
2. 前記交互応答編集発信モジュール（１２）は、インタラクションに使われる交互応答論理を定義、編集したり、インタラクションに使われるリアルタイム交互応答要求を発信したりし、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定し、前記交互応答論理或いはリアルタイム交互応答要求及び配信ポリシーを前記発行モジュール（１３）に伝送し、
   前記発行モジュール（１３）は、前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを、前記交互応答配信処理モジュール（２１）及び交互応答配信ポリシー判断モジュール（２２）にアップローし、
   前記交互応答配信ポリシー判断モジュール（２２）は、アップロードされた配信ポリシーを受信し、前記配信ポリシーを検証、判断した後、検証後の前記配信ポリシーを前記クライアント配信モジュール（２３）に伝送し、
   前記交互応答配信処理モジュール（２１）は、アップロードされた前記交互応答論理或いはリアルタイム交互応答要求を受信し、受信された前記交互応答論理或いはリアルタイム交互応答要求を、前記クライアント配信モジュール（２３）に伝送し、
   前記クライアント配信モジュール（２３）は、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求を前記交互応答クライアント（３）に配信し、
   前記交互応答処理モジュール（３１）は、前記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により前記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、応答データを前記交互応答表示及びデータ収集モジュール（３２）に伝送し、
   前記交互応答表示及びデータ収集モジュール（３２）は、時間軸データを受信し、応答データを収集、処理し、前記時間軸データ及び応答データを前記データ収集合成コンソール（４）に報告することを特徴とする請求項１に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
3. 前記交互応答編集発信モジュール（１２）は、交互応答論理編集モジュール（１２１）を含み、
   前記交互応答処理モジュール（３１）は、交互応答論理処理モジュール（３１１）を含み、
   前記交互応答論理編集モジュール（１２１）は、インタラクションにつかわれる交互応答論理を事前定義、事前編集し、前記交互応答論理の配信ポリシーを設定し、前記交互応答論理及び配信ポリシーを前記発行モジュール（１３）に伝送し、
   前記発行モジュール（１３）は、前記交互応答論理及び配信ポリシーを前記交互応答サーバー（２）にアップロードし、
   前記交互応答配信ポリシー判断モジュール（２２）は、アップロードされた配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーを前記クライアント配信モジュール（２３）に伝送し、
   前記交互応答配信処理モジュール（２１）は、アップロードされた前記交互応答論理を受信し、受信された前記交互応答論理を前記クライアント配信モジュール（２３）に伝送し、
   前記クライアント配信モジュール（２３）は、検証後の前記配信ポリシーにより、前記交互応答論理を前記交互応答論理処理モジュール（３１１）に配信し、
   前記交互応答論理処理モジュール（３１１）は、前記交互応答論理を受信して保存し、
   前記ストリーミングメディアデータ読取モジュール（１１）は、ＡＶ信号及びＡＶ信号に対応する時間軸データを読み取り、前記時間軸データを前記発行モジュール（１３）に伝送し、
   前記発行モジュール（１３）は、前記時間軸データを前記交互応答サーバー（２）にアップロードし、
   前記交互応答サーバー（２）は、保存されている検証後の前記配信ポリシーにより、前記時間軸データを前記交互応答論理処理モジュール（３１１）に配信し、
   前記交互応答論理処理モジュール（３１１）は、受信された時間軸データにより、前記交互応答論理のトリガーを引き起こし、前記交互応答論理に対する応答データを前記データ収集合成コンソール（４）に報告することを特徴とする請求項１に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
4. 前記交互応答編集発信モジュール（１２）は、リアルタイム交互応答要求発信モジュール（１２２）を含み、
   前記交互応答処理モジュール（３１）は、リアルタイム交互応答要求処理モジュール（３１２）を含み、
   前記リアルタイム交互応答要求発信モジュール（１２２）は、インタラクションに使われるリアルタイム交互応答要求を受信して前記発行モジュール（１３）に発信し、
   前記発行モジュール（１３）は、受信された前記リアルタイム交互応答要求及び配信ポリシーを、前記交互応答サーバー（２）にアップロードし、
   前記交互応答サーバー（２）は、アップロードされた前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記リアルタイム交互応答要求を前記リアルタイム交互応答要求処理モジュール（３１２）に配信し、
   前記リアルタイム交互応答要求処理モジュール（３１２）は、リアルタイム交互応答要求を受信してトリガーし、前記リアルタイム交互応答要求に対する応答データを前記データ収集合成コンソール（４）に報告することを特徴とする請求項１に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
5. 前記データ収集合成コンソール（４）は、多重入力ソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成してから、時間軸データと共に前記ストリーミングメディアデータ読取モジュール（１１）に出力するか、或いはＳＩＰプロトコルにより前記リアルタイム交互応答要求発信モジュール（１２２）にリアルタイム交互応答要求を配信することを特徴とする請求項１に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
6. 前記データ収集合成コンソール（４）は、デジタルコーデックモジュール（４１、４４）、ＴＳストリーム編集合成モジュール（４２）、独自編集合成モジュール（４３）及びライブストリーミング発行モジュール（４５）を含み、
   前記デジタルコーデックモジュール（４１）は、収集されたＡＶアナログ信号をＡＶデジタル信号に変換した後、前記ＴＳストリーム編集合成モジュール（４２）によりＴＳストリーム信号を合成した後にデジタルコーデックモジュール（４１、４４）に入力して再符号化するか、或いは前記独自編集合成モジュール（４３）によりＡＶデジタル信号を復号化した後にデジタルコーデックモジュール（４１、４４）に入力して再符号化し、再符号化後のＡＶ信号を前記ライブストリーミング発行モジュール（４５）に出力して発行し、
   前記データ収集合成コンソール（４）は、リアルタイム交互応答要求を発信するためのＡＶ要求モジュール（４６）をさらに含むことを特徴とする請求項５に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
7. 前記データ収集合成コンソール（４）のデータ出力側には、ストリーミングメディア発行クライアント（５）と、ストリーミングメディアサーバー（６）と、ストリーミングメディア再生クライアント（７）とが順次に接続され、前記ストリーミングメディア発行クライアント（５）は、前記データ収集合成コンソール（４）の発行信号を読み取り、異なるサイズ、フォーマット、方式の要求に応じて、ストリーミングメディアをパッケージ化、ブロック化し、
   ＨＴＴＰ或いは独自プロトコルにより、ストリーミングメディアをブロック化してアップロードし、それに対応する時間軸データを出力し、
   前記ストリーミングメディアサーバー（６）は、時間軸によりストリーミングメディアブロックをストリーミングメディアセクションに合成して保存し、複数のストリーミングメディアセクションの順序に対応するインデックスを生成し、ストリーミングメディアセクション及びインデックスを配信し、相応の時間軸データを出力し、
   前記ストリーミングメディア再生クライアント（７）は、インデックス順によりストリーミングメディアセクションをダウンロードし再生し、
   前記ストリーミングメディア発行クライアント（５）は、前記ストリーミングメディアサーバー（６）により、ＡＶ信号及びそれに対応する時間軸データを、前記ストリーミングメディア再生クライアント（７）に配信して再生すると同時に、前記交互応答発行クライアント（１）は前記データ収集合成コンソール（４）から出力されたＡＶ信号及びそれに対応する時間軸データを読み取って呼び出し、
   前記時間軸データは、前記交互応答サーバー（２）により、前記交互応答クライアント（３）に配信され、
   前記交互応答クライアント（３）は、前記ストリーミングメディア再生クライアント（７）のストリーミングメディア再生時間軸を前記交互応答サーバー（２）から配信された時間軸と比較した後、予めに設定された時間軸論理により、交互応答論理をトリガーするか、或いはリアルタイムにトリガーし、
   前記交互応答クライアント（３）は、ユーザ応答データを前記データ収集合成コンソール（４）に報告することを特徴とする請求項１乃至６の何れか一項に記載の、インターネット通信およびライブストリーミングに基づく交互応答システム。
8. インターネット通信及びライブストリーミングに基づく交互応答方法であって、
   前記方法は、交互応答発行クライアント（１）と、交互応答サーバー（２）と、交互応答クライアント（３）を含む、インターネット通信及びライブストリーミングに基づく交互応答システムに用いられ、
   交互応答発行クライアント（１）は、インタラクションに使われる交互応答論理を定義、編集するか、或いはインタラクションに使われるリアルタイム交互応答要求を発信し、前記交互応答論理或いは前記リアルタイム交互応答要求の配信ポリシーを設定し、前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバー（２）にアップロードするステップＡと、
   交互応答サーバー（２）は、アップロードされた前記交互応答論理或いは前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより、前記交互応答論理或いはリアルタイム交互応答要求を前記交互応答クライアント（３）に配信するステップＢと、
   交互応答クライアント（３）は前記交互応答論理或いはリアルタイム交互応答要求を受信し、設定されたトリガー条件により、前記交互応答論理或いはリアルタイム交互応答要求のトリガーを引き起こし、前記交互応答論理或いは前記リアルタイム交互応答要求に対する応答データを収集、報告するステップＣと、を含むことを特徴とする、インターネット通信及びライブストリーミングに基づく交互応答方法。
9. 前記ステップＡ〜Ｃは、
   交互応答発行クライアント（１）は、インタラクションに使われる交互応答論理を事前定義、事前編集し、前記交互応答論理の配信ポリシーを設定し、前記交互応答論理及び配信ポリシーを前記交互応答サーバー（２）にアップロードするステップＡ１と、
   交互応答サーバー（２）はアップロードされた前記交互応答論理及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記交互応答論理を前記交互応答クライアント（３）に配信するステップＢ１と、
   交互応答クライアント（３）は前記交互応答論理を受信し保存し、前記交互応答発行クライアント（１）はＡＣ信号及びＡＣ信号に対応する時間軸データを読み取り、前記時間軸データを交互応答サーバー（２）にアップロードし、前記交互応答サーバー（２）は保存されている検証後の前記配信ポリシーにより、時間軸データを交互応答クライアント（３）に配信し、前記交互応答クライアント（３）は受信された時間軸データにより、予め保存されている前記交互応答論理のトリガーを引き起こし、前記交互応答論理に対する応答データを収集、報告するステップＣ１と、を含むことを特徴とする請求項８に記載の、インターネット通信及びライブストリーミングに基づく交互応答方法。
10. 前記ステップＡ〜ステップＣは、
    交互応答発行クライアント（１）はインタラクションに使われるリアルタイム交互応答要求を受信して発信し、前記リアルタイム交互応答要求及び配信ポリシーを交互応答サーバー（２）にアップロードするステップＡ２と、
    交互応答サーバー（２）はアップロードされた前記リアルタイム交互応答要求及び配信ポリシーを受信し、前記配信ポリシーを検証、判断し、検証後の前記配信ポリシーにより前記リアルタイム交互応答要求を前記交互応答クライアント（３）に配信するステップＢ２と、
    交互応答クライアント（３）はリアルタイム交互応答要求を受信してトリガーし、前記リアルタイム交互応答要求に対する応答データを収集、報告するステップＣ２と、を含むことを特徴とする請求項８に記載の、インターネット通信及びライブストリーミングに基づく交互応答方法。
11. 前記ステップＡの前に、
    多重入力ソースデータを収集し、収集されたデータをリアルタイムに編集、加工、合成した後、時間軸データと共に前記交互応答発行クライアント（１）に出力するか、或いはＳＩＰプロトコルによりリアルタイム交互応答要求を前記交互応答発行クライアント（１）に発信するステップＡ０を含むことを特徴とする請求項８に記載の、インターネット通信及びライブストリーミングに基づく交互応答方法。
12. 報告された応答データ及び時間軸データを収集し、配信された時間軸データを報告された時間軸データと比較することにより、タイムラグをコントロールするステップＤをさらに含むことを特徴とする請求項８に記載の、インターネット通信及びライブストリーミングに基づく交互応答方法。