JP2004350178A

JP2004350178A - Compound content synchronous distribution method, server and program

Info

Publication number: JP2004350178A
Application number: JP2003147279A
Authority: JP
Inventors: Takayuki Nakao; 高之中尾; Sakuichi Otsuka; 作一大塚
Original assignee: NTT Data Corp
Current assignee: NTT Data Group Corp
Priority date: 2003-05-26
Filing date: 2003-05-26
Publication date: 2004-12-09
Anticipated expiration: 2023-05-26
Also published as: JP4190946B2

Abstract

PROBLEM TO BE SOLVED: To reduce user's uneasiness caused by the wait time of a comment indication in chat caused by synchronously providing interactive contents of a chat service or the like and live contents. SOLUTION: A distribution management server 1 performs streaming distribution of live content data to a user terminal 4. Besides, a chat name of a viewer and an IP address of his/her terminal are registered. Further, the chat comment data from each user terminal 4 are cumulatively stored and in response to a request of the chat comment data from a user terminal 4, on the basis of the delay time to the actual reproduction of the live contents in the terminal, the comment data are transmitted to synchronize the reproduction of the live contents and the indication of the comment data. Besides, the chat name is detected by speech recognition processing with respect to the live content data and when the chat name is detected, the corresponding IP address is acquired. A near future message is then transmitted to the corresponding user terminal 4. COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、ライブコンテンツとともにチャットサービス等のインタラクティブコンテンツを提供する複合コンテンツ同期配信システムに関する。
【０００２】
【従来の技術】
近年、ネットワーク通信技術の飛躍的な向上により、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）、光ファイバ等の高速通信を実現する通信インフラが普及している。これにより、様々な形態の情報通信サービスの提供が可能となり、例えば、ライブコンテンツとともにチャットサービス等のインタラクティブコンテンツを提供するようなサービスも実現され始めている。
また、動画と、他のコンテンツと、を同期して再生させるデータ通信システムもある（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１７６６３８号公報（第７頁、第３図）
【０００４】
【発明が解決しようとする課題】
しかし、ライブコンテンツととともにインタラクティブコンテンツを提供するサービスでは（例えば、放送番組をライブストリーム配信し、視聴者が番組に対するコメントをチャットでやり取りするようなサービス）、コンテンツデータを送信するための時間やコンテンツのエンコードや端末側でのバッファリングのための時間が必要であることから、ライブを実際に行っている時刻と、ユーザがライブコンテンツを視聴する時刻の間には時間差が生じる。
このため、例えば、ライブスタジオ等からライブコンテンツを視聴者の端末にストリーム配信するとともに、そのコンテンツに対して、チャット等のインタラクティブなアクションを視聴者から受け付け、そのアクションに対してライブスタジオから番組進行者が応答するようなシステムにおいて、視聴者によるチャットの書き込みに対してライブスタジオの番組進行者がライブでコメントした場合、上記の時間差によりライブ放送でのコメントの出力が遅れてしまい、チャットの書き込みとライブの内容がかみ合わなくなってしまう可能性がある。
【０００５】
このような問題に対して、ライブコンテンツの配信とチャットのコメント表示の同期を取ることも考えられるが、この場合、チャットのコメント表示を、ライブコンテンツが再生させるまでの時間（遅延時間）に合わせることから、ユーザが書き込みを行ってからそのコメントが表示されるまでの待ち時間が長くなってしまう。これにより、書き込みを行ったユーザにストレスを感じさせる虞があった。
【０００６】
この発明は、上記実状に鑑みてなされたものであり、チャットサービス等のインタラクティブコンテンツとライブコンテンツを同期を取って提供することで生ずるチャットのコメント表示の待ち時間によるユーザの不安を軽減させるための複合コンテンツ同期配信方法及びサーバ等を提供することを目的とする。
また、この発明は、チャットサービス等のインタラクティブコンテンツとライブコンテンツを同期を取って提供するシステムにおいて、ライブストリーミング配信のために必要となる遅延時間を利用して、特定のユーザに情報を提供することを可能とするための複合コンテンツ同期配信方法及びサーバ等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、この発明の第１の観点に係る複合コンテンツ同期配信方法は、
番組進行者の端末と視聴者の端末にネットワークを介して接続される管理サーバを備えるシステムにおいて、ライブコンテンツとライブに関するチャットサービスを提供する複合コンテンツ同期配信方法であって、
スタジオで撮影されたライブコンテンツデータを管理サーバに入力する入力ステップと、
前記管理サーバが、配信対象のライブコンテンツが実際に視聴者の端末にて再生されるまでの遅延時間を算出するステップと、
前記管理サーバが、前記入力ステップにより入力されたライブコンテンツデータのストリーミング配信を視聴者の端末に対して行うステップと、
前記管理サーバが、チャットに加入する視聴者のチャットネームと端末識別情報を視聴者の端末から受信し、関連付けて所定のテーブルに登録するステップと、
各視聴者の端末からチャットのコメントデータを受信して記憶するステップと、
前記管理サーバが、前記視聴者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータのうち、受信時から前記遅延時間が経過したものを送信するステップと、
番組進行者の端末が、チャットのコメントデータの要求信号を所定のタイミングで前記管理サーバに送信するステップと、
前記管理サーバが、前記番組進行者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータを送信するステップと、
前記管理サーバが、前記入力ステップにより入力されたライブコンテンツデータについて音声認識処理を行い、前記テーブルに登録されているチャットネームの検出を行う検出ステップと、
前記検出ステップによりいずれかのチャットネームが検出された場合、該チャットネームに対応する端末識別情報を読み出し、該端末識別情報により特定される視聴者の端末に、該視聴者に関する情報が近未来にライブ放送される旨の近未来メッセージを送信する近未来情報供給ステップと、
を備えることを特徴とする。
【０００８】
このような構成によれば、ライブ放送のストリーミング配信に必要な遅延時間に合わせて、端末におけるチャットのコメントの表示更新を遅らせることでライブ番組の内容とチャットの書き込み内容をほぼ同期させることができるとともに、チャットの書き込みに対する番組進行者のコメントが番組で近未来に放送されることを、その書き込みを行ったユーザに対して通知することができるため、チャットの表示内容の更新が遅れることによる視聴者のストレスを軽減することができる。
【０００９】
また、この発明の第２の観点に係る複合コンテンツ同期配信サーバは、
ライブコンテンツとライブに関するチャットサービスを提供する複合コンテンツ同期配信サーバであって、
スタジオで撮影されたライブコンテンツデータの入力を受け付ける手段と、
配信対象のライブコンテンツが実際に視聴者の端末にて再生されるまでの遅延時間を算出する手段と、
前記入力されたライブコンテンツデータのストリーミング配信を視聴者の端末に対して行う手段と、
チャットに加入するユーザのチャットネームと端末識別情報を視聴者の端末から受信し、関連付けて記憶するチャットネーム記憶手段と、
各視聴者の端末からチャットのコメントデータを受信して記憶する手段と、
視聴者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータのうち、受信時から前記遅延時間が経過したものを送信する手段と、
番組進行者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータを送信する手段と、
前記入力されたライブコンテンツデータについて音声認識処理を行い、前記チャットネーム記憶手段に記憶されているチャットネームの検出を行う検出手段と、
前記検出手段によりいずれかのチャットネームが検出された場合、該チャットネームに対応する端末識別情報を読み出し、該端末識別情報により特定される視聴者の端末に、該視聴者に関する情報が近未来にライブ放送される旨の近未来メッセージを送信する近未来情報供給手段と、
を備えることを特徴とする。
【００１０】
このような構成によれば、ライブ放送のストリーミング配信に必要な遅延時間に合わせて、端末におけるチャットのコメントの表示更新を遅らせることでライブ番組の内容とチャットの書き込み内容をほぼ同期させることができるとともに、チャットの書き込みに対する番組進行者のコメントが番組で近未来に放送されることを、その書き込みを行ったユーザに対して通知することができるため、チャットの表示内容の更新が遅れることによる視聴者のストレスを軽減することができる。
【００１１】
視聴者の端末からのチャットのコメントデータの受信に応答して、コメントを受け付けた旨のメッセージを送信元の端末に送信する手段をさらに備えてもよい。
【００１２】
前記近未来情報供給手段は、該視聴者に関する情報がライブ放送されるまでの時間を算出し、算出した時間の情報を前記近未来メッセージに含めて送信するようにしてもよい。
【００１３】
また、この発明の第３の観点に係るプログラムは、
コンピュータに、
スタジオで撮影されたライブコンテンツデータの入力を受け付けるステップ、
配信対象のライブコンテンツが実際に視聴者の端末にて再生されるまでの遅延時間を算出するステップ、
前記入力されたライブコンテンツデータのストリーミング配信を視聴者の端末に対して行うステップ、
チャットに加入するユーザのチャットネームと端末識別情報を視聴者の端末から受信し、関連付けて所定のテーブルに登録するステップ、
各視聴者の端末からチャットのコメントデータを受信して記憶するステップ、
視聴者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータのうち、受信時から前記遅延時間が経過したものを送信するステップ、
番組進行者の端末からのチャットのコメントデータの要求信号に応答して、前記記憶されたコメントデータを送信するステップ、
前記入力されたライブコンテンツデータについて音声認識処理を行い、前記テーブルに記憶されているチャットネームの検出を行う検出ステップ、
前記検出ステップによりいずれかのチャットネームが検出された場合、該チャットネームに対応する端末識別情報を読み出し、該端末識別情報により特定される視聴者の端末に、該視聴者に関する情報が近未来にライブ放送される旨の近未来メッセージを送信するステップ、
を実行させる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、ライブ番組のコンテンツとともに番組に関するチャットサービスを提供する複合コンテンツ配信システムを例に図面を参照して説明する。
【００１５】
図１はこの発明の実施形態に係る複合コンテンツ配信システムの構成を示す図である。
図示するように、この複合コンテンツ配信システムは、配信管理サーバ１、撮影端末２、スタジオ端末３、ユーザ端末４と、を備え、このうち、配信管理サーバ１、スタジオ端末３、ユーザ端末４はインターネット等のネットワーク１０を介して接続されている。また、撮影端末２は配信管理サーバ１に接続されている。
【００１６】
配信管理サーバ１は、ライブ番組のコンテンツの提供と、番組に関するチャットサービスの提供と、を行うためのものであり、例えば図２に示すように、制御部１１、記憶部１２、通信制御部１３を備えるコンピュータ等から構成される。
【００１７】
制御部１１は、記憶部１２に記憶される動作プログラム等を実行することにより、ストリーミング配信部１１ａ、音声認識処理部１１ｂ、ユーザ通知処理部１１ｃ、チャット加入受付部１１ｄ、コメント受付処理部１１ｅ、ユーザ用コメント表示部１１ｆ、スタジオ用コメント表示部１１ｇ等を論理的に実現する。
【００１８】
ストリーミング配信部１１ａは、撮影端末２から受信した番組のコンテンツデータ（例えば、音声データと画像データを含むビデオデータ等）をエンコードしてストリームデータを生成し、各ユーザ端末４にストリーミング配信する。このストリーミング配信処理では、通信レート等の回線状況、ストリームデータのエンコードとデコードに必要な時間等の情報に基づいて、番組が実際にスタジオで放送されてから、その番組のコンテンツデータがユーザ端末４において再生させるまでのおおよその時間（以下、遅延時間）を逐次算出する。そして、算出した遅延時間の情報を、後述するコメント受付処理部１１ｅに渡す。
【００１９】
音声認識処理部１１ｂは、撮影端末２から受信した番組のコンテンツデータにおける音声データについて音声認識処理を行い、音声データから変換されたテキストデータについて、記憶部１２に記憶されている、チャットに加入しているユーザのチャットネームとユーザ端末４のＩＰアドレスとが関連付けて登録されているチャットネームテーブルにおける各チャットネームの検出を行う。チャットネームテーブルの一例を図３に示す。音声認識処理部１１ｂは、いずれかのチャットネームを検出すると、検出したチャットネームをユーザ通知処理部１１ｃに通知する。これにより、番組進行者が番組内でチャットネームを含むコメントを話すと、そのチャットネームが検知される。
【００２０】
ユーザ通知処理部１１ｃは、音声認識処理部１１ｂからチャットネームの検出の通知を受け取ると、そのチャットネームに対応するユーザ端末４のＩＰアドレスをチャットネームテーブル（図３）から取得し、そのアドレスのユーザ端末４に、例えば「あなたのコメントに対してもうすぐスタジオでコメントします」等、そのユーザのコメントに対する番組進行者のコメントが近未来において番組で放送されることを通知する近未来メッセージ（近未来情報）を送信する。
【００２１】
チャット加入受付部１１ｄは、チャットへの加入要求とともにチャットネーム、端末のＩＰアドレス等のデータをユーザ端末４から受信すると、受信したＩＰアドレスとチャットネームを関連付けて、記憶部１２のチャットネームテーブルに登録し、登録完了信号をユーザ端末４に返す。
【００２２】
コメント受付処理部１１ｅは、コメントの書き込み要求とコメントのデータと端末のＩＰアドレスをユーザ端末４から受信すると、受信したアドレスがチャットネームテーブルに登録されていることを確認した後、コメント受信時刻、コメントのデータ、ユーザのチャットネームを含むコメント情報を、記憶部１２における所定のワーク領域に一時的に記憶し、遅延時間だけ待った後に、コメント記憶部１２ａに蓄積記憶する。また、コメント受付処理部１１ｅは、コメント送信元のユーザ端末４に、例えば「コメント入力を受け付けました」等、チャットのコメント入力を受け付けたことを通知するメッセージを送信する。
【００２３】
ユーザ用コメント表示部１１ｆは、ユーザ端末４からのコメントデータの要求信号に応じて、要求元のユーザ端末４のアドレスがチャットネームテーブルに登録されていることを確認した後、ユーザ端末４からの要求に従って、コメント記憶部１２ａに蓄積されているコメント情報について、最新のものから所定量だけ抽出し、抽出したコメント情報のコメントデータ及びチャットネームのデータを要求元のユーザ端末４に送信する。
【００２４】
スタジオ用コメント表示部１１ｇは、スタジオ端末３からのコメントデータの要求に応じて、要求元のスタジオ端末３のアドレスが記憶部１２に予め登録されているアドレスであることを確認した後、記憶部１２のワーク領域とコメント記憶部１２ａに記憶されているコメント情報について、最新のものから所定量だけ抽出し、抽出したコメント情報のコメントデータ及びチャットネームのデータをスタジオ端末３に送信する。なお、スタジオ端末３のアドレスは、例えば番組の開始時等の所定のタイミングで、番組進行者による入力操作に従って又は自動的に、スタジオ端末３から配信管理サーバ１に送信され、記憶部１２に登録される。
また、スタジオ用コメント表示部１１ｇは、スタジオ端末３からのコメントデータの要求に、キーワードと、そのキーワードによるコメントのフィルタリングの要求と、が含まれる場合には、記憶部１２から抽出したコメント情報のうち、コメントがキーワードを含むものを抽出し、そのコメント内容をチャットネームとともにスタジオ端末３に送信する。
【００２５】
記憶部１２は、コメント情報を一時的に記憶するためのワーク領域と、コメント情報が蓄積記憶されるコメント記憶部１２ａと、を有する。
また、記憶部１２は、チャットネームテーブル、スタジオ端末のＩＰアドレス等のデータを記憶する。また、記憶部１２は、制御部１１が実行する動作プログラムや、処理に必要な各種のデータを記憶する。
通信制御部１３は、スタジオ端末３、ユーザ端末４等との間でデータ通信を行うためのものである。
【００２６】
撮影端末２は、スタジオにおいて番組を撮影するための端末であり、例えば、制御部、記憶部、表示部、入力部、通信制御部を備えるパーソナルコンピュータから構成され、ビデオカメラ５等が接続されている。撮影端末２は、ビデオカメラ５により撮影されたビデオデータを取り込んで配信管理サーバ１に順次送信する。
【００２７】
スタジオ端末３は、番組進行者により操作される端末であり、図４に示すように、制御部３１、記憶部３２、表示部３３、入力部３４、通信制御部３５を備えるパーソナルコンピュータ等から構成される。
【００２８】
制御部３１は、記憶部３２に記憶される動作プログラムを実行することにより、コメント表示制御部３１ａを論理的に実現する。
コメント表示制御部３１ａは、チャットによる各ユーザ（視聴者）のコメントを表示等するための表示制御を行う。具体的には、番組進行者の操作に従って、コメントの表示エリアを備えるスタジオ用のチャット画面を表示し、所定のタイミングで（自動的に又は番組進行者の入力操作に従って）、チャットのコメントデータの要求信号をスタジオ端末３のＩＰアドレスとともに配信管理サーバ１に送信し、チャットのコメントとこれに対応するチャットネームのデータを受信し、チャット画面の表示エリアに表示する。
また、コメント表示制御部３１ａは、所定の入力操作によりフィルタリング機能の設定画面を表示する。このフィルタリング機能は、番組進行者が指定した任意のキーワードで、ユーザにより書き込まれたコメント内容をフィルタリングして表示させる機能であり、この設定画面において、フィルタリング機能のオン／オフやフィルタリング対象のキーワード等の入力を受け付けて、設定内容を記憶部３２に記憶する。そして、フィルタリング機能の設定状態がオンの場合に、上記のチャットのコメントデータの要求信号にフィルタリング対象のキーワードを含めて配信管理サーバ１に送信する。
【００２９】
記憶部３２は、制御部３１が実行する動作プログラムや、処理に必要な各種のデータ、フィルタリング機能の設定内容データ等を記憶する。
表示部３３は、ＣＲＴ、液晶ディスプレイ等の表示装置を含み、制御部３１からの指示に従って種々の画面表示を行う。
入力部３４は、マウス、キーボード等の入力装置を含み、入力されたデータを制御部３１に通知する。
通信制御部３５は、配信管理サーバ１等との間でデータ通信を行うためのものである。
【００３０】
ユーザ端末４は、番組の視聴者により操作される端末であり、例えば図５に示すように、制御部４１、記憶部４２、表示部４３、入力部４４、通信制御部４５を備えるパーソナルコンピュータ等から構成される。
【００３１】
制御部４１は、記憶部４２に記憶される動作プログラムを実行することにより、番組出力部４１ａと、コメント表示制御部４１ｂと、を論理的に実現する。
【００３２】
番組出力部４１ａは、サーバから配信された番組のストリームデータを受信してリアルタイムにデコードし、表示画面やスピーカ（図示せず）等を介して出力する。
【００３３】
ここで、ユーザ端末４において、ライブ放送やチャットのコメント等が表示されるコンテンツ表示画面の一例を図６に示す。図示されるように、コンテンツ表示画面は、ライブコンテンツエリアＥ１、チャットエリアＥ２、メッセージ表示エリアＥ３等を備える。ライブコンテンツエリアＥ１は、上述の番組出力部４１ａにより番組のコンテンツが出力されるエリアである。チャットエリアＥ２は、チャットネーム入力欄、ログインボタン、コメント表示欄、コメント入力欄、送信ボタン等を備える。メッセージ表示エリアＥ３は、配信管理サーバ１からのメッセージが表示されるエリアである。
【００３４】
コメント表示制御部４１ｂは、各ユーザ（視聴者）によるチャットのコメントの受信及び表示、チャットのコメントの入力及び送信、配信管理サーバ１からのメッセージの受信及び表示等の処理を行う。
例えば、コメント表示制御部４１ｂは、コンテンツ表示画面のチャットエリアＥ２において、チャットネーム入力欄にチャットネームが入力され、ログインボタンがクリックされると、チャットネーム、ＩＰアドレス、チャットへの加入要求等を配信管理サーバ１に送信する。そして、配信管理サーバ１から登録完了信号を受信すると、以後、所定のタイミングで（自動的に又はユーザの入力操作に従って）、チャットのコメントデータ等の要求信号を生成し、ユーザ端末４のＩＰアドレスとともに配信管理サーバ１に送信する。
【００３５】
また、コメント表示制御部４１ｂは、チャットエリアＥ２のコメント入力欄にコメントが入力され、送信ボタンがクリックされると、入力されたコメント、ＩＰアドレス、コメントの書き込み要求等を配信管理サーバ１に送信する。
また、コメント表示制御部４１ｂは、配信管理サーバ１からのメッセージを受信して、メッセージ表示エリアＥ３に表示する。
【００３６】
記憶部４２は、制御部４１が実行する動作プログラムや、処理に必要な各種のデータ等を記憶する。
表示部４３は、ＣＲＴ、液晶ディスプレイ等の表示装置を含み、制御部４１からの指示に従って種々の画面表示を行う。
入力部４４は、マウス、キーボード等の入力装置を含み、入力されたデータを制御部４１に通知する。
通信制御部４５は、配信管理サーバ１等との間でデータ通信を行うためのものである。
【００３７】
次に本実施形態の複合コンテンツ配信システムのシステム動作について説明する。
まず、本システムのユーザ端末４において番組コンテンツの再生とチャット画面の表示内容の更新の同期をとるための処理について図７を参照して説明する。なお、本実施例では、説明を簡単にするために、スタジオの撮影端末２から配信管理サーバ１へのビデオデータの通信時間は考慮しない。
配信管理サーバ１は、撮影端末２から受信した番組のコンテンツデータを配信する際に、ネットワーク１０の通信レート、エンコード及びデコードに必要な時間等の情報から、スタジオで実際に番組が放送されてからその番組のコンテンツがユーザ端末４において再生されるまでの遅延時間Δｔを算出する。
一方、ユーザ端末４側では、受信したストリームデータをデコードしながらリアルタイムで再生する処理を行い、スタジオよりも遅延時間Δｔだけ遅れて番組コンテンツが再生される。すなわちスタジオで時刻Ｔ０において放送されたコンテンツは、ユーザ端末４において時刻Ｔ０＋Δｔに再生される。
例えば、時刻Ｔ１に、ユーザが書き込んだコメントＣ１のデータがユーザ端末４から配信管理サーバ１に送信されると、このコメントＣ１のデータは、配信管理サーバ１において一時的にワーク領域に記憶され、スタジオ端末３によるコメントデータの要求に応じてすぐにスタジオ端末３に供給され、表示される。そして、時刻Ｔ１＋Δｔに、コメントＣ１のデータは、配信管理サーバ１においてコメント記憶部１２ａに記憶され、ユーザ端末４によるコメントデータの要求に応じて、ユーザ端末４に供給され、表示される。
そして、例えば、スタジオにて時刻Ｔ１の数秒後の時刻Ｔ２に番組進行者がコメントＣ１に対してコメントした場合、時刻Ｔ１＋Δｔ数秒後の時刻Ｔ２＋ΔｔにコメントＣ１に対する番組進行者のコメントを含むコンテンツがユーザ端末４において再生される。
このようにして、ユーザ端末４でのチャット画面のコメント表示を遅延時間だけ遅らせることにより、ライブ番組の内容とチャット画面におけるコメント更新をほぼ同期させることができる。
【００３８】
次に、配信管理サーバ１によるコメント受付通知処理と近未来情報通知処理について説明する。
まず、コメント受付通知処理について図８のフローチャートを参照して説明する。
配信管理サーバ１は、コメントの書き込み要求を、コメントのデータ、端末のアドレス等とともにユーザ端末４から受信し（ステップＳ１）、受信したＩＰアドレスがチャットに加入済みのユーザのユーザ端末４のものであることをチャットネームテーブルで確認した後（ステップＳ２）、コメント受信時刻、コメントのデータ、ユーザのチャットネームを含むコメント情報を生成し、記憶部３２に蓄積して記憶する（ステップＳ３）。
次に、配信管理サーバ１は、コメント送信元のユーザ端末４に、例えば「コメント入力を受け付けました」等、チャットのコメント入力を受け付けたことを通知するメッセージを送信して（ステップＳ４）、処理を終了する。
【００３９】
次に、近未来情報通知処理について図９のフローチャートを参照して説明する。
配信管理サーバ１は、撮影端末２から番組のコンテンツデータを順次受信し（ステップＳ１１）、そのコンテンツデータにおける音声データについて音声認識処理を行い（ステップＳ１２）、音声データから変換されたテキストデータについて、チャットネームテーブルを参照して、チャット加入者のチャットネームを含むかを判別し（ステップＳ１３）、いずれのチャットネームも含まないと判別した場合には（ステップＳ１３：ＮＯ）、ステップＳ１１に戻って処理を繰り返す。また、いずれかのチャットネームを含むと判別した場合には（ステップＳ１３：ＹＥＳ）、そのチャットネームを引数としてメッセージ送信処理を実行し（ステップＳ１４）、ステップＳ１１に戻って処理を繰り返す。
ステップＳ１４で実行されたメッセージ送信処理では、例えば図１０に示すように、渡されたチャットネームに対応するユーザ端末４のＩＰアドレスをチャットネームテーブルから取得し（ステップＳ２１）、そのアドレスのユーザ端末４に、例えば「あなたのコメントに対してもうすぐスタジオでコメントします」等、そのユーザの書き込みコメントに対する番組進行者のコメントが近未来において番組で放送されることを通知する近未来メッセージ（近未来情報）を送信する（ステップＳ２２）。
なお、図９の近未来情報通知処理は、番組が終了し、撮影端末２からのコンテンツデータの供給が終了したときに終了する。
【００４０】
次に、本システムの動作を具体例を用いて図１１を参照して説明する。
例えば、時刻Ｔ３において、チャットネーム「Ａ」の視聴者が、「○○○って知ってる？」というコメントＣ２をユーザ端末４のコンテンツ表示画面のチャットエリアＥ２に入力して送信したとする。
配信管理サーバ１は、コメントＣ２を受信すると、例えば「コメント入力を受け付けました」等、チャットのコメント入力を受け付けたことを通知するメッセージＭ１をチャットネーム「Ａ」に対応するユーザ端末４に送信する。チャットネーム「Ａ」のユーザのユーザ端末４では、メッセージＭ１を受信して、コンテンツ表示画面のメッセージ表示エリアＥ３に表示する。これにより、チャットネーム「Ａ」のユーザは、自分が送信したコメントが受け付けられたことを知ることができる。
また、配信管理サーバ１は、スタジオ端末３からの要求に応じて、記憶部１２のワーク領域とコメント記憶部１２ａに記憶されているコメント情報（コメントＣ２を含む）を供給する。
【００４１】
スタジオでは、例えば、番組進行者がスタジオ端末３のチャット画面に表示されたチャットネームＡのコメントＣ２を見て、時刻Ｔ３の数秒後の時刻Ｔ４に、「Ａさん、それはＸＸＸですよ。」とコメントする。この「Ａさん」に対する番組進行者のコメントＣ３を含むコンテンツデータＤ１は、撮影端末２により配信管理サーバ１に送信される。
配信管理サーバ１では、受信したコンテンツデータＤ１について音声認識処理を行い、チャットネームテーブルを参照して、チャットネーム「Ａ」を検出すると、チャットネーム「Ａ」に対応するアドレスのユーザ端末４に、例えば「あなたのコメントに対してもうすぐスタジオでコメントします」等、チャットネーム「Ａ」のユーザに対する番組進行者のコメントＣ３が近未来において番組で放送されることを通知するメッセージＭ２を送信する。チャットネーム「Ａ」のユーザ端末４では、メッセージＭ２を受信して、コンテンツ表示画面のメッセージ表示エリアＥ３に表示する。これにより、チャットネーム「Ａ」のユーザは、自分に対するコメントもうすぐ放送されることを知ることができる。
【００４２】
そして、時刻Ｔ３から遅延時間Δｔが経過した後、例えばユーザ端末４がチャットのコメントデータ等を配信管理サーバ１に要求して、チャットエリアＥ２のコメント表示エリアの更新を行う。このとき、時刻Ｔ３にチャットネーム「Ａ」のユーザが書き込んだコメントＣ２「○○○って知ってる？」が、コメント表示エリアに表示される。
そして、時刻Ｔ３の数秒後の時刻Ｔ４から遅延時間Δｔが経過した後、ユーザ端末４において、チャットネーム「Ａ」のユーザに対する番組のコメントＣ３「Ａさん、それはＸＸＸですよ。」を含むコンテンツデータＤ１が再生される。
【００４３】
以上説明したように、本発明によれば、ライブ放送のストリーミング配信に必要な遅延時間に合わせて、チャットのコメントの更新を遅らせることで、番組の内容とチャットでの書き込み内容をほぼ同期させることができるとともに、チャットの書き込みを行ったユーザに対してコメントの入力を受け付けたことを通知したり、また、チャットのコメントに対する番組進行者のコメントが番組で近未来に放送されることを、その書き込みを行ったユーザに対して通知したりすることにより、チャットの表示内容が遅れることによる視聴者のストレスを軽減することができる。
【００４４】
また、配信管理サーバ１が特定のユーザ端末４に送信する近未来メッセージとして、例えば、「あなたのコメントに対してＸ秒後にスタジオでコメントします」等のように、より詳細な近未来情報を提供するようにしてもよい。この場合、配信管理サーバ１は、番組のコンテンツデータにおいてチャットネームを検出すると、そのコンテンツデータがユーザ端末４において再生されるまでの遅延時間を取得し、その遅延時間後にスタジオからのユーザに対するコメントが放送される旨のメッセージを該当するユーザ端末４に送信するようにしてもよい。また、取得した遅延時間に基づいて、スタジオからのユーザに対するコメント放送される直前の所定数秒前（例えば、３秒前等）になったときに、「あなたのコメントに対して３秒後にスタジオでコメントします」等のメッセージをユーザ端末４に送信するようにしてもよい。
【００４５】
また、上記実施例では、配信管理サーバ１が、チャットのコメントデータをワーク領域に一時的に格納しておき遅延時間Δｔ秒が経過してからコメント記憶部１２ａに移すことにより、ユーザ端末４におけるチャットの表示を遅延時間Δｔ秒だけ遅らせるようにしているが、ユーザ端末４でのチャットの表示を遅らせる方法はこれに限定されない。例えば、配信管理サーバ１が、Δｔ秒遅らせることなくコンテンツデータをユーザ端末４に送信し、このコンテンツデータと一緒に、チャットをΔｔ秒後に更新するコマンドを送信するようにしてもよい。これにより、ユーザ端末４は、コンテンツデータとともに受信したコマンドに従って、チャットのコメントをΔｔ秒後に更新する処理を行う。
【００４６】
また、上記実施例では、通信レート等の回線状況、ストリームデータのエンコードとデコードに必要な時間等の情報に基づいて遅延時間を算出しているが、遅延時間の算出方法はこれに限定されず、番組のコンテンツデータがユーザ端末４において再生させるまでのおおよその時間を算出できる他の種々の算出方法を用いても良い。例えば、通信レートのみに基づいて算出してもよい。
【００４７】
また、上記のシステム構成は一例であり、例えば、１台のコンピュータの機能を複数台のコンピュータにより実現してもよく、また、複数台のコンピュータの機能を１台のコンピュータにより実現してもよい。例えば、配信管理サーバ１を、ライブコンテンツの配信に関する処理を主に行う第１のコンピュータと、チャットサービスに関する処理を主に行う第２のコンピュータと、から実現してもよい。この場合、第１のコンピュータは、例えば、ストリーミング配信部１１ａと、音声認識処理部１１ｂ等を備え、また、第２のコンピュータは、ユーザ通知処理部１１ｃ、チャット加入受付部１１ｄ、コメント受付処理部１１ｅ、ユーザ用コメント表示部１１ｆ、スタジオ用コメント表示部１１ｇ等を備え、これら第１と第２のコンピュータが協働して上述の配信管理サーバ１の機能を実現するようにしてもよい。
【００４８】
また、上記実施例では、スタジオ端末３において設定されたフィルタリングのキーワードについて、配信管理サーバ１が該当するコメントを抽出するようにしているが、これに限定されず、例えば、スタジオ端末３が、配信管理サーバ１から受信したコメントデータ等から所定のキーワードを含むコメントデータ等を抽出するようにしてもよい。この場合、例えば、スタジオ端末３は、フィルタリング機能がオン状態のときに、配信管理サーバ１から受信したコメントデータ等について、設定されたキーワードでフィルタリングした後に各コメントを表示する。
【００４９】
なお、この発明のシステムは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体（ＦＤ、ＣＤ−ＲＯＭ、ＤＶＤ等）に格納して配布し、該プログラムをコンピュータにインストールすることにより、上述の処理を実行する配信管理サーバ１、撮影端末２、スタジオ端末３、ユーザ端末４等を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば搬送波に重畳してコンピュータにダウンロード等するようにしてもよい。
また、上述の機能を、ＯＳが分担又はＯＳとアプリケーションの共同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、搬送波に重畳してコンピュータにダウンロード等してもよい。
【００５０】
【発明の効果】
このような構成によれば、チャットサービス等のインタラクティブコンテンツとライブコンテンツを同期を取って提供することで生ずるチャットのコメント表示の待ち時間によるユーザの不安を軽減させることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る複合コンテンツ配信システムの構成を示す図である。
【図２】図１の複合コンテンツ配信システムにおける配信管理サーバの構成を示す図である。
【図３】チャットネームテーブルの一例を示す図である。
【図４】図１の複合コンテンツ配信システムにおけるスタジオ端末の構成を示す図である。
【図５】図１の複合コンテンツ配信システムにおけるユーザ端末の構成を示す図である。
【図６】コンテンツ表示画面の一例を示す図である。
【図７】ユーザ端末において番組コンテンツの再生とチャット画面の表示内容の更新の同期をとるための処理を説明するための図である。
【図８】コメント受付通知処理を説明するためのフローチャートである。
【図９】近未来情報通知処理を説明するためのフローチャートである。
【図１０】メッセージ送信処理を説明するためのフローチャートである。
【図１１】図１の複合コンテンツ配信システムの動作を具体的に説明するための図である。
【符号の説明】
１配信管理サーバ
１１制御部
１１ａストリーミング配信部
１１ｂ音声認識処理部
１１ｃユーザ通知処理部
１１ｄチャット加入受付部
１１ｅコメント受付処理部
１１ｆユーザ用コメント表示部
１１ｇスタジオ用コメント表示部
１２記憶部
１３通信制御部
２撮影端末
３スタジオ端末
３１制御部
３１ａコメント表示制御部
３２記憶部
３３表示部
３４入力部
３５通信制御部
４ユーザ端末
４１制御部
４１ａ番組出力部
４１ｂコメント表示制御部
４２記憶部
４３表示部
４４入力部
４５通信制御部
５ビデオカメラ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a composite content synchronous distribution system that provides interactive content such as a chat service together with live content.
[0002]
[Prior art]
2. Description of the Related Art In recent years, communication infrastructures for realizing high-speed communication such as ADSL (Asymmetric Digital Subscriber Line) and optical fibers have become widespread due to a dramatic improvement in network communication technology. As a result, various forms of information communication services can be provided. For example, services that provide interactive contents such as chat services together with live contents have begun to be realized.
There is also a data communication system that reproduces a moving image and other contents in synchronization with each other (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-2002-176638 (page 7, FIG. 3)
[0004]
[Problems to be solved by the invention]
However, in a service that provides interactive content along with live content (for example, a service in which a broadcast program is distributed in a live stream and viewers exchange comments on the program by chat), the time and content required for transmitting content data are reduced. Since time is required for encoding and buffering on the terminal side, there is a time difference between the time when the live is actually performed and the time when the user views the live content.
For this reason, for example, live content is stream-distributed from a live studio to a viewer's terminal, an interactive action such as a chat is received from the viewer for the content, and a program progresses from the live studio for the action. In a system where the responder responds, if the program owner of the live studio comments live on the writing of the chat by the viewer, the output of the comment on the live broadcast is delayed due to the above time difference, and the writing of the chat There is a possibility that the content of the live will not be engaged.
[0005]
For such a problem, it is conceivable to synchronize the distribution of live content with the comment display of the chat. In this case, the comment display of the chat is set to the time (delay time) until the live content is reproduced. Therefore, the waiting time from when the user writes to when the comment is displayed becomes long. As a result, there is a possibility that the user who has performed writing may feel stress.
[0006]
SUMMARY OF THE INVENTION The present invention has been made in view of the above situation, and is intended to reduce anxiety of a user due to a waiting time for a comment display of a chat caused by providing interactive content such as a chat service and live content in synchronization. It is an object to provide a composite content synchronous distribution method, a server, and the like.
Also, the present invention provides a system for synchronizing and providing interactive content and live content such as a chat service to provide information to a specific user by utilizing a delay time required for live streaming distribution. It is an object of the present invention to provide a composite content synchronous distribution method, a server, and the like for enabling the above.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a composite content synchronous distribution method according to a first aspect of the present invention includes:
In a system including a management server connected to a terminal of a program progressor and a terminal of a viewer via a network, a composite content synchronous delivery method for providing live content and a chat service related to live,
An input step of inputting live content data shot in the studio to the management server;
The management server calculates a delay time until the live content to be distributed is actually reproduced on the terminal of the viewer;
A step in which the management server performs streaming distribution of the live content data input in the input step to a viewer terminal;
A step in which the management server receives the chat name and terminal identification information of the viewer who subscribes to the chat from the terminal of the viewer, and registers them in a predetermined table in association with each other;
Receiving and storing chat comment data from each viewer's device;
The management server, in response to a request signal of the comment data of the chat from the viewer terminal, among the stored comment data, transmitting the delay time has elapsed from the time of receiving,
Transmitting a request signal for chat comment data to the management server at a predetermined timing,
Transmitting the stored comment data in response to a request signal for comment data of a chat from the terminal of the program organizer;
A detection step in which the management server performs a voice recognition process on the live content data input in the input step, and detects a chat name registered in the table;
When any of the chat names is detected by the detection step, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided in the terminal of the viewer specified by the terminal identification information in the near future. A near-future information supply step of transmitting a near-future message indicating that it will be broadcast live;
It is characterized by having.
[0008]
According to such a configuration, it is possible to substantially synchronize the content of the live program with the content of the chat written by delaying the display update of the chat comment on the terminal in accordance with the delay time required for the streaming distribution of the live broadcast. At the same time, it is possible to notify the user who wrote the comment that the program organizer's comment on the chat writing will be broadcast in the near future to the user who wrote the chat. The stress of the person can be reduced.
[0009]
Further, the composite content synchronous distribution server according to the second aspect of the present invention includes:
A composite content synchronous distribution server that provides live content and chat services related to live,
Means for receiving input of live content data shot in the studio,
Means for calculating a delay time until the live content to be distributed is actually reproduced on the viewer's terminal;
Means for performing streaming distribution of the input live content data to a viewer terminal,
Chat name storage means for receiving the chat name and terminal identification information of the user who subscribes to the chat from the viewer's terminal, and storing them in association with each other;
Means for receiving and storing chat comment data from each viewer's terminal;
Means for transmitting, in response to a request signal for comment data of a chat from a viewer's terminal, of the stored comment data, the one in which the delay time has elapsed from the time of reception;
Means for transmitting the stored comment data in response to a request signal for chat comment data from the terminal of the program organizer;
Detecting means for performing voice recognition processing on the input live content data and detecting a chat name stored in the chat name storing means,
When any one of the chat names is detected by the detection means, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided to the terminal of the viewer specified by the terminal identification information in the near future. A near-future information supply means for transmitting a near-future message to be broadcast live,
It is characterized by having.
[0010]
According to such a configuration, it is possible to substantially synchronize the content of the live program with the content of the chat written by delaying the display update of the chat comment on the terminal in accordance with the delay time required for the streaming distribution of the live broadcast. At the same time, it is possible to notify the user who wrote the comment that the program organizer's comment on the chat writing will be broadcast in the near future to the user who wrote the chat. The stress of the person can be reduced.
[0011]
In response to the reception of the chat comment data from the viewer terminal, a means for transmitting a message indicating that the comment has been received to the transmission source terminal may be further provided.
[0012]
The near-future information supply unit may calculate a time until information on the viewer is broadcast live, and transmit the information of the calculated time in the near-future message.
[0013]
Further, a program according to a third aspect of the present invention includes:
On the computer,
Receiving input of live content data shot in the studio,
Calculating a delay time until the live content to be distributed is actually reproduced on the viewer's terminal;
Performing streaming distribution of the input live content data to a viewer terminal;
Receiving the chat name and the terminal identification information of the user who subscribes to the chat from the terminal of the viewer, and registering them in a predetermined table in association with each other;
Receiving and storing chat comment data from each viewer's device;
Transmitting, in response to a request signal for comment data of a chat from a viewer's terminal, of the stored comment data, one in which the delay time has elapsed since reception;
Transmitting the stored comment data in response to a request signal for chat comment data from the terminal of the program organizer;
Performing a voice recognition process on the input live content data, and detecting a chat name stored in the table;
When any of the chat names is detected by the detection step, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided in the terminal of the viewer specified by the terminal identification information in the near future. Sending a near-future message to be broadcast live,
Is executed.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings, taking a composite content distribution system that provides a chat service for a program together with the content of a live program as an example.
[0015]
FIG. 1 is a diagram showing a configuration of a composite content distribution system according to an embodiment of the present invention.
As shown in the figure, the composite content distribution system includes a distribution management server 1, a photographing terminal 2, a studio terminal 3, and a user terminal 4, of which the distribution management server 1, the studio terminal 3, and the user terminal 4 are connected to the Internet. And the like via a network 10. The photographing terminal 2 is connected to the distribution management server 1.
[0016]
The distribution management server 1 is for providing content of a live program and providing a chat service related to the program. For example, as shown in FIG. 2, the control unit 11, the storage unit 12, the communication control unit 13 And a computer equipped with
[0017]
The control unit 11 executes an operation program and the like stored in the storage unit 12 to execute a streaming distribution unit 11a, a voice recognition processing unit 11b, a user notification processing unit 11c, a chat subscription reception unit 11d, a comment reception processing unit 11e, The user comment display section 11f, the studio comment display section 11g, and the like are logically realized.
[0018]
The streaming distribution unit 11a encodes content data (for example, video data including audio data and image data) of a program received from the imaging terminal 2 to generate stream data, and distributes the data to each user terminal 4 by streaming. In this streaming distribution process, after a program is actually broadcast in a studio based on information such as a line condition such as a communication rate and time required for encoding and decoding of stream data, content data of the program is transmitted to the user terminal 4. , An approximate time until reproduction (hereinafter, delay time) is sequentially calculated. Then, information about the calculated delay time is passed to a comment reception processing unit 11e described later.
[0019]
The voice recognition processing unit 11b performs voice recognition processing on voice data in the content data of the program received from the photographing terminal 2, and joins a chat stored in the storage unit 12 with respect to text data converted from the voice data. Each chat name is detected in a chat name table in which the chat name of the user and the IP address of the user terminal 4 are registered in association with each other. FIG. 3 shows an example of the chat name table. When detecting any of the chat names, the voice recognition processing unit 11b notifies the user notification processing unit 11c of the detected chat name. Thereby, when the program proponent speaks a comment including the chat name in the program, the chat name is detected.
[0020]
Upon receiving the notification of the detection of the chat name from the voice recognition processing unit 11b, the user notification processing unit 11c acquires the IP address of the user terminal 4 corresponding to the chat name from the chat name table (FIG. 3), and A near-future message (near-future message) notifying the user terminal 4 that the program organizer's comment for that user's comment will be broadcast in the near future, such as "I'll comment on your comment in the studio soon". Future information).
[0021]
Upon receiving data such as the chat name and the IP address of the terminal from the user terminal 4 together with the request to join the chat from the user terminal 4, the chat subscription receiving unit 11 d associates the received IP address with the chat name and stores the data in the chat name table of the storage unit 12. It registers and returns a registration completion signal to the user terminal 4.
[0022]
When receiving the comment write request, the comment data, and the terminal IP address from the user terminal 4, the comment reception processing unit 11e confirms that the received address is registered in the chat name table, The comment data including the comment data and the user's chat name is temporarily stored in a predetermined work area in the storage unit 12, and is stored in the comment storage unit 12a after waiting for a delay time. Further, the comment reception processing unit 11e transmits a message notifying that the comment input of the chat has been received, such as “comment input has been received”, to the user terminal 4 of the comment transmission source.
[0023]
The user comment display unit 11f confirms that the address of the requesting user terminal 4 is registered in the chat name table in response to the request signal for comment data from the user terminal 4, and then transmits the comment from the user terminal 4. In accordance with the request, a predetermined amount is extracted from the latest comment information stored in the comment storage unit 12a, and the comment data of the extracted comment information and the data of the chat name are transmitted to the requesting user terminal 4.
[0024]
In response to the request for comment data from the studio terminal 3, the studio comment display unit 11g confirms that the address of the requesting studio terminal 3 is an address registered in the storage unit 12 in advance, and then stores the request in the storage unit 12. A predetermined amount is extracted from the latest work information and the comment information stored in the comment storage unit 12a, and the comment data and the chat name data of the extracted comment information are transmitted to the studio terminal 3. The address of the studio terminal 3 is transmitted from the studio terminal 3 to the distribution management server 1 at a predetermined timing, for example, at the start of a program, or in accordance with an input operation by the program controller, and registered in the storage unit 12. Is done.
When the request for comment data from the studio terminal 3 includes a keyword and a request for filtering a comment based on the keyword, the comment display unit for studio 11 g displays the comment information extracted from the storage unit 12. Among them, a comment including a keyword is extracted, and the content of the comment is transmitted to the studio terminal 3 together with the chat name.
[0025]
The storage unit 12 includes a work area for temporarily storing comment information, and a comment storage unit 12a for storing comment information.
Further, the storage unit 12 stores data such as a chat name table and an IP address of a studio terminal. The storage unit 12 stores an operation program executed by the control unit 11 and various data necessary for processing.
The communication control unit 13 is for performing data communication with the studio terminal 3, the user terminal 4, and the like.
[0026]
The photographing terminal 2 is a terminal for photographing a program in a studio, and includes, for example, a personal computer including a control unit, a storage unit, a display unit, an input unit, and a communication control unit, to which a video camera 5 and the like are connected. I have. The imaging terminal 2 captures video data captured by the video camera 5 and sequentially transmits the video data to the distribution management server 1.
[0027]
The studio terminal 3 is a terminal operated by a program proponent, and includes a personal computer or the like including a control unit 31, a storage unit 32, a display unit 33, an input unit 34, a communication control unit 35, as shown in FIG. Is done.
[0028]
The control unit 31 logically implements the comment display control unit 31a by executing the operation program stored in the storage unit 32.
The comment display control unit 31a performs display control for displaying a comment of each user (viewer) by chat or the like. Specifically, a chat screen for a studio having a comment display area is displayed according to the operation of the program progressor, and at a predetermined timing (automatically or in accordance with the input operation of the program progressor), the chat comment data is displayed. The request signal is transmitted to the distribution management server 1 together with the IP address of the studio terminal 3, the chat comment and the data of the corresponding chat name are received, and displayed in the display area of the chat screen.
Further, the comment display control unit 31a displays a setting screen of the filtering function by a predetermined input operation. This filtering function is a function for filtering and displaying the comment content written by the user with an arbitrary keyword designated by the program organizer. On this setting screen, on / off of the filtering function, a keyword to be filtered, etc. Is received, and the setting content is stored in the storage unit 32. Then, when the setting state of the filtering function is ON, the request signal of the comment data of the chat is transmitted to the distribution management server 1 with the keyword to be filtered included.
[0029]
The storage unit 32 stores an operation program executed by the control unit 31, various data required for processing, setting content data of a filtering function, and the like.
The display unit 33 includes a display device such as a CRT and a liquid crystal display, and performs various screen displays in accordance with instructions from the control unit 31.
The input unit 34 includes input devices such as a mouse and a keyboard, and notifies the control unit 31 of the input data.
The communication control unit 35 is for performing data communication with the distribution management server 1 and the like.
[0030]
The user terminal 4 is a terminal operated by a viewer of the program, and for example, as shown in FIG. 5, a personal computer including a control unit 41, a storage unit 42, a display unit 43, an input unit 44, a communication control unit 45, and the like. Consists of
[0031]
The control unit 41 logically implements the program output unit 41a and the comment display control unit 41b by executing the operation program stored in the storage unit 42.
[0032]
The program output unit 41a receives stream data of a program distributed from the server, decodes the data in real time, and outputs the decoded data via a display screen, a speaker (not shown), or the like.
[0033]
Here, an example of a content display screen on which a live broadcast, a comment of a chat, or the like is displayed on the user terminal 4 is shown in FIG. As illustrated, the content display screen includes a live content area E1, a chat area E2, a message display area E3, and the like. The live content area E1 is an area where the program content is output by the above-described program output unit 41a. The chat area E2 includes a chat name input field, a login button, a comment display field, a comment input field, a send button, and the like. The message display area E3 is an area where a message from the distribution management server 1 is displayed.
[0034]
The comment display control unit 41b performs processing such as reception and display of a chat comment by each user (viewer), input and transmission of a chat comment, reception and display of a message from the distribution management server 1, and the like.
For example, in the chat area E2 of the content display screen, when the chat name is input in the chat name input field and the log-in button is clicked, the comment display control unit 41b issues a chat name, an IP address, a request to join the chat, and the like. The data is transmitted to the distribution management server 1. Then, upon receiving the registration completion signal from the distribution management server 1, thereafter, at a predetermined timing (automatically or according to a user's input operation), a request signal such as chat comment data is generated, and the IP address of the user terminal 4 is generated. Is transmitted to the distribution management server 1.
[0035]
When a comment is input in the comment input field of the chat area E2 and the transmission button is clicked, the comment display control unit 41b transmits the input comment, the IP address, the request to write the comment, and the like to the distribution management server 1. I do.
Further, the comment display control unit 41b receives the message from the distribution management server 1 and displays the message in the message display area E3.
[0036]
The storage unit 42 stores an operation program executed by the control unit 41, various data necessary for processing, and the like.
The display unit 43 includes a display device such as a CRT or a liquid crystal display, and performs various screen displays according to an instruction from the control unit 41.
The input unit 44 includes input devices such as a mouse and a keyboard, and notifies the control unit 41 of the input data.
The communication control unit 45 is for performing data communication with the distribution management server 1 and the like.
[0037]
Next, the system operation of the composite content distribution system of the present embodiment will be described.
First, a process for synchronizing the reproduction of the program content and the update of the display content of the chat screen in the user terminal 4 of the present system will be described with reference to FIG. In this embodiment, the communication time of the video data from the photographing terminal 2 in the studio to the distribution management server 1 is not considered for the sake of simplicity.
When distributing the content data of the program received from the photographing terminal 2, the distribution management server 1 uses the information such as the communication rate of the network 10 and the time required for encoding and decoding after the program is actually broadcast in the studio. The delay time Δt until the content of the program is reproduced on the user terminal 4 is calculated.
On the other hand, the user terminal 4 performs a process of reproducing the received stream data in real time while decoding it, and reproduces the program content with a delay time Δt behind the studio. That is, the content broadcast at the time T0 in the studio is reproduced on the user terminal 4 at the time T0 + Δt.
For example, when the data of the comment C1 written by the user is transmitted from the user terminal 4 to the distribution management server 1 at time T1, the data of the comment C1 is temporarily stored in the work area in the distribution management server 1, In response to a request for comment data from the studio terminal 3, the data is immediately supplied to the studio terminal 3 and displayed. Then, at time T1 + Δt, the data of the comment C1 is stored in the comment storage unit 12a in the distribution management server 1, and is supplied to the user terminal 4 and displayed in response to a request for comment data from the user terminal 4.
Then, for example, when the program progressor comments on the comment C1 at time T2 several seconds after the time T1 in the studio, the content including the program progressor's comment on the comment C1 at time T2 + Δt several times after the time T1 + Δt It is reproduced on the terminal 4.
In this way, by delaying the comment display on the chat screen on the user terminal 4 by the delay time, it is possible to substantially synchronize the content of the live program with the comment update on the chat screen.
[0038]
Next, a comment acceptance notification process and a near future information notification process by the distribution management server 1 will be described.
First, the comment acceptance notification process will be described with reference to the flowchart in FIG.
The distribution management server 1 receives the comment writing request from the user terminal 4 together with the comment data, the terminal address, and the like (step S1), and the received IP address is that of the user terminal 4 of the user who has joined the chat. After confirming the presence in the chat name table (step S2), comment information including the comment reception time, comment data, and the user's chat name is generated and stored in the storage unit 32 (step S3).
Next, the distribution management server 1 transmits, to the user terminal 4 that has transmitted the comment, a message notifying that the comment input of the chat has been received, for example, “comment input has been received” (step S4). The process ends.
[0039]
Next, the near-future information notification process will be described with reference to the flowchart in FIG.
The distribution management server 1 sequentially receives the content data of the program from the photographing terminal 2 (step S11), performs a voice recognition process on the audio data in the content data (step S12), and executes the text data converted from the audio data. Referring to the chat name table, it is determined whether or not the chat name of the chat subscriber is included (step S13). If it is determined that no chat name is included (step S13: NO), the process returns to step S11. Repeat the process. If it is determined that any of the chat names is included (step S13: YES), a message transmission process is executed using the chat name as an argument (step S14), and the process returns to step S11 to repeat the process.
In the message transmission process executed in step S14, as shown in FIG. 10, for example, the IP address of the user terminal 4 corresponding to the passed chat name is obtained from the chat name table (step S21), and the user terminal of that address is acquired. 4, a near future message (near future) notifying that the program organizer's comment on the user's written comment will be broadcast in the near future, such as "I'll comment on your comment in the studio soon". ) (Step S22).
Note that the near-future information notification process of FIG. 9 ends when the program ends and the supply of the content data from the imaging terminal 2 ends.
[0040]
Next, the operation of the present system will be described using a specific example with reference to FIG.
For example, suppose that at time T3, the viewer with the chat name “A” inputs and transmits a comment C2 “Do you know XX?” In the chat area E2 of the content display screen of the user terminal 4.
When receiving the comment C2, the distribution management server 1 transmits a message M1 notifying that the comment input of the chat has been received, such as "comment input has been received," to the user terminal 4 corresponding to the chat name "A". I do. The user terminal 4 of the user with the chat name “A” receives the message M1 and displays it in the message display area E3 of the content display screen. This allows the user with the chat name “A” to know that the comment sent by him / her has been accepted.
Further, the distribution management server 1 supplies the work area of the storage unit 12 and the comment information (including the comment C2) stored in the comment storage unit 12a in response to a request from the studio terminal 3.
[0041]
In the studio, for example, the program owner looks at the comment C2 of the chat name A displayed on the chat screen of the studio terminal 3, and at a time T4 several seconds after the time T3, "Ms. A, it is XXX." To comment. The content data D 1 including the comment C 3 of the program promoter for “Ms. A” is transmitted to the distribution management server 1 by the imaging terminal 2.
The distribution management server 1 performs a voice recognition process on the received content data D1 and refers to the chat name table to detect the chat name “A”, and the user terminal 4 of the address corresponding to the chat name “A” For example, a message M2 notifying that the comment C3 of the program organizer for the user with the chat name "A" will be broadcasted in the near future, such as "I will comment on your comment in the studio soon" is transmitted. The user terminal 4 with the chat name “A” receives the message M2 and displays it in the message display area E3 of the content display screen. Thus, the user with the chat name “A” can know that the comment for himself will be broadcast soon.
[0042]
Then, after the delay time Δt has elapsed from the time T3, for example, the user terminal 4 requests the distribution management server 1 for the comment data of the chat or the like, and updates the comment display area of the chat area E2. At this time, a comment C2 "Do you know OO?" Written by the user with the chat name "A" at time T3 is displayed in the comment display area.
Then, after the delay time Δt has elapsed from time T4 several seconds after time T3, in the user terminal 4, the content data including the comment C3 of the program for the user with the chat name “A”, “Mr. A, it is XXX.” D1 is reproduced.
[0043]
As described above, according to the present invention, the update of the chat comment is delayed according to the delay time required for the live broadcast streaming distribution, so that the content of the program and the content written in the chat are substantially synchronized. And notify the user who wrote the chat that the input of the comment has been accepted.Also, the program owner's comment on the chat comment will be broadcasted in the near future in the program. By notifying the user who has made the writing, it is possible to reduce the stress on the viewer due to the delay in the display content of the chat.
[0044]
Further, as the near-future message transmitted by the distribution management server 1 to the specific user terminal 4, more detailed near-future information such as "I will comment on your comment in the studio after X seconds" is displayed. It may be provided. In this case, when detecting the chat name in the content data of the program, the distribution management server 1 acquires a delay time until the content data is reproduced on the user terminal 4, and after the delay time, a comment from the studio to the user is received. A message to be broadcast may be transmitted to the corresponding user terminal 4. Also, based on the acquired delay time, when a predetermined number of seconds (for example, 3 seconds ago) immediately before the comment broadcast to the user from the studio is reached, “3 seconds after your comment, A message such as "Comment" may be transmitted to the user terminal 4.
[0045]
Further, in the above embodiment, the distribution management server 1 temporarily stores the comment data of the chat in the work area and moves it to the comment storage unit 12a after the delay time Δt seconds elapses. Although the display of the chat is delayed by the delay time Δt seconds, the method of delaying the display of the chat on the user terminal 4 is not limited to this. For example, the distribution management server 1 may transmit the content data to the user terminal 4 without delaying Δt seconds, and transmit a command to update the chat after Δt seconds together with the content data. Thereby, the user terminal 4 performs a process of updating the chat comment after Δt seconds according to the command received together with the content data.
[0046]
Further, in the above embodiment, the delay time is calculated based on information such as the line status such as the communication rate and the time required for encoding and decoding the stream data. However, the method for calculating the delay time is not limited to this. Alternatively, other various calculation methods that can calculate an approximate time until the content data of the program is reproduced on the user terminal 4 may be used. For example, it may be calculated based only on the communication rate.
[0047]
The system configuration described above is an example. For example, the functions of one computer may be realized by a plurality of computers, or the functions of the plurality of computers may be realized by a single computer. . For example, the distribution management server 1 may be realized by a first computer that mainly performs processing related to live content distribution and a second computer that mainly performs processing related to chat service. In this case, the first computer includes, for example, a streaming distribution unit 11a, a voice recognition processing unit 11b, and the like, and the second computer includes a user notification processing unit 11c, a chat subscription reception unit 11d, a comment reception processing unit. 11e, a user comment display unit 11f, a studio comment display unit 11g, and the like, and the first and second computers may cooperate to realize the function of the distribution management server 1 described above.
[0048]
Further, in the above embodiment, the distribution management server 1 extracts the corresponding comment for the filtering keyword set in the studio terminal 3. However, the present invention is not limited to this. Comment data or the like including a predetermined keyword may be extracted from comment data or the like received from the management server 1. In this case, for example, when the filtering function is on, the studio terminal 3 displays each comment after filtering the comment data and the like received from the distribution management server 1 with the set keyword.
[0049]
It should be noted that the system of the present invention can be realized by using a normal computer system without using a dedicated system. For example, a program for executing the above-described operation is stored in a computer-readable recording medium (FD, CD-ROM, DVD, or the like) and distributed, and the program is installed in a computer to execute the above-described processing. The distribution management server 1, the photographing terminal 2, the studio terminal 3, the user terminal 4, and the like may be configured. Alternatively, the program may be stored in a disk device of a server device on a network such as the Internet, and may be superimposed on a carrier wave and downloaded to a computer.
In the case where the OS realizes the above functions by sharing the OS or jointly using the OS and the application, only the part other than the OS may be stored in the medium and distributed. You may download it.
[0050]
【The invention's effect】
According to such a configuration, it is possible to reduce the user's anxiety due to the waiting time for the comment display of the chat, which is caused by providing the interactive content such as the chat service and the live content in synchronization.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a composite content distribution system according to an embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of a distribution management server in the composite content distribution system of FIG.
FIG. 3 is a diagram illustrating an example of a chat name table.
FIG. 4 is a diagram showing a configuration of a studio terminal in the composite content distribution system of FIG. 1;
FIG. 5 is a diagram showing a configuration of a user terminal in the composite content distribution system of FIG. 1;
FIG. 6 is a diagram illustrating an example of a content display screen.
FIG. 7 is a diagram illustrating a process for synchronizing the reproduction of the program content and the update of the display content of the chat screen in the user terminal.
FIG. 8 is a flowchart illustrating a comment acceptance notification process.
FIG. 9 is a flowchart illustrating a near-future information notification process.
FIG. 10 is a flowchart illustrating a message transmission process.
FIG. 11 is a diagram for specifically explaining the operation of the composite content distribution system of FIG. 1;
[Explanation of symbols]
1 delivery management server
11 Control part
11a Streaming distribution unit
11b Voice recognition processing unit
11c User notification processing unit
11d Chat subscription reception
11e Comment reception processing unit
11f User comment display
11g Studio comment display
12 Storage unit
13 Communication control unit
2 Shooting terminal
3 Studio terminal
31 Control unit
31a Comment display control unit
32 storage unit
33 Display
34 Input section
35 Communication control unit
4 User terminal
41 Control unit
41a Program output unit
41b Comment display control unit
42 storage unit
43 Display
44 Input section
45 Communication control unit
5 Video camera

Claims

In a system including a management server connected to a terminal of a program progressor and a terminal of a viewer via a network, a composite content synchronous delivery method for providing live content and a chat service related to live,
An input step of inputting live content data shot in the studio to the management server;
The management server calculates a delay time until the live content to be distributed is actually reproduced on the terminal of the viewer;
A step in which the management server performs streaming distribution of the live content data input in the input step to a viewer terminal;
A step in which the management server receives the chat name and terminal identification information of the viewer who subscribes to the chat from the terminal of the viewer, and registers them in a predetermined table in association with each other;
Receiving and storing chat comment data from each viewer's device;
The management server, in response to a request signal of the comment data of the chat from the viewer terminal, among the stored comment data, transmitting the delay time has elapsed from the time of receiving,
Transmitting a request signal for chat comment data to the management server at a predetermined timing,
Transmitting the stored comment data in response to a request signal for comment data of a chat from the terminal of the program organizer;
A detection step in which the management server performs a voice recognition process on the live content data input in the input step, and detects a chat name registered in the table;
When any of the chat names is detected by the detection step, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided in the terminal of the viewer specified by the terminal identification information in the near future. A near-future information supply step of transmitting a near-future message indicating that it will be broadcast live;
A composite content synchronous distribution method, comprising:

A composite content synchronous distribution server that provides live content and chat services related to live,
Means for receiving input of live content data shot in the studio,
Means for calculating a delay time until the live content to be distributed is actually reproduced on the viewer's terminal;
Means for performing streaming distribution of the input live content data to a viewer terminal,
Chat name storage means for receiving the chat name and terminal identification information of the user who subscribes to the chat from the viewer's terminal, and storing them in association with each other;
Means for receiving and storing chat comment data from each viewer's terminal;
Means for transmitting, in response to a request signal for comment data of a chat from a viewer's terminal, of the stored comment data, the one in which the delay time has elapsed from the time of reception;
Means for transmitting the stored comment data in response to a request signal for chat comment data from the terminal of the program organizer;
Detecting means for performing voice recognition processing on the input live content data and detecting a chat name stored in the chat name storing means,
When any one of the chat names is detected by the detection means, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided to the terminal of the viewer specified by the terminal identification information in the near future. A near-future information supply means for transmitting a near-future message to be broadcast live,
A composite content synchronous distribution server comprising:

In response to receiving the comment data of the chat from the viewer's terminal, further comprising means for transmitting a message to the effect that the comment has been received to the source terminal,
The composite content synchronous distribution server according to claim 2, wherein:

The near-future information supply means calculates a time until the information about the viewer is broadcast live, and transmits the information of the calculated time included in the near-future message,
The composite content synchronous distribution server according to claim 2 or 3, wherein:

On the computer,
Receiving input of live content data shot in the studio,
Calculating a delay time until the live content to be distributed is actually reproduced on the viewer's terminal;
Performing streaming distribution of the input live content data to a viewer terminal;
Receiving the chat name and the terminal identification information of the user who subscribes to the chat from the terminal of the viewer, and registering them in a predetermined table in association with each other;
Receiving and storing chat comment data from each viewer's device;
Transmitting, in response to a request signal for comment data of a chat from a viewer's terminal, of the stored comment data, one in which the delay time has elapsed since reception;
Transmitting the stored comment data in response to a request signal for chat comment data from the terminal of the program organizer;
Performing a voice recognition process on the input live content data, and detecting a chat name stored in the table;
When any of the chat names is detected by the detection step, the terminal identification information corresponding to the chat name is read out, and information about the viewer is provided in the terminal of the viewer specified by the terminal identification information in the near future. Sending a near-future message to be broadcast live,
The program to execute.