JP2004015750A

JP2004015750A - Live distribution server and live distribution method

Info

Publication number: JP2004015750A
Application number: JP2002170512A
Authority: JP
Inventors: Toru Ariga; 有賀　透; Masahiro Yamada; 山田　政寛; Tomoko Ito; 伊藤　智子; Makoto Nakamura; 中村　誠
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2002-06-11
Filing date: 2002-06-11
Publication date: 2004-01-15
Anticipated expiration: 2022-06-11
Also published as: JP3789854B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a live distribution server which has a function for synchronously displaying a plurality of live video on one screen, synchronously displaying the live video and communication information (chat input, for example) from a live video viewer on one screen in real time, saving the synchronously displayed live distribution data, and viewing the live video in an on-demand state, and a live video distribution method. <P>SOLUTION: Designation information of layout within a screen to distribute the live video and attribute information for each of layout are received from the terminal of a live video distributor 10 and saved in a layout DB 112. Besides, the live video transmitted from the terminal of the live distributor 10 and message information transmitted from the terminal of a chat participant (live viewer 20) are displayed on the same screen synchronously with each layout designated thereto. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディアコンテンツをライブ配信するライブ配信サーバ、及びライブ配信方法に関し、特に、複数のライブ映像を一つの画面で同期表示し、また、ライブ映像とライブ閲覧者からのコミュニケーション情報（例えば、チャット）とを１つの画面でリアルタイムで同期表示し、さらに、同期表示させたライブ配信データを保存し、オンデマンドで閲覧する機能を有する、ライブ配信サーバ、及びライブ配信方法に関する。
【０００２】
【従来の技術】
現在、マルチメディアコンテンツ（単に、「コンテンツ」ともいう）のライブ配信は、配信者側から閲覧者側への一方通行的なものであり、ライブ配信を利用して同じコンテンツを見ているユーザ間でコミュニケーションを行うことができない。コミュニケーションを行おうとした場合、以下のようなものを利用しなければならない。
（１）Ｗｅｂブラウザで閲覧できるようなチャットルームを形成しておき、ライブ配信ページとリンクしておき、ユーザ間での利用を促す。
（２）ライブ放送のページをログインが必要な構造にしておき、閲覧している人のリストを作り、ユーザ同士でのコミュニティを形成させる。
（３）ＩＲＣチャット、インスタントメッセンジャーなどでライブ閲覧者用のチャンネルを作成し、同じコンテンツを閲覧している人に参加を促す。
【０００３】
【発明が解決しようとする課題】
以上説明したように、従来のライブ配信システムでは、以下に示す課題がある。
（１）現状で存在するマルチメディアコンテンツのライブ配信システムでは、ライブ配信とコミュニケーション機能との連携が取れておらず、ライブ配信者側の一方的な映像情報の配信になりがちである。
（２）ライブ配信と共にチャットなどのコミュニケーションを行ったとしても、それは一時的なものであり、後から、ライブの特定部分でどのようなコミュニケーションを行っていたかを探し出して確認することは難しい。
（３）チャットなどのコミュニティに存在する人と、存在しない人は、同時に同じコンテンツを見ることができない。
【０００４】
本発明はこのような問題を解決するためになされたもので、その目的は、複数のライブ映像を一つの画面で同期表示し、また、ライブ映像とライブ閲覧者からのコミュニケーション情報（例えば、チャット入力）とを１つの画面でリアルタイムで同期表示し、さらに、同期表示させたライブ配信データを保存し、オンデマンドで閲覧する機能を有する、ライブ配信サーバ、及びライブ配信方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明のライブ配信サーバは、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバであって、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手段と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手段と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手段とを具備することを特徴とする。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【０００６】
また、本発明のライブ配信サーバは、前記ライブ映像同期配信手段およびコミュニケーション情報同期配信手段として、各レイアウトの配信データを含む同期マルチメディア言語ファイルを生成する同期マルチメディア言語ファイル生成手段を用いることを特徴とする。
これにより、同期マルチメディア言語の機能を活用して、ライブ映像とコミュニケーション情報との同期制御が容易に行えるようになる。
【０００７】
また、本発明のライブ配信サーバは、前記コミュニケーション情報がテキスト文字のチャット情報を含むマルチメディアコンテンツであることを特徴とする。これにより、クライアントは、配信されるライブ映像を閲覧しながら、同じ画面上でチャット、動画、静止画、音声によりコミュニケーションを行うことができる。
【０００８】
また、本発明のライブ配信サーバは、前記ライブ映像を閲覧するクライアントの端末から、閲覧するレイアウトの選択情報を受信するためのレイアウト選択情報受信手段と、前記レイアウト選択情報受信手段により選択されたレイアウトの部分についてのみ、当該クライアントの端末に対してライブ映像を配信するためのライブ配信手段とをさらに具備することを特徴とする。
これにより、クライアントは自分の見たい映像だけを選択して見ることができる。
【０００９】
また、本発明のライブ配信サーバは、前記ライブ映像とクライアントが入力するコミュニケーション情報とを含むライブ配信データをライブデータデータベースに格納するためのライブデータ格納手段と、前記クライアントの端末からの要求により、前記ライブデータデータベースに格納されたライブ配信データをクライアントの端末に配信するためのオンデマンド配信手段とをさらに具備することを特徴とする。
これにより、クライアントは見落としたライブ映像や、再度確認したいライブ映像をオンデマンドで閲覧することができる。
【００１０】
また、本発明のライブ配信サーバは、前記ライブ配信を行うクライアントの端末から、ライブ配信する画像内のレイアウトの指定情報と各レイアウトごとの属性情報を受信する際に、さらに各レイアウトごとのアクセス制限情報として、閲覧できるクライアントの選択情報と閲覧できるクライアント数の制限情報のいずれかまたは両方を受信し、該アクセス制限情報を基に、クライアントの端末からのアクセスを制限するためのコンテンツアクセス管理手段をさらに具備することを特徴とする。
これにより、ライブ配信者は個人的な仲間内でのライブ放送と、情報の交換が行えるようになる。また、サーバ管理者が課金を行うことも容易になる。
【００１１】
また、本発明のライブ配信方法は、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバで使用されるライブ配信方法であって、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とを含むことを特徴とする。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【００１２】
また、本発明のコンピュータプログラムは、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバ内のコンピュータに、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とを実行させるためのプログラムである。
【００１３】
また、本発明は、マルチメディアコンテンツのライブ映像を配信するライブ配信サーバと、該ライブ配信サーバを介してライブ映像を配信するクライアントの端末と、ライブ映像を閲覧するクライアントの端末とが通信ネットワークで接続されたライブ配信システムにおける前記ライブ配信サーバ内のコンピュータに、前記ライブ配信を行うクライアントの端末から、ライブ配信する画面内の１または２以上のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存するためのレイアウト及び属性情報格納手順と、前記ライブ配信を行うクライアントの端末から送信されるライブ映像を、前記データベースを参照して指定されたレイアウトに割り当て、各レイアウトのライブ映像を同期させてライブ配信するためのライブ映像同期配信手順と、配信されたライブ映像を閲覧中のクライアントの端末から、該クライアントが入力するコミュニケーション情報とレイアウト指定情報を受信した場合には、前記データベースを参照して指定されたレイアウトに割り当て、該コミュニケーション情報を前記ライブ映像と同期させてライブ配信するためのコミュニケーション情報同期配信手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１４】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
まず、本明細書で使用する用語について、ここで定義しておく。
・マルチメディアコンテンツとは、動画像、音声、テキスト、静止画像を指す。なお、本明細書では、マルチメディアコンテンツを単に「コンテンツ」ともいう。
・ライブ予約とは、コンテンツを配信するユーザが、コンテンツを通信ネットワーク上にライブ配信するライブ配信サーバに対して、配信時間枠を予約することを指す。
・エンコードとは、ネットワークの配信帯域にあわせて、コンテンツ（映像や音声データのファイル）をストリーミング形式に変換（ストリーミング再生用に圧縮する）ことを指す。
・同期マルチメディア言語とは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させるＸＭＬベースのマークアップ言語である。再生するクリップを、どの位置（領域）に、どのタイミングで、どのくらいの時間表示するのか、といったことを制御することができる。例としてＷ３Ｃにより勧告された「ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｇｒａｔｉｏｎ　Ｌａｎｇｕａｇｅ）」などがある。
【００１５】
［本発明の概念説明］
ユーザがライブ放送等を見ながら、同じライブを閲覧しているユーザとコミュニケーションを図ろうとした場合、現在のシステムでは、ライブ放送とは別にチャットルーム等のコミュニケーションシステムを用意する必要がある。
【００１６】
このため、以下に示す機能を有するシステムの提供が必要とされている。
（１）ライブ配信を見ながら同じ画面上で、ユーザがリアルタイムでチャット（または動画、静止画、音声情報など）などの情報を入力してコミュニケーションを図ることが可能であること
（２）ライブ画面の好きな所（領域）にメッセージなどの書き込みや、動画、静止画などを挿入することができること
（３）複数のライブ映像を管理し、１つの動画として放送することが可能なこと
（４）システムコミュニケーションを中心としたライブ放送の実現も可能であること（例えば、チャットルームの中で、人数が揃った場合に、同じ画面で皆でライブ放送を見るようなこと）
（５）ライブ映像と、ライブ映像画面中にユーザが入力したコミュニケーション情報（チャット、動画、静止画、音声情報など）の内容を保存し、後からオンデマンドで閲覧及び検索が可能であること
【００１７】
上記の要求を満たすために、本発明のライブ配信サーバは、ライブ放送の際に、該ライブ放送と同期して、ユーザが同じ画面上でチャットなどのコミュニケーション情報の交換をリアルタイムで行うことを可能にすると共に、配信データを保存しオンデマンドで閲覧することを可能にするために、以下の機能を備えている。
・複数のカメラからの映像を制御し、複数のレイアウトで同時に配信する機能
・ライブ放送の映像と、チャットなどのユーザが入力するコミュニケーション情報とを同一の画面で配信する機能
・ユーザからのコミュニケーション情報（チャット、動画、静止画、音声情報など）の入力があると、ライブ放送画像中にリアルタイムで反映する機能
・ユーザからのコミュニケーション情報（チャット、動画、静止画、音声情報など）を入力する際に、ライブ放送のどの場所に表示するか指定する機能
・ライブ放送画像と、ユーザが入力するコミュニケーション情報（チャット、動画、静止画、音声情報など）の内容とを１つのコンテンツとして保存する機能
・　ユーザ（ライブ配信者）がライブ配信の予約時に、画面のレイアウトの指定、及び各イアウトごとに閲覧する人数などを設定する機能
・チャットルーム中で、チャット参加中のユーザがライブ配信を行い、閲覧者間で共有する機能
【００１８】
なお、上記各機能については、以下で順次詳細に説明する。
【００１９】
［ライブ配信システムの構成と動作概要］
図１は、本発明のライブ配信サーバを使用したライブ配信システムの構成と動作概要を説明するための図であり、本例のライブ配信システムは、ライブ配信サーバ２が中核となり、ライブ配信サーバ２と、ライブ配信者端末３と、クライアント端末４（ライブ閲覧者）と、チャット参加者端末５とが通信ネットワーク１により接続されて構成される。
【００２０】
図１に示すライブ配信システムでは、以下のように動作する。
（１）ライブ配信者端末３では、カメラ映像３ａまたは動画ファイル３ｂから動画を取り込み（矢付線ａ）、ライブ配信サーバ２にライブ映像データを送信する（矢付線ｂ）。
（２）ライブ配信サーバ２は、ライブ配信者端末３から受信したライブ映像データを、クライアント端末４およびチャット参加者端末５に配信する（矢付線ｃ）。
（３）チャット参加者端末５からライブ配信サーバ２に、チャット参加者が入力したチャットのメッセージが送信される（矢付線ｄ）。
（４）ライブ配信サーバ２では、チャット参加者端末５から受信したチャットデータをライブ映像データに付加して、クライアント端末４およびチャット参加者端末５に配信する（矢付線ｃ）。
（５）また、ライブ配信サーバ２は、配信した内容（ライブ映像データとチャットデータ）を１つのコンテンツとして保存する（矢付線ｅ）。
【００２１】
なお、図１に示す例では、ライブ画像中にユーザ（チャット参加者）がリアルタイム送信するコミュニケーション情報として、チャット（テキスト文による情報）を入力する例を示しているが、ユーザは、ライブ画像中に動画、静止画などのマルチメディア情報を入力して表示することもできる。
【００２２】
［ライブ配信システムの構成例］
また、図２は、本発明のライブ配信サーバを用いたライブ配信システムの構成例を示す図であり、本発明に直接関係する部分について示したものである。
【００２３】
図２に例示するライブ配信システムは、ライブ配信サーバ１００と、クライアントであるライブ配信者１０のライブ配信者端末１１と、クライアントであるライブ閲覧者２０のライブ閲覧者端末２１とが通信ネットワーク１を介して接続されて構成される。なお、ライブ配信者１０及びライブ閲覧者２０は予めライブ配信サーバ１００に登録されたユーザであり、ユーザＩＤ（識別コード）やユーザ認証情報（パスワードなど）が発行されているユーザである。
【００２４】
ライブ配信者１０は、映像や音声などのマルチメディアコンテンツを作成し、ライブ配信サーバ１００にライブ配信（ストリーミングによるリアルタイム配信）を予約し、ライブ予約で指定した時間にライブ配信を行うクライアントである。
ライブ配信者１０のライブ配信者端末１１には、以下の機能（又は装置）が備えられている。
・通信装置１２は、ライブ配信者端末１１を通信ネットワーク１と接続するための装置である。
・カメラ１３は、ライブ配信するためのライブ映像を撮影する装置である。
・エンコード機能１４は、カメラから取り込まれるライブ映像を圧縮してサーバ１００側へ送信するための機能である。
・入力装置１５は、キーボード、マウス等の入力装置である。
・表示装置１６は、液晶やＣＲＴなどのディスプレイ装置である。
【００２５】
ライブ閲覧者２０は、ライブ配信サーバ１００から配信されるライブを閲覧し、チャットに参加するクライアントであり、ライブ閲覧者２０のライブ閲覧者端末２１には、以下の機能（又は装置）が備えられている。
・通信装置２２は、ライブ閲覧者端末２１を通信ネットワーク１と接続するための装置である。
・メディア再生プレイヤー２３は、ライブ配信される映像や音声などを再生する処理部であり、専用のソフトウェアにより再生が行われる。例えば、ＲｅａｌＰｌａｙｅｒ（登録商標）などがある。
・チャット入力機能２４は、メディア再生プレイヤー２３によりマルチメディアコンテンツを再生中に、そのコンテンツに対して、チャットの情報を入力するための機能である。
・入力装置２５は、キーボード、マウス等の入力装置である。
・表示装置２６は、液晶やＣＲＴなどのディスプレイ装置である。
【００２６】
また、ライブ配信サーバ１００には、以下の処理部（又は装置）が備えられている。
・通信装置１０１は、ライブ配信サーバ１００を通信ネットワーク１と接続するための装置である。
・ライブ配信処理部１０２は、ライブ映像などのマルチメディアストリーミングデータをクライアント（ライブ閲覧者２０）に配信する処理部である。
【００２７】
・ライブ予約処理部１０３は、ライブ配信者の端末１１から、ライブ配信の予約を受け付けるための処理部である。
【００２８】
・コンテンツアクセス管理処理部１０４は、ライブ配信者１０が予約指定したコンテンツに対する、ライブ配信者１０自身が指定するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）情報を取得し、閲覧管理ＤＢ１１４に保存する処理部である。例えば、各レイアウトごとに閲覧できる人数（端末数）を制限する処理や、各レイアウトごとに閲覧者を選択指定するための処理部である。
【００２９】
・チャット情報格納処理部１０５は、ライブ閲覧者２０のライブ閲覧者端末２１内のチャット入力機能２４から送信されるチャット入力データを処理し、チャット情報ＤＢ１１３に格納するための処理部である。
【００３０】
・レイアウト及び属性格納処理部１０６は、ライブ配信者端末１１から送信される指定情報により、コンテンツのレイアウトを定義し、それぞれについての属性（ライブ映像、チャット部分、静止画等）を定義する処理部である。
【００３１】
・ライブデータ格納処理部１０７は、チャット等を含めたコンテンツを保存するかどうかを選択し、保存する場合は、ライブデータＤＢ１１１に格納する処理を行うための処理部である。
【００３２】
・同期マルチメディア言語ファイル生成処理部１０８は、クライアント（ライブ閲覧者）のコンテンツ配信要求を受けてコンテンツアクセス管理処理部１０４などから情報を取得し、ライブ閲覧者端末２１内のメディア再生プレイヤー２３に対して同期マルチメディア言語ファイルを送信する処理部である。
【００３３】
・ライブ配信データ発行処理部１０９は、クライアント（ライブ配信者１０）からの要求に応じて、ライブ配信者１０のライブ配信者端末１１のエンコード機能１４を実際に使用するための設定データを発行するための処理部である。
【００３４】
また、ライブ配信サーバ１００内の各データベースには以下のデータが格納される。なお、図３に各データベースのデータ構成例を示す。
・ライブデータデータベース（ライブデータＤＢ）１１１は、「ライブを保存する」を選択した場合にコンテンツを保存しておくデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「コンテンツ情報（ライブデータファイル名、画像データファイル名、チャット情報ＩＤ）」などである。
【００３５】
・レイアウトデータベース（レイアウトＤＢ）１１２は、各ライブのレイアウトがどのような属性を持っているかを保持しておくデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「属性ＩＤ」、「属性内容（チャット、静止画、ライブ動画）」等である。
【００３６】
・チャット情報データベース（チャット情報ＤＢ）１１３は、ライブ閲覧者端末２１のチャット入力機能２４によって行われたチャット情報のログを記録しておくデータベースである。格納データは、「ライブＩＤ」、「発言者」、「発言時間（ライブ開始からの差分時間）」、「ライブ上での発言場所（レイアウトＩＤまたは、ＸＹ座標での表記）」、「発言及びその他の情報（色、スクロール方法等）」等である。
【００３７】
・閲覧管理データベース１１４は、コンテンツの各レイアウトごとの配信制限情報を保持するデータベースである。格納データは、「ライブＩＤ」、「レイアウトＩＤ」、「属性ＩＤ」、「配信制限情報（配信制限人数、ユーザ指定情報、その他）」等である。
【００３８】
なお、図２に示すシステムでは、ライブ画像中にユーザがリアルタイムで表示するコミュニケーション情報として、チャット（テキスト文による情報）を表示する例を想定しているが、ユーザは、ライブ画面中に動画、静止画、音声情報などを表示することもできる。
【００３９】
［ライブ放送中でのチャットの実施手順］
次に、図２に例示するライブ配信システムにおける「ライブ放送上でのチャットの実施手順の流れ」について説明する。
【００４０】
図４は、ライブ配信者によるライブ予約手順の流れを示す図であり、以下、図４を基に、その手順の流れについて説明する。
【００４１】
（１）ライブ配信者による予約手順
ライブ配信者１０は、ライブ配信サーバ１００に対して、配信するライブの「タイトル」、「配信日時」などを予約指定しているものとする（ステップＳ１、Ｓ２）。
▲１▼　レイアウト及び属性格納処理部１０６は、ライブ配信者１０が指定したレイアウト、及びそれぞれのレイアウトが持つ属性情報（ライブ配信用、チャット用、動画配信用等）を取得し、レイアウトＤＢ１１２に保存する（ステップＳ３、Ｓ４）。
【００４２】
▲２▼　コンテンツアクセス管理処理部１０４は、ライブ配信者１０が指定したそれぞれのレイアウトに対するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）情報を取得し、閲覧管理ＤＢ１１４に保存する（ステップＳ５、Ｓ６）。
【００４３】
▲３▼　ライブデータ格納処理部１０７は、ユーザ（ライブ配信者１０）が指定したチャット入力を含めた配信データをサーバ上に保存するかどうかの情報を取得し（ステップＳ７、Ｓ８）、「保存する」が選択されていた場合は、ライブ配信データをライブデータＤＢ１１１に保存する。
【００４４】
（２）ライブ閲覧者によるレイアウトの選択とチャット入力手順
また、図５は、図２に例示するライブ配信システムにおける「ライブ閲覧者によるレイアウトの選択とチャット入力手順の流れ」を示す図であり、以下、図５を基に、その手順の流れについて説明する。
ライブを閲覧したいユーザ（ライブ閲覧者２０）は、ライブ閲覧者端末２１かライブ配信サーバ１００のライブ配信ページにログインし、閲覧したいコンテンツを選択しているものとする（ステップＳ２１〜ステップＳ２４）。
▲１▼　コンテンツアクセス管理処理部１０４は、閲覧管理ＤＢ１１４を参照して、コンテンツを選択したユーザ（ライブ閲覧者２０）のチェックを行い、アクセス権限があるレイアウト（領域）を確認する（ステップＳ２５）。
【００４５】
▲２▼　コンテンツアクセス管理処理部１０４は、▲１▼で確認したレイアウト（領域）をライブ閲覧者端末２１に表示し、ライブ閲覧者２０に閲覧するレイアウトを選択させる（ステップＳ２６、Ｓ２７）。
【００４６】
▲３▼ライブ配信サーバ１００では、ライブ閲覧者２０が表示したいと選択したレイアウト（領域）のデータのみを、ライブ閲覧者端末２１に配信する（ステップＳ２８、Ｓ２９）。この場合、同期マルチメディア言語ファイル生成処理部１０８は、ライブ閲覧者２０が選択指定したレイアウトを持つ同期マルチメディア言語ファイルを生成し、ライブ閲覧者端末２１のメディア再生プレイヤー２３に向けて送信する。
【００４７】
▲４▼コンテンツアクセス管理処理部１０４は、ライブ閲覧者２０がチャット領域にアクセスし、ライブ閲覧者端末２１からチャット情報格納処理部１０５にチャット入力情報が送られてきた場合に（ステップＳ３０、Ｓ３１）、ライブ閲覧者２０がチャット情報を入力した領域（レイアウト）がチャット可能な領域であるかどうか判断し（ステップＳ３２）、チャット情報格納処理部１０５に送信する。
【００４８】
▲５▼チャット情報格納処理部１０５はコンテンツアクセス管理処理部１０４によりチャットの許可が得られた場合、ライブ閲覧者端末２１のチャット入力機能２４から入力されたチャット情報を受け取る（ステップＳ３３）。許可が得られなかった場合は、チャット入力情報の受け取りを拒否する（ステップＳ３４）。
【００４９】
▲６▼チャット情報が受け取られると、受信したチャット入力データをライブ映像データに付加して、ライブ閲覧者２０の端末２１にリアルタイムで配信する（ステップＳ３５、Ｓ３６）。
【００５０】
また、図９は、チャット入力画面の例を示す図であり、チャットに参加するクライアント（例えば、ライブ閲覧者２０）が、ライブ閲覧者端末２１内のチャット入力機能２４によりチャットを行う場合の例を示す図である。
▲１▼あるチャット参加者が、Ｗｅｂブラウザなどのチャット入力用のアプリケーション（ＡＰ）画面ａ中で、レイアウト（領域２）を指定して、チャット文「この人って誰？」を入力する。
▲２▼配信映像ｂ中に、チャット文「この人って誰？」が表示される。
▲３▼別のチャット参加者がチャット入力用のアプリケーション（ＡＰ）画面ｃ中で、レイアウト（領域４）を指定して、チャット文「松井じゃない？」を入力する。
▲４▼配信映像ｂ中に、チャット文「松井じゃない？」が表示される。
【００５１】
［チャット画面中での動画の同期再生手順］
本発明では、ライブ放送中にユーザ間でリアルタイムでのコミュニケーションが可能である他、チャットルームの画面中でライブ放送を行うなどの、コミュニケーションを中心としたライブ放送の実現も可能である。例えば、チャットルーム画面中で、人数が揃った場合に、皆でライブ放送を見るような場合に使用するものである。
【００５２】
（１）チャットルームの作成
図６は、チャットルームの作成手順の流れを示す図であり、以下、その手順について説明する。
▲１▼チャットルーム作成を行うユーザ（例えば、ライブ配信者１０など）はライブ配信サーバ１００上で、チャットルームのタイトル、利用日時を選択（予約）しているものとする（ステップＳ４１、Ｓ４２）．
【００５３】
▲２▼レイアウト及び属性格納処理部１０６はチャットルーム作成者が指定したレイアウト、及びそれぞれのレイアウトが持つ属性情報（ライブ配信用、チャット用、動画配信用等）を取得し、レイアウトＤＢ１１２に保存する（ステップＳ４３、Ｓ４４）。
【００５４】
▲３▼コンテンツアクセス管理処理部１０４は、▲１▼でユーザが指定したそれぞれのレイアウトに対する、ユーザが指定するアクセス権限（無制限、ユーザ数指定、ユーザ名指定等）を取得し、閲覧管理ＤＢ１１４に保存する（ステップＳ４５、Ｓ４６）。
【００５５】
▲４▼ライブデータ格納処理部１０７は、ユーザ（ライブ配信者１０）が指定したチャット入力を含めた配信をサーバ上に保存するかどうかの選択情報を取得し、「保存する」が選択されていた場合は、ライブ配信データをライブデータＤＢ１１１に保存するように設定する（ステップＳ４７、Ｓ４８）。
【００５６】
（２）チャットルーム上での動画配信
また、図７は、チャットルーム上での動画の配信手順の流れを示す図であり、以下、その手順について説明する。
▲１▼　チャットルーム中で、ライブ配信を行おうとするユーザ（例えば、ライブ配信者１０）が、ライブ配信者端末１１からライブ配信サーバ１００にライブ配信の要求を行う（ステップＳ５１、Ｓ５２）。コンテンツアクセス管理処理部１０４は、チャットルームの属性がライブ配信用になっている場合で、かつ、アクセスしているユーザ（ライブ配信者１０）がライブ配信の権限をもっている場合、ライブ配信データ発行処理部１０９を呼び出す（ステップＳ５３）。
【００５７】
▲２▼　ライブ配信データ発行処理部１０９は、ユーザからのライブ配信要求を受け取り、ユーザ（ライブ配信者１０）のライブ配信者端末１１内のエンコード機能１４がライブ配信可能になるような設定データを発行する（ステップＳ５４）。
【００５８】
▲３▼　ライブ配信者端末１１内のエンコード機能１４は、ライブ配信データ発行処理部１０９から受け取ったデータをもとにカメラ１３などからの動画のエンコードを行いライブ配信サーバ１００に送信する（ステップＳ５５、Ｓ５６）。ライブ配信サーバ１００は、ライブ配信者端末１１から受信したデータを、ライブ閲覧者端末２１に向けてライブ配信する（ステップＳ５６、Ｓ５７）。
【００５９】
以上説明したコミュニケーションを中心としたライブ放送の具体的な画面の例を図１０に示す。図１０示す例では、チャットルーム作成者（例えば、ライブ配信者１０）により、レイアウト１がライブ映像領域、レイアウト２が静止画領域、レイアウト３がチャット（テキスト）入力領域に指定された場合の例である。この場合、ライブ配信を許可されたユーザが「ライブ配信開始ボタン２００」をクリックすることで、該ユーザの端末のライブ配信装置（エンコード装置）が立ち上がり、ライブ放送が開始される。また、静止画像の配信を許可されたユーザが「静止画表示ボタン２０１」をクリックすることで、該ユーザの端末から静止画像ファイルがアップロードされて表示される。また、チャット入力を許可されたユーザが、該ユーザの端末にチャット文を入力し「チャット入力ボタン２０２」を押すことで、メッセージが表示される。
【００６０】
［放送したライブチャットの保存と検索］
ライブ放送とコミュニケーション情報（チャットなど）の動画配信は、リアルタイムでライブ放送として配信するほかに、コミュニケーション情報（チャットなど）の入力も含むオンデマンドのビデオクリップとして保存することが可能である。
【００６１】
図８は、ライブ放送時のチャットの保存と閲覧の手順を示す図であり、ライブ放送時のチャットの保存と閲覧は以下のようにして行われる。
（１）ライブ配信が開始され（ステップＳ６１〜Ｓ６３）、ライブ閲覧者端末２１のチャット入力機能２４によりレイアウトの選択とチャット入力による発言があった場合（ステップＳ６４）、選択されたレイアウトがチャット入力可能な領域であるかが確認される（ステップＳ６５）。
【００６２】
（２）チャット入力が可能な領域である場合は、ライブデータとチャット入力情報とを同期させて、リアルタイムで配信する（ステップＳ６６、６７）。
（３）また、チャット情報格納処理部１０５はチャット情報ＤＢ１１３に、「発言のあったライブ放送のライブＩＤ」、「発言時刻（ライブの開始時刻からの差分）」、「発言者のユーザＩＤ」、「発言場所（領域）」、「発言した内容」などを保存する（ステップＳ６８）。
【００６３】
（４）ライブ終了時に（ステップＳ６９）、同期マルチメディア言語ファイル生成処理部１０８は、生成したファイル（ライブ配信データ）をライブデータＤＢ１１１に保存する（ステップＳ７０）。
【００６４】
（５）また、ライブデータＤＢ１１１に保存されたライブデータは、ユーザにより後で検索できるように格納される。ライブ閲覧者端末２１からライブデータＤＢ１１１の閲覧（検索）要求があった場合は（ステップＳ７１）、ライブデータＤＢ１１１を検索し、該当するライブデータをオンデマンドで配信する（ステップＳ７２、Ｓ７３、Ｓ７４）。
例えば、動画とチャット情報が保存されたライブデータＤＢ１１１から、「おはよう」などのテキスト文字を検索できるようにし、「おはよう」を含む部分のライブデータをオンデマンドで閲覧できるようにする。
【００６５】
以上、本発明の実施の形態について説明したが、図２に示すライブ配信サーバ１００内の各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、図２のライブ配信サーバ１００内の各処理部に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６７】
以上、本発明のライブ配信サーバの実施の形態について説明したが、本発明は上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００６８】
【発明の効果】
以上説明したように、本発明のライブ配信サーバ、及びライブ配信方法においては、ライブ配信を行うクライアントの端末から、ライブ配信する画面内のレイアウトの指定情報と各レイアウトごとの属性情報を受信しデータベースに保存する。また、ライブ配信を行うクライアントの端末から送信されるライブ映像と、ライブを閲覧するクライアントの端末から送信されるコミュニケーション情報（例えば、チャット）とを同期させ、それぞれを同じ画面内の指定されたレイアウトにリアルタイムで表示させる。
これにより、配信されるライブ映像を閲覧しながら、チャットなどのコミュニケーション情報を同じ画面上でリアルタイムで表示できる。
【００６９】
また、本発明のライブ配信サーバにおいては、ライブ映像とコミュニケーション情報を同期させて表示するために、各レイアウトの配信データを含む同期マルチメディア言語ファイルを生成する。
これにより、同期マルチメディア言語の機能を活用して、ライブ映像とコミュニケーション情報との同期制御が容易に行えるようになる。
【００７０】
また、本発明のライブ配信サーバにおいては、ライブ映像と同期して表示するコミュニケーション情報がテキスト文字（チャット入力情報）を含むマルチメディアコンテンツである。
これにより、クライアントは、配信されるライブ映像を閲覧しながら、同じ画面上でチャット、動画、静止画、音声によりコミュニケーションを行うことができる。
【００７１】
また、本発明のライブ配信サーバにおいては、ライブ映像を閲覧するクライアントの端末から、閲覧するレイアウトの選択情報を受信し、クライアントに選択されたレイアウトの部分についてのみ、当該クライアントの端末に対してライブ配信を行う。
これにより、クライアントは自分の見たい映像だけを選択して見ることができる。
【００７２】
また、本発明のライブ配信サーバにおいては、ライブ映像とユーザ入力情報とを含むライブ配信データをライブデータデータベースに格納し、クライアントの端末からの要求によりオンデマンドで配信する。
これにより、クライアントは見落としたライブ映像や、再度確認したいライブ映像をオンデマンドで閲覧することができる。
【００７３】
また、本発明のライブ配信サーバにおいては、ライブ配信者の端末から、各レイアウトごとのアクセス制限情報を受信し、該アクセス制限情報を基に、クライアントの端末からのアクセスを制限できるようする。
これにより、ライブ配信者は個人的な仲間内でのライブ放送と、情報の交換が行えるようになる。また、サーバ管理者が課金を行うことも容易になる。
【図面の簡単な説明】
【図１】ライブ配信システムの構成と動作の概要を説明するための図である。
【図２】ライブ配信システムのシステム構成例を示す図である。
【図３】データベースのデータ構成例を示す図である。
【図４】ライブ配信者によるライブ予約手順の流れを示す図である。
【図５】ライブ閲覧者によるレイアウトの選択とチャット入力手順の流れを示す図である。
【図６】チャットルームの作成手順の流れを示す図である。
【図７】チャットルーム上での動画の配信手順の流れを示す図である。
【図８】ライブ放送時のチャットの保存と閲覧の手順を示す図である。
【図９】チャット入力画面の例を示す図である。
【図１０】コミュニケーションを中心としたライブ放送の具体的な画面の例を示す図である。
【符号の説明】
１　通信ネットワーク
２　ライブ配信サーバ
３　ライブ配信者端末
４　クライアント端末
５　チャット参加者端末
１０　ライブ配信者
１１　ライブ配信者端末
１２　通信装置
１３　カメラ
１４　エンコード機能
２０　ライブ閲覧者
２１　ライブ閲覧者端末
２２　通信装置
２３　メディア再生プレイヤー
２４　チャット入力機能
１００　ライブ配信サーバ
１０１　通信装置
１０２　ライブ配信処理部
１０３　ライブ予約処理部
１０４　コンテンツアクセス管理処理部
１０５　チャット情報格納処理部
１０６　レイアウト及び属性情報格納処理部
１０７　ライブデータ格納処理部
１０８　同期マルチメディア言語ファイル生成処理部
１０９　ライブ配信データ発行処理部
１１１　ライブデータＤＢ
１１２　レイアウトＤＢ
１１３　チャット情報ＤＢ
１１４　閲覧管理ＤＢ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a live distribution server and a live distribution method for live distribution of multimedia contents, and in particular, displays a plurality of live images in synchronization on a single screen, and also displays communication information from live images and live viewers (for example, , Chat) on a single screen in real time, and a live distribution server and a live distribution method having a function of storing the live distribution data displayed in synchronization and browsing it on demand.
[0002]
[Prior art]
Currently, live distribution of multimedia content (also referred to simply as “content”) is one-way from the distributor to the viewer, and is performed between users who are viewing the same content using live distribution. Can not communicate with If you want to communicate, you must use:
(1) A chat room that can be browsed by a Web browser is formed and linked to a live distribution page to encourage use between users.
(2) A live broadcast page is structured to require a login, a list of viewers is created, and a community among users is formed.
(3) Create a channel for live viewers in IRC chat, instant messenger, etc., and urge those who are viewing the same content to participate.
[0003]
[Problems to be solved by the invention]
As described above, the conventional live distribution system has the following problems.
(1) In the live distribution system of multimedia contents existing at present, the live distribution and the communication function are not linked, and the live distributor tends to unilaterally distribute video information.
(2) Even if communication such as chat is performed together with live distribution, it is temporary, and it is difficult to find out and confirm what kind of communication was performed in a specific part of the live later.
(3) A person who exists in a community such as a chat and a person who does not exist cannot see the same content at the same time.
[0004]
The present invention has been made to solve such a problem, and an object of the present invention is to synchronously display a plurality of live images on a single screen, and to provide communication information (for example, chat) from a live image and a live viewer. The present invention provides a live distribution server and a live distribution method having a function of synchronizing and displaying live input data on one screen in real time, storing the live distribution data displayed synchronously, and browsing the data on demand. .
[0005]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and a live distribution server of the present invention distributes a live video through a live distribution server that distributes a live video of multimedia content. A live distribution server in a live distribution system in which a client terminal and a client terminal for browsing live video are connected via a communication network, wherein one of the screens for live distribution from the client terminal performing the live distribution Or layout and attribute information storage means for receiving design information of two or more layouts and attribute information for each layout and storing them in a database; and storing live video transmitted from a terminal of the client performing the live distribution in the database. Assign to the specified layout with reference to each A live video synchronization distribution means for synchronizing the live video of the live video and a live video, and receiving communication information and layout designation information input by the client from a terminal of the client viewing the distributed live video. Is characterized by comprising communication information synchronous distribution means for allocating the communication information to a specified layout with reference to the database and synchronizing the communication information with the live video to perform live distribution.
As a result, communication information such as chat can be displayed on the same screen in real time while viewing the distributed live video.
[0006]
Further, the live distribution server of the present invention uses a synchronous multimedia language file generating means for generating a synchronous multimedia language file including distribution data of each layout as the live video synchronous distribution means and the communication information synchronous distribution means. Features.
This makes it possible to easily control the synchronization between the live video and the communication information by utilizing the function of the synchronized multimedia language.
[0007]
The live distribution server according to the present invention is characterized in that the communication information is multimedia content including chat information of text characters. This allows the client to communicate by chat, video, still image, and voice on the same screen while viewing the distributed live video.
[0008]
Further, the live distribution server of the present invention includes: a layout selection information receiving unit for receiving selection information of a layout to be viewed from a terminal of a client that views the live video; and a layout selected by the layout selection information receiving unit. And a live distributing means for distributing a live video to the terminal of the client only for the above-mentioned portion.
This allows the client to select and view only the video that the client wants to view.
[0009]
Further, the live distribution server of the present invention, a live data storage means for storing live distribution data including the live video and communication information input by the client in a live data database, by a request from a terminal of the client, On-demand distribution means for distributing live distribution data stored in the live data database to a client terminal is further provided.
As a result, the client can view the overlooked live video or the live video that the user wants to check again on demand.
[0010]
Further, the live distribution server of the present invention, when receiving, from the terminal of the client performing the live distribution, the designation information of the layout in the image to be distributed live and the attribute information of each layout, further restricts the access for each layout. As information, one or both of selection information of a client that can be viewed and restriction information of the number of clients that can be viewed are received, and based on the access restriction information, content access management means for restricting access from a client terminal is provided. It is further characterized by comprising:
As a result, the live distributor can exchange information with a live broadcast among personal friends. Also, it becomes easy for the server administrator to charge.
[0011]
Further, the live distribution method of the present invention includes a live distribution server that distributes live video of multimedia content, a terminal of a client that distributes live video via the live distribution server, and a terminal of a client that browses live video. Is a live distribution method used in the live distribution server in a live distribution system connected via a communication network, wherein one or more layouts in a screen for live distribution are designated from a client terminal performing the live distribution. A layout and attribute information storing procedure for receiving information and attribute information for each layout and storing it in a database, and a live video transmitted from a terminal of the client performing the live distribution, designated by referring to the database Live video of each layout assigned to layout In the case of receiving a communication information and a layout designation information input by the client from a terminal of a client that is viewing the distributed live video, A communication information synchronous distribution procedure for synchronizing the communication information with the live video and distributing the information live.
As a result, communication information such as chat can be displayed on the same screen in real time while viewing the distributed live video.
[0012]
Further, the computer program of the present invention includes a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video. From a terminal of the client performing the live distribution, to a computer in the live distribution server in a live distribution system connected by a communication network, designation information of one or more layouts in a screen to be distributed live and attributes for each layout A layout and attribute information storing procedure for receiving information and storing it in a database, and assigning a live video transmitted from a terminal of the client performing the live distribution to a layout specified by referring to the database, and Live video sync When the communication information and the layout designation information input by the client are received from the terminal of the client viewing the distributed live video, the database is referred to by referring to the database. And a communication information synchronous distribution procedure for synchronizing the communication information with the live video and performing live distribution.
[0013]
In addition, the present invention provides a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video through a communication network. A computer in the live distribution server in the connected live distribution system receives designation information of one or more layouts in a screen to be distributed live and attribute information for each layout from a terminal of the client performing the live distribution. A layout and attribute information storing procedure for storing in a database, and assigning a live video transmitted from a terminal of the client performing the live distribution to a layout specified by referring to the database, and a live video of each layout. To synchronize and broadcast live When the communication information and layout designation information input by the client are received from the terminal of the client that is viewing the distributed live video, the layout specified by referring to the database is displayed. A computer-readable recording medium which stores a program for causing a computer to execute allocation and communication information synchronous distribution procedure for synchronizing the communication information with the live video and performing live distribution.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
First, terms used in this specification are defined here.
-Multimedia content refers to moving images, audio, text, and still images. In this specification, the multimedia content is also simply referred to as “content”.
-Live reservation means that a user who distributes content reserves a distribution time frame with a live distribution server that distributes content live on a communication network.
Encoding refers to converting content (video and audio data files) into a streaming format (compressing for streaming playback) according to the distribution band of the network.
Synchronous multimedia language is an XML-based markup language that controls and synchronizes the reproduction of various types of data such as moving images, still images, audio, music, and characters. It is possible to control at which position (region) the clip to be reproduced is displayed, at what timing, for how long. An example is "SMIL (Synchronized Multimedia Integration Language)" recommended by the W3C.
[0015]
[Conceptual explanation of the present invention]
When a user tries to communicate with a user who is viewing the same live while watching a live broadcast or the like, the current system needs to prepare a communication system such as a chat room separately from the live broadcast.
[0016]
Therefore, there is a need to provide a system having the following functions.
(1) It is possible for a user to communicate by inputting information such as chat (or moving image, still image, audio information, etc.) in real time on the same screen while watching live distribution.
(2) Able to write a message, insert a moving image, a still image, etc. in a desired area (area) of the live screen
(3) Ability to manage multiple live videos and broadcast them as one video
(4) Realization of live broadcasting centered on system communication is also possible (for example, when the number of people is equal in a chat room, everyone can watch live broadcasting on the same screen)
(5) Live video and communication information (chat, video, still image, audio information, etc.) input by the user in the live video screen must be saved and can be viewed and searched later on demand.
[0017]
In order to satisfy the above demand, the live distribution server of the present invention enables a user to exchange communication information such as chat on the same screen in real time in synchronization with the live broadcast during the live broadcast. In addition, the following functions are provided to enable distribution data to be stored and browsed on demand.
・ Function to control images from multiple cameras and distribute them simultaneously in multiple layouts
・ A function to distribute live broadcast images and communication information input by users such as chats on the same screen
・ A function to reflect in real time in live broadcast images when communication information (chat, video, still image, audio information, etc.) is input from the user
-A function to specify where to display live broadcasts when inputting communication information (chat, video, still image, audio information, etc.) from the user.
-Function to save live broadcast images and communication information (chat, video, still image, audio information, etc.) input by the user as one content
-A function that allows the user (live distributor) to specify the layout of the screen and set the number of viewers for each layout when making a reservation for live distribution.
-A function that allows users who are participating in a chat to perform live distribution in a chat room and share it between viewers
[0018]
The functions will be described in detail below.
[0019]
[Configuration and operation overview of live distribution system]
FIG. 1 is a diagram for explaining the configuration and operation outline of a live distribution system using the live distribution server of the present invention. In the live distribution system of this example, the live distribution server 2 is the core, and the live distribution server 2 , A live distributor terminal 3, a client terminal 4 (live viewer), and a chat participant terminal 5 connected by the communication network 1.
[0020]
The live distribution system shown in FIG. 1 operates as follows.
(1) The live distributor terminal 3 captures a moving image from the camera video 3a or the moving image file 3b (arrowed line a) and transmits live video data to the live distribution server 2 (arrowed line b).
(2) The live distribution server 2 distributes the live video data received from the live distributor terminal 3 to the client terminal 4 and the chat participant terminal 5 (arrow c).
(3) A chat message input by the chat participant is transmitted from the chat participant terminal 5 to the live distribution server 2 (arrow d).
(4) The live distribution server 2 adds the chat data received from the chat participant terminal 5 to the live video data, and distributes it to the client terminal 4 and the chat participant terminal 5 (arrow c).
(5) The live distribution server 2 stores the distributed contents (live video data and chat data) as one content (arrow e).
[0021]
Note that the example shown in FIG. 1 shows an example in which a user (chat participant) inputs a chat (information based on a text sentence) as communication information transmitted in real time in a live image. In addition, multimedia information such as a moving image and a still image can be input and displayed.
[0022]
[Configuration example of live distribution system]
FIG. 2 is a diagram showing a configuration example of a live distribution system using the live distribution server of the present invention, and shows parts directly related to the present invention.
[0023]
In the live distribution system illustrated in FIG. 2, a live distribution server 100, a live distributor terminal 11 of a live distributor 10 as a client, and a live browser terminal 21 of a live viewer 20 as a client communicate with the communication network 1. It is connected and configured through. The live distributor 10 and the live viewer 20 are users registered in the live distribution server 100 in advance, and are users to whom a user ID (identification code) and user authentication information (a password, etc.) have been issued.
[0024]
The live distributor 10 is a client that creates multimedia contents such as video and audio, reserves live distribution (real-time distribution by streaming) in the live distribution server 100, and performs live distribution at the time specified by the live reservation.
The live distributor terminal 11 of the live distributor 10 has the following functions (or devices).
The communication device 12 is a device for connecting the live distributor terminal 11 to the communication network 1.
The camera 13 is a device that captures live video for live distribution.
The encoding function 14 is a function for compressing live video captured from a camera and transmitting the compressed video to the server 100 side.
The input device 15 is an input device such as a keyboard and a mouse.
The display device 16 is a display device such as a liquid crystal or a CRT.
[0025]
The live viewer 20 is a client that browses a live distributed from the live distribution server 100 and participates in a chat. The live viewer terminal 21 of the live viewer 20 has the following functions (or devices). ing.
The communication device 22 is a device for connecting the live viewer terminal 21 to the communication network 1.
The media playback player 23 is a processing unit that plays back live-distributed video and audio, and is played back by dedicated software. For example, there is RealPlayer (registered trademark).
The chat input function 24 is a function for inputting chat information with respect to the multimedia content while the multimedia content is being played by the media playback player 23.
The input device 25 is an input device such as a keyboard and a mouse.
The display device 26 is a display device such as a liquid crystal or a CRT.
[0026]
Further, the live distribution server 100 includes the following processing units (or devices).
The communication device 101 is a device for connecting the live distribution server 100 to the communication network 1.
The live distribution processing unit 102 is a processing unit that distributes multimedia streaming data such as live video to a client (live viewer 20).
[0027]
The live reservation processing unit 103 is a processing unit for receiving a reservation for live distribution from the terminal 11 of the live distributor.
[0028]
The content access management processing unit 104 acquires access authority (unlimited, user number designation, user name designation, etc.) information specified by the live distributor 10 for the content reserved and designated by the live distributor 10, and browse management DB 114 Is a processing unit that saves data. For example, it is a process for limiting the number of people who can browse (the number of terminals) for each layout, and a processing unit for selecting and specifying a viewer for each layout.
[0029]
The chat information storage processing unit 105 is a processing unit that processes chat input data transmitted from the chat input function 24 in the live viewer terminal 21 of the live viewer 20 and stores the data in the chat information DB 113.
[0030]
The layout and attribute storage processing unit 106 defines a content layout based on the specification information transmitted from the live distributor terminal 11, and defines attributes (live video, chat portion, still image, etc.) for each content. It is.
[0031]
The live data storage processing unit 107 is a processing unit for selecting whether or not to save contents including chats and the like, and for storing the content in the live data DB 111 when saving.
[0032]
The synchronous multimedia language file generation processing unit 108 receives the content distribution request from the client (live viewer), acquires information from the content access management processing unit 104 and the like, and sends the information to the media playback player 23 in the live viewer terminal 21. It is a processing unit for transmitting a synchronous multimedia language file.
[0033]
The live distribution data issuing processing unit 109 issues setting data for actually using the encoding function 14 of the live distributor terminal 11 of the live distributor 10 in response to a request from a client (live distributor 10). Processing section.
[0034]
The following data is stored in each database in the live distribution server 100. FIG. 3 shows a data configuration example of each database.
The live data database (live data DB) 111 is a database that stores contents when “save live” is selected. The stored data is “live ID”, “layout ID”, “content information (live data file name, image data file name, chat information ID)” and the like.
[0035]
The layout database (layout DB) 112 is a database for holding what attributes each live layout has. The stored data includes “live ID”, “layout ID”, “attribute ID”, “attribute contents (chat, still image, live video)” and the like.
[0036]
The chat information database (chat information DB) 113 is a database for recording a log of chat information performed by the chat input function 24 of the live viewer terminal 21. The stored data includes “live ID”, “speaker”, “speech time (difference time from the start of the live)”, “speak location on the live (notation in layout ID or XY coordinates)”, “speech and Other information (color, scroll method, etc.) ".
[0037]
The browsing management database 114 is a database that holds distribution restriction information for each layout of content. The stored data is “live ID”, “layout ID”, “attribute ID”, “distribution restriction information (distribution restriction number, user designation information, etc.)” and the like.
[0038]
Note that the system shown in FIG. 2 assumes an example in which a chat (information based on a text sentence) is displayed as communication information displayed by a user in real time in a live image. Still images and audio information can also be displayed.
[0039]
[Chat procedure during live broadcasting]
Next, a description will be given of a “flow of a procedure for performing a chat on a live broadcast” in the live distribution system illustrated in FIG. 2.
[0040]
FIG. 4 is a diagram showing a flow of a live reservation procedure by a live distributor, and the flow of the procedure will be described below with reference to FIG.
[0041]
(1) Booking procedure by live broadcaster
It is assumed that the live distributor 10 designates the live “title”, “delivery date”, and the like to be distributed to the live distribution server 100 (steps S1 and S2).
{Circle around (1)} The layout and attribute storage processing unit 106 acquires the layout specified by the live distributor 10 and attribute information (for live distribution, for chat, for moving image distribution, etc.) of each layout, and stores the acquired information in the layout DB 112. (Steps S3 and S4).
[0042]
{Circle around (2)} The content access management processing unit 104 acquires access authority (unlimited, user number, user name, etc.) information for each layout specified by the live distributor 10 and stores it in the browsing management DB 114 (step S5). , S6).
[0043]
{Circle around (3)} The live data storage processor 107 acquires information on whether or not distribution data including the chat input specified by the user (live distributor 10) is stored on the server (steps S7 and S8), and “Save”. If "Yes" is selected, the live distribution data is stored in the live data DB 111.
[0044]
(2) Layout selection and chat input procedure by live viewers
FIG. 5 is a diagram showing “flow of layout selection and chat input procedure by live viewer” in the live distribution system illustrated in FIG. 2. Hereinafter, the flow of the procedure will be described with reference to FIG. 5. I do.
It is assumed that the user who wants to view the live (live viewer 20) logs in the live viewer terminal 21 or the live distribution page of the live distribution server 100 and selects the content to be viewed (steps S21 to S24).
{Circle around (1)} The content access management processing unit 104 refers to the browsing management DB 114, checks the user (live viewer 20) who has selected the content, and confirms the layout (area) to which the user has access authority (step S25). .
[0045]
(2) The content access management processing unit 104 displays the layout (area) confirmed in (1) on the live viewer terminal 21 and allows the live viewer 20 to select a layout to be viewed (steps S26 and S27).
[0046]
{Circle around (3)} The live distribution server 100 distributes only the data of the layout (area) selected by the live viewer 20 to be displayed to the live viewer terminal 21 (steps S28 and S29). In this case, the synchronous multimedia language file generation processing unit 108 generates a synchronous multimedia language file having a layout selected and designated by the live viewer 20, and transmits the file to the media playback player 23 of the live viewer terminal 21.
[0047]
{Circle around (4)} The content access management processing unit 104 determines that the live viewer 20 accesses the chat area and the chat input information is transmitted from the live viewer terminal 21 to the chat information storage processing unit 105 (steps S30 and S31). ), It is determined whether or not the area (layout) where the live viewer 20 has input the chat information is an area where the chat can be performed (step S32) and transmitted to the chat information storage processing unit 105.
[0048]
{Circle over (5)} When the permission of the chat is obtained by the content access management processing unit 104, the chat information storage processing unit 105 receives the chat information input from the chat input function 24 of the live viewer terminal 21 (step S33). If the permission is not obtained, the reception of the chat input information is refused (step S34).
[0049]
(6) When the chat information is received, the received chat input data is added to the live video data and distributed to the terminal 21 of the live viewer 20 in real time (steps S35 and S36).
[0050]
FIG. 9 is a diagram illustrating an example of a chat input screen, in which a client (for example, a live viewer 20) participating in the chat performs a chat using the chat input function 24 in the live viewer terminal 21. FIG.
{Circle around (1)} A chat participant specifies a layout (area 2) on a chat input application (AP) screen a such as a Web browser and inputs a chat sentence “Who is this person?”.
{Circle around (2)} The chat text “Who is this person?” Is displayed in the distribution video b.
{Circle around (3)} Another chat participant specifies the layout (area 4) in the chat input application (AP) screen c and inputs the chat sentence "Is Matsui not?"
{Circle over (4)} The chat text "Isn't Matsui?" Is displayed in the distribution video b.
[0051]
[Synchronous playback of video on chat screen]
According to the present invention, real-time communication between users is possible during live broadcasting, and live broadcasting centering on communication, such as performing live broadcasting on a screen of a chat room, is also possible. For example, it is used in a case where all people are watching a live broadcast when the number of people is equal on the chat room screen.
[0052]
(1) Creating a chat room
FIG. 6 is a diagram showing the flow of the procedure for creating a chat room, and the procedure will be described below.
(1) It is assumed that the user who creates the chat room (for example, the live distributor 10) has selected (reserved) the title of the chat room and the use date and time on the live distribution server 100 (steps S41 and S42). .
[0053]
{Circle around (2)} The layout and attribute storage processing unit 106 acquires the layout specified by the chat room creator and the attribute information (for live distribution, for chat, for moving image distribution, etc.) of each layout, and stores the acquired information in the layout DB 112. (Steps S43, S44).
[0054]
(3) The content access management processing unit 104 acquires the access authority (unlimited, user number designation, user name designation, etc.) specified by the user with respect to each layout specified by the user in (1), and stores it in the browsing management DB 114. It is stored (steps S45 and S46).
[0055]
{Circle around (4)} The live data storage processing unit 107 obtains selection information as to whether or not to save the distribution including the chat input specified by the user (live distributor 10) on the server, and “Save” is selected. If so, the live distribution data is set to be stored in the live data DB 111 (steps S47 and S48).
[0056]
(2) Video distribution in chat rooms
FIG. 7 is a diagram showing a flow of a procedure for distributing a moving image in a chat room, and the procedure will be described below.
{Circle around (1)} In the chat room, a user who intends to perform live distribution (for example, the live distributor 10) makes a request for live distribution from the live distributor terminal 11 to the live distribution server 100 (steps S51 and S52). When the attribute of the chat room is for live distribution and the accessing user (live distributor 10) has the authority of live distribution, the content access management processing unit 104 performs live distribution data issuing processing. The unit 109 is called (step S53).
[0057]
{Circle around (2)} The live distribution data issuance processing unit 109 receives a live distribution request from a user, and transmits setting data such that the encoding function 14 in the live distributor terminal 11 of the user (live distributor 10) can perform a live distribution. Issue (step S54).
[0058]
{Circle around (3)} The encoding function 14 in the live distributor terminal 11 encodes a moving image from the camera 13 or the like based on the data received from the live distribution data issuing processing unit 109 and transmits the encoded data to the live distribution server 100 (step S55). , S56). The live distribution server 100 performs live distribution of the data received from the live distributor terminal 11 to the live viewer terminal 21 (steps S56 and S57).
[0059]
FIG. 10 shows an example of a specific screen of a live broadcast centering on the communication described above. In the example shown in FIG. 10, an example in which layout 1 is designated as a live video area, layout 2 is designated as a still image area, and layout 3 is designated as a chat (text) input area by a chat room creator (for example, live distributor 10). It is. In this case, when the user permitted to perform the live distribution clicks the “live distribution start button 200”, the live distribution device (encoding device) of the terminal of the user starts up and the live broadcast is started. When the user permitted to distribute the still image clicks on the “still image display button 201”, the still image file is uploaded from the terminal of the user and displayed. Also, a user who is allowed to enter a chat inputs a chat sentence into the user's terminal and presses a "chat input button 202" to display a message.
[0060]
[Save and search broadcast live chat]
Live broadcast and video distribution of communication information (such as chat) can be stored as an on-demand video clip including input of communication information (such as chat), in addition to being distributed as a live broadcast in real time.
[0061]
FIG. 8 is a diagram showing a procedure for saving and browsing a chat during a live broadcast. The saving and browsing of a chat during a live broadcast are performed as follows.
(1) When the live distribution is started (steps S61 to S63), and the chat is selected by the chat input function 24 of the live viewer terminal 21 and the input by the chat input is made (step S64), the selected layout is input by the chat. It is confirmed whether the area is a possible area (step S65).
[0062]
(2) In the case where the chat input is possible, the live data and the chat input information are synchronized and distributed in real time (steps S66 and S67).
(3) In addition, the chat information storage processing unit 105 stores, in the chat information DB 113, “the live ID of the live broadcast in which the statement was made”, “the speech time (difference from the start time of the live)”, and “the user ID of the speaker”. , “Speaking place (area)”, “speaking contents” and the like are stored (step S68).
[0063]
(4) At the end of the live (step S69), the synchronous multimedia language file generation processing unit 108 stores the generated file (live distribution data) in the live data DB 111 (step S70).
[0064]
(5) The live data stored in the live data DB 111 is stored so that the user can retrieve it later. When there is a browsing (search) request of the live data DB 111 from the live viewer terminal 21 (step S71), the live data DB 111 is searched and the corresponding live data is distributed on demand (steps S72, S73, S74). .
For example, text characters such as “Good morning” can be searched from the live data DB 111 in which moving images and chat information are stored, and the live data of a portion including “Good morning” can be browsed on demand.
[0065]
Although the embodiment of the present invention has been described above, a program for realizing the function of each processing unit in the live distribution server 100 shown in FIG. 2 is recorded on a computer-readable recording medium, and The processing necessary for each processing unit in the live distribution server 100 in FIG. 2 may be performed by causing the computer system to read and execute the recorded program. Here, the “computer system” includes an OS and hardware such as peripheral devices.
[0066]
The “computer-readable recording medium” refers to a general medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, and a storage device such as a hard disk built in a computer system.
Further, a “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. In this case, a medium that stores a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case, is also included.
Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be for realizing the above-mentioned functions in combination with a program already recorded in a computer system, that is, a so-called difference file (differential Program).
[0067]
As described above, the embodiment of the live distribution server of the present invention has been described. However, the present invention is not limited to the above illustrated example, and various changes can be made without departing from the gist of the present invention. Of course.
[0068]
【The invention's effect】
As described above, in the live distribution server and the live distribution method of the present invention, from the terminal of the client performing the live distribution, the designation information of the layout in the screen to be distributed live and the attribute information of each layout are received and the database is received. To save. In addition, the live video transmitted from the terminal of the client that performs live distribution is synchronized with the communication information (for example, chat) transmitted from the terminal of the client that browses the live, and each of them is designated by the specified layout in the same screen. To display in real time.
As a result, communication information such as chat can be displayed on the same screen in real time while viewing the distributed live video.
[0069]
In the live distribution server of the present invention, a synchronous multimedia language file including distribution data of each layout is generated in order to display the live video and the communication information in synchronization.
This makes it possible to easily control the synchronization between the live video and the communication information by utilizing the function of the synchronized multimedia language.
[0070]
In the live distribution server of the present invention, the communication information displayed in synchronization with the live video is multimedia content including text characters (chat input information).
This allows the client to communicate by chat, video, still image, and voice on the same screen while viewing the distributed live video.
[0071]
Further, in the live distribution server of the present invention, the selection information of the layout to be viewed is received from the terminal of the client that views the live video, and only the part of the layout selected by the client is transmitted to the terminal of the client. Perform distribution.
This allows the client to select and view only the video that the client wants to view.
[0072]
In the live distribution server of the present invention, live distribution data including live video and user input information is stored in a live data database, and distributed on demand according to a request from a client terminal.
As a result, the client can view the overlooked live video or the live video that the user wants to check again on demand.
[0073]
In the live distribution server of the present invention, access restriction information for each layout is received from a terminal of a live distributor, and access from a client terminal can be restricted based on the access restriction information.
As a result, the live distributor can exchange information with a live broadcast among personal friends. Also, it becomes easy for the server administrator to charge.
[Brief description of the drawings]
FIG. 1 is a diagram for describing an outline of a configuration and operation of a live distribution system.
FIG. 2 is a diagram illustrating a system configuration example of a live distribution system.
FIG. 3 is a diagram illustrating a data configuration example of a database.
FIG. 4 is a diagram showing a flow of a live reservation procedure by a live distributor.
FIG. 5 is a diagram showing a flow of a layout selection and chat input procedure by a live viewer.
FIG. 6 is a diagram showing a flow of a procedure for creating a chat room.
FIG. 7 is a diagram showing a flow of a moving image distribution procedure in a chat room.
FIG. 8 is a diagram showing a procedure for saving and browsing a chat during a live broadcast.
FIG. 9 is a diagram illustrating an example of a chat input screen.
FIG. 10 is a diagram showing an example of a specific screen of a live broadcast centering on communication.
[Explanation of symbols]
1 communication network
2 Live distribution server
3 Live broadcaster terminal
4 Client terminal
5 Chat participant terminals
10 Live broadcasters
11 Live broadcaster terminal
12 Communication device
13 Camera
14 Encoding function
20 live viewers
21 Live Viewer Terminal
22 Communication equipment
23 Media Player
24 Chat input function
100 live distribution server
101 Communication device
102 Live distribution processing unit
103 Live reservation processing unit
104 Content Access Management Processing Unit
105 Chat information storage processing unit
106 Layout and attribute information storage processing unit
107 Live data storage processing unit
108 Synchronous multimedia language file generation processing unit
109 Live distribution data issue processing unit
111 Live Data DB
112 Layout DB
113 Chat information DB
114 browsing management DB

Claims

A live distribution system in which a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video are connected via a communication network The live distribution server in
Layout and attribute information storage means for receiving, from a terminal of the client performing the live distribution, designation information of one or more layouts in a screen to be distributed live and attribute information of each layout and storing the attribute information in a database;
A live video transmitted from a client terminal performing the live distribution, a live video synchronization distribution unit for allocating a live layout of each layout to the specified layout with reference to the database and synchronizing the live video of each layout,
When receiving communication information and layout designation information input by the client from the terminal of the client viewing the distributed live video, the client refers to the database and assigns the layout to the designated layout, and assigns the communication information to the layout. A live distribution server comprising: communication information synchronous distribution means for performing live distribution in synchronization with live video.

2. The live video synthesizing device according to claim 1, wherein a synchronous multimedia language file generating device that generates a synchronous multimedia language file including distribution data of each layout is used as the live video synchronous distribution device and the communication information synchronous distribution device. 3. Delivery server.

The live distribution server according to claim 1, wherein the communication information is multimedia content including chat information of text characters.

From the terminal of the client that browses the live video, layout selection information receiving means for receiving the selection information of the layout to be viewed,
4. The apparatus according to claim 1, further comprising a live distribution unit for distributing a live video to a terminal of the client only for a layout portion selected by the layout selection information receiving unit. Live distribution server described in Crab.

Live data storage means for storing live distribution data including the live video and communication information input by the client in a live data database,
5. The apparatus according to claim 1, further comprising an on-demand distribution unit configured to distribute live distribution data stored in the live data database to the client terminal in response to a request from the client terminal. 6. Live distribution server described in Crab.

From the terminal of the client performing the live distribution, when receiving the designation information of the layout in the image to be distributed live and the attribute information of each layout, further, as the access restriction information for each layout, the selection information of the client that can be browsed, The information processing apparatus according to claim 1, further comprising: content access management means for receiving one or both of the restriction information on the number of clients that can be browsed, and restricting access from a client terminal based on the access restriction information. The live distribution server according to any one of 1 to 5.

A live distribution system in which a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video are connected via a communication network A live distribution method used in the live distribution server in the,
A layout and attribute information storing procedure for receiving, from a terminal of the client performing the live distribution, designation information of one or more layouts in a screen to be distributed live and attribute information of each layout and storing the information in a database;
A live video transmitted from a client terminal performing the live distribution, a live video synchronous distribution procedure for allocating a live layout of each layout to a specified layout with reference to the database and synchronizing the live video of each layout,
When receiving communication information and layout designation information input by the client from the terminal of the client viewing the distributed live video, the client refers to the database and assigns the layout to the designated layout, and assigns the communication information to the layout. And a communication information synchronous distribution procedure for performing live distribution in synchronization with the live video.

A live distribution system in which a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video are connected via a communication network Receiving, from a terminal of the client performing the live distribution, information specifying one or more layouts in a screen to be distributed live and attribute information of each layout from a terminal of the client performing the live distribution to a computer in the live distribution server and storing the information in a database. Layout and attribute information storage procedure,
A live video transmitted from a client terminal performing the live distribution, a live video synchronous distribution procedure for allocating a live layout of each layout to a specified layout with reference to the database and synchronizing the live video of each layout,
When receiving communication information and layout designation information input by the client from the terminal of the client viewing the distributed live video, the client refers to the database and assigns the layout to the designated layout, and assigns the communication information to the layout. A program for executing a communication information synchronous distribution procedure for performing a live distribution in synchronization with a live video.

A live distribution system in which a live distribution server that distributes live video of multimedia content, a client terminal that distributes live video via the live distribution server, and a client terminal that browses live video are connected via a communication network Receiving, from a terminal of the client performing the live distribution, information specifying one or more layouts in a screen to be distributed live and attribute information of each layout from a terminal of the client performing the live distribution to a computer in the live distribution server and storing the information in a database. Layout and attribute information storage procedure,
A live video transmitted from a client terminal performing the live distribution, a live video synchronous distribution procedure for allocating a live layout of each layout to a specified layout with reference to the database and synchronizing the live video of each layout,
When receiving communication information and layout designation information input by the client from the terminal of the client viewing the distributed live video, the client refers to the database and assigns the layout to the designated layout, and assigns the communication information to the layout. A computer-readable recording medium that stores a program for causing a computer to execute a communication information synchronous distribution procedure for performing live distribution in synchronization with a live video.