JP4232419B2 - 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム - Google Patents
送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム Download PDFInfo
- Publication number
- JP4232419B2 JP4232419B2 JP2002271334A JP2002271334A JP4232419B2 JP 4232419 B2 JP4232419 B2 JP 4232419B2 JP 2002271334 A JP2002271334 A JP 2002271334A JP 2002271334 A JP2002271334 A JP 2002271334A JP 4232419 B2 JP4232419 B2 JP 4232419B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- distribution
- viewing
- distributed
- application program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する分野】
本発明は、複数の視聴装置とサーバ装置とに接続されるネットワークを介し、所要のコンテンツを配信する送信装置及び送信方法、更には発信側となる送信装置により生成したコンテンツをサーバ装置を介して視聴装置に配信するコンテンツ配信装置及びコンテンツ配信方法に関する。また、このようなコンテンツ配信装置を実現するプログラムに関する。
【0002】
【従来の技術】
従来から、多数のコンピュータ装置が接続されたコンピュータネットワークとして、いわゆるインターネット(The Internet)が広く普及している。インターネットは、TCP/IP(Transmission Control Protocol / Internet Protocol)を代表とする各種のプロトコル(相互接続手順)を利用して、コンピュータ同士の間で様々な情報を自在に送受信することが可能とされている。
【0003】
このようなインターネットを利用して、例えばデジタルビデオカメラ等の撮像装置により撮像した動画像を、多数の視聴者に向けて配信する場合には、以下に挙げるような手法がある。
【0004】
すなわち、第1の手法としては、動画像が含まれるファイルを発信者側のコンピュータ装置からサーバ装置に転送(アップロード)しておき、他のコンピュータ装置からサーバ装置に対して取得要求が行われた場合に、この転送されたファイルを自由に取得(ダウンロード)可能な状態としておくことが挙げられる。これにより、視聴者側では、インターネットに接続されたコンピュータ装置を用いて、サーバ装置から動画像ファイルをダウンロードし、このコンピュータ装置の表示画面上で動画像を閲覧することができる。
【0005】
第2の手法としては、動画像の発信者側が自前でサーバ装置を用意し、このサーバ装置に動画像が含まれるファイルをダウンロード自在な状態で保持しておく。これにより、上述した第1の手法と同様に、このサーバ装置から視聴者側のコンピュータ装置に対して動画像を配信することができる。
【0006】
また、このようにサーバ装置を発信者側が自前で用意する場合には、予め編集を済ませた完成済みの動画像ファイルを配信することができるだけでなく、サーバ装置或いはサーバ装置に接続した発信者側のコンピュータ装置に撮像装置を接続しておくことにより、この撮像装置により撮像した動画像をリアルタイムでライブ配信することもできる。
【0007】
このようなライブ配信は、各種のストリーミング(Streaming)配信技術、すなわち、サーバ装置に保持された動画データをコンピュータネットワークを介してダウンロードしながら逐次再生する技術を利用して実現することができる。ストリーミング配信技術としては、例えば、リアルネットワークス株式会社の「Real System」(例えば、非特許文献1参照。)、アップルコンピュータ株式会社の「QuickTime Streaming Server」(例えば、非特許文献2参照。)、マイクロソフト株式会社の「Windows Media テクノロジー」(例えば、非特許文献3参照。)等を挙げることができる。
【0008】
【非特許文献1】
インターネット<URL:http://www.jp.real.com/>
【非特許文献2】
インターネット<URL:http://www.apple.co.jp/>
【非特許文献3】
インターネット<URL:http://www.microsoft.com/japan/>
【0009】
【発明が解決しようとする課題】
ところで、上述のようにして動画像などをネットワークを介して視聴者側にライブ配信する場合には、動画像の発信者がひとつのライブ配信につき一人に制限されており、発信者から離れた場所にいる別の提供者からの動画像をライブ配信番組に取り込んで各地を中継で結ぶといった形の配信を行うことができなかった。
【0010】
また例えば、ライブ配信を行う番組に視聴者側からの意見や主張を反映させるためには、ライブ配信を行うシステムとは別のシステムを用いることが必要である。具体的には例えば、視聴者側の意見や主張を電子メールやチャットなどを実現するアプリケーションソフトを用いて文字や静止画像の形式で取得し、取得した文字や静止画像をライブ配信を行うシステムに読み込むなどする必要がある。或いはまた、電子メールやチャットなどを実現するアプリケーションソフトを用いて、ライブ配信を行うシステムと同時進行させた形で意見や主張を交換する必要がある。
【0011】
しかしながら、上述のような手法により視聴者側との間で意見や主張を交換してライブ配信を行う場合には、関連性が希薄な複数のアプリケーションソフトを操作する必要があり、操作が煩雑なものとなるといった問題があった。また、ライブ配信される動画像とチャットの内容との関連性が薄くなることを避けることができず、動画像の発信者側と視聴者側との間で意見や主張の交換をスムーズに行うことが困難となってしまう。さらには、ライブ配信された動画像を記録しておいても、この動画像だけではひとつの番組として成立しないといった問題があった。
【0012】
そこで本発明は、上述した従来の実情に鑑みてなされたものであり、視聴者側から提供された動画像、静止画像、或いはテキスト等のコンテンツを、発信者側で自在に利用することが可能な送信装置、送信方法、コンテンツ配信システム、コンテンツ配信方法、及びプログラムを提供することを目的とする。
【0013】
【課題を解決するための手段】
本発明に係る送信装置は、コンテンツを配信するサーバ装置と前記サーバ装置から配信されるコンテンツを受信する複数の視聴装置とにネットワークを介して接続された送信装置であって、前記ネットワークを介して他の装置と通信を行う通信手段と、前記サーバ装置を介して前記視聴装置に配信されるコンテンツを生成する制御手段と、を具備し、前記制御手段は、前記視聴装置に前記サーバ装置を介して配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得する処理と、前記視聴装置に前記サーバ装置を介して配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から、前記通信手段を介して直接取得する処理と、前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成する処理と、前記送信コンテンツを前記通信手段を介して前記サーバ装置に送信する処理とを実行するように構成されている。
【0014】
また、本発明に係る送信方法は、コンテンツを配信するサーバ装置を介して複数の視聴装置にコンテンツを配信する送信装置が、前記視聴装置に前記サーバ装置を介して配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得し、前記視聴装置に前記サーバ装置を介して配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から直接取得し、前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成し、前記送信コンテンツを前記サーバ装置に送信するステップを含む。
【0015】
また、本発明に係るプログラムは、コンテンツを配信するサーバ装置と前記サーバ装置から配信されるコンテンツを受信する複数の視聴装置とにネットワークを介して接続された装置にコンテンツの送信処理を実行させるプログラムであって、前記サーバ装置を介して前記視聴装置に配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得する制御を行う処理と、前記サーバ装置を介して前記視聴装置に配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から直接取得する制御を行う処理と、前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成する制御を行う処理と、前記送信コンテンツを前記サーバ装置に送信する制御を行う処理とを実行させる。
【0016】
また、本発明に係るコンテンツ配信装置は、複数の視聴装置とネットワークを介して接続されたコンテンツ配信装置であって、前記複数の視聴装置にコンテンツを配信する配信手段と、前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段とを具備し、前記生成手段は、前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得する処理と、前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得する処理と、前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成する処理とを実行し、前記配信手段は、前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信する処理を実行する。
【0017】
また、本発明に係るコンテンツ配信方法は、複数の視聴装置にコンテンツを配信する配信手段と、前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段とを有するコンテンツ配信装置が、前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得し、前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得し、前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成し、前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信するステップを含む。
【0018】
また、本発明に係るプログラムは、複数の視聴装置にコンテンツを配信する配信手段と、前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段とを有するコンテンツ配信装置に、コンテンツの配信処理を実行させるプログラムであって、前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得する処理と、前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得する処理と、前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成する処理と、前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信する処理とを実行させるように構成されている。
【0019】
本発明の送信装置及び送信方法によれば、発信するコンテンツに複数の視聴装置から送出されたコンテンツを挿入し、このコンテンツを配信することができる。したがって、視聴装置から提供された動画像、静止画像、或いはテキスト等のコンテンツを、当該送信装置で自在に利用してコンテンツの配信を行うことができる。このため、配信されたコンテンツの視聴側と発信側との間で、意見や主張を極めてスムーズに交換することができる。また、本発明のコンテンツ配信システム及びコンテンツ配信方法では、他の装置から送信装置に対して、コンテンツを直接送出している。したがって、配信されるコンテンツに挿入されるコンテンツの授受を極めてスムーズに行うことができる。本発明のプログラムでは、上述の如きコンテンツの授受を当該プログラムが処理される装置において円滑に実行させることができる。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。本発明は、コンピュータネットワークに接続された複数のコンピュータ装置とサーバ装置とを利用して、送信装置の一例となるコンピュータ装置などにより生成したコンテンツを、サーバ装置を介して視聴装置の例であるコンピュータ装置などに配信する場合に適用して好適なものである。そこで、以下では先ず、このようにしてコンテンツの配信を行う基本的なシステムの構成について概略的に説明する。
【0021】
(1)コンテンツ配信システムの基本構成
本例で説明するコンテンツ配信システム1は、例えば図1に示すように、デジタルビデオカメラ(Digital Video Camera:DVカメラ)が搭載又は接続されたパーソナルコンピュータ装置などからなるユーザ端末10によって撮影して得られた映像データや音声データ、又はユーザ端末10に備え付けられたキーボードなどの入力装置から入力されたテキストデータ等のコンテンツを、インターネット(The Internet)11などのコンピュータネットワークを介して、複数のクライアント端末12a,12b,12c,・・・に対してライブ配信を行うものである。
【0022】
ここで、ユーザ端末10やクライアント端末12a,12b,12c,・・・は、パーソナルコンピュータ装置、PDA(Personal Digital Assistants)機器、通信機能が搭載された携帯電話などである。また、配信するコンテンツは、ユーザ端末10に格納されている予め編集が行われた映像データ、音声データ、テキストデータなどであってもよい。
【0023】
このコンテンツ配信システム1において、ユーザ端末10は、複数のウィンドウを同時に表示画面に表示する機能であるマルチウィンドウ機能が搭載されるものである。特に、ユーザ端末10は、コンテンツの配信を行う際に実行するアプリケーション・プログラムの各機能毎に表示画面に表示される、主画面としてのウィンドウと、ユーザによる各種設定を行うための設定画面としてのウィンドウとをシームレスに移行させることにより、主画面と設定画面との関連を明確化し、わかりやすいユーザ・インターフェースをユーザに対して提供することができるものである。より具体的には、ユーザ端末10は、表示画面上での各種機能の分担を表すために、各機能毎の主画面を表示画面上で縦方向に分割したパネルウィンドウという概念を導入することにより、容易な操作のもとでのパーソナルキャスティングサービスの実現に寄与するものである。
【0024】
以下では、このようなユーザ端末10の詳細な説明に先だって、コンテンツ配信システム1の基本的な全体構成について説明する。
【0025】
コンテンツ配信システム1は、図1に示すように、コンテンツを配信するユーザ端末10と、このユーザ端末10によって配信されたコンテンツを受信して視聴する複数のクライアント端末12a,12b,12c,・・・と、後述するストリーミング配信サーバ13によるコンテンツの配信機能をユーザ端末10が使用するための予約情報を管理するサーバ使用予約管理センタ14と、ユーザ端末10によって配信されたコンテンツを複数のクライアント端末12a,12b,12c,・・・に対して配信するストリーミング配信サーバ13とを備える。
【0026】
ユーザ端末10は、デジタルビデオカメラが搭載又は接続されており、このデジタルビデオカメラによって撮影された映像データや音声データを所定の符号化フォーマットに基づいてリアルタイムに圧縮しながら送信する。また、ユーザ端末10は、例えばハードディスク等の記録装置に記録されている編集済みの映像データや音声データを送信することもできる。
【0027】
具体的には、ユーザ端末10は、図示しないISP(Internet Service Provider)や、例えば電話回線網15a、ケーブルテレビ網15b又はADSL(Asymmetric Digital Subscriber Line)網15cからなる公衆回線網15を介してインターネット11に接続可能な環境とされている。このとき、ユーザ端末10は、インターネット11に接続可能な環境であれば、有線又は無線の別を問わない。例えば、ユーザ端末10は、いわゆる簡易型携帯電話(Personal Handyphone System;以下、PHSという。)等を介して、インターネット11に接続する構成とされていてもよい。
【0028】
ユーザ端末10は、コンテンツの送信に先立って、サーバ使用予約管理センタ14に対して、コンテンツの配信を予約する必要がある。ユーザ端末10は、公衆回線網15及びインターネット11を介してサーバ使用予約管理センタ14にアクセスし、ストリーミング配信サーバ13によるコンテンツのストリーミング配信機能の使用を希望する日時や視聴者の定員数、及び視聴者パスワードといった所定の予約情報を登録することによって予約を行う。
【0029】
そして、ユーザ端末10は、予約が受け付けられた後に、公衆回線網15及びインターネット11を介してコンテンツをストリーミング配信サーバ13に対して送信する。また、ユーザ端末10は、例えば、公衆回線網15を介してサーバ接続専用ネットワーク16のアクセスポートにPPP(Point to Point Protocol)接続を行うことにより、ストリーミング配信サーバ13との伝送路を確立し、この伝送路を介してコンテンツをストリーミング配信サーバ13に対して送信することもできる。さらに、ユーザ端末10は、送信したコンテンツを、必要に応じて、ハードディスク等の記録装置に記録しておくこともできる。
【0030】
クライアント端末12a,12b,12c,・・・は、それぞれ、パーソナルコンピュータや携帯型情報端末等のインターネット11に接続可能な環境とされた情報処理装置である。クライアント端末12a,12b,12c,・・・は、それぞれ、視聴者パスワード等の所定の情報を入力することにより、コンテンツ配信システム1に視聴端末として参入することができるものである。クライアント端末12a,12b,12c,・・・は、それぞれ、ユーザ端末10によって予約登録されたコンテンツの配信開始日時になると、ストリーミング配信サーバ13からインターネット11を介してコンテンツが配信され、配信されたコンテンツを受信する。そして、クライアント端末12a,12b,12c,・・・は、それぞれ、受信したコンテンツをリアルタイムにデコードし、表示画面やスピーカ等を介して出力する。
【0031】
サーバ使用予約管理センタ14は、ストリーミング配信サーバ13によるコンテンツのストリーミング配信機能をユーザ端末10が使用するための予約情報を管理する。サーバ使用予約管理センタ14は、ユーザ端末10によって所定の予約情報が登録されると、このユーザ端末10によるストリーミング配信サーバ13の使用を予約する。また、サーバ使用予約管理センタ14は、専用回線17を介してストリーミング配信サーバ13と接続されており、ユーザ端末10やクライアント端末12a,12b,12c,・・・に対する認証処理の際に、この専用回線17を介してストリーミング配信サーバ13との間で相互に認証データの授受を行う。
【0032】
ストリーミング配信サーバ13は、ユーザ端末10からインターネット11又はサーバ接続専用ネットワーク16を介して送信されたコンテンツを受信し、インターネット11を介して複数のクライアント端末12a,12b,12c,・・・に対してストリーミング配信する。このとき、ストリーミング配信サーバ13は、専用回線17を介してサーバ使用予約管理センタ14と接続されており、ユーザ端末10やクライアント端末12a,12b,12c,・・・に対する認証処理の際に、この専用回線17を介してサーバ使用予約管理センタ14との間で相互に認証データの授受を行う。ストリーミング配信サーバ13は、ユーザ端末10によって予約登録されたコンテンツの配信開始日時になると、ユーザ端末10からインターネット11又はサーバ接続専用ネットワーク16を介して送信されたコンテンツを受信して図示しないバッファに記憶しつつ、このコンテンツをバッファから読み出し、配信要求のあったクライアント端末12a,12b,12c,・・・に対して配信する。
【0033】
このようなコンテンツ配信システム1においては、コンテンツの配信者となるユーザがユーザ端末10を介してサーバ使用予約管理センタ14にアクセスし、上述した予約情報を登録することによって、コンテンツのライブ配信が予約される。
【0034】
具体的には、コンテンツ配信システム1においては、ユーザ端末10における表示画面に当該コンテンツ配信システム1のサービスを提供するウェブサイトのWWW(World Wide Web)ブラウジング用のウィンドウを表示させ、ユーザがユーザ端末10を介して当該コンテンツ配信システム1にユーザ登録を行い、与えられたユーザID(IDentification)とパスワードとを入力してログインする。これにより、ユーザ端末10における表示画面には、コンテンツの配信の予約を行うための所定のウィンドウが表示される。
【0035】
そして、ユーザ端末10における表示画面に表示されたウィンドウを介してユーザが所定の予約情報を入力し、クレジットカード番号などを入力することによって本人確認が成功すると、指定した日時でのコンテンツのライブ配信が予約される。コンテンツ配信システム1においては、ライブ配信の予約が受け付けられると、予約設定ファイルがサーバ使用予約管理センタ14からユーザ端末10に対してダウンロードされる。この予約設定ファイルには、設定した予約情報の他、ライブ配信を行うストリーミング配信サーバ13のIP(Internet Protocol)アドレス及びポート、ユーザID、パスワード等が記載されているものである。
【0036】
コンテンツ配信システム1においては、ユーザ端末10によって後述するライブ配信アプリケーション・プログラムを実行してこれらの情報を自動的に読み込むことにより、ユーザによる煩雑な設定作業を要さずにライブ配信を行うことが可能となる。
【0037】
続いて、コンテンツ配信システム1においては、ユーザ端末10からサーバ使用予約管理センタ14に対して、予約したライブ配信を実際に行うか否かの予約確認を配信開始日時の所定時間前、例えば3時間程度前までに行う。具体的には、コンテンツ配信システム1においては、ユーザ端末10が表示画面にサーバ使用予約管理センタ14へのアクセスを行うためのWWWブラウジング用のウィンドウを表示し、このウィンドウを介してユーザが所定の情報を入力することにより、予約確認が行われる。コンテンツ配信システム1においては、これに応じて予約確定が行われる。なお、コンテンツ配信システム1において、ユーザは、コンテンツを視聴してほしいクライアントに対して、視聴者パスワードといったコンテンツを視聴するために必要な情報を配信開始日時までに予め連絡しておく必要がある。
【0038】
そして、コンテンツ配信システム1において、ユーザ端末10は、配信開始日時の所定時間前、例えば5分程度前までに、ストリーミング配信サーバ13との接続を行い、配信開始日時になると、ユーザ端末10に搭載又は接続されたデジタルビデオカメラによる撮影と同時に、映像データや音声データが所定の符号化フォーマットに基づいてリアルタイムに圧縮されながら、ストリーミング配信サーバ13に対して送信される。コンテンツ配信システム1において、視聴者となるクライアントは、視聴者パスワード等の所定の情報を入力することにより、クライアント端末12a,12b,12c,・・・を介してコンテンツを受信し視聴することができる。
【0039】
このように、コンテンツ配信システム1は、ユーザ端末10によって撮影して得られた映像データや音声データ、ユーザ端末10に格納されている予め編集済みの映像データや音声データ、或いは、ユーザ端末10の入力装置を用いて入力されたテキストデータなどからなるコンテンツを、インターネット11を介して、クライアント端末12a,12b,12c,・・・に対してライブ配信する。すなわち、いわば個人ユーザが複数の視聴者に向けてコンテンツをライブ配信するパーソナルキャスティングサービスを実現することができる。
【0040】
なお、コンテンツ配信システム1においては、ユーザ端末10によって上述したライブ配信の予約及び設定を行った後、実際の配信を開始する前に、番組に必要となるエフェクト類、及びユーザ端末10のハードディスク等に記録されたアーカイブファイル類を予め設定し、登録することができる。このとき、ユーザ端末10は、所定のガイド機能を用いて各種設定を行うことができる。また、コンテンツ配信システム1においては、予約された時間以外では、ユーザ端末10によってハードディスク等の記録装置に対してライブ配信を行うコンテンツの試し撮りを行うことができる。このとき、ユーザ端末10は、実際の配信時と同様に、コンテンツに対して各種エフェクトを施したり、入力ソースとして選択可能なデジタルビデオカメラによって撮影されて得られた映像データや音声データとハードディスクに記録されている映像データや音声データとの切り替え(スイッチング)を行うことができる。
【0041】
そして、コンテンツ配信システム1においては、ユーザ端末10とストリーミング配信サーバ13との接続が確立されてコンテンツがライブ配信されている状態で、ユーザ端末10によってエフェクト操作やファイル切り替え操作等を行うと、この操作に応じて、配信されるストリームにもこれらの操作が反映され、最終的にクライアント端末12a,12b,12c,・・・における表示画面にも反映される。
【0042】
コンテンツ配信システム1においては、配信終了時間になると、自動的にコンテンツの配信が終了し、クライアント端末12a,12b,12c,・・・における表示画面上でも番組が終了する。コンテンツ配信システム1においては、配信を終えたコンテンツに関する情報がアルバム形式でユーザ端末10におけるハードディスク等の記録装置に記録され、ユーザ端末10によって配信履歴の詳細や配信したコンテンツを再生して閲覧することができる。
【0043】
(2)ユーザ端末の構成
つぎに、以下では、このようなコンテンツ配信システム1を構成するユーザ端末10の構成について説明する。なお、以下では、説明の便宜上、デジタルビデオカメラが搭載されたユーザ端末10について説明するものとする。ただし、ユーザ端末10は、外部機器として構成されたデジタルビデオカメラが有線又は無線により接続されていてもよいし、例えばユーザ端末10が接続されたLAN(Local Area Network)等のコンピュータネットワークに対して直接接続可能とされたデジタルビデオカメラを用いて、このデジタルビデオカメラにより撮像された画像データや音声データがコンピュータネットワークを介してユーザ端末10に取り込まれる構成とされていてもよい。
【0044】
ユーザ端末10は、図2に示すように、各種演算処理を実行するとともに各部を統括して制御するCPU(Central Processing Unit)20と、このCPU20のワークエリアとして機能するRAM(Random Access Memory)21と、CPU20によって実行される各種プログラムを含む情報を格納する読み取り専用のROM(Read Only Memory)22と、CPU20によって実行されるオペレーティング・システム(Operating System)やアプリケーション・プログラム等の各種プログラムが記録され、配信するコンテンツなどの各種データ等の記録再生が行われるHDD(Hard Disk Drive)23と、各種情報を表示する表示部24と、この表示部24とCPU20との間でのデータの授受を行うための表示用インターフェース25と、ユーザによって各種情報や指示操作を入力するための操作部26と、この操作部26とCPU20との間でのデータの授受を行うための操作用インターフェース27と、上述した公衆回線網15を介してインターネット11又はサーバ接続専用ネットワーク16に接続された外部装置との間でデータの授受を行うためのネットワークインターフェース28と、被写体を撮影して映像データや音声データを得るデジタルビデオカメラ29と、いわゆるMPEG2(Moving Picture Experts Group phase 2)方式に基づく圧縮符号化及び復号を行うMPEG2コーデック30とを備える。
【0045】
ユーザ端末10は、これらの各部のうち、CPU20、RAM21、ROM22、HDD23、表示用インターフェース25、操作用インターフェース27、ネットワークインターフェース28、デジタルビデオカメラ29、及びMPEG2コーデック30がバス31を介して接続されて構成される。
【0046】
なお、ユーザ端末10におけるデジタルビデオカメラ29は、ユーザ端末10に搭載されずに、例えば外部機器接続用の所定のインターフェースや、ネットワークインターフェース28などを介してバス31に接続されてもよい。また、ユーザ端末10は、必要に応じて、例えば着脱自在とされる記録媒体に対する記録再生を行うリムーバブル型の記録再生装置などがHDD23の他に搭載又は接続され、この記録再生装置に対する各種データの記録再生が可能とされていてもよい。
【0047】
CPU20は、バス31を介して、RAM21、ROM22、HDD23、表示用インターフェース25、操作用インターフェース27、ネットワークインターフェース28、デジタルビデオカメラ29、及びMPEG2コーデック30と接続されている。CPU20は、各部を統括的に制御するとともに、HDD23等に記録されているオペレーティング・システムや各種アプリケーション・プログラムを実行する。特に、CPU20は、サーバ使用予約管理センタ14に対するコンテンツの配信の予約や、ストリーミング配信サーバ13に対するコンテンツの送信、さらには、送信したコンテンツのHDD23に対する記録に関する処理及び制御を行う。
【0048】
RAM21は、CPU20が各種プログラムを実行する際のワークエリアとして機能し、CPU20の制御のもとに、各種データを一時記憶する。
【0049】
ROM22は、ユーザ端末10の起動に必要となる各種プログラムや設定情報などを格納している。このROM22に格納されている各種プログラムや設定情報は、ユーザ端末10の起動時に読み出され、CPU20によって利用される。
【0050】
HDD23は、CPU20の制御のもとに、オペレーティング・システムやアプリケーション・プログラム等の各種プログラムやデータ等の記録再生を行う。また、HDD23には、送信したコンテンツが記録される。また、HDD23は、予め編集済みのコンテンツを記録しておくこともでき、CPU20の制御のもとに、このコンテンツを配信時に読み出すことも可能とされている。
【0051】
表示部24は、例えばLCD(Liquid Crystal Display)からなり、CPU20の制御のもとに、HDD23に記録されているデータ等の各種情報を表示画面に表示する。特に、表示部24は、CPU20の制御のもとに、サーバ使用予約管理センタ14及びストリーミング配信サーバ13へのアクセスを行うためのWWWブラウジング用のウィンドウや、送信するコンテンツに対する加工処理を含む各種処理を行うための各種アプリケーション・プログラムを実行するための所定のウィンドウといった所定のグラフィカル・ユーザ・インターフェースを表示画面に表示する。
【0052】
表示用インターフェース25は、CPU20と表示部24との間でのデータの授受を行う。すなわち、表示用インターフェース25は、CPU20からバス31を介して供給された各種情報を表示部24に供給する。
【0053】
操作部26は、例えば、キーボード、マウス等のポインティングデバイス、或いはいわゆるジョグダイヤル等回転操作式スイッチなどによるユーザ・インターフェースを用いたユーザによる操作を受け付け、操作内容を示す制御信号を操作用インターフェース27を介してCPU20に供給する。
【0054】
操作用インターフェース27は、CPU20と操作部26との間でのデータの授受を行う。すなわち、操作用インターフェース27は、操作部26から供給された制御信号をバス31を介してCPU20に供給する。
【0055】
ネットワークインターフェース28は、CPU20の制御のもとに、外部との通信を行うインターフェースとして機能する。すなわち、ネットワークインターフェース28は、公衆回線網15を介してインターネット11又はサーバ接続専用ネットワーク16に接続された外部装置とユーザ端末10との間でデータの授受を行うために設けられるものである。特に、ネットワークインターフェース28は、CPU20の制御のもとに、コンテンツを外部へと送信するとともに、上述した予約情報や予約ID等の各種情報の送受信を行う。
【0056】
デジタルビデオカメラ29は、被写体を撮影するための所定の光学系や、CCD(Charge Coupled Devices)等の光電変換用のデバイス等からなる。デジタルビデオカメラ29によって撮影されて得られた映像データや音声データは、CPU20の制御のもとに、バス31を介してMPEG2コーデック30に供給される。
【0057】
MPEG2コーデック30は、バス31を介してデジタルビデオカメラ29から供給された映像データや音声データを、CPU20の制御のもとに、MPEG2方式に基づく圧縮符号化を行う。このとき、MPEG2コーデック30は、CPU20の制御のもとに、映像データや音声データをリアルタイムに圧縮符号化する。また、MPEG2コーデック30は、MPEG2方式に基づいて圧縮符号化されたデータを復号することもできる。
【0058】
(3)ライブ配信アプリケーション・プログラム
つぎに以下では、上述したようなユーザ端末10により実行されるライブ配信アプリケーション・プログラムについて説明する。ライブ配信アプリケーション・プログラムは、それぞれ個別の機能を実現する複数のモジュールを組み合わせ自在とされた一連のプログラム群によって構成されており、例えばユーザ端末10のHDD23に記録されている。ユーザ端末10は、このライブ配信アプリケーション・プログラムをCPU20によって実行することにより、コンテンツのライブ配信を行う。なお、ライブ配信アプリケーション・プログラムは、例えばいわゆるコンパクトディスク(Compact Disc)等の所定の記録媒体やインターネット等の伝送媒体によっても提供され得るものである。
【0059】
このライブ配信アプリケーション・プログラムを実行することにより、ユーザ端末10の表示部24には、例えば図3に示すようなウィンドウが表示される。
【0060】
このウィンドウは、図3に示すように、ライブ配信アプリケーション・プログラムの基幹をなすメインモジュールが作成するメインウィンドウ50上に、メインモジュールによって作成されたガイダンスバー51及びステータスバー52と、各機能モジュールがそれぞれ作成する複数のパネルウィンドウ53a,53b,53c,53d,53eとが配置された構成とされている。
【0061】
メインウィンドウ50は、横長の短冊状のガイダンスバー51が上部に配置されるとともに、横長の短冊状のステータスバー52が下部に配置され、これらガイダンスバー51とステータスバー52とに上下を挟まれるような形態で、各機能に対応して縦方向に分割された複数のパネルウィンドウ53a,53b,53c,53d,53eが並設されて表示部24に表示される。ここで、各パネルウィンドウ53a,53b,53c,53d,53eは、それぞれ、独立した1つのウィンドウとして実装されるものである。
【0062】
なお、図3においては、パネルウィンドウとして、音声に関する操作を行うためのサウンドパネルウィンドウ53a、入力ソースとして選択可能なデジタルビデオカメラ29によって撮影して得られた映像データに関する操作を行うためのカメラ入力パネルウィンドウ53b、ライブ配信しているコンテンツに関する操作を行うためのメインモニタパネルウィンドウ53c、入力ソースとして選択可能なHDD23に記録されている映像データに関する操作を行うためのファイル入力パネルウィンドウ53d、及び配信するコンテンツに対して施すエフェクトに関する操作を行うためのエフェクトパネルウィンドウ53eが表示されている様子を示している。
【0063】
ガイダンスバー51は、各種の操作を指示入力するための複数のボタンを実装する。ユーザは、ガイダンスバー51に表示されたボタンをマウスでクリック操作することなどによって、ライブ配信アプリケーション・プログラムに対する各種の操作を行うことができる。
【0064】
ステータスバー52は、例えば上述したPHSを用いてインターネット11に接続した場合における電波状態、上述したPPP接続を行った場合における接続状態、ユーザ端末10に搭載されたバッテリーの残量状態、或いはHDD23の残り容量状態等を表示する領域を実装する。
【0065】
サウンドパネルウィンドウ53aは、ライブ配信を行っている際にバッググラウンドミュージックとして流すべく登録されたwavファイル等の音声・音楽データのリストを示すための複数のアイコン53a1、これらのアイコンを選択するボタン53a2、及び選択したアイコンに対応する音声・音楽データを再生又は停止するためのボタン53a3等を実装する。なお、このサウンドパネルウィンドウ53aにおいては、他の音声・音楽データを自在にリストに追加したり、或いはリストに登録された音声・音楽データを削除することが可能とされている。
【0066】
カメラ入力パネルウィンドウ53bは、入力ソースとして選択可能なデジタルビデオカメラ29によって撮影して得られた映像データをプレビューするためのプレビュー画像を表示するプレビュー領域53b1、入力ソースをデジタルビデオカメラ29によって撮影して得られた映像データに設定するためのボタン53b2、デジタルビデオカメラ29によって撮影して得られた音声データを、入力ソースとして選択可能なHDD23に記録されている映像データに対して合成する、いわゆるアフレコを施すためのボタン53b3、及びデジタルビデオカメラ29の設定用アプリケーション・プログラムを起動するためのボタン53b4等を実装する。
【0067】
メインモニタパネルウィンドウ53cは、ライブ配信するコンテンツをプレビューするためのプレビュー領域53c1、試し撮りや実際の配信を開始するためのボタン53c2、コンテンツの再生や配信を一時停止するためのボタン53c3、音声データに対してミュート処理を施すためのボタン53c4、及び配信経過時間や残り時間等を表示する時間表示領域53c5等を実装する。
【0068】
ファイル入力パネルウィンドウ53dは、入力ソースとして選択可能なHDD23に記録されている映像データのリストを示すためのサムネイル画像を表示するサムネイル領域53d1、映像データをプレビューするためのプレビュー画像を表示するプレビュー領域53d2、リストとしてのサムネイル画像を選択するためのボタン53d3、及び選択したサムネイル画像に対応する映像データを再生又は停止するためのボタン53d4等を実装する。
【0069】
エフェクトパネルウィンドウ53eは、ライブ配信しているコンテンツに対して施す各種エフェクト素材のリストを示すためのサムネイル画像を表示するサムネイル領域53e1、これらのサムネイル画像を選択するボタン53e2、及び選択したサムネイル画像に対応するエフェクトを実行又は解除するためのボタン53e3、映像データにエフェクトとしてリアルタイムにテロップ表示される文字列を入力するボックス53e4等を実装する。なお、このエフェクトパネルウィンドウ53eにおいては、他のエフェクト素材をリストに追加したり、リストに登録されたエフェクト素材を削除することも可能とされている。
【0070】
このように、ユーザ端末10は、各種機能の分担を表すために、各機能に対応するパネルウィンドウ53a,53b,53c,53d,53eを縦方向に分割して表示部24に表示する。これにより、ユーザは、機能毎の操作と必要なボタン類との対応を直感的且つ容易に図ることができる。例えば、ユーザは、エフェクトに関する処理を行う場合には、エフェクトパネルウィンドウ53eのみに着目すればよい。
【0071】
ユーザ端末10は、上述したライブ配信アプリケーション・プログラムを用いて、映像データ、音声データ、或いはテキストデータなどを自在に組み合わせて、配信するコンテンツを作成することができる。そして、作成されたコンテンツは、インターネット11又はサーバ接続専用ネットワーク16を介してストリーミング配信サーバ13に送出され、このストリーミング配信サーバ13からクライアント端末12a,12b,12cに対して配信される。
【0072】
(4)視聴側からコンテンツを取得するコンテンツ配信システム
つぎに以下では、上述したコンテンツ配信システム1の基本構成に基づいて、ユーザ端末10が視聴側であるクライアント端末からコンテンツを直接取得し、この取得したコンテンツを利用してライブ配信を行う場合について、図4を参照しながら説明する。
【0073】
なお、図4においては、デジタルビデオカメラ(DVカメラ)29がユーザ端末10に対して外部装置として構成され、このDVカメラ29がユーザ端末10に接続された場合について図示している。
【0074】
コンテンツ配信システム1では、上述したように、ユーザ端末10によりライブ配信を行うに際して、ユーザ端末10上で実行されたライブ配信アプリケーション・プログラムにより作成されたコンテンツが、図4中矢印A1で示すように、このユーザ端末10からストリーミング配信サーバ13に対してインターネット11を介して送出される。そして、ストリーミング配信サーバ13からは、図中矢印A2に示すように、複数のクライアント端末12に対してコンテンツが配信される。
【0075】
ここで、ユーザ端末10には、上述したライブ配信アプリケーション・プログラムの他に、クライアント端末から送出されたコンテンツを取得して利用するためのコミュニケーション用アプリケーション・プログラムが実行される。
【0076】
このコミュニケーション用アプリケーション・プログラムは、ライブ配信アプリケーション・プログラムと同様に、例えばユーザ端末10のHDD23に記録されている。ユーザ端末10は、このコミュニケーション用アプリケーション・プログラムをCPU20によって実行することにより、クライアント端末から送出されたコンテンツを取得して利用することができる。なお、コミュニケーション用アプリケーション・プログラムは、例えばいわゆるコンパクトディスク(Compact Disc)等の所定の記録媒体やインターネット等の伝送媒体によっても提供され得るものである。
【0077】
また、コミュニケーション用アプリケーション・プログラムは、後述するように、上述したライブ配信アプリケーション・プログラムと密接に連携して動作するものである。なお、コミュニケーション用アプリケーション・プログラムは、ライブ配信アプリケーション・プログラムとは独立して、単独でも実行可能とされていてもよい。
【0078】
一方、コンテンツ配信システム1において、クライアント端末12は、ストリーミング配信サーバ13から配信されるコンテンツの視聴専用として用いられるものと、ライブ配信を行うユーザ端末10に対してコンテンツを送出することが可能とされたものとに大別することができる。
【0079】
視聴専用に用いられるクライアント端末12は、例えばWebブラウザ等のように、配信されたコンテンツを視聴するためのアプリケーション・プログラムが少なくとも実行可能とされていればよい。
【0080】
また、コンテンツの送出が可能とされたクライアント端末12は、図4に示すように、ユーザ端末10と同様にしてDVカメラ29が搭載又は接続自在とされている。また、このクライアント端末12では、配信されたコンテンツを視聴するためのアプリケーション・プログラム(例えばWebブラウザ)の他に、ユーザ端末10に対してコンテンツを送出するためのコミュニケーション用アプリケーション・プログラムが少なくとも実行可能とされている。
【0081】
そして、コンテンツの送出が可能とされたクライアント端末12において、DVカメラ29によって撮影された映像データや音声データ、或いは、このクライアント端末12の入力機器により入力されたテキストデータなどのコンテンツは、図4中矢印A3に示すように、ストリーミング配信サーバ13を介さずに、インターネット11を介して直接ユーザ端末10に送出される。
【0082】
コンテンツ配信システム1において、クライアント端末12からユーザ端末10に対してコンテンツを直接送出するに際しては、以下で説明するような手法によって実現される。
【0083】
すなわち、ユーザ端末10からは、ライブ配信するコンテンツとともに、このユーザ端末10をインターネット11上で特定するための発信者特定情報がストリーミング配信サーバ13に送出される。そして、ストリーミング配信サーバ13からは、コンテンツと発信者特定情報とが各クライアント端末12に対して送出される。
【0084】
この発信者特定情報としては、例えばユーザ端末10に割り当てられているネットワーク上でユニークな情報、例えばIPアドレスや、このユーザ端末10においてコミュニケーション用アプリケーション・プログラムがクライアント端末12からコンテンツを受信するために使用するポート番号などを含むものである。
【0085】
そして、コンテンツをユーザ端末10に対して送出するクライアント端末12は、ストリーミング配信サーバ13からコンテンツとともに配信された発信者特定情報に基づいて、インターネット11上でユーザ端末10を特定し、このユーザ端末10とネットワーク上でコンテンツを送受信するための接続(セッション)を確立する。クライアント端末12は、ユーザ端末10に対してストリーミング配信サーバ13を介さずに、いわゆるピア・ツー・ピア(Peer To Peer)で、直接コンテンツを送出する。すなわち、クライアント端末12は、ネットワーク上で、特定のサーバ宛てにコンテンツを送信するのではなく、ユーザ端末10宛てにコンテンツを送信する。
【0086】
コンテンツ配信システム1においては、上述のようにして、クライアント端末12が発信者特定情報に基づいて、ストリーミング配信サーバ13等の特定のサーバ装置を介することなく、ユーザ端末10に対して直接コンテンツを送出していることから、サーバ装置における負荷を考慮することなく、クライアント端末12とユーザ端末10との間で極めてスムーズにコンテンツの授受を行うことが可能とされている。
【0087】
(5)クライアント端末及びユーザ端末間でのコンテンツ授受の実際
ここで、上述したようにしてクライアント端末12から送出されたコンテンツをユーザ端末10が取得し、このコンテンツを利用してライブ配信を行う場合について具体的に説明する。
【0088】
ユーザ端末10において、先に説明したライブ配信アプリケーション・プログラムを実行中に、クライアント端末12から送出されたコンテンツを利用する場合には、図3に示したメインウィンドウ50のガイダンスバー51に表示されたコミュニケーション用アプリケーション・プログラムの起動用ボタン51aを選択する。
【0089】
これにより、ユーザ端末10では、ライブ配信アプリケーション・プログラムと連係動作するコミュニケーション用アプリケーション・プログラムが起動し、図5に示すように、ライブ配信アプリケーション・プログラムのメインウィンドウ50の下部に、コミュニケーション用アプリケーション・プログラムにより作成されたコミュニケーション用ウィンドウ70が表示される。
【0090】
なお、メインウィンドウ50のガイダンスバー51に表示されるコミュニケーション用アプリケーション・プログラムの起動用ボタン51aは、クライアント端末12側からコンテンツの送出が行われている場合にのみ選択可能な状態となり、クライアント端末12側からコンテンツの送出が行われていない場合には、選択不能な状態で表示されるとしてもよい。
【0091】
このコミュニケーション用ウィンドウ70は、図5に示すように、各クライアント端末12のDVカメラ29によって撮像され、ユーザ端末10に送出された画像をそれぞれ表示するプレビュー領域71が配置されている。このプレビュー領域71に表示される画像は、クライアント端末12のDVカメラ29によって撮像されてユーザ端末10に対して送出された映像であり、動画像であってもよいし、静止画像であってもよい。
【0092】
なお、このプレビュー領域71に表示する画像としては、例えば、各クライアント端末12の操作者の顔などをDVカメラ29によって撮像した画像が用いられる。また、クライアント端末12からは、DVカメラ29によって撮像した映像をユーザ端末10に対して送出することに限定されるものではなく、例えば、予めDVカメラ29によって撮影して記録しておいた映像データ、各種の画像作成アプリケーション・プログラムによって作成した画像データ、或いは、後述するクライアント端末12側で実行されるコミュニケーション用アプリケーション・プログラムに予め用意された画像データなどであってもよい。
【0093】
また、コミュニケーション用ウィンドウ70は、プレビュー領域71の下部に、このプレビュー領域71に表示された各画像(すなわちクライアント端末12から送出された画像)をライブ配信する映像に挿入することを選択するための挿入開始ボタン72と、ライブ配信する映像にクライアント端末12から送出された画像を挿入することを停止する挿入停止ボタン73と、コミュニケーション用アプリケーション・プログラムに関するヘルプ情報を参照するためのヘルプ参照ボタン74と、コミュニケーション用アプリケーション・プログラムを終了するための終了ボタン75とが配置されている。
【0094】
ここで、図5に示す状態においては、ライブ配信アプリケーション・プログラムのメインウィンドウ50におけるカメラ入力パネルウィンドウ53bのプレビュー領域53b1に、ユーザ端末10のDVカメラ29によって撮影されている画像が表示されており、この画像がライブ配信されることを選択されて、メインモニタパネルウィンドウ53cのプレビュー領域53c1にも表示されている。したがって、図5に示す状態においては、このプレビュー領域53c1に表示された映像が、ユーザ端末10からストリーミング配信サーバ13に送出され、ライブ配信されている。
【0095】
なお、このときプレビュー領域53c1に表示される映像としては、例えば、ユーザ端末10のDVカメラ29によって撮影されたユーザ端末10の操作者、すなわち、ライブ配信される番組の発信者の顔などの映像である。
【0096】
このとき、コンテンツ配信システム1において、各クライアント端末12では、Webブラウザが起動されており、図6に示すように、このWebブラウザによって作成されたウィンドウ80が表示画面上に表示されている。そして、クライアント端末12におけるWebブラウザは、ストリーミング配信サーバ13から配信されるコンテンツを受信しており、このストリーミング配信サーバ13から取得したHTML(Hyper Text Mark-up Language)ファイルに基づいて、所定の内容をウィンドウ80内に表示している。
【0097】
ここで、Webブラウザには、ストリーミング配信サーバ13から配信される動画像や静止画像、及び音声データなどのコンテンツを表示/再生することが可能な所定のプラグイン・プログラムが実装されており、このプラグイン・プログラムによって作成されたコンテンツ表示領域81が、Webブラウザによって作成されたウィンドウ80内の所定の位置に表示される。
【0098】
このように、配信されたコンテンツがWebブラウザのウィンドウ80内に表示される構成とされていることによって、ライブ配信される番組を視聴するために専用のアプリケーション・プログラムを用意することが不要となる。また、Webブラウザのウィンドウ80内にコンテンツが表示されることによって、配信されるコンテンツに関連する情報などを容易に表示することができるともに、ストリーミング配信サーバ13から様々な情報をクライアント端末12側に提供することができ、多彩且つ柔軟なコンテンツの配信を行うことができる。
【0099】
また、Webブラウザのウィンドウ80内にコンテンツが表示される構成とすることにより、クライアント端末12で動作するオペレーション・システムなどに依存した環境に左右されることなく、確実且つ良好なコンテンツの視聴を可能とすることができる。
【0100】
そして、このコンテンツ表示領域81に、ユーザ端末10から送出された内容が表示・再生される。これにより、クライアント端末12におけるコンテンツ表示領域81には、ユーザ端末10によって送出されたコンテンツ、すなわち、ユーザ端末10におけるメインモニタパネルウィンドウ53cのプレビュー領域53c1に表示され、ライブ配信されたコンテンツが表示される。
【0101】
なお、Webブラウザのウィンドウ80内には、上述したプラグイン・プログラムによって作成されたコンテンツ表示領域81の他に、このコンテンツ表示領域81内に表示する番組の内容や発信者に関する情報などがテキストや画像などによって表示されていてもよい。クライアント端末12は、このような番組の内容や発信者に関する情報などを、ストリーミング配信サーバ13からHTMLファイルとして取得することができる。
【0102】
また、Webブラウザのウィンドウ80内には、コンテンツ表示領域81の下部に、ストリーミング配信サーバ13から配信されている番組に参加するための参加ボタン82が表示されている。この参加ボタン82が選択されることにより、クライアント端末12側では、Webブラウザとは別に、コミュニケーション用アプリケーション・プログラムが起動する。
【0103】
このクライアント端末12側で起動するコミュニケーション用アプリケーション・プログラムは、ユーザ端末10側で起動するコミュニケーション用アプリケーション・プログラムとの間で直接各種データの授受を行うことが可能とされたものである。また、クライアント端末12側で起動するコミュニケーション用アプリケーション・プログラムは、ユーザ端末10側で起動するコミュニケーション用アプリケーション・プログラムに対応した別個のプログラムとして構成されていてもよいし、ユーザ端末10側で起動するコミュニケーション用アプリケーション・プログラムと同等のプログラムとされていてもよい。クライアント端末12とユーザ端末10とで実行されるコミュニケーション用アプリケーション・プログラムを共用する場合には、このコミュニケーション用アプリケーション・プログラムは、予めユーザが指定することにより、或いは自動的に状況を判断することにより、起動形態を適宜変更することが可能なものとされる。
【0104】
ここで、クライアント端末12側でコミュニケーション用アプリケーション・プログラムが起動すると、図7に示すように、このコミュニケーション用アプリケーション・プログラムによって作成されたコミュニケーション用ウィンドウ90がクライアント端末12の表示画面上に表示される。なお、このコミュニケーション用ウィンドウ90は、Webブラウザのウィンドウ80と同時に表示画面上に表示されてもよいし、相互に切り替えて表示されるとしてもよい。
【0105】
コミュニケーション用ウィンドウ90は、図7に示すように、クライアント端末12に搭載又は接続されたDVカメラ29によって撮像された画像を表示する自画像表示領域91を備え、この自画像表示領域91の周囲に、各種の指示操作を選択するための複数のボタン92a〜92gが配置されている。そして、これら複数のボタン92a〜92gのさらに外周には、他のクライアント端末12から送出された画像を表示する画像表示領域93が複数配置されている。
【0106】
自画像表示領域91は、このコミュニケーション用アプリケーション・プログラムを実行するクライアント端末12に搭載又は接続されたDVカメラ29によって撮像された画像を表示する領域であり、通常は、このクライアント端末12の操作者の顔などを撮像した画像を表示している。
【0107】
また、複数のボタン92a〜92gは、それぞれ以下のような機能を有している。
【0108】
Webブラウザ起動ボタン92aは、Webブラウザを起動するためのボタンである。このWebブラウザ起動ボタン92aが選択されることによって、外部のWebブラウザ・プログラムを呼び出して起動したり、或いは、このコミュニケーション用アプリケーション・プログラムに内蔵されたWebブラウザを起動するなどの動作が行われる。
【0109】
感情ボタン92bは、自画像表示領域91に表示された画像に対して、各種の感情を表す効果を付与するためのボタンである。この感情ボタン92bが選択されることによって、例えば「泣く」「笑う」「怒る」などの各種の感情を、アニメーションや効果音などによる効果を自画像表示領域91に表示された画像に付与することにより表現することができる。
【0110】
アクションボタン92cは、画像表示領域93に表示された他のクライアント端末12から送出された画像に対して各種のアクションを表す効果を付与するためのボタンである。このアクションボタン92cが選択されることによって、例えば「たたく」「なでる」「つねる」などの各種のアクションを、アニメーションや効果音などによる効果を画像表示領域93のうちのいずれかに付与することによって表現することができる。
【0111】
ヘルプボタン92dは、コミュニケーション用アプリケーション・プログラムに関するヘルプ情報を参照するためのボタンである。このヘルプボタン92dが選択されることによって、ヘルプ情報を表示するウィンドウが開き、各種の操作説明や設定方法などを確認することができる。
【0112】
戻るボタン92eは、このコミュニケーション用アプリケーション・プログラムを終了するか、或いはひとつ前のメニュー表示段階に戻るためのボタンである。この戻るボタン92eが選択されることによって、コミュニケーション用アプリケーション・プログラムを終了させたり、或いはひとつ前のメニュー表示段階、すなわち、階層構造とされたメニュー表示におけるひとつ前の表示段階に戻ることができる。
【0113】
画像音声ボタン92fは、自画像表示領域91に表示する画像を選択するためのボタンである。この画像音声ボタン92fが選択されることによって、自画像表示領域91に表示する画像を、予めコミュニケーション用アプリケーション・プログラムに登録された顔画像の中から選択し直したり、或いは、クライアント端末12に接続されたDVカメラ29によって撮影される動画像を自画像として選択して自画像表示領域91に表示するように設定することができる。また、DVカメラ29によって撮影される動画像を自画像として選択した場合には、このDVカメラ29から入力される音声の出力レベルなどを設定することができる。
【0114】
チャットログボタン92gは、後述するようにしてこのコミュニケーション用アプリケーション・プログラムにより入力したテキストデータを、ユーザ端末10や他のクライアント端末12との間で授受する、いわゆるチャット機能を用いた場合におけるログデータを表示するボタンである。
【0115】
ここで、クライアント端末12上で、図6に示したWebブラウザによって作成されたウィンドウ80上に表示された参加ボタン82が選択され、コミュニケーション用アプリケーション・プログラムが起動して、コミュニケーション用ウィンドウ90が表示されると、このコミュニケーション用アプリケーション・プログラムが、ストリーミング配信サーバ13から送出された発信者特定情報に基づいてユーザ端末10との間で直接各種データの授受を行うことによって、自画像表示領域91に表示された動画像又は静止画像をユーザ端末10に対して送出する。
【0116】
これにより、ユーザ端末10の表示部24に表示されたコミュニケーション用ウィンドウ70におけるプレビュー領域71には、上述のようにして各クライアント端末12から送出された動画像又は静止画像が図5に示すように表示されることとなる。
【0117】
ここで、プレビュー領域71には、図5に示すように、各クライアント端末12から提供されたコンテンツが一覧表示されていることから、ユーザ端末10を操作するユーザは、どの参加者がライブ配信する番組に参加可能であるかを容易に視認することができ、番組に参加させる参加者を直感的に選択操作することができる。
【0118】
このとき、ユーザ端末10において、コミュニケーション用ウィンドウ70の挿入開始ボタン72が選択され、プレビュー領域71に並んで表示された複数の顔画像のうちのひとつが選択されると、図8に示すように、選択された顔画像がメインモニタパネルウィンドウ53cのプレビュー領域53c1に表示されている画像の所定の位置に挿入される。
【0119】
なお、図8においては、コミュニケーション用ウィンドウ70のプレビュー領域71に、図7に示したクライアント端末12側のコミュニケーション用ウィンドウ90の自画像表示領域91の表示内容が顔画像71aとして反映された状態を示しており、この顔画像71aが選択されて、メインモニタパネルウィンドウ53cのプレビュー領域53c1内に顔画像100として挿入された状態を示している。
【0120】
このようにして、ユーザ端末10によって、クライアント端末12から送出された顔画像100が元の配信画像に挿入されると、この顔画像100が挿入された動画像が、ストリーミング配信サーバ13に送出され、この動画像が各クライアント端末12に対してライブ配信される。すなわち、クライアント端末12側では、配信された番組を閲覧するWebブラウザのウィンドウ80におけるコンテンツ表示領域81内に、図9に示すように、図8に示したメインモニタパネルウィンドウ53cのプレビュー領域53c1に表示された内容に相当する動画像が表示されることとなる。
【0121】
また、クライアント端末12で実行されるコミュニケーション用アプリケーション・プログラムにおいて、自画像表示領域91に例えばマウスカーソルを移動させると、図10に示すように、この自画像表示領域91に相当する位置に、テキスト入力ボックス91aが表示される。
【0122】
ここで、ユーザ端末10側でライブ配信される動画像に挿入される顔画像が選択されたクライアント端末12において、このテキスト入力ボックス91a内に、例えば「こんにちは!」などのテキストデータが、クライアント端末12に備えられたキーボード等の入力機器により入力された場合について説明する。
【0123】
この場合には、クライアント端末12で実行されるコミュニケーション用アプリケーション・プログラムは、ストリーミング配信サーバ13から配信された発信者特定情報に基づいてインターネット11上でユーザ端末10を特定し、テキスト入力ボックス91aに入力されたテキストデータを、このユーザ端末10に対して直接送出する。
【0124】
これにより、ユーザ端末10においては、図11に示すように、メインモニタパネルウィンドウ53cのプレビュー領域53c1に表示された画像に、上述のようにしてクライアント端末12から送出された「こんにちは!」なるテキストデータが挿入されて表示されることとなる。
【0125】
そして、ユーザ端末10からは、メインモニタパネルウィンドウ53cのプレビュー領域53c1に表示された画像、すなわちクライアント端末12から送出された顔画像100と「こんにちは!」なるテキストデータとが挿入された動画像がストリーミング配信サーバ13に対して送出され、この動画像がストリーミング配信サーバ13によって各クライアント端末12に対してライブ配信される。
【0126】
これにより、各クライアント端末12におけるWebブラウザのウィンドウ80のコンテンツ表示領域81には、図12に示すように、顔画像100と「こんにちは!」なるテキストデータとが挿入された動画像が表示されることとなる。
【0127】
以上のように構成されてなるコンテンツ配信システム1では、ライブ配信される番組の視聴側であるクライアント端末12から、発信側であるユーザ端末10に対して、発信者特定情報に基づいて画像やテキストなどのコンテンツが直接送出することができる。また、クライアント端末12から送出されたコンテンツを、ユーザ端末10側で自在に利用してライブ配信する番組に反映させることができる。
【0128】
したがって、コンテンツ配信システム1によれば、いわゆる視聴者参加型の番組をインターネットを利用して、極めて簡便且つ良好な操作性をもって実現することができる。このため、例えば、視聴者に対して各種の質問やクイズの出題などを行い、これに対する視聴者からの回答をテキストによりテロップ表示するなどして、多彩且つ柔軟な番組を手軽にライブ配信することができる。また、例えば、発信側であるユーザ端末10から離れた場所にいる視聴者によって撮影された画像や、入力されたテキストデータなどを、ユーザ端末10側でライブ配信する動画像に自在に合成することができるため、各地を中継で結ぶような番組をインターネットを利用して実現することができる。
【0129】
(6)コミュニケーション用アプリケーション・プログラムにおける処理
つぎに以下では、上述したコミュニケーション用アプリケーション・プログラムによってユーザ端末10側で実行される一連の処理について、フローチャートを参照しながら順を追って説明する。
【0130】
なお、コミュニケーション用アプリケーション・プログラムは、例えば、ユーザ端末10側でライブ配信アプリケーション・プログラムによって起動された場合と、クライアント端末12側でWebブラウザによって起動された場合とで異なる状態で起動し、各々の場合において異なる機能が実行可能とされていてもよい。ただし、以下では、図5、図8、及び図11に示したように、ライブ配信アプリケーション・プログラムによって起動された状態におけるコミュニケーション用アプリケーション・プログラムによる一連の処理について説明する。また、以下で説明する一連の処理は、コミュニケーション用アプリケーション・プログラムに記述された処理手続きの流れに従って、ユーザ端末10のCPU20が各種の演算処理を行ったり、各部の動作を制御することによって実現される。
【0131】
コミュニケーション用アプリケーション・プログラムがライブ配信アプリケーション・プログラムによって起動されると、図13に示すフローチャート中においてステップS10に示すように、セッション確立準備を行う。このステップS10においては、ライブ配信アプリケーション・プログラムとの間で各種データの授受を行うことにより、クライアント端末12から送出された顔画像などのコンテンツを取得する準備を行う。なお、このステップS10における処理についての詳細は後述する。
【0132】
次に、ステップS11において、クライアント端末12で起動されたコミュニケーション用アプリケーション・プログラムからの接続要求を受け取ったか否かを判定する。すなわち、このステップS11においては、クライアント端末12から顔画像100のようなコンテンツが送信されたか否かを判定する。この判定の結果、接続要求を受け取った場合には処理をステップS12に進め、受け取っていない場合には処理をステップS13に進める。
【0133】
ステップS12においては、クライアント端末12側から送出された顔画像100などのようなコンテンツを、コミュニケーション用ウィンドウ70のプレビュー領域71に追加する処理を行う。これにより、ユーザ端末10から送出する番組に新たな参加者が参加する準備が整うこととなる。なお、このステップS12における処理についての詳細は後述する。
【0134】
ステップS13においては、コミュニケーション用ウィンドウ70に配置された挿入開始ボタン72が選択され、番組への新たな参加者を出演させることが選択されたか否かを判定する。この判定の結果、挿入開始ボタン72が選択された場合には処理をステップS14に進め、選択されていない場合には処理をステップS15に進める。
【0135】
ステップS14においては、各クライアント端末12からそれぞれ送出され、コミュニケーション用ウィンドウ70のプレビュー領域71に配置されたコンテンツのうちのいずれを出演者としてライブ配信するコンテンツに挿入するかを選択する処理を行う。なお、このステップS14における処理についての詳細は後述する。
【0136】
ステップS15においては、コミュニケーション用ウィンドウ70に配置された挿入停止ボタン73が選択され、ステップS14にて挿入されたコンテンツの挿入中止が選択されたか否かを判定する。すなわち、ライブ配信する番組にクライアント端末12からの出演者が挿入されている場合に、この出演を中止するか否かを判定する。この判定の結果、挿入停止ボタン73が選択されている場合には処理をステップS16に進め、選択されていない場合には処理をステップS17に進める。
【0137】
ステップS16においては、ライブ配信アプリケーション・プログラムに対して、ライブ配信する番組に挿入されている出演者の出演停止を要求するメッセージを送信し、クライアント端末12からのコンテンツの挿入処理を中止することをこのライブ配信アプリケーション・プログラムに対して要求する。これにより、ライブ配信アプリケーション・プログラムによって、ユーザ端末10から送出される番組に対するクライアント端末12からのコンテンツの挿入が中止されることとなる。
【0138】
ステップS17においては、ライブ配信する番組に挿入されているコンテンツの送出元であるクライアント端末12から、画像データやテキストデータなどの新たなコンテンツが送出され、これを受信したか否かを判定する。この判定の結果、出演中のクライアント端末12から新たなコンテンツを受信した場合には処理をステップS18に進め、受信していない場合には処理をステップS19に進める。
【0139】
ステップS18においては、出演中のクライアント端末12から新たに受信した画像データやテキストデータ等のコンテンツを、ライブ配信アプリケーション・プログラムに送信する。これにより、ライブ配信アプリケーション・プログラムによって、この新たなコンテンツがライブ配信される番組に挿入して表示されることとなる。
【0140】
ステップS19においては、出演中のクライアント端末12から取得したテキストデータや画像データ等のコンテンツを、ライブ配信アプリケーション・プログラムに対して送信して受け渡しを行い、ライブ配信する番組に挿入するコンテンツの更新処理を行う。
【0141】
次に、ステップS20においては、ユーザ端末10を操作する発信者であるユーザによって、コミュニケーション用アプリケーション・プログラムを終了することが要求されたか否かを判定する。このような要求は、例えば、コミュニケーション用ウィンドウ70に配置された終了ボタン75が選択されたり、或いは例えばキーボード等によって構成される操作部26によりコミュニケーション用アプリケーション・プログラムの終了を要求する入力がなされることによって行われる。そして、この判定の結果、終了することが要求された場合には、コミュニケーション用アプリケーション・プログラムの終了処理を行い、コミュニケーション用ウィンドウ70を閉じて、図3に示した画面状態となる。また、終了することが要求されていない場合には、処理をステップS11に戻し、上述した一連の処理を継続する。
【0142】
つぎに、上述したステップS10におけるセッション確立準備について、図14を参照しながら説明する。
【0143】
このステップS10における処理が開始されると、図14においてステップS30に示すように、ライブ配信アプリケーション・プログラムから、ユーザ端末10自身のIPアドレスを取得する。このIPアドレスは、ユーザ端末10をインターネット11上で特定する情報であり、一般的には例えば「134.55.22.33」といった4組の数字によって表されるものである。
【0144】
次に、ステップS31においては、クライアント端末12がユーザ端末10で実行されるコミュニケーション用アプリケーション・プログラムに対して接続するために必要となる接続用データ、すなわち発信者特定情報を生成し、この発信者特定情報をライブ配信アプリケーション・プログラムに対して受け渡す。
【0145】
この発信者特定情報は、例えば図15に示すように、ユーザ端末10で実行されるコミュニケーション用アプリケーション・プログラムに対してアクセスを行う際に認証などを行うためのアクセスキー、このコミュニケーション用アプリケーション・プログラムが利用するユーザ端末10のネットワークインターフェース28のポート番号、このコミュニケーション用アプリケーション・プログラムに対する接続時に利用されるIPアドレスの数、及びこのコミュニケーション用アプリケーション・プログラムに対する接続時に利用される一連のIPアドレスなどによって構成される。
【0146】
次に、ステップS32において、コミュニケーション用アプリケーション・プログラムは、クライアント端末12との間での接続状態の確保を実現するサーバ処理を開始する。これにより、クライアント端末12から送出されるコンテンツをユーザ端末10側で取得したり、ユーザ端末10とクライアント端末12との間で各種のデータを授受することが可能な状態となる。
【0147】
そして、ステップS10における一連のセッション確立準備が上述の如く処理された後に、ステップS11に処理を戻す。
【0148】
つぎに、上述したステップS12における参加者の追加処理について、図16を参照しながら説明する。
【0149】
このステップS12における参加者の追加処理が開始されると、図16に示すステップS40において、クライアント端末12から送出されたデータに含まれるアクセスキーを、図15に示した発信者特定情報に含まれるアクセスキーと比較し、これが当該コミュニケーション用アプリケーション・プログラムによって作成されたアクセスキーと一致するか否かを判定する。これにより、クライアント端末12から送出されたコンテンツが、当該コミュニケーション用アプリケーション・プログラムで利用される目的で送出されたものであるか否かを判定することができる。そして、この判定の結果、アクセスキーが一致した場合には処理をステップS41に進め、一致しない場合にはステップS12における参加者の追加処理を中止して処理をステップS13に進める。
【0150】
ステップS41においては、クライアント端末12から送出されたコンテンツを参加者リストに追加登録する。この参加者リストは、コミュニケーション用ウィンドウ70のプレビュー領域71に一覧表示する顔画像などのコンテンツに対応したものである。
【0151】
次に、ステップS42においては、クライアント端末12側から、顔画像100や登録名などのコンテンツを取得する。次に、ステップS43においては、ステップS42で取得した顔画像100及び登録名を、プレビュー領域71に表示する。すなわち、コミュニケーション用ウィンドウ70のプレビュー領域71には、参加者リストに基づいて、この参加者リストに登録されたコンテンツの内容が表示されることとなる。
【0152】
そして、ステップS12における一連の参加者追加処理が上述の如く処理された後に、ステップS13に処理を戻す。
【0153】
つぎに、上述したステップS14における出演者の選択処理について、図17を参照しながら説明する。
【0154】
このステップS14における出演者の選択処理が開始されると、図17においてステップS50に示すように、コミュニケーション用ウィンドウ70のプレビュー領域71に配置された複数の顔画像などのコンテンツを選択するモードに移行する。
【0155】
次に、ステップS51において、プレビュー領域71に配置された複数の顔画像などのコンテンツのうち、いずれかのコンテンツが選択されか否かを判定する。このとき、コンテンツの選択は、例えば、ユーザ端末10の操作部26を構成するマウス等によって、複数の顔画像のうちのいずれかをクリック操作することなどによって行われる。そして、この判定の結果、いずれかのコンテンツが選択された場合には処理をステップS52に進め、いずれのコンテンツも選択されていない場合には処理をステップS55に進める。
【0156】
ステップS52においては、ステップS51で選択されたコンテンツを、ライブ配信する番組に挿入して出演させることを記憶する。次に、ステップS53において、このコンテンツの送出元であるクライアント端末12から、コンテンツの中身を取得する。次に、ステップS54において、ステップS53で取得したコンテンツに関する情報をライブ配信アプリケーション・プログラムに受け渡し、これによりライブ配信アプリケーション・プログラム側でクライアント端末12から送出されたコンテンツがライブ配信される番組に挿入される。このステップS54が完了すると、処理がステップS56に進められる。
【0157】
ステップS55においては、例えば操作部26を構成するマウスなどによって、プレビュー領域71に配置された顔画像などのコンテンツ以外の場所がクリック操作されたか否かを判定する。この判定の結果、コンテンツ以外の場所がクリック操作された場合には処理をステップS56に進め、クリック操作が行われていない場合には、処理をステップS51に戻して、このステップS51以降の処理を継続する。すなわち、このステップS55においては、顔画像などのコンテンツを選択するモードを解除するか否かを判定している。
【0158】
ステップS56においては、顔画像などのコンテンツを選択するモードを解除し、処理をステップS15に戻す。
【0159】
つぎに、上述したステップS19におけるライブ配信アプリケーション・プログラムに対するコンテンツの受け渡し処理について、図18を参照しながら説明する。
【0160】
このステップS19におけるライブ配信アプリケーション・プログラムに対するコンテンツの受け渡し処理が開始されると、図18においてステップS60に示すように、ライブ配信アプリケーション・プログラムによって、挿入するテキストデータや画像データ等のコンテンツのサイズに関する問い合わせが行われたか否かを判定する。このとき問い合わされるサイズとしては、例えば、挿入するコンテンツの縦方向及び横方向のピクセル数などである。そして、この判定の結果、問い合わせが行われた場合には処理をステップS61に進め、行われていない場合には処理をステップS62に進める。
【0161】
ステップS61においては、ライブ配信アプリケーション・プログラムによって問い合わされた、挿入するコンテンツのサイズを算出して、これをライブ配信アプリケーション・プログラムに対して受け渡す。これにより、ライブ配信アプリケーション・プログラムは、ライブ配信する番組に挿入するコンテンツのサイズを、このコンテンツを実際に受け取る前に知ることができ、各種の事前処理を行うことができる。
【0162】
ステップS62においては、ライブ配信アプリケーション・プログラムによって、このライブ配信アプリケーション・プログラムとコミュニケーション用アプリケーション・プログラムとの間で共有するメモリ(共有メモリ)に関する情報の授受が行われたか否かを判定する。この共有メモリに関する情報としては、例えば、ユーザ端末10に備えられるRAM21における開始アドレスや、このRAM21内に共有メモリとして確保するブロック数などである。そして、この判定の結果、共有メモリに関する情報の授受が行われた場合には、処理をステップS63に進め、授受が行われていない場合には、ステップS19以降のライブ配信アプリケーション・プログラムに対するコンテンツの受け渡し処理を中止して、処理をステップS20に進める。
【0163】
ステップS63においては、クライアント端末12から送出された顔画像などのコンテンツを取得する。次に、ステップS64において、ステップS63で取得した顔画像等の画像データやテキストデータなどのコンテンツの内容を、共有メモリに格納する。次に、ステップS65においては、共有メモリとしてRAM21に確保されたメモリ領域を解放(クローズ)し、処理をステップS20に戻す。
【0164】
ユーザ端末10においては、上述したようにして、コミュニケーション用アプリケーション・プログラムによる一連の処理が実行される。これにより、ユーザ端末10は、以上のような一連の処理をコミュニケーション用アプリケーション・プログラムによって実行することにより、クライアント端末12から送出されたコンテンツを受け取って、ライブ配信アプリケーション・プログラムに受け渡すことができる。
【0165】
(7)ライブ配信アプリケーション・プログラムにおける処理
つぎに以下では、上述したライブ配信アプリケーション・プログラムによってユーザ端末10側で実行される一連の処理のうち、クライアント端末12から送出されたコンテンツを挿入する場合の処理について、図19に示すフローチャートを参照しながら順を追って説明する。なお、以下で説明する一連の処理は、ライブ配信アプリケーション・プログラムに記述された処理手続きの流れに従って、ユーザ端末10のCPU20が各種の演算処理を行ったり、各部の動作を制御することによって実現される。
【0166】
ライブ配信アプリケーション・プログラムがユーザ端末10上で起動された状態で、クライアント端末12から送出されたコンテンツを挿入する場合には、先ず、図19に示すステップS70において、コミュニケーション用アプリケーション・プログラムから画像データやテキストデータ等のコンテンツが送信されたか否かを判定する。このステップS70は、コミュニケーション用アプリケーション・プログラムにおけるステップS18での処理に対応したものである。そして、この判定の結果、コミュニケーション用アプリケーション・プログラムから挿入するコンテンツが送信された場合には処理をステップS71に進め、送信されていない場合には処理をステップS76に進める。
【0167】
ステップS71においては、コミュニケーション用アプリケーション・プログラムに対して、挿入するテキストデータや画像データ等のコンテンツのサイズに関する問い合わせを行う。このステップS71における処理は、コミュニケーション用アプリケーション・プログラムにおけるステップS60での処理に対応したものである。そして、挿入するコンテンツのサイズをコミュニケーション用アプリケーション・プログラムから取得した後に、処理をステップS72に進める。
【0168】
ステップS72においては、ステップS72において取得したコンテンツのサイズに基づいて、このコンテンツを格納するに十分な容量の共有メモリをRAM21内に確保する。
【0169】
次に、ステップS73において、確保した共有メモリに関する情報を、コミュニケーション用アプリケーション・プログラムに対して受け渡す。このステップS73における処理は、コミュニケーション用アプリケーション・プログラムにおけるステップS62での処理に対応したものである。
【0170】
次に、コミュニケーション用アプリケーション・プログラムによって共有メモリ内にクライアント端末12から送出されたコンテンツの内容が格納された後に、ステップS74において、このコンテンツを共有メモリから読み出して、ライブ配信する番組のコンテンツに合成するなどして挿入する。次に、ステップS75において、共有メモリとしてRAM21に確保されたメモリ領域を解放し、処理をステップS76に進める。
【0171】
ステップS76においては、コミュニケーション用アプリケーション・プログラムから、ライブ配信する番組に挿入されている出演者の出演停止を要求するメッセージが送信されたか否かを判定する。このステップS76における処理は、コミュニケーション用アプリケーション・プログラムにおけるステップS16での処理に対応したものである。そして、この判定の結果、出演停止を要求するメッセージが送信された場合には処理をステップS77に進め、送信されていない場合には、送出されたコンテンツを挿入する場合の処理を一時終了して、他の処理を継続する。
【0172】
なお、図19に示す一連の処理は、ライブ配信アプリケーション・プログラムにおける各種の処理のうち、送出されたコンテンツを挿入する場合の処理についてのみ示すものであり、ステップS70以降の処理は、他の各種の処理が実行される間に所定の時間か間隔で繰り返し行われるものである。
【0173】
ステップS77においては、コミュニケーション用アプリケーション・プログラムから受け渡されたコンテンツを挿入する処理を停止し、ユーザ端末10内に予め格納されたコンテンツ、或いはユーザ端末10に搭載又は接続されたDVカメラ29によって撮像されたコンテンツによってライブ配信を行う。
【0174】
(8)複数のコンテンツを挿入する場合の画面例
以上の説明においては、ユーザ端末10側でコミュニケーション用ウィンドウ70のプレビュー領域71に一覧表示された複数の顔画像のうちのひとつが選択され、この顔画像が挿入された動画像が各クライアント端末12に対してライブ配信される場合を例示した。
【0175】
しかしながら、コンテンツ配信システム1においては、複数のクライアント端末12から送信された顔画像などのコンテンツをユーザ端末10側で取得し、ユーザ端末10側でライブ配信するコンテンツを生成するに際して、これら複数のコンテンツを挿入するとしてもよい。
【0176】
そこで、以下では、複数のコンテンツを元の配信画像に挿入してライブ配信を行う場合について説明する。本例では、例えば図5に示した状態において、コミュニケーション用ウィンドウ70のプレビュー領域71に表示された複数の顔画像のうちの3つが選択された場合について、図20を参照して説明する。
【0177】
このように複数の顔画像を選択するに際しては、プレビュー領域71に一覧表示された複数の顔画像が、例えばユーザ端末10のユーザによってマウスで個別にクリック操作することされることにより実現される。また、例えば、先に説明した挿入開始ボタン72と同様な「全員参加」ボタンなどを例えばプレビュー領域71に表示しておき、この「全員参加」ボタンがユーザにより選択された場合に、現在セッションが確立されている各ユーザに対応した全ての顔画像をライブ配信する画像に挿入するとしてもよい。
【0178】
このようにして複数の顔画像が選択されると、図20に示すように、選択された顔画像がメインモニタパネルウィンドウ53cのプレビュー領域53c1に表示されている画像の所定の位置に挿入される。なお、図20においては、3つの顔画像100a,100b,100cが選択され、プレビュー領域53c1に挿入された場合について図示する。
【0179】
そして、各クライアント端末12から送出された3つの顔画像100a,100b,100cが元の配信画像に挿入されると、挿入後の配信画像がストリーミング配信サーバ13に送出され、各クライアント端末12に対してライブ配信される。これにより、各クライアント端末12側では、3つの顔画像100a,100b,100cが挿入された配信画像が閲覧されることとなる。
【0180】
上述のように、コンテンツ配信システム1は、複数のクライアント端末12からそれぞれ取得したコンテンツ(顔画像100a,100b,100c)を配信画像に挿入してライブ配信することができることから、例えば複数の人々を番組に参加させて討論や会議を行うなどすることができ、より多彩で柔軟な内容を有するライブ配信を行うことができる。以下では、このようにして討論や会議を行う場合について、具体的な例を挙げて説明する。
【0181】
まず、クライアント端末12側で動作するコミュニケーション用アプリケーション・プログラムにおいて、ユーザ端末10に送出する顔画像に種々のマーク(記号や図形等の画像)を合成して送信する機能が備わっている場合について説明する。この場合には、クライアント端末12側のコミュニケーション用アプリケーション・プログラムにより表示されるコミュニケーション用ウィンドウ90は、例えば図21に示すような状態となる。図21に示すコミュニケーション用ウィンドウ90は、図7に示したものと同様なものであるが、モジュール構造とされたコミュニケーション用アプリケーション・プログラムにおいてマーク合成機能を実現する機能モジュールが動作している状態を示している。
【0182】
このとき、図21に示すように、自画像表示領域91の周囲には、図7に示した複数のボタン92a〜92gの代わりに、ボタン94a〜94fが配置される。これらボタン94a〜94fは、それぞれ以下の機能に対応している。
【0183】
まるボタン94a、ばつボタン94b、さんかくボタン94c、及びしかくボタン94dは、それぞれ、「まる」マーク、「ばつ」マーク、「さんかく」マーク、及び「しかく」マークを自画像表示領域91に表示された顔画像に合成する機能に対応しており、これらのボタンがユーザによって選択された場合には、選択されたボタンに対応するマークが顔画像に合成される。また、このようにしてマークが合成された顔画像は、ユーザ端末10に送出される。また、ヘルプボタン94e及び戻るボタン94fは、それぞれ図7に示したヘルプボタン92d及び戻るボタン92eに相当する機能を有している。
【0184】
このとき、例えば、クライアント端末12側で図21に示すコミュニケーション用ウィンドウ90内のまるボタン94aが選択された場合には、このクライアント端末12から送出される顔画像に「まる」マークが合成されてユーザ端末10に送出される。このようにして送出された顔画像は、ユーザ端末10側のコミュニケーション用アプリケーション・プログラムで取得され、図22に示すように、コミュニケーション用ウィンドウ70のプレビュー領域71内に「まる」マークが合成された状態で表示される。
【0185】
また、ライブ配信用アプリケーション・プログラムが挿入する顔画像をコミュニケーション用アプリケーション・プログラムから取得していることから、メインモニタパネルウィンドウ53cのプレビュー領域53c1においても、「まる」マークが合成された顔画像100aが元画像に挿入されて表示されることとなる。なお、このようにしてマークが合成された顔画像を含むプレビュー領域53c1内の画像は、先の説明と同様にして各クライアント端末12に配信される。
【0186】
コンテンツ配信システム1においては、上述のように種々のマークを各顔画像に合成してライブ配信することが可能とされていることから、例えば発信者から出題された問題に対して、複数の参加者がそれぞれ「まる」や「ばつ」等のマークを指定して回答するなどして、クイズ大会や会議、或いは討論などを行うことができ、より柔軟で多彩な視聴者参加型の番組を容易に作成して配信することができる。
【0187】
つぎに、複数の顔画像が元画像に挿入された状態で、クライアント端末12から送出されたテキストデータをユーザ端末10側で受け取った場合について説明する。以下の説明は、先に図10乃至図12を参照しながら説明した場合に対応するものである。
【0188】
この場合には、図10を参照して説明したようにして所定のクライアント端末12で実行されるコミュニケーション用アプリケーション・プログラム上でテキストデータ(例えば「こんにちは!」というテキスト)が入力されると、このクライアント端末12側のコミュニケーション用アプリケーション・プログラムからユーザ端末10側のコミュニケーション用アプリケーション・プログラムに対してテキストデータが送出される。
【0189】
すると、ユーザ端末10側のコミュニケーション用アプリケーション・プログラムは、図23に示すように、コミュニケーション用ウィンドウ70内で当該クライアント端末12に対応した顔画像に相当する位置(又は当該顔画像に隣接した位置)に、取得したテキストデータの内容(「こんにちは!」)を表示する。
【0190】
また、ライブ配信用アプリケーション・プログラムは、このテキストデータをコミュニケーション用アプリケーション・プログラムから取得して、図23に示すように、プレビュー領域53c1に「こんにちは!」なるテキストデータを挿入して表示する。
【0191】
このとき、ライブ配信用アプリケーション・プログラムは、挿入するテキストデータの送出元に対応したユーザの顔画像(本例では顔画像100b)に対して、拡大表示するなどの所定の効果を付与することが望ましい。これにより、ライブ配信される画像に挿入されたテキストデータが、複数挿入された顔画像100a,100b,100cのうち、どの顔画像に対応するユーザにより発せられたものであるかを容易に識別することができる。なお、このとき顔画像に付与する効果としては、拡大表示することに特に限定されるものではなく、いずれのユーザからテキストデータが発せられたものかを容易に識別することが可能であれば十分である。このような効果としては、例えば、当該顔画像を変形させたり、所定のアニメーション効果を付与したり、或いは色調を変化させるなどの効果などを挙げることができる。
【0192】
(9)複数のコンテンツを挿入する場合の処理
つぎに、上述のようにして複数のコンテンツを挿入してライブ配信を行う場合に、コミュニケーション用アプリケーション・プログラムによってユーザ端末10側で実行される一連の処理について、フローチャートを参照しながら順を追って説明する。
【0193】
ここで、コンテンツ配信システム1において発信側となるユーザ端末10において、ライブ配信を行うためにRAM21内に確保されるメモリ領域の内容について、図24を参照して説明する。このメモリ領域の内容は、図24に示すように、コミュニケーション用アプリケーション・プログラムにおいてワークエリアとして使用されるメモリ領域200と、ライブ配信用アプリケーション・プログラムにおいてワークエリアとして使用されるメモリ領域201と、これらコミュニケーション用アプリケーション・プログラム及びライブ配信用アプリケーション・プログラムの双方で共用されるメモリ領域202に区別される。
【0194】
メモリ領域200は、コミュニケーション用アプリケーション・プログラムにおいてセッションが確立されたクライアント側のユーザ(参加者)に関する情報を記憶する参加者リストと、クライアント端末12から取得してライブ配信用アプリケーション・プログラムに渡すテキストデータ及び画像データをそれぞれ準備するための文字準備用メモリ領域及び画像準備用メモリ領域とにより構成される。このうち、参加者リストは、図中「参加者0」、「参加者1」、「参加者2」、・・・として表すように、必要とされる情報が各参加者毎にまとめて保持されている。
【0195】
参加者リスト内で各参加者に関する情報は、例えば、各参加者を識別するための参加者ID、当該参加者の名前、当該参加者に対応する顔画像、この顔画像が変化したか否かを示す顔画像変化フラグ、当該参加者から送出されたテキストデータ(文字)、この文字が変化したか否かを示す文字変化フラグ、当該参加者から送出されたマーク、このマークが変化したか否かを示すマーク変化フラグなどにより構成されている。
【0196】
ユーザ端末10のRAM21内に以上のようなメモリ領域が確保された状態で、コミュニケーション用アプリケーション・プログラムがライブ配信アプリケーション・プログラムによって起動されると、図25に示すフローチャート中においてステップS100に示すように、セッション確立準備を行う。このステップS100においては、ライブ配信アプリケーション・プログラムとの間で各種データの授受を行うことにより、クライアント端末12から送出された顔画像などのコンテンツを取得する準備を行う。なお、このステップS100における処理の内容は、図14に示したステップS30〜S32における処理と同等であるので、本例での説明を省略する。
【0197】
次に、ステップS101において、クライアント端末12で起動されたコミュニケーション用アプリケーション・プログラムからの接続要求を受け取ったか否かを判定する。すなわち、このステップS101においては、クライアント端末12から顔画像100のようなコンテンツが送信されたか否かを判定する。この判定の結果、接続要求を受け取った場合には処理をステップS102に進め、受け取っていない場合には処理をステップS103に進める。
【0198】
ステップS102においては、クライアント端末12側から送出された顔画像100などのようなコンテンツを、コミュニケーション用ウィンドウ70のプレビュー領域71に追加する処理を行う。これにより、ユーザ端末10から送出する番組に新たな参加者が参加する準備が整うこととなる。なお、このステップS102における処理の内容は、図16に示したステップS40〜S43における処理と同等であるので、本例での説明を省略する。
【0199】
ステップS103においては、例えば、コミュニケーション用ウィンドウ70に配置された「全員参加」ボタンが選択されるなどして、コミュニケーション用アプリケーション・プログラムでセッションが確立された全てのユーザをライブ配信用アプリケーション・プログラムにより配信される番組に参加させることが要求されたか否かを判定する。この判定の結果、全員の参加が要求されている場合には処理をステップS104に進め、要求されていない場合には処理をステップS105に進める。
【0200】
ステップS104においては、各クライアント端末12のユーザ(参加者)をライブ配信用アプリケーション・プログラムにより配信される番組に参加(出演)させる準備を行う。なお、このステップS104における処理についての詳細は後述する。
【0201】
ステップS105においては、コミュニケーション用ウィンドウ70に配置された挿入停止ボタン73がユーザにより選択されるなどして、ステップS104にて開始された参加者の番組への出演を中止することが要求されたか否かを判定する。この判定の結果、出演の中止が要求されている場合には処理をステップS106に進め、要求されていない場合には処理をステップS107に進める。
【0202】
ステップS106においては、ステップS104にて開始された参加者の番組への出演を中止する処理を行う。なお、このステップS106における処理についての詳細は後述する。
【0203】
ステップS107においては、クライアント端末12から送出されたコンテンツ(すなわち、顔画像、テキスト、マーク等)に変化が認められるか否かを判定する。この判定の結果、変化が認められる場合には処理をステップS108に進め、認められない場合には処理をステップS109に進める。
【0204】
ステップS108においては、図24に示した顔画像変化フラグ、文字変化フラグ、或いはマーク変化フラグ等の各変化フラグを変更する処理を行う。このステップS108における処理により、ライブ配信用アプリケーション・プログラムにより挿入されるコンテンツの内容が更新されることとなるが、詳細については後述する。
【0205】
ステップS109においては、画像更新タイマーに関する処理を行う。このステップS109における処理により、各クライアント端末12から取得したコンテンツ(すなわち、顔画像、テキスト、マーク等)を所定の時間間隔でライブ配信用アプリケーション・プログラムに対して渡すことが可能となり、ユーザ端末10での処理負荷が不必要に高まってしまうことを防止することができる。なお、このステップS109における処理についての詳細は後述する。
【0206】
ステップS110においては、各クライアント端末12から取得したコンテンツをライブ配信用アプリケーション・プログラムに対して実際に渡す処理を行う。なお、このステップS110における処理についての詳細は後述する。
【0207】
ステップS111においては、ユーザ端末10を操作する発信者であるユーザによって、コミュニケーション用アプリケーション・プログラムを終了することが要求されたか否かを判定する。この判定の結果、終了することが要求された場合には、コミュニケーション用ウィンドウ70を閉じる処理を行うなどして、コミュニケーション用アプリケーション・プログラムの終了処理を行う。また、終了することが要求されていない場合には、処理をステップS101に戻し、上述した一連の処理を繰り返す。
【0208】
つぎに、上述したステップS104における出演開始処理について、図26を参照しながら説明する。
【0209】
ステップS104における処理が開始されると、図26に示すステップS120において、顔画像変化フラグ、文字変化フラグ、或いはマーク変化フラグ等の各変化フラグを初期状態に設定(クリア)する。次に、ステップS121において、ライブ配信用アプリケーション・プログラムに対して、挿入する画像を更新すべきことを示す画像更新メッセージを送出する。次に、ステップS122において、画像更新タイマーを開始(スタート)させる。この画像更新タイマーは、クライアント端末12から取得したコンテンツを所定の時間間隔でライブ配信用アプリケーション・プログラムに対して渡すためのタイマーであり、例えば所定の時間間隔でカウント値が増加する変数などによって実現することができる。なお、このステップS122における処理が完了すると、ステップS105に処理が進められる。
【0210】
つぎに、上述したステップS106における出演中止処理について、図27を参照しながら説明する。
【0211】
ステップS106における処理が開始されると、図27に示すステップS130において、画像更新タイマーを停止させる。次に、ステップS131において、顔画像変化フラグ、文字変化フラグ、或いはマーク変化フラグ等の各変化フラグをクリアする。次に、ステップS132において、ライブ配信用アプリケーション・プログラムに対して、コンテンツの挿入を中止することを要求するメッセージを出力する。このステップS132における処理が完了した後に、ステップS107に処理を進める。
【0212】
つぎに、上述したステップS108における変化フラグ処理について、図28を参照しながら説明する。
【0213】
ステップS108における処理が開始されると、図28に示すステップS140において、参加者リストを参照することにより、各参加者の顔画像、文字、或いはマークが変化したか否かを判断し、変化している参加者の参加者IDを取得する。以降の処理においては、ここで取得した参加者IDを「参加者IDx」と表すこととする。
【0214】
次に、ステップS141においては、顔画像が変化しているか否かを判定し、変化している場合には処理をステップS142に進め、変化していない場合には処理をステップS143に進める。
【0215】
ステップS142においては、参加者リスト中で参加者IDxに対応する顔画像変化フラグを立てる処理を行う。なお、以降の説明において「フラグを立てる」とは、当該フラグの値を「0」から「1」に変更することを表すこととする。このステップS142における処理の後に、ステップS143に処理を進める。
【0216】
ステップS143においては、文字が変化しているか否かを判定し、変化している場合には処理をステップS144に進め、変化していない場合には処理をステップS147に進める。
【0217】
ステップS144においては、参加者リスト中で参加者IDxに対応する文字変化フラグを立てる処理を行う。次に、ステップS145において、当該参加者からテキストデータ(文字)が取得されていること通知するとともに、この文字を配信画像に合成することを要求する文字更新メッセージをライブ配信用アプリケーション・プログラムに対して送出する。次に、ステップS146において、ライブ配信用アプリケーション・プログラムに対して画像更新メッセージを送出する。このステップS146における処理が完了した後に、ステップS147に処理を進める。
【0218】
ステップS147においては、マークが変化しているか否かを判定し、変化している場合には処理をステップS148に進め、変化していない場合には変化フラグ処理を完了して処理をステップS109に進める。
【0219】
ステップS148においては、参加者リスト中で参加者IDxに対応するマーク変化フラグを立てる処理を行う。次に、ステップS149において、参加者リスト中で参加者IDxに対応する顔画像変化フラグを立てる処理を行う。このステップS149における処理が完了した後に、変化フラグ処理を完了して処理をステップS109に進める。
【0220】
つぎに、上述したステップS109における画像更新タイマー処理について、図29を参照しながら説明する。
【0221】
ステップS109における処理が開始されると、図29に示すステップS150において、画像更新タイマーがスタートしているか否かを判定する。この結果、スタートしていない場合には、ライブ配信用アプリケーション・プログラムによって挿入される画像を更新しないものとして、当該画像更新タイマー処理を完了し、処理をステップS110に進める。また、画像更新タイマーがスタートしている場合には、処理をステップS151に進める。
【0222】
ステップS151においては、画像更新タイマーの値を参照することにより、前回行われた画像更新タイマー処理から所定の時間(本例では1秒)が経過しているか否かを判定する。この結果、経過していない場合には、ライブ配信用アプリケーション・プログラムによって挿入される画像の更新をしないものとして、当該画像更新タイマー処理を完了し、処理をステップS110に進める。また、所定の時間が経過している場合には、処理をステップS152に進める。
【0223】
ステップS152においては、参加者リストを参照することにより、顔画像変化フラグが立っている参加者が存在するか否かを判定する。この結果、存在する場合には処理をステップS153に進め、存在しない場合には処理をステップS155に進める。
【0224】
ステップS153においては、ライブ配信用アプリケーション・プログラムに対して、画像更新メッセージを送出する。次に、ステップS154において、参加者リスト中の顔画像変化フラグをクリアする。このステップS154における処理が完了した後に、処理をステップS155に進める。
【0225】
ステップS155においては、文字変化フラグが立ってから所定の時間(本例では10秒)が経過したか否かを判定する。この結果、経過している場合には処理をステップS156に進め、経過していない場合には処理をステップS110に進める。このステップS155における処理を行うことによって、ライブ配信される元画像に文字を挿入する場合に、この文字を所定の時間(10秒)だけ表示させることが可能となる。
【0226】
ステップS156においては、ライブ配信用アプリケーション・プログラムに対して画像更新メッセージを送出する。次に、ステップS157において、参加者リスト中の文字変化フラグをクリアする。このステップS157における処理が完了した後に、処理をステップS110に進める。
【0227】
つぎに、上述したステップS110における処理について、図30を参照しながら説明する。
【0228】
ステップS110における処理が開始されると、図30に示すステップS160において、ライブ配信用アプリケーション・プログラムから配信画像に挿入すべきテキスト(文字)のサイズ(文字数)、又は配信画像に挿入すべき画像のサイズ(例えば縦横のピクセル数)に関しての問い合わせが行われているか否かを判定する。この結果、問い合わせが行われている場合には処理をステップS161に進め、問い合わせが行われていない場合には処理をステップS163に進める。
【0229】
ステップS161においては、ライブ配信用アプリケーション・プログラムに対して渡す文字又は画像を準備する処理を行う。この処理が完了した後に、処理をステップS162に進める。なお、このステップS161における処理についての詳細は後述する。
【0230】
ステップS162においては、ライブ配信用アプリケーション・プログラムに対して、後の処理で渡すこととなる文字の文字数、又は画像のサイズを通知する。これにより、ライブ配信用アプリケーション・プログラムは、予め文字数や画像のサイズを知ることができる。このステップS162における処理が完了した後に、処理をステップS163に進める。
【0231】
ステップS163においては、アドレス情報(共有メモリのアドレス等を示す情報)をライブ配信用アプリケーション・プログラムから取得するなどして、コミュニケーション用アプリケーション・プログラムとライブ配信用アプリケーション・プログラムとの間で文字や画像等のコンテンツを受け渡す際に利用される共有メモリのアドレスが設定されているか否かを判定する。この結果、アドレスが設定されている場合には処理をステップS164に進め、アドレスが設定されていない場合にはコンテンツの受け渡し処理を中止して、処理をステップS111に進める。
【0232】
ステップS164においては、設定されたアドレスに基づいて、共有メモリをアクセス可能な状態とする(オープンする)。次に、ステップS165において、コミュニケーション用アプリケーション・プログラムからライブ配信用アプリケーション・プログラムに対して渡す文字又は画像を、文字準備用メモリ又は画像準備用メモリから共有メモリに転送(コピー)する。次に、ステップS166において、ステップS164でオープンした共有メモリに対するアクセスを停止する(クローズする)。
【0233】
このようにして、ライブ配信用アプリケーション・プログラムに対して渡す文字や画像等のコンテンツを共有メモリにコピーすることにより、ライブ配信用アプリケーション・プログラムは、この共有メモリを参照することによって、コミュニケーション用アプリケーション・プログラムから取得すべきコンテンツを取得することが可能となる。なお、コミュニケーション用アプリケーション・プログラムは、ステップS164における処理が完了した後に、処理をステップS111に進める。
【0234】
つぎに、上述したステップS161における処理について、図31を参照しながら説明する。
【0235】
ステップS161における処理が開始されると、図31に示すステップS170において、ライブ配信用アプリケーション・プログラムに対して文字の受け渡しに関する準備が整っているか否かを判定する。この結果、準備が整っている場合には処理をステップS171に進め、準備が整っていない場合、又は文字を渡す必要がない場合には処理をステップS172に進める。
【0236】
ステップS171においては、ライブ配信用アプリケーション・プログラムに対して渡すテキスト(文字)を文字準備用メモリにコピーする。このステップS171における処理の後に、処理をステップS162に進める。
【0237】
ステップS172においては、配信画像に出演する参加者の各々に対して以降の一連の処理を行うために用いる変数iの値を「0」に設定する。次に、ステップS173において、参加者リストを参照することにより第i番目の参加者(以下、単に参加者iと称する。)に対応した顔画像を取得し、この顔画像を画像準備用メモリに格納する。
【0238】
次に、ステップS174において、参加者リストを参照することにより、参加者iに対応した文字変化フラグが立っているか否かを判定する。この結果、文字変化フラグが立っている場合には処理をステップS175に進め、文字変化フラグが立っていない場合には処理をステップS176に進める。
【0239】
ステップS175においては、画像準備用メモリに格納された参加者iの顔画像を拡大する処理を行う。このステップS175における処理により、図23に示したように、挿入する文字の送信元となる参加者の画像が拡大表示されることとなる。なお、このステップS175における処理の後に、処理をステップS176に進める。
【0240】
ステップS176においては、参加者リストを参照することにより、参加者iに対応したマーク変化フラグが立っているか否かを判定する。この結果、マーク変化フラグが立っている場合には処理をステップS177に進め、マーク変化フラグが立っていない場合には処理をステップS178に進める。
【0241】
ステップS177においては、画像準備用メモリに格納された参加者iの顔画像に対して所定のマークを描画する処理を行う。このステップS177における処理の後に、処理をステップS178に進める。
【0242】
ステップS178においては、変数iの現在の値に「1」を加える処理を行う。次に、ステップS179において、変数iの値が配信番組に出演する参加者の数未満であるか否か、すなわち全ての参加者に対してステップS173以降の処理が完了しているか否かを判定し、完了していない場合には処理をステップS173に戻して、次の参加者についてもステップS173以降の処理を行う。また、全ての参加者に対する処理が完了している場合には、処理をステップS162に進める。
【0243】
コンテンツ配信システム1においては、コミュニケーション用アプリケーション・プログラムが上述した処理を行うことにより、コミュニケーション用アプリケーション・プログラムで複数のクライアント端末12から取得したコンテンツをライブ配信用アプリケーション・プログラムに対して受け渡すことができる。これにより、ライブ配信用アプリケーション・プログラム側で複数のコンテンツを配信画像に挿入することができる。
【0244】
なお、上述の説明においては、参加者全員についての画像を画像準備用メモリを利用してコミュニケーション用アプリケーション・プログラム側で合成した後に、ライブ配信用アプリケーション・プログラム側に渡している。したがって、ライブ配信用アプリケーション・プログラム側では、予め合成された参加者全員分の画像を元画像に対して合成する処理と、コミュニケーション用アプリケーション・プログラムから取得した「おはよう!」などのテキスト(文字)を元画像に対して合成する処理との2つの画像合成処理が行われる。
【0245】
ただし、コンテンツ配信システム1においては、コミュニケーション用アプリケーション・プログラムとライブ配信用アプリケーション・プログラムとのどちらでどの程度までの合成処理を行うかは任意であることは述べるまでもない。
【0246】
(10)まとめ
以上で説明したように、コンテンツ配信システム1においては、ライブ配信アプリケーション・プログラムとコミュニケーション用アプリケーション・プログラムとが密接に連携することによって、クライアント端末12から送出されたコンテンツが、ユーザ端末10からライブ配信されるコンテンツに挿入されることとなる。なお、上述した一連の処理は、ライブ配信アプリケーション・プログラムとコミュニケーション用アプリケーション・プログラムとが連携して実行されることにより実現することに限定されるものではなく、例えば単一のアプリケーション・プログラムにより実現されていてもよい。
【0247】
また、上述のコンテンツ配信システム1においては、コンテンツの配信側のシステムを、クライアント端末12から送出されたコンテンツを受信し、ライブ配信されるコンテンツを生成するユーザ端末10と、ユーザ端末10で生成したライブ配信されるコンテンツをクライアント端末12に配信するストリーミング配信サーバ13とで構成するようにしたが、ユーザ端末10に複数のクライアント端末12a,12b,12c,・・・に対してライブ配信されるコンテンツを配信するサーバ機能を備えるように構成してもよい。この場合においても、クライアント端末12から提供された動画像、静止画像、或いはテキスト等のコンテンツを、発信側であるユーザ端末10で自在に利用してコンテンツの配信を行うことができる。このため、配信されたコンテンツの視聴側との間で、意見や主張を極めてスムーズに交換することができる。
【0248】
また、上述したコミュニケーション用アプリケーション・プログラム又はライブ配信用アプリケーション・プログラムにより実行される処理に相当する手続きを所望の電子機器で実行処理させるソフトウェアプログラムを各種の記録媒体に格納して提供するとしてもよい。
【0249】
【発明の効果】
また、本発明によれば、送信装置によって、発信するコンテンツに視聴装置から送出されたコンテンツを挿入し、このコンテンツを配信することができる。したがって、視聴装置から提供された動画像、静止画像、或いはテキスト等のコンテンツを、送信装置で自在に利用してコンテンツの配信を行うことができる。このため、配信されたコンテンツの視聴側と発信側との間で、意見や主張を極めてスムーズに交換することができる。更に本発明では、他の装置から送信装置に対して、コンテンツを直接送出している。したがって、配信されるコンテンツに挿入されるコンテンツの授受を極めてスムーズに行うことができる。
【0250】
したがって、本発明によれば、発信者から離れた場所にいる別の提供者からの動画像をライブ配信番組に取り込んで各地を中継で結ぶといった形でのコンテンツの配信を容易に行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態として示すコンテンツ配信システムの全体的な基本構成を示す概略図である。
【図2】同コンテンツ配信システムに用いられるユーザ端末の構成を示す機能ブロック図である。
【図3】同コンテンツ配信システムにおいてユーザ端末側で実行されるライブ配信アプリケーション・プログラムによって表示されるメインウィンドウを示す模式図である。
【図4】同コンテンツ配信システムにおけるユーザ端末とクライアント端末との接続関係を示す模式図である。
【図5】同コンテンツ配信システムにおいてユーザ端末側で実行されるライブ配信アプリケーション・プログラムからコミュニケーション用アプリケーション・プログラムが起動された状態における表示画面を示す模式図である。
【図6】同コンテンツ配信システムにより配信されたコンテンツを視聴するクライアント端末側における表示画面の例を示す模式図である。
【図7】同コンテンツ配信システムにおいてクライアント端末側で実行されるコミュニケーション用アプリケーション・プログラムにより作成されるコミュニケーション用ウィンドウの例を示す模式図である。
【図8】同コンテンツ配信システムにおいてクライアント端末側から送出されたコンテンツがユーザ端末側で挿入される場合の表示画面の例を示す模式図である。
【図9】同コンテンツ配信システムにおいてユーザ端末側でコンテンツの挿入が行われたコンテンツを視聴するクライアント端末側における表示画面の例を示す模式図である。
【図10】同コンテンツ配信システムにおいてクライアント端末側のコミュニケーション用アプリケーション・プログラムによりテキストデータの入力が行われた状態における表示画面の例を示す模式図である。
【図11】同コンテンツ配信システムにおいてクライアント端末側で入力されたテキストデータがユーザ端末側で取得され、利用される場合における表示画面の例を示す模式図である。
【図12】同コンテンツ配信システムにおいてテキストデータが挿入されたコンテンツがクライアント端末側で視聴される場合における表示画面の例を示す模式図である。
【図13】同コンテンツ配信システムにおいてユーザ端末側で実行されるコミュニケーション用アプリケーション・プログラムによる実行手順の一例を示すフローチャートである。
【図14】同コンテンツ配信システムにおいてコミュニケーション用アプリケーション・プログラムによりセッション確立準備を行う場合の実行手順の一例を示すフローチャートである。
【図15】同コンテンツ配信システムにおいてコミュニケーション用アプリケーション・プログラムで用いられる発信者特定情報(接続用データ)の一例を示す模式図である。
【図16】同コンテンツ配信システムにおいてコミュニケーション用アプリケーション・プログラムにより参加者追加処理を行う場合の実行手順の一例を示すフローチャートである。
【図17】同コンテンツ配信システムにおいてコミュニケーション用アプリケーション・プログラムにより出演者選択処理を行う場合における実行手順の一例を示すフローチャートである。
【図18】同コンテンツ配信システムにおいてコミュニケーション用アプリケーション・プログラムによりライブ配信アプリケーション・プログラムに対する文字や画像などの受け渡し処理を行う場合における実行手順の一例を示すフローチャートである。
【図19】同コンテンツ配信システムにおいてライブ配信アプリケーション・プログラムによりコンテンツの挿入を行う場合における実行手順の一例を示すフローチャートである。
【図20】同コンテンツ配信システムにおいて複数のコンテンツを挿入する場合における表示画面の例を示す模式図である。
【図21】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、クライアント端末側の表示画面に表示されるコミュニケーション用ウィンドウの例を示す模式図である。
【図22】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、クライアント端末側で顔画像にマークを合成することが要求された場合における表示画面の例を示す模式図である。
【図23】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、特定の参加者から入力された文字を元画像に合成して配信する場合における表示画面の例を示す模式図である。
【図24】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ユーザ端末のRAM内に確保されるメモリ領域の内容を示す模式図である。
【図25】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理の一例を示すフローチャートである。
【図26】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、出演開始処理について示すフローチャートである。
【図27】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、出演中止処理について示すフローチャートである。
【図28】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、変化フラグ処理について示すフローチャートである。
【図29】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、画像更新タイマー処理について示すフローチャートである。
【図30】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、ライブ配信用アプリケーション・プログラムに対してコンテンツを受け渡す処理について示すフローチャートである。
【図31】同コンテンツ配信システムにて複数のコンテンツを挿入する場合において、ライブ配信用アプリケーション・プログラム側で行われる処理のうち、ライブ配信用アプリケーション・プログラムに対して受け渡すコンテンツを準備する処理について示すフローチャートである。
【符号の説明】
1 コンテンツ配信システム、10 ユーザ端末、11 インターネット、12 クライアント端末、13 ストリーミング配信サーバ、14 サーバ使用予約管理センタ、15 公衆回線網、16 サーバ接続専用ネットワーク、29 DVカメラ
Claims (16)
- コンテンツを配信するサーバ装置と前記サーバ装置から配信されるコンテンツを受信する複数の視聴装置とにネットワークを介して接続された送信装置であって、
前記ネットワークを介して他の装置と通信を行う通信手段と、
前記サーバ装置を介して前記視聴装置に配信されるコンテンツを生成する制御手段と、
を具備し、
前記制御手段は、
前記視聴装置に前記サーバ装置を介して配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得する処理と、
前記視聴装置に前記サーバ装置を介して配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から、前記通信手段を介して直接取得する処理と、
前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成する処理と、
前記送信コンテンツを前記通信手段を介して前記サーバ装置に送信する処理と
を実行する送信装置。 - 前記制御手段は、前記送信装置をネットワーク上で特定するための発信者特定情報を前記サーバ装置に送信し、
前記サーバ装置から前記発信者特定情報を取得した他の装置からの接続要求に基づいて、前記他の装置と接続を確立し、
前記接続が確立した他の装置から前記第2コンテンツを受信する
処理を実行する請求項1記載の送信装置。 - 前記第1コンテンツ及び第2コンテンツは、動画像、静止画像、音声情報、又は文字情報である
請求項1記載の送信装置。 - 前記送信装置は、動画像又は静止画像を撮像する画像撮像装置に接続されており、前記制御手段は、前記画像撮像装置から前記第1コンテンツを取得する処理を行うこと
を特徴とする請求項1記載の送信装置。 - 前記第1コンテンツを取得する前記装置は、動画像又は静止画像を撮像する画像撮像手段である
請求項1記載の送信装置。 - 前記制御手段は、前記他の装置に接続された画像撮像装置により撮像された動画像又は静止画像を前記第2コンテンツとして受信する処理を行う
請求項1記載の送信装置。 - 前記制御手段は、前記視聴装置に接続された画像撮像装置により撮像された動画像又は静止画像を前記第2コンテンツとして受信する処理を行う
請求項2記載の送信装置。 - 前記制御手段は、動画像又は静止画像を前記第1コンテンツとして取得し、前記第1コンテンツで動画像又は静止画像の所定の領域内に、前記他の装置から送出された前記第2コンテンツを挿入する処理を行う
請求項1記載の送信装置。 - 前記制御手段は、複数の他の装置それぞれからコンテンツを取得し、前記複数の他の装置それぞれから受信したコンテンツのうち選択されたコンテンツを前記第2コンテンツとして、前記送信コンテンツを生成する処理を行う
請求項1記載の送信装置。 - コンテンツを配信するサーバ装置を介して複数の視聴装置にコンテンツを配信する送信装置が、
前記視聴装置に前記サーバ装置を介して配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得し、
前記視聴装置に前記サーバ装置を介して配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から直接取得し、
前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成し、
前記送信コンテンツを前記サーバ装置に送信する
ステップを含む送信方法。 - コンテンツを配信するサーバ装置と前記サーバ装置から配信されるコンテンツを受信する複数の視聴装置とにネットワークを介して接続された装置にコンテンツの送信処理を実行させるプログラムであって、
前記サーバ装置を介して前記視聴装置に配信される第1コンテンツを、前記送信装置に備える装置および前記送信装置に接続される装置のうち少なくとも1の装置から取得する制御を行う処理と、
前記サーバ装置を介して前記視聴装置に配信される第2コンテンツを、前記サーバ装置から配信されるコンテンツを受信する前記視聴装置から直接取得する制御を行う処理と、
前記第1コンテンツと前記第2コンテンツとを用いて、前記サーバ装置に送信する送信コンテンツを生成する制御を行う処理と、
前記送信コンテンツを前記サーバ装置に送信する制御を行う処理と
を実行させるプログラム。 - 複数の視聴装置とネットワークを介して接続されたコンテンツ配信装置であって、
前記複数の視聴装置にコンテンツを配信する配信手段と、
前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段と
を具備し、
前記生成手段は、
前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得する処理と、
前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得する処理と、
前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成する処理と
を実行し、
前記配信手段は、
前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信する処理を実行するコンテンツ配信装置。 - 前記生成手段と前記配信手段とは、前記ネットワークを介して接続されており、
前記生成手段は、前記ネットワークを介して前記配信コンテンツを前記配信手段に送信する処理を実行する
請求項12記載のコンテンツ配信装置。 - 前記生成手段は、
前記配信手段を介して、前記配信コンテンツのネットワーク上で発信者を特定するための発信者特定情報を配信し、
前記配信手段から前記発信者特定情報を取得した他の装置からの接続要求に基づいて、前記他の装置と接続を確立し、
前記接続が確立した他の装置から前記第2コンテンツを受信する
処理を実行する
請求項12記載のコンテンツ配信装置。 - 複数の視聴装置にコンテンツを配信する配信手段と、前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段とを有するコンテンツ配信装置が、
前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得し、
前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得し、
前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成し、
前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信する
ステップを含むコンテンツ配信方法。 - 複数の視聴装置にコンテンツを配信する配信手段と、前記配信手段を介して前記視聴装置に配信するコンテンツを生成する生成手段とを有するコンテンツ配信装置に、コンテンツの配信処理を実行させるプログラムであって、
前記視聴装置に前記配信手段を介して配信される第1コンテンツを、前記コンテンツ配信装置に備える装置および前記コンテンツ配信装置に接続される装置のうち少なくとも1の装置から取得する処理と、
前記視聴装置に前記配信手段を介して配信される第2コンテンツを、前記配信手段から配信されるコンテンツを受信する前記視聴装置から直接取得する処理と、
前記第1コンテンツと前記第2コンテンツとを用いて、前記配信手段を介して前記視聴装置に配信する配信コンテンツを生成する処理と、
前記生成手段で生成された前記配信コンテンツを前記複数の視聴装置に配信する処理と を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002271334A JP4232419B2 (ja) | 2001-09-18 | 2002-09-18 | 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001284192 | 2001-09-18 | ||
JP2001-284192 | 2001-09-18 | ||
JP2002023376 | 2002-01-31 | ||
JP2002-23376 | 2002-01-31 | ||
JP2002271334A JP4232419B2 (ja) | 2001-09-18 | 2002-09-18 | 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008149328A Division JP4609737B2 (ja) | 2001-09-18 | 2008-06-06 | 送信装置及び方法、コンテンツ配信装置及び方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003296239A JP2003296239A (ja) | 2003-10-17 |
JP2003296239A5 JP2003296239A5 (ja) | 2005-11-04 |
JP4232419B2 true JP4232419B2 (ja) | 2009-03-04 |
Family
ID=29407473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002271334A Expired - Fee Related JP4232419B2 (ja) | 2001-09-18 | 2002-09-18 | 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4232419B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3789854B2 (ja) * | 2002-06-11 | 2006-06-28 | エヌ・ティ・ティ・コムウェア株式会社 | ライブ配信サーバ、及びライブ配信方法 |
JP4900637B2 (ja) * | 2003-12-25 | 2012-03-21 | 独立行政法人産業技術総合研究所 | 番組放送システム、通信端末装置、番組構成方法及び番組放送プログラム |
JP2005286409A (ja) * | 2004-03-26 | 2005-10-13 | National Institute Of Advanced Industrial & Technology | 視聴者参加型双方向番組のアーカイブ方式 |
JP4655190B2 (ja) * | 2004-08-06 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4728706B2 (ja) * | 2005-06-09 | 2011-07-20 | 日本放送協会 | 番組制作管理サーバ、番組端末、番組制作管理プログラム、及び番組制作プログラム |
KR101584304B1 (ko) | 2009-07-20 | 2016-01-11 | 삼성전자주식회사 | 콘텐츠 요청 장치 및 방법 |
US8819738B2 (en) * | 2012-05-16 | 2014-08-26 | Yottio, Inc. | System and method for real-time composite broadcast with moderation mechanism for multiple media feeds |
KR102430657B1 (ko) * | 2014-06-30 | 2022-08-08 | 더 비디오 콜 센터, 엘엘씨 | 비디오 콜 센터 |
WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
JP6417316B2 (ja) * | 2015-12-25 | 2018-11-07 | 株式会社フェイス | 複数の人がそれぞれの情報端末で同じライブイベントをそれぞれの視点で撮影した複数のビデオストリームを1つのugc番組に編成してライブ配信すること |
US10575030B2 (en) | 2016-06-22 | 2020-02-25 | DeNA Co., Ltd. | System, method, and program for distributing video |
JP6198983B1 (ja) * | 2017-04-26 | 2017-09-20 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
JP6748041B2 (ja) * | 2017-08-22 | 2020-08-26 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
JP6718930B2 (ja) * | 2018-08-31 | 2020-07-08 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP7012792B2 (ja) * | 2020-08-06 | 2022-01-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
WO2023129182A1 (en) | 2021-12-30 | 2023-07-06 | 17Live Japan Inc. | System, method and computer-readable medium for video processing |
-
2002
- 2002-09-18 JP JP2002271334A patent/JP4232419B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003296239A (ja) | 2003-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4609737B2 (ja) | 送信装置及び方法、コンテンツ配信装置及び方法、並びにプログラム | |
JP4232419B2 (ja) | 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム | |
US10417444B2 (en) | Information processing system, service providing apparatus and method, information processing apparatus and method, recording medium, and program | |
US20180248864A1 (en) | Method of using server, server reservation control apparatus and program storage medium | |
JP4581201B2 (ja) | 予約管理方法、予約管理装置およびプログラム格納媒体 | |
JP6404912B2 (ja) | ライブ放送システム | |
US7823080B2 (en) | Information processing apparatus, screen display method, screen display program, and recording medium having screen display program recorded therein | |
US7856468B2 (en) | Server reservation method, reservation control apparatus and program storage medium | |
EP2168356B1 (en) | Video communication method and user terminal | |
JP2002073541A (ja) | コンテンツ配信方法およびコンテンツ供給システム | |
JP2002074125A (ja) | コンテンツ配信の通知方法、予約管理装置およびプログラム格納媒体 | |
JP2003037834A (ja) | コンテンツ配信システム、コンテンツ配信制御装置、コンテンツ配信制御方法、コンテンツ配信制御プログラム及びコンテンツ配信制御プログラム格納媒体 | |
JP2002073542A (ja) | サーバの使用予約方法、予約管理装置およびプログラム格納媒体 | |
JP2002077868A (ja) | コンテンツ配信の予約方法、コンテンツ配信方法、予約管理装置およびプログラム格納媒体 | |
JP6719166B2 (ja) | ライブ放送システム | |
JP2003030105A (ja) | コンテンツ評価システム、コンテンツ評価装置、コンテンツ評価方法、コンテンツ評価プログラム及びコンテンツ評価プログラム格納媒体 | |
JP2003044690A (ja) | コンテンツ配信システム、コンテンツ予約延長制御装置、コンテンツ予約延長制御方法、コンテンツ予約延長制御プログラム及びコンテンツ予約延長制御プログラム格納媒体 | |
US7716594B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4596208B2 (ja) | 番組中継装置、番組中継方法、番組中継プログラム及び番組中継プログラム格納媒体 | |
US7739610B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP2003091472A (ja) | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ送出プログラム | |
JP7161715B1 (ja) | ストリーミングデータを取り扱う方法及びサーバ | |
US7721215B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4713176B2 (ja) | 動画メッセージ配信システム、サーバ装置及び動画メッセージ配信方法 | |
JP2003030552A (ja) | 手続状況通知システム、手続状況通知装置、手続状況通知方法、手続状況通知プログラム、手続状況通知プログラム格納媒体、手続実行装置、手続実行方法、手続実行プログラム及び手続実行プログラム格納媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050530 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4232419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |