JP2012253823A

JP2012253823A - 配信システム、配信方法、配信サーバ及び通信端末

Info

Publication number: JP2012253823A
Application number: JP2012209556A
Authority: JP
Inventors: Kazuji Tamai; 和司玉井
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2012-09-24
Filing date: 2012-09-24
Publication date: 2012-12-20

Abstract

【課題】高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供すること。
【解決手段】本発明の配信システムは、通信モードとして、映像および音声の品質を優先して遅延を許容した高品質モード、低遅延であることを優先し、高品質モードより品質が低い低遅延モードを有する。このとき、高品質モードにおいては、一方向通信であるから遅延を短くする必要はなく、各通信端末において高品質な映像、音声の配信を受けることができる。また低遅延モードにおいては、双方向通信によるコミュニケーションを行うが、コミュニケーションには高品質な映像、音声は必要がなく、遅延を短くすることによりリアルタイム性の高い円滑なコミュニケーションを可能とし、利用者に違和感を生じさせないようにすることができる。
【選択図】図４

Description

本発明は、配信サーバと通信端末へのデータの配信、および配信サーバと通信端末との利用者間におけるコミュニケーションを行うための技術に関する。

テレビ放送などの映像、音声を配信するシステムは、一般的には配信側と受信側とが入れ替わることがないため、遅延を許容することにより高品質な映像、音声のデータを配信することができる。一方、このような遅延を許容するシステムにおいて、配信側と受信側においてコミュニケーションを行おうとすると、高品質な映像、音声によるコミュニケーションができたとしても、その遅延の影響からリアルタイム性が確保できず、コミュニケーションの品質としては、非常に悪いものとなってしまう。このような遅延の影響を受けないようにするために、遅延を許容する配信経路とは別の遅延の少ない通信経路を設けて、遅延の少ないコミュニケーションを行う技術が開示されている（例えば、特許文献１）。

特開２００６−１４８７４１号公報

しかし、このような方法では、遅延を許容するシステムと遅延が少ないシステムを単に組み合わせただけであり、別経路を利用する通信を実現するためには、ハードウエアの追加などシステムコストの増大につながっていた。

本発明は、上述の事情に鑑みてなされたものであり、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することを目的とする。

上述の課題を解決するため、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと通信端末とを有する配信システムにおいて、前記配信サーバは、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード手段と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、前記通信端末から送信される端末データを受信する端末データ受信手段と、前記端末データ受信手段によって受信された端末データをデコードするデコード手段とを具備し、前記通信端末は、前記配信サーバから送信された配信データを受信する配信データ受信手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、前記識別手段によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力し、低遅延モー
ドであると識別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段とを具備し、前記通信端末は、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段をさらに具備し、前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別することを特徴とする配信システムを提供する。

また、別の好ましい態様において、前記通信端末は複数であって、前記低遅延エンコード手段におけるエンコードは、前記配信データ入力手段に入力された配信データに、前記デコード手段がデコードした端末データを合成して生成される配信データに対して行われてもよい。

また、別の好ましい態様において、前記通信端末は複数であって、前記配信サーバは、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段をさらに具備し、前記通信端末は、前記配信サーバから送信される特定情報を受信する特定情報受信手段をさらに具備し、前記複数の通信端末のうち、前記特定情報が示す通信端末から前記配信サーバへの端末データの送信が行われてもよい。

また、別の好ましい態様において、前記通信モードが低遅延モードであるときに、前記通信端末から前記配信サーバへの端末データの送信が行われてもよい。

また、別の好ましい態様において、前記高品質デコード手段は、前記配信データ受信手段によって受信された配信データを所定のデータ量のバッファをし、当該バッファされたデータのデコードを行い、前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行ってもよい。

また、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと通信端末とを有する配信システムに用いられる配信方法であって、前記配信サーバにおいて用いられる方法は、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、前記配信データ入力過程において入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード過程と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、前記通信端末から送信される端末データを受信する端末データ受信過程と、前記端末データ受信過程によって受信された端末データをデコードするデコード過程とを備え、前記通信端末において用いられる方法は、前記配信サーバから送信された配信データを受信する配信データ受信過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、前記識別過程によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力し、低遅延モードであると識別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程とを備え、前記通信端末において用いられる方法は、前記配信データ受信過程において受信された配信データのエンコード方法を解析する解析過程をさらに備え、前記識別過程においては、前記解析過程における解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別することを特徴とする配信方法を提供する。

本発明によれば、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することができる。

実施形態に係る配信システムにおける配信サーバと通信端末との接続関係を示す説明図である。実施形態に係る配信サーバおよび通信端末のハードウエアの構成を示すブロック図である。実施形態に係る配信サーバのソフトウエアの構成を示すブロック図である。実施形態に係る配信サーバの映像エンコード部、音声エンコード部の詳細構成を示すブロック図である。実施形態に係る通信端末のソフトウエアの構成を示すブロック図である。実施形態に係る通信端末の映像デコード部、音声デコード部の詳細構成を示すブロック図である。変形例１に係る通信端末の映像デコード部、音声デコード部の詳細構成を示すブロック図である。

以下、本発明の一実施形態について説明する。

＜実施形態＞
本発明の実施形態に係る配信システムは、図１に示すように、配信サーバ１および通信端末２−Ａ、２−Ｂを有する。以下、通信端末２−Ａと通信端末２−Ｂを区別しない場合には、単に通信端末２という。配信サーバ１と通信端末２とは、通信網１０００を介して接続され、各種データの送受信を行う。また、配信サーバ１は、複数の通信端末２に対して、マルチキャストでの通信を行うことができる。

配信サーバ１のハードウエアの構成について、図２を用いて説明する。図２は、配信サーバ１のハードウエアの構成を示すブロック図である。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１は、記憶部１２に記憶されたプログラムをＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３にロードして実行する。これにより、ＣＰＵ１１が、バス１０を介して、配信サーバ１の各部について制御する。また、ＲＡＭ１３は、ＣＰＵ１１が各データの加工などを行う際のワークエリアとして機能する。

記憶部１２は、ハードディスク、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、不揮発性メモリなどの記憶手段であって、上述したプログラム、各種情報を記憶する。

操作部１４は、例えばキーボード、マウス、リモコンなどであり、配信サーバ１の利用者が操作部１４を操作すると、その操作内容を表す情報がＣＰＵ１１へ出力される。また、操作部１４には、高品質モードまたは低遅延モードのいずれかを通信モードとして選択するためのスイッチが設けられ、利用者によって選択されたモードを示す選択情報を出力する。通信モードについては後述する。さらに、操作部１４は、後述するように、通信モードが低遅延モードとして選択されているときに、どの通信端末２から映像データと音声データとを受信するかを利用者が操作部１４を操作することにより特定し、特定した通信端末２を示す特定情報を出力する。

表示部１５は、液晶ディスプレイなどの表示デバイスであって、ＣＰＵ１１によって入力される映像データに基づいて表示を行う。また、ＣＰＵ１１の制御に基づいて、配信サーバ１を操作するためのメニュー画面などの各種画面を表示する。

音声出力部１６は、スピーカなどの放音手段を有し、入力される音声データに基づいて放音する。

映像入力部１７は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などのイメージセンサを有し、イメージセンサの撮影内容に基づいた映像データ（以下、入力映像データという）を生成して出力する。

音声入力部１８は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたオーディオデータ（以下、入力音声データという）を生成して出力する。

通信部１９は、有線、無線などによって、通信網１０００を介して通信端末２とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部１９は、通信端末２へ選択情報、特定情報などの各種情報も送信し、後述する接続依頼情報を通信端末２から受信する。以上が配信サーバ１のハードウエアの構成の説明である。

次に、通信端末２のハードウエアの構成について説明する。通信端末２は、図２に示す配信サーバ１のハードウエアの構成と同様な構成であり、図示を省略する。ここで、配信サーバ１と区別するために、通信端末２が有するハードウエアの構成については、以下、バス２０、ＣＰＵ２１、記憶部２２、ＲＡＭ２３、操作部２４、表示部２５、音声出力部２６、映像入力部２７、音声入力部２８および通信部２９という。

操作部２４は、例えばキーボード、マウス、リモコンなどであり、通信端末２の利用者が操作部２４を操作すると、その操作内容を表す情報がＣＰＵ２１へ出力される。また、操作部２４は、利用者によって操作されることにより、配信サーバ１に映像データ、音声データを送信したい旨、および自端末を示す接続依頼情報を生成して出力する。

通信部２９は、有線、無線などによって、通信網１０００を介して配信サーバ１とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部２９は、配信サーバから選択情報、特定情報などの各種情報を受信し、接続依頼情報を配信サーバ１に送信する。

通信端末２の操作部２４、通信部２９以外の構成については、配信サーバ１と同様な機能を有しているため、その説明を省略する。

次に、配信サーバ１のＣＰＵ１１が、記憶部１２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図３を用いて説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。

映像デコード部１０１は、通信端末２から送信され、通信部１９によって受信される映像データ（以下、端末映像データという）が、通信部１９から入力される。この端末映像データは、後述するように通信端末２において所定のエンコードが行われた映像データである。映像デコード部１０１は、入力された端末映像データに対してデコードを行って出力映像データを生成し、表示部１５に出力することによって、出力映像データに係る映像を表示部１５に表示させる。また、出力映像データは、映像合成部１０３にも出力される。このように、映像デコード部１０１が、所定のエンコードに対応するデコードを端末映像データに対して行うことにより、出力映像データを生成し出力する。

音声デコード部１０２は、通信端末２から送信され、通信部１９によって受信される音声データ（以下、端末音声データという）が、通信部１９から入力される。この端末音声データは、後述するように通信端末２において所定のエンコードが行われた音声データである。音声デコード部１０２は、入力された端末音声データに対してデコードを行って出力音声データを生成し、音声出力部１６に出力することによって、出力音声データに係る音声を音声出力部１６から放音させる。また、出力音声データは、音声合成部１０４にも出力される。このように、音声デコード部１０２が、所定のエンコードに対応するデコードを端末音声データに対して行うことにより、出力音声データを生成し出力する。

映像合成部１０３は、映像入力部１７から出力される入力映像データと、映像デコード部１０１から出力された出力映像データとを合成して合成映像データを生成し、映像エンコード部１０５に出力する。入力映像データと出力映像データとの合成は、例えば、入力映像データに係る映像に対して、出力映像データに係る映像をスーパーインポーズするような態様としてもよいし、合成映像データに係る映像を表示部１５に表示させた場合に、その画面を分割して、双方の映像が表示されるような態様としてもよい。なお、映像デコード部１０１から出力映像データが入力されない場合には、入力映像データをそのまま映像エンコード部１０５に出力するようにすればよい。

音声合成部１０４は、音声入力部１８から出力される入力音声データと、音声デコード部１０２から出力された出力音声データとを合成して合成音声データを生成し、音声エンコード部１０６に出力する。入力音声データと出力音声データとの合成は、例えば、入力音声データに係る音声に対して、出力音声データに係る音声をミキシングするような態様としてもよいし、合成音声データが複数チャンネルを有するようにして、入力音声データと出力音声データとを異なるチャンネルに割り当てるようにしてもよい。なお、音声デコード部１０２から出力音声データが入力されない場合には、入力音声データをそのまま音声エンコード部１０６に出力するようにすればよい。

映像エンコード部１０５は、映像合成部１０３から入力された合成映像データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信映像データを生成し、通信部１９に出力する。

音声エンコード部１０６は、音声合成部１０４から入力された合成音声データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信音声データを生成し、通信部１９に出力する。なお、操作部１４から出力された選択情報については、通信部１９にも出力される。

ここで、映像エンコード部１０５、音声エンコード部１０６の詳細の構成について、図４を用いて説明する。図４は、映像エンコード部１０５、音声エンコード部１０６の構成を示すブロック図である。

映像エンコード部１０５は、高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２を有する。高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２には、映像合成部１０３から合成映像データが入力されるとともに、選択情報が入力される。

高品質映像エンコード部１０５１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。一方、低遅延映像エンコード部１０５２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質映像エンコード部１０５１と同様に、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。

高品質映像エンコード部１０５１と低遅延映像エンコード部１０５２とは、入力される合成映像データに対して行うエンコードの処理時間が異なり、高品質映像エンコード部１０５１における処理時間より、低遅延映像エンコード部１０５２における処理時間が短くなっている。すなわち、高品質映像エンコード部１０５１は、高品質なエンコードを行うために処理時間が長く、低遅延映像エンコード部１０５２は、高品質映像エンコード部１０５１におけるエンコードよりは低品質であるが、処理時間が短くなっている。

この品質の違いは、合成映像データに係る映像について、解像度、単位時間当たりのフレーム数、ビットレートなどが異なることによる違いであり、解像度が高いほど、フレーム数が大きいほど、ビットレートが高いほど、高品質な映像を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質映像エンコード部１０５１におけるエンコードを行う処理よりも、低遅延映像エンコード部１０５２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。

このようにして、映像エンコード部１０５は、映像合成部１０３から出力された合成映像データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成映像データに対して高品質なエンコードを行い、低遅延モードである場合には、合成映像データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信映像データを通信部１９に出力する。

音声エンコード部１０６は、高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２を有する。高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２には、音声合成部１０４から合成音声データが入力されるとともに、選択情報が入力される。

高品質音声エンコード部１０６１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。一方、低遅延音声エンコード部１０６２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質音声エンコード部１０６１と同様に、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。

高品質音声エンコード部１０６１と低遅延音声エンコード部１０６２とは、入力される合成音声データに対して行うエンコードの処理時間が異なり、高品質音声エンコード部１０６１における処理時間より、低遅延音声エンコード部１０６２における処理時間が短くなっている。すなわち、高品質音声エンコード部１０６１は、高品質なエンコードを行うために処理時間が長く、低遅延音声エンコード部１０６２は、高品質音声エンコード部１０６１におけるエンコードよりは低品質であるが、処理時間が短くなっている。

この品質の違いは、合成音声データに係る音声について、周波数帯域、サンプリング周波数、ビットレートなどが異なることによる違いであり、周波数帯域が広いほど、サンプリング周波数、ビットレートが高いほど、高品質な音声を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質音声エンコード部１０６１におけるエンコードを行う処理よりも、低遅延音声エンコード部１０６２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。

このようにして、音声エンコード部１０６は、音声合成部１０４から出力された合成音声データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成音声データに対して高品質なエンコードを行い、低遅延モードである場合には、合成音声データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信音声データを通信部１９に出力する。

図３の説明に戻る。ＣＰＵ１１の制御によって、通信部１９は、映像エンコード部１０５から出力された配信映像データと、音声エンコード部１０６から出力された配信音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で各通信端末２に送信する。以上が、配信サーバ１のソフトウエアの構成についての説明である。

次に、通信端末２のＣＰＵ２１が、記憶部２２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図５を用いて説明する。図５は、ＣＰＵ２１が実現する機能を示したソフトウエアの構成を示すブロック図である。

映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される配信映像データが、通信部２９から入力される。この配信映像データは、上述したように配信サーバ１において所定のエンコードが行われた映像データである。映像デコード部２０１は、入力された配信映像データに対して所定のデコードを行って出力映像データを生成し、表示部２５に出力することによって、出力映像データに係る映像を表示部２５に表示させる。また、映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される選択情報についても、通信部２９から入力される。

音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される配信音声データが、通信部２９から入力される。この配信音声データは、上述したように配信サーバ１において所定のエンコードが行われた音声データである。音声デコード部２０２は、入力された配信音声データに対して所定のデコードを行って出力音声データを生成し、音声出力部２６に出力することによって、出力音声データに係る音声を音声出力部２６から放音させる。また、音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される選択情報についても、通信部２９から入力される。

ここで、映像デコード部２０１、音声デコード部２０２の詳細の構成について、図６を用いて説明する。図６は、映像デコード部２０１、音声デコード部２０２の構成を示すブロック図である。

映像デコード部２０１は、高品質映像デコード部２０１１および低遅延映像デコード部２０１２を有する。高品質映像デコード部２０１１および低遅延映像デコード部２０１２には、通信部２９から配信映像データが入力されるとともに、選択情報が入力される。

高品質映像デコード部２０１１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される配信映像データに対して、上述した配信サーバ１における高品質映像エンコード部１０５１においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信映像データが、配信サーバ１の高品質映像エンコード部１０５１によってエンコードが行われたデータであると認識して、そのエンコードに対応するデコードを行う高品質映像デコード部２０１１を動作させる。

一方、低遅延映像デコード部２０１２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質映像デコード部２０１１と同様に、入力される配信映像データに対して、上述した配信サーバ１における低遅延映像エンコード部１０５２においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信映像データが、配信サーバ１の低遅延映像エンコード部１０５２によってエンコードが行われたデータであると認識して、そのエンコードに対応するデコードを行う低遅延映像デコード部２０１２を動作させる。

高品質映像デコード部２０１１と低遅延映像デコード部２０１２とは、入力される配信映像データに対して行うデコードの処理時間が異なり、高品質映像デコード部２０１１における処理時間より、低遅延映像デコード部２０１２における処理時間が短くなっている。すなわち、高品質映像デコード部２０１１は、配信サーバ１の高品質映像エンコード部１０５１においてエンコードが行われた高品質な配信映像データに対してデコードを行うために処理時間が長い。一方、低遅延映像デコード部２０１２は、配信サーバ１の低遅延映像エンコード部１０５２においてエンコードが行われ、高品質映像エンコード部１０５１においてエンコードが行われた配信映像データよりは低品質である配信映像データに対してデコードを行うために、高品質映像デコード部２０１１における処理時間より短くなっている。

このようにして、映像デコード部２０１は、通信部２９から出力された配信映像データが入力され、選択情報が示す通信モードが高品質モードである場合には、配信映像データが高品質なエンコードが行われたデータと認識し、低遅延モードである場合には、配信映像データが高品質モードのときよりは低品質ながら処理時間が短いエンコードが行われたデータと認識して、その配信映像データに対してデコードを行って生成した出力映像データを表示部２５に出力する。

音声デコード部２０２は、高品質音声デコード部２０２１および低遅延音声デコード部２０２２を有する。高品質音声デコード部２０２１および低遅延音声デコード部２０２２には、通信部２９から配信音声データが入力されるとともに、選択情報が入力される。

高品質音声デコード部２０２１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される配信音声データに対して、上述した配信サーバ１における高品質音声エンコード部１０６１においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信音声データが、配信サーバ１の高品質音声エンコード部１０６１によってエンコードが行われたデータであると認識して、そのエンコードに対応するデコードを行う高品質音声デコード部２０２１を動作させる。

一方、低遅延音声デコード部２０２２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質音声デコード部２０２１と同様に、入力される配信音声データに対して、上述した配信サーバ１における低遅延音声エンコード部１０６２においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信音声データが、配信サーバ１の低遅延音声エンコード部１０６２によってエンコードが行われたデータであると認識して、そのエンコードに対応するデコードを行う低遅延音声デコード部２０２２を動作させる。

高品質音声デコード部２０２１と低遅延音声デコード部２０２２とは、入力される配信音声データに対して行うデコードの処理時間が異なり、高品質音声デコード部２０２１における処理時間より、低遅延音声デコード部２０２２における処理時間が短くなっている。すなわち、高品質音声デコード部２０２１は、配信サーバ１の高品質音声エンコード部１０６１においてエンコードが行われた高品質な配信音声データに対してデコードを行うために処理時間が長い。一方、低遅延音声デコード部２０２２は、配信サーバ１の低遅延音声エンコード部１０６２においてエンコードが行われ、高品質音声エンコード部１０６１においてエンコードが行われた配信音声データよりは低品質である配信音声データに対してデコードを行うために、高品質音声デコード部２０２１における処理時間より短くなっている。

このようにして、音声デコード部２０２は、通信部２９から出力された配信音声データが入力され、選択情報が示す通信モードが高品質モードである場合には、配信音声データが高品質なエンコードが行われたデータと認識し、低遅延モードである場合には、配信音声データが高品質モードのときよりは低品質ながら処理時間が短いエンコードが行われたデータと認識して、その配信音声データに対してデコードを行って生成した出力音声データを音声出力部２６に出力する。

図５の説明に戻る。映像エンコード部２０５は、映像入力部２７から入力映像データが入力される。そして、入力映像データに対して所定のエンコードを行って端末映像データを生成し、通信部２９に出力する。この所定のエンコードは、本実施形態においては、配信サーバ１の低遅延映像エンコード部１０５２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。

音声エンコード部２０６は、音声入力部２８から入力音声データが入力される。そして、入力音声データに対して所定のエンコードを行って端末音声データを生成し、通信部２９に出力する。この所定のエンコードは、映像エンコード部２０５と同様に、本実施形態においては、配信サーバ１の低遅延音声エンコード部１０６２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。

ここで、通信部２９が受信した特定情報が示す通信端末２が、自らの通信端末２を示していることをＣＰＵ２１が認識した場合には、ＣＰＵ２１の制御によって、通信部２９は、映像エンコード部２０５から出力された端末映像データと、音声エンコード部２０６から出力された端末音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で配信サーバ１に送信する。

一方、特定情報が他の通信端末２を示していることを認識した場合には、端末映像データおよび端末音声データの送信を行わない。なお、この場合は、送信を行わないから、ＣＰＵ２１は、映像エンコード部２０５、音声エンコード部２０６の動作を停止させてもよいし、さらに映像入力部２７における入力映像データの生成、音声入力部２８における入力音声データの生成についても停止させてもよい。また、配信サーバ１がこの通信端末２からの端末映像データおよび端末音声データを受信しなければよいから、配信サーバ１の通信部１９が、特定情報が示す通信端末２以外の通信端末から端末映像データおよび端末音声データを受信しないように、ＣＰＵ１１が制御してもよい。以上が、通信端末２のソフトウエアの構成についての説明である。

次に、本発明の実施形態に係る配信システムの動作について説明する。この説明においては、通信端末２−Ａの利用者を利用者Ａ、通信端末２−Ｂの利用者を利用者Ｂ、配信サーバ１の利用者を利用者Ｃという。

利用者Ｃは、配信サーバ１が設置された音楽スタジオにおいて、楽器の生演奏（以下、ライブ演奏という）を行っている。このとき利用者Ｃは、操作部１４を操作して、通信モードを高品質モードとして選択する。

映像入力部１７において生成したライブ演奏を撮影した映像（以下、ライブ映像という）を示す入力映像データに対して、映像エンコード部１０５の高品質映像エンコード部１０５１においてエンコードが行われる。一方、音声入力部１８において生成したライブ演奏を録音した音声（以下、ライブ音声という）を示す入力音声データに対して、音声エンコード部１０６の高品質音声エンコード部１０６１においてエンコードが行われる。

そして、通信部１９は、ストリーミング形式で配信映像データおよび配信音声データを通信端末２−Ａ、２−Ｂに送信するとともに、通信モードが高品質モードとして選択されていることを示す選択情報を送信する。

通信端末２−Ａ、２−Ｂの通信部２９は、選択情報、配信映像データおよび配信音声データを受信する。ＣＰＵ２１は、選択情報が示す通信モードが高品質モードであることを認識すると、映像デコード部２０１の高品質映像デコード部２０１１において配信映像データに対してデコードを行うように制御するとともに、音声デコード部２０２の高品質音声デコード部２０２１において配信音声データに対してデコードを行うように制御する。

これにより利用者Ａ、利用者Ｂは、表示部２５に表示されるライブ映像と、音声出力部２６から放音されるライブ音声とを楽しむことができる。このように、高品質モードにおいては、利用者Ｃのライブ演奏を利用者Ａ、利用者Ｂに対して配信するだけの一方向の放送型の通信であるから、配信サーバ１におけるエンコード、通信端末２−Ａ、２−Ｂにおけるデコードに処理時間を要することにより遅延が発生したとしても、利用者Ａ、利用者Ｂは、違和感を生じることがない。

そして、利用者Ｃはライブ演奏を終了して、利用者Ａ、利用者Ｂに対して、コミュニケーションをとってみないか、映像入力部１７、音声入力部１８を介して提案する。これを受けて利用者Ａは、コミュニケーションをとりたい旨の意思を利用者Ｃに対して伝えるため、通信端末２−Ａの操作部２４を操作し、配信サーバ１に対して、端末映像データ、端末音声データを送信したい旨、および通信端末２−Ａを示す接続依頼情報を送信させる。

一方、配信サーバ１は、接続依頼情報を受信すると、ＣＰＵ１１は、接続依頼情報が示す通信端末が通信端末２−Ａであることを認識し、表示部１５に通信端末２−Ａからコミュニケーションをとりたい旨の意思表示があったことを示す表示をさせる。

利用者Ｃは、その表示を確認することにより、コミュニケーションをとることを了解した場合には、利用者Ｃが操作部１４を操作することにより、通信端末２−Ａを特定する特定情報を生成させ、その特定情報を通信部１９から通信端末２−Ａに対して送信させる。また、このときに利用者Ｃが操作部１４を操作して、通信モードとして低遅延モードを選択し、低遅延モードが選択されていることを示す選択情報についても生成させて、その選択情報についても通信部１９から通信端末２−Ａ、２−Ｂに対して送信させる。なお、特定情報が生成されると、操作部１４を操作しなくても、あわせて低遅延モードが選択されていることを示す選択情報も生成されるようにしてもよい。また、特定情報は、通信端末２−Ｂにも送信されるようにしてもよい。

これにより、特定情報が示す通信端末である通信端末２−Ａにおいては、利用者Ａを撮影した映像（以下、会話映像Ａという）を示す入力映像データが映像エンコード部２０５に入力され、入力映像データに対してエンコードを行うことによって生成された端末映像データが通信部２９から配信サーバ１に送信される。あわせて利用者Ａの音声（以下、会話音声Ａという）を録音した内容を示す入力音声データが音声エンコード部２０６に入力され、入力音声データに対してエンコードを行うことによって生成された端末音声データが通信部２９から配信サーバ１に送信される。

配信サーバ１は、端末映像データと端末音声データとを受信すると、それぞれ、映像デコード部１０１、音声デコード部１０２においてデコードを行い、生成した出力映像データに基づいて表示部１５に会話映像Ａを表示させるとともに、生成した出力音声データに基づいて音声出力部１６から会話音声Ａを放音させる。

一方、映像合成部１０３には、出力映像データと、利用者Ｃを撮影した映像（以下、低遅延モードのときの映像を高品質モードのときの映像と区別して、会話映像Ｃという）を示す入力映像データとが入力される。これにより、会話映像Ｃの一部分に会話映像Ａがスーパーインポーズされた会話映像ＡＣを示す合成映像データが生成される。また、音声合成部１０４には、出力音声データと、利用者Ｃの音声（以下、低遅延モードのときの音声を高品質モードのときの音声と区別して、会話音声Ｃという）を示す入力音声データとが入力される。これにより、会話音声Ａと会話音声Ｃとがミキシングされた会話音声ＡＣを示す合成音声データが生成される。

通信モードが低遅延モードに切り替わることにより、映像エンコード部１０５、音声エンコード部１０６におけるエンコードの態様が切り替わり、配信サーバ１から送信される配信映像データは、低遅延映像エンコード部１０５２によって、会話映像ＡＣを示す合成映像データに対してエンコードが行われた映像データ、配信音声データは、低遅延音声エンコード部１０６２によって、会話音声ＡＣを示す合成音声データに対してエンコードが行われた音声データとなる。

一方、通信端末２−Ａ、２−Ｂにおいても、選択情報を受信することにより、映像デコード部２０１、音声デコード部２０２におけるデコードの態様が切り替わる。すなわち、配信サーバ１から送信される配信映像データは、低遅延映像デコード部２０１２でデコードが行われ、配信サーバ１から送信される配信音声データは、低遅延音声デコード部２０２２でデコードが行われることになる。これにより、通信端末２−Ａ、２−Ｂにおける表示部２５には、会話映像ＡＣが表示され、音声出力部２６からは会話音声ＡＣが放音される。ここで、低遅延モードにおいては、高品質モードにおける品質よりも低い品質であるかわりに低遅延とすることができるから、会話映像ＡＣ、会話音声ＡＣは、ライブ映像、ライブ音声に比べると、映像、音声の品質が低いものとなる一方、遅延を少なくすることができる。このため、利用者Ａと利用者Ｃとの間におけるコミュニケーションにおいて、遅延による違和感を生じさせないようにすることができる。このときに、コミュニケーションに求められる品質はライブ演奏を視聴するための品質に比べて低いものとなるから、会話映像ＡＣ、会話音声ＡＣが、ライブ映像、ライブ音声よりも品質が低かったとしても問題がない。

そして、利用者Ａと利用者Ｃとのコミュニケーションが終了すると、利用者Ｃは、操作部１４を操作して、通信モードとして高品質モードを選択する。これにより、配信サーバ１の映像エンコード部１０５は、再び高品質映像エンコード部１０５１においてエンコードを行い、音声エンコード部１０６は、高品質音声エンコード部１０６１においてエンコードを行う。一方、通信端末２−Ａ、２−Ｂの映像デコード部２０１は、高品質映像デコード部２０１１においてデコードを行い、音声デコード部２０２は、高品質音声デコード部２０２１においてデコードを行う。

また、通信端末２−Ａの通信部２９から端末映像データ、端末音声データの送信が停止される。これにより、高品質であるが遅延が大きいライブ映像、ライブ音声を通信端末２−Ａ、２−Ｂにおいて視聴することができる。このときライブ映像、ライブ音声は、配信サーバ１から通信端末２−Ａ、２−Ｂに対する一方向の放送型の通信であるから、遅延が大きくても利用者Ａ、Ｂは違和感を生じることがなく、ライブ演奏を楽しむことができる。

このように、本発明の配信システムは、通信モードとして、映像および音声の品質を優先して遅延を許容した高品質モード、低遅延であることを優先し、高品質モードより品質が低い低遅延モードを有し、高品質モードにおいては、配信サーバ１から各通信端末２に対して、放送型の一方向通信を行い、低遅延モードにおいては、配信サーバ１と各通信端末２との双方向通信によるコミュニケーションを実現する。このとき、高品質モードにおいては、一方向通信であるから遅延を短くする必要はなく、各通信端末２において高品質な映像、音声の配信を受けることができる。また低遅延モードにおいては、双方向通信によるコミュニケーションを行うが、コミュニケーションには高品質な映像、音声は必要がなく、遅延を短くすることによりリアルタイム性の高い円滑なコミュニケーションを可能とし、利用者に違和感を生じさせないようにすることができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
上述した実施形態においては、通信端末２は、映像デコード部２０１、音声デコード部２０２において行うデコードについて、受信した選択情報が示す通信モードが高品質モードであるか低遅延モードであるかを識別し、通信モードに応じた処理を行っていたが、通信モードの識別は、別の方法により行なってもよい。例えば、通信部２９において受信した配信映像データ、配信音声データのデータ内容を解析し、その解析結果から通信モードを識別するようにしてもよい。この場合は、通信端末の映像デコード部２０１、音声デコード部２０２は、図７に示すように、それぞれ映像データ解析部２０１３、音声データ解析部２０２３を有する構成とすればよい。

映像データ解析部２０１３は、通信部２９が受信した配信映像データが入力され、その配信映像データを解析する。映像データ解析部２０１３は、この解析により配信映像データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質映像エンコード部１０５１においてエンコードが行われた配信映像データであるか、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データであるかについて識別する。そして、映像データ解析部２０１３は、配信映像データが高品質映像エンコード部１０５１においてエンコードが行われた配信映像データであると識別した場合には、この配信映像データを高品質映像デコード部２０１１に出力する一方、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データであると識別した場合には、この配信映像データを低遅延映像デコード部２０１２に出力する。

上記と同様に、音声データ解析部２０２３は、通信部２９が受信した配信音声データが入力され、その配信音声データを解析する。音声データ解析部２０２３は、この解析により配信音声データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質音声エンコード部１０６１においてエンコードが行われた配信音声データであるか、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データであるかについて識別する。そして、音声データ解析部２０２３は、配信音声データが高品質音声エンコード部１０６１においてエンコードが行われた配信音声データであると識別した場合には、この配信音声データを高品質音声デコード部２０２１に出力する一方、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データであると識別した場合には、この配信音声データを低遅延音声デコード部２０２２に出力する。

このようにすると、通信端末２は、選択情報を受信しなくても、通信モードが高品質モードであるか低遅延モードであるかを識別することができる。なお、配信映像データ、配信音声データに付されるエンコード形式を示す情報は、それぞれ配信サーバ１の映像エンコード部１０５、音声エンコード部１０６におけるエンコードが行われるときに付されるようにすればよい。また、特定情報を受信する通信端末２においては、受信によって低遅延モードになったことを識別し、それ以外の通信端末２においては、本変形例のようにして識別するようにしてもよい。

＜変形例２＞
上述した実施形態においては、配信サーバ１の表示部１５には、出力映像データが入力され、会話映像Ａが表示されるようになっていたが、映像合成部１０３において生成される合成映像データが入力されるようにしてもよい。このようにすると、表示部１５には、通信端末２の表示部２５に表示される映像と同様な会話映像ＡＣを表示させることができる。

＜変形例３＞
上述した実施形態においては、通信モードが低遅延モードであるときに行われる配信サーバ１と通信端末２との双方向通信は、特定情報が示す１つの通信端末２と行われていたが、特定情報が示す通信端末２は複数であってもよい。この場合には、複数の通信端末２から配信サーバ１に送信される端末映像データ、端末音声データについて、それぞれ映像デコード部１０１、音声デコード部１０２においてデコードを行い、映像合成部１０３、音声合成部１０４において、合成するようにすればよい。このように、低遅延モードにおいて行われる双方向通信は、複数の通信端末２と配信サーバ１との間で行なわれるようにしてもよい。ここで、表示部１５は、入力される出力映像データが複数の通信端末からのデータである場合には、画面を分割してそれぞれの出力映像データに係る映像が表示されるようにすればよい。

＜変形例４＞
上述した実施形態においては、低遅延モードのときに配信サーバ１と双方向通信を行う通信端末２は特定情報が示す通信端末２であったが、配信サーバ１と通信を行う通信端末２が１つである場合、通信端末２が複数であり、低遅延モードにおける双方向通信を全ての通信端末２と行う場合は、特定情報を用いなくてもよい。また、この場合には、通信端末２から配信サーバ１に対して接続依頼情報を送信しなくてもよい。

＜変形例５＞
上述した実施形態においては、通信モードとして高品質モードを選択するか低遅延モードを選択するかは、利用者が配信サーバ１の操作部１４を操作することによって選択していたが、他の方法によって選択されるようにしてもよい。例えば、高品質モードである時間と低遅延モードである時間とを定めた時間情報を記憶部１２に記憶させ、この時間情報に基づいて、通信モードとして高品質モードまたは低遅延モードを選択するようにすればよい。このように、通信モードについては、様々な方法により選択することができる。

＜変形例６＞
上述した実施形態における通信端末２の映像デコード部２０１において、高品質映像デコード部２０１１と低遅延映像デコード部２０１２とのデコードを行うときの処理時間の違いは、入力された配信映像データのバッファ量が異なることによる処理時間の違いが含まれていてもよい。この場合、高品質映像デコード部２０１１は、入力された配信映像データを所定のデータ量のバッファをして、バッファされた配信映像データに対してエンコードを行い、低遅延映像デコード部２０１２は、入力された配信映像データを高品質映像デコード部２０１１より少ないデータ量のバッファをして、バッファされた配信映像データに対してエンコードを行なうようにすればよい。

多くのデータ量をバッファすることにより、配信サーバ１と通信端末２との通信速度が一時的に悪化しても、配信映像データがバッファされているから、その映像が途切れることを防止し高品質な映像とすることができる。一方、低遅延モードにおいては、品質よりも低遅延であることが優先されるから、通信速度の悪化によって映像が若干途切れて品質が悪化しても、低遅延を維持することによりコミュニケーションを円滑に行うことができる。本変形例においては、映像デコード部２０１について説明を行ったが、音声デコード部２０２についても同様である。

＜変形例７＞
上述した実施形態においては、通信端末２から配信サーバ１に対して接続依頼情報を送信することにより、通信端末２の利用者が配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示を行っていたが、このような意思表示は他の方法で行なわれてもよい。例えば、通信端末２の映像入力部２７において撮影した映像に係る端末映像データを配信サーバ１に送信し、配信サーバ１の表示部１５にその映像を表示させることによって行なわれてもよい。また、映像入力部２７において利用者を静止画として撮影し、この静止画を示す端末静止画データを配信サーバ１に送信し、配信サーバ１の表示部１５にその静止画を表示させることによって行なわれてもよい。このように、通信端末２の利用者によって、配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示が行なわれればよいから、どのような方法によって行うようにしてもよい。なお、配信サーバ１の操作部１４の操作により生成される特定情報は、接続依頼情報を受信してから行う必要はなく、配信サーバ１の利用者が意思表示を求めないときには、接続依頼情報が通信端末２から送信されなくてもよい。

１…配信サーバ、２，２−Ａ，２−Ｂ…通信端末、１０，２０…バス、１１，２１…ＣＰＵ、１２，２２…記憶部、１３，２３…ＲＡＭ、１４，２４…操作部、１５，２５…表示部、１６，２６…音声出力部、１７，２７…映像入力部、１８，２８…音声入力部、１９，２９…通信部、１０１，２０１…映像デコード部、２０１１…高品質映像デコード部、２０１２…低遅延映像デコード部、２０１３…映像データ解析部、１０２，２０２…音声
デコード部、２０２１…高品質音声デコード部、２０２２…低遅延音声デコード部、２０２３…音声データ解析部、１０３…映像合成部、１０４…音声合成部、１０５，２０５…映像エンコード部、１０５１…高品質映像エンコード部、１０５２…低遅延映像エンコード部、１０６，２０６…音声エンコード部、１０６１…高品質音声エンコード部、１０６２…低遅延音声エンコード部、１０００…通信網

Claims

通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと通信端末とを有する配信システムにおいて、
前記配信サーバは、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、
前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、
前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード手段と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、
前記通信端末から送信される端末データを受信する端末データ受信手段と、
前記端末データ受信手段によって受信された端末データをデコードするデコード手段と
を具備し、
前記通信端末は、
前記配信サーバから送信された配信データを受信する配信データ受信手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、
前記識別手段によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力し、低遅延モードであると識別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、
前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、
前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段と
を具備し、
前記通信端末は、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段をさらに具備し、
前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする配信システム。
前記通信端末は複数であって、
前記低遅延エンコード手段におけるエンコードは、前記配信データ入力手段に入力された配信データに、前記デコード手段がデコードした端末データを合成して生成される配信データに対して行われる
ことを特徴とする請求項１に記載の配信システム。
前記通信端末は複数であって、
前記配信サーバは、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段をさらに具備し、
前記通信端末は、前記配信サーバから送信される特定情報を受信する特定情報受信手段をさらに具備し、
前記複数の通信端末のうち、前記特定情報が示す通信端末から前記配信サーバへの端末データの送信が行われる
ことを特徴とする請求項１又は２に記載の配信システム。
前記通信モードが低遅延モードであるときに、前記通信端末から前記配信サーバへの端末データの送信が行われる
ことを特徴とする請求項１乃至請求項３のいずれかに記載の配信システム。
前記高品質デコード手段は、前記配信データ受信手段によって受信された配信データを所定のデータ量のバッファをし、当該バッファされたデータのデコードを行い、
前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行う
ことを特徴とする請求項１乃至請求項４のいずれかに記載の配信システム。
通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと通信端末とを有する配信システムに用いられる配信方法であって、
前記配信サーバにおいて用いられる方法は、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、
前記配信データ入力過程において入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、
前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード過程と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、
前記通信端末から送信される端末データを受信する端末データ受信過程と、
前記端末データ受信過程によって受信された端末データをデコードするデコード過程と
を備え、
前記通信端末において用いられる方法は、
前記配信サーバから送信された配信データを受信する配信データ受信過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデ
コードを行う高品質デコード過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、
前記識別過程によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力し、低遅延モードであると識別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、
前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、
前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程と
を備え、
前記通信端末において用いられる方法は、前記配信データ受信過程において受信された配信データのエンコード方法を解析する解析過程をさらに備え、
前記識別過程においては、前記解析過程における解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする配信方法。
当該配信サーバから送信された配信データを受信する配信データ受信手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、前記識別手段によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力し、低遅延モードであると識別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、前記エンコード手段によってエンコードが行われた端末データを当該配信サーバに送信する端末データ送信手段と、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段とを具備し、前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する通信端末との間で、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバであって、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、
前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、
前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード手段と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、
前記通信端末から送信される端末データを受信する端末データ受信手段と、
前記端末データ受信手段によって受信された端末データをデコードするデコード手段と
を具備する
ことを特徴とする配信サーバ。
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間より短い処理時間でエンコードを行う低遅延エンコード手段と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを当該通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを当該通信端末に送信する配信データ送信手段と、当該通信端末から送信される端末データを受信する端末データ受信手段と、前記端末データ受信手段によって受信された端末データをデコードするデコード手段とを具備する配信サーバとの間で、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う通信端末であって、
前記配信サーバから送信された配信データを受信する配信データ受信手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、
前記識別手段によって、前記通信モードが高品質モードであると識別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力し、低遅延モードであると識別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、
前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、
前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段と、
前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段と
を具備し、
前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする通信端末。