JP2009089157A - Distribution system and method - Google Patents
Distribution system and method Download PDFInfo
- Publication number
- JP2009089157A JP2009089157A JP2007257816A JP2007257816A JP2009089157A JP 2009089157 A JP2009089157 A JP 2009089157A JP 2007257816 A JP2007257816 A JP 2007257816A JP 2007257816 A JP2007257816 A JP 2007257816A JP 2009089157 A JP2009089157 A JP 2009089157A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- communication
- data
- distribution
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、配信サーバと通信端末へのデータの配信、および配信サーバと通信端末との利用者間におけるコミュニケーションを行うための技術に関する。 The present invention relates to a technique for distributing data to a distribution server and a communication terminal and communicating between users of the distribution server and the communication terminal.
テレビ放送などの映像、音声を配信するシステムは、一般的には配信側と受信側とが入れ替わることがないため、遅延を許容することにより高品質な映像、音声のデータを配信することができる。一方、このような遅延を許容するシステムにおいて、配信側と受信側においてコミュニケーションを行おうとすると、高品質な映像、音声によるコミュニケーションができたとしても、その遅延の影響からリアルタイム性が確保できず、コミュニケーションの品質としては、非常に悪いものとなってしまう。このような遅延の影響を受けないようにするために、遅延を許容する配信経路とは別の遅延の少ない通信経路を設けて、遅延の少ないコミュニケーションを行う技術が開示されている（例えば、特許文献１）。
しかし、このような方法では、遅延を許容するシステムと遅延が少ないシステムを単に組み合わせただけであり、別経路を利用する通信を実現するためには、ハードウエアの追加などシステムコストの増大につながっていた。 However, with such a method, a system that allows delay and a system with low delay are simply combined, and in order to realize communication using another route, it leads to an increase in system cost such as addition of hardware. It was.
本発明は、上述の事情に鑑みてなされたものであり、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and provides a distribution system and a distribution method capable of distributing high-quality data and performing high-real-time communication using the distribution route. The purpose is to do.
上述の課題を解決するため、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムにおいて、前記配信サーバは、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード手段と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、前記選択手段によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段と、前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信手段と、前記端末データ受信手段によって受信された端末データをデコードするデコード手段とを具備し、前記通信端末は、前記配信サーバから送信された配信データを受信する配信データ受信手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、前記配信サーバから送信される特定情報を受信する特定情報受信手段と、前記特定情報受信手段が受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別手段と、前記識別手段によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力する一方、前記識別手段によって低遅延モードであると識別され、前記判別手段によって自端末であると判別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、前記判別手段が自端末であると判別した場合であって、前記識別手段によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段とを具備することを特徴とする配信システムを提供する。 In order to solve the above-described problem, the present invention provides a distribution system including a distribution server that performs communication in a communication mode of a high quality mode or a low delay mode via a communication network, and a plurality of communication terminals. , Distribution data input means for inputting distribution data in a streaming format indicating at least one of video and audio, and high quality for encoding the distribution data input to the distribution data input means in a first processing time An encoding unit; a low-delay encoding unit that encodes the distribution data input to the distribution data input unit in a processing time equal to or less than the first processing time; and a high-quality mode or a low-delay as the communication mode. Selection means for selecting one of the modes, and when the high quality mode is selected as the communication mode, The distribution data encoded by the encoding means is transmitted to the communication terminal, and the distribution data encoded by the low delay encoding means is transmitted to the communication terminal when the low delay mode is selected. A data transmission unit; and a specific information transmission unit that generates and transmits specific information for identifying one or more communication terminals among the plurality of communication terminals when the low delay mode is selected by the selection unit; Terminal data receiving means for receiving terminal data transmitted from a communication terminal specified by the specifying information, and decoding means for decoding terminal data received by the terminal data receiving means, the communication terminal comprising: Distribution data receiving means for receiving distribution data transmitted from the distribution server, and distribution data receiving means High quality decoding means for decoding the distribution data received in the second processing time, and processing time shorter than the second processing time for the distribution data received by the distribution data receiving means A low-delay decoding means for performing decoding at the time, an identification means for identifying whether the communication mode is a high-quality mode or a low-delay mode, a specific information receiving means for receiving specific information transmitted from the distribution server, Determining means for determining whether or not the communication terminal specified by the specific information received by the specific information receiving means is its own terminal, and when the communication mode is identified as the high quality mode by the identification means, Alternatively, when the low-delay mode is identified and it is determined that the terminal is not the terminal itself, the high-quality decoding unit performs decoding. The distribution data decoded by the low-delay decoding means when the identification means identifies the low-delay mode and the discrimination means determines that the terminal is the terminal itself. Output means for outputting, terminal data input means for inputting terminal data in a streaming format indicating at least one of video and audio, and encoding means for encoding the terminal data input to the terminal data input means And when the determining means determines that the terminal is the own terminal, and the identifying means determines that the communication mode is the low delay mode, the terminal data encoded by the encoding means is A distribution system comprising terminal data transmission means for transmitting to the distribution server Subjected to.
また、別の好ましい態様において、前記配信サーバは、前記選択手段によって選択された高品質モードまたは低遅延モードを示す選択情報を送信する選択情報送信手段をさらに具備し、前記識別手段は、前記配信サーバから送信された選択情報を受信し、当該受信した選択情報に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別してもよい。 In another preferable aspect, the distribution server further includes selection information transmission means for transmitting selection information indicating the high quality mode or the low delay mode selected by the selection means, and the identification means includes the distribution means. The selection information transmitted from the server may be received, and whether the communication mode is the high quality mode or the low delay mode may be identified based on the received selection information.
また、別の好ましい態様において、前記通信端末は、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段をさらに具備し、前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別してもよい。 In another preferable aspect, the communication terminal further includes an analysis unit that analyzes a method of encoding the distribution data received by the distribution data reception unit, and the identification unit is based on an analysis result of the analysis unit. Thus, it may be identified whether the communication mode is a high quality mode or a low delay mode.
また、別の好ましい態様において、前記識別手段は、前記配信サーバから送信された特定情報を受信した場合には、前記通信モードが低遅延モードであると識別してもよい。 In another preferable aspect, the identification unit may identify that the communication mode is a low-delay mode when receiving the specific information transmitted from the distribution server.
また、別の好ましい態様において、前記低遅延エンコード手段におけるエンコードは、前記配信データ入力手段に入力された配信データに、前記デコード手段がデコードした端末データを合成して生成される配信データに対して行われてもよい。 In another preferred aspect, the low delay encoding means encodes the distribution data generated by synthesizing the terminal data decoded by the decoding means with the distribution data input to the distribution data input means. It may be done.
また、別の好ましい態様において、前記高品質デコード手段は、前記配信データ受信手段によって受信された配信データを所定のデータ量のバッファをし、当該バッファされたデータのデコードを行い、前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行ってもよい。 In another preferred aspect, the high quality decoding means buffers the distribution data received by the distribution data receiving means with a predetermined amount of data, decodes the buffered data, and performs the low delay decoding. The means may buffer the distribution data received by the distribution data receiving means with a data amount smaller than the predetermined data amount, and decode the buffered data.
また、別の好ましい態様において、前記識別手段によって前記通信モードが低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段がデコードを行うときの処理時間について、第２の処理時間に所定の時間の加算をした処理時間となるように遅延制御する遅延手段をさらに具備してもよい。 In another preferred aspect, when the communication means is identified as the low-delay mode by the identifying means, and the high-quality decoding means performs decoding when it is determined by the determining means that the communication mode is not its own terminal. The processing time may be further provided with a delay means for controlling the delay so that the processing time becomes a processing time obtained by adding a predetermined time to the second processing time.
また、別の好ましい態様において、前記遅延手段が遅延制御する所定の時間は、前記配信サーバの高品質エンコード手段においてエンコードを行う処理時間から、前記低遅延エンコード手段においてエンコードを行う処理時間を引いた時間であってもよい。 In another preferred aspect, the predetermined time for which the delay means performs delay control is obtained by subtracting the processing time for encoding in the low-delay encoding means from the processing time for encoding in the high-quality encoding means of the distribution server. It may be time.
また、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムに用いられる配信方法であって、前記配信サーバにおいて用いられる方法は、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、前記配信データ入力過程に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード過程と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、前記選択過程によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信過程と、前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信過程と、前記端末データ受信過程によって受信された端末データをデコードするデコード過程とを備え、前記通信端末は、前記配信サーバから送信された配信データを受信する配信データ受信過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、前記配信サーバから送信される特定情報を受信する特定情報受信過程と、前記特定情報受信過程において受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別過程と、前記識別過程によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別過程によって自端末でないと判別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力する一方、前記識別過程によって低遅延モードであると識別され、前記判別過程によって自端末であると判別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、前記判別過程において自端末であると判別した場合であって、前記識別過程によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程とを備えることを特徴とする配信方法を提供する。 The present invention is also a distribution method for use in a distribution system having a distribution server and a plurality of communication terminals that communicate in a communication mode of a high quality mode or a low delay mode via a communication network, the distribution server The method used in the method is a distribution data input process in which distribution data in a streaming format indicating at least one of video and audio is input, and a first processing time for the distribution data input in the distribution data input process. A high-quality encoding process for encoding, a low-delay encoding process for encoding the distribution data input in the distribution data input process in a processing time equal to or shorter than the first processing time, and the communication mode A selection process for selecting either a quality mode or a low delay mode, and a high quality mode is selected as the communication mode. When selected, the distribution data encoded by the high quality encoding process is transmitted to the communication terminal, and when the low delay mode is selected, the encoding is performed by the low delay encoding process. When the low-delay mode is selected by the distribution data transmission process for transmitting the distribution data to the communication terminal and the selection process, specific information for specifying one or more communication terminals among the plurality of communication terminals is generated Specific information transmission process, terminal data reception process for receiving terminal data transmitted from a communication terminal specified by the specific information, and decoding process for decoding terminal data received by the terminal data reception process The communication terminal receives distribution data transmitted from the distribution server; and A high quality decoding process for decoding the distribution data received in the distribution data receiving process in a second processing time, and a second processing time for the distribution data received in the distribution data receiving process A low delay decoding process for decoding in a shorter processing time, an identification process for identifying whether the communication mode is a high quality mode or a low delay mode, and a specification for receiving specific information transmitted from the distribution server An information reception process, a determination process for determining whether or not the communication terminal specified by the specific information received in the specific information reception process is the own terminal, and the communication process is identified as the high quality mode by the identification process If it is determined that the terminal is in the low-delay mode and it is determined that the terminal is not its own terminal by the determination process, the high-quality decoding is performed. Output the delivery data decoded by the process, while the low delay mode is identified when the identification process identifies the low-delay mode and the discrimination process determines that the terminal is the terminal itself. An output process for outputting distribution data decoded by the terminal, a terminal data input process for inputting terminal data in a streaming format indicating at least one of video and audio, and a terminal data input in the terminal data input process. On the other hand, when it is determined that the terminal is an own terminal in the encoding process for performing encoding and the determining process, and the communication mode is identified as the low delay mode by the identifying process, the encoding process Terminal data transmission overload that transmits the encoded terminal data to the distribution server It provides a delivery method characterized in that it comprises bets.
本発明によれば、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することができる。 According to the present invention, it is possible to provide a distribution system and a distribution method capable of distributing high-quality data and performing highly real-time communication using the distribution route.
以下、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described.
＜実施形態＞
本発明の実施形態に係る配信システムは、図１に示すように、配信サーバ１および複数の通信端末として通信端末２−Ａ、２−Ｂを有する。以下、通信端末２−Ａと通信端末２−Ｂを区別しない場合には、単に通信端末２という。配信サーバ１と通信端末２とは、通信網１０００を介して接続され、各種データの送受信を行う。また、配信サーバ１は、複数の通信端末２に対して、マルチキャストでの通信を行うことができる。
<Embodiment>
As shown in FIG. 1, the distribution system according to the embodiment of the present invention includes a distribution server 1 and communication terminals 2-A and 2-B as a plurality of communication terminals. Hereinafter, when the communication terminal 2-A and the communication terminal 2-B are not distinguished, they are simply referred to as the
配信サーバ１のハードウエアの構成について、図２を用いて説明する。図２は、配信サーバ１のハードウエアの構成を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、記憶部１２に記憶されたプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行する。これにより、ＣＰＵ１１が、バス１０を介して、配信サーバ１の各部について制御する。また、ＲＡＭ１３は、ＣＰＵ１１が各データの加工などを行う際のワークエリアとして機能する。
The hardware configuration of the distribution server 1 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a hardware configuration of the distribution server 1. A CPU (Central Processing Unit) 11 loads a program stored in the
記憶部１２は、ハードディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、不揮発性メモリなどの記憶手段であって、上述したプログラム、各種情報を記憶する。
The
操作部１４は、例えばキーボード、マウス、リモコンなどであり、配信サーバ１の利用者が操作部１４を操作すると、その操作内容を表す情報がＣＰＵ１１へ出力される。また、操作部１４には、高品質モードまたは低遅延モードのいずれかを通信モードとして選択するためのスイッチが設けられ、利用者によって選択されたモードを示す選択情報を出力する。通信モードについては後述する。さらに、操作部１４は、後述するように、通信モードが低遅延モードとして選択されているときに、どの通信端末２から映像データと音声データとを受信するかを利用者が操作部１４を操作することにより特定し、特定した通信端末２を示す特定情報を出力する。
The
表示部１５は、液晶ディスプレイなどの表示デバイスであって、ＣＰＵ１１によって入力される映像データに基づいて表示を行う。また、ＣＰＵ１１の制御に基づいて、配信サーバ１を操作するためのメニュー画面などの各種画面を表示する。
The
音声出力部１６は、スピーカなどの放音手段を有し、入力される音声データに基づいて放音する。
The
映像入力部１７は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などのイメージセンサを有し、イメージセンサの撮影内容に基づいた映像データ（以下、入力映像データという）を生成して出力する。
The
音声入力部１８は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたオーディオデータ（以下、入力音声データという）を生成して出力する。
The
通信部１９は、有線、無線などによって、通信網１０００を介して通信端末２とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部１９は、通信端末２へ選択情報、特定情報などの各種情報も送信し、後述する接続依頼情報を通信端末２から受信する。以上が配信サーバ１のハードウエアの構成の説明である。
The
次に、通信端末２のハードウエアの構成について説明する。通信端末２は、図２に示す配信サーバ１のハードウエアの構成と同様な構成であり、図示を省略する。ここで、配信サーバ１と区別するために、通信端末２が有するハードウエアの構成については、以下、バス２０、ＣＰＵ２１、記憶部２２、ＲＡＭ２３、操作部２４、表示部２５、音声出力部２６、映像入力部２７、音声入力部２８および通信部２９という。
Next, the hardware configuration of the
操作部２４は、例えばキーボード、マウス、リモコンなどであり、通信端末２の利用者が操作部２４を操作すると、その操作内容を表す情報がＣＰＵ２１へ出力される。また、操作部２４は、利用者によって操作されることにより、配信サーバ１に映像データ、音声データを送信したい旨、および自端末を示す接続依頼情報を生成して出力する。
The operation unit 24 is, for example, a keyboard, a mouse, a remote controller, and the like. When a user of the
通信部２９は、有線、無線などによって、通信網１０００を介して配信サーバ１とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部２９は、配信サーバから選択情報、特定情報などの各種情報を受信し、接続依頼情報を配信サーバ１に送信する。
The
通信端末２の操作部２４、通信部２９以外の構成については、配信サーバ１と同様な機能を有しているため、その説明を省略する。
The components other than the operation unit 24 and the
次に、配信サーバ１のＣＰＵ１１が、記憶部１２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図３を用いて説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
Next, among functions realized by the
映像デコード部１０１は、通信端末２から送信され、通信部１９によって受信される映像データ（以下、端末映像データという）が、通信部１９から入力される。この端末映像データは、後述するように通信端末２において所定のエンコードが行われた映像データである。映像デコード部１０１は、入力された端末映像データに対してデコードを行って出力映像データを生成し、表示部１５に出力することによって、出力映像データに係る映像を表示部１５に表示させる。また、出力映像データは、映像合成部１０３にも出力される。このように、映像デコード部１０１が、所定のエンコードに対応するデコードを端末映像データに対して行うことにより、出力映像データを生成し出力する。
The
音声デコード部１０２は、通信端末２から送信され、通信部１９によって受信される音声データ（以下、端末音声データという）が、通信部１９から入力される。この端末音声データは、後述するように通信端末２において所定のエンコードが行われた音声データである。音声デコード部１０２は、入力された端末音声データに対してデコードを行って出力音声データを生成し、音声出力部１６に出力することによって、出力音声データに係る音声を音声出力部１６から放音させる。また、出力音声データは、音声合成部１０４にも出力される。このように、音声デコード部１０２が、所定のエンコードに対応するデコードを端末音声データに対して行うことにより、出力音声データを生成し出力する。
The
映像合成部１０３は、映像入力部１７から出力される入力映像データと、映像デコード部１０１から出力された出力映像データとを合成して合成映像データを生成し、映像エンコード部１０５に出力する。入力映像データと出力映像データとの合成は、例えば、入力映像データに係る映像に対して、出力映像データに係る映像をスーパーインポーズするような態様としてもよいし、合成映像データに係る映像を表示部１５に表示させた場合に、その画面を分割して、双方の映像が表示されるような態様としてもよい。なお、映像デコード部１０１から出力映像データが入力されない場合には、入力映像データをそのまま映像エンコード部１０５に出力するようにすればよい。
The
音声合成部１０４は、音声入力部１８から出力される入力音声データと、音声デコード部１０２から出力された出力音声データとを合成して合成音声データを生成し、音声エンコード部１０６に出力する。入力音声データと出力音声データとの合成は、例えば、入力音声データに係る音声に対して、出力音声データに係る音声をミキシングするような態様としてもよいし、合成音声データが複数チャンネルを有するようにして、入力音声データと出力音声データとを異なるチャンネルに割り当てるようにしてもよい。なお、音声デコード部１０２から出力音声データが入力されない場合には、入力音声データをそのまま音声エンコード部１０６に出力するようにすればよい。
The
映像エンコード部１０５は、映像合成部１０３から入力された合成映像データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信映像データを生成し、通信部１９に出力する。
The
音声エンコード部１０６は、音声合成部１０４から入力された合成音声データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信音声データを生成し、通信部１９に出力する。なお、操作部１４から出力された選択情報については、通信部１９にも出力される。
The
ここで、映像エンコード部１０５、音声エンコード部１０６の詳細の構成について、図４を用いて説明する。図４は、映像エンコード部１０５、音声エンコード部１０６の構成を示すブロック図である。
Here, detailed configurations of the
映像エンコード部１０５は、高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２を有する。高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２には、映像合成部１０３から合成映像データが入力されるとともに、選択情報が入力される。
The
高品質映像エンコード部１０５１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。一方、低遅延映像エンコード部１０５２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質映像エンコード部１０５１と同様に、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。
The high quality
高品質映像エンコード部１０５１と低遅延映像エンコード部１０５２とは、入力される合成映像データに対して行うエンコードの処理時間が異なり、高品質映像エンコード部１０５１における処理時間より、低遅延映像エンコード部１０５２における処理時間が短くなっている。すなわち、高品質映像エンコード部１０５１は、高品質なエンコードを行うために処理時間が長く、低遅延映像エンコード部１０５２は、高品質映像エンコード部１０５１におけるエンコードよりは低品質であるが、処理時間が短くなっている。
The high-quality
この品質の違いは、合成映像データに係る映像について、解像度、単位時間当たりのフレーム数、ビットレートなどが異なることによる違いであり、解像度が高いほど、フレーム数が大きいほど、ビットレートが高いほど、高品質な映像を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質映像エンコード部１０５１におけるエンコードを行う処理よりも、低遅延映像エンコード部１０５２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。
This difference in quality is due to the difference in resolution, the number of frames per unit time, the bit rate, etc., for the video related to the composite video data. The higher the resolution, the larger the number of frames, the higher the bit rate. Encoding to maintain high quality video. By performing such encoding with different degrees of quality, the processing performed by the low-delay
このようにして、映像エンコード部１０５は、映像合成部１０３から出力された合成映像データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成映像データに対して高品質なエンコードを行い、低遅延モードである場合には、合成映像データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信映像データを通信部１９に出力する。
In this way, the
音声エンコード部１０６は、高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２を有する。高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２には、音声合成部１０４から合成音声データが入力されるとともに、選択情報が入力される。
The
高品質音声エンコード部１０６１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。一方、低遅延音声エンコード部１０６２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質音声エンコード部１０６１と同様に、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。
The high-quality
高品質音声エンコード部１０６１と低遅延音声エンコード部１０６２とは、入力される合成音声データに対して行うエンコードの処理時間が異なり、高品質音声エンコード部１０６１における処理時間より、低遅延音声エンコード部１０６２における処理時間が短くなっている。すなわち、高品質音声エンコード部１０６１は、高品質なエンコードを行うために処理時間が長く、低遅延音声エンコード部１０６２は、高品質音声エンコード部１０６１におけるエンコードよりは低品質であるが、処理時間が短くなっている。
The high-quality
この品質の違いは、合成音声データに係る音声について、周波数帯域、サンプリング周波数、ビットレートなどが異なることによる違いであり、周波数帯域が広いほど、サンプリング周波数、ビットレートが高いほど、高品質な音声を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質音声エンコード部１０６１におけるエンコードを行う処理よりも、低遅延音声エンコード部１０６２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。
This difference in quality is due to the difference in frequency band, sampling frequency, bit rate, etc. for the voice related to the synthesized voice data. The wider the frequency band, the higher the sampling frequency and bit rate, the higher the quality of the sound. It becomes the encoding which maintains. By performing such encoding with different levels of quality, the processing performed by the low-delay
このようにして、音声エンコード部１０６は、音声合成部１０４から出力された合成音声データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成音声データに対して高品質なエンコードを行い、低遅延モードである場合には、合成音声データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信音声データを通信部１９に出力する。
In this way, when the synthesized speech data output from the
図３の説明に戻る。ＣＰＵ１１の制御によって、通信部１９は、映像エンコード部１０５から出力された配信映像データと、音声エンコード部１０６から出力された配信音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で各通信端末２に送信する。また、通信部１９からは、操作部１４から出力される選択情報、特定情報についても送信される。以上が、配信サーバ１のソフトウエアの構成についての説明である。
Returning to the description of FIG. Under the control of the
次に、通信端末２のＣＰＵ２１が、記憶部２２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図５を用いて説明する。図５は、ＣＰＵ２１が実現する機能を示したソフトウエアの構成を示すブロック図である。
Next, among functions realized by the CPU 21 of the
映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される配信映像データが、通信部２９から入力される。この配信映像データは、上述したように配信サーバ１において所定のエンコードが行われた映像データである。映像デコード部２０１は、入力された配信映像データに対して所定のデコードを行って出力映像データを生成し、表示部２５に出力することによって、出力映像データに係る映像を表示部２５に表示させる。また、映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される選択情報、特定情報についても、通信部２９から入力される。
The
音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される配信音声データが、通信部２９から入力される。この配信音声データは、上述したように配信サーバ１において所定のエンコードが行われた音声データである。音声デコード部２０２は、入力された配信音声データに対して所定のデコードを行って出力音声データを生成し、音声出力部２６に出力することによって、出力音声データに係る音声を音声出力部２６から放音させる。また、音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される選択情報、特定情報についても、通信部２９から入力される。
The
ここで、映像デコード部２０１、音声デコード部２０２の詳細の構成について、図６を用いて説明する。図６は、映像デコード部２０１、音声デコード部２０２の構成を示すブロック図である。
Here, detailed configurations of the
映像デコード部２０１は、高品質映像デコード部２０１１および低遅延映像デコード部２０１２を有する。高品質映像デコード部２０１１および低遅延映像デコード部２０１２には、通信部２９から配信映像データが入力されるとともに、選択情報、特定情報が入力される。
The
高品質映像デコード部２０１１は、選択情報が示す通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合に動作する。高品質モードであるときには、入力される配信映像データに対して、上述した配信サーバ１における高品質映像エンコード部１０５１においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。また、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合には、入力される配信映像データに対して、上述した配信サーバ１における低遅延映像エンコード部１０５２においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。このとき、特定情報が示す通信端末２が自端末であるか否かは、ＣＰＵ２１によって判別される。
The high quality
すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信映像データが、配信サーバ１の高品質映像エンコード部１０５１によってエンコードが行われたデータであると認識して、高品質映像デコード部２０１１を動作させ、そのエンコードに対応するデコードを行わせる。一方、低遅延モードであるときには、配信サーバ１の低遅延映像エンコード部１０５２によってエンコードが行われたデータであると認識するが、特定情報が示す通信端末２が自端末でない場合には、高品質映像デコード部２０１１を動作させ、そのエンコードに対応するデコードを行わせる。
That is, when the communication mode indicated by the selection information is the high quality mode, the input distribution video data is recognized as data encoded by the high quality
ここで、高品質映像エンコード部１０５１においてエンコードが行われた配信映像データに対してデコードを行うために要する処理時間と、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データに対してデコードを行うために要する処理時間とは、同じ処理時間になるように設定されている。
Here, the processing time required for decoding the distribution video data encoded by the high-quality
一方、低遅延映像デコード部２０１２は、選択情報が示す通信モードが低遅延モードであるときに特定情報が示す通信端末２が自端末である場合に動作し、入力される配信映像データに対して、上述した配信サーバ１における低遅延映像エンコード部１０５２においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信映像データが、配信サーバ１の低遅延映像エンコード部１０５２によってエンコードが行われたデータであると認識し、特定情報が示す通信端末２が自端末である場合には、低遅延映像デコード部２０１２を動作させ、そのエンコードに対応するデコードを行わせる。
On the other hand, the low-delay
高品質映像デコード部２０１１は、配信サーバ１の高品質映像エンコード部１０５１においてエンコードが行われた高品質な配信映像データに対してデコードを行うために処理時間が長い。一方、低遅延映像デコード部２０１２は、配信サーバ１の低遅延映像エンコード部１０５２においてエンコードが行われ、高品質映像エンコード部１０５１においてエンコードが行われた配信映像データよりは低品質である配信映像データに対してデコードを行うために、高品質映像デコード部２０１１における処理時間より短くなっている。ただし、上述したように、高品質映像デコード部２０１１において、配信サーバ１の低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データに対してデコードを行うときには、高品質映像エンコード部１０５１においてエンコードが行われた高品質な配信映像データに対してデコードを行うときと同じ処理時間になるようになっている。
The high quality
このように、高品質映像デコード部２０１１と低遅延映像デコード部２０１２とは、入力される配信映像データに対して行うデコードの処理時間が異なり、高品質映像デコード部２０１１における処理時間より、低遅延映像デコード部２０１２における処理時間が短くなっている。また、高品質映像デコード部２０１１においてデコードする際には、どのようなエンコードが行われた配信映像データであっても、同じ処理時間でデコードが行われるようになっている。
As described above, the high-quality
音声デコード部２０２は、高品質音声デコード部２０２１および低遅延音声デコード部２０２２を有する。高品質音声デコード部２０２１および低遅延音声デコード部２０２２には、通信部２９から配信音声データが入力されるとともに、選択情報、特定情報が入力される。
The
高品質音声デコード部２０２１は、選択情報が示す通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合に動作する。高品質モードであるときには、入力される配信音声データに対して、上述した配信サーバ１における高品質音声エンコード部１０６１においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。また、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合には、入力される配信音声データに対して、上述した配信サーバ１における低遅延音声エンコード部１０６２においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。
The high quality
すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信音声データが、配信サーバ１の高品質音声エンコード部１０６１によってエンコードが行われたデータであると認識して、高品質音声デコード部２０２１を動作させ、そのエンコードに対応するデコードを行わせる。一方、低遅延モードであるときには、配信サーバ１の低遅延音声エンコード部１０６２によってエンコードが行われたデータであると認識するが、特定情報が示す通信端末２が自端末でない場合には、高品質音声デコード部２０２１を動作させ、そのエンコードに対応するデコードを行わせる。
That is, when the communication mode indicated by the selection information is the high quality mode, the input distribution audio data is recognized as the data encoded by the high quality
ここで、高品質音声エンコード部１０６１においてエンコードが行われた配信音声データに対してデコードを行うために要する処理時間と、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データに対してデコードを行うために要する処理時間とは、同じ処理時間になるように設定されている。
Here, the processing time required for decoding the distribution audio data encoded by the high-quality
一方、低遅延音声デコード部２０２２は、選択情報が示す通信モードが低遅延モードであるときに特定情報が示す通信端末２が自端末である場合に動作し、入力される配信音声データに対して、上述した配信サーバ１における低遅延音声エンコード部１０６２においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信音声データが、配信サーバ１の低遅延音声エンコード部１０６２によってエンコードが行われたデータであると認識し、特定情報が示す通信端末２が自端末である場合には、低遅延音声デコード部２０２２を動作させ、そのエンコードに対応するデコードを行わせる。
On the other hand, the low-delay
高品質音声デコード部２０２１は、配信サーバ１の高品質音声エンコード部１０６１においてエンコードが行われた高品質な配信音声データに対してデコードを行うために処理時間が長い。一方、低遅延音声デコード部２０２２は、配信サーバ１の低遅延音声エンコード部１０６２においてエンコードが行われ、高品質音声エンコード部１０６１においてエンコードが行われた配信音声データよりは低品質である配信音声データに対してデコードを行うために、高品質音声デコード部２０２１における処理時間より短くなっている。ただし、上述したように、高品質音声デコード部２０２１において、配信サーバ１の低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データに対してデコードを行うときには、高品質音声エンコード部１０６１においてエンコードが行われた高品質な配信音声データに対してデコードを行うときと同じ処理時間になるようになっている。
The high quality
このように、高品質音声デコード部２０２１と低遅延音声デコード部２０２２とは、入力される配信音声データに対して行うデコードの処理時間が異なり、高品質音声デコード部２０２１における処理時間より、低遅延音声デコード部２０２２における処理時間が短くなっている。また、高品質音声デコード部２０２１においてデコードする際には、どのようなエンコードが行われた配信音声データであっても、同じ処理時間でデコードが行われるようになっている。
Thus, the high-quality
図５の説明に戻る。映像エンコード部２０５は、映像入力部２７から入力映像データが入力される。そして、入力映像データに対して所定のエンコードを行って端末映像データを生成し、通信部２９に出力する。この所定のエンコードは、本実施形態においては、配信サーバ１の低遅延映像エンコード部１０５２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。
Returning to the description of FIG. The
音声エンコード部２０６は、音声入力部２８から入力音声データが入力される。そして、入力音声データに対して所定のエンコードを行って端末音声データを生成し、通信部２９に出力する。この所定のエンコードは、映像エンコード部２０５と同様に、本実施形態においては、配信サーバ１の低遅延音声エンコード部１０６２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。
The
ここで、通信部２９が受信した特定情報が示す通信端末２が、自端末を示していることをＣＰＵ２１が認識した場合には、ＣＰＵ２１の制御によって、通信部２９は、映像エンコード部２０５から出力された端末映像データと、音声エンコード部２０６から出力された端末音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で配信サーバ１に送信する。
Here, when the CPU 21 recognizes that the
一方、特定情報が自端末以外の通信端末２を示していることを認識した場合には、端末映像データおよび端末音声データの送信を行わない。なお、この場合は、送信を行わないから、ＣＰＵ２１は、映像エンコード部２０５、音声エンコード部２０６の動作を停止させてもよいし、さらに映像入力部２７における入力映像データの生成、音声入力部２８における入力音声データの生成についても停止させてもよい。また、配信サーバ１がこの通信端末２からの端末映像データおよび端末音声データを受信しなければよいから、配信サーバ１の通信部１９が、特定情報が示す通信端末２以外の通信端末から端末映像データおよび端末音声データを受信しないように、ＣＰＵ１１が制御してもよい。以上が、通信端末２のソフトウエアの構成についての説明である。
On the other hand, when it is recognized that the specific information indicates a
次に、本発明の実施形態に係る配信システムの動作について説明する。この説明においては、通信端末２−Ａの利用者を利用者Ａ、通信端末２−Ｂの利用者を利用者Ｂ、配信サーバ１の利用者を利用者Ｃという。 Next, the operation of the distribution system according to the embodiment of the present invention will be described. In this description, the user of the communication terminal 2-A is called user A, the user of the communication terminal 2-B is called user B, and the user of the distribution server 1 is called user C.
利用者Ｃは、配信サーバ１が設置された音楽スタジオにおいて、楽器の生演奏（以下、ライブ演奏という）を行っている。このとき利用者Ｃは、操作部１４を操作して、通信モードを高品質モードとして選択する。
A user C performs a live performance of a musical instrument (hereinafter referred to as a live performance) in a music studio where the distribution server 1 is installed. At this time, the user C operates the
映像入力部１７において生成したライブ演奏を撮影した映像（以下、ライブ映像という）を示す入力映像データに対して、映像エンコード部１０５の高品質映像エンコード部１０５１においてエンコードが行われる。一方、音声入力部１８において生成したライブ演奏を録音した音声（以下、ライブ音声という）を示す入力音声データに対して、音声エンコード部１０６の高品質音声エンコード部１０６１においてエンコードが行われる。
The high-quality
そして、通信部１９は、ストリーミング形式で配信映像データおよび配信音声データを通信端末２−Ａ、２−Ｂに送信するとともに、通信モードが高品質モードとして選択されていることを示す選択情報を送信する。
Then, the
通信端末２−Ａ、２−Ｂの通信部２９は、選択情報、配信映像データおよび配信音声データを受信する。ＣＰＵ２１は、選択情報が示す通信モードが高品質モードであることを認識すると、映像デコード部２０１の高品質映像デコード部２０１１において配信映像データに対してデコードを行うように制御するとともに、音声デコード部２０２の高品質音声デコード部２０２１において配信音声データに対してデコードを行うように制御する。
The
これにより利用者Ａ、利用者Ｂは、表示部２５に表示されるライブ映像と、音声出力部２６から放音されるライブ音声とを楽しむことができる。このように、高品質モードにおいては、利用者Ｃのライブ演奏を利用者Ａ、利用者Ｂに対して配信するだけの一方向の放送型の通信であるから、配信サーバ１におけるエンコード、通信端末２−Ａ、２−Ｂにおけるデコードに処理時間を要することにより遅延が発生したとしても、利用者Ａ、利用者Ｂは、違和感を生じることがない。
Thereby, the user A and the user B can enjoy the live video displayed on the
そして、利用者Ｃはライブ演奏を終了して、利用者Ａ、利用者Ｂに対して、コミュニケーションをとってみないか映像入力部１７、音声入力部１８を介して提案する。これを受けて利用者Ａは、コミュニケーションをとりたい旨の意思を利用者Ｃに対して伝えるため、通信端末２−Ａの操作部２４を操作し、配信サーバ１に対して、端末映像データ、端末音声データを送信したい旨、および通信端末２−Ａを示す接続依頼情報を送信させる。
Then, the user C finishes the live performance and proposes to the users A and B via the
一方、配信サーバ１は、接続依頼情報を受信すると、ＣＰＵ１１は、接続依頼情報が示す通信端末が通信端末２−Ａであることを認識し、表示部１５に通信端末２−Ａからコミュニケーションをとりたい旨の意思表示があったことを示す表示をさせる。
On the other hand, when the distribution server 1 receives the connection request information, the
利用者Ｃは、その表示を確認することにより、コミュニケーションをとることを了解した場合には、利用者Ｃが操作部１４を操作することにより、通信端末２−Ａを特定する特定情報を生成させ、その特定情報を通信部１９から通信端末２−Ａに対して送信させる。また、このときに利用者Ｃが操作部１４を操作して、通信モードとして低遅延モードを選択し、低遅延モードが選択されていることを示す選択情報についても生成させて、その選択情報についても通信部１９から通信端末２−Ａ、２−Ｂに対して送信させる。なお、特定情報が生成されると、操作部１４を操作しなくても、あわせて低遅延モードが選択されていることを示す選択情報も生成されるようにしてもよいし、低遅延モードを示す選択情報は送信されず、特定情報の送信によって低遅延モードになったことを通信端末２に認識させてもよい。また、特定情報は、通信端末２−Ｂにも送信されるようにしてもよい。
When the user C confirms the display and understands that communication is to be performed, the user C operates the
これにより、特定情報が示す通信端末である通信端末２−Ａにおいては、利用者Ａを撮影した映像（以下、会話映像Ａという）を示す入力映像データが映像エンコード部２０５に入力され、入力映像データに対してエンコードを行うことによって生成された端末映像データが通信部２９から配信サーバ１に送信される。あわせて利用者Ａの音声（以下、会話音声Ａという）を録音した内容を示す入力音声データが音声エンコード部２０６に入力され、入力音声データに対してエンコードを行うことによって生成された端末音声データが通信部２９から配信サーバ１に送信される。
As a result, in the communication terminal 2-A which is the communication terminal indicated by the specific information, input video data indicating a video (hereinafter referred to as conversation video A) taken of the user A is input to the
配信サーバ１は、端末映像データと端末音声データとを受信すると、それぞれ、映像デコード部１０１、音声デコード部１０２においてデコードを行い、生成した出力映像データに基づいて表示部１５に会話映像Ａを表示させるとともに、生成した出力音声データに基づいて音声出力部１６から会話音声Ａを放音させる。
When the distribution server 1 receives the terminal video data and the terminal audio data, the distribution server 1 performs decoding in the
一方、映像合成部１０３には、出力映像データと、利用者Ｃを撮影した映像（以下、低遅延モードのときの映像を高品質モードのときの映像と区別して、会話映像Ｃという）を示す入力映像データとが入力される。これにより、会話映像Ｃの一部分に会話映像Ａがスーパーインポーズされた会話映像ＡＣを示す合成映像データが生成される。また、音声合成部１０４には、出力音声データと、利用者Ｃの音声（以下、低遅延モードのときの音声を高品質モードのときの音声と区別して、会話音声Ｃという）を示す入力音声データとが入力される。これにより、会話音声Ａと会話音声Ｃとがミキシングされた会話音声ＡＣを示す合成音声データが生成される。
On the other hand, the
通信モードが低遅延モードに切り替わることにより、映像エンコード部１０５、音声エンコード部１０６におけるエンコードの態様が切り替わり、配信サーバ１から送信される配信映像データは、低遅延映像エンコード部１０５２によって、会話映像ＡＣを示す合成映像データに対してエンコードが行われた映像データ、配信音声データは、低遅延音声エンコード部１０６２によって、会話音声ＡＣを示す合成音声データに対してエンコードが行われた音声データとなる。
When the communication mode is switched to the low delay mode, the encoding mode in the
そして、通信端末２−Ａにおいても、特定情報と選択情報とを受信することにより、映像デコード部２０１、音声デコード部２０２におけるデコードの態様が切り替わる。すなわち、配信サーバ１から送信される配信映像データは、低遅延映像デコード部２０１２でデコードが行われ、配信サーバ１から送信される配信音声データは、低遅延音声デコード部２０２２でデコードが行われることになる。これにより、通信端末２−Ａにおける表示部２５には、会話映像ＡＣが表示され、音声出力部２６からは会話音声ＡＣが放音される。ここで、低遅延モードにおいては、高品質モードにおける品質よりも低い品質であるかわりに低遅延とすることができるから、会話映像ＡＣ、会話音声ＡＣは、ライブ映像、ライブ音声に比べると、映像、音声の品質が低いものとなる一方、遅延を少なくすることができる。このため、利用者Ａと利用者Ｃとの間におけるコミュニケーションにおいて、遅延による違和感を生じさせないようにすることができる。このときに、コミュニケーションに求められる品質はライブ演奏を視聴するための品質に比べて低いものとなるから、会話映像ＡＣ、会話音声ＡＣが、ライブ映像、ライブ音声よりも品質が低かったとしても問題がない。
Also in the communication terminal 2-A, the decoding mode in the
一方、通信端末２−Ｂにおいては、特定情報と選択情報とを受信しても、特定情報が通信端末２−Ａを示しているから、映像デコード部２０１、音声デコード部２０２におけるデコードの態様は切り替わらない。すなわち、配信サーバ１から送信される配信映像データは、高品質映像デコード部２０１１でデコードが行われ、配信サーバ１から送信される配信音声データは、高品質音声デコード部２０２１でデコードが行われることになる。これにより、通信端末２−Ｂにおける表示部２５には、会話映像ＡＣが表示され、音声出力部２６からは会話音声ＡＣが放音される。
On the other hand, in the communication terminal 2-B, even if the specific information and the selection information are received, the specific information indicates the communication terminal 2-A. Therefore, the decoding mode in the
ここで、通信端末２−Ｂにおいては、通信端末２−Ａとは異なり、会話映像ＡＣ、会話音声ＡＣは、ライブ映像、ライブ音声に比べると、映像、音声の品質が低いものとなり、通信端末２−Ａと同様であるが、高品質映像デコード部２０１１、高品質音声デコード部２０２１においてデコードが行われているから、遅延時間は変わらない。しかし、利用者Ｂは、双方向通信における当事者ではないから、遅延が大きくても違和感を生じることはない。
Here, in the communication terminal 2-B, unlike the communication terminal 2-A, the conversation video AC and the conversation voice AC have lower video and audio quality than the live video and the live voice. Although it is the same as 2-A, since the high quality
また、通信端末２−Ａにおいては、高品質モードと低遅延モードとにおけるエンコードおよびデコードの処理時間の違いにより、切り替え時に遅延時間の不連続性が発生するが、通信端末２−Ｂにおいては、高品質モードと低遅延モードとの処理時間の違いが少なくなるから、この不連続性を低減させることができる。 Further, in the communication terminal 2-A, a delay time discontinuity occurs at the time of switching due to the difference in encoding and decoding processing time between the high quality mode and the low delay mode. Since the difference in processing time between the high quality mode and the low delay mode is reduced, this discontinuity can be reduced.
例えば、映像について言えば、高品質モードから低遅延モードに切り替わるときには、処理時間が短くなり遅延時間が減少するから、ライブ映像と会話映像とが重複し、いずれかを欠落させる必要性があるから、処理時間の違いの大きさによっては、不自然な表示の切り替わりとなる場合がある。また、低遅延モードから高品質モードに切り替わるときには、処理時間が長くなり遅延時間が増加するから、会話映像が終了した後にライブ映像に切り替わるまで待ち時間が必要となり、不自然な表示の切り替わりとなる場合がある。このような場合であっても、通信端末２−Ｂにおいては、デコードが行われるときの処理時間の違いがないから、配信サーバ１におけるエンコード時の処理時間の違いだけとなり、不連続性を低減させることができる。 For example, for video, when switching from high quality mode to low delay mode, the processing time is reduced and the delay time is reduced, so there is a need to overlap live video and conversation video, and to drop one of them. Depending on the size of the difference in processing time, an unnatural display may be switched. Also, when switching from the low delay mode to the high quality mode, the processing time increases and the delay time increases, so a waiting time is required until the live video is switched after the conversation video ends, resulting in an unnatural display switching. There is a case. Even in such a case, since there is no difference in processing time when decoding is performed in the communication terminal 2-B, there is only a difference in processing time during encoding in the distribution server 1, and discontinuity is reduced. Can be made.
このように、双方向通信の当事者ではない利用者Ｂは、通信モードが変更されても、通信端末２−Ｂの表示部２５の表示、音声出力部２６の放音について、品質が変更されたように感じるものの、切り替え時の不連続性が低減されているため、切り替え時の違和感を低減することができる。
As described above, the quality of the user B who is not a party of the two-way communication has been changed with respect to the display on the
そして、利用者Ａと利用者Ｃとのコミュニケーションが終了すると、利用者Ｃは、操作部１４を操作して、通信モードとして高品質モードを選択する。これにより、配信サーバ１の映像エンコード部１０５は、再び高品質映像エンコード部１０５１においてエンコードを行い、音声エンコード部１０６は、高品質音声エンコード部１０６１においてエンコードを行う。一方、通信端末２−Ａの映像デコード部２０１は、高品質映像デコード部２０１１においてデコードを行い、音声デコード部２０２は、高品質音声デコード部２０２１においてデコードを行う。
When the communication between the user A and the user C ends, the user C operates the
また、通信端末２−Ａの通信部２９から端末映像データ、端末音声データの送信が停止される。これにより、高品質であるが遅延が大きいライブ映像、ライブ音声を通信端末２−Ａ、２−Ｂにおいて視聴することができる。このときライブ映像、ライブ音声は、配信サーバ１から通信端末２−Ａ、２−Ｂに対する一方向の放送型の通信であるから、遅延が大きくても利用者Ａ、Ｂは違和感を生じることがなく、ライブ演奏を楽しむことができる。
In addition, transmission of terminal video data and terminal audio data from the
このように、本発明の配信システムは、通信モードとして、映像および音声の品質を優先して遅延を許容した高品質モード、低遅延であることを優先し、高品質モードより品質が低い低遅延モードを有し、高品質モードにおいては、配信サーバ１から各通信端末２に対して、放送型の一方向通信を行い、低遅延モードにおいては、配信サーバ１と特定の通信端末２との双方向通信によるコミュニケーションを実現する。
As described above, the distribution system of the present invention has a high quality mode in which delay is allowed with priority on video and audio quality as a communication mode, a low delay in which priority is given to low delay, and a lower quality than the high quality mode. In the high quality mode, broadcast type one-way communication is performed from the distribution server 1 to each
このとき、高品質モードにおいては、一方向通信であるから遅延を短くする必要はなく、各通信端末２において高品質な映像、音声の配信を受けることができる。また、低遅延モードにおいては、配信サーバ１と特定の通信端末２において双方向通信によるコミュニケーションを行うが、コミュニケーションには高品質な映像、音声は必要がなく、遅延を短くすることによりリアルタイム性の高い円滑なコミュニケーションを可能とし、利用者に違和感を生じさせないようにすることができる。さらに、特定の通信端末以外の通信端末２においては、一方向通信であるからリアルタイム性は必要とせず、遅延の大きい状態を維持することによって、高品質モードと低遅延モードとの切り替え時における違和感を低減することができる。
At this time, in the high quality mode, since it is a one-way communication, it is not necessary to shorten the delay, and each
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。 As mentioned above, although embodiment of this invention was described, this invention can be implemented in various aspects as follows.
＜変形例１＞
上述した実施形態においては、通信端末２は、映像デコード部２０１、音声デコード部２０２において行うデコードについて、受信した選択情報が示す通信モードが高品質モードであるか低遅延モードであるかを識別し、通信モードに応じた処理を行っていたが、通信モードの識別は、別の方法により行なってもよい。例えば、通信部２９において受信した配信映像データ、配信音声データのデータ内容を解析し、その解析結果から通信モードを識別するようにしてもよい。この場合は、通信端末の映像デコード部２０１、音声デコード部２０２は、図７に示すように、それぞれ映像データ解析部２０１３、音声データ解析部２０２３を有する構成とすればよい。
<Modification 1>
In the embodiment described above, the
映像データ解析部２０１３は、通信部２９が受信した配信映像データが入力され、その配信映像データを解析する。映像データ解析部２０１３は、この解析により配信映像データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質映像エンコード部１０５１においてエンコードが行われた配信映像データであるか、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データであるかについて識別することによって、通信モードが高品質モードであるか、低遅延モードであるかを識別する。また、映像データ解析部２０１３は、通信部２９が受信した特定情報が入力され、特定情報が示す通信端末が自端末であるか否かを判別する。
The video
そして、映像データ解析部２０１３は、識別した通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でないと判別した場合には、この配信映像データを高品質映像デコード部２０１１に出力する一方、低遅延モードであるときに特定情報が示す通信端末２が自端末であると判別した場合には、この配信映像データを低遅延映像デコード部２０１２に出力する。
Then, when the video
上記と同様に、音声データ解析部２０２３は、通信部２９が受信した配信音声データとが入力され、その配信音声データを解析する。音声データ解析部２０２３は、この解析により配信音声データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質音声エンコード部１０６１においてエンコードが行われた配信音声データであるか、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データであるかについて識別することによって、通信モードが高品質モードであるか、低遅延モードであるかを識別する。また音声データ解析部２０２３は、通信部２９が受信した特定情報が入力され、特定情報が示す通信端末が自端末であるか否かを判別する。
Similarly to the above, the audio
そして、音声データ解析部２０２３は、識別した通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でないと判別した場合には、この配信音声データを高品質音声デコード部２０２１に出力する一方、低遅延モードであるときに特定情報が示す通信端末２が自端末であると判別した場合には、この配信音声データを低遅延音声デコード部２０２２に出力する。
When the identified communication mode is the high quality mode or when the
このようにすると、通信端末２は、選択情報を受信しなくても、通信モードが高品質モードであるか低遅延モードであるかを識別することができる。なお、配信映像データ、配信音声データに付されるエンコード形式を示す情報は、それぞれ配信サーバ１の映像エンコード部１０５、音声エンコード部１０６におけるエンコードが行われるときに付されるようにすればよい。また、特定情報を受信する通信端末２においては、特定情報の受信によって低遅延モードになったことを識別し、それ以外の通信端末２においては、本変形例のようにして識別するようにしてもよい。
In this way, the
＜変形例２＞
上述した実施形態においては、配信サーバ１の表示部１５には、出力映像データが入力され、会話映像Ａが表示されるようになっていたが、映像合成部１０３において生成される合成映像データが入力されるようにしてもよい。このようにすると、表示部１５には、通信端末２の表示部２５に表示される映像と同様な会話映像ＡＣを表示させることができる。
<
In the embodiment described above, the output video data is input to the
＜変形例３＞
上述した実施形態においては、通信モードが低遅延モードであるときに行われる配信サーバ１と通信端末２との双方向通信は、特定情報が示す１つの通信端末２と行われていたが、特定情報が示す通信端末２は複数であってもよい。この場合には、複数の通信端末２から配信サーバ１に送信される端末映像データ、端末音声データについて、それぞれ映像デコード部１０１、音声デコード部１０２においてデコードを行い、映像合成部１０３、音声合成部１０４において、合成するようにすればよい。このように、低遅延モードにおいて行われる双方向通信は、複数の通信端末２と配信サーバ１との間で行なわれるようにしてもよい。ここで、表示部１５は、入力される出力映像データが複数の通信端末からのデータである場合には、画面を分割してそれぞれの出力映像データに係る映像が表示されるようにすればよい。
<Modification 3>
In the embodiment described above, the bidirectional communication between the distribution server 1 and the
＜変形例４＞
上述した実施形態においては、通信モードとして高品質モードを選択するか低遅延モードを選択するかは、利用者が配信サーバ１の操作部１４を操作することによって選択していたが、他の方法によって選択されるようにしてもよい。例えば、高品質モードである時間と低遅延モードである時間とを定めた時間情報を記憶部１２に記憶させ、この時間情報に基づいて、通信モードとして高品質モードまたは低遅延モードを選択するようにすればよい。このように、通信モードについては、様々な方法により選択することができる。
<Modification 4>
In the above-described embodiment, the user has selected whether to select the high quality mode or the low delay mode as the communication mode by operating the
＜変形例５＞
上述した実施形態においては、通信端末２から配信サーバ１に対して接続依頼情報を送信することにより、通信端末２の利用者が配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示を行っていたが、このような意思表示は他の方法で行なわれてもよい。例えば、通信端末２の映像入力部２７において撮影した映像に係る端末映像データを配信サーバ１に送信し、配信サーバ１の表示部１５にその映像を表示させることによって行なわれてもよい。また、映像入力部２７において利用者を静止画として撮影し、この静止画を示す端末静止画データを配信サーバ１に送信し、配信サーバ１の表示部１５にその静止画を表示させることによって行なわれてもよい。このように、通信端末２の利用者によって、配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示が行なわれればよいから、どのような方法によって行うようにしてもよい。なお、配信サーバ１の操作部１４の操作により生成される特定情報は、接続依頼情報を受信してから行う必要はなく、配信サーバ１の利用者が意思表示を求めないときには、接続依頼情報が通信端末２から送信されなくてもよい。
<Modification 5>
In the above-described embodiment, by transmitting connection request information from the
＜変形例６＞
上述した実施形態における通信端末２の映像デコード部２０１において、高品質映像デコード部２０１１と低遅延映像デコード部２０１２とのデコードを行うときの処理時間の違いは、入力された配信映像データのバッファ量が異なることによる処理時間の違いが含まれていてもよい。この場合、高品質映像デコード部２０１１は、入力された配信映像データを所定のデータ量のバッファをして、バッファされた配信映像データに対してデコードを行い、低遅延映像デコード部２０１２は、入力された配信映像データを高品質映像デコード部２０１１より少ないデータ量のバッファをして、バッファされた配信映像データに対してデコードを行なうようにすればよい。
<Modification 6>
In the
多くのデータ量をバッファすることにより、配信サーバ１と通信端末２との通信速度が一時的に悪化しても、配信映像データがバッファされているから、その映像が途切れることを防止し高品質な映像とすることができる。一方、低遅延モードにおいては、品質よりも低遅延であることが優先されるから、通信速度の悪化によって映像が若干途切れて品質が悪化しても、低遅延を維持することによりコミュニケーションを円滑に行うことができる。本変形例においては、映像デコード部２０１について説明を行ったが、音声デコード部２０２についても同様である。
By buffering a large amount of data, even if the communication speed between the distribution server 1 and the
＜変形例７＞
上述した実施形態においては、高品質映像エンコード部１０５１におけるエンコードを行う処理時間より、低遅延映像エンコード部１０５２におけるエンコードを行う処理時間が短くなっていたが、処理時間が同じになるようにしてもよい。この場合には、実施形態における高品質映像エンコード部１０５１に係る処理時間から、低遅延映像エンコード部１０５２に係る処理時間を引いた時間を、低遅延映像エンコード部１０５２に係る処理時間に加算させればよい。この加算は、合成映像データに対して遅延を行うことによって実現してもよいし、配信映像データを通信部１９に出力する前に遅延を行うことによって実現してもよい。このようにすると、特定情報が示す通信端末でない通信端末２において、高品質モードと低遅延モードと切り替わったときの不連続性をなくすことができる。本変形例においては、映像エンコード部１０５について説明を行ったが、音声エンコード部１０６についても同様である。
<Modification 7>
In the above-described embodiment, the processing time for encoding in the low-delay
また、高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２におけるエンコードを行う処理時間については、実施形態における処理時間とし、高品質映像エンコード部１０５１に係る処理時間から、低遅延映像エンコード部１０５２に係る処理時間を引いた時間、すなわち低遅延モードに切り替わることによるエンコードの処理時間の短縮時間を、通信端末２の高品質映像デコード部２０１１に係る処理時間に加算してもよい。そして、処理時間の加算は、低遅延モードであるときに特定情報が示す通信端末が自端末でない場合に、行なわれるようにすればよい。この加算は、配信映像データに対して遅延を行うことによって実現してもよいし、出力映像データを表示部２５に出力する前に遅延を行うことによって実現してもよい。このようにしても、特定情報が示す通信端末でない通信端末２において、高品質モードと低遅延モードと切り替わったときの不連続性をなくすことができる。これは、高品質音声デコード部２０２１についても同様である。
The processing time for performing the encoding in the high quality
＜変形例８＞
上述した実施形態においては、特定情報が示す通信端末でない通信端末２は、低遅延モードであっても、映像デコード部２０１において高品質映像デコード部２０１１によってデコードを行っていたが、低遅延映像デコード部２０１２によってデコードを行うようにしてもよい。この場合は、高品質映像デコード部２０１１におけるデコードを行う処理時間から、低遅延映像デコード部２０１２におけるデコードを行う処理時間を引いた時間を、低遅延映像デコード部２０１２に係る処理時間に加算させればよい。そして、処理時間の加算は、低遅延モードであるときに特定情報が示す通信端末が自端末でない場合に、行われるようにして、それ以外の場合には、加算を行なわないようにすればよい。この加算は、配信映像データに対して遅延を行うことによって実現してもよいし、出力映像データを表示部２５に出力する前に遅延を行うことによって実現してもよい。このようにしても、実施形態と同様に、高品質モードと低遅延モードとの切り替えの際の不連続性を低減することができる。本変形例においては、映像デコード部２０１について説明を行ったが、音声デコード部２０２についても同様である。
<
In the above-described embodiment, the
１…配信サーバ、２，２−Ａ，２−Ｂ…通信端末、１０，２０…バス、１１，２１…ＣＰＵ、１２，２２…記憶部、１３，２３…ＲＡＭ、１４，２４…操作部、１５，２５…表示部、１６，２６…音声出力部、１７，２７…映像入力部、１８，２８…音声入力部、１９，２９…通信部、１０１，２０１…映像デコード部、２０１１…高品質映像デコード部、２０１２…低遅延映像デコード部、２０１３…映像データ解析部、１０２，２０２…音声デコード部、２０２１…高品質音声デコード部、２０２２…低遅延音声デコード部、２０２３…音声データ解析部、１０３…映像合成部、１０４…音声合成部、１０５，２０５…映像エンコード部、１０５１…高品質映像エンコード部、１０５２…低遅延映像エンコード部、１０６，２０６…音声エンコード部、１０６１…高品質音声エンコード部、１０６２…低遅延音声エンコード部、１０００…通信網
DESCRIPTION OF SYMBOLS 1 ... Distribution server, 2, 2-A, 2-B ...
Claims (9)
前記配信サーバは、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、
前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、
前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード手段と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、
前記選択手段によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段と、
前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信手段と、
前記端末データ受信手段によって受信された端末データをデコードするデコード手段と
を具備し、
前記通信端末は、
前記配信サーバから送信された配信データを受信する配信データ受信手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、
前記配信サーバから送信される特定情報を受信する特定情報受信手段と、
前記特定情報受信手段が受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別手段と、
前記識別手段によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力する一方、前記識別手段によって低遅延モードであると識別され、前記判別手段によって自端末であると判別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、
前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、
前記判別手段が自端末であると判別した場合であって、前記識別手段によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段と
を具備する
ことを特徴とする配信システム。 In a distribution system having a distribution server and a plurality of communication terminals that perform communication in a communication mode of high quality mode or low delay mode via a communication network,
The distribution server
Distribution data input means for inputting distribution data in a streaming format indicating at least one of video and audio;
High-quality encoding means for encoding the delivery data input to the delivery data input means in a first processing time;
Low-delay encoding means for encoding the delivery data input to the delivery data input means in a processing time equal to or shorter than the first processing time;
Selection means for selecting either the high quality mode or the low delay mode as the communication mode;
When the high quality mode is selected as the communication mode, the delivery data encoded by the high quality encoding means is transmitted to the communication terminal, and when the low delay mode is selected, the low delay mode is selected. Distribution data transmission means for transmitting distribution data encoded by the encoding means to the communication terminal;
Specific information transmitting means for generating and transmitting specific information for specifying one or more communication terminals among the plurality of communication terminals when the low delay mode is selected by the selection means;
Terminal data receiving means for receiving terminal data transmitted from the communication terminal specified by the specifying information;
Decoding means for decoding terminal data received by the terminal data receiving means,
The communication terminal is
Distribution data receiving means for receiving distribution data transmitted from the distribution server;
High-quality decoding means for decoding the distribution data received by the distribution data receiving means in a second processing time;
Low-delay decoding means for decoding the delivery data received by the delivery data receiving means in a processing time shorter than a second processing time;
Identifying means for identifying whether the communication mode is a high quality mode or a low delay mode;
Specific information receiving means for receiving specific information transmitted from the distribution server;
Determining means for determining whether or not the communication terminal specified by the specific information received by the specific information receiving means is its own terminal;
When the communication unit is identified as the high-quality mode by the identifying unit, or when the communication unit is identified as the low-delay mode and is determined not to be the own terminal by the determining unit, the high-quality decoding unit While the delivery data decoded by is output by the identification means and is identified as the low-delay mode by the identification means, and is determined by the discrimination means to be the terminal itself, the decoding is performed by the low-delay decoding means An output means for outputting the delivery data performed;
Terminal data input means for inputting terminal data in a streaming format indicating at least one of video and audio;
Encoding means for encoding the terminal data input to the terminal data input means;
When the determining means determines that the terminal is the own terminal and the communication means is identified as the low delay mode by the identifying means, the terminal data encoded by the encoding means is distributed. Terminal data transmission means for transmitting to a server.
前記識別手段は、前記配信サーバから送信された選択情報を受信し、当該受信した選択情報に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする請求項１に記載の配信システム。 The distribution server further comprises selection information transmission means for transmitting selection information indicating the high quality mode or the low delay mode selected by the selection means,
The identification means receives selection information transmitted from the distribution server, and identifies whether the communication mode is a high quality mode or a low delay mode based on the received selection information. The distribution system according to claim 1.
前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする請求項１に記載の配信システム。 The communication terminal further comprises analysis means for analyzing a method of encoding the distribution data received by the distribution data receiving means,
The distribution system according to claim 1, wherein the identification unit identifies whether the communication mode is a high quality mode or a low delay mode based on an analysis result of the analysis unit.
ことを特徴とする請求項１に記載の配信システム。 The distribution system according to claim 1, wherein the identification unit identifies that the communication mode is a low-delay mode when receiving the specific information transmitted from the distribution server.
ことを特徴とする請求項１乃至請求項４のいずれかに記載の配信システム。 The encoding in the low-delay encoding unit is performed on distribution data generated by combining terminal data decoded by the decoding unit with distribution data input to the distribution data input unit. The distribution system according to any one of claims 1 to 4.
前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行う
ことを特徴とする請求項１乃至請求項５のいずれかに記載の配信システム。 The high-quality decoding means buffers the distribution data received by the distribution data receiving means with a predetermined amount of data, decodes the buffered data,
The low-delay decoding unit buffers the distribution data received by the distribution data receiving unit with a data amount smaller than the predetermined data amount, and decodes the buffered data. The distribution system according to claim 5.
をさらに具備することを特徴とする請求項１乃至請求項６のいずれかに記載の配信システム。 When the identification unit identifies that the communication mode is a low delay mode and the determination unit determines that the communication mode is not a local terminal, the processing time when the high-quality decoding unit performs decoding is set to a second The distribution system according to any one of claims 1 to 6, further comprising delay means for performing delay control so as to be a processing time obtained by adding a predetermined time to the processing time.
ことを特徴とする請求項７に記載の配信システム。 The predetermined time for which the delay means performs delay control is a time obtained by subtracting the processing time for encoding in the low-delay encoding means from the processing time for encoding in the high-quality encoding means of the distribution server. The distribution system according to claim 7.
前記配信サーバにおいて用いられる方法は、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、
前記配信データ入力過程に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、
前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード過程と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、
前記選択過程によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信過程と、
前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信過程と、
前記端末データ受信過程によって受信された端末データをデコードするデコード過程と
を備え、
前記通信端末は、
前記配信サーバから送信された配信データを受信する配信データ受信過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、
前記配信サーバから送信される特定情報を受信する特定情報受信過程と、
前記特定情報受信過程において受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別過程と、
前記識別過程によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別過程によって自端末でないと判別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力する一方、前記識別過程によって低遅延モードであると識別され、前記判別過程によって自端末であると判別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、
前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、
前記判別過程において自端末であると判別した場合であって、前記識別過程によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程と
を備える
ことを特徴とする配信方法。 A distribution method used in a distribution system having a distribution server and a plurality of communication terminals that perform communication in a communication mode of a high quality mode or a low delay mode via a communication network,
The method used in the distribution server is:
A distribution data input process in which distribution data in a streaming format indicating at least one of video and audio is input;
A high-quality encoding process for encoding the distribution data input in the distribution data input process in a first processing time;
A low delay encoding process for encoding the distribution data input in the distribution data input process in a processing time equal to or shorter than the first processing time;
A selection process for selecting either the high quality mode or the low delay mode as the communication mode;
When the high quality mode is selected as the communication mode, the distribution data encoded by the high quality encoding process is transmitted to the communication terminal, and when the low delay mode is selected, the low delay mode is selected. A distribution data transmission process for transmitting distribution data encoded by an encoding process to the communication terminal;
A specific information transmission process for generating and transmitting specific information for specifying one or more communication terminals among the plurality of communication terminals when a low delay mode is selected by the selection process;
A terminal data receiving process for receiving terminal data transmitted from the communication terminal specified by the specifying information;
A decoding process for decoding terminal data received by the terminal data receiving process,
The communication terminal is
A distribution data receiving process for receiving distribution data transmitted from the distribution server;
A high quality decoding process for decoding the distribution data received by the distribution data receiving process in a second processing time;
A low-delay decoding process for decoding the distribution data received by the distribution data receiving process in a processing time shorter than a second processing time;
An identification process for identifying whether the communication mode is a high quality mode or a low delay mode;
Specific information receiving process for receiving specific information transmitted from the distribution server;
A determination process for determining whether or not the communication terminal specified by the specific information received in the specific information reception process is its own terminal;
When the communication mode is identified as the high quality mode by the identification process, or when the communication mode is identified as the low delay mode and is determined not to be the terminal by the determination process, the high quality decoding process is performed. In the case where the delivery data decoded by step S3 is output, while the low delay mode is identified by the identification process and the terminal is determined to be the terminal by the determination process, the decoding is performed by the low delay decoding process. An output process for outputting the delivery data performed;
A terminal data input process in which terminal data in a streaming format indicating at least one of video and audio is input;
An encoding process for encoding the terminal data input in the terminal data input process;
When it is determined that the terminal is the own terminal in the determination process, and the communication mode is identified as the low delay mode by the identification process, the terminal data encoded by the encoding process is distributed A terminal data transmission process for transmitting to a server.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007257816A JP5369418B2 (en) | 2007-10-01 | 2007-10-01 | Distribution system, distribution method, and communication terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007257816A JP5369418B2 (en) | 2007-10-01 | 2007-10-01 | Distribution system, distribution method, and communication terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009089157A true JP2009089157A (en) | 2009-04-23 |
| JP5369418B2 JP5369418B2 (en) | 2013-12-18 |
Family
ID=40661939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007257816A Expired - Fee Related JP5369418B2 (en) | 2007-10-01 | 2007-10-01 | Distribution system, distribution method, and communication terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5369418B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010288025A (en) * | 2009-06-10 | 2010-12-24 | Canon Inc | Data distribution apparatus |
| WO2011033780A1 (en) * | 2009-09-18 | 2011-03-24 | 株式会社ソニー・コンピュータエンタテインメント | Terminal device, sound output method, and information processing system |
| JP2021182780A (en) * | 2017-12-25 | 2021-11-25 | 古野電気株式会社 | Reproducer, remote reproduction system, reproduction method, and computer program |
| WO2024099233A1 (en) * | 2022-11-07 | 2024-05-16 | 抖音视界有限公司 | Audio data coding method and apparatus, and audio data decoding method and apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7463194B2 (en) | 2020-06-05 | 2024-04-08 | 三協立山株式会社 | Simple Structures |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06261316A (en) * | 1993-03-05 | 1994-09-16 | Nippon Telegr & Teleph Corp <Ntt> | Communication conference system among multi-spots |
| JP2001008180A (en) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Dynamic image signal encoding/decoding device |
| JP2001507546A (en) * | 1997-09-10 | 2001-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Communication system and communication terminal |
| JP2004301907A (en) * | 2003-03-28 | 2004-10-28 | Matsushita Electric Ind Co Ltd | Speech encoding device |
| JP2007088771A (en) * | 2005-09-21 | 2007-04-05 | Toshiba Corp | Video image compression transmitting device and video image compressing method |
| WO2007080788A1 (en) * | 2006-01-12 | 2007-07-19 | Matsushita Electric Industrial Co., Ltd. | Teleconference control device and teleconference control method |
-
2007
- 2007-10-01 JP JP2007257816A patent/JP5369418B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06261316A (en) * | 1993-03-05 | 1994-09-16 | Nippon Telegr & Teleph Corp <Ntt> | Communication conference system among multi-spots |
| JP2001507546A (en) * | 1997-09-10 | 2001-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Communication system and communication terminal |
| JP2001008180A (en) * | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | Dynamic image signal encoding/decoding device |
| JP2004301907A (en) * | 2003-03-28 | 2004-10-28 | Matsushita Electric Ind Co Ltd | Speech encoding device |
| JP2007088771A (en) * | 2005-09-21 | 2007-04-05 | Toshiba Corp | Video image compression transmitting device and video image compressing method |
| WO2007080788A1 (en) * | 2006-01-12 | 2007-07-19 | Matsushita Electric Industrial Co., Ltd. | Teleconference control device and teleconference control method |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010288025A (en) * | 2009-06-10 | 2010-12-24 | Canon Inc | Data distribution apparatus |
| WO2011033780A1 (en) * | 2009-09-18 | 2011-03-24 | 株式会社ソニー・コンピュータエンタテインメント | Terminal device, sound output method, and information processing system |
| JP2011066842A (en) * | 2009-09-18 | 2011-03-31 | Sony Computer Entertainment Inc | Terminal device, sound output method and information processing system |
| CN102648606A (en) * | 2009-09-18 | 2012-08-22 | 索尼计算机娱乐公司 | Terminal device, sound output method, and information processing system |
| US20120245929A1 (en) * | 2009-09-18 | 2012-09-27 | Sony Computer Entertainment Inc. | Terminal device, audio output method, and information processing system |
| US8949115B2 (en) | 2009-09-18 | 2015-02-03 | Sony Corporation | Terminal device, audio output method, and information processing system |
| JP2021182780A (en) * | 2017-12-25 | 2021-11-25 | 古野電気株式会社 | Reproducer, remote reproduction system, reproduction method, and computer program |
| JP7200313B2 (en) | 2017-12-25 | 2023-01-06 | 古野電気株式会社 | Playback device, remote playback system, playback method, and computer program |
| WO2024099233A1 (en) * | 2022-11-07 | 2024-05-16 | 抖音视界有限公司 | Audio data coding method and apparatus, and audio data decoding method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5369418B2 (en) | 2013-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727945B2 (en) | Methods and systems for interactive rendering of object based audio | |
| CN116193215A (en) | Audio delivery optimization for virtual reality applications | |
| JP5369418B2 (en) | Distribution system, distribution method, and communication terminal | |
| JP2009089156A (en) | Distribution system and method | |
| JP2012253823A (en) | Distribution system, distribution method, distribution server and communication terminal | |
| JP2001145103A (en) | Transmission device and communication system | |
| EP1437644A2 (en) | Sound apparatus, and audio information acquisiton method in sound apparatus | |
| KR101328933B1 (en) | Method of transmitting substitute media in mobile communication terminal and mobile communication terminal using the same | |
| JP2001268651A (en) | Communication controller, communication device, communication system, and method and medium provided therefor | |
| JP2006304179A (en) | Electronic conference system, communication controller, communication control method, and communication control program | |
| KR20120059834A (en) | Method of providing narration for smart television and smart television using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120725 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130902 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |