JP2005311599A - Communication system, communication method and streaming server - Google Patents
Communication system, communication method and streaming server Download PDFInfo
- Publication number
- JP2005311599A JP2005311599A JP2004124383A JP2004124383A JP2005311599A JP 2005311599 A JP2005311599 A JP 2005311599A JP 2004124383 A JP2004124383 A JP 2004124383A JP 2004124383 A JP2004124383 A JP 2004124383A JP 2005311599 A JP2005311599 A JP 2005311599A
- Authority
- JP
- Japan
- Prior art keywords
- content
- quality value
- perceptual quality
- server
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、音楽や映像等のマルチメディアコンテンツの配信に用いて好適な通信システム、通信方法およびストリーミングサーバに関するものである。 The present invention relates to a communication system, a communication method, and a streaming server suitable for use in distributing multimedia contents such as music and video.
近年、携帯電話に代表される移動通信機器の伝送速度は増大の一途をたどっている。きたる第四世代移動通信では、広帯域、高データレートでの通信が実現されると予想され、それに伴い様々なサービスが提供されると考えられる。その一つとして、携帯電話を用いた音楽や映像のストリーミングサービスが挙げられる。従来では、この種のサービスに対するQoS(Quality of Service)制御を遅延量やビット誤り率(BER:Bit Error Rate)を元に行ってきた。具体的には、誤り訂正符号を付加して誤り率を低減したり、自動再送要求とバッファリングを併用して誤りの補償を行うなどして、ビット誤り率を改善することにより、品質の向上を図るようにしていた。 In recent years, the transmission speed of mobile communication devices represented by mobile phones has been increasing. In the forth-generation fourth generation mobile communication, it is expected that communication with a wide band and a high data rate will be realized, and various services will be provided accordingly. One example is a music or video streaming service using a mobile phone. Conventionally, QoS (Quality of Service) control for this type of service has been performed based on a delay amount and a bit error rate (BER). Specifically, it improves quality by improving the bit error rate by adding an error correction code to reduce the error rate, or by using an automatic repeat request and buffering to compensate for errors. I tried to plan.
しかしながら、上記従来の制御方式では、上述したように、ビット誤り率を改善することにより品質の向上を図るようにしていたため、コンテンツ毎や利用者毎の要求に柔軟に対応することが極めて難しかった。また、人間が五感で感じる品質(知覚品質)はビット誤り率のみでは単純に評価できないため、サービス提供者の想定している品質と、利用者が実際に感じる品質との間にズレが生じる虞があった。
また、ビット誤り率の改善でしか品質向上を図ることができなかったために、必要以上の電力や帯域を使用せざるを得ず、その結果、通信容量が減少してしまうという問題点もあった。
However, in the above conventional control method, as described above, since the quality is improved by improving the bit error rate, it is extremely difficult to respond flexibly to requests for each content and each user. . Also, the quality that humans feel with their five senses (perceptual quality) cannot be evaluated simply by the bit error rate alone, so there may be a gap between the quality assumed by the service provider and the quality actually felt by the user. was there.
In addition, since the quality could only be improved by improving the bit error rate, it was necessary to use more power and bandwidth than necessary, resulting in a reduction in communication capacity. .
本発明は、かかる事情に鑑みてなされたもので、コンテンツ毎や利用者毎の要求に柔軟に対応しながら、利用者に提供するコンテンツの品質を適切に制御することができ、これにより、無駄な電力消費を抑えて、帯域の有効利用を図り、ひいては通信容量の増大を図ることができる通信システム、通信方法およびストリーミングサーバを提供することを目的とする。 The present invention has been made in view of such circumstances, and can appropriately control the quality of content provided to users while flexibly responding to requests for each content and each user. An object of the present invention is to provide a communication system, a communication method, and a streaming server that can reduce power consumption, effectively use a band, and thereby increase communication capacity.
本発明者等は、上記課題を解決すべく鋭意研究を重ねた結果、ビット誤り率が同じであってもコンテンツ毎に知覚品質値の特性が異なること、この知覚品質値に基づいてQoS制御を行うようにすれば、コンテンツ毎や利用者毎の要求に柔軟に対応しながら適切にコンテンツの品質を制御できることを見出し、本発明を完成させたものである。 As a result of intensive research to solve the above problems, the present inventors have found that the characteristics of the perceptual quality value are different for each content even if the bit error rate is the same, and QoS control is performed based on this perceptual quality value. As a result, it has been found that the quality of content can be appropriately controlled while flexibly responding to requests for each content and each user, and the present invention has been completed.
すなわち、請求項1に記載の発明は、通信端末と、この通信端末に対してストリーミング方式でマルチメディアコンテンツの配信を行うサーバとを有する通信システムにおいて、上記サーバは、配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定手段と、上記パラメータ設定手段によって設定されたパラメータによりコンテンツを符号化して配信するコンテンツ配信手段とを備えることを特徴とするものである。
That is, the invention described in
ここで、マルチメディアコンテンツとしては、例えば、音楽、映像などが挙げられる。
知覚品質とは、音楽や映像といったコンテンツに対して人間が五感で感じる品質のことを云い、その評価方法としては、コンテンツの形態毎に、各々の特性に応じた評価方法が既に確立されている。例えば、コンテンツが音楽である場合には、ITU−R(International Telecommunication Union - Radiocommunication sector)のBS.1387(PEAQ:Perceived Evaluation of Audio Quality)で規定されている音響用(広帯域信号用)客観的評価法を採用することが可能であり、その出力値であるODG(Objective Difference Grade)を知覚品質値として用いることが可能である。また、コンテンツが映像である場合には、主観的評価方法として広く知られているMOS(Mean Opinion Score)と同等の値を物理的な特徴量の測定により推定する客観的評価法が数多く提案されているので、それら客観的評価法の出力値を知覚品質値として用いることが可能である。
Here, examples of the multimedia content include music and video.
Perceptual quality refers to the quality that humans feel with their five senses for content such as music and video, and as evaluation methods there are already established evaluation methods according to the characteristics of each content type. . For example, if the content is music, the BS of the ITU-R (International Telecommunication Union-Radiocommunication sector). It is possible to adopt the objective evaluation method for sound (for wideband signal) specified in 1387 (PEAQ: Perceived Evaluation of Audio Quality), and the output value ODG (Objective Difference Grade) is the perceived quality value. Can be used. In addition, when content is video, many objective evaluation methods have been proposed for estimating values equivalent to MOS (Mean Opinion Score), which is widely known as a subjective evaluation method, by measuring physical features. Therefore, it is possible to use the output value of these objective evaluation methods as the perceptual quality value.
請求項2に記載の発明は、請求項1に記載の通信システムにおいて、上記パラメータには、少なくとも情報源符号化率(コンテンツの圧縮率)と通信路符号化率(誤り訂正符号化率)とが含まれることを特徴とするものである。 According to a second aspect of the present invention, in the communication system according to the first aspect, the parameters include at least an information source coding rate (content compression rate) and a channel coding rate (error correction coding rate). Is included.
請求項3に記載の発明は、請求項2に記載の通信システムにおいて、上記パラメータ設定手段は、上記パラメータの設定に際して、伝送レートが同一となる情報源符号化率と通信路符号化率の複数の組合せパターンの中で、知覚品質値が最も高くなる組合せパターンを選択することを特徴とするものである。 According to a third aspect of the present invention, in the communication system according to the second aspect, the parameter setting means includes a plurality of information source coding rates and communication channel coding rates at which the transmission rate is the same when setting the parameters. Among the combination patterns, a combination pattern having the highest perceptual quality value is selected.
請求項4に記載の発明は、請求項2に記載の通信システムにおいて、上記パラメータ設定手段は、所定時間毎に、知覚品質値を規定値と比較し、その結果、知覚品質値が規定値に達していない場合に、知覚品質値が規定値を上回るようなパラメータの組合せパターンを探索して、パラメータの設定を変更することを特徴とするものである。 According to a fourth aspect of the present invention, in the communication system according to the second aspect, the parameter setting means compares the perceptual quality value with a predetermined value at predetermined time intervals. If not reached, the parameter setting is changed by searching for a combination pattern of parameters such that the perceptual quality value exceeds a specified value.
請求項5に記載の発明は、請求項1〜4の何れかに記載の通信システムにおいて、上記通信端末は、上記サーバから受信して復号化したコンテンツの処理信号から知覚品質値を推定する知覚品質値推定手段と、推定した知覚品質値を上記サーバに対して送信する知覚品質値送信手段とを備え、上記パラメータ設定手段は、上記通信端末から受信した知覚品質値に基づいて上記パラメータを設定することを特徴とするものである。 According to a fifth aspect of the present invention, in the communication system according to any one of the first to fourth aspects, the communication terminal estimates a perceptual quality value from a processing signal of content received and decoded from the server. A quality value estimation unit; and a perceptual quality value transmission unit that transmits the estimated perceptual quality value to the server. The parameter setting unit sets the parameter based on the perceptual quality value received from the communication terminal. It is characterized by doing.
請求項6に記載の発明は、請求項1〜4の何れかに記載の通信システムにおいて、上記通信端末は、上記サーバから受信して復号化したコンテンツの処理信号から、伝送路の状態に関する情報を算出する情報算出手段と、上記伝送路の状態に関する情報を上記サーバに対して送信する情報送信手段とを備える一方、上記サーバは、上記通信端末から受信した上記伝送路の状態に関する情報とコンテンツの原信号とから知覚品質値を推定する知覚品質値推定手段を備え、この推定した知覚品質値に基づいて、上記パラメータ設定手段が上記パラメータを設定するようになっていることを特徴とするものである。
ここで、伝送路の状態に関する情報には、例えば、ビット誤り率(BER)や誤り検出信号(CRC)、FER(Frame Error Rate)、BLER(Block Error Rate)、NACK(Nagative ACKnowledgement)、パイロットシンボルなどの誤りに関する情報の他、SNRなども含まれる。
A sixth aspect of the present invention is the communication system according to any one of the first to fourth aspects, wherein the communication terminal receives information from the processing signal of the content received from the server and decrypted, and relates to the state of the transmission path. Information calculating means for calculating the transmission path and information transmitting means for transmitting information relating to the state of the transmission path to the server, wherein the server receives information and content relating to the state of the transmission path received from the communication terminal. And a perceptual quality value estimating means for estimating a perceptual quality value from the original signal, and the parameter setting means sets the parameter based on the estimated perceptual quality value. It is.
Here, information on the state of the transmission path includes, for example, bit error rate (BER), error detection signal (CRC), FER (Frame Error Rate), BLER (Block Error Rate), NACK (Nagative ACKnowledgement), pilot symbol In addition to information on errors such as, SNR is also included.
請求項7に記載の発明は、請求項1〜4の何れかに記載の通信システムにおいて、上記通信端末と上記サーバ間の通信には、その復信方式としてTDD(Time Division Duplex)方式が採用され、上記サーバは、配信するコンテンツについて、情報源符号化率と通信路符号化率の複数の組合せパターン毎に、伝送路の状態に関する情報と知覚品質値との関係を表した特性テーブルを作成する特性テーブル作成手段を備え、上記パラメータ設定手段は、上記パラメータの設定に際して、受信信号から伝送路の状態に関する情報を推定し、この伝送路の状態に関する情報と上記特性テーブルとから、知覚品質値が最も高くなるような情報源符号化率と通信路符号化率の組合せパターンを選択することを特徴とするものである。 According to a seventh aspect of the present invention, in the communication system according to any one of the first to fourth aspects, a TDD (Time Division Duplex) method is adopted as a reciprocal method for communication between the communication terminal and the server. The server creates a characteristic table representing the relationship between the information about the state of the transmission path and the perceived quality value for each of a plurality of combination patterns of the information source coding rate and the channel coding rate for the content to be distributed. Characteristic table creating means, and the parameter setting means estimates information on the state of the transmission path from the received signal when setting the parameter, and the perceptual quality value is obtained from the information on the state of the transmission path and the characteristic table. The combination pattern of the information source coding rate and the channel coding rate that is the highest is selected.
なお、上記特性テーブルを作成する場合には、先ず、原信号を配信するときに情報源符号化率に応じた劣化と、伝送路の状態および通信路符号化率に応じた劣化が生じると仮定して、それら劣化を原信号に加えることにより、処理信号を推量する。次いで、推量した処理信号と原信号とを知覚品質値の評価モデルに入力することにより、知覚品質値を求める。そして、以上の処理を、伝送路の状態の設定を少しずつ変化させながら繰り返し実行することにより、伝送路の各状態における知覚品質値を求め、それらを相互に対応付けることにより、上記特性テーブルを作成する。 When creating the above characteristic table, first, it is assumed that when the original signal is distributed, degradation according to the information source coding rate and degradation according to the transmission path state and the channel coding rate occur. Then, the processing signal is estimated by adding the deterioration to the original signal. Next, the perceived quality value is obtained by inputting the estimated processed signal and the original signal to the perceptual quality value evaluation model. Then, by repeatedly executing the above processing while changing the transmission line state setting little by little, the perceptual quality value in each state of the transmission line is obtained, and the above characteristic table is created by associating them with each other. To do.
請求項8に記載の発明は、請求項1〜7の何れかに記載の通信システムにおいて、上記コンテンツ配信手段は、配信するコンテンツを符号化して情報量の圧縮を行う情報源符号化手段と、上記情報源符号化手段によって符号化された信号を誤り訂正が可能な信号に変換する通信路符号化手段と、上記通信路符号化手段によって符号化された信号を送信処理する送信手段とを備える一方、上記通信端末は、符号化された信号を上記サーバから受信する受信手段と、受信した信号を復号化する復号化手段と、復号化したコンテンツを再生する再生手段とを備えることを特徴とするものである。
The invention according to
請求項9に記載の発明は、請求項1〜8の何れかに記載の通信システムにおいて、上記通信端末は、携帯電話であることを特徴とするものである。
The invention according to claim 9 is the communication system according to any one of
請求項10に記載の発明は、サーバがストリーミング方式でマルチメディアコンテンツの配信を行う際の通信方法において、上記サーバが、配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定ステップと、上記パラメータ設定ステップで設定したパラメータによりコンテンツを符号化して配信するコンテンツ配信ステップとを備えることを特徴とするものである。 According to a tenth aspect of the present invention, in the communication method when the server distributes the multimedia content by the streaming method, the server evaluates the degree of quality degradation of the content to be distributed by the perceptual quality value, and this perception. A parameter setting step for setting parameters used for content encoding based on a quality value, and a content distribution step for encoding and distributing content by the parameters set in the parameter setting step are provided. is there.
請求項11に記載の発明は、通信端末に対してストリーミング方式でマルチメディアコンテンツの配信を行うストリーミングサーバにおいて、配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定手段と、上記パラメータ設定手段によって設定されたパラメータによりコンテンツを符号化して配信するコンテンツ配信手段とを設けたことを特徴とするものである。 In the invention according to claim 11, in a streaming server that distributes multimedia content to a communication terminal by a streaming method, the degree of quality degradation of the content to be distributed is evaluated by a perceptual quality value, and the perceived quality value is obtained. On the basis of this, there is provided a parameter setting means for setting a parameter used for encoding the content, and a content distribution means for encoding and distributing the content according to the parameter set by the parameter setting means. .
本発明によれば、コンテンツの符号化に用いるパラメータを知覚品質値に基づいて設定するようにしたので、コンテンツ毎や利用者毎の要求に柔軟に対応しながら、利用者に提供するコンテンツの品質を適切に制御することができる。すなわち、コンテンツの種類や伝送路の状態に適した符号化方式を適用することが可能となり、所望の知覚品質を有するコンテンツを効率良く確実に利用者に対して提供することができる。
したがって、無駄な電力消費を抑えて、帯域の有効利用を図ることができ、これによって、通信容量の増大を図ることができる。
According to the present invention, since the parameters used for encoding the content are set based on the perceptual quality value, the quality of the content provided to the user while flexibly responding to the request for each content and each user. Can be controlled appropriately. That is, it is possible to apply an encoding method suitable for the type of content and the state of the transmission path, and it is possible to efficiently and reliably provide the user with the desired perceptual quality.
Therefore, wasteful power consumption can be suppressed and effective use of bandwidth can be achieved, thereby increasing communication capacity.
[第1の実施形態]
図1は本発明に係る通信システムの一実施形態を示すもので、図中符号10が通信端末、20がストリーミングサーバ(サーバ)である。
通信端末10は、移動体通信ネットワークやアドホックネットワーク等の無線通信ネットワークを介して、ストリーミングサーバ20と通信可能な携帯電話、PDA、パーソナルコンピュータなどにより構成されている。この通信端末10は、演算処理部、記憶部、表示部、入力部および通信部等を有し、演算処理部が記憶部内に格納された各種アプリケーションプログラムを読み込んで実行することにより、次のような各種機能が付与されるようになっている。
[First Embodiment]
FIG. 1 shows an embodiment of a communication system according to the present invention. In FIG. 1,
The
すなわち、通信端末10は、符号化された信号をストリーミングサーバ20から受信する機能(受信手段)と、受信した信号を復号化する機能(復号化手段)と、復号化したコンテンツを再生する機能(再生手段)とを有している。
この通信端末10の記憶部は、演算処理部により実行される各種処理プログラム(データをダウンロードしながら同時に再生するストリーミング方式のアプリケーションソフトなど)や制御データ等を記憶する記憶領域を備える他、ダウンロードしたマルチメディアコンテンツを格納する記憶領域などを備えている。
また、この通信端末10の通信部は、送信器、受信器およびアンテナ等によって構成され、本実施形態では、ストリーミングサーバ20との通信にTDD−CDMA(Code Division Multiple Access)方式を用いるようになっている。
That is, the
The storage unit of the
The communication unit of the
一方、ストリーミングサーバ20は、CPU(Central Processing Unit)、RAM(Random Access Memory)、表示装置、入力装置、記憶装置および通信装置等を有する周知のコンピュータ若しくはかようなコンピュータ複数をネットワークを介して相互に接続してなるコンピュータシステムによって構成されている。そして、上記記憶装置には、CPUにより実行される各種処理プログラム(ストリーミングサーバ用ソフトウェアを含む。)や制御データ等を記憶する記憶領域の他、配信するマルチメディアコンテンツのソースファイルを格納する記憶領域などが設けられている。
On the other hand, the streaming
このストリーミングサーバ20は、コンテンツ毎に、その配信に用いる各種パラメータ(情報源符号化率、通信路符号化率、電力など)を設定する機能(パラメータ設定手段)と、設定したパラメータを使用してコンテンツの配信を行う機能(コンテンツ配信手段)とを備えている。
本実施形態では、ストリーミングサーバ20が、配信するコンテンツの知覚品質値の特性を求めるとともに、受信信号から伝送路の状態に関する情報を推定し、この伝送路の状態に関する情報と知覚品質値の特性とに基づいて、情報源符号化率、通信路符号化率および電力等のパラメータを設定するようになっている。また、コンテンツの配信を行う際には、記憶装置からコンテンツのソースファイル(原信号)を読み込んで、上記のようにして設定した情報源符号化率で符号化して情報量の圧縮を行った後、この符号化した信号を上記通信路符号化率で誤り訂正が可能な信号に変換して上記電力で送信する処理を実行するようになっている。
This streaming
In this embodiment, the streaming
次に、コンテンツの符号化に用いるパラメータの設定方法について、具体的に説明する。
本実施形態では、先ず、配信するコンテンツについて、上記パラメータの各組合せパターン毎に、伝送路の状態に関する情報と知覚品質値との関係を表した特性テーブルを作成する。伝送路の状態に関する情報と知覚品質値との関係は、例えば、表1に示すような各種パラメータを設定してシミュレーションを行うことにより求めることができる。すなわち、図2に示すように、伝送路の各状態から擬似的な誤りを推定し、その誤りを原信号に加えて生成した処理信号と、原信号とを知覚品質の評価モデル(後述するPEAQ等の評価モデル)に入力することにより、伝送路の各状態における知覚品質値を求めることができる。
Next, a method for setting parameters used for content encoding will be described in detail.
In the present embodiment, first, a characteristic table representing the relationship between the information about the state of the transmission path and the perceived quality value is created for each combination pattern of the above parameters for the content to be distributed. The relationship between the information on the state of the transmission path and the perceived quality value can be obtained by setting various parameters as shown in Table 1 and performing a simulation, for example. That is, as shown in FIG. 2, a pseudo error is estimated from each state of the transmission path, the processed signal generated by adding the error to the original signal, and the original signal are used as a perceptual quality evaluation model (PEAQ described later). Etc.), the perceptual quality value in each state of the transmission path can be obtained.
上記パラメータのうち、コンテンツの配信時に設定する情報源符号化率と通信路符号化率については、表2に示すように、伝送レートが一定(ここでは、192Kbps)となるような組合せパターンを複数設定し、その各々について、伝送路の状態に関する情報と知覚品質値との関係を求める。 Among the above parameters, for the information source coding rate and the channel coding rate set at the time of content distribution, as shown in Table 2, there are a plurality of combination patterns such that the transmission rate is constant (here, 192 Kbps). For each of them, the relationship between the information about the state of the transmission path and the perceptual quality value is obtained.
例えば、以下の表3に示すCD音源のサンプルを用いて、伝送路の状態に関する情報と知覚品質値との関係をそれぞれ求め、これをグラフ化すると、例えば、図3〜図7に示すような特性図が得られる。 For example, using the CD sound source sample shown in Table 3 below, the relationship between the information about the state of the transmission path and the perceived quality value is obtained and graphed, for example, as shown in FIGS. A characteristic diagram is obtained.
図3〜図7では、伝送路の状態に関する情報として、電力対雑音比(SNR:Signal to Noise Ratio)を用いる一方、知覚品質値として、ITU−RのBS.1387(PEAQ)で規定された音響用客観的評価法の出力値であるODGを用いている。このODGは、原信号と処理信号(配信処理後の信号)との間にどれだけ人間が品質の差を感じるか評価したものであり、0が最も良く、−4が最も悪い。PEAQ評価法では、人間の耳の機能を模擬した聴覚モデルに原信号と処理信号を入力して各々の出力を求めた後、それら出力値から、人間が聞いた時の音響的な信号劣化の程度を表すモデル出力値を求め、その後、ニューラルネットワーク構造を持つ認識モデルを用いて上記モデル出力値から処理信号の客観品質を求めるようにしている。 3 to 7, while using a power-to-noise ratio (SNR) as information regarding the state of the transmission path, the BS. ODG which is an output value of the objective evaluation method for acoustics defined by 1387 (PEAQ) is used. This ODG is an evaluation of how much a person feels a difference in quality between an original signal and a processed signal (signal after distribution processing), with 0 being the best and -4 being the worst. In the PEAQ evaluation method, the original signal and the processed signal are input to an auditory model simulating the function of the human ear, and the respective outputs are obtained. Then, from these output values, the acoustic signal degradation when the human hears A model output value representing the degree is obtained, and then an objective quality of the processed signal is obtained from the model output value using a recognition model having a neural network structure.
図3〜図7を比較して見ると、サンプル毎に知覚品質値の特性が大きく異なっていることが分かる。また、各サンプルの特性を個別に見ると、方式Aや方式Bでは強い誤り訂正能力を持っているため、比較的低いSNRで一定の知覚品質値に達している。半面、圧縮率が高く、もとの情報が大きく失われているために、どんなに誤りが少なくなっても高い知覚品質を達成することができない。これに対して、方式Dや方式Eは、誤り訂正能力が低いため、高いSNRに達しないと誤りが多いため知覚品質値が大きくならないが、もとの情報を多く残しているため、誤りが少なくなってくると高い知覚品質を達成することが可能となる。 Comparing FIGS. 3 to 7, it can be seen that the characteristics of the perceptual quality value are greatly different for each sample. Further, when the characteristics of each sample are viewed individually, the method A and the method B have a strong error correction capability, and thus reach a constant perceptual quality value with a relatively low SNR. On the other hand, since the compression rate is high and the original information is largely lost, no matter how much errors are reduced, high perceptual quality cannot be achieved. On the other hand, since method D and method E have low error correction capability, the perceptual quality value does not increase because there are many errors unless a high SNR is reached. Higher perceptual quality can be achieved as it decreases.
そこで、本実施形態では、各SNRにおいて知覚品質値が最も高くなるようなパラメータの組合せパターンを選択し、これを配信時に用いるパラメータとして設定する。因みに、各SNRにおいて知覚品質値が最も高くなる曲線を選択して、これを辿っていくと、図8に示すような特性図が得られる。この特性図によれば、一定の知覚品質値、例えばODG=−1を達成しようとした場合、最大で5dB近くのゲインが得られることが分かる。 Therefore, in the present embodiment, a parameter combination pattern that provides the highest perceptual quality value in each SNR is selected and set as a parameter used at the time of distribution. Incidentally, if a curve having the highest perceived quality value in each SNR is selected and traced, a characteristic diagram as shown in FIG. 8 is obtained. According to this characteristic diagram, it is understood that when a constant perceptual quality value, for example, ODG = -1, is to be achieved, a gain close to 5 dB at maximum can be obtained.
なお、本実施形態においては、ストリーミングサーバ20と通信端末10との通信にTDD−CDMA方式を採用しているため、上下回線の伝送路がよく似た状況であると考えることができる。そこで、本実施形態では、ストリーミングサーバ20の受信信号からSNRを推定し、このSNRのときに知覚品質値が最も高くなる符号化方式(情報源符号化率と通信路符号化率の組合せ)を、特性テーブルを参照して選択し、これを配信時に用いるパラメータとして設定する。
In this embodiment, since the TDD-CDMA system is adopted for communication between the streaming
その後、ストリーミングサーバ20は、上記のようにして設定したパラメータによりコンテンツを符号化して通信端末10に対して配信する処理を行い、通信端末10は、符号化された信号をストリーミングサーバ20から受信して、受信した信号を復号化して再生する処理を行う。また、コンテンツを配信している間、ストリーミングサーバ20は、一定時間毎に、SNRを推定して知覚品質値が最も高くなるようなパラメータの組合せを求め、それが現在使用しているパラメータと異なる場合には、パラメータの設定を変更する処理を行う。
Thereafter, the streaming
以上のように、本実施形態によれば、情報源符号化率や通信路符号化率等のパラメータを知覚品質値に基づいて設定するようにしたので、コンテンツ毎や利用者毎の要求に柔軟に対応しながら、利用者に提供するコンテンツの品質を適切に制御することができる。すなわち、コンテンツの種類や伝送路の状態に適した符号化方式を適用することが可能となり、所望の知覚品質を有するコンテンツを効率良く確実に利用者に対して提供することができる。
したがって、無駄な電力消費を抑えて、帯域の有効利用を図ることができ、これによって、通信容量の増大を図ることができる。
As described above, according to the present embodiment, parameters such as the information source coding rate and the channel coding rate are set based on the perceptual quality value. It is possible to appropriately control the quality of the content provided to the user while complying with. That is, it is possible to apply an encoding method suitable for the type of content and the state of the transmission path, and it is possible to efficiently and reliably provide the user with the desired perceptual quality.
Therefore, wasteful power consumption can be suppressed and effective use of bandwidth can be achieved, thereby increasing communication capacity.
なお、本実施形態においては、一定時間毎に、知覚品質値が最も高くなるようなパラメータの組合せを求めて、パラメータの設定を適宜に変更するようにしたが、本発明はこれに限定されるものではなく、例えば、配信するコンテンツに予め設定された規定値(コンテンツに最低限要求される知覚品質値)よりも知覚品質値が低くなるときのみ、知覚品質値が上記規定値を上回るようなパラメータの組合せを探索して、パラメータの設定を変更するようにしてもよい。 In the present embodiment, a combination of parameters that obtains the highest perceptual quality value is obtained at regular time intervals, and the parameter settings are changed as appropriate. However, the present invention is limited to this. For example, only when the perceived quality value is lower than a predetermined value (perceived quality value that is required for the content) set in advance for the content to be distributed, the perceived quality value exceeds the specified value. The parameter combination may be changed by searching for a combination of parameters.
また、本実施形態では、音楽のコンテンツを配信する場合について例示したが、これ以外のコンテンツを配信する場合においても本発明を適用することが可能である。
例えば、配信するコンテンツが映像の場合には、表4に示すように各種パラメータを設定することにより、音楽の場合と同様に、伝送路の状態に関する情報と知覚品質値との関係をシミュレーションで求めることができる。ここでは、畳込み符号を用いていない組合せパターンとして、情報源符号化率が2Mb/sで通信路符号化率が1bppの組合せパターンと、情報源符号化率が1.5Mb/sで通信路符号化率が0.75bppの組合せパターンと、情報源符号化率が1Mb/sで通信路符号化率が1bppの組合せパターンの3種類を設定しており、畳込み符号を用いた組合せパターンとしては、情報源符号化率が2Mb/sで通信路符号化率が0.75bppの組合せパターンと、情報源符号化率が2Mb/sで通信路符号化率が0.5bppの組合せパターンの2種類を設定している。
Further, in the present embodiment, the case of distributing music content has been illustrated, but the present invention can also be applied to the case of distributing other content.
For example, when the content to be distributed is video, by setting various parameters as shown in Table 4, the relationship between the information on the state of the transmission path and the perceived quality value is obtained by simulation, as in the case of music. be able to. Here, as a combination pattern not using a convolutional code, a combination pattern with an information source coding rate of 2 Mb / s and a channel coding rate of 1 bpp, and a channel with an information source coding rate of 1.5 Mb / s There are three types of combination patterns: a combination pattern with a coding rate of 0.75 bpp and a combination pattern with an information source coding rate of 1 Mb / s and a channel coding rate of 1 bpp. 2 is a combination pattern with an information source coding rate of 2 Mb / s and a channel coding rate of 0.75 bpp, and a combination pattern with an information source coding rate of 2 Mb / s and a channel coding rate of 0.5 bpp. The type is set.
例えば、以下の表5に示す映像サンプルを用いて、伝送路の状態に関する情報と知覚品質値との関係をそれぞれ求め、これをグラフ化すると、例えば、図9〜図11に示すような特性図が得られる。なお、表5に示す映像サンプルは、VQEG(Video Quality Expert Group)で提供されているテストシーケンスの中から幾つかを選択したもので、この映像サンプルの中には、動きの少ない「news」や動きの多い「football」など、特性の異なる代表的な映像が含まれている。これら映像サンプルは、すべてカラー映像で、解像度が352×240ピクセル、フレームレートが25frame/sec、YUV形式を採用している。 For example, using the video samples shown in Table 5 below, the relationship between the information about the state of the transmission path and the perceived quality value is obtained and graphed. For example, characteristic diagrams as shown in FIGS. Is obtained. The video samples shown in Table 5 are selected from several test sequences provided by VQEG (Video Quality Expert Group). Among these video samples, “news” with little movement and Representative images with different characteristics such as “football” with a lot of movement are included. These image samples are all color images, and have a resolution of 352 × 240 pixels, a frame rate of 25 frames / sec, and a YUV format.
図9〜図11では、伝送路の状態に関する情報として、ビット誤り率(BER)を用いる一方、知覚品質値として、主観的評価法として広く知られているMOSに近い評価が得られる客観的評価法の出力値を用いている。
図9〜図11に示すように、映像においても音楽と同様に、サンプル毎に知覚品質値の特性が異なることが分かる。すなわち、BERが低く伝送路の状態が良いときには、圧縮率が低く通信路符号化率が高い組合せパターンの知覚品質値が高くなり、BERが高く伝送路の状態が悪いときには、圧縮率が高く通信路符号化率が低い組合せパターンや、畳込み符号を用いた組合せパターンの知覚品質値が高くなっている。
In FIGS. 9 to 11, the bit error rate (BER) is used as information regarding the state of the transmission line, while the perceptual quality value is an objective evaluation that can obtain an evaluation close to a MOS widely known as a subjective evaluation method. The output value of the modulo is used.
As shown in FIGS. 9 to 11, it can be seen that the characteristics of the perceptual quality value are different for each sample in the video as well as the music. That is, when the BER is low and the channel condition is good, the perceptual quality value of the combination pattern having a low compression rate and a high channel coding rate is high. When the BER is high and the channel condition is bad, the compression rate is high. The perceptual quality value of a combination pattern having a low path coding rate or a combination pattern using a convolutional code is high.
したがって、各BERにおいて知覚品質値が最も高くなるようなパラメータの組合せパターンを選択し、これを配信時に用いるようにすれば、映像のコンテンツにおいても、前述した音楽のコンテンツと同様に、最小限の電力で知覚品質値を最大化することができる。 Therefore, if a combination pattern of parameters that gives the highest perceptual quality value at each BER is selected and used at the time of distribution, the minimum amount of video content is the same as that of the music content described above. The perceptual quality value can be maximized with power.
[第2の実施形態]
上述した第1の実施形態においては、ストリーミングサーバ20が知覚品質値を推定していたのに対して、この第2の実施形態においては、通信端末10が知覚品質値を推定するようにしている。
[Second Embodiment]
In the first embodiment described above, the streaming
すなわち、通信端末10は、図12に示すように、ストリーミングサーバ20から受信して復号化したコンテンツの処理信号から知覚品質値を推定する機能(知覚品質値推定手段)と、推定した知覚品質値をフィードバック情報としてストリーミングサーバ20に対して送信する機能(知覚品質値送信手段)とを備えている。なお、コンテンツの処理信号から知覚品質値を推定する際には、例えば、ジェニスタ社製の「ビデオPQoSTM」など、ノンリファレンス型の客観的評価法を利用することが可能である。
That is, as shown in FIG. 12, the
ストリーミングサーバ20は、一定時間毎に、現在配信しているコンテンツに設定された規定値と、通信端末10からフィードバックされた知覚品質値とを比較し、その結果、フィードバックされた知覚品質値が上記規定値に達していない場合に、知覚品質値が規定値を上回るようなパラメータの組合せを探索して、パラメータの設定を変更する。具体的には、現在使用しているパラメータの組合せパターンと、通信端末10からフィードバックされた知覚品質値とから、伝送路の状態を推定して、その伝送路の状態に適したパラメータの組合せパターンを求める。例えば、伝送路の状態が悪いと推定されるときには、現在よりも圧縮率が大きく誤り訂正能力が高くなるようなパラメータの組合せパターンを採用する一方、伝送路の状態が良いと推定されるときには、現在よりも圧縮率が小さく誤り訂正能力が低くなるようなパラメータの組合せパターンを採用する。また、情報源符号化率と通信路符号化率の組合せパターンを変えても、上記規定値に達しない場合には、許容される範囲内で送信電力を上げる制御を行う。
The streaming
したがって、この第2の実施形態においても、第1の実施形態と同様、最小限の電力で知覚品質値を最大化することができる。また、この第2の実施形態においては、通信端末10で知覚品質値を求めているため、第1の実施形態と比較して、通信端末10の負荷が増大するものの、その分ストリーミングサーバ20の負荷を軽減することができるという効果が得られる。
Therefore, also in the second embodiment, the perceptual quality value can be maximized with the minimum power as in the first embodiment. In the second embodiment, since the perceived quality value is obtained by the
[第3の実施形態]
上述した第2の実施形態においては、通信端末10からストリーミングサーバ20に、フィードバック情報として知覚品質値を送信していたのに対して、この第3の実施形態においては、フィードバック情報として、誤りに関する情報を送信するようにしている。
すなわち、通信端末10は、図13に示すように、ストリーミングサーバ20から受信して復号化したコンテンツの処理信号から、誤りに関する情報(例えば、BER、FER、BLER、NACK、パイロットシンボルなど)を算出する機能(情報算出手段)と、上記誤りに関する情報をストリーミングサーバ20に対して送信する機能(情報送信手段)とを備えている。
[Third Embodiment]
In the second embodiment described above, the perceptual quality value is transmitted as feedback information from the
That is, as shown in FIG. 13, the
一方、ストリーミングサーバ20は、通信端末10から受信した上記誤りに関する情報から知覚品質値を推定する機能(知覚品質値推定手段)を備え、この推定した知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するようになっている
すなわち、ストリーミングサーバ20は、一定時間毎に、通信端末10から受信した上記誤りに関する情報とコンテンツの原信号とから知覚品質値を推定して、この知覚品質値の推定値と、コンテンツに設定された規定値とを比較し、その結果、知覚品質値の推定値が上記規定値に達していない場合には、第2の実施形態と同様に、知覚品質値の推定値が上記規定値を上回るようなパラメータの組合せを探索して、パラメータの設定を変更するようになっている。
On the other hand, the streaming
したがって、この第3の実施形態においても、第1および第2の実施形態と同様、最小限の電力で知覚品質値を最大化することができる。また、この第3の実施形態においては、ストリーミングサーバ20で知覚品質値を求めているため、第2の実施形態と比較して、通信端末10の負担を軽減することもできる。
Therefore, also in the third embodiment, the perceptual quality value can be maximized with the minimum power as in the first and second embodiments. Moreover, in this 3rd Embodiment, since the perceptual quality value is calculated | required by the streaming
10 通信端末
20 ストリーミングサーバ(サーバ)
10
Claims (11)
上記サーバは、配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定手段と、
上記パラメータ設定手段によって設定されたパラメータによりコンテンツを符号化して配信するコンテンツ配信手段とを備えることを特徴とする通信システム。 In a communication system having a communication terminal and a server that distributes multimedia content to the communication terminal in a streaming manner,
The server evaluates the degree of quality degradation of the content to be distributed with a perceptual quality value, and sets a parameter used for encoding the content based on the perceptual quality value;
A communication system comprising: content distribution means for encoding and distributing content according to the parameters set by the parameter setting means.
上記パラメータ設定手段は、上記通信端末から受信した知覚品質値に基づいて上記パラメータを設定することを特徴とする請求項1〜4の何れかに記載の通信システム。 The communication terminal includes a perceptual quality value estimating unit that estimates a perceptual quality value from a content processing signal received and decoded from the server, and a perceptual quality value transmitting unit that transmits the estimated perceptual quality value to the server. And
The communication system according to claim 1, wherein the parameter setting unit sets the parameter based on a perceptual quality value received from the communication terminal.
上記サーバは、上記通信端末から受信した上記伝送路の状態に関する情報とコンテンツの原信号とから知覚品質値を推定する知覚品質値推定手段を備え、この推定した知覚品質値に基づいて、上記パラメータ設定手段が上記パラメータを設定するようになっていることを特徴とする請求項1〜4の何れかに記載の通信システム。 The communication terminal includes information calculation means for calculating information on a transmission path state from a content processing signal received and decrypted from the server, and information for transmitting information on the transmission path state to the server. A transmission means,
The server includes a perceptual quality value estimating unit that estimates a perceptual quality value from information on the state of the transmission path received from the communication terminal and an original signal of content, and based on the estimated perceptual quality value, the parameter The communication system according to claim 1, wherein the setting means sets the parameter.
上記サーバは、配信するコンテンツについて、情報源符号化率と通信路符号化率の複数の組合せパターン毎に、伝送路の状態に関する情報と知覚品質値との関係を表した特性テーブルを作成する特性テーブル作成手段を備え、
上記パラメータ設定手段は、上記パラメータの設定に際して、受信信号から伝送路の状態に関する情報を推定し、この伝送路の状態に関する情報と上記特性テーブルとから、知覚品質値が最も高くなるような情報源符号化率と通信路符号化率の組合せパターンを選択することを特徴とする請求項1〜4の何れかに記載の通信システム。 For the communication between the communication terminal and the server, the TDD method is adopted as a reciprocal method,
The server creates a characteristic table that represents the relationship between the information about the state of the transmission path and the perceived quality value for each of a plurality of combination patterns of the information source coding rate and the channel coding rate for the content to be distributed. With table creation means,
The parameter setting means estimates information relating to the state of the transmission path from the received signal when setting the parameter, and uses the information relating to the state of the transmission path and the characteristic table to obtain an information source that provides the highest perceived quality value. 5. The communication system according to claim 1, wherein a combination pattern of a coding rate and a channel coding rate is selected.
上記通信端末は、符号化された信号を上記サーバから受信する受信手段と、受信した信号を復号化する復号化手段と、復号化したコンテンツを再生する再生手段とを備えることを特徴とする請求項1〜7の何れかに記載の通信システム。 The content distribution unit includes an information source encoding unit that encodes the content to be distributed and compresses an information amount, and a communication path that converts the signal encoded by the information source encoding unit into a signal that can be error-corrected While comprising an encoding means and a transmission means for transmitting the signal encoded by the channel encoding means,
The communication terminal includes receiving means for receiving an encoded signal from the server, decoding means for decoding the received signal, and reproducing means for reproducing the decoded content. Item 8. The communication system according to any one of Items 1-7.
上記サーバが、配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定ステップと、
上記パラメータ設定ステップで設定したパラメータによりコンテンツを符号化して配信するコンテンツ配信ステップとを備えることを特徴とする通信方法。 In the communication method when the server distributes multimedia content by streaming method,
A parameter setting step in which the server evaluates the degree of quality degradation of the content to be distributed by a perceptual quality value and sets a parameter used for encoding the content based on the perceptual quality value;
A content distribution step of encoding and distributing content according to the parameters set in the parameter setting step.
配信するコンテンツの品質劣化の度合いを知覚品質値で評価して、この知覚品質値に基づいて、コンテンツの符号化に用いるパラメータを設定するパラメータ設定手段と、
上記パラメータ設定手段によって設定されたパラメータによりコンテンツを符号化して配信するコンテンツ配信手段とを設けたことを特徴とするストリーミングサーバ。 In a streaming server that delivers multimedia content to a communication terminal in a streaming manner,
A parameter setting unit that evaluates the degree of quality degradation of the content to be distributed by a perceptual quality value and sets a parameter used for encoding the content based on the perceptual quality value;
A streaming server, comprising: content distribution means for encoding and distributing content according to the parameters set by the parameter setting means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004124383A JP2005311599A (en) | 2004-04-20 | 2004-04-20 | Communication system, communication method and streaming server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004124383A JP2005311599A (en) | 2004-04-20 | 2004-04-20 | Communication system, communication method and streaming server |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005311599A true JP2005311599A (en) | 2005-11-04 |
Family
ID=35439881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004124383A Pending JP2005311599A (en) | 2004-04-20 | 2004-04-20 | Communication system, communication method and streaming server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005311599A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
JP2009296425A (en) * | 2008-06-06 | 2009-12-17 | Kddi Corp | Communication controller |
EP2704447A1 (en) | 2012-08-28 | 2014-03-05 | Funai Electric Co., Ltd. | Content-reception device |
CN115379221A (en) * | 2022-10-25 | 2022-11-22 | 中诚华隆计算机技术有限公司 | Streaming media data transmission method and system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066610A (en) * | 1992-06-19 | 1994-01-14 | Nippon Hoso Kyokai <Nhk> | Picture coding method |
JPH07312753A (en) * | 1994-05-18 | 1995-11-28 | Matsushita Electric Ind Co Ltd | Coding control method |
JPH08223610A (en) * | 1995-02-17 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer evaluating device |
JPH08307369A (en) * | 1995-04-27 | 1996-11-22 | Oki Electric Ind Co Ltd | Sound encoding system testing circuit |
-
2004
- 2004-04-20 JP JP2004124383A patent/JP2005311599A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066610A (en) * | 1992-06-19 | 1994-01-14 | Nippon Hoso Kyokai <Nhk> | Picture coding method |
JPH07312753A (en) * | 1994-05-18 | 1995-11-28 | Matsushita Electric Ind Co Ltd | Coding control method |
JPH08223610A (en) * | 1995-02-17 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer evaluating device |
JPH08307369A (en) * | 1995-04-27 | 1996-11-22 | Oki Electric Ind Co Ltd | Sound encoding system testing circuit |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008524893A (en) * | 2004-12-15 | 2008-07-10 | ティーディーエフ | Variable bit rate transmission method for solving transmission channel |
JP2009296425A (en) * | 2008-06-06 | 2009-12-17 | Kddi Corp | Communication controller |
EP2704447A1 (en) | 2012-08-28 | 2014-03-05 | Funai Electric Co., Ltd. | Content-reception device |
CN115379221A (en) * | 2022-10-25 | 2022-11-22 | 中诚华隆计算机技术有限公司 | Streaming media data transmission method and system |
CN115379221B (en) * | 2022-10-25 | 2022-12-20 | 中诚华隆计算机技术有限公司 | Streaming media data transmission method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI383684B (en) | System and method for dynamic video encoding in multimedia streaming | |
EP1271830B1 (en) | Negotiated dynamic error correction for streamed media | |
US7668191B2 (en) | Apparatus and method for determining transmission policies for a plurality of applications of different types | |
US8964115B2 (en) | Transmission capacity probing using adaptive redundancy adjustment | |
US9338744B2 (en) | Server initiated power mode switching in portable communication devices | |
JP2012512560A (en) | Combining multimedia streams | |
WO2017031692A1 (en) | Video downloading method, apparatus, and system | |
JP5097214B2 (en) | Method and apparatus for ad hoc multicasting using coding scheduling in wireless networks | |
WO2008108379A1 (en) | Medium distribution system, distribution server device, medium distribution method used for them, and program thereof | |
JP2005513876A (en) | System and method for modifying a video stream based on a client or network environment | |
CN105141985A (en) | System and method for smoothly playing film and television stream | |
JP2008022070A (en) | Content distribution system, content distribution server, content reproduction terminal, program, content distribution method | |
US20090300455A1 (en) | Data transmitting device, control method therefor, and program | |
CN104509061A (en) | Method and device for regulating streaming media data transmission | |
JP2005311599A (en) | Communication system, communication method and streaming server | |
JP5428702B2 (en) | Stream communication system, server device, and client device | |
CN107872673A (en) | A kind of method and device of Intelligent Dynamic regulation video encoder | |
KR20090125556A (en) | Method, apparatus and system for coding video data | |
CN115037416A (en) | Data forward error correction processing method, device, electronic equipment and storage medium | |
US7395486B2 (en) | Image communication system using a hierarchical code comprised of a plurality of layers | |
CN109698928B (en) | Method and device for adjusting video stream in video conference system | |
JP2017028622A (en) | Image quality control device, image quality control method, image quality control system, and image quality controlling program | |
CN114025389B (en) | Data transmission method, device, computer equipment and storage medium | |
KR20050041597A (en) | Vod service system and method thereof | |
WO2022168541A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20061228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070404 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100629 |