JP2009124320A - Communication terminal device and computer program - Google Patents
Communication terminal device and computer program Download PDFInfo
- Publication number
- JP2009124320A JP2009124320A JP2007294495A JP2007294495A JP2009124320A JP 2009124320 A JP2009124320 A JP 2009124320A JP 2007294495 A JP2007294495 A JP 2007294495A JP 2007294495 A JP2007294495 A JP 2007294495A JP 2009124320 A JP2009124320 A JP 2009124320A
- Authority
- JP
- Japan
- Prior art keywords
- quality information
- quality
- signal
- transmission
- transmission timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、通信端末装置及びコンピュータプログラムに関する。 The present invention relates to a communication terminal device and a computer program.
従来、IP(Internet Protocol)電話システムあるいはIP網を介したマルチメディア配信システムにおいては、ネットワークの輻輳等の影響により品質基準よりも大きな伝送遅延や伝送遅延ゆらぎが生じたときに品質制御動作を行えるよう、サービスセッション毎にエンドトゥエンドのサービス品質を監視し品質管理を行うことが、サービス品質を維持する上で重要である。 Conventionally, in an IP (Internet Protocol) telephone system or a multimedia distribution system via an IP network, a quality control operation can be performed when transmission delay or transmission delay fluctuation larger than the quality standard occurs due to the influence of network congestion or the like. In order to maintain service quality, it is important to monitor end-to-end service quality for each service session and perform quality management.
特許文献1記載の従来技術では、GateWay(GW)またはOperation Support System(OSS)に対して予め音声品質の閾値を設定しておき、音声品質が閾値を下回ったときに品質劣化を検出している。
特許文献2記載の従来技術では、電話機自体にエンドトゥエンドの音声品質測定機能と該測定結果を管理サーバに送信する機能とを具備し、電話機のオンフック時に特定のパターンデータを生成して測定を行い、音声品質の監視を行っている。
特許文献3記載の従来技術では、測定対象において通話中の発着信音声パケットデータを蓄積し通話終了後に該音声パケットデータを音声評価システムに送信する。そして、音声評価システムが、該音声パケットデータに基づき品質情報を算出すると共に測定対象者からの主観評価値を受け取り、音声系ネットワークの保守運用を行っている。
In the prior art described in
In the prior art described in
しかし、上述した従来技術では以下に示すような問題がある。
特許文献1記載の従来技術では、音声品質が閾値を下回ったときにはじめて品質劣化を検出するので、通話中の音声品質を常時監視することはできない。
特許文献2記載の従来技術では、電話機のオンフック時に特定のパターンデータを生成して測定を行うので、通話中の音声品質を測定することはできない。
特許文献3記載の従来技術では、測定対象において通話中の全ての音声パケットデータを蓄積するので、携帯電話機のようにメモリ容量が限定される通信端末には適用することが難しい。また、蓄積した音声パケットデータを通話終了後に音声評価システムに送信するので、ネットワークに大きな負荷がかかる。
However, the above-described conventional technology has the following problems.
In the prior art described in
In the prior art described in
The conventional technique described in
さらに、従来技術では通話終了時あるいは品質劣化時に品質情報を送信するが、ネットワークの状態によっては品質情報を通信端末から送信することが憚られる場合がある。例えば、ネットワークが輻輳状態にある時に、通信端末から品質情報を送信すれば、さらなる輻輳を引き起こしかねない。 Further, in the prior art, quality information is transmitted at the end of a call or at the time of quality degradation. However, depending on the state of the network, it may be considered that the quality information is transmitted from the communication terminal. For example, if quality information is transmitted from a communication terminal when the network is in a congestion state, further congestion may be caused.
また、携帯電話機などのように処理能力が比較的低い端末では、品質情報を送信することによって処理能力が逼迫することもあり得るが、処理能力が逼迫した場合には、音声信号処理等の本来のサービスに係る信号処理が滞り、再生音声が途切れる等、サービス品質の低下を招く恐れがある。 In addition, in a terminal having a relatively low processing capability such as a mobile phone, the processing capability may be tight by transmitting quality information. However, if the processing capability is tight, the original processing such as voice signal processing may be performed. There is a risk that service quality will be degraded, for example, signal processing related to other services will be delayed and playback audio will be interrupted.
本発明は、このような事情を考慮してなされたもので、その目的は、IP電話の通話中などのサービスセッション中にエンドトゥエンドのサービス品質を品質管理装置に通知する際、サービス品質低下をできる限り抑え得るタイミングで品質情報を送信することのできる通信端末装置及びコンピュータプログラムを提供することにある。 The present invention has been made in view of such circumstances, and its purpose is to reduce the service quality when notifying the quality management device of the end-to-end service quality during a service session such as during an IP phone call. It is an object of the present invention to provide a communication terminal device and a computer program that can transmit quality information at a timing that can suppress as much as possible.
上記の課題を解決するために、本発明に係る通信端末装置は、通信ネットワークを介して通信相手からの信号を受信する信号受信手段と、該受信信号に基づいて品質情報を算出する品質情報算出手段と、該品質情報を記憶する品質情報送信バッファと、該受信信号に基づいて信号を再生する信号再生手段と、該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出手段と、前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信手段とを備えたことを特徴とする。 In order to solve the above-described problems, a communication terminal apparatus according to the present invention includes a signal receiving unit that receives a signal from a communication partner via a communication network, and a quality information calculation that calculates quality information based on the received signal. Means, a quality information transmission buffer for storing the quality information, a signal reproduction means for reproducing a signal based on the received signal, and service quality fluctuation is within an allowable range even if there is a defect in the signal reproduction. A transmission timing calculation unit that sets a reproduction section as the transmission timing of the quality information, and a quality information transmission unit that transmits the quality information to the quality management apparatus at the transmission timing via the communication network. To do.
本発明に係る通信端末装置においては、前記通信ネットワークを介して通信相手へ信号を送信する信号送信手段を備え、前記送信タイミング算出手段は、通信相手側において該送信信号の再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である送信区間と、前記信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間とが一致する区間を、前記品質情報の送信タイミングとすることを特徴とする。 The communication terminal device according to the present invention includes signal transmission means for transmitting a signal to the communication partner via the communication network, and the transmission timing calculation means has a problem in reproducing the transmission signal on the communication partner side. Even if the transmission interval in which the service quality variation is within the allowable range and the reproduction interval in which the service quality variation is within the allowable range even if there is a discrepancy in the signal reproduction, the transmission of the quality information is performed. It is characterized by timing.
本発明に係る通信端末装置においては、無音区間を検出する手段を備え、無音区間を前記品質情報の送信タイミングとすることを特徴とする。 The communication terminal apparatus according to the present invention includes means for detecting a silence interval, and the silence interval is used as the transmission timing of the quality information.
本発明に係る通信端末装置においては、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を検出する手段を備え、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を前記品質情報の送信タイミングとすることを特徴とする。 The communication terminal device according to the present invention includes means for detecting an image interval in which an image is stationary or an image interval in which there is little movement between consecutive images, and between image intervals in which an image is stationary or between consecutive images. It is characterized in that an image section with little motion is used as the transmission timing of the quality information.
本発明に係る通信端末装置においては、前記品質情報に基づいて前記通信ネットワークが輻輳状態にあるか判断する手段を備え、前記送信タイミング算出手段は、前記通信ネットワークが輻輳状態にあると判断された場合に、前記品質情報の送信を保留することを特徴とする。 In the communication terminal device according to the present invention, the communication terminal device comprises means for determining whether the communication network is in a congestion state based on the quality information, and the transmission timing calculation means is determined to be in the congestion state In this case, the transmission of the quality information is suspended.
本発明に係るコンピュータプログラムは、通信ネットワークを介して通信相手から受信した受信信号に基づいて品質情報を算出する品質情報算出機能と、該品質情報を品質情報送信バッファに格納する機能と、該受信信号に基づいて信号を再生する信号再生機能と、該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出機能と、前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信機能とをコンピュータに実現させることを特徴とする。
これにより、前述の通信端末装置がコンピュータを利用して実現できるようになる。
A computer program according to the present invention includes a quality information calculation function for calculating quality information based on a received signal received from a communication partner via a communication network, a function for storing the quality information in a quality information transmission buffer, and the reception A signal reproduction function for reproducing a signal based on a signal, and a transmission timing calculation function in which a reproduction section in which a variation in service quality is within an allowable range even if there is a defect in the signal reproduction is a transmission timing of the quality information The computer implements a quality information transmission function for transmitting quality information to a quality management device at the transmission timing via the communication network.
As a result, the communication terminal device described above can be realized using a computer.
本発明によれば、IP電話の通話中などのサービスセッション中にエンドトゥエンドのサービス品質を品質管理装置に通知する際、サービス品質低下をできる限り抑え得るタイミングで品質情報を送信することができるという効果が得られる。 According to the present invention, when notifying the quality management apparatus of end-to-end service quality during a service session such as during an IP phone call, the quality information can be transmitted at a timing that can suppress degradation of service quality as much as possible. The effect is obtained.
以下、図面を参照し、本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る通信サービスシステムの構成を示すブロック図である。図1において、通信端末装置(以下、端末と称する)1は、IPネットワーク2を介して通信相手の端末1との間で相互に信号パケット100を送受する。信号パケット100に格納される信号としては、例えば、音声信号、映像信号などが挙げられる。端末1としては、例えば、IP電話端末、IPテレビ電話端末、IPテレビ会議端末などが挙げられる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a communication service system according to an embodiment of the present invention. In FIG. 1, a communication terminal device (hereinafter referred to as a terminal) 1 sends and receives a
端末1は、IPネットワーク2を介して品質情報200を品質管理サーバ3へ送信する。品質管理サーバ3は、該品質情報200に基づいて、サービス品質の管理や制御を行う。
The
図2は、本実施形態に係る端末1の構成を示すブロック図である。図2に示される端末1は、音声信号又は映像信号を扱う。以下、音声信号および映像信号を特に区別しないときは、両者を総称してメディア信号と称する。
FIG. 2 is a block diagram illustrating a configuration of the
図2において、端末1は、IPネットワーク2を介して通信相手から送られてきた信号パケットを受信し、受信した信号パケットをジッタバッファ11に格納する。ジッタバッファ11は、伝送時に発生したパケットの順序誤りおよび間隔変動を訂正するためのバッファである。
In FIG. 2, the
例えば、VoIP(Voice over IP)技術を用いたIP電話システムにおいて、送信端末は、音声信号を短時間(例えば、20ミリ秒)毎に符号化およびパケット化して通信相手の端末(受信端末)へ送信する。また、テレビ電話等、映像配信を行うシステムにおいて、送信端末は、映像信号をMPEG(Moving Picture Experts Group)方式によりフレーム毎に符号化およびパケット化して通信相手の端末(受信端末)へ送信する。このとき、一般的には、伝送プロトコルとしてRTP(Real-Time Transmission Protocol)が使用される。RTPによるパケット伝送では、送信端末からのパケットの送信順序、送信間隔とは異なる順序、間隔で、受信端末に到着する場合がある。そのため、ジッタバッファ11において、RTPヘッダに記載された“sequence number”を参照し、送信端末からのパケットの送信順序、送信間隔と一致するように受信パケットの順序および間隔を訂正する。ジッタバッファ11を通過したパケットは、デコード部12及び品質情報算出部14にそれぞれ送られる。
For example, in an IP telephone system using VoIP (Voice over IP) technology, a transmitting terminal encodes and packetizes a voice signal every short time (for example, 20 milliseconds) to a communication partner terminal (receiving terminal). Send. Also, in a video delivery system such as a videophone, a transmission terminal encodes and packetizes a video signal frame by frame using an MPEG (Moving Picture Experts Group) method, and transmits the packet to a communication partner terminal (receiving terminal). At this time, RTP (Real-Time Transmission Protocol) is generally used as a transmission protocol. In packet transmission by RTP, packets may arrive at a receiving terminal in an order and interval different from the transmission order and transmission interval of packets from the transmitting terminal. For this reason, the
デコード部12は、ジッタバッファ11から受け取ったパケットに含まれる符号化データを復号する。復号後のメディア信号(再生信号)は、信号再生部13および品質情報算出部14にそれぞれ送られる。さらに、デコード部12は、復号後のメディア信号がサービス品質にどの程度影響するかを表す情報(品質影響パラメータと称する)を算出する。品質影響パラメータは送信タイミング算出部16に送られる。
The
音声信号の場合には、復号後の音声区間が音声品質上どの程度重要であるのかを表す情報を算出する。例えば、話者の音声が殆ど含まれていない無音区間は、音声品質上あまり重要ではないと考えることができる。これにより、デコード部12は、音声信号の無音区間を判定するための情報(例えば、音声信号の正規化パワー値など)を算出し、送信タイミング算出部16に送る。
In the case of a speech signal, information representing how important the speech segment after decoding is in terms of speech quality is calculated. For example, it can be considered that a silent section in which the speaker's voice is hardly included is not very important for voice quality. As a result, the
映像信号の場合には、復号後のフレームが映像品質上どの程度重要であるのかを表す情報を算出する。映像信号の一般的な符号化方式であるMPEG方式では、差分を取るフレームが異なる3種類のピクチャ(Iピクチャ、Pピクチャ、Bピクチャ)から構成される。Iピクチャは単独で再生可能であり、Pピクチャは前のIピクチャまたはPピクチャからの差分を用いて再生可能である。Bピクチャは前後のIピクチャまたはPピクチャからの差分を用いて再生を行う。したがって、映像信号を再生する際、IピクチャはPピクチャ及びBピクチャの両方から参照されるため、Pピクチャ及びBピクチャに比べて映像品質に与える影響が大きいと言える。一方、Bピクチャは、Iピクチャ及びPピクチャに比べて映像品質に与える影響が小さいことが知られている。そこで、デコード部12は、復号後のフレームが映像品質上どの程度重要であるのかを表す情報として、MPEG方式のピクチャヘッダに記載されているピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)を取得し、該ピクチャタイプを送信タイミング算出部16に送る。なお、ピクチャタイプ以外では、復号後のフレームが映像品質上どの程度重要であるのかを表す情報として、例えば、前フレームとの動き差分情報などが挙げられる。
In the case of a video signal, information representing how important the decoded frame is for video quality is calculated. In the MPEG system, which is a general encoding system for video signals, three frames (I picture, P picture, B picture) having different frames are included. An I picture can be reproduced independently, and a P picture can be reproduced using a difference from the previous I picture or P picture. The B picture is reproduced using a difference from the preceding and following I pictures or P pictures. Therefore, when the video signal is reproduced, the I picture is referred to by both the P picture and the B picture, so that it can be said that the influence on the video quality is larger than that of the P picture and the B picture. On the other hand, it is known that a B picture has less influence on video quality than an I picture and a P picture. Accordingly, the
信号再生部13は、デコード部12から受け取ったメディア信号(再生信号)を再生する。信号再生部13は、再生バッファを有する。信号再生部13は、デコード部12から受け取ったメディア信号を再生バッファに格納し、再生速度を調整する。
The
図3に、信号再生部13の概念図を示す。図3では音声再生を例に挙げている。信号再生部13は、音声信号を格納する再生バッファ31を有し、デコード部12から受け取った音声信号を一旦再生バッファ31に格納し、音声再生速度に合せて再生バッファ31から音声信号を取り出し、スピーカ32で音声の再生を行う。
FIG. 3 shows a conceptual diagram of the
再生バッファ31のバッファサイズは、端末毎に予め設定される。デコード部12によって復号化された音声信号が何秒後に再生されるかを、再生バッファ31のバッファサイズに基づいて推定することができる。図3に示すように、再生バッファ31に蓄積されている音声信号の総和時間をLミリ秒とすると、デコード部12から信号再生部13に新たに送られた音声信号300が再生されるまでの時間tは次式により与えられる。
t=L
The buffer size of the reproduction buffer 31 is preset for each terminal. It can be estimated based on the buffer size of the reproduction buffer 31 how many seconds later the audio signal decoded by the
t = L
信号再生部13は、再生バッファに蓄積されているメディア信号(再生信号)の総和時間を表す信号を、送信タイミング算出部16に出力する。
The
品質情報算出部14は、ジッタバッファ11から受け取ったパケット又はデコード部12から受け取ったメディア信号(再生信号)に基づき、所定の品質情報送信周期毎(例えば8秒毎)に品質情報を算出する。品質情報は、サービス品質を表す。サービス品質としては、例えば、IP電話サービスにおける通話時の音声品質、テレビ電話サービスにおける通話時の音声品質および映像品質などが挙げられる。品質情報としては、例えば、ネットワークの状態を表すパラメータ(パケットロス率、ディレイ、ジッタなど)、“RFC3611 RTCP XR”において定義されているレポートブロックに含まれる品質パラメータなどが挙げられる。さらに、無線通信端末(例えば携帯電話機)を利用する場合には、無線受信強度などの下位レイヤにおける品質情報を取得し、下位レイヤにおける品質情報も算出することが望ましい。品質情報算出部14は、品質情報を送信タイミング算出部16および品質パケット生成部15に送る。
The quality
品質パケット生成部15は、品質情報算出部14から受け取った品質情報を所定のフォーマットに整形し、整形後の品質情報をパケット化した品質パケットを生成する。所定のフォーマットとしては、例えば、図4に示されるXML(eXtensible Markup Language)を用いた記述形式が挙げられる。XML形式は、品質情報の種類に捉われることなく、品質情報を記述することができる。品質管理サーバ3へ品質情報を送る際には、例えばSIP(Session Initiation Protocol)のパブリッシュメソッドを用いることが挙げられるが、SIPのパブリッシュメソッドではXML形式を利用可能である。品質パケット生成部15は、品質パケットを品質パケット送出部17に送る。
The quality
送信タイミング算出部16は、品質パケットの送信タイミングを算出する。この送信タイミング算出方法については後述する。送信タイミング算出部16は、品質パケットの送信タイミングを品質パケット送出部17に指示する。
The transmission
品質パケット送出部17は、送信タイミング算出部16から指示された送信タイミングに従って、品質パケットを品質管理サーバ3へ送信する。品質パケット送出部17は、品質パケット送信タイミング調整用の送信バッファを有する。品質パケット送出部17は、品質パケット生成部15から受け取った品質パケットを一旦送信バッファに格納し、送信タイミング算出部16から指示された送信タイミングに合せて送信バッファから品質パケットを取り出し、品質管理サーバ3へ送信する。
The quality
信号入力部21は、通信相手へ送るメディア信号を入力する。例えば、IP電話の場合には音声信号を入力し、テレビ電話の場合には音声信号および映像信号を入力する。
The
エンコード部22は、信号入力部21により入力されたメディア信号を符号化する。符号化後のメディア信号(送信信号)は、信号パケット送出部23に送られる。さらに、エンコード部22は、符号化後のメディア信号がサービス品質にどの程度影響するかを表す品質影響パラメータを算出する。この品質影響パラメータは、デコード部12が算出する品質影響パラメータと同様である。品質影響パラメータは送信タイミング算出部16に送られる。
The
信号パケット送出部23は、エンコード部22から受け取った符号化後のメディア信号(送信信号)をパケット化し、該信号パケットを通信相手の端末へ送信する。さらに、信号パケット送出部23は、信号パケットを送信するタイミングを表す信号を、送信タイミング算出部16に出力する。
The signal
次に、本実施形態に係る品質情報送信タイミング算出方法を説明する。 Next, the quality information transmission timing calculation method according to the present embodiment will be described.
品質情報送信は予め設定した品質情報送信周期毎(例えば8秒毎)に品質管理サーバ3へ送信することを基本とするが、品質情報送信がサービス品質の低下につながることはできる限り避けたい。例えば、携帯電話機などのように処理能力が比較的低い端末では、品質情報を送信することによって処理能力が逼迫することもあり得るが、処理能力が逼迫した場合には、音声信号処理等の本来のサービスに係る信号処理が滞り、再生音声が途切れる等、サービス品質の低下を招く恐れがある。このような事態をできる限る避けるために、品質情報送信によって生じるサービス品質変動が許容範囲内となるタイミングで品質情報を送信するように、送信タイミングを算出する。
Although quality information transmission is based on transmission to the
具体的には、音声を扱うサービス(例えば、IP電話サービスなど)の場合、話者の音声が比較的多く含まれる有音区間で再生音声が途切れると、音声品質が著しく低下したと感じられやすい。これに対して、話者の音声が殆ど含まれていない無音区間では、たとえ再生音声が途切れたとしても音声の途切れを知覚しづらく、音声品質が低下したとはあまり感じられない。このような知見に基づき、無音区間において信号再生上の瑕疵があったとしても、そのサービス品質変動は許容範囲内であるとする。従って、無音区間で品質情報送信を行えば、サービス品質変動を許容範囲内に収めることができ、サービス品質の低下を極力抑えることができる。 Specifically, in the case of a service that handles voice (for example, IP phone service), if the playback voice is interrupted in a voiced section that contains a relatively large amount of speaker's voice, it is likely that the voice quality is significantly lowered. . On the other hand, in a silent section in which the speaker's voice is hardly included, even if the playback voice is interrupted, it is difficult to perceive the interruption of the voice, and it is not so much felt that the voice quality has deteriorated. Based on such knowledge, even if there is a discrepancy in signal reproduction in the silent section, it is assumed that the service quality fluctuation is within an allowable range. Therefore, if quality information is transmitted in a silent section, service quality fluctuations can be kept within an allowable range, and degradation of service quality can be suppressed as much as possible.
映像を扱うサービス(例えば、テレビ電話サービス)の場合、画像が静止している画像区間において再生画像が途切れたとしても、再生画像の途切れを知覚することは難しく、映像品質が低下したとはあまり感じられない。同様に、連続する画像間で動きが少ない画像区間についても、画像の途切れを知覚しづらく、映像品質が低下したとはあまり感じられない。このような知見に基づき、画像が静止している画像区間および連続する画像間で動きが少ない画像区間において信号再生上の瑕疵があったとしても、そのサービス品質変動は許容範囲内であるとする。従って、画像が静止している画像区間または連続する画像間で動きが少ない画像区間で品質情報送信を行えば、サービス品質変動を許容範囲内に収めることができ、サービス品質の低下を極力抑えることができる。 In the case of a service that handles video (for example, a videophone service), even if the playback image is interrupted in an image section where the image is still, it is difficult to perceive the interruption of the playback image, and the video quality is not much reduced. I can't feel it. Similarly, it is difficult to perceive an image break even in an image section where there is little movement between consecutive images, and it is not so much felt that the video quality has deteriorated. Based on such knowledge, even if there is a discrepancy in signal reproduction in an image section where images are stationary and an image section where there is little motion between consecutive images, the service quality fluctuation is assumed to be within an allowable range. . Therefore, if quality information is transmitted in an image section where images are stationary or in an image section where there is little movement between successive images, service quality fluctuations can be kept within an allowable range, and deterioration in service quality is minimized. Can do.
また、ネットワークが輻輳状態にある時に品質情報を送信することは、ネットワークに対して更なる負荷を与えることになり、サービス品質の低下要因になり得る。このため、ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保することが好ましい。 In addition, transmitting quality information when the network is in a congested state places an additional load on the network, which can be a cause of service quality degradation. For this reason, when it is determined that the network is in a congestion state, it is preferable to maintain transmission of quality information.
図5は、本実施形態に係る品質情報送信タイミング算出処理の流れを示すフローチャートである。なお、図5では、音声を扱うサービスの場合を例に挙げている。
図5において、送信タイミング算出部16は、品質情報送信タイミング算出に使用する情報を各部から受け取る。
FIG. 5 is a flowchart showing a flow of quality information transmission timing calculation processing according to the present embodiment. Note that FIG. 5 shows an example of a service that handles voice.
In FIG. 5, the transmission
デコード部12およびエンコード部22からは、音声信号の無音区間を判定するための情報として、音声信号の正規化パワー値を受け取る。デコード部12から受け取る正規化パワー値は、これから再生する音声に関するものである。エンコード部22から受け取る正規化パワー値は、これから送信する音声に関するものである。
From the
品質情報算出部14からは、品質情報を受け取る。信号再生部13からは、再生バッファに蓄積されている再生信号の総和時間を表す信号(再生タイミング情報)を受け取る。再生タイミング情報は、デコード部12から受け取った正規化パワー値に対応する音声が再生されるタイミングを示す。
Quality information is received from the quality
信号パケット送出部23からは、信号パケットを送信するタイミングを表す信号(信号パケット送出タイミング情報)を受け取る。信号パケット送出タイミング情報は、エンコード部22から受け取った正規化パワー値に対応する音声が送信されるタイミングを示す。
From the signal
ステップSP1では、送信タイミング算出部16は、品質情報に基づいて、ネットワークが輻輳状態にあるか判断する。品質情報において、例えばパケットロス率が予め設定した閾値より大きい場合に、ネットワークが輻輳状態であると判断する。パケットロス率以外にも、往復遅延時間あるいはジッタなどを用いてネットワークの輻輳状態を判断してもよい。
In step SP1, the transmission
ステップSP1の結果、ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保留する。従って、この場合は、品質パケット送出部17は、品質パケットを送信しない。一方、ネットワークが輻輳状態にないと判断した場合には、ステップSP2に進む。
As a result of step SP1, when it is determined that the network is in a congested state, transmission of quality information is suspended. Therefore, in this case, the quality
ステップSP2では、送信タイミング算出部16は、送信タイミング候補を算出する。
In step SP2, the transmission
ここで、送信タイミング候補算出処理を説明する。
まず、デコード部12から受け取った正規化パワー値に基づいて、再生音声における無音区間を判定する。同様に、エンコード部22からから受け取った正規化パワー値に基づいて、送信音声における無音区間を判定する。無音区間の判定は、無音区間判定用の閾値を予め設け、該閾値未満の正規化パワー値である区間を無音区間と判定する。正規化パワー値をパケット単位で求めることにより、パケット単位で無音区間を判定できる。図6は、無音区間判定処理を説明するためのグラフ図である。図6の例では、20ミリ秒毎に正規化パワー値を求めている。正規化パワー値が閾値以上の場合は有音区間と判定し、正規化パワー値が閾値未満の場合は無音区間と判定している。
Here, the transmission timing candidate calculation process will be described.
First, based on the normalized power value received from the
次いで、信号再生部13から受け取った再生タイミング情報に基づいて、再生音声における無音区間が再生されるタイミングを算出する。同様に、信号パケット送出部23から受け取った信号パケット送出タイミング情報に基づいて、送信音声における無音区間が送信されるタイミングを算出する。そして、無音区間が再生されるタイミングを、品質情報を送信するタイミングの候補(送信タイミング候補)とする。より好ましくは、無音区間が再生されるタイミングと無音区間が送信されるタイミングとが一致する区間を、送信タイミング候補とする。
Next, based on the reproduction timing information received from the
一般に、会話音声における無音区間の割合は60%程度であることが知られている。そのため、図7に例示されるように、無音区間は多数存在する。図7の例では、受信音声における無音部が再生されるタイミングをRiとし、送信音声における無音部が送信されるタイミングをSiとしており、両者が一致するタイミングは「R2=S3」及び「R8=S7」である。このタイミングを送信タイミング候補とすれば、音声再生及び音声送信の両方の処理に対して負担をかけなくて済む。 In general, it is known that the ratio of silent sections in conversational speech is about 60%. Therefore, as illustrated in FIG. 7, there are many silent sections. In the example of FIG. 7, the timing at which the silent part in the received voice is reproduced is Ri, the timing at which the silent part in the transmitted voice is transmitted is Si, and the timing at which both coincide is “R 2 = S 3 ” and “ R 8 = S 7 ”. If this timing is set as a transmission timing candidate, it is not necessary to place a burden on both the audio playback and audio transmission processes.
説明を図5に戻す。
ステップSP3では、送信タイミング算出部16は、送信タイミング候補の中から、送信タイミングを算出する。この送信タイミング算出処理では、複数存在する送信タイミング候補のうち、品質情報送信周期よりも大きく且つ最も品質情報送信周期に近いタイミングを算出する。図8に例示されるように複数の送信タイミング候補が算出された場合、品質情報送信周期よりも大きく且つ品質情報送信周期に最も近いのは“送信タイミング候補G”であるので、送信タイミング候補Gを送信タイミングとする。送信タイミング算出部16は、算出結果の送信タイミングを品質パケット送出部17に通知する。
Returning to FIG.
In step SP3, the transmission
品質パケット送出部17は、送信タイミング算出部16から通知された送信タイミングに従って、品質パケットを送信する。
The quality
なお、図5では、音声を扱うサービスの場合を例に挙げたが、映像を扱うサービスの場合も処理の流れは同じである。映像信号の場合は、画像が静止している画像区間および連続する画像間で動きが少ない画像区間を、送信タイミング候補とする。具体的には、例えば、MPEG方式のピクチャタイプに基づいて、Bピクチャの区間を送信タイミング候補とする。若しくは、前フレームとの動き差分情報に基づいて、画像が静止している画像区間および連続する画像間で動きが少ない画像区間を送信タイミング候補とする。 In FIG. 5, the case of a service that handles audio is given as an example, but the flow of processing is the same for a service that handles video. In the case of a video signal, an image section where an image is stationary and an image section where there is little motion between consecutive images are set as transmission timing candidates. Specifically, for example, a B picture section is set as a transmission timing candidate based on an MPEG picture type. Alternatively, based on motion difference information with respect to the previous frame, an image section where the image is stationary and an image section where there is little motion between successive images are set as transmission timing candidates.
上述したように本実施形態によれば、信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、品質情報の送信タイミングとする。具体的には、音声信号においては無音区間を品質情報の送信タイミングとする。映像信号においては、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を品質情報の送信タイミングとする。これにより、品質情報送信によって生じるサービス品質の低下を極力抑えることができるという効果が得られる。 As described above, according to this embodiment, even if there is a discrepancy in signal reproduction, the reproduction section in which the service quality fluctuation is within the allowable range is set as the transmission timing of the quality information. Specifically, in the audio signal, the silent period is set as the transmission timing of the quality information. In the video signal, an image interval in which an image is stationary or an image interval in which there is little movement between consecutive images is set as the transmission timing of quality information. Thereby, the effect that the fall of the service quality which arises by quality information transmission can be suppressed as much as possible is acquired.
また、通信ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保留する。これにより、輻輳状態にある通信ネットワークに対して更なる負荷をかけることを避け、サービス品質の低下を防止する。 If it is determined that the communication network is in a congested state, transmission of quality information is suspended. As a result, it is possible to avoid applying a further load to the communication network in a congested state and to prevent deterioration of service quality.
なお、本実施形態に係る端末1は、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図1に示される端末1の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。
Note that the
また、図5に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、品質情報送信タイミング算出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, the program for realizing each step shown in FIG. 5 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed, thereby executing the quality information transmission timing. A calculation process may be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices.
“Computer-readable recording medium” refers to a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disk), and a built-in computer system. A storage device such as a hard disk.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、本発明に係る通信端末装置としては、受信専用端末も含む。例えば、コンサート会場の音声や映像を実時間配信するサービスの受信端末などであってもよい。
As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
For example, the communication terminal device according to the present invention includes a reception-only terminal. For example, it may be a receiving terminal for a service that distributes audio and video at a concert venue in real time.
1…通信端末装置、2…IPネットワーク(パケット通信ネットワーク)、3…品質管理サーバ(品質管理装置)、11…ジッタバッファ、12…デコード部、13…信号再生部、14…品質情報算出部、15…品質パケット生成部、16…送信タイミング算出部、17…品質パケット送出部、21…信号入力部、22…エンコード部、23…信号パケット送出部、31…再生バッファ
DESCRIPTION OF
Claims (6)
該受信信号に基づいて品質情報を算出する品質情報算出手段と、
該品質情報を記憶する品質情報送信バッファと、
該受信信号に基づいて信号を再生する信号再生手段と、
該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出手段と、
前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信手段と、
を備えたことを特徴とする通信端末装置。 Signal receiving means for receiving a signal from a communication partner via a communication network;
Quality information calculating means for calculating quality information based on the received signal;
A quality information transmission buffer for storing the quality information;
Signal reproducing means for reproducing a signal based on the received signal;
A transmission timing calculation means for setting a reproduction section in which a service quality variation is within an allowable range even if there is a flaw in the signal reproduction as a transmission timing of the quality information;
Quality information transmitting means for transmitting quality information to the quality management device at the transmission timing via the communication network;
A communication terminal device comprising:
前記送信タイミング算出手段は、通信相手側において該送信信号の再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である送信区間と、前記信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間とが一致する区間を、前記品質情報の送信タイミングとすることを特徴とする請求項1に記載の通信端末装置。 Comprising signal transmission means for transmitting a signal to a communication partner via the communication network;
The transmission timing calculation means includes a transmission section in which a variation in service quality is within an allowable range even if there is a reproduction failure of the transmission signal on the communication partner side, and a service quality even if there is a failure on the signal reproduction. The communication terminal apparatus according to claim 1, wherein a section in which a reproduction section whose variation is within an allowable range coincides with the transmission timing of the quality information.
無音区間を前記品質情報の送信タイミングとすることを特徴とする請求項1又は請求項2に記載の通信端末装置。 Means for detecting silent sections;
The communication terminal apparatus according to claim 1 or 2, wherein a silent period is set as a transmission timing of the quality information.
画像が静止している画像区間または連続する画像間で動きが少ない画像区間を前記品質情報の送信タイミングとすることを特徴とする請求項1又は請求項2に記載の通信端末装置。 Means for detecting an image interval in which the image is stationary or an image interval in which there is little movement between successive images,
The communication terminal device according to claim 1 or 2, wherein an image section in which an image is stationary or an image section in which movement between successive images is small is set as the transmission timing of the quality information.
前記送信タイミング算出手段は、前記通信ネットワークが輻輳状態にあると判断された場合に、前記品質情報の送信を保留することを特徴とする請求項1に記載の通信端末装置。 Means for determining whether the communication network is congested based on the quality information;
The communication terminal apparatus according to claim 1, wherein the transmission timing calculation unit suspends transmission of the quality information when it is determined that the communication network is in a congested state.
該品質情報を品質情報送信バッファに格納する機能と、
該受信信号に基づいて信号を再生する信号再生機能と、
該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出機能と、
前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 A quality information calculation function for calculating quality information based on a received signal received from a communication partner via a communication network;
A function of storing the quality information in a quality information transmission buffer;
A signal reproduction function for reproducing a signal based on the received signal;
A transmission timing calculation function in which a reproduction section in which service quality variation is within an allowable range even if there is a defect in the signal reproduction is a transmission timing of the quality information;
A quality information transmission function for transmitting quality information to the quality management device at the transmission timing via the communication network;
A computer program for causing a computer to realize the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007294495A JP4861964B2 (en) | 2007-11-13 | 2007-11-13 | Communication terminal device and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007294495A JP4861964B2 (en) | 2007-11-13 | 2007-11-13 | Communication terminal device and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009124320A true JP2009124320A (en) | 2009-06-04 |
JP4861964B2 JP4861964B2 (en) | 2012-01-25 |
Family
ID=40816023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007294495A Expired - Fee Related JP4861964B2 (en) | 2007-11-13 | 2007-11-13 | Communication terminal device and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4861964B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012004924A1 (en) * | 2010-07-05 | 2012-01-12 | 三菱電機株式会社 | Image quality management system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08126047A (en) * | 1994-10-27 | 1996-05-17 | Fujitsu Ltd | Digital mobile telephone communication method, speech channel switching method and mobile station and base station to realize the methods |
JP2007135040A (en) * | 2005-11-11 | 2007-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Device for estimating user sensory quality, method, and program |
-
2007
- 2007-11-13 JP JP2007294495A patent/JP4861964B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08126047A (en) * | 1994-10-27 | 1996-05-17 | Fujitsu Ltd | Digital mobile telephone communication method, speech channel switching method and mobile station and base station to realize the methods |
JP2007135040A (en) * | 2005-11-11 | 2007-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Device for estimating user sensory quality, method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012004924A1 (en) * | 2010-07-05 | 2012-01-12 | 三菱電機株式会社 | Image quality management system |
JP5562420B2 (en) * | 2010-07-05 | 2014-07-30 | 三菱電機株式会社 | Video quality management system |
Also Published As
Publication number | Publication date |
---|---|
JP4861964B2 (en) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4367657B2 (en) | Voice communication method and apparatus | |
JP4504429B2 (en) | Method and apparatus for managing media latency of voice over internet protocol between terminals | |
KR100705432B1 (en) | Streaming media | |
TWI439086B (en) | Jitter buffer adjustment | |
TWI424747B (en) | System and method for connection to a network and for reproducing an audio/video stream received from a server on the network | |
US9729726B2 (en) | Seamless codec switching | |
US10177899B2 (en) | Adapting a jitter buffer | |
KR101727450B1 (en) | Reducing delay in video telephony | |
KR100832537B1 (en) | Multimedia data streaming server and method for changing a traffic in response to network bandwidth condition | |
JP2006500797A (en) | How to enable packet transfer delay compensation during multimedia streaming | |
JP4903435B2 (en) | Media signal transmission method and reception method, and transmission / reception method and apparatus | |
JP2005151600A (en) | Data transmission unit, data transmission method, and program | |
KR20110065100A (en) | Method and apparatus for supporting multimedia streaming service | |
JP2009076952A (en) | Tv conference apparatus and method | |
JP4076981B2 (en) | Communication terminal apparatus and buffer control method | |
WO2014207978A1 (en) | Transmission device, receiving device, and relay device | |
JP2005322995A (en) | Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program | |
JP4861964B2 (en) | Communication terminal device and computer program | |
Waltermann et al. | A technique for seamless VoIP-codec switching in next generation networks | |
Assem et al. | A generic algorithm for mid-call audio codec switching | |
JP5218995B2 (en) | Video playback terminal, video playback method and program | |
KR101055169B1 (en) | Traffic control method and device therefor in streaming system | |
Lewcio et al. | A testbed for QoE-based multimedia streaming optimization in heterogeneous wireless networks | |
JP2014068087A (en) | Buffer controller, control method by buffer controller, media communication device, and computer program | |
JP4050961B2 (en) | Packet-type voice communication terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4861964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |