JP2009124320A - Communication terminal device and computer program - Google Patents

Communication terminal device and computer program Download PDF

Info

Publication number
JP2009124320A
JP2009124320A JP2007294495A JP2007294495A JP2009124320A JP 2009124320 A JP2009124320 A JP 2009124320A JP 2007294495 A JP2007294495 A JP 2007294495A JP 2007294495 A JP2007294495 A JP 2007294495A JP 2009124320 A JP2009124320 A JP 2009124320A
Authority
JP
Japan
Prior art keywords
quality information
quality
signal
transmission
transmission timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007294495A
Other languages
Japanese (ja)
Other versions
JP4861964B2 (en
Inventor
Satoshi Kamimura
郷志 上村
Tokuhiro Fukumoto
徳広 福元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007294495A priority Critical patent/JP4861964B2/en
Publication of JP2009124320A publication Critical patent/JP2009124320A/en
Application granted granted Critical
Publication of JP4861964B2 publication Critical patent/JP4861964B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To transmit quality information at timing that can suppress deterioration in service quality as much as possible when notifying a quality management device of the service quality of an end-to-end service in a service session such as during the speech communication of an IP telephone. <P>SOLUTION: This communication terminal device is provided with: a quality information calculating part 14 for calculating quality information on the basis of a reception signal received from the opposite communication party through a communication network; a quality information transmission buffer for storing the quality information; a signal reproducing part 13 for reproducing a signal on the basis of the reception signal; a transmission timing calculating part 16 for making a reproduction section where a fluctuation in service quality is within an allowable range regardless of the existence of a fault in reproducing the signal transmission timing of the quality information; and a quality packet transmitting part 17 for transmitting the quality information to the quality management device at the transmission timing through the communication network. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、通信端末装置及びコンピュータプログラムに関する。   The present invention relates to a communication terminal device and a computer program.

従来、IP(Internet Protocol)電話システムあるいはIP網を介したマルチメディア配信システムにおいては、ネットワークの輻輳等の影響により品質基準よりも大きな伝送遅延や伝送遅延ゆらぎが生じたときに品質制御動作を行えるよう、サービスセッション毎にエンドトゥエンドのサービス品質を監視し品質管理を行うことが、サービス品質を維持する上で重要である。   Conventionally, in an IP (Internet Protocol) telephone system or a multimedia distribution system via an IP network, a quality control operation can be performed when transmission delay or transmission delay fluctuation larger than the quality standard occurs due to the influence of network congestion or the like. In order to maintain service quality, it is important to monitor end-to-end service quality for each service session and perform quality management.

特許文献1記載の従来技術では、GateWay(GW)またはOperation Support System(OSS)に対して予め音声品質の閾値を設定しておき、音声品質が閾値を下回ったときに品質劣化を検出している。
特許文献2記載の従来技術では、電話機自体にエンドトゥエンドの音声品質測定機能と該測定結果を管理サーバに送信する機能とを具備し、電話機のオンフック時に特定のパターンデータを生成して測定を行い、音声品質の監視を行っている。
特許文献3記載の従来技術では、測定対象において通話中の発着信音声パケットデータを蓄積し通話終了後に該音声パケットデータを音声評価システムに送信する。そして、音声評価システムが、該音声パケットデータに基づき品質情報を算出すると共に測定対象者からの主観評価値を受け取り、音声系ネットワークの保守運用を行っている。
特開2002−271392号公報 特開2003−244235号公報 特開2007−150774号公報
In the prior art described in Patent Document 1, a threshold for voice quality is set in advance for GateWay (GW) or Operation Support System (OSS), and quality degradation is detected when the voice quality falls below the threshold. .
In the prior art described in Patent Document 2, the telephone itself has an end-to-end voice quality measurement function and a function of transmitting the measurement result to the management server, and generates specific pattern data when the telephone is on-hook to perform measurement. Audio quality monitoring.
In the prior art described in Patent Document 3, outgoing / incoming voice packet data during a call is stored in a measurement target, and the voice packet data is transmitted to the voice evaluation system after the call ends. Then, the voice evaluation system calculates quality information based on the voice packet data, receives a subjective evaluation value from the measurement subject, and performs maintenance operation of the voice network.
JP 2002-271392 A JP 2003-244235 A JP 2007-150774 A

しかし、上述した従来技術では以下に示すような問題がある。
特許文献1記載の従来技術では、音声品質が閾値を下回ったときにはじめて品質劣化を検出するので、通話中の音声品質を常時監視することはできない。
特許文献2記載の従来技術では、電話機のオンフック時に特定のパターンデータを生成して測定を行うので、通話中の音声品質を測定することはできない。
特許文献3記載の従来技術では、測定対象において通話中の全ての音声パケットデータを蓄積するので、携帯電話機のようにメモリ容量が限定される通信端末には適用することが難しい。また、蓄積した音声パケットデータを通話終了後に音声評価システムに送信するので、ネットワークに大きな負荷がかかる。
However, the above-described conventional technology has the following problems.
In the prior art described in Patent Document 1, since quality degradation is detected only when the voice quality falls below the threshold, the voice quality during a call cannot be constantly monitored.
In the prior art described in Patent Document 2, since specific pattern data is generated and measured when the telephone is on-hook, the voice quality during a call cannot be measured.
The conventional technique described in Patent Document 3 accumulates all voice packet data during a call on the measurement target, and thus is difficult to apply to a communication terminal having a limited memory capacity such as a mobile phone. Further, since the accumulated voice packet data is transmitted to the voice evaluation system after the call is finished, a heavy load is imposed on the network.

さらに、従来技術では通話終了時あるいは品質劣化時に品質情報を送信するが、ネットワークの状態によっては品質情報を通信端末から送信することが憚られる場合がある。例えば、ネットワークが輻輳状態にある時に、通信端末から品質情報を送信すれば、さらなる輻輳を引き起こしかねない。   Further, in the prior art, quality information is transmitted at the end of a call or at the time of quality degradation. However, depending on the state of the network, it may be considered that the quality information is transmitted from the communication terminal. For example, if quality information is transmitted from a communication terminal when the network is in a congestion state, further congestion may be caused.

また、携帯電話機などのように処理能力が比較的低い端末では、品質情報を送信することによって処理能力が逼迫することもあり得るが、処理能力が逼迫した場合には、音声信号処理等の本来のサービスに係る信号処理が滞り、再生音声が途切れる等、サービス品質の低下を招く恐れがある。   In addition, in a terminal having a relatively low processing capability such as a mobile phone, the processing capability may be tight by transmitting quality information. However, if the processing capability is tight, the original processing such as voice signal processing may be performed. There is a risk that service quality will be degraded, for example, signal processing related to other services will be delayed and playback audio will be interrupted.

本発明は、このような事情を考慮してなされたもので、その目的は、IP電話の通話中などのサービスセッション中にエンドトゥエンドのサービス品質を品質管理装置に通知する際、サービス品質低下をできる限り抑え得るタイミングで品質情報を送信することのできる通信端末装置及びコンピュータプログラムを提供することにある。   The present invention has been made in view of such circumstances, and its purpose is to reduce the service quality when notifying the quality management device of the end-to-end service quality during a service session such as during an IP phone call. It is an object of the present invention to provide a communication terminal device and a computer program that can transmit quality information at a timing that can suppress as much as possible.

上記の課題を解決するために、本発明に係る通信端末装置は、通信ネットワークを介して通信相手からの信号を受信する信号受信手段と、該受信信号に基づいて品質情報を算出する品質情報算出手段と、該品質情報を記憶する品質情報送信バッファと、該受信信号に基づいて信号を再生する信号再生手段と、該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出手段と、前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信手段とを備えたことを特徴とする。   In order to solve the above-described problems, a communication terminal apparatus according to the present invention includes a signal receiving unit that receives a signal from a communication partner via a communication network, and a quality information calculation that calculates quality information based on the received signal. Means, a quality information transmission buffer for storing the quality information, a signal reproduction means for reproducing a signal based on the received signal, and service quality fluctuation is within an allowable range even if there is a defect in the signal reproduction. A transmission timing calculation unit that sets a reproduction section as the transmission timing of the quality information, and a quality information transmission unit that transmits the quality information to the quality management apparatus at the transmission timing via the communication network. To do.

本発明に係る通信端末装置においては、前記通信ネットワークを介して通信相手へ信号を送信する信号送信手段を備え、前記送信タイミング算出手段は、通信相手側において該送信信号の再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である送信区間と、前記信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間とが一致する区間を、前記品質情報の送信タイミングとすることを特徴とする。   The communication terminal device according to the present invention includes signal transmission means for transmitting a signal to the communication partner via the communication network, and the transmission timing calculation means has a problem in reproducing the transmission signal on the communication partner side. Even if the transmission interval in which the service quality variation is within the allowable range and the reproduction interval in which the service quality variation is within the allowable range even if there is a discrepancy in the signal reproduction, the transmission of the quality information is performed. It is characterized by timing.

本発明に係る通信端末装置においては、無音区間を検出する手段を備え、無音区間を前記品質情報の送信タイミングとすることを特徴とする。   The communication terminal apparatus according to the present invention includes means for detecting a silence interval, and the silence interval is used as the transmission timing of the quality information.

本発明に係る通信端末装置においては、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を検出する手段を備え、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を前記品質情報の送信タイミングとすることを特徴とする。   The communication terminal device according to the present invention includes means for detecting an image interval in which an image is stationary or an image interval in which there is little movement between consecutive images, and between image intervals in which an image is stationary or between consecutive images. It is characterized in that an image section with little motion is used as the transmission timing of the quality information.

本発明に係る通信端末装置においては、前記品質情報に基づいて前記通信ネットワークが輻輳状態にあるか判断する手段を備え、前記送信タイミング算出手段は、前記通信ネットワークが輻輳状態にあると判断された場合に、前記品質情報の送信を保留することを特徴とする。   In the communication terminal device according to the present invention, the communication terminal device comprises means for determining whether the communication network is in a congestion state based on the quality information, and the transmission timing calculation means is determined to be in the congestion state In this case, the transmission of the quality information is suspended.

本発明に係るコンピュータプログラムは、通信ネットワークを介して通信相手から受信した受信信号に基づいて品質情報を算出する品質情報算出機能と、該品質情報を品質情報送信バッファに格納する機能と、該受信信号に基づいて信号を再生する信号再生機能と、該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出機能と、前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信機能とをコンピュータに実現させることを特徴とする。
これにより、前述の通信端末装置がコンピュータを利用して実現できるようになる。
A computer program according to the present invention includes a quality information calculation function for calculating quality information based on a received signal received from a communication partner via a communication network, a function for storing the quality information in a quality information transmission buffer, and the reception A signal reproduction function for reproducing a signal based on a signal, and a transmission timing calculation function in which a reproduction section in which a variation in service quality is within an allowable range even if there is a defect in the signal reproduction is a transmission timing of the quality information The computer implements a quality information transmission function for transmitting quality information to a quality management device at the transmission timing via the communication network.
As a result, the communication terminal device described above can be realized using a computer.

本発明によれば、IP電話の通話中などのサービスセッション中にエンドトゥエンドのサービス品質を品質管理装置に通知する際、サービス品質低下をできる限り抑え得るタイミングで品質情報を送信することができるという効果が得られる。   According to the present invention, when notifying the quality management apparatus of end-to-end service quality during a service session such as during an IP phone call, the quality information can be transmitted at a timing that can suppress degradation of service quality as much as possible. The effect is obtained.

以下、図面を参照し、本発明の実施形態について説明する。
図1は、本発明の一実施形態に係る通信サービスシステムの構成を示すブロック図である。図1において、通信端末装置(以下、端末と称する)1は、IPネットワーク2を介して通信相手の端末1との間で相互に信号パケット100を送受する。信号パケット100に格納される信号としては、例えば、音声信号、映像信号などが挙げられる。端末1としては、例えば、IP電話端末、IPテレビ電話端末、IPテレビ会議端末などが挙げられる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a communication service system according to an embodiment of the present invention. In FIG. 1, a communication terminal device (hereinafter referred to as a terminal) 1 sends and receives a signal packet 100 to and from a communication partner terminal 1 via an IP network 2. Examples of signals stored in the signal packet 100 include an audio signal and a video signal. Examples of the terminal 1 include an IP telephone terminal, an IP videophone terminal, and an IP videoconferencing terminal.

端末1は、IPネットワーク2を介して品質情報200を品質管理サーバ3へ送信する。品質管理サーバ3は、該品質情報200に基づいて、サービス品質の管理や制御を行う。   The terminal 1 transmits quality information 200 to the quality management server 3 via the IP network 2. The quality management server 3 performs service quality management and control based on the quality information 200.

図2は、本実施形態に係る端末1の構成を示すブロック図である。図2に示される端末1は、音声信号又は映像信号を扱う。以下、音声信号および映像信号を特に区別しないときは、両者を総称してメディア信号と称する。   FIG. 2 is a block diagram illustrating a configuration of the terminal 1 according to the present embodiment. The terminal 1 shown in FIG. 2 handles audio signals or video signals. Hereinafter, when the audio signal and the video signal are not particularly distinguished, they are collectively referred to as a media signal.

図2において、端末1は、IPネットワーク2を介して通信相手から送られてきた信号パケットを受信し、受信した信号パケットをジッタバッファ11に格納する。ジッタバッファ11は、伝送時に発生したパケットの順序誤りおよび間隔変動を訂正するためのバッファである。   In FIG. 2, the terminal 1 receives a signal packet sent from the communication partner via the IP network 2 and stores the received signal packet in the jitter buffer 11. The jitter buffer 11 is a buffer for correcting a packet sequence error and interval variation that occur during transmission.

例えば、VoIP(Voice over IP)技術を用いたIP電話システムにおいて、送信端末は、音声信号を短時間(例えば、20ミリ秒)毎に符号化およびパケット化して通信相手の端末(受信端末)へ送信する。また、テレビ電話等、映像配信を行うシステムにおいて、送信端末は、映像信号をMPEG(Moving Picture Experts Group)方式によりフレーム毎に符号化およびパケット化して通信相手の端末(受信端末)へ送信する。このとき、一般的には、伝送プロトコルとしてRTP(Real-Time Transmission Protocol)が使用される。RTPによるパケット伝送では、送信端末からのパケットの送信順序、送信間隔とは異なる順序、間隔で、受信端末に到着する場合がある。そのため、ジッタバッファ11において、RTPヘッダに記載された“sequence number”を参照し、送信端末からのパケットの送信順序、送信間隔と一致するように受信パケットの順序および間隔を訂正する。ジッタバッファ11を通過したパケットは、デコード部12及び品質情報算出部14にそれぞれ送られる。   For example, in an IP telephone system using VoIP (Voice over IP) technology, a transmitting terminal encodes and packetizes a voice signal every short time (for example, 20 milliseconds) to a communication partner terminal (receiving terminal). Send. Also, in a video delivery system such as a videophone, a transmission terminal encodes and packetizes a video signal frame by frame using an MPEG (Moving Picture Experts Group) method, and transmits the packet to a communication partner terminal (receiving terminal). At this time, RTP (Real-Time Transmission Protocol) is generally used as a transmission protocol. In packet transmission by RTP, packets may arrive at a receiving terminal in an order and interval different from the transmission order and transmission interval of packets from the transmitting terminal. For this reason, the jitter buffer 11 refers to the “sequence number” described in the RTP header, and corrects the order and interval of the received packets so as to coincide with the transmission order and transmission interval of the packets from the transmitting terminal. The packet that has passed through the jitter buffer 11 is sent to the decoding unit 12 and the quality information calculation unit 14, respectively.

デコード部12は、ジッタバッファ11から受け取ったパケットに含まれる符号化データを復号する。復号後のメディア信号(再生信号)は、信号再生部13および品質情報算出部14にそれぞれ送られる。さらに、デコード部12は、復号後のメディア信号がサービス品質にどの程度影響するかを表す情報(品質影響パラメータと称する)を算出する。品質影響パラメータは送信タイミング算出部16に送られる。   The decoding unit 12 decodes the encoded data included in the packet received from the jitter buffer 11. The decoded media signal (reproduction signal) is sent to the signal reproduction unit 13 and the quality information calculation unit 14, respectively. Furthermore, the decoding unit 12 calculates information (referred to as a quality influence parameter) indicating how much the decoded media signal affects the service quality. The quality influence parameter is sent to the transmission timing calculation unit 16.

音声信号の場合には、復号後の音声区間が音声品質上どの程度重要であるのかを表す情報を算出する。例えば、話者の音声が殆ど含まれていない無音区間は、音声品質上あまり重要ではないと考えることができる。これにより、デコード部12は、音声信号の無音区間を判定するための情報(例えば、音声信号の正規化パワー値など)を算出し、送信タイミング算出部16に送る。   In the case of a speech signal, information representing how important the speech segment after decoding is in terms of speech quality is calculated. For example, it can be considered that a silent section in which the speaker's voice is hardly included is not very important for voice quality. As a result, the decoding unit 12 calculates information (for example, the normalized power value of the audio signal) for determining the silent section of the audio signal, and sends the information to the transmission timing calculation unit 16.

映像信号の場合には、復号後のフレームが映像品質上どの程度重要であるのかを表す情報を算出する。映像信号の一般的な符号化方式であるMPEG方式では、差分を取るフレームが異なる3種類のピクチャ(Iピクチャ、Pピクチャ、Bピクチャ)から構成される。Iピクチャは単独で再生可能であり、Pピクチャは前のIピクチャまたはPピクチャからの差分を用いて再生可能である。Bピクチャは前後のIピクチャまたはPピクチャからの差分を用いて再生を行う。したがって、映像信号を再生する際、IピクチャはPピクチャ及びBピクチャの両方から参照されるため、Pピクチャ及びBピクチャに比べて映像品質に与える影響が大きいと言える。一方、Bピクチャは、Iピクチャ及びPピクチャに比べて映像品質に与える影響が小さいことが知られている。そこで、デコード部12は、復号後のフレームが映像品質上どの程度重要であるのかを表す情報として、MPEG方式のピクチャヘッダに記載されているピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)を取得し、該ピクチャタイプを送信タイミング算出部16に送る。なお、ピクチャタイプ以外では、復号後のフレームが映像品質上どの程度重要であるのかを表す情報として、例えば、前フレームとの動き差分情報などが挙げられる。   In the case of a video signal, information representing how important the decoded frame is for video quality is calculated. In the MPEG system, which is a general encoding system for video signals, three frames (I picture, P picture, B picture) having different frames are included. An I picture can be reproduced independently, and a P picture can be reproduced using a difference from the previous I picture or P picture. The B picture is reproduced using a difference from the preceding and following I pictures or P pictures. Therefore, when the video signal is reproduced, the I picture is referred to by both the P picture and the B picture, so that it can be said that the influence on the video quality is larger than that of the P picture and the B picture. On the other hand, it is known that a B picture has less influence on video quality than an I picture and a P picture. Accordingly, the decoding unit 12 acquires the picture type (I picture, P picture, B picture) described in the MPEG picture header as information indicating how important the decoded frame is for video quality. The picture type is sent to the transmission timing calculation unit 16. For information other than the picture type, information indicating how important the decoded frame is in terms of video quality includes, for example, motion difference information from the previous frame.

信号再生部13は、デコード部12から受け取ったメディア信号(再生信号)を再生する。信号再生部13は、再生バッファを有する。信号再生部13は、デコード部12から受け取ったメディア信号を再生バッファに格納し、再生速度を調整する。   The signal reproduction unit 13 reproduces the media signal (reproduction signal) received from the decoding unit 12. The signal reproduction unit 13 has a reproduction buffer. The signal reproduction unit 13 stores the media signal received from the decoding unit 12 in the reproduction buffer and adjusts the reproduction speed.

図3に、信号再生部13の概念図を示す。図3では音声再生を例に挙げている。信号再生部13は、音声信号を格納する再生バッファ31を有し、デコード部12から受け取った音声信号を一旦再生バッファ31に格納し、音声再生速度に合せて再生バッファ31から音声信号を取り出し、スピーカ32で音声の再生を行う。   FIG. 3 shows a conceptual diagram of the signal reproduction unit 13. In FIG. 3, audio playback is taken as an example. The signal reproduction unit 13 has a reproduction buffer 31 for storing an audio signal, temporarily stores the audio signal received from the decoding unit 12 in the reproduction buffer 31, takes out the audio signal from the reproduction buffer 31 in accordance with the audio reproduction speed, Sound is played back by the speaker 32.

再生バッファ31のバッファサイズは、端末毎に予め設定される。デコード部12によって復号化された音声信号が何秒後に再生されるかを、再生バッファ31のバッファサイズに基づいて推定することができる。図3に示すように、再生バッファ31に蓄積されている音声信号の総和時間をLミリ秒とすると、デコード部12から信号再生部13に新たに送られた音声信号300が再生されるまでの時間tは次式により与えられる。
t=L
The buffer size of the reproduction buffer 31 is preset for each terminal. It can be estimated based on the buffer size of the reproduction buffer 31 how many seconds later the audio signal decoded by the decoding unit 12 is reproduced. As shown in FIG. 3, assuming that the total time of the audio signals stored in the reproduction buffer 31 is L milliseconds, the time until the audio signal 300 newly sent from the decoding unit 12 to the signal reproduction unit 13 is reproduced. Time t is given by:
t = L

信号再生部13は、再生バッファに蓄積されているメディア信号(再生信号)の総和時間を表す信号を、送信タイミング算出部16に出力する。   The signal reproduction unit 13 outputs a signal representing the total time of media signals (reproduction signals) accumulated in the reproduction buffer to the transmission timing calculation unit 16.

品質情報算出部14は、ジッタバッファ11から受け取ったパケット又はデコード部12から受け取ったメディア信号(再生信号)に基づき、所定の品質情報送信周期毎(例えば8秒毎)に品質情報を算出する。品質情報は、サービス品質を表す。サービス品質としては、例えば、IP電話サービスにおける通話時の音声品質、テレビ電話サービスにおける通話時の音声品質および映像品質などが挙げられる。品質情報としては、例えば、ネットワークの状態を表すパラメータ(パケットロス率、ディレイ、ジッタなど)、“RFC3611 RTCP XR”において定義されているレポートブロックに含まれる品質パラメータなどが挙げられる。さらに、無線通信端末(例えば携帯電話機)を利用する場合には、無線受信強度などの下位レイヤにおける品質情報を取得し、下位レイヤにおける品質情報も算出することが望ましい。品質情報算出部14は、品質情報を送信タイミング算出部16および品質パケット生成部15に送る。   The quality information calculation unit 14 calculates quality information for each predetermined quality information transmission period (for example, every 8 seconds) based on the packet received from the jitter buffer 11 or the media signal (reproduction signal) received from the decoding unit 12. The quality information represents service quality. Examples of the service quality include voice quality during a call in the IP telephone service, voice quality and video quality during a call in the videophone service, and the like. Examples of the quality information include parameters indicating the state of the network (packet loss rate, delay, jitter, etc.), quality parameters included in a report block defined in “RFC3611 RTCP XR”, and the like. Furthermore, when a wireless communication terminal (for example, a mobile phone) is used, it is desirable to acquire quality information in a lower layer such as wireless reception intensity and calculate quality information in the lower layer. The quality information calculation unit 14 sends the quality information to the transmission timing calculation unit 16 and the quality packet generation unit 15.

品質パケット生成部15は、品質情報算出部14から受け取った品質情報を所定のフォーマットに整形し、整形後の品質情報をパケット化した品質パケットを生成する。所定のフォーマットとしては、例えば、図4に示されるXML(eXtensible Markup Language)を用いた記述形式が挙げられる。XML形式は、品質情報の種類に捉われることなく、品質情報を記述することができる。品質管理サーバ3へ品質情報を送る際には、例えばSIP(Session Initiation Protocol)のパブリッシュメソッドを用いることが挙げられるが、SIPのパブリッシュメソッドではXML形式を利用可能である。品質パケット生成部15は、品質パケットを品質パケット送出部17に送る。   The quality packet generation unit 15 shapes the quality information received from the quality information calculation unit 14 into a predetermined format, and generates a quality packet obtained by packetizing the shaped quality information. An example of the predetermined format is a description format using XML (eXtensible Markup Language) shown in FIG. The XML format can describe quality information without being trapped by the type of quality information. When sending quality information to the quality management server 3, for example, a publish method of SIP (Session Initiation Protocol) can be used. In the publish method of SIP, an XML format can be used. The quality packet generator 15 sends the quality packet to the quality packet transmitter 17.

送信タイミング算出部16は、品質パケットの送信タイミングを算出する。この送信タイミング算出方法については後述する。送信タイミング算出部16は、品質パケットの送信タイミングを品質パケット送出部17に指示する。   The transmission timing calculation unit 16 calculates the transmission timing of the quality packet. This transmission timing calculation method will be described later. The transmission timing calculation unit 16 instructs the quality packet transmission unit 17 to transmit the quality packet.

品質パケット送出部17は、送信タイミング算出部16から指示された送信タイミングに従って、品質パケットを品質管理サーバ3へ送信する。品質パケット送出部17は、品質パケット送信タイミング調整用の送信バッファを有する。品質パケット送出部17は、品質パケット生成部15から受け取った品質パケットを一旦送信バッファに格納し、送信タイミング算出部16から指示された送信タイミングに合せて送信バッファから品質パケットを取り出し、品質管理サーバ3へ送信する。   The quality packet transmission unit 17 transmits the quality packet to the quality management server 3 according to the transmission timing instructed from the transmission timing calculation unit 16. The quality packet transmission unit 17 includes a transmission buffer for adjusting the quality packet transmission timing. The quality packet transmission unit 17 temporarily stores the quality packet received from the quality packet generation unit 15 in the transmission buffer, extracts the quality packet from the transmission buffer in accordance with the transmission timing instructed from the transmission timing calculation unit 16, and the quality management server 3 to send.

信号入力部21は、通信相手へ送るメディア信号を入力する。例えば、IP電話の場合には音声信号を入力し、テレビ電話の場合には音声信号および映像信号を入力する。   The signal input unit 21 inputs a media signal to be sent to a communication partner. For example, an audio signal is input in the case of an IP phone, and an audio signal and a video signal are input in the case of a video phone.

エンコード部22は、信号入力部21により入力されたメディア信号を符号化する。符号化後のメディア信号(送信信号)は、信号パケット送出部23に送られる。さらに、エンコード部22は、符号化後のメディア信号がサービス品質にどの程度影響するかを表す品質影響パラメータを算出する。この品質影響パラメータは、デコード部12が算出する品質影響パラメータと同様である。品質影響パラメータは送信タイミング算出部16に送られる。   The encoding unit 22 encodes the media signal input by the signal input unit 21. The encoded media signal (transmission signal) is sent to the signal packet sending unit 23. Further, the encoding unit 22 calculates a quality influence parameter that represents how much the encoded media signal affects the service quality. This quality influence parameter is the same as the quality influence parameter calculated by the decoding unit 12. The quality influence parameter is sent to the transmission timing calculation unit 16.

信号パケット送出部23は、エンコード部22から受け取った符号化後のメディア信号(送信信号)をパケット化し、該信号パケットを通信相手の端末へ送信する。さらに、信号パケット送出部23は、信号パケットを送信するタイミングを表す信号を、送信タイミング算出部16に出力する。   The signal packet transmission unit 23 packetizes the encoded media signal (transmission signal) received from the encoding unit 22 and transmits the signal packet to a communication partner terminal. Further, the signal packet transmission unit 23 outputs a signal representing the timing for transmitting the signal packet to the transmission timing calculation unit 16.

次に、本実施形態に係る品質情報送信タイミング算出方法を説明する。   Next, the quality information transmission timing calculation method according to the present embodiment will be described.

品質情報送信は予め設定した品質情報送信周期毎(例えば8秒毎)に品質管理サーバ3へ送信することを基本とするが、品質情報送信がサービス品質の低下につながることはできる限り避けたい。例えば、携帯電話機などのように処理能力が比較的低い端末では、品質情報を送信することによって処理能力が逼迫することもあり得るが、処理能力が逼迫した場合には、音声信号処理等の本来のサービスに係る信号処理が滞り、再生音声が途切れる等、サービス品質の低下を招く恐れがある。このような事態をできる限る避けるために、品質情報送信によって生じるサービス品質変動が許容範囲内となるタイミングで品質情報を送信するように、送信タイミングを算出する。   Although quality information transmission is based on transmission to the quality management server 3 every preset quality information transmission cycle (for example, every 8 seconds), it is desirable to avoid quality information transmission leading to deterioration of service quality as much as possible. For example, in a terminal having a relatively low processing capability such as a mobile phone, the processing capability may be tight by transmitting quality information. There is a risk that service quality will be degraded, for example, signal processing related to other services will be delayed and playback audio will be interrupted. In order to avoid such a situation as much as possible, the transmission timing is calculated so that the quality information is transmitted at a timing at which the service quality fluctuation caused by the quality information transmission falls within an allowable range.

具体的には、音声を扱うサービス(例えば、IP電話サービスなど)の場合、話者の音声が比較的多く含まれる有音区間で再生音声が途切れると、音声品質が著しく低下したと感じられやすい。これに対して、話者の音声が殆ど含まれていない無音区間では、たとえ再生音声が途切れたとしても音声の途切れを知覚しづらく、音声品質が低下したとはあまり感じられない。このような知見に基づき、無音区間において信号再生上の瑕疵があったとしても、そのサービス品質変動は許容範囲内であるとする。従って、無音区間で品質情報送信を行えば、サービス品質変動を許容範囲内に収めることができ、サービス品質の低下を極力抑えることができる。   Specifically, in the case of a service that handles voice (for example, IP phone service), if the playback voice is interrupted in a voiced section that contains a relatively large amount of speaker's voice, it is likely that the voice quality is significantly lowered. . On the other hand, in a silent section in which the speaker's voice is hardly included, even if the playback voice is interrupted, it is difficult to perceive the interruption of the voice, and it is not so much felt that the voice quality has deteriorated. Based on such knowledge, even if there is a discrepancy in signal reproduction in the silent section, it is assumed that the service quality fluctuation is within an allowable range. Therefore, if quality information is transmitted in a silent section, service quality fluctuations can be kept within an allowable range, and degradation of service quality can be suppressed as much as possible.

映像を扱うサービス(例えば、テレビ電話サービス)の場合、画像が静止している画像区間において再生画像が途切れたとしても、再生画像の途切れを知覚することは難しく、映像品質が低下したとはあまり感じられない。同様に、連続する画像間で動きが少ない画像区間についても、画像の途切れを知覚しづらく、映像品質が低下したとはあまり感じられない。このような知見に基づき、画像が静止している画像区間および連続する画像間で動きが少ない画像区間において信号再生上の瑕疵があったとしても、そのサービス品質変動は許容範囲内であるとする。従って、画像が静止している画像区間または連続する画像間で動きが少ない画像区間で品質情報送信を行えば、サービス品質変動を許容範囲内に収めることができ、サービス品質の低下を極力抑えることができる。   In the case of a service that handles video (for example, a videophone service), even if the playback image is interrupted in an image section where the image is still, it is difficult to perceive the interruption of the playback image, and the video quality is not much reduced. I can't feel it. Similarly, it is difficult to perceive an image break even in an image section where there is little movement between consecutive images, and it is not so much felt that the video quality has deteriorated. Based on such knowledge, even if there is a discrepancy in signal reproduction in an image section where images are stationary and an image section where there is little motion between consecutive images, the service quality fluctuation is assumed to be within an allowable range. . Therefore, if quality information is transmitted in an image section where images are stationary or in an image section where there is little movement between successive images, service quality fluctuations can be kept within an allowable range, and deterioration in service quality is minimized. Can do.

また、ネットワークが輻輳状態にある時に品質情報を送信することは、ネットワークに対して更なる負荷を与えることになり、サービス品質の低下要因になり得る。このため、ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保することが好ましい。   In addition, transmitting quality information when the network is in a congested state places an additional load on the network, which can be a cause of service quality degradation. For this reason, when it is determined that the network is in a congestion state, it is preferable to maintain transmission of quality information.

図5は、本実施形態に係る品質情報送信タイミング算出処理の流れを示すフローチャートである。なお、図5では、音声を扱うサービスの場合を例に挙げている。
図5において、送信タイミング算出部16は、品質情報送信タイミング算出に使用する情報を各部から受け取る。
FIG. 5 is a flowchart showing a flow of quality information transmission timing calculation processing according to the present embodiment. Note that FIG. 5 shows an example of a service that handles voice.
In FIG. 5, the transmission timing calculation unit 16 receives information used for quality information transmission timing calculation from each unit.

デコード部12およびエンコード部22からは、音声信号の無音区間を判定するための情報として、音声信号の正規化パワー値を受け取る。デコード部12から受け取る正規化パワー値は、これから再生する音声に関するものである。エンコード部22から受け取る正規化パワー値は、これから送信する音声に関するものである。   From the decoding unit 12 and the encoding unit 22, the normalized power value of the audio signal is received as information for determining the silent section of the audio signal. The normalized power value received from the decoding unit 12 relates to the sound to be reproduced. The normalized power value received from the encoding unit 22 relates to the sound to be transmitted.

品質情報算出部14からは、品質情報を受け取る。信号再生部13からは、再生バッファに蓄積されている再生信号の総和時間を表す信号(再生タイミング情報)を受け取る。再生タイミング情報は、デコード部12から受け取った正規化パワー値に対応する音声が再生されるタイミングを示す。   Quality information is received from the quality information calculation unit 14. From the signal reproduction unit 13, a signal (reproduction timing information) representing the total time of the reproduction signals accumulated in the reproduction buffer is received. The reproduction timing information indicates the timing at which audio corresponding to the normalized power value received from the decoding unit 12 is reproduced.

信号パケット送出部23からは、信号パケットを送信するタイミングを表す信号(信号パケット送出タイミング情報)を受け取る。信号パケット送出タイミング情報は、エンコード部22から受け取った正規化パワー値に対応する音声が送信されるタイミングを示す。   From the signal packet transmission unit 23, a signal (signal packet transmission timing information) indicating timing for transmitting a signal packet is received. The signal packet transmission timing information indicates the timing at which audio corresponding to the normalized power value received from the encoding unit 22 is transmitted.

ステップSP1では、送信タイミング算出部16は、品質情報に基づいて、ネットワークが輻輳状態にあるか判断する。品質情報において、例えばパケットロス率が予め設定した閾値より大きい場合に、ネットワークが輻輳状態であると判断する。パケットロス率以外にも、往復遅延時間あるいはジッタなどを用いてネットワークの輻輳状態を判断してもよい。   In step SP1, the transmission timing calculation unit 16 determines whether the network is in a congestion state based on the quality information. In the quality information, for example, when the packet loss rate is larger than a preset threshold value, it is determined that the network is in a congestion state. In addition to the packet loss rate, the network congestion state may be determined using round-trip delay time or jitter.

ステップSP1の結果、ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保留する。従って、この場合は、品質パケット送出部17は、品質パケットを送信しない。一方、ネットワークが輻輳状態にないと判断した場合には、ステップSP2に進む。   As a result of step SP1, when it is determined that the network is in a congested state, transmission of quality information is suspended. Therefore, in this case, the quality packet transmission unit 17 does not transmit the quality packet. On the other hand, if it is determined that the network is not congested, the process proceeds to step SP2.

ステップSP2では、送信タイミング算出部16は、送信タイミング候補を算出する。   In step SP2, the transmission timing calculation unit 16 calculates transmission timing candidates.

ここで、送信タイミング候補算出処理を説明する。
まず、デコード部12から受け取った正規化パワー値に基づいて、再生音声における無音区間を判定する。同様に、エンコード部22からから受け取った正規化パワー値に基づいて、送信音声における無音区間を判定する。無音区間の判定は、無音区間判定用の閾値を予め設け、該閾値未満の正規化パワー値である区間を無音区間と判定する。正規化パワー値をパケット単位で求めることにより、パケット単位で無音区間を判定できる。図6は、無音区間判定処理を説明するためのグラフ図である。図6の例では、20ミリ秒毎に正規化パワー値を求めている。正規化パワー値が閾値以上の場合は有音区間と判定し、正規化パワー値が閾値未満の場合は無音区間と判定している。
Here, the transmission timing candidate calculation process will be described.
First, based on the normalized power value received from the decoding unit 12, a silent section in the reproduced sound is determined. Similarly, based on the normalized power value received from the encoding unit 22, the silent section in the transmission voice is determined. For the determination of the silent section, a threshold for determining the silent section is provided in advance, and a section having a normalized power value less than the threshold is determined as the silent section. By obtaining the normalized power value in units of packets, it is possible to determine a silent section in units of packets. FIG. 6 is a graph for explaining the silent section determination processing. In the example of FIG. 6, the normalized power value is obtained every 20 milliseconds. When the normalized power value is greater than or equal to the threshold, it is determined as a voiced section, and when the normalized power value is less than the threshold, it is determined as a silent section.

次いで、信号再生部13から受け取った再生タイミング情報に基づいて、再生音声における無音区間が再生されるタイミングを算出する。同様に、信号パケット送出部23から受け取った信号パケット送出タイミング情報に基づいて、送信音声における無音区間が送信されるタイミングを算出する。そして、無音区間が再生されるタイミングを、品質情報を送信するタイミングの候補(送信タイミング候補)とする。より好ましくは、無音区間が再生されるタイミングと無音区間が送信されるタイミングとが一致する区間を、送信タイミング候補とする。   Next, based on the reproduction timing information received from the signal reproduction unit 13, the timing for reproducing the silent section in the reproduced audio is calculated. Similarly, based on the signal packet transmission timing information received from the signal packet transmission unit 23, the timing at which the silent section in the transmission voice is transmitted is calculated. The timing at which the silent section is reproduced is set as a timing candidate for transmitting quality information (transmission timing candidate). More preferably, a section in which the timing at which the silent section is reproduced matches the timing at which the silent section is transmitted is set as a transmission timing candidate.

一般に、会話音声における無音区間の割合は60%程度であることが知られている。そのため、図7に例示されるように、無音区間は多数存在する。図7の例では、受信音声における無音部が再生されるタイミングをRiとし、送信音声における無音部が送信されるタイミングをSiとしており、両者が一致するタイミングは「R2=S3」及び「R8=S7」である。このタイミングを送信タイミング候補とすれば、音声再生及び音声送信の両方の処理に対して負担をかけなくて済む。 In general, it is known that the ratio of silent sections in conversational speech is about 60%. Therefore, as illustrated in FIG. 7, there are many silent sections. In the example of FIG. 7, the timing at which the silent part in the received voice is reproduced is Ri, the timing at which the silent part in the transmitted voice is transmitted is Si, and the timing at which both coincide is “R 2 = S 3 ” and “ R 8 = S 7 ”. If this timing is set as a transmission timing candidate, it is not necessary to place a burden on both the audio playback and audio transmission processes.

説明を図5に戻す。
ステップSP3では、送信タイミング算出部16は、送信タイミング候補の中から、送信タイミングを算出する。この送信タイミング算出処理では、複数存在する送信タイミング候補のうち、品質情報送信周期よりも大きく且つ最も品質情報送信周期に近いタイミングを算出する。図8に例示されるように複数の送信タイミング候補が算出された場合、品質情報送信周期よりも大きく且つ品質情報送信周期に最も近いのは“送信タイミング候補G”であるので、送信タイミング候補Gを送信タイミングとする。送信タイミング算出部16は、算出結果の送信タイミングを品質パケット送出部17に通知する。
Returning to FIG.
In step SP3, the transmission timing calculation unit 16 calculates the transmission timing from the transmission timing candidates. In this transmission timing calculation process, a timing larger than the quality information transmission cycle and closest to the quality information transmission cycle is calculated among a plurality of transmission timing candidates. When a plurality of transmission timing candidates are calculated as illustrated in FIG. 8, the transmission timing candidate G is larger than the quality information transmission cycle and closest to the quality information transmission cycle is “transmission timing candidate G”. Is the transmission timing. The transmission timing calculation unit 16 notifies the quality packet transmission unit 17 of the transmission timing of the calculation result.

品質パケット送出部17は、送信タイミング算出部16から通知された送信タイミングに従って、品質パケットを送信する。   The quality packet transmission unit 17 transmits the quality packet according to the transmission timing notified from the transmission timing calculation unit 16.

なお、図5では、音声を扱うサービスの場合を例に挙げたが、映像を扱うサービスの場合も処理の流れは同じである。映像信号の場合は、画像が静止している画像区間および連続する画像間で動きが少ない画像区間を、送信タイミング候補とする。具体的には、例えば、MPEG方式のピクチャタイプに基づいて、Bピクチャの区間を送信タイミング候補とする。若しくは、前フレームとの動き差分情報に基づいて、画像が静止している画像区間および連続する画像間で動きが少ない画像区間を送信タイミング候補とする。   In FIG. 5, the case of a service that handles audio is given as an example, but the flow of processing is the same for a service that handles video. In the case of a video signal, an image section where an image is stationary and an image section where there is little motion between consecutive images are set as transmission timing candidates. Specifically, for example, a B picture section is set as a transmission timing candidate based on an MPEG picture type. Alternatively, based on motion difference information with respect to the previous frame, an image section where the image is stationary and an image section where there is little motion between successive images are set as transmission timing candidates.

上述したように本実施形態によれば、信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、品質情報の送信タイミングとする。具体的には、音声信号においては無音区間を品質情報の送信タイミングとする。映像信号においては、画像が静止している画像区間または連続する画像間で動きが少ない画像区間を品質情報の送信タイミングとする。これにより、品質情報送信によって生じるサービス品質の低下を極力抑えることができるという効果が得られる。   As described above, according to this embodiment, even if there is a discrepancy in signal reproduction, the reproduction section in which the service quality fluctuation is within the allowable range is set as the transmission timing of the quality information. Specifically, in the audio signal, the silent period is set as the transmission timing of the quality information. In the video signal, an image interval in which an image is stationary or an image interval in which there is little movement between consecutive images is set as the transmission timing of quality information. Thereby, the effect that the fall of the service quality which arises by quality information transmission can be suppressed as much as possible is acquired.

また、通信ネットワークが輻輳状態にあると判断した場合には、品質情報の送信を保留する。これにより、輻輳状態にある通信ネットワークに対して更なる負荷をかけることを避け、サービス品質の低下を防止する。   If it is determined that the communication network is in a congested state, transmission of quality information is suspended. As a result, it is possible to avoid applying a further load to the communication network in a congested state and to prevent deterioration of service quality.

なお、本実施形態に係る端末1は、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図1に示される端末1の各部の機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。   Note that the terminal 1 according to the present embodiment may be realized by dedicated hardware, or is configured by a computer system such as a personal computer, and implements the functions of each unit of the terminal 1 shown in FIG. The function may be realized by executing a program to do so.

また、図5に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、品質情報送信タイミング算出処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
Further, the program for realizing each step shown in FIG. 5 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed, thereby executing the quality information transmission timing. A calculation process may be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices.
“Computer-readable recording medium” refers to a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disk), and a built-in computer system. A storage device such as a hard disk.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、本発明に係る通信端末装置としては、受信専用端末も含む。例えば、コンサート会場の音声や映像を実時間配信するサービスの受信端末などであってもよい。
As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
For example, the communication terminal device according to the present invention includes a reception-only terminal. For example, it may be a receiving terminal for a service that distributes audio and video at a concert venue in real time.

本発明の一実施形態に係る通信サービスシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the communication service system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る通信端末装置1の構成を示すブロック図である。It is a block diagram which shows the structure of the communication terminal device 1 which concerns on one Embodiment of this invention. 図2に示す信号再生部13の概念図である。It is a conceptual diagram of the signal reproduction | regeneration part 13 shown in FIG. 本発明の一実施形態に係る品質情報の例である。It is an example of the quality information which concerns on one Embodiment of this invention. 本発明の一実施形態に係る品質情報送信タイミング算出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the quality information transmission timing calculation process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る無音区間判定処理を説明するためのグラフ図である。It is a graph for demonstrating the silence area determination process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る送信タイミング候補の例である。It is an example of the transmission timing candidate which concerns on one Embodiment of this invention. 本発明の一実施形態に係る送信タイミング候補の例である。It is an example of the transmission timing candidate which concerns on one Embodiment of this invention.

符号の説明Explanation of symbols

1…通信端末装置、2…IPネットワーク(パケット通信ネットワーク)、3…品質管理サーバ(品質管理装置)、11…ジッタバッファ、12…デコード部、13…信号再生部、14…品質情報算出部、15…品質パケット生成部、16…送信タイミング算出部、17…品質パケット送出部、21…信号入力部、22…エンコード部、23…信号パケット送出部、31…再生バッファ DESCRIPTION OF SYMBOLS 1 ... Communication terminal device, 2 ... IP network (packet communication network), 3 ... Quality management server (quality management apparatus), 11 ... Jitter buffer, 12 ... Decoding part, 13 ... Signal reproduction | regeneration part, 14 ... Quality information calculation part, DESCRIPTION OF SYMBOLS 15 ... Quality packet generation part, 16 ... Transmission timing calculation part, 17 ... Quality packet transmission part, 21 ... Signal input part, 22 ... Encoding part, 23 ... Signal packet transmission part, 31 ... Reproduction buffer

Claims (6)

通信ネットワークを介して通信相手からの信号を受信する信号受信手段と、
該受信信号に基づいて品質情報を算出する品質情報算出手段と、
該品質情報を記憶する品質情報送信バッファと、
該受信信号に基づいて信号を再生する信号再生手段と、
該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出手段と、
前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信手段と、
を備えたことを特徴とする通信端末装置。
Signal receiving means for receiving a signal from a communication partner via a communication network;
Quality information calculating means for calculating quality information based on the received signal;
A quality information transmission buffer for storing the quality information;
Signal reproducing means for reproducing a signal based on the received signal;
A transmission timing calculation means for setting a reproduction section in which a service quality variation is within an allowable range even if there is a flaw in the signal reproduction as a transmission timing of the quality information;
Quality information transmitting means for transmitting quality information to the quality management device at the transmission timing via the communication network;
A communication terminal device comprising:
前記通信ネットワークを介して通信相手へ信号を送信する信号送信手段を備え、
前記送信タイミング算出手段は、通信相手側において該送信信号の再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である送信区間と、前記信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間とが一致する区間を、前記品質情報の送信タイミングとすることを特徴とする請求項1に記載の通信端末装置。
Comprising signal transmission means for transmitting a signal to a communication partner via the communication network;
The transmission timing calculation means includes a transmission section in which a variation in service quality is within an allowable range even if there is a reproduction failure of the transmission signal on the communication partner side, and a service quality even if there is a failure on the signal reproduction. The communication terminal apparatus according to claim 1, wherein a section in which a reproduction section whose variation is within an allowable range coincides with the transmission timing of the quality information.
無音区間を検出する手段を備え、
無音区間を前記品質情報の送信タイミングとすることを特徴とする請求項1又は請求項2に記載の通信端末装置。
Means for detecting silent sections;
The communication terminal apparatus according to claim 1 or 2, wherein a silent period is set as a transmission timing of the quality information.
画像が静止している画像区間または連続する画像間で動きが少ない画像区間を検出する手段を備え、
画像が静止している画像区間または連続する画像間で動きが少ない画像区間を前記品質情報の送信タイミングとすることを特徴とする請求項1又は請求項2に記載の通信端末装置。
Means for detecting an image interval in which the image is stationary or an image interval in which there is little movement between successive images,
The communication terminal device according to claim 1 or 2, wherein an image section in which an image is stationary or an image section in which movement between successive images is small is set as the transmission timing of the quality information.
前記品質情報に基づいて前記通信ネットワークが輻輳状態にあるか判断する手段を備え、
前記送信タイミング算出手段は、前記通信ネットワークが輻輳状態にあると判断された場合に、前記品質情報の送信を保留することを特徴とする請求項1に記載の通信端末装置。
Means for determining whether the communication network is congested based on the quality information;
The communication terminal apparatus according to claim 1, wherein the transmission timing calculation unit suspends transmission of the quality information when it is determined that the communication network is in a congested state.
通信ネットワークを介して通信相手から受信した受信信号に基づいて品質情報を算出する品質情報算出機能と、
該品質情報を品質情報送信バッファに格納する機能と、
該受信信号に基づいて信号を再生する信号再生機能と、
該信号再生上の瑕疵があったとしてもサービス品質変動が許容範囲内である再生区間を、前記品質情報の送信タイミングとする送信タイミング算出機能と、
前記通信ネットワークを介して、該送信タイミングで品質情報を品質管理装置へ送信する品質情報送信機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
A quality information calculation function for calculating quality information based on a received signal received from a communication partner via a communication network;
A function of storing the quality information in a quality information transmission buffer;
A signal reproduction function for reproducing a signal based on the received signal;
A transmission timing calculation function in which a reproduction section in which service quality variation is within an allowable range even if there is a defect in the signal reproduction is a transmission timing of the quality information;
A quality information transmission function for transmitting quality information to the quality management device at the transmission timing via the communication network;
A computer program for causing a computer to realize the above.
JP2007294495A 2007-11-13 2007-11-13 Communication terminal device and computer program Expired - Fee Related JP4861964B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007294495A JP4861964B2 (en) 2007-11-13 2007-11-13 Communication terminal device and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007294495A JP4861964B2 (en) 2007-11-13 2007-11-13 Communication terminal device and computer program

Publications (2)

Publication Number Publication Date
JP2009124320A true JP2009124320A (en) 2009-06-04
JP4861964B2 JP4861964B2 (en) 2012-01-25

Family

ID=40816023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007294495A Expired - Fee Related JP4861964B2 (en) 2007-11-13 2007-11-13 Communication terminal device and computer program

Country Status (1)

Country Link
JP (1) JP4861964B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012004924A1 (en) * 2010-07-05 2012-01-12 三菱電機株式会社 Image quality management system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126047A (en) * 1994-10-27 1996-05-17 Fujitsu Ltd Digital mobile telephone communication method, speech channel switching method and mobile station and base station to realize the methods
JP2007135040A (en) * 2005-11-11 2007-05-31 Nippon Telegr & Teleph Corp <Ntt> Device for estimating user sensory quality, method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126047A (en) * 1994-10-27 1996-05-17 Fujitsu Ltd Digital mobile telephone communication method, speech channel switching method and mobile station and base station to realize the methods
JP2007135040A (en) * 2005-11-11 2007-05-31 Nippon Telegr & Teleph Corp <Ntt> Device for estimating user sensory quality, method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012004924A1 (en) * 2010-07-05 2012-01-12 三菱電機株式会社 Image quality management system
JP5562420B2 (en) * 2010-07-05 2014-07-30 三菱電機株式会社 Video quality management system

Also Published As

Publication number Publication date
JP4861964B2 (en) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4367657B2 (en) Voice communication method and apparatus
JP4504429B2 (en) Method and apparatus for managing media latency of voice over internet protocol between terminals
KR100705432B1 (en) Streaming media
TWI439086B (en) Jitter buffer adjustment
TWI424747B (en) System and method for connection to a network and for reproducing an audio/video stream received from a server on the network
US9729726B2 (en) Seamless codec switching
US10177899B2 (en) Adapting a jitter buffer
KR101727450B1 (en) Reducing delay in video telephony
KR100832537B1 (en) Multimedia data streaming server and method for changing a traffic in response to network bandwidth condition
JP2006500797A (en) How to enable packet transfer delay compensation during multimedia streaming
JP4903435B2 (en) Media signal transmission method and reception method, and transmission / reception method and apparatus
JP2005151600A (en) Data transmission unit, data transmission method, and program
KR20110065100A (en) Method and apparatus for supporting multimedia streaming service
JP2009076952A (en) Tv conference apparatus and method
JP4076981B2 (en) Communication terminal apparatus and buffer control method
WO2014207978A1 (en) Transmission device, receiving device, and relay device
JP2005322995A (en) Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program
JP4861964B2 (en) Communication terminal device and computer program
Waltermann et al. A technique for seamless VoIP-codec switching in next generation networks
Assem et al. A generic algorithm for mid-call audio codec switching
JP5218995B2 (en) Video playback terminal, video playback method and program
KR101055169B1 (en) Traffic control method and device therefor in streaming system
Lewcio et al. A testbed for QoE-based multimedia streaming optimization in heterogeneous wireless networks
JP2014068087A (en) Buffer controller, control method by buffer controller, media communication device, and computer program
JP4050961B2 (en) Packet-type voice communication terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

R150 Certificate of patent or registration of utility model

Ref document number: 4861964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees