JP2007329775A - User's bodily sensation quality estimating apparatus, method, and program - Google Patents
User's bodily sensation quality estimating apparatus, method, and program Download PDFInfo
- Publication number
- JP2007329775A JP2007329775A JP2006160330A JP2006160330A JP2007329775A JP 2007329775 A JP2007329775 A JP 2007329775A JP 2006160330 A JP2006160330 A JP 2006160330A JP 2006160330 A JP2006160330 A JP 2006160330A JP 2007329775 A JP2007329775 A JP 2007329775A
- Authority
- JP
- Japan
- Prior art keywords
- invalid
- frame
- quality
- user experience
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。 The present invention relates to a communication quality estimation technique, and more particularly to a technique for estimating user experience quality of a real-time application.
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア(コンテンツ)を1対1あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている(例えば、非特許文献1等参照)。 In recent years, with the rapid development of packet communication technology, packet networks are being used in real-time applications that communicate media (contents) such as audio and video one-to-one or between multiple points. In the in-service quality management of the packet network, quality management for such an application is also required. Especially in real-time applications, quality management using user experience quality such as subjective or objective quality at the user level that actually uses the application is regarded as important, and technology that estimates user experience quality from network quality Have also been proposed (see, for example, Non-Patent Document 1).
従来、発明者らは、リアルタイム系アプリケーションの主観品質を推定する技術を提案した(例えば、特許文献1等参照)。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。 Conventionally, the inventors have proposed a technique for estimating the subjective quality of a real-time application (see, for example, Patent Document 1). In this technique, a lost packet that has not arrived at the receiving terminal among the test packets and a late arrival packet whose arrival interval between the previous arrival packets exceeds the allowable fluctuation absorption time of the real-time application are determined as invalid packets. The number of invalid packets is counted, and the ratio of the number of invalid packets to the total number of test packets transmitted from the transmission side is calculated as the invalid packet rate. The subjective quality evaluation value corresponding to the invalid packet rate is estimated with reference to the quality estimation model that shows the relationship.
これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した(例えば、特許文献2等参照)。この技術では、ユーザ端末へ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から1映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。
In contrast, the inventors have proposed a technique for estimating the subjective quality of a real-time application based on the degree of video quality degradation estimated from lost packets and the duration of video quality degradation (for example, patents).
しかしながら、このような従来技術では、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいて主観品質を推定しているため、フレームの再生タイミングがずれるような現象が主観品質に与える影響については考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。 However, in such a conventional technique, the subjective quality is estimated based on the media data lost by the media packet used for video communication. There is a problem that it is not considered and is not sufficient when high estimation accuracy is required.
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、受信側アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。 In real-time applications, media signals such as highly efficient encoded video signals and audio signals are decomposed into frames, which are further converted into media packets for exchange. For this reason, when the receiving side application terminal decodes the media signal, a frame is assembled from the received media packets, and the media signal is decoded using the preceding and following frame information.
この際、受信側端末で正常に受信できたメディア用パケットには、送信側端末と受信側端末とを結ぶ伝送路上での遅延揺らぎにより到着時刻が前後にずれてフレーム再生間隔に影響を与えるパケットも含まれる。したがって、このようなパケットに起因してフレームが時間的にずれて再生される現象が発生した場合、映像がぎくしゃくした動きとなり、ユーザが実感するユーザ体感品質の劣化を招くことになる。 At this time, the media packet that can be normally received by the receiving terminal is a packet that affects the frame reproduction interval because the arrival time is shifted back and forth due to delay fluctuation on the transmission path connecting the transmitting terminal and the receiving terminal. Is also included. Therefore, when a phenomenon occurs in which frames are reproduced with a time shift due to such a packet, the video becomes a jerky movement, resulting in a deterioration in the user experience quality that the user feels.
本発明はこのような課題を解決するためのものであり、メディア用パケットの遅延揺らぎに応じたフレーム再生間隔の変動による影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法およびプログラムを提供することを目的としている。 The present invention is for solving such problems, and estimates the user experience quality value of a real-time application with high accuracy in consideration of the influence of the fluctuation of the frame reproduction interval according to the delay fluctuation of the media packet. An object of the present invention is to provide a user experience quality estimation device, method and program.
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報と、メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析部と、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。 In order to achieve such an object, a user experience quality estimation apparatus according to the present invention is a media such as video and audio between a transmission side and a reception side application terminal connected via a packet network by a real-time application. A user experience quality estimation device for estimating a user experience quality that a user feels about a medium received and reproduced by a reception side application terminal when each frame obtained by encoding is transmitted and received as a media packet, Transmission quality information indicating the transmission status of the media packet transmitted from the application terminal, reception quality information indicating the reception status of the media packet received by the receiving application terminal, and various types of information included in the media packet A quality information acquisition unit for acquiring time information, and transmission quality information Based on the received quality information and the reproduction error time indicating the deviation of the reproduction timing for each frame and the invalid frame reproduction time indicating the reproduction period corresponding to the invalid frame that could not be normally reproduced as the invalid reproduction time, The invalidity calculated by the quality analysis unit from the quality analysis unit that calculates the ratio of the invalid playback time to the arbitrary evaluation period as the invalid playback time rate and the quality estimation model that shows the relationship between the invalid playback time rate and the user experience quality value A user experience quality estimation unit that derives a user experience quality value corresponding to the playback time rate and outputs the user experience quality value as an estimated value of the user experience quality of the application.
この際、品質解析部に、受信側アプリケーション端末におけるメディア全体のメディア再生開始時刻とメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、メディア再生開始時刻とメディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算するとともに、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する無効再生時間算出手段と、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段とを設けてもよい。 At this time, the quality analysis unit calculates the scheduled playback time of the frame from the media playback start time of the entire media in the receiving application terminal and the playback time information of the frame included in the media packet, and the media playback start time Information analysis means for calculating the actual playback time of the frame from the received time of the packet for the media and the playback error time consisting of the time difference between the scheduled playback time and the playback time of the frame exceeds the allowable value In addition, the reproduction error time is added to the invalid reproduction time, and if the frame is an invalid frame, the invalid frame reproduction time, which is the time difference between the reproduction scheduled time and the next frame reproduction scheduled time, is added to the invalid reproduction time. Invalid playback time calculation means and the ratio of invalid playback time to any evaluation period during invalid playback May be provided with invalid playback time ratio calculating means for calculating as a percentage.
また、品質解析部に、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定手段とを設けてもよい。 In addition, the quality analysis unit determines invalid packet determination means for determining, as an invalid packet, a packet that could not be normally received among media packets based on the transmission quality information and the reception quality information, and an invalid packet based on the transmission quality information. Frame identifying means for identifying the frame corresponding to the target frame, and invalid frame determining means for determining whether or not each frame is an invalid frame based on the frame configuration used for encoding the media and the target frame. May be.
また、無効パケット判定手段で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしてもよい。 In addition, the invalid packet determination means indicates the arrival interval of media packets whose reception quality information is not confirmed among the media packets whose transmission quality is confirmed by the transmission quality information, and each media packet of the reception quality information. A media packet whose delay fluctuation time exceeds the allowable packet delay time of the application may be determined as an invalid packet.
また、無効パケット判定手段で、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしてもよい。 Further, the invalid packet determination means may determine a media packet in which the transmission order and the reception order of the media packet confirmed to be received by the reception quality information are inconsistent as an invalid packet.
また、フレーム識別手段で、送信品質情報に含まれる無効パケットのヘッダ情報から、対象フレームのフレーム番号およびフレーム種別を取得し、無効フレーム判定手段で、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。 Further, the frame identification means acquires the frame number and frame type of the target frame from the invalid packet header information included in the transmission quality information, and the invalid frame determination means determines that the target frame is an invalid frame among the frames. At the same time, when an invalid frame is included in another frame used for decoding the frame according to the arrangement of the frame types defined in the frame configuration, the frame may be determined as an invalid frame.
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を受信品質情報として取得するようにしてもよい。 Further, the quality information acquisition unit acquires the quality information from the transmission side application terminal received by the packet reception unit of the reception side application terminal as transmission quality information, and is received by the packet reception unit of the reception side application terminal. Quality information obtained from the media packet may be acquired as reception quality information.
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を送信品質情報として取得するようにしてもよい。 In addition, the quality information acquisition unit acquires the quality information from the reception side application terminal received by the packet reception unit of the transmission side application terminal as reception quality information and is transmitted by the packet transmission unit of the transmission side application terminal. Quality information obtained from the media packet may be acquired as transmission quality information.
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。 Moreover, you may further provide the quality information notification part which notifies the transmission quality information obtained in the packet transmission part of the transmission side application terminal to a reception side application terminal.
受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。 You may further provide the quality information notification part which notifies the transmission quality application terminal of the reception quality information obtained by the packet reception part of the reception side application terminal.
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。 In addition, the user experience quality estimation method according to the present invention is obtained by encoding media such as video and audio by a real-time application between a transmission side and a reception side application terminal connected via a packet network. A user experience quality estimation method used in a user experience quality estimation device for estimating a user experience quality that a user feels about a media received and played by a receiving application terminal when a frame is transmitted / received as a media packet, comprising: Quality information for acquiring transmission-side quality information indicating the transmission status of media packets transmitted from the transmission-side application terminal and reception quality information indicating the reception status of media packets received by the reception-side application terminal by the acquisition unit The acquisition step and the quality analysis department Based on the information and the reception quality information, the sum of the reproduction error time indicating the difference in reproduction timing for each frame and the invalid frame reproduction time indicating the reproduction period corresponding to the invalid frame that cannot be normally reproduced is calculated as the invalid reproduction time. The quality analysis step for calculating the ratio of the invalid reproduction time with respect to an arbitrary evaluation period as the invalid reproduction time ratio, and the quality estimation model indicating the relationship between the invalid reproduction time ratio and the user experience quality value by the user experience quality estimation unit, A user experience quality estimation step of deriving a user experience quality value corresponding to the invalid reproduction time rate calculated by the quality analysis unit and outputting the user experience quality value as an estimated value of the user experience quality of the application.
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させるプログラムである。 Further, the program according to the present invention uses each frame obtained by encoding media such as video and audio by a real-time application between the transmission side and reception side application terminals connected via the packet network. When the packet is transmitted / received in a packet, the quality information acquisition unit transmits the user experience quality estimation device that estimates the user experience quality that the user feels about the media received and played by the reception side application terminal. A quality information acquisition step for acquiring the transmission side quality information indicating the transmission status of the media packet and the reception quality information indicating the reception status of the media packet received by the receiving side application terminal, and the transmission quality information by the quality analysis unit And received quality information based on each frame The sum of the playback error time indicating the difference in playback timing related to the playback time and the invalid frame playback time indicating the playback period corresponding to the invalid frame that could not be normally played back is calculated as the invalid playback time, and the invalid playback time for any evaluation period is calculated. The quality analysis step for calculating the ratio as an invalid playback time rate and the invalid playback time calculated by the quality analysis unit from the quality estimation model indicating the relationship between the invalid playback time rate and the user experience quality value by the user experience quality estimation unit It is a program for executing a user experience quality estimation step of deriving a user experience quality value corresponding to the rate and outputting it as an estimated value of the user experience quality of the application.
本発明によれば、品質解析部により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計が無効再生時間として算出されて、任意の評価期間に対する無効再生時間の割合が無効再生時間率として算出され、ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。 According to the present invention, the quality analysis unit displays a reproduction error time indicating a difference in reproduction timing for each frame based on transmission quality information and reception quality information and an invalid period indicating a reproduction period corresponding to an invalid frame that cannot be normally reproduced. The sum of the frame playback time is calculated as the invalid playback time, the ratio of the invalid playback time to the arbitrary evaluation period is calculated as the invalid playback time rate, and the user experience quality estimation unit calculates the invalid playback time rate and the user experience quality value. The user experience quality value corresponding to the invalid reproduction time rate calculated by the quality analysis unit is derived from the quality estimation model indicating the relationship between the user experience quality and the estimated value of the user experience quality of the application.
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
Therefore, even when the frame playback timing shifts and the frame playback interval changes according to the delay fluctuation of the media packet, considering the effect on the user experience quality due to this phenomenon, the user of the real-time application Experience quality can be estimated.
Accordingly, the user experience quality can be estimated with higher accuracy than the case where the user experience quality is estimated based on the media data lost due to the media packet used for video communication.
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかるユーザ体感品質推定装置について説明する。図1は、本発明の第1の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
Next, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
First, a user experience quality estimation apparatus according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the user experience quality estimation apparatus according to the first embodiment of the present invention.
ユーザ体感品質推定装置1は、通信機能を有する情報処理装置からなり、アプリケーション端末2さらにはパケット網5と接続されて、アプリケーション端末2で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置1には、主な機能部として、品質情報取得部11、品質解析部12、ユーザ体感品質推定部13、推定結果通知部16、および品質情報通知部17が設けられている。
The user experience
The user experience
本実施の形態は、品質情報取得部11により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部12により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部13により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル14から、品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
In this embodiment, the quality information acquisition unit 11 transmits the transmission side quality information indicating the transmission status of the media packet used for communication of the media data transmitted from the transmission side application terminal, and the medium received by the reception side application terminal. The reception quality information indicating the reception status of the packet is acquired, and the
ユーザ体感品質推定装置1の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部(コンピュータ)は、CPUなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
Each functional unit of the user experience
品質情報取得部11は、送信側アプリケーション端末から送信された、メディア(コンテンツのデータを含むメディア用パケットの送信状況を示す送信側品質情報をアプリケーション端末2のパケット受信部21から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末2のパケット受信部21から取得する機能とを有している。
The quality information acquiring unit 11 has a function of acquiring, from the
品質解析部12は、送信品質情報および受信品質情報に基づいて各フレームのうち正常再生できなかったフレームによる品質劣化が発生した期間を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
品質解析部12を構成する主な機能手段としては、無効パケット判定手段12A、対象フレーム識別手段12B、無効フレーム判定手段12C、時刻情報解析手段12D、無効再生時間算出手段12E、および無効再生時間率算出手段12Fがある。
Based on the transmission quality information and the reception quality information, the
The main functional means constituting the
無効パケット判定手段12Aは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する機能を有している。
対象フレーム識別手段12Bは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段12Cは、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する機能を有している。
The invalid
The target
The invalid
時刻情報解析手段12Dは、受信側アプリケーション端末2において任意の評価期間におけるメディア全体のメディア再生開始時刻とその評価期間に受信したメディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出する機能と、当該フレームのメディア再生開始時刻と当該メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する機能とを有している。
The time
無効再生時間算出手段12Eは、当該フレームの再生予定時刻と再生時刻との時刻差からなる再生誤差時間が許容値を上回った場合に当該再生誤差時間を無効再生時間に加算する機能と、当該フレームが無効フレームの場合は再生予定時刻から次のフレームの再生予定時刻との時刻差からなる無効フレーム再生時間を無効再生時間に加算する機能とを有している。
無効再生時間率算出手段12Fは、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出する機能を有している。
The invalid reproduction time calculation means 12E has a function of adding the reproduction error time to the invalid reproduction time when a reproduction error time consisting of a time difference between the scheduled reproduction time and the reproduction time of the frame exceeds an allowable value, and the frame In the case of an invalid frame, it has a function of adding an invalid frame reproduction time, which is a time difference between the scheduled reproduction time and the next frame reproduction scheduled time, to the invalid reproduction time.
The invalid reproduction time rate calculating means 12F has a function of calculating the invalid reproduction time ratio with respect to an arbitrary evaluation period as an invalid reproduction time rate.
ユーザ体感品質推定部13は、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル14から、品質解析部12で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値15として出力する機能を有している。
The user experience
推定結果通知部16は、パケット網5を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置(図示せず)や品質管理サーバ(図示せず)に対し、制御パケットを用いて、当該装置で得られた品質推定値15さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部17は、アプリケーション端末2のパケット送信部22で得られた送信品質情報を送信側アプリケーション端末へ通知する機能を有している。
The estimation
The quality
[第1の実施の形態の動作]
次に、図2〜図6を参照して、本発明の第1の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図2は、本発明の第1の実施の形態にかかるユーザ体感品質推定装置の無効再生時間算出処理を示すフローチャートである。図3は、再生予定時刻の算出動作を示す説明図である。図4は、再生時刻の算出動作を示す説明図である。図5は、無効再生時間の算出動作を示す説明図である。図6は、本発明の第1の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
[Operation of First Embodiment]
Next, with reference to FIGS. 2-6, operation | movement of the user experience quality estimation apparatus concerning the 1st Embodiment of this invention is demonstrated. FIG. 2 is a flowchart showing an invalid reproduction time calculation process of the user experience quality estimation apparatus according to the first embodiment of the present invention. FIG. 3 is an explanatory diagram showing the calculation operation of the scheduled reproduction time. FIG. 4 is an explanatory diagram showing the calculation operation of the reproduction time. FIG. 5 is an explanatory diagram showing the calculation operation of the invalid reproduction time. FIG. 6 is a flowchart showing a user experience quality estimation process of the user experience quality estimation apparatus according to the first embodiment of the present invention.
ここでは、アプリケーション端末2が受信側であり、送信側となる対向アプリケーション端末(図示せず)から送信されパケット網5を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置(図示せず)から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末2へ制御用パケットにより通知される場合を例として説明する。
Here, when the
ユーザ体感品質推定装置1の品質情報取得部11で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、送信フレーム数、および時刻がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号、直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間、および各種の時刻情報がある。
The main quality information included in the transmission quality information acquired by the quality information acquisition unit 11 of the user experience
受信メディア用パケットに関する時刻情報としては、映像メディアを符号化する際にフレームレートなどの品質情報に基づき設定された、対応するフレームの正常な再生開始タイミングを示す再生時刻情報、さらには当該フレームの正常な復号開始タイミングを示す復号時刻情報のほか、送受信アプリケーション端末間で計時している時刻を相互に同期させるための時刻合わせ情報などがある。これら時刻情報は、各メディア用パケットのペイロード部に格納されて送信され、品質情報取得部11で取得される。 The time information related to the received media packet includes the playback time information indicating the normal playback start timing of the corresponding frame set based on the quality information such as the frame rate when the video media is encoded, In addition to decoding time information indicating normal decoding start timing, there is time adjustment information for synchronizing the time measured between the transmission / reception application terminals with each other. The time information is stored and transmitted in the payload portion of each media packet, and is acquired by the quality information acquisition unit 11.
[無効再生時間算出処理]
まず、図2〜図5を参照して、本発明の第1の実施の形態にかかるユーザ体感品質推定装置1での無効再生時間算出処理について説明する。ここでは、品質情報取得部11により、アプリケーション端末2から送信側品質情報および受信側品質情報がすでに取得されているものとする。また、送受信アプリケーション端末間で計時している両時刻に誤差がある場合、送信側アプリケーション端末から送信された時刻合わせ情報に基づき受信側アプリケーション端末の時刻が送信側の時刻に同期させているものとする。なお、時刻合わせ情報に基づいて無効再生時間算出時にいずれか一方の端末での時刻情報を補正するようにしてもよい。
[Invalid playback time calculation process]
First, with reference to FIG. 2 to FIG. 5, an invalid reproduction time calculation process in the user experience
ユーザ体感品質推定装置1の品質解析部12は、所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末2で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図2の無効再生時間算出処理を実行する。なお、各フレームに対する無効フレーム判定については、品質解析部12の無効フレーム判定手段12Cにより、すでに判定済みであるものとする。また、フレーム構成は、MPEG(Moving Picture Exparts Group)のGOP(Group of Picture)構成を用いているものとする。
The
まず、時刻情報解析手段12Dは、送信側品質情報および受信側品質情報に基づき選択したメディア用パケットが評価期間に最初に受信した先頭のメディア用パケットの場合(ステップ100:YES)、当該パケットの受信時刻RT0に遅れ時間αを加算することにより、評価期間に対応する映像メディア全体の再生開始タイミングを示すメディア再生開始時刻T0=RT0+αを算出する(ステップ101)。
First, when the media packet selected based on the transmission-side quality information and the reception-side quality information is the first media packet received during the evaluation period (step 100: YES), the time
遅れ時間αは、メディア用パケットの受信から実際にフレームが復号されて再生がされるまでの時間であり、アプリケーションや端末などの処理性能に基づき予め設定される。なお、遅れ時間αとして、評価期間において最初に再生されるフレームの先頭メディア用パケットの再生時刻情報を用いてもよい。図3の例では、遅れ時間αとして、評価期間において最初に再生されるB(1)フレームの先頭メディア用パケットの再生時刻情報t1=00.002(sec)が用いられ、最初に受信したI(0)フレームのメディア用パケットの受信時刻RT0=59.998(sec)であることから、メディア再生開始時刻T0=RT0+t1=00.000(sec)が求められている。 The delay time α is the time from the reception of the media packet until the frame is actually decoded and played back, and is set in advance based on the processing performance of the application, terminal, or the like. As the delay time α, the reproduction time information of the first media packet of the frame that is reproduced first in the evaluation period may be used. In the example of FIG. 3, the reproduction time information t 1 = 00.002 (sec) of the first media packet of the B (1) frame that is reproduced first in the evaluation period is used as the delay time α, and the first received I ( 0) Since the media packet reception time RT 0 = 59.998 (sec), the media playback start time T 0 = RT 0 + t 1 = 00.000 (sec) is required.
次に、時刻情報解析手段12Dは、再生開示時刻T0に当該メディア用パケットの再生時刻情報tnを加算することにより、当該パケットに対応するフレームの再生予定時刻PTn=T0+tnを算出する(ステップ102)。図3の例では、I(0)フレームの先頭パケットの再生時刻情報がt0=00.068(sec)であり、これがメディア再生開始時刻T0=00.000(sec)に加算されて、I(0)フレームの再生予定時刻PT0=00.068(sec)が求められている。
Next, the time
次に、時刻情報解析手段12Dは、当該メディア用パケットに復号時刻情報が格納されていたか否か判断する(ステップ103)。この復号時刻情報は、通常、特定の種別のフレームにのみ格納されている。
ここで、当該メディア用パケットに復号時刻情報が格納されていない場合(ステップ103:NO)、メディア再生開始時刻T0に、当該メディア用パケットの受信時刻情報RTnを加算することにより、当該フレームが実際に再生される再生時刻ePTn=T0+RTnを算出する(ステップ104)。図4の例では、B(1)フレームの先頭パケットのパケット受信時刻がRT1=00.000(sec)であり、これがメディア再生開始時刻T0=00.000(sec)に加算されて、B(1)フレームの再生時刻ePT1=00.000(sec)が求められている。
Next, the time
Here, if the decoding time information for the media packet is not stored (step 103: NO), the media playback start time T 0, by adding the reception time information RT n for the media packets, the frame The reproduction time ePT n = T 0 + RT n at which the video is actually reproduced is calculated (step 104). In the example of FIG. 4, the packet reception time of the first packet of the B (1) frame is RT 1 = 00.000 (sec), and this is added to the media playback start time T 0 = 00.000 (sec), and B (1) The frame playback time ePT 1 = 00.000 (sec) is required.
一方、当該メディア用パケットに復号時刻情報が格納されている場合(ステップ103:YES)、メディア再生開始時刻T0に、当該メディア用パケットの受信時刻情報RTnを加算するとともに、再生時刻情報tnと復号時刻情報dtnの時刻差を加算することにより、当該フレームが実際に再生される再生時刻(推定)ePTn=T0+RTn+tn−dtnを算出する(ステップ105)。図4の例では、I(0)フレームの先頭パケットのパケット受信時刻がRT0=59.998(sec)であり、同じく再生時刻情報t0=00.068(sec)、また復号時刻情報dt0=00.000(sec)であることから、I(0)フレームの再生時刻ePT0=00.066(sec)が求められている。 On the other hand, if the decoding time information for the media packet is stored (step 103: YES), the media playback start time T 0, while adding the reception time information RT n for the media packets, the reproduction time information t By adding the time difference between n and the decoding time information dt n, the reproduction time (estimated) ePT n = T 0 + RT n + t n −dt n at which the frame is actually reproduced is calculated (step 105). In the example of FIG. 4, the packet reception time of the first packet of the I (0) frame is RT 0 = 59.998 (sec), similarly reproduction time information t 0 = 00.068 (sec), and decoding time information dt 0 = 00.000 ( Therefore, the reproduction time ePT 0 = 00.066 (sec) of the I (0) frame is obtained.
このようにして、時刻情報解析手段12Dにより、当該メディア用パケットから当該フレームについて再生予定時刻PTnと再生時刻ePTnを算出した後、無効再生時間算出手段12Eにより、再生予定時刻PTnと再生時刻ePTnの時刻差から当該フレームの再生誤差時間ΔPTn=ePTn−PTnを算出する(ステップ106)。
ここで、再生誤差時間ΔPTnが許容値εを上回る場合(ステップ107:YES)、無効再生時間算出手段12Eは、その再生誤差時間ΔPTnを無効再生時間TSUMに加算し(ステップ108)、再生誤差時間ΔPTnが許容値ε以内であれば(ステップ107:NO)、無効再生時間TSUMに加算しない。
In this way, the time
Here, when the reproduction error time ΔPT n exceeds the allowable value ε (step 107: YES), the invalid reproduction time calculation means 12E adds the reproduction error time ΔPT n to the invalid reproduction time T SUM (step 108), If the reproduction error time ΔPT n is within the allowable value ε (step 107: NO), it is not added to the invalid reproduction time T SUM .
図5の例では、B(1)フレームの再生予定時刻がPT1=00.002(sec)であり、再生時刻ePT1=00.000(sec)であることから、その再生誤差時間ΔPT2=-0.020は許容値ε=0.005(sec)以内となり、再生誤差時間ΔPT2は無効再生時間TSUMに加算されない。また、B(2)フレームの再生予定時刻がPT2=00.035(sec)であり、再生時刻ePT2=00.055(sec)であることから、その再生誤差時間ΔPT2=0.020が許容値ε=0.005(sec)を上回っているため、再生誤差時間ΔPT2は無効再生時間TSUMに加算される。 In the example of FIG. 5, since the scheduled reproduction time of the B (1) frame is PT 1 = 00.002 (sec) and the reproduction time ePT 1 = 00.000 (sec), the reproduction error time ΔPT 2 = −0.020 is tolerance epsilon = 0.005 becomes less (sec), playback error time .DELTA.PT 2 is not added to disable the reproduction time T SUM. Further, since the scheduled reproduction time of the B (2) frame is PT 2 = 00.035 (sec) and the reproduction time ePT 2 = 00.055 (sec), the reproduction error time ΔPT 2 = 0.020 is an allowable value ε = 0.005. Since (sec) is exceeded, the reproduction error time ΔPT 2 is added to the invalid reproduction time T SUM .
次に、無効再生時間算出手段12Eは、当該メディア用パケットに対応するフレームが無効フレームと判定されているか確認し(ステップ109)、無効フレームと判定されている場合は(ステップ109:YES)、当該フレームと次のフレームの再生予定時間PTnの時刻差から、当該無効フレームが再生されるべき期間を示す無効フレーム再生時間FTnを算出する(ステップ110)。
図5の例では、B(4)フレームが無効フレームと判定されており、このB(4)フレームの再生予定時刻PT4=00.101(sec)と次のB(5)フレームの再生予定時刻PT5=00.134(sec)の時刻差からB(4)フレームの無効フレーム再生時間FT4=0.033(sec)が求められる。
Next, the invalid reproduction time calculation means 12E confirms whether the frame corresponding to the media packet is determined to be an invalid frame (step 109), and if it is determined to be an invalid frame (step 109: YES), An invalid frame reproduction time FT n indicating a period during which the invalid frame is to be reproduced is calculated from the time difference between the scheduled reproduction time PT n of the frame and the next frame (step 110).
In the example of FIG. 5, it is determined that the B (4) frame is an invalid frame. The scheduled reproduction time PT 4 of this B (4) frame is 00.101 (sec) and the scheduled reproduction time PT5 of the next B (5) frame. From the time difference of 00.134 (sec), the invalid frame playback time FT 4 = 0.033 (sec) of the B (4) frame is obtained.
無効再生時間算出手段12Eは、当該フレームの無効フレーム再生時間FTnを算出した後、その無効フレーム再生時間FTnを無効再生時間TSUMに加算する(ステップ111)。
このようにして、ユーザ体感品質推定装置1の品質解析部12は、選択した所望のユーザ体感品質を推定するための任意の評価期間に受信側アプリケーション端末2で受信されたメディア用パケットのうち、各フレームの先頭に位置する先頭メディア用パケットごとに、図2の無効再生時間算出処理を実行し、評価期間におけるすべての先頭メディア用パケットについて無効再生時間算出処理を終了する。
Invalid reproduction
In this way, the
[ユーザ体感品質推定処理]
次に、図6を参照して、本発明の第1の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理について説明する。
ここでは、アプリケーション端末2が受信側であり、送信側となる対向アプリケーション端末(図示せず)から送信されパケット網5を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置(図示せず)から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末2へ制御用パケットにより通知される場合を例として説明する。
[User experience quality estimation processing]
Next, with reference to FIG. 6, the user experience quality estimation process in the user experience quality estimation apparatus according to the first embodiment of the present invention will be described.
Here, when the
ユーザ体感品質推定装置1の品質情報取得部11は、対向アプリケーション端末側からRTCP XR(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末2のパケット受信部21で受信されたものを取得する(ステップ120)。
また、アプリケーション端末2のパケット受信部21で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する(ステップ121)。
The quality information acquisition unit 11 of the user experience
Further, the reception quality information obtained from the media packet from the opposite application terminal is acquired by the
次に、品質解析部12は、無効パケット判定手段12Aにより、送信品質情報で送信が確認されている各メディア用パケットについて、無効パケットの判定を行う(ステップ122)。無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網5を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
Next, the
次に、品質解析部12は、対象フレーム識別手段12Bにより、送信品質情報を参照して、無効パケット判定手段12Aで無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する(ステップ123)。
Next, the
続いて、品質解析部12は、無効フレーム判定手段12Cにより、送信品質情報および受信品質情報を参照して、対象フレーム識別手段12Bで識別された対象フレームのフレーム種別およびフレーム番号と評価対象となるリアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成とに基づき、各フレームのうちメディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームを判定する(ステップ124)。
Subsequently, the
例えば、映像メディアでは、基準フレームとの差分データで後続フレームを転送するMPEG(Moving Picture Exparts Group)などの圧縮符号化方式があり、このようなフレーム構成がGOP(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。 For example, in video media, there is a compression encoding method such as MPEG (Moving Picture Exparts Group) that transfers subsequent frames with difference data from a reference frame, and such a frame configuration is preliminarily indicated by GOP (Group of Picture) configuration information. It is prescribed. When such a compression coding method is used, even if the difference data is normally received, if the reference frame becomes an invalid frame, the subsequent frame cannot be decoded, and as a result, the subsequent frame also becomes an invalid frame.
次に、品質解析部12は、時刻情報解析手段12Dおよび無効再生時間算出手段12Eを用いて、任意の評価期間に受信側アプリケーション端末2で受信されたメディア用パケットのうち、各フレームの先頭に位置するメディア用パケットごとに、図2の無効再生時間算出処理を実行することにより、評価期間における無効再生時間TSUMを算出する(ステップ125)。
この後、品質解析部12は、図2の無効再生時間算出処理により得られた無効再生時間TSUMを評価期間長TALLで除算することにより、評価期間における無効再生時間TSUMの割合を示す無効再生時間率RT=TSUM/TALLを算出する(ステップ126)。
Next, the
After that, the
次に、ユーザ体感品質推定部13は、予め用意して記憶部(図示せず)に格納しておいた無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル14から、品質解析部12で算出された無効再生時間率に対応するユーザ体感品質値を導出し、リアルタイム系アプリケーションのユーザ体感品質の品質推定値15として記憶部へ出力する(ステップ127)。
Next, the user experience
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるMOS値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
図7は、無効再生時間率とMOS値との関係を示す品質推定モデルである。
実際にユーザ体感品質推定部13で用いる品質推定モデル14としては、図7の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
The creation of a quality estimation model represents the relationship between the intermediate parameters and the user experience quality consisting of MOS values (Mean Opinion Score average opinion scores), which are subjective evaluation values obtained by actually performing opinion evaluation, using a regression curve or a table. Model it.
FIG. 7 is a quality estimation model showing the relationship between the invalid reproduction time rate and the MOS value.
As the
具体的には、図7において、例えば入力パラメータの入力最小単位である最小刻(具体的には、無効再生時間率の入力最小単位)を0.01とした場合、0.01刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているMOS値を平均することで、0から最小刻ごとに無効再生時間率とMOSの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。 Specifically, in FIG. 7, for example, when the minimum unit that is the minimum input unit of the input parameter (specifically, the minimum input unit of the invalid reproduction time rate) is 0.01, the output is performed in 0.01 units. A table is created by averaging the values obtained. That is, by averaging the MOS values that fall within the minimum time range, a table is created for the relationship between the invalid reproduction time rate and the MOS for every minimum time from 0. However, when the number of evaluation samples is small, there is a minimum data with no data. In such a case, complementation is performed using data having data before and after. This complementation may be linear or regression may be used. In order to minimize such a phenomenon, it is desirable to acquire a large number of data samples when creating a model.
この後、推定結果通知部16は、ユーザ体感品質推定部13で推定された品質推定値15を記憶部から読み込んで、RTCP XRなどの制御用パケットに格納し、パケット網5を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置(図示せず)や品質管理サーバ(図示せず)に対して送信し(ステップ128)、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値15の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部16で通知してもよい。
Thereafter, the estimation
At this time, the estimation
このように、本実施の形態では、品質情報取得部11により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部12により、送信品質情報と受信品質情報とに基づいて各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する無効再生時間の割合を無効再生時間率として算出し、ユーザ体感品質推定部13により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデル14から、品質解析部12で算出された無効再生時間率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値15として出力している。
Thus, in the present embodiment, the quality information acquisition unit 11 transmits the transmission side quality information indicating the transmission status of the media packet transmitted from the transmission side application terminal, and the media packet received by the reception side application terminal. The reception quality information indicating the reception status is acquired, and the
したがって、メディア用パケットの遅延揺らぎに応じてフレームの再生タイミングがずれてフレーム再生間隔が変動するような場合でも、このような現象によるユーザ体感品質への影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質を推定することができる。
これにより、映像通信に用いるメディア用パケットにより損失したメディアデータに基づいてユーザ体感品質を推定する場合と比較して、高い精度でユーザ体感品質を推定することができる。
Therefore, even when the frame playback timing shifts and the frame playback interval changes according to the delay fluctuation of the media packet, considering the effect on the user experience quality due to this phenomenon, the user of the real-time application Experience quality can be estimated.
Accordingly, the user experience quality can be estimated with higher accuracy than the case where the user experience quality is estimated based on the media data lost due to the media packet used for video communication.
[第2の実施の形態]
次に、図8を参照して、本発明の第2の実施の形態にかかるユーザ体感品質推定装置について説明する。図8は、本発明の第2の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
[Second Embodiment]
Next, a user experience quality estimation apparatus according to the second embodiment of the present invention will be described with reference to FIG. FIG. 8 is a flowchart showing invalid packet determination processing of the user experience quality estimation device according to the second exemplary embodiment of the present invention.
本実施の形態では、前述した第1の実施の形態の無効パケット判定手段12Aにおける無効パケット判定処理の具体例について説明する。
無効パケット判定手段12Aは、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し(ステップ140)、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する(ステップ141)。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には(ステップ141:NO)、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する(ステップ145)。
In the present embodiment, a specific example of invalid packet determination processing in the invalid packet determination means 12A of the first embodiment described above will be described.
First, the invalid
一方、シーケンス番号と同じメディア用パケットが受信されている場合には(ステップ141:YES)、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する(ステップ142)。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には(ステップ142:NO)、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する(ステップ145)。 On the other hand, when the same media packet as the sequence number is received (step 141: YES), the delay fluctuation time of the transmission media packet is confirmed by the reception quality information, and the allowable delay time possessed by the real-time application is determined. Compare (step 142). Here, when the delay fluctuation time exceeds the allowable delay time (step 142: NO), it can be determined that the media packet is a late arrival packet that arrives with a delay in the transmission path or terminal. Therefore, it is determined that the packet is invalid (step 145).
一方、遅延揺らぎ時間が許容遅延時間以下である場合には(ステップ142:YES)、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ(ステップ143:YES)、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には(ステップ144:YES)、無効パケットであると判定する(ステップ145)。 On the other hand, when the delay fluctuation time is equal to or shorter than the allowable delay time (step 142: YES), only when the real-time application considers the arrival order reverse packet as a loss (step 143: YES), and the media packet It is confirmed from the reception quality information whether the order of arrival and the sequence number match. Here, if the packet cannot be confirmed and the arrival order is reversed (step 144: YES), it is determined that the packet is an invalid packet (step 145).
なお、到着順序が逆転していない場合(ステップ144:NO)や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合(ステップ143:NO)、当該パケットは無効パケットではないと判定する(ステップ146)。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には(ステップ147:YES)、前述したステップ140へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合(ステップ147:NO)、一連の無効パケット判定処理を終了する。
When the arrival order is not reversed (step 144: NO), or when the real-time application does not regard the arrival order reversed packet as a loss (step 143: NO), it is determined that the packet is not an invalid packet. (Step 146).
In this way, after the invalid packet determination is performed on the selected transmission media packet, if there is a transmission packet that has not been determined to be invalid (step 147: YES), the process returns to step 140 described above. The invalid packet determination for the remaining received media packets is repeated. On the other hand, when the invalid packet determination is completed for all transmission media packets (step 147: NO), the series of invalid packet determination processing is terminated.
このように、本実施の形態では、無効パケット判定手段12Aにより、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
As described above, in the present embodiment, the invalid
また、無効パケット判定手段12Aにより、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。 Further, since the invalid packet determination means 12A determines that the media packet whose reception order is inconsistent with the transmission order of the media packet confirmed by the reception quality information is an invalid packet, the real-time application arrives. When it is considered that the order-reversed packet is a loss, it is possible to more accurately determine a packet that cannot be reproduced as media by the receiving side real-time application.
[第3の実施の形態]
次に、図9を参照して、本発明の第3の実施の形態にかかるユーザ体感品質推定装置について説明する。図9は、本発明の第3の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
[Third Embodiment]
Next, a user experience quality estimation apparatus according to a third embodiment of the present invention will be described with reference to FIG. FIG. 9 is a flowchart showing an invalid frame determination process of the user experience quality estimation apparatus according to the third embodiment of the present invention.
本実施の形態では、前述した第1の実施の形態の無効フレーム判定手段12Cにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段12Cは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段12Bにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する(ステップ150)。
In the present embodiment, a specific example of the invalid frame determination process in the invalid frame determination means 12C of the first embodiment will be described.
First, the invalid
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し(ステップ151)、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する(ステップ152)。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。 Next, with reference to the reception quality information, an invalid frame undetermined frame is selected according to the order of arrival at the receiving side (step 151), and the frame indicating the frame configuration used for media encoding in the real-time application By referring to the configuration information and the reception quality information, it is confirmed whether an invalid frame is included in another frame used for decoding the frame (step 152). The frame configuration information may be set in advance in the storage unit or may be acquired as transmission / reception quality information.
ここで、無効フレームが含まれている場合(ステップ152:YES)、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する(ステップ153)。一方、無効フレームが含まれていない場合(ステップ152:NO)、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する(ステップ154)。 If an invalid frame is included (step 152: YES), it is determined that the frame is an invalid frame because the frame cannot be decoded normally (step 153). On the other hand, if an invalid frame is not included (step 152: NO), the frame can be normally decoded, and therefore, the frame is determined not to be an invalid frame (step 154).
図10は、無効フレームの判定処理例である。ここでは、例えば、MPEG符号化方式に基づいて、映像メディアが「IBB」のGOP構成で圧縮符号化されフレームに分割されている。フレーム種別Iフレームは基準となるフレームで、Iフレームだけで元のフレームを復号できる。フレーム種別BフレームはIフレームとの差分データからなり、その復号にはIフレームが必要となる。 FIG. 10 shows an example of invalid frame determination processing. Here, for example, on the basis of the MPEG encoding method, the video media is compressed and encoded with a GOP configuration of “IBB” and divided into frames. The frame type I frame is a reference frame, and the original frame can be decoded only by the I frame. The frame type B frame is composed of difference data from the I frame, and the I frame is required for decoding.
図10に示すように、フレーム「1〜9」が「IBB」のGOP構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「2,4,7,8」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
As shown in FIG. 10, when frames “1-9” are divided into media packets according to the GOP configuration of “IBB” and transmitted and received at the receiving side, frames “2, 4, 7, 8” ”Is an invalid packet.
In this case, first, a target frame including an invalid packet is determined to be an invalid frame, and further, a frame used at the time of decoding is also determined to be an invalid frame.
具体的には、フレーム「5,6」の復号にフレーム「4」を用いるがフレーム「4」が無効フレームであるため、これらフレーム「5,6」も無効フレームと判定される。同様に、フレーム「9」の復号にフレーム「7」を用いるがフレーム「7」が無効フレームであるため、フレーム「9」も無効フレームと判定される。なお、フレーム「3」の復号にフレーム「1」を用いるがフレーム「1」が無効フレームではないため、フレーム「3」は無効フレームではないと判定される。 Specifically, the frame “4” is used for decoding the frame “5, 6”, but the frame “4” is an invalid frame, and therefore, these frames “5, 6” are also determined to be invalid frames. Similarly, frame “7” is used for decoding frame “9”, but since frame “7” is an invalid frame, frame “9” is also determined to be an invalid frame. Note that frame “1” is used for decoding frame “3”, but since frame “1” is not an invalid frame, frame “3” is determined not to be an invalid frame.
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には(ステップ155:YES)、前述したステップ151へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合(ステップ155:NO)、一連の無効フレーム判定処理を終了する。
In this way, after the invalid frame determination is performed on the selected frame, if an invalid frame undecided frame remains (step 155: YES), the process returns to the above-described
このように、本実施の形態では、無効フレーム判定手段12Cにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
As described above, in this embodiment, the invalid
[各実施の形態の拡張]
以上の各実施の形態では、アプリケーション端末2が受信側であり、送信側となる対向アプリケーション端末(図示せず)から送信されパケット網5を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末2が送信側であり、受信側となる対向アプリケーション端末(図示せず)でパケット網5を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
[Extension of each embodiment]
In each of the above embodiments, the
この場合には、ユーザ体感品質推定装置1の品質情報取得部11により、アプリケーション端末2のパケット送信部22で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末2のパケット受信部21で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部17でアプリケーション端末2のパケット送信部22で得られた送信品質情報を送信する代わりに、パケット受信部21で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
In this case, the quality information acquisition unit 11 of the user experience
At this time, when the similar user experience quality is also estimated in the opposite application terminal, instead of transmitting the transmission quality information obtained by the
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置1で、品質情報を直接受信するようにしてもよい。
The transmission / reception quality information may be directly exchanged between the transmission side and the reception side, but may be exchanged via a quality management server that manages the quality information. Further, the user experience
また、以上の各実施の形態では、ユーザ体感品質推定装置1をアプリケーション端末2とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末2で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末2のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
In each of the above embodiments, the case where the user experience
1…ユーザ体感品質推定装置、11…品質情報取得部、12…品質解析部、12A…無効パケット判定手段、12B…対象フレーム識別手段、12C…無効フレーム判定手段、12D…時刻情報解析手段、12E…無効再生時間算出手段、12F…無効再生時間率算出手段、13…ユーザ体感品質推定部、14…品質推定モデル、15…品質推定値、16…推定結果通知部、17…品質情報通知部、2…アプリケーション端末、21…パケット受信部、22…パケット送信部、5…パケット網。
DESCRIPTION OF
Claims (12)
前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報と、前記メディア用パケットに含まれている各種の時刻情報とを取得する品質情報取得部と、
前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析部と、
無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
を備えることを特徴とするユーザ体感品質推定装置。 When each frame obtained by encoding media such as video and audio by a real-time application is transmitted / received as a media packet between a transmission-side and reception-side application terminal connected via a packet network, the reception is performed. A user experience quality estimation device that estimates a user experience quality that a user feels about media received and played by a side application terminal,
In the transmission side quality information indicating the transmission status of the media packet transmitted from the transmission side application terminal, the reception quality information indicating the reception status of the media packet received by the reception side application terminal, and the media packet A quality information acquisition unit for acquiring various types of time information included;
Based on the transmission quality information and the reception quality information, the sum of a reproduction error time indicating a difference in reproduction timing for each frame and an invalid frame reproduction time indicating a reproduction period corresponding to an invalid frame that cannot be normally reproduced is invalidated. A quality analysis unit that calculates a playback time and calculates a ratio of the invalid playback time to an arbitrary evaluation period as an invalid playback time rate;
A user experience quality value corresponding to the invalid reproduction time rate calculated by the quality analysis unit is derived from a quality estimation model indicating a relationship between the invalid reproduction time rate and the user experience quality value, and the user experience quality estimate of the application is estimated. A user experience quality estimation device comprising: a user experience quality estimation unit that outputs the value as a value.
前記品質解析部は、
前記受信側アプリケーション端末における前記メディア全体のメディア再生開始時刻と前記メディア用パケットに含まれる当該フレームの再生時刻情報とから当該フレームの再生予定時刻を算出するとともに、前記メディア再生開始時刻と前記メディア用パケットの受信時刻とから当該フレームの実際の再生時刻を算出する時刻情報解析手段と、
当該フレームの前記再生予定時刻と前記再生時刻との時刻差からなる前記再生誤差時間が許容値を上回った場合に当該再生誤差時間を前記無効再生時間に加算するとともに、当該フレームが前記無効フレームの場合は前記再生予定時刻から次のフレームの再生予定時刻との時刻差からなる前記無効フレーム再生時間を前記無効再生時間に加算する無効再生時間算出手段と、
任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する無効再生時間率算出手段と
を有することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The quality analysis unit
The media playback start time of the frame is calculated from the media playback start time of the entire media in the receiving application terminal and the playback time information of the frame included in the media packet, and the media playback start time and the media Time information analysis means for calculating the actual reproduction time of the frame from the reception time of the packet;
When the reproduction error time consisting of a time difference between the scheduled reproduction time and the reproduction time of the frame exceeds an allowable value, the reproduction error time is added to the invalid reproduction time, and the frame is In this case, invalid playback time calculation means for adding the invalid frame playback time consisting of a time difference between the scheduled playback time and the scheduled playback time of the next frame to the invalid playback time;
A user experience quality estimation apparatus comprising: an invalid reproduction time rate calculating unit that calculates a ratio of the invalid reproduction time with respect to an arbitrary evaluation period as an invalid reproduction time rate.
前記品質解析部は、
前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する無効パケット判定手段と、
前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
前記メディアの符号化に用いたフレーム構成と前記対象フレームとに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定手段と
を有することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The quality analysis unit
Invalid packet determination means for determining, as an invalid packet, a packet that could not be normally received among the media packets based on the transmission quality information and the reception quality information;
Frame identifying means for identifying a frame corresponding to the invalid packet as a target frame based on the transmission quality information;
A user experience quality estimation apparatus comprising: invalid frame determination means for determining whether each frame is the invalid frame based on a frame configuration used for encoding the media and the target frame.
前記無効パケット判定手段は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないメディア用パケット、および前記受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えるメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The invalid packet determination means includes an arrival interval of media packets that have not been confirmed to be received by the reception quality information among media packets that have been confirmed to be transmitted by the transmission quality information, and media packets of the reception quality information. A user experience quality estimation apparatus, wherein a media packet whose delay fluctuation time exceeds the allowable packet delay time of the application is determined as the invalid packet.
前記無効パケット判定手段は、前記受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The user experience quality estimation apparatus, wherein the invalid packet determination means determines a media packet in which a transmission order and a reception order of media packets confirmed to be received by the reception quality information are inconsistent as the invalid packet.
前記フレーム識別手段は、前記送信品質情報に含まれる前記無効パケットのヘッダ情報から、前記対象フレームのフレーム番号およびフレーム種別を取得し、
前記無効フレーム判定手段は、前記各フレームのうち前記対象フレームを無効フレームと判定するとともに、前記フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する
ことを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The frame identification means obtains a frame number and a frame type of the target frame from header information of the invalid packet included in the transmission quality information,
The invalid frame determination means determines the target frame as an invalid frame among the frames, and includes an invalid frame in another frame used for decoding the frame according to a frame type sequence defined in the frame configuration. A user experience quality estimation device, wherein the frame is determined to be an invalid frame.
前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The quality information acquisition unit acquires, as the transmission quality information, the quality information from the transmission side application terminal received by the packet reception unit of the reception side application terminal, and at the packet reception unit of the reception side application terminal. A user experience quality estimation device, wherein quality information obtained from a received media packet is acquired as the reception quality information.
前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The quality information acquisition unit acquires, as the reception quality information, quality information from the reception-side application terminal received by the packet reception unit of the transmission-side application terminal, and a packet transmission unit of the transmission-side application terminal. A user experience quality estimation device, wherein quality information obtained from a transmitted media packet is acquired as the transmission quality information.
前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The user experience quality estimation apparatus further comprising a quality information notification unit that notifies the reception side application terminal of the transmission quality information obtained by the packet transmission unit of the transmission side application terminal.
前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。 In the user experience quality estimation apparatus according to claim 1,
The user experience quality estimation apparatus further comprising a quality information notification unit for notifying the reception side application terminal of the reception quality information obtained by the packet reception unit of the reception side application terminal.
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を備えることを特徴とするユーザ体感品質推定方法。 When each frame obtained by encoding media such as video and audio by a real-time application is transmitted / received as a media packet between a transmission-side and reception-side application terminal connected via a packet network, the reception is performed. A user experience quality estimation method used in a user experience quality estimation device that estimates a user experience quality that a user feels about the media received and played by a side application terminal,
Transmission quality information indicating the transmission status of the media packet transmitted from the transmission-side application terminal by the quality information acquisition unit, and reception quality information indicating the reception status of the media packet received by the reception-side application terminal; A quality information acquisition step to acquire,
Based on the transmission quality information and the reception quality information, the quality analysis unit reproduces a reproduction error time indicating a deviation in reproduction timing for each frame and an invalid frame reproduction time indicating a reproduction period corresponding to an invalid frame that cannot be normally reproduced. And a quality analysis step of calculating the invalid playback time ratio as an invalid playback time ratio with respect to an arbitrary evaluation period,
The user experience quality estimation unit derives a user experience quality value corresponding to the invalid reproduction time rate calculated by the quality analysis unit from a quality estimation model indicating a relationship between the invalid reproduction time rate and the user experience quality value, A user experience quality estimation method comprising: a user experience quality estimation step that outputs an estimated value of the user experience quality of the application.
品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
品質解析部により、前記送信品質情報と前記受信品質情報とに基づいて前記各フレームに関する再生タイミングのずれを示す再生誤差時間と正常再生できなかった無効フレームに対応する再生期間を示す無効フレーム再生時間との合計を無効再生時間として算出し、任意の評価期間に対する前記無効再生時間の割合を無効再生時間率として算出する品質解析ステップと、
ユーザ体感品質推定部により、無効再生時間率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効再生時間率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
を実行させるプログラム。 When each frame obtained by encoding media such as video and audio by a real-time application is transmitted / received as a media packet between a transmission-side and reception-side application terminal connected via a packet network, the reception is performed. In the computer of the user experience quality estimation device that estimates the user experience quality that the user feels about the media received and played by the side application terminal,
Transmission quality information indicating the transmission status of the media packet transmitted from the transmission-side application terminal by the quality information acquisition unit, and reception quality information indicating the reception status of the media packet received by the reception-side application terminal; A quality information acquisition step to acquire,
Based on the transmission quality information and the reception quality information, the quality analysis unit reproduces a reproduction error time indicating a deviation in reproduction timing for each frame and an invalid frame reproduction time indicating a reproduction period corresponding to an invalid frame that cannot be normally reproduced. And a quality analysis step of calculating the invalid playback time ratio as an invalid playback time ratio with respect to an arbitrary evaluation period,
The user experience quality estimation unit derives a user experience quality value corresponding to the invalid reproduction time rate calculated by the quality analysis unit from a quality estimation model indicating a relationship between the invalid reproduction time rate and the user experience quality value, A program that executes a user experience quality estimation step that is output as an estimated value of the user experience quality of the application.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006160330A JP2007329775A (en) | 2006-06-08 | 2006-06-08 | User's bodily sensation quality estimating apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006160330A JP2007329775A (en) | 2006-06-08 | 2006-06-08 | User's bodily sensation quality estimating apparatus, method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007329775A true JP2007329775A (en) | 2007-12-20 |
Family
ID=38929936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006160330A Pending JP2007329775A (en) | 2006-06-08 | 2006-06-08 | User's bodily sensation quality estimating apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007329775A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2000342A2 (en) | 2007-06-08 | 2008-12-10 | Nissan Motor Co., Ltd. | Vehicle door structure |
-
2006
- 2006-06-08 JP JP2006160330A patent/JP2007329775A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2000342A2 (en) | 2007-06-08 | 2008-12-10 | Nissan Motor Co., Ltd. | Vehicle door structure |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8405773B2 (en) | Video communication quality estimation apparatus, method, and program | |
EP3136742B1 (en) | Bandwidth management | |
US9723329B2 (en) | Method and system for determining a quality value of a video stream | |
EP2888845B1 (en) | Device and method for adaptive rate multimedia communications on a wireless network | |
JP4308227B2 (en) | Video quality estimation device, video quality management device, video quality estimation method, video quality management method, and program | |
US20140241699A1 (en) | Content playback information estimation apparatus and method and program | |
WO2014035833A2 (en) | Device and method for adaptive rate multimedia communications on a wireless network | |
CN109714557A (en) | Method for evaluating quality, device, electronic equipment and the storage medium of video calling | |
Li et al. | Real‐Time QoE Monitoring System for Video Streaming Services with Adaptive Media Playout | |
JP4377357B2 (en) | Video quality estimation apparatus and video quality estimation method | |
JP4460506B2 (en) | User experience quality estimation apparatus, method, and program | |
JP2011061533A (en) | Content distribution system, sensory quality estimating apparatus, method, and program | |
US11122329B2 (en) | Predicting multimedia session MOS | |
JP4634339B2 (en) | User experience quality estimation apparatus, method, and program | |
JP4460523B2 (en) | User experience quality estimation apparatus, method, and program | |
JP2007329775A (en) | User's bodily sensation quality estimating apparatus, method, and program | |
JP2007329778A (en) | Apparatus, method and program for estimating user's sensory quality | |
JP4733071B2 (en) | Video quality estimation method and apparatus | |
JP4668851B2 (en) | Quality class determination apparatus, quality class determination method, and program | |
CN116614479A (en) | System and method for determining video codec performance in real-time communications over the internet | |
JP4460548B2 (en) | User experience quality estimation apparatus, method, and program | |
JP2011010237A (en) | User's sensible quality estimation system and method | |
JP2011009919A (en) | User's sensible quality estimation system and method | |
JP4460549B2 (en) | User experience quality estimation apparatus, method, and program | |
JP2007329777A (en) | Content characteristic analysis apparatus, method, and program |