JP2005229214A - 映像サービス品質管理方法およびこの方法を実施する装置 - Google Patents

映像サービス品質管理方法およびこの方法を実施する装置 Download PDF

Info

Publication number
JP2005229214A
JP2005229214A JP2004034001A JP2004034001A JP2005229214A JP 2005229214 A JP2005229214 A JP 2005229214A JP 2004034001 A JP2004034001 A JP 2004034001A JP 2004034001 A JP2004034001 A JP 2004034001A JP 2005229214 A JP2005229214 A JP 2005229214A
Authority
JP
Japan
Prior art keywords
quality
subjective
degradation
video
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004034001A
Other languages
English (en)
Other versions
JP4383196B2 (ja
Inventor
Satoko Tominaga
聡子 富永
Isami Nakajima
伊佐美 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004034001A priority Critical patent/JP4383196B2/ja
Publication of JP2005229214A publication Critical patent/JP2005229214A/ja
Application granted granted Critical
Publication of JP4383196B2 publication Critical patent/JP4383196B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】 主観品質評価値を維持向上させる映像サービス品質管理方法、装置を提供する。
【解決手段】 予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内の1者、2者、或いは3者の状況から劣化パターンを推定する劣化パターン抽出操作を実行し、その劣化パターンの主観評価値特性を算出し、その結果に基づいてサービス品質劣化を判定する映像サービス品質管理方法において、品質評価装置62を具備してこれにより劣化パターンの主観評価値特性を算出すると共に品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出し、品質劣化判定装置63を具備してこれにより品質劣化を判定する映像サービス品質管理方法、装置。
【選択図】 図2

Description

この発明は、映像サービス品質管理方法およびこの方法を実施する装置に関し、特に、映像サービスに対するユーザの主観品質評価値を維持、向上させる映像サービス品質管理方法およびこの方法を実施する装置に関する。
映像通信サービスの品質管理を行うには、従来、品質劣化の発生閾値および/或いは頻度と、ネットワーク或いはサーバの品質パラメータとの間の関係から品質劣化の判定を行っていた(特許文献1 参照)。
特開2003−304285号 公報
映像通信サ一ビスの品質管理方法としては、従来、通信上で発生するネットワーク品質劣化、サーバ、符号化装置に起因する品質劣化について、映像の品質劣化現象が映像アプリケーションの品質制御、処理方法により異なることから、劣化度合いと主観評価値との関係をアプリケーション毎に主観評価実験により求めてきた。ネットワーク、サーバで品質管理する場合は、この劣化度合い、発生頻度とネットワーク、サーバの品質パラメータの関係を明らかにし、閾値を設けて管理してきたが、アプリケーションが代わるとアプリケーションの品質制御方法、ネットワーク品質の状況に応じて品質劣化状況が異なるところから、その都度、主観評価実験を実施する必要があった。また、サーバ、ネットワークの品質管理パラメータそのものを管理する場合は、例えば、一瞬の劣化は主観評価的に影響がない等、長時間の主観評価特性を加味することはできなかった。
この発明は、劣化パターンに対する主観評価実験を一度行っておけば、その後アプリケーションが異なっても新たに主観評価実験をすることなく、劣化パターン、量についてその変動状況から主観評価値を推定し、主観評価により近い劣化判定をリアルタィムで実行することができる映像サービス品質管理方法およびこの方法を実施する装置を提供する。
請求項1:予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定する劣化パターン抽出操作を実行し、その劣化パターンの主観評価値特性を算出し、その結果に基づいてサービス品質劣化を判定する映像サービス品質管理方法において、劣化パターンの主観評価値特性を算出すると共に品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出し、測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定する映像サービス品質管理方法を構成した。
そして、請求項2:請求項1に記載される映像サービス品質管理方法において、更に、品質測定装置61で得られたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定して、運用サービス中の映像品質の主観評価値を推定する映像サービス品質管理方法を構成した。
また、請求項3:請求項1に記載される映像サービス品質管理方法において、更に、長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行い、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値によりを判定する映像サービス品質管理方法を構成した。
ここで、請求項4:予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定抽出し、その劣化パターンの主観評価値特性を算出する品質評価装置62を有し、品質評価装置62の出力結果からサービス品質劣化を判定する品質劣化判定装置63を有する映像サービス品質管理装置6において、品質評価装置62は、品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出するものであり、品質劣化判定装置63は、測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定するものである映像サービス品質管理装置を構成した。
そして、請求項5:請求項4に記載される映像サービス品質管理装置において、品質評価装置62は、品質測定装置61で得られたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定する構成を更に具備して、運用サービス中の映像品質の主観評価値を推定するものである映像サービス品質管理装置を構成した。
また、請求項6:請求項4に記載される映像サービス品質管理装置において、品質劣化判定装置63は、品質評価装置62によって得られた長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行う構成を更に具備して、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値により判定するものである映像サービス品質管理装置を構成した。
映像通信サービス事業者がユーザの受聴している映像品質状態を、特に、アプリケーションレベルで把握するには、その都度、品質管理尺度とユーザ品質の関係を主観評価実験で求め、管理目標値を設定する必要があった。ところが、この発明の映像サービス品質管理方法およびこの方法を実施する装置に依れば、予め行った主観評価実験結果を用いて、劣化パターン、量についてその変動状況から主観評価値を推定し、主観評価により近い劣化判定をリアルタィムで実行することができる。
この発明は、更に、映像サービス品質管理において、異なるアプリケーションにおいても、その都度、主観評価実験を行うことなしに、劣化パターンの測定により品質管理することができる。
(1) 受信端末、映像サービス品質管理装置の間の接続関係。
図1はサーバ、受信端末、映像サービス品質管理装置の間の接続関係を示す図である。ここで、図中の参照符合について説明しておく。
1:映像および音声等のメディアをパケット化して配信する配信サーバ。
2:通信網。
3:パケットを受信して、映像、音声に変換する受信端末。
4:配信サーバと通信網を接続する接続回線。
5:配信サーバと受信端末間毎の、パケットの流れである配信ストリーム。
6:映像サービス品質管理装置。
7:接続回線に流れているストリームのパケット或いはサーバの品質性能を映像サービス品質管理装置がモニタするモニタ用回線。
(2) 映像品質管理までの流れ。
発明を実施するための最良の形態を特に図2を参照して説明する。
図2は映像サービス品質管理装置を示す図であり、図3は管理イメージを示す図である。映像サービス品質管理装置6は以下の通りの構成を具備している。
(2−1) 品質測定装置61
映像サービスの品質測定には、目的に応じて2つの方法がある。一つは、エンド・エンドでユーザが受聴する映像品質劣化を検出したい場合であり、映像状態の品質測定を行う。もう一つは、サービスを構成する構成要素の障害等を検出するために、そのときのサーバ或いはネットワークでの品質測定を行う場合である。
(イ) 映像客観品質測定部611
映像客観品質評価装置を用い、測定対象の映像を入力して映像劣化検出を行い、或いはそのときの主観評価値を得る。劣化検出の場合は、劣化の種類、継続時間、発生回数等を出力し、主観評価値の場合はDMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)等の主観評価尺度で出力された主観評価値を得る。
(ロ) サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
(ハ) ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えば、パケット損失率、スループットを測定する。
(2−2) 品質評価装置62
(イ) ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部 621
ネットワーク、サーバにかかる負荷、パケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法、ネットワークの品質の状況によって劣化の特徴が異なる。ここでは、映像客観品質測定部611における品質測定部で測定するサーバ、ネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
(ロ) 単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観評価値には影響の少ないパラメータを抽出することもできる。図4は映像品質劣化パターン特性の把握方法を説明する図である。
(ハ) 長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1:川ロ、林、岡本、高橋、“Qos制御下の映像配信サービスの主観品質推定モデル”、信総大SB-7-1、2003.3. 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
この発明を以下の通りに実施することができる。
[実施例1]
エンド・エンドでユーザが受聴する映像品質劣化を検出する場合の品質管理法であり、映像の主観評価値そのものを映像客観品質評価装置によって測定し、その主観評価値に閾値を設けて品質管理する方法を示す。図5を参照する。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力してそのときの主観評価値を得る。主観評価値は、DMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)、許容率(許容できる・許容できないの2者択一で、許容できると応えた人の割合)の如き主観品質評価尺度で出力された主観評価値を得る。
長時間主観評価値算出部623
映像客観品質評価装置の出力結果は時系列データになっているため、長時間での主観評価値推定力が必要である。例えば、現状の映像客観品質評価装置のデータ収集間隔は最低33ms間隔になっている。33ms毎に出てくる測定された主観評価値を元に、サービスに応じてある程度の測定時間(T)での主観評価値に焼きなおす必要がある。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば;品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け、アクションを分類する。例えば予兆閾値の場合にはアラーム(警報)を、品質制御力が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
[実施例2]
エンド・エンドでユーザが受聴する映像品質劣化を検出する場合の品質管理法であり、映像品質劣化の検出映像監視装置によって劣化種類、劣化継続時間、劣化発生回数などの劣化パターンを測定し、劣化パターンから単位時間毎の主観品質評価値を推定し、さらに測定時間での長時間主観品質評価値を推定し、この値を管理することによって実現する品質管理方法を示す。図6を参照する。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力し、映像劣化を測定する。劣化検出の場合は、劣化の種類、継続時間、発生回数などの出力値を得る。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け、アクションを分類する。例えば、予兆閾値の場合にはアラーム(警報)を、品質制御力が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
[実施例3]
映像配信サーバのサービス品質管理を目的とする場合の品質管理法であり、サーバのリソースなど、映像品質劣化に影響のあるサーバ品質項目を測定し、品質管理を行う。図7を参照する。
(2−1) 品質測定装置61
品質測定には、目的に応じて2つの方法がある。一つは、エンド・エンドでユーザが受聴する映像品質劣化を検出したい場合、映像状態の品質測定を行う。もう一つは、サービスを構成する構成要素の障害等を検出するため、そのときのサーバ或いはネットワークでの品質測定を行う場合である。
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えば、CPU使用率メモリ残量を測定する。
品質評価装置62
サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
品質測定部で測定するサーバ品質項目、例えばCPU使用率メモリ残量を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。'図4に、映像品質劣化パターン特性の把握方法を示す。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば、品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御力泌腰な闘直の場合には、経路制御や品質制御など必要な制御を行う。
[実施例4]
映像サービスを伝送するネットワークの品質管理を目的とする場合の品質管理法であり、IP網でのパケット損失や遅延などサービス品質に影響のある品質尺度を測定し、主観品質を推定することによって品質管理を行う。図8を参照する。
品質測定装置61
ネットワーク品質測定部613
映像品質に影響のあるネットウークの品質項目、例えばパケット損失率、スループットを測定する。
品質評価装置62
ネットワーク品質尺度をパラメータとする劣化パターン特性値算出部621
IPネットワークにおけるパケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によっで劣化の特徴が異なる。ここでは、品質測定部で測定するネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さば通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求めや方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
(2−3) 品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価直が目標となる闘直を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
(2−4) 品質管理装置64
幾つかの劣化閾値を設けて対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
[実施例5]
映像サービスにおけるサーバとネットワークを同時に品質管理することを目的とした品質管理法であり、サーバ品質およびネットワーク品質について品質測定を行い、主観品質を推定することによって品質管理を行う。図9を参照する。
品質測定装置61
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワークやサーバにかかる負荷やパケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
品質劣化判定装置63
測定時間(T)における主観評価結果の判定闘値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
[実施例6]
映像品質、サーバ品質、ネットワーク品質管理の3つを管理対象とする実施例1および実施例5を組み合わせた総合品質管理方法である。図10を参照する。
品質測定装置61
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力しそのときの主観評価値を得る。主観評価値は、DMOS(Degradation Mean Opinion Score)、DSCQS(Double Stimulus Continuous Quality Measure)、許容率(許容できる、許容できないの2者択一で、許容できると応えた人の割合)などの主観品質評価尺度で出力された主観評価値を得る。
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワーク、サーバにかかる負荷、パケットロス、遅延などの景響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある、これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時間毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
[実施例7]
映像品質、サーバ品質、ネットワーク品質管理の3つを管理対象とする図6の実施例2および図9の実施例5を組み合わせた総合品質管理方法である。
映像客観品質測定部611
映像客観品質評価装置を用いて、測定対象の映像を入力し、映像劣化を測定する。劣化検出の場合は、劣化の種類、継続時間、発生回数などの出力値を得る。
サーバ品質測定部612
映像品質に影響のあるサーバの品質項目、例えばCPU使用率を測定する。
ネットワーク品質測定部613
映像品質に影響のあるネットワークの品質項目、例えばパケット損失率、スループットを測定する。
品質評価装置62
ネットワーク、サーバ品質尺度をパラメータとする劣化パターン特性値算出部621
ネットワークやサーバにかかる負荷、パケットロス、遅延などの影響で、映像品質劣化は生じる。映像品質劣化はアプリケーションの品質制御方法やネットワークの品質の状況によって劣化の特徴が異なる。ここでは、品質測定部で測定するサーバやネットワークの品質項目を変化させた場合の映像劣化のパターンと発生頻度を予め実験環境で求める。
単位時間での劣化パターン主観品質評価値算出部622
テレビジョン映像の主観評価においては、ITU−R勧告BT500−11において実験方法が標準化されている。通信サービスにおける映像評価もこれに準じた方式で行う場合が多い。この場合、被験者に提示する映像の長さは通常10秒程度である。ここでは、10秒程度の単位時間長(△t)内で発生する劣化パターンについての主観品質評価値を予め求める。主観評価に影響のある劣化パターンのパラメータには、種類(k)、劣化面積(w)、劣化継続時間(l)、劣化発生回数、複数劣化の組み合わせ、音声劣化との組み合わせなどがある。これらについて、主観評価実験により、上記で挙げたパラメータを変動させた場合の主観評価値D(p;△t)を求める。これにより、主観品質には影響の少ないパラメータを抽出することもできる。図4に、映像品質劣化パターン特性の把握方法を示す。
長時間主観評価値算出部623
品質測定を行うためには、サービスに応じてある程度の測定時間(T)が必要である。従って、一定の測定時間での評価は単位時間(△t)での主観評価値(D(p;△t))の変動状況に応じて求められる。求める方法には、単位時問毎に劣化判定を行った場合の測定時間での時間率で規定する方法や、全体の測定時間における劣化位置の忘却効果を考慮して求める方法などがある[非特許文献1 参照]。これらの方法を用いて単位時間毎に得られた主観品質評価値の測定時間(T)における主観評価値D(T)を算出する。
品質劣化判定装置63
測定時間(T)における主観評価結果の判定閾値を設け、主観評価値が目標となる閾値を下回れば品質劣化と判定する。設ける方法については、品質管理の仕方に準ずる。
品質管理装置64
幾つかの劣化閾値を設け対処を分類する。予兆閾値の場合には、アラーム(警報)を、品質制御が必要な閾値の場合には、経路制御や品質制御など必要な制御を行う。
以上の図示説明においては、サービス中に測定されたサーバおよび/或いはネットワークの状況から劣化パターンを推定する劣化パターン抽出操作を実行する説明がなされていたが、劣化パターン推定の根拠とする対象として更に端末を付加して、これをサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者、とすると好適である。
サーバ、受信端末、映像サービス品質管理装置の間の接続関係を説明する図。 映像サービス品質管理装置の全体を説明する図。 管理イメージを示す図。 映像品質劣化パターン特性の把握の仕方を説明する図。 実施例1を説明する図。 実施例2を説明する図。 実施例3を説明する図。 実施例4を説明する図。 実施例5を説明する図。 実施例6を説明する図。
符号の説明
1 配信サーバ 2 通信網
3 受信端末 4 接続回線
5 ストリーム 6 映像サービス品質管理装置
7 モニタ用回線 61 品質測定装置
611 映像客観品質測定部 612 サーバ品質測定部
613 ネットワーク品質測定部 62 品質評価装置
621 劣化パターン特性値算出部 622 劣化パターン主観品質評価値算出部 623 長時間主観評価値算出部 63 品質劣化判定装置
64 品質管理装置

Claims (6)

  1. 予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定する劣化パターン抽出操作を実行し、その劣化パターンの主観評価値特性を算出し、その結果に基づいてサービス品質劣化を判定する映像サービス品質管理方法において、
    劣化パターンの主観評価値特性を算出すると共に品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出し、
    これにより測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定する、
    ことを特徴とする映像サービス品質管理方法。
  2. 請求項1に記載される映像サービス品質管理方法において、
    更に、サーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定して、運用サービス中の映像品質の主観評価値を推定する、
    ことを特徴とする映像サービス品質管理方法。
  3. 請求項1に記載される映像サービス品質管理方法において、
    更に、長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行い、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値によりを判定する、
    ことを特徴とする映像サービス品質管理方法。
  4. 予め求めた品質劣化の発生パターンの主観品質評価特性に対して、サービス中に測定されたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の状況から劣化パターンを推定抽出し、その劣化パターンの主観評価値特性を算出する品質評価装置を有し、品質評価装置の出力結果からサービス品質劣化を判定する品質劣化判定装置を有する映像サービス品質管理装置において、
    品質評価装置は、品質劣化パターンを測定し、得られた品質劣化パターンと主観評価値の関係および、主観評価値の長時間変動特性から長時間主観評価値を算出するものであり、
    品質劣化判定装置は、測定された劣化パターンに基づいて得られた長時間主観評価値と目標とする長時間主観評価値の関係から品質劣化を判定するものである、
    ことを特徴とする映像サービス品質管理装置。
  5. 請求項4に記載される映像サービス品質管理装置において、
    品質評価装置は、品質測定装置で得られたサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質の測定結果に基づいて、予め得られているサーバ、ネットワーク、端末の3者の内から選択された何れか1者、或いはこれら3者の内から選択された何れか2者、或いはこれらの3者の品質を変化させた場合の映像劣化パターンを推定し、該当する映像劣化パターンについて、予め得られている単位時間での主観品質評価特性値を算出し、単位時間での主観品質評価特性値の変動状況から品質測定を行う長時間での主観品質評価値を推定する構成を更に具備して、運用サービス中の映像品質の主観評価値を推定するものである、
    ことを特徴とする映像サービス品質管理装置。
  6. 請求項4に記載される映像サービス品質管理装置において、
    品質劣化判定装置は、品質評価装置によって得られた長時間での主観品質評価値に基づいて映像品質劣化の閾値を設けて劣化判定を行う構成を更に具備して、映像品質劣化が発生している場合に主観評価品質に影響があるか否かを閾値により判定するものである、
    ことを特徴とする映像サービス品質管理装置。
JP2004034001A 2004-02-10 2004-02-10 映像サービス品質管理方法およびこの方法を実施する装置 Expired - Fee Related JP4383196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004034001A JP4383196B2 (ja) 2004-02-10 2004-02-10 映像サービス品質管理方法およびこの方法を実施する装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004034001A JP4383196B2 (ja) 2004-02-10 2004-02-10 映像サービス品質管理方法およびこの方法を実施する装置

Publications (2)

Publication Number Publication Date
JP2005229214A true JP2005229214A (ja) 2005-08-25
JP4383196B2 JP4383196B2 (ja) 2009-12-16

Family

ID=35003603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004034001A Expired - Fee Related JP4383196B2 (ja) 2004-02-10 2004-02-10 映像サービス品質管理方法およびこの方法を実施する装置

Country Status (1)

Country Link
JP (1) JP4383196B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194893A (ja) * 2006-01-19 2007-08-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置および方法
WO2011072414A1 (en) * 2009-12-15 2011-06-23 Thomson Licensing Method and apparatus for subjective assessment of video quality
CN102263985A (zh) * 2011-07-25 2011-11-30 深圳展景世纪科技有限公司 一种立体投影设备的质量评价方法、装置及系统
US8296814B2 (en) 2007-08-20 2012-10-23 Fujitsu Limited Video quality monitoring method, distribution server, and client
CN104685870A (zh) * 2012-07-24 2015-06-03 统一有限责任两合公司 用于测试视频质量的方法、设备和系统
JP2015122638A (ja) * 2013-12-24 2015-07-02 日本電信電話株式会社 品質推定装置、方法及びプログラム
JP2016092528A (ja) * 2014-10-31 2016-05-23 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
JP2020155795A (ja) * 2019-03-18 2020-09-24 Kddi株式会社 ネットワーク監視システムおよび方法
WO2021049143A1 (ja) * 2019-09-09 2021-03-18 株式会社Nttドコモ サービス品質管理システム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194893A (ja) * 2006-01-19 2007-08-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置および方法
JP4490374B2 (ja) * 2006-01-19 2010-06-23 日本電信電話株式会社 映像品質評価装置および方法
US8296814B2 (en) 2007-08-20 2012-10-23 Fujitsu Limited Video quality monitoring method, distribution server, and client
US8695051B2 (en) 2007-08-20 2014-04-08 Fujitsu Limited Video quality monitoring method, distribution server, and client
WO2011072414A1 (en) * 2009-12-15 2011-06-23 Thomson Licensing Method and apparatus for subjective assessment of video quality
CN102263985A (zh) * 2011-07-25 2011-11-30 深圳展景世纪科技有限公司 一种立体投影设备的质量评价方法、装置及系统
US10516881B2 (en) 2012-07-24 2019-12-24 Unify Gmbh & Co. Kg Method, device, and system for testing video quality
US9467688B2 (en) 2012-07-24 2016-10-11 Unify Gmbh & Co. Kg Method, device, and system for testing video quality
US9860525B2 (en) 2012-07-24 2018-01-02 Unify Gmbh & Co. Kg Method, device, and system for testing video quality
US10250872B2 (en) 2012-07-24 2019-04-02 Unify Gmbh & Co. Kg Method, device, and system for testing video quality
CN104685870A (zh) * 2012-07-24 2015-06-03 统一有限责任两合公司 用于测试视频质量的方法、设备和系统
JP2015122638A (ja) * 2013-12-24 2015-07-02 日本電信電話株式会社 品質推定装置、方法及びプログラム
JP2016092528A (ja) * 2014-10-31 2016-05-23 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
JP2020155795A (ja) * 2019-03-18 2020-09-24 Kddi株式会社 ネットワーク監視システムおよび方法
JP7033097B2 (ja) 2019-03-18 2022-03-09 Kddi株式会社 ネットワーク監視システムおよび方法
WO2021049143A1 (ja) * 2019-09-09 2021-03-18 株式会社Nttドコモ サービス品質管理システム

Also Published As

Publication number Publication date
JP4383196B2 (ja) 2009-12-16

Similar Documents

Publication Publication Date Title
KR101450494B1 (ko) 통신 네트워크에서의 서비스 성능
JP5612696B2 (ja) 通信ネットワーク内のサービス品質結果の特定及びアクセスのためのネットワーク管理システム及び方法
EP2364540B1 (en) Method for estimating the &#39;quality of experience&#39; of a user in respect of audio and/or video contents distributed through telecommunications networks
US9030940B2 (en) Apparatus and method in a telecommunications network
US20160087856A1 (en) Resource Budget Determination for Communications Network
US20150281025A1 (en) Detection of periodic impairments in media streams
EP2741439B1 (en) Network failure detecting method and monitoring center
JP4383196B2 (ja) 映像サービス品質管理方法およびこの方法を実施する装置
CN113196718B (zh) 用于用户面业务质量分析的技术
JP5413510B2 (ja) 通信装置及び、信号劣化監視システム及び方法
JP2006211360A (ja) 通信回線監視装置
JP2020155795A (ja) ネットワーク監視システムおよび方法
JP4668851B2 (ja) 品質クラス決定装置、品質クラス決定方法、およびプログラム
JP2007329774A (ja) ユーザ体感品質推定装置、方法、およびプログラム
CA3149650C (en) Methods and system for adaptive measurements applied to real time performance monitoring in a packet network
JP2005244609A (ja) ネットワーク品質管理目標値算出方法および装置、並びに、ネットワーク品質監視方法および装置
Tasaka et al. Real-time estimation of user-level QoS in audio-video IP transmission by using temporal and spatial quality
US7366160B2 (en) Method of determining service trends
JP2005110038A (ja) 輻輳検知装置、tcpトラヒックの輻輳検知方法およびプログラム
JP5126015B2 (ja) パケット配信の品質評価装置及び方法
Al-Sbou et al. A novel quality of service assessment of multimedia traffic over wireless ad hoc networks
JP4584870B2 (ja) パケット損失特性解析装置、方法、およびプログラム
Ammar et al. QoE-driven admission control for video streams
Ammar et al. QoE-aware routing for video streaming over wired networks
KR101465244B1 (ko) 콜수(call counts)의 수집을 통한 호의 이상증감감시 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060412

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees