JP2010081157A - 映像品質推定装置、方法、およびプログラム - Google Patents

映像品質推定装置、方法、およびプログラム Download PDF

Info

Publication number
JP2010081157A
JP2010081157A JP2008245409A JP2008245409A JP2010081157A JP 2010081157 A JP2010081157 A JP 2010081157A JP 2008245409 A JP2008245409 A JP 2008245409A JP 2008245409 A JP2008245409 A JP 2008245409A JP 2010081157 A JP2010081157 A JP 2010081157A
Authority
JP
Japan
Prior art keywords
video
difference
video quality
information amount
quality value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008245409A
Other languages
English (en)
Other versions
JP4787303B2 (ja
Inventor
Kazuhisa Yamagishi
和久 山岸
Takanori Hayashi
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008245409A priority Critical patent/JP4787303B2/ja
Publication of JP2010081157A publication Critical patent/JP2010081157A/ja
Application granted granted Critical
Publication of JP4787303B2 publication Critical patent/JP4787303B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】IPパケットのペイロード部の内容を参照することなく、IPパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定する。
【解決手段】キャプチャした対象映像信号から求めた映像時間情報量TIFと、キャプチャしたIPパケットから求めた対象映像の符号化情報量に対応する平均時間情報量TIaveとの差分を、差分時間情報量ΔTIとして算出し、この差分時間情報量ΔTIと、対象映像の符号化情報量に対応する最大差分映像品質値および最小差分映像品質値とから、対象映像の符号化情報量に対応する差分映像品質値ΔVを算出し、この差分映像品質値ΔVにより、対象映像の符号化情報量に対応する平均映像品質値Vqe_aveを補正して、対象映像に関する主観映像品質の推定値を個別映像品質値Vqsとして算出する。
【選択図】 図1

Description

本発明は、通信品質推定技術に関し、特にインターネットなどのIPネットワークを経由して行う、IPTVサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信に関する品質を推定する技術に関する。
現在、インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ端末間で転送する映像通信サービスの普及が期待されている。インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質、すなわちユーザ体感品質(QoE:Quality of Experience)が劣化してしまう。
具体的には、映像を符号化すると、フレーム内の映像信号にブロック的な劣化が生じたり、映像信号の高周波成分が失われることにより映像全体の精細感が低くなり結果として、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。
上記映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。
従来、映像や音声の品質を評価する手法として、主観品質評価法(ITU−T勧告P.910など参照)や客観品質評価法がある。主観品質評価法は、複数のユーザが実際に映像や音声を視聴し感じた品質を5段階品質尺度(非常に良い、良い、ふつう、悪い、非常に悪い)により評価し、全ユーザ数で各条件(例えば、パケット損失率0%で符号化レートが20Mbps)の映像もしくは音声品質評価値を平均し、その値をMOS値として品質値を定義している。
しかしながら、主観品質評価は、特別な機材やユーザが実際に品質を評価する時間がかかり、品質をリアルタイムに評価する場合には向かない。そこで、映像の品質に影響を与える特徴量(例えば、符号化レートなど)を利用し、映像品質値を出力する客観品質評価法の開発が望まれている。
従来、符号化による品質劣化を捉え、その個別映像品質値もしくは平均映像品質値を推定する客観品質推定法がある。ここで、個別映像品質値とは推定対象の映像コンテンツごとの品質評価値を示し、1〜5で定義される値である(例えば、非特許文献1,2,3など参照)。また、平均映像品質値とは、例えば、パケット損失率0%で符号化レートが20Mbpsなど、同じ条件下で送信された映像数種類(ここで、送信された映像を映像部分集合と呼ぶ)の個別映像品質値を映像数で割った値を平均映像品質値とし、1〜5で定義される値である(例えば、非特許文献4など参照)。
O.Verscheurei and X.Garcia,"User-Oriented QoS in Packet Video Delivery," IEEE Network, pp.12-21, Nov.1998. ITU−T勧告J.144 ITU−T勧告J.247 K.Yamagishi and T.Hayashi,"Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services," IEEE ICC 2008, CQ04-3, May 2008. ITU−T勧告P.920
前述したように、IPパケットのヘッダ情報のみから平均映像品質値を推定する技術としては非特許文献4が挙げられ、IPパケット内のメディア情報から個別映像品質値を推定する技術としては非特許文献1が挙げられる。また、映像信号、つまり画素値から個別映像品質値を推定する技術としては、非特許文献2,3が挙げられる。
しかしながら、非特許文献4は、符号化レートのみから低演算量に平均映像品質値を推定する技術であり、品質推定対象となる映像コンテンツごとの映像品質値(個別映像品質値)を推定することができず、精度が高い映像品質値を求めることができない。
また、非特許文献1は、IPパケット内のメディアに関する情報(例えば、動きベクトル、量子化情報など)から映像品質値を推定でき、個別映像品質値を推定することが可能である。しかし、メディア情報は、しばしば、著作権保護の観点から暗号化されるため、映像品質推定に利用することができない場合がある。
さらに、非特許文献2,3は、原映像および受信映像信号の両者を用い映像品質にかかわる特徴量(例えば、SIやTI値(SIおよびTIの定義は非特許文献5など参照)を、数個(モデルにより異なるが、概ね3−10個程度)の特徴量を算出し、映像コンテンツが個別映像品質値にもたらす影響を加味し個別映像品質値を推定する。
しかしながら、非特許文献2,3は、放送局側にある原映像の使用を前提とするため、放送中の受信した映像信号を用いてユーザ宅内でリアルタイムに個別映像品質値を推定するのは困難で、業者の工事作業シーンへの適用を考えても、運用性に難点がある。
本発明はこのような課題を解決するためのものであり、IPパケットのペイロード部の内容を参照することなく、IPパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる映像品質推定装置、方法、およびプログラムを提供することを目的としている。
このような目的を達成するために、本発明にかかる映像品質推定装置は、対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置であって、対象映像通信に関するIPパケットと、映像視聴端末で再生される映像信号とをキャプチャする通信インターフェース部と、キャプチャしたIPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析部と、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析部と、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析部で算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出部と、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出部と、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出部と、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析部で算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出部と、映像信号分析部で算出した映像時間情報量から平均時間情報量算出部で算出した平均時間情報量を減算して減算した差分時間情報量を算出する差分時間情報量算出部と、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出部と、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出部とを備えている。
この際、符号化情報量として、品質推定区間内の対象映像を符号化して得られた符号化データに関する単位時間当たりのビット数またはパケット数を用いてもよい。
また、最大差分映像品質値算出部で、符号化情報量が増加するに連れて、最大差分映像品質値が一旦単調増加した後に単調減少する凸型の最大差分映像品質特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する最大差分映像品質値を算出するようにしてもよい。
また、最小差分映像品質値算出部で、符号化情報量が増加するに連れて、最小差分映像品質値が一旦単調減少した後に単調増加する凹型の最小差分映像品質特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する最小差分映像品質値を算出するようにしてもよい。
また、平均時間情報量算出部で、符号化情報量が増加するに連れて、平均時間情報量が単調増加し、その後ある平均時間情報量に収束する平均時間情報量特性を示す関数式に基づいて、パケット分析部で算出した符号化情報量に対応する平均時間情報量を算出するようにしてもよい。
また、差分映像品質算出部で、差分時間情報量と最大差分映像品質値の積、あるいは差分時間情報量と最小差分映像品質値の積が増加するに連れて、差分映像品質が単調増加する差分映像品質特性を示す関数式に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出するようにしてもよい。
また、本発明にかかる映像品質推定方法は、対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置で用いられる映像品質推定方法であって、通信インターフェース部が、対象映像通信に関するIPパケットと、映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、パケット分析部が、キャプチャしたIPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、映像信号分析部が、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、最大差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、最小差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、平均時間情報量算出部が、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、差分時間情報量算出部が、映像信号分析ステップで算出した映像時間情報量から平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、個別映像品質算出部が、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出ステップとを備えている。
また、本発明にかかるプログラムは、対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置のコンピュータに、通信インターフェース部が、対象映像通信に関するIPパケットと、映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、パケット分析部が、キャプチャしたIPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、映像信号分析部が、キャプチャした映像信号から、品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、最大差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最大値と平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、最小差分映像品質値算出部が、符号化情報量に対応する各要素映像の映像品質値のうちの最小値と平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、平均時間情報量算出部が、各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、パケット分析ステップで算出した符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、差分時間情報量算出部が、映像信号分析ステップで算出した映像時間情報量から平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、対象映像から算出した差分時間情報量、最大差分映像品質値、および最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、個別映像品質算出部が、平均映像品質値に差分映像品質値を加えることにより個別映像品質値を算出する個別映像品質算出ステップとを実行させる。
本発明によれば、IPパケットのペイロード部の内容を参照することなく、IPパケットのヘッダ情報と受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる。このため、対象映像通信のメディア情報が著作権保護の観点から暗号化されている場合についても、主観映像品質を推定することが可能となる。
また、放送局側にある原映像を使用する必要がなく、放送中の受信したIPパケットのヘッダ情報と映像信号を用いてユーザ宅内でリアルタイムに個別映像品質値を推定することが可能となる。このため、業者の工事作業シーンへの適用も可能となり、極めて高い運用性が得られる。
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置について説明する。図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置1は、入力された信号から得た情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像信号をフレーム内およびフレーム間予測符号化方式に基づき圧縮符号化した後、通信端末2Aから通信端末2B端末へ、インターネットなどのIPネットワーク3を介してIPパケットで送信する映像通信について、その映像通信のIPパケットを入力として、通信端末2Bで復号されて再生された当該映像から視聴者が実感する主観映像品質の推定値を映像個別品質として算出する装置である。
この映像品質推定装置1には、主な機能部として、演算処理部10、記憶部20、通信インターフェース部(以下、通信I/F部という)31、操作入力部32、画面表示部33が設けられている。
また、演算処理部10には、主な処理部として、パケット分析部11、平均映像品質算出部12、最大差分映像品質算出部13、最小差分映像品質算出部14、平均時間情報量算出部15、映像信号分析部16、差分時間情報量算出部17、差分映像品質算出部18、および個別映像品質算出部19が設けられている。
[本発明の原理]
まず、本発明の原理について説明する。
対象映像通信に関する主観映像品質値Vqsは、次の式(1)に示すように、すべての映像通信の主観映像品質値の平均値である主観平均映像品質値Vqs_aveに対して、当該対象映像通信に固有の差分映像品質値ΔVを持つものと見なすことができる。
Figure 2010081157
ここで、主観平均映像品質値Vqs_aveは、存在し得る無数の映像が対象となることから、実際には算出不可能である。このため、本発明では、予め用意した映像集合(映像部分集合)に含まれる各要素映像に関する主観映像品質値の平均値、すなわち主観平均映像品質値Vqs_aveが、各要素映像に関する映像品質値(推定値)の平均値、すなわち平均映像品質値Vqe_aveとほぼ等しいと見なしている。
したがって、対象映像通信に関する主観映像品質値Vqsの推定値、すなわち個別映像通信品質値Vqeは、差分映像品質値ΔVを用いて、次の式(2)で求められる。
Figure 2010081157
平均映像品質値Vqe_aveは、前述した非特許文献4の手法で求められる。したがって、平均映像品質値Vqe_aveから個別映像品質値Vqeを精度良く推定するためには、差分映像品質値ΔVを算出する必要がある。
この際、差分映像品質値ΔVは、対象映像の符号化情報量に対応する各要素映像の映像品質値のうちの最大値(最小値)と平均映像品質値との差分を示す最大差分映像品質値Δmax(最小差分映像品質値Δmin)と、差分時間情報量ΔTIとの積ΔTI・Δmax(ΔTI・Δmin)に対して、線形近似の関係を持つ。
このため、この関係性を利用して、最大差分映像品質値Δmax(最小差分映像品質値Δmin)と差分時間情報量ΔTIとから、差分映像品質値ΔVを求めることができる。
一方、最大差分映像品質値Δmax(最小差分映像品質値Δmin)は、入力したIPパケットの符号化レートから、予め用意しておいた関数式から求めることができる。
また、差分時間情報量は、対象映像に関する映像時間情報量と平均時間情報量の差分で求められる。
なお、映像時間情報量は、映像信号のフレーム間差分値の標準偏差のフレーム数平均値から求めることができる。
[第1の実施の形態の構成]
次に、図1を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
図1の映像品質推定装置1において、通信I/F部31は、専用の通信回路部からなり、IPネットワーク3を介してIPパケットを送受信することにより任意の通信端末とデータ通信を行う機能と、IPネットワーク3を介して通信端末2A,2B間でやり取りされる対象映像通信のIPパケットを受信する機能と、対象映像通信の受信側においてユーザが対象映像を視聴する際に用いる映像視聴端末で再生される映像信号を受信する機能とを有している。
操作入力部32は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部10へ出力する機能を有している。
画面表示部33は、LCDやPDPなどの画面表示装置からなり、演算処理部10からの指示に応じて操作メニューや映像品質推定値などを画面表示する機能を有している。
記憶部20は、ハードディスクやメモリなどの記憶装置からなり、演算処理部10での映像品質推定処理に用いる各種処理情報やプログラム29を記憶する機能を有している。
プログラム29は、演算処理部10により読み出されて実行されることにより、映像品質推定処理に必要な各種処理部を実現するプログラムであり、通信I/F部31などの入出力インターフェース部を介して外部装置(図示せず)や記録媒体から読み込まれて記憶部20に予め保存されている。
記憶部20で記憶する主な処理情報としては、映像通信特定パラメータ21と品質特性係数情報22がある。
映像通信特定パラメータ21は、映像品質の推定対象となる映像通信に関する各種パラメータのうち、映像品質に関するパラメータからなる。映像通信特定パラメータ21としては、H.264,MPEGなどのコーデック(CODEC)種別情報、Full HD,HD,SDなどの映像フォーマット、30fps,15fpsなどのフレームレート、およびM=3やN=15などのGOP(Group of Picture)の符号化情報、IPTV,VoD,TV電話などのサービス種別情報を用いる。映像通信特定パラメータ21は、予め操作入力部32などを用いて外部から入力され記憶部20に保存される。これら映像通信特定パラメータ21は、IPパケットのペイロード部に映像情報として記されているため、ペイロード部が暗号化されている場合には入手不可能である。しかし、サービス提供者は、どのように符号化したかを知っているため、これら値を予め入力することができる。
品質特性係数情報22は、映像通信の映像通信特定パラメータ21の組み合わせと、平均映像品質値Vqe_ave、最大差分映像品質値Δmax、最小差分映像品質値Δmin、平均時間情報量TIaveの算出に用いる各種特性関数の特性係数との対応関係を示す情報である。図2は、品質特性係数情報の構成例である。ここでは、各種特性関数の特性係数が、映像通信特定パラメータ21のCODEC、符号化情報、映像通信種別の組み合わせごとに登録されている。
品質特性係数情報22における、映像通信特定パラメータ21と各種特性関数の特性係数との対応関係は、各種映像通信から予め算出しておけばよい。また、特性係数については、予め各種映像通信について主観品質評価もしくは客観品質評価を実施し、得られた特性値と当該特性関数による算出値との最小二乗誤差が最小になるように特性係数を決定すればよい。
演算処理部10は、CPUなどのマイクロプロセッサとその周辺回路とを有し、記憶部20のプログラム29を読み込んで実行することにより、上記ハードウェアとプログラム29とを協働させることにより、映像品質推定処理に必要な各種処理部を実現する機能を有している。
演算処理部10で実現される主な処理部として、パケット分析部11、平均映像品質算出部12、最大差分映像品質算出部13、最小差分映像品質算出部14、平均時間情報量算出部15、映像信号分析部16、差分時間情報量算出部17、差分映像品質算出部18、および個別映像品質算出部19がある。
パケット分析部11は、通信I/F部31でキャプチャした対象映像通信に関するIPパケットから、品質推定区間内の対象映像を符号化する際に必要となる、符号化レート(ビットレート)BR、つまり、単位時間当たりの符号化情報量を算出する機能を有している。
平均映像品質算出部12は、予め求めておいた平均映像品質特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する平均映像品質値Vqe_aveを算出する機能を有している。平均映像品質特性は、後述の図5に示すように、符号化レートBR(符号化情報量)と、予め用意した映像集合(映像部分集合)に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Vqe_aveとの対応関係を示す特性である。
最大差分映像品質算出部13は、予め求めておいた最大差分映像品質特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する最大差分映像品質値Δmaxを算出する機能を有している。
最大差分映像品質値Δmaxは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像品質値のうちの最大値と、当該符号化レートBRに対応する各要素映像の平均映像品質値Vqe_aveとの差分を示す値である。最大差分映像品質特性は、後述の図6に示すように、このような符号化レートBR(符号化情報量)と最大差分映像品質値Δmaxとの対応関係を示す特性(関数式)である。
最小差分映像品質算出部14は、予め求めておいた最小差分映像品質特性に基づいて、同じくパケット分析部11で算出した符号化レートBR(符号化情報量)に対応する最小差分映像品質値Δminを算出する機能を有している。
最小差分映像品質値Δminは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像品質値のうちの最小値と、当該符号化レートBRに対応する各要素映像の平均映像品質値Vqe_aveとの差分を示す値である。最小差分映像品質特性は、後述の図6に示すように、このような符号化レートBR(符号化情報量)と最小差分映像品質値Δminとの対応関係を示す特性(関数式)である。
平均時間情報量算出部15は、予め求めておいた平均時間情報量特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する平均時間情報量TIaveを算出する機能を有している。平均時間情報量TIaveは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像時間情報量の平均値である。平均時間情報量特性は、後述の図7に示すように、このような符号化レートBR(符号化情報量)と平均時間情報量TIaveとの対応関係を示す特性(関数式)である。
映像信号分析部16は、通信I/F部31でキャプチャした対象映像通信に関する映像信号から、品質推定区間内の個々のフレームn−1,n間の差分フレーム(n)を構成する個々の差分画素成分M(n,i,j)を求める機能と、これら差分画素成分M(n,i,j)の標準偏差TISTD(n)に関する当該品質推定区間でのフレーム平均を映像時間情報量TIFとして算出する機能とを有している。
差分時間情報量算出部17は、映像信号分析部16で算出した映像時間情報量TIFから平均時間情報量算出部15で算出した平均時間情報量TIaveを減算した差分時間情報量ΔTIを算出する機能を有している。
差分映像品質算出部18は、予め求めておいた差分映像品質特性に基づいて、対象映像から算出した差分時間情報量ΔTI、最大差分映像品質値Δmax、および最小差分映像品質値Δminに対応する差分映像品質値ΔVを算出する機能を有している。差分映像品質特性は、後述の図8に示すように、各映像に関する、差分時間情報量ΔTIと最大差分映像品質値Δmaxの積、または差分時間情報量ΔTIと最小差分映像品質値Δminの積と、当該映像の個別映像品質値Vqsと平均映像品質値Vqe_aveの差分を示す差分映像品質値ΔVとの対応関係を示す特性(関数式)である。
個別映像品質算出部19は、平均映像品質算出部12で算出した平均映像品質値Vqe_aveに、差分映像品質算出部18で算出した差分映像品質値ΔVを加えることにより、映像視聴端末である通信端末2Bで復号再生された対象映像から視聴者が実感する主観映像品質の推定値を個別映像品質値Vqsとして算出する機能と、この個別映像品質値Vqsを記憶部20や画面表示部33へ出力する機能とを有している。
[第1の実施の形態の動作]
次に、図3および図4を参照して、本発明の第1の実施の形態にかかる映像品質推定装置の動作について説明する。図3は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。図4は、本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置1の演算処理部10は、操作入力部32により映像品質推定処理の開始を示すオペレータ操作が検出された場合、図4の映像品質推定処理を開始する。
演算処理部10は、まず、映像品質の推定対象となる対象映像通信のIPパケットを通信I/F部31でキャプチャするとともに、映像視聴端末である通信端末2Bで再生される映像信号をキャプチャする(ステップ100)。この際、映像通信については、通信端末2Bのディスプレイに出力される出力受信映像信号や、通信端末2Bを構成するセットトップボックス(Set-Top Box)からテレビジョンなどのディスプレイに出力される出力受信映像信号を通信I/F部31でキャプチャすればよい。
本実施の形態において、通信I/F部31でキャプチャするIPパケットは、映像信号と同期していることを前提としている。双方の同期がとれていない場合は、IPパケットに存在するフレームの開始を示すフラグと、映像信号に含まれる映像フレームの開始とを揃えて映像品質推定を実施する必要がある。
IPパケットと映像信号とを同期させる構成例について具体的に説明する。
映像通信で用いるIPパケット内には、IPヘッダ、UDP(User Datagram Protocol)ヘッダ 、RTP(Real-time Transport Protocol)ヘッダ、TS(Transport stream)、ES(Elementally stream)などの情報が、階層構造で格納されている。
まず、RTP/UDP/IP構成でIPパケットのヘッダが構成されている場合は、IPヘッダ内に存在するマーカービットが映像フレームの開始を示している。つまり、このマーカービットから次のマーカービットまでの符号量が1フレームを構成する符号量になる。この1フレームを構成する符号量によりディスプレイに表示される映像フレームを表現していることになる。また、フレームの先頭の情報が記述されているIPパケットが欠落していると、そのフレームをディスプレイに表現できない。
したがって、通信I/F部31で初めてキャプチャしたIPパケットのうちマーカービットを含むIPバケットを監視し、通信I/F部31で初めてキャプチャした映像信号のうちディスプレイで初めて表示された映像フレームの位置を把握することで、IPパケットと映像信号の同期がとれる。
次に、TS/RTP/UDP/IP構成でIPパケットのヘッダが構成されている場合、TSヘッダ内にあるpayload_unit_start_indicator(以下、PUSIという)がPES(packetized Elementary Stream) ヘッダの有無を示している。TV放送内で利用されている映像符号化では、1つのPESに1枚の映像フレームを格納することが多い。したがって、前述のマーカービットと同様に、PUSIによりIPパケットと映像信号の同期がとれる。
次に、演算処理部10は、パケット分析部11により、通信I/F部31でキャプチャしたIPパケットから、映像品質に関する各種品質パラメータを抽出し、品質推定区間内の対象映像を符号化する際に必要となる、符号化レート(ビットレート)BR、つまり、単位時間当たりの符号化情報量を算出する(ステップ101)。
符号化レート(ビットレート)BRについては、品質推定区間内に含まれる対象映像の符号化に必要とした符号量(ビット数)を計数し、その符号量から算出した単位時間当たりの符号量を符号化レートBRとすればよい。なお、本実施の形態では、符号化情報量として品質推定区間内の符号化レートBRを用いたが、品質推定区間内のIPパケット数など、符号量を示す他の統計情報を用いてもよい。また、対象映像通信のサービス種別が決まっている場合には、固定の符号化レートで送出されることが多いため、IPパケットから算出するのではなく、対象映像通信に対応する符号化レートBRを、映像通信特定パラメータ21として外部入力するようにしてもよい。
より具体的には、RTP/UDP/IP構成でIPパケットのヘッダが構成されている場合、映像のIPパケットのRTPペイロードのビット数もしくはバイト数を品質推定区間内でカウントし、単位時間当たりのビット量、すなわち符号化レートとして計算すればよい。また、TS/RTP/UDP/IP構成でIPパケットのヘッダが構成されている場合、映像TSパケットのTSペイロードのビット数もしくはバイト数を、品質推定区間内でカウントし、単位時間当たりのビット量、すなわち符号化レートとして計算すればよい。
これら以外のIPパケット構成についても、上記と同様に、利用可能なヘッダに付随するペイロード情報をカウントし符号化レートを計算することができる。サービスが決まっている場合、固定の符号化レートで送出されていることが多いため、IPパケットから計算するのではなく、外部入力として符号化レートを与えてもよい。
次に、演算処理部10は、平均映像品質算出部12により、予め求めておいた平均映像品質特性に基づいて、パケット分析部11で算出された符号化レートBR(符号化情報量)に対応する平均映像品質値Vqe_aveを算出する(ステップ102)。
平均映像品質特性は、符号化レートBR(符号化情報量)と、予め用意した映像集合(映像部分集合)に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Vqe_aveとの対応関係を示す特性である。
図5は、平均映像品質特性を示すグラフである。この図5に示すように、平均映像品質値Vqe_aveは、符号化レートBRの増加(減少)とともに単調増加(単調減少)し、ある平均映像品質値に収束する、という平均映像品質特性を有している。
したがって、平均映像品質値Vqe_aveから1を引いた値をIcとし、符号化レートをBRとした場合、平均映像品質値Vqe_aveは、次の式(3)で表される。v1,v2,v3は記憶部20の品質特性係数情報22に設定されている平均映像品質特性係数値である。
Figure 2010081157
上記式(3)で求めた平均映像品質値Vqe_aveは、実測値の相関が0.9以上と非常に高く近似式として妥当である。
したがって、平均映像品質算出部12は、予め求めておいた平均映像品質特性を示す式(3)の関数式に、記憶部20の品質特性係数情報22の平均映像品質特性係数値v1,v2,v3を代入することにより、対象映像の符号化レートBRに対応する平均映像品質値Vqe_aveを算出する。
次に、演算処理部10は、最大差分映像品質算出部13により、予め求めておいた最大差分映像品質特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する最大差分映像品質値Δmaxを算出する(ステップ103)。
前述した図5に示すように、最大差分映像品質値Δmaxは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像品質値のうちの最大値と、当該符号化レートBRに対応する各要素映像の平均映像品質値Vqe_aveとの差分を示す値である。
最大差分映像品質特性は、このような符号化レートBR(符号化情報量)と最大差分映像品質値Δmaxとの対応関係を示す特性(関数式)である。
図6は、最大/最小差分映像品質特性を示すグラフである。この図6に示すように、最大差分映像品質値Δmaxは、符号化レートの増加とともに単調増加し、符号化レートのさらなる増加に応じて最大差分映像品質値Δmaxが単調減少する凸型の最大差分映像品質特性を有している。
ここで、符号化レートをBRとした場合、最大差分映像品質値Δmaxは、次の式(4)で表される。v4,v5,v6は記憶部20の品質特性係数情報22に設定されている最大差分映像品質特性係数値である。
Figure 2010081157
上記式(4)で求めた最大差分映像品質値Δmaxは、実測値の相関が0.9以上と非常に高く近似式として妥当である。
したがって、最大差分映像品質算出部13は、予め求めておいた最大差分映像品質特性を示す式(4)の関数式に、記憶部20の品質特性係数情報22の最大差分映像特性係数値v4,v5,v6を代入することにより、対象映像の符号化レートBRに対応する最大差分映像品質値Δmaxを算出する。
次に、演算処理部10は、最小差分映像品質算出部14により、予め求めておいた最小差分映像品質特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する最小差分映像品質値Δminを算出する(ステップ104)。
前述した図5に示すように、最小差分映像品質値Δminは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像品質値のうちの最小値と、当該符号化レートBRに対応する各要素映像の平均映像品質値Vqe_aveとの差分を示す値である。
最小差分映像品質特性は、このような符号化レートBR(符号化情報量)と最小差分映像品質値Δminとの対応関係を示す特性(関数式)である。
前述の図6に示すように、最小差分映像品質値Δminは、符号化レートの増加とともに単調減少し、符号化レートのさらなる増加に応じて最小差分映像品質値Δminが単調増加する凹型の最小差分映像品質特性を有している。
ここで、符号化レートをBRとした場合、最小差分映像品質値Δminは、次の式(5)で表される。v7,v8,v9は記憶部20の品質特性係数情報22に設定されている最小差分映像品質特性係数値である。
Figure 2010081157
上記式(5)で求めた最小差分映像品質値Δminは、実測値の相関が0.9以上と非常に高く近似式として妥当である。
したがって、最小差分映像品質算出部14は、予め求めておいた最小差分映像品質特性を示す式(5)の関数式に、記憶部20の品質特性係数情報22の最小差分映像特性係数値v7,v8,v9を代入することにより、対象映像の符号化レートBRに対応する最小差分映像品質値Δminを算出する。
次に、演算処理部10は、平均時間情報量算出部15により、予め求めておいた平均時間情報量特性に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する平均時間情報量TIaveを算出する(ステップ105)。
平均時間情報量TIaveは、予め用意した映像集合(映像部分集合)に含まれる各要素映像の、任意の符号化レートBR(符号化情報量)に対応する映像時間情報量の平均値である。平均時間情報量特性は、このような符号化レートBR(符号化情報量)と平均時間情報量TIaveとの対応関係を示す特性(関数式)である。
図7は、平均時間情報量特性を示すグラフである。この図7に示すように、平均時間情報量TIaveは、符号化レートBRの増加とともに単調増加し、ある平均時間情報量に収束する、という平均時間情報量特性を有している。
ここで、符号化レートをBRとした場合、平均時間情報量TIaveは、次の式(6)で表される。t1,t2,t3は記憶部20の品質特性係数情報22に設定されている平均時間情報量特性係数値である。
Figure 2010081157
上記式(6)で求めた平均時間情報量TIaveは、実測値の相関が0.9以上と非常に高く近似式として妥当である。
したがって、平均時間情報量算出部15により、予め求めておいた平均時間情報量特性を示す式(6)の関数式に、記憶部20の品質特性係数情報22の平均時間情報量特性係数値t1,t2,t3を代入することにより、対象映像の符号化レートBRに対応する平均時間情報量TIaveを算出する。
また、演算処理部10は、前述したステップ101でのパケット分析部11による符号化情報量の算出処理と前後して、映像信号分析部16により、通信I/F部31でキャプチャした対象映像通信に関する映像信号から、映像時間情報量TIFとして算出する(ステップ106)。
具体的には、まず、品質推定区間内の個々のフレームn−1,n間における映像信号の差分を示す差分フレームM(n)について、差分フレームの各画素位置における差分画素成分M(n,i,j)を求める。映像信号としては、輝度信号のみを用いればよいが、色差信号を用いてもよい。
ここで、フレームn−1を構成する各画素のうち、垂直方向画素位置がiで水平方向画素位置がjの画素値をF(n−1,i,j)とし、フレームnを構成する各画素のうち、垂直方向画素位置がiで水平方向画素位置がjの画素値をF(n,i,j)とした場合、差分フレームM(n)における垂直方向画素位置がiで水平方向画素位置がjの差分画素成分M(n,i,j)は、次の式(7)で求められる。
Figure 2010081157
また、垂直方向画素数をIとし、水平方向画素数をJとした場合、フレームn−1,n間における差分フレームM(n)における各差分画素成分M(n,i,j)の平均値Mave(n)は、次の式(8)で求められ、さらにその分散TIVAR(n)および標準偏差TISTD(n)は、それぞれ次の式(9)および式(10)で求められる(例えば、非特許文献5など参照)。
Figure 2010081157
Figure 2010081157
Figure 2010081157
映像信号分析部16は、このようにして算出した、品質推定区間内の各差分フレーム(n)に関する差分画素成分M(n,i,j)の標準偏差TISTD(n)について、当該品質推定区間での平均値を求めることにより、映像時間情報量TIFとして算出する。すなわち、品質推定区間内におけるフレーム数をNとした場合、映像時間情報量TIFは、次の式(11)で求められる
Figure 2010081157
その後、演算処理部10は、差分時間情報量算出部17により、次の式(12)に示すように、映像信号分析部16で算出した映像時間情報量TIFから平均時間情報量算出部15で算出した平均時間情報量TIaveを減算することにより、差分時間情報量ΔTIを算出する(ステップ107)。
Figure 2010081157
続いて、演算処理部10は、差分映像品質算出部18により、予め求めておいた差分映像品質特性に基づいて、対象映像から算出した差分時間情報量ΔTI、最大差分映像品質値Δmax、および最小差分映像品質値Δminに対応する差分映像品質値ΔVを算出する(ステップ108)。
差分映像品質特性は、各映像に関する、差分時間情報量ΔTIと最大差分映像品質値Δmaxの積、または差分時間情報量ΔTIと最小差分映像品質値Δminの積と、当該映像の個別映像品質値Vqsと平均映像品質値Vqe_aveの差分を示す差分映像品質値ΔVとの対応関係を示す特性(関数式)である。
図8は、差分映像品質特性を示すグラフである。この図8に示すように、差分映像品質値ΔVは、差分時間情報量ΔTIと最大差分映像品質値Δmaxの積、または差分時間情報量ΔTIと最小差分映像品質値Δminの積の増加に応じて単調増加する差分映像品質特性を有している。
ここで、この差分映像品質特性を線形近似した場合、差分映像品質値ΔVは、次の式(13)および式(14)で表される。この際、差分時間情報量ΔTIが負の時は、式(13)が用いられ、差分時間情報量ΔTIが正またはゼロの時は、式(14)が用いられる。d1,d2は記憶部20の品質特性係数情報22に設定されている差分映像品質特性係数値である。
Figure 2010081157
Figure 2010081157
上記式(13)および式(14)で求めた差分映像品質値ΔVは、実測値の相関が0.9以上と非常に高く近似式として妥当である。
差分映像品質算出部18は、予め求めておいた差分映像品質特性を示す式(13)および式(14)の関数式に、記憶部20の品質特性係数情報22の差分映像品質特性係数値d1,d2を代入することにより、対象映像の符号化レートBRに対応する差分映像品質値ΔVを算出する。
この後、演算処理部10は、個別映像品質算出部19により、次の式(15)に示すように、平均映像品質算出部12で算出した平均映像品質値Vqe_aveに、差分映像品質算出部18で算出した差分映像品質値ΔVを加算することにより、映像視聴端末である通信端末2Bで復号再生された対象映像から視聴者が実感する主観映像品質の推定値を個別映像品質値Vqeとして算出(ステップ109)。
Figure 2010081157
個別映像品質算出部19は、このようにして算出した個別映像品質値Vqeを、記憶部20や画面表示部33へ出力し、一連の映像品質推定処理を終了する。
[第1の実施の形態の効果]
このように、本実施の形態では、キャプチャした対象映像信号から求めた映像時間情報量TIFと、キャプチャしたIPパケットから求めた対象映像の符号化情報量に対応する平均時間情報量TIaveとの差分を、差分時間情報量ΔTIとして算出し、この差分時間情報量ΔTIと、対象映像の符号化情報量に対応する最大差分映像品質値および最小差分映像品質値とから、対象映像の符号化情報量に対応する差分映像品質値ΔVを算出し、この差分映像品質値ΔVにより、対象映像の符号化情報量に対応する平均映像品質値Vqe_aveを補正して、対象映像に関する主観映像品質の推定値を個別映像品質値Vqeとして算出している。
これにより、IPパケットのペイロード部の内容を参照することなく、受信映像信号を用いて、対象映像通信に関する個別映像品質値を推定できる。このため、対象映像通信のメディア情報が著作権保護の観点から暗号化されている場合についても、主観映像品質を推定することが可能となる。
また、放送局側にある原映像を使用する必要がなく、放送中の受信したIPパケットのヘッダ情報と映像信号を用いてユーザ宅内でリアルタイムに、対象映像に関する個別映像品質値を推定することが可能となる。このため、業者の工事作業シーンへの適用も可能となり、極めて高い運用性が得られる。
[第2の実施の形態]
次に、本発明の第2の実施の形態にかかる映像品質推定装置について説明する。
第1の実施の形態では、演算処理部10の平均映像品質算出部12において、予め求めておいた平均映像品質特性(関数式)に基づいて、パケット分析部11で算出した符号化レートBR(符号化情報量)に対応する平均映像品質値Vqe_aveを算出する場合を例として説明した。
本実施の形態では、平均映像品質特性(関数式)を用いず、符号化レートBR(符号化情報量)と平均映像品質値Vqe_aveとの対応関係を示す平均映像品質情報を用いて平均映像品質値Vqe_aveを算出する場合について説明する。
なお、本実施の形態にかかる映像品質推定装置1の構成としては、演算処理部10の平均映像品質算出部12の処理内容が変更されるとともに、記憶部20に平均映像品質情報を記憶しておくことになるが、その他の構成については第1の実施の形態と同様であり、ここでの詳細な説明は省略する。
平均映像品質情報は、映像通信の映像通信特定パラメータ21の組み合わせと、予め用意した映像集合(映像部分集合)に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値Vqe_aveとの対応関係を示す情報である。
図9は、平均映像品質情報の構成例である。ここでは、符号化レートBRに対応する、符号化直後の状態における平均映像品質値Vqe_aveが、映像通信特定パラメータ21のCODEC、符号化情報、映像通信種別の組み合わせごとに登録されている。
平均映像品質情報における、映像通信特定パラメータ21と符号化レートBRの組み合わせと、平均映像品質値Vqe_aveとの対応関係は、それぞれの映像通信から予め算出しておけばよい。
平均映像品質算出部12は、前述した図2のステップ102において、記憶部20の平均映像品質情報に含まれている平均映像品質特性に基づいて、パケット分析部11で算出された対象映像の符号化レートBR(符号化情報量)に対応する平均映像品質値Vqe_aveを算出する。
この際、平均映像品質算出部12は、対象映像通信に関する映像通信特定パラメータ21を記憶部20から取得し、平均映像品質情報のうち当該映像通信特定パラメータ21に対応する平均映像品質特性から、対象映像の符号化レートBRに対応する、符号化直後の状態における平均映像品質値Vqe_aveを取得する。
[第2の実施の形態の効果]
このように、本実施の形態では、記憶部20の平均映像品質情報に含まれている平均映像品質特性に基づいて、パケット分析部11で算出された対象映像の符号化レートBR(符号化情報量)に対応する平均映像品質値Vqe_aveを算出するようにしたので、各種映像通信について精度良く平均映像品質値Vqe_aveを算出することが可能となる。
本発明の第1の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 品質特性係数情報の構成例である。 本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定動作を示すフロー図である。 本発明の第1の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 平均映像品質特性を示すグラフである。 最大/最小差分映像品質特性を示すグラフである。 平均時間情報量特性を示すグラフである。 差分映像品質特性を示すグラフである。 平均映像品質情報の構成例である。
符号の説明
1…映像品質推定装置、10…演算処理部、11…パケット分析部、12…平均映像品質算出部、13…最大差分映像品質算出部、14…最小差分映像品質算出部、15…平均時間情報量算出部、16…映像信号分析部、17…差分時間情報量算出部、18…差分映像品質算出部、19…個別映像品質算出部、20…記憶部、21…映像通信特定パラメータ、22…品質特性係数情報、2A…通信端末(送信側)、2B…通信端末(受信側)、3…IPネットワーク、Vqs…主観映像品質値、Vqs_ave…主観平均映像品質値、ΔV…差分映像品質値、Vqe…個別映像品質値、Vqe_ave…平均映像品質値、Δmax…最大差分映像品質値、Δmin…最小差分映像品質値、TIave…平均時間情報量、TIF…映像時間情報量、ΔTI…差分時間情報量。

Claims (8)

  1. 対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置であって、
    前記対象映像通信に関する前記IPパケットと、前記映像視聴端末で再生される映像信号とをキャプチャする通信インターフェース部と、
    キャプチャした前記IPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析部と、
    キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析部と、
    ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出部と、
    前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出部と、
    前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出部と、
    前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出部と、
    前記映像信号分析部で算出した映像時間情報量から前記平均時間情報量算出部で算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出部と、
    映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出部と、
    前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出部と
    を備えることを特徴とする映像品質推定装置。
  2. 請求項1に記載の映像品質推定装置において、
    前記符号化情報量は、前記品質推定区間内の対象映像を符号化して得られた符号化データに関する単位時間当たりのビット数またはパケット数からなることを特徴とする映像品質推定装置。
  3. 請求項1に記載の映像品質推定装置において、
    前記最大差分映像品質値算出部は、符号化情報量が増加するに連れて、最大差分映像品質値が一旦単調増加した後に単調減少する凸型の最大差分映像品質特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する最大差分映像品質値を算出することを特徴とする映像品質推定装置。
  4. 請求項1に記載の映像品質推定装置において、
    前記最小差分映像品質値算出部は、符号化情報量が増加するに連れて、最小差分映像品質値が一旦単調減少した後に単調増加する凹型の最小差分映像品質特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する最小差分映像品質値を算出することを特徴とする映像品質推定装置。
  5. 請求項1に記載の映像品質推定装置において、
    前記平均時間情報量算出部は、符号化情報量が増加するに連れて、平均時間情報量が単調増加し、その後ある平均時間情報量に収束する平均時間情報量特性を示す関数式に基づいて、前記パケット分析部で算出した前記符号化情報量に対応する平均時間情報量を算出することを特徴とする映像品質推定装置。
  6. 請求項1に記載の映像品質推定装置において、
    前記差分映像品質算出部は、差分時間情報量と最大差分映像品質値の積、あるいは差分時間情報量と最小差分映像品質値の積が増加するに連れて、差分映像品質が単調増加する差分映像品質特性を示す関数式に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出することを特徴とする映像品質推定装置。
  7. 対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置で用いられる映像品質推定方法であって、
    通信インターフェース部が、前記対象映像通信に関する前記IPパケットと、前記映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、
    パケット分析部が、キャプチャした前記IPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、
    映像信号分析部が、キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、
    平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、
    最大差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、
    最小差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、
    平均時間情報量算出部が、前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、
    差分時間情報量算出部が、前記映像信号分析ステップで算出した映像時間情報量から前記平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、
    差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、
    個別映像品質算出部が、前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出ステップと
    を備えることを特徴とする映像品質推定方法。
  8. 対象映像を複数のフレームに符号化してIPパケットで送信する対象映像通信について、当該対象映像通信の映像視聴端末におけるユーザ体感品質を示す個別映像品質値を推定する映像品質推定装置のコンピュータに、
    通信インターフェース部が、前記対象映像通信に関する前記IPパケットと、前記映像視聴端末で再生される映像信号とをキャプチャするキャプチャステップと、
    パケット分析部が、キャプチャした前記IPパケットから、品質推定区間内の対象映像を符号化する際に必要となる単位時間当たりの符号化情報量を算出するパケット分析ステップと、
    映像信号分析部が、キャプチャした前記映像信号から、前記品質推定区間内の個々のフレーム間における当該映像信号の差分を示すフレーム間差分値を求め、これらフレーム間差分値の標準偏差に関する当該品質推定区間での平均値を映像時間情報量として算出する映像信号分析ステップと、
    平均映像品質算出部が、ある映像集合に含まれる各要素映像の映像品質値の平均値からなる平均映像品質値と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均映像品質値を算出する平均映像品質算出ステップと、
    最大差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最大値と前記平均映像品質値との差分を示す最大差分映像品質値を算出する最大差分映像品質値算出ステップと、
    最小差分映像品質値算出部が、前記符号化情報量に対応する前記各要素映像の映像品質値のうちの最小値と前記平均映像品質値との差分を示す最小差分映像品質値を算出する最小差分映像品質値算出ステップと、
    平均時間情報量算出部が、前記各要素映像の映像時間情報量の平均値からなる平均時間情報量と符号化情報量との対応関係に基づいて、前記パケット分析ステップで算出した前記符号化情報量に対応する平均時間情報量を算出する平均時間情報量算出ステップと、
    差分時間情報量算出部が、前記映像信号分析ステップで算出した映像時間情報量から前記平均時間情報量算出ステップで算出した平均時間情報量を減算して差分時間情報量を算出する差分時間情報量算出ステップと、
    差分映像品質値算出部が、映像に関する差分時間情報量、最大差分映像品質値、および最小差分映像品質値と、当該映像の映像品質値と平均映像品質値の差分値を示す差分映像品質との対応関係に基づいて、前記対象映像から算出した前記差分時間情報量、前記最大差分映像品質値、および前記最小差分映像品質値に対応する差分映像品質値を算出する差分映像品質値算出ステップと、
    個別映像品質算出部が、前記平均映像品質値に前記差分映像品質値を加えることにより前記個別映像品質値を算出する個別映像品質算出ステップと
    を実行させるためのプログラム。
JP2008245409A 2008-09-25 2008-09-25 映像品質推定装置、方法、およびプログラム Expired - Fee Related JP4787303B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008245409A JP4787303B2 (ja) 2008-09-25 2008-09-25 映像品質推定装置、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245409A JP4787303B2 (ja) 2008-09-25 2008-09-25 映像品質推定装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2010081157A true JP2010081157A (ja) 2010-04-08
JP4787303B2 JP4787303B2 (ja) 2011-10-05

Family

ID=42211126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008245409A Expired - Fee Related JP4787303B2 (ja) 2008-09-25 2008-09-25 映像品質推定装置、方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP4787303B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム
CN112367524A (zh) * 2020-12-08 2021-02-12 重庆邮电大学 一种全景视频编码方法
US20220078447A1 (en) * 2019-05-17 2022-03-10 Huawei Technologies Co., Ltd. Method and apparatus for assessing quality of vr video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136810A (ja) * 2003-10-31 2005-05-26 Nhk Engineering Services Inc コンテンツ品質評価装置、その方法及びそのプログラム
JP2007067626A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法およびプログラム
JP2008005108A (ja) * 2006-06-21 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136810A (ja) * 2003-10-31 2005-05-26 Nhk Engineering Services Inc コンテンツ品質評価装置、その方法及びそのプログラム
JP2007067626A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法およびプログラム
JP2008005108A (ja) * 2006-06-21 2008-01-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム
US20220078447A1 (en) * 2019-05-17 2022-03-10 Huawei Technologies Co., Ltd. Method and apparatus for assessing quality of vr video
JP2022533928A (ja) * 2019-05-17 2022-07-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Vr映像の品質を査定する方法および装置
JP7327838B2 (ja) 2019-05-17 2023-08-16 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Vr映像の品質を査定する方法、装置およびコンピュータプログラム
CN112367524A (zh) * 2020-12-08 2021-02-12 重庆邮电大学 一种全景视频编码方法

Also Published As

Publication number Publication date
JP4787303B2 (ja) 2011-10-05

Similar Documents

Publication Publication Date Title
JP5172440B2 (ja) 映像品質推定装置、方法およびプログラム
US7873727B2 (en) System and method for evaluating streaming multimedia quality
US20120201310A1 (en) Video quality estimation apparatus, video quality estimation method, and program
US9723329B2 (en) Method and system for determining a quality value of a video stream
WO2009116666A1 (ja) 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP6328637B2 (ja) ビデオストリーミングサービスのためのコンテンツ依存型ビデオ品質モデル
JP4914400B2 (ja) 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
JP5221459B2 (ja) 映像品質推定装置、システム、方法およびプログラム
JP2010098441A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
WO2021181681A1 (ja) 数理モデル導出装置、数理モデル導出方法及びプログラム
JP2011205253A (ja) トランスコード映像品質客観評価装置及び方法及びプログラム
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5405915B2 (ja) 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
JP5707461B2 (ja) 映像品質推定装置、映像品質推定方法及びプログラム
JP6061778B2 (ja) 映像品質評価装置、映像品質評価方法及びプログラム
JP2011254434A (ja) 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees