JP2011019127A - 画質評価装置、画質評価方法及びそのプログラム - Google Patents

Abstract

【課題】映像の復号処理をおこなわずに、高精度な画質評価を実現する画質評価装置、画質評価方法及びそのプログラムを提供すること。
【解決手段】本発明は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価部を有する画質評価装置である。
【選択図】図１

Description

本発明は、画質評価装置、画質評価方法及びそのプログラムに関する。

地上デジタル放送やＩＰＴＶなどの映像配信サービスでは、送信設備、伝送設備、受信設備の異常検出を迅速におこなうためにサービスの品質監視を行うことが重要である。伝送品質はパケット損失、パケットエラー、遅延の状態から把握ができるが、映像配信サービスの品質すなわち画質は、伝送品質と必ずしも一致しているわけではなく、別途測定をおこなう必要がある。

特許文献１では、パケット損失など伝送品質と、映像符号化情報、映像の動き情報を元に画質の推定をおこなっている。特許文献１に記載の方法では、映像符号化情報、映像の動き情報を別途用意し、映像データパケット内に埋込んだ上で伝送する必要があった。この場合、その情報が埋め込まれたパケットが損失した場合には画質の計測が困難になるという問題があった。また、特許文献１では、伝送された映像データパケットを解析して、映像符号化情報や動き情報を取得する方法にも言及しているが、この場合映像の復号処理をおこなう必要があり、画質の計測に多くの計算量を要するという問題があった。

そこで、非特許文献１、２では、映像の復号をおこなわずに、画質計測をする方法が開示されている。非特許文献１、２に記載の画質評価方法では、映像データの復号を行わずに、映像符号化情報を推定し、推定した映像符号化情報と、ネットワーク品質情報とから画質を推定している。

特開２００８−５１０８号公報

牛木、富永、林、「暗号化されたIPTVストリームに対する映像品質推定法の有効性検証」、電子情報通信学会総合大会、B-11-8、2008 牛木、富永、林、「TSヘッダ情報を用いた映像フレーム種別推定法の有効性検証〜パケットレイヤ映像品質客観評価モデルの確立に向けて〜」、信学技報、CQ2007-74

映像配信サービスにおける映像受信端末は、パケット損失が発生したときには画質劣化が小さくなるようなエラー隠蔽処理（エラーコンシールメント）をおこない、劣化を最小限に抑えることが一般的である。

しかし、非特許文献１、２に記載の画質評価方法は、前記エラー隠蔽処理の効果を考慮していないため、画質推定精度が低くなるという問題があった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は本発明の目的は、映像の復号処理をおこなわずに、高精度な画質評価を実現する画質評価装置、画質評価方法及びそのプログラムを提供することにある。

本発明は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価部を有する画質評価装置である。

本発明は、映像ビットストリームの伝送エラーを検出する伝送エラー検出部と、前記映像ビットストリームの各ピクチャのピクチャタイプを検出又は推定し、各ピクチャのデータ量を検出するピクチャタイプ検出部と、前記伝送エラー検出部の検出結果と、前記ピクチャタイプ検出部により検出又は推定された各ピクチャのピクチャタイプ及びデータ量とに基づいて、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの平均データ量と、フレーム間予測符号化されているピクチャの平均データ量とを計算し、前記平均データ量に基づいて、伝送エラーにより生じた劣化に対するエラー隠蔽処理の効果を評価するエラー隠蔽効果評価部と、前記映像ビットストリームの伝送エラーにより画質評価を行い、この評価結果と前記エラー隠蔽効果評価部の評価とに基づいて、前記映像ビットストリームの画質評価を行う画質評価部とを有する画質評価装置である。

本発明は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価方法である。

本発明は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価処理を情報処理装置に実行させるプログラムである。

本発明は、映像の復号処理をおこなわずに、高精度な画質評価ができる。

図１は本発明の実施の形態を説明するための図である。 図２は本発明の実施の形態を説明するための図である。 図３は第１の実施の形態の画質評価装置のブロック図である。 図４は第１の実施の形態の画質評価装置の動作のフローチャートである。 図５は第２の実施の形態の画質評価装置のブロック図である。 図６は第３の実施の形態の画質評価装置のブロック図である。

本発明の実施の形態を説明する。

図１は本発明の実施の形態を説明するための図である。

本実施の形態における画像評価部１は、伝送エラーの検出と映像ビットストリームとを入力する。そして、画像評価部１は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する。

ここで、フレーム内符号化されているピクチャ、又はフレーム間予測符号化されているピクチャとは、ピクチャヘッダの解析により、そのピクチャのピクチャタイプが識別できる場合（フレーム内符号化されているピクチャのピクチャタイプ、又はフレーム間予測符号化されているピクチャのピクチャタイプ）のみならず、暗号化されていてピクチャヘッダの解析ができないが、そのピクチャのデータ量等の他の情報によりピクチャタイプが推定できる場合も含む。

また、フレーム内符号化されているピクチャは、例えば、MPEGなど既存の動画符号化方式におけるIピクチャ（フレーム内符号化）等である。そして、フレーム間予測符号化されているピクチャは、例えば、MPEGなど既存の動画符号化方式における、Pピクチャ（フレーム間片方向予測）、Bピクチャ（フレーム間双方向予測）等である。

次に、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量について説明する。

まず、フレーム間予測符号化されているピクチャは、時間方向に隣接するピクチャ（直前のピクチャまたは直後のピクチャ）からフレーム間予測をおこない符号化する場合が多い。従って、フレーム間予測符号化されているピクチャのデータ量が小さい場合は、前後のピクチャとの差分が小さく、かつ動きベクトルの情報量も小さいことを意味する。すなわち、動きが小さく、前後ピクチャとの相関が極めて高い映像であることが推測される。一般にこのような映像では、前後のピクチャの情報を用いて劣化領域の補完をおこなうエラー隠蔽処理の効果が大きくなる。

一方、フレーム間予測符号化されているピクチャのデータ量が大きい場合は、映像の動きが複雑で、前後ピクチャとの相関が低い映像であることが推測される。このような映像では上述のエラー隠蔽処理の効果は小さくなる。

そこで、画像評価部１は、図２に示す如く、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する。

例えば、少なくともフレーム内予測符号化のピクチャを含むピクチャのデータ量とフレーム間予測符号化のピクチャのデータ量とを計算し、フレーム内予測符号化のピクチャのデータ量とフレーム間予測符号化のピクチャのデータ量とを比較し、フレーム間予測符号化のピクチャのデータ量の割合の大小に応じて画質を評価する。

更に具体的には、上述の所定の期間内における全ピクチャの１ピクチャあたりの平均データ量に対する所定の期間内におけるフレーム間予測符号化のピクチャの１ピクチャあたりの平均データ量の割合を計算し、この値と所定の閾値とを比較することで判定をおこなう。例えば、全ピクチャの１ピクチャあたりの平均データ量に対してフレーム間予測符号化のピクチャの１ピクチャあたりの平均データ量の割合が小さい場合は、動きが小さく、前後ピクチャとの相関が極めて高い映像であることが推測されるからエラー隠蔽処理の効果が大きくなるため、エラー隠蔽処理の効果が大きく評価されるように映像の画質評価を行う。一方、全ピクチャの１ピクチャあたりの平均データ量に対してフレーム間予測符号化のピクチャの１ピクチャあたりの平均データ量の割合が大きい場合は、映像の動きが複雑で、前後ピクチャとの相関が低い映像であることが推測されるからエラー隠蔽処理の効果が小さくなるため、エラー隠蔽処理の効果が小さく評価されるように映像の画質評価を行う。

また、所定の期間内におけるフレーム内予測符号化のピクチャの１ピクチャあたりの平均データ量に対する所定の期間内におけるフレーム間予測符号化のピクチャの１ピクチャあたりの平均データ量の割合を計算し、上述と同様に判定しても良い。

以上の如く、本実施の形態は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価するので、映像の復号処理をおこなわずに、少ない計算量で高精度な画質評価を実現することができる。特に、映像の復号処理を行わないので、映像データが暗号化されている場合も高精度な画質評価を行うことができる。

以下、具体的な実施の形態を説明する。
＜第１の実施の形態＞
次に、本発明の実施の形態を、図面を参照して詳細に説明する。図３は第１の実施の形態の画質評価装置のブロック図である。

図３を参照すると、第１の実施の形態の画質評価装置は、ピクチャヘッダを解析して各ピクチャのデータ量と、ピクチャタイプを検出するピクチャタイプ検出処理部１１と、パケット損失などの伝送エラーを検出する伝送エラー検出処理部１２と、ピクチャごとのデータ量の割合からエラー隠蔽処理の効果を評価するエラー隠蔽効果評価処理部１３と、伝送エラーの有無情報、ピクチャタイプ情報、エラー隠蔽効果の大小の情報とから、画質推定をおこなう画質推定処理部１４とから構成される。

次に、図３を参照して本発明の画質評価装置の構成について詳細に説明する。

入力されたパケット化された映像ビットストリームは、ピクチャタイプ検出処理部１１および伝送エラー検出処理部１２に入力される。ピクチャタイプ検出処理部１１では、ビットストリームからピクチャの先頭を示すヘッダ情報を検出し、ヘッダの情報からピクチャタイプを検出する。また、伝送エラーが無い場合に各ピクチャの先頭位置から、それぞれのピクチャのデータ量が算出できる。ピクチャタイプは、例えばMPEGなど既存の動画符号化方式では、Ｉピクチャ（フレーム内予測符号化）、Ｐピクチャ（フレーム間片方向予測符号化）、Ｂピクチャ（フレーム間双方向予測符号化）のピクチャタイプが規定されている。

伝送エラー検出処理部１２では、ＲＴＰパケットのsequence_numberやＴＳパケットヘッダのcountinuity_counterから伝送されるパケットの連続性を調べることでパケットの損失が発生したか否かを検出する。また、ＣＲＣやパリティチェックなどの誤り検出によりパケットエラーを検出する。

エラー隠蔽効果評価処理部１３では、ピクチャタイプ検出処理部１１で検出した各ピクチャタイプのピクチャのデータ量に着目する。Ｂピクチャでは、時間方向に隣接するピクチャ（直前のピクチャまたは直後のピクチャ）からフレーム間予測をおこない符号化する場合が多い。したがって、Ｂピクチャのデータ量が小さい場合は、前後のピクチャとの差分が小さく、かつ動きベクトルの情報量も小さいことを意味する。すなわち、動きが小さく、前後ピクチャとの相関が極めて高い映像であることが推測される。一般にこのような映像では、前後のピクチャの情報を用いて劣化領域の補完をおこなうエラー隠蔽処理の効果が大きくなる。

また、Ｂピクチャのデータ量が大きい場合は、映像の動きが複雑で、前後ピクチャとの相関が低い映像であることが推測される。このような映像ではエラー隠蔽処理の効果は小さくなる。

したがって、伝送エラーが検出された直前または直後の少なくともいずれか一方の所定期間内においてＢピクチャのデータ量を計算し、他のピクチャのデータ量に対するＢピクチャのデータ量の割合の大小に応じてエラー隠蔽処理の効果を判定する。

例えば、全ピクチャの１ピクチャあたりの平均データ量に対するＢピクチャの１ピクチャあたりの平均データ量の割合を計算し、この割合を所定の閾値と比較することで判定をおこなう。または、Ｉピクチャの１ピクチャあたりの平均データ量に対するＢピクチャの１ピクチャあたりの平均データ量の割合を計算し、この値と所定の閾値とを比較することで、エラー隠蔽処理の効果を判定する。

映像データによっては、Ｂピクチャが存在せず、ＩピクチャとＰピクチャとのみから符号化されているデータもある。このような場合はＰピクチャが隣接するピクチャからフレーム間予測をおこない符号化されるので、Ｂピクチャの代わりにＰピクチャのデータ量をもとに、エラー隠蔽処理の効果を判定する。

画質推定処理部１４では、伝送エラー検出処理部１２から入力される伝送エラーの有無、ピクチャタイプ検出処理部１１から入力される伝送エラーが発生したピクチャのピクチャタイプ、エラー隠蔽効果評価処理部１３から入力されるエラー隠蔽効果の情報から画質を推定する。

例えば、伝送エラーが無い場合の画質を「良い」、ＩまたはＰピクチャで伝送エラーが発生した場合を「悪い」、Ｂピクチャで伝送エラーが発生した場合を「やや悪い」と評価するエラー評価基準がある場合を考える。このとき、エラー隠蔽効果が大きいと判定された映像では、ＩまたはＰピクチャで伝送エラーが発生し、エラー評価基準に照らして「悪い」と評価される画像であっても、「やや悪い」と補正する。一方、エラー隠蔽効果が小さいと判定された映像では、Ｂピクチャで伝送エラーが発生し、エラー評価基準に照らして「やや悪い」と評価される画像であっても、「悪い」と補正する。このように画質を評価することにより、画質推定結果と実際の主観画質との相関を高める。

尚、エラー評価基準は他の方法であっても良い。例えば、非特許文献１では無効フレーム率という数値を元に画質推定をおこなっているが、この推定結果に対し、上述のエラー隠蔽効果の大小の判定結果を用いて推定結果を補正することで実際の主観画質との相関を高めても良い。

また、ＢピクチャやＰピクチャのデータ量の割合の大きさに応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば、上述したような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。

次に、第１の実施の形態の画質評価装置の動作を説明する。図４は第１の実施の形態の画質評価装置の動作のフローチャートである。

まず、本発明の画質評価装置に受信したビットストリームが入力される（Ｓ２０１）。入力されたビットストリームは、ピクチャタイプ検出処理部１１にてピクチャヘッダの検出がおこなわれる（Ｓ２０２）。

さらに、次のピクチャのピクチャヘッダの検出をおこない、１ピクチャ分のデータ量を算出する（Ｓ２０３）。検出ピクチャヘッダを解析することにより、当該ピクチャのピクチャタイプを取得する（Ｓ２０４）。

次に、伝送エラー検出処理部１２にて伝送エラーの有無を調べる（Ｓ２０５、Ｓ２０６）。伝送エラーが無い場合は、「画質が良い」と評価する（Ｓ２０７）。

次に、直前の所定の時間（ｎ秒）分のピクチャ当たりのデータ量の平均（D_all）を算出する（Ｓ２０８）。当該ピクチャのピクチャタイプがＢピクチャの場合（Ｓ２０９）、直前の所定の時間（ｎ秒）分のＢピクチャのピクチャ当たりのデータ量の平均（D_b）を算出する（Ｓ２１０）。この例では、伝送エラー直前の所定の時間での平均を算出しているが、伝送エラー直後の所定の時間、または伝送エラー前後の所定の時間での平均を算出するようにしてもよい。

伝送エラーが検出された場合、当該ピクチャがＢピクチャである場合（Ｓ２１１）は、「画質がやや悪い」と評価し（Ｓ２１２）、Ｂピクチャでない場合は「画質が悪い」と評価する（Ｓ２１３）。当該ピクチャがＢピクチャの場合、100*D_b/D_allの値と所定の閾値Th2を比較し（Ｓ２１４）、閾値Th2よりも大きい場合は、エラー隠蔽処理の効果は小さいと推測されるので、「画質が悪い」と評価結果を変更する（Ｓ２１５）。

一方、当該ピクチャがＢピクチャ以外の場合で100*D_b/D_allの値が、別の所定の閾値Th1よりも小さい場合は（Ｓ２１６）、エラー隠蔽処理の効果が大きいと推測されるので、「画質がやや悪い」と評価結果を変更する（Ｓ２１７）。このような画質評価をビットストリームの末尾まで繰り返す（Ｓ２１８）。まだビットストリーム末尾でない場合は、Ｓ２０３に戻り処理を繰り返す。ビットストリーム末尾である場合は、処理を終了する。
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について詳細に説明する。図５は第２の実施の形態の画質評価装置のブロック図である。

図５を参照すると、本発明の第２の実施の形態では、ピクチャ切れ目の情報からピクチャごとのデータ量とピクチャタイプを推定するピクチャタイプ推定処理部３１と、パケット損失などの伝送エラーを検出する伝送エラー検出処理部３２と、ピクチャごとのデータ量の割合からエラー隠蔽処理の効果を評価するエラー隠蔽効果評価処理部３３と、伝送エラーの有無情報、ピクチャタイプ情報、エラー隠蔽効果の大小の情報とから、画質推定をおこなう画質推定処理部３４とから構成される。

次に、図５を参照して本発明の第２の実施の形態の構成について詳細に説明する。

第２の実施の形態では、映像データに暗号化がかかっている場合など、ピクチャヘッダの情報が得られない場合を想定している。映像配信サービスではコンテンツ保護の観点からＴＳパケットのペイロード部に暗号化が施されていることがあり、この場合ペイロード部に含まれるピクチャヘッダ情報を読むことができず、ピクチャタイプを検出することができない。

本発明の第２の実施の形態では、暗号化されていないＲＴＰパケットのヘッダおよびＴＳパケットのヘッダ部分のみの情報を用いた画質推定をおこなう。

図５を参照すると、本発明の画質評価装置では、入力されたパケット化された映像データは、ピクチャタイプ推定処理部３１および伝送エラー検出処理部３２に入力される。

ピクチャタイプ推定処理部３１は、ＴＳパケットヘッダのpayload_unit_start_indicatorを検出し、ＴＳパケット内にピクチャの切れ目、つまりピクチャの先頭データが含まれているか否かを調べる。この処理により、伝送エラーが無い場合に各ピクチャの先頭位置から、それぞれのピクチャのデータ量が算出できる。

また、ピクチャタイプ推定処理部３１は、非特許文献２に記載の方法のように、各ピクチャのデータ量を所定の閾値と比較することで、各ピクチャのピクチャタイプを推定する。１ピクチャのデータ量が所定の閾値よりも大きいピクチャは、フレーム間差分を用いずに符号化されている可能性が高いので当該ピクチャをＩピクチャとみなす。また、データ量が所定の閾値よりも小さいピクチャは、フレーム間の双方向予測を用いて符号化されている可能性が高いので当該ピクチャをＢピクチャとみなす。このように、ピクチャ当たりのデータ量の大小から、ピクチャタイプを推定する。なお、ピクチャタイプの推定方法は、他の方法でおこなっても良い。

伝送エラー検出処理部３２では、ＲＴＰパケットのsequence_numberやＴＳパケットヘッダのcountinuity_counterからパケット連続性を調べることでパケットの損失が発生したか否かを検出する。

また、CRCやパリティチェックなどの誤り検出によりパケットエラーを検出する。

エラー隠蔽効果評価処理部３３では、前記ピクチャタイプ推定処理部３１で推定した各ピクチャタイプのピクチャのデータ量に着目する。

Ｂピクチャでは、時間方向に隣接するピクチャ（直前のピクチャまたは直後のピクチャ）からフレーム間予測をおこない符号化する場合が多い。したがって、Ｂピクチャのデータ量が小さい場合は、前後のピクチャとの差分が小さく、かつ動きベクトルの情報量も小さいことを意味する。すなわち、動きが小さく、前後ピクチャとの相関が極めて高い映像であることが推測される。一般にこのような映像では、前後のピクチャの情報を用いて劣化領域の補完をおこなうエラー隠蔽処理の効果が大きくなる。

また、Ｂピクチャのデータ量が大きい場合は、映像の動きが複雑で、前後ピクチャとの相関が低い映像であることが推測される。このような映像ではエラー隠蔽処理の効果は小さくなる。

したがって、伝送エラー直前または直後の少なくともどちらか一方の所定の期間内においてＢピクチャのデータ量の割合を計算し、Ｂピクチャのデータ量の割合の大小に応じてエラー隠蔽処理の効果の大小が判定される。

画質推定処理部３４では、伝送エラー検出処理部３２から入力される伝送エラーの有無、ピクチャタイプ推定処理部３１から入力される伝送エラーが発生したピクチャのピクチャタイプ、エラー隠蔽効果評価処理部３３から入力されるエラー隠蔽効果の大小の情報から画質を推定する。

例えば、伝送エラーが無い場合の画質を「良い」、ＩまたはＰピクチャで伝送エラーが発生した場合を「悪い」、Ｂピクチャで伝送エラーが発生した場合を「やや悪い」と評価するエラー評価基準がある場合を考える。このとき、エラー隠蔽効果が大きいと判定された映像では、ＩまたはＰピクチャで伝送エラーが発生し、エラー評価基準に照らして「悪い」と評価される画像であっても、「やや悪い」と補正する。一方、エラー隠蔽効果が小さいと判定された映像では、Ｂピクチャで伝送エラーが発生し、エラー評価基準に照らして「やや悪い」と評価される画像であっても、「悪い」と補正する。このように画質を評価することにより、画質推定結果と実際の主観画質との相関を高める。

画質推定方法は他の方法でも良く、例えば、非特許文献１では無効フレーム率という数値を元に画質推定をおこなっているが、この推定結果に対し、エラー隠蔽効果の大小の情報を用いて推定結果を補正することで実際の主観画質との相関を高めても良い。
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図６は第３の実施の形態の画質評価装置のブロック図である。

第３の実施の形態では、上述した第１の実施の形態に示される画質評価装置をコンピュータシステムにより実行する。図６を参照すると、本システムはプログラム制御プロセッサ４１が装備されている。

プログラム制御プロセッサ４１には、ビットストリームバッファ４２の他に、必要なプログラムを格納したプログラムメモリ４３が接続されている。プログラムメモリ４３に格納されるプログラムモジュールは、メインプログラムの他に、ピクチャタイプ検出処理４４と、伝送エラー検出処理４５と、エラー隠蔽効果評価処理４６と、画質推定処理４７とから構成される。

ピクチャタイプ検出処理４４と、伝送エラー検出処理４５と、エラー隠蔽効果評価処理４６と、画質推定処理４７のプログラムモジュールは、図３のピクチャタイプ検出処理部１１と、伝送エラー検出処理部１２と、エラー隠蔽効果評価処理部１３と、画質推定処理部１４をそれぞれ機能的に実現する。

本発明の第３の実施の形態についても同様に各装置を機能的に実現するプログラムモジュールを上記コンピュータシステムに実装することにより、コンピュータシステム上で実現可能となる。

本発明の具体的な実施例１を説明する。

ＭＰＥＧ−２で符号化された映像データをＩＰパケット化したビットストリームの伝送を想定し、伝送路の途中にて当該ビットストリームの映像品質を測定するものとする。ビットストリームが本発明による画質評価装置に入力されると、まずピクチャタイプ検出処理部１１にてピクチャヘッダが検出される。

次のピクチャヘッダまでのデータが１ピクチャを構成することになる。このピクチャのデータ量を1500バイトとする。また、ピクチャヘッダを解析することにより、このピクチャのピクチャタイプが取得できる。ここでは、当該ピクチャがＢピクチャであったとする。

次に、伝送エラー検出処理部１２にて伝送エラーの有無を調べる。伝送エラーが無い場合、「画質が良い」と評価するとともに、伝送エラーが発生した際に用いるパラメータを算出する。

まず、過去１秒分のＢピクチャのピクチャ当たりのデータ量の平均を算出する。ここでは、1000バイトであったとする。また、過去１秒分のＩピクチャのピクチャあたりのデータ量の平均が15000バイトであったとする。

次に、ピクチャタイプ検出処理部１１にて次のピクチャヘッダを検出し、同様に次ピクチャのデータ量とピクチャタイプを取得する。

このピクチャはＰピクチャであったとする。また、伝送エラー検出処理部１２にてこのピクチャ内で伝送エラーが発生したとする。このとき「画質が悪い」と評価をおこなう。

次に、過去１秒分のＢピクチャのデータ量の平均と、Ｉピクチャのデータ量の平均の比を計算する。この値を所定の閾値と比較する。

ここでは、前記閾値を10%とする。Ｂピクチャデータ量とＩピクチャデータ量との比は、６．６７％であり、前記閾値より小さい。

この場合、Ｂピクチャのデータ量が極めて小さいため、当該ピクチャは動きが小さく、前後ピクチャとの相関が極めて高いことが推測され、エラー隠蔽処理の効果が大きいと考えられるため、「画質はやや悪い」と評価を補正し、これをこのピクチャで発生した伝送エラーにより劣化した映像の画質評価結果とする。

本発明の具体的な実施例２を説明する。

ＭＰＥＧ−２で符号化された映像データをＩＰパケット化したビットストリームの伝送を想定し、伝送路の途中にて当該ビットストリームの映像品質を測定するものとする。

ビットストリームが本発明による画質評価装置に入力されると、まずピクチャタイプ検出処理部１１にてピクチャヘッダが検出される。次のピクチャヘッダまでのデータが１ピクチャを構成することになる。このピクチャのデータ量を5000バイトとする。また、ピクチャヘッダを解析することにより、このピクチャのピクチャタイプが取得できる。ここでは、当該ピクチャがＢピクチャであったとする。

次に、伝送エラー検出処理部１２にて伝送エラーの有無を調べる。

伝送エラーが無い場合、「画質が良い」と評価するとともに、伝送エラーが発生した際に用いるパラメータを算出する。

まず、過去1秒分のＰピクチャのピクチャ当たりのデータ量の平均を算出する。ここでは、4000バイトであったとする。また、過去１秒分のＩピクチャのピクチャあたりのデータ量の平均が10000バイトであったとする。

次に、ピクチャタイプ検出処理部１１にて次のピクチャヘッダを検出し、同様に次ピクチャのデータ量とピクチャタイプを取得する。このピクチャはＢピクチャであったとする。また、伝送エラー検出処理部１２にてこのピクチャ内で伝送エラーが発生したとする。このとき「画質がやや悪い」と評価をおこなう。

次に、過去１秒分のＢピクチャのデータ量の平均と、Ｉピクチャのデータ量との平均の比を計算する。この値を所定の閾値と比較する。

ここでは、前記閾値を３０％とする。Ｂピクチャデータ量とＩピクチャデータ量との比は、４０％であり、前記閾値より大きい。

この場合、Ｂピクチャのデータ量が極めて大きいため、当該ピクチャは動きが大きく、前後ピクチャとの相関が極めて低いことが推測され、エラー隠蔽処理の効果が小さいと考えられるため、「画質は悪い」と評価を補正し、これをこのピクチャで発生した伝送エラーにより劣化した映像の画質評価結果とする。

本発明の具体的な実施例３を説明する。

ＭＰＥＧ−２で符号化された映像データをＩＰパケット化したビットストリームの伝送を想定し、伝送路の途中にて当該ビットストリームの映像品質を測定するものとする。このストリームには、双方フレーム間予測で符号化されるＢピクチャが存在せず、フレーム間予測を用いないＩピクチャと片方向のフレーム間予測により符号化されるＰピクチャのみから構成されるものとする。

ビットストリームが本発明による画質評価装置に入力されると、まずピクチャタイプ検出処理部１１にてピクチャヘッダが検出される。

次のピクチャヘッダまでのデータが１ピクチャを構成することになる。このピクチャのデータ量を1500バイトとする。また、ピクチャヘッダを解析することにより、このピクチャのピクチャタイプが取得できる。ここでは、当該ピクチャがPピクチャであったとする。

次に、伝送エラー検出処理部１２にて伝送エラーの有無を調べる。

伝送エラーが無い場合、「画質が良い」と評価するとともに、伝送エラーが発生した際に用いるパラメータを算出する。

まず、過去１秒分のＰピクチャのピクチャ当たりのデータ量の平均を算出する。ここでは、1000バイトであったとする。また、過去１秒分のＩピクチャのピクチャあたりのデータ量の平均が15000バイトであったとする。

次に、ピクチャタイプ検出処理部１１にて次のピクチャヘッダを検出し、同様に次ピクチャのデータ量とピクチャタイプを取得する。このピクチャはＰピクチャであったとする。また、伝送エラー検出処理部１２で、このピクチャ内で伝送エラーが発生したとする。このとき「画質が悪い」と評価をおこなう。

次に、過去１秒分のＰピクチャのデータ量の平均と、Ｉピクチャのデータ量の平均との比を計算する。この値を所定の閾値と比較する。ここでは、前記閾値を１０％とする。Ｐピクチャデータ量とＩピクチャデータ量の比は、６．６７％であり、前記閾値より小さい。

この場合、Ｐピクチャのデータ量が極めて小さいため、当該ピクチャは動きが小さく、前後ピクチャとの相関が極めて高いことが推測され、エラー隠蔽処理の効果が大きいと考えられるため、「画質はやや悪い」と評価を補正し、これをこのピクチャで発生した伝送エラーにより劣化した映像の画質評価結果とする。

以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 画像評価部
１１ ピクチャタイプ検出処理部
１２ 伝送エラー検出処理部
１３ エラー隠蔽効果評価処理部
１４ 画質推定処理部
３１ ピクチャタイプ推定処理部
３２ 伝送エラー検出処理部
３３ エラー隠蔽効果評価処理部
３４ 画質推定処理部
４１ プログラム制御プロセッサ

Claims (20)

1. 伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価部を有する画質評価装置。
2. 前記画質評価部は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの平均データ量と、フレーム間予測符号化されているピクチャの平均データ量とに基づいて、画質を評価する請求項１に記載の画質評価装置。
3. 前記画質評価部は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項２に記載の画質評価装置。
4. 前記画質評価部は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、全ピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項３に記載の画質評価装置。
5. 前記画質評価部は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、フレーム内符号化されているピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項３に記載の画質評価装置。
6. ピクチャヘッダに基づいて、ピクチャタイプを検出するピクチャタイプ検出部を有する請求項１から請求項５のいずれかに記載の画質評価装置。
7. ビットストリームよりピクチャの先頭を検出し、各ピクチャのデータ量に基づいて、ピクチャタイプを推定するピクチャタイプ推定部を有する請求項１から請求項５のいずれかに記載の画質評価装置。
8. 前記画質評価部は、前記少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量とフレーム間予測符号化されているピクチャのデータ量とに基づいて、伝送エラーにより生じた劣化に対するエラー隠蔽処理の効果を判定し、この判定結果により、伝送エラーに基づいて評価される画質評価を補正する
   請求項１から請求項７のいずれかに記載の画質評価装置。
9. フレーム間予測符号化されているピクチャが、片方向フレーム間予測のピクチャ、又は、双方向フレーム間予測のピクチャの少なくともいずれかである請求項１から請求項８のいずかに記載の画像評価装置。
10. 映像ビットストリームの伝送エラーを検出する伝送エラー検出部と、
    前記映像ビットストリームの各ピクチャのピクチャタイプを検出又は推定し、各ピクチャのデータ量を検出するピクチャタイプ検出部と、
    前記伝送エラー検出部の検出結果と、前記ピクチャタイプ検出部により検出又は推定された各ピクチャのピクチャタイプ及びデータ量とに基づいて、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの平均データ量と、フレーム間予測符号化されているピクチャの平均データ量とを計算し、前記平均データ量に基づいて、伝送エラーにより生じた劣化に対するエラー隠蔽処理の効果を評価するエラー隠蔽効果評価部と、
    前記映像ビットストリームの伝送エラーにより画質評価を行い、この評価結果と前記エラー隠蔽効果評価部の評価とに基づいて、前記映像ビットストリームの画質評価を行う画質評価部と
    を有する画質評価装置。
11. 伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価方法。
12. 前記画質評価は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの平均データ量と、フレーム間予測符号化されているピクチャの平均データ量とに基づいて、画質を評価する請求項１１に記載の画質評価方法。
13. 前記画質評価は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項１２に記載の画質評価方法。
14. 前記画質評価は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、全ピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項１３に記載の画質評価方法。
15. 前記画質評価は、伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、フレーム内符号化されているピクチャの１ピクチャ当たりの平均データ量に対するフレーム間予測符号化されているピクチャの１ピクチャ当たりの平均データ量の割合に基づいて、画質を評価する請求項１３に記載の画質評価方法。
16. ピクチャヘッダに基づいて、ピクチャタイプを検出するピクチャタイプする請求項１１から請求項１５のいずれかに記載の画質評価方法。
17. ビットストリームよりピクチャの先頭を検出し、各ピクチャのデータ量に基づいて、ピクチャタイプを推定する請求項１１から請求項１５のいずれかに記載の画質評価方法。
18. 前記画質評価は、前記少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量とフレーム間予測符号化されているピクチャのデータ量とに基づいて、伝送エラーにより生じた劣化に対するエラー隠蔽処理の効果を判定し、この判定結果により、伝送エラーに基づいて評価される画質評価を補正する
    請求項１１から請求項１７のいずれかに記載の画質評価方法。
19. フレーム間予測符号化されているピクチャが、片方向フレーム間予測のピクチャ、又は、双方向フレーム間予測のピクチャのいずれかである請求項１１から請求項１８のいずかに記載の画像評価方法。
20. 伝送エラー発生時の前又は後の少なくともいずれかの所定の期間内における、少なくともフレーム内符号化されているピクチャを含むピクチャのデータ量と、フレーム間予測符号化されているピクチャのデータ量とに基づいて、画質を評価する画質評価処理を情報処理装置に実行させるプログラム。

Images