JP2007214991A - 映像品質測定装置および映像品質測定方法ならびにそのプログラム - Google Patents
映像品質測定装置および映像品質測定方法ならびにそのプログラム Download PDFInfo
- Publication number
- JP2007214991A JP2007214991A JP2006033902A JP2006033902A JP2007214991A JP 2007214991 A JP2007214991 A JP 2007214991A JP 2006033902 A JP2006033902 A JP 2006033902A JP 2006033902 A JP2006033902 A JP 2006033902A JP 2007214991 A JP2007214991 A JP 2007214991A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- macroblock
- value
- error condition
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】映像のコマ落ちなどの不具合に関する評価や、マクロブロック単位の劣化に関する評価など個々の評価法を利用し、総合的な評価により映像配信サービスの定量化を行うことができる映像品質測定装置を提供する。
【解決手段】映像ストリーム内の各フレームのエラーコンディション値よりストリームのエラーコンディション値を算出し、またフレームスキップによる映像ストリームのエラーコンディション値を算出する。そして、映像ストリームのエラーコンディション値と、フレームスキップによる映像ストリームのエラーコンディション値に基づいて、映像ストリームの推定評価値、フレームスキップによる推定評価値、総合推定評価値を算出し、主観評価値のレンジへ正規化して出力する
【選択図】図1
【解決手段】映像ストリーム内の各フレームのエラーコンディション値よりストリームのエラーコンディション値を算出し、またフレームスキップによる映像ストリームのエラーコンディション値を算出する。そして、映像ストリームのエラーコンディション値と、フレームスキップによる映像ストリームのエラーコンディション値に基づいて、映像ストリームの推定評価値、フレームスキップによる推定評価値、総合推定評価値を算出し、主観評価値のレンジへ正規化して出力する
【選択図】図1
Description
本発明は、通信ネットワークなどを介して転送された映像ストリームのデコード情報に基づいてその映像の品質の評価を定量的に行う映像品質測定装置および映像品質測定方法ならびにそのプログラムに関する。
インターネットなどの通信ネットワーク回線にエンコードした映像データのストリームを送信して、映像を配信するサービスが近年多くなっている。そして、このような映像配信サービスにおける映像品質の評価方法に関する仕様について非特許文献1に公開されている。
ITU-T Recommendation J.143,"User requirements for objective perceptual video quality measurements in digital cable television"05/2000.
ITU-T Recommendation J.143,"User requirements for objective perceptual video quality measurements in digital cable television"05/2000.
上述のような通信ネットワーク回線による映像の送信においては、映像のコマ落ちやマクロブロック単位の劣化を原画像を用いることなく、速やかに評価する方法を利用し、映像配信サービスの定量化を図ることが必要となっている。
そこでこの発明は、映像のコマ落ちなどの不具合に関する評価や、マクロブロック単位の劣化に関する評価など個々の評価法を利用し、総合的な評価により映像配信サービスの定量化を行うことができる映像品質測定装置および映像品質測定方法ならびにそのプログラムを提供することを目的としている。
本発明は、上述の課題を解決すべくなされたもので、受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出する部分デコード手段と、前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出する手段と、前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する手段と、前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する手段と、前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定する手段と、前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定する手段と、所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定する手段と、前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出する手段と、前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力する手段と、を備えることを特徴とする映像品質測定装置である。
また本発明は、上述の映像品質測定装置において、前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出する手段と、前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出する手段と、前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力する手段と、を備えることを特徴とする。
また本発明は、上述の映像品質測定装置において、前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出する手段と、前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力する手段と、を備えることを特徴とする。
また本発明は、受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出し、前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出し、前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出し、前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出し、前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定し、前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定し、所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定し、前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出し、前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力することを特徴とする映像品質測定方法である。
また本発明は、上述の映像品質測定方法において、前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出し、前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出し、前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力することを特徴とする。
また本発明は、上述の映像品質測定方法において、前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出し、前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力することを特徴とする。
また本発明は、受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出する部分デコード処理と、前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出する処理と、前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する処理と、前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する処理と、前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定する処理と、前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定する処理と、所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定する処理と、前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出する処理と、前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力する処理と、を映像品質測定装置のコンピュータに実行させるプログラムである。
また本発明は、上述のプログラムの処理に加え、前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出する処理と、前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出する処理と、前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力する処理と、を映像品質測定装置のコンピュータに実行させるプログラムである。
また本発明は、上述のプログラムの処理に加え、前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出する処理と、前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力する処理と、を映像品質測定装置のコンピュータに実行させるプログラムである。
本発明によれば、映像のフレームスキップなどの不具合に関する評価や、その他の映像の劣化に関する評価など個々の評価法を利用し、総合的な評価により映像配信サービスの定量化を行うことができる。また、本発明はネットワーク上で送信した映像の品質が劣化する現象を定量的に評価する技術であり、パケットロス率などでネットワークの品質を表すのと異なり映像を受け取るユーザの評価に即した指標となる。これにより、映像配信サービスにおいて映像品質を正確に把握することができるようになり、また、計算コストがデコード処理と比較しても小さなものであるため、ネットワークの中継網で動作させて映像品質の管理ができることなどが期待できる。
以下、本発明の一実施形態による映像品質測定装置を図面を参照して説明する。図1は本実施形態による映像品質測定装置の構成を示すブロック図である。この図において、符号1は映像品質測定装置である。そして映像品質測定装置1において、符号101は通信ネットワークを介して送られてきた映像データのストリームを用いて部分デコードの処理を行う部分デコード処理部である。また102は部分デコード処理部101において算出されたデコード情報を基にストリーム内の各フレームのエラーコンディション値や、所定の間隔の映像ストリームのエラーコンディション値や、映像ストリームの推定評価値を算出するフレームエラー処理部である。また103は部分デコード処理部101において算出されたデコード情報などを基にフレームスキップによるエラーコンディション値や、フレームスキップ発生による推定評価値を算出するフレームスキップ処理部である。また104は上記各エラーコンディション値に基づいて、総合推定評価値を算出する総合評価処理部である。
本実施形態における映像品質測定装置1は、通信ネットワークを介して接続されたサーバなどの他のコンピュータのエンコーダでエンコードされた映像を受信し、デコードした映像の定量的な評価値である各推定評価値を後述する処理により算出する。
図2はMPEG2のデコード処理を行なう機能ブロックを示す図である。
この図においてMPEGシステム部分、受信バッファ、VLCデコーダが図1で示した部分デコード処理部101に対応する機能部である。そして、部分デコード処理部101においては、MPEGシステム部分の機能部において抽出されたエレメンタリストリーム(ビデオのビット列)を受信バッファで蓄積し、VLCデコーダ(可変長符号デコーダ)において、当該映像のMEPEG2エレメンタリストリームのVLCデコードの処理を行う。このVLCデコードの処理により、部分デコード処理部101は各種デコード情報を算出する。つまり部分デコードとは、図2の機能ブロック図で示すMEPEG2のデコード処理において、VLCデコーダが処理を行うまでのデコード処理のことを言う。
この図においてMPEGシステム部分、受信バッファ、VLCデコーダが図1で示した部分デコード処理部101に対応する機能部である。そして、部分デコード処理部101においては、MPEGシステム部分の機能部において抽出されたエレメンタリストリーム(ビデオのビット列)を受信バッファで蓄積し、VLCデコーダ(可変長符号デコーダ)において、当該映像のMEPEG2エレメンタリストリームのVLCデコードの処理を行う。このVLCデコードの処理により、部分デコード処理部101は各種デコード情報を算出する。つまり部分デコードとは、図2の機能ブロック図で示すMEPEG2のデコード処理において、VLCデコーダが処理を行うまでのデコード処理のことを言う。
図3はデコード情報に含まれる情報の一覧を示す図である。
デコード情報は、フレーム毎、またはマクロブロック毎に部分デコード処理部101で出力され、図3に示すようにフレームに関するデコード情報には、トップフィールドファースト、ピクチャーコーディングタイプ、テンポラルリファレンス、画像サイズ幅、画像サイズ高さ、アスペクト比などである。また図3に示すようにマクロブロックに関するデコード情報には、マクロブロックタイプ、QP値、コーデッドブロックパターン、DCTタイプ、動きベクトル、フレームモーションタイプ、モーションタイプ、モーションバーチカルフィールドセレクト、DCT直流成分、エラーコードなどである。
デコード情報は、フレーム毎、またはマクロブロック毎に部分デコード処理部101で出力され、図3に示すようにフレームに関するデコード情報には、トップフィールドファースト、ピクチャーコーディングタイプ、テンポラルリファレンス、画像サイズ幅、画像サイズ高さ、アスペクト比などである。また図3に示すようにマクロブロックに関するデコード情報には、マクロブロックタイプ、QP値、コーデッドブロックパターン、DCTタイプ、動きベクトル、フレームモーションタイプ、モーションタイプ、モーションバーチカルフィールドセレクト、DCT直流成分、エラーコードなどである。
図4は映像品質測定装置の処理フローを示す図である。
次に映像品質測定装置1の処理フローについて説明する。
映像品質測定装置1においては、まず、部分デコード処理部101が映像ストリームのうち、MPEG−2エレメンタリストリームを部分デコードする(ステップS101)。そして部分デコード処理部101のVLCデコーダが、デコードに成功したフレームの情報とデコードに失敗したフレームのエラー情報とをデコード情報として算出し、エラーコンディション値算出部102、フレームスキップ処理部103へ出力する。この部分デコードの処理により、ストリームデータ中にエラーが含まれている場合は、そのエラーが発生したデータから作成される映像への影響範囲を特定することができる
次に映像品質測定装置1の処理フローについて説明する。
映像品質測定装置1においては、まず、部分デコード処理部101が映像ストリームのうち、MPEG−2エレメンタリストリームを部分デコードする(ステップS101)。そして部分デコード処理部101のVLCデコーダが、デコードに成功したフレームの情報とデコードに失敗したフレームのエラー情報とをデコード情報として算出し、エラーコンディション値算出部102、フレームスキップ処理部103へ出力する。この部分デコードの処理により、ストリームデータ中にエラーが含まれている場合は、そのエラーが発生したデータから作成される映像への影響範囲を特定することができる
次にエラーコンディション値の算出処理を行う。
(画素輝度の差分絶対値の算出1)
図5はエラーコンディション値算出のための処理を示す第1の図である。
この図ではエラーの発生したフレームと時系列的にそのフレームの前方および後方のIフレーム{フレーム内(Intra frame)符号化画面。このフレームでは、すべてのマクロブロックがIntra符号化される}それぞれを用いて、エラー発生フレーム内のエラー発生マクロブロックとそのフレーム内位置に対応した各Iフレーム内のマクロブロックおよびそのマクロブロック近傍の8つのマクロブロックを示している。まずエラーの発生したマクロブロックに対してフレームエラーコンディション値の算出処理を行うにあたり、フレームエラー処理部102は、エラーの発生したフレームの前後のIフレームにおいてエラーの発生した位置と同じフレーム内位置のマクロブロックを中心にした3x3のマクロブロックについて、前後の対応するマクロブロック間で画素輝度の差分の絶対値の平均を計算する。なお、時系列的に後方のIフレームにおいてエラーが発生した場合は、当該後方のIフレームにおけるエラーの発生したマクロブロックおよびその近傍の8つのマクロブロックと、前方のIフレームにおいてフレーム内位置の同一となる各9つのマクロブロックとで画素輝度の差分の絶対値の平均を求める。つまりフレームエラー処理部102は、映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出している。この値は各9つのマクロブロックのエラーコンディション値の候補と設定される。
(画素輝度の差分絶対値の算出1)
図5はエラーコンディション値算出のための処理を示す第1の図である。
この図ではエラーの発生したフレームと時系列的にそのフレームの前方および後方のIフレーム{フレーム内(Intra frame)符号化画面。このフレームでは、すべてのマクロブロックがIntra符号化される}それぞれを用いて、エラー発生フレーム内のエラー発生マクロブロックとそのフレーム内位置に対応した各Iフレーム内のマクロブロックおよびそのマクロブロック近傍の8つのマクロブロックを示している。まずエラーの発生したマクロブロックに対してフレームエラーコンディション値の算出処理を行うにあたり、フレームエラー処理部102は、エラーの発生したフレームの前後のIフレームにおいてエラーの発生した位置と同じフレーム内位置のマクロブロックを中心にした3x3のマクロブロックについて、前後の対応するマクロブロック間で画素輝度の差分の絶対値の平均を計算する。なお、時系列的に後方のIフレームにおいてエラーが発生した場合は、当該後方のIフレームにおけるエラーの発生したマクロブロックおよびその近傍の8つのマクロブロックと、前方のIフレームにおいてフレーム内位置の同一となる各9つのマクロブロックとで画素輝度の差分の絶対値の平均を求める。つまりフレームエラー処理部102は、映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出している。この値は各9つのマクロブロックのエラーコンディション値の候補と設定される。
(画素輝度の差分絶対値の算出2)
図6はエラーコンディション値算出のための処理を示す第2の図である。
図7はエラーコンディション値算出のための処理を示す第3の図である。
図8はエラーコンディション値算出のための処理を示す第4の図である。
背景が静止している場合はフレーム内の同一位置が映像としても同じ物であるため、差分を取るのに相応しいが、背景がスクロールする場合は異なる絵柄を比べることになる。また大きくスクロールする場合などにその差が大きくなりすぎることがあるためスクロールの動きを加味して画素輝度の差分を取ることが必要な場合がある。従って、次にフレームエラー処理部102は、前後のIフレームの間にあるPフレーム{フレーム間(Predictive)予測符号化画面。マクロブロック毎Intra符号化とInter符号化が選択できるフレームタイプである}の動きベクトルを分析して2つのIフレーム間におけるマクロブロックのスクロール動きベクトルを取得する。
図6はエラーコンディション値算出のための処理を示す第2の図である。
図7はエラーコンディション値算出のための処理を示す第3の図である。
図8はエラーコンディション値算出のための処理を示す第4の図である。
背景が静止している場合はフレーム内の同一位置が映像としても同じ物であるため、差分を取るのに相応しいが、背景がスクロールする場合は異なる絵柄を比べることになる。また大きくスクロールする場合などにその差が大きくなりすぎることがあるためスクロールの動きを加味して画素輝度の差分を取ることが必要な場合がある。従って、次にフレームエラー処理部102は、前後のIフレームの間にあるPフレーム{フレーム間(Predictive)予測符号化画面。マクロブロック毎Intra符号化とInter符号化が選択できるフレームタイプである}の動きベクトルを分析して2つのIフレーム間におけるマクロブロックのスクロール動きベクトルを取得する。
図6で示すようにあるフレーム内の各マクロブロックに対応するデコード情報内には動きベクトルが含まれている。これにより時系列的に連続する2つのIフレーム間のPフレームについて各マクロベクトルの動きベクトルを読み取り、そのPフレームに含まれる各マクロベクトルの動きベクトルのうち最頻値となる動きベクトルをそのPフレームのスクロール動きベクトル(Pフレーム自体の動きベクトル)とする。そして、図7で示すようにIフレーム間の各Pフレームのスクロール動きベクトルを足し合わせて、Iフレーム間のスクロール動きベクトルとする。また図8で示すように、エラーの発生したPフレームにおけるエラー発生マクロブロックのフレーム内位置と同位置の後方Iフレームのマクロブロックの位置(またはエラー発生したマクロブロックが後方のIフレーム内であればそのマクロブロックの位置)を特定し、当該位置から、前記足し合わせにより得られたスクロール動きベクトル分移動した位置のマクロブロックであって前方のIフレームのマクロブロックを特定する。そして、特定した後方Iフレームのマクロブロックおよびその近傍8マクロブロックと、特定した前方Iフレームのマクロブロックおよびその近傍8マクロブロックについて、対応する位置のマクロブロック間の画素輝度の差分絶対値の平均を求める。
つまり、この処理は、連続する2つのIフレームの間のPフレームの各マクロブロックについて動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルとして算出し、また連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出する。また後方のIフレームのマクロブロックであってエラーフレーム(後方Iフレームまたは2つのIフレーム間のPフレーム)におけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置からIフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとについて、対応する位置のマクロブロック間の画素輝度の差分の絶対値の平均を算出する。この値は各9つのマクロブロックのエラーコンディション値の候補と設定される。
(画素輝度の差分絶対値の算出3)
図9はエラーコンディション値算出のための処理を示す第5の図である。
スクロール動きベクトルを用いることでスクロールする背景部分にエラーが発生した場合は追跡可能であるが前景部分やズームイン、ズームアウトの場合はカバーできない。そのためここのマクロブロックでも動きベクトルを追跡して参照位置を割り出すことを行なう。
図9はエラーコンディション値算出のための処理を示す第5の図である。
スクロール動きベクトルを用いることでスクロールする背景部分にエラーが発生した場合は追跡可能であるが前景部分やズームイン、ズームアウトの場合はカバーできない。そのためここのマクロブロックでも動きベクトルを追跡して参照位置を割り出すことを行なう。
フレームエラー処理部102は次に、エラーが発生したIフレーム(I1とする){またはエラーが発生したPフレームから時系列的に後方のIフレーム(I1)}の各マクロブロックについて、当該マクロブロックに対応する時系列的に前方のIフレーム(I2とする)のマクロブロックを特定する。そして、エラーが発生したIフレーム(I1){またはエラーが発生したPフレームの時系列的に次のIフレーム(I1)}のあるマクロブロック(M1)を特定し、当該マクロブロック(M1)とフレーム内が同一位置のマクロブロック(m1とする)を時系列的に直前のPフレーム(P1とする)において特定し、そのマクロブロック(m1)のデコード情報を読み取る。そして、そのマクロブロック(m1)のデコード情報から動きベクトル(v1とする)を読み取り、マクロブロック(m1)と同一位置のマクロブロックをその前のPフレーム(P2とする)において特定し、当該マクロブロックの位置から動きベクトル(v1)分移動したマクロブロック(m2)を特定してデコード情報を読み取る。
また同様に、そのマクロブロック(m2)のデコード情報から動きベクトル(v2とする)を読み取り、マクロブロック(m2)と同一位置のマクロブロックをその前のPフレーム(P3とする)において特定し、当該マクロブロックの位置から動きベクトル(v2)分移動したマクロブロック(m3)を特定してデコード情報を読み取る。そして、この処理をIフレーム(I2)の直後のPフレーム(Pn)まで順次行い、Pフレーム(Pn)で特定したマクロブロック(mn)のフレーム内位置と同一のIフレーム(I2)内のマクロブロック(M2)を特定する。そしてフレームエラー処理部102は、Iフレーム(I1)内のマクロブロック(M1)およびその近傍8つのマクロブロックと、Iフレーム(I2)内のマクロブロック(M2)およびその近傍8つのマクロブロックとについて、対応する位置のマクロブロック間の画素輝度の差分絶対値の平均を求める。
つまりこの処理は、連続する2つのIフレームのうち、後方のIフレーム(I1)または2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって後方のIフレーム(I1)のマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって後方のIフレーム(I1)の直前のPフレーム(P1)のマクロブロックから動きベクトル(v1)を読み取り、そのPフレームの直前のPフレーム(P2)のマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトル(v1)だけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前方のIフレーム(I2)の直後のPフレーム(Pn)まで順に行って、後方のIフレーム(I1)の直前のPフレーム(P1)において特定したマクロブロック(m1)と同一フレーム内位置の後方のIフレーム(I1)のマクロブロック(M1)およびその周辺のマクロブロックと、前方のIフレーム(I2)の直後のPフレーム(Pn)において特定したマクロブロック(mn)と同一フレーム内位置の前方のIフレーム(I2)のマクロブロック(M2)およびその周辺のマクロブロックとについて、対応する位置のマクロブロック間の画素輝度の差分の絶対値の平均を算出している。この値は各9つのマクロブロックのエラーコンディション値の候補と設定される。
そしてフレームエラー処理部102は、フレーム内の各マクロブロックについて、上述した画素輝度の差分絶対値の算出1〜3で得られたエラーコンディション値の候補のうち、最も小さい値をそのマクロブロックのエラーコンディション値とする(ステップS102)。なおエラーコンディション値の候補が設定されていないマクロブロックについてはエラーコンディション値は0とする。
図10はフレームのエラーコンディション値の算出処理の概要を示す図である。
次にフレームエラー処理部102は、各フレームのエラーコンディション値を算出する。フレームのエラーコンディション値は上述の処理においてフレーム内の各マクロブロックについて算出したエラーコンディション値の平均である。図9に示すように、フレーム内の各マクロブロックをa1,a2,a3,a4・・・am1(m1=x×y)とすると、フレームエラー処理部102はフレームのエラーコンディション値(FrameEC)を下記(式1)により算出する(ステップS103)。
次にフレームエラー処理部102は、各フレームのエラーコンディション値を算出する。フレームのエラーコンディション値は上述の処理においてフレーム内の各マクロブロックについて算出したエラーコンディション値の平均である。図9に示すように、フレーム内の各マクロブロックをa1,a2,a3,a4・・・am1(m1=x×y)とすると、フレームエラー処理部102はフレームのエラーコンディション値(FrameEC)を下記(式1)により算出する(ステップS103)。
図11は映像ストリームのエラーコンディション値の算出処理の概要を示す図である。
次にフレームエラー処理部102は、映像ストリームのエラーコンディション値を算出する。映像ストリームのエラーコンディション値は上述の処理において各フレームについて算出したエラーコンディション値の平均である。つまり、図11で示すように、映像ストリームにおける各フレームをb1,b2,b3,b4・・・bm2とすると、フレームエラー処理部102は映像ストリームのエラーコンディション値(StreamEC)を下記(式2)により算出する(ステップS104)。
次にフレームエラー処理部102は、映像ストリームのエラーコンディション値を算出する。映像ストリームのエラーコンディション値は上述の処理において各フレームについて算出したエラーコンディション値の平均である。つまり、図11で示すように、映像ストリームにおける各フレームをb1,b2,b3,b4・・・bm2とすると、フレームエラー処理部102は映像ストリームのエラーコンディション値(StreamEC)を下記(式2)により算出する(ステップS104)。
次に総合評価処理部104が映像ストリームのエラーコンディション値から映像ストリームの推定評価値(FrameInfValue)を下記(式3)により算出する(ステップS105)。
(フレームスキップによる推定評価の算出)
図12はフレームスキップの概要を説明する図である。
フレームスキップとは、複数のフレームからなる一連の映像ストリームにおいて、幾つかのフレームが抜け落ちる(フレームのデータ破損、未受信など)現象をいう。そして、フレームスキップによる映像の劣化は、各フレーム内におけるエラーとは主観品質の影響が異なる為、フレームスキップについてのエラーコンディション値が別途計算される。図12よりd1,d2をフレームスキップ長(msec:ミリ秒)とし、長さnの映像ストリームにおいてk回のフレームスキップが発生した場合、フレームスキップ処理部103はそのフレームスキップによるエラーコンディション値(SkipEC)を(式4)により算出する。また総合評価処理部104は、フレームスキップによるエラーコンディション値を元に、フレームスキップによる推定評価(SkipInfValue)を(式5)を用いて算出する(ステップS106)。
図12はフレームスキップの概要を説明する図である。
フレームスキップとは、複数のフレームからなる一連の映像ストリームにおいて、幾つかのフレームが抜け落ちる(フレームのデータ破損、未受信など)現象をいう。そして、フレームスキップによる映像の劣化は、各フレーム内におけるエラーとは主観品質の影響が異なる為、フレームスキップについてのエラーコンディション値が別途計算される。図12よりd1,d2をフレームスキップ長(msec:ミリ秒)とし、長さnの映像ストリームにおいてk回のフレームスキップが発生した場合、フレームスキップ処理部103はそのフレームスキップによるエラーコンディション値(SkipEC)を(式4)により算出する。また総合評価処理部104は、フレームスキップによるエラーコンディション値を元に、フレームスキップによる推定評価(SkipInfValue)を(式5)を用いて算出する(ステップS106)。
(エラーコンディション値による総合推定評価)
次に総合評価処理部104が、映像ストリームのエラーコンディション値(StreamEC)と、フレームスキップによるエラーコンディション値(SkipEC)の総合推定評価値を算出する。ここでこの処理は、映像ストリームによるエラーコンディション値と、フレームスキップによるエラーコンディション値とフレームのエラーコンディション値は、それぞれ特性を決定するためのパラメータ(α,β,γ,δ)が異なる。従って、各エラーコンディション値は単純に足し合わせることが不可能なため、総合評価処理部104は式(6)を用いて、フレームスキップエラーコンディション値(SkipEC)を映像ストリームのエラーコンディション値(SkipEC´とする)の単位へ変換する(ステップS107)。
次に総合評価処理部104が、映像ストリームのエラーコンディション値(StreamEC)と、フレームスキップによるエラーコンディション値(SkipEC)の総合推定評価値を算出する。ここでこの処理は、映像ストリームによるエラーコンディション値と、フレームスキップによるエラーコンディション値とフレームのエラーコンディション値は、それぞれ特性を決定するためのパラメータ(α,β,γ,δ)が異なる。従って、各エラーコンディション値は単純に足し合わせることが不可能なため、総合評価処理部104は式(6)を用いて、フレームスキップエラーコンディション値(SkipEC)を映像ストリームのエラーコンディション値(SkipEC´とする)の単位へ変換する(ステップS107)。
そして、総合評価処理部104が、映像ストリームのエラーコンディション値(StreamEC)と、フレームスキップによるエラーコンディション値の変換結果(SkipEC´)の値とを用いて、総合推定評価値(TotalInfValue)を式(7)を用いて算出する(ステップS108)。
そして総合評価処理部104は、映像ストリームの推定評価(FrameInfValue)と、フレームスキップによる推定評価(SkipInfValue)と、総合推定評価値(TotalInfValue)と、をそれぞれ正規化し、主観評価値の単位(1〜5)の範囲にあわせ、出力する(ステップS109)。なお、全くエラーがない場合の推定評価値を5とするため、例えば1〜4.6程度に、映像ストリームの推定評価(FrameInfValue)や、フレームスキップによる推定評価(SkipInfValue)や、総合推定評価値(TotalInfValue)の値を正規化して出力する。これにより、映像ストリームの推定評価(FrameInfValue)単独、フレームスキップによる推定評価(SkipInfValue)単独での推定評価の評価値と、総合推定評価値(TotalInfValue)を算出することができる。
図13は映像ストリームの推定評価の評価値と主観評価値の関係を示す図である。
図14はフレームスキップによる推定評価の評価値と主観評価値の関係を示す図である。
図15は総合推定評価値と主観評価値の関係を示す図である。
図16は全ての評価値と主観評価値との関係を示す図である。
ここで、主観評価値の単位1〜5は、1:エラーが非常に邪魔になる、2:エラーが邪魔になる、3:エラーは気になるが邪魔にならない、4:エラーがわかるが気にならない、5:分からない、という基準で行っている。図13で示すように、複数の映像から映像品質測定装置が算出した映像ストリームの推定評価の評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。また図14で示すように、複数の映像から映像品質測定装置が算出したフレームスキップによる推定評価の評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。
図14はフレームスキップによる推定評価の評価値と主観評価値の関係を示す図である。
図15は総合推定評価値と主観評価値の関係を示す図である。
図16は全ての評価値と主観評価値との関係を示す図である。
ここで、主観評価値の単位1〜5は、1:エラーが非常に邪魔になる、2:エラーが邪魔になる、3:エラーは気になるが邪魔にならない、4:エラーがわかるが気にならない、5:分からない、という基準で行っている。図13で示すように、複数の映像から映像品質測定装置が算出した映像ストリームの推定評価の評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。また図14で示すように、複数の映像から映像品質測定装置が算出したフレームスキップによる推定評価の評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。
また図15で示すように、複数の映像から映像品質測定装置1が算出した総合推定評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。なお総合推定評価値は映像ストリームのエラーコンディション値(StreamEC)と、フレームスキップによるエラーコンディション値の変換結果(SkipEC´)を足し合わされているので、推定評価の評価値が下がっていることが分かる。また図16で示すように、全ての評価値と、その映像を実際に人が主観で判定した結果とはほぼ結果が一致することが分かる。従って、映像品質測定装置1による映像品質の推定の精度が良いことが、図13〜図16により確認できる。これにより、映像停止などの不具合に関する評価や、映像自身の劣化に関する評価など個々の評価法を利用し、総合的な評価により映像配信サービスの定量化を行うことができる。また、本発明はネットワーク上で発生するパケットロスの影響により映像品質が劣化する現象を定量的に評価する技術であり、パケットロス率などでネットワークの品質を表すのと異なり映像を受け取るユーザの評価に即した指標となる。これにより、映像配信サービスにおいて映像品質を正確に把握することができるようになり、また、計算コストがデコード処理と比較しても小さなものであるため、ネットワークの中継網で動作させて映像品質の管理ができることなどが期待できる。またフレームスキップのエラーに対する評価も複合して行うことができる。
なお上述の映像品質測定装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1・・・映像品質測定装置、101・・・部分デコード処理部、102・・・フレームエラー処理部、103・・・フレームスキップ処理部、104・・・総合評価処理部
Claims (9)
- 受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出する部分デコード手段と、
前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出する手段と、
前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する手段と、
前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する手段と、
前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定する手段と、
前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定する手段と、
所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定する手段と、
前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出する手段と、
前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力する手段と、
を備えることを特徴とする映像品質測定装置。 - 前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出する手段と、
前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出する手段と、
前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力する手段と、
を備えることを特徴とする請求項1に記載の映像品質測定装置。 - 前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出する手段と、
前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力する手段と、
を備えることを特徴とする請求項2に記載の映像品質測定装置。 - 受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出し、
前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出し、
前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出し、
前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出し、
前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定し、
前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定し、
所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定し、
前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出し、
前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力する
ことを特徴とする映像品質測定方法。 - 前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出し、
前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出し、
前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力する
ことを特徴とする請求項4に記載の映像品質測定方法。 - 前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出し、
前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力する
ことを特徴とする請求項5に記載の映像品質測定方法。 - 受信したMPEG−2形式の映像データのストリームを部分デコードし、前記映像データの各フレームの各マクロブロックについて、デコード情報を算出する部分デコード処理と、
前記映像データの連続する2つのIフレームのうち時系列的に後方のIフレームまたはそれらIフレームの間のPフレームのいずれかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置の前記2つのIフレームの各マクロブロックおよびその周辺のマクロブロックの画素輝度の差分の絶対値の平均値を算出する処理と、
前記連続する2つのIフレームの間のPフレームのマクロブロックについて前記動きベクトルを読み取ってその最頻値を当該Pフレームのスクロール動きベクトルと算出し、前記連続する2つのIフレームの間の各Pフレームの動きベクトルの最頻値を全て加算してIフレーム間スクロール動きベクトルを算出し、前記後方のIフレームのマクロブロックであってエラーフレームにおけるエラーの発生したマクロブロックと同一のフレーム内位置のマクロブロックおよびその周辺のマクロブロックと、当該マクロブロックのフレーム内位置から前記Iフレーム間スクロール動きベクトル分移動したフレーム内位置のマクロブロックであって前記連続する2つのIフレームのうち時系列的に前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する処理と、
前記後方のIフレームまたは前記2つのIフレームの間のPフレームの何れかにおいて、エラーの発生したマクロブロックのフレーム内位置を特定し、そのフレーム内位置と同一位置のマクロブロックであって前記後方のIフレームのマクロブロックを特定し、当該マクロブロックと同一のフレーム内位置のマクロブロックであって前記後方のIフレームの直前のPフレームのマクロブロックから前記動きベクトルを読み取り、そのPフレームの直前のPフレームのマクロブロックであって当該マクロブロックのフレーム内位置から前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックを特定し、前記動きベクトルの読み取りと、前記読み取った動きベクトルだけフレーム内位置を移動したマクロブロックの特定とを、前記前方のIフレームの直後のPフレームまで順に行って、前記後方のIフレームの直前のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記後方のIフレームのマクロブロックおよびその周辺のマクロブロックと、前記前方のIフレームの直後のPフレームにおいて特定したマクロブロックと同一フレーム内位置の前記前方のIフレームのマクロブロックおよびその周辺のマクロブロックとの、画素輝度の差分の絶対値の平均を算出する処理と、
前記マクロブロックおよびその周辺のマクロブロックそれぞれについて、前記算出した画素輝度の差分の絶対値の平均のうち最も小さい値を、そのマクロブロックのエラーコンディション値として設定する処理と、
前記映像データのフレームそれぞれについて、フレームに含まれる全てのマクロブロックのエラーコンディション値の平均を算出し、その値をそのフレームエラーコンディション値と設定する処理と、
所定の数のフレームを含む映像データのストリームについて、それら所定の数のフレームエラーコンディション値の平均を算出し、その値をそのストリームのストリームエラーコンディション値と設定する処理と、
前記ストリームエラーコンディション値をストリームの推定評価算出式に代入し、ストリームの推定評価値を算出する処理と、
前記ストリームの推定評価値を主観評価値のレンジへ正規化して出力する処理と、
を映像品質測定装置のコンピュータに実行させるプログラム。 - 請求項7の処理に加え、
前記映像データのビットストリームのうち1つ以上のフレームスキップが発生した場合には、それら各フレームスキップのスキップ長をスキップエラーコンディション値算出式に代入し、スキップエラーコンディション値を算出する処理と、
前記算出したスキップエラーコンディション値をフレームスキップ発生による推定評価算出式に代入し、フレームスキップ発生による推定評価値を算出する処理と、
前記算出したフレームスキップ発生による推定評価値を主観評価値のレンジへ正規化して出力する処理と、
を映像品質測定装置のコンピュータに実行させるプログラム。 - 請求項8の処理に加え、
前記ストリームエラーコンディション値または前記スキップエラーコンディション値の何れか一方を、他方のエラーコンディション値の単位に合わせ合成し、合成による推定評価値算出式に代入し、合成による推定評価値を算出する処理と、
前記算出した合成による推定評価値を主観評価値のレンジへ正規化して出力する処理と、
を映像品質測定装置のコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006033902A JP2007214991A (ja) | 2006-02-10 | 2006-02-10 | 映像品質測定装置および映像品質測定方法ならびにそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006033902A JP2007214991A (ja) | 2006-02-10 | 2006-02-10 | 映像品質測定装置および映像品質測定方法ならびにそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007214991A true JP2007214991A (ja) | 2007-08-23 |
Family
ID=38493019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006033902A Withdrawn JP2007214991A (ja) | 2006-02-10 | 2006-02-10 | 映像品質測定装置および映像品質測定方法ならびにそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007214991A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135769A (ja) * | 2007-11-30 | 2009-06-18 | Toshiba Corp | 画像処理装置 |
EP2207361A1 (en) * | 2009-01-09 | 2010-07-14 | Vestel Elektronik Sanayi ve Ticaret A.S. | A test system and method for imaging devices |
JP2011019128A (ja) * | 2009-07-09 | 2011-01-27 | Nec Corp | 画質評価装置、画質評価方法及びそのプログラム |
JP2015144473A (ja) * | 2010-01-11 | 2015-08-06 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | 映像品質推定技術 |
-
2006
- 2006-02-10 JP JP2006033902A patent/JP2007214991A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135769A (ja) * | 2007-11-30 | 2009-06-18 | Toshiba Corp | 画像処理装置 |
EP2207361A1 (en) * | 2009-01-09 | 2010-07-14 | Vestel Elektronik Sanayi ve Ticaret A.S. | A test system and method for imaging devices |
JP2011019128A (ja) * | 2009-07-09 | 2011-01-27 | Nec Corp | 画質評価装置、画質評価方法及びそのプログラム |
JP2015144473A (ja) * | 2010-01-11 | 2015-08-06 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | 映像品質推定技術 |
US10728538B2 (en) | 2010-01-11 | 2020-07-28 | Telefonaktiebolaget L M Ericsson(Publ) | Technique for video quality estimation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6104301B2 (ja) | 映像品質推定技術 | |
JP5957532B2 (ja) | ビデオシーケンスにおける知覚品質評価のためのシーン変化検出 | |
JP4234771B2 (ja) | 送信装置 | |
JP5911563B2 (ja) | ビットストリームレベルで動画品質を推定する方法及び装置 | |
JP4939890B2 (ja) | 映像符号化装置、映像復号化装置及び映像復号化方法 | |
JP4739295B2 (ja) | 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2007214991A (ja) | 映像品質測定装置および映像品質測定方法ならびにそのプログラム | |
US8755613B2 (en) | Method for measuring flicker | |
JP3733083B2 (ja) | 映像品質評価支援装置、及び映像品質評価支援プログラム | |
JP4740967B2 (ja) | 映像品質推定装置、方法、およびプログラム | |
JP2009171023A (ja) | 画質評価装置、画質評価方法、画質評価用プログラム、及び映像受信端末 | |
JP2009194610A (ja) | 映像品質推定装置、方法、およびプログラム | |
JP2006157668A (ja) | 映像品質測定装置および映像品質測定方法ならびにそのプログラム | |
JP4398390B2 (ja) | フェード検出装置 | |
JP4464460B2 (ja) | 多重化データ生成方法および多重化データ生成装置 | |
JP2008042769A (ja) | 動画像復号装置及び動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |