JP2005094479A - 映像品質評価支援装置及び映像品質評価支援プログラム - Google Patents

Abstract

【課題】 符号化映像（ビットストリーム）の復号時に得られる中間画像を可視化することで、符号化に伴う画質劣化の原因を特定することが可能な映像品質評価支援装置を提供する。
【解決手段】 映像品質評価支援装置２０は、動き補償予測手段２７で生成された動き補償予測画像を、各ブロック（マクロブロック）毎に、予測モードの種別や、動きベクトルの大きさに基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する動き補償予測画像可視化手段３０と、逆ＤＣＴ手段２４で生成された予測誤差画像の各ブロック毎に、符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する予測誤差画像可視化手段４０と、を備えていることを特徴とする。
【選択図】 図２

Description

本発明は、映像を符号化した符号化映像の復号時に得られる中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置及び映像品質評価支援プログラムに関する。

従来、符号化装置において、映像を符号化して符号化映像（ビットストリーム）を生成し、その符号化装置が行った符号化動作が設計通りの動作であるかどうかを検証する場合がある。このようなビットストリームを検証する技術として、ビットストリームに含まれる符号化データや制御情報を数値データ化して、オフラインの状態で、その数値データを解析する技術が開示されている（特許文献１参照）。

例えば、この特許文献１で開示されているビットストリームを検証する技術を実現したビットストリーム品質解析システムは、ビットストリームから少なくとも１つのエレメンタリ・ビットストリームを分離するデマルチプレクサと、その分離されたエレメンタリ・ビットストリームからエレメンタリ・ビットストリームを特徴付けるパラメータを抽出するビットストリーム品質アナライザと、そのパラメータを表示するグラフィカル・ユーザ・インタフェースとを備え、符号化装置における動作状況の監視や、映像信号の伝送上における動作状況の確認を行うものである。

また、符号化映像を復号した映像の品質を評価するには、映像信号の信号対雑音電力比（ＳＮＲ：Ｓｉｇｎａｌ-ｔｏ-Ｎｏｉｓｅ ｐｏｗｅｒ Ｒａｔｉｏ）、ビットエラーレート（ＢＥＲ：Ｂｉｔ Ｅｒｒｏｒ Ｒａｔｅ）等の各種データを測定した数値データに基づいて、客観的に品質評価を行っていた。また、一方では、検査者がテレビ等の画面の画質等を視認することによって、主観的に評価を行っていた。
特開平１０−２８５５９４号公報（段落００１８〜００２０、図５）

前記したビットストリーム品質アナライザのような解析装置は、符号化映像（ビットストリーム）に含まれる符号化データや制御情報を、パラメータとして数値表示することで、検査者が、実時間以上の時間をかけて、符号化情報（符号化データ、制御情報）の確認を行っている。しかし、このような解析装置は、符号化装置における動作状況の監視や、映像信号の伝送上における動作状況の確認を行うものであって、復号された映像（コンテンツ）の品質評価を行うことはできない。

また、復号された映像（コンテンツ）の品質評価を評価する場合、従来のようなＳＮＲ、ＢＥＲ等の客観的な評価は、映像信号の伝送上の品質評価を目的としており、デジタル映像を動き補償予測や量子化によって符号化する際の画質劣化を評価することはできない。この符号化に伴う画質劣化を評価するには、主観的な評価を行うしか方法がなく、画質劣化が発生しても、その原因が量子化によるものであるのか、予測誤差の不具合によるものであるのか等を特定することが困難であるという問題があった。

本発明は、以上のような問題点に鑑みてなされたものであり、符号化映像（ビットストリーム）の復号時に得られる中間画像を可視化することで、符号化に伴う画質劣化の原因を特定することが可能な映像品質評価支援装置及び映像品質評価支援プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像品質評価支援装置は、映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、蓄積手段と、逆量子化手段と、逆直交変換手段と、動き補償予測手段と、動き補償予測画像可視化手段と、復号画像生成手段とを備える構成とした。

かかる構成によれば、映像品質評価支援装置は、逆量子化手段によって、量子化された符号化映像（ビットストリーム）を逆量子化する。これによって、映像を特定の大きさのブロック単位で直交変換したデータが生成される。例えば、ＭＰＥＧ−２等の符号化方式で符号化された符号化映像からは、映像を、マクロブロック単位で直交変換の１つである離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）した量子化ＤＣＴ係数が生成される。

そして、映像品質評価支援装置は、逆直交変換手段によって、逆量子化手段で逆量子化されたデータ、例えば量子化ＤＣＴ係数を逆直交変換することで、符号化時に動き補償予測された動き補償予測画像と原画像との誤差を示す予測誤差画像を生成する。ここで、逆直交変換は、符号化時に行った直交変換の逆演算である。例えば、離散コサイン変換された量子化ＤＣＴ係数を、逆離散コサイン変換（逆ＤＣＴ）することで予測誤差画像が生成される。

また、映像品質評価支援装置は、動き補償予測手段によって、符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルと、すでに１つ以上前の画像を復号し蓄積手段に蓄積されている復号画像（参照画像）とから、符号化時に動き補償予測され、参照画像から動きベクトル分動いたと予測される動き補償予測画像を生成する。一般にＭＰＥＧ−２等の符号化映像には、復号時に参照する動き補償情報が含まれている。この動き補償情報には、マクロブロックの予測の種類、例えば、前方向予測、後方向予測等を示す予測モードや、マクロブロックが参照画像に対してどの方向及びどの大きさで動いたかを示す動きベクトル等が含まれている。すなわち、復号側ではこれらの動き補償情報を参照することで、符号化映像の復号が可能になる。

そして、映像品質評価支援装置は、動き補償予測画像可視化手段によって、動き補償予測手段で生成された動き補償予測画像を、ブロック（マクロブロック）毎に、予測モードの種別や、動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する。例えば、予測モードの種別では、前方向予測には「青」、後方向予測には「赤」等の色に変換し、動きベクトルの大きさ及び方向では、その大きさ及び方向に合わせて段階的な色に変換する。なお、動き補償予測画像は、色の変換を行わずにそのままの画像を出力することとしてもよい。これによって、復号段階における中間画像である動き補償予測画像を可視化することができる。

さらに、映像品質評価支援装置は、復号画像生成手段によって、逆直交変換手段で生成された予測誤差画像と、動き補償予測手段で生成された動き補償予測画像とを加算することで、復号画像を生成する。ここで生成された復号画像は、次に入力される画像を予測するための参照画像として蓄積手段に蓄積される。

また、請求項２に記載の映像品質評価支援装置は、請求項１に記載の映像品質評価支援装置において、前記動き補償予測画像可視化手段が、色出力制限手段と、動き補償情報色合成手段とを備える構成とした。

かかる構成によれば、映像品質評価支援装置は、動き補償予測画像可視化手段の色出力制限手段によって、動き補償予測画像を無彩色化した無彩色（白黒濃淡）画像を生成し、動き補償情報色合成手段によって、その無彩色画像に対して予測モードの種別や動きベクトルの大きさ及び方向に対応する色を、色差信号を変化させることで合成する。これによって、画像内における被写体等のパターンを残したままで、色を変換することができる。なお、無彩色画像は、例えば、色差信号を色差信号の取り得る値の中間値に設定することで生成することができる。

さらに、請求項３に記載の映像品質評価支援装置は、映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、蓄積手段と、逆量子化手段と、逆直交変換手段と、予測誤差画像可視化手段と、動き補償予測手段と、復号画像生成手段とを備える構成とした。

かかる構成によれば、映像品質評価支援装置は、逆量子化手段によって、量子化された符号化映像（ビットストリーム）を逆量子化する。これによって、映像を特定の大きさのブロック単位で直交変換したデータが生成される。
そして、映像品質評価支援装置は、逆直交変換手段によって、逆量子化手段で逆量子化されたデータを逆直交変換することで、符号化時に動き補償予測された動き補償予測画像と原画像との誤差を示す予測誤差画像を生成する。

また、映像品質評価支援装置は、予測誤差画像可視化手段によって、逆直交変換手段で生成された予測誤差画像のブロック毎に、符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する。一般にＭＰＥＧ−２等の符号化映像には、マクロブロック単位に量子化のレベルを示す量子化情報（量子化スケール）が含まれている。すなわち、この量子化情報を参照することで、逆量子化手段は、量子化された符号化映像（ビットストリーム）を逆量子化することが可能になる。そこで、この予測誤差画像可視化手段は、この量子化のレベルを可視化するため、予測誤差画像のブロック毎に、そのレベルに合わせて段階的に色を合成する。これによって、復号段階における中間画像である予測誤差画像を可視化することができる。

そして、映像品質評価支援装置は、動き補償予測手段によって、符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルと、すでに１つ以上前の画像を復号し蓄積手段に蓄積されている復号画像（参照画像）とから、符号化時に動き補償予測され、参照画像から動きベクトル分動いたと予測される動き補償予測画像を生成する。
さらに、映像品質評価支援装置は、復号画像生成手段によって、予測誤差画像と動き補償予測画像とを加算することで、復号画像を生成する。

また、請求項４に記載の映像品質評価支援装置は、前記予測誤差画像可視化手段が、オフセット値加算手段と、量子化スケール色合成手段とを備える構成とした。

かかる構成によれば、映像品質評価支援装置は、予測誤差画像可視化手段のオフセット値加算手段によって、予測誤差画像の各画素値に所定のオフセット値を加算する。すなわち、予測誤差画像は、復号画像に対する誤差であるため正負の値を持つため、ここでは、予測誤差画像を可視化領域の画像に変換する。例えば、予測誤差画像に、画素値の取り得る値の中間値をオフセット値として加算することで、可視化領域画像を生成する。

さらに、請求項５に記載の映像品質評価支援装置は、映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる複数の中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、蓄積手段と、逆量子化手段と、逆直交変換手段と、予測誤差画像可視化手段と、動き補償予測手段と、動き補償予測画像可視化手段と、復号画像生成手段とを備える構成とした。

かかる構成によれば、映像品質評価支援装置は、逆量子化手段によって、量子化された符号化映像（ビットストリーム）を逆量子化する。これによって、映像を特定の大きさのブロック単位で直交変換したデータが生成される。
そして、映像品質評価支援装置は、逆直交変換手段によって、逆量子化手段で逆量子化されたデータを逆直交変換することで、符号化時に動き補償予測された動き補償予測画像と原画像との誤差を示す予測誤差画像を生成する。

さらに、映像品質評価支援装置は、予測誤差画像可視化手段によって、逆直交変換手段で生成された予測誤差画像のブロック毎に、符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する。これによって、復号段階における中間画像である予測誤差画像を可視化することができる。

また、映像品質評価支援装置は、動き補償予測手段によって、符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルと、すでに１つ以上前の画像を復号し蓄積手段に蓄積されている復号画像（参照画像）とから、符号化時に動き補償予測され、参照画像から動きベクトル分動いたと予測される動き補償予測画像を生成する。

そして、映像品質評価支援装置は、動き補償予測画像可視化手段によって、動き補償予測手段で生成された動き補償予測画像を、ブロック（マクロブロック）毎に、予測モードの種別や、動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する。これによって、復号段階における中間画像である動き補償予測画像を可視化することができる。
さらに、映像品質評価支援装置は、復号画像生成手段によって、予測誤差画像と動き補償予測画像とを加算することで、復号画像を生成する。

また、請求項６に記載の映像品質評価支援プログラムは、映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる複数の中間画像を可視化することで、復号された映像の品質評価を支援するために、コンピュータを、逆量子化手段、逆直交変換手段、予測誤差画像可視化手段、動き補償予測手段、動き補償予測画像可視化手段、復号画像生成手段として機能させることを特徴とする。

かかる構成によれば、映像品質評価支援プログラムは、逆量子化手段によって、量子化された符号化映像（ビットストリーム）を逆量子化する。これによって、映像を特定の大きさのブロック単位で直交変換したデータが生成される。
そして、映像品質評価支援プログラムは、逆直交変換手段によって、逆量子化手段で逆量子化されたデータを逆直交変換することで、符号化時に動き補償予測された動き補償予測画像と原画像との誤差を示す予測誤差画像を生成する。

さらに、映像品質評価支援プログラムは、予測誤差画像可視化手段によって、逆直交変換手段で生成された予測誤差画像のブロック毎に、符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する。これによって、復号段階における中間画像である予測誤差画像を可視化することができる。

また、映像品質評価支援プログラムは、動き補償予測手段によって、符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルと、すでに１つ以上前の画像を復号し蓄積手段に蓄積されている復号画像（参照画像）とから、符号化時に動き補償予測され、参照画像から動きベクトル分動いたと予測される動き補償予測画像を生成する。

そして、映像品質評価支援プログラムは、動き補償予測画像可視化手段によって、動き補償予測手段で生成された動き補償予測画像を、ブロック（マクロブロック）毎に、予測モードの種別や、動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する。これによって、復号段階における中間画像である動き補償予測画像を可視化することができる。
さらに、映像品質評価支援プログラムは、復号画像生成手段によって、予測誤差画像と動き補償予測画像とを加算することで、復号画像を生成する。なお、ここで生成された復号画像は、参照画像として蓄積手段に蓄積しておく。

請求項１に記載の発明によれば、符号化映像（ビットストリーム）を復号する際に、復号された復号画像とともに、符号化時に動き補償予測された動き補償予測画像を表示することが可能になる。これによって、復号画像が劣化したときに、（可視化）動き補償予測画像を参照することで、動き予測の予測精度に問題があるかどうかを視覚的に検証することが可能になる。さらに、動き補償予測画像を、予測モードの種別や動きベクトルの大きさ及び方向に対応する色に変換するため、劣化原因を特定しやすく、符号化品質を向上させるための符号化制御技術の開発を支援することができる。

請求項２に記載の発明によれば、一旦、動き補償予測画像を無彩色化し、無彩色画像に対して色を合成するため、簡単に表示させたい色に変換することができる。さらに、動き補償予測画像内における被写体等のパターンを残したままで、色を変換することができるため、復号画像との比較を容易に行うことができる。

請求項３に記載の発明によれば、符号化映像（ビットストリーム）を復号する際に、復号された復号画像とともに、動き補償予測画像と原画像との誤差を示す予測誤差画像を表示することが可能になる。これによって、復号画像が劣化したときに、（可視化）予測誤差画像を参照することで、量子化のレベルに問題があるかどうかを視覚的に検証することが可能になる。このとき、予測誤差画像を、量子化レベルを示す量子化スケールの値に対応する色に変換するため、量子化の度合いによる劣化原因を特定しやすくなる。

請求項４に記載の発明によれば、正負の値を持ち、通常では表示することができない予測誤差画像を可視化することができる。これによって、復号画像が劣化したときに、（可視化）予測誤差画像を参照することで、量子化のレベルに問題があるかどうかを視覚的に検証することが可能になる。

請求項５又は請求項６に記載の発明によれば、符号化映像（ビットストリーム）を復号する際に、復号された復号画像とともに、符号化時に動き補償予測された動き補償予測画像と、動き補償予測画像と原画像との誤差を示す予測誤差画像とを表示することが可能になる。これによって、復号画像が劣化したときに、（可視化）動き補償予測画像及び（可視化）予測誤差画像を参照することで、劣化原因として、動き予測の予測精度に問題があるのか、量子化のレベルに問題があるのかを視覚的に検証することが可能になる。また、符号化品質を向上させるための符号化制御技術の開発を支援することができる。

以下では、まず、本発明に係る映像品質評価支援装置で行う映像品質評価の概要について説明し、続けて、映像品質評価支援装置の詳細な構成及び動作について、順次説明していくこととする。

［映像品質評価の概要］
まず、図１を参照して、本発明に係る映像品質評価支援装置で行う映像品質評価の概要について説明する。図１は、本発明における映像品質評価の概要を説明するための説明図である。ここでは、符号化装置における映像の符号化の概略と、映像品質評価支援装置における復号の概略とを説明することで、映像品質評価の全体像を説明する。

符号化装置１０は、映像（コンテンツ）を提供する側に設置された映像を符号化して、符号化映像（ビットストリーム）を生成するものである。ここで生成された符号化映像は、伝送路Ｎ（例えば、通信回線、放送波等）を介して、映像の提供を受けるテレビ受像機等の復号装置（図示せず）に配信され復号される。このとき、復号装置で復号される映像（復号映像）の品質は、符号化装置１０の動き補償予測、誤差画像の符号化等、各符号化段階の内容によって左右されることになる。

映像品質評価支援装置２０は、符号化装置１０で符号化された符号化映像を復号するとともに、復号過程で生成される画像（中間画像）を可視化することで、符号化装置１０のどの符号化段階で品質が劣化しているのかを視覚的に、検査者に提示するものである。
以下、符号化方式として、直交変換にＤＣＴ（離散コサイン変換）を用いるＭＰＥＧ−２を例として、映像品質評価の概要について説明する。

（符号化装置の概要）
図１には、符号化装置１０として、映像をＭＰＥＧ−２の符号化方式で符号化する一般的な符号化装置の概略構成図を示している。
まず、符号化装置１０は、減算手段１１によって、入力された映像から、画像単位（例えば、フレーム単位）で動き補償予測手段１９で予測された動き補償予測画像を減算することで予測誤差画像を生成する。そして、符号化装置１０は、ＤＣＴ手段１２によって、減算手段１１から出力される予測誤差画像を離散コサイン変換（ＤＣＴ）して、周波数成分の大きさを表すＤＣＴ係数を生成し、量子化手段１３によって、ＤＣＴ係数を量子化して、符号量の削減を行う。

なお、量子化手段１３は、ＤＣＴ係数の中で、視覚感度の低い高周波成分を大きく削減するように予め設定した量子化テーブルに基づいて量子化を行う。また、量子化手段１３は、さらにマクロブロック単位で設定可能な量子化のレベルを示す量子化スケールに基づいてマクロブロック単位でも量子化を行う。
そして、符号化装置１０は、可変長符号化手段１４によって、量子化手段１３で量子化されたＤＣＴ係数（量子化ＤＣＴ係数）、そのとき使用した量子化スケール（量子化情報）、動き補償予測手段１９で生成される動き補償情報及びヘッダ情報（例えば、ＭＰＥＧ−２におけるシーケンスヘッダ等）から構成されるデータを生成し、可変長符号化を行うことで符号化映像（ビットストリーム）を生成する。

また、符号化装置１０は、逆量子化手段１５によって、量子化手段１３で量子化された量子化ＤＣＴ係数を、逆量子化することでＤＣＴ係数に変換し、逆ＤＣＴ手段１６によって、ＤＣＴ係数に対して逆ＤＣＴ（逆離散コサイン変換）を行う。この逆ＤＣＴによって生成された画像は、復号画像に対する予測誤差画像となる。そこで、符号化装置１０は、加算手段１７によって、この予測誤差画像と、動き補償予測手段１９によって予測された動き補償予測画像とを加算することで、復号画像を生成し、次のフレーム等の符号化を行う際の参照画像として復号画像をビデオメモリ１８に蓄積する。

そして、符号化装置１０は、動き補償予測手段１９によって、入力された画像単位の映像と、ビデオメモリ１８に蓄積されている参照画像とに基づいて、入力画像が参照画像に対してどれくらい動いたかを示すマクロブロック毎の動き予測の方向及び大きさである動きベクトルや、予測モード（前方向、後方向及び両方向の予測方向、フレーム、フィールド、デュアルプライム及び「１６×８」の動き補償予測モード）を含んだ動き補償情報を生成する。
このように、符号化装置１０は、順次動き補償予測を行いながら、直交変換並びに量子化を行うことで、データ量を削減した符号化データ（符号化映像）を生成する。

（映像品質評価支援装置の概要）
図１には、本発明に係る映像品質評価支援装置の概略構成図を示している。
まず、映像品質評価支援装置２０は、可変長復号手段２２によって、符号化装置１０で生成された符号化映像から、量子化ＤＣＴ係数、量子化情報及び動き補償情報を抽出し、逆量子化手段２３によって、量子化ＤＣＴ係数を逆量子化することでＤＣＴ係数に変換する。そして、逆ＤＣＴ手段２４によって、ＤＣＴ係数に対して逆ＤＣＴ（逆離散コサイン変換）を行う。この逆ＤＣＴによって、符号化装置１０の減算手段１１で生成される予測誤差画像が再生されることになる。

そして、映像品質評価支援装置２０は、加算手段２５によって、逆ＤＣＴ手段２４で生成された予測誤差画像と、動き補償予測手段２７によって予測された動き補償予測画像とを加算することで、復号画像を生成するとともに、次のフレーム等の復号を行う際の参照画像としてビデオメモリ２６に蓄積する。
そして、映像品質評価支援装置２０は、動き補償予測手段２７によって、可変長復号手段２２で抽出された動き補償情報に基づいて、ビデオメモリ２６に蓄積されている参照画像（例えば、１つ前のフレーム画像）から、動きベクトル分動いたと予測される動き補償予測画像を生成する。

このように、映像品質評価支援装置２０は、順次動き補償予測を行いながら、符号化装置１０における符号化手順の逆手順を実行することで、復号画像（映像）を再生する。また、映像品質評価支援装置２０は、中間画像である逆ＤＣＴ手段２４で生成された予測誤差画像と、動き補償予測手段２７で生成された動き補償予測画像とを、可視化予測誤差画像と可視化動き補償予測画像として検査者に提示する。
これによって、検査者は、復号画像が劣化したときに、可視化予測誤差画像と可視化動き補償予測画像とを参照することで、符号化装置１０における符号化段階のどの段階で品質が劣化しているのかを視覚的に検査することが可能になる。
以下、映像品質評価支援装置２０の詳細な構成及び動作について説明する。

［映像品質評価支援装置の構成］
ここでは、図２を参照して、映像品質評価支援装置の構成について説明する。図２は、本発明における映像品質評価支援装置の構成を示したブロック図である。映像品質評価支援装置２０は、入力された符号化映像（ビットストリーム）を復号するとともに、復号過程で生成される画像（中間画像）を可視化し、符号化段階のどの段階で品質が劣化しているのかを視覚的に、検査者に提示することで、映像品質の評価を支援するものである。ここでは、符号化映像を、直交変換にＤＣＴを用いたＭＰＥＧ−２によって符号化されたものとして説明を行う。

図２に示すように、映像品質評価支援装置２０は、バッファ２１と、可変長復号手段２２と、逆量子化手段２３と、逆ＤＣＴ手段２４と、加算手段２５と、ビデオメモリ２６と、動き補償予測手段２７と、フォーマット変換手段２８と、Ｄ／Ａ変換手段２９と、動き補償予測画像可視化手段３０と、出力制御手段３１と、予測誤差画像可視化手段４０と、出力制御手段４１とを備えている。

バッファ２１は、入力された符号化映像を一時的に蓄積するものであって、一般的なメモリ等の記憶媒体である。映像品質評価支援装置２０は、入力された符号化映像をバッファ２１に蓄積するとともに、可変長復号手段２２が逐次バッファ２１内の符号化映像を読み出すことで、順次復号処理を実行する。

可変長復号手段２２は、バッファ２１内の符号化映像を読み出して、可変長符号を復号し、その復号されたデータから、量子化ＤＣＴ係数、量子化情報及び動き補償情報を抽出するものである。ここで抽出された量子化ＤＣＴ係数は、逆量子化手段２３に出力され、量子化情報は、予測誤差画像可視化手段４０に出力される。また、動き補償情報は、動き補償予測手段２７及び動き補償予測画像可視化手段３０に出力される。
ここで、量子化ＤＣＴ係数とは、符号化時にブロック毎に離散コサイン変換（ＤＣＴ）した数（ＤＣＴ係数）を量子化したものである。なお、このＤＣＴ係数の量子化は、ＤＣＴ係数の値を特定の値で除算して、ＤＣＴ係数のビット数を低減することで行ったり、予め定めた周波数毎に設定された除数を量子化テーブルとして設定し、その量子化テーブルによって、各周波数におけるＤＣＴ係数のビット数を低減することにより行っている。

なお、この量子化テーブルは、一般的にフレーム単位で設定されるものであるが、さらに、情報量の調整を行いたい場合に、マクロブロック単位で指定可能な量子化スケール（１〜３１の値が指定可能）が使用される。この量子化スケールは値が大きいほど、量子化によって削減される情報量が多くなる。この量子化スケールは、ＭＰＥＧ−２では、符号化映像内のマクロブロック層に格納されている。そして、可変長復号手段２２は、量子化情報として、量子化スケールを抽出するものとする。

また、動き補償情報とは、マクロブロックの予測の種類を示す予測モード（前方向、後方向又は両方向の予測方向、フレーム、フィールド、デュアルプライム又は「１６×８」の予測方式）、当該マクロブロックの画像が参照画像に対してどの方向及びどの大きさで動いたかを示す動きベクトル等、当該マクロブロックを動き補償するために必要となる情報である。

逆量子化手段２３は、可変長復号手段２２から出力される量子化ＤＣＴ係数に対して、逆量子化を行うことで、量子化ＤＣＴ係数をＤＣＴ係数に変換するものである。ここで変換されたＤＣＴ係数は、逆ＤＣＴ手段２４に出力される。なお、この量子化ＤＣＴ係数の逆量子化は、例えば、前記した量子化テーブルと同じテーブルを用い、量子化ＤＣＴ係数に対して、量子化テーブルの値を乗算することで行う。また、量子化スケールを用いる場合も同様に、量子化ＤＣＴ係数に対して、量子化スケールの値を乗算することで、ＤＣＴ係数に変換する。

逆ＤＣＴ手段２４（逆直交変換手段）は、逆量子化手段２３で変換されたＤＣＴ係数に対して、逆ＤＣＴ（逆離散コサイン変換）を行うものである。この逆ＤＣＴによって生成される画像は、復号画像に対する予測誤差画像となる。ここで生成された予測誤差画像は、加算手段２５及び予測誤差画像可視化手段４０に出力される。なお、この逆ＤＣＴ手段２４に入力されたマクロブロックが、イントラ・マクロブロックである場合は、予測誤差画像可視化手段４０にのみ出力される。

加算手段２５（復号画像生成手段）は、逆ＤＣＴ手段２４から出力される予測誤差画像と、動き補償予測手段２７から出力される動き補償予測画像とを加算するものである。この加算された画像は、復号画像として、フォーマット変換手段２８ａに出力されるとともに、次の画像（フレーム等）を復号する際の参照画像として、ビデオメモリ２６に蓄積される。なお、加算手段２５は、イントラ・マクロブロックが入力された場合、動き補償予測画像を加算せずにそのままフォーマット変換手段２８ａに出力する。

ビデオメモリ２６（蓄積手段）は、加算手段２５から出力される復号画像を蓄積しておくものであって、一般的なメモリ等の記憶媒体である。例えば、フレーム単位で復号を行う場合、ビデオメモリ２６には、１マクロブロック毎に復号されたブロック画像が蓄積され、１つのフレームとして生成される。なお、このビデオメモリ２６に蓄積された復号画像は、次のフレーム等の復号時以降に参照画像として、動き補償予測手段２７によって参照される。

動き補償予測手段２７は、可変長復号手段２２から出力される動き補償情報に基づいて、ビデオメモリ２６に蓄積されている参照画像から、動きベクトル分動いたと予測される動き補償予測画像を生成するものである。ここで生成された動き補償予測画像は、加算手段２５及び動き補償予測画像可視化手段３０に出力される。

フォーマット変換手段２８（２８ａ，２８ｂ，２８ｃ）は、入力された画像を、図示していない表示装置の解像度（空間解像度）に合わせて、種々のビデオフォーマットに変換するものである。例えば、ＳＩＦ（Ｓｏｕｒｃｅ Ｉｎｐｕｔ Ｆｏｒｍａｔ）、ＩＴＵ−Ｒ勧告６０１フォーマット等のフォーマットに変換する。

Ｄ／Ａ変換手段２９（２９ａ，２９ｂ，２９ｃ）は、フォーマット変換手段２８で変換されたデジタル信号の画像（復号画像）を、アナログ信号のビデオ信号（映像）に変換して出力するものである。なお、図示していない表示装置がデジタル信号を入力可能な場合は、Ｄ／Ａ変換手段２９を備える必要はない。

動き補償予測画像可視化手段３０は、動き補償予測手段２７で生成された中間画像である動き補償予測画像を可視化した、可視化動き補償予測画像を生成するものである。また、この動き補償予測画像可視化手段３０は、可変長復号手段２２から出力される動き補償情報に基づいて、動き補償予測画像のマクロブロック毎に予め定めた色を合成するものでもある。ここで生成された可視化動き補償予測画像は、フォーマット変換手段２８ｂに出力される。なお、動き補償予測画像のマクロブロック毎に色を合成するかどうか、あるいは、動き補償情報のどの情報を色分けして出力（色合成）するかは、出力制御手段３１から出力される出力制御情報に基づいて行うものとする。

出力制御手段３１は、動き補償予測画像可視化手段３０に対して、色合成を行うかどうか、あるいは、どの動き補償情報に対して色合成を行うかどうかの出力制御を行うものである。例えば、出力制御手段３１は、キーボード等の入力手段（図示せず）から、色合成を行うかどうか、あるいは、どの動き補償情報に対して色合成を行うかどうかの情報を入力されることで、動き補償予測画像可視化手段３０の出力を制御する出力制御情報を生成し、動き補償予測画像可視化手段３０に出力する。

この出力制御情報には、色合成を行うかどうかを指示する「合成指示情報」と、色合成を行う場合に、どの動き補償情報を色合成するかを指示する「出力モード情報」とを含んでいる。
「合成指示情報」は、動き補償予測画像可視化手段３０で色合成を行うかどうかを指示する情報であって、色合成を行わない場合、動き補償予測画像可視化手段３０は、入力された動き補償予測画像をそのまま出力する。また、色合成を行う場合は、「出力モード情報」に基づいて、動き補償情報から必要な情報を抽出して色合成を行う。

「出力モード情報」は、色合成を行う動き補償情報を指示する情報であって、複数の出力モードによって、動き補償予測画像に合成させる動き補償情報を指示するものである。例えば、ここでは、予測モードを合成させるモードとして「予測方向出力モード」及び「予測方式出力モード」と、動きベクトルの情報を合成させるモードとして「ベクトル和出力モード」及び「選択ベクトル出力モード」との４つの出力モードとする。なお、各出力モードの詳細については後記する。

これによって、映像品質評価支援装置２０は、符号化映像が、どのような予測モードで動き補償予測が行われているか、あるいは、どのような大きさ及び方向の動きベクトルによって符号化が行われているのか等を、視覚化して提示することが可能になる。ここでいう可視化は、例えば、各マクロブロック単位で、予測モードをその予測モードに対応した色で表現したり、動きベクトルの大きさ及び方向を段階的な色で表したり等、マクロブロック毎に識別できるものであれば色の種類は問わない。

ここで、図３を参照（適宜図２参照）して、動き補償予測画像可視化手段３０の具体的な構成について説明する。図３は、動き補償予測画像可視化手段３０の内部構成を示すブロック図である。図３に示すように、動き補償予測画像可視化手段３０は、色出力制限手段３０ａと、合成情報抽出手段３０ｂと、動き補償情報色合成手段３０ｃとを備えている。

色出力制限手段３０ａは、動き補償予測手段２７で生成された動き補償予測画像から、ブロック（マクロブロック）毎の色情報の出力を制限することで無彩色（白黒濃淡）画像を生成するものである。ここでは、色出力制限手段３０ａは、動き補償予測画像として、輝度信号Ｙと、色差信号Ｃｒ（輝度信号Ｙと赤色成分との差）及び色差信号Ｃｂ（輝度信号Ｙと青色成分との差）とが入力された場合、各々の色差信号Ｃｒ、Ｃｂを色差信号の取り得る値の中間値に設定することで、無彩色画像を生成する。なお、色出力制限手段３０ａで生成された無彩色（白黒濃淡）画像は、動き補償情報色合成手段３０ｃに出力される。

例えば、画素値が８ビットで表現される場合、色差信号Ｃｒ、Ｃｂの取り得る画素値は、ＩＴＵ−Ｒ ＢＴ．７０９−５の規格によれば、１６から２４０の範囲である。そこで、色差信号Ｃｒ、Ｃｂを中間値である１２８とすることで、色出力制限手段３０ａは、入力された動き補償予測画像を無彩色画像とすることができる。

合成情報抽出手段３０ｂは、出力制御手段３１から出力される出力制御情報に含まれる「出力モード情報」に基づいて、動き補償情報から必要な情報を抽出し、合成情報として動き補償情報色合成手段３０ｃに出力するものである。
ここで、合成情報抽出手段３０ｂは、「出力モード情報」として「予測方向出力モード」が指示された場合、動き補償情報から符号化時に予測を行った方向である予測方向を抽出する。この予測方向には、動き補償予測画像を時間的に過去のフレームから予測した前方向予測、未来のフレームから予測した後方向予測、及び両方向の予測を行った両方向予測の３種類の情報がある。これによって、各マクロブロックが、どの予測方向で予測されたかを識別することが可能になる。

また、合成情報抽出手段３０ｂは、「出力モード情報」として「予測方式出力モード」が指示された場合、動き補償情報から符号化時に行った予測方式を抽出する。この予測方式には、フレーム動き補償予測、フィールド動き補償予測、デュアルプライム予測、及び１６×８動き補償予測の４種類の情報がある。これによって、各マクロブロックが、どの予測方式によって予測されたかを識別することが可能になる。

また、合成情報抽出手段３０ｂは、「出力モード情報」として「ベクトル和出力モード」が指示された場合、動き補償情報から動きベクトルを抽出して、マクロブロック内の動きベクトルの和を算出し、その大きさ及び方向を出力する。なお、動きベクトルには、予測方向によって前方向の動きベクトルと、後方向の動きベクトルとが存在するため、後方向の動きベクトルは−１倍することでベクトルの向きを合わせる。また、予測方向が両方向予測の場合や、予測方式がデュアルプライム予測の場合のように、１つのマクロブロックに対して２つの動きベクトルが存在するときは、２つの動きベクトルの和を算出し、その大きさの１／２を出力する。これによって、マクロブロック毎に、どれだけの動きベクトルの大きさ及び方向を持っているのかを識別することが可能になる。

さらに、合成情報抽出手段３０ｂは、「出力モード情報」として「選択ベクトル出力モード」が指示された場合、動き補償情報から、選択された（指示された）動きベクトルのみを抽出して、そのベクトルの大きさ及び方向を出力する。これによって、各マクロブロックにおける前方向の動きベクトルの大きさ及び方向や、後方向の動きベクトルの大きさ及び方向を区別して識別することが可能になる。

動き補償情報色合成手段３０ｃは、色出力制限手段３０ａから出力される無彩色画像に対して、合成情報抽出手段３０ｂから出力される合成情報に基づいて、予め定めた色を合成するものである。この動き補償情報色合成手段３０ｃは、出力制御手段３１から出力される「出力モード情報」によって、入力された合成情報が、予測方向であるのか、予測方式であるのか、又は動きベクトルの大きさ及び方向であるのかを選択する。また、動き補償情報色合成手段３０ｃは、出力制御情報の「合成指示情報」によって、色合成を行わない旨を指示されたときは、色合成を行わずに入力された信号をそのまま出力する。
ここで、動き補償情報色合成手段３０ｃは、「出力モード情報」として「予測方向出力モード」が指示された場合、例えば、前方向予測には「青」、後方向予測には「赤」、両方向予測には「緑」をマクロブロック毎に色合成する。

また、動き補償情報色合成手段３０ｃは、「出力モード情報」として「予測方式出力モード」が指示された場合、例えば、画像の符号化の単位がフレーム構造である場合には、フレーム動き補償予測には「緑」、フィールド動き補償予測には「青」、デュアルプライム予測には「赤」をマクロブロック毎に色合成する。また、画像の符号化の単位がフィールド構造である場合には、フィールド動き補償予測には「シアン」、デュアルプライム予測には「マゼンタ」、１６×８動き補償予測には「イエロー」をマクロブロック毎に色合成する。なお、画像の符号化の単位（ｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅ）は、ＭＰＥＧ−２の符号化映像（ビットストリーム）では、ピクチャ層に記述されており、合成情報抽出手段３０ｂがその情報を抽出して、動き補償情報色合成手段３０ｃに通知するものとする。

また、動き補償情報色合成手段３０ｃは、「出力モード情報」として「ベクトル和出力モード」又は「選択ベクトル出力モード」が指示された場合、マクロブロック毎に動きベクトルの大きさ及び方向に対応した色合成を行う。例えば、動きベクトルを（ｘ，ｙ）、動き探索範囲を［ａ，ｂ］とし、画素値が８ビット精度であった場合は、以下の（１）式によって、色差信号Ｃｂ及び色差信号Ｃｒを変換することで、当該マクロブロックの色を変換する。ここで動き探索範囲［ａ，ｂ］は、動きベクトルの符号化表現であるエフ・コード（ｆ＿ｃｏｄｅ）で示される値で、予め定められた動きベクトルの範囲である。

Ｃｒ＝ｘ＊２５５／ａ
Ｃｂ＝ｙ＊２５５／ａ …（１）式

なお、「ベクトル和出力モード」又は「選択ベクトル出力モード」以外の「出力モード情報」において、ＲＧＢの色情報を、輝度信号Ｙと、色差信号Ｃｂ及び色差信号Ｃｒ（ＹＣｂＣｒ信号）とに変換するには、一般的な変換式を用いて変換することができる。例えば、ＩＴＵ−Ｒ ＢＴ．７０９−５の規格においては、赤色信号Ｒ、緑色信号Ｇ及び青色信号Ｂを１Ｖピーク・ツー・ピーク（１Ｖ_p-p）の電圧値（Ｅ'_R、Ｅ'_G及びＥ'_B）としたとき、ＲＧＢの色情報は、以下の（２）式及び（３）式によって、ＹＣｂＣｒ信号に変換することができる。

Ｅ'_Y＝０．７１５４Ｅ'_G＋０．０７２１Ｅ'_B＋０．２１２５Ｅ'_R
Ｅ'_PB＝−０．３８６Ｅ'_G＋０．５００Ｅ'_B−０．１１５Ｅ'_R
Ｅ'_PR＝−０．４５４Ｅ'_G＋０．０４６Ｅ'_B＋０．５００Ｅ'_R …（２）式
（ここで、Ｅ'_Yは“０”から“１”のアナログ値、Ｅ'_PB及びＥ'_PRは“−０．５”から“０．５”のアナログ値、Ｅ'_R、Ｅ'_G及びＥ'_Bは“０”から“１”のアナログ値）

Ｙ＝（２１９＊Ｅ'_Y）＋１６
Ｃｂ＝（２２４＊Ｅ'_PB）＋１２８
Ｃｒ＝（２２４＊Ｅ'_PR）＋１２８ …（３）式

このように、動き補償予測画像可視化手段３０は、動き補償予測画像に、予測モードの種別、又は前記動きベクトルの大きさ及び方向の情報を付加して可視化した可視化動き補償予測画像を生成することができる。これによって、復号された映像で劣化が発生した場合に、その劣化があったマクロブロックの予測モードの種別や動きベクトルの大きさ及び方向を検査者に対して提示することができる。
図２に戻って説明を続ける。

予測誤差画像可視化手段４０は、逆ＤＣＴ手段２４で生成された中間画像である予測誤差画像を可視化した可視化予測誤差画像を生成するものである。また、予測誤差画像可視化手段４０は、可変長復号手段２２から出力される量子化情報（量子化スケール）に基づいて、予測誤差画像のマクロブロック毎に予め定めた色を合成するものでもある。ここで生成された可視化予測誤差画像は、フォーマット変換手段２８ｃに出力される。なお、予測誤差画像のマクロブロック毎に色を合成するかどうかは、出力制御手段４１から出力される出力制御情報に基づいて行うものとする。

出力制御手段４１は、予測誤差画像可視化手段４０に対して、色合成を行うかどうかの出力制御を行うものである。例えば、出力制御手段４１は、キーボード等の入力手段（図示せず）から、色合成を行うかどうかの情報を入力されることで、予測誤差画像可視化手段４０の出力を制御する出力制御情報を生成し、予測誤差画像可視化手段４０に出力する。この出力制御情報には、色合成を行うかどうかを指示する「合成指示情報」を含んでいる。

ここで、図４を参照（適宜図２参照）して、予測誤差画像可視化手段４０の具体的な構成について説明する。図４は、予測誤差画像可視化手段４０の内部構成を示すブロック図である。図４に示すように、予測誤差画像可視化手段４０は、オフセット値加算手段４０ａと、量子化スケール色合成手段４０ｂとを備えている。

オフセット値加算手段４０ａは、逆ＤＣＴ手段２４で生成された予測誤差画像に所定のオフセット値を加算することで、予測誤差画像を可視化領域の画像に変換した可視化領域画像を生成するものである。ここで生成された可視化領域画像は、量子化スケール色合成手段４０ｂに出力される。なお、このオフセット値加算手段４０ａに入力されたマクロブロックが、イントラ・マクロブロックである場合は、そのまま量子化スケール色合成手段４０ｂに出力され、可視化される。

一般に、予測誤差画像は、復号画像に対する誤差であるため、正値（＋）と負値（−）の情報を含んでいる。そのため、この予測誤差画像を直接表示装置（図示せず）に出力することはできない。そこで、このオフセット値加算手段４０ａは、入力された予測誤差画像に、画素値の取り得る値の中間値をオフセット値として加算することで、可視化領域の画像に変換する。例えば、画素値が８ビットで表現される場合、その中間値１２８をオフセット値とする。なお、このオフセット値は、可視化領域に画像を変換できる値であればよく、中間値である必要はない。

量子化スケール色合成手段４０ｂは、可変長復号手段２２から出力される量子化情報である量子化スケールの値に基づいて、オフセット値加算手段４０ａで生成された可視化領域画像に、予め定めた色を合成するものである。この量子化スケール色合成手段４０ｂは、量子化スケールの値が取り得る最大値と最小値を基準に色分けを行い、マクロブロック毎に量子化スケールの値に対応した色合成を行う。なお、量子化スケール色合成手段４０ｂにおいて、ＲＧＢの色情報を、輝度信号Ｙと、色差信号Ｃｒ及び色差信号Ｃｂ（ＹＣｒＣｂ信号）とに変換するには、例えば、前記した（２）式及び（３）式を用いることができる。

また、量子化スケール色合成手段４０ｂは、出力制御手段３１から「合成指示情報」によって、色合成を行わない旨を指示されたときは、色合成を行わずに入力された信号をそのまま出力する。
このように、予測誤差画像可視化手段４０は、予測誤差画像を可視化することができる。これによって、復号された映像で劣化が発生した場合に、その劣化があったマクロブロックの量子化の度合いを検査者に対して提示することができる。

以上、本発明に係る映像品質評価支援装置２０の構成について説明したが、本発明はこれに限定されるものではない。例えば、動き補償予測画像又は予測誤差画像のいずれか一方のみを出力する構成としてもよい。また、ここでは、ＭＰＥＧ−２の符号化方式で符号化された符号化映像を例として説明を行ったが、映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化された符号化映像であれば、特にその符号化方式は問わない。例えば、ＭＰＥＧ−１、ＭＰＥＧ−４等の他のＭＰＥＧ符号化方式、ＪＰＥＧ符号化方式等の符号化方式で符号化された映像についても、同様にその品質評価を行うことができる。

なお、映像品質評価支援装置２０は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像品質評価支援プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［映像品質評価支援装置の動作］
次に、図５を参照（適宜図２参照）して、映像品質評価支援装置２０の動作について説明する。図５は、映像品質評価支援装置２０の動作を示すフローチャートである。
（イントラ画像復号ステップ）
まず、映像品質評価支援装置２０は、バッファ２１に蓄積された符号化映像から、予測を行わずに符号化された、マクロブロック（イントラ・マクロブロック）からなるイントラ画像を復号し、表示装置に出力（表示）する（ステップＳ１）。

すなわち、映像品質評価支援装置２０は、イントラ・マクロブロックを、逆量子化手段２３及び逆ＤＣＴ手段２４で順次復号（逆量子化及び逆ＤＣＴ）することで、復号画像を生成する。そして、イントラ画像を復号した復号画像を、必要に応じて、フォーマット変換手段２８ａによって、空間解像度を変換し、Ｄ／Ａ変換手段２９ａによって信号変換（Ｄ／Ａ変換）を行い表示装置に出力（表示）する。
そして、映像品質評価支援装置２０は、復号画像をビデオメモリ２６に参照画像として蓄積する（ステップＳ２）。

（逆量子化ステップ、逆直交変換ステップ）
続けて、映像品質評価支援装置２０は、予測を行って符号化された、マクロブロック（非イントラ・マクロブロック）をバッファ２１から逐次読み出して、逆量子化手段２３によって逆量子化し、逆ＤＣＴ手段２４で逆離散コサイン変換することで予測誤差画像を生成する（ステップＳ３）。

（予測誤差画像可視化ステップ）
また、映像品質評価支援装置２０は、予測誤差画像可視化手段４０によって、ステップＳ３で生成された予測誤差画像に、オフセット値（例えば、１２８）を加算することで、可視化領域画像を生成し、可視化領域画像を各マクロブロックの量子化スケールの値に応じて予め定めた色に変換することで可視化予測誤差画像を生成する（ステップＳ４）。そして、フォーマット変換手段２８ｃによって、可視化予測誤差画像の空間解像度を変換し、Ｄ／Ａ変換手段２９ｃによって信号変換（Ｄ／Ａ変換）を行い表示装置に出力（表示）する（ステップＳ５）。

（動き補償予測ステップ）
また、映像品質評価支援装置２０は、動き補償予測手段２７によって、動き補償情報と、ビデオメモリ２６に蓄積されている参照画像（復号画像）とから、動きベクトル分動いたと予測される動き補償予測画像を生成する（ステップＳ６）。

（動き補償予測画像可視化ステップ）
そして、映像品質評価支援装置２０は、動き補償予測画像可視化手段３０によって、ステップＳ６で生成された動き補償予測画像の色情報を制限することで無彩色（白黒濃淡）画像を生成し、無彩色画像を各マクロブロックの動き補償情報（予測モード、動きベクトル）に応じて予め定めた色に変換することで、可視化動き補償予測画像を生成する（ステップＳ７）。そして、フォーマット変換手段２８ｂによって、可視化動き補償予測画像の空間解像度を変換し、Ｄ／Ａ変換手段２９ｂによって信号変換（Ｄ／Ａ変換）を行い表示装置に出力（表示）する（ステップＳ８）。

（復号画像生成ステップ）
さらに、映像品質評価支援装置２０は、加算手段２５によって、ステップＳ３で生成された予測誤差画像と、ステップＳ６で生成された動き補償予測画像とを加算することで、復号画像を生成するとともにビデオメモリ２６に蓄積する（ステップＳ９）。そして、フォーマット変換手段２８ａによって、復号画像の空間解像度を変換し、Ｄ／Ａ変換手段２９ａによって信号変換（Ｄ／Ａ変換）を行い表示装置に出力（表示）する（ステップＳ１０）。

ここで、映像品質評価支援装置２０は、バッファ２１に蓄積された符号化映像の復号が完了したかどうかを判定し（ステップＳ１１）、復号が完了した場合（ステップＳ１１でＹｅｓ）は、動作を終了する。一方、復号が完了していない場合（ステップＳ１１でＮｏ）は、さらに、バッファ２１から符号化映像のデータを読み出し、読み出した画像がイントラ・マクロブロックからなるイントラ画像であるかどうかを判定する（ステップＳ１２）。ここで、読み出した画像がイントラ画像である場合（ステップＳ１２でＹｅｓ）は、ステップＳ１へ戻って、イントラ画像の復号以降の動作を実行する。一方、読み出した画像がイントラ画像でない場合（ステップＳ１２でＮｏ）、すなわち、非イントラ・マクロブロックである場合は、ステップＳ３へ戻って、動き補償予測による復号化動作を継続して実行する。

以上の動作によって、映像品質評価支援装置２０は、ＭＰＥＧ−２等の直交変換及び動き補償予測により符号化された符号化映像を復号する際に、復号時に得られる中間画像である動き補償予測画像と予測誤差画像とを可視化し、検査者に提示することができる。これによって、検査者は、符号化画像を復号した復号画像に画質の劣化が認められたとき、可視化動き補償予測画像と可視化予測誤差画像とを確認することで、その画質の劣化が符号化段階における予測の段階、すなわち、動き補償予測手段１９（図１参照）の予測に問題があるのか、量子化の段階、すなわち、量子化手段１３（図１参照）の量子化に問題があるのかを切り分けることが可能になる。また、これによって、符号化制御の技術開発の支援を行うことが可能になる。

［映像品質評価支援装置における映像品質評価例］
ここで、図６を参照（適宜図２参照）して、映像品質評価支援装置における映像品質評価方法の一例を説明する。図６は、映像品質評価支援装置が出力する画像の出力画面例を示した図である。
図６（ａ）の出力画面例は、人物が動作している（手を振っている）映像の途中の復号画像を示した図である。この図６（ａ）では、人物の腕領域Ｈの画質が劣化した状態を表している。図６（ｂ）は、予測誤差画像を可視化した可視化予測誤差画像を示した図である。この図６（ｂ）では、図６（ａ）における人物の腕領域Ｈが、可視化予測誤差画像として鮮明に表示された状態を表している。図６（ｃ）は、参照画像を動き補償予測することで得られる動き補償予測画像を可視化した可視化動き補償予測画像を示した図である。この図６（ｃ）では、図６（ａ）における人物の腕領域Ｈが劣化した状態を表している。

通常、図６（ａ）のような復号画像のみでは、画質が劣化しても、その原因がどこにあるのかを判定することは困難である。しかし、可視化予測誤差画像（図６（ｂ））及び可視化動き補償予測画像（図６（ｃ））を表示することで、人物の腕領域Ｈは、予測誤差画像では正確に復号されていることがわかる。すなわち、画質劣化の原因は、量子化に伴うものではなく、動き予測の予測精度が悪いことに起因するものであるということができる。

なお、映像品質評価支援装置２０では、動き補償予測画像において、マクロブロック毎に予測モードや動きベクトルを色分けすることができるので、検査者は、動き予測の予測精度が悪いと判定するとともに、どの予測モードや動きベクトルによって予測精度が悪くなっているかを判定することも可能である。

ここでは、動き予測の予測精度の不具合を例として説明したが、図６（ｂ）の可視化予測誤差画像が劣化している場合は、その原因は、符号化段階における量子化で、データ量が多く削減されていることに起因すると判定することができる。
このように、映像品質評価支援装置２０では、復号された映像の品質評価を支援し、画質劣化時に、符号化段階における量子化又は動き補償予測の不具合を検査することができる。

本発明における映像品質評価の概要を説明するための説明図である。 本発明に係る映像品質評価支援装置の構成を示したブロック図である。 本発明に係る映像品質評価支援装置の動き補償予測画像可視化手段の内部構成を示すブロック図である。 本発明に係る映像品質評価支援装置の予測誤差画像可視化手段の内部構成を示すブロック図である。 本発明に係る映像品質評価支援装置の動作を示すフローチャートである。 本発明に係る映像品質評価支援装置が出力する画像の出力画面例を示した図である。（ａ）は復号画像を、（ｂ）は可視化予測誤差画像を、（ｃ）は可視化動き補償予測画像を示した図である。

符号の説明

２０ 映像品質評価支援装置
２１ バッファ
２２ 可変長復号手段
２３ 逆量子化手段
２４ 逆ＤＣＴ手段（逆直交変換手段）
２５ 加算手段（復号画像生成手段）
２６ ビデオメモリ（蓄積手段）
２７ 動き補償予測手段
２８ フォーマット変換手段
２９ Ｄ／Ａ変換手段
３０ 動き補償予測画像可視化手段
３０ａ 色出力制限手段
３０ｂ 合成情報抽出手段
３０ｃ 動き補償情報色合成手段
３１ 出力制御手段
４０ 予測誤差画像可視化手段
４０ａ オフセット値加算手段
４０ｂ 量子化スケール色合成手段
４１ 出力制御手段

Claims (6)

1. 映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、
   前記符号化映像を復号した復号画像を蓄積する蓄積手段と、
   前記符号化映像を逆量子化する逆量子化手段と、
   この逆量子化手段で逆量子化された直交変換係数を逆直交変換することで、予測誤差画像を生成する逆直交変換手段と、
   前記符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルに基づいて、前記蓄積手段に蓄積されている前記復号画像から、動き補償予測画像を生成する動き補償予測手段と、
   この動き補償予測手段で生成された動き補償予測画像の前記ブロック毎に、前記予測モードの種別、又は前記動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する動き補償予測画像可視化手段と、
   前記予測誤差画像と、前記動き補償予測画像とを加算することで、前記復号画像を生成する復号画像生成手段と、
   を備えていることを特徴とする映像品質評価支援装置。
2. 前記動き補償予測画像可視化手段は、前記ブロック毎の色情報の出力を制限することで、無彩色画像を生成する色出力制限手段と、
   この色出力制限手段で生成された無彩色画像に対して、前記予測モードの種別、又は前記動きベクトルの大きさ及び方向に基づいて、色差信号を変化させることで、色合成を行う動き補償情報色合成手段と、
   を備えていることを特徴とする請求項１に記載の映像品質評価支援装置。
3. 映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、
   前記符号化映像を復号した復号画像を蓄積する蓄積手段と、
   前記符号化映像を逆量子化する逆量子化手段と、
   この逆量子化手段で逆量子化された直交変換係数を逆直交変換することで、予測誤差画像を生成する逆直交変換手段と、
   この逆直交変換手段で生成された予測誤差画像の前記ブロック毎に、前記符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する予測誤差画像可視化手段と、
   前記符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルに基づいて、前記蓄積手段に蓄積されている前記復号画像から、動き補償予測画像を生成する動き補償予測手段と、
   前記予測誤差画像と、前記動き補償予測画像とを加算することで、前記復号画像を生成する復号画像生成手段と、
   を備えていることを特徴とする映像品質評価支援装置。
4. 前記予測誤差画像可視化手段は、前記予測誤差画像に所定のオフセット値を加算することで、可視化領域画像を生成するオフセット値加算手段と、
   このオフセット値加算手段で生成された可視化領域画像に対して、前記量子化スケールの値に基づいて、予め定めた色を合成する量子化スケール色合成手段と、
   を備えていることを特徴とする請求項３に記載の映像品質評価支援装置。
5. 映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる複数の中間画像を可視化することで、復号された映像の品質評価を支援する映像品質評価支援装置であって、
   前記符号化映像を復号した復号画像を蓄積する蓄積手段と、
   前記符号化映像を逆量子化する逆量子化手段と、
   この逆量子化手段で逆量子化された直交変換係数を逆直交変換することで、予測誤差画像を生成する逆直交変換手段と、
   この逆直交変換手段で生成された予測誤差画像の前記ブロック毎に、前記符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する予測誤差画像可視化手段と、
   前記符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルに基づいて、前記蓄積手段に蓄積されている前記復号画像から、動き補償予測画像を生成する動き補償予測手段と、
   この動き補償予測手段で生成された動き補償予測画像の前記ブロック毎に、前記予測モードの種別、又は前記動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する動き補償予測画像可視化手段と、
   前記予測誤差画像と、前記動き補償予測画像とを加算することで、前記復号画像を生成する復号画像生成手段と、
   を備えていることを特徴とする映像品質評価支援装置。
6. 映像を特定の大きさのブロック単位で直交変換並びに量子化するとともに、動き補償予測により符号化した符号化映像において、復号時に得られる複数の中間画像を可視化することで、復号された映像の品質評価を支援するために、コンピュータを、
   前記符号化映像を逆量子化する逆量子化手段、
   この逆量子化手段で逆量子化された直交変換係数を逆直交変換することで、予測誤差画像を生成する逆直交変換手段、
   この逆直交変換手段で生成された予測誤差画像の前記ブロック毎に、前記符号化映像に含まれる量子化のレベルを示す量子化スケールの値に基づいて、予め定めた色に色分けした可視化予測誤差画像を生成する予測誤差画像可視化手段、
   前記符号化映像に含まれる動き補償情報を示す予測モード及び動きベクトルに基づいて、蓄積手段に蓄積されている復号画像から、動き補償予測した動き補償予測画像を生成する動き補償予測手段、
   この動き補償予測手段で生成された動き補償予測画像の前記ブロック毎に、前記予測モードの種別、又は前記動きベクトルの大きさ及び方向に基づいて、予め定めた色に色分けした可視化動き補償予測画像を生成する動き補償予測画像可視化手段、
   前記予測誤差画像と、前記動き補償予測画像とを加算することで、前記復号画像を生成するとともに前記蓄積手段に蓄積する復号画像生成手段、
   として機能させることを特徴とする映像品質評価支援プログラム。

Images