JP2014116776A - 評価装置、及び評価装置における画質評価方法 - Google Patents

Abstract

【課題】動画像の圧縮符号化を行う装置の画質評価及び動き予測の性能を評価することができる評価装置、及び評価装置における画質評価方法を提供する。
【解決手段】圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとする解析部と、前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する評価部とを備える。
【選択図】図４

Description

本発明は、評価装置、及び評価装置における画質評価方法に関する。

現在、ビデオカメラやＤＶＤ（Digital Versatile Disk）レコーダなど、動画像の圧縮符号化技術を利用した製品が広く流通している。また、動画像の圧縮符号化に関する分野では、圧縮の効率化や画質などを更に向上させるべく、次世代の圧縮符号化技術について継続的な議論が行われている。

例えば、このような圧縮符号化技術に関し、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）による標準規格として、ＭＰＥＧ（Moving Picture Experts Group）−１，ＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding、以下では「Ｈ．２６４」と称する場合がある）などがある。

Ｈ．２６４などの圧縮符号化技術は、例えば、画像（又は画像フレーム、以下「フレーム」と称する場合がある）の空間周波数成分や、フレーム間の相関、符号の出現確率の偏りなどに基づいて、動画像の画像データに関する情報量を圧縮するようにしている。

このようなＨ．２６４などの圧縮符号化技術に関する規格では、デコーダの互換性を確保するため、符号化のモデルと、符号化データのシンタックスは厳密に決められているものの、どのようなＬＳＩ（Large Scale Integration）又は装置などで動画像の圧縮を実現するかまでは規定されていない。

このため、Ｈ．２６４による圧縮符号化技術を利用した製品であったとしても、量子化値（Ｑ値）をどのようにするか、動きベクトルを検出する際にどのようなアルゴリズムで検出するかなど、どこまでの機能を実装するかによって圧縮効率などに差が生じる場合がある。従って、例えば、同じＨ．２６４という規格に対応した製品であっても、Ａ社の製品はＢ社の製品よりも画質が良いなどといったことが生じる場合がある。

他方、動画像の圧縮符号化を行う圧縮符号化装置（以下、「エンコーダ」と称する場合がある）の画質を評価する画質評価装置がある。例えば、リファレンスとなる動画像をエンコーダ装置に入力させて動画像の圧縮符号化を行わせ、伸張復号化後の動画像とリファレンスの動画像とを比較して、ターゲットとなるエンコーダの画質を評価するようにしている。

かかる画質評価装置では、例えば、伸張復号化後の動画像とリファレンスの動画像の各フレームにおいて各々対応するフレームを比較することができるように、リファレンスの動画像の各フレームにマーカー画像を埋め込むようにしている。画質評価装置によりエンコーダの画質を評価することで、例えば、自社製品のエンコーダの画質を改善することが可能となる。

"情報源符号化部 Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ規格の概要"、平成１８年２月２４日、社団法人 電波産業会、デジタル放送システム開発部会、ＣＳデジタル放送高度化作業班、映像符号化方式作業班 "テクトロニクス、独自の視覚モデルを用いてＨＤ画質評価を実現 ＰＱＡ５００型ピクチャ・クオリティ・アナリシス・システムを発表"、２００７年４月１４日、インターネット（URL:http://www2.tek.com/cmswpt/prdetails.lotr?ct=PR&cs=nwr&ci=5897&lc=JA）

しかしながら、以下の２つの理由から、上記した画質評価装置によってエンコーダの画質を評価することが困難な場合がある。

１番目の理由は、評価対象となるエンコーダがビデオカメラやデジタルスチルカメラなど最終製品の場合、画質評価の比較対象となるリファレンス画像を当該製品に入力させることが難しいことが挙げられる。

これは、例えば、当該製品にはレンズ及び撮像素子（又はセンサー）を介して映像が入力される。従って、当該製品で撮像される前の映像と圧縮符号化が行われる直前の映像とでは、レンズ及び撮像素子によって完全に同一の画像とはならない。従って、このような最終製品において、レンズ及び撮像素子を介した後であって、圧縮符号化が行われる直前の映像をリファレンス画像として当該製品において撮像させることは困難である。

２番目の理由として、評価の対象となる最終製品について、自由にビットレートの設定を行うことができないことから、画質の評価を行うことが困難な場合がある。

最終製品に対するビットレートの設定については、１種類だけであったり、高画質モード長時間モードなどの設定であったり、製品を製造する各社において異なるものとなっている。

エンコーダから出力されるビットストリームデータは、大きな要素は動きベクトルと予測誤差データの２つである。例えば、Ａ社の製品はＢ社の製品と比較して、動き予測の性能が高く、動きベクトルが適切な場合、予測誤差のデータ量は少なくなる。一方、Ａ社の製品と比較してＢ社の製品が動き予測の性能が低く、適切な動きベクトルを見つけることができない場合、予測画像は目的とする画像との相違が大きくなるために予測誤差が大きくなり、Ａ者と同じ画質にするためには、より多くの予測誤差のデータ量が必要となる。

しかし、例えばＡ社の製品とＢ社の製品において製品から出力されるデータのビットレートが異なる場合は、画質評価装置における２つの製品の画質は同じレベルになる場合もある。動き予測の性能がＡ社の製品より劣るＢ社の製品であっても、ビットレート設定がＡ社よりも高い場合、予測誤差データに多くのデータを費やす（例えばすべてイントラ・ピクチャのデータとする場合もある）ことができれば、画質がＡ社もＢ社も同じレベルになる場合もあるからである。

従って、評価対象の製品間でビットレートを同一のものにすることができない場合、例えば、画質評価装置においては、評価対象となる製品の画質、更には製品内における圧縮符号化の性能（又はエンコーダの性能）を評価することが困難である。

また、上記した非特許文献２に関する技術の場合においても、上記した２つの理由について何ら解決するものではなく、ビデオカメラなどの最終製品に対する画質の評価、更には製品内におけるエンコーダの性能を評価することはできない。

そこで、本発明の一目的は、動画像の圧縮符号化を行う製品の画質を評価することができる評価装置、及び評価装置における画質評価方法を提供することにある。

また、本発明の一目的は、動画像の圧縮符号化を行う製品における動き予測の性能を評価することができる評価装置、及び評価装置における画質評価方法を提供することにある。

一態様によれば、画像フレーム間の相関を利用して各画像フレームにおける画像データの圧縮符号化を行う圧縮符号化装置に対して当該圧縮符号化装置における画質を評価する評価装置であって、前記圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとする解析部と、前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する評価部とを備える。

動画像の圧縮符号化を行う装置の画質を評価することができる評価装置、及び評価装置における評価方法を提供することができる。また、動画像の圧縮符号化を行う装置における動き予測の性能を評価することができる評価装置、及び評価装置における画質評価方法を提供することができる。

図１は評価システムの構成例を表わす図である。 図２は評価システムの構成例を表わす図である。 図３は全体処理の例を表わすフローチャートである。 図４はデコード２処理を説明するための図である。 図５（Ａ）から図５（Ｃ）はストリームデータに含まれるデータの例を表わす図である。 図６はマスキング処理の例を説明するための図である。 図７はスケーリング処理の例を説明するための図である。 図８はフレーム合わせ処理の例を説明するための図である。 図９はキャプチャ処理の例を表わすフローチャートである。 図１０（Ａ）から図１０（Ｄ）はマーカー画像の例を表わす図である。 図１１はマーカー映像発生部の構成例を表わす図である。 図１２は映像合成部の構成例を表わす図である。 図１３（Ａ）は位相調整部、図１３（Ｂ）から図１３（Ｆ）は位相調整部内における信号の例を表わす図である。 図１４（Ａ）は位相調整用画像、図１４（Ｂ）及び図１４（Ｃ）はモニタ画像の例をそれぞれ表わす図である。 図１５（Ａ）から図１５（Ｅ）はマスク処理における画像の例を表わす図である 図１６はマスキング処理の例を表わすフローチャートである。 図１７はスケーリング処理の例を表わすフローチャートである。 図１８（Ａ）から図１８（Ｅ）はスケーリング処理における画像の例を表わす図である。 図１９（Ａ）はデコード・スケーリング基準画像、図１９（Ｂ）はモニタ・スケーリング基準画像の拡大画像をそれぞれ表わす図である。 図２０はフレーム合わせ処理の例を表わすフローチャートである。 図２１（Ａ）から図２１（Ｄ）はスケーリング処理における画像の例を表わす図である。 図２２はデコード２処理の例を表わすフローチャートである。 図２３（Ａ）はリファレンス画像、図２３（Ｂ）及び図２３（Ｃ）はデコード２処理で作成された画像の例などを表わす図である。 図２４は評価装置の構成例を表わす図である。

以下、本発明を実施するための形態について説明する。

［第１の実施の形態］
最初に第１の実施の形態について説明する。図１は第１の実施の形態における評価システム１０の構成例を表わす図である。評価システム１０は評価装置１００と圧縮符号化装置３００とを備える。

評価装置１００は、例えば、圧縮符号化装置３００において生成される画像の画質を評価する。例えば、評価装置１００は圧縮符号化装置３００における圧縮符号化の性能、或いは動きベクトルの性能を評価することで当該画質を評価する。

図１に示す評価システム１０において、圧縮符号化装置３００は評価装置１００において評価対象の装置（又はターゲット装置）となる。圧縮符号化装置３００では、画像フレーム間の相関を利用して各画像フレームにおける画像データの圧縮符号化を行う。圧縮符号化の方式としては、例えば、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＥＰＧ−４，Ｈ．２６４などである。例えば、フレーム間の相関を利用した圧縮符号化方式であればそれ以外のものでもよいし、今後、規格化される方式のものでもよい。

評価装置１００は、解析部１７０と評価部１７５を備える。

解析部１７０は圧縮符号化装置３００から圧縮符号化された画像データと圧縮符号化前の非圧縮の画像データとを入力する。解析部１７０は、圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出する。そして、解析部１７０は第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける第２の領域の画像データを予測画像フレームの第１の領域における画像データとする。解析部１７０は、例えば、このような処理を１画像フレーム分行うことで予測画像フレームを生成する。

評価部１７５は、予測画像フレームの画像データと第３の画像フレームにおける画像データとを解析部１７０から入力し、この２つの画像データを比較して圧縮符号化装置３００における画質を評価する。

例えば、第１の領域における圧縮符号化データが伸張復号化されるとき、第１の画像フレームにおける第１の領域と、参照フレームである第２の画像フレームにおける第２の領域の各画像データの差分データが、第１の領域の伸張復号化後の画像データに加算される場合がある。

しかし、解析部１７０では、予測画像フレームを生成するときに、差分データを加算せずに、第３の画像フレームにおける第２の領域の画像データをそのまま用いている。差分データは、例えば、圧縮符号化装置３００において量子化値（Ｑ値）により量子化処理されるデータである。量子化値は、例えば、圧縮符号化装置３００を製造する会社によって異なる値となる場合があり、また、圧縮符号化装置３００から送信されるデータのビットレートが大きく影響する値でもある。

従って、評価装置１００では、ビットレートの影響をできるだけ排除した予測画像フレームの画像データを生成することができ、この予測画像フレームの画像データを評価対象とすることで、ビットレートの影響をできるだけ排除した状態で画質を評価することができる。

また、解析部１７０では、差分データを加算せず、圧縮符号化された画像データを伸張復号化するときに用いる動きベクトルに基づいて予測画像フレームの画像データを生成している。

このように評価装置１００では、差分データが用いられず動きベクトルに基づいて予測画像フレームの画像データを生成しているため、圧縮符号化装置３００における動きベクトルの性能に大きく影響した予測画像フレームの画像データを生成することができる。

従って、評価装置１００はかかる予測画像フレームの画像データを評価対象とすることで、例えば、圧縮符号化装置３００における動き予測の性能を評価し、これにより動画像の圧縮符号化を行う圧縮符号化装置３００における画質を評価することができる。

［第２の実施の形態］
次に第２の実施の形態について説明する。本第２の実施の形態は以下の順番で説明する。すなわち、最初に本第２の実施の形態における評価システムの全体構成例について説明する。次に、評価システムに含まれる各装置の構成例について説明し、最後にどのように評価処理が行われるかについて動作例を説明する。

＜評価システムの全体構成例＞
評価システムの全体構成例について説明する。図２は評価システム１０の構成例を表わしている。評価システム１０は、動き予測性能評価装置（以下、「評価装置」と称する場合がある）１００、画像表示装置２００、ターゲット装置３００、モニタ映像表示装置４００を備える。

評価装置１００は、ターゲット装置３００内におけるエンコーダ（図２の例ではエンコード回路３５０）における動き予測の性能を評価し、これにより、例えばターゲット装置３００における画質を評価することができる。本評価システム１０において、ターゲット装置３００が評価対象の装置であって、評価装置１００はターゲット装置３００の動き予測の性能等を評価する。

評価装置１００は、リファレンス画像（以下において「合成画像」と称する場合がある）の画像データを画像表示装置２００に出力する。合成画像は、ターゲット装置３００において撮像対象の画像として使用される。

映像表示装置２００は、評価装置１００から出力された合成画像を表示する。例えば、映像表示装置２００と評価装置１００はケーブルで接続され、ＨＤＭＩ（High Definition Multimedia Interface）などの所定の伝送フォーマットにより合成画像の画像データを送受信することができる。映像表示装置２００は、このような伝送フォーマットによる受信処理を行うことができるよう内部に受信回路などを備えてもよい。

ターゲット装置３００は、例えば、ビデオカメラやデジタルスチルカメラなど動画像を撮像する機能を有する。図２の例においては、ターゲット装置３００は映像表示装置２００に表示された合成画像を撮像する。

ターゲット装置３００は撮像した合成画像をモニタ画像として評価装置１００に出力する。このモニタ画像は圧縮符号化される前のものである。また、ターゲット装置３００は、撮像した合成画像に対してエンコード回路３５０において圧縮符号化を行う。ターゲット装置３００は圧縮符号化された画像データ（以下、「ストリームデータ」と称する場合がある）を、記録メディア３６０などを介して評価装置１００に出力できる。ターゲット装置３００の詳細は後述する。なお、ターゲット装置３００は、第１の実施の形態における圧縮符号化装置３００に対応する。

評価装置１００は、ターゲット装置３００からモニタ画像の画像データとストリームデータとを入力する。そして、評価装置１００は、モニタ画像の画像データに対してＯＳＤ（On Screen Display）表示（又はオンスクリーン表示）をマスクするなどの処理を行い、調整されたモニタ画像を生成する。他方、評価装置１００は、ストリームデータに対して伸張復号化処理（以下、「デコード処理」または「デコード」と称する場合がある）を施して、デコード画像を生成する。

評価装置１００は、調整されたモニタ画像と動きベクトルとに基づいて予測画像を生成する。評価装置１００は、この予測画像と調整されたモニタ画像とを比較して、ターゲット装置３００におけるデコード回路３５０の動き予測の性能を評価する。評価装置１００の構成例とこれらの処理の詳細は後述する。

＜ターゲット装置３００の構成例＞
ターゲット装置３００は、レンズ３１０、撮像部３２０、前処理部３３０、モニタ映像出力部３４０、エンコード回路３５０、及び記録メディア３６０を備える。

レンズ３１０は、例えば、映像表示装置２００で表示された画像の焦点を調整したり、当該画像の大きさを調整する。

撮像部３２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーやＣＭＯＳ（Completely Metal Oxide Semiconductor）イメージセンサーなどの撮像素子である。撮像部３２０は、例えば、映像表示装置２００で表示される画像に対して、光電変換などによりＲＧＢ（Red Green Blue）の各色の画像データに変換する。

前処理部３３０は、例えば、撮像部３２０から出力されたＲＧＢの画像データに対して、ＣＭＹＫ（Cyan Magenta Yellow Key plate）やＹＵＶ（輝度信号Ｙと２つの色差信号Ｕ，Ｖ）、ＹＣｂＣｒ（輝度信号Ｙと２つの色差信号ＣｂＣｒ）など、表示系の画像データに変換する。また、前処理部３３０は、例えば、変換後の画像データに対して、オーバースキャン処理やＯＳＤの表示処理などを行う。オーバースキャン処理やＯＳＤの表示処理の詳細は後述する。

なお、前処理部３３０は表示系に変換した画像データに対して、オーバースキャン処理やＯＳＤの表示処理などを行わずにそのままエンコード回路３５０に出力する。一方、前処理部３３０は、表示系に変換した画像データに対してオーバースキャン処理やＯＳＤの表示処理を施した映像信号をモニタ映像出力部３４０に出力する。

モニタ映像出力部３４０は、前処理部３３０から出力された画像データを所定の伝送フォーマット（例えばＨＤＭＩなど）の形式に変換して評価装置１００に送信する。モニタ映像出力部３４０はこのような変換を行うことができるよう内部に変換回路を設けるようになっていてもよい。なお、前処理部３３０においてオーバースキャン処理やＯＳＤの表示処理などが行われず、モニタ映像出力部３４０においてかかる処理が行われるようになっていてもよい。モニタ映像出力部３４０は、例えば、このような処理が施された合成画像をモニタ画像として評価装置１００に出力する。モニタ映像出力部３４０は、例えば、ビデオカメラに備えられたビューファインダに表示される画像と同じ画像が出力される。

なお、ターゲット装置３００の種別によっては、オーバースキャン処理とＯＳＤの表示処理の双方、またはいずれか一方が行われない場合もあり、このような場合は双方が行われない、またはいずれか一方の処理が行われた合成画像がモニタ映像として出力される。

エンコード回路３５０は、前処理部３３０から出力された画像データに対して、圧縮符号化処理（以下においては、「エンコード処理」又は「エンコード」と称する場合がある）を行う。エンコード回路３５０では、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６４など、フレーム間の相関を利用したエンコード処理が行われる。本第２の実施の形態においては、例えば、Ｈ．２６４によるエンコード処理が行われるものとして説明する。

記録メディア３６０は、エンコード回路３５０から出力された圧縮符号化後の画像データ（又はストリームデータ）を記録する。また、記録メディア３６０は、例えば、可搬可能な記録媒体であり、ターゲット装置３００に対して着脱可能なものとなっている。本第２の実施の形態においては、例えば、記録メディア３６０はターゲット装置３００から取り外され、外部装置（図示しない）に取り付けられ、外部装置においてストリームデータが再生されて評価装置１００に出力するようになっている。又は、外部装置に代えて、記録メディア３６０が評価装置１００のストリームＩＦ部１０９に装填されて、記録メディア３６０に記録されたストリームデータがストリームＩＦ部１０９を介して読み出されるようにしてもよい。或いは、エンコード回路３５０とストリームＩＦ部１０９が直接接続されてストリームデータが送信されてもよい。

＜評価装置１００の構成例＞
評価装置１００は、評価用画像記録部１０１、マーカー映像発生部１０２、映像合成部１０３、映像出力部１０４、映像入力部１０５、モニタ映像出力部１０６、モニタ画像記録部１０７、位相調整部１０８、動き予測性能解析部（以下、「解析部」と称する場合がある）１１０、デコード画像記録部１２０、全体制御部１３０、及び評価部１４０を備える。

なお、動き予測性能解析部１１０は、例えば、第１の実施の形態における解析部１７０に対応する。また、評価部１４０は、例えば、第１の実施の形態における評価部１７５に対応する。

評価用画像記録部１０１は、例えば、ＨＤＤ（Hard Disk Drive）などの大容量記憶媒体であって、評価用画像の画像データを記録する。評価用画像は、例えば、エンコーダにおける動き予測の性能の評価することに適した画像となっている。

マーカー映像発生部１０２は、マーカー画像の画像データを生成する。マーカー画像は、例えば、解析部１１０で行われるマスキング処理１１２やスケーリング処理１１３、フレーム合わせ処理１１４などを行う際に手掛かりとなる画像となる。マスキング処理１１２などの詳細は後述する。

映像合成部１０３は、評価用画像記録部１０１から出力された評価用映像と、マーカー映像発生部１０２から出力されたマーカー画像を合成し、合成画像の画像データを生成する。合成画像の生成の方法などについては後述する。ただし、映像合成部１０３は評価用画像をマーカー画像と合成せずに、マーカー画像の画像データを出力することもできる。

映像出力部１０４は合成画像を映像表示装置２００に出力する。この場合、映像出力部１０４は、位相調整部１０８から同期信号と画素クロックとを入力し、例えば、同期信号のタイミングでフレームを切り替え、画素クロックのタイミングで表示フレームの各画素の画像データ（又は画素値）を出力する。

映像入力部１０５は、ターゲット装置３００からモニタ画像の画像データを入力する。モニタ画像の画像データは、例えば、ＨＤＭＩなどのフォーマットで入力される。映像入力部１０５は、当該フォーマット形式のデータから画像データを抽出する。

モニタ映像出力部１０６は、映像入力部１０５から出力されたモニタ画像の画像データをモニタ映像表示装置４００に送信する。モニタ映像出力部１０６は、例えば、画像データをＨＤＭＩなどの形式に変換し、変換後の画像データをモニタ映像表示装置４００に送信する。

モニタ画像記録部１０７は、映像入力部１０５から出力されたモニタ画像の画像データを記録（以下においては、「キャプチャ」と称する場合がある）する。モニタ画像記録部１０７は、例えば、このような画像データを記録することができるようＨＤＤなどの大容量記憶媒体とすることができる。

なお、評価用画像記録部１０１とモニタ画像記録部１０７は、本第２の実施の形態においては画像の読出しや書き込みの能力の関係から異なる記憶媒体としているが、十分な読出しや書き込み能力があれば、同一の記憶媒体であってもよい。

また、評価用画像記録部１０１と、マーカー映像発生部１０２、映像合成部１０３についても、評価用画像記録部１０１にマーカー画像、評価用画像、及び合成画像の各画像データを記録することができれば、映像合成部１０３とマーカー映像発生部１０２はなくてもよい。

ストリーム入力部１０９はターゲット装置３００でエンコードされた合成画像の圧縮符号化データ（又はストリームデータ）を入力する。ストリーム入力部１０９はストリームデータを解析部１１０に出力する。

解析部１１０は、例えば、デコード１処理１１１、マスキング処理１１２、スケーリング処理１１３、フレーム合わせ処理１１４、デコード２処理１１５の各処理を実行する機能を有する。あるいは、解析部１１０は、デコード１処理部１１１、マスキング処理部１１２、スケーリング処理部１１３、フレーム合わせ処理部１１４、デコード２処理部１１５の各処理ブロックを備えるようにしてもよい。本第２の実施の形態では、説明を容易にするため、解析部１１０がデコード１処理１１１などの各処理を実行する機能を有するものとして説明する。

本第２の実施の形態においては、解析部１１０がストリームデータ入力部１０９を介して入力されたストリームデータに対して、デコード１処理１１１を行うことで、例えば、伸張復号化処理が行われて、デコード画像を生成する。解析部１１０は生成したデコード画像の画像データをデコード画像記録部１２０に記録する。

また、解析部１１０がモニタ画像記録部１０７に記録されたモニタ画像の画像データに対してマスキング処理１１２やスケーリング処理１１３を施すことで調整されたモニタ画像を生成する。解析部１１０は調整されたモニタ画像をモニタ画像記録部１０７や内部のフレームメモリなどに記録することもできる。

さらに、解析部１１０がフレーム合わせ処理１１４を行うことで、例えば、調整されたモニタ画像とデコード画像の各フレームについて一致させるよう処理を行うことができる。

そして、解析部１１０が、フレーム合わせ処理１１４においてフレームが一致した状態でデコード２処理１１５を行うことで、例えば、調整されたモニタ画像とデコード１処理１１１で用いた動きベクトルに基づいて予測画像の画像データを生成する。解析部１１０は生成した予測画像を内部のフレームメモリなどに記録することもできる。

解析部１１０は、予測画像と調整されたモニタ画像の各画像データをフレームメモリなどから読み出して、評価部１４０に出力する。解析部１１０における各処理１１１〜１１５の詳細は後述する。

デコード画像記録部１２０は、解析部１１０でデコードされたデコード画像の画像データを記録する。デコード画像記録部１２０も、例えば、画像データを記録することができるよう大容量の記憶媒体とすることができる。なお、デコード画像記録部１２０についても、評価用画像記録部１０１、モニタ画像記録部１０７とで別々の記録部ではなく、デコード画像記録部１２０も含む１つの記憶媒体として評価装置１００に設けられてもよい。

全体制御部１３０は、評価用画像記録部１０１、マーカー映像発生部１０２、映像合成部１０３、位相調整部１０８、及び解析部１１０を制御する。全体制御部１３０による制御の詳細は後述する。

評価部１４０は、解析部１１０から出力された予測画像と調整されたモニタ画像の各画像データを入力し、両者を比較することで、ターゲット装置３００におけるエンコード回路３５０の動き予測性能を評価する。評価部１４０は、例えば、ＰＳＮＲ（Peak to Signal Noise Ratio）による評価方法を用いて評価することができる。ＰＳＮＲは、例えば、予測画像とモニタ画像とにおいて同一画素位置における画素値を比較してその差が閾値以下のとき動き予測の性能が高く、逆にその差が閾値より大きいとき動き予測の性能は低いなどと評価することができる。この場合において、閾値を複数設定することで、動き予測の性能を点数化することも可能となる。評価部１４０は、動き予測の性能評価と同様の評価手法を行うことで、ターゲット装置１００における画質についても、画質の善し悪しや画質の点数化を図ることも可能である。なお、評価手法については、ＰＳＮＲ以外にもＳＳＩＭ（Structural Similarity）など、その他の評価方法であってもよい。

＜動作例＞
次に評価装置１００における動作例について説明する。図３は評価装置１００における全体の動作例を表わすフローチャートである。図３に示す動作例において、理解を容易にするために、最初にデコード１処理１１１（Ｓ４）、デコード２処理１１５（Ｓ８）、及び評価処理（Ｓ９）について説明し、次に、キャプチャ処理（Ｓ２）、マスキング処理１１２（Ｓ５）、スケーリング処理１１３（Ｓ６）、及びフレーム合わせ処理１１４（Ｓ７）について説明することにする。

＜デコード１処理１１１、デコード２処理１１５、及び評価処理の動作＞
評価装置１００は、ターゲット装置３００から圧縮符号化されたストリームデータを入力すると処理を開始する（Ｓ３）。

次いで、評価装置１００はデコード１処理１１１を行う（Ｓ４）。例えば、解析部１１０はターゲット装置３００から出力されたストリームデータに対して、伸張復号化処理（以下、「デコード処理」又は「デコード」と称する場合がある）を行う。デコード１処理１１１は、例えば、ターゲット装置３００におけるエンコード回路３５０と対応するデコード処理であって、本第２の実施の形態ではＨ．２６４方式によるデコード処理である。解析部１１０は、デコード画像の画像データをデコード画像記録部１２０に記録する。

次いで、評価装置１００はデコード２処理１１５を行う（Ｓ８）。図４（Ａ）から図４（Ｅ）はデコード２処理１１５を説明するための図である。

図４（Ａ）は処理の順序、図４（Ｂ）は解析部１１０に入力されるストリームデータの例をそれぞれ表わす。また、図４（Ｃ）はデコード１処理１１１でデコードされたデコード画像の例、図４（Ｄ）はモニタ画像記録部１０７においてキャプチャされるモニタ画像の例をそれぞれ表わしている。また、図５（Ａ）から図５（Ｃ）は図４（Ｂ）に対応するストリームデータの例を表わしている。

解析部１１０におけるデコード２処理１１５は、モニタ画像については調整されたモニタ画像を用いるが、図４（Ｄ）の例では説明の容易のため、「モニタ画像」と記載している。

図４（Ｂ）に示すように、評価装置１００が入力するストリームデータにはストリームＳ１，Ｓ２，Ｓ３が含まれる。例えば、各ストリームＳ１，Ｓ２，Ｓ３は個々の画像に対応した圧縮符号化データを示し、デコード１処理１１１においてはストリームＳ１に対してデコード画像Ｄ１、ストリーム２に対してデコード画像Ｄ２、ストリーム３に対してデコード画像Ｄ３が生成される。

また、ストリームＳ１は圧縮符号化前の画像としてモニタ画像Ｍ１に対応し、ストリームＳ２は圧縮符号化前の画像としてモニタ画像Ｍ２に対応し、ストリームＳ３は圧縮符号化前の画像としてモニタ画像Ｍ３に対応する。よって、デコード画像Ｄ１に対応するモニタ画像はモニタ画像Ｍ１、デコード画像Ｄ２に対応するモニタ画像はモニタ画像Ｍ２、デコード画像Ｄ３に対応するモニタ画像はモニタ画像Ｍ３となっている。

ただし、Ｈ．２６４などでは、時間的なフレームの順番とストリーム上のフレームの順番は必ずしも一致しない。図４（Ｃ）の例では、ストリームの時間的な順番はストリームＳ１，Ｓ２，Ｓ３となっているが、時間的なフレームの順番はＤ１，Ｄ３，Ｄ２となっている。モニタ画像についても時間的な順番はＭ１，Ｍ３，Ｍ２となっている。

図４（Ｃ）の例の場合、デコード画像Ｄ３は、時間的に過去のデコード画像Ｄ１と未来のデコード画像Ｄ２とを参照画像としてデコード処理が行われる場合もある。例えば、デコード画像Ｄ３はＰ（Predictive）ピクチャ（又はＰフレーム）又はＢ（Bidirectionally Predictive）ピクチャ（又はＢフレーム）に対応し、デコード画像Ｄ１，Ｄ２はＩ（Intra）ピクチャ（又はＩフレーム）又はＰピクチャに対応する。以下においては説明の容易のため、デコード画像Ｄ３はデコード画像Ｄ１を参照画像としてデコード処理が行われるものとして説明する。

デコード画像Ｄ３にはマクロブロックＤ３−Ｍｎが存在し、マクロブロックＤ３−Ｍｎに対応するストリームＳ３中のデータをＳ３−Ｍｎ（図５（Ｂ）参照）とする。データＳ３−Ｍｎは、例えば、マクロブロックＤ３−Ｍｎの動きベクトル情報Ｍｎ−Ｖｅｃと画素係数データＭｎ−ＳＤｉｆｆを含む。

画素係数データＭｎ−ＳＤｉｆｆは、例えば、ターゲット装置３００においてエンコードされる際に、参照画像（デコード画像Ｄ１に対応するエンコード直前の画像）とデコード画像Ｄ３に対応するエンコード直前の画像との差分データ（画素差分データＭｎ−Ｄｉｆｆ）に対して整数変換及び量子化処理された後のデータである。

ここで、デコード２処理１１５における処理を容易に理解するために、図４（Ｃ）などを用いて最初にデコード１処理１１１について説明する。

デコード１処理１１１では、まず、動きベクトル情報Ｍｎ−Ｖｅｃに含まれる動きベクトルに基づいて、マクロブロック単位で予測画像が生成される。図４（Ｃ）の例ではデコード画像Ｄ１におけるマクロブロックＤ３−ＭｎＰｒｅが予測画像となる。マクロブロックＤ３−ＭｎＰｒｅは、画像Ｄ３のマクロブロックＤ３−Ｍｎに対して動きベクトル情報Ｍｎ−Ｖｅｃに含まれる動きベクトル分移動した画像Ｄ１上の位置にある。

なお、どの参照画像（図４（Ｂ）の例ではデコード画像Ｄ１）から予測画像を生成するかは動きベクトル情報Ｍｎ−Ｖｅｃの予測タイプ情報に含まれる。図３（Ｂ)の例では、予測タイプ情報からデコード画像Ｄ１を参照画像としている。

そして、デコード１処理１１１では、画素係数データＭｎ−ＳＤｉｆｆに対して逆量子化処理及び逆整数変換処理が行われ、整数変換及び量子化処理が行われる前の画素差分データＭｎ−Ｄｉｆｆが生成される。デコード１処理１１１においては、画素差分データＭｎ−Ｄｉｆｆと予測画像Ｄ３−ＭｎＰｒｅにおける画像データ（デコード後の画像データ）とが加算されることで、マクロブロックＤ３−Ｍｎにおけるデコードデータが生成される。以上の処理を、１フレーム分行うことでデコード画像Ｄ３が生成される。

なお、Ｈ．２６４では、マクロブロックがサブブロックに分割されて、サブブロック単位で予測タイプと動きベクトルとを有する場合がある。この場合は、サブブロック単位でデコード画像Ｄ３が生成される。

以上のようにして、解析部１１０はデコード１処理においてデコード画像を生成する。解析部１１０は生成したデコード画像をデコード画像記録部１２０に記録する。

次に解析部１１０はデコード２処理１１５（Ｓ８）を行う。デコード２処理１１５においては、例えば、動きベクトル情報Ｍｎ−Ｖｅｃに基づいてマクロブロック単位で予測画像を生成する。この場合、デコード２処理１１５は、デコード画像Ｄ１におけるマクロブロックＤ３−ＭｎＰｒｅを予測画像とするのではなく、デコード画像Ｄ１に対応するモニタ画像Ｍ１上の、マクロブロックＤ３−ＭｎＰｒｅと同一座標にあるマクロブロックＥ３−ＭｎＰｒｅを予測画像とする。

デコード２処理１１５では、この予測画像Ｅ３−ＭｎＰｒｅに対して、画素差分データＭｎ−Ｄｉｆｆを加算することはせず、予測画像Ｅ３−ＭｎＰｒｅにおける画像データをそのまま画像Ｅ３におけるマクロブロックＥ３−Ｍｎの画像データとする。デコード２処理１１５は、このような処理を１フレーム分行うことで画像Ｅ３を生成する。以下においては、デコード２処理１１５で生成された画像Ｅ３を予測画像と称する場合がある。

ここで予測画像Ｅ３について説明する。予測画像Ｅ３には、画素差分データＭｎ−Ｄｉｆｆが加算されていない。画素差分データＭｎ−Ｄｉｆｆは、エンコード回路３５０において量子化値（Ｑ値）により量子化処理される。ただし、量子化値は、例えば、ターゲット装置３００を製造する各社によって異なる値が設定される。この量子化値によって、ターゲット装置３００からエンコード処理されたストリームデータのビットレートが大きく影響する。例えば、Ａ社のターゲット装置とＢ社のターゲット装置は、量子化値が異なることで出力されるストリームデータのビットレートが異なる場合がある。エンコード２処理１１５において、画素差分データＭｎ−Ｄｉｆｆが加算されないことにより、量子化値の影響、ひいてはビットレートの影響をできるだけ排除した予測画像Ｅ３を生成することができる。

上述したように、例えば、最終製品であるターゲット装置３００のビットレートをある一定のものにする（例えば、２４０Ｍｂｐｓにする）ということができない場合がある。評価装置１００では予測画像Ｅ３を生成するときに画素差分データＭｎ−Ｄｉｆｆを加算しないことで、例えば、ビットレートを一定にしなくても画質等の評価を行うことができるようになる。

また、デコード２処理１１５においては動きベクトルに基づいて予測画像Ｅ３が生成される（例えば図４（Ｅ））。画素差分データＭｎ−Ｄｉｆｆが加算されず、動きベクトルに基づいて予測画像Ｅ３が生成されることで、結果として、ターゲット装置３００におけるエンコード回路３５０の動き予測の性能に大きく影響した予測画像Ｅ３が生成される。評価装置１００は、この予測画像Ｅ３を評価対象とすることで、エンコード回路３５０における動き予測の性能を評価し、さらにターゲット装置３００の画質を評価することができる。

なお、デコード１処理１１１において予測タイプによっては画像Ｄ１，Ｄ２が選択される場合もある。このような場合、デコード２処理１１５においては、対応するモニタ画像Ｍ１，Ｍ２におけるマクロブロックＥ３−ＭｎＰｒｅ，Ｅ２−ＭｎＰｒｅに含まれる画像データの平均をとったものが予測画像Ｅ３となる。

また、マクロブロックＤ３−Ｍｎがサブブロックに分割される場合にも、デコード２処理１１５においてサブブロックごとに予測タイプと動きベクトルに基づいて予測画像Ｅ３が生成される。

なお、デコード１処理１１１とデコード２処理１１５の上述した処理については、例えば、解析部１１０が内部のフレームメモリ或いはデコード画像記録部１２０を利用して、画像データを書き込んだり、読み出したりすることで処理を行うことが可能となる。

図３に戻り、評価装置１００においてデコード２処理１１５（Ｓ４）が終了すると、評価処理を行う（Ｓ９）。例えば、評価部１４０は、生成された予測画像Ｅ３と調整されたモニタ画像とを比較して上述した評価処理を行う。図４（Ｄ）と図４（Ｅ）の例では、評価部１４０は予測画像Ｅ３におけるマクロブロックＥ３−Ｍｎ（モニタ画像Ｍ１のマクロブロックＥ３−ＭｎＰｒｅに対応）の画像データと、マクロブロックＥ３−Ｍｎと同じ画素位置にあるモニタ画像Ｍ３のマクロブロックＭ３−Ｍｎの画像データとを比較する。

＜キャプチャ処理、マスキング処理１１２、スケーリング処理１１３、及びフレーム合わせ処理１１４＞
上記したデコード２処理１１５（Ｓ８）においては調整されたモニタ画像が用いられる。調整されたモニタ画像は、評価装置１００においてキャプチャしたモニタ画像に対してマスキング処理１１２（Ｓ５）とスケーリング処理１１３（Ｓ６）を施すことで生成される。また、デコード２処理１１５（Ｓ８）については動きベクトルを用いており、デコード画像のフレームと調整されたモニタ画像のフレームが一致した状態でデコード２処理１１５（Ｓ８）が行われる。そのため、デコード画像と調整されたモニタ画像との間でフレーム合わせ処理１１４（Ｓ７）も行われる。

そこで、最初にマスキング処理１１２（Ｓ５）からフレーム合わせ処理１１４（Ｓ７）について簡単に説明し、その後、キャプチャ処理（Ｓ２）の詳細、さらにマスキング処理１１２（Ｓ５）以降の各処理の詳細について説明する。この順番による説明でキャプチャ処理（Ｓ２）についての理解も容易になる。

図６はマスキング処理１１２（Ｓ５）を説明するための図である。モニタ画像には、録画状態や録画時間を含むＯＳＤ表示がなされる場合がある。例えばターゲット装置３００の前処理部３３０などでＯＳＤの表示処理が行われる。

このような場合において、ターゲット装置３００においてＯＳＤ表示をオフできればその状態でモニタ画像を評価装置１００においてキャプチャできればよいが、そのような機能を持たないターゲット装置３００もある。このようなことを考慮して、評価装置１００ではモニタ画像に対してマスキング処理１１２（Ｓ５）を行うことができる。評価装置１００はモニタ画像にマスキング処理１１５を行うと、デコード画像に対してもマスキング処理１１５を行う。これにより、例えば、フレーム合わせ処理１１４（Ｓ７）においてデコード画像とモニタ画像とでフレーム合わせを容易に行うことができる。

図６において前処理部３３０から出力されるモニタ画像にはＯＳＤ表示がなされているが、前処理部３３０からエンコード回路３５０に出力される映像にはＯＳＤ表示はなされていない。これは、通常、ビデオカメラなどにはビューファインダなどが備えられてユーザに対してＯＳＤ表示することで録画状態などを知らせているが、実際にエンコードする映像にはこのようなＯＳＤ表示はなされておらず、ＯＳＤ表示のない映像をエンコードしているからである。マスキング処理１１２（Ｓ５）の詳細については後述する。

次にスケーリング処理１１３（Ｓ６）について簡単に説明する。図７はスケーリング処理１１３（Ｓ６）を説明するための図である。

例えば、ＴＶ画面に映像を表示させるとき、ＴＶ装置内においてはフレームの上下左右の部分を表示させないようにオーバースキャンと呼ばれる処理が行われる場合がある。ターゲット装置３００においても、ＴＶ画面にモニタ画像を表示させるときにオーバースキャンが行われてモニタ画面の上下左右の端が画面外で見えなくなる事を避けるため、あらかじめモニタ画像の各フレームの映像を本来より縮小し上下左右に黒枠等を付加する場合がある。ＴＶ装置内においてオーバースキャンされて付加した黒枠等が画面外で見えなくなっても、ＴＶ画面には、モニタ画像全体が表示されるようになる。

ターゲット装置３００において、このような黒枠等の付加をオフにする機能（例えば、ドットバイドット機能など）が設定可能であれば、オフにした状態で評価装置１００がモニタ画像をキャプチャできればよいが、そのような設定ができない場合もある。このような場合、評価装置１００は、スケーリング処理１１３を行うことでキャプチャしたモニタ画像とデコード画像とのサイズを一致させるようにする。サイズを一致させることで、例えば、後段のフレーム合わせ処理１１４で行われる処理を容易にできる。スケーリング処理１１３の詳細は後述する。

次にフレーム合わせ処理１４（Ｓ７）について簡単に説明する。図８はフレーム合わせ処理１１４（Ｓ７）を説明するための図である。

例えば、評価装置１００においてキャプチャするモニタ画像は、ターゲット装置３００において電源がオンになっている限り、ターゲット装置３００から出力され続ける。一方、ターゲット装置３００は録画ボタンが押圧されると例えばエンコードを開始し、ストリームデータを出力する。従って、映像表示装置２００において合成映像が表示されるタイミングと、表示されたモニタ画像のフレームのタイミングとデコード画像のフレームのタイミングが一致しない場合がある。そこで、評価装置１００はフレーム合わせ処理１１４（Ｓ７）を行い、モニタ画像とデコード画像のフレームのタイミングを合わせるようにしている。

例えば、フレーム合わせ処理１１４を行うためのマーカー画像がマーカー映像発生部１０２で生成される。フレーム合わせ処理１１４用のマーカー画像には、例えば、縦４個に並んだ黒枠白塗りの矩形と数字が含まれ、フレーム毎に縦４個の矩形が除々に画面左から右に位置を変え、また、数字もフレーム毎に「１」から順番に表示されるものとなっている。

図８の例では、キャプチャしたモニタ画像は「１」〜「６」であるのに対して、デコード画像はフレーム番号が「３」〜「６」となっている。よって、フレーム合わせ処理１１４においては、モニタ画像もフレーム番号が「３」〜「６」を使用するようにフレーム合わせを行う。フレーム合わせ処理１１４の詳細は後述する。

かかるフレーム合わせ処理１１４により、例えば、後段のデコード２処理１１５においては、デコード画像（或いは動きベクトル）に対してフレーム番号が一致したモニタ画像を用いて予測画像が生成可能となる。

＜キャプチャ処理＞
次にキャプチャ処理（図３のＳ２）の詳細について説明する。以降においては、キャプチャ処理（Ｓ２）、マスキング処理１１２（Ｓ５）、スケーリング処理１１３（Ｓ６）、及びフレーム合わせ処理１１４（Ｓ７）の詳細について順を追って説明する。

図９はキャプチャ動作の例を表わすフローチャートである。本キャプチャ処理（Ｓ２）については、評価装置１００におけるマーカー映像の生成から、モニタ画像のキャプチャまでの動作が含まれている。

評価装置１００は処理を開始すると（Ｓ２０）、マーカー画像を生成する（Ｓ２１）。図１０（Ａ）〜図１０（Ｄ）はマーカー画像の例を表わす図である。マーカー画像は、位相調整用マーカー画像（例えば図１０（Ａ））、マスキング用マーカー画像（例えば図１０（Ｂ））、スケーリング用マーカー画像（例えば図１０（Ｃ））、及びフレーム合わせ用マーカー画像（例えば図１０（Ｄ））がある。このようなマーカー画像は、例えば、マーカー映像発生部１０２で生成される。なお、これらの各マーカー画像がどのように使用されるかについては後述する。

図１１はマーカー映像発生部１０２の構成例を表わす図である。マーカー映像発生部１０２は、全体制御部１３０からのマーカーパタン選択信号と繰り返し数指定信号、映像合成部１０３からの画素クロックと映像切り替え信号とに基づいて、マーカー画像を順次出力する。すなわち、マーカー映像発生部１０２は全体制御部１３０から出力されたマーカーパタン選択信号に従って、各マーカー画像（例えば図１０（Ａ）〜図１０（Ｄ）のいずれか）を生成する。なお、映像切り替え信号と画素クロックは位相調整部１０８で生成され、映像出力部１０４及び映像合成部１０３を介してマーカー映像発生部１０２に出力される。

マーカー映像発生部１０２は、マーカーパタン管理データ部１０２１、フレームカウンタ１０２２、画素カウンタ１０２３、アドレス計算部１０２４、及びマーカーパタンデータメモリ１０２５を備える。

マーカーパタン管理データ部１０２１は、全体制御部１３０から出力されたマーカーパタン選択信号に基づいて、位相調整用のマーカー映像か、マスキング用マーカー映像か、スケーリング用マーカー映像か、又はフレーム合わせ用マーカーかを識別する。そして、マーカーパタン管理データ部１０２１は、識別した各マーカー画像に対応するアドレス値（例えば先頭アドレスのアドレス値）をアドレス計算部１０２４に出力する。

また、マーカーパタン管理データ部１０２１は、全体制御部１３０から出力された繰り返し数指定信号に基づいて、繰り返し出力するフレーム数をフレームカウンタ１０２２に出力する。さらに、マーカーパタン管理データ部１０２１は、選択したマーカー画像に対してマーカーパタンの最大値を画素カウンタ１０２３に出力する。なお、マーカーパタン管理データ部１０２１は、アドレス値以外にも、繰り返しフレーム数、マーカーパタンの最大値をアドレス計算部１０２４に出力する。

フレームカウンタ１０２２は、映像合成部１０３から出力された映像切り替え信号に従ってカウントを開始し、マーカーパタン管理データ部１０２１から出力されたフレーム数をカウントする。例えば、フレーム数が「２」のとき、フレームカウンタ１０２２は「１」、「２」、「１」、「２」…を繰り返す。

画素カウンタ１０２３は、映像合成部１０３から出力された画素クロックに従ってカウントを「０」から開始し、マーカーパタン管理データ部１０２１から出力されたマーカーパタンの最大値までカウントするカウンタである。画素カウンタ１０２３は最大値に達すると再び「０」に戻ってカウントする。

アドレス計算部１０２４は、マーカー画像のマーカーパタンデータメモリ１０２５上のアドレスを計算する。マーカーパタン管理データ１０２１から出力されるアドレス値をＸ、フレーム数をＹ、最大値をＺ、フレームカウンタ１０２２から出力されるカウント値をＵ、画素カウンタ１０２３から出力されるカウント値をＶとすると、アドレス計算部１０２４は以下の計算を行う。

Ｘ×Ｙ×Ｚ＋Ｚ×Ｕ＋Ｚ×Ｖ ・・・（１）
上記式（１）は例えば、選択したマーカー画像の画素値（又は画像データ）をマーカーパタンデータメモリ１０２５から繰り返し読み出すことを表わしている。

マーカーパタンデータメモリ１０２５は、各マーカー画像の画像データをメモリ内の所定アドレスに記憶する。マーカー画像の画像データは、マーカー信号としてマーカー映像発生部１０２から映像合成部１０３に出力される。

図９に戻り、次いで、評価装置１００は評価用画像とマーカー画像とを合成する（Ｓ２２）。例えば、映像合成部１０３が合成を行う。

図１２は映像合成部１０３の構成例を表わす図である。映像合成部１０３は、第１のＦＦ（Flip Flop）〜第３のＦＦ１０３１，１０３３，１０３５、ＳＥＬ部（Selector）１０３２、ＣＭＰ部（Comparator）１０３４を備える。

ＣＭＰ部１０３４は、第２のＦＦ１０３５を介して入力したマーカー信号と、全体制御部１３０から出力されたマーカー透過データ指定値とを比較し、比較結果に応じた選択信号をＳＥＬ部１０３２に出力する。ＣＭＰ部１０３４は、例えば、マーカー信号が当該指定値と等しいときは評価用画像の画像データがＳＥＬ部１０３２において選択され、マーカー信号が当該指定値と等しくないときはマーカー画像の画像データがＳＥＬ部１０３２において選択される選択信号を出力する。これにより、例えば、マーカー画像のマーカー部分（例えば図１０（Ｃ）の例では矩形部分）はマーカー画像の画像データが選択され、それ以外の部分は評価用画像の画像データが選択されることで、合成画像が映像合成部１０３から出力される。

例えば、映像合成部１０３からは位相調整用マーカー画像（例えば図１０（Ａ））が数秒程度出力され、次に、マスキング用マーカー画像（例えば図１０（Ｂ））が数秒程度出力される。更に、スケーリング用マーカー画像（例えば図１０（Ｃ））が数秒程度出力され、最後にフレーム合わせ用マーカー画像（例えば図１０（Ｄ））と評価用画像との合成画像が出力される。評価装置１００は、このようなマーカー画像をターゲット装置３００において撮像させ、各マーカー画像を含むモニタ画像に対して、マスキング処理１１２などを行うようにしている。

なお、映像合成部１０３からは必ずしも、マーカー画像と評価用画像とが合成された画像が表示されなくてもよく、マーカー画像が単独で出力されたり、評価用画像が単独で出力されてもよい。以下においては、映像合成部１０３から出力される画像を合成画像と称する場合があるが、この合成画像にはマーカー画像単独の画像や、評価用画像とマーカー画像との合成画像も含まれるものとする。

図９に戻り、次いで、評価装置１００は合成後の画像を表示させる（Ｓ２３）。例えば、評価装置１００は映像表示装置２００に合成画像の画像データを出力することで合成画像を表示させる。合成画像が映像表示装置２００に表示されることで、ターゲット装置３００は当該合成画像を撮像することができる。

次いで、評価装置１００はターゲット装置３００から出力されたモニタ画像を入力する（Ｓ２４）。このモニタ画像には、マーカー画像が含まれる場合もあるし、ＯＳＤ表示を含むマーカー画像が含まれる場合もある。例えば、映像入力部１０５においてモニタ画像の画像データを入力する。

次いで、評価装置１００は位相調整を行う（Ｓ２５）。位相調整の際には、図１０（Ａ）のマーカー画像を映像表示装置２００にて表示して行う。例えば、映像表示装置２００における映像表示の切り替えタイミングと、ターゲット装置３００の撮影タイミングとが一致していない場合、モニタ画像のあるフレーム内に次のフレームが撮像される画像となる場合がある。図１４（Ｂ）は２つのタイミングが一致していないときのモニタ画像の例を表わしている。評価装置１００は位相調整を行うことで、例えば、２つのタイミングを一致させることができる。

実際の位相調整は、例えば、以下のようにして行われる。

すなわち、全体制御部１３０によるマーカーパタン選択信号によりマーカー映像発生部１０２から位相調整用マーカー画像の画像データが出力される。例えば、図１４（Ａ）に示す位相調整用マーカー画像が出力される。ターゲット装置３００は、位相調整用マーカー画像を撮像し、撮像した当該画像をモニタ画像として評価装置１００に出力する。

映像入力部１０５はモニタ画像の画像データから同期信号を抽出し、位相調整部１０８に出力する（例えば図２）。例えば、画像データには画素値以外にも水平同期信号や垂直同期信号などの同期信号が含まれる。位相調整部１０８は同期信号に対してその位相を調整し、位相調整した同期信号を生成する。映像出力部１０４は位相調整された同期信号に従って、合成画像の各フレームを出力する。これにより、例えば、モニタ画像のフレームの撮像タイミングと一致した、合成画像の各フレームが映像表示装置２００に表示させることができる。

位相調整の詳細について説明する。図１３（Ａ）は位相調整部１０８の構成例、図１３（Ｂ）〜図１３（Ｆ）は位相調整部１０８におけるクロックの例を表わす。

位相調整部１０８は、ＰＬＬ（Phase Locked Loop）回路１０８１とカウンタ回路１０８２を備える。

モニタ画像から抽出された同期信号（Ｐ１，例えば図１３（Ｂ））は、カウンタ回路１０８２とＰＬＬ回路１０８１に入力される。ＰＬＬ回路１０８１は、同期信号を基準信号とし、同期信号の立ち上がりエッジに同期した画素周期のクロック（Ｐ２，例えば図１３（Ｃ））を生成する。

カウンタ回路１０８２は、同期信号をカウンタ回路１０８２内のリスタート信号（Ｐ１）とし、リスタート信号の立ち上がりで「０」からカウントを開始し、画素クロック（Ｐ２）でカウントアップする。カウンタ回路１０８２は、全体制御部１３０から位相遅延量指定信号を受け取り、カウントアップした回数が当該指定信号により指定された値（Ｐ３，例えば「４」，図１３（Ｄ））に達すると、位相調整した同期信号を「ＨＩＧＨ」にする（Ｐ４，図１３（Ｆ））。

また、カウンタ回路１０８２は、リスタート信号（Ｐ１）の立ち下がりの際にカウンタ値を内部に保持し、位相遅延量指定信号により指定された値（Ｐ３）とカウンタ値とを加算した値が内部保留値（例えば「５」）になると、位相調整した同期信号を「ＬＯＷ」にする（Ｐ４）。

図１３（Ｆ）は例えば位相調整した同期信号（Ｐ４）の例を表わしている。図１３（Ｂ）及び図１３（Ｆ）の例において、２つの同期信号Ｐ１，Ｐ４の位相差は、例えば（位相遅延量指定信号により指定した値＋１）となっている。

図９に戻り、次いで、評価装置１００は、操作者にターゲット装置３００の録画ボタンを押圧するなどしてエンコード動作を開始するよう促す（Ｓ２６１）。操作者が録画開始したことを確認したら評価装置１００は、マスキング処理用のマーカー画像である図１０（Ｂ）、スケーリング処理用のマーカー画像である図１０（Ｃ）、および、評価用画像にフレーム処理用のマーカー画像である図１０（Ｄ）を重畳した映像を映像表示装置２００にて表示し（Ｓ２６２〜Ｓ２６４）、ターゲット装置３００のモニタ画像をキャプチャし、モニタ画像記録部１０７に記録する（Ｓ２６）。評価装置１００は位相調整が行われたモニタ画像をモニタ画像記録部１０７に記録する。

評価用画像は、ターゲット装置３００のエンコード回路３５０の動き予測性能を評価するのに適した一連の動きのある動画像であり、これにフレーム処理用のマーカー画像である図１０（Ｄ）を重畳した状態で、評価用の一連の動画像を映像表示装置２００にて表示させる。これらの映像がターゲット装置３００にて録画されたら、操作者に対して、録画停止ボタンを押圧するなどしてエンコード動作を停止するよう促す（Ｓ２６５）。

操作者が録画停止したことを確認したら評価装置１００はターゲット装置３００からのモニタ画像のキャプチャ処理を終了する（Ｓ２７）。

＜マスキング処理１１２＞
図３に戻り、評価装置１００はキャプチャ処理を終了すると（Ｓ２）、マスキング処理１１２を行う（Ｓ５）。次にこのマスキング処理１１２の詳細について説明する。

図１５（Ａ）から図１５（Ｅ）はマスキング処理１１２におけるモニタ画像などの例を表わしている。また、図１６はマスキング処理１１２の動作例を表わすフローチャートである。

図１５（Ａ）はマスキング用マーカー画像の例を表わしている。マスキング用マーカー画像としては例えば、画像全体が白の画像と、黒の画像の２種類がある。このようなマスキング用マーカー画像は、全体制御部１３０から出力されたマーカーパタン選択信号に従ってマーカー映像発生部１０２において生成される。

図１５（Ｂ）及び図１５（Ｃ）はモニタ画像の例を表わし、このうち、図１５（Ｂ）はＯＳＤ表示のないモニタ画像、図１５（Ｃ）はＯＳＤ表示のあるモニタ画像の例をそれぞれ表わしている。図１５（Ｂ）や図１５（Ｃ）などのモニタ画像は、ターゲット装置３００で生成されて、モニタ画像記録部１０７に記録される。

ＯＳＤ表示は、例えば、上述したようにユーザに対して録画状態などを表示するためのものでターゲット装置３００の前処理部３３０において付加される。ＯＳＤ表示のあるモニタ画像は、例えば、フレーム合わせ処理１１４、さらにはデコード２処理１１５における予測画像の生成などに影響を与え、動き予測性能の評価に際して障害となる。そのため、ＯＳＤ表示されたモニタ画像に対してマスキングパタンによりマスキング処理１１２を行う。

図１６を用いてマスキング処理１１２の詳細について説明する。評価装置１００はマスキング処理１１２を開始すると（Ｓ３１）、ターゲット装置３００で撮像された２種類のマスキング用マーカー映像についてのモニタ画像の画像データを、モニタ画像記録部１０７から読み出す（Ｓ３２）。

例えば、評価装置１００は、白単一色のマスキング用マーカー画像を１秒程度、次いで、黒単一色のマスキング用マーカー画像を１秒程度出力し、ターゲット装置３００はこれを撮像してモニタ画像として出力している。評価装置１００のモニタ画像記録部１０７では、マスキング用マーカー画像についての画像データが２種類記録されており、各々１フレームずつ、２フレーム読み出して以降の処理を行うことができる。

次いで、評価装置１００はマスキング用マーカー画像に対するモニタ画像について、マーカー画像が白の場合のモニタ画像については白以外の画素、マーカー画像が黒の場合のモニタ画像については黒以外の画素を検出する（Ｓ３３）。検出した画素がマスク候補となる。

かかる検出は、例えば、以下のようにして行われる。すなわち、解析部１１０において、モニタ画像信号をモニタ画像記録部１０７から読み出し、当該信号により示された各画素の画素値が「０」以外の画素や「２５５」以外の画素を１フレーム分検出することで行われる。２つのマスキング用マーカー画像が用いられるのは、例えば、検出した画素についてマスク候補から漏れるのを防止するためである。例えば、図１５（Ｄ）はマスク候補の画素を含む画像の例を表わしている。

なお、かかる検出は、例えばＯＳＤ表示のないモニタ画像に対しても行ってもよい。この場合、モニタ画像についてはターゲット装置３００のレンズ３１０と撮像部３２０により、白や黒以外の画素が含まれる場合もある。従って、解析部１１０は各画素の画素値を検出する際に、例えば数％程度の幅を持たせてマスク候補を検出するようにしてもよい。

図１６に戻り、次いで、評価装置１００は、マスク候補の各画素周辺を含むマスクパタンを生成する（Ｓ３４）。マスクパタンに周辺画素を含ませているのは、例えば、ＯＳＤによる時間表示やバッテリ表示は時間経過とともに変化し、マスクパタンによるマスクが不十分となる場合を防止するためである。例えば、マスク候補に対して上下左右１０画素を周辺画素することもできる。なお、ＯＳＤ表示のないモニタ画像の場合、マスク候補は検出されないため、マスクパタンは生成されない。

図１５（Ｅ）はマスクパタンの例を表わす。例えば、解析部１１０はマスク候補とその周辺画素を含む領域を黒、それ以外の領域は白とする画像を表わす画像データを生成することでマスクパタンを生成する。マスクパタンについては、マスク候補と周辺画素を白、それ以外の領域を黒するマスクパタンであってもよい。

図１６に戻り、次いで、評価装置１００はモニタ画像記録部１０７に記録したモニタ画像に対してマスクパタンでマスク処理を行う（Ｓ３５）。例えば、解析部１１０はモニタ画像記録部１０７からモニタ画像を読み出し、当該モニタ画像とマスクパタンとを合成する。これにより、ＯＳＤ表示のないモニタ画像が生成される。図１８（Ｂ）はマスキング処理１１２によりマスクされたモニタ画像の例を表わしている。なお、マスクパタンは、例えば、解析部１１０により内部のフレームメモリやモニタ画像記録部１０７などに記録される。

そして、評価装置１００はマスクキング処理１１２を終了する（図１６のＳ３６）。

＜スケーリング処理１１３＞
図３に戻り、評価装置１００はマスキング処理１１２（Ｓ５）を終了すると、スケーリング処理１１３を行う（Ｓ６）。次にスケーリング処理１１３の詳細について説明する。

図１７はスケーリング処理１１３の動作例を表わすフローチャートであり、図１８（Ａ）から図１８（Ｅ）はスケーリング処理１１３における画像の例を表わし、図１９（Ａ）及び図１９（Ｂ）は画素位置の例を表わしている。

評価装置１００はスケーリング処理１１３を開始すると（Ｓ４１）、モニタ画像記録部１０７からスケーリング処理用画像を読み出す（Ｓ４２）。

図１０（Ｃ）はスケーリング用マーカー画像の例を表わしている。スケーリング用マーカー画像としては、例えば、白バックに黒の矩形のマークが複数施された画像と、黒バックに白の矩形のマークが複数施された画像の２種類がある。例えば、評価装置１００は、白バックのスケーリング用マーカー画像を１秒程度、次に、黒バックのスケーリング用マーカー画像を１秒程度出力する。モニタ画像記録部１０７では、ターゲット装置３００において撮像されたかかる画像のモニタ画像が記録されている。例えば、解析部１１０はモニタ画像記録部１０７から白バックのスケーリング用マーカー画像に対応するモニタ画像の１フレームと、黒バックのスケーリング用マーカー画像に対応するモニタ画像の１フレームの２フレーム分の画像データを読み出す。前者をモニタフレーム１、後者をモニタフレーム２と称する場合がある。例えば、解析部１１０がモニタ画像記録部１０７からスケーリング処理用画像を読み出す。

図１７に戻り、次いで、評価装置１００は読み出したモニタ画像についてＯＳＤ表示がなされている場合、マスクパタンでマスク処理を行う（Ｓ４３）。本スケーリング処理１１３が行われる前において、ＯＳＤ表示がなされたモニタ画像に対してマスキング処理１１２が行われるため、モニタ画像記録部１０７からモニタ画像が読み出されるときにマスクパタンによるマスク処理が行われる。

この場合のマスク処理は、例えば、以下のようにして行われる。すなわち、モニタフレーム１に対しては、マスク部分は白（例えば画素値「２５５」）、それ以外は透過（例えば画素値なし）とするマスクパタンが合成される。また、モニタフレーム１に対しては、マスク部分は黒（例えば画素値「０」）、それ以外は透過とするマスクパタンが合成される。図１８（Ｂ）はマスク処理後のモニタフレーム（以下、マスクモニタフレームと称する場合がある）１，２の例を表わしている。

図１７に戻り、次いで、評価装置１００はマスクモニタフレーム１の黒色の画素部分と、マスクモニタフレーム１の白色の画素部分とを抽出し、双方の画素位置が一致している部分をモニタ・スケーリング画素として抽出する（Ｓ４４）。図１８（Ｃ）はモニタ・スケーリング画素を含むモニタ・スケーリング基準画像の例を表わす。図１８（Ｃ）に示すモニタ・スケーリング基準画素の例は、当該画素が白、それ以外の画素は黒にしたものである。例えば、解析部１１０は、マスクモニタフレーム１における黒色の画素と、マスクモニタフレーム２における白色の画素とを比較して一致している画素を抽出する。そして、解析部１１０は、例えば、抽出した画素を白、それ以外の画素を黒とする画素値の画像を生成することで、モニタ・スケーリング基準画像を生成する。

図１７に戻り、次いで、評価装置１００はデコード１処理１１１が行われたデコード画像に対しても、モニタ画像の場合と同様にスケーリング処理１１３を行う。すなわち、評価装置１００はデコード画像記録部１２０からスケーリング処理用画像を読み出す（Ｓ４５）。この場合のスケーリング処理用画像は、例えば、エンコードされたスケーリング用画像に対してデコード１処理１１１においてデコードされた画像である。図１８（Ｄ）はデコードされた画像の例を表わしており、白バックのデコード画像をデコードフレーム１、黒バックのデコード画像をデコードフレーム２と称する場合がある。

図１７に戻り、次いで、評価装置１００は、デコードフレーム１の黒色の画素部分と、デコードフレーム２の白色の画素部分とを抽出し、双方の画素位置が一致している部分をデコード・スケーリング基準画素として抽出する（Ｓ４６）。図１８（Ｅ）はデコード・スケーリング基準画素を含むデコード・スケーリング基準画像の例を表わす。図１８（Ｅ）に示すデコード・スケーリング基準画素の例は、当該画素が白、それ以外の画素は黒で示されている。例えば、解析部１１０がデコードフレーム１の黒色とデコードフレーム２の白色の各画素を比較して一致している画素を検出し、当該画素を白、それ以外の画素を黒とする画像を生成することでデコード・スケーリング基準画像を生成する。

図１７に戻り、次いで、評価装置１００は、モニタ・スケーリング基準画素とデコード・スケーリング基準画素とに基づいて、スケーリングパラメータを求める（Ｓ４７）。スケーリングパラメータは、例えば、モニタ画像の各画素に対してスケーリング処理１１３を施して、デコード１処理１１１が施されたデコード画像のサイズを一致させるために使用される値である。

図１９（Ａ）はデコード・スケーリング基準画素、図１９（Ｂ）モニタ・スケーリング基準画素の画素位置の例をそれぞれ表わしている。デコード・スケーリング基準画素の画素位置を（ｘｐ，ｙｐ）、モニタ・スケーリング基準画素の画素位置を（ｘｑ，ｙｑ）とする。また、スケーリングパラメータとして、水平方向のオフセットをｏｘ、垂直方向のオフセットをｏｙ、水平方向の拡大スケーリング率をｓｘ、垂直方向の拡大スケーリング率をｓｙとする。デコード・スケーリング基準画素（ｘｐ，ｙｐ）とモニタ・スケーリング基準画素（ｘｑ，ｙｑ）との関係は、
ｘｑ＝ｘｐ×ｓｘ＋ｏｘ ・・・（２）
ｙｑ＝ｙｐ×ｙｘ＋ｏｙ ・・・（３）
となる。

評価装置１００は、複数のモニタ・スケーリング基準画素の画素位置と、複数のデコード・スケーリング基準画素の画素位置とをＳ４４及びＳ４６の処理により検出している。従って、評価装置１００は、この検出した各画素の画素位置を式（２）及び式（３）に代入することで、スケーリングパラメータｏｘ、ｏｙ、ｓｘ、ｓｙを算出することができる。

そして、評価装置１００は、モニタ画像の各画素に対して、スケーリングパラメータｏｘ、ｏｙ、ｓｘ、ｓｙを代入した式（２）及び式（３）の処理を行うことで、例えばモニタ画像が拡大されて、モニタ画像のサイズがデコード画像のサイズと一致する画像を得ることができる（図１７のＳ４７）。

なお、式（２）及び式（３）においては、例えば、画素位置（ｘｑ，ｙｑ）が少数点以下の成分を含む場合もある。かかる場合を考慮して、例えば、画素位置（ｘｑ，ｙｑ）の画素値は、画素位置（ｘｑ，ｙｑ）における画素値とその周辺画素の画素値とに基づいて、算出することも可能である。

例えば、ターゲット装置３００においてオーバースキャン処理が行われない場合、モニタ画像とデコード画像とではそのサイズが一致する。従って、マスキング用マーカー映像を用いた場合でも、デコード・スケーリング基準画素（ｘｐ，ｙｐ）とモニタ・スケーリング基準画素（ｘｑ，ｙｑ）とは一致することになる。このような場合、例えば、評価装置１００は式（２）及び式（３）を用いてスケーリング処理１１３を行わないようにすることができる。これにより、処理削減を図ることが可能となる。

そして、評価装置１００はスケーリング処理１１３を終了する（図１７Ｓ４８）。

＜フレーム合わせ処理１１４＞
図３に戻り、評価装置１００はスケーリング処理１１３を終了すると（Ｓ６）、フレーム合わせ処理１１４を行う（Ｓ７）。次にフレーム合わせ処理１１４の詳細について説明する。

図２０はフレーム合わせ処理１１４の動作例を表わすフローチャート、図２１（Ａ）から図２１（Ｄ）はフレーム合わせ処理１１４における画像の例を表わしている。

評価装置１００は、フレーム合わせ処理１１４を開始すると（Ｓ５１）、モニタ画像に対してマスキング処理１１２及びスケーリング処理１１３を施したスケールモニタ画像を生成する（Ｓ５２）。

図２１（Ａ）はモニタ画像の例、図２１（Ｂ）はスケールモニタ画像の例をそれぞれ表わしている。図２１（Ａ）の例では、モニタ画像はフレーム番号「Ｍ−１」まではスケーリング用マーカー画像にＯＳＤ表示がなされ、フレーム番号「Ｍ」以降はフレーム合わせ用マーカー画像にＯＳＤ表示がなされたものとなっている。

この場合のフレーム合わせ用マーカー画像としては、例えば、図１０（Ｄ）に示すようなものがある。フレーム合わせ用マーカー画像は、例えば、矩形の黒枠で白色のマーカーが上下左右に含まれ、フレームが進むに従い、縦方向にある１列の黒枠のマーカーが画面上左から右へと移動する画像となっている。

ただし、図２１（Ａ）の例ではフレーム番号「Ｍ」以降において、評価用画像（例えば複数の物体が様々な方向に移動する画像）とフレーム合わせ用マーカー画像とが合成された合成画像が出力される。

評価装置１００は、フレーム合わせ処理１１４の前段においてマスキング処理１１２（例えば図３のＳ５）とスケーリング処理１１３（Ｓ６）を行うため、これらの処理によってモニタ画像に対してマスキング処理１１２とスケーリング処理１１３を施す。そして、評価装置１００は、モニタ画像に対してマスキング処理１１２とスケーリング処理１１３とを施したスケールモニタ画像を生成する。図２１（Ｂ）はスケールモニタ画像の例を表わしている。

図２０に戻り、次いで、評価装置１００は、モニタ画像に対してマスキング処理１１２が行われた場合、デコード画像に対してもマスク処理を施す（Ｓ５３）。デコード画像にもマスク処理を施すのは、例えば、モニタ画像とデコード画像とで対象とするフレームを一致させるためである。

図２１（Ｃ）はデコード画像、図２１（Ｄ）はデコード画像にマスク処理が施されたマスクデコード画像の例をそれぞれ表わしている。デコード画像は、フレーム番号「Ｎ−１」まではスケーリング用マーカー画像がデコードされた画像であり、フレーム番号「Ｎ」以降はフレーム合わせ用マーカー画像と評価画像の合成画像がデコードされた画像となっている。デコード画像に対するマスクパタンは、例えば、モニタ画像に対するマスクパタンと同一である。

このようなデコード画像に対するマスク処理は、例えば、マスキング処理１１２などと同様に、解析部１１０がデコード１処理１１１を施したデコード画像の画像データをデコード画像記録部１２０に記録する。そして、解析部１１０はデコード画像記録部１２０からデコード画像（例えば図２１（Ｃ））の画像データを読み出し、マスキング処理１１２を施すことでマスクデコード画像（例えば図２１（Ｄ））を生成する。

図２０に戻り、次いで、評価装置１００は、フレーム合わせ用マーカー画像が合成されたマスクデコード画像の各フレームについて、スケールモニタ画像のどのフレームが対応するのかを算出する（Ｓ５４）。

図２１（Ｂ）及び図２１（Ｄ）の例では、評価装置１００は例えば以下のようにして対応するフレームを算出する。すなわち、解析部１１０はフレーム番号「Ｎ」のマスクデコード画像の画像データをデコード画像記録部１２０から読み出し、フレーム番号「Ｍ」以降の各スケールモニタ画像の画像データをモニタ画像記録部１０７から読み出す。解析部１１０は、フレーム番号「Ｎ」のマスクデコード画像と、フレーム番号「Ｍ」以降の各スケールモニタ画像とで画素単位に画素値（又は画像データ）の差分絶対値を求める。そして、解析部１１０は、１フレーム分の累積差分値が最小となるスケールモニタ画像の算出する。算出されたスケールモニタ画像が、フレーム番号「Ｎ」のマスクデコード画像に対応する画像となる。フレーム番号「Ｎ＋１」以降のマスクデコード画像についても、同様にして、スケールモニタ画像の何番が対応するかを求める。

以降の処理（デコード２処理１１５と評価処理）においては、例えば、解析部１１０はフレーム番号「Ｎ」のマスクデコード画像の画像データを読み出すとき、対応するスケールモニタ画像のフレーム番号が仮に「Ｍ」だったとすれば、スケールモニタ画像「Ｍ」の画像データを読み出して処理を行う（Ｓ５５）。

なお、スケールモニタ画像とデコード画像については、例えば、Ｓ５２とＳ５３の処理の際にそれぞれモニタ画像記録部１０７とデコード画像記録部１２０に記録される。この場合、モニタ画像はマスキング処理１１２やスケーリング処理１１３が施されて記録されている。かかるモニタ画像については、例えば、調整されたモニタ画像と称する場合がある。モニタ画像についてはマスキング処理１１２とスケーリング処理１１３が施されない場合もあるため、調整されたモニタ画像には、このような処理が行われないモニタ画像も含まれてもよい。

そして、評価装置１００はフレーム合わせ処理１１４を終了する（図２０のＳ５６）。

＜デコード２処理１１５＞
図３に戻り、評価装置１００はフレーム合わせ処理１１４（Ｓ７）を終了すると、デコード２処理１１５を行う（Ｓ８）。

図２２はデコード２処理１１５の動作例を表わすフローチャートである。デコード２処理１１５は図４などを用いて説明したため、ここでは重複した説明を避けるため簡単に説明することにする。

評価装置１００は、デコード２処理１１５を開始すると（Ｓ６１）、デコード１処理１１１において用いた動きベクトルに基づいて、参照画像Ｄ１にけるマクロブロックＤ３−ＭｎＰｒｅの画素を取り出す（これを動き補償と呼ぶ）替わりに、解析部１１０は、マクロブロックＤ３−ＭｎＰｒｅと同一の画素位置にあるスケールモニタ画像Ｍ上のマクロブロックＥ３−ＭｎＰｒｅの画素を取り出し、マクロブロックＥ３−ＭｎＰｒｅを予測画像Ｅ３のマクロブロックＥ３−Ｍｎの画像データとする（Ｓ６２）。

例えば、解析部１１０がストリームデータから抽出した動きベクトルと、モニタ画像記録部１０７に記録されたモニタ画像とを読み出して、これらに基づいて処理を行うことで、マクロブロックＥ３−ＭｎＰｒｅの画像データとする。

次いで、評価装置１００はモニタ画像Ｍ１のマクロブロックＥ３−ＭｎＰｒｅにおける画像データに対して、画素差分データＭｎ−Ｄｉｆｆを加算せず、予測画像Ｅ３のマクロブロックＥ３−Ｍｎの画像データとする（Ｓ６３）。

例えば、解析部１１０はモニタ画像Ｍ１のマクロブロックＥ３−ＭｎＰｒｅの画像データをモニタ画像記録部１０７から読み出し、当該画像データを予測画像Ｅ３のマクロブロックＥ３−Ｍｎにおける画像データとしてデコード画像記録部１２０に記録する。

次いで、評価装置１００は、フレーム内のすべてのマクロブロックに対して上記した処理を繰り返して予測画像Ｅ３を生成する（Ｓ６４）。例えば、解析部１１０は上記した処理を繰り返して生成した予測画像Ｅ３の画像データをデコード画像記録部１２０に記録する。解析部１１０はマクロブロックが分割されたサブブロック単位で処理を行うこともできる。

なお、マクロブロックによっては、動き補償を行わず、画素値そのものを持つ（一般的にイントラマクロブロックと称される）場合がある。このマクロブロックは動き予測の性能評価に適さないため、後ほど述べる動き予測性能の評価対象から除外されるよう、本来の画素値では取り得ないような値（例えば、負の値等）を持つ画像データとしておく。また、全マクロブロックがイントラマクロブロックであるようなフレーム（一般的にはイントラ・ピクチャ等と呼ばれる）については、画面全体については、画面全体が評価対象から除外される。

そして、評価装置１００はデコード２処理１１５を終了する（Ｓ６５）。１フレームのデコードが完了するごとに、対応する調整されたモニタ画像との間で画素単位にＰＳＮＲ等の数値化処理を行う。なお、イントラマクロブロックやイントラ・ピクチャなどは、除外するため、本来の画素値でない値（例えば負の値等）をとる画素については、ＰＳＮＲの対象外とする。

ＰＳＮＲ値が小さいほど、動き予測の性能が良いことになる。これをフレーム合わせ処理したフレーム、先の例で言えばフレーム「Ｎ」以降について、各フレームごとにＰＳＮＲ等の値を算出して全フレームで累積し、平均等の代表値を動き予測の性能の指標とする。

なお、前方向予測ピクチャと双方向予測ピクチャでは傾向が異なる場合もあるため、これらを分けて指標化することも当然可能である。また、画面全体のマクロブロック数に対するイントラマクロブロックの数なども、動き予測の性能に関する指標の１つにすることは当然可能である。

ここで例として、動き予測予測性能の異なる２つのターゲット装置について説明する。

図２３（Ａ）は調整されたモニタ画像の例、図２３（Ｂ）と図２３（Ｃ）は２つの異なるターゲット装置で、Ｍ３画像に対応するフレームに対するデコード２処理の画像の例である。

図２３（Ｂ）は、前方向のみ、すなわちＭ３画像に対してＭ１画像のみしか参照できず、サブブロック単位の動き予測もせずマクロブロック単位の動き予測しかしないエンコーダを搭載した装置のストリームをデコード２処理１１５により生成した予測画像の例である。この場合、マクロブロックＥ３ａ部分は、本来円と矩形が離れているべきであるが、参照画像Ｍ１では、円と矩形が重なった画像しなかいため、Ｅ３ａ部分は円と矩形が重なった映像となる。一方、図２３（Ｃ）は、両方向、すなわちＭ３画像に対して、Ｍ１とＭ２の２つの参照画像として使う事ができ、さらにサブブロック単位の動き予測をするエンコーダを搭載した装置のストリームをデコード２処理１１５により生成された予測画像の例である。Ｅ３ｂ部分は、円と矩形が離れているＭ２を参照画像とし、さらに、Ｍ２では、Ｍ３と比べて円と矩形の間隔がより離れているが、サブブロック単位で動きベクトルを使う事で、間隔もＭ２と同様の位置となる。図２３（Ｂ）に対して、図２３（Ｃ）の方が、調整された調整されたモニタ画像Ｍ３に近い画像となっている。

図２３（Ｂ）のＥ３ａの予測画像に対して、Ｍ３画像との差を埋めるだけの十分な画素差分データがあれば、通常のデコード処理では、図２３（Ｂ）のようにならずに、Ｍ３画像により近い画像となる。

しかし、上述したように、評価装置１００におけるデコード２処理１１５では、動きベクトルに基づいて予測画像Ｅ３が生成される（例えば図４（Ｅ））。この際に、画素差分データＭｎ−Ｄｉｆｆが加算されず、動きベクトルに基づいて予測画像Ｅ３が生成される。従って、ターゲット装置３００におけるエンコード回路３５０の動き予測の性能に大きく影響した予測画像Ｅ３が生成されることになる。図２３（Ｂ）及び図２３（Ｃ）は、動き予測の性能の差となっている画像の例をそれぞれ表わしているので、調整されたモニタ画像Ｍ３において、ＰＳＮＲ等により数値化するなどの処理を行えば、図２３（Ｂ）の装置より図２３（Ｃ）の装置の方が良い評価結果が算出されることになる。

［その他の実施の形態］
次にその他の実施の形態について説明する。

図２４は評価装置１００の他の構成例を表わす図である。評価装置１００は、更に、ＣＰＵ（Central Processing Unit）１５１、プログラムメモリ１５２、データメモリ１５３、ストリーム入力ＩＦ（Interface）１５４、評価用画像記録制御部１５５、モニタ画像記録制御部１５６、デコード画像記録制御部１５７、モニタ画像フレームメモリ１５８、内部バス１５９、メモリ１６０、及び映像入出力ＩＦ１６５を備える。また、評価装置１００は、更に、モニタ画像記憶媒体１６０、デコード画像記憶媒体１６１、映像入力ＩＦ１６２、評価用画像記憶媒体１６３、及び映像出力ＩＦ１６を備える。

ＣＰＵ１５１はプログラムメモリ１５２に記憶された各プログラムを実行することで、デコード１処理１１１、マスキング処理１１２、スケーリング処理１１３、フレーム合わせ処理１１４、及びデコード２処理１１５を行う。ＣＰＵ１５１は、例えば、第２の実施の形態における解析部１１０に対応する。

データメモリ１５３は、例えば、フレームメモリなどであって、ＣＰＵ１５１において処理を行うときに画像データなどが適宜記憶される。データメモリ１５３には、例えば、マスキング処理１１２において生成されるマスクパタンなどが記憶される。

ストリーム入力ＩＦ１５４は、ターゲット装置３００でエンコードされた画像データのビットストリームを入力する。ストリーム入力ＩＦ１５４は、例えば、第２の実施の形態におけるストリーム入力部１０９に対応する。

モニタ画像記録制御部１５５は、ＣＰＵ１５１の制御により、ターゲット装置３００で撮像されたモニタ画像（調整されたモニタ画像も含む）の画像データをモニタ画像記憶媒体１６０に記録したり、モニタ画像記憶媒体１６０から記録した画像データを読み出す。モニタ画像記録制御部１５６とモニタ画像記憶媒体１６０は、例えば、第２の実施の形態におけるモニタ画像記録部１０７に対応する。

モニタ映像フレームメモリ１５６は、モニタ映像の画像データをモニタ画像記録制御部１５５から受け取り、当該画像データを記憶する。モニタ映像フレーム１５６に記憶された画像データはモニタ映像出力部１０６から適宜読み出され、モニタ映像表示装置４００に出力される。

デコード画像記録制御部１５７は、ＣＰＵ１５１の制御により、デコード１処理１１１によりデコードしたデコード画像の画像データをメモリ１６０にデコード画像記憶媒体１６１に記憶したり、デコード画像記憶媒体１６１からデコード画像の画像データを読み出す。デコード画像記録制御部１５７とデコード画像記憶媒体１６１は、例えば、第２の実施の形態におけるデコード画像記録部１２０に対応する。

なお、映像入力ＩＦ１６２、評価用画像記憶媒体１６３、映像出力ＩＧ１６４は、例えば、第２の実施の形態における映像入力部１０５、評価用画像記録部１０１、映像出力部１０４にそれぞれ対応する。

また、評価処理１４１は、例えばＣＰＵ１５１がプログラムメモリ１５２に記憶されたプログラムを実行することで行うことができる。ＣＰＵ１５１は、例えば、第２の実施の形態における評価部１４０に対応する。

第２の実施の形態で説明した圧縮符号化の方式は、例えば、Ｈ．２６４の例で説明した。これ以外にも、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、さらに、今後予想されるフレーム間の相関を利用した圧縮符号化方式であっても、第２の実施の形態で説明した評価システム１０を実施することができる。

また、デコード１処理１１１については、処理の高速化を図るために専用のハードウェア構成とすることも可能である。

以上まとめると付記のようになる。

（付記１）
画像フレーム間の相関を利用して各画像フレームにおける画像データの圧縮符号化を行う圧縮符号化装置に対して当該圧縮符号化装置における画質を評価する評価装置であって、
前記圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとする解析部と、
前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する評価部と
を備えることを特徴とする評価装置。

（付記２）
前記解析部は、前記第１の画像フレームにおいて伸張復号化されるときに用いられる第２の動きベクトルに基づいて前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第４の画像フレームにおける第３の領域を抽出し、前記第２の領域と前記第３の領域に基づいて第４の領域を抽出し、前記第３の画像フレームにおける前記第４の領域の画像データを予測画像フレームの前記第１の領域における画像データとすることを特徴とする付記１記載の評価装置。

（付記３）
更に、評価用画像の画像データを記録する評価用画像記録部と、前記評価用画像の画像データを前記評価用画像記録部から読み出して映像表示装置に出力する映像出力部とを備え、
前記映像出力部は前記映像表示装置に前記評価用画像の画像データを出力することで、前記圧縮符号化装置において前記評価用画像に対する圧縮符号化が行われることを特徴とする付記１記載の評価装置。

（付記４）
前記第１の画像フレームはＰフレーム又はＢフレームであることを特徴とする付記２記載の評価装置。

（付記５）
前記解析部は、前記圧縮符号化された画像データと、前記動きベクトルに関する動きベクトル情報、及び参照フレーム先の画像フレームの情報とを前記圧縮符号化装置から入力することを特徴とする付記１記載の評価装置。

（付記６）
第１及び第２の領域はマクロブロック又はマクロブロックが分割されたサブブロックであることを特徴とする付記１記載の評価装置。

（付記７）
前記評価部は、前記予測画像フレームの前記第１の領域における前記画像データと前記第３の画像フレームにおける第１の領域における画像データとを比較して前記圧縮符号化装置における動き予測の性能を評価することで、前記画質を評価することを特徴とする付記１記載の評価装置。

（付記８）
前記解析部は、前記圧縮符号化装置において前記第３の画像フレームに対してオンスクリーン表示が行われたとき前記第３の画像フレームに対してマスク処理を行い、マスク処理が行われた前記第３の画像フレームおける前記第２の領域の画像データを前記予測画像フレームの画像データとすることを特徴とする付記１記載の評価装置。

（付記９）
更に、マスキング処理用マーカー画像の画像データを生成するマーカー映像発生部と、前記マスキング処理用マーカー画像の画像データを出力する映像出力部とを備え、
前記解析部は、圧縮符号化前の前記マスキング処理用マーカー画像の画像データに基づいて前記オンスクリーン表示をマスクするマスクパタンを生成し、当該マスクパタンに基づいて前記マスク処理を行うことを特徴とする付記８記載の評価装置。

（付記１０）
前記解析部は、前記圧縮符号化装置において前記第３の画像フレームに対してオーバースキャンが行われたとき前記第３の画像フレームに対して所定の拡大率で拡大させるスケーリング処理を行い、スケーリング処理が行われた前記第３の画像フレームにおける前記第２の領域の画像データを前記予測画像フレームの画像データとすることを特徴とする付記１記載の評価装置。

（付記１１）
更に、オーバースキャン処理用マーカー画像の画像データを生成するマーカー映像発生部と、前記オーバースキャン処理用マーカー画像の画像データを出力する映像出力部とを備え、
前記解析部は、圧縮符号化前の前記オーバースキャン処理用マーカー画像の画像データと圧縮符号化後の前記オーバースキャン処理用マーカー画像の画像データとに基づいて前記拡大率を計算することを特徴とする付記１０記載の評価装置。

（付記１２）
更に、フレーム合わせ処理用マーカー画像の画像データを生成するマーカー映像発生部と、前記フレーム合わせ処理用マーカー画像の画像データを出力する映像出力部とを備え、
前記解析部は、圧縮符号化前の前記フレーム合わせ処理用マーカー画像の画像データと圧縮符号化後の前記フレーム合わせ処理用マーカー画像の画像データとに基づいて、前記第２の画像フレームに対応する前記第３の画像フレームを算出することを特徴とする付記１記載の評価装置。

（付記１３）
画像フレーム間の相関を利用して画像フレームにおける画像データの圧縮符号化を行う圧縮符号化装置に対する画質を評価する評価装置における画質評価方法であって、
解析部において、前記圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとし、
評価部において、前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する
を備えることを特徴とする画質評価方法。

１０：評価システム
１００：動き予測性能評価装置（評価装置）
１０１：評価用画像記録部 １０２：マーカー映像発生部
１０３：映像合成部 １０４：映像出力部
１０５：映像入力部 １０６：モニタ映像出力部
１０７：モニタ画像記録部 １０８：位相調整部
１０９：ストリーム入力部 １１０：動き予測性能解析部（解析部）
１１１：デコード１処理 １１２：マスキング処理
１１３：スケーリング処理 １１４：フレーム合わせ処理
１１５：デコード２処理 １２０：デコード画像記録部
１３０：全体制御部 １４０：評価部
１５１：ＣＰＵ １５２：プログラムメモリ
１５３：データメモリ ２００：映像表示装置
３００：ターゲット装置 ３３０：前処理部
３４０：モニタ映像出力部 ３５０：エンコード回路
４００：モニタ映像表示装置 １０２１：マーカーパタン管理データ部
１０２２：フレームカウンタ １０２３：画素カウンタ
１０２４：アドレス計算部 １０２５：マーカーパタンデータメモリ
１０３２：ＳＥＬ部 １０８１：ＰＬＬ回路
１０８２：カウンタ回路

Claims (5)

1. 画像フレーム間の相関を利用して各画像フレームにおける画像データの圧縮符号化を行う圧縮符号化装置に対して当該圧縮符号化装置における画質を評価する評価装置であって、
   前記圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとする解析部と、
   前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する評価部と
   を備えることを特徴とする評価装置。
2. 前記解析部は、前記第１の画像フレームにおいて伸張復号化されるときに用いられる第２の動きベクトルに基づいて前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第４の画像フレームにおける第３の領域を抽出し、前記第２の領域と前記第３の領域に基づいて第４の領域を抽出し、前記第３の画像フレームにおける前記第４の領域の画像データを予測画像フレームの前記第１の領域における画像データとすることを特徴とする請求項１記載の評価装置。
3. 更に、評価用画像の画像データを記録する評価用画像記録部と、前記評価用画像の画像データを前記評価用画像記録部から読み出して映像表示装置に出力する映像出力部とを備え、
   前記映像出力部は前記映像表示装置に前記評価用画像の画像データを出力することで、前記圧縮符号化装置において前記評価用画像に対する圧縮符号化が行われることを特徴とする請求項１記載の評価装置。
4. 更に、フレーム合わせ処理用マーカー画像の画像データを生成するマーカー映像発生部と、前記フレーム合わせ処理用マーカー画像の画像データを出力する映像出力部とを備え、
   前記解析部は、圧縮符号化前の前記フレーム合わせ処理用マーカー画像の画像データと圧縮符号化後の前記フレーム合わせ処理用マーカー画像の画像データとに基づいて、前記第２の画像フレームに対応する前記第３の画像フレームを算出することを特徴とする請求項１記載の評価装置。
5. 画像フレーム間の相関を利用して画像フレームにおける画像データの圧縮符号化を行う圧縮符号化装置に対する画質を評価する評価装置における画質評価方法であって、
   解析部において、前記圧縮符号化装置から圧縮符号化された画像データと圧縮符号化前の画像データとを入力し、前記圧縮符号化された画像データが伸張復号化されるときに第１の画像フレームにおける第１の領域において用いられる第１の動きベクトルに基づいて、前記第１の画像フレームにおいて伸張復号化されるときの参照フレームである第２の画像フレームにおける第２の領域を抽出し、前記第２の画像フレームに対応する圧縮符号化前の第３の画像フレームにおける前記第２の領域の画像データを予測画像フレームの前記第１の領域における画像データとし、
   評価部において、前記予測画像フレームの画像データと前記第３の画像フレームにおける画像データとを比較して前記画質を評価する
   を備えることを特徴とする画質評価方法。