JP2007110189A - 画質評価装置および画質評価方法 - Google Patents

Abstract

【課題】主観的画質評価による評価結果と同様な客観的画質評価が可能な画質評価装置を提供する。
【解決手段】オリジナル映像または再生映像から、所要間隔の時系列の画像を複数抽出する画像抽出手段Ｐ４と、画像抽出手段Ｐ４により抽出された複数の画像を比較し、画像内における変化部分を抽出する変化部分抽出手段Ｐ５と、オリジナル映像の画像および再生映像の画像を用いてＰＳＮＲを算出するＰＳＮＲ算出手段Ｐ６とを有し、ＰＳＮＲ算出手段Ｐ６は、再生映像の画像内における変化部分のＰＳＮＲ値を再生映像の画像内における他の部分のＰＳＮＲ値に対して加重処理していることを特徴とする。
【選択図】図１

Description

本発明は、オリジナル映像と、オリジナル映像をコピー等して得られた再生映像とを比較して、再生映像の画質を評価するための画質評価装置および画質評価方法に関する。

近年、ＤＶＤ等のデータ記録媒体に映像情報を記録したり、インターネット等を通じて映像情報をやり取りしたりするために、映像情報の圧縮技術が種々開発されている。代表的な圧縮技術としては、ＭＰＥＧ，ＭＰＥＧ２等が広く知られている。
それに伴い、オリジナル映像を、例えばＭＰＥＧ２規格の圧縮映像情報（ＭＰＥＧ２ファイル等）へと変換するソフトウェア、いわゆるエンコーダも種々開発されている。

ところで、例えば同じＭＰＥＧ２規格に映像を圧縮するＭＰＥＧ２エンコーダであっても、各エンコーダ毎に、圧縮後の圧縮映像情報の画質は様々である。したがって、エンコーダを使用する上では、各エンコーダの品質を精査して、より高い品質の、または、より用途目的に適したエンコーダを使用することが望ましい。

現状においても、オリジナル映像をエンコーダで圧縮した圧縮映像情報を再生した再生映像と、圧縮前のオリジナル映像とを比較して、画像の劣化の度合い等を調べることによって、圧縮映像情報の品質、すなわちエンコーダの品質を調べることが行われている。

特許文献１には、符号化される前の映像信号（オリジナル映像）と、符号化され復号化された映像信号とを選択的に切り替えて、同一の出力回路から出力可能な、映像信号符号化／復号化装置が記載されている。
特許文献１記載の映像信号の評価方法においては、評価者が映像を見てその品質を評価するものであるから、評価結果は評価者（人）の主観に左右される。

一方、評価者の主観によらない圧縮映像情報の評価方法としては、例えば特許文献２に記載された技術が挙げられる。特許文献２に記載されたディジタル圧縮・再生画像の画質評価装置は、原動画データと原動画データを一旦圧縮・再生した再生画像データとから、重み付きＳ／Ｎ比等を自動算出するものである。
特開２００１−１２８１６８号公報 特開平８−２０５１５６号公報

しかしながら、特許文献１および２記載の発明には、以下のような課題がある。
まず、特許文献１記載の発明は、前述の通り評価者の主観による評価を行うものであるから、評価者毎に評価結果がばらついたり、同一の評価者であっても評価を継続するうちに評価判断が揺らいだりしてしまう場合があるという課題がある。また、人の知覚のみに頼った評価であるため、オリジナル映像と圧縮映像情報の再生映像との違いを厳密に検出することが困難であるという課題がある。

他方、特許文献２記載の発明は、評価を画質評価装置にて行うことから、客観的な評価を行えるものの、その評価結果は、人が感じる画質の評価結果に対して乖離が生じやすくなるという課題がある。

本発明は上記課題を解決すべくなされ、その目的とするところは、客観的評価指標のみを用いた画質評価であっても、主観的な画質評価を行った結果との乖離を抑えることが可能な画質評価装置および画質評価方法を提供することにある。

本願発明者は、上記課題を解決するため種々の検討を重ねた結果、画面内において動きのある部分（変化部分）がある程度存在する再生画像を主観評価する場合、画面内で動きのある部分には注意が払われやすく、動きのある部分のノイズが目立ち、画質が低下したという印象が強くなる傾向があるのに対し、動きのない部分については、実際には動きのある部分と同程度に画質が低下していた場合であっても、あまり気にならず、画質が低下したという印象は弱くなるといった傾向があることを見出し、本願発明に想到した。本発明に係る画質評価装置および画質評価方法は以下の構成を備える。

すなわち、オリジナル映像と再生映像とを比較して、再生映像の画質を評価するための画質評価装置において、オリジナル映像または再生映像から、所要間隔の時系列の画像を複数抽出する画像抽出手段と、該画像抽出手段により抽出された複数の画像を比較し、画像内における変化部分を抽出する変化部分抽出手段と、オリジナル映像の画像および再生映像の画像を用いてＰＳＮＲを算出するＰＳＮＲ算出手段とを有し、該ＰＳＮＲ算出手段は、前記再生映像の画像内における変化部分のＰＳＮＲ値を前記再生映像の画像内における他の部分のＰＳＮＲ値に対して加重処理していることを特徴とする画質評価装置である。

また、前記変化部分抽出手段は、前記画像抽出手段により抽出された画像を時系列に沿ってピクセル単位で比較し、時系列の経過に沿ってピクセルの数値変化が閾値以上であるピクセルを抽出し、抽出されたピクセルにより変化部分を規定していることを特徴とする。
また、前記ピクセルの数値変化における閾値は、ユーザにより設定可能であることを特徴とする。
さらに、前記変化部分のＰＳＮＲ値を加重処理する際の加重値は、ユーザにより設定可能であることを特徴とする。
これらによれば、適用条件に応じて画質を評価するための指標を適宜調整することができるため、より現実的な客観的画質評価を行うことができる。

前記再生映像は、前記オリジナル映像をエンコーダで圧縮して得られた圧縮映像であることを特徴とする。
これによれば、エンコーダの品質を判断することが可能になる。

また、他の発明は、オリジナル映像と再生映像とを比較して、ＰＳＮＲ値に基づいて再生映像の画質を評価するための画質評価方法において、オリジナル映像または再生映像から、所要間隔の時系列の画像を複数抽出するステップと、該画像抽出手段により抽出された複数の画像を比較し、画像内における変化部分を抽出する変化部分抽出するステップと、前記再生映像の画像内において、前記変化部分のＰＳＮＲ値を他の部分のＰＳＮＲ値に対して加重処理するステップを有していることを特徴とする画質評価方法である。

また、前記変化部分の抽出ステップにおいては、前記画像抽出手段により抽出された画像を時系列に沿ってピクセル単位で比較し、時系列の経過に沿ってピクセルの数値変化が閾値以上であるピクセルを抽出し、抽出されたピクセルにより変化部分を規定していることを特徴とする。
また、前記ピクセルの数値変化における閾値を設定するステップを有していることを特徴とする。
さらに、前記変化部分のＰＳＮＲ値を加重処理する際の加重値を設定するステップを有していることを特徴とする。
これらによれば、適用条件に応じて画質を評価するための指標を適宜調整することができるため、より現実的な客観的画質評価を行うことができる。

本発明に係る画質評価装置および画質評価方法によれば、主観的評価との乖離が少ない客観的画質評価をすることが可能になり、より現実的で、しかも評価ブレの少ない再生画質の評価を行うことができる。

以下、本発明に係る画質評価装置および画質評価方法を実施するための最良の形態を説明する。本実施の形態においては、オリジナル映像データをエンコーダにより圧縮して得られた圧縮映像データの再生映像の画質が、オリジナル映像の画質に対してどの程度忠実であるかを評価する形態について説明するものである。
図１は、本実施の形態に係る再生映像の画質評価装置の構成を示すブロック図である。本実施の形態に係る画質評価装置１００は、コンピュータＣと、コンピュータＣに接続された画像表示手段１０および入力手段２０と、映像出力装置Ｖを有している。なお、映像出力装置Ｖは必ずしも有していなくても良い。

コンピュータＣに接続された画像表示手段１０は、液晶ディスプレイやＣＲＴ等の、コンピュータＣからの出力信号に応じて文字や映像等の情報を表示可能な装置である。また、コンピュータＣに接続された入力手段２０は、キーボードやマウス等の、ユーザがコンピュータＣに対して情報を入力することが可能な手段である。

コンピュータＣは、ＣＰＵ等によりなる制御手段３０やハードディスクやメモリ等の記憶手段４０を含む電子回路により構成され、記憶手段４０に格納されている各種ソフトウェアプログラムを実行することにより様々な機能が実現可能に設けられている。
コンピュータＣの記憶手段４０であるハードディスクには、本発明に係る画質評価プログラムＰがコンピュータ読み取り可能に記憶（インストール）されている。図１においては便宜的に、制御手段３０が実行する画質評価プログラムＰと、画質評価プログラムＰが制御手段３０により実行されることで実現される各手段（機能）Ｐ１〜Ｐ６とを、記憶手段４０の内部に示している。

コンピュータＣは、ビデオ再生装置やビデオカメラ等の映像出力装置Ｖから映像情報（映像信号）を受信して、その映像情報を制御手段３０に入力し、または、映像情報をオリジナル映像情報Ｏとして記憶手段４０に記憶させる映像入力手段５０を備える。

また、記憶手段４０には、ＭＰＥＧ２エンコーダ等の複数種類のエンコーダ（エンコーダプログラム）Ｅがコンピュータ読み取り可能に記憶（インストール）されている。エンコーダＥは、制御手段３０で実行されることで、映像入力手段５０から入力された映像情報（オリジナル映像Ｏ）を圧縮して圧縮映像情報Ａ（例えばＭＰＥＧ２ファイル）を生成し、記憶手段４０に記憶させる処理を行う。また、映像入力手段５０から入力された映像情報を直接圧縮するのみでなく、記憶手段４０に記憶されたオリジナル映像情報Ｏを圧縮して圧縮映像情報Ａを生成することもできるよう構成してもよい。ここで、圧縮映像情報は必ずしもＭＰＥＧ２形式に限定されるものではなく、他の圧縮映像情報であっても良いのは云うまでもない。

なお、本発明に係る画質評価装置１００へのオリジナル映像Ｏの入力は、映像入力手段５０を介した入力に限定されるものではない。例えば、光ディスク装置等の外部記憶手段（図示せず）からオリジナル映像Ｏの情報を読み取ったり、ネットワークを通じて他のコンピュータ等からオリジナル映像Ｏの情報を受信したりするよう構成することもできる。
また、本発明に係る画質評価装置１００は、必ずしもエンコーダＥを備えている必要はなく、オリジナル映像情報Ｏを図示しない他の装置のエンコーダで生成された圧縮映像情報Ａを入力可能に設けてもよい。

以下、画質評価プログラムＰが制御手段３０により実行されることで実現される各手段（機能）Ｐ１〜Ｐ６について説明する。
圧縮映像再生手段（圧縮映像再生機能）Ｐ１は、記憶手段４０から圧縮映像情報Ａを読み出し、圧縮映像情報Ａを解凍して映像として再生し、後述する画面同期手段Ｐ３を経由してその再生映像を画像表示手段１０の一部に表示させる。また、再生した映像情報は後述する画像抽出手段Ｐ４に入力される。なお、本実施の形態においては、圧縮映像再生手段（圧縮映像再生機能）Ｐ１により再生された映像を「再生映像」と呼んでいる。

オリジナル映像表示手段（オリジナル映像表示機能）Ｐ２は、記憶手段４０に記憶されたオリジナル映像Ｏを再生し、後述する画面同期手段Ｐ３を介してその映像を画像表示手段１０の一部に表示させる。また、再生した映像情報は後述する画像抽出手段Ｐ４に入力される。
なお、オリジナル映像表示手段Ｐ２は、映像入力手段５０から入力されたオリジナル映像Ｏに係る映像情報を再生して表示させることもできる。

圧縮映像再生手段Ｐ１とオリジナル映像表示手段Ｐ２とは、画面同期手段（画面同期機能）Ｐ３により互いに映像の同期を取って、再生映像とオリジナル映像Ｏの時系列を一致させた状態で画像表示手段１０において再生表示することができる。また、必要に応じて各映像の同期を維持した状態で一時停止、フレーム（コマ）送り再生、早送り再生、巻き戻し再生、スロー再生といった各種の特殊再生をユーザにより選択的に行うこともできる。
なお、圧縮映像再生手段Ｐ１とオリジナル映像表示手段Ｐ２との同期のタイミングは、ユーザにより調節することもできるよう設けられていてもよい。

画像抽出手段（画像抽出機能）Ｐ４は、画面同期手段（画面同期機能）Ｐ３により同じ時系列で再生されたオリジナル映像と再生映像のそれぞれから、所要間隔をあけて各々の静止画Ｓを抽出し、記憶手段４０に記憶させる。画像抽出手段（画像抽出機能）Ｐ４は、抽出した各々の静止画Ｓを時系列ごとに記憶手段４０に記憶させる。本実施の形態においては、１フレーム毎にそれぞれの静止画Ｓを抽出している。

変化部分抽出手段（変化部分抽出機能）Ｐ５は、画像抽出手段（画像抽出機能）Ｐ４により抽出された同一時系列におけるそれぞれの静止画Ｓどうしをピクセル単位で比較し、前後の静止画Ｓにおいて変化のある部分（動きのある部分）を抽出する。具体的には、それぞれの静止画Ｓにおいて互いに対応するピクセルどうしの輝度、明度および色彩を表すデータ数値の差分を算出し、この差分値が記憶手段４０に予め記憶されている閾値Ｊ以上である場合には、変化ピクセルとして判断し、抽出するものである。記憶手段４０に予め記憶されている閾値Ｊは、画像評価プログラムＰの評価条件の一部として画像表示手段１０の一部に表示可能に設定されていることが好ましい。また、画像表示手段１０に表示されたオリジナル映像と再生映像の少なくとも一方に、変化部分抽出手段（変化部分抽出機能）Ｐ５により変化ピクセルとして抽出されたピクセルを他のピクセルと識別可能に表示することもできる。

ここで、変化部分抽出のために用いる静止画は、オリジナル映像から抽出した静止画と、再生映像から抽出した静止画のいずれであってもかまわないが、オリジナル映像の方が精細な静止画であるためデータ数値の変化が明確となり、より好適である。
また、輝度、明度および色彩を表す数値の差分値は、再生映像およびオリジナル映像を構成する原色のＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）毎にも行えるよう構成しておいてもよい。

ＰＳＮＲ算出手段（ＰＳＮＲ算出機能）Ｐ６は、記憶手段４０に予め記憶されているＰＳＮＲ値の算出式に基づいて静止画面（ある１フレーム）のＰＳＮＲ値を算出するものである。ＰＳＮＲ算出手段Ｐ６は、変化部分抽出手段（変化部分抽出機能）Ｐ５により抽出された変化ピクセルと、変化ピクセル以外のピクセルのそれぞれにおけるＰＳＮＲ値を区分して算出している。さらに、変化ピクセルにおけるＰＳＮＲ値については、その値を予め記憶手段４０に記憶されている加重値倍となるようにＰＳＮＲ値を処理している。ここに、加重値Ｗについても先述の閾値Ｊと同様に、画質評価プログラムＰの評価条件の一部として画像表示手段１０の一部に表示可能に設定されていることが好ましい。
続いてＰＳＮＲ算出手段（ＰＳＮＲ算出機能）Ｐ６は、変化ピクセルにおける加重処理されたＰＳＮＲ値と変化ピクセル以外のピクセルにおけるＰＳＮＲ値とを合成して画面全体としてのＰＳＮＲ値を算出する。このように、本願発明においては、ある静止画面におけるＰＳＮＲ値を算出する際に、変化部分におけるＰＳＮＲ値を他の部分におけるＰＳＮＲ値よりも強く反映させる処理を実行することに最大の特徴がある。

ＰＳＮＲ算出手段(ＰＳＮＲ算出機能)Ｐ６は、以上に示した方法で算出したある静止画面におけるＰＳＮＲ値をそれぞれの静止画に対応させた状態で記憶手段４０に記憶させる。
また、ＰＳＮＲ算出手段（ＰＳＮＲ算出機能）Ｐ６は、記憶手段４０に記憶させた各静止画（各フレーム）に対応したＰＳＮＲ値をグラフ化して画像表示手段１０の一部に表示させるとともに、オリジナル映像と再生映像の全体（全フレーム）におけるＰＳＮＲを単純平均により算出するのである。

以上に、本実施の形態における画質評価装置について詳細に説明してきたが、本発明は、以上の実施の形態に限定されるものではなく、発明の要旨を変更しない範囲において各種の変更をすることができるのはもちろんである。
例えば、本実施の形態における画質評価装置１００においては、予め記憶手段４０に記憶されている各種評価条件に基づいて画質評価を行っているが、ユーザが設定し、入力手段２０を介して入力された評価条件に基づいて画質評価プログラムＰを実行させ、異なる評価条件による評価結果どうしを比較可能にした形態とすることもできる。
これにより、エンコーダによる圧縮時に輝度・明度・色彩にバイアスが掛かった場合でも、ユーザは、そのバイアスを除外するよう調節して純粋な圧縮映像情報の品質を評価することができる。

また、各静止画におけるＰＳＮＲ値をグラフ化する際においては、変化ピクセルがあるフレームまたは、静止画面中の全ピクセル数に対する変化ピクセルの数が所定割合以上になっているフレーム部分を、他のフレーム部分と識別可能にすると共に、識別されたフレームとそうでないフレームをＰＳＮＲ値のグラフ内に表示することにより、本画質評価プログラムＰにおける画質評価結果の検証を行うことができる。
また、本実施の形態においては、静止画を抽出する間隔を１フレーム毎としているが、数フレーム毎に静止画を抽出する形態とすることもできる。これによれば、変化ピクセルの抽出精度は若干低下するものの、変化部分抽出手段（変化部分抽出機能）Ｐ５の負担を大幅に軽減させることができ、画質評価装置１００を低コストで提供することが可能になるため好都合である。

さらには、本実施の形態においては、圧縮映像再生手段（圧縮映像再生機能）Ｐ１により映像を再生した形態について説明しているが、評価対象に用いる映像は必ずしも圧縮映像を再生したものでなくても良い。
また、オリジナル映像および評価対象映像は必ずしもデジタル情報によるものでなくても良く、例えば、ＶＨＳ映像であっても本発明を適用することができるのはもちろんである。

本実施の形態における画質評価支援装置の構成を示す説明図である。

符号の説明

１０ 画像表示手段
２０ 入力手段
３０ 制御手段
４０ 記憶手段
５０ 映像入力手段
１００ 画像評価装置
Ｃ コンピュータ
Ｅ エンコーダ
Ｊ 閾値
Ｐ 画像評価プログラム
Ｐ１ 圧縮映像表示手段
Ｐ２ オリジナル映像表示手段
Ｐ３ 画像同期手段
Ｐ４ 画像抽出手段
Ｐ５ 変化部分抽出手段
Ｐ６ ＰＳＮＲ算出手段
Ｓ 静止画
Ｖ 映像出力装置
Ｗ 加重値

Claims (9)

1. オリジナル映像と再生映像とを比較して、再生映像の画質を評価するための画質評価装置において、
   オリジナル映像または再生映像から、所要間隔の時系列の画像を複数抽出する画像抽出手段と、
   該画像抽出手段により抽出された複数の画像を比較し、画像内における変化部分を抽出する変化部分抽出手段と、
   オリジナル映像の画像および再生映像の画像を用いてＰＳＮＲを算出するＰＳＮＲ算出手段とを有し、
   該ＰＳＮＲ算出手段は、前記再生映像の画像内における変化部分のＰＳＮＲ値を前記再生映像の画像内における他の部分のＰＳＮＲ値に対して加重処理していることを特徴とする画質評価装置。
2. 前記変化部分抽出手段は、前記画像抽出手段により抽出された画像を時系列に沿ってピクセル単位で比較し、時系列の経過に沿ってピクセルの数値変化が閾値以上であるピクセルを抽出し、抽出されたピクセルにより変化部分を規定していることを特徴とする請求項１記載の画質評価装置。
3. 前記ピクセルの数値変化の閾値は、ユーザにより設定可能であることを特徴とする請求項２記載の画質評価装置。
4. 前記変化部分のＰＳＮＲ値を加重処理する際の加重値は、ユーザにより設定可能であることを特徴とする請求項１〜３のうちのいずれか一項記載の画質評価装置。
5. 前記再生映像は、前記オリジナル映像をエンコーダで圧縮して得られた圧縮映像であることを特徴とする請求項１〜４のうちのいずれか一項記載の画質評価装置。
6. オリジナル映像と再生映像とを比較して、ＰＳＮＲ値に基づいて再生映像の画質を評価するための画質評価方法において、
   オリジナル映像または再生映像から、所要間隔の時系列の画像を複数抽出するステップと、
   該画像抽出手段により抽出された複数の画像を比較し、画像内における変化部分を抽出する変化部分抽出するステップと、
   前記再生映像の画像内において、前記変化部分のＰＳＮＲ値を他の部分のＰＳＮＲ値に対して加重処理するステップを有していることを特徴とする画質評価方法。
7. 前記変化部分の抽出ステップにおいては、前記画像抽出手段により抽出された画像を時系列に沿ってピクセル単位で比較し、時系列の経過に沿ってピクセルの数値変化が閾値以上であるピクセルを抽出し、抽出されたピクセルにより変化部分を規定していることを特徴とする請求項６記載の画質評価装置。
8. 前記ピクセルの数値変化の閾値を設定するステップを有していることを特徴とする請求項７記載の画質評価方法。
9. 前記変化部分のＰＳＮＲ値を加重処理する際の加重値を設定するステップを有していることを特徴とする請求項６〜８のうちのいずれか一項記載の画質評価方法。

Images