JP2014036260A

JP2014036260A - 画質評価装置、画質評価方法及び画質評価プログラム

Info

Publication number: JP2014036260A
Application number: JP2012175054A
Authority: JP
Inventors: Motohiro Takagi; 基宏高木; Hiroshi Fujii; 寛藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-08-07
Filing date: 2012-08-07
Publication date: 2014-02-24
Anticipated expiration: 2032-08-07
Also published as: JP5981803B2

Abstract

【課題】ビットレートとフレームレートの組み合わせに対して、符号化する解像度を変更した場合の主観評価を高速に行うことができる画質評価装置を提供する。
【解決手段】エンコーダによって符号化された符号化データを入力する符号化データ入力手段と、入力された符号化データから複数の動きベクトルを抽出する動きベクトル抽出手段と、抽出した動きベクトルの大きさの標準偏差と、動きベクトルの大きさの平均との比を算出し、算出した比の値を符号化データの画質の評価値として出力する画質評価値出力手段とを備える。
【選択図】図１

Description

本発明は、画像の主観画質を評価する画質評価装置、画質評価方法及び画質評価プログラムに関する。

動画像の主観画質の推定には、（１）ＰＳＮＲ（Peak Signal-to-Noise Ratio）、ＳＳＩＭ（Structural SIMilarity）などの原画との差から求められる客観画質で代替するもの、（２）主観評価実験によって推定するもの、（３）動画像の特徴から主観画質を計算するものがある。このうち、（１）は客観画質の良否と主観画質の良否が必ずしも対応しないという問題に加え、原動画像からフレームレートと解像度を変化させた場合に、異なるフレームレート、解像度の動画像間の客観画質の比較が難しいという問題がある。（２）は評価に時間がかかり、個別の動画像の主観評価の推定に用いることはできない。これらの問題に対応する形で、（３）の動画像の特徴から主観画質を計算する形態の主観画質推定方式が提案されている（例えば、非特許文献１〜５参照）。

M. Chien, R. Wang, C. Chiu, and P. Chang., "Quality Driven Frame Rate Optimization for Rate constrained Video Encoding," IEEE Trans on. Broadcast. Vol. 58, pp. 200-208, June. 2012. R. Feghali, F. Speranza, D. Wang, ando A. Vincent., "Video Quality Metric for Bit Rate Control Via Joint Adjustment of Quantization and Frame Rate , " IEEE Trans. Broadcast., vol . 53, no. 1 , Mar. 2007, pp. 441-46. Y. - F. Ou, Z. Ma, T. Liu, and Y. Wang., " Perceptual Quality Assessment of Video Considering Both Frame Rate and Quantization Artifacts, " IEEE Trans. Circuits Syst. Video Tech., vol. 21, no. 3, Mar. 2011, pp. 286-98. C. S. Kim S. H. Jin, D. J. Seo, and Y. M. Ro., "Measuring Video Quality on Full Scalability of H. 264 / AVC Scalable Video Coding , " IEICE Trans . Commun ., vol. E91-B , no. 5 , May 2008, pp. 1269-78. H. Sohn, H. Yoo, W. D. Neve, C. S. Kim, and Y. M. Ro., "Full Reference Video Quality Metric for Fully Scalable and Mobile SVC Content , " IEEE Trans . Broadcast., vol. 56, no. 3, Sept. 2010, pp. 269-80. Y. Yamasaki, and T. Yoshida., "MOS-Based Bit Allocation in SNR-Temporal Scalable Coding," Proc. PCS, Dec. 2010. pp. 242-245

しかしながら、非特許文献１〜５に記載の方式では動画像の解像度、フレームレートに加え、テクスチャの複雑さ、動きの量、ＰＳＮＲ等の原画との差から求められる客観画質で代替する際の評価値に基づいて主観評価を算出するものであるため、計算量が大きくなるという問題がある。このような問題を解決するために、非特許文献６ではビットレートと解像度を固定して、主観画質を最適にするフレームレートを推測することにより計算量を低減する技術が提案されている。

しかし、スポーツ映像など動きが重視される動画像の符号化ではフレームレートは保持し、その他のパラメータを変更することで、主観画質を最適化したいという要望が強い。そのため、ビットレートとフレームレートを一定に保持したとき、主観画質を最適化するための動画像の符号化パラメータを高速に決定できることが必要である。

本発明は、このような事情に鑑みてなされたもので、ビットレートとフレームレートの組み合わせに対して、符号化する解像度を変更した場合の主観評価を高速に行うことができる画質評価装置、画質評価方法及び画質評価プログラムを提供することを目的とする。

本発明は、エンコーダによって符号化された符号化データを入力する符号化データ入力手段と、入力された前記符号化データから複数の動きベクトルを抽出する動きベクトル抽出手段と、抽出した前記動きベクトルの大きさの標準偏差と、前記動きベクトルの大きさの平均との比を算出し、算出した前記比の値を前記符号化データの画質の評価値として出力する画質評価値出力手段とを備えることを特徴とする。

本発明は、前記エンコーダに対して、符号化処理に必要な符号化パラメータを設定する符号化パラメータ設定手段と、設定した前記符号化パラメータと、該符号化パラメータを設定した際に前記画質評価値出力手段から出力する前記評価値とを関係付けて記憶する画質評価値記憶手段と、前記画質評価値記憶手段に記憶されている前記評価値のうち、最も高い評価値に関係付けられた前記符号化パラメータを出力する出力手段とをさらに備えることを特徴とする。

本発明は、前記符号化パラメータが解像度であることを特徴とする。

本発明は、エンコーダによって符号化された符号化データを入力する符号化データ入力ステップと、入力された前記符号化データから複数の動きベクトルを抽出する動きベクトル抽出ステップと、抽出した前記動きベクトルの大きさの標準偏差と、前記動きベクトルの大きさの平均との比を算出し、算出した前記比の値を前記符号化データの画質の評価値として出力する画質評価値出力ステップとを有することを特徴とする。

本発明は、前記エンコーダに対して、符号化処理に必要な符号化パラメータを設定する符号化パラメータ設定ステップと、設定した前記符号化パラメータと、該符号化パラメータを設定した際に前記画質評価値出力手段から出力する前記評価値とを関係付けて記憶装置に記憶する画質評価値記憶ステップと、前記記憶装置に記憶されている前記評価値のうち、最も高い評価値に関係付けられた前記符号化パラメータを出力する出力ステップとをさらに有することを特徴とする。

本発明は、コンピュータを、前記画質評価装置として機能させるための画質評価プログラムである。

本発明によれば、抽出したすべての動きベクトルの大きさの標準偏差Ｖと平均Ｍの比Ｍ／Ｖを符号化データの画質の評価値として出力するようにしたため、簡単な演算のみで評価値を算出することができ、計算負荷を低減することができるという効果が得られる。また、前記画質評価値を用いて、主観画質を最適にする符号化パラメータを決定できるという効果が得られる。さらに、ビットレート、フレームレートを一定に保ったまま解像度のみを変化させて画質評価値を算出することにより、主観画質を最適にする解像度を決定できるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。図１に示す符号化パラメータ制御部２の動作を示すフローチャートである。図１に示す画質評価部３の動作を示すフローチャートである。図１に示す画質評価値記憶部４のテーブル構造を示す説明図である。変動係数（Coefficient of Variation）の逆数（平均／標準偏差）と、平均オピニオン評点（Mean Opinion Score）の関係を示す図である。

以下、図面を参照して、本発明の一実施形態による画質評価装置を説明する。符号化データは、動きベクトルの標準偏差と平均の比である動きベクトルの変動係数が小さいほど主観画質が高いという性質を持っている。図５は、４つのサンプル映像（１）〜（４）における変動係数（Coefficient of Variation）の逆数（平均／標準偏差）と、平均オピニオン評点（Mean Opinion Score）の関係を示す図である。図５に示すように、フレームレート毎に動きベクトルの標準偏差と平均の比である動きベクトルの変動係数が小さいほど主観画質が高いことが分かる。本実施形態は、フレームレート固定の下では、動きベクトルの標準偏差と平均の比である動きベクトルの変動係数が小さいほど主観画質が高いという性質に基づき、符号化データの動きベクトルの変動係数に基づいて主観画質を評価する。

動画像のエンコード技術にはＨ．２６４、ＭＰＥＧ−４、ＭＰＥＧ−２、ＨＥＶＣなどが存在する。動画像のエンコーダはこれらの技術に基づいて実装され、符号化のパラメータとしてビットレート、解像度、フレームレートを指定することができる。ビットレートは動画像の圧縮率によって決まり、実際には符号化方式毎の内部パラメータ、例えば量子化係数の値などによって決定される。よって、ビットレートの指定方法はエンコーダに依存し、ビットレートを直接指定できるものがある一方、量子化係数など符号化の内部パラメータを直接指定する必要がある場合もある。ビットレートの指定には、ある一定時間の動画像の平均ビットレートがある範囲に収まる固定ビットレート符号化があり、また、符号化の内部パラメータを設定し、それに伴い、動画像の性質によってビットレートが動画像の符号化において途中で変化する可変ビットレート符号化がある。

本実施形態では、固定ビットレートの場合について説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、動画像データと符号化パラメータを入力し、符号化処理を行って符号化データを出力するエンコーダである。符号２は、外部から圧縮前の動画像データと、符号化パラメータを入力し、エンコーダ１に対して出力する符号化パラメータ制御部である。符号化パラメータ制御部２が入力する符号化パラメータは、ビットレート、フレームレート、解像度表（解像度が複数定義された表データ）である。符号３は、エンコーダ１が出力する符号化データを入力し、動きベクトルの変動係数の逆数を主観画質の評価値として算出して出力する画質評価部である。符号４は、エンコーダ１に対して出力した符号化パラメータ（ビットレート、フレームレート、解像度）と、画質評価部３から出力する動きベクトルの変動係数の逆数（評価値）とを関係付けて記憶する画質評価値記憶部である。符号５は、画質評価値記憶部４に記憶されている評価値のうち、最も高い評価値に関係付けられた符号化パラメータを出力する出力部である。

次に、図２を参照して、図１に示す符号化パラメータ制御部２が解像度などの符号化パラメータを変化させながら、圧縮前の動画像データと符号化パラメータを出力する動作を説明する。図２は、図１に示す符号化パラメータ制御部２の動作を示すフローチャートである。

まず、符号化パラメータ制御部２は、外部から圧縮前の動画像データＩ、ビットレートｂ、フレームレートｆ、解像度表Ｔを入力する（ステップＳ１）。解像度表Ｔには、複数の解像度の値が定義されている。解像度表には、例えば、ＱＶＧＡ（３２０画素×２４０画素）、ＶＧＡ（６４０画素×４８０画素）、１２８０画素×７２０画素、１９２０画素×１０８０画素などの順で解像度が定義されている。

次に、符号化パラメータ制御部２は、解像度表Ｔの最初の解像度ｒを取り出す（ステップＳ２）。そして、符号化パラメータ制御部２は、圧縮前の動画像データＩ、ビットレートｂ、フレームレートｆ、解像度ｒをエンコーダ１に対して出力する（ステップＳ３）。

これを受けて、エンコーダ１は、入力した符号化パラメータ（ビットレートｂ、フレームレートｆ、解像度ｒ）を使用して符号化処理を行い、符号化データを画質評価部３に対して出力する。画質評価部３では、この符号化データの画質評価を行う。画質評価の処理動作は後述する。

次に、画質評価部３において１回の画質評価処理が終わると、符号化パラメータ制御部２は、解像度表Ｔに要素が残っているか否かを判定し（ステップＳ４）、残っていなければ処理を終了する。一方、解像度表Ｔに要素が残っていれば、符号化パラメータ制御部２は、解像度表Ｔの次の解像度ｒを取り出し（ステップＳ５）、ステップＳ３に戻って圧縮前の動画像データＩ、ビットレートｂ、フレームレートｆ、解像度ｒをエンコーダ１に対して出力する動作を繰り返す。この処理動作により、ビットレート、フレームレートを一定に保ったまま、解像度表Ｔに定義されている解像度ｒが順にエンコーダ１に対して出力されることになり、符号化処理毎に符号化パラメータを変化させることができる。

なお、図２に示す処理動作では、ビットレートｂ、フレームレートｆを一定に保ったまま解像度のみを変化させる例を示したが、解像度のみでなく、ビットレートやフレームレートも変化させてもよい。さらに、対象の符号化パラメータは、ビットレート、フレームレート、解像度に限るものではなく、他の符号化パラメータを用いるようにしてもよい。

次に、図３を参照して、図１に示す画質評価部３が、エンコーダ１が出力する符号化データを入力し、動きベクトルの変動係数の逆数を主観画質の評価値として算出して出力する動作を説明する。図３は、図１に示す画質評価部３の動作を示すフローチャートである。

まず、画質評価部３は、エンコーダ１が出力する符号化データを入力する（ステップＳ１１）。続いて、画質評価部３は、入力した符号化データからすべての動きベクトルを抽出する（ステップＳ１２）。そして、画質評価部３は、動きベクトルの変動係数の逆数Ｃを求める（ステップＳ１３）。動きベクトルの変動係数の逆数Ｃは、動きベクトルの大きさの標準偏差Ｖと、動きベクトルの大きさの平均Ｍとの比（Ｃ＝Ｍ／Ｖ）から求める。画質評価部３は、求めた動きベクトルの変動係数の逆数Ｃを主観画質の評価値として画質評価値記憶部４に記憶する（ステップＳ１４）。このとき、画質評価部３は、エンコーダ１に対して出力されたビットレートｂ、フレームレートｆ、解像度ｒと、求めた動きベクトルの変動係数の逆数Ｃ（評価値）とを関係付けて、画質評価値記憶部４に記憶する。これにより、エンコーダ１に対して設定したビットレートｂ、フレームレートｆ、解像度ｒによって符号化処理をした際の画質評価値（動きベクトルの変動係数の逆数Ｃ）が関係付けられて記憶されることになる。

画質評価部３は、新たな符号化パラメータ（ビットレートｂ、フレームレートｆ、解像度ｒ）が設定される度にエンコーダ１から出力する符号化データの画質評価を繰り返し行う。これにより、画質評価値記憶部４には、符号化パラメータの組み合わせに対する評価値のテーブルが記憶されることになる。図４は、ビットレート、フレームレート、解像度の組合せに対して、評価値を関係付けたテーブルの構造を示す図である。画質評価値記憶部４には、図４に示すテーブルが記憶されることになる。このテーブルを参照することにより、符号化パラメータの組合せ毎の評価値を得ることができるため、符号化パラメータを決定する際に、容易に最適化した符号化パラメータを決定することが可能となる。そして、出力部５は、画質評価値記憶部４に記憶されている評価値のうち、最も高い評価値に関係付けられた符号化パラメータを出力する。

なお、符号化データから抽出する動きベクトルは必ずしもすべてである必要はなく、動きベクトルの大きさの標準偏差と平均を求めることができる程度の複数の動きベクトルを抽出するようにしてもよい。

以上説明したように、抽出したすべての動きベクトルの大きさの標準偏差Ｖと平均Ｍの比Ｍ／Ｖを符号化データの画質の評価値として出力するようにしたため、簡単な演算のみで動画像データの符号化データから直接、主観画質評価値を算出することができ、計算負荷を低減することができる。そのため、符号化された動画像データの品質評価を高速化、高信頼化することができる。また、動画像を符号化する際に、所定のビットレートとフレームレートの組み合わせに対して、符号化する解像度を変更した場合の画質の主観評価を高速に行うことができる。また、符号化パラメータを設定した際に符号化パラメータと評価値とを関係付けて記憶するようにしたため、符号化パラメータと評価値の関係を参照することにより主観画質を最適化するための動画像の符号化パラメータを容易に決定することができるという効果も得られる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の画質評価処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

動画像を符号化する際に、所定のビットレートとフレームレートの組み合わせに対して、符号化する解像度を変更した場合の画質の主観評価を高速に行うことが不可欠な用途に適用できる。

１・・・画質評価部、２・・・エンコーダ、３・・・符号化パラメータ制御部、４・・・画質評価値記憶部、５・・・出力部

Claims

エンコーダによって符号化された符号化データを入力する符号化データ入力手段と、
入力された前記符号化データから複数の動きベクトルを抽出する動きベクトル抽出手段と、
抽出した前記動きベクトルの大きさの標準偏差と、前記動きベクトルの大きさの平均との比を算出し、算出した前記比の値を前記符号化データの画質の評価値として出力する画質評価値出力手段と
を備えることを特徴とする画質評価装置。
前記エンコーダに対して、符号化処理に必要な符号化パラメータを設定する符号化パラメータ設定手段と、
設定した前記符号化パラメータと、該符号化パラメータを設定した際に前記画質評価値出力手段から出力する前記評価値とを関係付けて記憶する画質評価値記憶手段と、
前記画質評価値記憶手段に記憶されている前記評価値のうち、最も高い評価値に関係付けられた前記符号化パラメータを出力する出力手段と
をさらに備えることを特徴とする請求項１に記載の画質評価装置。
前記符号化パラメータが解像度であることを特徴とする請求項２に記載の画質評価装置。
エンコーダによって符号化された符号化データを入力する符号化データ入力ステップと、
入力された前記符号化データから複数の動きベクトルを抽出する動きベクトル抽出ステップと、
抽出した前記動きベクトルの大きさの標準偏差と、前記動きベクトルの大きさの平均との比を算出し、算出した前記比の値を前記符号化データの画質の評価値として出力する画質評価値出力ステップと
を有することを特徴とする画質評価方法。
前記エンコーダに対して、符号化処理に必要な符号化パラメータを設定する符号化パラメータ設定ステップと、
設定した前記符号化パラメータと、該符号化パラメータを設定した際に前記画質評価値出力手段から出力する前記評価値とを関係付けて記憶装置に記憶する画質評価値記憶ステップと、
前記記憶装置に記憶されている前記評価値のうち、最も高い評価値に関係付けられた前記符号化パラメータを出力する出力ステップと
をさらに有することを特徴とする請求項４に記載の画質評価方法。
前記符号化パラメータが解像度であることを特徴とする請求項５に記載の画質評価方法。
コンピュータを、請求項１から３のいずれか１項に記載の画質評価装置として機能させるための画質評価プログラム。