JP2014107645A - 主観画質推定装置、主観画質推定方法及びプログラム - Google Patents

Abstract

【課題】動画像をあるビットレートに符号化する際に、所望する解像度、フレームレートでの主観画質を符号化前に推定すること。
【解決手段】動画像の１画素あたりの平均符号量から量子化パラメータを予測するためのＱＰ予測式を生成するＱＰ予測式生成部と、ＱＰ予測式を用いて、１画素あたりの平均符号量から予測ＱＰを算出するＱＰ予測部と、符号化パラメータに対する主観画質推定式を出力する主観画質推定式管理部と、予測ＱＰ及び主観画質推定式に基づいて、主観画質推定値を算出する主観画質推定部と、を備える。
【選択図】図１

Description

本発明は、動画像の主観画質の推定技術に関する。

動画像の主観画質の推定には、以下のようなものがある。
主観画質の定義通りに推定する方法は、ＡＣＲ−ＨＲＲ法、一対比較法といった主観評価実験によって推定するものである（例えば非特許文献１参照）。これらの方法では、複数人の被験者を用意し、被験者が評価対象となる動画像を繰り返し見て、その動画像の主観画質を評価する。ＡＣＲ−ＨＲＲ法では、被験者は、Ｅｘｃｅｌｌｅｎｔ、Ｇｏｏｄ、Ｆａｉｒ、Ｐｏｏｒ、Ｂａｄの５段階で主観画質の評価を実施する。評価値の被験者平均値は、動画像の主観画質評価値として用いられ、ＭＯＳ（Mean Opinion Score）と呼ばれる。ところが、ＡＣＲ−ＨＲＲ法では、被験者を複数人集めなければならない。さらに、被験者に動画像を何度も繰り返し見てもらって評価を行うため、時間がかかる。そのため、個別の動画像の主観画質評価の推定に用いることは、事実上困難である。

上記手法の代替方法として、客観画質評価値を主観画質として算出する手法がある。ＰＳＮＲ（Peak Signal-to-Noise Ratio）や、ＳＳＩＭ（Structural SIMilarity：例えば非特許文献２参照）などは、客観画質評価値で主観画質を代替する手法である。客観画質評価値は、符号化前の動画像（原画像）と復号後の動画像（復号画像）の画素値や特徴、例えば原画像と復号画像の輝度値の二乗誤差の平均、輝度分散などを利用して求められる。

図１３は、従来技術によるＰＳＮＲやＳＳＩＭといった原画像と復号画像とを参照して客観画質評価値を算出する手順を示すフローチャートである。図１３において、原画像Ｉがエンコーダに入力される（ステップＳ１０）。エンコーダは、原画像Ｉを符号化し、符号化データＩｅを得る（ステップＳ１１）。デコーダは、符号化データＩｅを復号し、復号画像Ｉｄを得る（ステップＳ１２）。そして、復号画像Ｉｄと符号化データＩｅとを比較し、客観評価値ｓを出力する（ステップＳ１３）。

ＰＳＮＲには、客観画質の良否と主観画質の良否とが必ずしも対応しないという問題がある（例えば非特許文献３参照）。さらに、原画像のフレームレートと解像度を変化させた場合には、ＰＳＮＲに加えてＳＳＩＭにも存在する、フレームレート、解像度が異なる動画像間における客観画質の比較が難しいという問題がある。例えば、フレームレートが３０ｆｐｓと６０ｆｐｓの動画像では、ＰＳＮＲ、ＳＳＩＭが同等でも、６０ｆｐｓの動画像の方が、動きがなめらかになるので主観画質は良くなる。しかしながら、ＰＳＮＲ、ＳＳＩＭでは、その変化の影響を表現できない。

主観評価実験のコスト削減と、解像度、フレームレートの変化の影響の両方に対応する形で、事前の主観評価実験によって得た主観画質評価値を用いて主観画質推定式を構築する技術が提案されている（例えば非特許文献４〜９参照）。

主観画質推定式を構築して主観画質を推定する方法は、主観評価実験のコストをあらかじめ、事前の主観評価実験によって得た主観評価値を用いて主観画質推定式を構築していることで削減しており、解像度、フレームレートの変化の影響を動画像の特徴を用いることで表現している。主観画質推定式は、ＰＳＮＲや動きベクトルの大きさ、エッジ強度といった特徴に関する。

具体的な例について説明する。非特許文献８では、下記の数式（１）を用いて主観画質を推定する。

ここで、ＳＶはＭＰＥＧ−７のＳｐａｔｉａｌ Ａｃｔｉｖｉｔｙ、ＴＶはＴｅｍｐｏｒａｌ Ａｃｔｉｖｉｔｙである。ＦＲはフレームレート、ｘは解像度（横幅）を表す。この主観画質推定式は、ＰＳＮＲといった従来の客観画質評価値に加え、解像度、フレームレートの変化の影響をＳＶ、ＴＶによって表現している。そのため、ＰＳＮＲで比較ができなかった異なる解像度、フレームレートに対しても比較することができる。

図１４は、従来技術による主観画質推定式の構築までの処理を一般化したフローチャートである。主観画質推定式では、原画像Ｉ_ｉ(０＜ｉ＜Ｎ：Ｎは１以上の整数）、テスト動画像Ｄ_ｉを用意し、主観評価実験を行うことで、主観評価値ｓ_ｉを取得する(ステップＳ２０)。次に、原画像Ｉ_ｉ、テスト動画像Ｄ_ｉから特徴ｆ_１、…、ｆ_Ｍを取り出し、主観画質推定式Ｓ（ｆ_１、…、ｆ_Ｍ｜Ｄ_ｉ、Ｉ_ｉ）を、Ｎ個の組み合わせに対して構築する（ステップＳ２１）。次に、主観評価値s_ｉとＳ(ｆ_１、…、ｆ_Ｍ｜Ｄ_ｉ、Ｉ_ｉ)との組み合わせでＳ(ｆ_１、…、ｆ_Ｍ｜Ｄ_ｉ、Ｉ_ｉ)のパラメータを最適化し、任意の動画像に対する主観画質推定式Ｓ(ｆ_１、…、ｆ_Ｍ)を得る（ステップＳ２２）。そして、任意の原画像Ｉと復号画像Ｄから取り出した特徴ｆ_１、…、ｆ_Ｍによって主観画質推定式Ｓ（ｆ_１、…、ｆ_Ｍ）により主観画質推定を行う（ステップＳ２３）。

図１４に示すように、非特許文献８のような主観画質推定式によって主観画質を推定する場合には、原画像Ｉ_ｉと復号画像Ｄとが必要となる。

また、他の主観画質推定式としては、原画像を用いずに、動画像の劣化するパターン（符号化歪み、パケットロスなど）を想定して、その劣化画像の特徴から主観画質を推定する方法も提案されている（例えば非特許文献１０参照）。この方法では、復号画像があれば、主観画質推定値を算出することができる。よって、動画像を圧縮し、伝送した後の画質評価に有効である。

さらに、他の主観画質推定式としては、フレームあたりの平均符号量から予測したＰＳＮＲを用いて、符号化前に主観画質を推定する方法も提案されている（例えば非特許文献９参照）。ビットレート、フレームレートが変化した際の主観画質評価値を、次式（２）により推定する。

ここで、ｓはフレームあたりの平均符号量、ｔはフレームレートである。空間画質ＥＭＯＳ_ｓ（ｓ）は、予測ＰＳＮＲ、ソーベルフィルタの出力値の対数を取った値、動きベクトルの最大値の対数を取った値を用いて３次式で表現している。そして、時間画質ＥＭＯＳ_ｔ（ｔ）は、動画像のあるシーンの平均フレームレートを用いた一次式によって表現されている。

ITU-T Recommendation P．910 "Subjective video quality assessment methods for multimedia applications，" 1999． Z．Wang， A．C．Bovic， H．R．Sheikh and E．P．Simoncelli "Image Quality Assessment: From Error Visibility to Structure Similarity" IEEE Trans．Image Processing．， vol 13，no．4，Apr 2004，pp．600-612． Z．Wang，A.C.Bovik and L．Liu "Why is image quality assessment so difficult?" ICASSP．，vol4, May 2002，pp．3313-3316． M．Chien，R．Wang，C．Chiu，and P．Chang．，"Quality Driven Frame Rate Optimization for Rate constrained Video Encoding，" IEEE Trans on． Broadcast．Vol．58，pp．200-208，June．2012． R．Feghali，F．Speranza，D．Wang，and A．Vincent．，"Video Quality Metric for Bit Rate Control Via Joint Adjustment of Quantization and Frame Rate ， " IEEE Trans．Broadcast．，vol．53，no．1，Mar．2007，pp．441-46． Y．-F．Ou，Z．Ma，T．Liu，and Y．Wang．， " Perceptual Quality Assessment of Video Considering Both Frame Rate and Quantization Artifacts，" IEEE Trans．Circuits Syst．VideoTech．，vol．21，no．3，Mar．2011，pp．286-98． C．S．Kim S．H．Jin，D．J．Seo，and Y．M．Ro．，"Measuring Video Quality on Full Scalability of H． 264 / AVC Scalable Video Coding，" IEICE Trans ．Commun．，vol．E91-B，no．5，May 2008 pp．1269-78． H．Sohn，H．Yoo，W．D．Neve，C．S．Kim，and Y．M．Ro．， "Full Reference Video Quality Metric for Fully Scalable and Mobile SVC Content ，" IEEE Trans．Broadcast．，vol．56，no．3，Sept 2010，pp．269-80． Y．Yamasaki，and T．Yoshida，"MOS-Based Bit Allocation in SNR-Temporal Scalable Coding，" Proc．PCS，Dec．2010．pp．242-245． K. Seshadrinathan and A．C． Bovik "Motion-tuned spatio-temporal quality assessment of natural videos，" IEEE Trans. Image Processing．，vol 19，no．2，Feb 2010，pp．335-350. ISO/IEC DIS 23009-1．2， "Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats"

従来の主観画質推定式を構築して主観画質を推定する方法には、復号画像を必要とする動画像の特徴を用いて主観画質推定値を算出する方法と符号化前に主観画質を推定するが、解像度の変化に対応していない方法とがある。前者は、符号化、復号が必要となり、計算コストがかかる。後者は、解像度の変化に対応していないため、異なる解像度の動画像に対して主観画質推定値の大小と主観画質の良否に関係がない。

具体的には、非特許文献７、８は、主観画質の推定にＰＳＮＲを用いているため、複数のビットレートの主観画質を推定する際には、それぞれのビットレートに対して符号化し、ＰＳＮＲを取得しなければ主観画質を推定できず、符号化、復号の計算コストがかかるといった問題がある。

非特許文献９は、符号化前に主観画質を推定できるものの、空間画質に解像度の変化の影響を表すパラメータが存在しないため、解像度の変化に対応できないといった問題がある。

一方、インターネット上で動画像を配信する際に、ネットワークの状況に応じて適応的に動画像を切り替えて配信するＨｔｔｐ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ（以下、ＨＡＳという）といった技術があり、ＭＰＥＧ−ＤＡＳＨとして標準化が進んでいる（例えば非特許文献１１参照）。

図１５は、ＨＡＳによる動画像の切り替え配信を説明するための概念図である。図１５に示すように、ＨＡＳでは、配信する動画像を切り替えるために、エンコーダ２は、オリジナル映像１を、複数のビットレートで符号化した符号化データ３−１、３−２、…、３−ｎ（ｎは１以上の整数）を用意する必要がある。各ビットレートに対して、解像度とフレームレート、量子化パラメータ（以下、ＱＰという）は、任意である。解像度、フレームレート、ＱＰの組み合わせに対して主観画質を推定したい場合には、組み合わせの数に応じて主観画質を推定する。

図１６は、上記ＨＡＳによる主観画質推定方法の手順を説明するためのフローチャートである。ＨＡＳでは、候補の解像度、フレームレート、ビットレート(もしくは、量子化パラメータ)で符号化する（ステップＳ３０）。次に、得られた符号化データを復号し、主観画質推定値を算出する（ステップＳ３１）。次に、全ての解像度、フレームレート、ビットレートの候補に対して主観画質を推定したか否かを判別する（ステップＳ３２）。そして、全ての解像度、フレームレート、ビットレートの候補に対して主観画質を推定していない場合には（ステップＳ３２のＮＯ）、ステップＳ３０に戻り、符号化と復号化とを繰り返す。一方、全ての解像度、フレームレート、ビットレートの候補に対して主観画質を推定した場合には（ステップＳ３２のＹＥＳ）、候補の組み合わせから、主観画質推定値が最大となる解像度、フレームレートを出力する（ステップＳ３３）。このように、図１６に示す、従来の主観画質推定式を構築して主観画質を推定する方法では、何度も符号化、復号しなければならないといった問題がある。

上述したように、図１５に示す状況の場合、従来の主観画質推定式を構築して主観画質を推定する方法では、何度も符号化、復号が必要となるため、解像度、フレームレートの異なる動画像間の主観画質を複数のビットレートに対して簡便に推定することが困難であるという問題がある。

上記事情に鑑み、本発明は、動画像をあるビットレートに符号化する際に、所望する解像度、フレームレートでの主観画質を符号化前に推定することを可能とする技術の提供を目的としている。

本発明の一態様は、動画像の１画素あたりの平均符号量から量子化パラメータを予測するためのＱＰ予測式を生成するＱＰ予測式生成部と、前記ＱＰ予測式を用いて、１画素あたりの平均符号量から予測ＱＰを算出するＱＰ予測部と、符号化パラメータに対する主観画質推定式を出力する主観画質推定式管理部と、前記予測ＱＰ及び前記主観画質推定式に基づいて、主観画質推定値を算出する主観画質推定部と、備える主観画質推定装置である。

本発明の一態様は、上記の主観画質推定装置であって、前記ＱＰ予測式生成部は、動画像をエンコードして平均ＱＰと１画素あたりの平均符号量とを出力するエンコーダと、前記エンコーダによって出力された前記平均ＱＰ及び前記平均符号量を格納するパラメータ記憶部と、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量に基づいて前記ＱＰ予測式を算出するＱＰ予測式算出部と、を備える。

本発明の一態様は、上記の主観画質推定装置であって、前記ＱＰ予測式生成部は、符号化データを解析して平均ＱＰと１画素あたりの平均符号量とを出力するパーサーと、前記パーサーによって出力された前記平均ＱＰ及び前記平均符号量を格納するパラメータ記憶部と、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量に基づいて前記ＱＰ予測式を算出するＱＰ予測式算出部と、を備える。

本発明の一態様は、上記の主観画質推定装置であって、前記ＱＰ予測式算出部は、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量の組み合わせを複数取得し、取得された前記組み合わせに基づいて、Ｎ次式（Ｎは１以上の整数）で表現した１画素あたりの前記平均ＱＰ及び前記平均符号量の関係を最小二乗法によって表すことによって前記ＱＰ予測式を算出する。

本発明の一態様は、上記の主観画質推定装置であって、前記予測式算出部は、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量の組み合わせを２組取得し、前記２組が表す２点を含む直線によって表される式を前記ＱＰ予測式として算出する。

本発明の一態様は、上記の主観画質推定装置であって、前記主観画質推定式管理部は、前記主観画質推定式を格納しており、前記主観画質推定部によって要求された主観画質推定式を格納している場合は、当該主観画質推定式を前記主観画質推定部に出力し、前記主観画質推定部によって要求された主観画質推定式を格納していない場合は、既に格納されている前記主観画質推定式に基づいて、要求された主観画質推定式を生成し前記主観画質推定部に出力する。

本発明の一態様は、上記の主観画質推定装置であって、前記主観画質推定式管理部は、初期値として事前の主観評価実験によって得られた主観画質推定式を格納しており、格納された前記主観画質推定式の係数及び符号化パラメータの組み合わせに基づいて前記係数及び前記符号化パラメータの関係を近似するＮ次式（Ｎは１以上の整数）を生成し、近似したＮ次式に基づいて前記主観画質推定式を生成する。

本発明の一態様は、動画像の１画素あたりの平均符号量から量子化パラメータを予測するためのＱＰ予測式を生成するＱＰ予測式生成ステップと、前記ＱＰ予測式を用いて、１画素あたりの平均符号量から予測ＱＰを算出するＱＰ予測ステップと、符号化パラメータに対する主観画質推定式を出力する主観画質推定式管理ステップと、前記予測ＱＰ及び前記主観画質推定式に基づいて、主観画質推定値を算出する主観画質推定ステップと、を有する主観画質推定方法である。

本発明の一態様は、上記いずれかの主観画質推定装置が行う処理をコンピュータに実行させるためのプログラムである。

本発明により、動画像をあるビットレートに符号化する際に、所望する解像度、フレームレートでの主観画質を符号化前に推定することが可能となる。

本実施形態の主観評価値算出方法を実現する機器（ＣＢＲ符号化）の構成を示すブロック図である。 本実施形態の主観評価値算出方法の基本動作を説明するためのフローチャートである。 本実施形態による主観画質推定方法の全体動作を説明するためのフローチャートである。 本実施形態によるパラメータＤＢ１２のデータ構成の一例を示す概念図である。 本実施形態によるＱＰ予測部１４のＱＰ予測動作を説明するためのフローチャートである。 本実施形態による主観画質推定式管理部１５の主観画質推定生成動作を説明するためのフローチャートである。 本実施形態による主観画質推定部１８の主観画質推定動作を説明するためのフローチャートである。 本実施形態による、ＱＰを取り出す第２の方法を適用した主観評価値算出方法を実現する機器（ＣＢＲ符号化）の構成を示すブロック図である。 本実施形態によるＱＰ予測式算出部１３の動作（Ｍ＝２の場合）を説明するためのフローチャートである。 本実施形態による主観画質推定式ＤＢ１６の構成例を示す概念図である。 本実施形態による主観画質推定式生成部１７の動作を説明するためのフローチャートである。 本実施形態による主観画質推定式生成部１７での加重平均による係数の算出方法を示す概念図である。 従来技術によるＰＳＮＲやＳＳＩＭといった原画像と復号画像とを参照して客観画質評価値を算出する手順を示すフローチャートである。 従来技術による主観画質推定式の構築までの処理を一般化したフローチャートである。 ＨＡＳによる動画像の切り替え配信を説明するための概念図である。 ＨＡＳによる主観画質推定方法の手順を説明するためのフローチャートである。

［概略］
まず、本発明の一実施形態の概略について説明する。
図１は、本実施形態の主観評価値算出方法を実現する機器（ＣＢＲ符号化）の構成を示すブロック図である。図１において、ＱＰ予測式生成部１０は、動画像の１画素あたりの平均符号量ｂとＱＰ間の関係式（ＱＰ予測式）を生成する。すなわち、ＱＰ予測式生成部１０は、標本となる複数のビットレートＢでエンコーダ１１が動画像を符号化して生成された、または既にある符号化データの１画素あたりの平均符号量とＱＰとの組み合わせによって、１画素あたりの平均符号量とＱＰとの関係式（ＱＰ予測式）を生成する。

ＱＰ予測部１４は、１画素あたりの平均符号量から予測ＱＰを求める。すなわち、ＱＰ予測部１４は、生成されたＱＰ予測式に１画素あたりの平均符号量を代入し、予測ＱＰを求める。

主観画質推定式管理部１５は、主観画質推定部１８から問い合わされた解像度ｒとフレームレートｆに対応するＱＰと主観評価値との関係式（主観画質推定式Ｓ（ｑ））を主観画質推定部１８に出力する。すなわち、主観画質推定式管理部１５において、主観画質推定式ＤＢ１６は、主観画質推定式管理部１５が予め行っていた主観評価実験から得た、特定の解像度とフレームレートに対するＱＰと主観評価値との関係式（主観画質推定式Ｓ（ｑ））を、初期値として格納している。

このように、主観画質推定式管理部１５は、主観画質推定部１８からの問い合わせに対して、主観画質推定式ＤＢ１６に格納されている主観画質推定式Ｓ（ｑ）を送出する。主観画質推定部１８からの問い合わせに対応する主観画質推定式Ｓ（ｑ）が主観画質推定式ＤＢ１６になかった場合、主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に格納されている主観画質推定式Ｓ（ｑ）から、任意の解像度ｒとフレームレートｆに対するＱＰと主観評価値との関係式（主観画質推定式Ｓ（ｑ））を補間によって生成する。主観画質推定式管理部１５は、主観画質推定式生成部１７によって生成された主観画質推定式Ｓ（ｑ）を、主観画質推定式ＤＢ１６に格納した後、主観画質推定部１８に出力する。

主観画質推定部１８は、主観画質推定式管理部１５によって生成された、ＱＰと主観評価値の関係式（主観画質推定式Ｓ（ｑ））から、任意の解像度ｒ、フレームレートｆ、ＱＰの組み合わせに対する主観画質を推定する。

従って、ＱＰ予測式生成部１０は、動画像の１画素あたりの平均符号量とＱＰ間の関係式（ＱＰ予測式）を生成する。ＱＰ予測部１４は、ＱＰ予測式を用いて、ビットレートからＱＰを予測する。主観画質推定式生成部１７は、任意の解像度ｒ、フレームレートｆに対するＱＰと主観画質評価値との関係を表す主観画質推定式Ｓ（ｑ）を生成する。主観画質推定部１８は、ＱＰ予測部１４で予測した予測ＱＰと主観画質推定式管理部１５からの主観画質推定式Ｓ（ｑ）とから主観画質を推定する。

本発明では、主観画質推定部１８が、ＱＰ予測式生成部１０によって生成されたＱＰ予測式と主観画質推定式管理部１５によって保持されている主観画質推定式Ｓ（ｑ）とによって、１画素あたりの平均符号量だけから、主観画質を推定することができる。よって、本発明は、ＱＰ予測式生成部１０がＱＰ予測式を生成するのに必要なエンコード、デコードと、主観画質推定式ＤＢ１６に格納されている初期の主観画質推定式Ｓ（ｑ）を得る以外、エンコード、デコード、主観評価実験を必要としない。

図２は、本実施形態の主観評価値算出方法の基本動作を説明するためのフローチャートである。図２において、エンコーダ１１は、任意のＭ個の候補を解像度ｒ、フレームレートｆ、ビットレートＢで符号化する（ステップ１００）。次に、ＱＰ予測式算出部１３は、量子化パラメータ−１画素あたりの平均符号量の関係式（ＱＰ予測式）を生成する（ステップ１０１）。また、ＱＰ予測部１４は、候補の解像度ｒ、フレームレートｆ、ビットレートＢの量子化パラメータ（ＱＰ）を推定し、予測ＱＰとして出力する（ステップ１０２）。

主観画質推定部１８は、主観画質推定式管理部１５から受け取った主観画質推定式Ｓ（ｑ）にＱＰ予測部１４から入力した予測ＱＰを代入し、主観画質推定値ｓを算出する（ステップ１０３）。次に、主観画質推定部１８は、全ての解像度ｒ、フレームレートｆ、ビットレートＢの組み合わせの候補に対して主観画質を推定したか否かを判定し（ステップＳ１０４）、推定が終わっていない場合には（ステップＳ１０４のＮＯ）、ステップＳ１０２に戻り、次の候補に対して上述した処理を繰り返す。そして、全ての組み合わせの候補に対して主観画質を推定し終わると（ステップＳ１０４のＹＥＳ）、主観画質推定部１８は、主観画質推定値ｓを出力する（ステップＳ１０５）。

本発明の一実施形態によれば、ＱＰ予測式によって予測されたＱＰを用いて、主観画質を推定するため、ＱＰ予測式の生成後はエンコードせずに、ターゲットとするビットレートＢの主観画質を任意の解像度、フレームレートｆの組み合わせに対して推定することができる。また、予めＱＰが分かっているのならば、ＱＰ予測式生成部１０とＱＰ予測部１４を用いずに、ＱＰを用いて主観画質を推定することができる。

また、主観画質推定式Ｓ（ｑ）は、事前の主観評価実験によって一部の解像度ｒ、フレームレートｆ毎に予め生成しておく。生成された主観画質推定式Ｓ（ｑ）は、動画像に依存しない主観画質推定式であるため、主観評価実験に用いた動画像とは異なる動画像に対しても適用できる。よって、本発明では、主観画質を推定する度に、その動画像に対して主観評価実験を行う必要がない。また、主観画質推定式Ｓ（ｑ）が生成されていない解像度ｒ、フレームレートｆに対しては、主観画質推定式生成部１７が主観画質推定式Ｓ（ｑ）を生成するため、事前の主観評価実験による推定式の生成を簡略化することができる。

以上により、ほとんどのビットレートＢ、解像度ｒ、フレームレートｆに対して、主観評価実験、符号化、符号化後の特徴抽出を行わずに、主観画質を推定することができる。よって、計算コストを従来方法より大幅に削減することができる。

［実施形態］
次に、本発明の一実施形態の詳細について説明する。
図１において、ＱＰ予測式生成部１０は、ビットレートＢ、解像度ｒ、フレームレートｆ、オリジナル動画像Ｉを外部から入力して生成したＱＰ予測式をＱＰ予測部１４に出力する。ＱＰ予測部１４は、ＱＰ予測式生成部１０から入力したＱＰ予測式と外部から入力したビットレートＢ、解像度ｒ、フレームレートｆとに基づき、算出した予測ＱＰを主観画質推定部１８に出力する。主観画質推定部１８は、外部から入力した解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）を、主観画質推定式管理部１５に問い合わせて受け取る。主観画質推定部１８は、受け取った主観画質推定式Ｓ（ｑ）にＱＰ予測部１４から入力した予測ＱＰを代入し、主観画質推定値ｓを算出して出力する。

ＱＰ予測式生成部１０は、エンコーダ１１、パラメータＤＢ１２、ＱＰ予測式算出部１３を備えている。エンコーダ１１には、ビットレートＢ、解像度ｒ、フレームレートｆ、オリジナル動画像Ｉが外部から入力される。エンコーダ１１は、オリジナル動画像Ｉを符号化して、符号化の過程で得られた１画素あたりの平均符号量とＱＰとを、パラメータＤＢ１２へ出力する。あるいは、エンコーダ１１は、符号化されたデータから１画素あたりの平均符号量とＱＰとを取り出してもよい。パラメータＤＢ１２は、１画素あたりの平均符号量とＱＰとを、１レコードとして格納する。ＱＰ予測式算出部１３は、パラメータＤＢ１２に格納された１画素あたりの平均符号量とＱＰとからＱＰ予測式を生成し、ＱＰ予測式をＱＰ予測式生成部１４に出力する。

主観画質推定式管理部１５は、主観画質推定式ＤＢ１６と主観画質推定式生成部１７とを備えている。主観画質推定式ＤＢ１６は、主観画質推定部１８からの問い合わせに対して主観画質推定式Ｓ（ｑ）を送出する。主観画質推定式生成部１７は、問い合わせに対応する主観画質推定式Ｓ（ｑ）が主観画質推定式ＤＢ１６に存在しなかった場合には、既知の主観画質推定式Ｓ（ｑ）を主観画質推定式ＤＢ１６から取り出し、問い合わせに対応する主観画質推定式Ｓ（ｑ）を生成し、主観画質推定式ＤＢ１６に格納する。主観画質推定式ＤＢ１６は、格納された主観画質推定式Ｓ（ｑ）を主観画質推定部１８に送出する。

図３は、本実施形態による主観画質推定方法の全体動作を説明するためのフローチャートである。全体の処理は、ＱＰ予測式の生成、ＱＰの予測、主観画質推定式Ｓ（ｑ）の管理及び主観画質推定に分けることができる。それぞれのフローを順に説明する。

［ＱＰ予測式生成フロー］
まず、ＱＰ予測式生成部１０は、オリジナル動画像Ｉ、次式（３）に示す解像度ｒ_ｊ、フレームレートｆ_ｊ、ビットレートＢ_ｊを入力する（ステップＳ２００）。このとき、変数ｊを１とする。次に、変数ｊがＭより大となったか否かを判定する（ステップＳ２０１）。そして、変数ｊがＭより大でなければ（ステップＳ２０１のＹＥＳ）、ステップＳ２０２へ進む。

ＱＰ予測式生成部１０は、まず、解像度ｒ_ｊ、フレームレートｆ_ｊ、ビットレートＢ_ｊのオリジナル動画像Ｉをエンコーダ１１に送り、オリジナル動画像Ｉを解像度ｒ_ｊ、フレームレートｆ_ｊ、ビットレートＢ_ｊの組み合わせに対して符号化する（ステップＳ２０２）。次に、ＱＰ予測式生成部１０は、１画素あたりの平均符号量ｂ_ｊ、量子化パラメータｑ_ｊ（ｂ_ｊ、ｑ_ｊはｊ番目の解像度とフレームレートとの組み合わせに対する値）を得て、パラメータＤＢ１２に格納する（Ｓ２０３）。これをＭ回繰り返す（ステップＳ２０１〜Ｓ２０３）。

図４は、本実施形態によるパラメータＤＢ１２のデータ構成の一例を示す概念図である。図４において、パラメータＤＢ１２には、量子化パラメータ（ＱＰ）と１画素あたりの平均符号量（ｂｉｔｓ／ｐｉｘｅｌ）とが対応付けて記憶されている。図示の例では、量子化パラメータ「２２」に対して１画素あたりの平均符号量「４．５」、量子化パラメータ「２７」に対して１画素あたりの平均符号量「２．４４」、量子化パラメータ「３２」に対して１画素あたりの平均符号量「１．８２」が記憶されている。

１画素あたりの平均符号量ｂ_ｊは、次式（４）で求める。

上述したステップＳ２０１〜Ｓ２０３の繰り返し処理において、変数ｊがＭより大となると（ステップＳ２０１のＹＥＳ）、ＱＰ予測式算出部１３は、パラメータＤＢ１２に格納した１画素あたりの平均符号量ｂ_１、ｂ_２、…、ｂ_Ｍと量子化パラメータ（ＱＰ）ｑ_１、ｑ_２、…、ｑ_Ｍとを用いて１画素あたりの平均符号量ｂと量子化パラメータ（ＱＰ）との関係式であるＱＰ予測式Ｑ（ｂ）を生成する（ステップＳ２０４）。

［ＱＰ予測フロー］
次に、ＱＰ予測部１４は、ＱＰ予測式算出部１３で生成したＱＰ予測式Ｑ（ｂ）とビットレートＢ、候補の解像度ｒ及びフレームレートｆとを入力とし（ステップＳ２０５）、そのビットレートＢ、候補解像度ｒ、フレームレートｆにおける１画素あたりの平均符号量ｂを算出する。その１画素あたりの平均符号量ｂを用いてＱＰ予測式Ｑ（ｂ）から予測ＱＰを算出し、主観画質推定部１８に出力する（ステップＳ２０６）。

図５は、本実施形態によるＱＰ予測部１４のＱＰ予測動作を説明するためのフローチャートである。ＱＰ予測部１４は、候補解像度ｒ、候補フレームレートｆ、ターゲットビットレートＢを入力し（ステップＳ２３０）、候補解像度ｒ、候補フレームレートｆ、ターゲットビットレートＢから１画素あたりの平均符号量ｂを求める（ステップＳ２３１）。次に、ＱＰ予測部１４は、その１画素あたりの平均符号量ｂをＱＰ予測式Ｑ（ｂ）に代入して予測ＱＰを算出し（ステップＳ２３２）、該予測ＱＰを出力する（ステップＳ２３３）。

［主観画質推定生成フロー］
次に、主観画質推定式管理部１５は、主観画質推定部１８からの問い合わせに対して処理を行う。主観画質推定式管理部１５は、主観画質を推定したい解像度ｒ、フレームレートｆを入力し、解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）が主観画質推定式ＤＢ１６に存在するかを確認する（ステップＳ２０７）。主観画質推定式Ｓ（ｑ）が存在しない場合には（ステップＳ２０７のＮＯ）、その解像度ｒ、フレームレートｆに対応するＳ（ｑ）を主観画質推定式生成部１７によって生成し、主観画質推定式ＤＢ１６に格納する（ステップＳ２０８）。

図６は、本実施形態による主観画質推定式管理部１５の主観画質推定生成動作を説明するためのフローチャートである。主観画質推定式管理部１５は、主観画質推定部１８から主観画質を推定したい解像度ｒ、フレームレートｆを入力する（ステップＳ２５０）。次に、主観画質推定式管理部１５は、解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）が主観画質推定式ＤＢ１６に存在するか否かを判定する（ステップＳ２５１）。

そして、主観画質推定式Ｓ（ｑ）が存在しない場合には（ステップＳ２５１のＮＯ）、主観画質推定式管理部１５は、その解像度ｒ、フレームレートｆを主観画質推定式生成部１７に出力する（ステップＳ２５２）。次に、主観画質推定式生成部１７は、主観画質推定式ＤＢ１６から主観画質推定式Ｓ（ｑ）を取り出し（ステップＳ２５３）、取り出した主観画質推定式Ｓ（ｑ）を用いて、解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）を生成し、主観画質推定式ＤＢ１６に格納する（ステップＳ２５４）。

一方、主観画質推定式Ｓ（ｑ）が存在する場合（ステップＳ２５１のＹＥＳ）、あるいは上記ステップＳ２５４が終了した場合には、主観画質推定式管理部１５は、解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）を主観画質推定式ＤＢ１６から取り出す（ステップＳ２５５）。そして、主観画質推定式管理部１５は、主観画質推定式Ｓ（ｑ）を主観画質推定部１８に出力する（ステップＳ２５６）。

［主観画質推定フロー］
最後に、主観画質推定部１８は、予測ＱＰを主観画質推定式Ｓ（ｑ）に代入し、主観画質推定値ｓを求めて出力する（ステップＳ２０９、Ｓ２１０）。

図７は、本実施形態による主観画質推定部１８の主観画質推定動作を説明するためのフローチャートである。主観画質推定部１８は、解像度ｒ、フレームレートｆ、予測ＱＰを入力し（ステップＳ２７０）、解像度ｒ、フレームレートｆに対応する主観画質推定式Ｓ（ｑ）を、主観画質推定式管理部１５に問い合わせて受け取る（ステップＳ２７１）。そして、主観画質推定部１８は、主観画質推定式Ｓ（ｑ）に予測ＱＰを代入し、主観画質評価値ｓを出力する（ステップＳ２７２）。

上述したステップＳ２００〜Ｓ２０４のＱＰ予測式生成フロー後は、評価要求プロセスが、主観画質を推定したい解像度、フレームレート、ビットレートを、ステップＳ２０５、Ｓ２０６のＱＰ予測フローへと送る（ステップＳ２２０）。そして、評価要求プロセスが主観画質を推定したい解像度、フレームレート、ビットレートの組み合わせ全てに対して主観画質推定値ｓを受け取ったら終了する（ステップＳ２２１）。

次に、各部の内部処理フローについて詳細に説明する。
ＱＰ予測式生成部１０は、ＱＰ予測式の生成のためにエンコーダ１１から取り出したＱＰからＱＰ予測式を算出する内部処理を有する。以下、該ＱＰ予測式を算出する内部処理について説明する。主観画質推定式管理部１５は、主観画質推定式ＤＢ１６と主観画質推定式生成部１７とを備えている。主観画質推定式ＤＢの構造と主観画質推定式生成Ｂ１７の算出処理フローについても説明する。

［ＱＰ予測式生成部１０の内部処理：エンコーダ１１からＱＰを取り出す方法］
まず、ＱＰ予測式生成部１０がエンコーダ１１から量子化パラメータ（ＱＰ）の取り出す方法について具体的に説明する。ＱＰ予測式生成部１０は、動画像を符号化する際のＱＰの平均値（平均ＱＰ）を後述するように求め、その動画像のＱＰとして取り出す。

固定ビットレート（以下、ＣＢＲという）で符号化する場合について説明する。Ｈ．２６４や、ＨＥＶＣなどでは、エンコーダ１１は、あるビットレートで符号化するために、その内部でＱＰの値を調整している。

ＱＰを取り出す具体的な方法には２つある。第１の方法は、エンコーダ１１のレートコントロール機能１１１から取り出す方法である。ＱＰの値は、エンコーダ１１のレートコントロール機能１１１によって決定される。そこで、その決定されたＱＰを出力する機能をレートコントロール機能１１１に備え付けることでＱＰを取り出す。この方法を用いると、復号前にＱＰを得ることができる。

具体的には、通常のレートコントロール機能１１１に以下の機能を追加する。レートコントロール機能１１１は、マクロブロックでＱＰを決定する。そこで、レートコントロール機能１１１でマクロブロック数をカウントし、同時に各マクロブロックのＱＰの総和を保持しておくことで、全マクロブロック（ＨＥＶＣでは、全コーディングユニット）の平均ＱＰを算出して出力する。また、レートコントロール機能１１１において、ピクチャタイプ毎にマクロブロックのカウントとＱＰの総和とを行うことで、ピクチャタイプで加重平均した平均ＱＰを算出することができる。

第２の方法は、エンコーダ１１から出力された符号化された符号化データからデコーダ（パーサー）によって取り出す方法である。例えば、Ｈ．２６４では、あるピクチャのＱＰの初期値は、符号化データ内のピクチャ・パラメータ・セットとして含まれている。この方法では、エンコーダ１１に依存せず、符号化データさえあれば、ＱＰを取り出すことができる。各フレームの初期の平均がピクチャ・パラメータ・セットに含まれているので、符号化データから各フレームの初期を取り出す際に、全フレームの平均ＱＰを算出して出力する。

図８は、本実施形態による、ＱＰを取り出す第２の方法を適用した主観評価値算出方法を実現する機器（ＣＢＲ符号化）の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図８において、ＱＰ予測式生成部１０は、エンコーダ１１に替えて、パーサー１９を備えている。図８において、ＱＰを取り出す方法は、デコーダを用いずとも、ＱＰを取り出すことができるのに十分なデコーダの一部機能を実装したパーサー１９で構わない。該パーサー１９を用いることで、デコード１１の一部過程を省略できるので、より高速にＱＰを取り出すことができる。

［ＱＰ予測式生成部１０の内部処理：ＱＰ予測式算出部１３の具体的方法］
ＱＰ予測式算出部１３は、１画素あたりの平均符号量ｂ_１、ｂ_２、…、ｂ_ＭとＱＰｑ_１、ｑ_２、…、ｑ_Ｍを入力として、ＱＰ予測式Ｑ（ｂ）を生成し、ＱＰ予測部１４に出力する。

ＱＰ予測式Ｑ（ｂ）の生成方法について具体的に説明する。動画像の１画素あたりの平均符号量ｂと量子化パラメータｑとの関係を、次式（５）で近似する。

αとβとを求めることで、ＱＰが未知のビットレートに対しても、１画素あたりの平均符号量ｂからＱＰを、ＱＰ予測式Ｑ（ｂ）から予測することができる。１画素あたりの平均符号量ｂは、次式（６）で求めることができる。

ここで、ｐは解像度ｒのときの１フレームあたりの画素数であり、ｆはフレームレート、Ｂはビットレートである。

図９は、本実施形態によるＱＰ予測式算出部１３の動作（Ｍ＝２の場合）を説明するためのフローチャートである。まず、エンコーダ１１は、２つのビットレートＢ_１、Ｂ_２でエンコードを行い、ＱＰｑ_１、ｑ_２を取り出し、パラメータＤＢ１２に格納する。ＱＰ予測式算出部１３は、パラメータＤＢ１２から取り出した、１画素あたりの平均符号量ｂ１、ｂ２とＱＰｑ１、ＱＰｑ２とを入力する（ステップＳ２８０）。次に、ＱＰ予測式算出部１３は、ビットレートＢ_１、Ｂ_２のそれぞれで１画素あたりの平均符号量ｂ_１、ｂ_２を算出し、その１画素あたりの平均符号量ｂ_１、ｂ_２とＱＰｑ_１、ＱＰｑ_２を数式（５）に代入することでαとβを求める（ステップＳ２８１）。Ｍが３以上の場合には最小二乗法によって求める。なお、Ｍが大きいほど近似精度は高くなる。また、少ない点で精度を高めるとしたら、なるべく距離の離れた２点を取るとよい。そして、ＱＰ予測式算出部１３は、ＱＰ予測式Ｑ（ｂ）をＱＰ予測部１４に送出する（ステップＳ２８２）。

ＣＢＲで符号化する場合には、動画像の１画素あたりの平均符号量ｂとＱＰの関係は、ＱＰ予測式Ｑ（ｂ）でなくても、エンコーダ１１に依存するレートコントロールアルゴリズムに基づいて決定してもよい。レートコントロールアルゴリズムが既知であれば、レートコントロールアルゴリズムに基づく、ｑとｂの関係式を求めることもできる。その関係式を任意のビットレートに対して適用することで、ｂからｑを求めることができる。例えば、特定のシーンに対して適用することを想定したエンコーダ１１で、高速化のために、このような関係式を予めテーブルとして持っているようなエンコーダ１１などが対象となる。

ここで、ＱＰ予測式Ｑ（ｂ）は、動画像単位ではなく、動画像の各ＧＯＰ（Group Of Picture）でのＱＰを、そのＧＯＰでのビットレートから予測してもよい。具体的には、ＧＯＰ毎にＧＯＰ内の全フレームの平均ｂと平均ｑを求め、それらに基づいてＱＰ予測式Ｑ（ｂ）を算出する。

平均の求め方は、次のものなどが考えられる。
（１）各フレームの初期ｑの平均
（２）全マクロブロック（ＨＥＶＣでは全コーディングユニット）の平均
ＣＢＲの場合では、平均ｂではなく、ターゲットとするビットレートから算出できるｂを用いてもよい。高速に数式（５）を算出したい場合には、全フレームの平均ではなく、ＧＯＰ内でサンプルしたフレームの平均ｂと平均ｑから求めてもよい。各フレームでｂとｑからＱＰ予測式Ｑ（ｂ）を算出し、そのα、βの平均を用いてもよい。

［主観画質推定式管理部１５の内部処理：主観画質推定式ＤＢ１６の構造］
図１０は、本実施形態による主観画質推定式ＤＢ１６の構成例を示す概念図である。主観画質推定式は、一次式（Ｓ（ｑ）＝γｑ＋δ）で表される。主観画質推定式ＤＢ１６は、解像度とフレームレートに対する主観画質推定式Ｓ（ｑ）のγ、δの値を格納している係数テーブルの形で実現される。図１０に示す例では、解像度「１９２０×１０８０」に対しては、フレームレート＝３０、γ＝−０．１５、δ＝７．９、また、フレームレート＝１５、γ＝−０．１０、δ＝５．９４、また、フレームレート＝７．５、γ＝−０．０４、δ＝２．００が紐付けられて格納されている。同様に、解像度「９６０×５４０」及び解像度「４８０×２７０」に対してもフレームレート、γ、δがそれぞれ紐付けられて格納されている。

主観画質推定式ＤＢ１６は、主観画質推定部１８に要求された主観画質推定式を、格納されている主観画質推定式から主観画質推定部１８に出力する。主観画質推定式ＤＢ１６は、格納されていない主観画質推定式に対する要求が来たときに、その主観画質推定式を主観画質推定式生成部１７に要求する機能を持つ。そして、主観画質推定式ＤＢ１６は、主観画質推定式生成部１７から返された主観画質推定式を格納し、主観画質推定部１８に出力する。

［主観画質推定式管理部１５の内部処理：主観画質推定式生成部１７］
図１１は、本実施形態による主観画質推定式生成部１７の動作を説明するためのフローチャートである。主観画質推定式生成部１７は、候補解像度ｒ、フレームレートｆを入力とし（ステップＳ２９０）、その候補解像度ｒ、フレームレートｆに対応する主観画質推定式（γ、δ）を、既知の解像度とフレームレートの主観画質推定式（γ、δ）を用いて推定する（ステップＳ２９１）。そして主観画質推定式生成部１７は、、その生成した主観画質推定式を主観画質推定式ＤＢ１６に格納する（ステップＳ２９２）。

具体的な、主観画質推定式の生成方法について説明する。
主観画質推定式Ｓ（ｑ）は、次式（７）で表す。

γ、δは、解像度、フレームレートに依存する値で、動画像の種類には依存しない。また、本実施例では１次式の場合について述べるが、主観画質推定式は２次式、３次式、対数線形モデルで表してもよい。主観画質推定式ＤＢ１６に格納されている初期のγ、δは、事前の主観評価実験等によって決定する。主観画質推定式ＤＢ１６は、γ、δを係数テーブルの形で格納している。この主観画質推定式Ｓ（ｑ）の生成方法について、以下の５つの場合に分けて説明する。

（１）解像度ｒが主観画質推定式ＤＢ１６に存在しない場合の主観画質推定
主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に解像度ｒの動画像に対する主観画質推定式が存在しない場合に、主観画質推定式ＤＢ１６にある主観画質推定式のγ、δから主観画質を推定したい解像度ｒの主観画質推定式のγ、δを補間する。

その補間方法の具体例を説明する。ある解像度ｒ_１、フレームレートｆ_１で符号化したときの主観画質推定値ｓが知りたいが、主観画質推定式ＤＢ１６には、解像度ｒ_１に対応するγ、δは存在しないとする。しかし、主観画質推定式ＤＢ１６には、解像度ｒ_１とは異なる解像度のフレームレートｆ_１に対するγ、δが存在する。この場合、主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に存在しないγ、δを、主観画質推定式ＤＢ１６に存在するγ、δから生成する。例えば、図１０に示す例では、解像度１２８０×７２０のフレームレート３０ｆｐｓの場合におけるγ、δを生成することを想定する。つまり、図１０では、主観画質推定式ＤＢ１６には、１２８０×７２０で３０ｆｐｓの係数γ、δは存在しないが、１９２０×１０８０、９６０×５４０で３０ｆｐｓの係数γ、δは存在する。

このような状況における、γの推定方法について説明する。まず、γと解像度ｒのときの画素数ｐの関係を線形近似し、次式（８）で表す。

ε、θは、主観画質推定式ＤＢ１６に存在するγと解像度の画素数ｐとから、以下のように算出する。

主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に存在する２つの解像度ｒ_２、ｒ_３とフレームレートｆ_１の組み合わせ（ｆ_１、ｒ_２）、（ｆ_１、ｒ_３）に対する各γの値γ_２、γ_３を、主観画質推定式ＤＢ１６から求め、γ_２、γ_３と解像度から求めたｐ_２、ｐ_３とを、上記ε、θを用いたγの近似式に当てはめ、ε、θを算出する。

主観画質推定式生成部１７は、上記算出したε、θを用いたｐに対するγの近似式によって、主観画質推定式ＤＢ１６にない解像度ｒ_１に対応するγの値を推定する。主観画質推定式ＤＢ１６に３つ以上の解像度のγがあるようであれば、最小二乗法によってε、θを算出してもよい。これにより、主観画質推定式ＤＢ１６に存在しない解像度ｒのγを推定することができる。

ここで、近似式は、解像度の画素数ｐを用いたが、画素数でなくとも、解像度間の関係を表せるような値（例えば、最大解像度の画素数で正規化した値、解像度そのもの）でもよい。さらに、主観画質推定式ＤＢ１６に十分な解像度のγが標本として格納可能であれば、近似式は、１次式でなくても、２次式、３次式、対数線形モデルなどで近似してもよい。これらの近似方法の１つは、最小二乗法である。δもγと同様の方法にて求める。

（２）フレームレートｆが主観画質推定式ＤＢ１６に存在しない場合の主観画質推定
主観画質推定式生成部１７は、主観画質推定式ＤＢ１６にフレームレートｆの動画像に対する主観画質推定式が存在しない場合に、主観画質推定式ＤＢ１６にある主観画質推定式のγ、δから主観画質を推定したいフレームレートｆの主観画質推定式のγ、δを補間する。

その補間方法の具体例を説明する。ある解像度ｒ_１、フレームレートｆ_１で符号化したときの主観画質推定値ｓが知りたいが、主観画質推定式ＤＢ１６には、フレームレートｆ_１に対応するγ、δは存在しないとする。しかし、主観画質推定式ＤＢ１６には、フレームレートｆ_１とは異なるフレームレートの解像度ｒ_１に対するγ、δが存在する。この場合、主観画質推定式生成部１７は、主観画質推定式ＤＢ１６にないγ、δを、主観画質推定式ＤＢ１６に存在するγ、δから生成する。例えば、図１０に示す例では、解像度１９２０×１０８０のフレームレート２０ｆｐｓの場合におけるγ、δを生成することを想定する。つまり、図１０では、主観画質推定式ＤＢ１６には、２０ｆｐｓで１９２０×１０８０の係数は存在しないが、３０ｆｐｓ、１５ｆｐｓで１９２０×１０８０の係数は存在する。

このような状況における、γの推定方法について説明する。まず、γとフレームレートｆの関係を線形近似し、次式（９）で表す。

ε、θは、主観画質推定式ＤＢ１６に存在するγとフレームレートｆから、以下のように算出する。

主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に存在する２つのフレームレートｆ_２、ｆ_３と解像度ｒ_１の組み合わせ（ｆ_２、ｒ_１）、（ｆ_３、ｒ_１）に対する各γの値γ_２、γ_３を、主観画質推定式ＤＢ１６から求め、γ_２、γ_３とフレームレートｆ_２、ｆ_３を、上記のε、θを用いたγの近似式に当てはめ、ε、θを算出する。

主観画質推定式生成部１７は、上記算出したε、θを用いたｆに対するγの近似式によって、主観画質推定式ＤＢ１６にないフレームレートｆ_１に対応するγの値を推定する。主観画質推定式ＤＢ１６に３つ以上のフレームレートのγがあるようであれば、最小二乗法によってε、θを算出してもよい。これにより、主観画質推定式ＤＢ１６に存在しないフレームレートｆのγを推定することができる。

ここで、近似式は、フレームレートｆを用いたが、フレームレートでなくとも、フレームレート間の関係を表せるような値（例えば、最大フレームレートで正規化した値）でもよい。さらに、主観画質推定式ＤＢ１６に十分なフレームレートのγが標本として格納可能であれば、近似式は、１次式でなくても、２次式、３次式、対数線形モデルなどで近似してもよい。δもγと同様の方法にて求める。

（３）解像度ｒ、フレームレートｆが主観画質推定式ＤＢ１６に存在しない場合の主観画質推定
主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に解像度ｒとフレームレートｆの動画像に対する主観画質推定式が存在しない場合に、主観画質推定式ＤＢ１６にある主観画質推定式のγ、δから主観画質を推定したい解像度ｒ、フレームレートｆの主観画質推定式のγ、δを補間する。

その補間方法の具体例を説明する。ある解像度ｒ_１、フレームレートｆ_１で符号化したときの主観画質推定値ｓが知りたいが、主観画質推定式ＤＢ１６には、解像度ｒ_１、フレームレートｆ_１に対応するγ、δは存在しないとする。この場合、主観画質推定式生成部１７は、主観画質推定式ＤＢ１６に存在しないγ、δを主観画質推定式ＤＢ１６に存在するγ、δから生成する。例えば、図１０に示す例では、解像度１２８０×７２０のフレームレート２０ｆｐｓの場合におけるγ、δを生成することを想定する。つまり、図１０では、２０ｆｐｓ、１２８０×７２０の係数は存在しないが、３０ｆｐｓ、１５ｆｐｓ、１９２０×１０８０、９６０×５４０の係数は全ての組み合わせに対して存在する。

このような状況における、γの推定方法について説明する。
図１２は、本実施形態による主観画質推定式生成部１７での加重平均による係数の算出方法を示す概念図である。主観画質推定式生成部１７は、主観画質推定式ＤＢ１６にある４つの主観画質推定式のγ、δの値の加重平均によって推定する。図１２に示すように、４つの解像度と４つのフレームレートとの組み合わせ（ｒ_２、ｆ_２）、（ｒ_２、ｆ_３）、（ｒ_３、ｆ_２）、（ｒ_３、ｆ_３）に対して、４つのγが与えられたとし、それをγ_２、γ_３、γ_４、γ_５とする。ここで、図１２に示す位置（ｒ_１、ｆ_１）でのγを求めたいとし、それをγ_１とする。γ_１は、図１２におけるγ_２３、γ_４５の解像度の比による加重平均で求められる。γ_２３は、次式（１０）で求められる。

同様にして、γ_４５を算出し、その解像度、γ_２３、γ_４５を解像度の比によってフレームレートと同様に加重平均することでγ_１とする。γ_１は、次式（１１）となる。

（４）上記では、解像度、フレームレートそれぞれで近似式を生成する方法について説明した。これに対して、係数γ、δが主観画質推定式ＤＢ１６に存在する解像度、フレームレートの組み合わせに対して３点以上あれば、以下のようにして求めることができる。すなわち、解像度−フレームレート−係数（γ、もしくはδ）の３次元空間を想定することで、解像度及びフレームレートと、それに対応する係数γまたはδの値とで表現される平面によってγ、δを近似することができる。例えば、γを解像度とフレームレートから推定する場合、次式（１２）のように近似することができる。

近似する平面の大きさ、つまり、解像度とフレームレートとの範囲は、推定精度を損なわない範囲で設定してあればよい。一般には、平面で近似することによって、γ、δを既知とする解像度、フレームレートが２つではなく、３つ必要となるが、γ、δが解像度、フレームレートともに未知の場合、改めて近似式を推定しなくてもよくなる。平面を求める１つの具体的な方法は、最小二乗近似する方法である。

（５）上記（４）では、平面でγ、δを近似したが、曲面で近似してもよい。例えば、Ｎ次の多項式曲面を用いる方法である（Ｎは１以上の整数）。

なお、上述した実施形態において、上記のような形態で実施されるプログラムは、単一の装置に依存するものではなく、プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することによって主観画質推定を行い、解像度、フレームレートを決定してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

１０…ＱＰ予測式生成部， １１…エンコーダ， １１１…レートコントロール機能， １２…パラメータＤＢ， １３…ＱＰ予測式算出部， １４…ＱＰ予測部， １５…主観画質推定式管理部， １６…主観画質推定式ＤＢ， １７…主観画質推定式生成部， １８…主観画質推定部， １９…パーサー

Claims (9)

1. 動画像の１画素あたりの平均符号量から量子化パラメータを予測するためのＱＰ予測式を生成するＱＰ予測式生成部と、
   前記ＱＰ予測式を用いて、１画素あたりの平均符号量から予測ＱＰを算出するＱＰ予測部と、
   符号化パラメータに対する主観画質推定式を出力する主観画質推定式管理部と、
   前記予測ＱＰ及び前記主観画質推定式に基づいて、主観画質推定値を算出する主観画質推定部と、
   を備える主観画質推定装置。
2. 前記ＱＰ予測式生成部は、
   動画像をエンコードして平均ＱＰと１画素あたりの平均符号量とを出力するエンコーダと、
   前記エンコーダによって出力された前記平均ＱＰ及び前記平均符号量を格納するパラメータ記憶部と、
   前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量に基づいて前記ＱＰ予測式を算出するＱＰ予測式算出部と、
   を備える請求項１に記載の主観画質推定装置。
3. 前記ＱＰ予測式生成部は、
   符号化データを解析して平均ＱＰと１画素あたりの平均符号量とを出力するパーサーと、
   前記パーサーによって出力された前記平均ＱＰ及び前記平均符号量を格納するパラメータ記憶部と、
   前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量に基づいて前記ＱＰ予測式を算出するＱＰ予測式算出部と、
   を備える請求項１に記載の主観画質推定装置。
4. 前記ＱＰ予測式算出部は、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量の組み合わせを複数取得し、取得された前記組み合わせに基づいて、Ｎ次式（Ｎは１以上の整数）で表現した１画素あたりの前記平均ＱＰ及び前記平均符号量の関係を最小二乗法によって表すことによって前記ＱＰ予測式を算出する、請求項２又は３に記載の主観画質推定装置。
5. 前記予測式算出部は、前記パラメータ記憶部に格納された前記平均ＱＰ及び前記平均符号量の組み合わせを２組取得し、前記２組が表す２点を含む直線によって表される式を前記ＱＰ予測式として算出する、請求項２又は３に記載の主観画質推定装置。
6. 前記主観画質推定式管理部は、前記主観画質推定式を格納しており、前記主観画質推定部によって要求された主観画質推定式を格納している場合は、当該主観画質推定式を前記主観画質推定部に出力し、前記主観画質推定部によって要求された主観画質推定式を格納していない場合は、既に格納されている前記主観画質推定式に基づいて、要求された主観画質推定式を生成し前記主観画質推定部に出力する、請求項１から５のいずれか１項に記載の主観画質推定装置。
7. 前記主観画質推定式管理部は、初期値として事前の主観評価実験によって得られた主観画質推定式を格納しており、格納された前記主観画質推定式の係数及び符号化パラメータの組み合わせに基づいて前記係数及び前記符号化パラメータの関係を近似するＮ次式（Ｎは１以上の整数）を生成し、近似したＮ次式に基づいて前記主観画質推定式を生成する、請求項６に記載の主観画質推定装置。
8. 動画像の１画素あたりの平均符号量から量子化パラメータを予測するためのＱＰ予測式を生成するＱＰ予測式生成ステップと、
   前記ＱＰ予測式を用いて、１画素あたりの平均符号量から予測ＱＰを算出するＱＰ予測ステップと、
   符号化パラメータに対する主観画質推定式を出力する主観画質推定式管理ステップと、
   前記予測ＱＰ及び前記主観画質推定式に基づいて、主観画質推定値を算出する主観画質推定ステップと、
   を有する主観画質推定方法。
9. 請求項１から７のいずれか１項に記載の主観画質推定装置が行う処理をコンピュータに実行させるためのプログラム。

Images