JP2011044769A - 映像符号化難易度の定量化装置、方法およびプログラム - Google Patents
映像符号化難易度の定量化装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2011044769A JP2011044769A JP2009189815A JP2009189815A JP2011044769A JP 2011044769 A JP2011044769 A JP 2011044769A JP 2009189815 A JP2009189815 A JP 2009189815A JP 2009189815 A JP2009189815 A JP 2009189815A JP 2011044769 A JP2011044769 A JP 2011044769A
- Authority
- JP
- Japan
- Prior art keywords
- video
- encoded video
- quantization parameter
- bit amount
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】映像の符号化難度を定量化した符号化難易度を符号化の際の量子化精度が一定であることを前提とせずに導出する映像符号化難易度の定量化装置を提供する。
【解決手段】符号化映像の属性毎に前記符号化映像のビット量を出力するビット量出力部１１と、前記符号化映像の属性毎にマクロブロックの量子化幅の平均値を量子化パラメータの特徴量として出力する特徴量出力部１２と、符号化映像の属性毎のビット量と量子化パラメータとの基準となる関係を表す標準変動特性と、前記ビット量出力部によって出力されるビット量と、前記特徴量出力部によって出力される量子化パラメータの特徴量とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部１３とを設けた。
【選択図】 図１
【解決手段】符号化映像の属性毎に前記符号化映像のビット量を出力するビット量出力部１１と、前記符号化映像の属性毎にマクロブロックの量子化幅の平均値を量子化パラメータの特徴量として出力する特徴量出力部１２と、符号化映像の属性毎のビット量と量子化パラメータとの基準となる関係を表す標準変動特性と、前記ビット量出力部によって出力されるビット量と、前記特徴量出力部によって出力される量子化パラメータの特徴量とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部１３とを設けた。
【選択図】 図１
Description
本発明は、映像符号化難易度の定量化装置、方法およびプログラムに関する。
近年、映像信号の圧縮符号化技術の向上に伴い、圧縮符号化された符号化映像を含んだビットストリームをインターネットなどのネットワークを介して送信することにより、映像をユーザに対して配信する映像配信サービスが盛んに行われている。
このような映像配信サービスを行う事業者にとって、元映像の符号化難度を定量的に把握することは、配信映像の品質を確保してユーザ満足度を向上させる上で重要である。
このような映像配信サービスを行う事業者にとって、元映像の符号化難度を定量的に把握することは、配信映像の品質を確保してユーザ満足度を向上させる上で重要である。
従来、映像信号の符号化難度を定量的に示す指標として、「クリティカリティ」が用いられてきた（非特許文献１）。非特許文献１に開示されているクリティカリティは、映像信号を一定の量子化精度で符号化して得られた符号化映像の１画素当たりに発生する情報量として定義される。
したがって、クリティカリティは、符号化難度の高い映像ほど符号化映像の１画素当たりに発生する情報量が多くなるためクリティカリティが高くなり、一方、符号化難度の低い映像ほど情報量は少なくなりクリティカリティが低くなるといった特徴を有する。
したがって、クリティカリティは、符号化難度の高い映像ほど符号化映像の１画素当たりに発生する情報量が多くなるためクリティカリティが高くなり、一方、符号化難度の低い映像ほど情報量は少なくなりクリティカリティが低くなるといった特徴を有する。
水野修，小西宏和，西田幸博，中須英輔，大塚吉道，湯山一郎，「HDTV画像のクリティカリティ測定の検討」，映像情報メディア学会誌，Vol51，No.11，pp.1851-1852，1997．
しかしながら、クリティカリティの定義から、クリティカリティの導出に符号化器（エンコーダ）の量子化精度を一定にする必要がある一方、量子化精度を入力映像に応じて自動制御するものが大勢を占める既存のエンコーダに対して、量子化精度を一定にするといった制御を行うことは困難である。そのため、非特許文献１に示す技術では、量子化精度を自動制御する既存のエンコーダによって符号化された映像のクリティカリティを容易に導出することはできない。
また、映像配信サービスを行う事業者によって配信される映像のうち、符号化前の元映像を所有していない配信映像（符号化映像）やリアルタイム配信されている符号化映像は、サービス事業者によって量子化され圧縮符号化された映像ではないために、符号化の際の量子化精度を知ることはできない。そのため、映像配信サービスを行う事業者は、このような配信映像のクリティカリティを知ることは不可能であり、配信映像の品質に直結する映像の符号化難度を定量的に把握できないために、映像配信サービスの提供環境を最適化できない場合がある。
本発明は、上述の問題を解決するためになされたものであり、映像の符号化難度を定量化した符号化難易度を、符号化の際の量子化精度が一定であることを前提とせずに導出する映像符号化難易度の定量化装置を提供することを目的とする。
上記目的を達成するために、本発明は、入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力部と、前記符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する特徴量出力部と、符号化映像の属性毎のビット量と量子化パラメータとの基準となる関係を表す標準変動特性と、前記ビット量出力部によって出力されるビット量と、前記特徴量出力部によって出力される量子化パラメータの特徴量とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部とを設けた。
また、本発明の映像符号化難易度の定量化装置における前記特徴量算出部は、入力される符号化映像のビットストリームに含まれるシンタックス情報から前記符号化映像の各マクロブロックにおける量子化パラメータを抽出する量子化パラメータ抽出部と、この量子化パラメータ抽出部によって抽出された量子化パラメータを用いて前記符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する特徴量算出部とを備える構成としても良い。
また、本発明の映像符号化難易度の定量化装置は、入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力部と、前記符号化映像を復号して出力される映像に対する主観品質評価に基づいた評価データを導出し、このデータを主観品質値として出力する主観品質値出力部と、前記ビット量出力部によって出力されるビット量と、前記主観品質値出力部によって出力される主観品質値と、符号化映像のビット量と主観品質値との基準となる関係を表す標準変動特性とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部とからなる構成としても良い。
さらに、本発明の映像符号化難易度の定量化装置における前記ビット量算出部は、入力される符号化映像のビット量を前記符号化映像が符号化される際に出力されるパラメータで分類し、分類されたパラメータ毎に前記符号化映像のビット量を算出することを特徴とすることとしても良い。
本発明においては、符号化映像に含まれる情報を利用してこの符号化映像の属性毎のビット量と量子化パラメータの特徴量を算出し、算出したビット量と特徴量との関係を示す変動特性に基づいて映像の符号化難易度を導出する。
また、量子化パラメータの特徴量に代えて符号化映像の主観品質値を用いることによって、算出した符号化映像の属性毎のビット量とこの符号化映像の主観品質値との関係を示す変動特性に基づいて映像の符号化難易度を導出する。
また、量子化パラメータの特徴量に代えて符号化映像の主観品質値を用いることによって、算出した符号化映像の属性毎のビット量とこの符号化映像の主観品質値との関係を示す変動特性に基づいて映像の符号化難易度を導出する。
よって、本発明によれば、符号化の際の量子化精度が一定であることを前提とせずに映像の符号化難度を定量化した符号化難易度を導出することができる。
したがって、量子化制御機能が自動制御され外部制御できないような既存の符号化器（エンコーダ）によって符号化された符号化映像や、既に量子化後の圧縮符号化された符号化映像のような、符号化の際の量子化精度が一定であるのか変動しているのか不明な符号化映像に対しても、符号化難度を定量化することができるとともに、これらの符号化映像の符号化難易度を逐次把握することが可能となる。
したがって、量子化制御機能が自動制御され外部制御できないような既存の符号化器（エンコーダ）によって符号化された符号化映像や、既に量子化後の圧縮符号化された符号化映像のような、符号化の際の量子化精度が一定であるのか変動しているのか不明な符号化映像に対しても、符号化難度を定量化することができるとともに、これらの符号化映像の符号化難易度を逐次把握することが可能となる。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
なお、以下に説明する実施の形態にかかる映像符号化難易度の定量化装置は、一例として符号化方式Ｈ．２６４によって圧縮符号化された映像の符号化難易度を導出するものとする。
［第１の実施の形態］
本発明の第１の実施の形態にかかる映像符号化難易度の定量化装置は、符号化映像の符号化難度を定量的に示す符号化難易度を、符号化映像のビットストリームのビット量と量子化パラメータとに基づいて導出するものである。
本実施の形態にかかる映像符号化難易度の定量化装置１０の構成を示すブロック図を、図１に示す。
本実施の形態にかかる映像符号化難易度の定量化装置１０は、図１に示すように、ビット量出力部１１と特徴量出力部１２と符号化難易度導出部１３とから構成されている。
なお、以下に説明する実施の形態にかかる映像符号化難易度の定量化装置は、一例として符号化方式Ｈ．２６４によって圧縮符号化された映像の符号化難易度を導出するものとする。
［第１の実施の形態］
本発明の第１の実施の形態にかかる映像符号化難易度の定量化装置は、符号化映像の符号化難度を定量的に示す符号化難易度を、符号化映像のビットストリームのビット量と量子化パラメータとに基づいて導出するものである。
本実施の形態にかかる映像符号化難易度の定量化装置１０の構成を示すブロック図を、図１に示す。
本実施の形態にかかる映像符号化難易度の定量化装置１０は、図１に示すように、ビット量出力部１１と特徴量出力部１２と符号化難易度導出部１３とから構成されている。
ビット量出力部１１は、入力された符号化映像のビットストリームのビット量を符号化映像の属性毎に算出して出力する。
特徴量出力部１２は、量子化パラメータ抽出部１２−１と特徴量算出部１２−２とから構成されており、入力された符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出して、この値を量子化パラメータの特徴量として出力する。
特徴量出力部１２は、量子化パラメータ抽出部１２−１と特徴量算出部１２−２とから構成されており、入力された符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出して、この値を量子化パラメータの特徴量として出力する。
量子化パラメータ抽出部１２−１は、入力された符号化映像のビットストリームに含まれるシンタックス情報から符号化映像におけるマクロブロックの量子化パラメータを抽出する。
特徴量算出部１２−２は、量子化パラメータ抽出部によって抽出された量子化パラメータを用いて、符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する。
特徴量算出部１２−２は、量子化パラメータ抽出部によって抽出された量子化パラメータを用いて、符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する。
符号化難易度導出部１３は、予め記憶している符号化映像の属性毎のビット量と量子化パラメータの特徴量との基準となる関係を示す標準変動特性と、ビット量出力部１１によって出力される符号化映像の属性毎に分類されたビットストリームのビット量と、特徴量出力部１２によって出力される量子化パラメータの特徴量とに基づいて符号化映像に対する符号化難易度を導出する。
なお、本実施の形態にかかる映像符号化難易度の定量化装置１０は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像符号化難易度の定量化装置１０の各機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
なお、本実施の形態にかかる映像符号化難易度の定量化装置１０は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像符号化難易度の定量化装置１０の各機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
＜符号化映像の属性について＞
ここで、符号化映像の属性について説明する。
本実施の形態においては、符号化映像の属性として、符号化の際に出力されるデータ属性（以下、「符号化属性」という。）と符号化映像の画面の種別を表す「フレーム属性」とを用いる。
ここで、符号化映像の属性について説明する。
本実施の形態においては、符号化映像の属性として、符号化の際に出力されるデータ属性（以下、「符号化属性」という。）と符号化映像の画面の種別を表す「フレーム属性」とを用いる。
まず、「符号化属性」とは、映像を多様な符号化方式によって符号化する際に出力されるデータの種別を示す属性である。Ｈ.２６４方式によって圧縮符号化された符号化映像を例にとると、Prediction bits（動き補償による参照フレーム情報と参照フレームへの動きベクトル情報。）、Residual bits（画素値や画面内予測による画素の差分、また動き補償による画面間の画素値の差分に対する変換符号化で生じるデータ（ＤＣＴ(Discrete Cosine Transform)変換で生じるＤＣＴ係数など）。）、Oter bits（その他のデータビット。）の３つが符号化属性に相当する。
これら各々の符号化属性を示すデータのビット量は、元映像の絵柄や動きなど画像の情報量に依存しており、元映像の絵柄や動きによって大きく変化する。
これら各々の符号化属性を示すデータのビット量は、元映像の絵柄や動きなど画像の情報量に依存しており、元映像の絵柄や動きによって大きく変化する。
また、「フレーム属性」とは、符号化映像の連続するフレーム（連続する画面）を構成する１フレームの種別を表すものである。Ｈ.２６４方式によって圧縮符号化された符号化映像を例にとると、Ｉフレーム(Intra-frame：前後の画面とは別に独立して符号化されたフレームを示す) 属性 、Ｐフレーム(Predictive-frame：過去の画面からの予測により符号化されたフレームを示す)属性、Ｂフレーム(Bi-directional-frame：過去と未来の双方向に存在する画面からの予測により符号化されたフレームを示す)属性の３種類がフレーム属性に相当する。
次に、本実施の形態にかかる映像符号化難易度の定量化装置１０の動作について、図を参照して説明する。
図２は、ビット量出力部１１の動作を示すフローチャートである。
図２に示すように、符号化映像のビットストリームが入力されると（Ｓ１１１）、ビット量出力部１１は、このビットストリームの符号化属性（Prediction bits，Residual bits，Oter bits）を識別する（Ｓ１１２）。
ビット量出力部１１は、さらに符号化属性毎に識別されたビットストリームのフレーム属性（Ｉフレーム，Ｐフレーム，Ｂフレーム）を識別する（Ｓ１１３）。
図２に示すように、符号化映像のビットストリームが入力されると（Ｓ１１１）、ビット量出力部１１は、このビットストリームの符号化属性（Prediction bits，Residual bits，Oter bits）を識別する（Ｓ１１２）。
ビット量出力部１１は、さらに符号化属性毎に識別されたビットストリームのフレーム属性（Ｉフレーム，Ｐフレーム，Ｂフレーム）を識別する（Ｓ１１３）。
その結果、ビットストリームは、ビット量出力部１１によって符号化属性およびフレーム属性毎に、Prediction bits(I)，Prediction bits(P)，Prediction bits(B)，Residual bits(I)，Residual bits(P)，Residual bits(B)，Oter bits(I)，Oter bits(P)，Oter bits(B)の９種類に分類される。ここで、”Prediction bits(I)”は、符号化属性「Prediction bits」のうち、「Ｉフレーム」のフレーム属性を有したビットストリームである。
ビット量出力部１１は、上述した符号化属性およびフレーム属性毎に分類された９種類のビットストリームのそれぞれのビット量を算出して出力する（Ｓ１１４）。
次に、特徴量抽出部１２の動作を図３に示すフローチャートを参照して説明する。
図３に示すように、符号化映像のビットストリームが入力されると（Ｓ１２１）、特徴量抽出部１２の量子化パラメータ抽出部１２−１は、入力されたビットストリームの内部を走査し、対象となるビットストリームから全てのマクロブロックの量子化パラメータを抽出して出力する（Ｓ１２２）。
図３に示すように、符号化映像のビットストリームが入力されると（Ｓ１２１）、特徴量抽出部１２の量子化パラメータ抽出部１２−１は、入力されたビットストリームの内部を走査し、対象となるビットストリームから全てのマクロブロックの量子化パラメータを抽出して出力する（Ｓ１２２）。
ここで、Ｈ.２６４方式により圧縮符号化された符号化映像を例にとり、量子化パラメータ抽出部１２−１によるマクロブロックの量子化パラメータの抽出動作について説明する。
量子化パラメータ抽出部１２−１は、入力された符号化映像のビットストリームに含まれる量子化パラメータが記述されているシンタックス情報を参照することにより、マクロブロックの量子化パラメータを抽出する。また、このシンタックス情報に量子化パラメータの設定がなされていないマクロブロックが存在する場合、量子化パラメータ抽出部１２−１は、このマクロブロックについて任意の値を量子化パラメータとして抽出しても良く、そのまま設定されていない状態を抽出して量子化パラメータを「０」としても良い。
量子化パラメータ抽出部１２−１は、入力された符号化映像のビットストリームに含まれる量子化パラメータが記述されているシンタックス情報を参照することにより、マクロブロックの量子化パラメータを抽出する。また、このシンタックス情報に量子化パラメータの設定がなされていないマクロブロックが存在する場合、量子化パラメータ抽出部１２−１は、このマクロブロックについて任意の値を量子化パラメータとして抽出しても良く、そのまま設定されていない状態を抽出して量子化パラメータを「０」としても良い。
特徴量算出部１２−２は、量子化パラメータ抽出部１２−１によって出力された量子化パラメータを用いて、フレーム属性（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）に応じたマクロブロックの量子化パラメータの平均値を算出する。算出されたそれぞれのフレーム属性に対応したマクロブロックの量子化パラメータの平均値を、特徴量算出部１２−２は、フレーム属性毎の量子化パラメータの特徴量として出力する（Ｓ１２３）。
次に、符号化難易度導出部１３の動作を、図４に示すフローチャートを参照して説明する。
図３に示すように、符号化難易度導出部１３は、ビット量出力部１１によって出力された属性毎に分類された符号化映像のビットストリームのビット量と特徴量出力部１２によって出力されたフレーム属性毎の量子化パラメータの特徴量とを取得する（Ｓ１３１）。
図３に示すように、符号化難易度導出部１３は、ビット量出力部１１によって出力された属性毎に分類された符号化映像のビットストリームのビット量と特徴量出力部１２によって出力されたフレーム属性毎の量子化パラメータの特徴量とを取得する（Ｓ１３１）。
符号化難易度導出部１３は、平均的な符号化難度の映像のビット量と量子化パラメータの特徴量とから求められる標準変動特性を予め記憶しており、この標準変動特性に対して、取得した符号化映像の属性毎に分類されたビット量と量子化パラメータの特徴量とから導出される変動特性を比較し、その後、符号化難易度導出部１３は、得られた比較結果に基づいて符号化難易度を導出する。（Ｓ１３２）。
＜変動特性について＞
ここで、本実施の形態において符号化難易度の導出の際に用いる変動特性と標準変動特性について説明する。
まず、符号化映像の属性毎のビット量と量子化パラメータの特徴量との関係を示す変動特性について説明する。
変動特性は、どのような符号化器においても、入力される符号化映像のビットレートを細かく変化させながら、その符号化映像のビットストリームから符号化映像の属性毎のビット量と量子化パラメータの特徴量とを算出し、算出された符号化映像の属性毎のビット量と量子化パラメータの特徴量との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
ここで、本実施の形態において符号化難易度の導出の際に用いる変動特性と標準変動特性について説明する。
まず、符号化映像の属性毎のビット量と量子化パラメータの特徴量との関係を示す変動特性について説明する。
変動特性は、どのような符号化器においても、入力される符号化映像のビットレートを細かく変化させながら、その符号化映像のビットストリームから符号化映像の属性毎のビット量と量子化パラメータの特徴量とを算出し、算出された符号化映像の属性毎のビット量と量子化パラメータの特徴量との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
本実施の形態にかかる映像符号化難易度の定量化装置において導出される変動特性の一例を、図５〜図７のそれぞれに示す。
図５は、符号化映像のフレーム属性毎に区別されたビットストリームの一部であるResidual bits(I)と量子化パラメータの特徴量であるQP(I)との関係を示す変動特性を、図６は Residual bits(P)とQP(P)との関係を、図７はResidual bits(B)とQP(B)との関係を示す変動特性を、測定対象となる複数の映像コンテンツ（ここでは８サンプル）毎に示したものである。ただし、図５〜図７の横軸は対数軸である。
図５は、符号化映像のフレーム属性毎に区別されたビットストリームの一部であるResidual bits(I)と量子化パラメータの特徴量であるQP(I)との関係を示す変動特性を、図６は Residual bits(P)とQP(P)との関係を、図７はResidual bits(B)とQP(B)との関係を示す変動特性を、測定対象となる複数の映像コンテンツ（ここでは８サンプル）毎に示したものである。ただし、図５〜図７の横軸は対数軸である。
＜標準変動特性について＞
標準変動特性とは、多様な符号化映像から導出される変動特性のうち、平均的な符号化難度となる符号化映像から導出される変動特性、すなわち、符号化映像の属性毎のビット量と量子化パラメータの特徴量との基準となる関係を示す変動特性とする。
この標準変動特性は、後述するように複数の映像コンテンツに対する変動特性を予め導出しておき、それぞれの変動特性における量子化パラメータの特徴量を映像コンテンツ毎に平均した量子化パラメータの特徴量を算出し、この平均した量子化パラメータの特徴量と符号化映像のビット量との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
標準変動特性とは、多様な符号化映像から導出される変動特性のうち、平均的な符号化難度となる符号化映像から導出される変動特性、すなわち、符号化映像の属性毎のビット量と量子化パラメータの特徴量との基準となる関係を示す変動特性とする。
この標準変動特性は、後述するように複数の映像コンテンツに対する変動特性を予め導出しておき、それぞれの変動特性における量子化パラメータの特徴量を映像コンテンツ毎に平均した量子化パラメータの特徴量を算出し、この平均した量子化パラメータの特徴量と符号化映像のビット量との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
ここで、図５〜図７に示す変動特性に基づいて求められる標準変動特性のテンプレートを利用した符号化難易度の導出方法の概念図を、図８に示す。
図８の中に示される標準変動特性は、図５〜図７に示すような複数の映像コンテンツに対する変動特性において、映像コンテンツ毎のQP(I), QP(P), QP(B)を平均した量子化パラメータQPave(I), QPave (P), QPave (B)と、ビット量Residual bits(I), Residual bits(P), Residual bits(B)との関係を導出することにより取得できる変動特性である。
図８の中に示される標準変動特性は、図５〜図７に示すような複数の映像コンテンツに対する変動特性において、映像コンテンツ毎のQP(I), QP(P), QP(B)を平均した量子化パラメータQPave(I), QPave (P), QPave (B)と、ビット量Residual bits(I), Residual bits(P), Residual bits(B)との関係を導出することにより取得できる変動特性である。
＜標準変動特性の導出条件について＞
標準変動特性は、予め取得した複数の映像コンテンツの変動特性に基づいて導出されるために、予め取得した変動特性、すなわち、測定対象となる映像コンテンツが多いほど、導出される標準変動特性の精度は向上する。
本実施の形態にかかる映像符号化難易度の定量化装置においては、図５〜図７に示すように８種類の映像コンテンツの変動特性に基づいて標準変動特性を取得する。
標準変動特性は、予め取得した複数の映像コンテンツの変動特性に基づいて導出されるために、予め取得した変動特性、すなわち、測定対象となる映像コンテンツが多いほど、導出される標準変動特性の精度は向上する。
本実施の形態にかかる映像符号化難易度の定量化装置においては、図５〜図７に示すように８種類の映像コンテンツの変動特性に基づいて標準変動特性を取得する。
また、標準変動特性を取得する際の映像コンテンツの選定には、ANSI T1.801.03-1996（Digital Transport of One-Way Video Signals-Parameters for Objective Performance Assessment）に開示されているような、映像の特徴量を表すＳＩ(Spatial Information)やＴＩ(Temporal Information)の値に基づいて選定しても良く、また、評価者の主観で選定しても良い。
さらに、映像コンテンツの長さには、特に制限を設ける必要は無いが、取得するデータの信頼性を確保するため、１０秒程度の映像コンテンツを必要とする。
さらに、映像コンテンツの長さには、特に制限を設ける必要は無いが、取得するデータの信頼性を確保するため、１０秒程度の映像コンテンツを必要とする。
図５〜図７に示す変動特性、すなわち、各映像コンテンツのビット量と量子化パラメータの特徴量との関係には、線形関係（ただし横軸は対数軸である）が見られるが、これは、Ｈ.２６４方式の量子化パラメータが、ビットレートとほぼ反比例する量子化幅の対数であることに起因したものであり、圧縮符号化の方式の違いで異なる。
また、Ｈ.２６４方式の量子化パラメータの設定値は５１〜０であるため、量子化パラメータの特徴量QP(I), QP(P), QP(B)は、５１付近と０付近で飽和する。
また、Ｈ.２６４方式の量子化パラメータの設定値は５１〜０であるため、量子化パラメータの特徴量QP(I), QP(P), QP(B)は、５１付近と０付近で飽和する。
次に、本実施の形態にかかる符号化難易度の定量化装置１０の符号化難易度の導出動作について、図５〜図８を参照してさらに詳しく説明する。
本実施の形態にかかる符号化難易度の定量化装置１０のビット量出力部１１によって出力される符号化映像の属性毎に区別されたビットストリームのビット量は、Prediction bits(I), Prediction bits(P), Prediction bits(B), Residual bits(I), Residual bits(P), Residual bits(B), Other bits(I), Other bits(P), Other bits(B)それぞれのビット量であり、その一部または全てが符号化難易度の算出に用いられる。本実施の形態では、Residual bits(I), Residual bits(P), Residual bits(B)のビット量を用いて符号化難易度を導出することとする。
本実施の形態にかかる符号化難易度の定量化装置１０のビット量出力部１１によって出力される符号化映像の属性毎に区別されたビットストリームのビット量は、Prediction bits(I), Prediction bits(P), Prediction bits(B), Residual bits(I), Residual bits(P), Residual bits(B), Other bits(I), Other bits(P), Other bits(B)それぞれのビット量であり、その一部または全てが符号化難易度の算出に用いられる。本実施の形態では、Residual bits(I), Residual bits(P), Residual bits(B)のビット量を用いて符号化難易度を導出することとする。
また、特徴量出力部１２によって出力される各フレーム属性の量子化パラメータの特徴量を、それぞれQP(I)，QP(P)，QP(B)とする。
符号化難易度導出部１３によって導出される符号化難易度は、Residual bits(I), Residual bits(P), Residual bits(B)と対応するQP(I), QP(P), QP(B)との関係を示す変動特性と、予め記憶している標準変動特性との比較結果に基づいて導出される。
本実施の形態かかる映像符号化難易度の定量化装置１０によって導出される変動特性、すなわち、映像コンテンツ毎のビット量と量子化パラメータの特徴量との関係を、以下に示す式（１）で定義することができる。
ＱＰ(ｉ)＝ｐi×ｌｏｇ(Ｒｅｓｉｄｕａｌ ｂｉｔｓ(ｉ))＋ｑi 式（１）
なお、ｐiおよびｑiは、導出される変動特性に基づいた回帰分析により求められる係数であり、また、ｉはフレーム属性の種別（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）を表す符号であり、ｉ＝ＩまたはＰまたはＢで表される。
なお、ｐiおよびｑiは、導出される変動特性に基づいた回帰分析により求められる係数であり、また、ｉはフレーム属性の種別（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）を表す符号であり、ｉ＝ＩまたはＰまたはＢで表される。
さらに、フレーム属性毎の量子化パラメータの特徴量であるQP(I), QP(P), QP(B)を平均した量子化パラメータの特徴量をQPave(I), QPave (P), QPave (B)とし、各映像コンテンツのビット量Residual bits(I), Residual bits(P), Residual bits(B)との関係を式（２）で定義することができる。
ＱＰave(ｉ)＝ｐi ave×ｌｏｇ(Ｒｅｓｉｄｕａｌ ｂｉｔｓ(ｉ))＋ｑi ave 式（２）
なお、ｉはフレーム属性の種別（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）を表す符号であり、ｉ＝ＩまたはＰまたはＢで表される。
なお、ｉはフレーム属性の種別（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）を表す符号であり、ｉ＝ＩまたはＰまたはＢで表される。
式（２）によって定義される映像コンテンツのビット量と量子化パラメータの特徴量の関係は、式（１）によって定義される映像コンテンツの変動特性を平均化したものであり、すなわち、平均的な符号化難度となる映像のビット量と量子化パラメータの特徴量との関係を示す標準変動特性を表すものである。
また、式（２）において、ｐi aveおよびｑi aveは、ビット量（本実施例ではResidual bits(I), Residual bits(P), Residual bits(B)）と平均化された量子化パラメータの特徴量（QPave(I), QPave (P), QPave (B)）の関係を決定する係数であり、圧縮符号化の方式や符号化器の実装状況によって異なることから、圧縮符号化方式や符号化器の実装毎に特化した係数を式（１）で導出される変動特性に基づいた回帰分析により導出して用いても良いし、予めデータベース化された係数を用いても良い。
なお、式（１）および式（２）では、映像コンテンツのビット量（本実施の形態ではResidual bits(I), Residual bits(P), Residual bits(B)）と量子化パラメータの特徴量（QP(I), QP(P), QP(B)）および平均化された量子化パラメータの特徴量（QPave(I), QPave (P), QPave (B)）との対数関係を表しているが、式（１）および式（２）が示す関係は対数関係に限るものではない。
なお、式（１）および式（２）では、映像コンテンツのビット量（本実施の形態ではResidual bits(I), Residual bits(P), Residual bits(B)）と量子化パラメータの特徴量（QP(I), QP(P), QP(B)）および平均化された量子化パラメータの特徴量（QPave(I), QPave (P), QPave (B)）との対数関係を表しているが、式（１）および式（２）が示す関係は対数関係に限るものではない。
＜符号化難易度の導出について＞
本実施の形態にかかる映像符号化難易度の定量化装置１０は、予め、複数の映像コンテンツの変動特性から平均的な符号化難度である符号化映像のビット量と量子化パラメータの特徴量との関係を表す標準変動特性を示す式（２）を取得し、記憶する。
映像符号化難易度の定量化装置１０の符号化難易度導出部１３は、図８に示すように、予め記憶している標準変動特性のテンプレートを用いて入力された符号化映像の符号化難易度を導出する。
本実施の形態にかかる映像符号化難易度の定量化装置１０は、予め、複数の映像コンテンツの変動特性から平均的な符号化難度である符号化映像のビット量と量子化パラメータの特徴量との関係を表す標準変動特性を示す式（２）を取得し、記憶する。
映像符号化難易度の定量化装置１０の符号化難易度導出部１３は、図８に示すように、予め記憶している標準変動特性のテンプレートを用いて入力された符号化映像の符号化難易度を導出する。
例えば、図８を参照して、符号化映像Video1とVideo2との符号化難易度の導出方法を詳細に説明する。
符号化映像Video1とVideo2について、ビット量出力部１１によって導出された符号化映像の属性毎に区別されたビット量と特徴量出力部１２によって導出された量子化パラメータの特徴量とから、符号化難易度導出部１３は、Video１とVideo２の変動特性ポイントを導出し、図８に示すテンプレートにあてはめる。
符号化映像Video1とVideo2について、ビット量出力部１１によって導出された符号化映像の属性毎に区別されたビット量と特徴量出力部１２によって導出された量子化パラメータの特徴量とから、符号化難易度導出部１３は、Video１とVideo２の変動特性ポイントを導出し、図８に示すテンプレートにあてはめる。
図８に示すテンプレート上のVideo1とVideo2の変動特性ポイントが、式（２）によって示される「標準変動特性」の上部に存在すれば、符号化難易度が高い符号化映像であり（図８のVideo1）、下部に存在すれば符号化難易度が低い映像である（図８のVideo2）こととし、符号化難易度導出部１３によって導出された変動特性ポイントと標準変動特性との量子化パラメータの特徴量の差（ＲｏＤ：Rate of Deviation）を符号化難易度として出力する。
このＲｏＤは、単純に変動特性ポイントと標準変動特性との量子化パラメータの特徴量の差分でも良く、除算により求めても良い。また、差分または除算により求めたＲｏＤに対して四則演算や指数・対数演算を適用した値を符号化難易度としても良い。
したがって、変動特性ポイントが標準変動特性を基準として上部に位置するか下部に位置するかによって符号化難易度の高低を判別し、ＲｏＤの値によって符号化難易度の程度を導出する。
したがって、変動特性ポイントが標準変動特性を基準として上部に位置するか下部に位置するかによって符号化難易度の高低を判別し、ＲｏＤの値によって符号化難易度の程度を導出する。
なお、符号化難易度導出部１３によって出力される符号化難易度は、入力された符号化映像の属性毎に分類されたビット量と量子化パラメータの特徴量によって導出されることから、フレーム属性（Ｉフレーム属性、Ｐフレーム属性、Ｂフレーム属性）毎に導出される。
ここで、フレーム属性のそれぞれの特徴から、フレーム属性毎に出力される符号化難易度について説明する。
ビット量出力部１１によって導出されるResidual bits(I)は、イントラフレーム属性の特徴、すなわち、映像フレーム内に存在する画素値そのもののビット量の和であり、Residual bits(P)とResidual bits(B)は動き補償属性の特徴、すなわち、フレーム間の画素値の差分のビット量の和である。
したがって、Residual bits(I)は映像のフレーム内の複雑さを示し、Residual bits(P)と Residual bits(B)は映像のフレーム間における動きの大きさや複雑さを示すことにより、Ｉフレーム属性における図８に示すテンプレートによって導出された符号化難易度はフレーム内の複雑さに関する符号化難易度を示し、Ｐフレーム属性またはＢフレーム属性における図８に示すテンプレートによって導出された符号化難易度は、フレーム間の動きの大きさや複雑さに関する符号化難易度を示す。
ビット量出力部１１によって導出されるResidual bits(I)は、イントラフレーム属性の特徴、すなわち、映像フレーム内に存在する画素値そのもののビット量の和であり、Residual bits(P)とResidual bits(B)は動き補償属性の特徴、すなわち、フレーム間の画素値の差分のビット量の和である。
したがって、Residual bits(I)は映像のフレーム内の複雑さを示し、Residual bits(P)と Residual bits(B)は映像のフレーム間における動きの大きさや複雑さを示すことにより、Ｉフレーム属性における図８に示すテンプレートによって導出された符号化難易度はフレーム内の複雑さに関する符号化難易度を示し、Ｐフレーム属性またはＢフレーム属性における図８に示すテンプレートによって導出された符号化難易度は、フレーム間の動きの大きさや複雑さに関する符号化難易度を示す。
このように、本実施の形態にかかる映像符号化難易度の定量化装置によれば、入力された符号化映像の属性毎のビット量と量子化パラメータの特徴量との関係を示す変動特性を導出して、導出した変動特性と平均的な符号化難度である符号化映像の変動特性である標準変動特性とを比較することによって所望の符号化難易度を知ることができる。
また、フレーム属性毎に導出した変動特性と標準変動特性との比較結果に基づいて符号化難易度を導出することにより、符号化映像の特徴に応じた符号化難易度を知ることができる。
また、フレーム属性毎に導出した変動特性と標準変動特性との比較結果に基づいて符号化難易度を導出することにより、符号化映像の特徴に応じた符号化難易度を知ることができる。
したがって、本実施の形態にかかる映像符号化難易度の定量化装置は、量子化制御機能が自動制御され外部制御できないような既存の符号化器（エンコーダ）によって符号化された符号化映像や、既に量子化され圧縮符号化された符号化映像のような、符号化の際に量子化精度が一定であるのか変動していたのか不明な符号化映像に対しても、符号化映像の特徴に応じて符号化難度を容易に定量化することができるとともに、映像の符号化難度を符号化難易度として逐次把握することが可能となる。
よって、既存のエンコーダを利用するユーザは、映像コンテンツの符号化難易度に基づいて符号化パラメータを最適化して、より高品質な映像の圧縮符号化を行うことが可能となる。また、映像配信サービスの事業者は、ユーザが体感する配信映像の品質に直結する符号化難易度を逐次把握することにより、映像配信サービスの提供環境の最適化を行うことが可能となる。
よって、既存のエンコーダを利用するユーザは、映像コンテンツの符号化難易度に基づいて符号化パラメータを最適化して、より高品質な映像の圧縮符号化を行うことが可能となる。また、映像配信サービスの事業者は、ユーザが体感する配信映像の品質に直結する符号化難易度を逐次把握することにより、映像配信サービスの提供環境の最適化を行うことが可能となる。
［第２の実施の形態］
本発明の第２の実施の形態にかかる映像符号化難易度の定量化装置は、符号化映像の符号化難度を定量的に示す符号化難易度を、符号化映像のビットストリームのビット量と、この符号化映像の主観評価の評価結果とから導出するものである。
なお、本実施の形態にかかる映像符号化難易度の定量化装置の構成要素のうち、第１の実施の形態において説明した映像符号化難易度の定量化装置１０の構成要素と同一の構成および機能を有するものには、同一の符号を付し、詳細な説明は省略する。
本発明の第２の実施の形態にかかる映像符号化難易度の定量化装置は、符号化映像の符号化難度を定量的に示す符号化難易度を、符号化映像のビットストリームのビット量と、この符号化映像の主観評価の評価結果とから導出するものである。
なお、本実施の形態にかかる映像符号化難易度の定量化装置の構成要素のうち、第１の実施の形態において説明した映像符号化難易度の定量化装置１０の構成要素と同一の構成および機能を有するものには、同一の符号を付し、詳細な説明は省略する。
本実施の形態にかかる映像符号化難易度の定量化装置２０の構成を示すブロック図を、図９に示す。
本実施の形態にかかる映像符号化難易度の定量化装置２０は、図９に示すように、ビット量出力部１１と、主観品質値出力部２２と、符号化難易度導出部２３とから構成されている。
本実施の形態にかかる映像符号化難易度の定量化装置２０は、図９に示すように、ビット量出力部１１と、主観品質値出力部２２と、符号化難易度導出部２３とから構成されている。
主観品質値出力部２２は、入力された符号化映像を復号して出力される映像に対する主観品質評価に基づいた評価データを導出し、このデータを主観品質値として出力する。
符号化難易度導出部２３は、ビット量出力部１１によって出力される符号化映像の属性毎のビット量と、主観評価値出力部２２によって出力される主観品質値と、符号化映像のビット量と主観品質値との基準となる関係を表す標準変動特性とに基づいて、符号化映像に対する符号化難易度を導出する。
符号化難易度導出部２３は、ビット量出力部１１によって出力される符号化映像の属性毎のビット量と、主観評価値出力部２２によって出力される主観品質値と、符号化映像のビット量と主観品質値との基準となる関係を表す標準変動特性とに基づいて、符号化映像に対する符号化難易度を導出する。
なお、本実施の形態にかかる映像符号化難易度の定量化装置２０は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像符号化難易度の定量化装置２０の各機能は、上記のコンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。
次に、本実施の形態にかかる映像符号化難易度の定量化装置２０の動作について、図を参照して説明する。
本実施の形態にかかる映像符号化難易度の定量化装置２０は、入力される符号化映像を符号化映像の属性毎に分類したビットストリームのビット量と入力される符号化映像の主観品質評価の評価結果に基づいた主観評価値との関係を示す変動特性を明らかにして、入力される符号化映像の符号化難易度を導出するものである。
本実施の形態にかかる映像符号化難易度の定量化装置２０は、入力される符号化映像を符号化映像の属性毎に分類したビットストリームのビット量と入力される符号化映像の主観品質評価の評価結果に基づいた主観評価値との関係を示す変動特性を明らかにして、入力される符号化映像の符号化難易度を導出するものである。
図１０は、主観品質値出力部２２の動作を示すフローチャートである。
図１０に示すように、符号化映像のビットストリームが入力されると（Ｓ２１１）、このビットストリームを対応する圧縮符号化方式の復号器（デコーダ）に入力し、符号化映像の複合化（画素情報の取得）を実行する（Ｓ２１２）。本実施の形態における復号器（デコーダ）は、Ｈ.２６４に準拠しているものである。
図１０に示すように、符号化映像のビットストリームが入力されると（Ｓ２１１）、このビットストリームを対応する圧縮符号化方式の復号器（デコーダ）に入力し、符号化映像の複合化（画素情報の取得）を実行する（Ｓ２１２）。本実施の形態における復号器（デコーダ）は、Ｈ.２６４に準拠しているものである。
入力された符号化映像を復号化した映像（画素情報）に対して、主観品質出力部２２は、主観品質評価実験を実施して、この評価結果に基づいた評価データを記憶する（Ｓ２１３）。主観品質出力部２２は、記憶した評価データに基づいて主観品質値を導出して出力する（Ｓ２１４）。
ここで、符号化映像の主観品質値の導出動作について説明する。
本実施の形態にかかる映像符号化難易度の定量化装置２０において、入力された符号化映像の主観評価値を導出する際に実施される主観品質評価に関する実験は、ＩＴＵ−Ｔ勧告Ｐ.９１０（Subjectiv video quality assessment methods for multimedia applications）に記載されている方法など、公知となっている全ての方法を利用することができる。
例えば、複数の項目についての評価結果である評価データの平均値を主観品質値として導出することができ、また、各評価項目別に評価結果の重み付けを行い、重み付けの反映後の評価データに基づいて主観品質値を導出することとしても良い。
また、入力された符号化映像に対して主観品質評価実験を実施せずに、予め記憶してある符号化映像のビット量と主観品質値との関係をデータベース化した主観品質値の導出データベースを用いることにより、主観評価値を導出することとしても良い。
本実施の形態にかかる映像符号化難易度の定量化装置２０において、入力された符号化映像の主観評価値を導出する際に実施される主観品質評価に関する実験は、ＩＴＵ−Ｔ勧告Ｐ.９１０（Subjectiv video quality assessment methods for multimedia applications）に記載されている方法など、公知となっている全ての方法を利用することができる。
例えば、複数の項目についての評価結果である評価データの平均値を主観品質値として導出することができ、また、各評価項目別に評価結果の重み付けを行い、重み付けの反映後の評価データに基づいて主観品質値を導出することとしても良い。
また、入力された符号化映像に対して主観品質評価実験を実施せずに、予め記憶してある符号化映像のビット量と主観品質値との関係をデータベース化した主観品質値の導出データベースを用いることにより、主観評価値を導出することとしても良い。
次に、符号化難易度導出部２３の動作を、図１１に示すフローチャートを参照して説明する。
図１１に示すように、符号化難易度導出部２３は、ビット量出力部１１によって出力された符号化映像の属性毎に区別されたビットストリームのビット量と主観品質出力部２２によって出力された主観品質値とを取得する（Ｓ２２１）。
図１１に示すように、符号化難易度導出部２３は、ビット量出力部１１によって出力された符号化映像の属性毎に区別されたビットストリームのビット量と主観品質出力部２２によって出力された主観品質値とを取得する（Ｓ２２１）。
符号化難易度導出部２３は、平均的な符号化難度の映像ビット量と主観品質値とから求められる標準変動特性を予め記憶しており、この標準変動特性に対して、取得した符号化映像の属性毎に区別されたビット量と取得した主観評価値とから導出される変動特性を比較し、その後、符号化難易度導出部１３は、得られた比較結果に基づいて符号化難易度を導出する（Ｓ２２２）。
＜変動特性と標準変動特性について＞
ここで、符号化映像のビット量と主観評価値との関係を示す変動特性について説明する。
符号化映像のビット量と主観品質値との関係を示す変動特性は、どのような符号化器においても、入力される符号化映像のビットレートを細かく変化させながら、その符号化映像のビットストリームから符号化映像のビット量の総和を算出し、算出されたビット量と対応する符号化映像の復号化された映像に対する主観品質値との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
ここで、符号化映像のビット量と主観評価値との関係を示す変動特性について説明する。
符号化映像のビット量と主観品質値との関係を示す変動特性は、どのような符号化器においても、入力される符号化映像のビットレートを細かく変化させながら、その符号化映像のビットストリームから符号化映像のビット量の総和を算出し、算出されたビット量と対応する符号化映像の復号化された映像に対する主観品質値との関係をコンピュータなどの記憶装置に記憶することで取得することができる。
また、平均的な符号化難度となる符号化映像のビット量の総和と、この平均的な符号化映像の主観品質値との関係を示す標準変動特性は、予め取得した複数の符号化映像の変動特性に基づいて導出されるために、予め取得した変動特性、すなわち、測定対象となる映像コンテンツが多いほど、導出される標準変動特性の精度は向上する。
本実施の形態にかかる符号化難易度の定量化装置２０においては、８種類の映像コンテンツの変動特性に基づいて標準変動特性を取得する。
本実施の形態にかかる符号化難易度の定量化装置２０においては、８種類の映像コンテンツの変動特性に基づいて標準変動特性を取得する。
ここで、本実施の形態にかかる映像符号化難易度の定量化装置２０において導出される変動特性とこの変動特性から導出される標準変動特性のテンプレートを利用した符号化難易度の導出方法の概念図を、図１２に示す。
図１２の中に示される標準変動特性は、同じく図１２の中に示される複数の映像コンテンツに対する変動特性において、映像コンテンツ毎の主観品質値を平均した値と、映像コンテンツの総ビット量との関係を導出することにより取得できる変動特性である。
図１２の中に示される標準変動特性は、同じく図１２の中に示される複数の映像コンテンツに対する変動特性において、映像コンテンツ毎の主観品質値を平均した値と、映像コンテンツの総ビット量との関係を導出することにより取得できる変動特性である。
次に、本実施の形態にかかる符号化難易度の定量化装置２０の符号化難易度の導出動作について、図１２を参照してさらに詳しく説明する。
本実施の形態にかかる符号化難易度の定量化装置２０のビット量出力部１１によって出力される符号化映像の属性毎に分類されたビットストリームのビット量は、Prediction bits(I), Prediction bits(P), Prediction bits(B), Residual bits(I), Residual bits(P), Residual bits(B), Other bits(I), Other bits(P), Other bits(B)それぞれのビット量であり、その一部または全てが符号化難易度の算出に用いられる。本実施の形態では、これら全てのビット量の和である「All_bits」を用いて符号化難易度を導出することとする。
本実施の形態にかかる符号化難易度の定量化装置２０のビット量出力部１１によって出力される符号化映像の属性毎に分類されたビットストリームのビット量は、Prediction bits(I), Prediction bits(P), Prediction bits(B), Residual bits(I), Residual bits(P), Residual bits(B), Other bits(I), Other bits(P), Other bits(B)それぞれのビット量であり、その一部または全てが符号化難易度の算出に用いられる。本実施の形態では、これら全てのビット量の和である「All_bits」を用いて符号化難易度を導出することとする。
また、主観品質値出力部２２によって出力される主観品質値を「SQ」とする。
符号化難易度導出部２３によって導出される符号化難易度は、「All_bits」で表されるビット量とこの符号化映像の主観評価値「SQ」との関係を示す変動特性と、予め記憶している標準変動特性との比較結果に基づいて導出される。
符号化難易度導出部２３によって導出される符号化難易度は、「All_bits」で表されるビット量とこの符号化映像の主観評価値「SQ」との関係を示す変動特性と、予め記憶している標準変動特性との比較結果に基づいて導出される。
本実施の形態にかかる映像符号化難易度の定量化装置２０によって導出される変動特性、すなわち、図１２に示すような映像コンテンツの総ビット量「All_bits」と主観品質値「SQ」との関係を、以下に示す式（３）で近似することができる。
また、標準変動特性、すなわち、映像コンテンツ毎の主観品質値を平均した値「SQave」と、映像コンテンツの総ビット量「All_bits」との関係を、以下に示す式（４）で近似することができる。
また、標準変動特性、すなわち、映像コンテンツ毎の主観品質値を平均した値「SQave」と、映像コンテンツの総ビット量「All_bits」との関係を、以下に示す式（４）で近似することができる。
ＳＱ≒ａ−ｂ×ｅｘｐ（−ｃ×All_bits＋ｄ） 式（３）
ＳＱave≒ａave−ｂave×ｅｘｐ（−ｃave×All_bits＋ｄave） 式（４）
なお、式（３）および式（４）の各係数ａ，ｂ，ｃ，ｄ，ａave，ｂave，ｃave，ｄaveは、導出される変動特性および標準変動特性に基づいた回帰分析により求められる係数である。
ＳＱave≒ａave−ｂave×ｅｘｐ（−ｃave×All_bits＋ｄave） 式（４）
なお、式（３）および式（４）の各係数ａ，ｂ，ｃ，ｄ，ａave，ｂave，ｃave，ｄaveは、導出される変動特性および標準変動特性に基づいた回帰分析により求められる係数である。
上記した式（４）によって示される映像コンテンツの主観品質値とビット量との関係は、式（３）によって示される映像コンテンツの変動特性を平均化したものであり、すなわち、平均的な符号化難度となる映像コンテンツの主観品質値とビット量との関係を示す標準変動特性を表すものである。
したがって、本実施の形態にかかる映像符号化難易度の定量化装置２０によって導出される符号化難易度は、映像符号化難易度の定量化装置２０によって予め記憶されている平均的な符号化難度である符号化映像のビット量と主観評価値との関係を表す標準変動特性を示す式（４）に基づいて、図１２に示すようなテンプレートを作成し、このテンプレートを用いて入力された符号化映像の符号化難易度を導出する。
例えば、図１２を参照して、符号化映像Video3とVideo4との符号化難易度の導出方法を詳細に説明する。
符号化映像Video3とVideo4について、ビット量出力部１１によって導出されたビット量の総和と主観品質値出力部２２によって出力された主観品質値とから、符号化難易度導出部２３は、図１２に示すテンプレート上にVideo3とVideo4の変動特性ポイントを導出し、図１２に示すテンプレートにあてはめる。
符号化映像Video3とVideo4について、ビット量出力部１１によって導出されたビット量の総和と主観品質値出力部２２によって出力された主観品質値とから、符号化難易度導出部２３は、図１２に示すテンプレート上にVideo3とVideo4の変動特性ポイントを導出し、図１２に示すテンプレートにあてはめる。
図１２に示すテンプレート上のVideo3とVideo4の変動特性ポイントが、式（４）によって示される「標準変動特性」の上部に存在すれば、符号化難易度が高い符号化映像であり（図１２のVideo３）、下部に存在すれば符号化難易度が低い映像である（図１２のVideo４）こととし、符号化難易度導出部２３によって導出された変動特性ポイントと標準変動特性との主観評価値との差（ＲｏＤ：Rate of Deviation）を符号化難易度として出力する。
このＲｏＤは、単純に変動特性ポイントと標準変動特性との主観評価値の差分でも良く、除算により求めても良い。また、差分または除算により求めたＲｏＤに対して四則演算や指数・対数演算を適用した値を符号化難易度としても良い。
したがって、変動特性ポイントが標準変動特性を基準として上部に位置するか下部に位置するかによって符号化難易度の高低を判別し、ＲｏＤの値によって符号化難易度の程度を導出する。
したがって、変動特性ポイントが標準変動特性を基準として上部に位置するか下部に位置するかによって符号化難易度の高低を判別し、ＲｏＤの値によって符号化難易度の程度を導出する。
このように、本実施の形態にかかる映像符号化難易度の定量化装置２０によれば、入力される符号化映像のビット量とこの符号化映像に対する主観評価実験の評価結果とを利用することにより、映像の符号化難度を定量化した符号化難易度を導出することができる。
したがって、符号化映像のビットストリームを走査して量子化パラメータを抽出したり、符号化映像の属性毎に区別したビット量を算出するといった処理が必要なく、符号化難易度の導出するためのコンピュータに対する負荷を軽減させることができる。
したがって、符号化映像のビットストリームを走査して量子化パラメータを抽出したり、符号化映像の属性毎に区別したビット量を算出するといった処理が必要なく、符号化難易度の導出するためのコンピュータに対する負荷を軽減させることができる。
映像を圧縮符号化して出力する映像機器や、映像配信サービスを行う設備の保守装置に利用することができる。
１０，２０…映像符号化難易度の定量化装置、１１…ビット量出力部、１２…特徴量出力部、１２−１…量子化パラメータ抽出部、１２−２…特徴量算出部、２２…主観品質値出力部、１３，２３…符号化難易度導出部。
Claims (7)
- 入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力部と、
前記符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する特徴量出力部と、
符号化映像の属性毎のビット量と量子化パラメータの特徴量との基準となる関係を表す標準変動特性と、前記ビット量出力部によって出力されるビット量と、前記特徴量出力部によって出力される量子化パラメータの特徴量とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部と
を備えることを特徴とする映像符号化難易度の定量化装置。 - 請求項１に記載の映像符号化難易度の定量化装置において、
前記特徴量出力部は、
入力される符号化映像のビットストリームに含まれるシンタックス情報から前記符号化映像の各マクロブロックにおける量子化パラメータを抽出する量子化パラメータ抽出部と、
この量子化パラメータ抽出部によって抽出された量子化パラメータを用いて前記符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する特徴量算出部と
を備えることを特徴とする映像符号化難易度の定量化装置。 - 入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力部と、
前記符号化映像を復号して出力される映像に対する主観品質評価に基づいた評価データを導出し、このデータを主観品質値として出力する主観品質値出力部と、
前記ビット量出力部によって出力されるビット量と、前記主観品質値出力部によって出力される主観品質値と、符号化映像のビット量と主観品質値との基準となる関係を表す標準変動特性とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出部と
を備えることを特徴とする映像符号化難易度の定量化装置。 - 請求項１乃至３に記載の映像符号化難易度の定量化装置において、
前記ビット量算出部は、入力される符号化映像のビット量を前記符号化映像が符号化される際に出力されるパラメータで分類し、分類されたパラメータ毎に前記符号化映像のビット量を算出することを特徴とする映像符号化難易度の定量化装置。 - 入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力ステップと、
前記符号化映像のビットストリームに含まれるシンタックス情報から前記符号化映像の各マクロブロックにおける量子化パラメータを抽出する量子化パラメータ抽出ステップと、
この量子化パラメータ抽出ステップによって抽出された量子化パラメータを用いて前記符号化映像の属性毎にマクロブロックの量子化パラメータの平均値を算出し、この値を量子化パラメータの特徴量として出力する特徴量算出ステップと、
符号化映像の属性毎のビット量と量子化パラメータの特徴量との基準となる関係を表す標準変動特性と、前記ビット量出力ステップによって出力されるビット量と、前記特徴量算出ステップによって出力される量子化パラメータの特徴量とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出ステップと
を有することを特徴とする映像符号化難易度の定量化方法。 - 入力される符号化映像の属性毎に前記符号化映像のビット量を算出し出力するビット量出力ステップと、
前記符号化映像を復号して出力される映像に対する主観品質評価に基づいた評価データを導出し、このデータを主観品質値として出力する主観品質値出力ステップと、
前記ビット量出力ステップによって出力されるビット量と、前記主観品質値出力ステップによって出力される主観品質値と、符号化映像のビット量と主観品質値との基準となる関係を表す標準変動特性とに基づいて前記符号化映像に対する符号化難易度を導出する符号化難易度導出ステップと
を有することを特徴とする映像符号化難易度の定量化方法。 - 請求項５または６に記載の映像符号化難易度の定量化方法をコンピュータに実行させるための映像符号化難易度の定量化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189815A JP5237222B2 (ja) | 2009-08-19 | 2009-08-19 | 映像符号化難易度の定量化装置、方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189815A JP5237222B2 (ja) | 2009-08-19 | 2009-08-19 | 映像符号化難易度の定量化装置、方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011044769A true JP2011044769A (ja) | 2011-03-03 |
| JP5237222B2 JP5237222B2 (ja) | 2013-07-17 |
Family
ID=43831899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009189815A Expired - Fee Related JP5237222B2 (ja) | 2009-08-19 | 2009-08-19 | 映像符号化難易度の定量化装置、方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5237222B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697679A (zh) * | 2015-09-11 | 2022-07-01 | 株式会社Kt | 图像解码方法、图像编码方法和包括比特流的设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243529A (ja) * | 1998-02-26 | 1999-09-07 | Victor Co Of Japan Ltd | 記録媒体及び画像信号符号化装置 |
| JP2000059774A (ja) * | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
| JP2006314048A (ja) * | 2005-05-09 | 2006-11-16 | Mitsubishi Electric Corp | 画像記録装置 |
| JP2009044393A (ja) * | 2007-08-08 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
-
2009
- 2009-08-19 JP JP2009189815A patent/JP5237222B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11243529A (ja) * | 1998-02-26 | 1999-09-07 | Victor Co Of Japan Ltd | 記録媒体及び画像信号符号化装置 |
| JP2000059774A (ja) * | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
| JP2006314048A (ja) * | 2005-05-09 | 2006-11-16 | Mitsubishi Electric Corp | 画像記録装置 |
| JP2009044393A (ja) * | 2007-08-08 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697679A (zh) * | 2015-09-11 | 2022-07-01 | 株式会社Kt | 图像解码方法、图像编码方法和包括比特流的设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5237222B2 (ja) | 2013-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7142599B2 (en) | Method and device for selecting a transcoding method from a set of transcoding methods | |
| US9037743B2 (en) | Methods and apparatus for providing a presentation quality signal | |
| KR101350723B1 (ko) | 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법 | |
| JP4187405B2 (ja) | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 | |
| US9143776B2 (en) | No-reference video/image quality measurement with compressed domain features | |
| WO2008081185A2 (en) | Video signal encoding with iterated re-encoding | |
| JPH10285594A (ja) | ビットストリーム品質解析システム | |
| JP2005527159A (ja) | 圧縮された映像データの客観的な品質を見積もる方法およびシステム | |
| Xu et al. | Consistent visual quality control in video coding | |
| RU2595917C2 (ru) | Способ и устройство для измерения качества видео | |
| JP6145069B2 (ja) | 主観画質推定装置及び主観画質推定プログラム | |
| JP5237222B2 (ja) | 映像符号化難易度の定量化装置、方法およびプログラム | |
| US20030161398A1 (en) | Improving static picture quality in compressed video | |
| KR100601846B1 (ko) | 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법 | |
| JP4309703B2 (ja) | 符号化誤差推定装置 | |
| Fernandes et al. | Quality comparison of the HEVC and VP9 encoders performance | |
| Huang et al. | A workload prediction model for decoding mpeg video and its application to workload-scalable transcoding | |
| JP6373681B2 (ja) | 客観画質評価装置、客観画質評価方法、およびプログラム | |
| Vanam et al. | Assessing objective video quality in systems with multi-generation transcoding | |
| Zhang et al. | Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change | |
| JP5992866B2 (ja) | 主観画質推定装置、及び、主観画質推定プログラム | |
| EP4005217B1 (en) | System and method to estimate blockiness in transform-based video encoding | |
| JP4133788B2 (ja) | 符号化誤差推定方法および符号化誤差推定装置 | |
| Zhu et al. | Enhancing Satisfied User Ratio (SUR) Prediction for VMAF Proxy through Video Quality Metrics | |
| Xu et al. | Video quality metric for consistent visual quality control in video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111012 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111108 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5237222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |