JP2015065517A

JP2015065517A - 映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラム

Info

Publication number: JP2015065517A
Application number: JP2013197133A
Authority: JP
Inventors: 勇一朗浦田; Yuichiro Urata; 和久山岸; Kazuhisa Yamagishi
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-09-24
Filing date: 2013-09-24
Publication date: 2015-04-09
Anticipated expiration: 2033-09-24
Also published as: JP5756154B2

Abstract

【課題】映像配信サービスの配信映像に対して符号化パラメータの算出が可能な映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムを提供することを目的とする。【解決手段】映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置は、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有する。【選択図】図１

Description

本発明は、映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムに係り、例えば、放送波、ケーブルや、IP（Internet Protocol）ネットワークなどを経由した映像配信サービスの配信映像符号化時のパラメータを算出するための映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムに関する。

近年、インターネットアクセス回線が高速化・広域化しており、光回線、第３世代（3G）携帯電話回線、無線LAN（Wireless Local Area Network）など、多くのネットワーク環境で通信サービスを利用できるようになっている。また、スマートフォンやタブレットをはじめとする多様な端末が普及しており、ユーザは状況に応じて端末を使い分けて、通信サービスを利用できる。このような背景から、映像配信サービスが急速に普及しており、その利用環境は様々である。ユーザが求める映像配信品質は利用環境により異なることから、ユーザの満足度を高めるためには、ユーザの利用環境に適した映像品質でサービスを提供することが重要である。

一部のプログレッシブダウンロード型の映像配信サービスでは、ネットワーク環境に応じて映像品質を動的に切り替える品質制御を行っている。そのような品質制御はHTTP Adaptive Streaming（HAS）と呼ばれている。HASでは、予め、一つの映像コンテンツに対して複数のビットレートで符号化したファイルを用意しておき、端末がネットワーク環境等に応じて最適なビットレートのファイルに切り替えることで品質制御を実現している。このため、ユーザにとって最適な品質制御を実現するためには、予め用意する配信品質の最適化が必要である。配信品質は、映像コンテンツを符号化する際に与える符号化パラメータによって大きく変化するため、映像コンテンツに適した符号化パラメータを算出する技術の開発が重要である。符号化パラメータには、ビットレート、解像度（空間解像度）、フレームレート（時間解像度）、量子化パラメータ（SNR解像度）などがある。配信品質の切り替えが可能なプログレッシブダウンロード型の映像配信サービスにおいて、複数のビットレートのファイルの内、最もビットレートの高い（最上位ビットレート）ものでは、符号化パラメータとして、解像度はHD（High Definition、1920x1080もしくは1280x720）、フレームレートは30fpsを用いることが多い。しかし、それ以外のビットレートで符号化した配信映像の品質は、サービス提供者によって異なっており、最上位ビットレート以外のビットレート（下位ビットレート）において、配信品質を最適にする符号化パラメータの導出が重要である。

従来、最適なフレームレートを算出する技術については、国際標準化機関ITU-T（International Telecommunication Union Telecommunication Standardization）勧告G.1070（非特許文献１）において記載されている。また、非特許文献２では、解像度（空間解像度）、フレームレート（時間解像度）、量子化スケール（または量子化パラメータ、SNR解像度）をパラメータとして、必要な帯域との関係を明らかにしている。非特許文献３及び非特許文献４では、映像の特徴を考慮し、与えられたビットレートにおける最適なフレームレートの算出方法を提案している。

ITU-T勧告G.1070，07/2012 福田，若宮，村田，宮原，「帯域予約型ネットワークに適したMPEG-2動画像における品質と帯域の関係」，社団法人電子情報通信学会，電子情報通信学会論文誌 B，1999/3，Vol. J82-B，No.3，pp.358-367 稲積，吉田，酒井，堀田，「ビットレート制限下における動画像通信のための最適フレームレートの推定」，社団法人電子情報通信学会，電子情報通信学会論文誌B，2002/7，Vol. J85-B，No.7，pp.1130-1142 稲積，吉田，酒井，堀田，「最適フレームレート推定に基づく動画像符号化法の有効性について」，社団法人電子情報通信学会，電子情報通信学会論文誌B，2004/2，Vol. J87-B，No.2，pp.292-304 ITU-T勧告P.1201.1，10/2012 ITU-T勧告P.910，04/2008

前述の通り、プログレッシブダウンロード型映像配信サービスのように品質制御を行う映像配信サービスでは、配信品質の最適化を実現するため、解像度、フレームレート、量子化スケール等の符号化パラメータの最適化が重要である。

しかしながら、非特許文献１は、決められた解像度に対して、最適なフレームレートを求めるものであり、解像度を自由に設定できるシステムにおいて、最適な解像度を算出することができない問題がある。非特許文献２では、解像度（空間解像度）、フレームレート（時間解像度）、量子化スケール（SNR解像度）が与えられたときの必要な帯域を算出する方法が記載されており、帯域が決められたときに、ユーザが体感する品質を維持するためには、どの符号化パラメータを変化させれば効果的か考察している。しかしながら、例えば、スポーツなど映像の動きが重要なコンテンツではフレームレートを高く、滑らかな動きを表現し、風景映像など精細度が高く動きが少ないコンテンツでは、空間解像度を高くした方がよいというように、コンテンツごとの動きの多さ・大きさや精細度の高さなどのコンテンツの特徴によって、コンテンツごとに最適な符号化パラメータが異なることが知られている。これに対し、従来技術では与えられた映像に対して最適なフレームレートを求める研究などが行われ、そのための技術が開示されているが、コンテンツの特徴を用いて、コンテンツごとに解像度も含む最適な符号化パラメータを算出する方法を提供できていない点が問題である。これに対し、非特許文献３及び非特許文献４では、コンテンツの特徴を用いて、与えられたビットレートにおける最適なフレームレートを推定する方法を提案している。これにより、コンテンツに適したフレームレート及び１フレームあたりの情報量を算出することができる。しかしながら、非特許文献３及び非特許文献４においては、コンテンツの特徴に基づく最適な解像度の推定にかかる技術に対しては言及されておらず、また、平均２乗誤差の計算などにおいて、復号後の情報（画素信号）を用いているため、演算量が大きいという問題がある。

本発明は、上記の点に鑑みなされたもので、映像配信サービスの配信映像に対して符号化パラメータの算出が可能な映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラムを提供することを目的とする。

本発明の一形態に係る映像符号化パラメータ算出装置は、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置であって、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有することを特徴とする。

また、本発明の一形態に係る映像符号化パラメータ算出方法は、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置における映像符号化パラメータ算出方法であって、
前記映像符号化パラメータ算出装置における符号化パラメータ算出部が、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出するステップを有することを特徴とする。

また、本発明の一形態に係るプログラムは、
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出手段として機能させることを特徴とする。

本発明によれば、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対して、符号化パラメータの算出が可能になる。

本発明の第１実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第１実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第２実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第２実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第３実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第３実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第４実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第５実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第６実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第６実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第７実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第７実施形態に係る映像符号化パラメータ算出方法のフローチャート本発明の第８実施形態に係る映像符号化パラメータ算出装置の構成を示す図本発明の第８実施形態に係る映像符号化パラメータ算出方法のフローチャート

本発明の実施形態では、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対し、最大ビットレートよりも低いビットレート（下位ビットレート）で符号化する際のパラメータを算出する映像符号化パラメータ算出装置について説明する。

以下に詳細に説明するように、映像符号化パラメータ算出装置は、下位ビットレートまたは下位ビットレートで符号化された映像が満たすべき品質（下位映像品質）に基づいて符号化パラメータを算出する。

以下、図面を参照して、本発明の実施形態について詳細に説明する。

＜第１実施形態＞
図１は本発明の第１実施形態に係る映像符号化パラメータ算出装置１０の構成を示す図である。図１に示すように、映像符号化パラメータ算出装置１０は、符号化パラメータ算出部１１と符号化パラメータ算出部１１が備える映像品質推定部１２から構成されている。

符号化パラメータ算出部１１は、映像符号化パラメータ算出装置１０への入力である下位ビットレート（または下位映像品質）を入力として、符号化パラメータを出力する。ここで、下位映像とは本装置１０で算出される前記符号化パラメータを用いて符号化された映像であり、下位ビットレートとは下位映像を符号化する際の平均ビットレートである。また、下位映像品質とは本装置１０で算出される前記符号化パラメータを用いて符号化された映像が満たすべき映像品質の目標値である。前記下位ビットレート（または下位映像品質）は予め設定している値でもよく、本装置１０の利用者が入力してもよい。ここで、下位ビットレート（または下位映像品質）の値は予め設定される場合でも本装置１０の利用者が入力する場合でも一つに固定されるものであり、本装置１０では、入力された１の下位ビットレート（または下位映像品質）に対して１の符号化パラメータが出力されることになる。また、符号化パラメータとは、映像の解像度とフレームレート（とビットレート）の組である。

第１実施形態における符号化パラメータ算出部１１は、予め定められているN1種類の解像度及びN2種類のフレームレートのそれぞれの組み合わせを用いて、与えられた下位ビットレートで符号化したときの映像品質を推定し、推定した映像品質が最大となる解像度及びフレームレートを出力する。なお、下位ビットレートの代わりに下位映像品質を与えられた場合には、予め定められているN1種類の解像度とN2種類のフレームレートとN3種類のビットレートのそれぞれの組を用いて符号化したときの映像品質を推定し、推定した映像品質が与えられた下位映像品質より高い組（解像度、フレームレート、ビットレート）のうち、ビットレートが最小となる組を符号化パラメータとして出力する。以後の実施形態においては、下位ビットレートが入力されるものとして記述するが、それらについても下位映像品質が入力される実施形態も考えられ、その場合は第１実施形態と同様にN3種類のビットレートに対して映像品質を推定し、推定した映像品質が与えられた下位映像品質より高い組（解像度、フレームレート、ビットレート）のうち、ビットレートが最小となる組を符号化パラメータとして出力する。

符号化パラメータ算出部１１で行う映像品質推定は、符号化パラメータ算出部１１が備える映像品質推定部１２が行う。映像品質推定部１２は、前述の通り、解像度Rs、フレームレートFr、ビットレートBrに基づいて、映像品質MOSを出力する。ここで、映像品質とは符号化映像に対する符号化による劣化を考慮した映像品質であり、ビットレートとは符号化映像データの１秒あたりのビット量、フレームレートとは符号化映像の１秒あたりのフレーム数、解像度とは符号化映像の１フレームあたりの画素数である。映像品質推定部１２では、１画素あたりのビット量に関するパラメータNBrを

として算出する。ただし、NBrは上記の式に限らず、主観品質評価特性に合った式を用いればよく、例えば定数v11、v12を用いて

として算出してもよく、その他の式で算出してもよい。次に、映像品質MOSを

と算出し、映像品質MOSを出力する。ここで、V1、v13、v14、v15は予め定められた定数であり、サービス事業者が決めてよい。ただし、MOSの計算は前記の式に限らず、主観品質評価特性に合った式を用いればよく、例えば、

で算出してもよい。ここで、A1、v21〜v29は予め定められた定数であり、サービス事業者が決めてよい。

次に、図２を参照して本発明の第１実施形態における映像符号化パラメータ算出方法の動作の例について説明する。図２は本発明の第１実施形態に係る映像符号化パラメータ算出方法のフローチャートである。

符号化パラメータ算出装置１０は、上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、符号化パラメータ算出部１１は、入力された下位ビットレートに基づいて前述の手順に従い解像度、フレームレート、ビットレートの組に対する映像品質を算出する（Ｓ１１）。

次に、符号化パラメータ算出部１０は、最大となる映像品質に対応する前記解像度及び前記フレームレートの組を符号化パラメータとして出力する。このとき、映像符号化パラメータ算出装置１０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい（入力が下位映像品質であった場合、下位映像品質より高い映像品質となる解像度、フレームレート、ビットレートの組のうち、ビットレートが最小なる組の解像度、フレームレート、ビットレートを前記符号化パラメータとして出力する）（Ｓ１２）。

これにより、一連の映像符号化パラメータ算出処理を終了する。

このように第１実施形態においては、下位ビットレートの符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、所望のビットレートにおいて最適な符号化パラメータを算出することができる（または所望の映像品質を満たす最小のビットレートおよびそれに対応する解像度およびフレームレートを算出することができる。）
また、例えばITU-T勧告P.1201.1（非特許文献５）の映像品質推定モデルは、解像度毎に係数が定められており、異なる解像度の映像に対する品質推定結果を比較できない（例えば、低解像度・高品質の映像と高解像度・低品質の映像はどちらがよいか判断できない）が、第１実施形態における映像品質推定では、１画素あたりのビット量を用いることで、任意の解像度に対して同一の映像品質推定モデル（同一の係数）で映像品質を推定が可能であるため、異なる解像度の映像に対しても品質を比較することが可能となる。これにより最適な解像度を算出することができる。

＜第２実施形態＞
図３は本発明の第２実施形態に係る映像符号化パラメータ算出装置２０の構成を示す図である。図３に示すように映像符号化パラメータ算出装置２０は、特徴量算出部２１と符号化パラメータ算出部２３より構成されている。

特徴量算出部２１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像特徴量を出力して符号化パラメータ算出部２３への入力とする。特徴量算出部２１に入力される最上位符号化データは、ファイル形式（例えば、MP4、TSファイル等）でもよく、ストリーム形式（例えば、IPパケット等）で逐次入力してもよい。最上位符号化データの最大ビットレートを最上位ビットレートと記す。第２実施形態における映像特徴量は、具体的にはＩフレームの平均ビット量ABIFであり、特徴量算出部２１が備えるIフレーム特徴量算出部２２が算出する。Ｉフレームが占めるビット量は、Iフレーム特徴量算出部２２に入力される最上位符号化データのうち、Ｉフレームのデータを数えていくことで求めることができる。

符号化パラメータ算出部２３は、前記特徴量算出部２１の出力である映像特徴量及び映像符号化パラメータ算出装置２０への入力である下位ビットレートを入力として、符号化パラメータを出力する。ここで、下位ビットレートとは、下位映像を符号化する際の平均ビットレートであって、下位映像とは本装置２０で算出された前記符号化パラメータを用いて符号化された映像である。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは予め設定してある値でもよく、本装置２０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置２０の利用者が入力する場合でも一つに固定されるものであり、本装置２０では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。

第２実施形態における符号化パラメータ算出部２３は、予め定められているN1種類の解像度及びN2種類のフレームレートのそれぞれの組み合わせを用いて、与えられた下位ビットレートで符号化したときの映像品質を推定し、推定した映像品質が最大となる解像度及びフレームレートを出力する。

符号化パラメータ算出部２３で行う映像品質推定は、符号化パラメータ算出部２３が備える映像品質推定部２４が行う。映像品質推定部２４は、前述の通り、解像度Rs、フレームレートFr、ビットレートBrおよびＩフレームの平均ビット量ABIFに基づいて、映像品質MOSを出力する。ここで、映像品質とは符号化映像に対する符号化による劣化を考慮した映像品質であり、ビットレートとは符号化映像データの１秒あたりのビット量、フレームレートとは符号化映像の１秒あたりのフレーム数、解像度とは符号化映像の１フレームあたりの画素数である。映像品質推定部２４では、１画素あたりのビット量に関するパラメータNBrを

として算出してもよく、その他の式で算出してもよい。

次に、符号化映像の符号化の難しさを表す特徴量CCFとして、ビットレートBr及びＩフレームの平均ビット量ABIFを用いて、

を算出する。ここで、Minは与えられた値のうち小さい方の値を返す関数であり、例えばMin(1,2)=1である。次にビットレートBr、フレームレートFr、解像度Rs、特徴量CCFに基づいて符号化劣化量DCを算出する。例えば、NBr及びCCFを用いて、

でDCを算出してもよい。ここで、A2、A3、v31、v32、v33、v34は予め定められる係数であり、サービス事業者が決めてよい。映像品質MOSは、符号化劣化量DC及び閾値Th1、Th2を用いて、

と算出してもよい。ここで、閾値Th1、Th2及び係数v35、v36、v37、v38、v39は定数であり、サービス事業者が決めてよい。だたし、上記の映像品質MOSの算出において、閾値Th1、Th2を用いずに、常に、MOS=A2-DCまたはMOS=(A2-DC)・DSのどちらかで算出してもよい。また、DSの算出方法は、上記の式に限らなくてよく、例えば、ABIFおよびCCFは用いずに、

で算出してもよい。

次に、図４を参照して本発明の第２実施形態における映像符号化パラメータ算出方法の動作の例について説明する。図４は本発明の第２実施形態に係る映像符号化パラメータ算出方法のフローチャートである。

符号化パラメータ算出装置２０は、上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、特徴量算出部２１は、入力された最上位符号化データに基づいて前述の映像特徴量を算出する（Ｓ２１）。

次に、符号化パラメータ算出部２３は、入力された下位ビットレート及び映像特徴量に基づいて前述の手順に従い解像度、フレームレート、ビットレートの組に対する映像品質を算出する（Ｓ２２）。

その後、符号化パラメータ算出部２３は、最大となる映像品質に対応する前記解像度及び前記フレームレートを組として符号化パラメータとして出力する。このとき、映像符号化パラメータ算出装置２０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい（Ｓ２３）。

このように第２実施形態においては、下位ビットレートから符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、所望のビットレートにおいて最適な符号化パラメータを算出することができる（または所望の映像品質を満たす最小のビットレートおよびそれに対応する解像度およびフレームレートを算出することができる。）
また、例えばITU-T勧告P.1201.1（非特許文献５）の映像品質推定モデルは、解像度毎に係数が定められており、異なる解像度の映像に対する品質推定結果を比較できない（例えば、低解像度・高品質の映像と高解像度・低品質の映像はどちらがよいか判断できない）が、第２実施形態における映像品質推定では、１画素あたりのビット量を用いることで、任意の解像度に対して同一の映像品質推定モデル（同一の係数）で映像品質を推定が可能であるため、異なる解像度の映像に対しても品質を比較することが可能となる。これにより最適な解像度を算出することができる。

また、第２実施形態においては、コンテンツの特徴量を用いて、下位ビットレートの符号化パラメータを算出できるため、コンテンツに適した下位の符号化パラメータを算出することができる。

＜第３実施形態＞
図５は本発明の第３実施形態に係る映像符号化パラメータ算出装置３０の構成を示す図である。図５に示すように映像符号化パラメータ算出装置３０は、特徴量算出部３１と符号化パラメータ算出部３３より構成されている。

特徴量算出部３１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像特徴量を出力して符号化パラメータ算出部３３への入力とする。特徴量算出部３１に入力される最上位符号化データは、ファイル形式（例えば、MP4、TSファイル等）でもよく、ストリーム形式（例えば、IPパケット等）で逐次入力してもよい。最上位符号化データの最大ビットレートを最上位ビットレートと記す。第３実施形態においては、映像特徴量は最上位符号化データのうちＩフレームが占める割合とし、Ｉフレームが占める割合は、特徴量算出部３１が備えるＩフレーム特徴量算出部３２において、Ｉフレームが占める情報量を符号化映像の全情報量で割ることで計算できる。すなわち、Ｉフレームが占める情報量をＩ_ｓ（例えば1MB）、符号化映像の全情報量をＡ_ｓ（例えば4MB）としたとき、Ｉフレームが占める割合Ｉ_ｒは、Ｉ_ｒ＝Ｉ_ｓ／Ａ_ｓで計算できる（上記の例ではＩ_ｒ＝0.25）。ここで、符号化映像の全情報量とは、最上位符号化データがファイル形式の場合には1ファイル全体の情報量であり、ストリーム形式の場合には単位時間あたりに入力された全最上位符号化映像データの情報量でもよく、1つ以上のGoP（複数フレームの1まとまり）をまとめて、全最上位符号化映像データとして扱ってもよい。

Ｉフレームが占める情報量は、特徴量算出部３１に入力される最上位符号化データのうち、Ｉフレームのデータを数えていくことで求めることができる。符号化映像の全情報量は、入力される最上位符号化データの全データを数えていくことで求めることができる。

符号化パラメータ算出部３３は、前記特徴量算出部３１の出力である映像特徴量及び映像符号化パラメータ算出装置３０への入力である下位ビットレートを入力として、符号化パラメータを出力する。ここで、下位ビットレートとは、下位映像を符号化する際の平均ビットレートであって、下位映像とは本装置３０で算出された前記符号化パラメータを用いて符号化された映像である。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは予め設定してある値でもよく、本装置３０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置３０の利用者が入力する場合でも一つに固定されるものであり、本装置では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。符号化パラメータは、解像度及びフレームレートである。解像度は符号化パラメータ算出部３３が備える解像度算出部３４において算出され、フレームレートは符号化パラメータ算出部３３が備えるフレームレート算出部３５において算出される。以下に符号化パラメータ算出方法の具体例を示す。

予め、入力可能な下位映像符号化ビットレートの範囲をｎ段階に分類し（例えば、ｎ＝2のとき、1200kbps未満と1200kbos以上など）、各クラスに対応する符号化パラメータとして2つの解像度（例えば、1280x720と640x360など）及び2つのフレームレート（例えば、30fpsと15fpsなど）をそれぞれ決めておく。ここでは説明を分かりやすくするためn=2としているが、これに限定されるものではない。前記下位映像符号化ビットレートの範囲を分類する方法及びｎの値は、サービス提供者が決めてよい。また、下位映像符号化ビットレートをn段階に分類する手段として、前述のとおり映像符号化のビットレートをｎ段階に分類して利用者にキーボード等から入力させる代わりに、入力可能なビットレートの選択肢を予めｎ種類に制限して設定し、プルダウンメニューなどの選択肢の中から利用者に選択させる手段を用いてもよい。このように、前記符号化パラメータ算出部３３に入力されたＩフレームの占める割合が予め定めた閾値ａ（例えば0.5）以上であるとき、入力された下位ビットレートの属するクラスに対応する解像度のうち高い解像度の方（上記の例では1280x720）が高品質になると判断し符号化パラメータとして出力する。前記Ｉフレームの占める割合が閾値ａ（例えば0.5）未満のとき、前記下位ビットレートの属するクラスに対応する解像度のうち低い解像度の方（上記の例では640x360）が高品質になると判断し符号化パラメータとして出力する。また、入力されたＩフレームの占める割合が予め定めた閾値ｂ（例えば0.3）以上のとき、入力された下位ビットレートの属するクラスに対応するフレームレートのうち低い方（上記の例では15fps）が高品質になると判断し符号化パラメータとして出力する。前記Ｉフレームの占める割合が閾値ｂ（例えば0.3）未満のとき、前記下位ビットレートの属するクラスに対応するフレームレートのうち高い方（上記の例では30fps）が高品質になると判断し符号化パラメータとして出力する。ここで、閾値ａ、ｂはサービス提供者が決めてよい。符号化パラメータ算出部３３が出力する符号化パラメータには、前記解像度及び前記フレームレートに加え、下位ビットレートも含めてよい。

上記の例において、Ｉフレームの占める割合Ｉ_ｒが0.6であった場合、0.6は閾値ａ（0.5）以上であり、かつ閾値ｂ（0.3）以上であるから、符号化パラメータとして、1280x720と15fpsが出力される。Ｉ_ｒが0.4であった場合、閾値ａ（0.5）未満であり、かつ閾値ｂ（0.3）以上であるから、符号化パラメータとして640x360と15fpsが出力される。Ｉ_ｒが0.2であった場合、0.2は閾値ａ（0,5）未満であり、かつ閾値ｂ（0.3）未満であるから、符号化パラメータとして、640x360と30fpsが出力される。

上記映像符号化パラメータの算出ステップにおいて、映像符号化ビットレートの各クラスに対応する解像度及びフレームレートは、1つ以上であれば2つずつでなくてもよく、映像符号化ビットレートの各クラスに対応する解像度の個数とフレームレートの個数は一致していなくてもよい。また、映像符号化ビットレートの各クラスに対しても一定でなくてもよい。すなわち、高いビットレートのクラスには多数の解像度及びフレームレートを対応させ、低いビットレートのクラスには少数の解像度及びフレームレートを対応させるなどとしてもよい。映像符号化ビットレートの各クラスに対する解像度及びフレームレートがそれぞれｘ、ｙ個であるとき、Ｉフレームの占める割合の閾値をそれぞれｘ−１、ｙ−１個決めておけば、その閾値を用いて、入力されたＩフレームが占める割合に適した解像度及びフレームレートを算出することができる。

次に、図６は本発明の第３実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図６を参照して第３実施形態における映像符号化パラメータ算出方法の動作の例について説明する。

符号化パラメータ算出装置３０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、特徴量算出部３１は、入力された最上位符号化データから映像特徴量としてＩフレームが占める割合を抽出、出力し、符号化パラメータ算出部３３に入力する（Ｓ３１）。
符号化パラメータ算出部３３は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置に入力された下位ビットレートに基づいて、前述の符号化パラメータ算出の手順に従い解像度を算出する（Ｓ３２）。

また、符号化パラメータ算出部３３は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、前述の符号化パラメータ算出の手順でフレームレートの算出も行う（Ｓ３３）。

最後に、符号化パラメータ算出部３３は、算出した前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ３４）。このとき、映像符号化パラメータ算出装置３０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい。

このように第３実施形態では、最上位ビットレートの符号化データを入力として、映像コンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。

第３実施形態においてコンテンツ特徴量として用いているのはＩフレームが占める情報量の割合であり、符号化パラメータ算出の方法も複雑な処理を行わないため、符号化パラメータを高速に算出することができる。

なお、コンテンツ特徴量には、例えば、ITU-T勧告P.910（非特許文献６）で規定されている空間的な複雑さを表す特徴量（SI）や時間的な複雑さを表す特徴量（TI）などがあるが、これらは計算量が大きいため、第３実施形態においては、Iフレームが占める割合をコンテンツ特徴量としている。

＜第４実施形態＞
本発明の第４実施形態に係る映像符号化パラメータ算出装置の構成は、第３実施形態と同様であるので、説明を省略する。

図７は、本発明の第４実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図７を参照して第４実施形態における映像符号化パラメータ算出方法の動作の例について説明する。

まず、特徴量算出部３１は、第３実施形態と同様に、入力された最上位符号化データから映像特徴量としてＩフレームが占める割合を抽出し、符号化パラメータ算出部３３に入力する（Ｓ４１）。

符号化パラメータ算出部３３のフレームレート算出部３５は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、フレームレートを算出する（Ｓ４２）。当該フレームレートを算出する手順の具体例を示す。映像特徴量であるＩフレームが占める割合をＩ_ｒ、入力された前記下位ビットレートをＢ、算出するフレームレートをＦとするとき、Ｆ＝ｃ_１Ｉ_ｒ＋ｃ_２Ｂ＋ｃ_３の式に基づきフレームレートを算出する。ここで、ｃ_１、ｃ_２、ｃ_３は定数であり、サービス提供者が予め決めてよい。ただし、上記の式で、Ｆが予め決めてあるフレームレートの最大値Ｆ_ＭＡＸより大きくなってしまったとき、Ｆ＝Ｆ_ＭＡＸとする。この処理も数式にして表すと、Ｆ＝ＭＩＮ（ｃ_１Ｉ_ｒ＋ｃ_２Ｂ＋ｃ_３、Ｆ_ＭＡＸ）となる。ここで、ＭＩＮ（Ａ、Ｂ）は、Ａ、Ｂのうち小さい方を選択することを表すものである。

次に、符号化パラメータ算出部３３の解像度算出部３４は、入力された前記下位ビットレート及び算出した前記フレームレートに基づいて、解像度を算出する（Ｓ４３）。当該解像度を算出する手順の具体例を示す。予め、解像度は、出力可能なものを複数個定義し、記憶装置（図示せず）に保持しておく。前記下位ビットレートをＢ、算出した前記フレームレートをＦ、算出する最適な解像度をＶ_ｆとするとき、Ｖ_ｆ＝ｃ_４Ｂ/Ｆ＋ｃ_５Ｂ＋ｃ_６Ｆ＋ｃ₇の式に基づき最適な解像度を推定する。ここで、ｃ_４、ｃ_５、ｃ_６、ｃ_７は定数であり、サービス提供者が予め決めてよい。予め定めてある出力可能な解像度のうち、前記推定した最適な解像度に最も近いものを解像度として選択し、算出した値とする。ここで、２つの解像度（例えば、1920x1080と1280x720）の間の距離は、縦方向の画素数の差の絶対値（上記の例では、1080-720=360）に基づいて定めてもよく、画素数の差の絶対値（上記の例では1920*1080-1280*720=1152000）に基づいて定めてもよい。例えば、出力可能な解像度として、Ａ(1920x1080)とＢ(1280x720)があり、前記推定した最適な解像度Ｖ_ｆが1600x900であるとき、解像度間の距離を縦方向の画素数の差の絶対値で測ると、Ｖ_ｆとＡの距離とＶ_ｆとＢの距離はともに180となる。このように最も近いものが複数あるときには、最も近いもののうちどれを選んでもよい。

最後に、第３実施形態と同様に、符号化パラメータ算出部３３は、前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ４４）。このとき、映像符号化パラメータ算出装置３０に入力された下位ビットレートも前記符号化パラメータとして出力してもよい。

このように第４実施形態においても、第３実施形態と同様に、最上位ビットレートの符号化データを入力として、映像コンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、上位の符号化映像の情報を用いて、コンテンツに適した下位の符号化パラメータを算出することができる。

第３実施形態と異なる点は、符号化パラメータ算出部３３における符号化パラメータ算出の手順である。第３実施形態では、解像度及びフレームレートは、独立に下位ビットレート及び映像コンテンツの特徴量であるＩフレームが占める割合に基づいて、予め定めた閾値を用いて算出する。それに対して、第４実施形態では、下位ビットレート及び映像コンテンツの特徴量であるＩフレームが占める割合に基づいて符号化パラメータにおけるフレームレートを算出した後、入力された前記下位ビットレート及び算出した前記フレームレートに基づいて解像度を算出する。このため、算出されたフレームレートに適した解像度を算出することができる。

＜第５実施形態＞
本発明の第５実施形態に係る符号化パラメータ算出装置の構成は、第３実施形態と同様であるので、説明を省略する。

図８は、本発明の第５実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図８を参照して第５実施形態における映像符号化パラメータ算出方法の動作の例について説明する。

まず、特徴量算出部３１は、第３実施形態と同様に、入力された最上位ビットレートの符号化データから映像特徴量としてＩフレームが占める割合を抽出、出力し、符号化パラメータ算出部３３に入力する（Ｓ５１）。

符号化パラメータ算出部３３の解像度算出部３４は、特徴量算出部３１から入力された映像特徴量及び映像符号化パラメータ算出装置３０に入力された下位ビットレートに基づいて、解像度を算出する（Ｓ５２）。算出された前記解像度を算出する手順の具体例を示す。予め、解像度は、出力可能なものを複数個定義しておく。映像特徴量であるＩフレームが占める割合をＩ_ｒ、前記下位ビットレートをＢ、最適な解像度をＶ_ｆとするとき、Ｖ_ｆ＝ｃ_８Ｉ_ｒＢ＋ｃ_９Ｉ_ｒ＋ｃ_１０Ｂ＋ｃ_１１の式に基づき最適な解像度を算出する。ここで、ｃ_８、ｃ_９、ｃ_１０、ｃ_１１は定数であり、サービス提供者が予め決めてよい。予め定めてある出力可能な解像度のうち、前記算出した最適な解像度に最も近いものを解像度として算出する。２つの解像度間の距離は、第４実施形態と同様に測り、最も近いものが複数あるときには、どれを選んでもよい。

次に、符号化パラメータ算出部３３のフレームレート算出部３５は、入力された前記下位ビットレート及び算出された前記解像度に基づいて、フレームレートを算出する（Ｓ５３）。前記算出されたフレームレートは、勧告G.1070（非特許文献１）に記載されているような方法で算出することができる。その方法について説明する。入力された前記下位ビットレートをＢ、算出された前記解像度をＶ_ｆ、算出するフレームレートをＦとするとき、Ｆ＝ｃ_Ｖｆ１Ｂ＋ｃ_Ｖｆ２の式に基づきフレームレートを算出する。ここで、ｃ_Ｖｆ１、ｃ_Ｖｆ２は解像度ごとに決められた定数であり、その値はサービス提供者が予め決めてよい。

最後に、第３実施形態と同様に、符号化パラメータ算出部３３は、算出された前記解像度及び前記フレームレートを符号化パラメータとして出力する（Ｓ５４）。このとき、入力された前記下位ビットレートも前記符号化パラメータとして出力してもよい。

このように第５実施形態においても、第３実施形態と同様に、最上位ビットレートの符号化データを入力として、コンテンツの特徴量を抽出し、下位ビットレートの符号化パラメータを算出できる。このため、動的に映像品質の切り替えを行うプログレッシブダウンロード型の映像配信サービスなどにおいて、配信映像を符号化する際、上位の符号化映像の情報を用いて、コンテンツに適した下位の符号化パラメータを算出することができる。

第３実施形態及び第４実施形態と異なる点は、符号化パラメータ算出部３３における符号化パラメータ算出の手順である。第３実施形態では、算出される符号化パラメータである解像度及びフレームレートは、独立に下位ビットレート及びＩフレームが占める割合に基づいて、閾値を用いて算出する。第４実施形態では、入力された前記下位ビットレート及びコンテンツ特徴量であるＩフレームが占める割合に基づいてフレームレートを算出した後、前記下位ビットレート及び算出された前記フレームレートに基づいて解像度を算出する。それらに対して、第５実施形態では、入力された前記下位ビットレート及びコンテンツ特徴量である前記Ｉフレームが占める割合に基づいて解像度を算出した後、前記下位ビットレート及び算出した前記解像度に基づいてフレームレートを算出する。このため、算出された解像度に適したフレームレートを算出することができる。

＜第６実施形態＞
図９は本発明の第６実施形態に係る映像符号化パラメータ算出装置６０の構成を示す図である。図９に示すように映像符号化パラメータ算出装置６０は、動的特徴量算出部６２を備える特徴量算出部６１と、映像品質推定部６４を備える符号化パラメータ算出部６３より構成されている。

特徴量算出部６１は、複数のビットレートを用意する際、最大ビットレートの映像データ（最上位符号化データ）を入力とし、映像の特徴量を算出する。最上位符号化データの最大ビットレートを最上位ビットレートという。第６実施形態において、特徴量算出部６１が備える動的特徴量算出部６２は符号化映像の動きベクトルを抽出する。抽出した動きベクトルは、映像特徴量として、符号化パラメータ算出部６３に入力される。一般的な映像では、カメラがパンを行ったり、フレーム内のオブジェクトが動くなど、フレーム間に動きがある。このため、映像符号化の圧縮性能を高めるために、現在のフレームは、前後のフレームのどの位置のブロックが移動したと考えられるかを動きベクトルを用いて表現される。例えば、複数のオブジェクトが無秩序に動く映像では方向や大きさが異なる動きベクトルが複数存在し、時間的な変化の少ない映像では動きベクトルは小さくなる。従って、動きベクトルは映像の時間的な変化を表すデータであると考えられ、第６実施形態においては動きベクトルに基づいて動的特徴量を算出する。

特徴量算出部６１は、最上位符号化データに基づいて、映像の特徴量を算出し、符号化パラメータ算出部６３に映像特徴量を入力する。第６実施形態においては、特徴量算出部６１は動的特徴量算出部６２を備え、動的特徴量算出部６２は動きベクトルに基づいて動的特徴量を算出する。動的特徴量は、映像特徴量として符号化パラメータ算出部６３に入力される。

動的特徴量は、例えば、動きベクトルの絶対値の平均F₁である。具体的には、最上位符号化映像のkフレーム目におけるマクロブロック(i,j)の動きベクトルをV(i,j)とすると、

でF_1,kを計算できる。ただし、

である。この閾値Thは、動きを正確に表さない動きベクトルを除外する目的で、動きベクトルの平均のx倍（例えば、x=1.5）として、フレームごとに

で定める。動的特徴量F₁はF_1,kの平均である。ただし、F_1,kの平均を計算する際には、動きベクトルが含まれないIフレームを除いて計算する。また、閾値Thを用いなくてもよく、その場合、

でF_1,kを計算できる。

符号化パラメータ算出部６３は、前記特徴量算出部６１の出力である映像特徴量及び映像符号化パラメータ算出装置６０への入力である下位ビットレートに基づいて、符号化パラメータを算出する。ここで、本装置６０により算出を行う符号化パラメータを用いて符号化された映像を下位映像といい、下位映像を符号化する際の平均ビットレートを下位ビットレートという。以下、単にビットレートと言ったとき、前記下位映像を符号化する下位ビットレートである下位映像符号化ビットレートを指す。前記下位映像符号化ビットレートは、予め設定してある値でもよく、本装置６０の利用者が入力してもよい。ここで、下位映像符号化ビットレートの値は予め設定される場合でも本装置６０の利用者が入力する場合でも一つに固定されるものであり、本装置では、入力された１の下位映像符号化ビットレートに対して、1の符号化パラメータが出力されることになる。

符号化パラメータには、解像度及びフレームレートが含まれる。以下に符号化パラメータ算出の具体例を示す。

符号化パラメータのうち、フレームレートの算出は、第６実施形態では非特許文献４に開示されている最適フレームレート推定の方法と同様に符号化パラメータによる相対的なユーザ体感品質を推定し、推定したユーザ体感品質が最大となるフレームレートを求めることとする。符号化パラメータ算出部６３が備える映像品質推定部６４において、相対的なユーザ体感品質は、

で推定する。ここで、sは下位映像の1フレームあたりのビット数、tは1秒あたりのフレーム数を表し、s・tは1秒あたりのビット数（ビットレート）を意味する。β_t、γ_tは、映像特徴量である動的特徴量F₁を用いて、

で計算する。上記β_s、γ_s及びc₁、c₂、c₃、c₄は、定数であり、サービス提供者が決めてよい。予め、出力可能なフレームレート（例えば、1から30までの整数など）を決めておくことで、f(s,t)が最大となるs、tを選ぶことができる。つまり、入力される下位ビットレートをbとすると、s=b/tであるから、f(b/t,t)が最大となるs、tを選べばよい（上記の例では、f(b,1), f(b/2,2),..., f(b/30,30)を計算し、最大となるフレームレートを選ぶ）。解像度も予め出力可能なものを決めておく（例えば、960x540、1280x720、1920x1080など）。最適な解像度vは、v=c₅・s+c₆で求め、出力可能な解像度のうち、最も近いものを選択する。c₅、c₆はサービス提供者が決めてよい。上記の手順で、選択したフレームレート及び解像度を符号化パラメータとして、出力する。

次に、図１０は本発明の第６実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１０を参照して第６実施形態における映像符号化パラメータ算出装置６０の動作の例について説明する。

符号化パラメータ算出装置６０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、特徴量算出部６１が備える動的特徴量算出部６２は、入力された最上位符号化データから動きベクトルを抽出する（Ｓ６１）。

特徴量算出部６１が備える動的特徴量算出部６２は、抽出した動きベクトルに基づいて動的特徴量を算出し、映像特徴量として動的特徴量を符号化パラメータ算出部６３に入力する（Ｓ６２）。

符号化パラメータ算出部６３は、入力された映像特徴量及び下位ビットレートに基づいて、前述の手順でフレームレートt及び1フレームあたりのビット数sを算出する（Ｓ６３）。

次に、符号化パラメータ算出部６３は、1フレームあたりのビット数sに基づいて、前述の手順に示すv=c₅・s+c₆により解像度vの算出を行う（Ｓ６４）。

最後に、符号化パラメータ算出部６３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ６５）。

このように第６実施形態では、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量であるコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、プログレッシブダウンロード型の映像配信サービスのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、コンテンツの特徴を考慮して、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。

第６実施形態によれば、特徴量として用いているのは動きベクトルであり、画素信号を扱わなくてもよく、符号化パラメータ算出の方法も複雑な処理を行わないため、符号化パラメータを高速に算出することができる。

＜第７実施形態＞
図１１は、本発明の第７実施形態に係る映像符号化パラメータ算出装置７０の構成を示す図である。図１１に示すように映像符号化パラメータ算出装置７０は、動的特徴量算出部７２及びマクロブロック特徴量算出部７４を備える特徴量算出部７１と、符号化パラメータ算出部７３から構成されている。図１１の構成は、図９の構成に、マクロブロック特徴量算出部７４及びその出力が付加されている。

特徴量算出部７１は、最上位符号化データを入力とし、映像特徴量を出力する。

動的特徴量算出部７２は、前述の第６実施形態と同様の処理を行うため、その説明を省略する。

マクロブロック特徴量算出部７４は、最上位符号化データから、イントラマクロブロックの個数及び全マクロブロックの個数を抽出する。一般的には、イントラマクロブロックはインターマクロブロックに比べて符号化効率が悪いため、符号化が容易（高圧縮可能）な映像は、イントラマクロブロックが少ない傾向にある。また、イントラマクロブロックは、前後のフレームから予測が困難である場合や、空間的に変化が少ない場合に用いられることが多いため、コンテンツの特徴を表す値であると考えられる。これらの理由から、第７実施形態においては、マクロブロックの情報を用いている。

マクロブロック特徴量算出部７４は、抽出したマクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として、符号化パラメータ算出装置７３に入力する。前述の通り、マクロブロック情報は、イントラマクロブロックの個数及び全マクロブロックの個数である。マクロブロック特徴量F₂は、イントラマクロブロックが全体に占める割合であり、イントラマクロブロックの個数をMB_I、全マクロブロックの個数をMB_Aとすると、

で算出できる。

符号化パラメータ算出部７３は、動的特徴量及びマクロブロック特徴量に基づいて、符号化パラメータを算出する。第７実施形態においても、第６実施形態と同様に、相対的なユーザ体感品質を

で推定する。第７実施形態が第６実施形態と異なる点は係数β_s、γ_sの求め方であり、係数β_t、γ_tは第６実施形態と同様に算出する。第６実施形態においてはβ_s、γ_sは定数であったが、第７実施形態においては静的特徴量F₂を用いて、

で計算する。ここで、c₇、c₈、c₉、c₁₀は定数であり、サービス提供者が決めてよい。算出する符号化パラメータの内、1フレームあたりのビット数s及び最適なフレームレートtは、第６実施形態と同様に、予め決めてある出力可能なフレームレートを用いて算出する。次に、最適な解像度は

の式を用いて計算し、予め決めてある出力可能な解像度に最も近いものを選択する。上記の手順で算出したフレームレート及び解像度を符号化パラメータとして出力する。

次に、図１２は、本発明の第７実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１２を参照して第７実施形態における映像符号化パラメータ算出方法の動作の例について説明する。

符号化パラメータ算出装置７０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、特徴量算出部７１が備える動的特徴量算出部７２は、第６実施形態と同様に、入力された最上位符号化データから動きベクトルを抽出する（Ｓ７１）。

特徴量算出部７１が備えるマクロブロック特徴量算出部７４は、入力された最上位符号化データからマクロブロック情報を抽出する（Ｓ７２）。

特徴量算出部７１が備える動的特徴量算出部７２は、第６実施形態と同様、抽出した前記動きベクトルに基づいて、動的特徴量を算出し、映像特徴量として符号化パラメータ算出部７３に入力する（Ｓ７３）。

特徴量算出部７１が備えるマクロブロック特徴量算出部７４は、抽出した前記マクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として符号化パラメータ算出部７３に入力する（Ｓ７４）。

符号化パラメータ算出部７３は、入力された前記動的特徴量及び前記マクロブロック特徴量を含む映像特徴量と下位ビットレートに基づき、前述の手順により、フレームレート及び1フレームあたりのビット数を算出する（Ｓ７５）。

次に、符号化パラメータ算出部７３は、前記映像特徴量及び前記1フレームあたりのビット数に基づいて、解像度を算出する（Ｓ７６）。

最後に、符号化パラメータ算出部７３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ７７）。

このように第７実施形態では、第６実施形態と同様に、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量及びマクロブロック情報に基づくマクロブロック特徴量を用いてコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、プログレッシブダウンロード型の映像配信サービスなどのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。

第６実施形態と異なる点は、マクロブロック特徴量算出部７４が付加され、符号化パラメータ算出部７３の処理においてマクロブロック特徴量に基づいて符号化パラメータを算出している点である。第６実施形態では、動的特徴量に基づいて、フレームレートを算出する。それに対して、第７実施形態では、動的特徴量及びマクロブロック特徴量に基づいてフレームレートを算出する。このため、よりコンテンツの特徴を捉えることができ、コンテンツに適したフレームレートを算出することができる。

＜第８実施形態＞
図１３は、本発明の第８実施形態に係る映像符号化パラメータ算出装置８０の構成を示す図である。図１３に示すように映像符号化パラメータ算出装置８０は、動的特徴量算出部８２、マクロブロック特徴量算出部８４及び量子化特徴量算出部８５を備える特徴量算出部８１と、符号化パラメータ算出部８３から構成されている。図１３の構成は、図１１の構成に、量子化特徴量算出部８５及びその出力が付加されている。

特徴量算出部８１は、最上位符号化データを入力とし、映像特徴量を出力する。

動的特徴量算出部８２及びマクロブロック特徴量算出部８４は、前述の第７実施形態と同様の処理を行うため、その説明を省略する。

量子化特徴量算出部８５は、最上位符号化データから、量子化パラメータを抽出する。量子化パラメータ（または量子化ステップ）は各画素値の表現の正確性に関わる値であり、量子化パラメータを大きくすると、映像の圧縮率を高めることができるが、量子化誤差が大きくなりブロック歪等の品質劣化の原因となる。このため、量子化パラメータは、圧縮性能や品質に関わる重要な値であるので、第８実施形態においては、量子化パラメータに基づいて量子化特徴量を算出する。

量子化特徴量算出部８５は、入力される量子化パラメータに基づいて、量子化特徴量を算出し、映像特徴量として、符号化パラメータ算出部８３へ入力する。第８実施形態においては、量子化特徴量は、量子化パラメータの標準偏差とする。量子化パラメータをQP_i（i=1,2,...,N）とし、その平均値を

とすると、量子化特徴量σは、

に基づいて算出できる。なお、量子化特徴量は、量子化パラメータの標準偏差に限定されるものではなく、例えば、平均値、中央値、分散、歪度、尖度などその他の統計値を用いてもよい。

符号化パラメータ算出部８３は、動的特徴量とマクロブロック特徴量と量子化特徴量とを含む映像特徴量に基づいて、符号化パラメータを算出する。第８実施形態においても、第６実施形態または第７実施形態と同様に、相対的なユーザ体感品質を

に基づいて推定する。また、係数β_s、γ_s、β_t、γ_tも第６実施形態または第７実施形態と同様に算出し、第６実施形態または第７実施形態と同様に、予め決めてある出力可能なフレームレートを用いて、算出する符号化パラメータの内、1フレームあたりのビット数s及び最適なフレームレートtを算出する。

次に、算出する符号化パラメータの内、最適な解像度の算出方法について示す。

第６実施形態または第７実施形態と異なる点は、最適な解像度の算出方法である。最適な解像度は

の式で計算し、算出された最適な解像度vと予め決めてある出力可能な解像度を比較し、算出された（推定された）最適な解像度vに最も近い、予め定められた解像度の値を選択する。ここで、δは静的特徴量F₂と閾値aを用いて、

に基づいて算出する。または、動的特徴量F₁と閾値a'を用いて、

に基づいて算出してもよい。上記c₁₁、c₁₂、c₁₃、c₁₄、a、a'は定数であり、サービス提供者が決めてよい。量子化特徴量として、標準偏差以外の値を用いている場合には、その特徴量に応じた式に基づいて最適な解像度vを算出する。

上記の手順で算出したフレームレート及び解像度を符号化パラメータとして出力する。

次に、図１４は、本発明の第８実施形態に係る映像符号化パラメータ算出方法のフローチャートである。図１４を参照して第８実施形態における映像符号化パラメータ算出方法の動作の例について説明する。

符号化パラメータ算出装置８０は、最上位符号化データの入力に応じて、符号化パラメータ算出の手順を開始する。

まず、特徴量算出部８１が備える動的特徴量算出部８２は、第６実施形態と同様に、入力された最上位符号化データから動きベクトルを抽出する（Ｓ８１）。

特徴量算出部８１が備えるマクロブロック特徴量算出部８４は、第７実施形態と同様に、入力された最上位符号化データからマクロブロック情報を抽出する（Ｓ８２）。

特徴量算出部８１が備える量子化特徴量算出部８５は、入力された最上位符号化データから量子化パラメータを抽出する（Ｓ８３）。

特徴量算出部８１が備える動的特徴量算出部８２は、第６実施形態と同様、抽出した前記動きベクトルに基づいて、動的特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８４）。

特徴量算出部８１が備えるマクロブロック特徴量算出部８４は、第７実施形態と同様、抽出した前記マクロブロック情報に基づいて、マクロブロック特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８５）。

特徴量算出部８１が備える量子化特徴量算出部８５は、抽出した前記量子化パラメータに基づいて、量子化特徴量を算出し、映像特徴量として符号化パラメータ算出部８３へ入力する（Ｓ８６）。

符号化パラメータ算出部８３は、入力された前記動的特徴量と前記マクロブロック特徴量と前記量子化特徴量とを含む映像特徴量及び下位ビットレートに基づき、前述の手順により、フレームレート及び1フレームあたりのビット数を算出する（Ｓ８７）。

次に、符号化パラメータ算出部８３は、前記量子化特徴量及び前記1フレームあたりのビット数に基づいて、解像度を算出する（Ｓ８８）。

最後に、符号化パラメータ算出部８３は、前記フレームレート及び前記解像度を符号化パラメータとして出力する（Ｓ８９）。

このように第８実施形態では、第６実施形態及び第７実施形態と同様に、最上位ビットレートの符号化データを入力として、動きベクトルに基づく動的特徴量及びマクロブロック情報に基づくマクロブロック特徴量、並びに量子化パラメータに基づく量子化特徴量を用いてコンテンツの特徴量を抽出し、下位の符号化パラメータを算出できる。このため、第８実施形態においても、プログレッシブダウンロード型の映像配信サービスなどのような動的に映像品質の切り替えを行う映像配信サービスにおいて、配信映像を符号化する際、与えられた下位ビットレート及びコンテンツに適した下位の符号化パラメータを算出することができる。

第７実施形態と異なる点は、量子化特徴量算出部８５が付加され、符号化パラメータ算出部８３の処理において量子化特徴量に基づいて解像度を算出している点である。このため、よりコンテンツの特徴を捉えることができ、コンテンツの特徴に応じた解像度を算出することができる。

上記の実施形態では、プログレッシブダウンロード型映像配信サービスにおける符号化パラメータの算出について説明したが、本発明の実施形態は、映像が複数のビットレートで符号化されて配信される他の映像配信サービスにも適用可能である。例えば、リアルタイムストリーミング型映像配信サービスにおいて、端末種別やネットワーク種別によって映像品質を切り替えることも考えられる。本発明の実施形態は、このときの下位の配信品質の符号化パラメータの算出に適用可能である。

＜実施形態の効果＞
本発明の実施形態に係る映像符号化パラメータ算出装置は、映像品質の推定結果またはコンテンツの特徴を用いて符号化パラメータを算出するため、コンテンツに適した符号化を行うことができ、配信品質を最適にすることが可能となる。これにより、配信品質の切り替えを行うプログレッシブダウンロード型映像配信サービスなどにおいて、各ビットレートのファイルに対して適切な配信品質でサービスを提供することが可能になる。

説明の便宜上、本発明の実施形態に係る映像符号化パラメータ算出装置は機能的なブロック図を用いて説明しているが、本発明の実施形態に係る映像符号化パラメータ算出装置は、ハードウェア、ソフトウェアまたはそれらの組み合わせで実現されてもよい。また、各機能部が必要に応じて組み合わせて使用されてもよい。また、本発明の実施形態に係る方法は処理の流れを示すフローチャートを用いて説明しているが、本発明の実施形態に係る方法は、実施形態に示す順序と異なる順序で実施されてもよい。

以上、映像が複数のビットレートで符号化されて配信される映像配信サービスの配信映像に対して、符号化パラメータの算出を可能とするための手法について説明したが、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。

１０、２０、３０映像符号化パラメータ算出装置
２１、３１特徴量算出部
２２、３２Ｉフレーム特徴量算出部
１１、２３、３３符号化パラメータ算出部
１２、２４映像品質推定部
３４解像度算出部
３５フレームレート算出部
６０、７０、８０映像符号化パラメータ算出装置
６１、７１、８１特徴量算出部
６２、７２、８２動的特徴量算出部
６３、７３、８３符号化パラメータ算出部
６４映像品質推定部
７４、８４マクロブロック特徴量算出部
８５量子化特徴量算出部

Claims

映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置であって、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出部を有する映像符号化パラメータ算出装置。
前記符号化パラメータ算出部は、前記下位ビットレートで符号化したときの映像品質が最大となる解像度及びフレームレートを、前記符号化パラメータとして算出する、請求項１に記載の映像符号化パラメータ算出装置。
前記符号化パラメータ算出部は、前記映像品質目標値より高い映像品質となる符号化パラメータのうち、ビットレートが最小となる符号化パラメータを、前記符号化パラメータとして算出する、請求項１に記載の映像符号化パラメータ算出装置。
前記符号化パラメータ算出部は、映像品質を推定する映像品質推定部を有し、当該映像品質推定部の推定結果に基づいて、符号化パラメータを算出する、請求項１乃至３のうちいずれか１項に記載の映像符号化パラメータ算出装置。
前記最大ビットレートで符号化された映像データから映像特徴量を算出する特徴量算出部を更に有し、
前記符号化パラメータ算出部は、前記映像特徴量に更に基づいて、符号化パラメータを算出する、請求項１乃至４のうちいずれか１項に記載の映像符号化パラメータ算出装置。
前記映像特徴量は、Ｉフレームに関する特徴量、動きベクトルに関する動的特徴量、マクロブロックに関するマクロブロック特徴量及び量子化パラメータに関する量子化特徴量のうち少なくとも１つである、請求項５に記載の映像符号化パラメータ算出装置。
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置における映像符号化パラメータ算出方法であって、
前記映像符号化パラメータ算出装置における符号化パラメータ算出部が、前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出するステップを有する映像符号化パラメータ算出方法。
映像が複数のビットレートで符号化されて配信される場合、最大ビットレートよりも低いビットレートである下位ビットレートで映像を符号化する際の符号化パラメータを算出するための映像符号化パラメータ算出装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを、
前記下位ビットレートまたは符号化された映像が満たすべき映像品質目標値に基づいて、符号化パラメータを算出する符号化パラメータ算出手段として機能させるプログラム。