JP2007306223A - 符号量推定方法、フレームレート推定方法、符号量推定装置、フレームレート推定装置、符号量推定プログラム、フレームレート推定プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、フレームレート毎の符号量を推定することを可能にして、それに基づいて、効率的な符号量制御設計法を確立する技術の提供を目的とする。
【解決手段】４個のモデルパラメータを入力し、それらのモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、そのコスト関数の対数とフレームレートとを乗じることで得られる算出式を導出し、その算出式に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する。そして、その推定技術を使って、複数のフレームレートにおいて映像を符号化する場合に発生する符号量を算出し、それらの符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する。
【選択図】図３

Description

本発明は、フレーム間予測を伴う映像符号化で用いられて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定方法および装置と、その符号量推定技術を利用して、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定方法および装置と、その符号量推定方法の実現に用いられる符号量推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、そのフレームレート推定方法の実現に用いられるフレームレート推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。

超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の３つの要素についてはデジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。

しかし、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化については、充分な検討がなされていない。

Ｓpillmannらによれば、網膜の出力細胞である神経節細胞が出力するパルス数の上限は毎秒３００〜４００個程度であるとする生理学的な知見が示されている。このため、人の視覚系は最も短くて１／１５０〜１／２００秒程度までの発光の違いを知覚できると推察される。これは、知覚可能なフレームレートの検知限が１５０〜２００［フレーム／秒］であることを意味する。現行映像のフレームレートである３０，６０［フレーム／秒］は、フリッカーの検知限から定められたものであり、自然な動きを表現するのに十分な値ではない。

一方、映像の超高画質化はデータ量の爆発的な増加を招くことから、ネットワークの帯域制限等の理由により符号量が制限される場合には、効率的な符号量制御技術が必要となる。

符号量制御の目的は、符号量に関する制約条件下で、最高の画質を達成することである。符号量制御の要素としては、量子化パラメータ、フレームあたりの画素数、フレームレート等がある。高フレームレート映像の符号化では、フレームレートのダウンサンプリングによる符号量削減効果が大きいため、フレームレートと符号量との関係を把握することが重要となる。直感的には、フレームレートの増加に伴い、フレーム間予測誤差信号の持つフレームあたりの情報量は減少することが予想される。しかし、これまで、その定量的な性質は把握されていない。

また、従来研究として、フレームレートと情報量との関係に注目した可変フレームレートによる時間スケーラビリティの検討が行われているが、６０［フレーム／秒］以下の低フレームレート映像に関する内容が中心であり、高フレームレート映像信号についての知見は得られていない（例えば、非特許文献１，２参照）。
H.Song and C.-C.J.Kuo. Rate control for low-bit-rate video via variable-encoding frame rates. IEEE trans. CSVT, Vol.11, No.4, pp.512-521, 2001. 稲積泰宏，吉田俊之，酒井善則，堀田裕弘．ビットレート制限下における動画像通信のための最適フレームレートの推定. 信学論, Vol.J85-B, No.7, pp.1130-1142, 2002.

上述したように、高フレームレート映像の符号化では、フレームレートのダウンサンプリングによる符号量削減効果が大きいため、フレームレートと符号量との関係を把握することが重要となる。直感的には、フレームレートの増加に伴い、フレーム間予測誤差信号の持つフレームあたりの情報量は減少することが予想される。しかし、これまで、その定量的な性質は把握されていない。

これから、従来技術に従っていると、高フレームレート映像信号に対する符号化処理において、効率的な符号量制御方法の設計法が確立されていないという問題がある。

このような事情に鑑みて、本発明者らは、先に出願した特願2006-20082で、フレームの間引きに基づいたフレームレートのダウンサンプリングを想定して、フレームレートとフレーム間予測誤差信号の情報量との関係を表す理論モデルを構築し、そのモデルに基づいてフレームレート毎の発生符号量を推定し、効率的な符号量制御方法の設計法を確立する発明を開示した。

しかしながら、特願2006-20082で開示した発明では、フレームの間引きに基づいたフレームレートのダウンサンプリングを想定しており、撮像系のシャッターの開口時間の違いを考慮したものではない。

本発明はかかる事情に鑑みてなされたものであって、特願2006-20082で開示した発明を一歩進めて、フレーム間予測を伴う映像符号化において、撮像系の開ロ時間に応じて発生する積分効果の影響を考慮した形で、フレームレートとフレーム間予測誤差信号の情報量との関係を表す理論モデルを構築し、そのモデルに基づいてフレームレート毎の発生符号量を推定し、効率的な符号量制御方法の設計法を確立することを目的とする。

〔１〕第１の発明
上記の目的を達成するために、本発明の符号量推定装置は、フレーム間予測を伴う映像符号化において、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定することを実現するために、（イ）４個のモデルパラメータを入力する入力手段と、（ロ）入力手段の入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する決定手段と、（ハ）決定手段の決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する算出手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の符号量推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２〕第２の発明
上記の目的を達成するために、本発明の符号量推定装置は、フレーム間予測を伴う映像符号化において、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定することを実現するために、（イ）３個のモデルパラメータを入力する入力手段と、（ロ）入力手段の入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する決定手段と、（ハ）決定手段の決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する算出手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の符号量推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔３〕第３の発明
上記の目的を達成するために、本発明のフレームレート推定装置は、フレーム間予測を伴う映像符号化において、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定することを実現するために、（イ）４個のモデルパラメータを入力し、その入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する導出手段と、（ロ）導出手段の導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する推定手段とを備えるように構成する。

この構成を採るときに、推定手段は、評価対象となるフレームレートの値を設定して、導出手段の導出した算出式に対して、そのフレームレートの値を代入することで算出値を得て、その算出値に基づいて、そのフレームレートで映像を符号化する場合に発生する符号量を算出し、その算出した符号量と制約条件となる符号量とを比較して、その比較結果に基づいて、評価対象となるフレームレートの値を順次大きくあるいは小さくしていくことを繰り返すことにより、達成可能な最大のフレームレートを推定するように処理することがある。

以上の各処理手段が動作することで実現される本発明のフレームレート推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔４〕第４の発明
上記の目的を達成するために、本発明のフレームレート推定装置は、フレーム間予測を伴う映像符号化において、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定することを実現するために、（イ）３個のモデルパラメータを入力し、その入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する導出手段と、（ロ）導出手段の導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する推定手段とを備えるように構成する。

この構成を採るときに、推定手段は、評価対象となるフレームレートの値を設定して、導出手段の導出した算出式に対して、そのフレームレートの値を代入することで算出値を得て、その算出値に基づいて、そのフレームレートで映像を符号化する場合に発生する符号量を算出し、その算出した符号量と制約条件となる符号量とを比較して、その比較結果に基づいて、評価対象となるフレームレートの値を順次大きくあるいは小さくしていくことを繰り返すことにより、達成可能な最大のフレームレートを推定するように処理することがある。

以上の各処理手段が動作することで実現される本発明のフレームレート推定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

本発明により、撮像系の開ロ時間に応じて発生する積分効果の影響を考慮した形で、所望のフレームレートで符号化する場合に必要となる符号量を予め見積もることができるようになる。これにより、ネットワークの伝送帯域の設定を適切に行うことが可能となる。

そして、本発明により、撮像系の開ロ時間に応じて発生する積分効果の影響を考慮した形で、与えられた符号量を用いて実現可能な最高のフレームレートを推定することが可能となる。これにより、符号化時に適切なフレームレートの設定を行うことができ、復号画像の画質向上を見込める。

さらに、第２の発明や第４の発明により、この実現を図るときに、符号量とフレームレートとの関係を表すモデルの自由度（パラメータ数）を小さくすることが可能となり、そのモデルに関するパラメータ推定を簡略化できる。これにより、モデル推定の高速化を実現できるようになる。

次に、実施の形態に従って本発明を詳細に説明する。

本発明では、フレーム間予測を伴う映像符号化において、撮像系の開ロ時間に応じて発生する積分効果の影響を考慮した形で、フレームレートとフレーム間予測誤差信号の情報量との関係を表す理論モデルを構築し、そのモデルに基づいてフレームレート毎の発生符号量を推定することを実現するとともに、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定することを実現する。

〔１〕フレームレートと情報量との関係
次に、フレームレートとフレーム間予測誤差信号の情報量との関係を解析的に導出する。ここでは、簡単のため１次元信号を例にとり説明する。

位置ｘにおいて、シャッターを時刻ｔからｔ＋δの間、開口して撮影した信号をｆ_t '(ｘ，δ）とする。このとき、シャッターの開口時間をｍδ（ｍは自然数）に伸張した場合に得られる信号ｆ_mt（ｘ，ｍδ）は、信号ｆ_t '(ｘ，δ）を用いて以下のように表せる。

この式（１）は、信号ｆ_mt（ｘ，ｍδ）が、連続して撮影されたｍ個の信号ｆ_t '(ｘ，δ）の平均値で定義されるということを示している。

信号ｆ_mt（ｘ，ｍδ）に対して、区間Ｌを単位として動き補償（推定変位量ｄ_m ^* ）を行った場合、同区間内の動き補償後の予測誤差は次のように表現できる。なお、以下では、位置ｘにおける真の変位量をｄ_m （ｘ）としている。

ここで、φ（ｘ）はテイラー展開の２次以降の項である。また、ｎ（ｍ）は雑音成分に起因する項である。

フレーム間での動きを等速運動とみなせば、変位量はフレーム間隔（フレームレートの逆数）に比例することから、フレームレートとは反比例の関係にある。このため、Ｆ＝（ｍ・δ）^-1とおくと、ｄ_m （ｘ）−ｄ_m ^* は次式のように表せる。

ｄ_m （ｘ）−ｄ_m ^* ＝（ｖ_m （ｘ）−ｖ_m ^* ）・ｍ・δ
ここで、ｖ_m （ｘ）は位置ｘの画素毎に定まる比例定数であり、ｖ_m ^* は区間Ｌに対して定まる比例定数である。両比例定数の物理的な意味はいずれも速度となる。

なお、以下では簡単のために、ｆ_t '(ｘ，δ）をｆ_t '(ｘ）と略記する。

上式を式（２）に代入し、雑音成分の独立性、およびテイラー展開の一次近似を利用し、次式を得る。

ここで、Ａ（ｍ），Ｂ（ｍ），Ｎ（ｍ）は以下の通りである。

Ａ（ｍ），Ｂ（ｍ）については以下のように展開でき、また、Ｎ（ｍ）を構成する雑音成分ｎ（ｍ）については以下のように展開できる。なお、以下では、
μ_mt（ｘ）＝（１／ｍ）Σｆ_m(t-1)+i'(ｘ）
但し、Σはｉ＝０〜ｍ−１についての総和
ε（ｘ）＝（ｖ_m （ｘ）−ｖ_m ^* ）
とおく。

Ａ（ｍ）は以下のように展開できる。

ここで、β＝Σ_x ε（ｘ）² とする。また、上述の近似では、ε（ｘ）とμ_mt（ｘ）は統計的に独立と仮定した。また、以下の斉次モデルを用いた。

さらに、以下の近似を用いた。

ここで、＜ｄ_i ＞および＜ｄ_j ＞は各々、ｄ_i （ｘ）およびｄ_j （ｘ）（ｘ∈Ｌ）の平均値である。また、α_i,j は平均変移量（＜ｄ_i ＞，＜ｄ_j ＞）を用いた近似に対する補正パラメータである。

ρは画像信号の自己相関のため、１以下であり、かつ、１に近い値とみなすことができる。このため、
（１−ρ）／ρ≪１
という不等式が成立する。

この不等式を用いることで、式（５）は以下の通り近似できる。

ｍはダウンサンプされたフレームレートＦの最大フレームレートＦ₀ に対する比なので、次式を得る。

同様にして、Ｂ（ｍ）を次式のように近似する。

ここで、γは１あるいは−１とする。

次に、Ｎ（ｍ）を構成する雑音成分ｎ（ｍ）について考察する。雑音成分ｎ（ｍ）は画像信号と統計的に独立だと仮定しているため、式（１）の平均化処理は、雑音成分を低減させる。即ち、フレームレートＦ₀ のシーケンスに含まれる雑音成分をｎ₀ とすると、ｎ（ｍ）は次式のように表される。

ここで、『Ｌ』はセグメントＬ内の要素数である。

予測誤差がラプラス分布に従うと仮定し、同分布のdifferential entropyを用いて、予測誤差の情報量Ｉ（Ｆ）[bits/pel]を見積もると次式の関係を得る。なお、以下では、対数の底は２とする。

ここで、Ａ”，Ｂ”，Ｃ”およびＤ”は次式となる。

式（１３）において、フレームレートが大きな場合、Ｆ^-1が小さな値となることから第１項が無視できるとみなし、Ｉ（Ｆ）を以下のＩ^# （Ｆ）として近似する。

式（１３）を用いる場合には、
σ_e ² ＝Ａ”Ｆ^-1＋Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出するのに対して、この式（１５）を用いる場合には、
σ_e ² ＝Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出することになる。

〔２〕符号量推定
第１および第２の発明では、フレームレートをＦとして符号化するという制約条件が与えられた場合に、必要となる符号量を推定する処理を行う。

これは、図１に示すように、指定されたフレームレートＦに対応する発生符号量を推定する処理である。符号化時の制約条件として、フレームレートが与えられる例としては、（ｉ）映像伝送サービスにおいて品質保証を行う目的から、復号側の映像表示端末において一定値以上のフレームレートでの表示が義務付けられている場合、（ii）時間軸方向の画質（フレームレート）の最大化を図る目的から、復号側の映像表示端末で表示可能な最大フレームレートで符号化する場合、等がある。

〔２−１〕第１の発明
第１の発明では、式（１３）を用いた発生符号量推定を行う。すなわち、与えられたフレームレートＦの映像を符号化する際、発生符号量の推定値は次式となる。

なお、Ａ”，Ｂ”，Ｃ”，Ｄ”については、別途、外部から与えられるものとする。Ａ”，Ｂ”，Ｃ”，Ｄ”を第１の発明におけるモデルパラメータと呼ぶ。

〔２−２〕第２の発明
第２の発明では、式（１５）を用いた発生符号量推定を行う。すなわち、与えられたフレームレートＦの映像を符号化する際、発生符号量の推定値は次式となる。

なお、Ｂ”，Ｃ”，Ｄ”については、別途、外部から与えられるものとする。Ｂ”，Ｃ”，Ｄ”を第２の発明におけるモデルパラメータと呼ぶ。

〔３〕フレームレート推定
第３および第４の発明では、符号量をＲ以下に抑えるという制約条件が与えられた場合に、それを実現する最大のフレームレートを推定する処理を行う。

これは、図２に示すように、選択可能なフレームレートの候補の中から、符号量の制約条件を満たす最大のフレームレートを選択する処理である。なお、こうした符号量に関する制約は、ネットワーク帯域等に起因して発生する。以下では、制約条件として与えられる符号量の許容値を許容符号量と呼ぶ。

〔３−１〕第３の発明
第３の発明では、符号量をＲ以下に抑えるという条件下で、時間軸方向の画質（フレームレート）を最大化する場合に、式（１３）を用いて、次式を満たすフレームレートＦ₁ を求める。

ここで、argmax_F は、次に続く関数を最大化するＦを返す。式（１３）におけるＡ”，Ｂ”，Ｃ”，Ｄ”については、別途、外部から与えられるものとする。Ａ”，Ｂ”，Ｃ”，Ｄ”を第３の発明におけるモデルパラメータと呼ぶ。

〔３−２〕第４の発明
第４の発明では、符号量をＲ以下に抑えるという条件下で、時間軸方向の画質（フレームレート）を最大化する場合に、式（１５）を用いて、次式を満たすフレームレートＦ₂ を求める。

ここで、argmax_F は、次に続く関数を最大化するＦを返す。式（１５）におけるＢ”，Ｃ”，Ｄ”については、別途、外部から与えられるものとする。Ｂ”，Ｃ”，Ｄ”を第４の発明におけるモデルパラメータと呼ぶ。

次に、実施例に従って本発明を詳細に説明する。

〔１〕本発明の発生符号量推定装置の構成
図３に、本発明の発生符号量推定装置１０の装置構成の一実施例を図示する。

この図に示すように、本発明の発生符号量推定装置１０は、入力部１００と、モデルパラメータ記憶部１０１と、フレームレート記憶部１０２と、フレームレート演算算出部１０３と、フレームレート演算結果記憶部１０４と、推定予測誤差電力算出部１０５と、推定予測誤差電力記憶部１０６と、対数値算出部１０７と、対数値記憶部１０８と、発生符号量推定値算出部１０９と、発生符号量推定値記憶部１１０と、発生符号量推定値出力部１１１とを備える。

この入力部１００は、発生符号量推定の評価対象となるフレームレートＦを入力するとともに、第１の発明を実現する場合には、上述したモデルパラメータＡ”，Ｂ”，Ｃ”，Ｄ”を入力し、第２の発明を実現する場合には、上述したモデルパラメータＢ”，Ｃ”，Ｄ”を入力する。

モデルパラメータ記憶部１０１は、入力部１００の入力したモデルパラメータを記憶する。フレームレート記憶部１０２は、入力部１００の入力したフレームレートＦを記憶する。

フレームレート演算算出部１０３は、第１の発明を実現する場合には、フレームレート記憶部１０２の記憶するフレームレートＦの逆数Ｆ^-1、同平方根逆数Ｆ^-1/2、同一乗値Ｆを算出し、第２の発明を実現する場合には、フレームレート記憶部１０２の記憶するフレームレートＦの平方根逆数Ｆ^-1/2、同一乗値Ｆを算出する。

フレームレート演算結果記憶部１０４は、フレームレート演算算出部１０３の算出したフレームレートＦについての演算結果を記憶する。

推定予測誤差電力算出部１０５は、モデルパラメータ記憶部１０１の記憶するモデルパラメータと、フレームレート演算結果記憶部１０４の記憶するフレームレートＦについての演算結果とを使い、第１の発明を実現する場合には、
σ_e ² ＝Ａ”Ｆ^-1＋Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出し、第２の発明を実現する場合には、
σ_e ² ＝Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出する。

推定予測誤差電力記憶部１０６は、推定予測誤差電力算出部１０５の算出した推定予測誤差電力を記憶する。

対数値算出部１０７は、推定予測誤差電力記憶部１０６の記憶する推定予測誤差電力の対数値を算出する。対数値記憶部１０８は、対数値算出部１０７の算出した推定予測誤差電力の対数値を記憶する。

発生符号量推定値算出部１０９は、対数値記憶部１０８の記憶する推定予測誤差電力の対数値と、フレームレート記憶部１０２の記憶するフレームレートＦとの乗算値を算出し、さらにその乗算値に０．５を乗算することで、評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出する。

発生符号量推定値記憶部１１０は、発生符号量推定値算出部１０９の算出した発生符号量の推定値を記憶する。発生符号量推定値出力部１１１は、発生符号量推定値記憶部１１０の記憶する発生符号量の推定値を出力する。

図４に、図３のように構成される本発明の発生符号量推定装置１０の実行する処理フローの一例を図示する。

次に、図４の処理フローに従って、本発明の発生符号量推定装置１０の実行する処理について詳細に説明する。

本発明の発生符号量推定装置１０は、符号量の推定要求が発行されると、図４の処理フローに示すように、先ず最初に、ステップＳ１０で、評価対象となるフレームレートＦを入力する。

続いて、ステップＳ１１で、第１の発明を実現する場合には、上述したモデルパラメータＡ”，Ｂ”，Ｃ”，Ｄ”を入力し、第２の発明を実現する場合には、上述したモデルパラメータＢ”，Ｃ”，Ｄ”を入力する。

続いて、ステップＳ１２で、第１の発明を実現する場合には、入力したフレームレートＦの逆数Ｆ^-1、同平方根逆数Ｆ^-1/2、同一乗値Ｆを算出し、第２の発明を実現する場合には、入力したフレームレートＦの平方根逆数Ｆ^-1/2、同一乗値Ｆを算出する。

続いて、ステップＳ１３で、第１の発明を実現する場合には、
σ_e ² ＝Ａ”Ｆ^-1＋Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出し、第２の発明を実現する場合には、
σ_e ² ＝Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”
という算出式に従って推定予測誤差電力を算出する。

続いて、ステップＳ１４で、算出した推定予測誤差電力の対数値を算出する。すなわち、第１の発明を実現する場合には、算出した推定予測誤差電力「Ａ”Ｆ^-1＋Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”」の対数値を算出し、第２の発明を実現する場合には、算出した推定予測誤差電力「Ｂ”Ｆ^-1/2＋Ｃ”Ｆ＋Ｄ”」の対数値を算出するのである。

続いて、ステップＳ１５で、算出した推定予測誤差電力の対数値と入力したフレームレートＦとの乗算値を算出する。

続いて、ステップＳ１６で、ステップＳ１５で算出した乗算値の値に０．５を乗じることで、評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出する。すなわち、第１の発明を実現する場合には、式（１６）に従って評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出し、第２の発明を実現する場合には、式（１７）に従って評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出するのである。

そして、最後に、ステップＳ１７で、算出した発生符号量の推定値を出力して、処理を終了する。

このようにして、本発明の発生符号量推定装置１０は、フレームレートをＦとして符号化するという制約条件が与えられた場合に、必要となる符号量を推定する処理を行うのである。

〔２〕本発明のフレームレート推定装置の構成
図５に、本発明のフレームレート推定装置２０の装置構成の一実施例を図示する。

この図に示すように、本発明のフレームレート推定装置２０は、入力部２００と、許容符号量記憶部２０１と、モデルパラメータ記憶部２０２と、フレームレート記憶部２０３と、フレームレート増分値記憶部２０４と、フレームレート更新部２０５と、発生符号量推定部２０６と、発生符号量推定値記憶部２０７と、発生符号量推定値判定部２０８と、フレームレート出力部２０９とを備える。

この入力部２００は、許容符号量と初期フレームレートとフレームレート増分値とを入力するとともに、第３の発明を実現する場合には、上述したモデルパラメータＡ”，Ｂ”，Ｃ”，Ｄ”を入力し、第４の発明を実現する場合には、上述したモデルパラメータＢ”，Ｃ”，Ｄ”を入力する。

ここで、許容符号量として与えられるのは、例えば、帯域制限等により定められる目標符号量である。また、初期フレームレートとしては十分に小さな値を用いる。

許容符号量記憶部２０１は、入力部２００の入力した許容符号量を記憶する。モデルパラメータ記憶部２０２は、入力部２００の入力したモデルパラメータを記憶する。フレームレート記憶部２０３は、現在のフレームレートを記憶するものであり、その初期値として入力部２００の入力した初期フレームレートを記憶する。フレームレート増分値記憶部２０４は、入力部２００の入力したフレームレート増分値を記憶する。

フレームレート更新部２０５は、発生符号量推定値判定部２０８からフレームレートの更新指示がある場合に、フレームレート記憶部２０３の記憶するフレームレートをフレームレート増分値記憶部２０４の記憶するフレームレート増分値分インクリメントして、上書きする形で更新する。

発生符号量推定部２０６は、図３に示す本発明の発生符号量推定装置１０と同じ装置構成で構成されて、モデルパラメータ記憶部２０２の記憶するモデルパラメータと、フレームレート記憶部２０３の記憶するフレームレートとを入力として、そのフレームレートで符号化する場合に発生する符号量の推定値を算出する。発生符号量推定値記憶部２０７は、発生符号量推定部２０６の算出した発生符号量推定値を記憶する。

発生符号量推定値判定部２０８は、発生符号量推定値記憶部２０７の記憶する発生符号量推定値と、許容符号量記憶部２０１の記憶する許容符号量とを比較して、発生符号量推定値より許容符号量の方が大きい場合には、フレームレート更新部２０５に対してフレームレートの更新を指示し、許容符号量より発生符号量推定値の方が大きい場合には、フレームレート出力部２０９に対して、フレームレート記憶部２０３に格納されたフレームレートの値の出力を指示する。

フレームレート出力部２０９は、発生符号量推定値判定部２０８により出力指示されるフレームレートを出力する。

図６に、図５のように構成される本発明のフレームレート推定装置２０の実行する処理フローの一例を図示する。

次に、図６の処理フローに従って、本発明のフレームレート推定装置２０の実行する処理について詳細に説明する。

本発明のフレームレート推定装置２０は、フレームレートの推定要求が発行されると、図６の処理フローに示すように、先ず最初に、ステップＳ２０で、許容符号量を入力する。

続いて、ステップＳ２１で、第３の発明を実現する場合には、上述したモデルパラメータＡ”，Ｂ”，Ｃ”，Ｄ”を入力し、第４の発明を実現する場合には、上述したモデルパラメータＢ”，Ｃ”，Ｄ”を入力する。

続いて、ステップＳ２２で、フレームレートの初期値を入力して、現在のフレームレートをその初期値に設定し、さらに、その値をレジスタＳに格納する。続いて、ステップＳ２３で、フレームレートの増分値を入力して、フレームレートの増分値を設定する。

続いて、ステップＳ２４で、図３に示す本発明の発生符号量推定装置１０と同じ装置構成で構成される発生符号量推定部２０６の処理に従って、現在のフレームレート（フレームレート記憶部２０３に記憶されるフレームレート）で符号化した場合に発生する符号量の推定値を算出する。

すなわち、第３の発明を実現する場合には、入力したモデルパラメータＡ”，Ｂ”，Ｃ”，Ｄ”と、現在のフレームレートとを使って、図４の処理フローを実行することで、式（１６）に従って現在のフレームレートで符号化した場合に発生する符号量の推定値を算出し、第４の発明を実現する場合には、入力したモデルパラメータＢ”，Ｃ”，Ｄ”と、現在のフレームレートとを使って、図４の処理フローを実行することで、式（１７）に従って現在のフレームレートで符号化した場合に発生する符号量の推定値を算出するのである。

続いて、ステップＳ２５で、算出した発生符号量の推定値が入力した許容符号量よりも小さいの否かを判断して、発生符号量の推定値の方が許容符号量よりも小さいことを判断するときには、ステップＳ２６に進んで、現在のフレームレートをレジスタＳに格納する。

続いて、ステップＳ２７で、フレームレートの増分値に応じて、現在のフレームレートをインクリメントしてから、ステップＳ２４の処理に戻る。

このようにして、ステップＳ２４〜ステップＳ２７の処理を繰り返していくことで、ステップＳ２５で、算出した発生符号量の推定値の方が入力した許容符号量よりも大きくなったことを判断するときには、ステップＳ２８に進んで、レジスタＳに格納してあるフレームレート（１つ前に更新したフレームレート）を出力して、処理を終了する。

このようにして、本発明のフレームレート推定装置２０は、符号量を許容符号量以下に抑えるという制約条件が与えられた場合に、それを実現する最大のフレームレートを推定する処理を行うのである。

第１および第２の発明の実行する発生符号量推定処理の説明図である。 第３および第４の発明の実行するフレームレート推定処理の説明図である。 本発明の発生符号量推定装置の装置構成の一実施例である。 本発明の発生符号量推定装置の実行する処理フローである。 本発明のフレームレート推定装置の装置構成の一実施例である。 本発明のフレームレート推定装置の実行する処理フローである。

符号の説明

１０ 発生符号量推定装置
１００ 入力部
１０１ モデルパラメータ記憶部
１０２ フレームレート記憶部
１０３ フレームレート演算算出部
１０４ フレームレート演算結果記憶部
１０５ 推定予測誤差電力算出部
１０６ 推定予測誤差電力記憶部
１０７ 対数値算出部
１０８ 対数値記憶部
１０９ 発生符号量推定値算出部
１１０ 発生符号量推定値記憶部
１１１ 発生符号量推定値出力部

Claims (13)

1. フレーム間予測を伴う映像符号化で用いられて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定方法であって、
   ４個のモデルパラメータを入力する過程と、
   上記入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する過程と、
   上記決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する過程とを備えることを、
   特徴とする符号量推定方法。
2. フレーム間予測を伴う映像符号化で用いられて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定方法であって、
   ３個のモデルパラメータを入力する過程と、
   上記入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する過程と、
   上記決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する過程とを備えることを、
   特徴とする符号量推定方法。
3. フレーム間予測を伴う映像符号化で用いられて、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定方法であって、
   ４個のモデルパラメータを入力し、その入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する過程と、
   上記導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する過程とを備えることを、
   特徴とするフレームレート推定方法。
4. フレーム間予測を伴う映像符号化で用いられて、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定方法であって、
   ３個のモデルパラメータを入力し、その入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する過程と、
   上記導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する過程とを備えることを、
   特徴とするフレームレート推定方法。
5. 請求項３又は４に記載のフレームレート推定方法において、
   上記推定する過程では、評価対象となるフレームレートの値を設定して、上記導出した算出式に対して、そのフレームレートの値を代入することで算出値を得て、その算出値に基づいて、そのフレームレートで映像を符号化する場合に発生する符号量を算出し、その算出した符号量と制約条件となる符号量とを比較して、その比較結果に基づいて、評価対象となるフレームレートの値を順次大きくあるいは小さくしていくことを繰り返すことを、
   特徴とするフレームレート推定方法。
6. フレーム間予測を伴う映像符号化で用いられて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定装置であって、
   ４個のモデルパラメータを入力する手段と、
   上記入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する手段と、
   上記決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する手段とを備えることを、
   特徴とする符号量推定装置。
7. フレーム間予測を伴う映像符号化で用いられて、与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定装置であって、
   ３個のモデルパラメータを入力する手段と、
   上記入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定する手段と、
   上記決定したコスト関数の対数とフレームレートとを乗じることで得られる算出式に対して、与えられたフレームレートの値を代入することで算出値を得て、その算出値に基づいて、与えられたフレームレートで映像を符号化する場合に発生する符号量を算出する手段とを備えることを、
   特徴とする符号量推定装置。
8. フレーム間予測を伴う映像符号化で用いられて、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定装置であって、
   ４個のモデルパラメータを入力し、その入力した４個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの逆数、フレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する手段と、
   上記導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する手段とを備えることを、
   特徴とするフレームレート推定装置。
9. フレーム間予測を伴う映像符号化で用いられて、与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定装置であって、
   ３個のモデルパラメータを入力し、その入力した３個のモデルパラメータに基づいて、推定予測誤差電力の算出に用いられるフレームレートの平方根の逆数、フレームレートの一乗値および定数項からなるコスト関数を決定して、その決定したコスト関数の対数とフレームレートとを乗じることで求められる算出式を導出する手段と、
   上記導出した算出式に対して、複数のフレームレートの値を代入することで算出値を得て、それらの算出値に基づいて、それらのフレームレートで映像を符号化する場合に発生する符号量を算出して、それらの算出した符号量と制約条件となる符号量とを比較することで、その符号量の制約条件下において達成可能な最大のフレームレートを推定する手段とを備えることを、
   特徴とするフレームレート推定装置。
10. 請求項１又は２に記載の符号量推定方法の実現に用いられる処理をコンピュータに実行させるための符号量推定プログラム。
11. 請求項３ないし５のいずれか１項に記載のフレームレート推定方法の実現に用いられる処理をコンピュータに実行させるためのフレームレート推定プログラム。
12. 請求項１又は２に記載の符号量推定方法の実現に用いられる処理をコンピュータに実行させるための符号量推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
13. 請求項３ないし５のいずれか１項に記載のフレームレート推定方法の実現に用いられる処理をコンピュータに実行させるためのフレームレート推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images