JP2008113294A - 符号量推定方法，フレームレート推定方法，符号量推定装置，フレームレート推定装置，符号量推定プログラム，フレームレート推定プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】フレームレート毎の符号量を推定することを可能にして，それに基づいて，効率的な符号量制御設計法を確立することを目的とする。
【解決手段】入力部１００により，フレームレートと撮像系のシャッターの開口率と４個のモデルパラメータとを入力し，それらのモデルパラメータに基づいて，推定予測誤差電力算出部１０８により，フレームレートの逆数，フレームレートの平方根の逆数，フレームレートの一乗値および定数項と，開口率とからなるコスト関数を決定して，予測誤差電力を推定し，その値の対数とフレームレートとを乗じることで得られる算出式に基づいて，発生符号量推定値算出部１１２により，与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する。また，その推定技術を使って，符号量の制約条件下において達成可能な最大のフレームレートを推定する。
【選択図】図３

Description

本発明は，高能率画像信号符号化方法に関し，特に，フレームレート毎の符号量を推定し，それをフレームレートの制御に利用することができるようにした技術に関する。

近年，臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて，映像の高画質化に関する研究が精力的に行われている。超高画質映像の実現には，次の四要素が必要である。すなわち，空間解像度，画素値深度，色再現性，時間解像度である。これを受けて，前者の三要素については，デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。

しかし，被写体の自然な動きを表現するために不可欠な時間解像度の向上，すなわち，映像の高フレームレート化については，充分な検討がなされていない。Ｓpillmannらによれば，網膜の出力細胞である神経節細胞が出力するパルス数の上限は毎秒３００〜４００個程度であるとする生理学的な知見が示されている。このため，人の視覚系は，最も短くて１／１５０〜１／２００秒程度までの発光の違いを知覚できると推察される。これは，知覚可能なフレームレートの検知限が，１５０〜２００［フレーム／秒］であることを意味する。現行映像のフレームレートである３０，６０［フレーム／秒］は，フリッカーの検知限から定められたものであり，自然な動きを表現するのに十分な値ではない。

一方，映像の超高画質化はデータ量の爆発的な増加を招くため，ネットワークの帯域制限等の理由により符号量が制限される場合，効率的な符号量制御技術が必要となる。符号量制御の目的は，符号量に関する制約条件下で，最高の画質を達成することである。符号量制御の要素としては，量子化パラメータ，フレームあたりの画素数，フレームレート等がある。

高フレームレート映像の符号化では，フレームレートのダウンサンプリングによる符号量削減効果が大きいため，フレームレートと符号量の関係を把握することが重要となる。直感的には，フレームレートの増加に伴い，フレーム間予測誤差信号の持つフレームあたりの情報量は減少することが予想される。しかし，これまでその定量的な性質は把握されていない。

また，従来研究として，フレームレートと情報量の関係に注目した可変フレームレートによる時間スケーラビリティの検討（特許文献１，特許文献２参照）が行われている。しかし，従来の時間スケーラビリティの検討は，６０［フレーム／秒］以下の低フレームレート映像に関する内容が中心であり，高フレームレート映像信号についての知見は得られていない。さらに，フレームレートのダウンサンプリングは単純なフレーム間引きを想定したものであり，撮像系のシャッターの開口時間の違いは考慮したものではなかった。
特開平５−２２７１０号公報 特開平９−１６８１５５号公報

本発明はかかる事情に鑑みてなされたものであって，高フレームレート映像信号に対する符号化処理において，撮像系の開口時間に応じて発生する積分効果の影響を考慮した形で，フレームレートとフレーム間予測誤差信号の情報量の関係を表す理論モデルを構築し，同モデルを利用してフレームレート毎の発生符号量を予測し，効率的な符号量制御方法の設計法を確立することを目的とする。

上記課題を解決するため，第１の発明は，フレーム間予測を伴う映像符号化において，映像表示端末の表示性能等の理由により，フレームレートに関する制約条件が与えられた場合，外部から４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄと，撮像系のシャッターの開口率ｐとを入力し，その４個のモデルパラメータと開口率ｐとにより規定される，フレームレートＦの逆数と，フレームレートＦの平方根の逆数と，フレームレートの一乗値と，定数項とからなる次のコスト関数
Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
の値を求め，該コスト関数の値の対数にフレームレートＦを乗じて得られる量に基づき，与えられたフレームレートの映像を符号化した場合の発生符号量を予測することを特徴とする。

第２の発明は，上記コスト関数を簡略化し，フレーム間予測を伴う映像符号化において，映像表示端末の表示性能等の理由により，フレームレートに関する制約条件が与えられた場合，外部から３個のモデルパラメータＢ，Ｃ，Ｄと，撮像系のシャッターの開口率ｐとを入力し，その３個のモデルパラメータと開口率ｐとにより規定される，フレームレートＦの平方根の逆数と，フレームレートの一乗値と，定数項とからなる次のコスト関数
Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
の値を求め，該コスト関数の値の対数にフレームレートＦを乗じて得られる量に基づき，与えられたフレームレートの映像を符号化した場合の発生符号量を予測することを特徴とする。

また，第３の発明は，フレーム間予測を伴う映像符号化において，ネットワーク帯域等に起因して，符号量に関する制約条件が与えられた状態で，同制約条件を満たし，かつ，復号画質の最大化を図る場合，外部から４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄと，撮像系のシャッターの開口率ｐとを入力し，その４個のモデルパラメータと開口率ｐとにより規定される，フレームレートＦの逆数と，フレームレートＦの平方根の逆数と，フレームレートの一乗値と，定数項とからなる次のコスト関数
Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
の値を求め，該コスト関数の値の対数にＦを乗じて得られる量に基づき，各フレームレートに対する発生符号量を予測し，同制約条件下において達成可能な最大のフレームレートを推定することを特徴とし，そのフレームレートを用いて符号化の制御を行うことができるようにする。

第４の発明は，フレーム間予測を伴う映像符号化において，ネットワーク帯域等に起因して，符号量に関する制約条件が与えられた状態で，同制約条件を満たし，かつ，復号画質の最大化を図る場合，外部から３個のモデルパラメータＢ，Ｃ，Ｄと，撮像系のシャッターの開口率ｐとを入力し，その３個のモデルパラメータと開口率ｐとにより規定される，フレームレートＦの逆数と，フレームレートＦの平方根の逆数と，フレームレートの一乗値と，定数項とからなる次のコスト関数
Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
の値を求め，該コスト関数の値の対数にＦを乗じて得られる量に基づき，各フレームレートに対する発生符号量を予測し，同制約条件下において達成可能な最大のフレームレートを推定することを特徴とし，そのフレームレートを用いて符号化の制御を行うことができるようにする。

本発明により，所望のフレームレートおよび開口率の映像を符号化する場合，必要となる符号量を予め見積もることができるようになる。これにより，ネットワークの伝送帯域の設定を適切に行うことが可能となる。さらに，第２の発明により，符号量とフレームレートの関係を表すモデルの自由度（パラメータ数）を小さくすることが可能となり，同モデルに関するパラメータ推定を簡略化できる。これは，モデル推定の高速化に繋がる。

また，第３，第４の発明により，撮像系の開口率に応じて発生する積分効果の影響を考慮した形で，与えられた符号量を用いて実現可能な最高のフレームレートを推定することが可能となる。これにより，符号化時に適切なフレームレートの設定を行うことができ，復号画像の画質向上を見込めるようになる。

本発明では，フレーム間予測を伴う映像符号化において，撮像系の開口時間に応じて発生する積分効果の影響を考慮した形で，フレームレートとフレーム間予測誤差信号の情報量との関係を表す理論モデルを構築し，そのモデルに基づいてフレームレート毎の発生符号量を推定することを実現するとともに，与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定することを実現する。以下，本発明による発生符号化量の推定方法と，フレームレートの推定方法について，詳細に説明する。

〔１〕フレームレートと情報量との関係
フレームレートとフレーム間予測誤差信号の情報量の関係を解析的に導出する。ここでは，簡単のため１次元信号を例にとり説明する。位置ｘにおいて，シャッターを時刻ｔからｔ＋δの間，開口して撮影した信号をｆ_t （ｘ，δ）とする。このとき，シャッターの開口時間をｍδ（ｍは自然数）に伸張した場合に得られる信号 ^-ｆ_mt（ｘ，ｍδ）は，ｆ_t （ｘ，δ）を用いて以下のように表せる。なお，本文中では「 ^-ｆ」と表すが，「 ^-」の記号は，ｆの上に付く記号である。

この場合，フレーム間隔とシャッターの開口時間が一致しており，シャッターをフルオープンで撮影した場合のフレームが，これにあたる。これに対し，シャッターの開口時間を〜ｍδ（なお，〜はｍの上に付く記号。以下，他の記号＾も同様）として，時刻ｍｔ≦ｔ≦ｍｔ＋〜ｍδの間，部分的にシャッターを開口して撮影したフレームは，以下のように表せる。

信号 ^-ｆ_mt（ｘ，〜ｍδ）に対して，区間Ｌを単位として動き補償（推定変位量＾ｄ_m ）を行った場合，同区間内の動き補償後の予測誤差は，次のように表現できる。なお，以下では，位置ｘにおける真の変位量をｄ_m （ｘ）としている。

ここで，φ（ｘ）はテイラー展開の２次以降の項である。また，ｎは雑音成分に起因する項である。フレーム間での動きを等速運動とみなせば，変位量はフレーム間隔（フレームレートの逆数）に比例することから，フレームレートとは反比例の関係にある。このため，Ｆ＝（ｍ・δ）^-1とおくと，ｄ_m （ｘ）−＾ｄ_m は次式のように表せる。

ｄ_m （ｘ）−＾ｄ_m ＝（ｖ_m （ｘ）−＾ｖ_m ）・ｍ・δ
ここで，ｖ_m （ｘ）は位置ｘの画素毎に定まる比例定数であり，＾ｖ_m は区間Ｌに対して定まる比例定数である。両比例定数の物理的な意味はいずれも速度となる。以下では，簡単のため，ｆ_t （ｘ，δ）をｆ_t （ｘ）と略記する。

上式を式（３）に代入し，雑音成分の独立性，およびテイラー展開の一次近似を利用し，次式を得る。

ここで，Ａ（ｍ，〜ｍ），Ｂ（ｍ，〜ｍ），Ｎ（ｍ，〜ｍ）は，以下の通りである。

Ａ（ｍ，〜ｍ），Ｂ（ｍ，〜ｍ），Ｎ（ｍ，〜ｍ）は，以下のように展開できる。
なお，以下では，

とおく。Ａ（ｍ，〜ｍ）は，以下のように展開できる。

ここで，β＝Σ_x ε（ｘ）² とする。上述の近似では，ε（ｘ）とμ〜_mt（ｘ）は統計的に独立と仮定した。また，以下の斉次モデルを用いた。

さらに，以下の近似を用いた。

ここで， ^-ｄ_i および ^-ｄ_j は各々，ｄ_i （ｘ）およびｄ_j （ｘ）（ω∈Ｌ）の平均値である。α_i,j は平均変移量（ ^-ｄ_i ， ^-ｄ_j ）を用いた近似に対する補正パラメータである。

ρは画像信号の自己相関のため，１以下であり，かつ，１に近い値とみなすことができる。このため，次の不等式を得る。

（１−ρ）／ρ≪１
この不等式を用いることで，式（５）は以下の通り近似できる。

シャッターの開口率ｐをｍと〜ｍの比として，次式のように定義する。

〜ｍ／ｍ＝ｐ（≦１）
さらに，ｍはダウンサンプルされたフレームレートＦの最大フレームレートＦ₀ に対する比であることを考慮すると，〜ｍは次式となる。

〜ｍ＝ｐｍ＝ｐＦ₀ ／Ｆ
上式を用いて，次式を得る。

同様にして，Ｂ（ｍ，〜ｍ）を次式のように近似する。

ここで，γは１あるいは−１とする。

次に，Ｎ（ｍ，〜ｍ）について考察する。雑音成分ｎ（〜ｍ）は，画像信号と統計的に独立であると仮定しているため，式（１）の平均化処理は，雑音成分を低減させる。すなわち，フレームレートＦ₀ のシーケンスに含まれる雑音成分をｎ₀ とすると，ｎ（〜ｍ）は次式のように表される。

ここで，‖Ｌ‖は，セグメント内の要素数である。

予測誤差がラプラス分布に従うと仮定し，同分布のdifferential entropyを用いて，予測誤差の情報量Ｉ（Ｆ，ｐ）［bits/pel］を見積もると，次式の関係を得る。なお，以下では，対数の底は２とする。

ここで，＾Ａ，＾Ｂ，＾Ｃ，および＾Ｄは次式となる。

なお，以下では，モデルパラメータの＾Ａ，＾Ｂ，＾Ｃ，＾Ｄを，単にＡ，Ｂ，Ｃ，Ｄと記すこともある。

〔２〕符号量推定
開口率をｐ，フレームレートをＦとして符号化するという制約条件が与えられた場合，必要となる符号量を推定する方法について示す。これは，図１に示すように，指定されたフレームレートに対応する発生符号量を推定する処理である。符号化時の制約条件として，フレームレートが与えられる例としては，
（ｉ）映像伝送サービスにおいて品質保証を行う目的から，復号側の映像表示端末において一定値以上のフレームレートでの表示が義務付けられている場合，
（ii）時間軸方向の画質（フレームレート）の最大化を図る目的から，復号側の映像表示端末に表示可能な最大フレームレートで符号化する場合，
等である。

開口率を可変にする理由は，以下の通りである。開口率の極端な増加は，モーションブラーを発生させる。一方，開口率の極端な低下は，ジャーキネスを発生させる。こうした主観画質への影響は，フレームレート，および，符号化対象画像の性質に応じて変化する。このため，開口率は，一定値を設定するのではなく，与えられたフレームレートに対して，主観画質を最大化するように，適応的に制御する必要がある。

〔２−１〕第１の発明
第１の発明では，式（１３）を用いた発生符号量の推定を行う。与えられたフレームレートＦ，開口率ｐの映像を符号化する際，発生符号量の推定値は，次の式（１８）となる。

なお，Ａ，Ｂ，Ｃ，Ｄについては，別途，外部から与えられるものとする。Ａ，Ｂ，Ｃ，Ｄを第１の発明におけるモデルパラメータと呼ぶ。

〔２−２〕
第２の発明では，式（１３）を簡略化したモデルを用いた発生符号量の推定を行う。フレームレートが大きな場合，Ｆ^-1が小さな値となることから，式（１３）において第１項が無視できるとみなし，Ｉ（Ｆ，ｐ）を以下の〜Ｉ（Ｆ，ｐ）として近似する。

式（１９）を用いた符号量推定方法を示す。与えられたフレームレートＦ，開口率ｐの映像を符号化する際，発生符号量の推定値は次式となる。

なお，Ｂ，Ｃ，Ｄについては，別途，外部から与えられるものとする。Ｂ，Ｃ，Ｄを第２の発明におけるモデルパラメータと呼ぶ。

〔３〕フレームレート推定
第３および第４の発明では，決められた撮像系のシャッターの開口率のもとで，符号量をＲ以下に抑えるという制約条件が与えられた場合に，それを実現する最大のフレームレートを推定する処理を行う。

これは，図２に示すように，選択可能なフレームレートの候補の中から，符号量の制約条件を満たす最大のフレームレートを選択する処理である。なお，こうした符号量に関する制約は，ネットワーク帯域等に起因して発生する。以下では，制約条件として与えられる符号量の許容値を許容符号量と呼ぶ。

〔３−１〕第３の発明
第３の発明では，符号量をＲ以下に抑えるという条件下で，時間軸方向の画質（フレームレート）を最大化する場合に，式（１８）を用いて，次式を満たすフレームレートＦ₁ を求める。

ここで，argmax_F は，次に続く関数を最大化するＦを返す。式（１８）におけるＡ，Ｂ，Ｃ，Ｄについては，別途，外部から与えられるものとする。Ａ，Ｂ，Ｃ，Ｄを第３の発明におけるモデルパラメータと呼ぶ。

〔３−２〕第４の発明
第４の発明では，符号量をＲ以下に抑えるという条件下で，時間軸方向の画質（フレームレート）を最大化する場合に，式（２０）を用いて，次式を満たすフレームレートＦ₂ を求める。

ここで，argmax_F は，次に続く関数を最大化するＦを返す。式（２２）において用いる式（２０）におけるＢ，Ｃ，Ｄについては，別途，外部から与えられるものとする。Ｂ，Ｃ，Ｄを第４の発明におけるモデルパラメータと呼ぶ。

次に，実施例に従って本発明を詳細に説明する。

〔１〕本発明の発生符号量推定装置の構成
図３に，本発明の発生符号量推定装置１０の装置構成の一実施例を図示する。図３に示すように，発生符号量推定装置１０は，入力部１００と，モデルパラメータ記憶部１０１と，フレームレート記憶部１０２と，フレームレート演算処理部１０３と，フレームレート演算結果記憶部１０４と，開口率記憶部１０５と，開口率演算処理部１０６と，開口率演算結果記憶部１０７と，推定予測誤差電力算出部１０８と，推定予測誤差電力記憶部１０９と，対数値算出部１１０と，対数値記憶部１１１と，発生符号量推定値算出部１１２と，発生符号量推定値記憶部１１３と，発生符号量推定値出力部１１４とを備える。

入力部１００は，発生符号量推定の評価対象となるフレームレートＦを入力するとともに，第１の発明を実現する場合には，上述したモデルパラメータＡ，Ｂ，Ｃ，Ｄを入力し，第２の発明を実現する場合には，上述したモデルパラメータＢ，Ｃ，Ｄを入力する。また，撮像時におけるシャッターの開口率ｐを入力する。

モデルパラメータ記憶部１０１は，入力部１００の入力したモデルパラメータを記憶する。フレームレート記憶部１０２は，入力部１００の入力したフレームレートＦを記憶する。開口率記憶部１０５は，入力部１００の入力した開口率を記憶する。

フレームレート演算処理部１０３は，第１の発明を実現する場合には，フレームレート記憶部１０２の記憶するフレームレートＦの逆数Ｆ^-1，フレームレートＦの平方根の逆数Ｆ^-1/2を算出し，第２の発明を実現する場合には，フレームレート記憶部１０２の記憶するフレームレートＦの平方根の逆数Ｆ^-1/2を算出する。フレームレート演算結果記憶部１０４は，フレームレート演算処理部１０３の算出したフレームレートＦについての演算結果を記憶する。

開口率演算処理部１０６は，第１の発明を実現する場合には，開口率記憶部１０５の記憶する開口率ｐの逆数ｐ^-1，開口率ｐの平方根の逆数ｐ^-1/2を算出し，第２の発明を実現する場合には，開口率ｐの平方根の逆数ｐ^-1/2を算出する。開口率演算結果記憶部１０７は，開口率演算処理部１０６の算出した開口率ｐについての演算結果を記憶する。

推定予測誤差電力算出部１０８は，モデルパラメータ記憶部１０１の記憶するモデルパラメータと，フレームレート演算結果記憶部１０４の記憶するフレームレートＦについての演算結果と，開口率演算結果記憶部１０７の記憶する開口率ｐについての演算結果とを使い，第１の発明を実現する場合には，
σ_e ² ＝Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
という算出式に従って推定予測誤差電力を算出し，第２の発明を実現する場合には，
σ_e ² ≒Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
という算出式に従って推定予測誤差電力を算出する。推定予測誤差電力記憶部１０９は，推定予測誤差電力算出部１０８の算出した推定予測誤差電力を記憶する。

対数値算出部１１０は，推定予測誤差電力記憶部１０９の記憶する推定予測誤差電力の対数値を算出する。対数値記憶部１１１は，対数値算出部１１０の算出した推定予測誤差電力の対数値を記憶する。

発生符号量推定値算出部１１２は，対数値記憶部１１１の記憶する推定予測誤差電力の対数値と，フレームレート記憶部１０２の記憶するフレームレートＦとの乗算値を算出し，さらにその乗算値に０．５を乗算することで，評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出する。発生符号量推定値記憶部１１３は，発生符号量推定値算出部１１２の算出した発生符号量の推定値を記憶する。発生符号量推定値出力部１１４は，発生符号量推定値記憶部１１３の記憶する発生符号量の推定値を出力する。

図４に，図３のように構成される発生符号量推定装置１０が実行する処理フローの一例を図示する。図４の処理フローに従って，発生符号量推定装置１０が実行する処理について詳細に説明する。

発生符号量推定装置１０は，符号量の推定要求が発行されると，まず最初に，ステップＳ１０で，評価対象となるフレームレートＦと，シャッターの開口率ｐを入力し，レジスタに書き出す。

続いて，ステップＳ１１で，第１の発明を実現する場合には，上述したモデルパラメータＡ，Ｂ，Ｃ，Ｄを入力し，第２の発明を実現する場合には，上述したモデルパラメータＢ，Ｃ，Ｄを入力し，レジスタに書き出す。

続いて，ステップＳ１２で，第１の発明を実現する場合には，入力したフレームレートＦの逆数Ｆ^-1，フレームレートＦの平方根の逆数Ｆ^-1/2を算出し，第２の発明を実現する場合には，入力したフレームレートＦの平方根の逆数Ｆ^-1/2を算出する。

また，ステップＳ１３で，第１の発明を実現する場合には，入力した開口率ｐの逆数ｐ^-1，開口率ｐの平方根の逆数ｐ^-1/2を算出し，第２の発明を実現する場合には，入力した開口率ｐの平方根の逆数ｐ^-1/2を算出する。

続いて，ステップＳ１４で，第１の発明を実現する場合には，
σ_e ² ＝Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
という算出式に従って推定予測誤差電力を算出し，第２の発明を実現する場合には，
σ_e ² ≒Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
という算出式に従って推定予測誤差電力を算出する。

続いて，ステップＳ１５で，算出した推定予測誤差電力の対数値を算出する。すなわち，第１の発明を実現する場合には，算出した推定予測誤差電力「Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ」の対数値を算出し，第２の発明を実現する場合には，算出した推定予測誤差電力「Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ」の対数値を算出する。

続いて，ステップＳ１６で，算出した推定予測誤差電力の対数値と入力したフレームレートＦとの乗算値を算出してレジスタに書き出す。

続いて，ステップＳ１７で，ステップＳ１６で算出した乗算値の値に０．５を乗じることで，評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出し，レジスタに書き出す。すなわち，第１の発明を実現する場合には，式（１８）に従って評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出し，第２の発明を実現する場合には，式（２０）に従って評価対象となるフレームレートＦで符号化する場合に発生する符号量の推定値を算出するのである。

そして，最後に，ステップＳ１８で，算出した発生符号量の推定値を出力して，処理を終了する。

このようにして，発生符号量推定装置１０は，フレームレートをＦとして符号化するという制約条件が与えられた場合に，必要となる符号量を推定する処理を行う。

〔２〕本発明のフレームレート推定装置の構成
図５に，フレームレート推定装置２０の装置構成の一実施例を図示する。図５に示すように，フレームレート推定装置２０は，入力部２００と，許容符号量記憶部２０１と，モデルパラメータ記憶部２０２と，開口率記憶部２０３と，フレームレート記憶部２０４と，フレームレート増分値記憶部２０５と，フレームレート更新部２０６と，発生符号量推定部２０７と，発生符号量推定値記憶部２０８と，発生符号量推定値判定部２０９と，フレームレート出力部２１０とを備える。

入力部２００は，許容符号量と，撮像系のシャッターの開口率と，初期フレームレートと，フレームレート増分値とを入力するとともに，第３の発明を実現する場合には，上述したモデルパラメータＡ，Ｂ，Ｃ，Ｄを入力し，第４の発明を実現する場合には，上述したモデルパラメータＢ，Ｃ，Ｄを入力する。

ここで，許容符号量として与えられるのは，例えば，帯域制限等により定められる目標符号量である。また，初期フレームレートとしては十分に小さな値を用いる。

許容符号量記憶部２０１は，入力部２００の入力した許容符号量を記憶する。モデルパラメータ記憶部２０２は，入力部２００の入力したモデルパラメータを記憶する。開口率記憶部２０３は，入力部２００の入力した開口率を記憶する。フレームレート記憶部２０４は，現在のフレームレートを記憶するものであり，その初期値として入力部２００の入力した初期フレームレートを記憶する。フレームレート増分値記憶部２０５は，入力部２００の入力したフレームレート増分値を記憶する。

フレームレート更新部２０６は，発生符号量推定値判定部２０９からフレームレートの更新指示がある場合に，フレームレート記憶部２０４の記憶するフレームレートをフレームレート増分値記憶部２０５の記憶するフレームレート増分値分だけインクリメントして，上書きする形で更新する。

発生符号量推定部２０７は，図３に示す発生符号量推定装置１０と同じ装置構成で構成されて，モデルパラメータ記憶部２０２の記憶するモデルパラメータと，開口率記憶部２０３の記憶する開口率と，フレームレート記憶部２０４の記憶するフレームレートとを入力として，そのフレームレートで符号化する場合に発生する符号量の推定値を算出する。発生符号量推定値記憶部２０８は，発生符号量推定部２０７の算出した発生符号量推定値を記憶する。

発生符号量推定値判定部２０９は，発生符号量推定値記憶部２０８の記憶する発生符号量推定値と，許容符号量記憶部２０１の記憶する許容符号量とを比較して，発生符号量推定値より許容符号量の方が大きい場合には，フレームレート更新部２０６に対してフレームレートの更新を指示し，許容符号量より発生符号量推定値の方が大きい場合には，フレームレート出力部２１０に対して，フレームレート記憶部２０４に格納されたフレームレートの値の出力を指示する。

フレームレート出力部２１０は，発生符号量推定値判定部２０９により出力指示されるフレームレートを出力する。

図６に，図５のように構成されるフレームレート推定装置２０の実行する処理フローの一例を図示する。図６の処理フローに従って，本発明のフレームレート推定装置２０の実行する処理について詳細に説明する。

フレームレート推定装置２０は，フレームレートの推定要求が発行されると，最初に，ステップＳ２０で，許容符号量を入力する。

続いて，ステップＳ２１で，第３の発明を実現する場合には，上述したモデルパラメータＡ，Ｂ，Ｃ，Ｄを入力し，第４の発明を実現する場合には，上述したモデルパラメータＢ，Ｃ，Ｄを入力する。また，ステップＳ２２で，開口率を入力する。

続いて，ステップＳ２３で，フレームレートの初期値を入力して，現在のフレームレートをその初期値に設定し，さらに，その値をレジスタＳに格納する。続いて，ステップＳ２４で，フレームレートの増分値を入力して，フレームレートの増分値を設定する。

続いて，ステップＳ２５で，図３に示す発生符号量推定装置１０と同じ装置構成で構成される発生符号量推定部２０７の処理に従って，現在のフレームレート（フレームレート記憶部２０４に記憶されるフレームレート）で符号化した場合に発生する符号量の推定値を算出する。

すなわち，第３の発明を実現する場合には，入力したモデルパラメータＡ，Ｂ，Ｃ，Ｄと，開口率と，現在のフレームレートとを使って，図４の処理フローに従う処理を実行することで，式（１９）に基づき現在のフレームレートで符号化した場合に発生する符号量の推定値を算出し，第４の発明を実現する場合には，入力したモデルパラメータＢ，Ｃ，Ｄと，開口率と，現在のフレームレートとを使って，図４の処理フローに従う処理を実行することで，式（２０）に基づき現在のフレームレートで符号化した場合に発生する符号量の推定値を算出する。

続いて，ステップＳ２６で，算出した発生符号量の推定値が入力した許容符号量よりも小さいか否かを判断して，発生符号量の推定値の方が許容符号量よりも小さい場合には，ステップＳ２７に進んで，現在のフレームレートをレジスタＳに格納する。

続いて，ステップＳ２８で，フレームレートの増分値に応じて，現在のフレームレートをインクリメントしてから，ステップＳ２５の処理に戻る。

このようにして，ステップＳ２５〜ステップＳ２８の処理を繰り返していくことで，ステップＳ２６で，算出した発生符号量の推定値の方が入力した許容符号量よりも大きくなったと判断した場合には，ステップＳ２９に進んで，レジスタＳに格納してあるフレームレート（１つ前に更新したフレームレート）を出力して，処理を終了する。

以上のようにして，フレームレート推定装置２０は，符号量を許容符号量以下に抑えるという制約条件が与えられた場合に，それを実現する最大のフレームレートを推定する処理を行う。

以上の発生符号量推定の処理およびフレームレート推定の処理は，ハードウェアやファームウェアによって実現することができるとともに，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

発生符号量推定処理を説明するための図である。 フレームレート推定処理を説明するための図である。 発生符号量推定装置の装置構成の一実施例を示す図である。 発生符号量推定装置が実行する処理フローを示す図である。 フレームレート推定装置の装置構成の一実施例を示す図である。 フレームレート推定装置が実行する処理フローを示す図である。

符号の説明

１０ 発生符号量推定装置
１００ 入力部
１０１ モデルパラメータ記憶部
１０２ フレームレート記憶部
１０３ フレームレート演算処理部
１０４ フレームレート演算結果記憶部
１０５ 開口率記憶部
１０６ 開口率演算処理部
１０７ 開口率演算結果記憶部
１０８ 推定予測誤差電力算出部
１０９ 推定予測誤差電力記憶部
１１０ 対数値算出部
１１１ 対数値記憶部
１１２ 発生符号量推定値算出部
１１３ 発生符号量推定値記憶部
１１４ 発生符号量推定値出力部

Claims (12)

1. フレーム間予測を伴う映像符号化において，与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定方法であって，
   制約条件として与えられるフレームレートＦと，撮像系のシャッターの開口率ｐと，４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄとを入力する過程と，
   上記モデルパラメータＡと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦの逆数Ｆ^-1との積，および上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する過程と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，与えられたフレームレートＦの映像を符号化する場合に発生する符号量を算出する過程とを有する
   ことを特徴とする符号量推定方法。
2. フレーム間予測を伴う映像符号化において，与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定方法であって，
   制約条件として与えられるフレームレートＦと，撮像系のシャッターの開口率ｐと，３個のモデルパラメータＢ，Ｃ，Ｄとを入力する過程と，
   上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する過程と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，与えられたフレームレートＦの映像を符号化する場合に発生する符号量を算出する過程とを有する
   ことを特徴とする符号量推定方法。
3. フレーム間予測を伴う映像符号化において，与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定方法であって，
   符号量の制約条件と，撮像系のシャッターの開口率ｐと，４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄとを入力する過程と，
   フレームレートを初期値から順次，所定の値だけ増加させた各フレームレートＦの値を設定する過程と，
   上記モデルパラメータＡと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦの逆数Ｆ^-1との積，および上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する過程と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，上記設定された各フレームレートＦの映像を符号化する場合に発生する符号量を予測し，その予測した符号量と上記制約条件となる符号量とを比較することにより，上記制約条件下において達成可能な最大のフレームレートＦを推定する過程とを有する
   ことを特徴とするフレームレート推定方法。
4. フレーム間予測を伴う映像符号化において，与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定方法であって，
   符号量の制約条件と，撮像系のシャッターの開口率ｐと，３個のモデルパラメータＢ，Ｃ，Ｄとを入力する過程と，
   フレームレートを初期値から順次，所定の値だけ増加させた各フレームレートＦの値を設定する過程と，
   上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する過程と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，上記設定された各フレームレートＦの映像を符号化する場合に発生する符号量を予測し，その予測した符号量と上記制約条件となる符号量とを比較することにより，上記制約条件下において達成可能な最大のフレームレートＦを推定する過程とを有する
   ことを特徴とするフレームレート推定方法。
5. フレーム間予測を伴う映像符号化において，与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定装置であって，
   制約条件として与えられるフレームレートＦと，撮像系のシャッターの開口率ｐと，４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄとを入力する手段と，
   上記モデルパラメータＡと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦの逆数Ｆ^-1との積，および上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する手段と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，与えられたフレームレートＦの映像を符号化する場合に発生する符号量を算出する手段とを備える
   ことを特徴とする符号量推定装置。
6. フレーム間予測を伴う映像符号化において，与えられたフレームレートで映像を符号化する場合に発生する符号量を推定する符号量推定装置であって，
   制約条件として与えられるフレームレートＦと，撮像系のシャッターの開口率ｐと，３個のモデルパラメータＢ，Ｃ，Ｄとを入力する手段と，
   上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する手段と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，与えられたフレームレートＦの映像を符号化する場合に発生する符号量を算出する手段とを備える
   ことを特徴とする符号量推定装置。
7. フレーム間予測を伴う映像符号化において，与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定装置であって，
   符号量の制約条件と，撮像系のシャッターの開口率ｐと，４個のモデルパラメータＡ，Ｂ，Ｃ，Ｄとを入力する手段と，
   フレームレートを初期値から順次，所定の値だけ増加させた各フレームレートＦの値を設定する手段と，
   上記モデルパラメータＡと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦの逆数Ｆ^-1との積，および上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ａｐ^-1Ｆ^-1＋Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する手段と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，上記設定された各フレームレートＦの映像を符号化する場合に発生する符号量を予測し，その予測した符号量と上記制約条件となる符号量とを比較することにより，上記制約条件下において達成可能な最大のフレームレートＦを推定する手段とを備える
   ことを特徴とするフレームレート推定装置。
8. フレーム間予測を伴う映像符号化において，与えられた符号量の制約条件下において達成可能な最大のフレームレートを推定するフレームレート推定装置であって，
   符号量の制約条件と，撮像系のシャッターの開口率ｐと，３個のモデルパラメータＢ，Ｃ，Ｄとを入力する手段と，
   フレームレートを初期値から順次，所定の値だけ増加させた各フレームレートＦの値を設定する手段と，
   上記モデルパラメータＢと上記開口率ｐの平方根の逆数ｐ^-1/2と上記フレームレートＦの平方根の逆数Ｆ^-1/2との積，および上記モデルパラメータＣと上記開口率ｐの逆数ｐ^-1と上記フレームレートＦとの積，および上記モデルパラメータＤの定数項との和からなるコスト関数
   Ｂｐ^-1/2Ｆ^-1/2＋Ｃｐ^-1Ｆ＋Ｄ
   の値を算出する手段と，
   算出したコスト関数の値の対数値に，フレームレートＦを乗じて得られる量に基づき，上記設定された各フレームレートＦの映像を符号化する場合に発生する符号量を予測し，その予測した符号量と上記制約条件となる符号量とを比較することにより，上記制約条件下において達成可能な最大のフレームレートＦを推定する手段とを備える
   ことを特徴とするフレームレート推定装置。
9. 請求項１または請求項２に記載の符号量推定方法の実現に用いられる処理をコンピュータに実行させるための符号量推定プログラム。
10. 請求項３または請求項４に記載のフレームレート推定方法の実現に用いられる処理をコンピュータに実行させるためのフレームレート推定プログラム。
11. 請求項１または請求項２に記載の符号量推定方法の実現に用いられる処理をコンピュータに実行させるための符号量推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 請求項３または請求項４に記載のフレームレート推定方法の実現に用いられる処理をコンピュータに実行させるためのフレームレート推定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images