JP2023124387A - ビットレート決定装置、符号化装置、およびプログラム - Google Patents

Abstract

【課題】効率のよい空間スケーラブル符号化を行うためのビットレートを適切に決定することのできるビットレート決定装置、符号化装置、およびプログラムを提供する。【解決手段】先行空間スケーラブル符号化部は、先行して符号化および復号を行い、符号化画像と対応する前記ビットレートとの対を出力する。精細感領域情報導出部は、入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を求める。歪み算出部は、先行空間スケーラブル符号化部から出力される符号化画像の、求められた精細感領域情報が示す領域における歪み度合いを算出する。割り当てビットレート算出部は、前記ビットレートと、対応する前記歪み度合いと、の対を基に定まるＲＤ曲線における、所定の傾きを有する位置に対応するビットレートに基づいて定まる割り当てビットレートを求める。【選択図】図１

Description

本発明は、ビットレート決定装置、符号化装置、およびプログラムに関する。

複数の異なる解像度の映像を効率的に符号化する方法として、空間スケーラブル符号化の手法がある。空間スケーラブル符号化の手法では、相対的に低解像度映像の符号化情報であるベースレイヤー（ＢＬ）と、高解像度映像と低解像度映像の差分の符号化情報であるエンハンスメントレイヤー（ＥＬ）とを階層的に符号化する。なお、エンハンスメントレイヤーの符号化を行う際には、ベースレイヤーの符号に基づく階層間処理を行う。復号する際には、ベースレイヤーから低解像度映像を復号し、ベースレイヤーおよびエンハンスメントレイヤーの両方から高解像度映像を復号することができる。

空間スケーラブル符号化を利用すると、一例として、２Ｋ映像をベースレイヤーで符号化し、４Ｋ映像をベースレイヤーおよびエンハンスメントレイヤーで符号化する。一般的には、エンハンスメントレイヤーが複数存在していてもよい。最新の符号化方式ＶＶＣ（Versatile Video Coding）では、空間スケーラブル符号化を行うMultilayer main 10プロファイルが第一版から規定されており、放送および通信による映像サービスにおいてその利用が期待されている。なお、空間スケーラブル符号化に対して、レイヤー数が１である通常の符号化をシングルレイヤー符号化と呼ぶ。

一般的に、映像符号化では、限られた伝送帯域で高品質に符号化を行うために符号化制御が行われている。ビットレート割当処理と、ＲＤ最適化（レート歪み最適化）との２つの処理で行われる。ビットレート割当処理は、ＧＯＰ（group of pictures）単位、フレーム単位、ブロック単位といった単位で適切にビットレートを割り当てる処理（ビット割り当て）である。ビットレート割当処理では、全体の目標ビットレートを超えないように、消費ビットレートを監視しながら、所定単位ごとにビットレートを割り当てる。ＲＤ最適化は、ビットレート割当処理によって割り当てられたビットレートの範囲内で画質を最大化する予測モードの選択を行う処理である。つまり、ＲＤ最適化処理では、割り当てられたビットレートにおいて、歪みを最小化する予測モードの選択を行う。

ＨＥＶＣ（High Efficiency Video Codec）やＶＶＣなど近年の映像符号化規格の参照ソフトウェアであるＨＭ（ＨＥＶＣテストモデル）やＶＴＭ（ＶＶＣテストモデル）のＲＤ最適化では、コスト関数Ｊ＝Ｄ＋λＲを最小化する予測モードを選択する。ここで、Ｄは歪み、Ｒはビットレート、λはラグランジュ乗数（Lagrange multiplier）である。ラグランジュ乗数λは、映像や量子化パラメーター（ＱＰ，quantization parameter）に依存して算出される値である。ＶＴＭでは、λの値は、量子化パラメーターＱＰとビット深度ｂとを用いて、下の関係式によって求められる。

ただし、この式において、aは、予測モードごとに決定される定数である。λの値が決まると、予測モードごとにＤおよびＲに基づいてコストＪを計算し、Ｊが最小となる予測モードを採用して符号化を行う。

以上の符号化制御手法によって、目標ビットレートを超えないように効率的な符号化を行うことができる。

非特許文献１には、Ｈ．２６５／ＨＥＶＣについて記載されている。

非特許文献２には、ＶＶＣについて記載されている。

大久保榮・監修，インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」，初版，インプレスジャパン，２０１３年１０月２１日発行． Benjamin Bross 他，Overview of the Versatile Video Coding (VVC) Standard and Its Applications，IEEE Transactions on Circuits and Systems for Video Technology, VOL. 31, NO. 10, October 2021．

シングルレイヤー符号化では、目標ビットレートを決めれば上で述べた手法により効率的な符号化を行うことができる。一方で、空間スケーラブル符号化では目標ビットレートを各レイヤーに適切に割り当てる処理が必要となる。

ベースレイヤーとエンハンスメントレイヤーのそれぞれに割り当てるビットレート(Ｒ_ＢＬ，Ｒ_ＥＬ)を適切に定めることができれば、シングルレイヤー符号化と同様の符号化制御を行うことが可能である。このとき、符号化する映像および割当てビットレートＲ_ＢＬ，Ｒ_ＥＬの値に応じて符号化品質が変動する。このため、限られた帯域で品質を最大化するようにＲ_ＢＬ，Ｒ_ＥＬを決める処理が必要となる。

しかしながら、解像度の異なるベースレイヤーとエンハンスメントレイヤーの品質をＰＳＮＲ（peak signal-to-noise ratio，ピーク信号対雑音比）等の客観指標で評価することは困難である。一例としてベースレイヤーとエンハンスメントレイヤーとで合わせて２０Ｍｂｐｓ（メガビット毎秒）で符号化する際に、Ｒ_ＢＬ＝１５Ｍｂｐｓ，ＰＳＮＲ_ＢＬ＝４２，Ｒ_ＥＬ＝５Ｍｂｐｓ，ＰＳＮＲ_ＥＬ＝４０の場合と、Ｒ_ＢＬ＝１８Ｍｂｐｓ，ＰＳＮＲ_ＢＬ＝４５，Ｒ_ＥＬ＝２Ｍｂｐｓ，ＰＳＮＲ_ＥＬ＝３７の場合とで、どちらの品質が高いかを単純に求めることはできない。そこで、効率的な空間スケーラブル符号化を行うための各レイヤーのビットレート（Ｒ_ＢＬ，Ｒ_ＥＬ）を決める方法の開発が求められる。

本発明は、上記の課題認識に基づいて行なわれたものであり、効率のよい空間スケーラブル符号化を行うためのビットレートを適切に決定することのできるビットレート決定装置、符号化装置、およびプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様によるビットレート決定装置は、入力画像を基に、複数のレイヤーへの所定のビットレートでの空間スケーラブル符号化を行うとともに、空間スケーラブル符号化の結果の符号を復号し、復号した結果である符号化画像と、前記符号化画像に対応するビットレートと、の対を出力する先行空間スケーラブル符号化部と、前記入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を、前記入力映像から求める精細感領域情報導出部と、前記先行空間スケーラブル符号化部から出力される前記符号化画像の、求められた前記精細感領域情報が示す領域における歪み度合いを算出する歪み算出部と、前記先行空間スケーラブル符号化部が出力する前記ビットレートと、対応する前記歪み度合いと、の対を基に定まるＲＤ曲線における、所定の傾きを有する位置に対応するビットレートに基づいて定まる割り当てビットレートを求める割り当てビットレート算出部と、を備える。
この構成によると、ビットレート決定装置は、先行空間スケーラブル符号化部が実際の符号化に先行して行う符号化および復号の結果に基づいて、ビットレートと歪みとの関係を取得する。また、ビットレート決定装置は、この関係に基づいて、最適な（あるいはほぼ最適な）ビットレートを求める。

［２］また、本発明の一態様は、上記のビットレート決定装置において、前記割り当てビットレート算出部は、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤーのそれぞれのための前記割り当てビットレートを求める、というものである。
この構成によると、ビットレート決定装置は、最下位のベースレイヤー以外の１つまたは複数のレイヤー（実施形態で説明するエンハンスメントレイヤー）のビットレートを定めることができる。

［３］また、本発明の一態様は、上記のビットレート決定装置において、前記精細感領域情報導出部は、前記入力画像を縮小した後で拡大することによって得られる画像と、前記入力画像との差分画像を作成する差分画像作成部と、前記差分画像作成部が作成した前記差分画像に基づく各画素の画素値を所定の閾値に基づいて二値化した二値化画像を、前記精細感領域情報として生成する二値化部と、を備えるものである。

［４］また、本発明の一態様は、上記のビットレート決定装置において、前記精細感領域情報導出部は、前記差分画像におけるノイズを除去するノイズ除去部、をさらに備え、前記二値化部は、前記ノイズ除去部がノイズを除去した後の前記差分画像に基づいて、前記二値化画像を、前記精細感領域情報として生成する、というものである。

［５］また、本発明の一態様は、上記のビットレート決定装置において、前記精細感領域情報導出部は、前記入力画像に所定の帯域通過フィルター処理を行った画像を二値化して得られる二値化画像を、前記精細感領域情報として生成する、というものである。

［６］また、本発明の一態様は、上記のビットレート決定装置において、割り当てビットレート算出部は、前記ＲＤ曲線における前記所定の傾きの値を、空間スケーラブル符号化における最下位のベースレイヤーの量子化パラメーターの値に基づいて算出する、ものである。

［７］また、本発明の一態様は、上記のビットレート決定装置において、前記割り当てビットレート算出部が求めた前記割り当てビットレートを補正するビットレート補正部、をさらに備え、前記ビットレート補正部は、（１）前記最下位のベースレイヤーのためのビットレートとしての下限値が確保できるように、前記割り当てビットレートを補正し、あるいは、（２）前記最下位のベースレイヤー以外の１つまたは複数のレイヤーのための前記割り当てビットレートが上限値を超えないように、前記割り当てビットレートを補正する、というものである。
この構成によると、ビットレート決定装置は、割り当てビットレート算出部が求めた割り当てビットレートを、上記下限値あるいは上記上限値に基づいて補正できる。

［８］また、本発明の一態様による符号化装置は、上記［１］から［７］までのいずれか一項に記載のビットレート決定装置と、前記入力画像の空間スケーラブル符号化を行う空間スケーラブル符号化部と、を備える符号化装置であって、前記空間スケーラブル符号化部は、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤーについては、前記ビットレート決定装置が求めた前記割り当てビットレートを目標とする符号化を行う、ものである。
この構成によると、ビットレート決定装置が決定するビットレートを用いて、符号化装置は、空間スケーラブル符号化を行うことができる。

［９］また、本発明の一態様は、入力画像を基に、複数のレイヤーへの所定のビットレートでの空間スケーラブル符号化を行うとともに、空間スケーラブル符号化の結果の符号を復号し、復号した結果である符号化画像と、前記符号化画像に対応するビットレートと、の対を出力する先行空間スケーラブル符号化部と、前記入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を、前記入力映像から求める精細感領域情報導出部と、前記先行空間スケーラブル符号化部から出力される前記符号化画像の、求められた前記精細感領域情報が示す領域における歪み度合いを算出する歪み算出部と、前記先行空間スケーラブル符号化部が出力する前記ビットレートと、対応する前記歪み度合いと、の対を基に定まるＲＤ曲線における、所定の傾きを有する位置に対応するビットレートに基づいて定まる割り当てビットレートを求める割り当てビットレート算出部と、を備えるビットレート決定装置、としてコンピューターを機能させるためのプログラムである。

本発明によれば、先行空間スケーラブル符号化部が実際の符号化に先行して行う符号化および復号の結果に基づいて、ビットレートを決定することができる。

本発明の実施形態による符号化装置（ビットレート決定装置を内部に含む）の概略機能構成を示すブロック図である。 同実施形態による符号化装置内の精細感領域情報導出部の詳細な機能構成を示すブロック図である。 同実施形態における精細感領域情報導出部に入力されるフレーム画像（原画）の一例を示す概略図である。 同実施形態において、図３に示した画像を精細感領域情報導出部が処理した結果として出力される画像（精細感領域情報）の例を示す概略図である。 同実施形態による割り当てビットレート算出部の概略機能構成を示すブロック図である。 同実施形態においてビットレートを求めるための、精細感領域でのＲＤ曲線を示すグラフの一例である。 同実施形態の第６変形例による符号化装置の概略機能構成を示すブロック図である。 同実施形態（変形例を含む）による符号化装置の内部構成の例を示すブロック図である。

次に、本発明の一実施形態について、図面を参照しながら説明する。本実施形態のビットレート決定装置は、空間スケーラブル符号化を効率的に行うために各レイヤーに割り当てるビットレートを決定する。また、符号化装置は、決定されたビットレートにより空間スケーラブル符号化を行う装置である。

本実施形態では、まずエンハンスメントレイヤーのビットレートＲ_ＥＬを適切に決定し、その後にベースレイヤーのビットレートＲ_ＢＬを決定する。この手順により、効率的な符号化を実現できる。その理由は、次の通りである。

放送信号だけを用いて空間スケーラブル符号化した映像を伝送する場合を想定すると、全体のビットレートを固定とすることができる。即ち、（Ｒ_ＢＬ＋Ｒ_ＥＬ）が一定であるとすることができる。このとき、Ｒ_ＥＬが大きいほど、エンハンスメントレイヤーの品質が向上し高解像度の映像を高品質に符号化できるが、ベースレイヤーの品質は低下する。逆にＲ_ＥＬとして最低限必要なビットレートを決定することができれば、残りのビットレートをすべてＲ_ＢＬとすることができる。これにより、無駄に多くのビットレートをＲ_ＥＬに割いてベースレイヤーの品質が劣化することを防ぎ、限られた帯域を効率的に使用することができる。

通信を用いて伝送する映像を伝送する場合を想定すると、全体のビットレートは可変であり得る（可変ビットレート）。４Ｋ映像あるいは８Ｋ映像のような高解像度映像の場合や、動きが多く符号化の難しい映像の場合には、画質にほとんど差がないにも関わらず膨大なデータ量が発生して帯域が無駄になったり、データ量が膨大になってネットワークが不安定化する原因となったりすることも起こり得る。このとき、エンハンスメントレイヤーの品質を十分改善できるビットレートとしてＲ_ＥＬを決めることができれば、無駄に多くのデータの伝送を発生させず、帯域を効率的に利用し、安定して映像サービスを行うことが可能となる。

上記の通り、Ｒ_ＥＬを適切に決定することができれば、全体の伝送レートが固定ビットレートか可変ビットレートかに依らず、効率的な符号化を実現することができる。以下では、ビットレートを適切に決定するための装置の機能構成を説明する。

空間スケーラブル符号化において、ベースレイヤーの映像は高周波数成分を失っている。このため、どれほどＲ_ＢＬを高くしても本来エンハンスメントレイヤーが保持していた高周波数成分（精細感）を再現することはできない。本実施形態では、ベースレイヤーで再現できないエンハンスメントレイヤーの信号を基に、エンハンスメントレイヤーに必要なビットレートＲ_ＥＬを導出する。そして、導出結果であるその値を基に、ベースレイヤーに割り当てるビットレートＲ_ＢＬ、およびエンハンスメントレイヤーに割り当てるビットレートＲ_ＥＬを決定する。

本実施形態の構成における重要なポイントは、画像の中から精細感を再現する信号を取り出すことと、その信号の歪みを用いて作成したＲＤ曲線（レート対歪み曲線，rate distortion curve）を基にして適正なビットレートを算出すること、の２つである。本実施形態においては、画像の中から精細感を再現する信号を取り出すことは、精細感領域情報導出部２１が導出する精細感領域情報（画素ごとの精細感の有無の度合いを表す情報）に基づいて行える。信号の歪みを用いてＲＤ曲線を作成することは、傾き算出部２３１が行う。ＲＤ曲線を基に適正なビットレートを算出することは、ビットレート算出部２３２が行う。なお、変形例として後で説明するように、ビットレート補正部２４がそのビットレートを補正してもよい。

横軸をビットレート、縦軸を歪み度合い（例えば歪みの量のＭＳＥ値）としたときに、ここでのＲＤ曲線の特徴は、次の通りである。即ち、第１の特徴は、ビットレートの増加に対して歪み度合いが単調に減少する単調減少曲線である（着目するビットレート領域の全体にわたって、１次微分係数が負である）こと、である。また、第２の特徴は、下に凸な曲線である（着目するビットレート領域の全体にわたって、２次微分係数が非負である）こと、である。このようなＲＤ曲線において最適なビットレートを求める方法の一つは、所定の傾きを有する直線がＲＤ曲線に接するときに、その接点を求めることであり、その接点に対応するビットレートが、最適な（あるいはほぼ最適な）ビットレートである。
言い換えれば、上記のようなＲＤ曲線において、上記所定の傾きを有する位置に対応するビットレートが、最適な（あるいはほぼ最適な）ビットレートである。なお、歪みの量のＭＳＥ値以外の画質指標を用いた場合には、ビットレートの増加に対して歪み度合いを表す値のＲＤ曲線が単調減少曲線とはならない場合もある。例えば、ＰＳＮＲ等を画質指標（歪み度合い）として用いた場合には、単調増加曲線（着目するビットレート領域の全体にわたって、１次微分係数が正である）となる。また、用いる画質指標によっては、ＲＤ曲線は必ずしも下に凸な曲線とはならない場合もある。これらの場合においても、ＲＤ曲線の傾きに応じて最適なビットレートを求めることができる。また、ＲＤ曲線と直線との接点に基づいて、ビットレートを決定できる場合がある。

図１は、本実施形態による符号化装置の概略機能構成を示すブロック図である。図示するように、符号化装置１は、符号化部１１と、復号部１２と、精細感領域情報導出部２１と、歪み算出部２２と、割り当てビットレート算出部２３と、空間スケーラブル符号化部３１と、を含むように構成される。これらの機能部の少なくとも一部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。

符号化装置１は、適切なビットレートによるスケーラブル空間符号化を行うものである。この符号化装置１に入力される映像は、符号化対象の映像であり、高解像度映像である。映像は、時系列に並ぶフレーム画像のシリーズである。つまり、本実施形態において映像を符号化することは、映像を構成するフレーム画像を符号化する処理に還元される。

符号化装置１の構成のうち、符号化部１１と、復号部１２と、精細感領域情報導出部２１と、歪み算出部２２と、割り当てビットレート算出部２３とを含む部分の構成を、ビットレート決定装置２と捉えることができる。つまり、ビットレート決定装置２は、入力される映像に基づいて、適切なビットレートを決定する。

ビットレート決定装置２は、ビットレートを決定するための処理の一部として、入力される映像の符号化および復号を先行して行う。つまり、符号化装置１の構成のうち、符号化部１１と、復号部１２とを含む部分の構成を、先行空間スケーラブル符号化部３と呼んでもよい。

符号化部１１は、入力される映像の空間スケーラブル符号化を行う。符号化部１１は、既存技術による空間スケーラブル符号化を行える。

復号部１２は、符号化部１１によって符号化された映像を復号する。復号部１２による復号も、既存技術によって行える。

先行空間スケーラブル符号化部３は、符号化結果の情報として、ビットレートと符号化映像（復号部１２によって復号された映像）との対を出力する（歪み算出部２２に渡す）。

精細感領域情報導出部２１は、入力映像（高解像度映像）の中の、精細感領域の情報を導出する。ここで精細感領域とは、映像の中の精細感を有する領域であり、ベースレイヤーでは再現できないエンハンスメントレイヤーの情報を有する領域である。
つまり、精細感領域情報導出部２１は、入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を、入力映像を基に求める。
言い換えれば、精細感領域情報導出部２１は、ベースレイヤーの符号だけでは再現できないエンハンスメントレイヤーの情報が存在する領域についての情報（精細感領域情報）を導出する。

歪み算出部２２は、入力画像（入力映像）における精細感領域の歪みを計算する。具体的には、歪み算出部２２は、先行空間スケーラブル符号化部３から出力される符号化画像の、精細感領域情報導出部２１によって求められた精細感領域情報が示す領域における歪み度合いを算出する。

具体的には、歪み算出部２２は、次のような処理を行う。歪み算出部２２は、エンハンスメントレイヤーのビットレートＲ_ＥＬを変えて、複数のＲ_ＥＬのそれぞれについて符号化画像を作成する。このとき、ベースレイヤーのビットレートＲ_ＢＬは任意である。次に、歪み算出部２２は、それぞれのＲ_ＥＬに対応する符号化画像に対して、精細感領域における歪みを算出する。具体的には、歪み算出部２２は、歪みの平均二乗誤差（ＭＳＥ，mean squared error）やＰＳＮＲ（ピーク信号対雑音比）などの指標を算出する。なお、歪み算出部２２は、このとき、精細感領域情報導出部２１が出力する精細感領域情報の画像を参照することによって、画像内の精細感領域を把握する。歪み算出部２２は、エンハンスメントレイヤーのビットレートＲ_ＥＬと算出された歪みの数値との対の集合を、割り当てビットレート算出部２３に渡す。

割り当てビットレート算出部２３は、符号化映像と精細感領域情報とを基にして、レートと歪みの関係を解析し、その解析結果から割り当てビットレートを算出する。なお、割り当てビットレート算出部２３は、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤー（即ち、１つまたは複数のエンハンスメントレイヤー）のそれぞれのための前記割り当てビットレートを求めるものであってよい。

より具体的には、割り当てビットレート算出部２３は、先行空間スケーラブル符号化部３が出力するビットレートと、そのビットレートに対応する歪み度合いと、の対を基に、ＲＤ曲線を定める。そして、割り当てビットレート算出部２３は、所定の傾き（λ_ｄｉｆ）を有する位置に対応するビットレート（ｒ）に基づいて定まる割り当てビットレートを求める。割り当てビットレート算出部２３は、上記の方法でエンハンスメントレイヤーのビットレートＲ_ＥＬを決定する。割り当てビットレート算出部２３は、ベースレイヤーのビットレートＲ_ＢＬを任意に決定してよい。ただし、割り当てビットレート算出部２３は、例えば、伝送路全体のビットレートが固定レートである場合などには、決定されたＲ_ＥＬに基づいてＲ_ＢＬを決定してもよい。

割り当てビットレート算出部２３のさらに詳細な機能構成については、後で図５を参照しながら説明する。

空間スケーラブル符号化部３１は、割り当てビットレート算出部２３によって決定されたビットレートで、入力画像の空間スケーラブル符号化を行う。空間スケーラブル符号化部３１は、特に、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤー（即ちエンハンスメントレイヤー）については、割り当てビットレート算出部２３が求めた割り当てビットレートを目標とする符号化を行う。

ただし、後述する第６変形例の場合には、割り当てビットレート算出部２３によって決定されたビットレートは、ビットレート補正部２４によって補正される。

符号化装置１内において、前述のビットレート決定装置２は、入力される映像（画像）に基づいてビットレートを決定する。

また、符号化装置１内において、前述の先行空間スケーラブル符号化部３は、入力画像を基に、複数のレイヤーへの所定のビットレートでの空間スケーラブル符号化を行うとともに、空間スケーラブル符号化の結果の符号を復号し、復号した結果である符号化画像と、その符号化画像に対応するビットレートと、の対を出力する。

図２は、本実施形態による精細感領域情報導出部２１の概略機能構成を示すブロック図である。図示するように、精細感領域情報導出部２１は、縮小処理部２１１と、拡大処理部２１２と、差分画像作成部２１３と、ノイズ除去部２１４と、二値化部２１５と、を含んで構成される。精細感領域情報導出部２１には、前述の入力映像（高解像度映像）が入力される。

縮小処理部２１１は、入力映像の各フレーム画像（原画）を、縮小する。つまり、縮小処理部２１１は、入力される高解像映像を、相対的に低解像の映像に変換する。具体的には、縮小処理部２１１は、高解像映像を、ベースレイヤーの画素数の映像に変換する。縮小処理部２１１は、縮小後の映像を拡大処理部２１２に渡す。

拡大処理部２１２は、縮小処理部２１１から渡される映像を拡大する。具体的には、拡大処理部２１２は、渡される映像の画素の補間を行うことにより、縮小前の解像度（入力映像の解像度）に変換する。拡大処理部２１２は、拡大後の映像を差分画像作成部２１３に渡す。

縮小処理部２１１および拡大処理部２１２がそれぞれ縮小処理および拡大処理に用いるフィルターは、既存技術によるものでよく、任意に選択可能である。例えば、Bi-Cubicフィルター（バイキュービックフィルター）やLanczosフィルター（ランチョスフィルター）などを用いることができる。縮小処理部２１１および拡大処理部２１２が映像を縮小してから拡大する処理を行うことによって、入力映像が持っていた精細感は失われる。

差分画像作成部２１３は、入力映像（原画）と、拡大処理部２１２から渡される映像（縮小後に拡大した映像）との差分を計算して、差分画像を作成する。言い換えれば、差分画像作成部２１３は、入力画像を縮小した後で拡大することによって得られる画像（拡大処理部２１２からの出力）と、入力画像（原画）との差分画像を作成する。具体的には、差分画像作成部２１３は、両映像で対応する画素間での画素値の差分を算出する。差分画像は、精細感の度合いを各画素の画素値として表す画像であると考えてよい。差分画像作成部２１３は、生成した差分画像を、ノイズ除去部２１４に渡す。

ノイズ除去部２１４は、差分画像作成部２１３から渡される差分画像に含まれるノイズを除去する処理を行う。差分画像作成部２１３から渡される差分画像には、カメラノイズなど高周波成分のノイズが含まれると考えられるため、このノイズ除去部２１４によるノイズ除去を行う。ノイズ除去部２１４は、ノイズ除去の処理のためにノイズ除去用の任意のフィルターを用いてよい。ノイズ除去用のフィルターとしては、既存技術によるものを用いることができる。ノイズ除去部２１４は、例えば、中央値フィルターや低域通過フィルターなどを用いてノイズ除去の処理を行うことができる。また、ノイズ除去部２１４は、低域通過フィルター後に中央値フィルターをかけるなど、複数のフィルターを組み合わせてノイズ除去を行ってもよい。また、ノイズ除去部２１４は、ノイズ除去処理の過程で併せてその他の画像処理を行ってもよい。ノイズ除去部２１４は、処理後の映像を、二値化部２１５に渡す。

なお、ノイズ除去が不要な場合には、ノイズ除去部２１４によるノイズ除去処理を省略するようにしてもよい。

二値化部２１５は、差分画像作成部２１３が作成した差分画像に基づく各画素の画素値を所定の閾値に基づいて二値化した二値化画像を生成する。この二値化画像が、精細感領域情報である。つまり、二値化画像は、精細感に関する領域の情報を表す。ノイズ除去部２１４がノイズ除去の処理を行う場合には、二値化部２１５は、ノイズ除去部２１４がノイズを除去した後の差分画像に基づいて、上記の二値化画像を生成する。

つまり、二値化部２１５は、ノイズ除去部２１４から渡される映像（あるいは、ノイズ除去部２１４による処理を省略する場合には、差分画像作成部２１３から直接渡される映像であってもよい）を二値化する処理を行う。二値化部２１５は、例えば、１０ビットの映像の輝度信号を、画素ごとに任意に定められる閾値に基づき、０と１０２３に二値化してよい。また、二値化部２１５は、ノイズ除去部２１４から渡される差分画像に所定のフィルターをかける処理を行ったうえで所定の閾値に基づく二値化画像を生成してもよい。二値化部２１５が出力する画像は、原画の中の、空間スケーラブル符号化においてベースレイヤーでは再現できない精細感を持つ領域を表す情報である。

つまり、二値化部２１５が生成する画像は、精細感領域情報導出部２１（図１）が出力する画像である。精細感領域情報については、次の図３および図４を参照しながら説明する。

図３は、精細感領域情報導出部２１に入力されるフレーム画像（原画）の一例を示す概略図である。ここでの原画は、マラソン大会のスタート地点を撮影した画像であり、元はカラー画像である。

図４は、図３に示した画像を精細感領域情報導出部２１が処理した結果として出力される画像を示す概略図である。ここでは、精細感領域情報導出部２１内の二値化部２１５は、ノイズ除去部２１４から渡される差分画像の輝度信号（画素値は０以上且つ１０２３以下の範囲）を閾値２０で二値化し、３×３の中央値フィルターの処理を３回行い、閾値７００で二値化した。図４の二値化画像は、画素ごとに白と黒との２値で表わされている。両図を見てわかるように、精細感領域情報導出部２１は、原画の中の精細感の高い領域を良好に抽出している。

次に、導出された精細感領域情報に基づいて各レイヤーに割り当てるビットレートを決定する割り当てビットレート算出部２３の処理の詳細について説明する。

図５は、本実施形態による割り当てビットレート算出部の概略機能構成を示すブロック図である。図示するように、割り当てビットレート算出部２３は、傾き算出部２３１と、ビットレート算出部２３２と、を含んで構成される。

傾き算出部２３１は、エンハンスメントレイヤーのビットレートＲ_ＥＬとそのビットレートに対応する精細感領域における歪みに基づいて、所定のビットレートＲ_ＥＬの位置における曲線の傾きを求める。具体的には、傾き算出部２３１は、前述の歪み算出部２２から、ビットレートＲ_ＥＬとそれに対応する歪みの平均二乗誤差の値との対の集合を受け取る。そして、傾き算出部２３１は、それらの値の対の集合に基づき、該当する点をプロットすることによって特定の曲線を求める。この曲線は、求められている精細感領域におけるＲＤ曲線である。なお、回帰の手法を用いてＲＤ曲線を求めるようにしてもよい。この曲線の例については、後で図６を参照しながら説明する。

ベースレイヤーの符号化結果を用いて傾きを算出する例は、次の通りである。複数の符号化画像を作成する際のベースレイヤー符号化結果より、ベースレイヤーでの量子化パラメーター（ＱＰ_ＢＬ）がわかっている。ＲＤ最適化に関する先行研究より、効率的な符号化を行うためのベースレイヤーのラグランジュ乗数λ_ＢＬは、ＱＰ_ＢＬを用いて下の式で求められることが知られている。なお、ａおよびｂについては、上で説明した通りである。

求める傾きλ_ｄｉｆを、下の式の通りとする。

なお、ｗは、重みを表す係数である。ｗの値を事前に決めておいてもよいし、映像ごとに適応的にｗの値を決定してもよい。一般的にベースレイヤーとエンハンスメントレイヤーとの間でＲＤ曲線の関数は異なるため、重み係数ｗを掛けてλ_ｄｉｆを求めることには妥当性がある。なお、例えば、０．８０≦ｗ≦１．２０の範囲内のｗを用いてよい。また、一例として、ｗ＝１．００としてよい。

上記の通り、割り当てビットレート算出部２３の傾き算出部２３１は、前記ＲＤ曲線における所定の傾きの値（λ_ｄｉｆ）を、空間スケーラブル符号化における最下位のベースレイヤーの量子化パラメーターの値（ＱＰ_ＢＬ）に基づいて算出するようにしてよい。

ビットレート算出部２３２は、上で求めた精細感領域のＲＤ曲線上で、接線の傾きがλ_ｄｉｆとなる点のビットレートrを算出する。ビットレート算出部２３２が求めるビットレートｒについては、次に図６を参照しながら説明する。

図６は、精細感領域でのＲＤ曲線を示すグラフの一例である。前述の通り、本実施形態の傾き算出部２３１が、複数のビットレートＲ_ＥＬで算出された歪みに基づいてＲＤ曲線を求める。同図において、横軸はエンハンスメントレイヤーのビットレートＲ_ＥＬ（単位は、Ｍｂｐｓ（メガビット毎秒））であり、縦軸は精細感領域での歪みに相当する平均二乗誤差（ＭＳＥ）である。同図に示すＲＤ曲線３０１は、ビットレートＲ_ＥＬと平均二乗誤差との対の集合に基づいて定まるものである。接線３０２は、上の説明の通り求められるλ_ｄｉｆの傾きを持ち、ＲＤ曲線３０１に接する直線である。ＲＤ曲線３０１と接線３０２との接点Ｐの横軸方向の値が、ビットレート算出部２３２が求めるべきビットレートｒである。このビットレートｒは、ＲＤ曲線３０１が表す条件下における最適値として求められるビットレートである。

以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。ここでは複数の変形例を説明する。なお、２個以上の変形例を組み合わせて実施してもよい。なお、以下では、各変形例における特徴的な構成や機能のみについて説明する。

［第１変形例］
上で説明した構成では、符号化装置１に入力される映像が高解像度映像であることを前提としていた。入力映像が低解像度映像である場合には、第１変形例として、符号化装置１への入力の前にアップコンバーターの処理を行い、入力映像の画素数を増加させる。アップコンバーターの処理としては、任意の既存技術を用いることができる。

［第２変形例］
上記の実施形態では、精細感領域情報導出部２１は、画像間の差分を取る（差分画像作成部２１３の処理）ことによって、精細感領域情報を導出した。第２変形例においては、精細感領域情報導出部２１は、代わりに、帯域通過フィルターを用いて精細感領域に関する情報を導出する。一般的に、精細感に関与する情報は原画の高周波数成分である。したがって、本変形例では、精細感領域情報導出部２１は、原画の縮小処理および拡大処理を行って原画との差分画像を生成する代わりに、原画に対して帯域通過フィルターの処理を行うことによって、フィルター画像を作成する。帯域通過フィルターは、所定の閾値の周波数よりも高い周波数の成分を通過させるハイパスフィルターであってもよい。本変形例による精細感領域情報導出部２１がフィルター画像を出力した後は、既に説明した方法と同様に、ノイズ除去処理（ノイズ除去部２１４）および二値化処理（二値化部２１５）を行うことによって、精細感領域情報を作成することができる。

つまり、第２変形例においては、精細感領域情報導出部２１は、入力画像に所定の帯域通過フィルター処理を行った画像を二値化して得られる二値化画像を、精細感領域情報として生成する。

［第３変形例］
上記実施形態において、エンハンスメントレイヤーのビットレートＲ_ＥＬの決定方法を示すとともに、ベースレイヤーのビットレートＲ_ＢＬを任意に決定してよい場合を説明した。一方、この第３変形例においては、ビットレートＲ_ＢＬの決定方法を次の通りとする。例えば、ベースレイヤーのビットレートの目標値が予め決まっている場合には、そのビットレートをＲ_ＢＬとして決定する。これにより、より効果的なエンハンスメントレイヤーのビットレートの割り当てを期待できる。あるいは、ベースレイヤーのビットレートを十分に高くする。つまり、ベースレイヤーのビットレートを、所定の下限値以上とする。これにより、ベースレイヤーの符号化劣化の影響を無視する程度に抑えることができる。例えば、２Ｋ映像に関して、ベースレイヤーのビットレートＲ_ＢＬを２０Ｍｂｐｓ以上となるようにする。あるいは、４Ｋ映像に関して、ベースレイヤーのビットレートＲ_ＢＬを５０Ｍｂｐｓ以上となるようにする。

［第４変形例］
上記の実施形態においては、傾き算出部２３１は、傾きλ_ｄｉｆを求めるために、ベースレイヤーでの量子化パラメーターＱＰ_ＢＬに基づく計算を行った。また、λ_ＢＬに所定の重み係数ｗを乗じることによって、傾きλ_ｄｉｆを求めた。一方で、第４変形例においては、傾きλ_ｄｉｆの値を、予め定めておいた定数とする。この方法でも、良好なビットレートｒを求められる場合がある。

［第５変形例］
上記の実施形態においては、ビットレート算出部２３２は、精細感領域のＲＤ曲線と傾きλ_ｄｉｆの直線との接点を求めることによってそのビットレートｒを求めた。ただし、精細感領域のＲＤ曲線上で接線の傾きがλ_ｄｉｆとなる点が存在しない場合もあり得る。そこで、第５変形例においては、ビットレート算出部２３２は、ｒのデフォールト値（初期値と呼んでもよい）を予め定めておく。ビットレート算出部２３２は、ＲＤ曲線上で接線の傾きがλ_ｄｉｆとなる点が存在しない場合には、そのデフォールト値を、ビットレートｒの値として決定する。また、ビットレート算出部２３２は、ＲＤ曲線上で接線の傾きがλ_ｄｉｆとなる点が存在する場合には、上で説明した通り、傾きがλ_ｄｉｆとなる接点に基づいてその接点に対応するビットレートｒを決定する。

［第６変形例］
第６変形例においては、符号化装置がビットレート補正部２４を備える。ビットレート補正部２４は、割り当てビットレート算出部２３が算出したビットレートを補正する処理を行う。

図７は、本変形例による符号化装置４の概略機能構成を示すブロック図である。図示するように、本変形例による符号化装置４は、符号化部１１と、復号部１２と、精細感領域情報導出部２１と、歪み算出部２２と、割り当てビットレート算出部２３と、ビットレート補正部２４と、空間スケーラブル符号化部３１と、を含むように構成される。即ち、符号化装置４は、図１を参照しながら説明した符号化装置１が持つ機能に加えて、さらに、ビットレート補正部２４の機能を持つ。本変形例において、空間スケーラブル符号化部３１は、割り当てビットレート算出部２３が算出したビットレートについて、ビットレート補正部２４による補正を行った後のビットレートを使用しながら、空間スケーラブル符号化の処理を行う。その他の機能については、符号化装置４は、前述の符号化装置１と同様に機能する。

本変形例に特有の機能を持つビットレート補正部２４は、利用可能帯域に応じて、ビットレートを補正する処理を行う。つまり、割り当てビットレート算出部２３によって算出されたビットレートは、ビットレート補正部２４によって補正される。空間スケーラブル符号化部３１は、補正後のビットレートを用いて、空間スケーラブル符号化を行う。具体的な補正処理は、次に説明する通りである。

ビットレート補正部２４による補正処理は、次の通りである。

伝送に用いる全体的なビットレートが固定ビットレートＲ_ｔであるとき、決定されるエンハンスメントレイヤーのビットレートＲ_ＥＬが大きすぎると、ベースレイヤーのビットレートＲ_ＢＬが小さくなる。つまり、ベースレイヤーの品質が劣化する場合があり得る。こういったベースレイヤーの品質劣化を防ぐために、Ｒ_ＢＬの下限としてＲ_ＢＬ ^ｍｉｎを決定しておき、あるいはＲ_ＥＬの上限としてＲ_ＥＬ ^ｍａｘを決定しておく。割り当てビットレート算出部２３がＲ_ＥＬの値としてｒを決定したときに、Ｒ_ＥＬの値が上記の上限値Ｒ_ＥＬ ^ｍａｘを超えないように、ビットレート補正部２４は補正処理を行う。ビットレート補正部２４による補正後のＲ_ＥＬは、下の数式（１）により決定される。

これにより、Ｒ_ＢＬ ^ｍｉｎあるいはＲ_ＥＬ ^ｍａｘに基づいてＲ_ＥＬを決定することができ、その結果、Ｒ_ＢＬの十分な値を確保することができる。

伝送に用いる全体的なビットレートが可変ビットレートであるとき、エンハンスメントレイヤーのビットレートＲ_ＥＬが大きすぎると、伝送路（通信ネットワーク）の不安定化の原因にもなり得る。また可変ビットレートであっても利用可能な帯域の上限が存在する場合もある。そこで、Ｒ_ＥＬの上限としてＲ_ＥＬ ^ｍａｘを決定しておく。割り当てビットレート算出部２３がＲ_ＥＬの値としてｒを決定したときに、Ｒ_ＥＬの値が上記の上限値Ｒ_ＥＬ ^ｍａｘを超えないように、ビットレート補正部２４は補正処理を行う。ビットレート補正部２４による補正後のＲ_ＥＬは、下の数式（２）により決定される。

つまり、第６変形例とする場合には、ビットレート補正部２４は、割り当てビットレート算出部２３が求めた前記割り当てビットレートを補正する。その補正のしかたは、次の通りである。即ち、ビットレート補正部２４は、前記最下位のベースレイヤー（ＢＬ）のためのビットレートとしての下限値Ｒ_ＢＬ ^ｍｉｎが確保できるように、エンハンスメントレイヤーへの割り当てビットレートＲ_ＥＬを補正する。あるいは、ビットレート補正部２４は、前記最下位のベースレイヤー以外の１つまたは複数のレイヤー（ＥＬ）のための割り当てビットレートが上限値Ｒ_ＥＬ ^ｍａｘを超えないように、割り当てビットレートを補正する。

［第７変形例］
上で説明した実施形態については、ビットレート算出および決定の頻度について特に定めていなかった。第７変形例としては、割り当てビットレート算出部２３がビットレートを算出する頻度（第６変形例とする場合には、ビットレート補正部２４がビットレートを補正する頻度も同様）について、適切に定めるようにする。例えば、ビットレートを算出する頻度（補正する頻度も同様。以下においても同様。）を、入力される映像の１フレーム毎としてもよい。あるいは、ビットレートを算出する頻度を、入力される映像の所定数の複数フレーム毎としてもよい（一例として、３０フレーム毎）。

また、符号化装置１が入力映像のシーンチェンジの箇所を検出して、シーンチェンジが検出された際に新たなシーンに属するフレームを基に、ビットレートを算出するようにしてもよい。シーンチェンジの検出自体は、既存技術を用いて行うことが可能である。シーンチェンジのタイミングの一例は、スタジオ収録の番組において、スタジオでの映像から、中継先の映像に切り替わるタイミングである。

上記のシーンチェンジは、連続するフレーム画像が持つ所定の特徴量に基づいて検出されるものである。これを一般化して、シーンチェンジに限らず、入力映像におけるフレーム画像ごとの特徴量（時間に依存する特徴量）あるいは画像内の領域（空間）ごとの特徴量（画像内の領域に依存する特徴量）に基づいて、ビットレートを算出しなおすタイミングを定めてもよい。この場合には、シーンチェンジに限らず、映像の特徴に基づいて、適切なタイミングでビットレートを再算出することができる。

また、第７変形例のさらなる変形例として、次のようにしてもよい。即ち、割り当てビットレート算出部２３（および、ビットレートを補正する場合にはビットレート補正部２４）は、１枚のフレーム画像に基づいてビットレートを決定するのではなく、複数のフレーム画像に基づいてそれぞれ決定したビットレートに基づくビットレート（例えば、それらのビットレートの平均値）を決定するようにしてもよい。

［第８変形例］
上で説明した実施形態では、ベースレイヤーと、１個のエンハンスメントレイヤーとの、２レイヤーの情報の符号化を行っていた。そのために、Ｒ_ＢＬとＲ_ＥＬという２種類のビットレートを決定していた。第８変形例においては、符号化装置１は、３レイヤー以上の符号化において同様の処理を行い、各レイヤーのビットレートを決定する。レイヤー数が増える場合には、さらなる上位のレイヤーごとに同様の処理を行うことによって、各レイヤーのビットレートの割り当てを行うようにする。

つまり、第８変形例においては、複数のエンハンスメントレイヤーのそれぞれについて、精細感領域情報を導出してＲＤ曲線を求める。そして、各レイヤーについて、ＲＤ曲線に対して所定の傾きで接する接線を求め、その接点におけるビットレートに基づいて、そのレイヤーの符号化ビットレートを決定するようにする。

第８変形例を用いることにより、任意の（２以上の）レイヤー数での空間スケーラブル符号化において、適切なビットレートを決定することができるようになる。

［第９変形例］
上で説明した実施形態では、符号化した情報を伝送する場合を説明した。符号化した映像を伝送する場合に限らず、空間スケーラブル符号化の手法で符号化した映像を記録媒体（例えば、ブルーレイディスク、半導体メモリー、磁気ハードディスク等）に記録する場合にも、同様に、上で説明したビットレート決定手法を適用することができる。

［第１０変形例］
第１０変形例として、符号化装置１の内部のビットレート決定装置２の機能のみを独立した装置として実現してもよい。この場合には、ビットレート決定装置２は、ビットレートを決定し、決定したビットレートの情報を外部に出力することができる。空間スケーラブル符号化を行う機能は、ビットレート決定装置２が決定したビットレートの情報を参照し、そのビットレートを目標レートとして、対応するレイヤーの符号化を行うことができる。

図８は、上記実施形態（変形例を含む）の符号化装置１あるいは符号化装置４の内部構成の例を示すブロック図である。符号化装置１や符号化装置４は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

上述した実施形態（変形例を含む）における符号化装置１や符号化装置４の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上説明したように、上記の実施形態（変形例を含む）によると、先行空間スケーラブル符号化部が先行して符号化を行い、その際のビットレートと符号化画像との歪みとの関係を得ることができる。そして、そのビットレートと符号化画像との歪みとの関係に基づいて、割り当てるビットレートを最適化することができる。つまり、先行空間スケーラブル符号化において、効率のよい符号を生成することができるようになる。

以上、この発明の実施形態（変形例を含む）について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、映像を符号化して伝送あるいは記録する作業において利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

１ 符号化装置
２ ビットレート決定装置
３ 先行空間スケーラブル符号化部
４ 符号化装置
５ ビットレート決定装置
１１ 符号化部
１２ 復号部
２１ 精細感領域情報導出部
２２ 歪み算出部
２３ 割り当てビットレート算出部
２４ ビットレート補正部
３１ 空間スケーラブル符号化部
２１１ 縮小処理部
２１２ 拡大処理部
２１３ 差分画像作成部
２１４ ノイズ除去部
２１５ 二値化部
２３１ 傾き算出部
２３２ ビットレート算出部
３０１ ＲＤ曲線
３０２ 接線（傾きλ_ｄｉｆ）
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

Claims (9)

1. 入力画像を基に、複数のレイヤーへの所定のビットレートでの空間スケーラブル符号化を行うとともに、空間スケーラブル符号化の結果の符号を復号し、復号した結果である符号化画像と、前記符号化画像に対応するビットレートと、の対を出力する先行空間スケーラブル符号化部と、
   前記入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を、前記入力画像から求める精細感領域情報導出部と、
   前記先行空間スケーラブル符号化部から出力される前記符号化画像の、求められた前記精細感領域情報が示す領域における歪み度合いを算出する歪み算出部と、
   前記先行空間スケーラブル符号化部が出力する前記ビットレートと、対応する前記歪み度合いと、の対を基に定まるＲＤ曲線における、所定の傾きを有する位置に対応するビットレートに基づいて定まる割り当てビットレートを求める割り当てビットレート算出部と、
   を備えるビットレート決定装置。
2. 前記割り当てビットレート算出部は、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤーのそれぞれのための前記割り当てビットレートを求める、
   請求項１に記載のビットレート決定装置。
3. 前記精細感領域情報導出部は、
   前記入力画像を縮小した後で拡大することによって得られる画像と、前記入力画像との差分画像を作成する差分画像作成部と、
   前記差分画像作成部が作成した前記差分画像に基づく各画素の画素値を所定の閾値に基づいて二値化した二値化画像を、前記精細感領域情報として生成する二値化部と、
   を備える、
   請求項１または２に記載のビットレート決定装置。
4. 前記精細感領域情報導出部は、
   前記差分画像におけるノイズを除去するノイズ除去部、
   をさらに備え、
   前記二値化部は、前記ノイズ除去部がノイズを除去した後の前記差分画像に基づいて、前記二値化画像を、前記精細感領域情報として生成する、
   請求項３に記載のビットレート決定装置。
5. 前記精細感領域情報導出部は、前記入力画像に所定の帯域通過フィルター処理を行った画像を二値化して得られる二値化画像を、前記精細感領域情報として生成する、
   請求項１または２に記載のビットレート決定装置。
6. 割り当てビットレート算出部は、前記ＲＤ曲線における前記所定の傾きの値を、空間スケーラブル符号化における最下位のベースレイヤーの量子化パラメーターの値に基づいて算出する、
   請求項１から５までのいずれか一項に記載のビットレート決定装置。
7. 前記割り当てビットレート算出部が求めた前記割り当てビットレートを補正するビットレート補正部、
   をさらに備え、
   前記ビットレート補正部は、
   （１）前記最下位のベースレイヤーのためのビットレートとしての下限値が確保できるように、前記割り当てビットレートを補正し、
   あるいは、
   （２）前記最下位のベースレイヤー以外の１つまたは複数のレイヤーのための前記割り当てビットレートが上限値を超えないように、前記割り当てビットレートを補正する、
   請求項２に記載のビットレート決定装置。
8. 請求項１から７までのいずれか一項に記載のビットレート決定装置と、
   前記入力画像の空間スケーラブル符号化を行う空間スケーラブル符号化部と、
   を備える符号化装置であって、
   前記空間スケーラブル符号化部は、空間スケーラブル符号化における最下位のベースレイヤー以外の１つまたは複数のレイヤーについては、前記ビットレート決定装置が求めた前記割り当てビットレートを目標とする符号化を行う、
   符号化装置。
9. 入力画像を基に、複数のレイヤーへの所定のビットレートでの空間スケーラブル符号化を行うとともに、空間スケーラブル符号化の結果の符号を復号し、復号した結果である符号化画像と、前記符号化画像に対応するビットレートと、の対を出力する先行空間スケーラブル符号化部と、
   前記入力画像の中で精細感に関与する領域を表す情報である精細感領域情報を、前記入力画像から求める精細感領域情報導出部と、
   前記先行空間スケーラブル符号化部から出力される前記符号化画像の、求められた前記精細感領域情報が示す領域における歪み度合いを算出する歪み算出部と、
   前記先行空間スケーラブル符号化部が出力する前記ビットレートと、対応する前記歪み度合いと、の対を基に定まるＲＤ曲線における、所定の傾きを有する位置に対応するビットレートに基づいて定まる割り当てビットレートを求める割り当てビットレート算出部と、
   を備えるビットレート決定装置、としてコンピューターを機能させるためのプログラム。

Images