JP2008205865A - スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体 - Google Patents

Abstract

【課題】レイヤ構造により実現されるスケーラブル符号化において，拡張レイヤにおけるレイヤ間予測の予測残差を削減し，主観画質を劣化させることなく符号量を削減する。
【解決手段】拡張レイヤにおける原画像信号を矩形のブロックに分割し（Ｓ３１），各ブロックに対して原画像信号と従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算し（Ｓ３２），算出された視覚的歪み量が所定の閾値未満かどうかの判定を行い（Ｓ３３），閾値未満の場合には，原画像信号を従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号に置き換え（Ｓ３４），すべてのブロックに対して前記の置き換え判定処理を行って（Ｓ３５），最終的に出力される画像信号を，拡張レイヤへの符号化入力画像信号として符号化を行う。
【選択図】図３

Description

本発明は，スケーラブル動画像符号化方法に関し，特に人間の視覚特性を利用した符号量の削減方法をスケーラブル符号化において適用する方法に関するものである。

従来より，動画像の符号化において，人間の視覚特性を利用することによって符号化効率を向上させる研究がなされている。この研究では，人間の視覚が持つ時間マスキング効果や空間マスキング効果を考慮して，符号化のプロセスにおいて，劣化が目立ちにくい部分の情報量を落とす試みがなされている。

その代表的な例として，符号化処理への入力画像に対してプレフィルタを施すことで，視覚的に劣化が分かりにくい部分の情報を落とした画像をあらかじめ作成し，それを符号化処理への入力画像として符号化する手法が研究されている。

非特許文献１に記載された動画像符号化方式では，入力動画像信号のフレームｔとフレームｔ−１で同じ空間位置にあるブロックの平均画素値の差分より動き量を推定し，推定した動き量の値に応じて２次元空間フィルタを施すことにより，視覚的な劣化を最小限に抑えながら情報を削除している。

また，現在，Ｈ．２６４／ＡＶＣのスケーラブル拡張方式，Joint Scalable Video Coding(ＪＳＶＣ) の標準化が，ＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴにおいて取り組まれている。ＪＳＶＣでは，空間スケーラビリティをサポートするために，以下に示すレイヤ構造をとる。まず，サポートしたい解像度の画像を原画像からの縮小処理によりあらかじめ作成する。次に，１つの解像度を１つのレイヤとみなし，各レイヤに対して，Ｈ．２６４／ＡＶＣ符号化処理を適用する。最後に，得られた各レイヤの符号化ストリームを統合する。ここで，最も解像度の低い画像を処理するレイヤを基本レイヤ，それより上のレイヤを拡張レイヤと呼ぶ。

非特許文献２に示したＪＳＶＣ符号化参照ソフトウェアのＪＳＶＭでは，下位レイヤから，順次，符号化される。また，その時，レイヤ間の冗長性を除去するためにレイヤ間予測を行う。具体的には，レイヤ間予測として，動きベクトル情報などを導出済みの下位レイヤのものから予測する幾何的情報予測と，下位レイヤにおいて符号化され復号された信号をアップサンプルすることによって画素値を予測するテクスチャ予測を行う。
三反崎暁経，小野尚紀，上倉一人，八島由幸，「フレーム内及びフレーム間における画質変動を考慮した適応型プレフィルタの検討」，信学技法，CS2006-5，IE2006-118，Dec.2006. Joint Scalable Video Model JSVM-5.0 ，ISO/IEC JTC1/SC29/WG11，JVT-R202，2006.

前述したようなプレフィルタによる人間の視覚特性を利用した符号化効率向上のアプローチは，ＪＳＶＣのようなレイヤ構造により実現されるスケーラブル符号化においても適用可能であり，同様の効果が見込まれる。しかしながら，前述した非特許文献１のような動き量に応じた空間フィルタは，レイヤ間予測の予測誤差の削減にはつながらず，レイヤ間の冗長性は除去されない。

したがって，スケーラブル符号化方式に対して当方式を適用したとしても，大きな符号化効率の向上が望めない。

本発明はかかる事情に鑑みてなされたものであって，基本レイヤと１つ以上の拡張レイヤを含むレイヤ構造を成すスケーラブル符号化処理において，拡張レイヤへの入力画像中の視覚的劣化が目立ちにくい領域における画素を，従属する１つ下位のレイヤにおいて既に符号化され復号された信号をアップサンプルした画素に置き換え，置き換え後の画像信号を符号化処理に入力することによって符号化を行うスケーラブル符号化器の設計法を確立することを目的とする。

本発明は，上記課題を解決するため，ブロック毎に算出する原信号とアップサンプルされた復号信号との視覚的歪み量の大小に応じて，符号化入力信号を切り替えることにより，拡張レイヤにおけるレイヤ間予測の予測残差を削減する。

すなわち，本発明は，画像信号に対して，原画像信号を最上位拡張レイヤへの入力として，縮小変換を施した画像信号を順次従属する下位の拡張レイヤおよび基本レイヤへの入力とし，基本レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測を行いその予測残差信号に対して直交変換を施し，その変換係数に対して量子化を行い，拡張レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測またはレイヤ間予測を行いその予測残差信号に対して直交変換を施しその変換係数に対して量子化を行うスケーラブル動画像符号化において，当該拡張レイヤにおける原画像信号を矩形のブロックに分割し，各ブロックに対して原画像信号と従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算し，算出された視覚的歪み量が所定の閾値未満かどうかの判定を行い，閾値未満の場合には，原画像信号を従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号に置き換え，すべてのブロックに対して前記の置き換え判定処理を行って最終的に出力される画像信号を，拡張レイヤへの符号化入力画像信号として符号化器に入力して符号化を行うことを特徴とする。

また，本発明は，拡張レイヤの符号化対象となる入力画像信号に対する上記プレフィルタの処理を，指定された特定のフレームについてのみ適用することを特徴とする。

本発明により，レイヤ構造により実現されるスケーラブル符号化において，拡張レイヤにおけるレイヤ間予測の予測残差が削減され，主観画質を劣化させることなく符号量を削減することができる。

以下，本発明の原理および実施形態の処理の詳細を説明する。本発明では，以下の手順により，当該拡張レイヤに入力する画像信号を作成し，スケーラブル符号化を行う。このスケーラブル符号化方式の一例としては，非特許文献２に示したＪＳＶＭが適用可能である。ここで，以降の手順の説明にあたり，使用する記号を整理する。

スケーラブル符号化には，基本レイヤから始まり，第ｎ拡張レイヤまでのレイヤを入力すると仮定する。当該拡張レイヤは第ｍ拡張レイヤとする（１≦ｍ≦ｎ）。基本レイヤは，第０拡張レイヤに当たる。第ｍ拡張レイヤに用意した原画像信号の時刻ｔのフレームにおける座標（ｘ，ｙ）の画素信号をｆ_m,t （ｘ，ｙ）とする。第ｍ拡張レイヤにおいて符号化に入力する時刻ｔのフレームにおける座標（ｘ，ｙ）の画素信号をｆ^* _m,t （ｘ，ｙ）とし，本発明ではこの信号を生成することが課題となる。

ここでは，第ｍ拡張レイヤより下位レイヤ（ｍ−１以下のレイヤ）の符号化は既に済んでいると仮定する。以降，処理手順を詳説する。

［従属下位レイヤにおける復号信号のアップサンプリング］
第ｍ−１拡張レイヤにおいて出力された符号化ストリームを復号し，第ｍ−１拡張レイヤにおける復号信号を生成する。次に，その復号信号をアップサンプリングする。

アップサンプリングに用いるフィルタは，レイヤ間予測におけるテクスチャ予測に用いるフィルタと同じものを使用する。例えば，ＪＳＶＭに本処理を実装する場合には，Ｈ．２６４／ＡＶＣにおいて，例えば半画素というような小数画素の生成に使用されるフィルタを用いる。

当アップサンプリングにより，当該拡張レイヤへの入力信号と同じ空間解像度に変換し，復号アップサンプル信号ｆ′_m-1,t （ｘ，ｙ）を生成する。

［視覚的歪みの算出］
第ｍ拡張レイヤの時刻ｔのフレーム，および，前述の処理によって得られた復号アップサンプルフレームに対して，ブロック分割処理を行う。ブロック分割のサイズは外部より与えられる。

第ｍ拡張レイヤの時刻ｔのフレームにおける当該ブロック内の信号と，復号アップサンプルフレームにおける当該ブロック内の信号との間の視覚的歪み量を計算する。視覚的歪み量とは，空間マスキング効果や時間マスキング効果などの視覚特性を考慮した，２つの映像の間の歪みを測る指標である。例としては，次の参考文献で利用されているモデルが挙げられる。

〔参考文献〕：坂東幸浩，高村誠之，上倉一人，八島由幸，「主観画質を考慮したＨ．２６４／ＡＶＣモード選択方法」，情報処理学会研究報告，オーディオビジュアル複合情報処理研究会，2006-AVM-54 ，Sep.2006.
［当該拡張レイヤ入力信号の生成と符号化］
前述の処理によって得られた当該ブロックにおける視覚的歪み量と，外部より与えられる視覚的歪み量の閾値とを比較する。閾値より小さければ，第ｍ拡張レイヤの時刻ｔのフレームにおける当該ブロック内の信号を，復号アップサンプルフレームにおける当該ブロック内の信号に置き換える。

上記外部より与えられる視覚的歪み量の閾値は，プレフィルタ処理を利用しない場合の当該拡張レイヤの復号信号と同等の主観画質を保持できる限界値を適用するのが望ましい。視覚的歪みを導出するモデル式が主観画質を忠実に反映したものであれば，この限界値は，利用する量子化パラメータの値にのみ依存する変数となる。したがって，本閾値は，当該拡張レイヤの量子化パラメータおよび従属する下位レイヤの量子化パラメータを変数とする関数によってモデル化が可能である。そこで，あらかじめ複数の量子化パラメータセットを用意して限界値との特性を実験的にモデル化し，そのモデルに従って本閾値を決定する。

以上をまとめると，第ｍ拡張レイヤにおいて符号化に入力する画像信号ｆ^* _m,t （ｘ，ｙ）は，次のように表される。第ｍ拡張レイヤの時刻ｔのフレームがフィルタ適用フレームであり，当ブロックにおいて算出される視覚的歪み量が閾値を下回るとき，
ｆ^* _m,t （ｘ，ｙ）＝ｆ′_m-1,t （ｘ，ｙ） (1)
となる。上記以外の場合は，次式のようになる。

ｆ^* _m,t （ｘ，ｙ）＝ｆ_m,t （ｘ，ｙ） (2)
以上のようにして生成された画像信号を，第ｍ拡張レイヤに対する入力画像信号としてスケーラブル符号化処理に入力し，符号化を行う。

あらかじめ，以上のようなプレフィルタを適用するフレームと適用しないフレームとに分類しておくことも可能である。適用するか否かを外部から指定してもよく，また所定の判定基準に従って内部で判定してもよい。例としては，被参照フレームとならないフレームにのみ適用する，などという判定基準が考えられる。被参照フレームとならないフレームに限定して適用した場合には，フィルタの影響が他に伝播せずに済む。

また，たとえ被参照フレームであったとしても，動き予測が当りにくいフレームであれば，伝播の影響は小さくて済む。したがって，当該フレームが物体の大きな動きを含んだフレームであるか否か，フラッシュを含むフレームであるか否か，被参照フレームと当該フレームの間に時間的にシーンチェンジを含んでいるか否か，という判定基準も考えられる。判定基準は，次のものに限られるわけではないが，以下に例示する。
〔例１〕被参照フレームでない →適用
被参照フレームである →非適用
〔例２〕被参照フレームでない →適用
被参照フレームである，かつ，フレーム内に大きな動きを含む →適用
被参照フレームである，かつ，フレーム内に大きな動きを含まない →非適用
〔例３〕被参照フレームでない →適用
被参照フレームである，かつ，フラッシュを含む →適用
被参照フレームである，かつ，フラッシュを含まない →非適用
〔例４〕被参照フレームでない →適用
被参照フレームである，かつ，シーンチェンジを含む →適用
被参照フレームである，かつ，シーンチェンジを含まない →非適用
［処理の流れ］
図１は，本発明の実施形態に係る処理フローチャートである。以下，本発明の処理の実施形態について，図１を参照して説明する。

ステップＳ１１：原画像信号を読み込み，当該拡張レイヤにおける符号化入力画像信号を生成し，出力する。本処理の詳細は図２に示す（後述）。

ステップＳ１２：ステップＳ１１の処理によって生成された符号化入力画像信号を読み込み，符号化を行い，符号化ストリームを出力する。

ステップＳ１３：すべてのレイヤの符号化が完了しているか否かの判定処理を行い，真の場合には，符号化処理を終了して最終的な符号化ストリームを出力し，偽の場合には，ステップＳ１４の処理を行う。

ステップＳ１４：符号化対象レイヤを１つ上位に移し，ステップＳ１１に戻って同様に処理を繰り返す。

図２は，図１に示すステップＳ１１の詳細な処理フローチャートである。以下，ステップＳ１１の処理の詳細を，図２を用いて説明する。

ステップＳ２１：外部より与えられるフィルタ適用指定フレーム情報を読み込み，当該フレームがフィルタ適用指定フレームか否かの判定処理を行い，真の場合には，ステップＳ２２の処理に移り，偽の場合には，ステップＳ２５の処理に移る。

ステップＳ２２：当該拡張レイヤに従属する１つ下位のレイヤにおける符号化ストリームを読み込み，復号処理を行い，復号画像信号を生成し，出力する。

ステップＳ２３：ステップＳ２２の処理によって得られた復号画像信号を読み込み，レイヤ間予測で用いるアップサンプルフィルタを用いて，当画像を当該拡張レイヤの原信号と同じ空間解像度に変換し，出力する。

ステップＳ２４：ステップＳ２３の処理によって得られた復号信号アップサンプル画像を読み込み，当該拡張レイヤにおける符号化入力フレーム画像を生成し，出力する。本処理の詳細は図３に示す（後述）。

ステップＳ２５：当該拡張レイヤにおけるすべてのフレームの符号化が完了しているか否かの判定処理を行い，真の場合には，得られた当該拡張レイヤにおける符号化入力画像を出力し，偽の場合には，ステップＳ２６の処理を行う。

ステップＳ２６：次の処理対象フレームに移動し，ステップＳ２１へ戻って同様に処理を繰り返す。

図３は，図２に示すステップＳ２４の詳細な処理フローチャートである。以下，ステップＳ２４の処理の詳細を，図３を用いて説明する。

ステップＳ３１：入力された当該フレーム信号を，外部より与えられるブロックサイズ情報に従ってブロック分割する。

ステップＳ３２：当該拡張レイヤにおける原フレーム画像における当該ブロック情報，および，従属下位レイヤにおける復号信号アップサンプル画像における当該ブロック情報を読み込み，両ブロックにおける視覚的歪み量を計算し，その値をレジスタに出力する。

ステップＳ３３：レジスタより当該ブロックにおける視覚的歪み量を読み込み，外部より与えられる視覚的歪み量閾値よりその値が小さいか否かの判定処理を行い，真の場合には，ステップＳ３４の処理に移り，偽の場合には，ステップＳ３５の処理に移る。

ステップＳ３４：第ｍ拡張レイヤフレーム原信号における当該ブロックの画素値を，第ｍ−１拡張レイヤ復号アップサンプル信号の当該ブロックにおける画素値に置き換え，その画素値を出力する。

ステップＳ３５：当該フレームにおけるすべてのブロックの処理が完了しているか否かの判定処理を行い，真の場合には，得られた当該拡張レイヤにおける符号化入力フレーム画像を出力し，偽の場合には，ステップＳ３６の処理に移る。

ステップＳ３６：次の処理対象ブロックに移り，再度，ステップＳ３２へ戻って同様に処理を繰り返す。

［処理装置］
図４は，本発明の実施形態に係る符号化装置の全体の構成図である。以下，本発明の実施形態による符号化装置１０の例を，図４に従って説明する。

画像信号縮小処理部１１：原画像信号を読み込み，各レイヤにおいて処理するべき解像度にそれぞれ縮小変換し，その信号を基本レイヤ信号記憶部１２および各拡張レイヤ信号記憶部１５−１，…，１５−ｎにそれぞれ書き込む。

基本レイヤ符号化部１３：基本レイヤ信号記憶部１２より基本レイヤにおける原信号を読み込み，スケーラブル符号化における基本レイヤの符号化処理手順に従って符号化を行い，１つ上位のレイヤとのレイヤ間予測に使用する情報および基本レイヤの符号化ストリームを，基本レイヤ符号化情報記憶部１４に出力する。

第１拡張レイヤ入力画像生成部１６−１：第１拡張レイヤ信号記憶部１５−１より第１拡張レイヤにおける原信号を，また，基本レイヤ符号化情報記憶部１４よりレイヤ間予測に使用する情報および基本レイヤの符号化ストリームを読み込み，第１拡張レイヤにおける符号化入力画像を生成する。本処理の詳細は図５に示す（後述）。

第１拡張レイヤ符号化部１７−１：第１拡張レイヤ入力画像生成部１６−１より出力された第１拡張レイヤにおける符号化入力画像を読み込み，スケーラブル符号化における拡張レイヤの符号化処理手順に従って符号化を行い，１つ上位のレイヤとのレイヤ間予測に使用する情報および第１拡張レイヤの符号化ストリームを，第１拡張レイヤ符号化情報記憶部１８−１に出力する。

第ｎ拡張レイヤ入力画像生成部１６−ｎ：第ｎ拡張レイヤ信号記憶部１５−ｎより第ｎ拡張レイヤにおける原信号を，また，第ｎ−１拡張レイヤ符号化情報記憶部（図示省略）よりレイヤ間予測に使用する情報および第ｎ−１拡張レイヤの符号化ストリームを読み込み，第ｎ拡張レイヤにおける符号化入力画像を生成する。本処理の詳細は図５に示す（後述）。

第ｎ拡張レイヤ符号化部１７−ｎ：第ｎ拡張レイヤ入力画像生成部１６−ｎより出力された第ｎ拡張レイヤにおける符号化入力画像を読み込み，スケーラブル符号化における拡張レイヤの符号化処理手順に従って符号化を行い，第ｎ拡張レイヤの符号化ストリームを，第ｎ拡張レイヤ符号化情報記憶部１８−ｎに出力する。

図５は，第ｍ拡張レイヤ入力画像生成部の詳細な構成図である。図４に示す第１拡張レイヤ入力画像生成部１６−１および第ｎ拡張レイヤ入力画像生成部１６−ｎの処理の詳細を，図５を用いて説明する。ここでは，第ｍ拡張レイヤ（１≦ｍ≦ｎ）での処理の場合を示す。

フィルタ適用フレーム判定部２１：第ｍ拡張レイヤにおける当該フレームが，外部より設定されるフィルタ適用指定フレームに該当するか否かの判定処理を行い，真の場合には，第ｍ−１拡張レイヤ復号処理部２２の処理に移り，偽の場合には，処理対象フレーム更新部２９の処理に移る。

第ｍ−１拡張レイヤ復号処理部２２：第ｍ−１拡張レイヤの符号化ストリームを復号して，当該フレームにおける復号信号を生成し，その復号信号を第ｍ−１拡張レイヤ復号信号記憶部２３に書き込む。

アップサンプル処理部２４：第ｍ−１拡張レイヤ復号信号記憶部２３より復号信号を読み込み，レイヤ間予測で用いられるアップサンプルフィルタを用いて，当復号信号を第ｍ拡張レイヤの原信号と同じ空間解像度に変換し，アップサンプル信号記憶部２５に書き込む。

符号化入力フレーム画像生成部２６：第ｍ拡張レイヤの原信号，および，アップサンプル信号記憶部２５に格納されているアップサンプル信号を読み込み，第ｍ拡張レイヤの符号化に入力する符号化入力フレーム画像を生成し，符号化入力フレーム画像記憶部２８に書き込む。また，処理したフレームのフレーム番号を全フレーム処理完了判定部２７に出力する。

全フレーム処理完了判定部２７：符号化入力フレーム画像生成部２６より出力されたフレーム番号を入力として，第ｍ拡張レイヤにおけるすべてのフレームの処理が完了しているか否かの判定処理を行い，真の場合には，得られた当該拡張レイヤにおける符号化入力画像を符号化入力フレーム画像記憶部２８より出力する制御信号を当記憶部に送り，偽の場合には，処理対象フレーム更新部２９の処理に移る。

処理対象フレーム更新部２９：次の処理対象フレームに移り，再度，フィルタ適用フレーム判定部２１の処理を行う。

図６は，図５に示す符号化入力画像生成部２６の詳細な構成図である。符号化入力フレーム画像生成部２６の処理の詳細を，図６を用いて説明する。ここでは，第ｍ拡張レイヤでの処理の場合を示す。

ブロック分割部３１：第ｍ拡張レイヤのフレーム原信号および第ｍ−１拡張レイヤの復号アップサンプル信号を読み込み，外部より与えられるブロックサイズに従ってブロック分割を行い，そのブロック情報をブロック画像情報記憶部３２に書き込む。

視覚的歪み量計算部３３：第ｍ拡張レイヤフレーム原信号および第ｍ−１拡張レイヤ復号アップサンプル信号の当該ブロックにおける視覚的歪み量を計算し，レジスタに書き込む。

視覚的歪み量比較部３４：レジスタより当該ブロックにおける視覚的歪み量を読み込み，外部より与えられる視覚的歪み量閾値よりその値が小さいか否かの判定処理を行い，真の場合には，原画像内ブロック画素値置換部３５の処理に移り，偽の場合には，全ブロック処理完了判定部３６の処理に移る。

原画像内ブロック画素値置換部３５：第ｍ拡張レイヤフレーム原信号における当該ブロックの画素値を，第ｍ−１拡張レイヤ復号アップサンプル信号の当該ブロックにおける画素値に置き換え，その画素値をブロック画像情報記憶部３２に書き込む。

全ブロック処理完了判定部３６：当該フレームにおけるすべてのブロックの処理が完了しているか否かの判定処理を行い，真の場合には，得られた当該拡張レイヤにおける符号化入力フレーム画像をブロック画像情報記憶部３２より出力する制御信号を当記憶部に送り，偽の場合には，処理対象ブロック更新部３７の処理に移る。

処理対象ブロック更新部３７：次の処理対象ブロックに移り，再度，視覚的歪み量計算部３３の処理を行う。

以上のスケーラブル動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の実施形態に係る処理フローチャートである。 ステップＳ１１（図１）の詳細な処理フローチャートである。 ステップＳ２４（図２）の詳細な処理フローチャートである。 本発明の実施形態に係る符号化装置の全体の構成図である。 第ｍ拡張レイヤ入力画像生成部の詳細な構成図である。 符号化入力画像生成部の詳細な構成図である。

符号の説明

１０ 符号化装置
１１ 画像信号縮小処理部
１２ 基本レイヤ信号記憶部
１３ 基本レイヤ符号化部
１４ 基本レイヤ符号化情報記憶部
１５−ｍ 第ｍ拡張レイヤ信号記憶部（ｍ＝１〜ｎ）
１６−ｍ 第ｍ拡張レイヤ入力画像生成部（ｍ＝１〜ｎ）
１７−ｍ 第ｍ拡張レイヤ符号化部（ｍ＝１〜ｎ）
１８−ｍ 第ｍ拡張レイヤ符号化情報記憶部（ｍ＝１〜ｎ）
２１ フィルタ適用フレーム判定部
２２ 第ｍ−１拡張レイヤ復号処理部
２３ 第ｍ−１拡張レイヤ復号信号記憶部
２４ アップサンプル処理部
２５ アップサンプル信号記憶部
２６ 符号化入力フレーム画像生成部
２７ 全フレーム処理完了判定部
２８ 符号化入力フレーム画像記憶部
２９ 処理対象フレーム更新部
３１ ブロック分割部
３２ ブロック画像情報記憶部
３３ 視覚的歪み量計算部
３４ 視覚的歪み量比較部
３５ 原画像内ブロック画素値置換部
３６ 全ブロック処理完了判定部
３７ 処理対象ブロック更新部

Claims (6)

1. 画像信号に対して，原画像信号を最上位拡張レイヤへの入力として，縮小変換を施した画像信号を順次従属する下位の拡張レイヤおよび基本レイヤへの入力とし，基本レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測を行いその予測残差信号に対して直交変換を施しその変換係数に対して量子化を行い，拡張レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測またはレイヤ間予測を行いその予測残差信号に対して直交変換を施しその変換係数に対して量子化を行う，スケーラブル動画像符号化方法において，
   符号化対象の拡張レイヤにおける原画像信号を矩形のブロックに分割するブロック分割処理過程と，
   分割された各ブロックに対して原画像信号と従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算する視覚的歪み量算出処理過程と，
   算出された視覚的歪み量が所定の閾値未満かどうかの判定を行い，閾値未満の場合には原画像信号を従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号に置き換え，閾値以上の場合には置き換えないブロック画素値置換処理過程と，
   すべてのブロックに対して前記視覚的歪み量算出処理過程と前記ブロック画素値置換処理過程とを実行し，最終的に出力される画像信号を，拡張レイヤへの符号化入力画像信号として符号化器に入力して符号化を行う過程とを有する
   ことを特徴とするスケーラブル動画像符号化方法。
2. 請求項１記載のスケーラブル動画像符号化方法において，
   外部から指定された特定のフレームまたは所定の判定基準によって定められた特定のフレームに対してのみ，そのフレームのすべてのブロックに対して前記視覚的歪み量算出処理過程と前記ブロック画素値置換処理過程とを実行し，他のフレームについては前記視覚的歪み量算出処理過程と前記ブロック画素値置換処理過程とを実行しない
   ことを特徴とするスケーラブル動画像符号化方法。
3. 画像信号に対して，原画像信号を最上位拡張レイヤへの入力として，縮小変換を施した画像信号を順次従属する下位の拡張レイヤおよび基本レイヤへの入力とし，基本レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測を行いその予測残差信号に対して直交変換を施しその変換係数に対して量子化を行い，拡張レイヤにおいて，入力されるフレーム画像信号に対して画面内または画面間予測またはレイヤ間予測を行いその予測残差信号に対して直交変換を施しその変換係数に対して量子化を行う，スケーラブル動画像符号化装置において，
   符号化対象の拡張レイヤにおける原画像信号を矩形のブロックに分割するブロック分割処理手段と，
   分割された各ブロックに対して原画像信号と従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号との視覚的歪み量を計算する視覚的歪み量算出処理手段と，
   算出された視覚的歪み量が所定の閾値未満かどうかの判定を行い，閾値未満の場合には原画像信号を従属する１つ下位のレイヤの復号画像信号をアップサンプルした画像信号に置き換え，閾値以上の場合には置き換えないブロック画素値置換処理手段と，
   すべてのブロックに対して前記視覚的歪み量算出処理手段と前記ブロック画素値置換処理手段とによる処理が実行され最終的に出力される画像信号を，拡張レイヤへの符号化入力画像信号として入力して符号化を行う符号化処理手段とを備える
   ことを特徴とするスケーラブル動画像符号化装置。
4. 請求項３記載のスケーラブル動画像符号化装置において，
   外部から指定された特定のフレームまたは所定の判定基準によって定められた特定のフレームに対してのみ，そのフレームのすべてのブロックに対して前記視覚的歪み量算出処理手段と前記ブロック画素値置換処理手段とによる処理を実行し，他のフレームについては前記視覚的歪み量算出処理手段と前記ブロック画素値置換処理手段とによる処理を実行しない
   ことを特徴とするスケーラブル動画像符号化装置。
5. 請求項１または請求項２記載のスケーラブル動画像符号化方法を，コンピュータに実行させるためのスケーラブル動画像符号化プログラム。
6. 請求項１または請求項２記載のスケーラブル動画像符号化方法を，コンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録した記録媒体。

Images