JP2002118849A - 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム - Google Patents

Abstract

(57)【要約】 【課題】 動画像の水平方向と垂直方向のそれぞれの解
像度を個別に変換することができる動画像符号化装置を
提供する。 【解決手段】 動画像の水平方向と垂直方向との解像度
変換を個別に制御する動画像符号化装置であって、前記
動画像の水平方向と垂直方向との少なくとも一方向の解
像度を変換する第１解像度変換手段と、前記第１解像度
変換手段によって解像度変換する際の解像度レベルを決
定する決定手段と、前記決定手段によって決定された解
像度レベルに応じて前記第１解像度変換手段で前記解像
度が変換された場合の該第１解像度変換手段への入力信
号の電力損失又は交流電力成分を算出する算出手段と、
前記算出手段によって算出された各電力損失又は各交流
電力成分に基づいて前記第１解像度変換手段で解像度変
換する際に用いる解像度情報を作成する作成手段とを備
えることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化方
法、動画像符号化装置、動画像復号化装置及びそれらを
備えた動画像通信システムに関し、特に、動画像の水平
方向と垂直方向との解像度変換を個別に制御する動画像
符号化方法、動画像符号化装置、動画像復号化装置及び
それらを備えた動画像通信システムに関する。

【０００２】

【従来の技術】従来、動画像を符号化する際に用いる発
生符号量は、量子化幅を調節することによって制御され
る。しかし、符号化レートを下げていくと、そのままで
は量子化幅を広くしなければならず、後に復号化された
動画像の画質が大幅に低下する場合があった。これを緩
和する方法として、入力画像の解像度を低下させ、発生
情報量を減少させる動画像符号化方式が、従来、例え
ば、特開平９−２７１０２６号公報に開示されている。
この公報の記載によると、発生情報量を減少させること
により、量子化幅の増大を防止し、主観画質を向上させ
ることができる。

【０００３】図２０は、従来の解像度変換を行う動画像
符号化装置の構成を示すブロック図である。図２１は、
図２０に示す動画像符号化装置において符号化された動
画像を復号化する動画像復号化装置の構成を示すブロッ
ク図である。

【０００４】まず、図２０に示す動画像符号化装置につ
いて説明する。図２０に示すように、従来の動画像符号
化装置は、入力された動画像信号から予測画像生成手段
１０１０で生成された予測画像信号を減算することによ
り予測誤差画像信号を生成する減算手段１００１と、減
算手段１００１から出力された予測誤差画像信号に係る
動画像の解像度を解像度情報作成手段１０１４で決定さ
れた解像度情報に従って変換することにより低解像度予
測誤差画像信号を生成する解像度変換手段１００２と、
解像度変換手段１００２から出力された低解像度予測誤
差画像信号をブロック化して周波数成分等に分解して各
成分毎に直交変換を施すことにより変換係数信号を求め
る離散コサイン変換（Discrete Cosine Transform ：以
下、ＤＣＴ）手段１００３と、ＤＣＴ変換手段１００３
から出力された変換係数信号を制御部１０１１から出力
された量子化パラメータに従って量子化することにより
量子化変換係数信号を生成する量子化手段１００４と、
量子化手段１００４から出力された量子化変換係数信号
をたとえば一次元信号に変換することによって可変長符
号化する可変長符号化手段１０１２と、可変長符号を速
度平滑化することにより伝送路速度に整合化して符号列
して動画像を出力するとともにバッファ占有量を出力す
るバッファ１０１３と、バッファ１０１３のバッファ占
有量に応じて符号化制御を行う制御部１０１１とを備え
ている。

【０００５】また、従来の動画像符号化装置は、可変長
符号化手段１０１２から出力された発生符号量と制御部
１０１１から出力された量子化パラメータとバッファ１
０１３から出力されたバッファ占有量とに基づいて次に
符号化する動画像の解像度を決定する解像度情報作成手
段１０１４と、解像度情報作成手段１０１４で作成され
た解像度情報に従って動画像の解像度を変換する解像度
変換手段１００７と、解像度変換手段１００７で解像度
変換された動画像と予測画像生成手段１０１０で生成さ
れた予測画像信号とを加算して局所復号画像信号を算出
する加算手段１００８と、制御部１０１１から出力され
た量子化パラメータに従って量子化変換手段１００４か
ら出力された量子化変換係数信号を逆量子化する逆量子
化手段１００５と、逆量子化手段１００５から出力され
た逆量子化変換係数信号に対してブロック毎に逆ＤＣＴ
変換を行い低解像度復号予測誤差画像信号を生成する逆
ＤＣＴ手段１００６と、加算手段１００８から出力され
た局所復号画像信号をたとえばフレーム単位で蓄積する
フレームメモリ１００９とを備えている。

【０００６】次に、図２０に示す動画像符号化装置動作
について説明する。動画像符号化装置に動画像信号が入
力されると、この動画像信号は、予測パラメータ算出手
段１０１５及び減算手段１００１にそれぞれへ入力され
る。また、予測パラメータ算出手段１０１５には、この
他に、フレームメモリ１００９に蓄積されている過去に
符号化されている動画像信号と解像度情報作成手段１０
１４から出力される解像度情報も入力される。

【０００７】予測パラメータ算出手段１０１５は、解像
度情報によって定まる大きさの各ブロックごとに動き推
定を行い、各ブロックの符号化モード情報及び動きベク
トル（以下、符号化モード情報及び動きベクトルを「予
測パラメータ」と称する。）を算出し、予測画像生成手
段１０１０及び可変長符号化手段１０１２へ出力する。

【０００８】次に、予測画像生成手段１０１０は、フレ
ームメモリ１００９に蓄積されている動画像信号を、算
出された予測パラメータと解像度情報作成手段１０１４
から出力された解像度情報とに基づいて、ブロック毎に
動き補償を行い、予測画像信号を取得して、加算手段１
００８及び減算手段１００１へ出力する。

【０００９】減算手段１００１は、入力された動画像信
号から、予測画像信号を減算することによって、予測誤
差画像信号を生成して、解像度変換手段１００２へ出力
する。

【００１０】解像度変換手段１００２は、減算手段１０
０１から出力された予測誤差画像信号に係る動画像の解
像度を、解像度情報作成手段１０１４から出力された解
像度情報に従って変換することにより、低解像度予測誤
差画像信号を生成して、ＤＣＴ変換手段１００３へ出力
する。

【００１１】ＤＣＴ変換手段１００３は、動画像からた
とえば８×８画素のように正方形ブロックに分割し、画
素ブロック毎にＤＣＴ演算を行い変換係数信号を求めて
量子化手段１００４へ出力する。

【００１２】量子化手段１００４は、ＤＣＴ変換手段１
００３から出力された変換係数信号を、制御部１０１１
から出力された量子化パラメータに従って量子化するこ
とにより、量子化変換係数信号を生成し、可変長符号化
手段１０１２及び逆量子化手段１００５へ出力する。

【００１３】可変長符号化手段１０１２は、量子化手段
１００４から出力された量子化変換係数信号を走査し
て、一次元信号に変換してから可変長符号化するととも
に、制御部１０１１から出力された量子化パラメータ、
解像度情報作成手段１０１４から出力された解像度情報
及び予測パラメータ算出手段１０１５から出力された予
測パラメータも同時に可変長符号化して、これらを含む
符号列を作成してバッファ１０１３へ出力するととも
に、出力した符号列の長さを表す発生符号量を制御部１
０１１及び解像度情報作成手段１０１４へ出力する。

【００１４】バッファ１０１３は、可変長符号化手段１
０１２から出力された符号列を速度平滑化することによ
り、伝送路速度に整合化して伝送路及び制御部１０１１
へ出力するとともに、バッファ占有量情報を制御部１０
１１及び解像度情報作成手段１０１４へ出力する。

【００１５】制御部１０１１は、可変長符号化手段１０
１２から出力された発生符号量とバッファ１０１３から
バッファ占有量情報とに基づいて、量子化パラメータを
算出して、量子化手段１００４、解像度情報作成手段１
０１４、逆量子化手段１００５及び可変長符号化手段１
０１２へそれぞれ出力する。

【００１６】解像度情報作成手段１０１４は、制御部１
０１１から出力された量子化パラメータと、可変長符号
化手段１０１２から出力された発生符号量と、バッファ
１０１３から出力されたバッファ占有情報とに基づい
て、解像度情報を作成して、解像度変換手段１００２、
解像度変換手段１００７、可変長符号化手段１０１２、
予測画像生成手段１０１０及び予測パラメータ算出手段
１０１５へそれぞれ出力する。解像度情報を作成する手
法については、後述する。

【００１７】一方、逆量子化手段１００５は、量子化手
段１００４から出力された量子化変換係数信号を、制御
部１０１１から出力された量子化パラメータに従って逆
量子化することによって逆量子化変換係数信号を生成
し、逆ＤＣＴ変換手段１００６へ出力する。すなわち、
逆量子化手段１００５は、量子化手段１００４において
量子化に際し用いた量子化パラメータと同じ量子化パラ
メータを用いて逆量子化する。

【００１８】逆ＤＣＴ手段１００６は、逆量子化手段１
００５から出力された逆量子化変換係数信号を、画素ブ
ロック毎に逆ＤＣＴ変換を行うことによって、低解像度
復号予測誤差画像信号を生成し、解像度変換手段１００
７へ出力する。

【００１９】解像度変換手段１００７は、逆ＤＣＴ手段
１００６から出力された低解像度復号予測誤差画像信号
に係る動画像の解像度を、解像度情報作成手段１０１４
から出力された解像度情報に基づいて変換することによ
って、復号予測誤差画像信号を生成し、加算手段１００
８へ出力する。すなわち、復号予測誤差画像信号に係る
動画像の解像度は、動画像符号化装置に入力された動画
像信号に係る解像度と同じであり、解像度変換手段１０
０７における解像度変換は、解像度変換手段１００２で
変更された解像度を元に戻すために行われる。例えば、
解像度変換手段１００２で、ＣＩＦ解像度からＱＣＩＦ
解像度に変換された場合には、解像度変換手段１００７
では、ＱＣＩＦ解像度からＣＩＦ解像度へ変換する。

【００２０】加算手段１００８は、予測画像生成手段１
０１０から出力された予測画像信号に、解像度変換手段
１００７から出力された復号予測誤差画像信号を加算す
ることによって、局所復号画像信号を生成し、フレーム
メモリ１００９へ出力する。

【００２１】フレームメモリ１００９は、出力された局
所復号画像信号を一時的に蓄積し、予測パラメータを算
出する際に、予測パラメータ算出手段１０１５へ出力す
る。

【００２２】次に、解像度情報作成手段１０１４の動作
を説明する。解像度情報作成手段１０１４では、制御部
１０１１から出力されたブロック毎の量子化パラメータ
の平均値ＱＰ、算出した量子化パラメータの平均値ＱＰ
と可変長符号化手段１０１２から出力された発生符号量
Ｂとの積並びに高解像度から低解像度に切り替わる量子
化パラメータの閾値ＱＴＨ１及び低解像度から高解像度
に切り替わる量子化パラメータの閾値ＱＴＨ２とターゲ
ットのビットレートＢ０との積をそれぞれ求める。

【００２３】そして、高解像度で動画像信号を符号化す
る場合には、バッファ占有量Δが予め定めた閾値ΔＴＨ
１を超え、かつ、［ＱＰ×Ｂ］が［ＱＴＨ１×Ｂ０］を
超えたときに、解像度を下げさせるための解像度情報を
出力する。次のフレームの符号化時には、解像度変換手
段１００２において、この解像度情報に基づいて解像度
変換が行われる。すなわち、低解像度で符号化される。
一方、解像度変換手段１００７では、逆に、この解像度
情報に基づいて、低下した解像度を元の解像度に戻す変
換が行われる。

【００２４】低解像度で動画像信号を符号化する場合に
は、バッファ占有量Δが予め定めた閾値ΔＴＨ２よりも
小さく、かつ、［ＱＰ×Ｂ］が［ＱＴＨ２×Ｂ０］より
も小さいときに、動画像の解像度を上げさせる解像度情
報を出力する。次のフレームの符号化時には、解像度変
換手段１００２において、この解像度情報に基づいて解
像度変換が行われる。すなわち、高解像度で符号化され
る。

【００２５】つぎに、図２１に示す動画像復号化装置に
ついて説明する。図２１に示すように、従来の動画像復
号装置は、動画像符号化装置から送信された符号列を受
信して可変長復号する可変長復号化手段２００１と、復
号化された動画像信号を逆量子化する逆量子化手段２０
０２と、逆量子化された動画像信号を逆ＤＣＴ変換する
逆ＤＣＴ変換手段２００３と、逆ＤＣＴ変換された動画
像信号に係る動画像の解像度を変換する解像度変換手段
２００４と、解像度変換された動画像信号と可変長復号
化された動画像信号に基づく予測画像信号とを加算する
加算手段２００５と、加算結果を記憶するフレームメモ
リ２００７と、フレームメモリに記憶されている加算結
果とに基づいて上記予測画像信号を生成する予測画像信
号生成手段２００６とを備えている。

【００２６】次に、図２１に示す動画像復号化装置の動
作について説明する。動画像復号化装置は、動画像符号
化装置から送信された符号列を受信して可変長復号化手
段２００１へ出力する。

【００２７】可変長復号手段２００１は、出力された符
号列に対して可変長復号を行うことにより、量子化変換
係数信号、量子化パラメータ、予測パラメータ及び解像
度情報を復号化し、量子化変換係数信号を逆量子化手段
２００２へ出力し、予測パラメータを予測画像生成手段
２００６へ出力し、解像度情報を解像度変換手段２００
４及び予測画像生成手段２００６へ出力し、量子化パラ
メータを逆量子化手段２００２へ出力する。

【００２８】逆量子化手段２００２は、図２０に示した
逆量子化手段１００５と同様に、出力された量子化変換
係数信号に対し、同じく出力された量子化パラメータに
基づいて逆量子化を行うことによって取得した逆量子化
変換係数信号を逆ＤＣＴ変換手段２００３へ出力する。

【００２９】逆ＤＣＴ変換手段２００３は、図２０に示
した逆ＤＣＴ変換手段１００６と同様に、出力された逆
量子化変換係数信号を逆ＤＣＴ変換することにより低解
像度復号予測誤差画像信号を生成して、解像度変換手段
２００４へ出力する。

【００３０】解像度変換手段２００４は、図２０に示し
た解像度変換手段１００７と同様に、出力された低解像
度復号予測誤差画像信号に係る動画像の解像度を、解像
度変換情報によって特定された解像度から元の動画像の
解像度に戻すように変換して得られる、復号予測誤差画
像信号を加算手段２００５へ出力する。

【００３１】加算手段２００５は、図２０に示した加算
手段１００８と同様に、出力された復号予測誤差画像信
号に予測画像生成手段２００６から出力されている予測
画像信号を加算して得られた動画像信号をフレームメモ
リ２００７及び外部に出力する。

【００３２】フレームメモリ２００７は、図２０に示し
たフレームメモリ１００９と同様に、加算手段２００５
から出力された動画像信号を一時的に蓄積し、予測画像
信号を生成する際に予測画像生成手段２００６へ出力す
る。

【００３３】予測画像生成手段２００６は、図２０に示
した予測画像生成手段１０１０と同様に、フレームメモ
リ２００７から出力された動画像信号を用いて、可変長
復号手段２００１から出力されている予測パラメータと
解像度情報とに基づいて予測画像信号を生成して加算手
段２００５へ出力する。

【００３４】

【発明が解決しようとする課題】しかし、従来の技術
は、動画像の水平方向と垂直方向との各解像度を、量子
化パラメータの平均値に基づいて決定された解像度情報
に応じて変換しており、たとえば、動画像の水平方向の
解像度を１／２とし、垂直方向の解像度を１／３という
ようにすることができなかったので、発生符号量が少な
い場合であっても、一律に、動画像の水平方向と垂直方
向とを同じ割合で解像度変換しなければならず、画質が
劣化する場合があった。

【００３５】また、特に量子化幅が広い場合には、量子
化幅と画質劣化との度合いが必ずしも比例しないため、
量子化幅で解像度間の遷移を制御すると、量子化雑音が
小さいにもかかわらず解像度が低下し、不要に復号した
動画像の画質が劣化する場合があった。

【００３６】そこで、本発明は、動画像の水平方向と垂
直方向のそれぞれの解像度を個別に変換することができ
る動画像符号化装置を提供することを課題とする。

【００３７】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、動画像の水平方向と垂直方向との解像度
変換を個別に制御する動画像符号化装置であって、前記
動画像の水平方向と垂直方向との少なくとも一方向の解
像度を変換する第１解像度変換手段と、前記第１解像度
変換手段によって解像度変換する際の解像度レベルを決
定する決定手段と、前記決定手段によって決定された解
像度レベルに応じて前記第１解像度変換手段で前記解像
度が変換された場合の該第１解像度変換手段への入力信
号の各電力損失又は各交流電力成分を算出する算出手段
と、前記算出手段によって算出された各電力損失又は各
交流電力成分に基づいて前記第１解像度変換手段で解像
度変換する際に用いる解像度情報を作成する作成手段と
を備えることを特徴とする。

【００３８】また、本発明の動画像復号化装置は、上記
動画像符号化装置において符号化された符号列を復号化
する復号化手段と、前記復号化手段によって復号化され
た量子化係数信号を前記パラメータに応じて逆量子化す
る逆量子化手段と、前記逆量子化手段によって逆量子化
された量子化係数信号を逆周波数変換することによって
変換係数信号を求める逆周波数変換手段と、前記逆周波
数変換手段によって求められた変換係数信号に係る動画
像の解像度を変換する第３解像度変換手段と、前記第３
解像度変換手段によって変換された解像度に係る動画像
信号を格納するメモリと、前記メモリに記憶されていた
過去の動画像信号と前記パラメータと前記解像度変換手
段の変換結果とに基づく動画像信号を前記第３解像度変
換手段によって変換された解像度に係る動画像信号に加
算する加算手段とを備えることを特徴とする。

【００３９】さらに、本発明の動画像通信システムは、
上記動画像符号化装置と、上記動画像復号化装置とを伝
送路で接続してなることを特徴とする。

【００４０】さらにまた、本発明の動画像符号化方法
は、動画像の水平方向と垂直方向との解像度変換を個別
に制御する動画像符号化方法であって、前記動画像の水
平方向と垂直方向との少なくとも一方向の解像度を第１
解像度変換手段によって変換し、前記第１解像度変換手
段によって解像度変換する際の解像度レベルを決定手段
によって決定し、前記決定手段によって決定された解像
度レベルに応じて前記第１解像度変換手段で前記解像度
が変換された場合の該第１解像度変換手段への入力信号
の各電力損失又は各交流電力成分を算出手段によって算
出し、前記決定手段によって決定された解像度レベルと
前記算出手段によって算出された各電力損失又は各交流
電力成分とに基づいて前記第１解像度変換手段で解像度
変換する際に用いる解像度情報を作成手段によって作成
することを特徴とする。

【００４１】また、本発明の記憶媒体は、上記動画像符
号化方法をコンピュータに実行させる命令を含むプログ
ラムを格納したことを特徴とする。

【００４２】具体的には、本発明の動画像符号化装置
は、図１，図９〜図１２に示すように、過去に符号化さ
れた画像の局所復号画像信号を記憶するメモリ１０９
と、メモリ１０９に記憶されている局所復号画像信号を
参照画像として用いてこれと入力された動画像信号と解
像度情報とに基づいて解像度の変換に用いる予測パラメ
ータを算出する予測パラメータ算出手段１０１５と、算
出された予測パラメータと解像度情報とに基づいて参照
画像から予測画像信号を生成する予測画像生成手段１０
１０と、入力された動画像信号から予測画像信号を減じ
て予測誤差画像信号を生成する減算手段１００１と、生
成された予測誤差画像信号の解像度を解像度情報によっ
て特定される解像度になるように変換して低解像度予測
誤差画像信号を得る解像度変換手段１０２と、得られた
低解像度予測誤差画像信号を周波数成分に投影する周波
数変換を行い変換係数信号として出力する周波数変換手
段１０３と、出力された変換係数信号を量子化パラメー
タに従って量子化して量子化変換係数信号として出力す
る量子化手段１０４と、出力された量子化変換係数信号
と量子化パラメータと予測パラメータと解像度情報とを
それぞれ可変長符号化して符号列を生成するとともに符
号列の長さを表す発生符号量情報を出力する可変長符号
化手段１１２と、生成された符号列を一時的に蓄えた後
に伝送路に出力するとともにバッファ占有量情報を出力
するバッファと、発生符号量情報とバッファ占有量情報
とを用いて量子化パラメータを算出する制御部１１１
と、量子化変換係数信号を量子化パラメータに従って逆
量子化し逆量子化変換係数信号を算出する逆量子化手段
１０５と、算出された逆量子化変換係数信号を周波数変
換手段で行う変換の逆変換あるいは逆変換を近似する変
換を行うことによって低解像度復号予測誤差画像を生成
する逆周波数変換手段１０５と、生成された低解像度復
号予測誤差画像信号に対して解像度情報で特定される解
像度から動画像の解像度へ戻す解像度変換を行うことに
よって復号予測誤差画像を生成する解像度変換手段１０
７と、予測画像と復号予測誤差画像とを加算して局所復
号画像を生成する加算手段１０８と、少なくとも量子化
パラメータと予測誤差画像信号又は低解像度予測誤差画
像信号又は変換係数信号又は逆量子化変換係数信号とを
用いて解像度情報を作成する解像度情報作成手段１２
０，１３０，１５０，１６０，１７０とを備えている。

【００４３】

【発明の実施の形態】以下、図面を参照して、本発明の
実施形態について説明する。

【００４４】（実施形態１） ［構成の説明］図１は、本発明の実施形態１の動画像符
号化装置の構成を示すブロック図である。本実施形態の
動画像符号化装置は、入力された動画像信号から予測画
像生成手段１０１０で生成された予測画像信号を減算す
ることにより予測誤差画像信号を生成する減算手段１０
０１と、減算手段１００１から出力された予測誤差画像
信号に係る動画像の解像度を解像度情報作成手段１２０
で決定された解像度情報に従って変換することにより低
解像度予測誤差画像信号を生成する第１解像度変換手段
である解像度変換手段１０２と、解像度変換手段１０２
から出力された低解像度予測誤差画像信号をたとえば８
×８画素ごとにブロック化して周波数成分等に分解して
各成分毎に離散コサイン変換（Discrete Cosine Transf
orm ：以下、ＤＣＴ），アダマール変換，ウェーブレッ
ト変換などを行うことにより変換係数信号を求める周波
数変換手段１０３と、周波数変換手段１０３から出力さ
れた変換係数信号を制御部１１１から出力された量子化
パラメータに従って量子化することにより量子化変換係
数信号を生成する量子化手段１０４と、量子化手段１０
４から出力された量子化変換係数信号をたとえば一次元
信号に変換することによって可変長符号化するとともに
発生符号量を出力する可変長符号化手段１１２と、可変
長符号を蓄積するとともにバッファ占有量を出力するバ
ッファ１１３と、バッファ１１３から出力されたバッフ
ァ占有量と可変長符号化手段１１２から出力された発生
符号量に応じて符号化制御を行う制御部１１１とを備え
ている。

【００４５】また、本実施形態の動画像符号化装置は、
制御部１１１から出力された量子化パラメータなどに基
づいて次に符号化する動画像の解像度変換に用いる解像
度情報を作成する作成手段であるところの解像度情報作
成手段１２０と、解像度情報作成手段１２０で作成され
た解像度情報に従って動画像の解像度を変換する解像度
変換手段１０７と、解像度変換手段１０７で解像度変換
された動画像と予測画像生成手段１０１０で生成された
予測画像信号とを加算して局所画像信号を算出する加算
手段１００８と、制御部１１１から出力された量子化パ
ラメータに従って量子化変換手段１０４から出力された
量子化変換係数信号を逆量子化する逆量子化手段１０５
と、逆量子化手段１０５から出力された逆量子化変換係
数信号をたとえばブロック毎に逆周波数変換することに
よって低解像度復号予測誤差画像信号を生成する逆周波
数変換手段１０６と、加算手段１００８から出力された
局所復号画像信号を蓄積するメモリ１０９とを備えてい
る。

【００４６】なお、解像度情報作成手段１２０は、変換
係数に対して同じ周波数の変換係数間で二乗平均や絶対
値平均などの統計処理を行うことにより各周波数に対す
る変換係数の平均値を算出して予測誤差分布情報として
出力する予測誤差分布算出手段１２１と、予測誤差分布
算出手段１２１から出力された予測誤差分布情報と制御
部１１１から出力された量子化パラメータなどとに基づ
いて動画像の水平方向と垂直方向とのいずれの解像度を
変換するかを選択する選択手段１２２とを備えている。

【００４７】図２は、図１に示す動画像符号化装置にお
いて符号化された動画像を復号化する動画像復号化装置
の構成を示すブロック図である。動画像符号化装置から
送信された符号列を受信して可変長復号する可変長復号
化手段９０１と、可変長復号化手段９０１で復号化され
た動画像信号を逆量子化する逆量子化手段９０２と、逆
量子化手段９０２で逆量子化された動画像信号を逆ＤＣ
Ｔ変換などの逆周波数変換を行う逆周波数変換手段９０
３と、逆周波数変換手段９０３で逆周波数変換された動
画像信号に係る動画像の解像度を変換する解像度変換手
段９０４と、解像度変換手段９０４で解像度変換された
動画像と可変長復号化された動画像信号に基づく予測画
像信号とを加算する加算手段２００５と、加算結果を記
憶するメモリ２０７と、メモリに記憶されている加算結
果とに基づいて上記予測画像信号を生成する予測画像信
号生成手段２００６とを備えている。

【００４８】［動作の説明］次に、図１に示す動画像符
号化装置の動作について説明する。動画像符号化装置に
動画像信号が入力されると、この動画像信号は、予測パ
ラメータ算出手段１０１５及び減算手段１００１へそれ
ぞれ入力される。また、予測パラメータ算出手段１０１
５には、この他に、メモリ１０９に蓄積されている過去
に符号化されている動画像信号と解像度情報作成手段１
２０から出力された解像度情報も入力される。

【００４９】予測パラメータ算出手段１０１５は、解像
度情報によって定まる大きさの各ブロックごとに動き推
定を行い、各ブロックの符号化モード情報及び動きベク
トル（以下、符号化モード情報及び動きベクトルを「予
測パラメータ」と称する。）を算出し、予測画像生成手
段１０１０及び可変長符号化手段１１２へ出力する。

【００５０】次に、予測画像生成手段１０１０は、メモ
リ１０９に蓄積されている動画像信号を読み出して、予
測パラメータ算出手段１０１５から出力された予測パラ
メータと解像度情報作成手段１２０から出力された解像
度情報とに基づいて、ブロック毎に動き補償を行い、予
測画像信号を生成して、加算手段１００８及び減算手段
１００１へ出力する。

【００５１】ここで、解像度情報作成手段１２０から出
力された解像度情報は、動画像の水平方向と垂直方向と
のいずれを変換するかを制御したり、解像度をどの程度
変更するかを制御する情報であり、例えば、解像度変換
後の動画像の水平方向又は垂直方向の解像度（サイズ）
そのもの、変換前後の動画像の解像度の比率やこれに上
記サイズを含めたもの又はこれらの情報を特定するため
に予め定められたインデックスを用いている。あるい
は、現在の解像度から動画像の水平方向、垂直方向のい
ずれかの解像度を変換させるかを指定する情報であって
もよい。

【００５２】そして、減算手段１００１は、入力された
動画像信号から、予測画像信号を減算することによっ
て、予測誤差画像信号を生成して、解像度変換手段１０
２へ出力する。

【００５３】解像度変換手段１０２は、減算手段１００
１から出力された予測誤差画像信号に係る動画像の解像
度を、動画像全体あるいは動画像を複数のブロックに分
割して各ブロック毎に解像度情報作成手段１２０から出
力された解像度情報に従って変換することにより、低解
像度予測誤差画像を生成して、周波数変換手段１０３へ
出力する。具体的には、解像度変換手段１００２は、解
像度変換用の複数のフィルタを有しており、解像度情報
に従って水平方向と垂直方向とで個別にフィルタをいく
つか選択し、選択したフィルタを用いてフィルタ処理を
行うことで、解像度を変換する。

【００５４】なお、解像度情報作成手段１２０から出力
された解像度情報が、動画像の水平方向と垂直方向との
いずれの解像度も変換しない旨の情報である場合もあ
り、この場合には、解像度変換を行わず、減算手段１０
０１から出力された予測誤差画像信号をそのまま低解像
度予測誤差画像信号として出力する。

【００５５】また、ブロック毎に解像度変換を行うため
には、解像度情報作成手段１２０側で各解像度情報にブ
ロックを特定できるような情報を含めて解像度変換手段
１０２へ出力し、解像度変換手段１０２側で解像度を特
定できるようにしたり、解像度情報を各分割動画像の水
平方向と垂直方向とのそれぞれの解像度を予め定まった
ルールに従って並べて表現するようにして、解像度変換
手段１０２側でどの分割動画像に対応する解像度である
かを特定できるようにしている。

【００５６】なお、解像度変換は、フレーム毎に行って
もよく、さらにフレームの種別に基づいて行うようにし
てもよい。例えば、Ｉフレームの画質は他のフレームの
画質にも大きな影響を与えるので、後述する量子化パラ
メータの閾値Ｑ_th1の値を大きくするなどしてＩフレー
ムを高解像度に維持する。また、Ｂフレームの画質は多
少劣化しても、他の種別のフレームの画質が劣化するこ
とがないので、閾値Ｑ _th1の値を小さくするなどしてＢ
フレームを低解像度とするようにしてもよい。

【００５７】周波数変換手段１０３では、解像度変換手
段１０２から出力された低解像度予測誤差画像信号を周
波数変換することにより変換係数信号を求めて量子化手
段１０４及び解像度情報作成手段１２０へ出力する。な
お、周波数変換としてＤＣＴを行う場合には、たとえば
動画像をブロック毎に分割してから、各ブロック毎にＤ
ＣＴを行い変換係数信号を求める。

【００５８】量子化手段１０４は、周波数変換手段１０
３から出力された変換係数信号を、制御部１１１から出
力された量子化パラメータに従って量子化することによ
り、量子化変換係数信号を生成し、可変長符号化手段１
１２及び逆量子化手段１０５へ出力する。ここで、量子
化パラメータとは、変換係数の量子化の粗さを定めるパ
ラメータであり、この値が大きいほど量子化幅が長く、
粗く量子化される。

【００５９】可変長符号化手段１１２は、量子化手段１
０４から出力された量子化変換係数信号を走査して、た
とえば一次元信号に変換してから可変長符号化するとと
もに、制御部１１１から出力された量子化パラメータ、
解像度情報作成手段１２０から出力された解像度情報及
び予測パラメータ算出手段１０１５から出力された予測
パラメータ情報も同時に可変長符号化して、これらを含
む符号列を作成してバッファ１０１３へ出力するととも
に、出力した符号列の長さを表す発生符号量を制御部１
１１及び選択手段１２２へ出力する。

【００６０】バッファ１０１３は、可変長符号化手段１
１２から出力された符号列を速度平滑化するためにこれ
を蓄積し、伝送路速度に整合化してから伝送路及び制御
部１１１へ出力する。そして、バッファ占有量情報を制
御部１１１及び解像度情報作成手段１２０へ出力する。

【００６１】制御部１１１は、可変長符号化手段１１２
から出力された発生符号量とバッファ１０１３から出力
されたバッファ占有量情報とに基づいて、量子化パラメ
ータを算出して、量子化手段１０４、選択手段１２２、
逆量子化手段１０５及び可変長符号化手段１１２へそれ
ぞれ出力する。

【００６２】解像度情報作成手段１２０は、後述するよ
うに、少なくとも制御部１１１から出力された量子化パ
ラメータと周波数変換手段１０３から出力された変換係
数信号とに基づいて、次に符号化する動画像の水平方向
と垂直方向とのいずれの解像度を変換するかを示す解像
度情報を作成して、解像度変換手段１０２、解像度変換
手段１０７、可変長符号化手段１１２、予測画像生成手
段１０１０及び予測パラメータ算出手段１０１５へそれ
ぞれ出力する。

【００６３】一方、逆量子化手段１０５は、量子化手段
１０４から出力された量子化変換係数信号を、制御部１
１１から出力された量子化パラメータに従って逆量子化
することによって逆量子化変換係数信号を生成し、逆周
波数変換手段１０６へ出力する。すなわち、逆量子化手
段１０５は、量子化手段１０４において量子化の際に用
いた量子化パラメータと同じ量子化パラメータを用いて
逆量子化を行う。

【００６４】逆周波数変換手段１０６は、逆量子化手段
１０５から出力された逆量子化変換係数信号を、周波数
変換手段１０３で行った変換の逆変換を行うことによっ
て、低解像度復号予測誤差画像信号を生成し、解像度変
換手段１０７へ出力する。

【００６５】解像度変換手段１０７は、逆周波数変換手
段１０６から出力された低解像度復号予測誤差画像信号
に係る動画像の解像度を、解像度情報作成手段１２０か
ら出力された解像度情報に基づいて変換することによっ
て、復号予測誤差画像信号を生成し、加算手段１００８
へ出力する。すなわち、復号予測誤差画像信号に係る動
画像の解像度は、動画像符号化装置に入力された動画像
信号に係る解像度と同じであり、解像度変換手段１０７
における解像度変換は、解像度変換手段１０２で変更さ
れた解像度を元に戻すために行われる。たとえば、解像
度変換手段１０２で、ＣＩＦ解像度からＱＣＩＦ解像度
に変換された場合には、解像度変換手段１０７では、Ｑ
ＣＩＦ解像度からＣＩＦ解像度へ変換する。

【００６６】加算手段１００８は、予測画像生成手段１
０１０から出力された予測画像信号に、解像度変換手段
１０７から出力された復号予測誤差画像信号を加算する
ことによて、局所復号画像信号を生成し、メモリ１０９
に蓄積する。

【００６７】メモリ１０９は、メモリ１０９に蓄積され
た局所復号画像信号を、予測パラメータを算出する際
に、予測パラメータ算出手段１０１５へ出力する。

【００６８】次に、解像度情報作成手段１２０の動作を
説明する。解像度情報作成手段１２０では、周波数変換
手段１０３から出力された変換係数情報を、予測誤差分
布算出手段１２１によって同じ周波数間で二乗平均や絶
対値平均などの統計処理を行い各周波数における変換係
数の平均値を求め、予測誤差分布情報として選択手段１
２２へ出力する。

【００６９】選択手段１２２は、予測誤差分布算出手段
１２１から出力された予測誤差分布情報と、たとえば制
御部１１１から出力された量子化パラメータとに基づい
て、動画像の水平方向と垂直方向とのいずれの解像度を
変換するかを選択して、可変長符号化手段１１２，解像
度変換手段１０７，１０２及び予測パラメータ算出手段
１０１５へそれぞれ出力する。なお、解像度変換する方
向は、制御部１１１から出力された量子化パラメータだ
けでなく、バッファ１０１３から出力されたバッファ占
有量情報や可変長符号化手段１１２から出力された発生
符号量を用いて選択することもできる。

【００７０】具体的には、選択手段１２２は、量子化パ
ラメータなどを用いて解像度の変更の有無を決定する。
そして、解像度を変更させると決定した場合には、予測
誤差分布算出手段１２１からの各周波数における変換係
数の平均値に基づいて、動画像の水平方向と垂直方向と
のいずれの解像度を変換するかを決定する。

【００７１】なお、本実施形態では、たとえば動画像の
水平方向の解像度を変換する場合には、動画像の水平方
向に対しては、その解像度をたとえば１／２とさせるよ
うな情報を作成するとともに、動画像の垂直方向に対し
ては解像度を変換させないような情報を作成するように
している。

【００７２】図３は、図１の選択手段１２２の動作を説
明するための遷移図である。図３において、楕円内の数
字は、動画像の水平方向と垂直方向との解像度に基づく
インデックスを意味している。ここでは、楕円内の数字
が±１又は０になるように遷移するようにしており、た
とえば（ｍ，ｎ）＝（０，０）から（ｍ，ｎ）＝（０，
１）へ遷移することは、動画像の垂直方向の解像度だけ
をたとえば１／２だけ低下させることを意味している。
このように、ｍ，ｎの値が大きくなるにつれ、解像度が
低下するようにしている。

【００７３】なお、本実施形態では、解像度を１／２と
する場合を例としているが、一般的には、たとえば解像
度を以下のようにすることができる。すなわち、動画像
の水平方向と垂直方向との解像度は、それぞれｍ，ｎの
関数で表現できるので、動画像の水平方向の解像度をｒ
_h（ｍ）、垂直方向の解像度をｒ_v（ｎ）とすると、ｒ _h
（ｍ）、ｒ_v（ｎ）は、 ｒ_h（ｍ）＝α^m ｒ_v（ｎ）＝αⁿ （但し、０＜α＜１とする。） とすることができる。

【００７４】また、図３では、［ｍ＋ｎ］を解像度レベ
ルｋと定義して、解像度レベルｋが等しい領域を破線で
区切っている。解像度レベルｋが等しい領域では、動画
像に係る画素の総数が同数になるので動画像の解像度は
同じになる。

【００７５】但し、ｒ_h（ｍ），ｒ_v（ｎ）は、それぞれ
αのべき乗ではなくてもよく、たとえばｒ_h（０）＝
１，ｒ_h（１）＝２／３，ｒ_h（２）＝１／２，ｒ
_h（３）＝１／３，ｒ_h（４）＝１／４とし、ｒ_v（ｎ）
もこれと同様に設定してもよい。この場合ｋの値が同じ
でも、ｍ，ｎの組み合わせにより画素数が完全には一致
しないが、ｋが等しい状態間では近い値になり、ほぼ同
等の解像度と見なすことができる。

【００７６】図４は、図１の選択手段１２２の動作を示
すフローチャートである。図５，図６は、それぞれ図４
のステップＳ３００５，Ｓ３００６の手順を示すフロー
チャートである。以下、遷移前の解像度レベルｋをｋ₀
として説明する。

【００７７】まず、選択手段１２２は、制御部１１１か
ら出力されたブロック毎の量子化パラメータなどを用い
て、動画像内での量子化パラメータの平均値Ｑ_aveを算
出する（ステップＳ３００１）。つづいて、動画像内で
の量子化パラメータの平均値Ｑ_aveと解像度レベルｋが
ｋ₀の場合の閾値Ｑ_th1（ｋ₀）との大小を比較し（ステ
ップＳ３００２）し、Ｑ_aveがＱ_th1（ｋ₀）より大きい
場合にはステップＳ３００５へ移行し、そうでなければ
ステップＳ３００３へ移行する。

【００７８】ステップＳ３００３では、解像度レベルｋ
がｋ₀の場合の閾値Ｑ_th0（ｋ₀）と動画像内での量子化
パラメータの平均値Ｑ_aveとの大小を比較し、さらに、
解像度変更を行わない動画像の数、すなわち図３におい
て元の楕円に遷移した回数（Count）と所定の閾値Ｃ_th
との大小を比較する。そして、Ｑ_aveが、Ｑ_th1（ｋ₀）
よりも小さい場合であって、CountがＣ_thより大きい場
合には、ステップＳ３００６へ移行し、そうでなければ
ステップＳ３００４へ移行する。

【００７９】なお、ここでは、解像度変換が頻繁にされ
すぎたり、逆にほとんどされないような事態が生じない
ように、閾値Ｃ_thを、たとえば過去の解像度変換が行わ
れる程度に応じて設定している。すなわち、解像度変換
が頻繁にされる場合には、閾値Ｃ_thの値を大きくして、
Countが増えるようにする。一方、解像度変換がほとん
どされない場合には、閾値Ｃ_thの値を小さくして、Coun
tが増えないようにしている。なお、閾値Ｑ_th（ｋ₀）な
どの値を変えて、Countを制御してもよい。

【００８０】ステップＳ３００４では、Countに１を加
える。こうして、図４に示す手順を終了する。なお、Co
untは、動画像の解像度を変更させた後に、すぐに直前
の解像度に戻すことにより、解像度変換が頻繁に行われ
て画質の低下などが生じないようにするために用いてい
る。

【００８１】一方、ステップＳ３００５に移行した場合
には、解像度を低下させる処理を行う。具体的には、図
５に示すように、まず、ステップＳ３１０１において、
図３の遷移図上で、遷移元が一番右下の楕円であるかど
うかを判定する。具体的には、ｍ＝Ｍ−１かつｎ＝Ｎ−
１であるかどうかを判定して、この条件を満たす場合に
は、ステップＳ３１０９へ移行し、そうでなければステ
ップＳ３１０２へ移行する。

【００８２】ステップＳ３１０９に移行したということ
は、動画像の水平方向と垂直方向とのいずれの解像度も
低下させることができないのでCount値に１を加える。
こうして、図４に示す手順を終了する。

【００８３】一方、ステップＳ３１０２に移行した場合
には、まだ動画像の水平方向と垂直方向とのいずれかの
解像度を低下させることができるので、いずれの方向の
解像度を低下させることができるか判定するために、図
３の遷移図上で、遷移元が一番右列の楕円であるかどう
かを判定する。具体的には、ｍ＝Ｍ−１であるかどうか
を判定して、この条件を満たす場合には、ステップＳ３
１０６へ移行し、そうでない場合には、ステップＳ３１
０３へ移行する。

【００８４】ステップＳ３１０３では、図３の遷移図上
で、遷移元が一番下行の楕円であるかどうかを判定す
る。具体的には、ｎ＝Ｎ−１であるかどうかを判定し
て、この条件を満たす場合には、ステップＳ３１０８へ
移行し、そうでなければステップＳ３１０４へ移行す
る。なお、ステップＳ３１０２とステップＳ３１０３と
で行う処理の順序を互いに入れ替えて、先に遷移元が一
番下行の楕円であるかどうかを判定し、それから遷移元
が一番右列の楕円であるかどうかを判定してもよい。

【００８５】ステップＳ３１０４では、予測誤差分布算
出手段１２１からの各周波数における変換係数の平均値
を用いて、右側の楕円に遷移させたと仮定したときに、
解像度変換手段１０２から出力される低解像度予測誤差
画像信号の電力が現在の解像度状態の場合よりもどれだ
け損失するかを表す損失電力Ｐ_h、下側の楕円に遷移さ
せたと仮定したときに、低解像度予測誤差画像信号の電
力が現在の解像度状態の場合よりもどれだけ損失するか
を表す損失電力Ｐ_v及び水平方向と垂直方向とのいずれ
の解像度を低下させるべきかの選択に用いる閾値Ｐ
_th（ｍ，ｎ）算出して、ステップＳ３１０５へ移行す
る。

【００８６】なお、閾値Ｐ_th（ｍ，ｎ）は、本実施形態
では、たとえば［ｍ−ｎ＝０］若しくは［ｍ−ｎ＝
１］、すなわち水平方向の解像度と垂直方向の解像度と
の比が、１：１又は２：１若しくは１：２になるように
して、動画像の水平方向と垂直方向とで、極端に解像度
が異ならないようにしている。これにより、画質が劣化
することを防ぐことができる。なお、たとえば閾値Ｐ_th
（ｍ，ｎ）≡１とすると、Ｐ_h／Ｐ_vのみによって遷移が
決まる。閾値Ｐ_th（ｍ，ｎ）を算出する手法については
後述する。

【００８７】ステップＳ３１０５では、動画像の水平方
向と垂直方向との、解像度変換による予測誤差画像信号
の損失電力の少ない方の解像度を低下させるために、算
出した損失電力Ｐ_hとＰ_vとの比であるＰ_h／Ｐ_vと閾値Ｐ
_th（ｍ，ｎ）との大小を比較して、Ｐ_h／Ｐ_vが閾値Ｐ_th
（ｍ，ｎ）よりも小さい場合には、ステップＳ３１０８
へ移行し、そうでなければステップＳ３１０６へ移行す
る。

【００８８】図７（ａ）は、隣接している楕円へ遷移さ
せる場合のＱ_aveと閾値Ｑ_th0（ｋ₀）等との関係を示す
図である。図７（ｂ）は、後述する隣接していない楕円
へ遷移させる場合のＱ_aveと閾値Ｑ_th0（ｋ₀）等との関
係を示す図である。

【００８９】図７（ａ）を用いて図４のステップＳ３０
０２，ステップＳ３００３及び図５のステップＳ３１０
５の動作について説明を捕捉すると、まず、Ｑ_aveの値
と閾値Ｑ_th0（ｋ₀）又はＱ_th1（ｋ₀）との大小を比較し
て、解像度レベルｋがｋ₀からｋ₀へ遷移するのか、ｋ
_0＋１又はｋ_0−１へ遷移するかを求める。次に、解像度
レベルｋがｋ₀からｋ_0＋１又はｋ_0−１へ遷移する場合
には、Ｐ_h／Ｐ_vの値と閾値Ｐ_th（ｍ，ｎ）との大小を比
較して、解像度レベルｋがｋ_0＋１とｋ_0−１とのいずれ
に遷移するかを決定する。

【００９０】また、ステップＳ３１０８では、ｍに１を
加え、さらに、後に説明するDirection(k)の値を１とす
ることによって、動画像の水平方向の解像度を低下させ
る解像度情報を作成してステップＳ３１０７へ移行す
る。ステップＳ３１０６では、ｎに１を加え、さらに、
Direction(k)の値を０とすることによって、動画像の垂
直方向の解像度を低下させる解像度情報を作成してステ
ップＳ３１０７へ移行する。ステップＳ３１０７では、
解像度レベルｋに１を加え、Countの値をリセットす
る。こうして、図５に示す処理を終了する。

【００９１】ここで、Direction(k)は、それぞれ解像度
レベルｋに１を加えたときに動画像の水平方向と垂直方
向とのいずれの解像度を低下させる解像度情報を作成し
たかという履歴を生成するためのものであり、動画像の
水平方向の解像度を低下させる解像度情報を作成した場
合には、たとえばDirection(k)の値を１とし、動画像の
垂直方向の解像度を低下させる解像度情報を作成した場
合には、たとえばDirection(k)の値を０にすることで、
遷移状態の履歴を生成する。生成した履歴は、後の処理
で解像度を元に戻す際に用いる。

【００９２】つぎに、閾値Ｐ_th（ｍ，ｎ）を算出する手
法について説明する。まず、閾値Ｐ _th（ｍ，ｎ）を、 Ｐ_th（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｒ_h（ｍ）−ｒ_v（ｎ））ｄ（ｒ_h（ｍ） ，ｒ_v（ｎ））） …（１） とおく。ここで、関数ｆ（ｘ）はｆ（０）＝１を満たす
単調非減少関数としており、またｄ（ｘ，ｙ）はｘとｙ
との距離を示す関数、Ｓｉｇｎ（ｘ）は［ｘ≧０］の場
合に１、［ｘ＜０］の場合に−１を満たす関数としてい
る。

【００９３】特に、［ｒ_h（ｉ）＝ｒ_v（ｉ）］が成り立
つ場合には、数式（１）において、Ｓｉｇｎ（ｒ
_h（ｍ）−ｒ_v（ｎ））に代えて、Ｓｉｇｎ（ｎ−ｍ）を
用い、ｄ（ｒ_h（ｍ），ｒ_v（ｎ））に代えてｄ（ｍ，
ｎ）を用いると、 Ｐ_th（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｎ−ｍ）ｄ（ｍ，ｎ）） …（２） が得られるが、数式（２）を用いて閾値Ｐ_th（ｍ，ｎ）
を算出してもよい。

【００９４】また、例えば、ａを正の定数として、 ｆ（ｔ）＝ｅｘｐ（ａｔ） …（３） ｄ（ｘ，ｙ）＝｜ｘ−ｙ｜ …（４） とおき、数式（３），（４）を数式（２）に代入する
と、 Ｐ_th（ｍ，ｎ）＝ｅｘｐ（ａ（ｎ−ｍ）） …（５） が得られる。

【００９５】図８は、数式（５）を対数スケールで示す
図である。図８に示すように、横軸を［ｎ−ｍ］とし、
縦軸を［ｌｏｇＰ_th（ｍ，ｎ）］とすると、 ｌｏｇＰ_th（ｍ，ｎ）＝ａ（ｎ−ｍ） が成立する。

【００９６】次に、図４のステップＳ３００６に移行し
た場合の動作について図６を用いて説明する。まず、ス
テップＳ３２０１において、図３の遷移図上で、遷移元
が一番左上の楕円であるかどうかを判定する。具体的に
は、ｍ＝０かつｎ＝０であるかどうかを判定して、この
条件を満たす場合には、ステップＳ３２０７へ移行し、
そうでなければステップＳ３２０４へ移行する。

【００９７】ステップＳ３２０７では、解像度をもう上
げることができないのでCountに１を加えて、図５に示
す手順を終了する。一方、ステップＳ３２０４では、動
画像の水平方向又は垂直方向の解像度をまだ上げること
ができるのでDirection(k-1)の値が１であるかどうかを
判定し、判定の結果、Direction(k-1)の値が１である場
合には、ステップＳ３２０８へ移行し、そうでなければ
ステップＳ３２０５へ移行する。

【００９８】ここで、図５のステップＳ３１０６で説明
したように、解像度レベルｋに１が加えられるときに
は、動画像の水平方向の解像度を低下させる解像度情報
を作成したことを意味するため、Direction(k-1)が１の
場合には、現在の遷移元から、動画像の水平方向の解像
度を上げさせるような解像度情報を作成し、一方、Dire
ction(k-1)が１でない場合には、動画像の垂直方向の解
像度を上げさせるような解像度情報を作成している。

【００９９】ステップＳ３２０８では、ｍから１を減ら
すことによって、動画像の水平方向の解像度を上げさせ
るような解像度情報を作成してステップＳ３２０６へ移
行する。一方、ステップＳ３２０５では、ｎから１を減
らすことによって、動画像の垂直方向の解像度を上げさ
せるような解像度情報を作成してステップＳ３２０６へ
移行する。ステップＳ３２０６では、ｋから１を減し
て、さらにCountをリセットして、図６に示す処理を終
了する。

【０１００】つぎに、図３〜図６を用いつつ具体的な解
像度を決定する手法について説明する。初期状態を［ｍ
＝ｎ＝０］としておき、この状態で、制御部１１１から
出力された量子化パラメータなどを用いて、（ｍ，ｎ）
＝（０，１）又は（１，０）の楕円に遷移するのか、又
は（ｍ，ｎ）＝（０，０）の楕円に遷移するのかを算出
する。

【０１０１】そして、解像度を低下させる解像度情報を
作成する場合には、画像予測誤差分布算出手段１２１か
ら出力の各周波数における変換係数の平均値に基づい
て、動画像の水平方向と垂直方向とのいずれの解像度を
低下させる解像度情報を作成するかを算出する（ステッ
プＳ３１０５）。

【０１０２】一方、初期状態をｍ＝ｎ＝０としていて
も、何度目かの解像度の変更時には、解像度を上げさせ
る解像度情報を作成する場合もある（ステップＳ３００
３）。この場合には、解像度を低下させる解像度情報を
作成したときの状態遷移の経路を逆行することにより解
像度を上げさせる解像度情報を作成している。このよう
な手順の繰り返すことによって、各動画像ごとに水平方
向又は垂直方向の解像度が変換できるように解像度情報
を作成している。

【０１０３】なお、制御部１１１から出力された量子化
パラメータと予測誤差分布算出手段１２１から出力され
た予測誤差分布情報とに加え、たとえば発生符号量も用
いて解像度を決定する場合には、図４のステップＳ３０
０２及びステップＳ３００３において、それぞれＱ_ave
と発生符号量との積と、閾値Ｑ_th0（ｋ₀）及びＱ
_th1（ｋ₀）との大小を比較するようにすればよい。

【０１０４】さらに、バッファ占有量情報も用いて解像
度を決定する場合には、図４のステップＳ３００２及び
ステップＳ３００３において、それぞれＱ_aveと発生符
号量とバッファ占有量との積と、閾値Ｑ_th0（ｋ₀）及び
Ｑ_th1（ｋ₀）との大小を比較するようにすればよい。

【０１０５】以上、本実施形態では、図３において隣接
している楕円へ遷移する場合を例に説明したが、Ｑ_ave
とＰ_h／Ｐ_vに対する閾値とをそれぞれ複数設定すること
により、隣接していない楕円へ遷移させてもよい。

【０１０６】図７（ｂ）に示すように、まず、Ｑ_aveの
値とたとえば各閾値Ｑ_th-2（ｋ₀）〜Ｑ_th3（ｋ₀）との
大小を比較して、解像度レベルｋがｋ₀からｋ₀へ遷移す
るのか、ｋ₀以外のｋ₀＋３〜ｋ₀−３のいずれかへ遷移
するかを求める。すなわち、求めた解像度レベルｋの変
位量をｐとすると、変位量ｐが０かどうかを求める。

【０１０７】つぎに、解像度レベルｋがｋ₀以外のｋ
_0＋３〜ｋ_0−３のいずれかへ遷移する場合、すなわち、
変位量ｐが０でない場合には、解像度レベルｋがｋ
_0＋ｐのいずれかへ遷移するということを決定する。

【０１０８】つづいて、解像度レベルｋがｋ_0＋ｐの楕
円のうち、いずれの楕円に遷移するかを決定する。具体
的には、各楕円の遷移した場合に解像度変換手段１０２
への入力信号の電力損失を算出して、基本的には、算出
した値が最小になる楕円を遷移先と決定する。但し、動
画像の水平方向と垂直方向との各解像度が極端に異なら
ないようにするために、［ｍ−ｎ］の差に従って各算出
値に重み付けをするようにしている。

【０１０９】この重み付けは、たとえば、数式（１）の
関数ｆ（ｘ），ｄ（ｘ，ｙ）を用いて、 ｆ（ｄ（ｍ，ｎ）） によって、算出した数値を用いればよい。

【０１１０】ここで、ｐ＜０の場合、すなわち、解像度
を上げさせるような解像度情報を作成する場合には、動
画像の水平方向と垂直方向との解像度の差が最も小さい
状態のうちいずれかに遷移するようにする。なお、隣接
していない楕円へ遷移させる場合には、解像度情報作成
手段１２０において、解像度そのものを含む解像度情報
が作成される。

【０１１１】次に、図２の動画像復号化装置の動作につ
いて説明する。動画像復号化装置は、動画像符号化装置
から送信された符号列を受信して可変長復号化手段９０
１へ出力する。

【０１１２】可変長復号手段９０１は、出力された符号
列に対して可変長復号を行うことにより、量子化変換係
数信号、量子化パラメータ、予測パラメータ及び解像度
情報を復号化し、量子化変換係数信号を逆量子化手段９
０２へ出力し、予測パラメータを予測画像生成手段２０
０６へ出力し、解像度情報を解像度変換手段９０４及び
予測画像生成手段２００６へ出力し、量子化パラメータ
を逆量子化手段９０２へ出力する。

【０１１３】逆量子化手段９０２は、図１に示した逆量
子化手段１００５と同様に、出力された量子化変換係数
信号に対し、同じく出力された量子化パラメータに基づ
いて逆量子化を行うことによって取得した逆量子化変換
係数信号を逆周波数変換手段９０３へ出力する。

【０１１４】逆周波数変換手段９０３は、図１に示した
逆周波数変換手段１００６と同様に、出力された逆量子
化変換係数信号を逆周波数変換することにより低解像度
復号予測誤差画像信号を生成して、解像度変換手段９０
４へ出力する。

【０１１５】解像度変換手段９０４は、図１に示した解
像度変換手段１００７と同様に、出力された低解像度復
号予測誤差画像信号に係る動画像の解像度を、解像度変
換情報によって特定された解像度から元の動画像の解像
度に戻すように変換して得られる、復号予測誤差画像信
号を加算手段２００５へ出力する。

【０１１６】加算手段２００５は、図１に示した加算手
段１００８と同様に、出力された復号予測誤差画像信号
に予測画像生成手段２００６から出力されている予測画
像信号を加算して得られた動画像信号をメモリ２０７及
び外部に出力する。

【０１１７】メモリ２０７は、図１に示したメモリ１０
９と同様に、加算手段２００５から出力された動画像信
号を一時的に蓄積し、予測画像信号を生成する際に予測
画像生成手段２００６へ出力する。

【０１１８】予測画像生成手段２００６は、図１に示し
た予測画像生成手段１０１０と同様に、メモリ２０７か
ら出力された動画像信号を用いて、可変長復号手段９０
１から出力されている予測パラメータと解像度情報とに
基づいて予測画像信号を生成して加算手段２００５へ出
力する。

【０１１９】（実施形態２）図９は、本発明の実施形態
２の動画像符号化装置の構成を示すブロック図である。
図９において、１５０は逆量子化手段１０５から出力さ
れた逆量子化変換係数信号と制御部１１１から出力され
た量子化パラメータとバッファ１１３から出力されたバ
ッファ占有量と可変長符号化手段１１２から出力された
発生符号量とに基づいて次に符号化する動画像の解像度
の変換に用いる解像度情報を作成する解像度情報作成手
段である。

【０１２０】解像度情報作成手段１５０は、逆量子化手
段１０５から出力された逆量子化変換係数信号に対して
同じ周波数の逆量子化変換係数信号間で二乗平均などの
統計処理を行うことにより各周波数に対する逆量子化変
換係数信号の平均値を算出して予測誤差分布情報として
出力する予測誤差分布算出手段１５１と、予測誤差分布
算出手段１５１から出力された予測誤差分布情報と制御
部１１１から出力された量子化パラメータなどとに基づ
いて動画像の水平方向と垂直方向との解像度変換を個別
に制御するための選択手段１５２とを備えている。な
お、図９において図１と同様の部分には同一符号を付し
ている。

【０１２１】また、図９に示す動画像符号化装置の動作
は、実施形態１の動画像符号化装置の動作と同様である
が、解像度情報作成手段１５０に備えている予測誤差分
布算出手段１５１は、逆量子化変換係数信号の平均値を
算出している。なお、この算出結果には、符号化歪みが
含まれるため、実際の周波数分布とは異なるが、それに
近い分布が得られるので、それを用いて次に符号化する
動画像の解像度の変換に用いる解像度情報を作成してい
る。

【０１２２】（実施形態３）図１０は、本発明の実施形
態３の動画像符号化装置の構成を示すブロック図であ
る。図１０において、１３０は解像度変換手段１０２か
ら出力された低解像度予測誤差画像信号と、制御部１１
１から出力された量子化パラメータとバッファ１１３か
ら出力されたバッファ占有量と可変長符号化手段１１２
から出力された発生符号量とに基づいて次に符号化する
動画像の解像度の変換に用いる解像度情報を作成する解
像度情報作成手段である。

【０１２３】解像度情報作成手段１３０は、解像度変換
手段１０２から出力された低解像度予測誤差画像信号か
ら、方向毎にアクティビティ（交流電力成分）を求め
て、これを方向別予測誤差推定情報として出力する方向
別予測誤差推定手段１３１と、方向別予測誤差推定手段
１３１から出力された予測誤差分布情報と制御部１１１
から出力された量子化パラメータなどとに基づいて動画
像の水平方向と垂直方向との解像度変換を個別に制御す
るための選択手段選択手段１３２とを備えている。な
お、図１０において図１と同様の部分には同一符号を付
している。

【０１２４】また、図１０に示す動画像符号化装置の動
作は、実施形態１の動画像符号化装置の動作と同様であ
るが、選択手段１３２は、方向別予測誤差推定手段１３
１から出力された方向別予測誤差推定情報に基づいて解
像度を選択し、具体的には、アクティビティの振幅の小
さい方向の解像度を変換するようにしている。

【０１２５】（実施形態４）図１１は、本発明の実施形
態４の動画像符号化装置の構成を示すブロック図であ
る。図１１において、１６０は解像度変換手段１０２か
ら出力された低解像度予測誤差画像信号と、制御部１１
１から出力された量子化パラメータとバッファ１１３か
ら出力されたバッファ占有量と可変長符号化手段１１２
から出力された発生符号量とに基づいて次に符号化する
動画像の解像度の変換に用いる解像度情報を作成する解
像度情報作成手段である。

【０１２６】解像度情報作成手段１６０は、低解像度予
測誤差画像信号を周波数成分に射影する周波数変換を行
うことによって第２の変換係数信号を生成する周波数変
換手段１６３と、周波数変換手段１６３で生成された第
２の変換係数信号を変換係数に対して同じ周波数の変換
係数間で二乗平均などの統計処理を行うことにより各周
波数に対する変換係数の平均値を算出して予測誤差分布
情報として出力する予測誤差分布算出手段１６１と、予
測誤差分布算出手段１６１から出力された予測誤差分布
情報と制御部１１１から出力された量子化パラメータな
どとに基づいて動画像の水平方向と垂直方向との解像度
変換を個別に制御するための選択手段１６２とを備えて
いる。なお、図１１において図１と同様の部分には同一
符号を付している。

【０１２７】周波数変換手段１６３では、周波数変換手
段１０３と同様の手法によって周波数変換を行っても異
なる手法によって周波数変換を行ってもよく、例えば、
周波数変換手段１０３ではＤＣＴを行い、周波数変換手
段１６３ではＤＦＴ（離散フーリエ変換）を行ってもよ
い。

【０１２８】また、図１１に示す動画像符号化装置の動
作は、実施形態１の動画像符号化装置の動作と同様であ
るが、予測誤差分布算出手段１６１では、周波数変換手
段１６３から出力された第２の変換係数信号に基づいて
予測誤差分布を求め、予測誤差分布情報として出力す
る。選択手段１６２では、予測誤差分布算出手段１６１
から出力された予測誤差分布情報と制御部１１１から出
力された量子化パラメータなどとに基づいて解像度を決
定するようにしている。

【０１２９】（実施形態５）図１２は、本発明の実施形
態５の動画像符号化装置の構成を示すブロック図であ
る。図１２において、１７０は減算手段１００１から出
力された予測誤差画像信号と、制御部１１１から出力さ
れた量子化パラメータとバッファ１１３から出力された
バッファ占有量とに基づいて次に符号化する動画像の解
像度の変換に用いる解像度情報を作成する解像度情報作
成手段である。

【０１３０】解像度情報作成手段１７０は、予測誤差画
像信号の周波数変換を行うことにより第３の変換係数信
号を生成する周波数変換手段１７３と、周波数変換手段
１７３で生成された第３の変換係数信号を変換係数に対
して同じ周波数の変換係数間で二乗平均などの統計処理
を行うことにより各周波数に対する変換係数の平均値を
算出して予測誤差分布情報として出力する予測誤差分布
算出手段１７１と、予測誤差分布算出手段１７１から出
力された予測誤差分布情報と制御部１１１から出力され
た量子化パラメータなどとに基づいて動画像の水平方向
と垂直方向との解像度変換を個別に制御するための選択
手段１７２とを備えている。なお、図１２において図１
と同様の部分には同一符号を付している。

【０１３１】また、図１２に示す動画像符号化装置の動
作は、実施形態１の動画像符号化装置の動作と同様であ
るが、図５のステップＳ３１０４においてＰ_h及びＰ_vの
値を算出せず、入力された動画像信号に係る動画像の解
像度を変換したときの各電力損失を求めている。具体的
には、後に図１３のステップＳ３３０４で説明する処理
と同じで、インデックス（ｍ，ｎ）がインデックス（ｍ
＋１，ｎ）及び（ｍ，ｎ＋１）で表せる解像度に変換し
た際の、インデックス（０，０）を基準とした電力損失
を算出して、この算出結果に基づいて解像度を変換する
方向を決定している。

【０１３２】また、図１２に示す動画像符号化方式の場
合、図６を用いて説明した手法の他に、以下説明する図
７に示す手法によって解像度を上げてもよい。なお、図
１３に示す手法を用いる場合には、Direction(k)の値を
記憶する（ステップＳ３１０６，Ｓ３１０８）という動
作が不要となる。

【０１３３】図１３は、図１２に示す動画像符号化装置
における解像度を上げる動作を説明するフローチャート
であり、図６に相当するものである。まず、ステップＳ
３３０１において、図３の遷移図上で、遷移元が一番左
上の楕円であるかどうかを判定する。具体的には、ｍ＝
０かつｎ＝０であるかどうかを判定して、この条件を満
たす場合には、ステップＳ３３０９へ移行し、そうでな
ければステップＳ３３０２へ移行する。

【０１３４】ステップＳ３３０９では、解像度をもう上
げることができないのでCountに１を加えて、図１３に
示す手順を終了する。一方、ステップＳ３３０２では、
動画像の水平方向又は垂直方向の解像度をまだ上げるこ
とができるので、いずれの方向の解像度を低下させるこ
とができるか判定するために、図３の遷移図上で、遷移
元が一番左列の楕円であるかどうかを判定する。具体的
には、ｍ＝０であるかどうかを判定して、この条件を満
たす場合には、ステップＳ３３０６へ移行し、そうでな
い場合には、ステップＳ３３０３へ移行する。

【０１３５】ステップＳ３３０３では、図３の遷移図上
で、遷移元が一番上行の楕円であるかどうかを判定す
る。具体的には、ｎ＝０であるかどうかを判定して、こ
の条件を満たす場合には、ステップＳ３３０８へ移行
し、そうでなければステップＳ３３０４へ移行する。な
お、ステップＳ３３０２とステップＳ３３０３とで行う
処理の順序を互いに入れ替えて、先に遷移元が一番上行
の楕円であるかどうかを判定し、それから遷移元が一番
左列の楕円であるかどうかを判定してもよい。

【０１３６】ステップＳ３３０４では、予測誤差分布算
出手段１２１から出力された予測誤差分布情報を用い
て、インデックス（ｍ，ｎ）を、（ｍ＋１，ｎ）又は
（ｍ，ｎ＋１）で表せる解像度に変換した際の、（ｍ，
ｎ）＝（０，０）に対する水平方向の電力損失Ｐ’_h、
垂直方向の電力損失Ｐ’_v及び水平方向と垂直方向との
いずれの解像度を上げるべきかの決定に用いる閾値Ｐ’
_th（ｍ，ｎ）を算出して、ステップＳ３３０５へ移行す
る。

【０１３７】なお、閾値Ｐ’_th（ｍ，ｎ）は、図５のス
テップＳ３１０４で算出する閾値Ｐ _th（ｍ，ｎ）と同様
に算出する。簡単には、閾値Ｐ’_th（ｍ，ｎ）＝閾値Ｐ
_th（ｍ，ｎ）としてもよい。

【０１３８】ステップＳ３３０５では、動画像の水平方
向と垂直方向との、解像度変換による損失電力の少ない
方の解像度を低下させるために、算出した損失電力Ｐ’
_vとＰ’_hとの比であるＰ’_v／Ｐ’_hと閾値Ｐ’_th（ｍ，
ｎ）との大小を比較して、Ｐ’_v／Ｐ’_hが閾値Ｐ’
_th（ｍ，ｎ）よりも大きい場合には、ステップＳ３３０
８へ移行し、そうでなければステップＳ３３０６へ移行
する。

【０１３９】ステップＳ３３０８では、ｍから１を減ら
すことによって、動画像の水平方向の解像度を上げさせ
る解像度情報を作成してステップＳ３３０７へ移行す
る。ステップＳ３３０６では、ｎから１を減らすことに
よって垂直方向の解像度を上げさせる解像度情報を作成
してステップＳ３３０７へ移行する。ステップＳ３１０
７では、解像度レベルｋから１を減らして、Countの値
をリセットする。こうして、図１３に示す処理を終了す
る。

【０１４０】なお、本実施形態においても、図７（ｂ）
を用いて説明したように、図３における隣接しない楕円
に遷移するようにしてもよい。この場合において、ｐ＜
０のとき、すなわち、解像度を上げるような解像度情報
を作成するときには、算出したＰ’_h及びＰ’_vに基づい
て遷移するようすればよい。

【０１４１】（実施形態６）図１４は、本発明の実施形
態６の動画像符号化装置の構成を示すブロック図であ
る。図１４において、２２１は周波数変換手段１０３か
ら出力された変換係数信号と、逆量子化手段１０５から
出力された逆量子化変換係数信号とに基づいて算出した
量子化によって生じた量子化誤差の統計処理を行うこと
によって、量子化誤差の大きさを表す統計量を算出し
て、量子化誤差情報として解像度情報作成手段２２０へ
出力する量子化誤差算出手段である。

【０１４２】また、２２０は周波数変換手段１０３から
出力された変換係数信号と制御部１１１から出力された
量子化パラメータとバッファ１１３から出力されたバッ
ファ占有量とに基づいて次に符号化する動画像の解像度
の変換に用いる解像度情報を作成する解像度情報作成手
段である。

【０１４３】解像度情報作成手段２２０は、変換係数に
対して同じ周波数の変換係数間で二乗平均などの統計処
理を行うことにより各周波数に対する変換係数の平均値
を算出して予測誤差分布情報として出力する予測誤差分
布算出手段２２１と、予測誤差分布算出手段２２１から
出力された予測誤差分布情報と制御部１１１から出力さ
れた量子化パラメータなどとに基づいて動画像の水平方
向と垂直方向との解像度変換を個別に制御するための選
択手段２２２とを備えている。なお、図１４において図
１と同様の部分には同一符号を付している。

【０１４４】図１４に示す動画像符号化装置の動作は、
実施形態１の動画像符号化装置の動作と同様であるが、
量子化誤差算出手段２２１は、周波数変換手段１０３か
ら出力された変換係数信号と逆量子化手段１０５から出
力された逆量子化変換係数信号とをそれぞれ入力して、
これらの信号を差分することによって、量子化によって
生じたブロック毎の量子化誤差を算出する。さらに、算
出した各量子化誤差から例えば二乗平均値や絶対値平均
値に基づく量子化誤差電力などの統計量を算出するため
に統計処理を行って、算出した統計量を量子化誤差情報
として解像度情報作成手段２２０へ出力する。

【０１４５】解像度情報作成手段２２０では、選択手段
２２２によって、量子化誤差算出手段２２１から出力さ
れた量子化誤差情報と周波数変換手段１０３から出力さ
れた変換係数信号とに基づいて、将来符号化する動画像
の解像度が決定され、解像度情報として、解像度変換手
段１０２，解像度変換手段１０７，可変長符号化手段１
１２，予測画像生成手段１０１０及び予測パラメータ算
出手段１０１５へそれぞれ出力される。

【０１４６】図１５は、図１４の選択手段２２２の動作
を示すフローチャートであり、図４に相当するものであ
る。現在の解像度の状態における解像度レベルｋの値が
ｋ₁である場合には、図１５に示すように、まず、解像
度レベルｋがｋ₁の場合の量子化誤差情報Ｅと量子化誤
差情報Ｅの閾値Ｅ_th1（ｋ₁）との大小を比較し（ステッ
プＳ３５０２）、ＥがＥ_th1（ｋ₁）より大きい場合に
は、ステップＳ３５０５へ移行し、そうでなければステ
ップＳ３５０３へ移行する。なお、ステップＳ３５０５
における処理は、図５と同様としている。

【０１４７】ステップＳ３５０３では、量子化誤差情報
Ｅと閾値Ｅ_th0（ｋ₁）との大小を比較し、さらに、解像
度を変更しない動画像の数、すなわち図３で元の楕円に
遷移した回数（Count）と所定の閾値ｃ_thとの大小を比
較する。そして、ＥがＥ_th0（ｋ₁）より小さい場合であ
って、Countがｃ_thより大きい場合には、ステップＳ３
５０６へ移行し、そうでなければステップＳ３５０４へ
移行する。なお、ステップＳ３５０６における処理は、
図６と同様としている。

【０１４８】また、ステップＳ３５０４では、Countに
１を加える。こうして、図１５に示す処理を終了する。
なお、Countは、実施形態１と同様に、動画像の解像度
を変更させた後に、すぐに直前の解像度に戻さないよう
に制御するために用い、解像度間のばたつきが生じない
ようにしている。

【０１４９】（実施形態７）図１６は、本発明の実施形
態７の動画像符号化装置の構成を示すブロック図であ
る。図１６において、２５０は逆量子化手段１０５から
出力された逆量子化変換係数信号と量子化誤差算出手段
２２１とに基づいて次に符号化する動画像の解像度の変
換に用いる解像度情報を作成する解像度情報作成手段で
ある。

【０１５０】解像度情報作成手段２５０は、逆量子化手
段１０５から出力された逆量子化変換係数信号に対して
同じ周波数の逆量子化変換係数信号間で二乗平均などの
統計処理を行うことにより各周波数に対する逆量子化変
換係数信号の平均値を算出して予測誤差分布情報として
出力する予測誤差分布算出手段２５１と、予測誤差分布
算出手段２５１から出力された予測誤差分布と量子化誤
差算出手段２２１から出力された量子化誤差情報とに基
づいて動画像の水平方向と垂直方向とのいずれの解像度
を変更するかを選択する選択手段２５２とを備えてい
る。

【０１５１】図１６に示す動画像符号化装置の動作は、
実施形態６の動画像符号化装置の動作と同様であるが、
解像度情報作成手段２５０では、逆量子化手段１０５か
ら出力された逆量子化変換係数信号を用いて予測誤差画
像信号の周波数分布を算出して、解像度情報として解像
度変換手段１０２，解像度変換手段１０７，可変長符号
化手段１１２，予測画像生成手段１０１０及び予測パラ
メータ算出手段１０１５へそれぞれ出力するようにして
いる。

【０１５２】（実施形態８）図１７は、本発明の実施形
態８の動画像符号化装置の構成を示すブロック図であ
る。図１７において、２３０は解像度変換手段１０２か
ら出力された低解像度予測誤差画像信号と量子化誤差算
出手段２２１から出力された逆量子化変換係数信号とに
基づいて次に符号化する動画像の解像度の変換に用いる
解像度情報を作成する解像度情報作成手段である。

【０１５３】解像度情報作成手段２３０は、図１０で説
明した方向別予測誤差推定手段１３１と同様の方向別予
測誤差推定手段２３１と、方向別予測誤差推定手段２３
１から出力された方向別予測誤差推定情報と量子化誤差
算出手段２２１から出力された量子化誤差情報とに基づ
いて解像度を選択する選択手段２３２とを備えている。
なお、図１７において図１４と同様の部分には同一符号
を付している。

【０１５４】図１７に示す動画像符号化装置の動作は、
実施形態６の動画像符号化装置の動作と同様であるが、
選択手段２３２では、量子化誤差算出手段２２１から出
力された量子化誤差情報と方向別予測誤差推定手段２３
１から出力された方向別予測誤差推定情報を用いて解像
度を選択し、解像度情報として解像度変換手段１０２，
解像度変換手段１０７，可変長符号化手段１１２，予測
画像生成手段１０１０及び予測パラメータ算出手段１０
１５へそれぞれ出力するようにしている。

【０１５５】（実施形態９）図１８は、本発明の実施形
態９の動画像符号化装置の構成を示すブロック図であ
る。図１８において、２６０は解像度変換手段１０２か
ら出力された低解像度予測誤差画像信号と量子化誤差算
出手段２２１から出力された逆量子化変換係数信号とに
基づいて次に符号化する動画像の解像度の変換に用いる
解像度情報を作成する解像度情報作成手段である。

【０１５６】解像度情報作成手段２６０は、図１１で説
明した周波数変換手段１６３及び予測誤差分布算出手段
１２１と、予測誤差分布算出手段１２１から出力された
方向別予測誤差推定情報と量子化誤差算出手段２２１か
ら出力された量子化誤差情報とに基づいて解像度を選択
する選択手段２６２とを備えている。

【０１５７】図１８に示す動画像符号化装置の動作は、
実施形態６の動画像符号化装置の動作と同様であるが、
選択手段２６２では、量子化誤差算出手段２２１から出
力された量子化誤差情報と、予測誤差分布算出手段１６
１から出力された予測誤差分布情報とに基づいて解像度
を選択し、解像度情報として解像度変換手段１０２，解
像度変換手段１０７，可変長符号化手段１１２，予測画
像生成手段１０１０及び予測パラメータ算出手段１０１
５へそれぞれ出力するようにしている。

【０１５８】（実施形態１０）図１９は、本発明の実施
形態１０の動画像符号化装置の構成を示すブロック図で
ある。図１９において、２７０は減算手段１００１から
出力された予測誤差画像信号と量子化誤差算出手段２２
１から出力された逆量子化変換係数信号とに基づいて次
に符号化する動画像の解像度の変換に用いる解像度情報
を作成する解像度情報作成手段である。

【０１５９】解像度情報作成手段２７０は、図１２で説
明した周波数変換手段１６３及び予測誤差分布算出手段
１６１と、予測誤差分布算出手段１６１から出力された
予測誤差分布情報と量子化誤差算出手段２２１から出力
された量子化誤差情報とに基づいて解像度を選択する選
択手段２７２とを備えている。

【０１６０】図１９に示す動画像符号化装置の動作は、
実施形態６の動画像符号化装置の動作と同様であるが、
選択手段２７２では、量子化誤差算出手段２２１から出
力された量子化誤差情報と、予測誤差分布算出手段１６
１から出力された予測誤差分布情報とを用いて、解像度
を選択して、解像度情報として解像度変換手段１０２，
解像度変換手段１０７，可変長符号化手段１１２，予測
画像生成手段１０１０及び予測パラメータ算出手段１０
１５へそれぞれ出力するようにしている。

【０１６１】以上、本発明の各実施形態で説明した動画
像符号化装置の動作を実現できるプログラムを、ＣＤ−
ＲＯＭやフロッピー（登録商標）ディスク、不揮発性メ
モリカードなどの記憶媒体に記憶し、記憶媒体に記憶し
ているプログラムをコンピュータによって読み取り実行
するようにしてもよい。

【０１６２】

【発明の効果】以上説明したように、本発明によると、
動画動の水平方向と垂直方向とで個別に解像度を変換す
ることができるので、動画像の画質を向上することが可
能となる。

【図面の簡単な説明】

【図１】本発明の実施形態１の動画像符号化装置の構成
を示すブロック図である。

【図２】図１に示す動画像符号化装置において符号化さ
れた動画像を復号化する動画像復号化装置の構成を示す
ブロック図である。

【図３】図１の選択手段の動作を説明するための遷移図
である。

【図４】図１の選択手段の動作を示すフローチャートで
ある。

【図５】図４のステップＳ３００５の手順を示すフロー
チャートである。

【図６】図４のステップＳ３００６の手順を示すフロー
チャートである。

【図７】Ｑ_aveと閾値Ｑ_th0（ｋ₀）等との関係を示す図
である。

【図８】数式（５）を対数スケールで示す図である。

【図９】本発明の実施形態２の動画像符号化装置の構成
を示すブロック図である。

【図１０】本発明の実施形態３の動画像符号化装置の構
成を示すブロック図である。

【図１１】本発明の実施形態４の動画像符号化装置の構
成を示すブロック図である。

【図１２】本発明の実施形態５の動画像符号化装置の構
成を示すブロック図である。

【図１３】図１２に示す動画像符号化装置における解像
度を上げる動作を説明するフローチャートである。

【図１４】本発明の実施形態６の動画像符号化装置の構
成を示すブロック図である。

【図１５】図１４の選択手段の動作を示すフローチャー
トである。

【図１６】本発明の実施形態７の動画像符号化装置の構
成を示すブロック図である。

【図１７】本発明の実施形態８の動画像符号化装置の構
成を示すブロック図である。

【図１８】本発明の実施形態９の動画像符号化装置の構
成を示すブロック図である。

【図１９】本発明の実施形態１０の動画像符号化装置の
構成を示すブロック図である。

【図２０】従来技術の解像度変換を行う動画像符号化装
置の構成を示すブロック図である。

【図２１】図２０に示す動画像符号化装置において符号
化された動画像を復号化する動画像復号化装置の構成を
示すブロック図である。

【符号の説明】

１０２，１０７，１００２，９０４，２００４ 解像度
変換手段 １０３，１６３ 周波数変換手段 １０４，１００４ 量子化手段 １０５，１００５，２００２ 逆量子化手段 １０６ 逆周波数変換手段 １０９ メモリ １１１，１０１１ 制御部 １１２，１０１２ 可変長符号化手段 １２０，１３０，１５０，１６０，１７０，２２０，２
３０，２５０，２６０，２７０，１０１４ 解像度情報
作成手段 １２１，１３１，１５１，１６１，１７１，２２１，２
３１，２５１ 予測誤差分布算出手段 １２２，１３２，１５２，１６２，１７２，２２２，２
３２，２５２，２６２，２７２ 選択手段 １３１，２３１ 方向別予測誤差推定手段 ２２１ 量子化誤差算出手段 ９０１，２００１ 可変長復号手段 １００１ 減算手段 １００３ ＤＣＴ変換手段 １００８，２００５ 加算手段 １０１０，２００６ 予測画像生成手段 １０１３ バッファ １０１５ 予測パラメータ算出手段 ２００３ 逆ＤＣＴ変換手段 ２００７ フレームメモリ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 MA01 MA23 MC11 MC31 ME01 PP04 SS20 TA41 TA45 TA46 TA50 TA57 TB04 TC08 TC18 TC20 TC36 TD10 TD11 UA02 UA05 UA32 UA39 5C063 BA03 CA09 CA40 5J064 BA01 BA09 BC01 BC08 BC16 BC25 BD02

Claims (11)

【特許請求の範囲】
1. 【請求項１】 動画像の水平方向と垂直方向との解像度
   変換を個別に制御する動画像符号化装置であって、 前記動画像の水平方向と垂直方向との少なくとも一方向
   の解像度を変換する第１解像度変換手段と、 前記第１解像度変換手段によって解像度変換する際の解
   像度レベルを決定する決定手段と、 前記決定手段によって決定された解像度レベルに応じて
   前記第１解像度変換手段で前記解像度が変換された場合
   の該第１解像度変換手段への入力信号の各電力損失又は
   各交流電力成分を算出する算出手段と、 前記算出手段によって算出された各電力損失又は各交流
   電力成分に基づいて前記第１解像度変換手段で解像度変
   換する際に用いる解像度情報を作成する作成手段とを備
   えることを特徴とする動画像符号化装置。
2. 【請求項２】 さらに、前記第１解像度変換手段から出
   力された予測誤差画像信号を変換することによって第１
   変換係数信号を求める第１周波数変換手段と、前記第１
   周波数変換手段で求められた第１変換係数信号を量子化
   して量子化係数信号を求める量子化手段と、前記量子化
   手段で求められた量子化係数信号を符号化して符号列を
   作成する符号化手段と、前記符号化手段によって作成さ
   れた符号列を蓄積するバッファとを備え、 前記量子化手段は、前記符号化手段で作成された符号列
   の符号化発生量と前記バッファの符号列の占有量とに基
   づくパラメータに従って変換係数信号を量子化すること
   を特徴とする請求項１記載の動画像符号化装置。
3. 【請求項３】 前記算出手段は、前記第１周波数変換手
   段で求められた第１変換係数信号に応じて各電力損失又
   は各交流電力成分を算出し、 前記作成手段は、さらに前記パラメータに基づいて前記
   解像度情報を作成することを特徴とする請求項２記載の
   動画像符号化装置。
4. 【請求項４】 前記算出手段は、前記量子化手段で求め
   られた量子化係数信号に基づいて各電力損失又は各交流
   電力成分を算出し、 前記作成手段は、さらに前記パラメータに基づいて前記
   解像度情報を作成することを特徴とする請求項２記載の
   動画像符号化装置。
5. 【請求項５】 前記第１解像度変換手段の入力又は出力
   信号を変換することによって第２変換係数信号を求める
   第２周波数変換手段を備え、 前記算出手段は、前記第２周波数変換手段で求められた
   第２変換係数信号に応じて各電力損失又は各交流電力成
   分を算出することを特徴とする請求項１又は２記載の動
   画像符号化装置。
6. 【請求項６】 前記作成手段は、さらに、前記第１又は
   第２変換係数信号と前記量子化係数信号とに基づいて算
   出された量子化の際の量子化誤差に基づいて前記解像度
   情報を作成することを特徴とする請求項２から５のいず
   れか１項記載の動画像符号化装置。
7. 【請求項７】 前記量子化手段によって求められた量子
   化係数信号を前記パラメータに基づいて逆量子化するこ
   とによって第２変換係数信号を求める逆量子化手段と、
   前記逆量子化手段によって求められた第２変換係数信号
   を前記第１周波数変換手段で行われた変換に対する逆変
   換を行うことによって第２予測誤差画像信号を求める逆
   周波数変換手段と、前記逆周波数変換手段によって求め
   られた第２予測誤差画像信号に係る動画像の解像度を前
   記第１解像度変換手段の変換結果に基づいて変換する第
   ２解像度変換手段と、前記第２解像度変換手段によって
   変換された動画像に係る動画像信号を格納するメモリ
   と、前記メモリに格納されている動画像信号に基づく信
   号を動画像符号化装置本体に入力される動画像信号から
   減算する減算手段とを備えることを特徴とする請求項３
   又は４記載の動画像符号化装置。
8. 【請求項８】 請求項７記載の動画像符号化装置におい
   て符号化された符号列を復号化する復号化手段と、前記
   復号化手段によって復号化された量子化係数信号を前記
   パラメータに応じて逆量子化することによって変換係数
   信号を求める逆量子化手段と、前記逆量子化手段によっ
   て求められた変換係数信号を逆周波数変換することによ
   って予測誤差画像信号を求める逆周波数変換手段と、前
   記逆周波数変換手段によって求められた予測誤差画像信
   号に係る動画像の解像度を変換する第３解像度変換手段
   と、前記第３解像度変換手段によって変換された動画像
   に係る動画像信号を格納するメモリと、前記メモリに記
   憶されていた過去の動画像信号と前記パラメータと前記
   解像度変換手段の変換結果とに基づく動画像信号を前記
   第３解像度変換手段によって変換された解像度に係る動
   画像信号に加算する加算手段とを備えることを特徴とす
   る動画像復号化装置。
9. 【請求項９】 請求項７記載の動画像符号化装置と、請
   求項８記載の動画像復号化装置とを伝送路で接続してな
   ることを特徴とする動画像通信システム。
10. 【請求項１０】 動画像の水平方向と垂直方向との解像
    度変換を個別に制御する動画像符号化方法であって、 前記動画像の水平方向と垂直方向との少なくとも一方向
    の解像度を第１解像度変換手段によって変換し、 前記第１解像度変換手段によって解像度変換する際の解
    像度レベルを決定手段によって決定し、 前記決定手段によって決定された解像度レベルに応じて
    前記第１解像度変換手段で前記解像度が変換された場合
    の該第１解像度変換手段への入力信号の各電力損失又は
    各交流電力成分を算出手段によって算出し、 前記決定手段によって決定された解像度レベルと前記算
    出手段によって算出された各電力損失又は各交流電力成
    分とに基づいて前記第１解像度変換手段で解像度変換す
    る際に用いる解像度情報を作成手段によって作成するこ
    とを特徴とする動画像符号化方法。
11. 【請求項１１】 請求項１０記載の動画像符号化方法を
    コンピュータに実行させる命令を含むプログラムを格納
    したことを特徴とする記憶媒体。