JP2006197186A

JP2006197186A - 画像符号化装置及び電池駆動復号器

Info

Publication number: JP2006197186A
Application number: JP2005006098A
Authority: JP
Inventors: Hiroyuki Okada; 浩行岡田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-01-13
Filing date: 2005-01-13
Publication date: 2006-07-27

Abstract

【課題】再符号化対象の画像解像度及び再符号化された符号化ビットストリームを復号する電池駆動機器に適合した再符号化パラメータの決定が行え、再符号化された符号化ビットストリームを復号する機器に適した処理量や消費電力で符号化ができる画像符号化装置及び電池駆動復号器を提供する。
【解決手段】画像符号化された第１の符号化ビットストリーム１０６を復号し、復号画像を生成する画像復号手段１０１と、復号画像を解像度変換する解像度変換手段１０３と、復号画像と変換画像の解像度との割合を算出する解像度変換割合算出手段１０２と、解像度変換割合に基づき変換画像を符号化する際のパラメータを決定する再符号化パラメータ決定手段１０４と、変換画像を符号化パラメータに従い符号化して第２の符号化ビットストリーム１１３を生成する画像符号化手段１０５を備える画像符号化装置。
【選択図】図１

Description

本発明は、画像通信、画像記録等で利用される画像符号化に関するものであり、特に画像符号化ビットストリームを使用用途に応じて再符号化する画像符号化装置に関する。

近年、広帯域の通信手段や、大容量の記録メディアの普及に伴い、動画像データの利用が盛んになっている。動画像データはデータ量が膨大であるので、通信手段の広帯域化や記録メディアの大容量化が進んでいるとはいえ、動画像データを利用するためには、符号化によるデータ量の圧縮が必要不可欠となっている。

動画像の符号化方式としては、ＩＳＯ／ＩＥＣ標準であるＭＰＥＧ−２やＭＰＥＧ−４、ＩＴＵ−Ｔ勧告Ｈ．２６４などが知られている。これらは画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。具体的には、動き補償予測と離散コサイン変換（ＤＣＴ）を組合せたハイブリッド符号化方式である。

このような画像符号化方式の応用として、符号化された動画像の符号列である符号化ビットストリームの形式を使用用途に応じて別の形式に変換することが行われている。この場合、符号化ビットストリームを一旦画像に復号した後、再符号化する方法が提案されている。例えば、高ビットレートで符号化された高画質な画像に対し、画像表示画面が小さい携帯情報端末等に適するように画像解像度を低下させて低ビットレートに再符号化する方法がある。

図１５は、特許文献１が開示する再符号化時に解像度変換を実施する画像符号化装置の構成を本発明に則して変形した図である。図において、１５０１は画像復号部、１５０２は解像度変換部、１５０３は制御部、１５０４は画像符号化部を示している。

また、図１６は画像復号部１５０１、図１７は画像符号化部１５０４の構成例を示している。以下、図１５、図１６、図１７を用いて、動き補償予測と２次元直交変換を符号化方式とした場合の従来例について説明する。

図１５の画像復号部１５０１に符号化列である符号化ビットストリーム１５０５が入力される。符号化ビットストリームは、他の画像符号化装置により生成した画像の直交変換係数やピクチャタイプ（Ｉピクチャ／Ｐピクチャ／Ｂピクチャ）等のヘッダ情報、符号化の状態を表す符号化モード、即ち、符号化実施の有無や動きベクトルや予測符号化モードであるフレーム内（イントラ）符号化／フレーム間予測（インター）符号化の情報などが可変長符号化され、多重化されたものである。この符号化ビットストリーム１５０５を入力とし、画像復号部１５０１では次のように復号画像１５０６を生成する。

図１６において、可変長復号部１６０１では符号化ビットストリームを復号して量子化された直交変換係数や動きベクトル、イントラ符号化／インター符号化などの符号化モード情報を得る。逆量子化部１６０２では、量子化された直交変換係数に逆量子化を実施して直交変換係数を得て、これを逆直交変換部１６０３で２次元逆直交変換して差分画像を得る。

予測符号化モード１６０８がインター符号化であるときは、スイッチ１６０７の出力が動き補償予測部１６０６の出力となるようにして、フレームメモリ部１６０５に蓄積された前フレームの復号画像に基づき、差分画像を加算器１６０４で動き補償予測部１６０６からの動き補償予測値と加算して、フレームメモリ部１６０５に現フレームの復号画像を蓄積すると共に元画像の復号画像１５０６として出力する。

また、ブロックがイントラ符号化である場合は、スイッチ１６０７が動き補償予測部１６０６と切断され、逆直交変換部１６０３からの出力に加算されるものがないので結果的に逆直交変換部１６０３の出力がそのままフレームメモリ部１６０５に復号画像として蓄積され、前記と同様に元画像の復号画像１５０６として出力する。

次に図１５に戻って、再符号化の対象となる画像を生成するために、元画像の復号画像１５０６を解像度変換部１５０２で画像の解像度を変換する。解像度変換に関する情報は、制御情報１５０７に従い制御部１５０３において決定され、解像度変換情報１５０８として解像度変換部１５０２に入力される。例えば、解像度変換情報１５０８が縦１／２、横１／２に縮小する指示であれば、元画像の復号画像１５０６は解像度変換部１５０２で縦横が１／２、即ち面積で１／４とした画像が新たに生成され、被再符号化画像１５０９として出力する。なお、制御部１５０３では再符号化パラメータ１５１０を画像符号化部１５０４に入力し、画像符号化部１５０４も制御する。

その後、被再符号化画像１５０９の再符号化は画像符号化部１５０４で実施される。図１７を用いて画像の再符号化の動作を説明する。フレームメモリ部１７０１に被再符号化画像１５０９が入力されると、フレームメモリ部１７０１において蓄積されＮ×Ｍ画素（Ｎ、Ｍは自然数）のブロックに分割される。減算器１７０２ではフレームメモリ部１７０１の入力画像と動き補償予測部１７１１からの動き補償予測値との差分がブロック単位で計算され、直交変換部１７０３で各々のブロックの画素に２次元の直交変換を実施し、変換係数を量子化部１７０４へ送出する。量子化部１７０４では、符号化制御部１７１２から出力された量子化ステップサイズにより変換係数を量子化する。

また、量子化部１７０４からの出力は逆量子化部１７０６にも入力され、逆量子化が行われて変換係数を得る。逆直交変換部１７０７では、変換係数を２次元逆直交変換して加算器１７０８で動き補償予測部１７１１からの動き補償予測値と加算された画像が、フレームメモリ部１７０９に蓄積される。フレームメモリ部１７０９に蓄積された画像と、フレームメモリ部１７０１に蓄積された画像は動き検出部１７１０に入力され、動きベクトルが検出される。動き補償予測部１７１１では動きベクトルとフレームメモリ部１７０９に蓄積された画像から動き補償予測値が求められる。また、動き補償予測値と入力画像の差分のパワー、入力画像のパワーを比較してインター符号化、あるいはイントラ符号化の判定を行う。符号化制御部１７１２では再符号化パラメータ１５１０及びバッファメモリ部１７１３における符号化列のバッファ占有量が入力されて、これらに基づいて量子化ステップサイズが決定される。

可変長符号化部１７０５で量子化部１７０４からの量子化出力のエントロピー符号化を行って、バッファメモリ部１７１３に一時的に符号化列を蓄積した後、符号化ビットストリーム１５１１を出力する。

例えば、特許文献１に記載の技術によれば、変換対象の符号化ビットストリーム１５０５を画像復号部１５０１で復号して元画像の復号画像を生成した後、解像度変換部１５０２で解像度を低下させる。次に画像符号化部１５０４では被再符号化画像１５０９を表示する携帯情報端末等に適した符号化を実施し、新たな符号化ビットストリームである符号化ビットストリーム１５１１を生成する。その際、制御部１５０３において携帯情報端末等の通信速度、ハードウェアリソース等を考慮した制御情報１５０７に基づき、最も適した符号化方式等の再符号化パラメータ１５１０が決定され、画像符号化部１５０４を制御している。
特開２００２−７７８３９号公報

しかしながら、前記従来の技術では、再符号化の際に携帯情報端末等に適した符号化を実施すると記載しているだけである。即ち、携帯情報端末等に適した符号化とは、どのような内容かを説明する記載や示唆もなく、再符号化パラメータの具体的な決定方法が述べられていないので実現性が低いという問題点がある。また、従来例でも再符号化後の符号化ビットストリームを入力する機器が電池駆動のカメラ付デジタル携帯電話機のような携帯情報端末であるのにも関わらず、消費電力軽減など電池駆動を考慮した再符号化パラメータの決定方法についても考慮されていないという問題点がある。

本発明は、以上のような問題点を解決するためになされたものであって、元画像と再符号化のための画像の解像度変換割合に基づき再符号化する際の符号化パラメータを決定すると共に、再符号化された符号化ビットストリームを電池駆動の機器への入力にあたり、その電池残量をも考慮して再符号化する際の符号化パラメータを決定するので、再符号化対象の画像解像度、及び再符号化された符号化ビットストリームを復号する電池駆動機器に適合した再符号化パラメータの決定が行え、再符号化された符号化ビットストリームを復号する機器に適した処理量や消費電力で符号化ができる画像符号化装置及び電池駆動復号器を提供することにある。

本発明に係る画像符号化装置は、画像符号化された第１の符号化ビットストリームを復号し、復号画像を生成する画像復号手段と、前記復号画像を解像度変換して解像度変換された画像（変換画像）を生成する解像度変換手段と、前記復号画像の解像度と前記変換画像の解像度との割合を解像度変換割合として算出する解像度変換割合算出手段と、前記解像度変換割合に基づき前記変換画像を符号化する際の符号化パラメータを決定する再符号化パラメータ決定手段と、前記変換画像を前記再符号化パラメータ決定手段で決定された符号化パラメータに従い符号化して第２の符号化ビットストリームを生成する画像符号化手段を備えることを特徴とする。

また、前記第２の符号化ビットストリームを生成する画像符号化手段に前記第２の符号化ビットストリームを入力するために接続する携帯可能な電池駆動復号手段を備え、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段の電池残量情報に基づき前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

また前記解像度変換割合算出手段は、前記復号画像の解像度と前記変換画像の解像度を基に双方の解像度が同じ場合を１とし、前記変換画像の解像度が前記復号画像の解像度より小さくなるときは１より小さい値とし、前記変換画像の解像度が前記復号画像の解像度より大きくなるときは１より大きい値とする割合を算出することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記第２の符号化ビットストリームの復号時の処理量に基づき前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほど前記第２の符号化ビットストリームの復号時の処理量が小さく、前記解像度変換割合が大きくなるほど前記第２の符号化ビットストリームの復号時の処理量が大きくなる比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほど符号化機能を表すプロファイルを下位に、前記解像度変換割合が大きくなるほどプロファイルを上位に変更する比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほど符号化アルゴリズムを容易に、前記解像度変換割合が大きくなるほど符号化アルゴリズムを複雑に変更する比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほどブロックひずみ低減のためのデブロッキングフィルタ処理をオフにし、前記解像度変換割合が大きくなるほどデブロッキングフィルタ処理をオンになるように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほどブロックひずみ低減のためのデブロッキングフィルタ処理時のフィルタ強度を弱くし、前記解像度変換割合が大きくなるほどデブロッキングフィルタ処理時のフィルタ強度を強くする比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合が小さくなるほど符号化パラメータにおけるエントロピー符号化モードをコンテキスト適応型可変長符号化方式（ＣＡＶＬＣ）に決定し、前記解像度変換割合が大きくなるほどエントロピー符号化モードをコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ）に決定するように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段の電池残量情報に基づきデブロッキングフィルタ処理を制御し、電池残量が第１の所定値以上の場合はデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施し、電池残量が第１の所定値より小さく第２の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、電池残量が第２の所定値よりも小さいときはデブロッキングフィルタ処理を実施しないように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に入力する前記第２の符号化ビットストリームの符号量に基づき前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に入力する前記第２の符号化ビットストリームの符号量に基づきデブロッキングフィルタ処理を制御し、前記入力符号量が第３の所定値以上の場合はデブロッキングフィルタ処理を実施せず、前記入力符号量が第３の所定値より小さく第４の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、前記入力符号量が第４の所定値よりも小さいときはデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施するように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に記憶されている符号量に基づき前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

より好ましくは、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に記憶されている符号量に基づきデブロッキングフィルタ処理を制御し、前記記憶符号量が第５の所定値以上の場合はデブロッキングフィルタ処理を実施せず、前記記憶符号量が第５の所定値より小さく第６の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、前記記憶符号量が第６の所定値よりも小さいときはデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施するように、前記変換画像を符号化する際の符号化パラメータを決定することを特徴とする。

また、本発明に係る電池駆動復号器は、画像符号化された第１の符号化ビットストリームを復号し、復号画像を生成する画像復号手段と、前記復号画像を解像度変換して変換画像を生成する解像度変換手段と、前記復号画像の解像度と前記変換画像の解像度との割合を解像度変換割合として算出する解像度変換割合算出手段と、前記解像度変換割合に基づき前記変換画像を符号化する際の符号化パラメータを決定する再符号化パラメータ決定手段と、前記変換画像を前記再符号化パラメータ決定手段で決定された符号化パラメータに従い符号化して第２の符号化ビットストリームを生成する画像符号化手段を備える画像符号化装置の画像符号化手段及び再符号化パラメータ決定手段に接続して前記第２の符号化ビットストリームを入力するとともに、電池残量情報を出力し、切り離して携帯可能な電池駆動復号手段を備えることを特徴とする。

以上のような各技術手段から構成される本発明によれば、元画像と再符号化のための画像の解像度変換割合に基づき再符号化する際の符号化パラメータを決定すると共に、再符号化された符号化ビットストリームを電池駆動の機器への入力にあたり、その電池残量をも考慮して再符号化する際の符号化パラメータを決定するので、再符号化対象の画像解像度、及び再符号化された符号化ビットストリームを復号する電池駆動機器に適合した再符号化パラメータの決定が行え、再符号化された符号化ビットストリームを復号する機器に適した処理量や消費電力で符号化ができる。

本発明を実施するための最良の形態を説明する。
本発明の画像符号化装置及び電池駆動復号器の実施形態について図面を用いて説明する。

実施例１を説明する。以下、図面を参照して本発明の第一の実施形態について説明する。図１は本発明の第１の実施例の画像符号化装置のブロック図であり、符号化ビットストリームを復号して元画像の復号画像を生成する画像復号部１０１と、該画像復号部１０１と解像度変換部１０３に接続し該生成された元画像の復号画像の解像度と再符号化時の画像解像度との割合を算出する解像度変換割合算出部１０２と、該画像復号部１０１と該解像度変換割合算出部１０２に接続し該元画像の復号画像の解像度を変換して変換画像を生成する解像度変換部１０３と、該解像度変換割合算出部１０２に接続し該解像度変換割合や再符号化時の条件から符号化条件を決定する再符号化パラメータ決定部１０４と、該解像度変換部１０３と該再符号化パラメータ決定部１０４に接続し解像度変換された復号画像を再符号化する画像符号化部１０５を備えている。

上記構成による画像符号化装置の動作は、以下の通りである。画像復号部１０１には、他の画像符号化装置により画像に対して離散コサイン変換（ＤＣＴ）を実施して当該ＤＣＴ係数を量子化した量子化ＤＣＴ係数、イントラ符号化／インター符号化の情報である予測符号化モード、量子化の大きさを示すパラメータである量子化ステップサイズ、動きベクトル、符号化実施の有無の情報等や画像解像度等の符号化情報を可変長符号化して多重化された符号化ビットストリームを生成したもの、例えばＩＴＵ−Ｔ勧告Ｈ．２６４に従う第１の符号化ビットストリーム１０６が入力される。

図２は画像復号部１０１の構成を説明するための図であり、本図における可変長復号部２０１に符号化ビットストリーム１０６を入力して可変長復号を行うことで、画像のブロック毎に量子化されたＤＣＴ係数、イントラ符号化／インター符号化の情報（予測符号化モード）、量子化ステップサイズ、動きベクトル、符号化実施の有無の情報や画像解像度等の符号化情報を得る。また、ここで復号して得た画像解像度は、元画像の画像解像度情報１０８として出力する。

逆量子化部２０２では、可変長復号部２０１で得られた量子化されたＤＣＴ係数を量子化ステップサイズに従い逆量子化して逆量子化されたＤＣＴ係数を得る。

逆直交変換部２０３は、逆量子化されたＤＣＴ係数に２次元逆ＤＣＴを実施して差分画像を得る。

加算器２０４では、ブロックがインター符号化であった場合はフレームメモリ部２０６に蓄積された前フレームの復号画像からブロックの動きベクトルに基づき算出された動き補償予測値、あるいはそのブロックがイントラ符号化であった場合はスイッチ２０８により動き補償予測値をゼロとするような出力とを切替え、逆直交変換部２０３で得られた差分画像を加算して元画像の復号画像１０７を得て出力すると共にデブロッキングフィルタ部２０５に入力する。

デブロッキングフィルタ部２０５では、復号画像に発生するブロックひずみを適応的に低減する。

フレームメモリ部２０６は、ブロックひずみが低減された復号画像を蓄積する。

動き補償予測部２０７では、フレームメモリ部２０６の前フレームの復号画像と可変長復号部２０１からの動きベクトル情報２０９に基づき動き補償予測値を求める。

スイッチ２０８は、可変長復号部２０１で復号された予測符号化モードの情報に従い、加算器２０４への入力を切替える。

図１に戻って、解像度変換割合算出部１０２では、画像復号部１０１から出力される元画像の画像解像度情報１０８と画像変換制御情報１０９に基づき被再符号化画像の解像度の変換の割合、即ち縮小拡大の割合を算出する。なお、画像変換制御情報１０９には被再符号化画像の解像度、符号化ビットレート等の再符号化に必要な情報が含まれている。

図３は解像度変換の割合を説明するための図である。図３（ａ）の例は、縮小する場合であり、元画像の解像度情報１０８から得られる元画像の解像度を６４０×４８０画素、画像変換制御情報１０９に含まれる被再符号化画像の解像度を３２０×２４０画素とすると、解像度変換割合Ｒｅｓは式（１）で示すように求めることができる。
Ｒｅｓ＝（被再符号化画像の解像度）／（元画像の解像度）
＝（３２０×２４０）／（６４０×４８０）
＝０．２５
（１）

一方、拡大する場合は、図３（ｂ）で示すように、元画像の解像度を３２０×２４０画素、被再符号化画像の解像度を３５２×２８８画素とすると、解像度変換割合Ｒｅｓを式（２）のように算出できる。
Ｒｅｓ＝（被再符号化画像の解像度）／（元画像の解像度）
＝（３５２×２８８）／（３２０×２４０）
＝１．３２
（２）

図１に戻って、このようにして被再符号化画像の解像度変換割合を算出し、この情報は元画像の画像解像度情報１０８と画像変換制御情報１０９と共に再符号化制御情報１１０として出力する。

解像度変換部１０３は、再符号化制御情報１１０に含まれる元画像の画像解像度情報１０８と被再符号化画像の解像度情報に従い、元画像の復号画像１０７を被再符号化画像の解像度に変換する処理を行う。変換後の画像は、被再符号化画像１１１として出力される。

図４（ａ）は、元画像に対して縦横１／２に縮小する場合を説明するための図である。画素４０１、４０２、４０３、４０４の画素値をそれぞれＡ、Ｂ、Ｃ、Ｄとしたとき、その平均値を求めて画素４０５の画素値Ｅとする。この処理を元画像の全ての画素に対して実施することで縦横１／２の縮小画像を作成することができる。

また、図４（ｂ）は、元画像に対して縦横２倍に拡大する場合であり、画素４０６の画素値Ａを４つ並べて、画素４０７、４０８、４０９、４１０の画素値とすることで拡大処理を行う。これを元画像の全ての画素に対して実施することで、縦横２倍の拡大画像を作成することができる。

なお、本実施例では平均化、単純拡大により縮小（ダウンサンプリング）、拡大（アップサンプリング）する方法を用いたが、画質を低下させないように複数画素を用いた数タップのＦＩＲフィルタにより縮小、拡大を行うようにしてもよく、従来提案されている様々な手法が使用可能である。したがって、ここでは特に限定しない。

図１に戻って、再符号化パラメータ決定部１０４では、再符号化制御情報１１０に基づき再符号化する際の符号化パラメータ１１２を決定する。具体的には、画像解像度変換割合を基に再符号化された符号化ビットストリームの復号時の処理量に応じた再符号化時のパラメータを決定する。

図５は、解像度変換割合（符号化パラメータ）の違いによる復号時の処理量の関係を説明するための図であり、解像度変換割合の値が小さくなるほど復号時の処理量が小さく、解像度変換割合の値が大きくなるほど復号時の処理量が大きくなるように符号化パラメータを調整することを示している。一方、元画像の解像度と同じ場合は基本的に元画像の符号化パラメータと同じパラメータで再符号化を実施する。ただし、画像変換制御情報１０９で指定された符号化パラメータを優先するので、符号化パラメータ１１２は変更される場合がある。例えば、元画像の符号化ビットレートよりも低いビットレートで再符号化することが画像変換制御情報１０９で指定されれば、その値に変更する。

また、図６は、解像度変換割合とプロファイル変更量の関係を説明するための図であり、解像度変換割合の値が小さくなるほどプロファイル変更量を下位へ変更し、解像度変換割合の値が大きくなるほどプロファイル変更量を上位へ変更することを示している。即ち、プロファイル変更量が「−２」、「−１」（下位）であれば元画像のプロファイルから２つ、１つ下のプロファイルに変更し、プロファイル変更量が「２」、「１」（上位）であれば元画像のプロファイルから２つ、１つ上のプロファイルに変更する。また、プロファイル変更量が「０」であれば元画像のプロファイルと同じとする。

図６において、解像度変換割合が点６０１で示す場合、プロファイル変更量は「−１」になることを示している。例えば、元画像のプロファイルがメインプロファイルであれば、それより１つ下のプロファイルに変更することを意味するので、ベースラインプロファイルで符号化することを決定し、これを示す情報を再符号化パラメータ１１２の構成要素とする。一方、解像度変換割合が点６０２で示す場合、プロファイル変更量は「１」になることを示しているので、元画像のプロファイルより１つ上のプロファイルに変更することになるので、拡張プロファイルで符号化することを決定し、同様にこれを示す情報を符号化パラメータ１１２の構成要素とする。

また、図７は、解像度変換割合と符号化アルゴリズム変更量の関係を説明するための図であり、解像度変換割合の値が小さくなるほど符号化アルゴリズム変更量を下位へ変更し、解像度変換割合の値が大きくなるほど符号化アルゴリズム変更量を上位へ変更することを示している。即ち、符号化アルゴリズム変更量が「−２」、「−１」（下位）であれば元画像の符号化アルゴリズムから２つ、１つ下の符号化アルゴリズムに変更し、符号化アルゴリズム変更量が「２」、「１」（上位）であれば元画像の符号化アルゴリズムから２つ、１つ上の符号化アルゴリズムに変更する。また、符号化アルゴリズム変更量が「０」であれば元画像の符号化アルゴリズムと同じとする。ここで、復号時の処理量に基づき符号化アルゴリズムの難易度を定義すると、図８のようになる（図において難易度「１」が易で「５」へ行くほど難を示す）。例えば、元画像の符号化アルゴリズムがＭＰＥＧ−４とすると、図７において解像度変換割合が点７０１の場合、符号化アルゴリズム変更量が「−１」であるので、ＭＰＥＧ−４の１つ下位のＨ．２６３で再符号化するようにする。一方、解像度変換割合が点７０２のときは、符号化アルゴリズム変更量が「１」であるので、ＭＰＥＧ−４の１つ上位のＨ．２６４で再符号化するようにする。この符号化アルゴリズムも符号化パラメータ１１２の構成要素の１つとなる。

また、図９は、解像度変換割合とデブロッキングフィルタオン／オフ制御の関係を説明するための図であり、解像度変換割合の値が小さくなればデブロッキングフィルタをオフにし、解像度変換割合の値が大きくなればデブロッキングフィルタをオンに変更することを示している。また、デブロッキングフィルタオン／オフ制御が変更なしであれば元画像の符号化アルゴリズムで設定されていたデブロッキングフィルタオン、あるいはオフと同じとする。例えば、元画像においてデブロッキングフィルタがオンとすると、図９において、解像度変換割合が点９０１の場合、デブロッキングフィルタオン／オフ制御がオフであるので、デブロッキングフィルタをオフで再符号化するようにする。一方、解像度変換割合が点９０２のときは、デブロッキングフィルタオン／オフ制御がオンであるので、デブロッキングフィルタをオンで再符号化するようにする。このデブロッキングフィルタオン／オフ制御も符号化パラメータ１１２の構成要素の１つとなる。

また、図１０は、解像度変換割合とデブロッキングフィルタ強度制御の関係を説明するための図であり、解像度変換割合の値が小さくなるほどデブロッキングフィルタを弱くし、解像度変換割合の値が大きくなるほどデブロッキングフィルタを強くすることを示している。また、デブロッキングフィルタ強度制御が変更なしであれば、元画像のデブロッキングフィルタ強度と同じとする。例えば、図１０において、解像度変換割合が点１００１の場合、元画像のデブロッキングフィルタ強度よりも弱くなるように再符号化されるようにする。一方、解像度変換割合が点１００２であるときは、元画像のデブロッキングフィルタ強度よりも強くなるように再符号化されるようにする。このデブロッキングフィルタ強度制御も符号化パラメータ１１２の構成要素の１つとなる。

また、図１１は、解像度変換割合とエントロピー符号化モード制御の関係を説明するための図であり、解像度変換割合の値が小さくなればエントロピー符号化モードをコンテキスト適応型可変長符号化方式（ＣＡＶＬＣ）にし、解像度変換割合の値が大きくなればエントロピー符号化モードをコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ）に変更することを示している。また、エントロピー符号化モード制御が変更なしであれば、元画像の符号化アルゴリズムで設定されていたエントロピー符号化モードと同じとする。例えば、元画像においてエントロピー符号化モードがＣＡＢＡＣとすると、図１１において、解像度変換割合が点１１０１の場合、エントロピー符号化モード制御がＣＡＶＬＣであるので、エントロピー符号化モードをＣＡＶＬＣで再符号化するようにする。一方、解像度変換割合が点１１０２のときは、エントロピー符号化モード制御がＣＡＢＡＣであるので、エントロピー符号化モードをＣＡＢＡＣで再符号化するようにする。このエントロピー符号化モード制御も符号化パラメータ１１２の構成要素の１つとなる。

図１に戻って、画像符号化部１０５では、被再符号化画像１１１を符号化パラメータ１１２に従い符号化を実施し、第２の符号化ビットストリーム１１３を生成する。図１２は画像符号化部１０５の構成例であり、本図を用いて画像の再符号化の動作を説明する。フレームメモリ部１２０１に被再符号化画像１１１が入力されると、フレームメモリ部１２０１において蓄積され、Ｍ×Ｎ画素（Ｍ、Ｎは自然数）のブロックに分割される。減算器１２０２ではフレームメモリ部１２０１の入力画像と動き補償予測部１２１２からの動き補償予測値との差分がブロック単位で計算され、直交変換部１２０３で各々のブロックの画素に２次元の直交変換を実施し、変換係数を量子化部１２０４へ送出する。量子化部１２０４では、符号化制御部１２１４から出力された量子化ステップサイズにより変換係数を量子化する。

また、量子化部１２０４からの出力は逆量子化部１２０７にも入力され、逆量子化が行われて変換係数を得る。逆直交変換部１２０８で変換係数を２次元逆直交変換し、加算器１２０９で動き補償予測部１２１２からの動き補償予測値と加算された画像はデブロッキングフィルタ部１２１０で符号化パラメータ１１２に従いデブロッキングフィルタのオン／オフ制御、及びフィルタ強度制御に基づいたデブロッキングフィルタ処理を実施して、その画像がフレームメモリ部１２１１に蓄積される。フレームメモリ部１２１１に蓄積された画像と、フレームメモリ部１２０１に蓄積された画像は動き検出部１２１３に入力され、動きベクトルが検出される。動き補償予測部１２１２では動きベクトルとフレームメモリ部１２１１に蓄積された画像から動き補償予測値が求められる。また、動き補償予測値と入力画像の差分のパワー、入力画像のパワーを比較してインター符号化、あるいはイントラ符号化の判定を行う。符号化制御部１２１４では符号化パラメータ１１２及びバッファメモリ部１２０６における符号化列のバッファ占有量が入力されて、これらに基づいて量子化ステップサイズが決定される。

可変長符号化部１２０５で符号化パラメータ１１２に従いＣＡＶＬＣ、あるいはＣＡＢＡＣにより量子化部１２０４からの量子化出力のエントロピー符号化を行って、バッファメモリ部１２０６に一時的に符号化列を蓄積した後、第２の符号化ビットストリーム１１３を出力する。

以上、説明したように、本実施例によれば、元画像と被再符号化画像の解像度変換割合に基づいて再符号化された符号化ビットストリームを復号する復号機器に適した処理量で処理できるように符号化パラメータを決定できる。したがって、解像度変換割合の値が小さくなる場合は、復号機器に無駄な処理をすることを防止でき、消費電力を低減できるため、特に携帯機器での復号の際に有効である。一方、解像度変換割合の値が大きくなるときは、復号機器の処理量に余裕があると判断して、より高画質化した符号化ビットストリームを生成することができる。

実施例２を説明する。図１３は本発明の第２の実施形態におけるブロック図であり、図１３において図１と同一部分には同一符号を付してある。本構成は、符号化ビットストリームを復号して元画像の復号画像を生成する画像復号部１０１と、該画像復号部１０１と解像度変換部１０３に接続し該生成された元画像の復号画像の解像度と再符号化時の画像解像度との割合を算出する解像度変換割合算出部１０２と、該画像復号部１０１と該解像度変換割合算出部１０２に接続し該元画像の復号画像の解像度を変換する解像度変換部１０３と、該解像度変換割合算出部１０２に接続し該解像度変換割合や再符号化時の条件から符号化条件を決定する再符号化パラメータ決定部１０４と、該解像度変換部１０３と該再符号化パラメータ決定部１０４に接続し解像度変換された復号画像を再符号化する画像符号化部１０５と、該再符号化パラメータ決定部１０４と該画像符号化部１０５に接続し再符号化された符号化ビットストリームを復号する電池駆動復号器１３０１を備えている。

上記構成による画像符号化装置の動作は、以下の通りである。なお、符号化ビットストリーム１１３の生成までの処理の流れは、第１の実施形態における画像符号化装置とほぼ同様であるので、ここでは異なる点についてのみ説明する。

電池駆動復号器１３０１は、電池駆動で符号化ビットストリーム１１３を復号する機器であり、画像符号化部１０５で生成した符号化ビットストリーム１１３を入力する。入力においては、有線、あるいは無線でもよく特に限定しない。電池駆動復号器１３０１に入力された符号化ビットストリーム１１３は、図示しない内部のメモリやハードディスク等の記憶部に記録される。また、電池駆動復号器１３０１から出力される電池残量情報１３０２は、再符号化パラメータ決定部１０４に入力される。符号化ビットストリーム１１３の入力が完了後、電池駆動復号器１３０１は、画像符号化部１０５と再符号化パラメータ決定部１０４から切り離され、電池駆動復号器１３０１を携帯機器として持ち運ぶことができ、屋外等で符号化ビットストリーム１１３を復号し映像を再生して楽しむことができる。

再符号化パラメータ決定部１０４では、画像符号化部１０５で生成した符号化ビットストリーム１１３を電池駆動復号器１３０１に入力する場合は、デブロッキングフィルタオン／オフ制御をオフで再符号化するようにする。こうすることで処理量の大きいデブロッキングフィルタリングを電池駆動復号器１３０１において実施しないので、機器の消費電力の低減に有効である。

また、画像符号化部１０５で生成した符号化ビットストリーム１１３を電池駆動復号器１３０１に入力する場合において、電池残量情報１３０２に基づいてデブロッキングフィルタ処理を制御して再符号化するようにする。こうすることで処理量の大きいデブロッキングフィルタリングを電池残量に応じて必要最小限にできるので、機器の消費電力の低減に有効である。

図１４は電池残量に基づいたデブロッキングフィルタ処理の内容を説明するための図である。電池駆動復号器１３０１の電池残量を検出し電池残量情報１３０２として、電池容量に対してフル、２／３以下、１／３以下のいずれかを示す情報を再符号化パラメータ決定部１０４に入力する。例えば、図１４において、電池残量がフルであればブロック境界、及びマクロブロック境界にデブロッキングフィルタ処理を実施することとし、このデブロッキングフィルタ処理内容制御も再符号化パラメータ１１２の構成要素の１つとなる。一方、電池残量が２／３以下であればマクロブロック境界のみにデブロッキングフィルタ処理を実施、１／３以下であればデブロッキングフィルタ処理を実施しないように制御する。こうすることで、復号の際、処理量の大きいデブロッキングフィルタ処理を電池残量に適した内容で実施できるので、電池を有効活用できる。

また、図１３に戻って、画像符号化部１０５で生成した符号化ビットストリーム１１３を電池駆動復号器１３０１に入力する場合において、入力する符号化ビットストリーム１１３の符号量に基づいてデブロッキングフィルタ処理を制御して再符号化するようにする。具体的には、入力する符号量を小、中、大の３段階としたとき、符号量が小であればブロック境界、及びマクロブロック境界にデブロッキングフィルタ処理を実施することとしたデブロッキングフィルタ処理内容制御を決定する。一方、符号量が中であればマクロブロック境界のみにデブロッキングフィルタ処理を実施、符号量が大であればデブロッキングフィルタ処理を実施しないように制御する。符号量が大きい（多い）場合は、電池駆動復号器１３０１において長時間再生することが考えられるので、デブロッキングフィルタ処理を行わないことは消費電力の軽減に有効である。一方、符号量が小さい（少ない）ときは、短時間しか再生しないと考え、画質改善のためデブロッキングフィルタ処理を実施するように制御することが望ましい。したがって、復号の際、入力する符号量に適した内容で処理量の大きいデブロッキングフィルタ処理を実施できるので、電池を有効活用できる。

また、画像符号化部１０５で生成した符号化ビットストリーム１１３を電池駆動復号器１３０１に入力する場合において、電池駆動復号器１３０１の記憶部に記録されている符号量に基づいてデブロッキングフィルタ処理を制御して再符号化するようにする。具体的には、記憶されている符号量を小、中、大の３段階としたとき、符号量が小であればブロック境界、及びマクロブロック境界にデブロッキングフィルタ処理を実施することとしたデブロッキングフィルタ処理内容制御を決定する。一方、符号量が中であればマクロブロック境界のみにデブロッキングフィルタ処理を実施、符号量が大であればデブロッキングフィルタ処理を実施しないように制御する。こうすることで、復号の際、記憶されている符号量の大きさを再生時間の長さと考え、処理量の大きいデブロッキングフィルタ処理を再生時間に適した内容で実施できるので、電池を有効活用できる。

以上、本発明の実施形態について説明したが、本発明の画像符号化装置及び電池駆動復号器は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。

本発明に係る画像符号化装置の構成例を示すブロック図。画像復号部の構成例を示すブロック図。解像度変換の割合を説明するための図。元画像の縮小、拡大を説明するための図。解像度変換割合と符号化パラメータの違いによる復号時の処理量の関係を説明するための図。解像度変換割合とプロファイル変更量の関係を説明するための図。解像度変換割合と符号化アルゴリズム変更量の関係を説明するための図。符号化アルゴリズムの難易度と符号化アルゴリズムの関係を説明するための図。解像度変換割合とデブロッキングフィルタオン／オフ制御の関係を説明するための図。解像度変換割合とデブロッキングフィルタ強度制御の関係を説明するための図。解像度変換割合とエントロピー符号化モード制御の関係を説明するための図。画像符号化部の構成例を示すブロック図。本発明に係る画像符号化装置の構成例を示すブロック図。電池残量に基づいたデブロッキングフィルタ処理の内容を説明するための図。従来技術による画像符号化装置の構成例を示すブロック図。従来技術による画像復号部の構成例を示すブロック図。従来技術による画像符号化部の構成例を示すブロック図。

符号の説明

１０１画像復号部
１０２解像度変換割合算出部
１０３解像度変換部
１０４再符号化パラメータ決定部
１０５画像符号化部
１０６第１の符号化ビットストリーム
１０７復号画像
１０８画像解像度情報
１０９画像変換制御情報
１１０再符号化制御情報
１１１被再符号化画像
１１２符号化パラメータ
１１３第２の符号化ビットストリーム

Claims

画像符号化された第１の符号化ビットストリームを復号し、復号画像を生成する画像復号手段と、前記復号画像を解像度変換して変換画像を生成する解像度変換手段と、前記復号画像の解像度と前記変換画像の解像度との割合を解像度変換割合として算出する解像度変換割合算出手段と、前記解像度変換割合に基づき前記変換画像を符号化する際の符号化パラメータを決定する再符号化パラメータ決定手段と、前記変換画像を前記再符号化パラメータ決定手段で決定された符号化パラメータに従い符号化して第２の符号化ビットストリームを生成する画像符号化手段を備えることを特徴とする画像符号化装置。
前記画像符号化手段に接続して前記第２の符号化ビットストリームを入力する携帯可能な電池駆動復号手段を備えており、前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段の電池残量情報に基づき前記変換画像を符号化する際の符号化パラメータを決定する請求項１に記載の画像符号化装置。
前記解像度変換割合算出手段は、前記復号画像の解像度と前記変換画像の解像度を基に双方の解像度が同じ場合に前記解像度変換割合の値を１とし、前記変換画像の解像度が前記復号画像の解像度より小さくなるときに前記解像度変換割合の値を１より小さい値とし、前記変換画像の解像度が前記復号画像の解像度より大きくなるときに前記解像度変換割合の値を１より大きい値と算出する請求項１に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合の値と前記第２の符号化ビットストリームの復号時の処理量に基づき前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなるほど前記第２の符号化ビットストリームの復号時の処理量が小さく、前記解像度変換割合の値が大きくなるほど前記第２の符号化ビットストリームの復号時の処理量が大きくなる比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなるほど符号化機能を表すプロファイルを下位に、前記解像度変換割合の値が大きくなるほどプロファイルを上位に変更する比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなるほど符号化アルゴリズムをより容易なものに、前記解像度変換割合の値が大きくなるほど符号化アルゴリズムをより複雑なものに変更する比例関係になるように、前記解像度変換された画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなるとブロックひずみ低減のためのデブロッキングフィルタ処理をオフにし、前記解像度変換割合の値が大きくなるとデブロッキングフィルタ処理をオンになるように、前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなるほどブロックひずみ低減のためのデブロッキングフィルタ処理時のフィルタ強度をより弱くし、前記解像度変換割合の値が大きくなるほどデブロッキングフィルタ処理時のフィルタ強度をより強くする比例関係になるように、前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記復号画像の解像度と前記変換画像の解像度が同じ場合を中心として前記解像度変換割合の値が小さくなると符号化パラメータにおけるエントロピー符号化モードをコンテキスト適応型可変長符号化方式（ＣＡＶＬＣ）に決定し、前記解像度変換割合の値が大きくなるとエントロピー符号化モードをコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ）に決定するように、前記変換画像を符号化する際の符号化パラメータを決定する請求項１または２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段の電池残量情報に基づきデブロッキングフィルタ処理を制御し、電池残量が第１の所定値以上の場合はデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施し、電池残量が第１の所定値より小さく第２の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、電池残量が第２の所定値よりも小さいときはデブロッキングフィルタ処理を実施しないように、前記変換画像を符号化する際の符号化パラメータを決定する請求項２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に入力する前記第２の符号化ビットストリームの符号量に基づき前記変換画像を符号化する際の符号化パラメータを決定する請求項２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に入力する前記第２の符号化ビットストリームの符号量に基づきデブロッキングフィルタ処理を制御し、前記入力符号量が第３の所定値以上の場合はデブロッキングフィルタ処理を実施せず、前記入力符号量が第３の所定値より小さく第４の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、前記入力符号量が第４の所定値よりも小さいときはデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施するように、前記変換画像を符号化する際の符号化パラメータを決定する請求項２または１２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に記憶されている符号量に基づき前記解像度変換された画像を符号化する際の符号化パラメータを決定する請求項２または１２に記載の画像符号化装置。
前記再符号化パラメータ決定手段は、前記解像度変換割合と前記電池駆動復号手段に記憶されている符号量に基づきデブロッキングフィルタ処理を制御し、前記記憶符号量が第５の所定値以上の場合はデブロッキングフィルタ処理を実施せず、前記記憶符号量が第５の所定値より小さく第６の所定値以上の場合はデブロッキングフィルタ処理をマクロブロック境界のみに実施し、前記記憶符号量が第６の所定値よりも小さいときはデブロッキングフィルタ処理をブロック境界、及びマクロブロック境界に実施するように、前記変換画像を符号化する際の符号化パラメータを決定する請求項２または１２に記載の画像符号化装置。
画像符号化された第１の符号化ビットストリームを復号し、復号画像を生成する画像復号手段と、前記復号画像を解像度変換して変換画像を生成する解像度変換手段と、前記復号画像の解像度と前記変換画像の解像度との割合を解像度変換割合として算出する解像度変換割合算出手段と、前記解像度変換割合に基づき前記変換画像を符号化する際の符号化パラメータを決定する再符号化パラメータ決定手段と、前記変換画像を前記再符号化パラメータ決定手段で決定された符号化パラメータに従い符号化して第２の符号化ビットストリームを生成する画像符号化手段を備える画像符号化装置の画像符号化手段及び再符号化パラメータ決定手段に接続して前記第２の符号化ビットストリームを入力するとともに、電池残量情報を出力し、切り離して携帯可能な電池駆動復号手段を備えることを特徴とする電池駆動復号器。