JP2007036738A - 動画像符号化装置、方法、及びプログラム - Google Patents

Abstract

【課題】 動き予測符号化のために記憶される参照画像のデータ量の削減を指向して参照画像の取り扱いを最適化した動画像符号化装置を提供する。
【解決手段】 第１入力画像を表す第１符号を復号して参照画像を得る局所復号化部３１０と、前記参照画像を縮小して縮小参照画像を得る参照画像縮小部２１３と、前記縮小参照画像を記憶する参照画像記憶部３０３と、第２入力画像と前記参照画像記憶部３０３から取得される前記縮小参照画像を拡大して得た復元参照画像との差分画像を生成するフレーム間符号化部３１３ａと、差分画像を符号化するフレーム内符号化部３０６とを備える。
【選択図】 図２

Description

本発明は、時系列の入力画像から構成される動画像を符号化する動画像符号化装置等に関し、特に動き予測符号化のために記憶される参照画像のデータ量を削減する技術に関する。

近年、ビデオムービーに加え、デジタルスチルカメラやカメラ付き携帯電話が広く普及し、手軽に画像を扱えるようになってきている。静止画に比べてデータ量の多い動画も圧縮技術の進展によって扱いが容易になり、従来のビデオムービーだけでなく、デジタルスチルカメラやカメラ付き携帯電話でも動画を撮影、記録できるようになっている。

従来、時系列のフレーム画像から構成される動画像を高度に圧縮するために、例えばＭＰＥＧ−２（Moving Picture Experts Group）、Ｈ．２６４に代表されるさまざまなコーデック規格に規定されているように、フレーム画像間の動き予測に基づく圧縮と、フレーム画像内での圧縮とを併用することが一般的である。

図４は、従来の典型的な画像符号化装置の構成例を示す機能ブロック図である。画像符号化装置３００は、動画像を構成するフレームごとの入力画像を、フレーム間での動き予測に基づく圧縮とフレーム内での圧縮とを併用して符号化する符号化装置であり、大まかに、入力画像バッファ３０１、フレーム間符号化部３１３、フレーム内符号化部３０６、参照画像生成部３１４、参照画像記憶部３０３、レート制御部３１１、及び量子化幅設定部３１２から構成される。

入力画像バッファ３０１は、入力画像を保持する。
フレーム間符号化部３１３は、前記入力画像を、その入力画像と参照画像記憶部３０３に記憶されている基準となる他のフレームの画像（いわゆる参照画像）との間の動き予測に基づく差分で表すことによってフレーム間での圧縮を行う部であり、動きベクトル探索メモリ３０４、動きベクトル探索部３０５、及び差分画像生成部３０２から構成される。

動きベクトル探索部３０５は、前記入力画像をマクロブロックと呼ばれる矩形の小領域に分割し、動きベクトル探索メモリ３０４を用いて、マクロブロックごとに、そのマクロブロックとの相関が極大となる参照画像における部分を示す動きベクトルを求める。この処理には、例えばブロックマッチングといった周知の技術が用いられる。差分画像生成部３０２は、そのマクロブロックと、動きベクトルによって示される参照画像の部分とのフレーム間差分を求める。

フレーム内符号化部３０６は、前記フレーム間差分か、又はいくつかのフレームについては動き予測を行わずに入力画像そのものを符号化することでフレーム内圧縮を行う部であり、周波数変換部３０７、量子化部３０８、及びエントロピー符号化部３０９から構成される。

周波数変換部３０７は、マクロブロックごとに、そのマクロブロックに含まれる複数の空間周波数成分の量を、例えば離散コサイン変換によって求める。

量子化部３０８は、人間の目に知覚され易い低い周波数の成分量を細かく量子化し、知覚されにくい高い周波数の成分量を荒く量子化する。量子化部３０８は、このような周波数成分ごとの量子化幅に、さらに、レート制御部３１１及び量子化幅設定部３１２から与えられる符号レート（すなわち圧縮率）を制御するための量子化幅を加味して量子化を行う。

そして、エントロピー符号化部３０９は、周波数成分量の量子化値を所定の順序に並べて、発生頻度が高いデータほど短い符号を割り当てるエントロピー符号、具体的にはハフマン符号、算術符号等を用いて、可変長符号化する。

参照画像生成部３１４は、前記フレーム内圧縮で得られた符号を復号化して参照画像を得る部であり、局所復号化部３１０から構成される。

前記エントロピー符号化が可逆符号化であることを考慮して、局所復号化部３１０は、前記量子化値を復号化することによって、再生装置で得られる参照画像と同一内容の参照画像を得る。再生時と同一の参照画像を用いて符号化することは、誤差による画質劣化を発生させないために重要である。

参照画像記憶部３０３は、前記得られた参照画像を記憶し、次の入力画像の符号化に供する。

画像符号化装置３００は、このような処理をフレームごとに行って動画像を表す符号を得る。

前述したフレーム間符号化では、入力画像のマクロブロックと、差分を取る参照画像の部分との相関が高いほど、差分を表すための符号量が小さくなって、高い圧縮率が得られる。

そのため、従来、参照画像の所定範囲に入力画像と十分に高い相関を示す部分が見つからなかった場合に、縮小した入力画像と縮小した参照画像との間で動きベクトルを探索し直すことによって、同じ量の動きベクトル探索メモリ３０４を用いてより広い参照画像の範囲からより高い相関を示す部分を探索する技術が公知となっている（例えば、特許文献１参照）。
特開２００４−１４０７９４号公報

しかしながら、従来の動画像符号化装置によれば、縮小した参照画像を用いて動きベクトルの探索範囲を拡大する場合であっても、参照画像記憶部には、入力画像との差分を取るために元の大きさの参照画像が記憶される。今後、扱う画像サイズはさらに大きくなることが予想され、ＨＤＴＶ（high definition television）レベルの動画像を扱う場合、参照画像格納のために必要なメモリ量の増大、及びメモリトラフィックに応じた消費電力の増大は、ハードウェアの規模や電源容量が制限されやすいデジタルカメラのような携帯機器に動画像符号化装置を実現するにあたって大きな問題となる。

本発明は、上記の問題に鑑みてなされたものであり、動き予測符号化のために記憶される参照画像のデータ量の削減を指向して参照画像の取り扱いを最適化した動画像符号化装置を提供することを目的とする。

上記課題を解決するため、本発明の動画像符号化装置は、時系列の入力画像から構成される動画像を符号化する動画像符号化装置であって、第１入力画像を表す第１符号を復号して参照画像を得る局所復号化手段と、前記参照画像を縮小して縮小参照画像を得る参照画像縮小手段と、前記縮小参照画像を記憶する参照画像記憶手段と、第２入力画像を縮小して得た縮小第２入力画像と前記参照画像記憶手段から取得される前記縮小参照画像との間での動き予測に基づいて、前記第２入力画像を表す第２符号を求める符号化手段とを備える。

また、前記符号化手段は、前記第２入力画像を縮小して縮小第２入力画像を得る入力画像縮小部と、前記縮小第２入力画像と前記縮小参照画像との間で相関が極大となる対応部分を示す粗動きベクトルを求める粗動きベクトル探索部と、前記参照画像記憶手段から取得される前記縮小参照画像を拡大して復元参照画像を求める参照画像復元部と、前記第２入力画像と前記復元参照画像との、前記粗動きベクトルによって示される対応部分に関する差分画像を生成する差分画像生成部とを有し、前記差分画像を前記第２符号に符号化してもよい。

また、前記符号化手段は、さらに、前記第２入力画像と前記復元参照画像との間で相関が極大となる対応部分を示す精動きベクトルを求める精動きベクトル探索部を有し、前記差分画像生成部は、前記精動きベクトルによって示される対応部分の差分画像を生成してもよい。

また、前記符号化手段は、さらに、前記差分に含まれる複数の空間周波数それぞれの成分量を求める周波数変換部と、求めた成分量を量子化する量子化部とを有し、前記量子化の結果を前記第２符号に符号化してもよい。

この構成によれば、参照画像を縮小して得た縮小参照画像が記憶され、前記第２入力画像の符号化に用いられるので、動き予測符号化のために記憶される参照画像のデータ量が削減される。

また、前記動画像符号化装置は、さらに、前記縮小参照画像を前記参照画像の大きさに拡大して対照画像を得る参照画像拡大手段と、前記参照画像と前記対照画像との誤差を対応画素ごとに計算する誤差計算手段とを備え、前記参照画像記憶手段は、前記縮小参照画像と共に前記誤差を記憶し、前記参照画像復元部は、前記参照画像記憶手段から取得される前記縮小参照画像を前記参照画像の大きさに拡大し、さらに前記参照画像記憶手段から取得される前記誤差を加算して、前記復元参照画像を求めてもよい。

この構成によれば、元の参照画像と同一の復元参照画像が得られるので、画質を劣化させる新たな要因を持ち込むことなく、しかも参照画像を表すために必要なデータ量を高い確率で削減できる。

また、前記動画像符号化装置は、さらに、前記縮小参照画像と前記誤差とを合わせたデータ量が、前記参照画像のデータ量よりも多いか判定するデータ量判定手段を備え、前記データ量判定手段によって肯定判定された場合、前記参照画像記憶手段は、前記縮小参照画像と前記誤差とに代えて、前記参照画像を記憶し、前記符号化手段は、前記第２入力画像と前記参照画像記憶手段から取得される前記参照画像との間で相関が極大となる対応部分を示す動きベクトルを求め、前記動きベクトルによって示される対応部分の差分を、前記第２符号として符号化してもよい。

この構成によれば、参照画像を表すために必要なデータ量が最悪の場合に従来よりも増えてしまう不都合を確実に回避することができる。

また、前記誤差計算手段は、予め定められるしきい値以下の誤差をないものとみなすコアリングを行ってもよい。

また、前記符号化手段は、さらに、前記差分に含まれる複数の周波数成分それぞれの成分量を求める周波数変換部と、求めた成分量を量子化する量子化部とを有し、前記量子化の結果を前記第２符号に符号化し、前記誤差計算手段は、前記コアリングにおいて、前記量子化の量子化幅に応じて定められるしきい値以下の誤差をないものとみなしてもよい。

この構成によれば、縮小参照画像と誤差とを合わせたデータ量が、元の参照画像のデータ量よりも小さくなる可能性が、コアリングによって高まる。特に、量子化幅に応じたしきい値を決定してコアリングに用いることで、実質的に画質劣化を生じないコアリングが可能となる。

また、本発明は、このような動画像符号化装置として実現することができるだけでなく、そのような動画像符号化装置が備える特徴的な手段によって実行される処理をステップとする動画像符号化方法として実現することも、また、動画像符号化処理用の集積回路装置として実現することもできる。

本発明の動画像符号化装置によれば、参照画像を縮小して得た縮小参照画像を、元の参照画像との誤差と共に記憶するので、参照画像を表すために必要なデータ量を高い確率で削減でき、参照画像を記憶するためのメモリ量の削減、及びメモリトラフィックの削減による消費電力の削減が期待される。

加えて、縮小参照画像を取り扱うことによって、同じ容量の作業メモリを用いて動きベクトルを探索できる範囲を拡大することができ、ＨＤＴＶ対応等、画像サイズの拡大に対して、動きベクトル探索の能力を高めることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（全体構成）
図１は、本発明の実施の形態に係るデジタルカメラにおける画像処理系の機能的な構成の一例を示すブロック図である。この構成の中で、画像符号化部４０７が本発明の動画像符号化装置の一例である。

この画像処理系は、画像符号化部４０７が本発明の動画像符号化装置である点以外には一般的な画像処理系であり、イメージセンサ４０１、ＴＧ（Timing Generator）４０２、ＡＦＥ（Analog Front End）４０３、ＡＤコンバータ４０４、カメラ画像処理部４０５、メモリ４１２、メモリカード４１３、及び表示部４１４から構成される。

イメージセンサ４０１は、例えばＣＣＤ（Charge Coupled Device）等で実現され、図示しない光学系から与えられる入射光を、ＴＧ４０２で生成される駆動信号に従って光電変換して得た電気信号を出力し、ＡＦＥ４０３は、その電気信号に所定のアナログ処理を施し、ＡＤコンバータ４０４は、アナログ処理後の電気信号をデジタル信号に変換してカメラ画像処理部４０５へ出力する。

カメラ画像処理部４０５は、前記デジタル信号によって表される画像を表示し、また符号化して記録する部であり、カメラ信号処理部４０６、画像符号化部４０７、表示制御部４０８、メモリカード制御部４０９、メモリコントローラ４１０、ＣＰＵ４１１から構成される。

カメラ信号処理部４０６は、前記デジタル信号を輝度信号と色信号とに変換し、画像符号化部４０７は、その輝度信号と色信号とをデータ圧縮して符号化する。画像符号化部４０７は、個別の画像を静止画としてデータ圧縮して符号化することはもちろん、時系列の画像から構成される動画像をデータ圧縮して符号化する。

メモリカード制御部４０９は、画像符号化部４０７で得られた静止画像を表す符合及び動画像を表す符号を、不揮発性のメモリカード４１３に保存する。メモリカード４１３は、例えばフラッシュメモリやＦｅＲＡＭ（Ferroelectric Random Access Memory）等で実現される。

表示制御部４０８は、画像を表示部４１４に表示する。表示部４１４は、例えば液晶パネル等で実現される。

メモリコントローラ４１０は、カメラ信号処理部４０６、画像符号化部４０７、メモリカード制御部４０９、及び表示制御部４０８における処理によって生じる作業用データを、メモリ４１２に一時的に記録すると共に、メモリ４１２を介して前記各部間でのデータの交換を行う。メモリ４１２は、例えばＳＤＲＡＭ（Synchronous Dynamic RAM）等で実現される。

ＣＰＵ４１１は、これらの全体の処理を制御する。

（画像符号化部の詳細）
図２は、画像符号化部４０７の機能的な構成の一例を詳細に示すブロック図である。画像符号化部４０７は、従来の画像符号化装置３００（図４を参照）と比べて、（１）参照画像記憶部３０３が、参照画像生成部３１４ａにおいて参照画像を縮小して得られた縮小参照画像を記憶する点、及び（２）フレーム間符号化部３１３ａが、参照画像記憶部３０３から読み出される縮小参照画像を用いてまず粗動きベクトルを探索した後、その縮小参照画像から復元した復元参照画像を従来の参照画像の役割で用いて符号化を行う点で異なる。

ここで、参照画像記憶部３０３は、実体的には図１に示されるメモリ４１２である。参照画像記憶部３０３へのアクセス、カメラ信号処理部４０６からの入力、及びメモリカード制御部４０９への出力には、全てメモリコントローラ４１０が関与するが、図２ではその記載を省略している。

以下、画像符号化装置３００と同一の構成要素には同じ番号を付して説明を省略し、追加される構成要素について詳細に説明する。

参照画像生成部３１４ａには、参照画像縮小部２１３、参照画像拡大部２１４、誤差計算部２１５、コアリング制御部２１７、誤差コアリング部２１６、データ量判定部２１８、選択結果メモリ２２０、及びセレクタ２１９が追加される。

また、フレーム間符号化部３１３ａには、入力画像縮小部２０１、参照画像縮小部２０４、セレクタ２０５、粗動きベクトル探索部２０７、粗動きベクトル探索メモリ２０６、参照画像拡大部２０８、誤差加算部２０９、セレクタ２１０が追加される。

図２において、フレーム間符号化部３１３ａとフレーム内符号化部３０６とが、符号化手段の一例である。また、参照画像拡大部２０８と誤差加算部２０９とが、参照画像復元部の一例である。また、動きベクトル探索部３０５が、精動きベクトル探索部の一例である。また、誤差計算部２１５とコアリング制御部２１７と誤差コアリング部２１６とが、誤差計算手段の一例である。

まず、参照画像生成部３１４ａにおいて、参照画像縮小部２１３は、局所復号化部３１０で得られた参照画像を縮小して縮小参照画像を生成する。参照画像拡大部２１４は、その縮小参照画像を縮小前の大きさに拡大して対照画像を生成し、誤差計算部２１５は、元の参照画像とその対照画像との誤差を画素ごとに計算する。

ここで言う拡大縮小とは、画像を表すための画素数を増減させる操作を指し、具体的には、画素補間、画素間引き、及びそれに伴うフィルタ処理といった周知の技術を用いて行われる。

コアリング制御部２１７は、量子化幅よりも小さい誤差は量子化によって切り捨てられることを考慮して、量子化幅設定部３１２から与えられる量子化幅に応じたしきい値を決定する。誤差コアリング部２１６は、決定されたしきい値以下の誤差をないものとみなすコアリングを行う。誤差の表現形式は、例えば、コアリングによるデータ量の削減を期待して、誤差のある画素についてのみ画素座標と誤差との組で表す形式とすることが望ましい。この形式によれば、コアリングされた誤差はデータ量に含まれない。

データ量判定部は、縮小参照画像と誤差とを合わせたデータ量が、元の参照画像のデータ量よりも多いか否かを比較判断して、その判断結果を選択結果メモリ２２０に記録する。セレクタ２１９は、肯定判断の場合、原寸の参照画像を選択し、否定判断の場合、縮小参照画像と誤差とを選択し、参照画像記憶部３０３は、セレクタ２１９によって選択されたデータを記憶する。

このデータ量の判定は、１フレームについて１回、画像全体に対して行われるとしてもよく、また、局所復号がマクロブロック単位に行われることを考慮すれば、１フレームについてマクロブロックと同数、マクロブロック単位に行われるとしてもよい。

本実施の形態は後者であるとして、参照画像記憶部３０３には、１フレーム分の参照画像が、マクロブロックごとに、縮小参照画像及び誤差の形式か又は原寸の参照画像の形式で記憶されるとする。以降、参照画像のマクロブロックを、参照ブロックと略称する。

次に、フレーム間符号化部３１３ａにおいて、入力画像縮小部２０１は、粗動きベクトル探索に備えて、入力画像を縮小して縮小入力画像を生成する。縮小入力画像の生成は、例えば、動きベクトル探索処理の対象となる入力画像のマクロブロック単位に行われる。

参照画像縮小部２０４は、粗動きベクトル探索に備えて、原寸の参照画像の形式で記憶されている参照ブロックについて、その参照画像を縮小して縮小参照画像を得る。参照ブロックごとの記録形式は、選択結果メモリ２２０に記憶されているデータ量の比較判断結果から知ることができる。

セレクタ２０５は、粗動きベクトルの探索範囲にある複数の参照ブロックについて、それぞれの記録形式に応じて、参照画像記憶部３０３又は参照画像縮小部２０４から縮小参照画像を選択する。

粗動きベクトル探索部２０７は、粗動きベクトル探索メモリ２０６を用いて、縮小画像に基づく粗動きベクトル探索を行う。この粗動きベクトル探索は、例えばブロックマッチングといった周知の技術を用いて行うことができる。既に知られているように、縮小画像に基づいて動きベクトル探索を行うことによって、同じ量の探索メモリでより広い範囲の探索が可能となる。そして、見つかった粗動きベクトルの所定近傍を、原寸画像に基づく動きベクトルの探索範囲とすることによって、限られた範囲から効率よく精度の高い動きベクトルを求めることができる。

参照画像拡大部２０８は、原寸画像に基づく動きベクトル探索に備えて、縮小参照画像及び誤差の形式で記憶されている参照ブロックについて、その縮小参照画像を元の大きさに拡大し、誤差加算部２０９は、その誤差を加算して復元参照画像を得る。誤差を加算することで、元の参照画像と同一の復元参照画像が得られる。これにより、元の参照画像、つまり再生時に用いられる参照画像と同一の復元参照画像を用いた符号化がなされるので、参照画像の食い違いに起因する画質劣化が防がれる。

セレクタ２１０は、原寸画像に基づく動きベクトルの探索範囲にある参照ブロックについて、それぞれの記録形式に応じて、参照画像記憶部３０３に記憶されている参照画像、又は誤差加算部２０９で得られた復元参照画像を、原寸の参照画像として選択する。

動きベクトル探索部３０５、動きベクトル探索メモリ３０４、及び差分画像生成部３０２は、このようにして得られた原寸の参照画像と、入力画像とを用いて、従来と同様のフレーム間符号化を行う。

（動作）
次に、画像符号化部４０７の動作について説明する。

図３は、画像符号化部４０７が入力画像の１つのマクロブロックを処理する動作に係るデータフロー図であり、データフローと共に、データフローを引き起こす個々の処理が示される。この動作が入力画像の各マクロブロックに行われることによって、入力画像の符号化が完成する。

以下、図３左上の入力画像が既に入力画像バッファ３０１に取得されていて、かつ、図３右上の参照画像が参照ブロックごとに原寸の参照画像の形式か又は縮小参照画像と誤差の形式で既に参照画像記憶部３０３に記憶されている状態にあるとして説明する。

また、フレーム間符号化部３１３ａの動作を説明するため、入力画像が、参照画像との動き予測に基づいてフレーム間符号化される画像であるとする。なお、入力画像が、それ自体独立して符号化される画像（例えばＭＰＥＧのＩピクチャ）である場合には、フレーム間符号化部３１３ａは働かない。

入力画像縮小部２０１は、入力画像のマクロブロック（入力ブロックと略称する）を縮小して縮小入力ブロックを生成する（Ｓ０１）。セレクタ２０５は、粗動きベクトルの探索範囲にある個々の参照ブロックを、記憶されているデータ形式に応じて振り分け（Ｓ０２）、参照画像縮小部２０４は、原寸の参照画像を縮小して縮小参照ブロックを生成する（Ｓ０３）。粗動きベクトルの探索範囲は、一例としては、縮小入力ブロックと画像内での位置関係を同じくする縮小参照ブロック及びその周囲の縮小参照ブロックとして定められる。

粗動きベクトル探索部２０７は、原寸の参照画像が記憶されている参照ブロックについては、参照画像縮小部２０４で得られた縮小参照ブロックを用い、縮小参照画像と誤差とが記憶されている参照ブロックについては、記憶されている縮小参照画像をそのまま用いて、粗動きベクトルを探索する（Ｓ０４）。

参照画像拡大部２０８は、見つかった粗動きベクトルで示される位置にある参照ブロック及びその周囲の参照ブロックを、原寸画像に基づく動きベクトルの探索範囲として定め、その範囲にある参照ブロックのうち、縮小参照画像と誤差とが記憶されている参照ブロックについて、その縮小参照画像を拡大し、誤差加算部２０９は、さらにその誤差を加算することによって、復元参照ブロックを得る（Ｓ０５）。

動きベクトル探索部３０５は、原寸の参照画像が記憶されている参照ブロックについては、記憶されている参照画像をそのまま用い、縮小参照画像と誤差とが記憶されている参照ブロックについては、誤差加算部２０９で得られた復元参照ブロックを用いて、動きベクトルを探索する。そして、差分画像生成部３０２は、記憶されている参照画像と復元参照ブロックとを同様に用いて、差分画像を生成する。

差分画像は、周波数変換部３０７及び量子化部３０８において、従来と同様、空間周波数成分量の量子化データに変換される（Ｓ０６）。量子化データは、エントロピー符号化部３０９において、符号データにエントロピー符号化される（Ｓ０７）。

なお、動きベクトル探索部３０５による原寸画像に基づく動きベクトル探索は省いても構わない。その場合には、粗動きベクトルを原寸に換算して用いることができる。最適な相関を示す部分が得られず圧縮率が若干低下する可能性があるが、原寸画像に基づく動きベクトル探索を省くことで高速化や、装置化したときの回路規模を低減できる。

局所復号化部３１０は、量子化データを復号化して参照ブロックを求める（Ｓ０８）。参照画像縮小部は、参照ブロックを縮小して縮小参照ブロックを求め（Ｓ０９）、参照画像拡大部は、縮小参照ブロックを縮小前の大きさ、つまり参照ブロックと同じ大きさに拡大して対照ブロックを求める（Ｓ１０）。

誤差計算部２１５は、参照ブロックと対照ブロックとの誤差を画素ごとに計算し、誤差コアリング部２１６は、誤差データのコアリングを行う（Ｓ１１）。

データ量判定部２１８は、縮小参照ブロックと誤差とを合わせたデータ量が、参照ブロックのデータ量よりも多いか否かを比較判断して、セレクタ２１９は、肯定判断の場合、参照ブロックを選択し、否定判断の場合、縮小参照ブロックと誤差とを選択し、参照画像記憶部３０３は、セレクタ２１９によって選択されたデータを、次の入力画像と対比されるべき次期参照画像の参照ブロックとして記憶する（Ｓ１２）。

先にも述べたように、このような動作が入力画像の各マクロブロックに行われることによって、一つの入力画像の符号化が完成する。さらには、動画像を構成する各入力画像の符号化が行われることによって、動画像の符号化が完成する。

（まとめ）
以上説明したように、画像符号化部４０７によれば、参照画像記憶部３０３が、参照画像生成部３１４ａにおいて参照画像を縮小して得られた縮小参照画像を記憶し、フレーム間符号化部３１３ａが、参照画像記憶部３０３から読み出される縮小参照画像を用いてまず粗動きベクトルを探索した後、その縮小参照画像から復元した復元参照画像を従来の参照画像の役割で用いて符号化を行うので、動き予測符号化に用いられる参照画像のデータ量が従来よりも削減される。

参照画像記憶部３０３に縮小参照画像と共に誤差を格納し、その縮小参照画像を拡大しさらに誤差を加算して復元参照画像を得る構成によれば、元の参照画像と同一の復元参照画像が得られるので、画質を劣化させる新たな要因を持ち込むことなく、しかも参照画像を表すために必要なデータ量を高い確率で削減できる。

データ量判定部２１８で縮小参照画像と誤差とを合わせたデータ量と、元の参照画像のデータ量とを比較判定し、多くない方のデータを参照画像記憶部３０３に格納する構成によれば、参照画像を表すために必要なデータ量が最悪の場合に従来よりも増えてしまう不都合を確実に回避することができる。

誤差コアリング部２１６で誤差をコアリングする構成によれば、縮小参照画像と誤差とを合わせたデータ量が、元の参照画像のデータ量よりも小さくなる可能性が高まる。その場合に、コアリング制御部２１７で量子化幅に応じたしきい値を決定してコアリングに用いることで、実質的に画質劣化を生じないコアリングが可能となる。

（変形例）
画像符号化部４０７は、例えば半導体集積回路として実現できる。その場合、図２に示される画像符号化部４０７の各部は、対応機能を果たす回路ブロックとして実現される。

また、画像符号化部４０７は、コンピュータによるソフトウェア機能として実現されてもよい。その場合、画像符号化部４０７は、実体的には、プロセッサ、及びプロセッサによって実行されるプログラムを格納しているメモリ等で構成され、図２に示される画像符号化部４０７の各部は、対応機能をプロセッサに実行させるプログラムモジュールを表す。このプロセッサは、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等のなかから適宜選択することができる。

さらには、図１に示される画像符号化部４０７を含むカメラ画像処理部４０５全体が半導体集積回路に実装されるとしてもよい。

これらの何れの実装を採った場合でも、動き予測符号化のために記憶される参照画像のデータ量が高い確率で削減されるという本発明特有の効果が得られる。

本発明に係る動画像符号化装置は、動画像録画装置において利用され、デジタルカメラや携帯電話機といった、ハードウェアの規模や電源容量が比較的制限されやすい機器に動画像録画機能を実現する場合に、特に好適である。

実施の形態に係るデジタルカメラにおける画像処理系の機能的な構成の一例を示すブロック図である。 画像符号化部の機能的な構成の一例を詳細に示すブロック図である。 画像符号化部が入力画像の１つのマクロブロックを処理する動作に係るデータフロー図である。 従来の典型的な画像符号化装置の構成例を示す機能ブロック図である。

符号の説明

２０１ 入力画像縮小部
２０４ 参照画像縮小部
２０５ セレクタ
２０６ 粗動きベクトル探索メモリ
２０７ 粗動きベクトル探索部
２０８ 参照画像拡大部
２０９ 誤差加算部
２１０ セレクタ
２１３ 参照画像縮小部
２１４ 参照画像拡大部
２１５ 誤差計算部
２１６ 誤差コアリング部
２１７ コアリング制御部
２１８ データ量判定部
２１９ セレクタ
２２０ 選択結果メモリ
３００ 画像符号化装置
３０１ 入力画像バッファ
３０２ 差分画像生成部
３０３ 参照画像記憶部
３０４ 動きベクトル探索メモリ
３０５ 動きベクトル探索部
３０６ フレーム内符号化部
３０７ 周波数変換部
３０８ 量子化部
３０９ エントロピー符号化部
３１０ 局所復号化部
３１１ レート制御部
３１２ 量子化幅設定部
３１３、３１３ａ フレーム間符号化部
３１４、３１４ａ 参照画像生成部
４０１ イメージセンサ
４０２ ＴＧ
４０３ ＡＦＥ
４０４ ＡＤコンバータ
４０５ カメラ画像処理部
４０６ カメラ信号処理部
４０７ 画像符号化部
４０８ 表示制御部
４０９ メモリカード制御部
４１０ メモリコントローラ
４１１ ＣＰＵ
４１２ メモリ
４１３ メモリカード
４１４ 表示部

Claims (10)

1. 時系列の入力画像から構成される動画像を符号化する動画像符号化装置であって、
   第１入力画像を表す第１符号を復号して参照画像を得る局所復号化手段と、
   前記参照画像を縮小して縮小参照画像を得る参照画像縮小手段と、
   前記縮小参照画像を記憶する参照画像記憶手段と、
   第２入力画像を縮小して得た縮小第２入力画像と前記参照画像記憶手段から取得される前記縮小参照画像との間での動き予測に基づいて、前記第２入力画像を表す第２符号を求める符号化手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記符号化手段は、
   前記第２入力画像を縮小して縮小第２入力画像を得る入力画像縮小部と、
   前記縮小第２入力画像と前記縮小参照画像との間で相関が極大となる対応部分を示す粗動きベクトルを求める粗動きベクトル探索部と、
   前記参照画像記憶手段から取得される前記縮小参照画像を拡大して復元参照画像を求める参照画像復元部と、
   前記第２入力画像と前記復元参照画像との、前記粗動きベクトルによって示される対応部分に関する差分画像を生成する差分画像生成部とを有し、
   前記差分画像を前記第２符号に符号化する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記符号化手段は、さらに、
   前記第２入力画像と前記復元参照画像との間で相関が極大となる対応部分を示す精動きベクトルを求める精動きベクトル探索部を有し、
   前記差分画像生成部は、前記精動きベクトルによって示される対応部分の差分画像を生成する
   ことを特徴とする請求項２に記載の動画像符号化装置。
4. 前記符号化手段は、さらに、
   前記差分に含まれる複数の空間周波数それぞれの成分量を求める周波数変換部と、
   求めた成分量を量子化する量子化部とを有し、
   前記量子化の結果を前記第２符号に符号化する
   ことを特徴とする請求項２又は請求項３に記載の動画像符号化装置。
5. 前記動画像符号化装置は、さらに、
   前記縮小参照画像を前記参照画像の大きさに拡大して対照画像を得る参照画像拡大手段と、
   前記参照画像と前記対照画像との誤差を対応画素ごとに計算する誤差計算手段と
   を備え、
   前記参照画像記憶手段は、前記縮小参照画像と共に前記誤差を記憶し、
   前記参照画像復元部は、前記参照画像記憶手段から取得される前記縮小参照画像を前記参照画像の大きさに拡大し、さらに前記参照画像記憶手段から取得される前記誤差を加算して、前記復元参照画像を求める
   ことを特徴とする請求項２又は請求項３に記載の動画像符号化装置。
6. 前記動画像符号化装置は、さらに、
   前記縮小参照画像と前記誤差とを合わせたデータ量が、前記参照画像のデータ量よりも多いか判定するデータ量判定手段を備え、
   前記データ量判定手段によって肯定判定された場合、
   前記参照画像記憶手段は、前記縮小参照画像と前記誤差とに代えて、前記参照画像を記憶し、
   前記符号化手段は、前記第２入力画像と前記参照画像記憶手段から取得される前記参照画像との間で相関が極大となる対応部分を示す動きベクトルを求め、前記動きベクトルによって示される対応部分の差分を、前記第２符号として符号化する
   ことを特徴とする請求項５に記載の動画像符号化装置。
7. 前記誤差計算手段は、予め定められるしきい値以下の誤差をないものとみなすコアリングを行う
   ことを特徴とする請求項５又は請求項６に記載の動画像符号化装置。
8. 前記符号化手段は、さらに、
   前記差分に含まれる複数の周波数成分それぞれの成分量を求める周波数変換部と、
   求めた成分量を量子化する量子化部とを有し、
   前記量子化の結果を前記第２符号に符号化し、
   前記誤差計算手段は、前記コアリングにおいて、前記量子化の量子化幅に応じて定められるしきい値以下の誤差をないものとみなす
   ことを特徴とする請求項７に記載の動画像符号化装置。
9. 時系列の入力画像から構成される動画像を符号化する動画像符号化方法であって、
   第１入力画像を表す第１符号を復号して参照画像を得る局所復号化ステップと、
   前記参照画像を縮小して縮小参照画像を得る参照画像縮小ステップと、
   前記縮小参照画像を記憶する参照画像記憶ステップと、
   第２入力画像を縮小して得た縮小第２入力画像と前記参照画像記憶手段から取得される前記縮小参照画像との間での動き予測に基づいて、前記第２入力画像を表す第２符号を求める符号化ステップと
   を含むことを特徴とする動画像符号化方法。
10. 時系列の入力画像から構成される動画像を符号化するためのコンピュータ実行可能なプログラムであって、
    第１入力画像を表す第１符号を復号して参照画像を得る局所復号化ステップと、
    前記参照画像を縮小して縮小参照画像を得る参照画像縮小ステップと、
    前記縮小参照画像を記憶する参照画像記憶ステップと、
    第２入力画像を縮小して得た縮小第２入力画像と前記参照画像記憶手段から取得される前記縮小参照画像との間での動き予測に基づいて、前記第２入力画像を表す第２符号を求める符号化ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images