JP2009111762A - 画像符号化装置及び画像復号装置 - Google Patents

Abstract

【課題】復号時の待機時間を完全に無くして任意のフレームからの復号を可能とする画像符号化装置及び画像復号装置を提供する。
【解決手段】画像符号化装置１は、サブサンプル部１０２により入力されたフレーム画像をＳＳブロックで分割し、ＳＳブロックに含まれる画素の１つを予め定めた選択順で選択して低解像度画像及び選択画素位置を表わすサンプル位置情報を生成するとともに、動き推定部１０３により１フレーム前のフレーム画像との間で動き推定処理を行って動き情報を生成する。画像復号装置２は、割付け部２０２によりサンプル位置情報を用いて割付け画像を生成するとともに、動き補償部２０４により動き情報に従って１フレーム前の統合画像を動き補償して動き補償画像を生成し、更に、画素統合部２０３により割付け画像と動き補償画像とを統合した統合画像を生成し、内挿部２０６により内挿処理を施し、フレーム毎に復号画像を生成して、連続したフレーム画像からなる動画像を復元する。
【選択図】図２

Description

本発明は、動画像の圧縮符号化技術に関し、特に画像符号化装置及び画像復号装置に関する。

現在、ディジタル放送の映像符号化に用いられているＭＰＥＧ‐２方式やＨ．２６４／ＡＶＣ方式は、フレーム間予測を画像圧縮に利用している。符号化画像を復号する際には、ＭＰＥＧ‐２方式ではＧＯＰの先頭のイントラフレームから行う必要があり、Ｈ．２６４／ＡＶＣ方式ではＩＤＲイントラスライスから行う必要がある。

一方、フレーム間予測を利用しない動画像の符号化方式（例えば、Ｍｏｔｉｏｎ ＪＰＥＧなどが知られている。）は、任意のフレームから復号を開始することが可能である。ただし、Ｍｏｔｉｏｎ ＪＰＥＧ方式は、ＭＰＥＧ‐２方式等のフレーム間予測を利用する方式と比較して圧縮性能が低いために、許容される品質の画質を得るためには高いビットレートが必要であり、放送や通信での使用には向いていない。

ところで、低解像度画像を伝送して高解像度画像を得る技術が近年着目されている。例えば、送信側で、低解像度画像の処理対象フレームの前後３フレーム（合計７フレーム）の低解像度フレームから動きベクトル又は修正ベクトルを求め、その動き情報とともに低解像度画像を送信し、受信側では、受信した動き情報及び低解像度画像から高解像度画像を得る手法（例えば、特許文献１参照）や、間引き画像間で初期の動きベクトルを求めて、最初の復元画像を再構成し、この復元画像と間引き画像とを用いて新たな動きベクトルを求めることを順次繰り返すことで、動きベクトルの精度を高め、復元画像の画質を改善させる手法（例えば、特許文献２参照）が開示されている。

特開２００６−１７４４１５号公報 特開２００６−３４５４４６号公報

前述したように、ＭＰＥＧ‐２方式やＨ．２６４／ＡＶＣ方式では、符号化画像を復号する際には、ＭＰＥＧ‐２方式の場合はＧＯＰの先頭のイントラフレームから、Ｈ．２６４／ＡＶＣ方式の場合ではＩＤＲイントラスライスから行う必要がある。しかしながら、これらの方式では、圧縮性能は高くできても、任意のフレームから復号を開始することができないという問題がある。即ち、復号を開始するフレームが到着するまでの間は復号することができない。そのため、一般的には、地上ディジタル放送や衛星ディジタル放送では０．５秒、ワンセグ放送では２〜５秒の復号不能時間（以下、復号時の待機時間とも称する。）が発生することになる。

この問題を改善するために、特許文献１に開示される技術を用いたとしても、送信側で低解像度の画像を送信することでデータ量を低減させることはできるが、複数フレーム間の動きベクトルを生成して送信する必要があり、少なくとも複数フレーム分を処理する待機時間が生じ、復号時の待機時間と複数フレームを用いた高解像度化との両立を図る観点からは問題が残る。

また、特許文献２に開示される技術を用いたとしても、送信側で動きベクトルを付随しない低解像度の画像を送信することで送信すべきデータ量を低減させ、復号時の待機時間を無くして復号することができるが、例えば動画像中の静止領域の画像部分では、動きベクトルの精度改善は期待できないため、復号時の高解像度化には改善の余地がある。

そこで、本発明の目的は、復号時の待機時間を完全に無くして任意のフレームからの復号を可能とするとともに、高い圧縮率を実現するための低解像度画像の生成技法と直前フレームのみを用いたフレーム間予測の技法を効果的に組み合わせ、改善した符号化率及び改善した復号時の高解像度化を得るための画像符号化装置及び画像復号装置を提供することにある。

本発明の画像符号化装置は、連続したフレーム画像からなる動画像を符号化する画像符号化装置であって、入力されたフレーム画像を第１のブロックで分割し、前記第１のブロックに含まれる画素の１つを予め定めた選択順で選択するサブサンプル処理を全ての前記第１のブロックに施して低解像度画像を生成するとともに、前記低解像度画像を生成した際の、前記第１のブロック内の選択画素位置を表わすサンプル位置情報を生成するサブサンプル部と、該入力されたフレーム画像を第２のブロックで分割し、前記第２のブロックの各々に対し、１フレーム前に入力されたフレーム画像との間で動き推定処理を行うとともに、該入力されたフレーム画像からアンカバー領域を検出し、動き推定処理の動きパラメータ及びアンカバー領域の情報を含む動き情報を生成する動き推定部とを備え、連続したフレーム画像からなる動画像を、フレーム毎に、前記低解像度画像、前記サンプル位置情報及び前記動き情報へと符号化することを特徴とする。

また、本発明の画像符号化装置は、前記サブサンプル部で生成した低解像度画像を、フレーム毎に復号が可能な圧縮符号化方式により圧縮符号化を行うフレーム内符号化器を更に備えることを特徴とする。

また、本発明の画像符号化装置は、前記動き推定部で生成したサンプル位置情報及び動き情報を、所定の圧縮方式で可逆圧縮を行う高解像度化情報符号化器を更に備えることを特徴とする。

本発明の画像復号装置は、本発明の画像符号化装置により符号化した動画像を、フレーム毎に、前記低解像度画像、前記サンプル位置情報及び前記動き情報を用いて生成した統合画像に内挿処理を施し、高解像度化して復号する画像復号装置であって、前記サンプル位置情報を用いて、前記低解像度画像の各画素をサブサンプル処理前の座標に対応するように割付けた割付け画像を生成する割付け部と、前記動き情報に含まれる動きパラメータに従い、１フレーム前の統合画像を動き補償するとともに、前記動き情報に含まれるアンカバー情報を用いて、アンカバー領域と指定された画素を消去して、動き補償画像を生成する動き補償部と、前記割付け部により生成した割付け画像の画素と、前記動き補償部で生成した動き補償画像の画素とを統合した統合画像を生成する画素統合部と、前記統合画像に内挿処理を施して、復号画像を生成する内挿部とを備え、前記低解像度画像、前記サンプル位置情報及び前記動き情報を用いて前記フレーム画像をフレーム毎に復号し、連続したフレーム画像からなる動画像を復元することを特徴とする。

また、本発明の画像復号装置は、前記フレーム内符号化器により圧縮符号化した低解像度画像を、前記圧縮符号化方式に対応する復号方式で圧縮復号するフレーム内復号器を更に備えることを特徴とする。

また、本発明の画像復号装置は、前記高解像度化情報符号化器により可逆圧縮したサンプル位置情報及び動き情報を、前記所定の圧縮方式に対応する復号方式で復号する高解像度化情報復号器を更に備えることを特徴とする。

本発明によれば、符号化側でフレーム毎に復号可能な低解像度画像を毎フレーム単位で生成するので、任意のフレームからの復号が可能である。更に、符号化側で所定のブロックを構成する画素数で定まる周期で異なる画素位置を選択してフレーム毎に低解像度画像を生成し、復号側で静止領域を含む如何なる種類の低解像度画像であっても動き補償して統合処理を施すため、復号フレーム数が増加するに従い、統合画像内の画素数を増大させ、高画質な内挿を可能とし、これにより復号画像を高画質化する。

従って、Ｍｏｔｉｏｎ ＪＰＥＧ方式等のフレーム内の符号化方式では原画像の解像度を圧縮符号化するものであることに対し、本発明によれば、これらの方式のフレーム内符号化方式よりも高い圧縮率を得ることができる。

更に、本発明によれば、伝送データ量を少なくできる高解像度化情報を用いるため、伝送エラー等により低解像度画像のフレームを再構成できないときがあっても、複数フレームの復号による高解像度化処理を継続させることができる。このため、特に、高信頼性回線の帯域が不足している場合の動画像の伝送利用に好適となる。

本発明による実施例の画像符号化装置及び画像復号装置を説明する。

（実施例）
まず、本発明による実施例の画像符号化装置を、図１を参照して説明する。

（画像符号化装置）
図１に、本発明による実施例の画像符号化装置を示す。画像符号化装置１は、画像符号化器１０１のみで構成することができる。しかしながら、後述で明らかとなるが、本実施例では、画像符号化装置１は、更に、フレーム内符号化器１０５及び高解像度化情報符号化器１０６を備えるものとして説明する。従って、フレーム内符号化器１０５及び高解像度化情報符号化器１０６は、本発明において必須の要素ではない。画像符号化器１０１は、サブサンプル部１０２、動き推定部１０３及び原画遅延部１０４を有する。

サブサンプル部１０２は、入力された原画像（即ち、フレーム画像）を所定のブロックサイズで分割し、該ブロックに含まれる画素の１つを予め定めた選択順で選択するサブサンプル処理を全ての該ブロックに施して低解像度画像を生成する。サブサンプル処理とは、原画像を所定のサイズのブロックに区切り（以下、サブサンプルブロックの意味でＳＳブロックと称する。）、各ＳＳブロック内から１つの画素を選択することを云う。このとき、サブサンプル処理を施す前にローパスフィルタによるフィルタリングを行ってもよい。

また、サブサンプル処理で用いるＳＳブロックのサイズは、予め定めておくか、又は画像符号化装置１から出力するストリーム内にフレーム単位で記述するようにする。これは、復号側でＳＳブロック内の選択画素位置を識別することができるようにするためである。尚、ＳＳブロックのサイズを大きくすると圧縮率を改善させることができるが、画質は低下する。このため、用途に応じて適切なサイズを選択することが好ましい。例えば８×８画素のＳＳブロックを用いる場合には、低解像度画像の画像サイズは原画像のときの１／６４になる。

つまり、サブサンプル部１０２は、フレーム毎に低解像度画像を生成する際に、ＳＳブロック内から１つの画素を選択する際の画素位置をフレーム毎にＳＳブロック内で変更する。例えば、サブサンプル部１０２は、ＳＳブロックを構成する画素数で定まる周期でフレーム毎に異なる画素位置を選択して低解像度画像を生成する。

また、サブサンプル部１０２は、このように生成した低解像度画像を出力するとともに、低解像度画像を生成した際の、ＳＳブロック内の選択画素位置を表わすサンプル位置情報も生成する。ここで、サンプル位置情報は、例えばＳＳブロックを８×８画素としたとき、６４個の識別番号で表わすことができる。従って、サブサンプル部１０２は、フレーム毎に１個の識別番号のみをサンプル位置情報として送信すればよく、この識別番号の順を選択順としてフレーム毎に異なる画素位置の情報（サンプル位置情報）を送信することができる（詳細な例は、図３（Ａ）及び図３（Ｂ）を参照して後述する。）。

各ＳＳブロック内の画素位置の選択順を予め定めるには、ＳＳブロック内の画像領域を静止画領域と仮定したとき、内挿処理した際の画質評価により決定することが好適である。例えば、ディザパターンの最適化と同様な手法を用いて、各ＳＳブロック内の画素の選択順を決定することができる。従って、本実施例においては、各ＳＳブロック内で選択した画素からなるフレーム画像は、原画像から等間隔の画素位置で選択された画素で構成された低解像度画像となる。尚、サブサンプル処理を施す前にローパスフィルタを用いない場合には、低解像度画像の画素の持つ画素値は、原画像が持つ画素値と等価であり、この場合の低解像度画像は、原画像が持つ周波数成分を保持した、等間隔間引きの画像となる。

図３（Ａ）に、ＳＳブロックを８×８画素とした場合に選択する画素位置の一例を示す。この例では、ＳＳブロックが８×８画素から構成されるので、６４個の識別番号（０〜６３）を各画素位置に割り当てている。従って、６４フレームで、選択した画素位置は一巡することになり、６４個の識別番号に従って順次選択する。例えば、サブサンプル部１０２は、最初のフレームでは全てのＳＳブロック内の識別番号「０」の位置の画素を選択し、次のフレームでは識別番号「１」の位置を選択し、以降フレーム毎に順番に位置を選択していき、６５フレーム目で再び識別番号「０」の位置を選択する。

このように、ＳＳブロック内の画素数と同じフレーム数（例えば８×８画素のＳＳブロックの場合は６４フレーム）でＳＳブロック内の全ての画素位置を選択することが好適である。例えば、図３（Ｂ）に、ＳＳブロックを４×４画素とした場合に選択する画素位置の一例を示す。この例では、１６フレームでＳＳブロック内の全ての画素位置を選択することが好適である。前述したように、識別番号の割り当ては、内挿処理した際の画質評価により決定することが好適であるが、任意の方法で定めることができる。

動き推定部１０３は、入力された原画像を所定のサイズでブロック分割して（ＳＳブロックと区別するため、以降ＭＥブロックと称する。）、原画像の各ブロックに対し、１フレーム前の原画像との間で動き推定を行うとともに、アンカバー領域の検出を行う。アンカバー領域とは、１フレーム前には存在せず現在のフレームで現われる画像領域のことを云い、オクルージョン領域とも称される。例えば、移動する前景の後ろから現われる背景の領域や、画面が左にスクロールしている場合の右端の画像領域などがアンカバー領域の例である。

このようなアンカバー領域の検出方法には、例えば、現在のフレーム画像と１フレーム前のフレーム画像との間でフレーム順を入れ替える処理を行い、入れ替えた現在のフレーム画像を基準として、１フレーム前のフレーム画像との動き予測画像を作成したときの割り付け不能な領域、又は動き予測画像の生成不能な領域をアンカバー領域と判定する方法がある（例えば、特開平７‐３３６６８８号公報参照）。或いは又、現在のフレーム画像と１フレーム前のフレーム画像との間で双方向に動きベクトルを検出し、双方向動きベクトルで現在のフレーム画像に割り付け不能な領域をアンカバー領域として特定する方法（例えば、特開平９‐２１４８９９号公報参照）などがある。

原画遅延部１０４は、動き推定部１０３による１フレーム前の原画像との間での動き推定のために、原画像の１フレーム遅延を行う。原画遅延部１０４は、好適にメモリを用いて実現することができる。

尚、動き推定部１０３による動き推定は、原画像のＭＥブロックの平行移動を表わす動きベクトルだけでなく、変形を表わすパラメータや回転を表わすパラメータなどの各種の動きパラメータを用いることができる。これにより、より高画質な画像圧縮を実現することができる。尚、画像符号化装置１又は画像復号装置２の用途や演算負荷を考慮して適切な動きパラメータを随意用いることができる。ここで、画像符号化装置１にて、符号化を開始するフレームの動き情報（動きパラメータとアンカバー領域を示す情報）は、任意の値とすることができる。なぜなら、後述で明らかとなるが、画像復号装置２で復号を開始する最初のフレームでは動き情報が利用されない（動き補償画像が利用されない）ためである。従って、伝送する情報量が最も少なくなるような動き情報を用いてもよいし、或いは動き情報を伝送しなくともよい。

また、動き推定部１０３による動き推定で利用するＭＥブロックは、サブサンプル処理で用いたＳＳブロックと同一にする必要はない。例えば、サブサンプル部１０２でＳＳブロック内の右上の画素が選択されたとき（図４（Ａ））、動き推定部ではサブサンプル部１０２で選択した画素を中心としたＭＥブロックで動き推定を行ってもよい（図４（Ｂ））。また、ＭＥブロックのサイズもＳＳブロックと異なるサイズとしてもよい。動き推定部１０３による動き推定で、ＳＳブロックのサイズ又は位置と異なるＭＥブロックを利用する場合には、ＭＥブロック用に予め定めておくか、又は画像符号化装置１から出力するストリーム内にフレーム単位で記述するようにする。これは、画像復号装置２側でＭＥブロックを用いて動き補償することができるようにするためである。尚、フレーム単位でＭＥブロックの数は、ＳＳブロックの数と等しくすることが好適である。

また、動き推定部１０３は、サブサンプル部１０２で選択した画素を含む所定のサイズのブロック（以下、ＵＣブロックと称する）がアンカバー領域であるか否かを判定し、判定結果の情報を動き情報に含めて出力する。尚、ＵＣブロックは、ＳＳブロック又はＭＥブロックと同一であってもよいし、異なるものであってもよい。ＳＳブロックのサイズ又は位置と異なるＵＣブロックを利用する場合は、ＵＣブロック用に予め定めておくか、又は画像符号化装置１から出力するストリーム内にフレーム単位で記述するようにする。これは、画像復号装置２の動き補償画像生成時にアンカバー領域を識別することができるようにするためである。ＵＣブロックは、フレーム画像の画像端を除き原画像を隙間なく、且つ重ならないように敷きつめられるサイズとすることが好適である。尚、フレーム画像でＵＣブロックの数は、ＳＳブロックの数と等しくすることが好適である。

このように、動き推定部１０３は、ＭＥブロック毎に推定した動きパラメータとＵＣブロック毎のアンカバー領域であるか否かを表わすアンカバー情報を合わせた動き情報を出力するように動作する。

フレーム内符号化器１０５は、Ｍｏｔｉｏｎ ＪＰＥＧ方式のようなフレーム毎に復号が可能な所定の圧縮符号化方式により、サブサンプル部１０２から出力された低解像度画像の圧縮符号化を行い、低解像度画像ストリームとして出力する。圧縮符号化方式は、可逆圧縮でも非可逆圧縮でもよい。

高解像度化情報符号化器１０６は、所定の符号化方式により、サンプル位置情報及び動き情報の可逆圧縮を行い、高解像度化情報ストリームとして出力する。尚、サンプル位置情報は、フレーム毎に１つの識別番号で表わすことができ、データ量として少ないため、必ずしも圧縮する必要はない。

尚、フレーム内符号化器１０５及び高解像度化情報符号化器１０６は、本発明に必須のものではないが、圧縮率を向上するためには実装することが好適である。フレーム内符号化器１０５及び高解像度化情報符号化器１０６を用いない場合には、サブサンプル部１０２によって低解像度画像を予め定めた任意の形式で低解像度画像ストリームとして出力するようにし、同様に、動き推定部１０３によって動き情報を高解像度化情報ストリームとして出力するようにする。

次に、本発明による実施例の画像復号装置を、図２を参照して説明する。

（画像復号装置）
図２に、本発明による実施例の画像復号装置を示す。尚、画像符号化装置１をフレーム内符号化器１０５及び高解像度化情報符号化器１０６を有することなく構成させた場合には、画像復号装置２は、画像復号器２０１のみで構成できる。しかしながら、本実施例では、画像符号化装置１がフレーム内符号化器１０５及び高解像度化情報符号化器１０６を有する場合について説明するため、画像復号装置２は、更に、フレーム内復号器２０７及び高解像度化情報符号器２０８を備えるものとして説明する。従って、フレーム内復号器２０７及び高解像度化情報符号器２０８は、本発明において必須の要素ではない。画像復号器２０１は、割付け部２０２、画素統合部２０３、動き補償部２０４、遅延部２０５及び内挿部２０６を有する。

フレーム内復号器２０７は、画像符号化装置１のフレーム内符号化器１０５から伝送される低解像度画像ストリームを受信して、フレーム内符号化器１０５による符号化方式に対応する復号形式で復号し、低解像度画像を割付け部２０２に出力する。

高解像度化情報復号器２０８は、画像符号化装置１の高解像度化情報符号化器１０６から伝送される高解像度化情報ストリームを受信して、高解像度化情報符号化器１０６による符号化方式に対応する復号形式で復号し、高解像度化情報のうち、サンプル位置情報を割付け部２０２に出力するとともに、動き情報を動き補償部２０４に出力する。

尚、画像符号化装置１をフレーム内符号化器１０５及び高解像度化情報符号化器１０６を有することなく構成させた場合にも同様に、割付け部２０２は、画像符号化装置１から低解像度画像及びサンプル位置情報を受信し、動き補償部２０４は、画像符号化装置１から動き情報を受信する。また、画像符号化装置１がフレーム内符号化器１０５及び高解像度化情報符号化器１０６を有しているか否かは、画像符号化装置１と画像復号装置２との間で予め定めておくか、又は画像符号化装置１がフレーム単位で送信するストリームに補助情報として追加して送信し、復号側で識別するようにしてもよい。

割付け部２０２は、サンプル位置情報を利用して、低解像度画像の各画素をサブサンプル処理前の座標に対応するように割付けた、割付け画像を生成して出力する。割付け画像の生成において、サブサンプル処理で割り付けた画素以外の座標（即ち、割り付け対象外の画素の座標）は、後述する内挿部２０６による内挿すべき画素の座標として識別可能にして生成する。例えば、割付け画像の各画素の画素値にパリティビットを設けて、低解像度画像から割付けた画素には「１」をパリティビットに設定し、それ以外は「０」をパリティビットに設定する。或いは又、割付け画像と対応付ける座標マップを用いて、各画素位置の画素が低解像度画像から割付けた画素であるか否かを識別するようにしてもよい。以後、説明の便宜のために、後述する内挿部２０６による内挿に用いる画素を「有効画素」と称し、内挿すべき座標の画素を「被内挿画素」と称する。

尚、割付け画像の解像度は、必ずしも原画像の解像度と一致させる必要はないが、画像符号化装置１の動き推定部１０３による動き情報の精度と一致させる。例えば、動き推定部１０３で、動き情報として水平及び垂直に１／２画素精度の動きベクトルを用いていた場合は、割付け画像も１／２画素精度の解像度を持つ画像とする。即ち、この例の場合は、割付け画像に存在する画素数は、原画像の縦横それぞれ２倍となる。尚、動き推定に用いた画素精度は、画像符号化装置１と画像復号装置２との間で予め定めておくか、又は画像符号化装置１がフレーム単位で送信するストリームに補助情報として追加して送信し、復号側で識別するようにしてもよい。

画素統合部２０３は、割付け部２０２から取得した割付け画像の画素と、動き補償部２０４で生成した動き補償画像の画素とを統合した統合画像を生成して内挿部２０６に出力する。後述するように、動き補償部２０４で動き補償画像を生成するには、１フレーム前の統合画像に用いる割付け画像を必要とするため、画素統合部２０３は、復号を開始する最初のフレームについては、割付け部２０２から取得した割付け画像を出力するように動作する。従って、画素統合部２０３は、復号を開始する時点のフレームでの動作と、それ以降のフレームでの動作とは異なる。

また、画素統合部２０３は、フレーム単位で動作するので、復号を開始する最初のフレームを、復号を開始する時点に取得した割付け画像と同一とするように制御することは容易である。それ以降のフレームでは、画素統合部２０３は、動き補償部２０４によって生成した動き補償画像の画素と割付け画像の有効画素とを、座標上で内挿に用いる有効画素として統合するように合成した統合画像として出力する。動き補償画像の画素と割付け画像の有効画素とが同一座標（又は所定の範囲内）となる場合は、割付け画像の有効画素を用いて生成する。従って、統合画像は、動き補償を加味した内挿に用いる有効画素と、被内挿画素とが混在した画像となる。復号を開始してからフレーム期間を経る度に、動き補償を加味した有効画素が増加することになり、内挿部２０６による内挿後の画質が向上するようになる。

内挿部２０６は、統合画像の有効画素を用いて、被内挿画素を内挿し、復号画像を生成する。例えば、統合画像における内挿に用いる有効画素の疎密に関わらず、単純な加重平均により被内挿画素を内挿することができる。尚、内挿部２０６で用いる内挿方法には、不均一な有効画素の配置から内挿する手法の他、既知の超解像手法を用いることができる。いずれの手法を用いるかは、演算負荷等を勘案して用途に応じて適宜決定すればよい。また、内挿手法によっては有効画素の値をも処理して画素値を変化させる手法と、有効画素の値を処理せずに画素値を変化させない手法とがあるが、いずれを用いてもよい。

遅延部２０５は、動き補償部２０４で１フレーム前の統合画像を用いて動き補償画像を生成可能とするように、画素統合部２０３から出力される統合画像を1フレーム分遅延させた遅延画像を出力する。

動き補償部２０４は、画像符号化装置１から取得した動き情報に含まれる動きパラメータに従い、遅延部２０５の出力する遅延画像を動き補償して動き補償画像を生成する。尚、動き補償を行うブロック（画像符号化装置１におけるＭＥブロックに相当する。）のサイズやＳＳブロックの座標に対する相対的な位置は、予め定めておくか、又は画像符号化装置１からのストリーム内から取得するように構成することで、画像符号化装置１と画像復号装置２との間で同一のものを用いるようにする。

また、動き補償部２０４は、動き情報に含まれるアンカバー情報を用いて、アンカバー領域と指定されたブロック（画像符号化装置１におけるＵＣブロックに相当する。）に含まれる座標に存在する画素を動き補償画像から消去し、被内挿画素とする。このブロックのサイズや位置は、予め定めておくか、又は画像符号化装置１からのストリーム内から取得するように構成することで、画像符号化装置１と画像復号装置２との間で同一のものを用いるようにする。

次に、画像符号化装置１及び画像復号装置２の動作を、図５を参照して説明する。

図５に、本発明による実施例の画像符号化装置及び画像復号装置の動作原理を説明するデータフロー図を示す。画像符号化装置１は、動画像の或るフレーム６０６を符号化する際、サブサンプル部１０２でフレームをＳＳブロックに区切り、ＳＳブロック内の１つの画素を選択して低解像度画像６１２を生成し、フレーム内符号化器１０５で低解像度画像ストリームとして出力する。また、画像符号化装置１は、動き推定部１０３でＭＥブロック毎に１フレーム前の原画像６０１との間で動き推定を行い、得られた動き情報を、サブサンプル部１０２で生成した、ＳＳブロック内のいずれの画素位置を選択したかを示すサンプル位置情報とともに、高解像度化情報符号化器１０６で符号化し、高解像度化情報ストリームとして出力する。更に、前述したように、動き情報には、動きパラメータのほか、動き推定時に検出したアンカバー領域を示す情報を含めることができる。

画像復号装置２は、画像符号化装置１から、低解像度画像ストリーム及び高解像度化情報ストリームを受信して統合画像を生成した後、内挿して高解像度画像に復元する。

まず復号を開始するフレームについて説明する。復号を開始するフレームに関するデータを６０２とする。データ６０２には、低解像度画像、サンプル位置情報及び動き情報を含む。画像復号装置２は、フレーム内符号化器２０７及び高解像度化情報符号化器２０８を介して、割付け部２０２でサンプル位置情報に従って低解像度画像の画素を元の画素位置に対応する座標に割付け、内挿に用いる有効画素と内挿すべき被内挿画素からなる割付け画像６０３を生成する。復号を開始したフレームでは、画素統合部２０３で割付け画像６０３をそのまま統合画像６０４とする。統合画像６０４には被内挿画素の座標が存在する。それらの座標を、内挿部２０６で有効画素を用いて内挿し、復号画像６０５を生成する。

次に、復号開始後、２フレーム目以降について説明する。２フレーム目の復号に関するデータ６０７には、低解像度画像、サンプル位置情報及び動き情報が含まれている。画像復号装置２は、フレーム内符号化器２０７及び高解像度化情報符号化器２０８を介して、割付け部２０２でサンプル位置情報に従って低解像度画像の画素を元の画素位置に対応する座標に割付け、内挿に用いる有効画素と内挿すべき被内挿画素からなる割付け画像６０８を作成する。動き補償部２０４で１フレーム前の統合画像６０４を動き情報に従って動き補償し、動き補償画像６０９を生成する。

このとき、動き情報でアンカバー領域と示されている領域については、動き補償部２０４で動き補償画像からアンカバー領域に含まれる画素を消去する。次に、画素統合部２０３で割付け画像６０８と動き補償画像６０９を統合し、２フレーム目の統合画像６１０を作成する。画素統合部２０３で統合画像６１０を生成する時に、割付け画像の画素と動き補償画像の画素とが同一座標（又は所定の範囲内）となる場合は、割付け画像６０８の画素を優先する。統合画像６１０には内挿すべき被内挿画素の座標が存在する。次に、内挿部２０６で被内挿画素の座標を内挿し、復号画像６１１を得る。画像復号装置２は、３フレーム目の復号においても、２フレーム目の復号時と同様に処理し、繰り返す。

このように、画像復号装置１では、極めて少ない情報量のフレーム毎に選択画素位置をずらした低解像度画像及び高解像度化情報を送信しながら、画像復号装置２では、復号開始から直ちにフレーム画像を復元でき、且つ、直前フレームからの動き補償画像の画素と現在のフレームの低解像度画像からの割付け画像の画素とを統合した統合画像に内挿処理を施すので、複数フレーム後には極めて画質の改善した高解像度画像を得ることができるようになる。

また、本発明の実施例によれば、画像復号装置２が、例えば伝送路の障害等により、高解像度化情報のみを取得して低解像度画像の一部又は全部を受信することできなかったフレームが存在した場合でも、割付け部２０２で受信できなかった座標の画素を被内挿入画素として割付け画像を生成することができる。従って、前フレームの統合画像を用いて、通常の復号と同様に動き補償部２０４で動き補償し、画素統合部２０３で現フレームの統合画像を出力するため、欠落した情報を含むフレームを破棄することなく復元することができる。また、動き補償処理により統合画像は、常に最新の状態に保たれるため、次（直後に限らず、以後の）フレームの低解像度画像及び高解像度化情報が正しく取得することができる限り、その時点から複数フレームの復号による高解像度化処理を再び継続することが可能である。

また、ＭＰＥＧ‐２等のフレーム間予測を利用している符号化方式では、途中のフレーム（Ｉ，Ｐピクチャ等、他のフレームの参照画像として使用されるフレーム）の一部でも受信に失敗すると、それ以降のフレーム（受信に失敗したフレームを参照画像として使用するフレーム）を正しく復号することができなくなるのに対し、本発明の実施例によれば、画像復号装置２が低解像度画像の受信について失敗しても、高解像度化情報を正しく受信することができる限り、その後も正しく復号を継続することが可能である。

更に、符号化したストリーム全てを伝送するのに十分な帯域の高信頼回線が存在しない場合でも、低解像度画像の伝送であれば、低信頼回線で伝送し、高解像度化情報を十分なエラー訂正を付加したり、信頼性の高い回線を利用したり、複数の回線を利用して伝送することを含め、伝送不可となる状態を回避して動画像の伝送を行うことが可能である。これは、特に災害時の情報伝達に有用となる。

前述した実施例の画像符号化装置及び画像復号装置において、制御部及び記憶部を有するコンピュータを好適に用いることができる。例えば、フレーム内符号化器１０５、高解像度化情報符号化器１０６、サブサンプル部１０２、動き推定部１０３及び原画遅延部１０４を制御するための制御部を中央演算処理装置（ＣＰＵ）で構成できる（図示せず）。同様に、フレーム内復号器２０７、高解像度化情報復号器２０８、割付け部２０２、画素統合部２０３、動き補償部２０４、遅延部２０５及び内挿部２０６を制御するための制御部を中央演算処理装置（ＣＰＵ）で構成できる（図示せず）。用途に応じて、１つの制御部で各構成要素を制御するように構成してもよい。また、画像符号化装置又は画像復号装置として機能するコンピュータは、各構成要素を機能させるのに必要となる画像を記憶部に適宜記憶するように、少なくとも１つのメモリを備えることができる（図示せず）。

また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、これら各構成要素の有する機能を実現させることができる。更に、これら各構成要素の有する機能を実現させるためのプログラムを、所定の記憶部に格納させることができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、画像符号化装置又は画像復号装置としてのコンピュータで利用されるＯＳ上のソフトウェアの一部で構成させることができる。

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変形及び置換することができることは当業者に明らかである。例えば、前述の実施例において、画像符号化装置１と画像復号装置２を個別の装置として説明し、画像符号化装置１から出力したストリームを画像復号装置２が受信するとして説明したが、符号化／復号の観点から、画像符号化装置１及び画像復号装置２を１つの装置（例えば、コンピュータ）で構成させることができる。この場合、動画ファイルのデータサイズを縮小させて管理したい場合に有用となる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明は、動画像を扱うハードウェア又はソフトウェアアプリケーション全般に有用である。

本発明による実施例の画像符号化装置を示すブロック図である。 本発明による実施例の画像復号装置を示すブロック図である。 本発明による実施例のサブサンプル処理を説明する図である。 本発明による実施例の画像符号化装置で行う動き推定を説明する図である。 本発明による実施例の画像符号化装置及び画像復号装置の動作原理を説明するデータフロー図である。

符号の説明

１ 画像符号化装置
２ 画像復号装置
１０１ 画像符号化器
１０２ サブサンプル部
１０３ 動き推定部
１０４ 原画遅延部
１０５ フレーム内符号化器
１０６ 高解像度化情報符号化器
２０１ 画像復号器
２０２ 割付け部
２０３ 画素統合部
２０４ 動き補償部
２０５ 遅延部
２０６ 内挿部
２０７ フレーム内復号器
２０８ 高解像度化情報復号器

Claims (6)

1. 連続したフレーム画像からなる動画像を符号化する画像符号化装置であって、
   入力されたフレーム画像を第１のブロックで分割し、前記第１のブロックに含まれる画素の１つを予め定めた選択順で選択するサブサンプル処理を全ての前記第１のブロックに施して低解像度画像を生成するとともに、前記低解像度画像を生成した際の、前記第１のブロック内の選択画素位置を表わすサンプル位置情報を生成するサブサンプル部と、
   該入力されたフレーム画像を第２のブロックで分割し、前記第２のブロックの各々に対し、１フレーム前に入力されたフレーム画像との間で動き推定処理を行うとともに、該入力されたフレーム画像からアンカバー領域を検出し、動き推定処理の動きパラメータ及びアンカバー領域の情報を含む動き情報を生成する動き推定部とを備え、
   連続したフレーム画像からなる動画像を、フレーム毎に、前記低解像度画像、前記サンプル位置情報及び前記動き情報へと符号化することを特徴とする画像符号化装置。
2. 前記サブサンプル部で生成した低解像度画像を、フレーム毎に復号が可能な圧縮符号化方式により圧縮符号化を行うフレーム内符号化器を更に備えることを特徴とする、請求項１に記載の画像符号化装置。
3. 前記動き推定部で生成したサンプル位置情報及び動き情報を、所定の圧縮方式で可逆圧縮を行う高解像度化情報符号化器を更に備えることを特徴とする、請求項１又は２に記載の画像符号化装置。
4. 請求項１に記載の画像符号化装置により符号化した動画像を、フレーム毎に、前記低解像度画像、前記サンプル位置情報及び前記動き情報を用いて生成した統合画像に内挿処理を施し、高解像度化して復号する画像復号装置であって、
   前記サンプル位置情報を用いて、前記低解像度画像の各画素をサブサンプル処理前の座標に対応するように割付けた割付け画像を生成する割付け部と、
   前記動き情報に含まれる動きパラメータに従い、１フレーム前の統合画像を動き補償するとともに、前記動き情報に含まれるアンカバー情報を用いて、アンカバー領域と指定された画素を消去して、動き補償画像を生成する動き補償部と、
   前記割付け部により生成した割付け画像の画素と、前記動き補償部で生成した動き補償画像の画素とを統合した統合画像を生成する画素統合部と、
   前記統合画像に内挿処理を施して、復号画像を生成する内挿部とを備え、
   前記低解像度画像、前記サンプル位置情報及び前記動き情報を用いて前記フレーム画像をフレーム毎に復号し、連続したフレーム画像からなる動画像を復元することを特徴とする画像復号装置。
5. 請求項２に記載の画像符号化装置により符号化した動画像を復号する画像復号装置であって、
   前記フレーム内符号化器により圧縮符号化した低解像度画像を、前記圧縮符号化方式に対応する復号方式で圧縮復号するフレーム内復号器を更に備えることを特徴とする、請求項４に記載の画像復号装置。
6. 請求項３に記載の画像符号化装置により符号化した動画像を復号する画像復号装置であって、
   前記高解像度化情報符号化器により可逆圧縮したサンプル位置情報及び動き情報を、前記所定の圧縮方式に対応する復号方式で復号する高解像度化情報復号器を更に備えることを特徴とする、請求項４又は５に記載の画像復号装置。

Images