JP2014143488A - 画像圧縮装置、画像復号装置およびプログラム - Google Patents

Abstract

【課題】 圧縮時における符号化効率の低下や画質劣化を抑制する。
【解決手段】 画像圧縮装置の間引き部は、奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出して間引き画像を生成する。第１画像生成部は、間引き画像から奇数番目の行の標本点を抽出して第１画像を生成する。第２画像生成部は、間引き画像から偶数番目の行の標本点を抽出して第２画像を生成する。符号化部は、第１画像および第２画像をそれぞれ符号化する。出力部は、第１画像の符号化情報および第２画像の符号化情報に、間引き画像への復号方式を示す付帯情報を対応付けて出力する。
【選択図】 図２

Description

本発明は、画像圧縮装置、画像復号装置およびプログラムに関する。

従来から、画像の圧縮符号化のときに標本点を間引きすることで、情報量を効率よく削減することが知られている。例えば、垂直方向や水平方向と比べて斜め方向の解像度低下は視覚的に認識しづらい点に着目し、画像を斜め方向に間引きして符号化することも行われている（例えば、特許文献１）。

特表２００５−５２２９５８号公報

しかし、斜め方向の間引きを行った画像を圧縮する場合、絵柄によっては隣接する標本点との相関が低下し、符号化効率の低下や画質劣化が生じることがある。

本発明の一例としての画像圧縮装置は、間引き部と、第１画像生成部と、第２画像生成部と、符号化部と、出力部とを備える。間引き部は、奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出して間引き画像を生成する。第１画像生成部は、間引き画像から奇数番目の行の標本点を抽出して第１画像を生成する。第２画像生成部は、間引き画像から偶数番目の行の標本点を抽出して第２画像を生成する。符号化部は、第１画像および第２画像をそれぞれ符号化する。出力部は、第１画像の符号化情報および第２画像の符号化情報に、間引き画像への復号方式を示す付帯情報を対応付けて出力する。

本発明の一例としての画像復号装置は、圧縮画像情報を取得する取得部と、復号部と、合成部と、補間部とを備える。圧縮画像情報は、第１画像を符号化した第１符号化情報と第２画像を符号化した第２符号化情報と、後述する間引き画像への復号方式を示す付帯情報とを含む。間引き画像は、奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出した画像である。第１画像は、間引き画像の奇数番目の行の標本点を抽出した画像である。第２画像は、間引き画像の偶数番目の行の標本点を抽出した画像である。復号部は、第１符号化情報から第１画像を復号し、第２符号化情報から第２画像を復号する。合成部は、付帯情報を参照して、第１画像および第２画像から間引き画像を合成する。補間部は、間引き画像を補間して圧縮元の画像の形式に変換する。

本発明の一例によれば、圧縮時における符号化効率の低下や画質劣化を抑制できる。

第１実施形態の電子カメラの構成例を示す図 図１の圧縮処理部の構成例を示す図 （ａ）〜（ｅ）：ＹＵＶ４：４：４形式の画像での圧縮時の間引き例を示す図 （ａ）〜（ｅ）：ＹＵＶ４：２：２形式の画像での圧縮時の間引き例を示す図 （ａ）〜（ｅ）：ＹＵＶ４：２：０形式の画像での圧縮時の間引きの一例を示す図 （ａ）〜（ｅ）：ＹＵＶ４：２：０形式の画像での圧縮時の間引きの別例を示す図 図２の符号化部の構成例を示す図 図１の復号処理部の構成例を示す図 （ａ）〜（ｃ）：ＹＵＶ４：４：４形式の画像での復号時の補間例を示す図 （ａ）〜（ｃ）：ＹＵＶ４：２：２形式の画像での復号時の補間例を示す図 （ａ）〜（ｃ）：ＹＵＶ４：２：０形式の画像での復号時の補間の一例を示す図 （ａ）〜（ｃ）：ＹＵＶ４：２：０形式の画像での復号時の補間の別例を示す図 図８の復号部の構成例を示す図 圧縮処理部での動画像の圧縮動作例を示す流れ図 （ａ）〜（ｃ）：第１実施形態での動画像の符号化形式の例を示す図 復号処理部での動画像の復号動作例を示す流れ図 補間部での補間処理の例を示す図 第２実施形態での圧縮処理部の構成例を示す図 第２実施形態での復号処理部の構成例を示す図 第２実施形態の圧縮処理部での動画像の圧縮動作例を示す流れ図 （ａ），（ｂ）：第２実施形態での動画像の符号化形式の例を示す図 或るフレームの第２画像を、同じフレームの第１画像を参照して動き補償予測する例を示す図 図２０の＃３１０での圧縮符号化処理の例を示す流れ図 図２３の＃４０４での動き補償予測の処理例を示す流れ図 第２実施形態の復号処理部での動画像の復号動作例を示す流れ図 図２５の＃６０４での復号処理の例を示す流れ図 図２６の＃７０５での動き補償予測の処理例を示す流れ図 第３実施形態での装置構成例を示す図

＜第１実施形態の説明＞
図１は、撮像装置、画像圧縮装置、画像復号装置の一例である第１実施形態の電子カメラの構成例を示す図である。なお、第１実施形態の電子カメラ１００は動画撮影機能を有している。

電子カメラ１００は、撮像光学系１０１と、撮像素子１０２と、信号処理部１０３と、画像処理エンジン１０４と、第１メモリ１０５および第２メモリ１０６と、記録Ｉ／Ｆ１０７と、モニタ１０８と、操作部１０９とを有している。ここで、信号処理部１０３、第１メモリ１０５、第２メモリ１０６、記録Ｉ／Ｆ１０７、モニタ１０８および操作部１０９は、それぞれ画像処理エンジン１０４と接続されている。なお、操作部１０９は、ユーザの操作（例えば動画撮影の指示や、モード切り替えの指示など）を受け付けるスイッチである。

撮像光学系１０１は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１０１を１枚のレンズで図示する。

撮像素子１０２は、撮像光学系１０１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。なお、電子カメラ１００の撮影モードの１つである動画撮影モードでは、撮像素子１０２は、不揮発性の記憶媒体（１１０）への記録を伴う動画像の撮影を実行する。撮像素子１０２の出力は、画像処理エンジン１０４に接続されている。上述の撮像素子１０２は、順次走査方式の固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式の固体撮像素子（例えばＣＭＯＳ）であってもよい。

ここで、撮像素子１０２の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０２の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列に従って配置される。そのため、撮像素子１０２の各画素は、カラーフィルタでの色分解によって各色成分に対応する電気信号を出力する。例えば、第１実施形態では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって受光面に周期的に配置されている。これにより、撮像素子１０２は、撮影時にカラーの画像を取得することができる。

信号処理部１０３は、撮像素子１０２から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次施す。信号処理部１０３から出力される画像（ＲＡＷ画像）のデータは、画像処理エンジン１０４に入力される。

画像処理エンジン１０４は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１０４は、撮像素子１０２から入力される画像信号を用いて、オートフォーカス（ＡＦ）、自動露出（ＡＥ）の制御を行う。

また、画像処理エンジン１０４は、画像処理部１１１と、圧縮処理部１１２と、復号処理部１１３とを有する。

画像処理部１１１は、ＲＡＷ画像に対して、例えば、色補間処理、階調変換処理、ホワイトバランス調整処理、色変換処理などを施す。上述の色補間処理により、ベイヤ配列で各色がモザイク状に配置された状態のＲＡＷ画像が、各画素でそれぞれＲＧＢの情報を有するＲＧＢ画像に変換される。また、上述の色変換処理により、色補間後のＲＧＢ画像がＹＵＶ色空間のカラー画像（ＹＵＶ画像）に変換される。

圧縮処理部１１２は、画像圧縮装置の一例であって、画像処理部１１１から出力される画像を圧縮符号化する。なお、圧縮処理部１１２の構成例については後述する。

復号処理部１１３は、画像復号装置の一例であって、圧縮処理部１１２で圧縮符号化された画像のデータを復号する。なお、復号処理部１１３の構成例については後述する。

なお、画像処理エンジン１０４に含まれる画像処理部１１１、圧縮処理部１１２および復号処理部１１３の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現される。

第１メモリ１０５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１０５は、揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ１０６は、画像処理エンジン１０４で実行されるプログラムや、このプログラムで使用される各種データを記憶する。例えば、第２メモリ１０６は、フラッシュメモリ等の不揮発性メモリである。

記録Ｉ／Ｆ１０７は、不揮発性の記憶媒体１１０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１０７は、コネクタに接続された記憶媒体１１０に対して動画像のデータの書き込み／読み込みを実行する。記憶媒体１１０は、ハードディスクや、半導体メモリを内蔵したメモリカードなどである。なお、図１では記憶媒体１１０の一例としてメモリカードを図示する。

モニタ１０８は、各種の画像を表示する表示デバイスである。例えば、モニタ１０８は、画像処理エンジン１０４の制御により、動画撮影時のビューファインダ表示や、撮影した動画像の再生表示を行う。

次に、図２を参照しつつ、図１の圧縮処理部１１２の構成例を説明する。図２では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで圧縮処理部１１２の各部を示している。なお、第１実施形態では、圧縮元の画像がＹＵＶ画像の動画像である場合を説明する。動画像の場合、ＹＵＶ画像の各フレームがそれぞれ圧縮処理の対象となる。

図２に示す第１実施形態での圧縮処理部１１２は、色成分分離部１１、第１間引き部１２、第２間引き部１３、第１分離部１４、第２分離部１５、第１画像生成部１６、第２画像生成部１７、第１符号化部１８、第２符号化部１９、圧縮制御部２０、多重化部２１を有している。

色成分分離部１１は、入力されるＹＵＶ画像のフレームを、輝度成分（Ｙ）のチャネルと色差成分（Ｕ，Ｖ）のチャネルとに分離する。色成分分離部１１の出力は、第１間引き部１２および第２間引き部１３にそれぞれ接続されている。色成分分離部１１は、第１間引き部１２にＹＵＶ画像のＹチャネル（Ｙ面）を出力し、第２間引き部１３にＹＵＶ画像のＵチャネル（Ｕ面）およびＶチャネル（Ｖ面）を出力する。

なお、必要に応じて、色成分分離部１１は、ＹＵＶ画像の各チャネルの出力に２次元的なローパスフィルタ処理を施してもよい。これにより、例えば後述の間引きに起因する折り返し歪みの発生が抑制される。なお、ローパスフィルタは後述の間引きの特性に合わせて選択され、一例としてダイヤモンド型のローパスフィルタが適用される。

第１間引き部１２は、間引き部の一例であって、ＹＵＶ画像のＹチャネルから標本点を抽出して輝度間引き画像を生成する。第１間引き部１２は、Ｙチャネルにおいて奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向（Ｘ方向）にずれるように、行方向に沿って標本点を離散的に抽出する。なお、第１間引き部１２の出力は、第１分離部１４に接続されている。

一例として、入力画像がＹＵＶ４：４：４形式、ＹＵＶ４：２：２形式、ＹＵＶ４：２：０形式である場合の間引きについてそれぞれ説明する。なお、以下の説明では輝度の標本点を図中丸印（○）で示し、色差の標本点を図中バツ印（×）で示すことがある。

図３は、ＹＵＶ４：４：４形式の画像での間引き例を示す図である。図３（ａ）は、間引き前における標本点の例を示しており、図３（ｂ）は、輝度間引き画像での標本点の例を示している。図３（ａ）では、輝度（Ｙ）の標本点と、色差（Ｕ，Ｖ）の標本点とを重畳させて示している。また、図３（ａ）に示すＹＵＶ４：４：４形式の画像では、輝度（Ｙ）および色差（Ｕ，Ｖ）の標本点に間引きはない。

入力画像がＹＵＶ４：４：４形式の場合、第１間引き部１２は、Ｙチャネルの各行で標本点を１画素おきに離散的に抽出する。このとき、第１間引き部１２は、奇数行の標本点と偶数行の標本点とが行方向（Ｘ方向）に１画素分ずれた状態となるように標本点を抽出する。したがって、図３（ｂ）に示す輝度間引き画像では、間引き前の画像に対して、輝度の標本点が市松状に配置された状態となる。

図４は、ＹＵＶ４：２：２形式の画像での間引き例を示す図である。図４（ａ）は、間引き前における標本点の例を示しており、図４（ｂ）は、輝度間引き画像での標本点の例を示している。図４（ａ）では、輝度（Ｙ）の標本点と、色差（Ｕ，Ｖ）の標本点とを重畳させて示している。また、図４（ａ）に示すＹＵＶ４：２：２形式の画像では、色差（Ｕ，Ｖ）の標本点が行方向（Ｘ方向）にのみ１／２間引かれている。

入力画像がＹＵＶ４：２：２形式の場合においても、第１間引き部１２は、Ｙチャネルの標本点をＹＵＶ４：４：４形式の場合と同様に抽出する。したがって、図４（ｂ）に示す輝度間引き画像では、図３（ｂ）と輝度の標本点の配置が同じになる。

図５は、ＹＵＶ４：２：０形式の画像での間引きの一例を示す図である。図５（ａ）は、間引き前における標本点の例を示しており、図５（ｂ）は、輝度間引き画像での標本点の例を示している。また、図６は、ＹＵＶ４：２：０形式の画像での間引きの別例を示す図である。図６（ａ）は、間引き前における標本点の例を示しており、図６（ｂ）は、輝度間引き画像での標本点の例を示している。

図５（ａ）および図６（ａ）では、輝度（Ｙ）の標本点と、色差（Ｕ，Ｖ）の標本点とを重畳させて示している。また、図５（ａ）および図６（ａ）に示すＹＵＶ４：２：０形式の画像では、色差（Ｕ，Ｖ）の標本点が行方向（Ｘ方向）および列方向（Ｙ方向）にそれぞれ１／２間引かれている。なお、図５の場合には、色差（Ｕ，Ｖ）の標本点が輝度（Ｙ）の標本点と重なる位置にある。一方、図６の場合には、色差（Ｕ，Ｖ）の標本点が列方向（Ｙ方向）に０．５画素分ずれており、色差（Ｕ，Ｖ）の標本点が輝度（Ｙ）の標本点とが重ならない。なお、図６（ａ）に示す色差（Ｕ，Ｖ）の標本点は、例えば、ＹＵＶ４：４：４形式の画像から上下２つ分の標本点の色差を平均して生成すればよい。

入力画像がＹＵＶ４：２：０形式の場合においても、第１間引き部１２は、Ｙチャネルの標本点をＹＵＶ４：４：４形式の場合と同様に抽出する。したがって、図５（ｂ）および図６（ｂ）に示す輝度間引き画像では、図３（ｂ）と輝度の標本点の配置がそれぞれ同じになる。

第２間引き部１３は、間引き部の一例であって、ＹＵＶ画像のＵチャネルおよびＶチャネルから標本点を抽出して色差間引き画像を生成する。第２間引き部１３は、ＵチャネルおよびＶチャネルにおいて奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向（Ｘ方向）にずれるように、行方向に沿って標本点を離散的に抽出する。上述の色差間引き画像はＵチャネルおよびＶチャネルでそれぞれ生成される。また、Ｕチャネルの色差間引き画像とＶチャネルの色差間引き画像とは、標本点の抽出位置が同じとなる。なお、第２間引き部１３の出力は、第２分離部１５に接続されている。

ここで、図３（ｃ）は、図３（ａ）の入力画像に対応する色差間引き画像での標本点の例を示している。入力画像がＹＵＶ４：４：４形式の場合、第２間引き部１３は、Ｕ，Ｖチャネルの各行で標本点を１画素おきに離散的に抽出する。このとき、第２間引き部１３は、奇数行の標本点と偶数行の標本点とが行方向（Ｘ方向）に１画素分ずれた状態となるように標本点を抽出する。したがって、図３（ｃ）に示す色差間引き画像では、色差の標本点が市松状に配置された状態となる。なお、入力画像がＹＵＶ４：４：４形式の場合、輝度間引き画像（図３（ｂ））と色差間引き画像（図３（ｃ））との標本点の位置が同じとなる。

また、図４（ｃ）は、図４（ａ）の入力画像に対応する色差間引き画像での標本点の例を示している。入力画像がＹＵＶ４：２：２形式の場合、第２間引き部１３は、Ｕ，Ｖチャネルの各行で標本点を１つおきに離散的に抽出する。このとき、第２間引き部１３は、奇数行の標本点と偶数行の標本点とが行方向（Ｘ方向）に１つずつずれた状態となるように標本点を抽出する。

ＹＵＶ４：２：２形式の入力画像では、色差の標本点が行方向（Ｘ方向）に１／２間引かれている。したがって、図３（ｃ）に示す色差間引き画像では、間引き前の画像に対して、色差の標本点が行方向（Ｘ方向）に３画素おきに抽出される。また、図３（ｃ）に示す色差間引き画像では、奇数行と偶数行との間で色差の標本点が２画素分ずつずれた状態となる。

また、図５（ｃ）は、図５（ａ）の入力画像に対応する色差間引き画像での標本点の例を示している。図６（ｃ）は、図６（ａ）の入力画像に対応する色差間引き画像での標本点の例を示している。入力画像がＹＵＶ４：２：０形式の場合、第２間引き部１３は、Ｕ，Ｖチャネルにおいて色差の標本点をもつ各行で標本点を１つおきに離散的に抽出する。このとき、第２間引き部１３は、奇数番目の行の標本点と偶数番目の行の標本点とが行方向（Ｘ方向）に１つずつずれた状態となるように標本点を抽出する。

ＹＵＶ４：２：０形式の入力画像では、色差の標本点が行方向（Ｘ方向）および列方向（Ｙ方向）にそれぞれ１／２間引かれている。したがって、図５（ｃ）に示す色差間引き画像では、色差の標本点をもつ行が１行おきに配置されている。また、図５（ｃ）に示す色差間引き画像では、間引き前の画像に対して、色差の標本点が行方向（Ｘ方向）に３画素おきに抽出される。また、図５（ｃ）に示す色差間引き画像では、奇数番目の行と偶数番目の行との間で色差の標本点が２画素分ずつずれた状態となる。

なお、図６（ｃ）の色差間引き画像は、色差の標本点が列方向（Ｙ方向）に０．５画素分ずれている点を除いて、図５（ｃ）の色差間引き画像と標本点のパターンが共通する。そのため、図６（ｃ）に関する重複説明は省略する。

第１分離部１４は、第１画像生成部１６および第２画像生成部１７にそれぞれ接続されている。第１分離部１４は、輝度間引き画像のうちで奇数番目の行の情報を第１画像生成部１６に出力し、輝度間引き画像のうちで偶数番目の行の情報を第２画像生成部１７に出力する。

第２分離部１５は、第１画像生成部１６および第２画像生成部１７にそれぞれ接続されている。第２分離部１５は、色差間引き画像のうちで奇数番目の行の情報を第１画像生成部１６に出力し、色差間引き画像のうちで偶数番目の行の情報を第２画像生成部１７に出力する。

第１画像生成部１６は、輝度間引き画像および色差間引き画像からそれぞれ抽出された奇数番目の行の情報を用いて第１画像を生成する。第１画像生成部１６は、第１符号化部１８に接続されている。

第２画像生成部１７は、輝度間引き画像および色差間引き画像からそれぞれ抽出された偶数番目の行の情報を用いて第２画像を生成する。第２画像生成部１７は、第２符号化部１９に接続されている。

ここで、第１画像および第２画像の例をそれぞれ説明する。第１画像および第２画像は、圧縮元の入力画像と同じデータ形式となるが、標本点の数はそれぞれ１／４となる。また、第１画像および第２画像は、間引きした画像の異なる行を抽出して生成されるため、両者の標本点のパターンが相違する。

図３（ｄ）は、図３（ａ）に対応するＹＵＶ４：４：４形式の第１画像を示している。図３（ｅ）は、図３（ａ）に対応するＹＵＶ４：４：４形式の第２画像を示している。図３の場合には、第１画像および第２画像のいずれでも輝度と色差の標本点の位置がそれぞれ一致する。また、第１画像と第２画像との間では、標本点の位置が行方向（Ｘ方向）および列方向（Ｙ方向）に１画素ずつずれている。

また、図４（ｄ）は、図４（ａ）に対応するＹＵＶ４：２：２形式の第１画像を示している。図４（ｅ）は、図４（ａ）に対応するＹＵＶ４：２：２形式の第２画像を示している。図４の場合には、第１画像と第２画像との間では、輝度の標本点が行方向（Ｘ方向）および列方向（Ｙ方向）に１画素ずつずれている。また、第１画像と第２画像との間では、色差の標本点が行方向（Ｘ方向）に２画素、列方向（Ｙ方向）に１画素ずれている。

また、図５（ｄ）は、図５（ａ）に対応するＹＵＶ４：２：０形式の第１画像を示している。図５（ｅ）は、図５（ａ）に対応するＹＵＶ４：２：０形式の第２画像を示している。図５の場合には、第１画像と第２画像との間では、輝度の標本点が行方向（Ｘ方向）および列方向（Ｙ方向）に１画素ずつずれている。また、第１画像と第２画像との間では、色差の標本点が行方向（Ｘ方向）に２画素、列方向（Ｙ方向）に２画素ずれている。

また、図６（ｄ）は、図６（ａ）に対応するＹＵＶ４：２：０形式の第１画像を示し、図６（ｅ）は、図６（ａ）に対応するＹＵＶ４：２：０形式の第２画像を示している。図６の場合には、第１画像と第２画像との間では、輝度の標本点が行方向（Ｘ方向）および列方向（Ｙ方向）に１画素ずつずれている。また、第１画像と第２画像との間では、色差の標本点が行方向（Ｘ方向）に２画素、列方向（Ｙ方向）に２画素ずれている。なお、図６（ｄ）の第１画像と、図６（ｅ）の第２画像は、色差の標本点が列方向（Ｙ方向）に０．５画素分ずれている点で、図５（ｄ）、（ｅ）とそれぞれ相違する。

第１符号化部１８は、符号化部の一例であって、入力される第１画像を圧縮符号化する。例えば、第１符号化部１８は、動画像の各フレームを所定サイズのブロック単位に分割し、動き補償予測を用いて動画像のデータを圧縮符号化する。なお、第１符号化部１８の出力は、多重化部２１に接続されている。以下の説明では、第１画像を符号化した情報を第１符号化情報とも称する。

第２符号化部１９は、符号化部の一例であって、入力される第２画像を圧縮符号化する。第２符号化部１９の構成は、第１符号化部１８と同様である。なお、第２符号化部１９の出力は、多重化部２１に接続されている。以下の説明では、第２画像を符号化した情報を第２符号化情報とも称する。

圧縮制御部２０は、動画像の圧縮のときに、圧縮処理部１１２の各部の動作を統括的に制御する。なお、図２では、圧縮制御部２０と各部を接続する信号線の図示は、多重化部２１を除いて適宜省略する。

また、圧縮制御部２０は、第１画像、第２画像から間引き画像への復号方式を含む付帯情報を生成する。例えば、付帯情報は、圧縮元の画像のデータ形式や、輝度間引き画像および色差間引き画像での標本点の間引きパターンや、第１画像および第２画像での標本点の抽出パターンの情報を含む。

多重化部２１は、出力部の一例であって、第１符号化情報や第２符号化情報をそれぞれサブピクチャ単位で多重化し、ピクチャ単位で出力する。また、多重化部２１は、上述の付帯情報を、例えば符号化された画像のヘッダ領域に付与する。多重化部２１は、上述の付帯情報を動画像のシーケンス単位で付与してもよい。なお、以下の説明では、圧縮処理部１１２で生成される圧縮された動画像のデータを圧縮動画像情報と称することがある。

次に、図７を参照しつつ、図２の符号化部（第１符号化部１８、第２符号化部１９）の構成例を説明する。図７では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで符号化部の各部を示している。

ここで、動き補償予測を行う画像圧縮符号化方式としては、例えば、ＩＳＯ／ＩＥＣ１３８１８−２に規定されるＭＰＥＧ−２ビデオなどが知られている。上述の画像圧縮符号化方式では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを用いてフレーム内またはフレーム間で圧縮符号化が行われる。Ｉピクチャは画面内のみで完結する符号化により得られる画面内符号化画像である。Ｐピクチャは参照画像最大１枚を用いる予測符号化により得られる画面間予測符号化画像である。Ｂピクチャは参照画像最大２枚を用いる予測符号化により得られる画面間双予測符号化画像である。

符号化部（１８、１９）は、第１蓄積部３１、減算部３２、直交変換部３３、量子化部３４、可変長符号化部３５、逆量子化部３６、逆直交変換部３７、加算部３８、第２蓄積部３９、予測情報生成部４０、予測部４１を有している。

第１蓄積部３１は、入力される画像を蓄積する。例えば、第１符号化部１８の場合、第１蓄積部３１は第１画像を蓄積し、第２符号化部１９の場合、第１蓄積部３１は第２画像を蓄積する。第１蓄積部３１に蓄積された画像は、符号化対象の画像として入力順に減算部３２へ出力される。なお、符号化の完了した画像は第１蓄積部３１から順次消去される。

減算部３２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像と予測部４１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部３２は、Ｉピクチャを生成するときには、入力された原画像の信号をそのまま出力する。

直交変換部３３は、Ｉピクチャを生成するときには、減算部３２をスルーして入力された原画像の信号に対して直交変換を行う。また、直交変換部３３は、Ｐピクチャ又はＢピクチャを生成するときには、上述の差分信号に対して直交変換を行う。

量子化部３４は、直交変換部３３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部３４の出力は、可変長符号化部３５および逆量子化部３６にそれぞれ入力される。

可変長符号化部３５は、量子化係数や、動きベクトル等の予測情報を可変長符号化し、動画像の符号化ビットストリームを外部へ出力する。

逆量子化部３６は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部３７は、逆量子化部３６で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部３８は、復号された予測誤差値と、予測部４１で生成された後述の予測値とを加算する。そして、加算部３８から出力されたピクチャの復号値（参照画像）は第２蓄積部３９に蓄積される。なお、以後の動き補償予測で参照されない画像は第２蓄積部３９から順次消去される。

予測情報生成部４０は、第２蓄積部３９の参照画像を用いて、符号化対象の画像を予測するための予測情報（動きベクトルなど）を生成する。予測情報は、予測部４１および可変長符号化部３５に出力される。

予測部４１は、予測情報および参照画像に基づいて、符号化対象の画像をブロック単位で予測した予測値を出力する。この予測値は、減算部３２および加算部３８に出力される。

なお、或るブロックについて動き補償予測による予測誤差が所定条件より大きいと判断された場合、予測部４１は、動き補償予測をせずにブロック内の画素を、所謂イントラマクロブロックとしてフレーム内圧縮符号化する。

次に、図８を参照しつつ、図１の復号処理部１１３の構成例を説明する。図８では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで復号処理部１１３の各部を示している。

復号処理部１１３は、多重化分離部５１、第１復号部５２、第２復号部５３、第１分離部５４、第２分離部５５、第１合成部５６、第２合成部５７、第１補間部５８、第２補間部５９、画像出力部６０、復号制御部６１を有している。なお、復号処理部１１３には、上述の圧縮動画像情報が入力される。

多重化分離部５１は、第１復号部５２、第２復号部５３、復号制御部６１に接続されている。多重化分離部５１は、圧縮動画像情報から第１符号化情報、第２符号化情報および付帯情報をそれぞれ分離する。分離された第１符号化情報は第１復号部５２に出力され、分離された第２符号化情報は第２復号部５３に出力される。また、分離された付帯情報は復号制御部６１に出力される。

第１復号部５２は、復号部の一例であって、第１符号化情報から第１画像（図３（ｄ），図４（ｄ），図５（ｄ），図６（ｄ））を復号する。第１復号部５２の出力は第１分離部５４に接続されている。

第２復号部５３は、復号部の一例であって、第２符号化情報から第２画像（図３（ｅ），図４（ｅ），図５（ｅ），図６（ｅ））を復号する。第２復号部５３の出力は第２分離部５５に接続されている。なお、第２復号部５３の構成は、第１復号部５２と同様である。

第１分離部５４は、第１合成部５６、第２合成部５７に接続されている。第１分離部５４は、入力された第１画像をＹチャネルとＵ，Ｖチャネルとに分離する。第１画像のＹチャネルは第１合成部５６に出力され、第１画像のＵ，Ｖチャネルは第２合成部５７に出力される。

第２分離部５５は、第１合成部５６、第２合成部５７に接続されている。第２分離部５５は、入力された第２画像をＹチャネルとＵ，Ｖチャネルとに分離する。第２画像のＹチャネルは第１合成部５６に出力され、第２画像のＵ，Ｖチャネルは第２合成部５７に出力される。

第１合成部５６は、合成部の一例であって、付帯情報を用いて第１画像のＹチャネルと第２画像のＹチャネルとを合成する。これにより、第１合成部５６は、輝度間引き画像（図３（ｂ），図４（ｂ），図５（ｂ），図６（ｂ））を復元する。なお、第１合成部５６の出力は、第１補間部５８に接続されている。

第２合成部５７は、合成部の一例であって、付帯情報を用いて第１画像のＵチャネルと第２画像のＵチャネルとを合成する。また、第２合成部５７は、付帯情報を用いて第１画像のＶチャネルと第２画像のＶチャネルとを合成する。これにより、第２合成部５７は、上述の色差間引き画像（図３（ｃ），図４（ｃ），図５（ｃ），図６（ｃ））を復元する。なお、第２合成部５７の出力は、第２補間部５９に接続されている。

第１補間部５８は、補間部の一例であって、復元された輝度間引き画像の標本点をフレーム内で補間する。これにより、第１補間部５８は、輝度間引き画像（Ｙ）を圧縮元の画像のＹチャネルと同じ形式の輝度補間画像（Ｙ）に変換する。なお、第１補間部５８の出力は、画像出力部６０に接続されている。

第２補間部５９は、補間部の一例であって、復元されたＵ，Ｖチャネルの色差間引き画像の標本点をそれぞれフレーム内補間する。これにより、第２補間部５９は、色差間引き画像（Ｕ，Ｖ）を圧縮元の画像のＵ，Ｖチャネルと同じ形式の色差補間画像（Ｕ，Ｖ）にそれぞれ変換する。なお、第２補間部５９の出力は、画像出力部６０に接続されている。

画像出力部６０は、同じフレームの輝度補間画像と色差補間画像とを対応付けて、１つの復号フレームとして出力する。輝度補間画像は圧縮元の画像のＹチャネルと同じ画像サイズであり、色差補間画像は圧縮元の画像のＵ，Ｖチャネルとそれぞれ同じ画像サイズである。そのため、復号フレームのＹＵＶの各成分は、いずれも圧縮元の画像と同じ画像サイズに復元される。

ここで、上述の輝度補間画像、色差補間画像、復号フレームの例をそれぞれ説明する。なお、復号時の各画像の図面において、補間された輝度の標本点は破線の丸印で示し、補間された色差の標本点は破線のバツ印で示す。

図９（ａ）は、図３（ａ）に対応するＹＵＶ４：４：４形式の輝度補間画像を示している。図９（ｂ）は、図３（ａ）に対応するＹＵＶ４：４：４形式の色差補間画像を示している。図９（ｃ）は、図９（ａ）および図９（ｂ）を用いた復号フレームを示している。

また、図１０（ａ）は、図４（ａ）に対応するＹＵＶ４：２：２形式の輝度補間画像を示している。図１０（ｂ）は、図４（ａ）に対応するＹＵＶ４：２：２形式の色差補間画像を示している。図１０（ｃ）は、図１０（ａ）および図１０（ｂ）を用いた復号フレームを示している。

また、図１１（ａ）は、図５（ａ）に対応するＹＵＶ４：２：０形式の輝度補間画像を示している。図１１（ｂ）は、図５（ａ）に対応するＹＵＶ４：２：０形式の色差補間画像を示している。図１１（ｃ）は、図１１（ａ）および図１１（ｂ）を用いた復号フレームを示している。

また、図１２（ａ）は、図６（ａ）に対応するＹＵＶ４：２：０形式の輝度補間画像を示している。図１２（ｂ）は、図６（ａ）に対応するＹＵＶ４：２：０形式の色差補間画像を示している。図１２（ｃ）は、図１２（ａ）および図１２（ｂ）を用いた復号フレームを示している。

復号制御部６１は、動画像の復号のときに、復号処理部１１３の各部の動作を統括的に制御する。なお、図８では、復号制御部６１と各部を接続する信号線の図示は、多重化分離部５１を除いて適宜省略する。

また、復号制御部６１は、圧縮動画像情報から分離された付帯情報を用いて、輝度間引き画像、色差間引き画像を復元する制御や、輝度補間画像、色差補間画像を生成する制御を実行する。

次に、図１３を参照しつつ、図８の復号部（第１復号部５２、第２復号部５３）の構成例を説明する。図１３では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで復号部の各部を示している。なお、図１３に示す復号部５２、５３の機能ブロックは、図７で示した符号化部１８、１９の同名称の機能ブロックと共有化されていてもよい。

復号部（５２、５３）は、符号復号部７１、逆量子化部７２、逆直交変換部７３、加算部７４、第１蓄積部７５、第２蓄積部７６、予測部７７を有している。

符号復号部７１は、入力される動画像の符号化ビットストリームを復号し、量子化係数や、動きベクトル等の予測情報を出力する。なお、復号された量子化係数は逆量子化部７２に入力され、復号された予測情報は予測部７７に入力される。

逆量子化部７２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部７３は、逆量子化部７２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部７４は、復号された予測誤差値と、予測部７７で生成された予測値とを加算することで、復号された画像をブロック単位で出力する。そして、加算部７４から出力された画像の復号値は第１蓄積部７５および第２蓄積部７６にそれぞれ入力される。

第１蓄積部７５は、復号した第１画像または第２画像を後段の回路（第１分離部５４または第２分離部５５）に出力するまで蓄積する。なお、後段の回路への出力が完了した画像は第１蓄積部７５から順次消去される。また、第２蓄積部７６は、画像の復号値を参照画像として蓄積する。なお、以後の動き補償予測で参照されない画像は第２蓄積部７６から順次消去される。

予測部７７は、予測情報および参照画像に基づいて、復号対象の画像をブロック単位で予測した予測値を加算部７４に出力する。

（動画像の圧縮動作例）
以下、第１実施形態での動画像の圧縮動作例を説明する。

第１実施形態での電子カメラ１００が動画撮影モード下で撮影指示を受け付けると、画像処理エンジン１０４は撮像素子１０２を駆動させて動画撮影を開始する。撮像素子１０２から出力される動画像のフレームは、信号処理部１０３および画像処理部１１１で一連の信号処理と画像処理が施された後に、圧縮処理部１１２で圧縮符号化される。そして、圧縮処理部１１２で圧縮された圧縮動画像情報は、画像処理エンジン１０４の制御により、記録Ｉ／Ｆ１０７に接続された記憶媒体１１０に記録される。

図１４は、圧縮処理部１１２での動画像の圧縮動作例を示す流れ図である。

ステップ＃１０１：圧縮処理部１１２の圧縮制御部２０は、輝度間引き画像および色差間引き画像での標本点の間引きパターンの設定や、第１画像および第２画像の合成パターンの設定を実行する。なお、＃１０１の設定は動画像の最初のフレームで１回のみ実行される。

ステップ＃１０２：色成分分離部１１は、必要に応じて、入力されるＹＵＶ画像のフレーム（図３（ａ），図４（ａ），図５（ａ），図６（ａ））にローパスフィルタ処理を施す。その後、色成分分離部１１はＹＵＶ画像を輝度成分と色差成分とに分離する。ＹＵＶ画像のＹチャネルは第１間引き部１２に出力され、ＹＵＶ画像のＵ，Ｖチャネルは第２間引き部１３に出力される。

ステップ＃１０３：第１間引き部１２は、Ｙチャネルから標本点を抽出して輝度間引き画像（図３（ｂ），図４（ｂ），図５（ｂ），図６（ｂ））を生成する。

ステップ＃１０４：第２間引き部１３は、Ｕ，Ｖチャネルから標本点を抽出して色差間引き画像（図３（ｃ），図４（ｃ），図５（ｃ），図６（ｃ））を生成する。なお、＃１０３の処理と＃１０４の処理は並列に実行されていてもよい。

ステップ＃１０５：第１分離部１４は、輝度間引き画像（＃１０３）のうちで奇数番目の行の情報を第１画像生成部１６に出力し、輝度間引き画像（＃１０３）のうちで偶数番目の行の情報を第２画像生成部１７に出力する。

ステップ＃１０６：第２分離部１５は、色差間引き画像（＃１０４）のうちで奇数番目の行の情報を第１画像生成部１６に出力し、色差間引き画像（＃１０４）のうちで偶数番目の行の情報を第２画像生成部１７に出力する。なお、＃１０５の処理と＃１０６の処理は並列に実行されていてもよい。

ステップ＃１０７：第１画像生成部１６は、輝度間引き画像および色差間引き画像からそれぞれ抽出された奇数番目の行の情報を用いて第１画像（図３（ｄ），図４（ｄ），図５（ｄ），図６（ｄ））を生成する。

ステップ＃１０８：第２画像生成部１７は、輝度間引き画像および色差間引き画像からそれぞれ抽出された偶数番目の行の情報を用いて第２画像（図３（ｅ），図４（ｅ），図５（ｅ），図６（ｅ））を生成する。なお、＃１０７の処理と＃１０８の処理は並列に実行されていてもよい。

ステップ＃１０９：圧縮制御部２０は、＃１０１の設定に基づいて上述の付帯情報を生成する。なお、圧縮制御部２０は、付帯情報を符号化してもよい。

ステップ＃１１０：第１符号化部１８は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第１画像（＃１０７）を圧縮符号化する。これにより、第１符号化情報が生成される。ここで、第１実施形態での第１符号化部１８は、異なるフレームの第１画像の間で動き補償予測を行うが、第１画像と第２画像との間では動き補償予測を行わない。

ステップ＃１１１：第２符号化部１９は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第２画像（＃１０８）を圧縮符号化する。これにより、第２符号化情報が生成される。ここで、第１実施形態での第２符号化部１９は、異なるフレームの第２画像の間で動き補償予測を行うが、第１画像と第２画像との間では動き補償予測を行わない。なお、＃１１０の処理と＃１１１の処理は並列に実行されていてもよい。

ここで、図１５（ａ）〜（ｃ）は、第１実施形態での動画像の符号化形式の例を示す図である。図１５において「Ｉｎ」はｎ番目のＩピクチャを示し、「Ｐｎ」はｎ番目のＰピクチャを示し、「Ｂｎ」はｎ番目のＢピクチャを示す。また、第１画像は下付き数字の「１」で示し、第２画像は下付き数字の「２」で示す。

図１５（ａ）は、動画像の各フレームをＩピクチャとして符号化する例を示している。図１５（ａ）の場合は、画面内予測符号化のみであり、異なる画像との間で画面間予測符号化は行われない。

また、図１５（ｂ）は、ＩピクチャとＰピクチャとの組み合わせで動画像を符号化する例を示している。Ｐピクチャの符号化では、時間軸方向で直前（直近の過去）のＩピクチャまたはＰピクチャを参照して、第１画像間または第２画像間でそれぞれ独立に画面間予測符号化が行われる。

また、図１５（ｃ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとの組み合わせで動画像を符号化する例を示している。図１５（ｃ）の場合、Ｉピクチャ、Ｐピクチャは２フレームおきに生成され、ＩピクチャまたはＰピクチャの間に２フレーム分のＢピクチャが挿入されている。Ｂピクチャの符号化では、時間軸方向で前後に隣り合うＩピクチャおよびＰピクチャを参照して、第１画像間または第２画像間でそれぞれ独立に画面間双予測符号化が行われる。

なお、Ｐピクチャを圧縮する場合、符号化部は、参照画像の候補のうちからブロックごとに参照画像を１つ選択し、その参照画像の復号値を用いて各ブロックの動き補償予測を行う。また、Ｂピクチャを圧縮する場合、符号化部は、参照画像の候補のうちからブロックごとに過去と未来の参照画像を１つずつ選択し、２つの参照画像の復号値を用いて各ブロックの動き補償予測を行う。

ステップ＃１１２：多重化部２１は、第１符号化情報と、第２符号化情報とをピクチャ単位で多重化するとともに、上述の付帯情報を付与して圧縮動画像情報を出力する。なお、圧縮動画像情報は、記憶媒体１１０に記録される。

ステップ＃１１３：圧縮制御部２０は、入力される動画像全体の圧縮が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、圧縮制御部２０は圧縮動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃１０２に戻って次のフレームの圧縮が行われる。以上で、図１４の説明を終了する。

（動画像の復号動作例）
以下、第１実施形態での動画像の復号動作例を説明する。

第１実施形態での電子カメラ１００が圧縮処理部１１２で圧縮された圧縮動画像情報の再生指示を受け付けると、画像処理エンジン１０４は記録Ｉ／Ｆ１０７に接続された記憶媒体１１０から圧縮動画像情報を取得する。そして、復号処理部１１３は圧縮動画像情報を復号する。そして、復号された動画像は、画像処理エンジン１０４の制御により、例えばモニタ１０８で再生表示される。

図１６は、復号処理部１１３での動画像の復号動作例を示す流れ図である。

ステップ＃２０１：復号処理部１１３は、記憶媒体１１０から圧縮動画像情報を取得する。

ステップ＃２０２：多重化分離部５１は、圧縮動画像情報の１フレーム分の情報（第１符号化情報、第２符号化情報および付帯情報）を分離する。分離された第１符号化情報は第１復号部５２に出力され、分離された第２符号化情報は第２復号部５３に出力される。また、分離された付帯情報は復号制御部６１に出力される。

ステップ＃２０３：復号制御部６１は、付帯情報を必要に応じて復号するとともに、付帯情報を参照する。これにより、復号制御部６１は、輝度間引き画像および色差間引き画像での標本点の間引きパターンの情報や、第１画像および第２画像の合成パターンの情報を取得する。

ステップ＃２０４：第１復号部５２は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第１符号化情報から第１画像（図３（ｄ），図４（ｄ），図５（ｄ），図６（ｄ））を復号する。

ステップ＃２０５：第２復号部５３は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第２符号化情報から第２画像（図３（ｅ），図４（ｅ），図５（ｅ），図６（ｅ））を復号する。なお、＃２０４の処理と＃２０５の処理は並列に実行されていてもよい。

ステップ＃２０６：第１分離部５４は、入力された第１画像（＃２０４）をＹチャネルとＵ，Ｖチャネルとに分離する。第１画像のＹチャネルは第１合成部５６に出力され、第１画像のＵ，Ｖチャネルは第２合成部５７に出力される。

ステップ＃２０７：第２分離部５５は、入力された第２画像（＃２０５）をＹチャネルとＵ，Ｖチャネルとに分離する。第２画像のＹチャネルは第１合成部５６に出力され、第２画像のＵ，Ｖチャネルは第２合成部５７に出力される。なお、＃２０６の処理と＃２０７の処理は並列に実行されていてもよい。

ステップ＃２０８：第１合成部５６は、付帯情報を用いて第１画像のＹチャネルと第２画像のＹチャネルとを合成する。これにより、第１合成部５６は、輝度間引き画像（図３（ｂ），図４（ｂ），図５（ｂ），図６（ｂ））を復元する。

例えば、第１合成部５６は、第１画像からＹチャネルの奇数番目の行の情報を取得し、第２画像からＹチャネルの偶数番目の行の情報を取得する。そして、第１合成部５６は、奇数番目の行の情報と偶数番目の行の情報とが列方向に交互に並ぶように並べ替えて輝度間引き画像を復元すればよい。

ステップ＃２０９：第２合成部５７は、付帯情報を用いて第１画像のＵ，Ｖチャネルと第２画像のＵ，Ｖチャネルとを合成する。これにより、第１合成部５６は、Ｕ，Ｖチャネルの輝度間引き画像（図３（ｃ），図４（ｃ），図５（ｃ），図６（ｃ））をそれぞれ復元する。

例えば、第２合成部５７は、第１画像からＵ，Ｖチャネルの奇数番目の行の情報をそれぞれ取得し、第２画像からＵ，Ｖチャネルの偶数番目の行の情報をそれぞれ取得する。そして、第２合成部５７は、奇数番目の行の情報と偶数番目の行の情報とが列方向に交互に並ぶように並べ替えて色差間引き画像を復元すればよい。なお、＃２０８の処理と＃２０９の処理は並列に実行されていてもよい。

ステップ＃２１０：第１補間部５８は、＃２０８で復元された輝度間引き画像の標本点をフレーム内補間する。これにより、第１補間部５８は、Ｙチャネルの輝度間引き画像を輝度補間画像（図９（ａ），図１０（ａ），図１１（ａ），図１２（ａ））に変換する。

図１７は、補間部での補間処理の例を示す図である。一例として、図１７の例では、輝度間引き画像において、標本点Ｙ３５、Ｙ４４、Ｙ４６、Ｙ５５に隣り合う標本点Ｙ４５をフレーム内補間する場合を考える。このとき、第１補間部５２は、式（１）の演算により補間すべき標本点Ｙ４５の輝度成分を求めればよい。

ここで、本明細書の記載において、「Ｓγｈ」は、標本点γでの水平方向の相関を示し、「Ｓγｖ」は、標本点γでの垂直方向の相関を示す。また、「Ｋγｈ」は、標本点γでの水平方向の重み付け値を示し、「Ｋγｖ」は、標本点γでの垂直方向の重み付け値を示す。

ステップ＃２１１：第２補間部５９は、＃２０９で復元された色差間引き画像の標本点をフレーム内補間する。これにより、第２補間部５９は、Ｕ，Ｖチャネルの色差間引き画像をそれぞれ色差補間画像（図９（ｂ），図１０（ｂ），図１１（ｂ），図１２（ｂ））に変換する。第２補間部５９での補間処理は、第１補間部５８での処理（図１７参照）とほぼ同様であるので重複説明は省略する。なお、＃２１０の処理と＃２１１の処理は並列に実行されていてもよい。

ステップ＃２１２：画像出力部６０は、同じフレームの輝度補間画像と色差補間画像とを対応付けて、１つの復号フレーム（図９（ｃ），図１０（ｃ），図１１（ｃ），図１２（ｃ））として出力する。

ステップ＃２１３：復号制御部６１は、圧縮動画像情報全体の復号が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、復号制御部６１は復号動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃２０１に戻って次のフレームの復号が行われる。以上で、図１６の説明を終了する。

（第１実施形態の作用効果）
以下、第１実施形態における作用効果を述べる。第１実施形態の電子カメラ１００は、動画像の圧縮時において、奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、ＹＵＶ画像のＹチャネルとＵ，Ｖチャネルとでそれぞれ標本点を間引きする。また、電子カメラ１００は、上述の間引き後の輝度間引き画像と色差間引き画像とからそれぞれ奇数番目の行の標本点を抽出して第１画像を生成する。また、電子カメラ１００は、上述の間引き後の輝度間引き画像と色差間引き画像とからそれぞれ偶数番目の行の標本点を抽出して第２画像を生成する。そして、電子カメラ１００は、第１画像を符号化して第１符号化情報を生成し、第２画像を符号化して第２符号化情報を生成する。第１画像および第２画像は、圧縮元の画像に比べて標本点が１／４になるため、間引き前と比べて画像のデータ量は小さくなる。

また、例えば、斜め方向に間引きした画像の間隔を詰めた状態で圧縮する場合には、縦方向のエッジや横方向のエッジを含む画像では隣接する標本点との相関が低下し、圧縮時の符号化効率の低下や画質の劣化が生じうる。一方、第１実施形態では、斜め方向に間引きされた画像を第１画像および第２画像に分けて圧縮するので、上述の場合に比べて圧縮時の符号化効率の低下や画質の劣化を抑制できる。

また、第１実施形態の電子カメラ１００は、圧縮動画像情報を復号するとき、第１画像および第２画像を並べ替えて輝度間引き画像と色差間引き画像とを復元する。そして、電子カメラ１００は、輝度間引き画像と色差間引き画像をそれぞれ補間して、圧縮元の画像と同じ形式の復号フレームを出力する。なお、画像の間引きのパターンは、画像圧縮装置が圧縮動画像情報に付帯情報を付加することで、画像復号装置に対して明示的に告知できる。また、第１実施形態では、標本点のパターンの異なる２画像を用いて間引きした画像を復元し、この間引き画像を補間して復号フレームを生成するので、第１画像や第２画像をそのまま再生する場合と比べて画質が高くなる。

また、第１実施形態の圧縮動画像情報は、上述の復号処理部１１３を有していない一般の復号装置でも、ＭＰＥＧ−２ビデオのメインプロファイルに準拠して第１画像または第２画像の画質で復号、再生できる。

また、第１実施形態の圧縮動画像情報は、第１符号化情報と第２符号化情報とがそれぞれ独立して圧縮されるので、一方の符号化情報のみを用いて第１画像または第２画像の画質で画像の復号、再生をすることができる。例えば、通信回線を用いて動画像を転送する場合、低速度の回線では一方の符号化情報のみを送信し、高速度の回線では圧縮動画像情報を送信する等の使い分けができる。

＜第２実施形態の説明＞
第２実施形態は、第１実施形態の変形例であって、圧縮処理部１１２、復号処理部１１３の構成のみ相違する。そのため、以下の説明では、第１実施形態と共通する要素には、同一符号を付して重複説明は省略する。

図１８は、第２実施形態での圧縮処理部１１２の構成例を示す図である。第２実施形態での圧縮処理部１１２は、色成分分離部１１、第１間引き部１２、第２間引き部１３、第１分離部１４、第２分離部１５、第１画像生成部１６、第２画像生成部１７、圧縮制御部２０、符号化処理部２２を有している。

ここで、第２実施形態での圧縮処理部１１２のうち、色成分分離部１１、第１間引き部１２、第２間引き部１３、第１分離部１４、第２分離部１５、第１画像生成部１６、第２画像生成部１７、圧縮制御部２０の構成および機能は、第１実施形態と共通である。なお、第２実施形態での第１画像生成部１６、第２画像生成部１７の出力は、それぞれ符号化処理部２２に接続されている。

符号化処理部２２は、符号化部および出力部の一例であって、入力される第１画像および第２画像を圧縮符号化する機能と、付帯情報を付与する機能とを有する。符号化処理部２２に内蔵される符号化部は、図７と同様に構成される。そのため、符号化処理部２２に含まれる符号化部の各要素については重複説明を省略する。また、第２実施形態での符号化処理部２２は、第１画像と第２画像との間で画面間双予測符号化を行う。

図１９は、第２実施形態での復号処理部１１３の構成例を示す図である。第２実施形態での復号処理部１１３は、復号部６２、第１分離部５４、第２分離部５５、第１合成部５６、第２合成部５７、第１補間部５８、第２補間部５９、画像出力部６０、復号制御部６１を有している。

ここで、第２実施形態での復号処理部１１３では、復号部６２に圧縮動画像情報が入力される。復号部６２は、図１３と同様に構成される。そのため、復号部６２の各要素については重複説明を省略する。また、復号部６２は、画面間双予測符号化で符号化された第１画像および第２画像をそれぞれ復号する。そして、復号部６２は、復号した第１画像を第１分離部５４に出力し、復号した第２画像を第２分離部５５に出力する。また、復号部６２は、付帯情報を復号制御部６１に出力する。

なお、第２実施形態での復号処理部１１３のうち、第１分離部５４、第２分離部５５、第１合成部５６、第２合成部５７、第１補間部５８、第２補間部５９、画像出力部６０、復号制御部６１の構成および機能は、第１実施形態と共通である。

（動画像の圧縮動作例）
以下、第２実施形態での動画像の圧縮動作例を説明する。図２０は、第２実施形態の圧縮処理部１１２での動画像の圧縮動作例を示す流れ図である。なお、図２０に示す＃３０１から＃３０８までの処理は、図１４に示す＃１０１から＃１０９までの処理にそれぞれ対応するため、重複説明は省略する。

ステップ＃３１０：符号化処理部２２は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第１画像（＃３０７）および第２画像（＃３０８）を圧縮符号化する。これにより、第１符号化情報および第２符号化情報が生成される。

図２１（ａ），（ｂ）は、第２実施形態での動画像の符号化形式の例を示す図である。図２１において「Ｉｎ」はｎ番目のＩピクチャを示し、「Ｐｎ」はｎ番目のＰピクチャを示し、「Ｂｎ」はｎ番目のＢピクチャを示す。また、第１画像は下付き数字の「１」で示し、第２画像は下付き数字の「２」で示す。

図２１（ａ）は、ＩピクチャとＰピクチャとの組み合わせで動画像を符号化する例を示している。図２１（ａ）の場合には、時間軸方向で過去の第１画像および第２画像を参照して画面間予測符号化が行われる。

図２１（ａ）の場合、Ｐピクチャとなる第１画像の動き補償予測では、それぞれ１フレーム過去の第１画像（Ｉピクチャ／Ｐピクチャ）または第２画像（Ｐピクチャ）が参照画像の候補となる。また、Ｐピクチャとなる第２画像の動き補償予測では、１フレーム過去の第２画像（Ｐピクチャ）または同じフレームから分離された第１画像（Ｉピクチャ／Ｐピクチャ）が参照画像の候補となる。

また、図２１（ｂ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとの組み合わせで動画像を符号化する例を示している。図２１（ｂ）の場合、第１画像では、Ｉピクチャ、Ｐピクチャは２フレームおきに生成され、ＩピクチャまたはＰピクチャの間に２フレーム分のＢピクチャが挿入されている。また、第２画像では、Ｐピクチャのみが２フレームおきに生成され、Ｐピクチャの間に２フレーム分のＢピクチャが挿入されている。

図２１（ｂ）の場合、Ｐピクチャとなる第１画像、第２画像の動き補償予測では、直前のＩピクチャまたはＰピクチャのフレームに対応する第１画像（Ｉピクチャ／Ｐピクチャ）または第２画像（Ｐピクチャ）が参照画像の候補となる。

また、図２１（ｂ）の場合、Ｂピクチャとなる第１画像，第２画像の動き補償予測では、（１）過去側で直近のＩピクチャまたはＰピクチャのフレームから分離した第１画像または第２画像のうち１つと、（２）未来側で直近のＩピクチャまたはＰピクチャのフレームから分離した第１画像または第２画像のうち１つとが、それぞれ参照画像の候補となる。

ところで、第１画像と第２画像で同じ位置の画素は圧縮元の画像では標本点の位置が相違する。

この標本点の位置の相違に起因して、画像の静止部分では、それぞれ異なるフレームの第１画像間もしくは第２画像間で動き補償を伴わないフレーム間予測により、比較的小さなフレーム間予測誤差を符号化することができる。

一方、画像の動き部分では、例えば、或るフレームの第１画像を動き補償予測する際に、異なるフレームの第１画像を参照して動き補償予測するよりも異なるフレームの第２画像を参照したほうが予測誤差を小さくできる場合や、或るフレームの第２画像を動き補償予測する際に、異なるフレームの第２画像よりも同じフレームの第１画像から動き補償予測したほうが予測誤差を小さくできる場合がある。前者のケースは、符号化対象の第１画像の動き部分が異なるフレームの第２画像の画素位置から動いた、もしくは、例えば、異なるフレームの第２画像の画素位置へ動く場合である。また、後者のケースは、符号化対象の第２画像の動き部分が絵柄の変化やオクージョンなどにより、異なるフレームの第２画像を参照する動き補償予測では予測誤差を小さくできない場合である。そのため、図２１のように、第１画像、第２画像の参照画像をブロック単位で選択して動き補償予測することで、符号化効率を大幅に向上できる。

なお、同じフレームの他方の画像を参照して動き補償予測する場合、標本点の位置の相違を補償すればよい。以下の説明では、図面では画像上で標本点（画素Ｐ）の配列を丸印で示す。また、予測先画像の注目画素の位置に対する予測元画像の参照画素の位置ズレを、動きベクトルＭＶ［ｘ，ｙ］と称する。動きベクトルＭＶは、右方向のズレによりｘが増加し、左方向のズレによりｘが減少する。同様に、動きベクトルＭＶは、下方向のズレによりｙが増加し、上方向のズレによりｙが減少する。

図２２は、或るフレームの第２画像を、同じフレームの第１画像を参照して動き補償予測する例である。図２２は、予測先画像（第２画像）の注目画素Ｐ２ｘでの画素値を、注目画素に隣接する予測元画像（第１画像）の４画素（Ｐ１ａ〜Ｐ１ｄ）の平均値で求める例を示している。図２２の場合、注目画素の画素値を４つの隣接画素の平均で予測するため、予測元画像の復号値に含まれる符号化歪みを抑制できる。

図２２の例では、色配列の左上に第１画像のＰ１画素、色配列の右下に第２画像のＰ２画素が配置されている。図２２の場合、第１画像の画素Ｐ１ａと第２画像の画素Ｐ２ｘを同じ位置の標本点として符号化する。そのため、図２２の例では、動きベクトルＭＶは［０．５，０．５］となる。

上述した図２２の動き補償予測は、絵柄の変化が比較的に少ないブロックで選択される確率が高い。動画像には動きのない部分も数多く含まれるため、第１画像と第２画像との圧縮符号化では、図２２の予測が選択される頻度も高くなる。そのため、符号化処理部２２は、図２２の動き補償予測の場合に最短の符号を割り当てて、圧縮効率を高めてもよい。

例えば、あるフレームの第２画像を、同じフレームの第１画像を参照して動き補償予測する場合、動きベクトルから［０．５，０．５］を一律に引く補正を行うと、ＭＰＥＧ−２ビデオなどで最短の符号割当となる［０，０］となるので、圧縮効率を高めることができる。なお、上述の補正をしたデータを復号するときには、復号時に［０．５，０．５］を加算補正すればよい。

また、図４、図５、図６で説明したように、圧縮元の画像のデータ形式に応じて、第１画像と第２画像の間で輝度の標本点に対する色差の標本点の配置がそれぞれ異なる場合がある。そのため、符号化処理部２２は、圧縮元の画像のデータ形式に応じて、Ｕ，Ｖチャネルで適用する動きベクトルの補正量を求める必要がある。

一例として、ＹＵＶ４：２：２形式の第１画像及び第２画像（図４（ｄ），（ｅ））においてＵ，Ｖチャネルの動き補償予測を行う場合には、第１画像と第２画像で色差の標本点がＹチャネル換算で水平方向に０．５画素ずれている。また、ＹＵＶ４：２：０形式の第１画像及び第２画像（図５（ｄ），（ｅ））においてＵ，Ｖチャネルの動き補償予測を行う場合には、第１画像と第２画像で色差の標本点がＹチャネル換算で水平方向および垂直方向に０．５画素ずれている。一般に、Ｕ，Ｖチャネルの動き補償予測は、Ｙチャネルの動きベクトルをデータ形式に応じてスケーリングした動きベクトルを用いる。上述のずれを配慮しないままだと、ずれた動きベクトルでＵ，Ｖチャネルは動き補償予測されるので符号化効率が低下する。Ｕ，Ｖチャネルの動き補償予測において、データ形式に応じて、上述のずれを補正（すなわち、動きベクトルを補正）することで符号化効率を向上できる。

なお、第１画像と第２画像との動き補償予測での動きベクトルの補正は、予め圧縮方式で規格化してもよく、上述した動きベクトルの補正の要否を示す補正情報を符号化時に付与することで画像復号装置に対して明示してもよい。

ステップ＃３１１：符号化処理部２２は、第１符号化情報、第２符号化情報と、上述の付帯情報とをピクチャ単位で多重化した圧縮動画像情報を出力する。なお、圧縮動画像情報は、記憶媒体１１０に記録される。

ここで、＃３１０において、第１画像と第２画像との動き補償予測を行った場合、圧縮制御部２０は、上述した動きベクトルの補正の要否を示す補正情報を生成する。そして、＃３１１での符号化処理部２２は、上述の補正情報をさらに圧縮動画像情報に付与する。例えば、符号化処理部２２は、ＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する場合、ピクチャコーディングエクステンションに続くユーザデータの領域に上述の付帯情報や補正情報を含めることができる。

ステップ＃３１２：圧縮制御部２０は、入力される動画像全体の圧縮が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、圧縮制御部２０は圧縮動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃３０２に戻って次のフレームの圧縮が行われる。以上で、図２０の説明を終了する。

また、図２３は、図２０の＃３１０での圧縮符号化処理の例を示す流れ図である。

ステップ＃４０１：圧縮制御部２０は、符号化の対象となる画像の種類（第１画像、第２画像）を識別する。また、圧縮制御部２０は、符号化の対象となる画像の符号化形式（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を決定する。

ステップ＃４０２：圧縮制御部２０は、符号化の対象となる画像と参照画像との組み合わせに応じて、圧縮時の動き補償予測での動きベクトルの補正の要否を決定する。

例えば、第１画像同士、第２画像同士で画面間予測符号化をする場合、符号化の対象となる画像と参照画像との間で標本点の位置は一致する。しかし、第１画像と第２画像との間で画面間予測符号化をする場合、符号化の対象となる画像と参照画像との間で標本点の位置にズレが生じる。したがって、後者の場合には、圧縮制御部２０は、動き補償予測で動きベクトルを補正する設定を行う。

また、画像の輝度面と色差面との間で標本点のサンプリングが異なる場合、輝度成分で動き補償予測に用いた動きベクトルを、色差成分の動き補償予測にそのまま適用できない。したがって、この場合にも、圧縮制御部２０は、動き補償予測で動きベクトルを補正する設定を行う。

ステップ＃４０３：符号化処理部２２は、符号化する画像のヘッダ領域の情報を符号化する。ここで、画像のヘッダ領域には、圧縮制御部２０の制御により、符号化の対象となる画像の符号化形式（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の情報や、付帯情報および補正情報が付与される。例えば、付帯情報には、符号化する画像が第１画像、第２画像のいずれであるかを示す識別子が含まれる。また、付帯情報には、圧縮元の画像のデータ形式を示す識別子や、輝度間引き画像や色差間引き画像での標本点の間引きパターンを示す識別子や、第１画像や第２画像での標本点の抽出パターンを示す識別子が含まれていてもよい。なお、補正情報は、例えば、上述した動きベクトルの補正の要否を示す識別子である。

また、例えば、＃４０３での符号化処理部２２は、ＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する場合、ピクチャコーディングエクステンションに続くユーザデータの領域に上述の付帯情報や補正情報を含めればよい。

ステップ＃４０４：符号化処理部２２の予測情報生成部４０は、ＰピクチャまたはＢピクチャを生成する場合、参照画像を用いて、マクロブロックを動き補償予測する。また、予測情報生成部４０は、Ｉピクチャを生成する場合には、マクロブロックの情報をスルー出力する。

ステップ＃４０５：符号化処理部２２の予測部４１は、ＰピクチャまたはＢピクチャを生成する場合、動き補償予測（＃４０４）で得たマクロブロックの予測値を出力する。また、予測部４１は、Ｉピクチャを生成する場合、予測値としてゼロ値を出力する。そして、減算部３２は、画像の原信号から予測値を減算して予測誤差を出力する。

ステップ＃４０６：符号化処理部２２の直交変換部３３は、予測誤差（＃４０５）を直交変換する。

ステップ＃４０７：符号化処理部２２の量子化部３４は、予測誤差の直交変換係数（＃４０６）を量子化する。

ステップ＃４０８：符号化処理部２２の可変長符号化部３５は、動きベクトルや参照画像等を示す予測情報や、量子化係数を可変長符号化する。＃４０８の段階で、１ブロック分の符号化情報が後段の回路に出力される。

ステップ＃４０９：符号化処理部２２の逆量子化部３６は、量子化係数を逆量子化する。

ステップ＃４１０：符号化処理部２２の逆直交変換部３７は、逆量子化で求めた直交変換係数を逆直交変換して予測誤差を復号する。

ステップ＃４１１：符号化処理部２２の加算部３８は、復号された予測誤差にマクロブロックの予測値を加算して、ピクチャの局部復号値を生成する。なお、上述の局部復号値は符号化処理部２２の第２蓄積部３９に蓄積される。

ステップ＃４１２：圧縮制御部２０は、１フレームの符号化が完了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃３１１に処理が復帰する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃４０４に戻って符号化処理部２２は上述の動作を繰り返す。上述のループにより、符号化対象の画像がブロック単位で符号化されることとなる。以上で、図２３の説明を終了する。

また、図２４は、図２３の＃４０４での動き補償予測の処理例を示す流れ図である。

ステップ＃５０１：符号化処理部２２の予測情報生成部４０は、マクロブロックの動きベクトル、予測モード、参照画像等の予測情報を生成する。

なお、第１画像と第２画像との間で動き補償予測を行う場合、＃５０１での予測情報生成部４０は、参照画像との画素位置のずれを補正するように、マクロブロックの動きベクトルをオフセット補正してもよい。

ステップ＃５０２：符号化処理部２２の予測情報生成部４０は、マクロブロックをフレーム内符号化するか否か（すなわち、所謂イントラマクロブロックとして符号化するか否か）を判定する。例えば、動き補償予測しても所定条件より予測誤差を小さくできない場合などで、予測情報生成部４０は、マクロブロックをフレーム内符号化すると判断する。上述の要件を満たす場合（ＹＥＳ側）には、図２３の＃４０５に処理が復帰する。なお、この場合には、予測情報生成部４０はマクロブロックの情報をスルー出力する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃５０３に処理が移行する。

ステップ＃５０３：符号化処理部２２の予測情報生成部４０は、上述の予測情報（＃５０１）に基づいて、マクロブロックの輝度成分について動き補償予測を行う。

ステップ＃５０４：符号化処理部２２の予測情報生成部４０は、マクロブロックの輝度成分の動きベクトルを、マクロブロックの色差成分に合わせて補正する。＃５０４での予測情報生成部４０は、画像の輝度面と色差面との標本点のサンプリングの違いに応じて動きベクトルを補正する。

例えば、ＹＵＶ４：４：４形式の画像では、輝度成分の標本点と色差成分の標本点の重心が一致する。そのため、予測情報生成部４０は、ＹＵＶ４：４：４形式の場合、マクロブロックの輝度成分の動きベクトルを色差成分の予測にそのまま適用する。また、ＹＵＶ４：２：２形式の画像では、上述のようにＵ，Ｖチャネルの動きベクトルは、Ｙチャネル換算で水平方向に０．５画素のずれ（ＭＶ［０．５，０］）となる。そのため、予測情報生成部４０は、ＹＵＶ４：２：２形式の場合、マクロブロックの輝度成分の動きベクトルを水平方向に０．５画素ずらして色差成分の予測に適用する。また、ＹＵＶ４：２：０形式の画像では、上述のようにＵ，Ｖチャネルの動きベクトルは、Ｙチャネル換算で水平方向および垂直方向に０．５画素のずれ（ＭＶ［０．５，０．５］）となる。そのため、予測情報生成部４０は、ＹＵＶ４：２：０形式の場合、マクロブロックの輝度成分の動きベクトルを水平方向および垂直方向にそれぞれ０．５画素ずらして色差成分の予測に適用する。

ステップ＃５０５：符号化処理部２２の予測情報生成部４０は、上述の補正後の予測情報（＃５０４）に基づいて、マクロブロックの色差成分について動き補償予測を行う。その後、図２３の＃４０５に処理が復帰する。以上で、図２４の説明を終了する。

（動画像の復号動作例）
以下、第２実施形態での動画像の復号動作例を説明する。図２５は、第２実施形態の復号処理部１１３での動画像の復号動作例を示す流れ図である。

ステップ＃６０１：復号処理部１１３は、記憶媒体１１０から圧縮動画像情報を取得する。

ステップ＃６０２：復号部６２は、圧縮動画像情報のうちから付帯情報および補正情報を取得する。付帯情報および補正情報は、復号制御部６１に出力される。

ステップ＃６０３：復号制御部６１は、付帯情報および補正情報を参照する。これにより、復号制御部６１は、動きベクトルの補正の要否を示す情報や、輝度間引き画像および色差間引き画像での標本点の間引きパターンの情報や、第１画像および第２画像の合成パターンの情報を取得する。

ステップ＃６０４：復号部６２は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第１符号化情報から第１画像（図３（ｄ），図４（ｄ），図５（ｄ），図６（ｄ））を復号する。また、復号部６２は、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して第２符号化情報から第２画像（図３（ｅ），図４（ｅ），図５（ｅ），図６（ｅ））を復号する。なお、圧縮時に第１画像と第２画像との間で動き補償予測が行われている場合、復号制御部６１の制御により、復号部６２は上述の補正情報に基づいて動きベクトルの補正を実行する。

ステップ＃６０５：第１分離部５４は、入力された第１画像（＃６０４）をＹチャネルとＵ，Ｖチャネルとに分離する。第１画像のＹチャネルは第１合成部５６に出力され、第１画像のＵ，Ｖチャネルは第２合成部５７に出力される。

ステップ＃６０６：第２分離部５５は、入力された第２画像（＃６０５）をＹチャネルとＵ，Ｖチャネルとに分離する。第２画像のＹチャネルは第１合成部５６に出力され、第２画像のＵ，Ｖチャネルは第２合成部５７に出力される。なお、＃６０５の処理と＃６０６の処理は並列に実行されていてもよい。

ステップ＃６０７：第１合成部５６は、付帯情報を用いて第１画像のＹチャネルと第２画像のＹチャネルとを合成する。なお、＃６０７の処理は、図１６の＃２０８の処理に対応するので重複説明は省略する。

ステップ＃６０８：第２合成部５７は、付帯情報を用いて第１画像のＵ，Ｖチャネルと第２画像のＵ，Ｖチャネルとを合成する。なお、＃６０８の処理は、図１６の＃２０９の処理に対応するので重複説明は省略する。

ステップ＃６０９：第１補間部５８は、＃６０７で復元された輝度間引き画像の標本点をフレーム内補間する。なお、＃６０９の処理は、図１６の＃２１０の処理に対応するので重複説明は省略する。

ステップ＃６１０：第２補間部５９は、＃６０８で復元された色差間引き画像の標本点をフレーム内補間する。なお、＃４１０の処理は、図１６の＃２１１の処理に対応するので重複説明は省略する。

ステップ＃６１１：画像出力部６０は、同じフレームの輝度補間画像と色差補間画像とを対応付けて、１つの復号フレーム（図９（ｃ），図１０（ｃ），図１１（ｃ），図１２（ｃ））として出力する。

ステップ＃６１２：復号制御部６１は、圧縮動画像情報全体の復号が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、復号制御部６１は復号動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃６０１に戻って次のフレームの復号が行われる。以上で、図２５の説明を終了する。

また、図２６は、図２５の＃６０４での復号処理の例を示す流れ図である。

ステップ＃７０１：復号制御部６１は、＃６０３で取得した情報に基づいて、復号する画像の符号化形式や、第１画像および第２画像間での動きベクトルの補正の要否や、輝度成分および色差成分間での動きベクトルの補正の要否を設定する。

ステップ＃７０２：復号部６２の符号復号部７１は、或るマクロブロックの可変長符号を復号し、動きベクトルや参照画像等を示す予測情報や、量子化係数を取得する。

ステップ＃７０３：復号部６２の逆量子化部７２は、マクロブロックの量子化係数（＃７０２）を逆量子化する。

ステップ＃７０４：復号部６２の逆直交変換部７３は、逆量子化（＃７０３）で求めた直交変換係数を逆直交変換して予測誤差を復号する。

ステップ＃７０５：復号部６２の予測部７７は、ＰピクチャまたはＢピクチャを復号する場合、予測情報を用いてマクロブロックを動き補償予測し、マクロブロックの予測値を出力する。また、予測部７７は、Ｉピクチャを復号する場合には、予測値としてゼロ値を出力する。

ステップ＃７０６：復号部６２の加算部７４は、復号された予測誤差にマクロブロックの予測値を加算して、ピクチャの局部復号値を生成する。これにより、１つのマクロブロックの画像が復号された状態となる。なお、上述の局部復号値は第２蓄積部７６に蓄積される。

ステップ＃７０７：復号制御部６１は、１フレームの復号が完了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃６０５に処理が復帰する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃７０２に戻って復号部６２は上述の動作を繰り返す。上述のループにより、符号化された画像がブロック単位で復号されることとなる。以上で、図２６の説明を終了する。

また、図２７は、図２６の＃７０５での動き補償予測の処理例を示す流れ図である。

ステップ＃８０１：復号部６２の予測部７７は、復号された予測情報（＃７０２）に基づいて、マクロブロックの動きベクトル、予測モード、参照画像等を設定する。

ステップ＃８０２：復号部６２の予測部７７は、復号するマクロブロックがフレーム内符号化されたイントラマクロブロックか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、図２６の＃７０６に処理が復帰する。なお、＃８０２のＹＥＳ側の場合、上述のように予測部７７は予測値としてゼロ値を出力する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃８０３に処理が移行する。

ステップ＃８０３：復号部６２の予測部７７は、上述の予測情報に基づいて、マクロブロックの輝度成分について動き補償予測を行う。なお、第１画像と第２画像との間で動きベクトルＭＶを相殺するように圧縮時にオフセット補正をした場合（＃５０１）、＃８０３での予測部７７は、上述のオフセット分を除去する補正を行う。例えば、予測部７７は、マクロブロックの輝度成分の動きベクトルに上述の動きベクトルＭＶを加えればよい。これにより、第１画像と第２画像との間の動き補償予測において、復号時に画像を正しく復元できる。

ステップ＃８０４：復号部６２の予測部７７は、マクロブロックの輝度成分の動きベクトルを、マクロブロックの色差成分に合わせて補正する。＃８０４での予測部７７は、画像の輝度面と色差面との標本点のサンプリングの違いに応じて動きベクトルを補正する。なお、＃８０４の処理は、図２４の＃５０４の逆処理であるので説明を省略する。なお、上述の＃５０４で動きベクトルの補正が行われていない場合には、＃８０４の処理は省略される。

ステップ＃８０５：復号部６２の予測部７７は、上述の補正後の予測情報（＃８０４）を用いて、マクロブロックの色差成分について動き補償予測を行う。その後、図２６の＃７０６に処理が復帰する。以上で、図２７の説明を終了する。

（第２実施形態の作用効果）
以下、第２実施形態における作用効果を述べる。第２実施形態では、上述の第１実施形態での作用効果に加え、第１画像と第２画像との間で動き補償予測を行うことで、動画像全体での符号化効率を向上させることができる。また、第２実施形態において、第１画像と第２画像との間で動き補償予測をするときに、動きベクトルを補正することで符号化効率を向上させることができる。このとき、上述の動きベクトルについて補正の有無を表す補正情報を動画像圧縮装置が付与することで、映像復号装置側で復号時に動きベクトルを適切に補正させることができる。

＜第３実施形態の説明＞
図２８は、第３実施形態での装置構成例を示す図である。第３実施形態の装置は、上述の動画像圧縮装置、動画像復号装置として機能するコンピュータである。

図２８に示すコンピュータ２０１は、データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６、バス２０７を有している。データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６は、バス２０７を介して相互に接続されている。さらに、コンピュータ２０１には、入出力Ｉ／Ｆ２０６を介して、入力デバイス２０８（キーボード、ポインティングデバイスなど）とモニタ２０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ２０６は、入力デバイス２０８からの各種入力を受け付けるとともに、モニタ２０９に対して表示用のデータを出力する。

データ読込部２０２は、未圧縮の動画像情報や、上述の圧縮動画像情報や、プログラムを外部から読み込むときに用いられる。データ読込部２０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置２０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置２０３には、上述のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置２０３には、データ読込部２０２から読み込んだ圧縮動画像情報などを記憶しておくこともできる。

ＣＰＵ２０４は、コンピュータ２０１の各部を統括的に制御するプロセッサである。このＣＰＵ２０４は、プログラムの実行によって、第１実施形態または第２実施形態の画像処理部１１１、圧縮処理部１１２、復号処理部１１３として機能する。

メモリ２０５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ２０５は、例えば揮発性のＳＤＲＡＭである。

ここで、第３実施形態では、データ読込部２０２または記憶装置２０３から未圧縮の動画像情報を取得し、図１４または図２０に示す圧縮動作をＣＰＵ２０４が実施する。あるいは、データ読込部２０２または記憶装置２０３から上述の圧縮動画像情報を取得し、図１６または図２５に示す復号動作をＣＰＵ２０４が実施する。かかる第３実施形態においても、第１実施形態または第２実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：上述の実施形態では、ＹＵＶ４：４：４形式、ＹＵＶ４：２：２形式、ＹＵＶ４：２：０形式の画像を圧縮する場合を説明した。しかし、本発明の適用はこれらのデータ形式に限定されない。

例えば、本発明をＹＵＶ４：０：０形式の画像に適用してもよい。この場合は、Ｕ，Ｖチャネルの情報がないモノクロ画像の場合である。したがって、圧縮元の画像のＹチャネルのみを第１実施形態または第２実施形態と同様に符号化および復号化すればよい。

また、本発明の圧縮元の画像がＲＧＢ画像であってもよい。例えば、ＲＧＢ４：４：４形式の画像の場合、Ｇを輝度面、Ｒ，Ｂを色差面とみなして第１実施形態または第２実施形態と同様に符号化および復号化すればよい。

（補足２）：上述の実施形態では、ＭＰＥＧ−２ビデオのメインプロファイルに基づく圧縮符号化の例を説明した。しかし、本発明ではＪＰＥＧ、ＡＶＣ、その他の圧縮符号化を適用しても良いし、非圧縮符号化を適用しても良い。

（補足３）：画像の間引きのパターンを示す付帯情報の付与は、上述の実施形態の例に限定されない。例えば、ＭＰＥＧ−２ビデオのテンポラルリファレンス情報から判断可能な間引きのパターンを示すフレーム運用規則を予め規定しておくことで、復号処理装置に対して画像の間引きのパターンを暗示的に告知することもできる。

（補足４）：上述の実施形態では、圧縮元の画像が動画像である場合を説明した。しかし、本発明は静止画像の圧縮にも勿論適用できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…色成分分離部、１２…第１間引き部、１３…第２間引き部、１４…第１分離部、１５…第２分離部、１６…第１画像生成部、１７…第２画像生成部、１８…第１符号化部、１９…第２符号化部、２０…圧縮制御部、２１…多重化部、２２…符号化処理部、５１…多重化分離部、５２…第１復号部、５３…第２復号部、５４…第１分離部、５５…第２分離部、５６…第１合成部、５７…第２合成部、５８…第１補間部、５９…第２補間部、６０…画像出力部、６１…復号制御部、６２…復号部、１００…電子カメラ、１０１…撮像光学系、１０２…撮像素子、１０３…信号処理部、１０４…画像処理エンジン、１０５…第１メモリ、１０６…第２メモリ、１０７…記録Ｉ／Ｆ、１０８…モニタ、１０９…操作部、１１０…記憶媒体、１１１…画像処理部、１１２…圧縮処理部、１１３…復号処理部、２０１…コンピュータ、２０２…データ読込部、２０３…記憶装置、２０４…ＣＰＵ、２０５…メモリ、２０６…入出力Ｉ／Ｆ、２０７…バス、２０８…入力デバイス、２０９…モニタ

Claims (16)

1. 奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出して間引き画像を生成する間引き部と、
   前記間引き画像から前記奇数番目の行の標本点を抽出して第１画像を生成する第１画像生成部と、
   前記間引き画像から前記偶数番目の行の標本点を抽出して第２画像を生成する第２画像生成部と、
   前記第１画像および前記第２画像をそれぞれ符号化する符号化部と、
   前記第１画像の符号化情報および前記第２画像の符号化情報に、前記間引き画像への復号方式を示す付帯情報を対応付けて出力する出力部と、
   を備えることを特徴とする画像圧縮装置。
2. 請求項１に記載の画像圧縮装置において、
   前記圧縮元の画像はカラー画像であって、
   前記間引き部は、前記圧縮元の画像から色空間の成分別に異なるパターンで前記標本点を抽出して前記間引き画像を生成することを特徴とする画像圧縮装置。
3. 請求項１または請求項２に記載の画像圧縮装置において、
   前記圧縮元の画像は動画像であって、
   前記間引き部は、前記動画像の各フレームでそれぞれ前記間引き画像を生成することを特徴とする画像圧縮装置。
4. 請求項３に記載の画像圧縮装置において、
   前記符号化部は、異なるフレームから生成された複数の前記第１画像間の動き補償予測または異なるフレームから生成された複数の前記第２画像間の動き補償予測を行うことを特徴とする画像圧縮装置。
5. 請求項１から請求項４のいずれか１項に記載の画像圧縮装置において、
   前記符号化部は、前記第１画像と前記第２画像との間で動き補償予測を行うことを特徴とする画像圧縮装置。
6. 請求項５に記載の画像圧縮装置において、
   前記符号化部は、前記第１画像と前記第２画像との標本点の違いに応じて、前記動き補償予測のときに動きベクトルを補正することを特徴とする画像圧縮装置。
7. 請求項１から請求項６のいずれか１項に記載の画像圧縮装置において、
   前記圧縮元の画像は、ＹＵＶ４：４：４形式、ＹＵＶ４：２：２形式、ＹＵＶ４：２：０形式、ＹＵＶ４：０：０形式またはＲＧＢ４：４：４形式のいずれかであることを特徴とする画像圧縮装置。
8. 奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出して間引き画像を生成する間引き処理と、
   前記間引き画像から前記奇数番目の行の標本点を抽出して第１画像を生成する第１画像生成処理と、
   前記間引き画像から前記偶数番目の行の標本点を抽出して第２画像を生成する第２画像生成処理と、
   前記第１画像および前記第２画像をそれぞれ符号化する符号化処理と、
   前記第１画像の符号化情報および前記第２画像の符号化情報に、前記間引き画像への復号方式を示す付帯情報を対応付けて出力する出力処理と、
   をコンピュータに実行させることを特徴とするプログラム。
9. 奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出した間引き画像に対して、前記間引き画像の前記奇数番目の行の標本点を抽出した第１画像を符号化した第１符号化情報と、前記間引き画像の前記偶数番目の行の標本点を抽出した第２画像を符号化した第２符号化情報と、前記間引き画像への復号方式を示す付帯情報とを含む圧縮画像情報を取得する取得部と、
   前記第１符号化情報から前記第１画像を復号し、前記第２符号化情報から前記第２画像を復号する復号部と、
   前記付帯情報を参照して、前記第１画像および前記第２画像から前記間引き画像を合成する合成部と、
   前記間引き画像を補間して前記圧縮元の画像の形式に変換する補間部と、
   を備えることを特徴とする画像復号装置。
10. 請求項９に記載の画像復号装置において、
    前記圧縮元の画像はカラー画像であって、
    前記合成部は、前記第１画像および前記第２画像から色空間の成分別に異なるパターンで前記標本点を抽出して前記間引き画像を合成することを特徴とする画像復号装置。
11. 請求項９または請求項１０に記載の画像復号装置において、
    前記圧縮元の画像は動画像であって、
    前記合成部は、前記動画像の各フレームに対応する前記間引き画像をそれぞれ合成することを特徴とする画像復号装置。
12. 請求項１１に記載の画像復号装置において、
    前記復号部は、異なるフレームから生成された複数の前記第１画像間の動き補償予測または異なるフレームから生成された複数の前記第２画像間の動き補償予測を行うことを特徴とする画像復号装置。
13. 請求項９から請求項１２のいずれか１項に記載の画像復号装置において、
    前記復号部は、前記第１画像と前記第２画像との間で動き補償予測を行うことを特徴とする画像復号装置。
14. 請求項１３に記載の画像復号装置において、
    前記復号部は、前記第１画像と前記第２画像との標本点の違いに応じて、前記動き補償予測のときに動きベクトルを補正することを特徴とする画像復号装置。
15. 請求項９から請求項１４のいずれか１項に記載の画像復号装置において、
    前記圧縮元の画像は、ＹＵＶ４：４：４形式、ＹＵＶ４：２：２形式、ＹＵＶ４：２：０形式、ＹＵＶ４：０：０形式またはＲＧＢ４：４：４形式のいずれかであることを特徴とする画像復号装置。
16. 奇数番目の行の標本点と偶数番目の行の標本点との位置が行方向にずれるように、圧縮元の画像から行方向に沿って標本点を離散的に抽出した間引き画像に対して、前記間引き画像の前記奇数番目の行の標本点を抽出した第１画像を符号化した第１符号化情報と、前記間引き画像の前記偶数番目の行の標本点を抽出した第２画像を符号化した第２符号化情報と、前記間引き画像への復号方式を示す付帯情報とを含む圧縮画像情報を取得する処理と、
    前記第１符号化情報から前記第１画像を復号し、前記第２符号化情報から前記第２画像を復号する復号処理と、
    前記付帯情報を参照して、前記第１画像および前記第２画像から前記間引き画像を合成する合成処理と、
    前記間引き画像を補間して前記圧縮元の画像の形式に変換する補間処理と、
    をコンピュータに実行させることを特徴とするプログラム。
    

Images