JP2019036992A - 圧縮装置、復号装置およびプログラム - Google Patents

Abstract

【課題】 色差間引きにより圧縮時の符号量を抑制する。
【解決手段】 圧縮装置は、第１形式のカラー画像から第１のパターンで色差成分を間引き、第１形式とは異なる第２形式のカラー画像を生成し、第１形式のカラー画像から第１のパターンとは異なる第２のパターンで色差成分を間引き、第２形式のカラー画像を生成する間引き部と、複数の第２形式のカラー画像を時系列に沿って符号化する符号化部と、を備え、符号化部は、複数の第２形式のカラー画像のうち、第１のパターンで間引かれた第１画像と、第２のパターンで間引かれた、第１画像よりも参照する枚数が多い第２画像と、により符号化する。
【選択図】 図２

Description

本発明は、圧縮装置、復号装置およびプログラムに関する。

動画像の圧縮において、例えば、ＹＵＶ４：２：０形式のように、輝度と色差との視覚感度の違いに着目し、動画像の圧縮符号化のときに色差成分を間引きすることで、情報量を効率よく削減することが従来から行われている。

一方で、ＹＵＶ４：２：０形式の映像は、例えば、編集加工等で映像を拡大したときなどに画像のエッジ部分で色にじみが生じやすい。そのため、ＹＵＶ４：４：４形式で色差成分を間引かずに効率よく動画像を圧縮符号化する手法も提案されている（例えば、特許文献１）。

特開平６−２７６５１１号公報

しかし、色差成分を間引かずに動画像を圧縮符号化する場合、復号時において画像のエッジ部分での色にじみは抑制できるが、色差成分を間引く場合と比べて圧縮時の符号量が増大してしまう。

本発明の一例としての圧縮装置は、第１形式のカラー画像から第１のパターンで色差成分を間引き、第１形式とは異なる第２形式のカラー画像を生成し、第１形式のカラー画像から第１のパターンとは異なる第２のパターンで色差成分を間引き、第２形式のカラー画像を生成する間引き部と、複数の第２形式のカラー画像を時系列に沿って符号化する符号化部と、を備え、符号化部は、複数の第２形式のカラー画像のうち、第１のパターンで間引かれた第１画像と、第２のパターンで間引かれた、第１画像よりも参照する枚数が多い第２画像と、により符号化する。

そして、復号装置側では、第１形式のカラー画像から第１のパターンで色差成分を間引くことにより第１形式とは異なる第２形式のカラー画像に変換された第１画像を符号化した第１符号化情報と、第１形式のカラー画像から第１のパターンとは異なる第２のパターンで色差成分を間引くことにより第２形式のカラー画像に変換された第２画像を符号化した第２符号化情報とを含む圧縮動画像情報を取得する取得部と、第１符号化情報から、複数の第２形式のカラー画像のうち、第１のパターンで間引かれた第１画像を復号し、第２符号化情報から、第２のパターンで間引かれた、第１画像よりも参照する枚数が多い第２画像を復号する復号部と、第２画像の色差成分の情報を用いて、第１画像に色差補間処理を施して第１形式のカラー画像を出力し、第１画像の色差成分の情報を用いて、第２画像に色差補間処理を施して第１形式のカラー画像を出力する補間部と、を備える。

本発明の一例によれば、色差間引きにより圧縮時の符号量を抑制できる。

第１実施形態の電子カメラの構成例を示す図 図１の圧縮処理部の構成例を示す図 （ａ）色差間引き前における標本点の例を示す図、（ｂ）第１間引き画像での標本点の例を示す図、（ｃ）第２間引き画像での標本点の例を示す図、（ｄ）第１間引き画像および第２間引き画像の色差の標本点を重ねた状態を示す図 図２の符号化部の構成例を示す図 図１の復号処理部の構成例を示す図 図５の復号部の構成例を示す図 図５の補間部の構成例を示す図 圧縮処理部での動画像の圧縮動作例を示す流れ図 図８の＃１０３、＃１０７での符号化処理の例を示す流れ図 （ａ）〜（ｃ）：動画像の符号化形式の例を示す図 図９の＃２０５での動き補償予測の処理例を示す流れ図 色差成分の動きベクトルの補正例を示す図 復号処理部での動画像の復号動作例を示す流れ図 図１３の＃４０１での復号処理の例を示す流れ図 図１４の＃５０７での動き補償予測の処理例を示す流れ図 図１３の＃４０２での色差補間処理の例を示す流れ図 第１色差補間部で補間される色差成分の標本点を示す図 第１色差補間部での色差補間後の標本点の例を示す図 第２色差補間部で補間される色差成分の標本点を示す図 第２色差補間部での色差補間後の標本点の例を示す図 標本点Ｃ３４を求めるときの局所領域の例を示す図 加算部の出力画像における色差チャネルの例を示す図 第２実施形態での装置構成例を示す図 動画像の符号化形式の別例を示す図 補間部の別例を示す図

＜第１実施形態の説明＞
図１は、撮像装置、動画像圧縮装置、動画像復号装置の一例である第１実施形態の電子カメラの構成例を示す図である。なお、第１実施形態の電子カメラ１００は動画撮影機能を有している。

電子カメラ１００は、撮像光学系１０１と、撮像素子１０２と、信号処理部１０３と、画像処理エンジン１０４と、第１メモリ１０５および第２メモリ１０６と、記録Ｉ／Ｆ１０７と、モニタ１０８と、操作部１０９とを有している。ここで、信号処理部１０３、第１メモリ１０５、第２メモリ１０６、記録Ｉ／Ｆ１０７、モニタ１０８および操作部１０９は、それぞれ画像処理エンジン１０４と接続されている。なお、操作部１０９は、ユーザの操作（例えば動画撮影の指示や、モード切り替えの指示など）を受け付けるスイッチである。

撮像光学系１０１は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１０１を１枚のレンズで図示する。

撮像素子１０２は、撮像光学系１０１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。なお、電子カメラ１００の撮影モードの１つである動画撮影モードでは、撮像素子１０２は、不揮発性の記憶媒体（１１０）への記録を伴う動画像の撮影を実行する。撮像素子１０２の出力は、画像処理エンジン１０４に接続されている。上述の撮像素子１０２は、順次走査方式の固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式の固体撮像素子（例えばＣＭＯＳ）であってもよい。

ここで、撮像素子１０２の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０２の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列に従って配置される。そのため、撮像素子１０２の各画素は、カラーフィルタでの色分解によって各色成分に対応する電気信号を出力する。例えば、第１実施形態では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって受光面に周期的に配置されている。これにより、撮像素子１０２は、撮影時にカラーの画像を取得することができる。

信号処理部１０３は、撮像素子１０２から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次施す。信号処理部１０３から出力される画像（ＲＡＷ画像）のデータは、画像処理エンジン１０４に入力される。

画像処理エンジン１０４は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１０４は、撮像素子１０２から入力される画像信号を用いて、オートフォーカス（ＡＦ）、自動露出（ＡＥ）の制御を行う。

また、画像処理エンジン１０４は、画像処理部１１１と、圧縮処理部１１２と、復号処理部１１３とを有する。

画像処理部１１１は、ＲＡＷ画像に対して、例えば、色補間処理、階調変換処理、ホワイトバランス調整処理、色変換処理などを施す。上述の色補間処理により、ベイヤ配列で各色がモザイク状に配置された状態のＲＡＷ画像が、各画素でそれぞれＲＧＢの情報を有するＲＧＢ画像に変換される。また、上述の色変換処理により、色補間後のＲＧＢ画像がＹＵＶ色空間のカラー画像（ＹＵＶ画像）に変換される。なお、画像処理部１１１から出力されるＹＵＶ画像はＹＵＶ４：４：４形式の画像であって、各画素が輝度成分（Ｙ）と２つの色差成分（Ｕ，Ｖ）の情報をそれぞれ有している。

圧縮処理部１１２は、動画像圧縮装置の一例であって、画像処理部１１１から出力されるＹＵＶ画像を圧縮符号化する。なお、圧縮処理部１１２の構成例については後述する。

復号処理部１１３は、動画像復号装置の一例であって、圧縮処理部１１２で圧縮符号化された動画像のデータを復号する。なお、復号処理部１１３の構成例については後述する。

なお、画像処理エンジン１０４に含まれる画像処理部１１１、圧縮処理部１１２および復号処理部１１３の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現される。

第１メモリ１０５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１０５は、揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ１０６は、画像処理エンジン１０４で実行されるプログラムや、このプログラムで使用される各種データを記憶する。例えば、第２メモリ１０６は、フラッシュメモリ等の不揮発性メモリである。

記録Ｉ／Ｆ１０７は、不揮発性の記憶媒体１１０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１０７は、コネクタに接続された記憶媒体１１０に対して動画像のデータの書き込み／読み込みを実行する。記憶媒体１１０は、ハードディスクや、半導体メモリを内蔵したメモリカードなどである。なお、図１では記憶媒体１１０の一例としてメモリカードを図示する。

モニタ１０８は、各種の画像を表示する表示デバイスである。例えば、モニタ１０８は、画像処理エンジン１０４の制御により、動画撮影時のビューファインダ表示や、撮影した動画像の再生表示を行う。

次に、図２を参照しつつ、図１の圧縮処理部１１２の構成例を説明する。図２では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで圧縮処理部１１２の各部を示している。

圧縮処理部１１２は、フィルタ処理部１１、第１スイッチ１２、第１間引き部１３、第２間引き部１４、第２スイッチ１５、符号化部１６、圧縮制御部１７を有している。

フィルタ処理部１１は、入力されるＹＵＶ画像の色差成分に対して２次元的なローパスフィルタ処理を施す。フィルタ処理部１１の出力は、第１スイッチ１２に接続されている。

例えば、フィルタ処理部１１は、ＹＵＶ画像のうちでＹチャネル（Ｙ面）には処理を施さずにスルー出力する。一方、フィルタ処理部１１は、ＹＵＶ画像のＵチャネル（Ｕ面）およびＶチャネル（Ｖ面）には、２次元的なローパスフィルタ処理を施して出力する。これにより、例えば後述の色差間引きに起因する折り返し歪みの発生が抑制される。なお、上述のローパスフィルタは後述の色差間引きの特性に合わせて選択され、一例としてダイヤモンド型のローパスフィルタが適用される。

第１スイッチ１２は、選択部の一例であって、１入力２出力のスイッチである。第１スイッチ１２の一方の出力は第１間引き部１３に接続され、第１スイッチの他方の出力は第２間引き部１４に接続されている。そして、第１スイッチ１２は、フィルタ処理部１１から時系列に入力される複数のＹＵＶ画像を第１間引き部１３または第２間引き部１４に振り分ける。なお、第１実施形態において、第１スイッチ１２は、ＹＵＶ画像の動画像の各フレームを第１間引き部１３と第２間引き部１４とに交互に出力する。

第１間引き部１３は、ＹＵＶ画像から第１のパターンで色差成分を間引く色差間引き処理を行う。なお、以下の説明では、第１間引き部１３で色差間引きされた画像を、第１間引き画像と称することがある。

例えば、第１間引き部１３は、ＹＵＶ画像のＵチャネルおよびＶチャネルにおいて、奇数行の標本点を行方向に沿って１画素おきに離散的に抽出する。そして、第１間引き部１３は、ＵチャネルおよびＶチャネルについては抽出した標本点の情報のみを後段に出力する。したがって、第１間引き部１３の色差間引きでは、ＵチャネルおよびＶチャネルの標本点が１／４に間引かれる。一方、第１間引き部１３は、ＹＵＶ画像のＹチャネルの情報は間引きを行わずにスルー出力する。これにより、第１間引き画像は、ＹＵＶ４：２：０形式に変換される。

ここで、図３（ａ）は、色差間引き前における標本点の例を示す図である。図３（ｂ）は、第１間引き画像での標本点の例を示す図である。なお、図３の例では、輝度（Ｙ）の標本点と、色差（Ｕ，Ｖ）の標本点とを重畳させて示している。

第２間引き部１４は、ＹＵＶ画像から第１のパターンと異なる第２のパターンで色差成分を間引く色差間引き処理を行う。なお、以下の説明では、第２間引き部１４で色差間引きされた画像を、第２間引き画像と称することがある。

例えば、第２間引き部１４は、ＹＵＶ画像のＵチャネルおよびＶチャネルにおいて、偶数行の標本点を行方向に沿って１画素おきに離散的に抽出する。ここで、第２間引き部１４で抽出される色差の標本点の位置は、第１間引き部１３で抽出される色差の標本点の位置に対して行方向（Ｘ方向）に１画素分ずれている。そして、第２間引き部１４は、ＵチャネルおよびＶチャネルについては抽出した標本点の情報のみを後段に出力する。したがって、第２間引き部１４の色差間引きでは、ＵチャネルおよびＶチャネルの標本点が１／４に間引かれる。一方、第２間引き部１４は、ＹＵＶ画像のＹチャネルの情報は間引きを行わずにスルー出力する。これにより、第１間引き画像の場合と同様に、第２間引き画像は、ＹＵＶ４：２：０形式に変換される。

ここで、図３（ｃ）は、第２間引き画像での標本点の例を示す図である。また、図３（ｄ）は第１間引き画像および第２間引き画像の色差の標本点を重ねた状態を示す図である。

上述するように、第１間引き部１３の色差間引きでは奇数行の色差の標本点が１画素おきに抽出され、第２間引き部１４の色差間引きでは偶数行の色差の標本点が１画素おきに抽出される。そして、第２間引き部１４で抽出される色差の標本点の位置は、第１間引き部１３で抽出される色差の標本点の位置に対して行方向（Ｘ方向）に１画素分ずれている。したがって、第１間引き部１３で抽出される色差の標本点と、第２間引き部１４で抽出される色差の標本点とは空間方向で互いに重複しない位置関係にある。また、これらの標本点の位置を重ね合わせると、画像上で色差の標本点が市松状に配置された状態となる（図３（ｄ）参照）。

第２スイッチ１５は、第１スイッチ１２に対応する２入力１出力のスイッチである。第２スイッチ１５の一方の入力は第１間引き部１３に接続され、第２スイッチ１５の他方の出力は第２間引き部１４に接続されている。第２スイッチ１５の出力は、符号化部１６に接続されている。そして、第２スイッチ１５は第１スイッチ１２に連動して動作する。すなわち、第１スイッチ１２が第１間引き部１３に接続されているときには第２スイッチ１５は第１間引き部１３に接続され、第１スイッチ１２が第２間引き部１４に接続されているときには第２スイッチ１５は第２間引き部１４に接続される。これにより、第１間引き部１３から出力された第１間引き画像と、第２間引き部１４から出力された第２間引き画像とが、動画像の時系列に沿って交互に符号化部１６に入力される。

符号化部１６は、時系列に入力されるＹＵＶ４：２：０形式の動画像を圧縮符号化する。例えば、符号化部１６は、動画像の各フレームを所定サイズのブロック単位に分割し、動き補償予測を用いて動画像のデータを圧縮符号化する。なお、符号化部１６の構成例については後述する。

また、以下の説明では、第１間引き画像を符号化した情報を第１符号化情報とも称し、第２間引き画像を符号化した情報を第２符号化情報とも称する。また、圧縮処理部１１２によって圧縮された動画像のデータを圧縮動画像情報と称することがある。

圧縮制御部１７は、動画像の圧縮のときに、フィルタ処理部１１、第１スイッチ１２、第１間引き部１３、第２間引き部１４、第２スイッチ１５、符号化部１６の各動作を統括的に制御する。なお、圧縮制御部１７の制御により、符号化部１６は、色差間引きのパターンを示す付帯情報を、例えば符号化された画像のヘッダ領域などに付与する。

次に、図４を参照しつつ、図２の符号化部１６の構成例を説明する。図４では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで符号化部１６の各部を示している。

ここで、動き補償予測を行う画像圧縮符号化方式としては、例えば、ＩＳＯ／ＩＥＣ１３８１８−２に規定されるＭＰＥＧ−２ビデオなどが知られている。上述の画像圧縮符号化方式では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを用いてフレーム内またはフレーム間で圧縮符号化が行われる。Ｉピクチャは画面内のみで完結する符号化により得られる画面内符号化画像である。Ｐピクチャは参照画像最大１枚を用いる予測符号化により得られる画面間予測符号化画像である。Ｂピクチャは参照画像最大２枚を用いる予測符号化により得られる画面間双予測符号化画像である。

符号化部１６は、第１蓄積部２１、減算部２２、直交変換部２３、量子化部２４、可変長符号化部２５、逆量子化部２６、逆直交変換部２７、加算部２８、第２蓄積部２９、予測情報生成部３０、予測部３１を有している。

第１蓄積部２１は、第２スイッチ１５から出力される色差間引き後の画像を蓄積する。第１蓄積部２１に蓄積された画像は、符号化対象の画像として入力順に減算部２２へ出力される。なお、符号化の完了した画像は第１蓄積部２１から順次消去される。

減算部２２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像と予測部３１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部２２は、Ｉピクチャを生成するときには、入力された原画像の信号をそのまま出力する。

直交変換部２３は、Ｉピクチャを生成するときには、減算部２２をスルーして入力された原画像の信号に対して直交変換を行う。また、直交変換部２３は、Ｐピクチャ又はＢピクチャを生成するときには、上述の差分信号に対して直交変換を行う。

量子化部２４は、直交変換部２３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部２４の出力は、可変長符号化部２５および逆量子化部２６にそれぞれ入力される。

可変長符号化部２５は、量子化係数や、動きベクトル等の予測情報を可変長符号化し、動画像の符号化ビットストリームを外部へ出力する。なお、可変長符号化部２５は、上述の付帯情報の付与や、第１間引き画像と第２間引き画像との間で動き予測をする場合に色差成分での動きベクトルの補正の要否を示す補正情報の付与も行う。

例えば、可変長符号化部２５は、ＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する場合、ピクチャコーディングエクステンションに続くユーザデータの領域に上述の付帯情報や補正情報を含めてもよい。

逆量子化部２６は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部２７は、逆量子化部２６で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部２８は、復号された予測誤差値と、予測部３１で生成された後述の予測値とを加算する。そして、加算部２８から出力されたピクチャの復号値（参照画像）は第２蓄積部２９に蓄積される。なお、以後の動き補償予測で参照されない画像は第２蓄積部２９から順次消去される。

予測情報生成部３０は、第２蓄積部２９の参照画像を用いて、符号化対象の画像を予測するための予測情報（動きベクトルなど）を生成する。予測情報は、予測部３１および可変長符号化部２５に出力される。

予測部３１は、予測情報および参照画像に基づいて、符号化対象の画像をブロック単位で予測した予測値を出力する。この予測値は、減算部２２および加算部２８に出力される。

なお、或るブロックについて動き補償予測を行う場合、符号化対象の画像が予測値と完全に一致すると予測情報のみがデータ化される。また、符号化対象の画像が予測値と部分的に一致する場合、予測情報と差分の画像がデータ化される。また、符号化対象の画像が予測値からすべて外れる場合には、ブロック全体分の画像がすべてデータ化される。

次に、図５を参照しつつ、図１の復号処理部１１３の構成例を説明する。図５では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで復号処理部１１３の各部を示している。

復号処理部１１３は、復号部４１、補間部４２、復号制御部４３を有している。なお、復号処理部１１３には、圧縮動画像情報が入力される。

復号部４１は、圧縮動画像情報に含まれる第１符号化情報から第１間引き画像を復号し、圧縮動画像情報に含まれる第２符号化情報から第２間引き画像を復号する。復号部４１の出力は補間部４２に接続されている。なお、復号部４１の構成例については後述する。

補間部４２は、それぞれＹＵＶ４：２：０形式の第１間引き画像または第２間引き画像のＵチャネルおよびＶチャネルに対して色差補間処理を施す。そして、補間部４２は、第１間引き画像または第２間引き画像のＹチャネル（Ｙ面）には処理を施さずにスルー出力する。これにより、補間部４２は、ＹＵＶ４：４：４形式のカラー画像を出力する。

復号制御部４３は、動画像の復号のときに、復号部４１、補間部４２の各動作を統括的に制御する。なお、復号制御部４３の制御により、補間部４２は画像のヘッダ領域を参照して、色差間引きのパターンを示す付帯情報を取得する。そして、補間部４２は、上述の付帯情報に基づいて、色差補間処理に用いる画像の組み合わせを決定する。

次に、図６を参照しつつ、図５の復号部４１の構成例を説明する。図６では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで復号部４１の各部を示している。なお、図６に示す復号部４１の機能ブロックは、図４で示した符号化部１６の同名称の機能ブロックと共有化されていてもよい。

復号部４１は、符号復号部５１、逆量子化部５２、逆直交変換部５３、加算部５４、第１蓄積部５５、第２蓄積部５６、予測部５７を有している。

符号復号部５１は、入力される動画像の符号化ビットストリームを復号し、量子化係数や、動きベクトル等の予測情報を出力する。なお、復号された量子化係数は逆量子化部５２に入力され、復号された予測情報は予測部５７に入力される。なお、圧縮動画像情報が色差成分での動きベクトルの補正の要否を示す補正情報を含む場合、符号復号部５１は、復号した上述の補正情報を予測部５７に入力する。

逆量子化部５２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部５３は、逆量子化部５２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部５４は、復号された予測誤差値と、予測部５７で生成された予測値とを加算することで、復号された画像をブロック単位で出力する。そして、加算部５４から出力された画像の復号値は第１蓄積部５５および第２蓄積部５６にそれぞれ入力される。

第１蓄積部５５は、復号した第１間引き画像または第２間引き画像を補間部４２に出力するまで蓄積する。なお、補間部４２への出力が完了した画像は第１蓄積部５５から順次消去される。また、第２蓄積部５６は、画像の復号値を参照画像として蓄積する。なお、以後の動き補償予測で参照されない画像は第２蓄積部５６から順次消去される。

予測部５７は、予測情報および参照画像に基づいて、復号対象の画像をブロック単位で予測した予測値を加算部５４に出力する。なお、予測部５７は、復号対象の画像と予測元の画像との間で色差成分の間引きのパターンが異なるときに、間引きのパターンの違いに応じて色差成分の動きベクトルを補正する。

次に、図７を参照しつつ、図５の補間部４２の構成例を説明する。図７では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで補間部４２の各部を示している。

補間部４２は、蓄積部６１、第１色差補間部６２、色差合成部６３、第２色差補間部６４、重み付け調整部６５、第１乗算部６６、第２乗算部６７、加算部６８を有している。

蓄積部６１は、色差補間処理で用いる第１間引き画像および第２間引き画像を一時的に蓄積する。例えば、色差補間処理では、時間軸方向で隣り合う第１間引き画像および第２間引き画像を使用するが、色差補間処理に使用されなくなった画像は蓄積部６１から順次消去される。

第１色差補間部６２は、異なるフレームの色差成分の情報を用いずに、色差補間の基準となる画像で間引きされた分の色差成分をフレーム内で補間し、ＹＵＶ４：４：４形式の画像を出力する。なお、第１色差補間部６２の出力は、第１乗算部６６に接続されている。

色差合成部６３は、色差間引きのパターンがそれぞれ異なり、時間軸方向で隣り合う２画像の色差成分を合成する。色差合成部６３は、色差補間の基準となる画像で色差成分を完全に間引きした行の色差成分を時間軸方向で隣り合うフレームから補充する。なお、色差合成部６３は、例えば、色差補間の基準となる画像に対して１フレーム過去の画像から色差成分を補充する。

例えば、色差補間の基準が第１間引き画像の場合、時間軸方向で隣り合う第２間引き画像から偶数行の色差成分の標本点が補充される。また、色差補間の基準が第２間引き画像の場合、時間軸方向で隣り合う第１間引き画像から奇数行の色差成分の標本点が補充される。これにより、色差合成部６３から出力される画像では、色差成分の標本点が市松状に配列された状態となる（図３（ｄ）参照）。

第２色差補間部６４は、色差合成部６３から出力される画像の色差成分を補間し、ＹＵＶ４：４：４形式の画像を出力する。なお、第２色差補間部６４の出力は、第２乗算部６７に接続されている。

重み付け調整部６５は、第１色差補間部６２の色差成分と第２色差補間部６４の色差成分とを加算するときの重み付け係数α，１−αを求める（但し、０≦α≦１）。ここで、重み付け調整部６５は、画像の標本点ごとに上述の係数α，１−αをそれぞれ変化させる。例えば、重み付け調整部６５は、標本点に対応した局所領域の輝度成分に応じて、上述の係数α，１−αを標本点ごとにそれぞれ求める。

第１乗算部６６は、第１色差補間部６２の色差成分に対して係数αを乗じる。また、第２乗算部６７は、第２色差補間部６４の色差成分に対して係数１−αを乗じる。また、加算部６８は、係数αで重み付けされた第１乗算部６６の色差成分と、係数１−αで重み付けされた第２乗算部６７の色差成分を標本点ごとに加算する。そして、加算部６８は、色差補間されたＹＵＶ４：４：４形式の画像を外部に出力する。

（動画像の圧縮動作例）
以下、第１実施形態での動画像の圧縮動作例を説明する。

第１実施形態での電子カメラ１００が動画撮影モード下で撮影指示を受け付けると、画像処理エンジン１０４は撮像素子１０２を駆動させて動画撮影を開始する。撮像素子１０２から出力される動画像のフレームは、信号処理部１０３および画像処理部１１１で一連の信号処理と画像処理が施された後に、圧縮処理部１１２で圧縮符号化される。そして、圧縮処理部１１２で圧縮された圧縮動画像情報は、画像処理エンジン１０４の制御により、記録Ｉ／Ｆ１０７に接続された記憶媒体１１０に記録される。

図８は、圧縮処理部１１２での動画像の圧縮動作例を示す流れ図である。

ステップ＃１０１：圧縮処理部１１２のフィルタ処理部１１は、入力されるＹＵＶ画像の色差成分に対して２次元的なローパスフィルタ処理を施す。

ステップ＃１０２：圧縮制御部１７は、第１スイッチ１２および第２スイッチ１５をそれぞれ第１間引き部１３側に切り替える。そして、第１間引き部１３は、ＹＵＶ画像から第１のパターンで色差成分を間引く色差間引き処理を行う。これにより、ＹＵＶ４：２：０形式の第１間引き画像が生成される（図３（ｂ）参照）。

ステップ＃１０３：符号化部１６は、入力された第１間引き画像を、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する。圧縮後の第１符号化情報は、記憶媒体１１０に記録される。

ステップ＃１０４：圧縮制御部１７は、入力される動画像全体の圧縮が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、圧縮制御部１７は圧縮動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃１０５に処理が移行して次のフレームの圧縮が行われる。

ステップ＃１０５：フィルタ処理部１１は、入力されるＹＵＶ画像の色差成分に対して２次元的なローパスフィルタ処理を施す。

ステップ＃１０６：圧縮制御部１７は、第１スイッチ１２および第２スイッチ１５をそれぞれ第２間引き部１４側に切り替える。そして、第２間引き部１４は、ＹＵＶ画像から第２のパターンで色差成分を間引く色差間引き処理を行う。これにより、ＹＵＶ４：２：０形式の第２間引き画像が生成される（図３（ｃ）参照）。

ステップ＃１０７：符号化部１６は、入力された第２間引き画像を、例えばＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する。圧縮後の第２符号化情報は、記憶媒体１１０に記録される。

ステップ＃１０８：圧縮制御部１７は、入力される動画像全体の圧縮が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、圧縮制御部１７は圧縮動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃１０１に戻って次のフレームの圧縮が行われる。以上で、図８の説明を終了する。

また、図９は、図８の＃１０３、＃１０７での符号化処理の例を示す流れ図である。

ステップ＃２０１：圧縮制御部１７は、符号化の対象となる画像の符号化形式（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を決定する。

ここで、図１０（ａ）〜（ｃ）は、動画像の符号化形式の例を示す図である。図１０において「Ｉｎ」はｎ番目のＩピクチャを示し、「Ｐｎ」はｎ番目のＰピクチャを示し、「Ｂｎ」はｎ番目のＢピクチャを示す。また、図１０の例では、奇数番目のフレームが第１間引き画像であり、偶数番目のフレームが第２間引き画像である例を示す。

図１０（ａ）は、動画像の各フレームをＩピクチャとして符号化する例を示している。図１０（ａ）の場合は、画面内予測符号化のみであり、第１間引き画像と第２間引き画像との間で画面間予測符号化は行われない。

また、図１０（ｂ）は、ＩピクチャとＰピクチャとの組み合わせで動画像を符号化する例を示している。図１０（ｂ）の場合には、第１間引き画像と第２間引き画像との間で画面間予測符号化が行われる。

また、図１０（ｃ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャとの組み合わせで動画像を符号化する例を示している。図１０（ｃ）の場合、Ｉピクチャ、Ｐピクチャは奇数番目のフレーム（第１間引き画像）であり、Ｂピクチャは偶数番目のフレーム（第２間引き画像）である。図１０（ｃ）のＰピクチャの符号化では、色差間引きのパターンが同じ画像のみを参照して画面間予測符号化が行われる。一方、図１０（ｃ）のＢピクチャの符号化では、時間軸方向で前後に隣り合う第１間引き画像を参照して、第２間引き画像に対して画面間双予測符号化が行われる。

ステップ＃２０２：圧縮制御部１７は、符号化の対象となる画像の色差間引きのパターン（第１間引き画像、第２間引き画像）を識別する。

ステップ＃２０３：圧縮制御部１７は、符号化の対象となる画像と参照画像との色差間引きのパターンに応じて、圧縮時の動き補償予測での色差成分の動きベクトルについて補正の要否を決定する。

例えば、色差間引きのパターンが同じ画像を参照画像として画面間予測符号化をする場合、符号化の対象となる画像と参照画像との間で標本点の位置は一致する。しかし、色差間引きのパターンが異なる画像を参照画像として画面間予測符号化をする場合、符号化の対象となる画像と参照画像との間で標本点の位置にズレが生じる。したがって、圧縮制御部１７は、後者の場合（例えば、図１０（ｂ）のＰピクチャの場合と、図１０（ｃ）のＢピクチャの場合）には、動き補償予測での色差成分の動きベクトルを補正する設定を行う。

ステップ＃２０４：符号化部１６の可変長符号化部２５は、圧縮制御部１７の制御により、符号化する画像のヘッダ領域に付帯情報および補正情報を付与して符号化する。付帯情報は、例えば、第１間引き画像、第２間引き画像を示す識別子である。また、補正情報は、例えば、上述する色差成分の動きベクトルについて補正の要否を示す識別子である。

例えば、可変長符号化部２５は、ＭＰＥＧ−２ビデオのメインプロファイルに準拠して圧縮符号化する場合、ピクチャコーディングエクステンションに続くユーザデータの領域に上述の付帯情報や補正情報を含める。

ステップ＃２０５：予測情報生成部３０は、ＰピクチャまたはＢピクチャを生成する場合、参照画像を用いて、マクロブロックを動き補償予測する。また、予測情報生成部３０は、Ｉピクチャを生成する場合には、マクロブロックの情報をスルー出力する。

ステップ＃２０６：予測部３１は、ＰピクチャまたはＢピクチャを生成する場合、動き補償予測（＃２０５）で得たマクロブロックの予測値を出力する。また、予測部３１は、Ｉピクチャを生成する場合、予測値としてゼロ値を出力する。そして、減算部２２は、画像の原信号から予測値を減算して予測誤差を出力する。

ステップ＃２０７：直交変換部２３は、予測誤差（＃２０６）を直交変換する。

ステップ＃２０８：量子化部２４は、予測誤差の直交変換係数（＃２０７）を量子化する。

ステップ＃２０９：可変長符号化部２５は、動きベクトルや参照画像等を示す予測情報や、量子化係数を可変長符号化する。＃２０９の段階で、１ブロック分の符号化情報が符号化部１６から出力される。

ステップ＃２１０：逆量子化部２６は、量子化係数を逆量子化する。

ステップ＃２１１：逆直交変換部２７は、逆量子化で求めた直交変換係数を逆直交変換して予測誤差を復号する。

ステップ＃２１２：加算部２８は、復号された予測誤差にマクロブロックの予測値を加算して、ピクチャの局部復号値を生成する。なお、上述の局部復号値は第２蓄積部２９に蓄積される。

ステップ＃２１３：圧縮制御部１７は、１フレームの符号化が完了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃１０４または＃１０８に処理が復帰する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃２０５に戻って符号化部１６は上述の動作を繰り返す。上述のループにより、符号化対象の画像がブロック単位で符号化されることとなる。以上で、図９の説明を終了する。

また、図１１は、図９の＃２０５での動き補償予測の処理例を示す流れ図である。

ステップ＃３０１：予測情報生成部３０は、マクロブロックの動きベクトル、予測モード、参照画像等の予測情報を生成する。

ステップ＃３０２：予測情報生成部３０は、符号化形式がＩピクチャか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、図９の＃２０６に処理が復帰する。なお、この場合には、予測情報生成部３０はマクロブロックの情報をスルー出力する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃３０３に処理が移行する。

ステップ＃３０３：予測情報生成部３０は、上述の予測情報に基づいて、マクロブロックの輝度成分について動き補償予測を行う。

ステップ＃３０４：予測情報生成部３０は、図９の＃２０３の処理に基づいて、色差成分の動きベクトルを補正する設定であるか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃３０５に処理が移行する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃３０７に処理が移行する。なお、＃３０４のＮＯ側の場合、色差成分の動きベクトルを補正することなく、色差成分について動き補償予測が行われる。

ステップ＃３０５：予測情報生成部３０は、符号化対象の画像と参照画像との色差間引きのパターンが異なるか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃３０６に処理が移行する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃３０７に処理が移行する。なお、＃３０５のＮＯ側の場合、色差成分の動きベクトルを補正することなく、色差成分について動き補償予測が行われる。

ステップ＃３０６：予測情報生成部３０は、参照画像との色差間引きのパターンの違いに応じて、色差成分の動きベクトルを補正する。

図１２は、色差成分の動きベクトルの補正例を示す図である。図１２は、予測先画像（第２間引き画像）の注目画素Ｐ２ｘでの色差成分の値を、注目画素に隣接する予測元画像（第１間引き画像）の４画素（Ｐ１ａ〜Ｐ１ｄ）の平均値で求める例を示している。図１２の場合、注目画素の画素値を４つの隣接画素の平均で予測するため、予測元画像の復号値に含まれる符号化歪みを抑制できる。

以下の説明に関し、図１２では画像上で色差成分の標本点（画素Ｐ）の配列を丸印で示す。また、予測先画像の注目画素の位置に対する予測元画像の参照画素の位置ズレを、動きベクトルＭＶ［ｘ，ｙ］と称する。動きベクトルＭＶは、右方向のズレによりｘが増加し、左方向のズレによりｘが減少する。同様に、動きベクトルＭＶは、下方向のズレによりｙが増加し、上方向のズレによりｙが減少する。

図１２の例では、色配列の左上にＰ１画素、色配列の右下にＰ２画素が配置されている。図１２の場合、画素Ｐ１ａと画素Ｐ２ｘとが同じ標本点に属するが、注目画素（Ｐ２ｘ）は補間により画素Ｐ１ｂ〜Ｐ１ｄの影響を受ける。そのため、予測元画像での参照画素の範囲は、注目画素（Ｐ２ｘ）の位置に対して右に０．５画素、下に０．５画素ずれる。よって、図１２の例では、色差成分の動きベクトルＭＶは［０．５，０．５］となる。

＃３０６での予測情報生成部３０は、上述の動きベクトルＭＶを相殺するように、色差成分の動きベクトルを補正すればよい。

ステップ＃３０７：予測情報生成部３０は、上述の予測情報に基づいて、マクロブロックの色差成分について動き補償予測を行う。その後、図９の＃２０６に処理が復帰する。以上で、図１１の説明を終了する。

（動画像の復号動作例）
以下、第１実施形態での動画像の復号動作例を説明する。

第１実施形態での電子カメラ１００が圧縮処理部１１２で圧縮された圧縮動画像情報の再生指示を受け付けると、画像処理エンジン１０４は記録Ｉ／Ｆ１０７に接続された記憶媒体１１０から圧縮動画像情報を取得する。そして、復号処理部１１３は圧縮動画像情報を復号する。そして、復号された動画像は、画像処理エンジン１０４の制御により、例えばモニタ１０８で再生表示される。

図１３は、復号処理部１１３での動画像の復号動作例を示す流れ図である。

ステップ＃４０１：復号処理部１１３は、記憶媒体１１０から圧縮動画像情報を取得する。そして、復号部４１は、符号化情報から１フレーム分の間引き画像を復号する。

ステップ＃４０２：補間部４２は、復号されたＹＵＶ４：２：０形式の間引き画像に色差補間処理を施し、ＹＵＶ４：４：４形式のカラー画像を出力する。

ステップ＃４０３：復号制御部４３は、取得した圧縮動画像情報の復号が終了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）、復号制御部４３は復号動作を終了する。一方、上述の要件を満たさない場合（ＮＯ側）、＃４０１に戻って次のフレームの復号が行われる。以上で、図１３の説明を終了する。

また、図１４は、図１３の＃４０１での復号処理の例を示す流れ図である。

ステップ＃５０１：符号復号部５１は、符号化された画像のヘッダ領域の情報を復号する。これにより、復号制御部４３は、ピクチャコーディングエクステンションに続くユーザデータの領域から、上述の付帯情報や補正情報をそれぞれ取得する。

ステップ＃５０２：復号制御部４３は、上述の補正情報に基づいて、復号時の動き補償予測での色差成分の動きベクトルについて補正の要否を決定する。例えば、圧縮時に色差成分の動きベクトルを補正している場合、復号制御部４３は、復号時の動き補償予測でも色差成分の動きベクトルを補正する。

ステップ＃５０３：符号復号部５１は、或るマクロブロックの可変長符号を復号し、動きベクトルや参照画像等を示す予測情報や、量子化係数を取得する。

ステップ＃５０４：逆量子化部５２は、マクロブロックの量子化係数（＃５０３）を逆量子化する。

ステップ＃５０５：逆直交変換部５３は、逆量子化（＃５０４）で求めた直交変換係数を逆直交変換して予測誤差を復号する。

ステップ＃５０６：予測部５７は、ＰピクチャまたはＢピクチャを復号する場合、予測情報を用いてマクロブロックを動き補償予測し、マクロブロックの予測値を出力する。また、予測部５７は、Ｉピクチャを復号する場合には、予測値としてゼロ値を出力する。

ステップ＃５０７：加算部５４は、復号された予測誤差にマクロブロックの予測値を加算して、ピクチャの局部復号値を生成する。これにより、１つのマクロブロックの画像が復号された状態となる。なお、上述の局部復号値は第２蓄積部５６に蓄積される。

ステップ＃５０８：復号制御部４３は、１フレームの復号が完了したか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃４０２に処理が復帰する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃５０３に戻って復号部４１は上述の動作を繰り返す。上述のループにより、符号化された画像がブロック単位で復号されることとなる。以上で、図１４の説明を終了する。

また、図１５は、図１４の＃５０７での動き補償予測の処理例を示す流れ図である。

ステップ＃６０１：予測部５７は、復号された予測情報（＃５０３）に基づいて、マクロブロックの動きベクトル、予測モード、参照画像等を設定する。

ステップ＃６０２：予測部５７は、ヘッダ領域の情報（＃５０１）および予測情報（＃５０３）に基づいて、復号対象の画像と参照画像の色差間引きのパターン（第１間引き画像、第２間引き画像）をそれぞれ識別する。

ステップ＃６０３：予測部５７は、上述の予測情報に基づいて、マクロブロックの輝度成分について動き補償予測を行う。

ステップ＃６０４：予測部５７は、図１４の＃５０２の処理に基づいて、色差成分の動きベクトルを補正する設定であるか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃６０５に処理が移行する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃６０７に処理が移行する。なお、＃６０４のＮＯ側の場合、色差成分の動きベクトルを補正することなく、色差成分について動き補償予測が行われる。

ステップ＃６０５：予測部５７は、復号対象の画像と参照画像との色差間引きのパターンが異なるか否かを判定する。上述の要件を満たす場合（ＹＥＳ側）には、＃６０６に処理が移行する。一方、上述の要件を満たさない場合（ＮＯ側）には、＃６０７に処理が移行する。なお、＃６０５のＮＯ側の場合、色差成分の動きベクトルを補正することなく、色差成分について動き補償予測が行われる。

ステップ＃６０６：予測部５７は、参照画像との色差間引きのパターンの違いに応じて、色差成分の動きベクトルを補正する。なお、＃６０６での色差成分の動きベクトルの補正は、図１１の＃３０６の逆処理であるので重複説明を省略する。

ステップ＃６０７：予測部５７は、上述の予測情報に基づいて、マクロブロックの色差成分について動き補償予測を行う。その後、図１４の＃５０６に処理が復帰する。以上で、図１５の説明を終了する。

また、図１６は、図１３の＃４０２での色差補間処理の例を示す流れ図である。

ステップ＃７０１：第１色差補間部６２は、異なるフレームの色差成分の情報を用いずに、色差補間の基準となる画像で間引きされた分の色差成分をフレーム内で補間する。

図１７は、第１色差補間部６２で補間される色差成分の標本点を示す図である。一例として、図１７に示す間引き画像で標本点Ｃ３４、Ｃ４３、Ｃ４４の色差成分を補間する場合を考える。なお、標本点Ｃ３３は、ｎフレーム目の間引き画像に含まれる色差の標本点である。このとき、第１色差補間部６２は、式（１）〜式（４）の演算により補間すべき標本点の色差成分を求めればよい。

ここで、本明細書の記載において、「ｐ」はフレーム内補間で求めた色差の値を示す。また、「Ｃγ［ｎ］」は、ｎフレーム目の標本点γでの色差の値を示す。

なお、例えば、図３（ｂ）に示す第１間引き画像を第１色差補間部６２で色差補間した場合、色差補間後の画像は図１８のようにＹＵＶ４：４：４形式となる。

ステップ＃７０２：色差合成部６３は、色差間引きのパターンがそれぞれ異なり、時間軸方向で隣り合う２画像の色差成分を合成する。色差合成部６３から出力される画像では、色差成分の標本点が市松状に配列された状態となる（図３（ｄ）参照）。

ステップ＃７０３：第２色差補間部６４は、色差合成部６３から出力される画像（図３（ｄ））の色差成分を補間する。

図１９は、第２色差補間部６４で補間される色差成分の標本点を示す図である。一例として、図１９に示す標本点Ｃ３４、Ｃ４３の色差成分を補間する場合を考える。なお、標本点Ｃ３３は、ｎフレーム目の間引き画像に含まれる色差の標本点であり、標本点Ｃ４４は、ｎ−１フレーム目の間引き画像から補充した色差の標本点である。このとき、第２色差補間部６４は、式（５）〜式（８）の演算により補間すべき標本点の色差成分を求めればよい。

ここで、本明細書の記載において、「ｑ」はフレーム間補間で求めた色差の値を示す。また、「Ｓγ［ｎ］ｈ」は、ｎフレーム目の標本点γでの水平方向の相関を示し、「Ｓγ［ｎ］ｖ」は、ｎフレーム目の標本点γでの垂直方向の相関を示す。また、「Ｋγ［ｎ］ｈ」は、ｎフレーム目の標本点γでの水平方向の重み付け値を示し、「Ｋγ［ｎ］ｖ」は、ｎフレーム目の標本点γでの垂直方向の重み付け値を示す。

なお、例えば、図３（ｄ）に示す色差の標本点を合成した画像を第２色差補間部６４で色差補間した場合、色差補間後の画像は図２０のようにＹＵＶ４：４：４形式となる。

ステップ＃７０４：重み付け調整部６５は、標本点に対応した局所領域の輝度成分に応じて、上述の重み付け係数α，１−αを標本点ごとに求める。

例えば、重み付け調整部６５は、重み付け係数を求める標本点を中心として３×３画素の局所領域を設定する。そして、重み付け調整部６５は、上述の局所領域内で、前後２フレーム分の輝度成分の差分総和値から重み付け係数を求める。なお、図２１は、後述する標本点Ｃ３４を求めるときの局所領域の例を示す図である。図２１では、標本点Ｃ３４に対応する局所領域を破線で示す。

例えば、第２色差補間部６４は、標本点Ｃ３３、Ｃ３４、Ｃ４３、Ｃ４４の重み付け係数を求めるときには、式（９）〜式（１２）の演算を行えばよい。なお、標本点Ｃ３３は、ｎフレーム目の間引き画像に含まれる色差の標本点である。

ここで、本明細書の記載において、「ｅγ」は標本点γでの輝度のフレーム間誤差を示す。また、「Ｙγ［ｎ］」はｎフレーム目の標本点γの輝度成分を示す。また、「ＭＩＮ（δ）」は（δ）に含まれる最小値を返す関数である。なお、「Ｃγｏｕｔ」は、標本点γでの重み付け加算後の色差の出力値を示している。

ステップ＃７０５：加算部６８は、係数αで重み付けされた第１乗算部６６の色差成分と、係数１−αで重み付けされた第２乗算部６７の色差成分を標本点ごとに加算する。例えば、標本点Ｃ３３、Ｃ３４、Ｃ４３、Ｃ４４については、＃７０５の加算部６８は、上述の式（９）〜式（１２）でＣ３３ｏｕｔ、Ｃ３４ｏｕｔ、Ｃ４３ｏｕｔ、Ｃ４４ｏｕｔを求めればよい。そして、加算部６８は、色差補間されたＹＵＶ４：４：４形式の画像を外部に出力する。なお、加算部６８の出力画像における色差チャネルの例を図２２に示す。以上で、図１６の説明を終了する。

（第１実施形態の作用効果）
以下、第１実施形態における作用効果を述べる。第１実施形態の電子カメラ１００は、動画像の圧縮時において、ＹＵＶ４：４：４形式のＹＵＶ画像からそれぞれ色差間引きのパターンが異なるＹＵＶ４：２：０形式の第１間引き画像と第２間引き画像とを生成する。そして、電子カメラ１００は、上述の第１間引き画像および第２間引き画像を時系列に沿って符号化する。符号化後の圧縮動画像情報はＹＵＶ４：２：０形式であるので、色差間引きをせずに符号化する場合と比べて情報量を大きく削減できる。

また、第１実施形態の電子カメラ１００は、上述の圧縮動画像情報を復号するときに、色差間引きのパターンが異なる画像の色差成分の情報を用いて色差補間処理を行い、ＹＵＶ４：４：４形式のカラー画像を復元する。これにより、ＹＵＶ４：４：４形式の画像符号化を用いずに、色差間引きを伴う圧縮のときに生じる復号画像のエッジ部分での色にじみを抑制できる。なお、画像の色差間引きのパターンは、例えば、フレーム毎に色差間引きのパターンを表す付帯情報を動画像圧縮装置がユーザデータ領域に付加することで、動画像復号装置に対して明示的に告知できる。

また、第１実施形態で生成される圧縮動画像情報は、ＹＵＶ４：２：０形式に準拠しているため、上述の色差補間処理に対応していない装置でも、ＹＵＶ４：２：０形式の動画像としてそのまま復号できる。

また、第１実施形態において、動き補償予測において符号化対象のフレームと参照フレームの色差間引きのパターンが異なるときに、色差の動きベクトルを補正して動き補償予測することで符号化効率を向上させることができる。このとき、上述の色差の動きベクトルについて補正の有無を表す補正情報を動画像圧縮装置が付与することで、映像復号装置側で復号時に色差の動きベクトルを適切に補正させることができる。

＜第２実施形態の説明＞
図２３は、第２実施形態での装置構成例を示す図である。第２実施形態の装置は、上述の動画像圧縮装置、動画像復号装置として機能するコンピュータである。

図２３に示すコンピュータ２０１は、データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６、バス２０７を有している。データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６は、バス２０７を介して相互に接続されている。さらに、コンピュータ２０１には、入出力Ｉ／Ｆ２０６を介して、入力デバイス２０８（キーボード、ポインティングデバイスなど）とモニタ２０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ２０６は、入力デバイス２０８からの各種入力を受け付けるとともに、モニタ２０９に対して表示用のデータを出力する。

データ読込部２０２は、未圧縮の動画像情報や、上述の圧縮動画像情報や、プログラムを外部から読み込むときに用いられる。データ読込部２０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置２０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置２０３には、上述のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置２０３には、データ読込部２０２から読み込んだ圧縮動画像情報などを記憶しておくこともできる。

ＣＰＵ２０４は、コンピュータ２０１の各部を統括的に制御するプロセッサである。このＣＰＵ２０４は、プログラムの実行によって、第１実施形態の画像処理部１１１、圧縮処理部１１２、復号処理部１１３として機能する。

メモリ２０５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ２０５は、例えば揮発性のＳＤＲＡＭである。

ここで、第２実施形態では、データ読込部２０２または記憶装置２０３から未圧縮の動画像情報を取得し、ＣＰＵ２０４が図８に示す圧縮動作を実施する。あるいは、データ読込部２０２または記憶装置２０３から上述の圧縮動画像情報を取得し、ＣＰＵ２０４が図１３に示す復号動作を実施する。かかる第２実施形態においても、第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：上述の実施形態では、２×２画素の左下と右上の色差の標本点を間引く色差間引きの例を説明したが、２×２画素の左上と右下の色差の標本点を間引くようにしてもよい。

（補足２）：上述の実施形態では、ＭＰＥＧ−２ビデオのメインプロファイルに基づく圧縮符号化の例を説明した。しかし、本発明ではＪＰＥＧ、ＡＶＣ、その他のＹＵＶ４：２：０形式によるその他の圧縮符号化を適用しても良いし、非圧縮符号化を適用しても良い。

（補足３）：画像の色差間引きのパターンを示す付帯情報の付与は、上述の実施形態の例に限定されない。例えば、ＭＰＥＧ−２ビデオのテンポラルリファレンス情報から判断可能な色差間引きのパターンを示すフレーム運用規則を予め規定しておくことで、復号処理装置に対して画像の色差間引きのパターンを暗示的に告知することもできる。

（補足４）：上述の実施形態では、第１間引き画像と第２間引き画像とが交互に生成される例を説明した。しかし、本発明において、第１間引き画像と第２間引き画像とは必ずしも交互に生成されなくともよい。

図２４は、動画像の符号化形式の別例を示す図である。図２４は、第２間引き画像が２フレーム生成されるごとに、第１間引き画像が生成される例を示している。なお、図２４の場合、第１間引き画像はＩピクチャまたはＰピクチャであり、第２間引き画像はＢピクチャである。

（補足５）：上述の実施形態では、補間部４２が符号化対象の画像よりも１フレーム過去の画像を用いて色差補間処理を行う例を説明した。しかし、補間部４２は、色差間引きのパターンが異なる画像であれば、上述の例に限定されずに参照画像を設定することができる。例えば、補間部４２は、符号化対象の画像よりも数フレーム過去の画像や、符号化対象の画像よりも未来の画像を用いて色差補間処理を行ってもよい。

また、補間部４２は、符号化対象の画像と時間軸方向に隣接し、それぞれ色差間引きのパターンが異なる複数の画像を用いて色差補間を行うようにしてもよい（図２５参照）。

図２５は、補間部４２の別例を示す図である。図２５の例では、図７に示す各部に加え、色差合成部６９、第３色差補間部７０、第３乗算部７１、第４乗算部７２をさらに有している。色差合成部６９は、色差補間の基準となる画像に対して１フレーム未来の画像から色差成分を補充する点を除いて、色差合成部６３と同様に機能する。また、第３色差補間部７０は、色差合成部６９から出力される画像の色差成分を補間し、ＹＵＶ４：４：４形式の画像を出力する。

また、図２５の重み付け調整部６５は、第１色差補間部６２の色差成分と第２色差補間部６４の色差成分とを加算するときの重み付け係数α／２，（１−α）／２を標本点ごとに求める（但し、０≦α≦１）。また、重み付け調整部６５は、第１色差補間部６２の色差成分と第３色差補間部７０の色差成分とを加算するときの重み付け係数β／２，（１−β）／２を標本点ごとに求める（但し、０≦β≦１）。そして、第３乗算部７１は、第１色差補間部６２の色差成分に対して係数β／２を乗じる。また、第４乗算部７２は、第３色差補間部７０の色差成分に対して係数（１−β）／２を乗じる。また、加算部６８は、第１乗算部６６から第４乗算部７２までの各出力を加算する。

（補足６）：本発明において、例えば、特開２００８−１０９３７５に開示された複数フレームによる超解像処理を適用して色差補間を行い、色差間引き画像をＹＵＶ４：４：４形式に変換しても良い。この場合、色差の標本点の位置が異なる近隣フレームを用いることで、より効果的に色差を補間できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…フィルタ処理部、１２…第１スイッチ、１３…第１間引き部、１４…第２間引き部、１５…第２スイッチ、１６…符号化部、１７…圧縮制御部、４１…復号部、４２…補間部、４３…復号制御部、１００…電子カメラ、１０１…撮像光学系、１０２…撮像素子、１０３…信号処理部、１０４…画像処理エンジン、１０５…第１メモリ、１０６…第２メモリ、１０７…記録Ｉ／Ｆ、１０８…モニタ、１０９…操作部、１１０…記憶媒体、１１１…画像処理部、１１２…圧縮処理部、１１３…復号処理部、２０１…コンピュータ、２０２…データ読込部、２０３…記憶装置、２０４…ＣＰＵ、２０５…メモリ、２０６…入出力Ｉ／Ｆ、２０７…バス、２０８…入力デバイス、２０９…モニタ

Claims (20)

1. 第１形式のカラー画像から第１のパターンで色差成分を間引き、前記第１形式とは異なる第２形式のカラー画像を生成し、前記第１形式のカラー画像から前記第１のパターンとは異なる第２のパターンで色差成分を間引き、前記第２形式のカラー画像を生成する間引き部と、
   複数の前記第２形式のカラー画像を時系列に沿って符号化する符号化部と、を備え、
   前記符号化部は、複数の前記第２形式のカラー画像のうち、前記第１のパターンで間引かれた第１画像と、前記第２のパターンで間引かれた、前記第１画像よりも参照する枚数が多い第２画像と、により符号化する圧縮装置。
2. 請求項１に記載の圧縮装置において、
   前記符号化部は、前記第１画像と、前記第２画像と、前記第１のパターンで間引かれた、前記第１画像よりも参照する枚数が多い第３画像と、により符号化する圧縮装置。
3. 請求項２に記載の圧縮装置において、
   前記第２画像は、前記第３画像よりも参照する枚数が多い圧縮装置。
4. 請求項１から請求項３のいずれか一項に記載の圧縮装置において、
   前記間引き部は、前記第１形式のカラー画像から奇数行の色差成分の標本点を行方向に沿って離散的に抽出して、前記第２形式のカラー画像を生成する第１間引き部と、
   前記第１形式のカラー画像から偶数行の色差成分の標本点を行方向に沿って離散的に抽出して、前記第２形式のカラー画像を生成する第２間引き部と、を備え、
   前記第１間引き部で抽出される前記標本点の位置に対して、前記第２間引き部で抽出される前記標本点の位置が前記行方向にずれている圧縮装置。
5. 請求項１から請求項４のいずれか１項に記載の圧縮装置において、
   前記符号化部は、符号化された前記第２形式のカラー画像に、前記第１のパターンまたは前記第２のパターンのいずれに対応するかを示す付帯情報を付与する圧縮装置。
6. 請求項１から請求項５のいずれか１項に記載の圧縮装置において、
   前記符号化部は、符号化対象の画像をブロック分割するとともに、予測元の画像との間で前記ブロックごとに動き補償予測を行い、
   前記符号化対象の画像と前記予測元の画像との間で色差成分の間引きのパターンが異なるときに、前記間引きのパターンの違いに応じて色差成分の動きベクトルを補正する圧縮装置。
7. 請求項６に記載の圧縮装置において、
   前記符号化部は、前記色差成分での動きベクトルの補正の要否を示す補正情報を、符号化された画像に付与する圧縮装置。
8. 請求項１から請求項７のいずれか１項に記載の圧縮装置において、
   前記第１形式のカラー画像は、ＹＵＶ４：４：４形式であり、
   前記第２形式のカラー画像は、ＹＵＶ４：２：０形式である圧縮装置。
9. 第１形式のカラー画像から第１のパターンで色差成分を間引き、前記第１形式とは異なる第２形式のカラー画像を生成し、前記第１形式のカラー画像から前記第１のパターンとは異なる第２のパターンで色差成分を間引き、前記第２形式のカラー画像を生成する間引き処理と、
   複数の前記第２形式のカラー画像を時系列に沿って符号化する符号化処理と、をコンピュータに実行させ、
   前記符号化処理では、複数の前記第２形式のカラー画像のうち、前記第１のパターンで間引かれた第１画像と、前記第２のパターンで間引かれた、前記第１画像よりも参照する枚数が多い第２画像と、により符号化するプログラム。
10. 第１形式のカラー画像から第１のパターンで色差成分を間引くことにより前記第１形式とは異なる第２形式のカラー画像に変換された第１画像を符号化した第１符号化情報と、前記第１形式のカラー画像から前記第１のパターンとは異なる第２のパターンで色差成分を間引くことにより前記第２形式のカラー画像に変換された第２画像を符号化した第２符号化情報とを含む圧縮動画像情報を取得する取得部と、
    前記第１符号化情報から、複数の前記第２形式のカラー画像のうち、前記第１のパターンで間引かれた第１画像を復号し、前記第２符号化情報から、前記第２のパターンで間引かれた、前記第１画像よりも参照する枚数が多い第２画像を復号する復号部と、
    前記第２画像の色差成分の情報を用いて、前記第１画像に色差補間処理を施して前記第１形式のカラー画像を出力し、前記第１画像の色差成分の情報を用いて、前記第２画像に色差補間処理を施して前記第１形式のカラー画像を出力する補間部と、を備える復号装置。
11. 請求項１０に記載の復号装置において、
    前記復号部は、前記第１画像と、前記第２画像と、前記第１のパターンで間引かれた、前記第１画像よりも参照する枚数が多い第３画像と、を復号する復号装置。
12. 請求項１１に記載の復号装置において、
    前記第２画像は、前記第３画像よりも参照する枚数が多い復号装置。
13. 請求項１０から請求項１２のいずれか一項に記載の復号装置において、
    前記第１のパターンは、前記第１形式のカラー画像から奇数行の色差成分の標本点を行方向に沿って離散的に抽出し、
    前記第２のパターンは、前記第１形式のカラー画像から偶数行の色差成分の標本点を行方向に沿って離散的に抽出し、
    前記第１のパターンで抽出される前記標本点の位置に対して、前記第２のパターンで抽出される前記標本点の位置が前記行方向にずれている復号装置。
14. 請求項１０から請求項１３のいずれか一項に記載の復号装置において、
    前記圧縮動画像情報は、符号化された画像が前記第１画像または前記第２画像のいずれに対応するかを示す付帯情報を含み、
    前記補間部は、前記付帯情報を参照して色差補間処理に用いる画像を決定する復号装置。
15. 請求項１０から請求項１４のいずれか１項に記載の復号装置において、
    前記第１符号化情報および前記第２符号化情報は、予測元の画像との動き補償予測を用いて画像をそれぞれ符号化した情報であって、
    前記復号部は、復号対象の画像と前記予測元の画像との間で色差成分の間引きのパターンが異なるときに、前記間引きのパターンの違いに応じて色差成分の動きベクトルを補正する復号装置。
16. 請求項１５に記載の復号装置において、
    前記圧縮動画像情報は、画像の復号のときに前記色差成分での動きベクトルの補正の要否を示す補正情報を含み、
    前記復号部は、前記補正情報に応じて、色差成分の動きベクトルを補正する復号装置。
17. 請求項１０から請求項１６のいずれか１項に記載の復号装置において、
    前記補間部は、
    異なる画像の色差成分の情報を用いずに、前記第１画像または前記第２画像に色差補間処理を施す第１色差補間部と、
    前記第２画像の色差成分の情報を用いて前記第１画像に色差補間処理を施し、前記第１画像の色差成分の情報を用いて前記第２画像に色差補間処理を施す第２色差補間部と、
    前記第１色差補間部の出力と前記第２色差補間部の出力とを重み付け加算して、前記第１形式のカラー画像を出力する加算部と、を含む復号装置。
18. 請求項１７に記載の復号装置において、
    前記加算部は、標本点に対応した局所領域の輝度成分に応じて、前記第１色差補間部の出力と前記第２色差補間部の出力とを加算するときの重み付けを調整する復号装置。
19. 請求項１０から請求項１８のいずれか１項に記載の復号装置において、
    前記第１形式のカラー画像は、ＹＵＶ４：４：４形式であり、
    前記第２形式のカラー画像は、ＹＵＶ４：２：０形式である復号装置。
20. 第１形式のカラー画像から第１のパターンで色差成分を間引くことにより前記第１形式とは異なる第２形式のカラー画像に変換された第１画像を符号化した第１符号化情報と、前記第１形式のカラー画像から前記第１のパターンとは異なる第２のパターンで色差成分を間引くことにより前記第２形式のカラー画像に変換された第２画像を符号化した第２符号化情報とを含む圧縮動画像情報を取得する処理と、
    前記第１符号化情報から、複数の前記第２形式のカラー画像のうち、前記第１のパターンで間引かれた前記第１画像を復号し、前記第２符号化情報から、前記第２のパターンで間引かれた、前記第１画像よりも参照する枚数が多い前記第２画像を復号する復号処理と、
    前記第２画像の色差成分の情報を用いて、前記第１画像に色差補間処理を施して前記第１形式のカラー画像を生成し、前記第１画像の色差成分の情報を用いて、前記第２画像に色差補間処理を施して前記第１形式のカラー画像を生成する補間処理と、をコンピュータに実行させるプログラム。

Images