JP2020123862A - 画像符号化装置 - Google Patents

Abstract

【課題】 撮像センサーをシフトしながら取得した複数のＲＡＷ画像を符号化することにおいて、周波数の折り返りが生じないように各色のプレーン画像を生成することで圧縮効率を改善する。【解決手段】 画像信号を生成する撮像素子と、撮像素子を１画素間隔で移動することが可能な撮像素子移動手段と、撮像素子により取得した画像信号を蓄積する撮像情報記憶手段と、撮像情報記憶手段に格納された画像信号を４枚読み出し、それらから赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成する色成分並び替え手段と、プレーン画像を周波数分解する周波数分解手段と、周波数分解手段によって周波数分解されたプレーン画像を量子化する量子化手段と、量子化手段によって量子化されたプレーン画像を符号化する符号化手段を備えた画像符号化装置であり、撮像素子移動手段によって撮像素子を移動させながら、４枚の画像信号を取得することを特徴とする。【選択図】 図２

Description

本発明は、複数枚のＲＡＷ画像を符号化する画像符号化装置に関する。

昨今、赤、青、緑の３つの色成分で構成されたデジタル画像の取得方法として、業務用カムコーダで主に使用されている３板式のセンサーの他に、ベイヤー配列でカラーフィルターが構成された単板式のセンサーを使用した方法がある。

３板式センサーは赤、青、緑の画素値について、それぞれに対応したセンサーで取得できるため、デジタル画像を構成する画素毎に赤、青、緑の色成分に対して、センサーから取得した画素値をそのまま用いることが出来る利点がある。

単板式センサーは、３板式センサーと比べて、センサーの数が１枚で済むほか、撮影時にレンズから入射した光を、赤、緑、青のそれぞれの光に分光するプリズムなども必要としないため、カメラの筺体サイズの小型化、及び製造コストの削減を達成することが出来る。

さらに、図１の左の画像で示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されているベイヤー配列の構造となっており、１画素につき、赤、青、緑の内の何れか１つの成分しか持っていない。そのため、単板式センサーで取得した画像信号（ＲＡＷ画像）からデジタル画像を作る際に、周囲の画素を用いて、足りない色の画素値を補間する必要がある。

しかし、上記の補間処理において、実際の画素値を再現できるわけではないため、３板式センサーを使用した場合に比べて、単板式センサーを使用した場合のデジタル画像は解像感が落ちる。

そこで、センサーをシフトしながら複数枚のＲＡＷ画像を取得、それらを合成して高精細な画像を生成する方法がある（特許文献１）。

取得した複数枚のＲＡＷ画像は、カメラ本体で合成する他、専用のソフトウェアを使うことで、より高度な画像処理を施すことも考えられる。ソフトウェアで処理する場合は、複数枚のＲＡＷ画像をそのまま記録する必要がある。

しかしながら、ＲＡＷ画像そのもののデータ量が一般的なＪＰＥＧ画像データと比べて非常に大きく、更に複数のＲＡＷ画像を同時に記録するため、記録メディアの空き領域を圧迫させることが問題となる。

そこで、記録データ量を削減するために、特許文献２に開示されている技術のように、撮像したＲＡＷ画像を圧縮符号化して記録する方法が考えられる。

特許文献２には、図１で示すように１枚のＲＡＷ画像から色成分毎に信号を分けて、４枚のプレーン画像を形成し、それぞれを圧縮する方法が記載されている。尚、図１は赤成分（Ｒ）、青成分（Ｂ）、及び２つの緑成分（Ｇ１、Ｇ２）が画素毎にモザイク状に配置されているＲＡＷ画像からプレーン画像に分離する例を示したものである。

特開２００８−３５２４１号公報 特開２００３−１２５２０９号公報

特許文献２の方法は、１画素のサブサンプリングでＲＡＷ画像から色成分を分離、プレーン画像を形成するため、サブサンプリングにより各プレーン画像で周波数の折り返りが生じてしまう。そして、周波数帯の折り返りにより、符号化処理の内の周波数変換で低域成分と高域成分の切り分けが上手くできなくなり、画質への影響が小さい高周波成分の量子化ステップを大きくした場合、画質に大きな影響を持つ低周波成分も強く量子化されてしまう。高周波成分を積極的に量子化して情報量を削減することが出来ず、圧縮効率が良くないといった問題がある。

そこで、本発明は、撮像センサーをシフトしながら取得した複数のＲＡＷ画像を符号化することにおいて、周波数の折り返りが生じないように、かつ圧縮効率が改善するように各色のプレーン画像を生成することで、記録データ量を小さくする画像符号化装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像符号化装置は、
受光面にベイヤー配列のカラーフィルターを備え、受光する被写体像に応じた画像信号を生成する撮像素子と、
前記撮像素子を１画素間隔で移動することが可能な撮像素子移動手段と、
前記撮像素子により取得した画像信号を蓄積する撮像情報記憶手段と、
前記撮像情報記憶手段に格納された画像信号を所定の枚数だけ読み出し、赤成分、青成分、第１の緑成分、及び第２の緑成分のそれぞれを読み出した画像信号から分離し、それらから赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成する色成分並び替え手段と、
前記プレーン画像を周波数分解する周波数分解手段と、
前記周波数分解手段によって周波数分解されたプレーン画像を量子化する量子化手段と、
前記量子化手段によって量子化されたプレーン画像を符号化する符号化手段と、
を具備し、
前記撮像素子移動手段によって前記撮像素子を移動させながら、所定の枚数だけ画像信号を取得することを特徴とする。

本発明に係る画像符号化装置によれば、撮像センサーをシフトしながら取得した複数のＲＡＷ画像を符号化することにおいて、周波数の折り返りが生じないように、かつ圧縮効率が改善するように各色のプレーン画像を生成することで、記録データ量を小さくすることができる。

ＲＡＷ画像からプレーン画像に分離する例を示す図である。 本発明の第１の実施例に係る画像符号化装置の構成を示すブロック図である。 本発明に係る撮像部の動作を示した図である。 本発明の第１の実施例に係るプレーン生成部の処理を示した図である。 本発明の第１の実施例に係る処理フローを示した図である。 本発明の第１の実施例に係る再生処理の構成を示すブロック図である。 本発明の第１の実施例に係る再生処理の処理フローを示した図である。 本発明の第２の実施例に係るプレーン生成部の処理を示した図である。 本発明の第２の実施例に係る、４枚のＲＡＷ画像からＧ１プレーンを構成する際の画素の時間関係を示した図である。 本発明の第２の実施例に係る、２枚のＲＡＷ画像からＧ１プレーンを構成する際の画素の時間関係を示した図である。 本発明の第３の実施例に係る画像符号化装置の構成を示すブロック図である。 本発明の第３の実施例に係るプレーン生成部の処理を示した図である。 本発明の第３の実施例に係る、４枚のＲＡＷ画像からＧ１プレーンを生成した場合における、プレーン変換に用いる画素の時間関係を示した図である。 本発明の第３の実施例に係る、２枚のＲＡＷ画像からＧ１プレーンを生成した場合における、プレーン変換に用いる画素の時間関係を示した図である。 本発明の第３の実施例に係る処理フローを示した図である。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

本発明を適用した第１の実施形態である画像符号化装置の構成について、図２のブロック図を参照しながら説明する。

ここで、第１の実施例の画像符号化装置２００は、光学部２０１、撮像部２０２、撮像素子移動部２０３、プレーン生成部２０４、符号化部２０５、記録処理部２０６、記録媒体２０７、メモリＩ／Ｆ２０８、メモリ２０９、制御部２１０で構成されている。

制御部２１０は、撮像部２０２、撮像素子移動部２０３、プレーン生成部２０４、符号化部２０５、記録処理部２０６を制御する。

光学部２０１は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系で構成されており、レンズ光学系を通して取得した光情報を、撮像部２０２に送る。

撮像部２０２は、光学部２０１から送られた光情報を電気信号に変換するＣＣＤイメージセンサー又は、ＣＭＯＳセンサーなどの撮像素子を含み、撮像素子により得られた電気信号をデジタル信号へ変換したＲＡＷ画像をメモリＩ／Ｆ２０８を介してメモリ２０９に記憶する。尚、本実施例において、ＲＡＷ画像は図１の左の図で示すベイヤーＲＡＷで構成されているものとするが、本発明はそれを制限するものではない。

撮像素子移動部２０３は、撮像部２０２を１画素ピッチでシフトさせる移動ユニットを含み、制御部２１０によるシフト指令に応じて、撮像部２０２を移動させる。尚、撮像素子移動部２０３の処理については後ほど説明する。

プレーン生成部２０４は、後述する手法を用いて、メモリ２０９から読み出した４枚のＲＡＷ画像から、４枚のプレーン画像を生成する。

符号化部２０５は、プレーン生成部２０４から入力された４枚のプレーン画像をそれぞれ符号化する。符号化部２０５による符号化処理として、まずは入力されたプレーン画像を離散コサイン変換や、離散ウェーブレット変換などの周波数変換を用いて周波数領域毎に分離する。続いて、周波数変換されたプレーン画像に対して、周波数領域毎に量子化ステップサイズを設定して量子化を行う。その後、量子化されたプレーン画像に対してハフマン符号や算術符号等を用いたエントロピー符号化を行い、符号化ストリームを生成する。
尚、符号化部２０５により生成された符号化ストリームはメモリＩ／Ｆ２０８を介してメモリ２０９に記憶する。

記録処理部２０６は、メモリ２０９へ格納された符号化ストリーム等の各種データを記録媒体２０７へ記録する。

記録媒体２０７は、例えば不揮発性メモリで構成される記録メディアである。

メモリＩ／Ｆ２０８は、各処理部からのメモリ・アクセス要求を調停し、メモリ２０９に対する読み出し・書き込み制御を行う。

メモリ２０９は、撮像装置２００を構成する各処理部から出力される各種データを格納するための例えば揮発性メモリで構成される記憶領域である。

続いて、撮像素子移動部２０３の動作の詳細について、図３を参照しながら説明する。

図３は、撮像部２０２を１画素ずつ移動させて連続的に４回の撮像をした時の撮像部２０２の位置と光学部２０１から入射された光の関係および生成されるＲＡＷ画像を時系列で示した図である。

図３の左側は、各時間における撮像部２０２（カラーフィルタ）の位置と光学部２０１から撮像部２０２に照射する光（図における太枠）の関係を示している。また図の左および上の下線部付の数字は、撮像部２０２の座標を示している。図３の右側は、図３左側の関係の時に生成されるＲＡＷ画像を示している。

撮像部２０２を１画素ずつ移動させて連続的に撮像した際の動作を説明する。

ここで、座標（０，０）を、撮像素子移動部２０３による撮像部２０２の移動における基点とする。

時刻ｔ０において撮像部２０２が座標（０，０）に位置する時、撮像してＲＡＷ０を取得する。

時刻ｔ１の時に撮像部２０２を右に１画素移動し、座標（１，０）を起点とした位置に移動して撮像し、ＲＡＷ１を取得する。

時刻ｔ２の時に撮像部２０２を下に１画素移動し、座標（１，１）を起点とした位置に移動して撮像し、ＲＡＷ２を取得する。

時刻ｔ３の時に撮像部２０２を左に１画素移動し、座標（０，１）を起点とした位置に移動して撮像し、ＲＡＷ３を取得する。

このように撮像部２０２を移動させて連続的に撮像することで取得したＲＡＷ０〜ＲＡＷ３の４枚のＲＡＷ画像の、同じ画素位置から、Ｒ、Ｇ１、Ｇ２、Ｂの画素を得ることができる。例えば座標（０、０）の画素においては、ＲＡＷ０からＲ画素、ＲＡＷ１からＧ１画素、ＲＡＷ２からＢ画素、ＲＡＷ３からＧ２画素という様に、各色の値を得ることが可能となる。

続いて、プレーン生成部２０４の詳細について、図４を参照しながら説明する。

図４は、前述の撮像部２０２で撮像部２０２を動かして４連写して取得した４枚のＲＡＷ画像からＲ、Ｇ１、Ｇ２、Ｂプレーンを生成する図を表す。

ここでの説明は、Ｇ１プレーンの生成について焦点を当てたものとする。撮像部２０２を１画素ずつ移動させて取得しているため、４枚のＲＡＷ画像におけるそれぞれのＧ１画素の位置は互いに異なっている。

時系列に従ってＲＡＷ０〜ＲＡＷ３としたとき、ＲＡＷ０のＧ１画素の位置は水平座標で奇数、垂直座標で偶数に位置する。

同様に、ＲＡＷ１〜ＲＡＷ３におけるＧ１画素の位置は次のとおりである。

ＲＡＷ１のＧ１画素の位置は水平座標で偶数、垂直座標で偶数の座標に位置する。

ＲＡＷ２のＧ１画素の位置は水平座標で偶数、垂直座標で奇数の座標に位置する。

ＲＡＷ３のＧ１画素の位置は水平座標で奇数、垂直座標で奇数の座標に位置する。

従って、ＲＡＷ０〜ＲＡＷ３のそれぞれのＧ１画素について、画素位置をそのままに１つのプレーン画像にまとめることで、ＲＡＷ画像と同じ画素数でプレーン画像を生成することが出来る。尚、Ｒ，Ｂ，Ｇ２プレーンに関しても、Ｇ１プレーンと同様に生成することが出来る。それぞれのプレーン画像はＲＡＷ画像からサブサンプリングで抽出した画素を利用して生成されているが、間引かれた位置については別のＲＡＷ画像から抽出した画素で補間されるため、間引きが無い状態でプレーン画像を生成することが出来る。

続いて、本発明の第１の実施例の画像符号化装置の動作の詳細を図５に示すフローチャートを基づき説明する。

まず始めに制御部２１０が撮像部２０２に撮像部２０２の位置の初期化を命令する（Ｓ５０１）。

続いて制御部２１０から撮像部２０２に撮像命令が発行し、ＲＡＷ画像データを取得し、メモリ２０９に一時的に記憶させる（Ｓ５０２）。

その後４枚のＲＡＷ画像をメモリに記憶させたか否かを判定し（Ｓ５０３）、４枚のＲＡＷ画像がメモリ２０９に無ければ、制御部２１０が撮像素子移動部２０３に撮像部２０２の位置の移動を命令し（Ｓ５０４）、Ｓ５０２に戻る。

４枚のＲＡＷ画像がメモリ２０９に有れば、プレーン生成部２０４にプレーン生成命令を発行し、プレーン生成部２０４はメモリ２０９から４枚のＲＡＷ画像を読み出し、それらから４枚のプレーン画像を生成する（Ｓ５０５）。

その後、４枚のプレーン画像が符号化部２０５に送られ圧縮符号化、符号化ストリームが生成され（Ｓ５０６）、記録処理部２０６を介して記録媒体２０７に符号化ストリームを記録する（Ｓ５０７）。

また、本実施例の画像符号化装置で生成した符号化ストリームは、例えば図６に示す再生処理部６００を構成することで再生することが可能である。

ここで、再生処理部６００は、記録媒体６０１、記録媒体読み出し部６０２、復号部６０３、Ｇプレーン処理部６０４、ＲＧＢ画像生成部６０５、表示部６０６で構成されている。

記録媒体６０１は、例えば不揮発性メモリで構成される記録メディアである。

媒体読み出し部６０２は、記録媒体６０１が格納している符号化ストリームを読み出す。

復号部６０３は、記録媒体６０１から読み出した符号化ストリームを復号して、Ｒ、Ｇ１、Ｇ２、Ｂの４枚のプレーン画像を生成する。

Ｇプレーン処理部６０４は、復号部６０３で生成した４枚のプレーン画像の内、Ｇ１とＧ２のプレーンから１枚のＧプレーンを生成する。これは、一般的な表示方法が１画素毎にＲ、Ｇ、Ｂの３つの値を用いているので、２つのＧ成分をまとめる必要があるためである。尚、Ｇプレーンの生成方法としては、例えばＧ１プレーンとＧ２プレーンを画素単位で平均を取ることが考えられる。

ＲＧＢ画像生成部６０５は、Ｒプレーン、Ｂプレーン、及びＧプレーン処理部６０４で生成されたＧプレーンからＲＧＢ画像を生成する。尚、ＲＧＢ画像の生成の方法として、例えばＲＧＢ画像の１画素当りのＲＧＢ成分の値に対して、Ｒ、Ｇ、Ｂプレーンの同位置の画素値をそのまま用いることが考えられる。

表示部６０６は、ＲＧＢ画像生成部６０５により生成されたＲＧＢ画像をＰＣディスプレイなどの表示機器に表示するプログラムである。

次に、再生処理部６００による再生処理の動作フローについて、図７を参照しながら説明する。

まずは、記録媒体読み出し部６０２により、記録媒体６０１から符号化ストリームを読み出す（Ｓ７０１）。

その後、復号部６０３が符号化ストリームを復号してＲ、Ｇ１、Ｇ２、Ｂプレーンを取得する（Ｓ７０２）。

続いて、Ｇプレーン処理部６０４により、Ｇ１プレーンとＧ２プレーンからＧプレーンを生成する（Ｓ７０３）。

その後、ＲＧＢ画像生成部６０５によりＲプレーン、Ｇプレーン、ＢプレーンからＲＧＢ画像を生成し（Ｓ７０４）、ＲＧＢ画像をＰＣモニタに表示する（Ｓ７０５）。

以上の処理によって、本発明の実施例１の画像符号化装置によって圧縮されたＲＡＷ画像を再生することが可能となる。

以上の様に本実施例の画像符号化装置は、撮像部２０２を１画素ずつ移動させて取得した４枚のＲＡＷ画像から各成分を抜き出して４枚のプレーン画像を生成し、それぞれを符号化する。それぞれのプレーン画像はＲＡＷ画像からサブサンプリングで抽出した画素を利用して生成されているが、間引かれた位置については別のＲＡＷ画像から抽出した画素で補間されるため、間引きが無い状態でプレーン画像を生成することが出来る。

プレーン生成の際に画素の間引きがないことで、プレーン画像を周波数変換した時に周波数帯の折り返しが発生しないので、低域成分と高域成分の切り分けができ、画質への影響が小さい高周波成分への量子化の影響が、画質に大きな影響を持つ低周波成分に波及しない。

そのため、記録データ量を小さくするため、高周波成分の量子化ステップを大きくした場合においても、画質を保ったまま複数枚のＲＡＷ画像を圧縮することが可能となる。

続いて、本発明を適用した第２の実施形態である画像符号化装置について説明する。

第２の実施例の画像符号化装置の構成、及び処理フローは、前述の第１の実施例の画像符号化装置と同じであるため、ここでの説明は省略する。

第２の実施例の画像符号化装置は、プレーン生成部２０４におけるＧ１プレーン、及びＧ２プレーンの生成方法について、第１の実施例の画像符号化装置と差異がある。

実施例２におけるプレーン生成部２０４による処理について、図８を参照しながら説明する。

図８は、前述の撮像部２０２で撮像部２０２を動かして４連写して取得した４枚のＲＡＷ画像からＧ１、Ｇ２プレーンを生成する例を示す図である。

４連写して取得した４枚のＲＡＷ画像を時系列に従ってＲＡＷ０〜ＲＡＷ３としたとき、
Ｇ１プレーンは次の様に作られる。

ＲＡＷ０のＧ１画素を、Ｇ１プレーンにおける水平座標で奇数、垂直座標で偶数の位置の画素に用いる。

ＲＡＷ０のＧ２画素を、Ｇ１プレーンにおける水平座標で偶数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ１のＧ１画素を、Ｇ１プレーンにおける水平座標で偶数、垂直座標で偶数の位置の画素に用いる。

ＲＡＷ１のＧ２画素を、Ｇ１プレーンにおける水平座標で奇数、垂直座標で奇数の位置の画素に用いる。

同様にＧ２プレーンは次の様に作られる。

ＲＡＷ２のＧ１画素を、Ｇ２プレーンにおける水平座標で偶数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ２のＧ２画素を、Ｇ２プレーンにおける水平座標で奇数、垂直座標で偶数の位置の画素に用いる。

ＲＡＷ３のＧ１画素を、Ｇ２プレーンにおける水平座標で奇数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ３のＧ２画素を、Ｇ２プレーンにおける水平座標で偶数、垂直座標で偶数の位置の画素に用いる。

２つの緑成分（Ｇ１、Ｇ２）は、撮像部２０２のカラーフィルターが同じものであるため、ＲＡＷ画像におけるＧ１画素とＧ２画素をＧ１プレーン、及びＧ２プレーンに混在させることができる。

尚、Ｒ，Ｂプレーンは、実施例１の画像符号化装置のプレーン生成方法を用いて作られる。

以上の様に、実施例２の画像符号化装置は、Ｇ１プレーン、Ｇ２プレーンのそれぞれの生成時に時間軸上で隣り合った２枚のＲＡＷ画像を利用する。

時間的に隣り合ったＲＡＷ画像を用いることで、Ｇ１プレーン、及びＧ２プレーンを構成する画素間での時間的な違いによる差分が、４枚のＲＡＷ画像からＧ１、Ｇ２プレーンを生成する場合よりも小さくなる。

ここで、実施例２のプレーン生成方法による効果を説明する。

まずは実施例２のプレーン生成方法との比較のために、ＲＡＷ０〜ＲＡＷ３を使用する実施例１のプレーン生成方法について、図９を参照にしつつ、時間的な違いによる差分の観点で説明をする。

ここで、図９（Ａ）は、実施例１のプレーン生成の方法によって、Ｇ１プレーンがＲＡＷ０〜ＲＡＷ３の４枚のＲＡＷ画像から作られた場合を示す図である。

また、図９（Ｂ）は、実施例２のプレーン生成の方法によって、Ｇ１プレーンがＲＡＷ０、ＲＡＷ１の２枚のＲＡＷ画像から作られた場合を示す図である。

また、図９は、ＲＡＷ０由来の画素を白、ＲＡＷ３由来の画素を黒、とするように画素の時間的な違いを色の濃淡で表している。

Ｇ１プレーンで説明をすると、実施例１のプレーン生成方法において、水平座標で奇数、垂直座標で偶数の座標はＲＡＷ０を由来としており、水平座標で奇数、垂直座標で奇数の座標はＲＡＷ３を由来としている。

そのため、水平座標が奇数の列で、ＲＡＷ０の画素とＲＡＷ３の画素が交互に配置されてしまっており、時間的な違いに起因して隣接画素間の差分が大きくなってしまう。被写体に動きがある場合、水平座標が奇数の列において、隣接画素間の差分がより大きくなってしまう。

隣接画素間の差分が大きい箇所を周波数変換した場合、高周波成分の変換係数が大きくなりプレーン画像が持つ情報量が増大することにより、符号化データが大きくなり、符号化効率が低下してしまう。

一方で、実施例２のプレーン生成方法は、Ｇ１プレーンを生成するに当たり、時間的に隣接したＲＡＷ０、ＲＡＷ１の２枚のＲＡＷ画像を由来とする。時間的な違いによる隣接画素間の差分が小さくなるため、被写体に動きがある場合でも、符号化効率の低下を抑えることができる。

以上の様に、実施例２の画像符号化装置は、Ｇ１、Ｇ２プレーンにおいて、画素間の差分を小さくできるため、実施例１の画像符号化装置よりも符号化効率の改善が期待できる。

続いて、本発明を適用した第３の実施形態である画像符号化装置について、図１０のブロック図を参照しながら説明する。

ここで、本発明の第３の実施例である画像符号化装置１０００は、撮像部２０２、符号化部２０５、記録処理部２０６、記録媒体２０７、メモリＩ／Ｆ２０８、メモリ２０９、プレーン生成部１００１、プレーン変換部１００２、プレーン選択部１００３、及び制御部１００４で構成されている。

尚、第３の実施例の画像符号化装置の説明において、プレーン生成部１００１、プレーン変換部１００２、プレーン選択部１００３、及び制御部１００４のみを説明する。

その他の構成、及び処理については、前述の第１の実施例の画像符号化装置と同様であるため、ここでの説明は省略する。

プレーン生成部１００１は、メモリ２０９に記憶されているＲＡＷ画像を読み出し、後述する手法を用いてＲ、Ｇ１、Ｇ２、Ｂの４枚のプレーン画像を生成する。生成されたプレーン画像は、プレーン変換部１００２、及びプレーン選択部１００３に送られる。

プレーン変換部１００２は、プレーン生成部１００１によって入力された４枚のプレーン画像を変換して、Ｙ、Ｕ、Ｖ、ＤＧの４枚のプレーン画像を生成する。生成されたプレーン画像は、プレーン選択部１００３に送られる。

詳細は後述する。

プレーン選択部１００３は、制御部１００４からの指示に基づき、プレーン生成部１００１から送られたＲ、Ｇ１、Ｇ２、Ｂの４枚のプレーン画像か、プレーン変換部１００２から送られたＹ、Ｕ、Ｖ、ＤＧの４枚のプレーン画像の何れか一方を符号化部２０５に送る。

制御部１００４は、撮像部２０２、撮像素子移動部２０３、符号化部２０５、記録処理部２０６、プレーン生成部１００１、プレーン選択部１００３を制御する。

また、制御部１００４は、所定の判断基準に基づいて、プレーン生成部１００１で生成されたＲ、Ｇ１、Ｇ２、Ｂプレーンか、プレーン変換部１００２で生成されたＹ、Ｕ、Ｖ、ＤＧプレーンの何れか一方を符号化部２０５に送ることを選択し、プレーン選択部１００３に指示する。

所定の判断基準としては、記録データ量に係るパラメタを用いることが出来る。例えば目標記録データ量を判断基準として、元画像ファイルサイズに対して所定のデータ量以上のデータ量を目標とする場合は、プレーン生成部１００１から入力されたプレーン画像を、所定のデータ量よりも小さいデータ量を目標とする場合はプレーン変換部１００２から入力されたプレーン画像を選択する。

次に、プレーン変換部１００２の詳細について説明する。

まずは、Ｇ１、Ｒ、ＢプレーンからＹ、Ｕ、Ｖプレーンへの変換について説明する。

Ｇ１、Ｒ、Ｂプレーンのそれぞれ同位置に存在する画素値、Ｇ１（ｍ、ｎ）、Ｒ（ｍ、ｎ）、Ｂ（ｍ、ｎ）に対して、所定の変換行列を掛けることにより、Ｙ（ｍ、ｎ）、Ｕ（ｍ、ｎ）、Ｖ（ｍ、ｎ）を計算することで、Ｙ、Ｕ、Ｖプレーンに変換している。

変換行列としては、公知のものを使うことが出来る。例えば、Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．７０９で定義された変換行列を用いる場合は、変換式は次の様になる。

Ｒ、Ｇ１、ＢプレーンからＹ、Ｕ、Ｖプレーンに変換することによって、符号化の際に画質への影響が小さいＵ、Ｖの量子化を大きくして、画質を保ったまま記録データ量を小さくすることが可能となる。

また、Ｇ１、Ｇ２プレーンのそれぞれ同位置に存在する画素値、Ｇ１（ｍ、ｎ）、
Ｇ２（ｍ、ｎ）から次の計算式に基づきＤＧ（ｍ、ｎ）を計算することでＤＧプレーンが生成される。

Ｇ１とＧ２は同じ位置かつ同じ成分の画素値であるため、ＤＧプレーンは主に小さな画素値で構成されるプレーン画像となる。そのため、ＤＧプレーンに変換することで、符号化効率が改善し、記録データ量を小さくすることが出来る。

プレーン変換部１００２によって、Ｒ、Ｇ１、Ｇ２、ＢプレーンからＹ、Ｕ、Ｖ、ＤＧプレーンに変換することで、Ｕ、Ｖの量子化を大きくすることができ、またＤＧの符号化結果のデータサイズが小さいため、記録データ量を小さくすることが可能となる。

次に、プレーン生成部１００１の詳細について説明する。

プレーン生成部１００１は制御部１００４の指示に基づいて４枚のＲＡＷ画像からＲ、Ｇ１、Ｇ２、Ｂプレーンを生成する。

制御部１００４がプレーン生成部１００１で生成されたＲ、Ｇ１、Ｇ２、Ｂプレーンを符号化部２０５に送ると判断した場合は、プレーン生成部１００１は実施例２と同様の方法を用いてＲ、Ｇ１、Ｇ２、Ｂプレーンを生成する。

制御部１００４がプレーン変換部１００２で生成されたＹ、Ｕ、Ｖ、ＤＧプレーンを符号化部２０５に送ると判断した場合は、図１１に示す方法でＲ、Ｇ１、Ｇ２、Ｂプレーンを生成する。

図１１は、前述の撮像部２０２で撮像部２０２を動かして４連写して取得した４枚のＲＡＷ画像からＧ１、Ｇ２プレーンを生成する図を表す。

４連写して取得した４枚のＲＡＷ画像を時系列に従ってＲＡＷ０〜ＲＡＷ３としたとき、Ｇ１プレーンは次の様に作られる。

ＲＡＷ１のＧ１画素を、Ｇ１プレーンにおける水平座標で偶数、垂直座標で偶数の位置の画素に用いる。

ＲＡＷ１のＧ２画素を、Ｇ１プレーンにおける水平座標で奇数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ２のＧ１画素を、Ｇ１プレーンにおける水平座標で偶数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ２のＧ２画素を、Ｇ１プレーンにおける水平座標で奇数、垂直座標で偶数の位置の画素に用いる。

同様にＧ２プレーンは次の様に作られる。

ＲＡＷ０のＧ１画素を、Ｇ２プレーンにおける水平座標で奇数、垂直座標で偶数の位置の画素に用いる。

ＲＡＷ０のＧ２画素を、Ｇ２プレーンにおける水平座標で偶数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ３のＧ１画素を、Ｇ２プレーンにおける水平座標で奇数、垂直座標で奇数の位置の画素に用いる。

ＲＡＷ３のＧ２画素を、Ｇ２プレーンにおける水平座標で偶数、垂直座標で偶数の位置の画素に用いる。

尚、Ｒ，Ｂプレーンは、実施例１の画像符号化装置のプレーン生成方法を用いて作られる。

ここで、Ｙ、Ｕ、Ｖ、ＤＧプレーンを符号化する際に、上記方法でＧ１プレーンを作る場合の効果を、図１２を参照しながら説明する。

図１２（Ａ）、（Ｂ）はＲ、Ｇ１、Ｇ２、Ｂプレーンのそれぞれを構成する画素がＲＡＷ０〜ＲＡＷ３の何れかのＲＡＷ画像に由来するものなのかを示す図である。

図１２（Ａ）はＧ１、Ｇ２プレーンのそれぞれが、ＲＡＷ０〜ＲＡＷ３の４枚のＲＡＷ画像から、図４で示す実施例１の画像符号化装置のプレーン生成方法を用いて作られた場合を示す図である。また、図１２（Ｂ）はＧ１プレーンがＲＡＷ１、ＲＡＷ２の２枚のＲＡＷ画像から、Ｇ２プレーンがＲＡＷ０、ＲＡＷ３の２枚のＲＡＷ画像から、図１１で示す実施例３の画像符号化装置のプレーン生成方法を用いて作られた場合を示す図である。

プレーン変換部１００２は、Ｒ、Ｇ１、Ｂプレーンに対して、同位置の画素を基にした変換によって、Ｙ、Ｕ、Ｖプレーンを生成する。しかし、実際はプレーン画像を構成する画素がＲＡＷ０〜ＲＡＷ３の何れかに由来しているため、同位置のＲ、Ｇ１、Ｂの画素の間で、時間的な差を持っている。

図１２（Ａ）の例では、水平座標で偶数、垂直座標で偶数の位置において（例えば、座標（０，０））、ＲはＲＡＷ０が、Ｇ１はＲＡＷ１が、ＢはＲＡＷ２が由来となっており、時間的に近い関係を持っている。

しかし、水平座標で奇数、垂直座標で奇数の位置において（例えば、座標（３，３））、ＲはＲＡＷ２が、Ｇ１はＲＡＷ３が、ＢはＲＡＷ０が由来となっており、Ｒ、Ｇ１に対して、Ｂが時間的に離れている関係となっている。

そのため、被写体に動きがある場合、同じ画素位置において、Ｒ，Ｇ１が含まれるＲＡＷ０、ＲＡＷ１と、Ｂが含まれるＲＡＷ３の相関性が低くなり、ＹＵＶへの変換が上手くいかず、符号化効率が低下することが考えられる。

一方で、図１２（Ｂ）の例では、水平座標で偶数、垂直座標で偶数の位置において（例えば、座標（０，０））、ＲはＲＡＷ０が、Ｇ１はＲＡＷ１が、ＢはＲＡＷ２が由来となっており、時間的に近い関係を持っている。

また、水平座標で奇数、垂直座標で奇数の位置において（例えば、座標（３，３））、ＲはＲＡＷ１が、Ｇ１はＲＡＷ２が、ＢはＲＡＷ３が由来となっており、この座標においてもＲ、Ｇ１、Ｂの間で時間的に近い関係を持っている。

そのため、被写体に動きがある場合、同じ画素位置において、Ｒ，Ｇ１、Ｂが含まれるＲＡＷ０、ＲＡＷ１、ＲＡＷ２の相関性が高く、ＹＵＶへの変換への影響が無くなり、符号化効率を改善することが可能となる。

続いて、本発明の第３の実施例の画像符号化装置の動作の詳細を図１３に示すフローチャートを基づき説明する。尚、第１の実施例と同様の処理には同じ符号を付して示し、ここでの説明を簡略化する。

まず始めに実施例１と同様に、撮像部２０２の位置を初期化し、撮像部２０２の位置をずらしながら４枚のＲＡＷ画像を取得してメモリ２０９に一時記憶する（Ｓ５０１−Ｓ５０４）。

その後、所定の判定基準に基づき、制御部１００４がＲ、Ｇ１、Ｇ２、Ｂプレーンか、Ｙ、Ｕ、Ｖ、ＤＧプレーンの何れか一方を符号化部２０５に送ることを選択して、プレーン生成部１００１、プレーン選択部１００３に指示を出す（Ｓ１３０１）。

次に、制御部１００４が、Ｙ、Ｕ、Ｖ、ＤＧプレーンを符号化対象とするようにプレーン選択部１００３に指示を出しているか否かを判定する（Ｓ１３０２）。

Ｙ、Ｕ、Ｖ、ＤＧプレーンを符号化対象としている場合は、プレーン生成部１００１はメモリ２０９から４枚のＲＡＷ画像を読み出し、実施例３の画像符号化装置のプレーン生成方法を用いてＧ１、Ｇ２プレーンを作る（Ｓ１３０３）。

Ｙ、Ｕ、Ｖ、ＤＧプレーンではなく、Ｒ、Ｇ１、Ｇ２、Ｂプレーンを符号化対象としている場合は、プレーン生成部１００１はメモリ２０９から４枚のＲＡＷ画像を読み出し、実施例２の画像符号化装置のプレーン生成方法を用いてＧ１、Ｇ２プレーンを作る（Ｓ１３０４）。

続いて、プレーン変換部１００２が、プレーン生成部１００１から送られたＲ、Ｇ１、Ｇ２、Ｂプレーンから、Ｙ、Ｕ、Ｖ、ＤＧプレーンに変換する（Ｓ１３０５）。

その後、プレーン選択部１００３が、制御部１００４からの指示に従い、Ｒ、Ｇ１、Ｇ２、Ｂプレーンか、Ｙ、Ｕ、Ｖ、ＤＧプレーンの何れか一方を符号化部２０５に送るかを決める（Ｓ１３０６）。

Ｙ、Ｕ、Ｖ、ＤＧプレーンを符号化する場合は、プレーン選択部１００３はＹ、Ｕ、Ｖ、ＤＧプレーンを符号化部２０５に送り（Ｓ１３０６）、Ｒ、Ｇ１、Ｇ２、Ｂプレーンを符号化する場合は、プレーン選択部１００３はＲ、Ｇ１、Ｇ２、Ｂプレーンを符号化部２０５に送る（Ｓ１３０７）。

その後、４枚のプレーン画像を圧縮符号化し、符号化ストリームを記録媒体２０７に記録する（Ｓ５０６−Ｓ５０７）。

以上の様に、実施例３の画像符号化装置は、Ｒ、Ｇ１、Ｇ２、ＢプレーンからＹ、Ｕ、Ｖ、ＤＧプレーンに変換することで、符号化の際に画質への影響が小さいＵ、Ｖの量子化を大きくして、画質を保ったまま記録データ量を小さくすることが可能となるため、実施例１の画像符号化装置よりも符号化効率の改善が期待できる。

２００ 画像符号化装置、２０２ 撮像部、２０４ プレーン生成部、
２０５ 符号化部、２０６ 記録処理部、２０７ 記録媒体、
２０８ メモリＩ／Ｆ、２０９ メモリ、２１０ 制御部、
１００１ プレーン生成部、１００２ プレーン変換部、
１００３ プレーン選択部、１００４ 制御部

Claims (10)

1. 受光面にベイヤー配列のカラーフィルターを備え、受光する被写体像に応じた画像信号を生成する撮像手段と、
   前記撮像素子を１画素間隔で移動することが可能な撮像素子移動手段と、
   前記撮像素子により取得した画像信号を蓄積する撮像情報記憶手段と、
   前記撮像情報記憶手段に格納された画像信号を所定の枚数だけ読み出し、赤成分、青成分、第１の緑成分、及び第２の緑成分のそれぞれを読み出した画像信号から分離し、それらから赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成するプレーン生成手段と、
   前記プレーン画像を符号化する符号化手段と、
   を具備し、
   前記撮像素子移動手段によって前記撮像素子を移動させながら、所定の枚数の画像信号を取得し、所定の枚数毎に画像信号を符号化することを特徴とする画像符号化装置。
2. 前記符号化手段は、前記プレーン生成手段により生成されたプレーン画像を周波数分解する周波数分解手段と、前記周波数分解手段で周波数分解されたプレーン画像を量子化する量子化手段と、を備えることを特徴とする請求項１に記載の画像符号化装置。
3. 前記撮像素子移動手段によって前記撮像素子を４回移動させながら、４枚の画像信号を取得し、前記プレーン生成手段は、前記撮像情報記憶手段に格納された４枚の画像信号を読み出し、赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像をそれぞれ生成することを特徴とする請求項１又は請求項２に記載の画像符号化装置。
4. 前記プレーン生成手段は、第１の緑成分、第２の緑成分の内の少なくとも１つのプレーン画像を、時間的に隣り合った２つの画像信号から生成することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像符号化装置。
5. 前記プレーン生成手段は、前記撮像素子による４回の撮影において、１番目と２番目に取得した画像信号から第１の緑成分を生成し、３番目と４番目に取得した画像信号から第２の緑成分のプレーン画像を生成することを特徴とする請求項４に記載の画像符号化装置。
6. 前記プレーン生成手段は、前記撮像素子による４回の撮影において、２番目と３番目に取得した画像信号から第１の緑成分を生成し、１番目と４番目に取得した画像信号から第２の緑成分のプレーン画像を生成することを特徴とする請求項４に記載の画像符号化装置。
7. 前記プレーン生成手段により生成された、赤成分、青成分、時間的に隣り合った画像信号より生成された第１の緑成分、あるいは第２の緑成分のプレーン画像を輝度成分、第１の色差成分、第２の色差成分のプレーン画像に変換し、第１の緑成分と第２の緑成分の差分を取ることで第３の色差成分のプレーン画像に変換するプレーン変換手段と、を備え、前記プレーン変換手段によって生成したプレーン画像を符号化することを特徴とする請求項４に記載の画像符号化装置。
8. 前記プレーン生成手段により生成された赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像の画像を符号化するのか、前記プレーン変換手段によって生成された輝度成分、第１の色差成分、第２の色差成分、及び第３の色差成分のプレーン画像を符号化するのかを選択する符号化対象選択手段を備えることを特徴とする請求項７に記載の画像符号化装置。
9. 前記符号化対象選択手段において、圧縮率によって符号化対象となるプレーンを選択することを特徴とする請求項８に記載の画像符号化装置。
10. 前記プレーン生成手段により生成された赤成分、青成分、第１の緑成分、及び第２の緑成分のプレーン画像の画像を符号化するのか、前記プレーン変換手段によって生成された輝度成分、第１の色差成分、第２の色差成分、及び第３の色差成分のプレーン画像を符号化するのかを選択する符号化対象選択手段を備え、
    前記プレーン生成手段によって生成されたプレーン画像を符号化すると判定した場合は、前記プレーン生成手段は前記撮像素子による４回の撮影において、１番目と２番目に取得した画像信号から第１の緑成分のプレーン画像を、３番目と４番目に取得した画像信号から第２の緑成分のプレーン画像を生成し、
    前記プレーン変換手段によって生成されたプレーン画像を符号化すると判定した場合は、前記プレーン生成手段は、前記撮像素子による４回の撮影において、２番目と３番目に取得した画像信号から第１の緑成分のプレーン画像を、１番目と４番目に取得した画像信号から第２の緑成分のプレーン画像を生成し、
    前記符号化対象選択手段により選択されたプレーン画像を符号化することを特徴とする請求項４に記載の画像符号化装置。