JP2015149622A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 １サイクルで処理される複数の画素に対応するカラーフィルタの配列がサイクルごとに異なる場合でも、当該複数の画素に対応するカラーフィルタの色の配列を簡易な方法で得る。
【解決手段】 カラーフィルタの単位配列（６×６画素）における色の配列（カラーＩＤ）を保持しておく。そして、１サイクルにおいて複数の画素の信号が入力されると、当該複数の画素に対応するカラーフィルタの配列を、保持した色の配列に基づいて選択する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、Ｍ×Ｎ画素の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像により得られた画像信号を処理するために用いて好適なものである。

従来から、デジタルカメラの撮像素子のカラーフィルタの色の配列として、ベイヤー配列と呼ばれる、縦横２画素を一周期として周期的に配置された配列が使用されており、画像処理装置においても、この配列に対応した画像処理回路を備えるものが多かった。

近年、解像度の向上のためにベイヤー配列とは異なる色の配列のカラーフィルタを備えた撮像素子が登場してきている。非特許文献１に記載された撮像素子のカラーフィルタの色の配列は、縦横６画素の中にＲＧＢの各色を非周期的に散りばめたように並べたものになっている。

一方、近年、デジタルカメラの撮像素子における画素数は増えている。その一方で、高速な連写撮影機能や動画撮影機能に対応すること等の理由から、効率的に画像処理を行う必要性が増している。しかしながら、画像処理回路の動作周波数には限界がある。このため、１サイクルあたりの処理効率を向上させるために、複数の画素の信号を同時に処理する画像処理回路が使用されることがある。

複数の画素の信号を同時に処理する方法として、水平方向に並ぶ複数の画素の信号を同時に処理する方法が採られることが多い。これは、一般的な撮像素子では、画素の信号の処理方向はラスター方向であるためである。例えば、1サイクルに２画素または４画素の信号を同時に処理する画像処理回路がある。

また、近年、同一の画角内に、極めて明るい被写体と暗い被写体とが同時に存在する場合に、両者を明瞭に撮影することができるダイナミックレンジの広いカメラ、いわゆるワイドダイナミックレンジカメラが注目されている。
このようなダイナミックレンジの広い撮影を可能にするための処理として、銀塩写真の場合には、現像時に暗室内で行われる覆い焼き処理というものがある。この覆い焼き処理をデジタル画像処理によって実現し、明暗差のある被写体、特に逆光の被写体を補正する技術がある（特許文献１を参照）。以下の説明では、この技術を必要に応じてデジタル覆い焼きと称する。

デジタル覆い焼き処理では、一般に、以下のようにして入力画像の補正を行う。すなわち、まず、入力画像の輝度信号を生成して縮小した後に拡大することで高周波成分が取り除かれた画像データであるローパス画像データを生成する。そして、このローパス画像データの輝度値から、補正係数を決定し、決定した補正係数を用いて、入力画像を補正する。例えば、色の配列の規則性に応じて各画素にカラーＩＤと呼ばれる数値を割り振り、同一のカラーＩＤが割り振られた画素の信号に、当該カラーＩＤに対応する一律のゲインを掛けることにより入力画像の輝度信号を生成することができる。

また、このような輝度信号を生成するための画像処理回路として、複数の画素の信号を同時に処理するために、１サイクルに１画素を処理する場合と同程度の処理レートに処理レートを落として輝度信号を生成する回路があった。１サイクルに１画素を処理する場合と同程度の処理レートに処理レートを落とす方法としては、例えば、同色のカラーフィルタの画素の信号を加算する方法がある。

特開２００６−０６５６７６号公報

"APS-Cサイズ 1630万画素"X-Trans CMOS""、［online］、富士フイルム株式会社、［平成26年１月３日検索］、インターネット〈 URL： http://fujifilm.jp/personal/digitalcamera/x/fujifilm_x_pro1/features/index.html〉

図３は、非特許文献１に開示された撮像素子のカラーフィルタにおける色の配列を示す図である。
ここで、非特許文献１に開示された撮像素子を使用して複数の画素の信号を同時に処理するケースとして、例えば、以下のケースを検討する。
まず、１サイクルに６画素の信号を同時に処理するケースを検討する。このケースでは、撮像素子のカラーフィルタにおける色の配列の繰り返しの単位と、同時に処理する画素の数とが同じである。このため、同一のラインで同時に処理される画素に対応するカラーフィルタの色の配列は、サイクルによって変わらない。

次に、１サイクルに４画素の信号を同時に処理するケースを検討する。このケースでは、左上の画素から信号が入力された場合、最初のサイクルで同時に処理される画素に対応するカラーフィルタの色の配列は、図３の配列３０４で表わされるように、ＧＲＧＧである。しかし、その次のサイクルで同時に処理される画素に対応するカラーフィルタの色の配列は、図３の配列３０５で表わされるように、ＢＧＧＲとなる。よって、従来のカラーＩＤを使用した輝度生成回路では、入力画像の輝度成分を生成することが困難である。１サイクルで同時に処理される画素に対応するカラーフィルタの配列がサイクルごとに異なってしまう場合があるからである。

本発明は、このような課題に鑑みてなされたものであり、１サイクルで処理される複数の画素に対応するカラーフィルタの配列がサイクルごとに異なる場合でも、当該複数の画素に対応するカラーフィルタの色の配列を簡易な方法で得ることを目的とする。

本発明の画像処理装置は、Ｍ×Ｎ画素（Ｍ、Ｎは、正の整数であり、ＭとＮの少なくとも何れか一方は２以上の整数）の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像に基づいて得られた画像信号を入力する入力手段と、少なくとも前記Ｍ×Ｎ画素の各画素に対応する色の配列を記憶する記憶手段と、前記画像信号のうち、１サイクルで処理される複数の画素の信号のそれぞれに対応する色を、前記記憶手段により記憶された色の配列に基づいて選択する選択手段と、前記１サイクルで処理される複数の画素の信号に対して、当該画素に対応する色に応じた処理を行う処理手段と、を有することを特徴とする。

本発明によれば、１サイクルで処理される複数の画素に対応するカラーフィルタの配列がサイクルごとに異なる場合でも、当該複数の画素に対応するカラーフィルタの色の配列を簡易な方法で得ることができる。

画像処理装置の構成を示す図である。 輝度抽出部の構成を示す図である。 カラーフィルタの色の配列を示す図である。 １サイクルで入力される複数の画素信号を説明する図である。 カラーＩＤの配列の第１の例を示す図である。 カラーＩＤの配列の第２の例を示す図である。 カラーＩＤの選択方法を説明する図である。

以下に、本発明の実施形態を、図面に基づいて詳細に説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、画像処理装置１００の構成の一例を示す図である。画像処理装置１００は、例えば、デジタルカメラやデジタルビデオカメラの内部に備わる。
図１に示す画像処理装置１００は、主として、覆い焼き処理とその前後の関連する画像処理を行うブロックを有する。図１に示す例では、画像処理装置１００は、センサ補正部１０１、現像画像縮小部１０２、現像処理部１０３、覆い焼き補正部１０４、及び覆い焼きゲイン生成部１１０を有する。覆い焼きゲイン生成部１１０は、ウインドウ領域導出部１１１、輝度抽出部１１２、画像縮小部１１３ａ、１１３ｂ、画像拡大部１１４ａ、１１４ｂ、及び補正係数演算部１１５ａ、１１５ｂを更に有する。

入力画像データ１８０は、例えば、ＲＧＢ（赤、緑、青）の３種類のデータからなるカラー画像データである。入力画像データ１８０は、例えば、図３に示すような配列のカラーフィルタ（６×６画素を単位配列とし、当該単位配列が周期的に配置された色の配列を有するカラーフィルタ）を備えた撮像素子から出力されるデータである。

図３に示す画素３０１のように、Ｇと記載された画素は緑画素である。同様に、画素３０２のようにＲと記載された画素は赤画素であり、画素３０３のようにＢと記載された画素は青画素である。図３に示すカラーフィルタの色の配列３００では、６×６画素の単位配列（マトリクス）内の縦方向、横方向において、画素３０１（緑画素）、画素３０２（赤画素）及び画素３０３（青画素）が、それぞれ、同じラインに１、２画素単位で非周期的に配置される。

図１の説明に戻り、出力画像データ１９０は、例えば、輝度データ及び色差データ（ＹＵＶ形式）を含む画像データ（画像信号）である。出力画像データ１９０は、表示や圧縮等、不図示の画像処理回路によって必要な処理が施される。
センサ補正部１０１は、入力画像データ１８０に対してセンサ補正処理を行う。具体的にセンサ補正部１０１は、シェーディング補正、黒引きノイズ補正、画素欠陥補正等の撮像素子に関連したデータ補正等を行う。

現像画像縮小部１０２は、動画／静止画撮影モードや、所望する出力画像のサイズに応じて、センサ補正処理が行われた画像データに対して縮小処理を行う。動画撮影モードや静止画撮影モードで、小さいサイズの出力画像が必要な場合には、撮像素子から出力される入力画像データ１８０の画素数よりも、出力画像データ１９０で要求される画素数のほうが小さい。このため、現像画像縮小部１０２は、センサ補正処理が行われた画像データに対して縮小処理を施す。
一方、静止画撮影モードで、大きいサイズの出力画像が必要な場合、現像画像縮小部１０２は、センサ補正処理が行われた画像データに対する縮小処理を行わずに、当該画像データをそのまま現像処理部１０３に出力する。

縮小処理を行う場合、現像画像縮小部１０２は、まず、画像データの領域から、現像処理に必要な画像領域（ウインドウ領域）のみをウインドウ処理で切り出す。そして、現像画像縮小部１０２は、切り出した領域のデータに対してローパスフィルタを適用してから間引き処理を行って、切り出した領域の縮小を行う。ローパスフィルタの係数としては、[１ ２ １]等、様々なものがあるが、縮小率によって折り返しひずみが出ないように適切な係数を選択すればよい。

現像処理部１０３は、現像画像縮小部１０２によって縮小された画像データに対して色間のゲイン補正によってホワイトバランスの調整を行う。このとき、現像処理部１０３は、後述する輝度データを導出するときと同様の方法で、縮小された画像データの各画素のカラーＩＤを選択し、選択したカラーＩＤ毎にゲイン補正を行う。次に、現像処理部１０３は、処理対象の画素の上下及び左右にある近傍の画素のうち、処理対象の画素と同色の画素を各画素のカラーＩＤに基づき抽出し、抽出した画素を用いて同時化処理を行う。同時化処理によって、各画素におけるＲＧＢ信号が生成される。次に、現像処理部１０３は、色空間変換によりＲＧＢ信号から輝度データおよび色差データを生成する。

次に、覆い焼きゲイン生成部１１０の構成の一例について説明する。
ウインドウ領域導出部１１１は、センサ補正処理が行われた画像データの領域全体から、覆い焼き処理に必要な画像領域（ウインドウ領域）を抽出する。現像処理と覆い焼き処理とで縮小処理やフィルタ処理の内容が異なる場合、ウインドウ領域を現像処理と覆い焼き処理とで異ならせる（現像画像縮小部１０２で設定するウインドウ領域とウインドウ領域導出部１１１で抽出するウインドウ領域とを異ならせる）。以下の説明では、ウインドウ領域の左上の画素の水平方向、垂直方向の座標をそれぞれ必要に応じて「水平切り出し座標」、「垂直切り出し座標」と称する。

輝度抽出部１１２は、センサ補正処理が行われた画像データの輝度成分を抽出して、輝度画像データを作成する。すなわち、輝度抽出部１１２は、センサ補正処理が行われた画像データをＲＧＢデータから輝度データに変換して輝度画像データを作成する。輝度抽出部１１２による輝度画像データの具体的な作成方法の一例については、後で詳しく説明する。

画像縮小部１１３ａ、１１３ｂは、ウインドウ領域導出部１１１で導出された領域に基づいて、輝度抽出部１１２で作成された輝度画像データから、必要な領域のみウインドウ処理で切り出す。そして、画像縮小部１１３ａ、１１３ｂは、切り出した領域の輝度画像データに対して縮小処理を行って縮小画像データを作成する。縮小処理の方法としては、様々な方法がある。本実施形態では、簡単な回路で縮小処理を実現するために、切り出した領域の輝度画像データの値を積分し、積分した値に予め設定されたゲイン係数を掛けた値をビットシフト演算により正規化する方法によって縮小処理を行う。例えば、縦・横それぞれ１／１０倍のサイズに切り出した領域の輝度画像データを縮小する場合には、積分を行うブロックとして、縦横・それぞれ１０画素の大きさを有する、合計１００画素のブロック内の各画素の値を積分し、積分した値を１００で除算する。回路規模を削減するために、除算回路の代わりに、乗算器とビットシフトとを用いる場合には、例えば、前述したようにして積分した値を１０倍し、その値を１０ビット右シフトさせてもよい。

本実施形態では、画像縮小部１１３ａは、切り出した領域の輝度画像データを、縦・横それぞれ１／１０倍に縮小するものとする。また、画像縮小部１１３ｂは、切り出した領域の輝度画像データを縦・横それぞれ１／１００倍に縮小するものとする。このように、本実施形態では、画像縮小部１１３ｂの方が、画像縮小部１１３ａよりも、よりサイズが小さくなるように画像を縮小する。

画像拡大部１１４ａ、１１４ｂは、それぞれ、画像縮小部１１３ａ、１１３ｂで縮小された輝度画像データに対して拡大処理を行い、ローパス画像データを作成する。本実施形態では、画像拡大部１１４ａ、１１４ｂは、バイリニアによる補間を行うことにより拡大処理を行うものとする。しかしながら、画像拡大部１１４ａ、１１４ｂは、ニアレストネイバー等の別手法によって補間処理を行ってもよい。

補正係数演算部１１５ａ、１１５ｂは、それぞれ、画像拡大部１１４ａ、１１４ｂで拡大された輝度画像データ（ローパス画像データ）の明暗に応じて補正係数を導出する。この際、補正係数演算部１１５ａ、１１５ｂは、輝度の低い部分ほど大きな値となるように補正係数を導出する。補正係数を導出するための演算式は、ガンマ関数等を用いて予め計算されているものとする。例えば、輝度と補正係数との関係をルックアップテーブルとして格納しておき、補正係数演算部１１５ａ、１１５ｂは、当該ルックアップテーブルを用いて補正係数を導出する。
以上が、覆い焼きゲイン生成部１１０の構成の一例である。

覆い焼き補正部１０４は、補正係数演算部１１５ａ、１１５ｂで導出された補正係数を用いて、現像処理部１０３から入力した画像データ（輝度データ、色差データ）に演算処理を行い、当該画像データを補正する。具体的に、覆い焼き補正部１０４は、補正係数演算部１１５ａ、１１５ｂで導出された２つの補正係数をそれぞれ現像処理部１０３から入力した画像データ（輝度データ、色差データ）に掛け合わせた後、相互に対応する画素の値について加算平均を行う。このように、異なる縮小率（ローパス比率）で縮小された画像データ（ローパス画像データ）から算出した補正係数を用いることにより、より自然な覆い焼き効果を出すことができる。覆い焼き補正部１０４は、このような処理を、ＹＵＶの各々のデータに対して個々に実行して（輝度データ、色差データ毎に個別に実行して）画像データの補正処理を行い、これを出力画像データ１９０として出力する。

次に、輝度抽出部１１２における詳細な構成（輝度画像データの詳細な導出方法）の一例を説明する。
図２は、輝度抽出部１１２の構成の一例を示す図である。輝度抽出部１１２は、覆い焼き処理のために、センサ補正処理が行われた画像データから輝度データ（輝度成分）を導出するものである。

センサ補正部出力画像データ２０１は、センサ補正部１０１から出力される、センサ補正処理が行われた画像データ（画像信号）である。画像処理装置１００は、複数の画素の信号の同時処理に対応している。このため、１サイクルで複数の画素の信号が、センサ補正部出力画像データ２０１として輝度抽出部１１２に入力される場合がある。

図４は、１サイクルで入力される複数の画素信号の一例を説明する図である。
図４（ａ）は、画素の読み出し順の一例を示す図である。図４（ａ）において、左上端の画素４０１からラスター方向に画素を出力する場合、図４（ａ）のアルファベットＡからＮの順に撮像素子から画素の信号が読み出される。
図４（ｂ）は、１サイクルあたりに４画素が同時に輝度抽出部１１２に入力される様子を概念的に示す図である。最初のサイクル（１）でＡからＤまでの画素の信号が輝度抽出部１１２に入力される。次に、サイクル（２）でＥからＨまでの画素の信号が輝度抽出部１１２に入力される。次に、サイクル（３）でＩからＬまでの画素の信号が輝度抽出部１１２に入力される。以下同様にして１サイクルに４画素の信号が同時に輝度抽出部１１２に入力される。

画像の右端の画素の信号が輝度抽出部１１２に入力されるサイクル（４）では、アルファベットＭとＮの画素の信号が輝度抽出部１１２に入力されるが、４画素には２画素足りない。そこで、足りない画素の信号の値として例えば「０（ゼロ）」が輝度抽出部１１２に入力されるようにする。この「０」が入力された画素においては、画像縮小部１１３ａ、１１３ｂで使用されるゲイン係数の値を調節して、他の画素と調整すればよい。または、輝度抽出部１１２において後述する輝度データの抽出後に、当該画素の輝度データを、当該画素の近傍の画素（本実施形態では、当該画素からＮ画素（Ｎは１以上の整数）の範囲内にある画素）の輝度データを用いて補間してもよい。また、輝度抽出部１１２において後述する輝度データの抽出後に、当該画素の輝度データを、当該画素の近傍の画素（本実施形態では、当該画素からＮ画素（Ｎは１以上の整数）の範囲内にある画素）による前置補間を行ってもよい。

水平カウンタ２１１は、センサ補正部出力画像データ２０１が輝度抽出部１１２に入力されるごとにカウントアップする。複数の画素の信号が同時に輝度抽出部１１２に入力される場合、水平カウンタ２１１は、サイクルごとに、入力される画素の数分だけカウントアップする。例えば、４画素の信号が同時に輝度抽出部１１２に入力される場合、水平カウンタ２１１は、サイクルごとに、４ずつカウントアップする。水平カウンタ２１１の最大値は、撮像素子のカラーフィルタの配列３００の繰り返し単位を設定する。図３に示す例では、水平カウンタ２１１の最大値は「６」である。この場合、水平カウンタ２１１は、「１」〜「６」の間でカウントを行う。例えば、水平カウンタ２１１の値が「５」であるときに４画素の信号が輝度抽出部１１２に入力されると、水平カウンタ２１１の値は「３」になる。

水平カウンタ２１１の初期値は、ウインドウ領域情報２０２より得られる。ウインドウ領域情報２０２は、ウインドウ領域導出部１１１で抽出されたウインドウ領域に得られる水平切り出し座標・垂直切り出し座標である。水平カウンタ２１１の初期値として、水平切り出し座標を、カラーフィルタの配列３００の水平方向の繰り返し単位である「６」で割った余りの数が設定される。例えば、水平切り出し座標が「２０」の場合、２０÷６＝３余り２なので、「２」が水平カウンタ２１１の初期値として設定される。

垂直カウンタ２１２は、水平方向の１ラインの画素数の信号が輝度抽出部１１２に入力されるごとにカウントアップする。水平方向の１ラインの画素数は、ウインドウ領域導出部１１１で抽出されたウインドウ領域の水平方向の画素数から得られる。垂直カウンタ２１２の最大値も、水平カウンタ２１１の最大値と同様に、図３に示す例では「６」である。また、この場合、垂直カウンタ２１２は、水平カウンタ２１１と同様に、「１」〜「６」の間でカウントを行う。

垂直カウンタ２１２の初期値は、水平カウンタ２１１の初期値と同様に、ウインドウ領域情報２０２より得られる。垂直カウンタ２１２の初期値は、垂直切り出し座標を、カラーフィルタの配列３００の垂直方向の繰り返し単位である「６」で割った余りの数が設定される。例えば、垂直切り出し座標が「９」の場合、９÷６＝１あまり３なので「３」が垂直カウンタ２１２の初期値として設定される。

カラーＩＤ選択部２１３は、水平カウンタ２１１および垂直カウンタ２１２から出力されたカウント値を受け取り、カラーＩＤ配列保持部２１４から、カラーＩＤを取得し、ゲイン選択部２１５に出力する。１複数の画素の信号が同時に輝度抽出部１１２に入力される場合、カラーＩＤ選択部２１３は、複数のカラーＩＤの配列として、複数の画素のカラーＩＤを同時にゲイン選択部２１５に出力する。以下の説明では、カラーＩＤ選択部２１３が取得した複数のカラーＩＤを必要に応じて「カラーＩＤ配列」と称する。

図５は、カラーＩＤ配列保持部２１４に保持されるカラーＩＤの配列の一例を示す図である。
カラーＩＤ配列保持部２１４は、カラーフィルタにおける色の配列３００の単位配列分（垂直方向・水平方向それぞれ１周期分）のカラーＩＤを保持する。カラーＩＤは、各カラーフィルタに対応する。図５に示す例では、マス目（画素）内に示されている「０」が緑、「１」が赤、「２」が青を表す。

例えば、ウインドウ領域導出部１１１により抽出されたウインドウ領域により、水平方向・垂直方向切り出し座標が（２０、９）であり、４画素の信号を同時に処理する場合、カラーＩＤ選択部２１３は、以下のようにしてカラーＩＤを選択する。すなわち、カラーＩＤ選択部２１３は、最初のサイクルで、カラーＩＤ配列保持部２１４の（２、３）座標から水平方向に４個のカラーＩＤを選択する。よって、カラーＩＤ選択部２１３は、カラーＩＤ配列として、「１、０、０、２」を選択する。また、カラーＩＤ配列は６画素の単位の繰り返しになるため、カラーＩＤ選択部２１３は、次のサイクルで、カラーＩＤ配列として「０、０、１、０」を選択する。すなわち、水平カウンタ２１１は４カウントアップする。一方、垂直カウンタ２１２はカウントアップしない。したがって、カラーＩＤ選択部２１３は、カラーＩＤ配列保持部２１４の（６、３）座標から水平方向に４個のカラーＩＤ（（６、３）座標、（１，３）座標、（２，３）座標、（３，３）座標のカラーＩＤ）を選択する。

図２の説明に戻り、ゲイン選択部２１５は、カラーＩＤ選択部２１３から入力されたカラーＩＤ配列に対して、予め設定されたゲインであって、各カラーフィルタに応じたゲインを出力する。例えば、緑に対して０．７のゲインが、赤に対して０．５のゲインが、青に対して０．３のゲインがそれぞれ設定されているとする。この場合、前述した例では、ゲイン選択部２１５は、最初のサイクルにおいて（０．５、０．７、０．７、０．３）の４つのゲインを出力する。同様にゲイン選択部２１５は、次のサイクルにおいて（０．７、０．７、０．５、０．７）の４つのゲインを出力する。

ゲイン演算部２１６は、センサ補正部出力画像データ２０１に対して、ゲイン選択部２１５から出力されたゲインにより演算処理を行う。演算処理は、センサ補正部出力画像データ２０１の１サイクルにおける画素の値に、当該画素に対応するゲインを乗算し、足し合わせる。前述した例では、最初のサイクルにおいて、Ａ×０．５＋Ｂ×０．７＋Ｃ×０．７＋Ｄ×０．３が、この演算処理の結果として得られる。ゲイン演算部２１６は、このような演算処理の結果を輝度データ２０３として画像縮小部１１３ａ、１１３ｂに出力する。

以上のように本実施形態では、カラーフィルタの単位配列（６×６画素）における色の配列（カラーＩＤ）を保持しておく。そして、１サイクルにおいて複数の画素の信号が入力されると、当該複数の画素に対応するカラーフィルタの配列を、保持した色の配列に基づいて選択する。したがって、ベイヤー配列以外の特殊な配列のカラーフィルタを備えた撮像素子を使用した場合でも、当該複数の画素に対応するカラーフィルタの色の配列を簡易な方法で行うことができる。よって、ベイヤー配列以外の特殊な配列のカラーフィルタを備えた撮像素子を使用した場合でも、複数の画素の信号を同時に（すなわち１サイクルで）処理して輝度成分を算出することを簡易な方法で実現できる。また、輝度成分を算出した後の画像処理回路として、既存の回路を使用することができる。このため、簡易な方法で回路を実装することができ、回路規模の大幅な削減効果が期待できる。

本実施形態では、カラーフィルタの単位配列が６×６画素である場合を例に挙げて説明した。しかしながら、カラーフィルタの単位配列は、Ｍ×Ｎ画素（Ｍ、Ｎは、正の整数であり、ＭとＮの少なくとも何れか一方は２以上の整数）であればよい。
また、本実施形態では、色を数値化したカラーＩＤをカラーＩＤ配列保持部２１４に記憶するようにしたが、色を識別する情報であれば、必ずしもカラーＩＤを記憶する必要はない。
また、本実施形態では、カラーフィルタの単位配列のカラーＩＤを保持するようにした。しかしながら、記憶容量は大きくなるが、少なくともカラーフィルタの単位配列のカラーＩＤを保持していれば、その他のカラーＩＤを保持してもよい。例えば、カラーフィルタの単位配列の４倍（（４×Ｍ）×（４×Ｎ）画素のカラーフィルタの配列）のカラーＩＤを保持してもよい。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、撮像素子から出力される全ての画素の信号を入力画像データとして読み出す場合を例に挙げて説明した。しかしながら、処理時間の短縮や、出力として必要な画素数が小さい場合には、画素の信号を所定の方法で間引いて撮像素子から読み出す場合がある。そこで、本実施形態では、このように画素の信号を間引いて撮像素子から読み出す場合のカラーＩＤ配列の選択の方法について説明する。このように本実施形態と第１の実施形態は、カラーＩＤ配列保持部２１４へのカラーＩＤの保持のさせ方と、カラーＩＤ配列保持部２１４からのカラーＩＤの読み出し方とが主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
ここで、撮像素子から出力される画素の信号の読み出し方向は、ラスター方向である場合が多い。そのため、間引きの方向は垂直方向である場合が多い。そこで本実施形態では、垂直方向に１行ずつ間引いて撮像素子から画素の信号を読み出す場合を例に挙げて説明する。

図６は、カラーＩＤ配列保持部２１４に保持されるカラーＩＤの配列の一例を示す図である。
カラーＩＤ配列保持部２１４は、カラーフィルタの色の配列３００から、垂直方向に１行ずつ間引いた配列（奇数行の配列）のカラーＩＤを保持する。図６に示す例でも、図５に示す例と同様に、カラーＩＤは、各カラーフィルタに対応しており、マス目（画素）内に示されている「０」が緑、「１」が赤、「２」が青を表す。
図６に示すように、カラーフィルタの配列３００を間引いて保持することで、簡易な方法で間引き読み出しに対応することができる。尚、図６に示す例では、垂直カウンタ２１２の最大値は「３」になる。

本実施形態では、カラーフィルタの単位配列のカラーＩＤから、撮像素子において間引かれる画素に対応するカラーＩＤを間引いてカラーＩＤ配列保持部２１４に保持するようにした。しかしながら、必ずしもこのようにする必要はない。例えば、図５に示すようにカラーＩＤ配列保持部２１４にカラーＩＤを保持させ、水平方向の１ラインの画素数の信号が輝度抽出部１１２に入力されるごとに垂直カウンタ２１２が２ずつカウントアップしてもよい。このようにした場合には、図５において、垂直２，４，６ライン目のカラーＩＤは使用されずに間引かれるため、図６に示したようにしてカラーＩＤ配列保持部２１４にカラーＩＤを保持させるのと同様な効果がある。

また、本実施形態では、垂直方向に１行ずつ間引いて撮像素子から画素の信号を読み出す場合を例に挙げて説明した。しかしながら、垂直方向の間引く行数は１行に限定されない。また、水平方向に間引いてもよいし、垂直方向および水平方向の両方において間引いてもよい。このようにした場合には、間引き方に応じて、水平カウンタ２１１および垂直カウンタ２１２の初期値・最大値の設定や、カウントアップの方法を変更することは勿論である。例えば、水平方向に間引く場合には、垂直カウンタ２１２は、水平方向の１ラインの画素数から間引かれる画素数を引いた数の信号が輝度抽出部１１２に入力されるごとにカウントアップする。
本実施形態においても、第１の実施形態で説明した変形例を採用することができる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第１の実施形態では、カラーフィルタの単位配列のカラーＩＤを全て保持する場合を例に挙げて説明した。これに対し、本実施形態では、カラーフィルタの単位配列内の色の配列の規則性を利用して、保持するカラーフィルタの配列の（カラーＩＤ）の数を削減する。このように本実施形態と第１の実施形態とは、カラーＩＤ配列保持部２１４へのカラーＩＤの保持のさせ方と、カラーＩＤ配列保持部２１４からのカラーＩＤの読み出し方とが主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図７は、カラーＩＤの選択方法の一例を説明する図である。具体的に、図７（ａ）は、カラーＩＤ配列保持部２１４に保持されるカラーＩＤの配列の一例を示す図である。図７（ｂ）は、垂直方向のカラーＩＤの配列を選択する方法の一例を概念的に示す図である。
図７（ａ）に示すように本実施形態では、カラーＩＤ配列保持部２１４は、図５に示したカラーＩＤの配列の最初の２行のみを保持する。それぞれの配列をα、βと呼ぶ。さらに、カラーＩＤ選択部２１３は、垂直方向のカラーＩＤ配列を選択するための垂直方向選択セレクタを持つ。カラーＩＤ選択部２１３は、この垂直方向選択セレクタの値に基づいて、垂直方向のカラーＩＤ配列を選択する。

まず、第１の実施形態と同様に、カラーＩＤ選択部２１３は、水平カウンタ２１１および垂直カウンタ２１２から出力されたカウント値を受け取る。次に、カラーＩＤ選択部２１３は、垂直方向選択セレクタを参照し、垂直カウンタ２１２のカウント値に対応する値として、「α」、「β」、「αの反転」、または「βの反転」を選択する。垂直カウンタ２１２のカウント値に対応する値として「α」または「β」が選択された場合、カラーＩＤ選択部２１３は、次のようにして垂直方向のカラーＩＤ配列を選択する。すなわち、カラーＩＤ選択部２１３は、カラーＩＤ配列保持部２１４のカラーＩＤの配列から、当該選択された「α」または「β」のカラーＩＤを、垂直方向のカラーＩＤ配列（垂直カウンタ２１２のカウント値に対応する行のカラーＩＤ配列）として選択する。

一方、垂直カウンタ２１２のカウント値に対応する値として「αの反転」または「βの反転」が選択された場合、カラーＩＤ選択部２１３は、次のようにして垂直方向のカラーＩＤ配列を選択する。すなわち、まず、カラーＩＤ選択部２１３は、カラーＩＤ配列保持部２１４に保持されているカラーＩＤから、当該選択された「α」または「β」のカラーＩＤの配列を選択する。次に、カラーＩＤ選択部２１３は、選択したカラーＩＤの配列の水平方向の中心を通る垂直方向の線を軸とする線対称の関係にある画素のカラーＩＤを入れ替える。すなわち、カラーＩＤ選択部２１３は、選択したカラーＩＤのｎ列（ｎは１列〜Ｎ／２列（図７に示す例では、１、２、３（＝６／２））のカラーＩＤと、（Ｎ−ｎ＋１）列のカラーＩＤとを入れ替える。そして、カラーＩＤ選択部２１３は、入れ替えた後のカラーＩＤの配列を、垂直方向のカラーＩＤ配列（垂直カウンタ２１２のカウント値に対応する行のカラーＩＤ配列）として選択する。

第１の実施形態では、カラーＩＤ配列保持部２１４が保持するカラーＩＤの数は３６（＝６×６）個である。これに対し本実施形態では、カラーフィルタの単位配列内の規則性を利用することにより、カラーＩＤ配列保持部２１４保持するカラーＩＤの数を１２個にすることができる。このように本実施形態では、カラーＩＤ配列保持部２１４に保持するカラーＩＤの配列を削減することができ、さらなる回路規模の削減が期待できる。

本実施形態では、カラーフィルタの単位配列のうち最初の２行の配列（の色に対応するカラーＩＤ）を、カラーＩＤ配列保持部２１４に保持し、垂直方向選択セレクタの値に基づき、垂直方向のカラーＩＤ配列（各行のカラーＩＤ配列）を導出した。しかしながら、必ずしもこのようにする必要はない。すなわち、カラーフィルタの単位配列に存在する色の配列の規則性の基礎となす部分をカラーＩＤ配列保持部２１４に保持し、残りの部分を、当該規則性を利用して導出していればよい。例えば、図５に示すカラーフィルタの単位配列のうち最初の２列の配列（の色に対応するカラーＩＤ）を、カラーＩＤ配列保持部２１４に保持してもよい。このようにした場合、図７に示した例の「列」と「行」、「水平方向」と「垂直方向」をそれぞれ入れ替えればよい。また、図５に示すカラーフィルタにおけるカラーＩＤの配列では、以上のような「水平方向」におけるカラーＩＤの入れ替えと「垂直方向」におけるカラーＩＤの入れ替えとの双方を行える場合を示した。しかしながら、カラーフィルタの単位配列内の規則性に応じて、これらの何れか一方の入れ替えのみが行える配列であってもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置、１１２輝度抽出部

Claims (11)

1. Ｍ×Ｎ画素（Ｍ、Ｎは、正の整数であり、ＭとＮの少なくとも何れか一方は２以上の整数）の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像に基づいて得られた画像信号を入力する入力手段と、
   少なくとも前記Ｍ×Ｎ画素の各画素に対応する色の配列を記憶する記憶手段と、
   前記画像信号のうち、１サイクルで処理される複数の画素の信号のそれぞれに対応する色を、前記記憶手段により記憶された色の配列に基づいて選択する選択手段と、
   前記１サイクルで処理される複数の画素の信号に対して、当該画素に対応する色に応じた処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記１サイクルで処理される複数の画素の数は、前記Ｍでも前記Ｎでもないことを特徴とする請求項１に記載の画像処理装置。
3. 前記入力手段は、前記画像信号のうち、所定の方法で間引きが行われた画素の信号を入力し、
   前記記憶手段は、前記Ｍ×Ｎ画素のうち、前記所定の方法で間引きが行われた画素に対応する色の配列を記憶することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記入力手段は、前記画像信号のうち、所定の方法で間引きが行われた画素の信号を入力し、
   前記選択手段は、前記記憶手段により記憶された色の配列のうち、前記画像信号から間引かられる画素に対応する色の配列を選択しないことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記カラーフィルタの前記Ｍ×Ｎ画素における色の配列は規則性を有し、
   前記記憶手段は、前記Ｍ×Ｎ画素の各画素に対応する色の配列のうち、前記規則性の基礎をなす部分の色の配列と、当該規則性の基礎をなす部分の色の配列を用いて前記Ｍ×Ｎ画素の各画素に対応する色の配列を導出する方法を示す情報と、を記憶し、
   前記選択手段は、前記Ｍ×Ｎ画素の各画素に対応する色の配列を、前記記憶手段に記憶されている前記規則性の基礎をなす部分の色の配列と前記情報とを用いて導出することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記カラーフィルタの前記Ｍ×Ｎ画素における色の配列は、
   水平方向の１つの行の色の配列において、前記Ｍ×Ｎ画素の水平方向の中心を通る垂直方向の線を軸とする線対称の関係にある画素を相互に入れ替えることにより、その他の少なくとも１つの行の色の配列が得られる配列と、
   垂直方向の１つの列の色の配列において、前記Ｍ×Ｎ画素の垂直方向の中心を通る水平方向の線を軸とする線対称の関係にある画素を相互に入れ替えることにより、その他の少なくとも１つの列の色の配列が得られる配列と、
   の少なくとも何れかの配列を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記選択手段は、前記複数の画素の信号として所定の値の信号を入力すると、当該所定の値を有する画素に対応する色を、前記記憶手段により記憶された色の配列に基づいて選択せず、
   前記処理手段は、前記色に応じた処理が行われた画素の信号を用いた補間処理を、前記所定の値を有する画素の信号に対する処理として行うことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記記憶手段は、前記色の配列として、色を数値化して示す情報を記憶することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記処理手段は、前記画素の信号に対して、当該画素に対応する色に応じた係数を用いた演算を行って、前記画素の輝度成分を抽出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. Ｍ×Ｎ画素（Ｍ、Ｎは、正の整数であり、ＭとＮの少なくとも何れか一方は２以上の整数）の単位で周期的に配置された色の配列を有するカラーフィルタを備えた撮像素子による撮像に基づいて得られた画像信号を入力する入力工程と、
    少なくとも前記Ｍ×Ｎ画素の各画素に対応する色の配列を記憶する記憶工程と、
    前記画像信号のうち、１サイクルで処理される複数の画素の信号のそれぞれに対応する色を、前記記憶工程により記憶された色の配列に基づいて選択する選択工程と、
    前記１サイクルで処理される複数の画素の信号に対して、当該画素に対応する色に応じた処理を行う処理工程と、
    を有することを特徴とする画像処理方法。
11. 請求項１〜９の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images