JP2013197612A - 撮像装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】 カラーの縮小画像を生成するときに、モアレや偽色の発生を抑制しつつ、より解像感の高い画像を得る。
【解決手段】 撮像装置は、入射光を電気信号に変換する複数の画素が行列状に配置された画素部と、複数種類のカラーフィルタと、信号出力部とを備える。複数種類のカラーフィルタは、それぞれが異なる色成分の光を透過させるとともに、所定の色配列に従って画素に配置される。信号出力部は、画素部から電気信号を加算間引きで読み出し、縮小画像の画像信号を生成する。信号出力部は、加算間引きのときに、縮小画像の複数の標本点を含む読出単位を設定する。また、信号出力部は、１つの読出単位について、読出単位に含まれる標本点の数よりも多い複数の画像信号を生成する。
【選択図】 図４

Description

本発明は、撮像装置、画像処理装置およびプログラムに関する。

例えば、動画撮影時や静止画像の高速連写時に、画素の加算間引きにより、相対的に解像度が低い縮小画像を生成する手法が従来から公知である。ここで、縮小画像のサンプリング間隔よりも高い空間周波数成分が元の画像に含まれる場合、加算間引き後の縮小画像にはモアレや偽色が発生する。その対策として、加算間引きの前に加算する画素の範囲を拡大し、間引き読み出し時の折り返し歪みを低減させる技術（例えば特許文献１）も提案されている。

特許３８７７６９５号公報

しかし、従来の技術では、カラーの縮小画像を生成するときに、モアレや偽色の発生を抑制しつつ、解像感の高い画像を得ることがなお困難であった。例えば、特許文献１の場合、モアレや偽色は抑制できるが、縮小画像の解像感はローパスフィルタと同様の効果で低下してしまう。

本発明の一例である撮像装置は、入射光を電気信号に変換する複数の画素が行列状に配置された画素部と、複数種類のカラーフィルタと、信号出力部とを備える。複数種類のカラーフィルタは、それぞれが異なる色成分の光を透過させるとともに、所定の色配列に従って画素に配置される。信号出力部は、画素部から電気信号を加算間引きで読み出し、縮小画像の画像信号を生成する。信号出力部は、加算間引きのときに、縮小画像の複数の標本点を含む読出単位を設定する。また、信号出力部は、１つの読出単位について、読出単位に含まれる標本点の数よりも多い複数の画像信号を生成する。

本発明によれば、カラーの縮小画像を生成するときに、モアレや偽色の発生を抑制しつつ、より解像感の高い画像を得ることができる。

電子カメラの構成例を示す図 固体撮像素子の構成例を示す図 図２の画素ＰＸの回路構成例を示す図 実施例１の概要図 固体撮像素子での画素位置と各色画素との対応関係とを示す図 （ａ）：実施例１での縮小画像の標本点の座標を示す図、（ｂ）：実施例１での縮小画像の読出単位の座標を示す図 実施例１での固体撮像素子での画素位置と、縮小画像の標本点および読出単位との関係を示す図 （ａ）〜（ｃ）：実施例１での加算間引き例を示す図 （ａ）：実施例１での赤画素の重み付け加算例を示す図、（ｂ）：実施例１での青画素の重み付け加算例を示す図 （ａ）：実施例２での縮小画像の標本点の座標を示す図、（ｂ）：実施例２での縮小画像の読出単位の座標を示す図 実施例２での固体撮像素子での画素位置と、縮小画像の標本点および読出単位との関係を示す図 （ａ）〜（ｃ）：実施例２での加算間引き例を示す図 （ａ）：実施例３での縮小画像の標本点の座標を示す図、（ｂ）：実施例３での縮小画像の読出単位の座標を示す図 実施例３での固体撮像素子での画素位置と、縮小画像の標本点および読出単位との関係を示す図 （ａ）〜（ｃ）：実施例３での加算間引き例を示す図 実施例４の概要図 実施例４での縮小画像の標本点および読出単位の座標を示す図 実施例４での固体撮像素子での画素位置と、縮小画像の標本点および読出単位との関係を示す図 （ａ）〜（ｄ）：実施例４での加算間引き例を示す図 第２実施形態の画像処理装置の構成例を示す図 第２実施形態の画像処理装置の動作例を示す流れ図

＜第１実施形態の説明＞
図１は、撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。

電子カメラ１は、撮像光学系２と、固体撮像素子３と、画像処理エンジン４と、メモリ５と、記録Ｉ／Ｆ６と、モニタ７と、操作部８とを有している。ここで、固体撮像素子３、メモリ５、記録Ｉ／Ｆ６、モニタ７および操作部８は、それぞれ画像処理エンジン４と接続されている。

撮像光学系２は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系２を１枚のレンズで図示する。

固体撮像素子３は、撮像光学系２を通過した光束による被写体の結像を撮像するデバイスである。第１実施形態の固体撮像素子３は、シリコン基板上にＣＭＯＳ（相補性金属酸化膜半導体）プロセスを使用して形成されたＸＹアドレス型の固体撮像素子（ＣＭＯＳイメージセンサ）である。なお、固体撮像素子３の構成例については後述する。

ここで、電子カメラ１の撮影モードにおいて、固体撮像素子３は、操作部８の入力に応じて、不揮発性の記憶媒体９への記録を伴う静止画像および動画像の撮影を実行する。また、固体撮像素子３は、撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を連続的に撮影する。時系列に取得されたスルー画像のデータ（あるいは上記の動画像のデータ）は、モニタ７での動画表示や画像処理エンジン４による各種の演算処理に使用される。

また、第１実施形態の固体撮像素子３は、各画素の電気信号を非加算で読み出す動作モード（通常読出モード）と、複数の画素から電気信号を加算間引きして読み出す動作モード（加算間引き読出モード）を有している。上記の加算間引き読出モードでは、通常読み出しモードで全画素読み出しする場合と比べて、画像のサイズが小さい縮小画像が固体撮像素子３から読み出される。なお、加算間引き読出モードは、例えば、スルー画像の撮影時、動画像の撮影時、あるいは静止画像の高速連写時に選択される。

画像処理エンジン４は、電子カメラ１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン４は、スルー画像の信号を用いて、オートフォーカス（ＡＦ）、自動露出（ＡＥ）の制御を行う。

また、画像処理エンジン４は、画像処理部の一例として、画像データに対して各種の画像処理（例えば、色変換処理、階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理など）を施す。

メモリ５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、メモリ５は、揮発性の記憶媒体であるＳＤＲＡＭである。

記録Ｉ／Ｆ６は、不揮発性の記憶媒体９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ６は、コネクタに接続された記憶媒体９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体９の一例としてメモリカードを図示する。

モニタ７は、各種の画像を表示する表示デバイスである。例えば、モニタ７は、画像処理エンジン４の制御により、撮影モード下でのスルー画像の動画表示（ビューファインダ表示）を行う。また、操作部８は、画像の撮影指示や各種モードの切り替え指示等をユーザから受け付ける。

次に、図２を参照しつつ、第１実施形態の固体撮像素子３の構成例を説明する。

固体撮像素子３は、画素部１１と、複数の水平制御信号線１２と、垂直走査回路１３と、複数の垂直信号線１４と、信号出力部の一例である信号出力回路１５と、撮像素子制御回路１６とを有している。ここで、撮像素子制御回路１６は、垂直走査回路１３、信号出力回路１５に対して制御信号を供給する。なお、上記の制御信号は、電子カメラ１の画像処理エンジン４から供給されてもよい。上記の場合には、固体撮像素子３から撮像素子制御回路１６を省略することができる。

画素部１１は、入射光を電気信号に変換する複数の画素ＰＸを有している。画素部１１の画素ＰＸは、受光面上で第１方向Ｄ１および第２方向Ｄ２にマトリクス状に配置されている。以下、第１方向Ｄ１および第２方向Ｄ２を、行方向Ｄ１および列方向Ｄ２とも称する。なお、図２では画素ＰＸの配列を簡略化して示すが、実際の固体撮像素子の受光面にはさらに多数の画素が配列されることはいうまでもない。

ここで、各々の画素ＰＸの前面には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列で配置されている。そのため、画素ＰＸは、カラーフィルタでの色分解によって各色に対応する電気信号を出力する。例えば、第１実施形態では、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが２行２列のベイヤ配列にしたがって各画素ＰＸに配置されている。これにより、画素部１１は、撮影時にカラーの画像を取得できる。以下、赤（Ｒ）、緑（Ｇｒ、Ｇｂ）、青（Ｂ）のフィルタを有する画素ＰＸを、それぞれ赤画素（Ｒ）、青画素（Ｂ）、緑画素（Ｇｒ、Ｇｂ）とも称する。

行方向Ｄ１に着目した場合、例えば、画素部１１の奇数行では、赤画素（Ｒ）と、緑画素（Ｇｒ）とが交互に配置されている。また、例えば、画素部１１の偶数行では、緑画素（Ｇｂ）と、青画素（Ｂ）とが交互に配置されている。

列方向Ｄ２に着目した場合、例えば、画素部１１の奇数列では、緑画素（Ｇｂ）と、赤画素（Ｒ）とが交互に配置されている。また、例えば、画素部１１の偶数列では、青画素（Ｂ）と、緑画素（Ｇｒ）とが交互に配置されている。なお、本明細書では、Ｇｒ、Ｇｂのカラーフィルタを総称して緑（Ｇ）のフィルタと称することもあり、緑画素（Ｇｒ、Ｇｂ）を総称して緑画素（Ｇ）と称することもある。

また、画素部１１の各行には、垂直走査回路１３に接続された水平制御信号線１２がそれぞれ配置されている。各々の水平制御信号線１２は、垂直走査回路１３から出力される制御信号（後述の選択信号φＳＥＬ、リセット信号φＲＳＴ、転送信号φＴＸ）を、行方向Ｄ１に並ぶ画素ＰＸにそれぞれ供給する。

また、画素アレイの各列には、垂直信号線１４がそれぞれ配置されている。列方向Ｄ２に配置された複数の画素ＰＸは、列毎に設けられた垂直信号線１４により互いに接続されている。すなわち、画素部１１は、同じ列に配置された複数の画素ＰＸからの電気信号を共通の垂直信号線１４を介して出力する。なお、各々の垂直信号線１４の一端（図２の下側）は信号出力回路１５に接続されている。

ここで、図３を参照しつつ、図２の画素ＰＸの回路構成例を説明する。

画素ＰＸは、フォトダイオードＰＤと、転送トランジスタＴＸと、リセットトランジスタＲＳＴと、増幅トランジスタＡＭＩと、増幅部ＡＭＰと、選択トランジスタＳＥＬと、フローティングディフュージョンＦＤとをそれぞれ有している。

フォトダイオードＰＤは、入射光の光量に応じて光電変換により信号電荷を生成する。転送トランジスタＴＸは、転送信号φＴＸの高レベル期間にオンし、フォトダイオードＰＤに蓄積された信号電荷をフローティングディフュージョンＦＤに転送する。

転送トランジスタＴＸのソースはフォトダイオードＰＤであり、転送トランジスタＴＸのドレインはフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、例えば、半導体基板に不純物を導入して形成された拡散領域である。なお、フローティングディフュージョンＦＤは、増幅トランジスタＡＭＩのゲートと、リセットトランジスタＲＳＴのソースとにそれぞれ接続されている。

リセットトランジスタＲＳＴは、リセット信号φＲＳＴの高レベル期間にオンし、フローティングディフュージョンＦＤを電源電圧ＶＤＤにリセットする。また、増幅トランジスタＡＭＩは、ドレインが電源電圧ＶＤＤに接続され、ゲートがフローティングディフュージョンＦＤにそれぞれ接続され、そのソース電極が出力ノードとして定電流源ＩＳＳに接続される。増幅トランジスタＡＭＩによってソースフォロアが構成されるので、増幅トランジスタＡＭＩのソースには、フローティングディフュージョンＦＤの電位に応じた電圧が生じる。

増幅部ＡＭＰは、加算間引き読出モードで重み付け加算を行うときに、画素ＰＸごとのゲインを調整するための可変ゲインアンプである。増幅部ＡＭＰの入力は、増幅トランジスタＡＭＩのソースに接続されており、増幅部ＡＭＰの出力は、選択トランジスタＳＥＬのドレインに接続されている。

また、選択トランジスタＳＥＬは、選択信号φＳＥＬの高レベル期間にオンし、増幅部ＡＭＰの出力を垂直信号線１４に接続する。

なお、画素ＰＸのリセットトランジスタＲＳＴがオンした状態では、ノイズ成分を含む暗信号が画素ＰＸから垂直信号線１４に読み出される。また、上記のフローティングディフュージョンＦＤに転送された電荷に基づいて、ノイズ成分および受光成分を含む明信号が画素ＰＸから垂直信号線１４に読み出される。

図２に戻って、信号出力回路１５は、画素部１１から画素ＰＸの電気信号を行方向（Ｄ１）に向けて読み出す回路である。信号出力回路１５は、カラムコンデンサ２１と、水平加算部２２と、カラムアンプ２３と、サンプルホールド部２４と、カラムＡＤＣ２５と、水平データバス２６と、データレジスタ２７とを含む。カラムコンデンサ２１は、１本の垂直信号線１４に対してそれぞれ１つずつ設けられている。

水平加算部２２は、隣接する奇数列の垂直信号線１４の間を接続する複数の加算制御スイッチＡＤＤ１と、隣接する偶数列の垂直信号線１４の間を接続する複数の加算制御スイッチＡＤＤ２と、各々の垂直信号線１４に設けられる複数の列スイッチＬＳＷとを有している。加算制御スイッチＡＤＤ１のオン／オフの切り替えにより、奇数列の画素ＰＸの電気信号が行方向（Ｄ１）に加算される。また、加算制御スイッチＡＤＤ２のオン／オフの切り替えにより、偶数列の画素ＰＸの電気信号が行方向（Ｄ１）に加算される。なお、全画素読み出しを行う場合、加算制御スイッチＡＤＤ１、ＡＤＤ２はいずれもオフとなる。

カラムアンプ２３、サンプルホールド部２４およびカラムＡＤＣ２５とは、１本の垂直信号線１４に対してそれぞれ１組ずつ設けられている。上記の各組において、カラムアンプ２３、サンプルホールド部２４およびカラムＡＤＣ２５はそれぞれ直列に接続されている。

カラムアンプ２３は、垂直信号線１４を介して画素ＰＸから出力される電気信号を反転増幅する。サンプルホールド部２４は、入力されたアナログ信号（明信号または暗信号）を所定のタイミングでサンプリングし、サンプリングしたアナログ信号を所定の期間ホールドして後段のカラムＡＤＣ２５に出力する。カラムＡＤＣ２５は、入力された明信号および暗信号をＡ／Ｄ変換する。

水平データバス２６は、信号出力回路１５内に１つのみ設けられる。水平データバス２６は、各々のカラムＡＤＣ２５の出力と接続されており、カラムＡＤＣ２５でＡ／Ｄ変換された後の画像信号をデータレジスタ２７に出力する。データレジスタ２７は、異なる列から読み出した加算間引き後の画像信号を必要に応じて合成する。データレジスタ２７の出力は、画像処理エンジン４に接続されている。

ここで、上記の固体撮像素子３を加算間引き読出モードで動作させる場合の読み出し例を説明する。一例として、画素部１１の４×４画素の注目領域（図２において二点鎖線で示す範囲）を加算間引きで読み出す場合、以下の動作が行われる。なお、上記の注目領域で加算間引きして得た信号値は、縮小画像の１画素の信号値に相当する。以下、縮小画像の１画素を標本点とも称する。

注目領域の４つの赤画素（Ｒ）を加算間引きする場合、注目領域の奇数列の垂直信号線１４に対応する加算制御スイッチＡＤＤ１をオンする。また、上記の垂直信号線１４に対応する列スイッチＬＳＷのうちの１つをオンし、それ以外の列スイッチＬＳＷをオフにする。そして、注目領域の２つの奇数行の選択信号φＳＥＬを同時に高レベルにする。これにより、注目領域内の４つの赤画素の信号はまとめて読み出しされる。

同様に、注目領域の４つの青画素（Ｂ）を加算間引きする場合、注目領域の偶数列の垂直信号線１４に対応する加算制御スイッチＡＤＤ２をオンする。また、上記の垂直信号線１４に対応する列スイッチＬＳＷのうちの１つをオンし、それ以外の列スイッチＬＳＷをオフにする。そして、注目領域の２つの偶数行の選択信号φＳＥＬを同時に高レベルにする。これにより、注目領域内の４つの青画素の信号はまとめて読み出しされる。

注目領域の８つの緑画素（Ｇ）を加算間引きする場合、例えば、４つの緑画素（Ｇｂ）と、４つの緑画素（Ｇｒ）とをそれぞれ別々に加算間引きした後、データレジスタ２７で最終的に両者を合成すればよい。

また、加算間引き読出モードでは、水平加算部２２にて１行ごとの水平加算のみを行い、注目領域の列方向（Ｄ２）の加算はデータレジスタ２７で行ってもよい。なお、上記の注目領域のサイズは一例であり、適宜変更できることはいうまでもない。

また、加算間引き後の画像信号のゲインは、カラムアンプ２３で調整してもよく、画素ＰＸの増幅部ＡＭＰで予め加算前に調整してもよい。なお、縮小画像の標本点の重心位置を各色で揃えるために重み付け加算を行う場合、画素ＰＸの増幅部ＡＭＰでそれぞれゲインを調整する必要がある。

（実施例１）
以下、実施例１として、加算間引き読出モードでの電子カメラ１の動作例を説明する。実施例１では、ＲＧＢのカラーフィルタをベイヤ配列で配置した固体撮像素子３から、ＹＵＶ４２０形式に対応する加算間引き読み出しを行う（図４参照）。なお、固体撮像素子３での加算間引き読み出しは、撮像素子制御回路１６により制御される。

実施例１では、縮小画像の２×２の４標本点を１組とする読出単位を設定する。そして、読出単位１つにつき６つの信号値（４つのＧ信号値と、１つのＲ信号値、１つのＢ信号値）を加算間引きで生成する。なお、全画素読み出し時の画像サイズをＷ×Ｈとしたとき、実施例１ではＷ／４×Ｈ／４の画像サイズの縮小画像を読み出すものとする。

図５は、固体撮像素子３での画素位置と各色画素との対応関係とを示す図である。固体撮像素子３の各色画素の座標は、Ｒ（ｉ，ｊ），Ｇ（ｉ＋１，ｊ），Ｇ（ｉ，ｊ＋１），Ｂ（ｉ＋１，ｊ＋１）…のように表記される。

また、図６（ａ）は、実施例１での縮小画像の標本点の座標（ｘ，ｙ）を示す図である。実施例１では、縮小画像の標本点ごとにＧ信号値が生成されるため、図６（ａ）では各標本点に「Ｇ」を表記する。また、図６（ｂ）は、実施例１での縮小画像の読出単位の座標（ｐ，ｑ）を示す図である。実施例１では、縮小画像の読出単位ごとにＲ，Ｂの信号値が１つずつ生成されるため、図６（ｂ）では各標本点に「Ｒ，Ｂ」を表記する。

また、図７は、実施例１での固体撮像素子３での画素位置と、縮小画像の標本点および読出単位との関係を示す図である。以下、縮小画像での標本点ごとのＧの重心位置は、図中に黒丸（●）で示す。縮小画像でのＲの重心位置は、図中にバツ（×）で示す。縮小画像でのＢの重心位置は、図中に三角（△）で示す。縮小画像での読出単位の重心位置は、図中に白丸（○）で示す。

具体的には、実施例１での固体撮像素子３の加算間引き読み出しは、以下のように行なわれる。

（１）縮小画像のＧ信号値の場合
縮小画像のＧ信号値（Ｇ'）は、読出単位（ｐ，ｑ）の４つの標本点（（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１））で１つずつ生成される。縮小画像のＧ信号値は、標本点に対応する４×４画素の範囲に含まれる８つの緑画素の信号を加算平均して生成される。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、各標本点のＧ信号値（Ｇ'_R（ｘ，ｙ），Ｇ'_R（ｘ＋１，ｙ），Ｇ'_R（ｘ，ｙ＋１），Ｇ'_R（ｘ＋１，ｙ＋１））は、式（１）で求めることができる。

上記の場合、加算読み出し後における４つのＧの重心位置（●）は、標本点と同じように正方格子状に分布する。そして、読出単位全体でのＧの重心位置は、読出単位の重心位置（○）と一致する（図８（ａ）参照）。

（２）縮小画像のＲ信号値およびＢ信号値の場合
縮小画像のＲ信号値（Ｒ'）およびＢ信号値（Ｂ'）は、読出単位（ｐ，ｑ）で１つずつ生成される。縮小画像のＲ信号値は、読出単位に対応する８×８画素の範囲に含まれる１６の赤画素の信号を加算平均して生成される。同様に、縮小画像のＢ信号値は、読出単位に対応する８×８画素の範囲に含まれる１６の青画素の信号を加算平均して生成される。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、読出単位のＲ信号値（Ｒ'_R（ｐ，ｑ））およびＢ信号値（Ｂ'_R（ｐ，ｑ））は、式（２）で求めることができる。

上記の場合、加算読み出し後のＲの重心位置（×）は、１６の赤画素の重心であり（図８（ｂ）参照）、加算読み出し後のＢの重心位置（△）は、１６の青画素の重心である（図８（ｃ）参照）。なお、画素部１１において赤画素および青画素はベイヤ配列に従って配置されるため、上記のＲの重心位置（×）およびＢの重心位置（△）は、読出単位の重心位置（○）から僅かに斜めにずれる（図７参照）。もっとも、各色の加算範囲は上記の重心位置のズレと比べて充分に広いため、上記のズレによる偽色の影響は非常に軽微であると考えられる。

以上、読出単位（ｐ，ｑ）に注目して加算間引き読み出しの例を説明した。かかる加算間引き読み出しによれば、ＹＵＶ４２０形式の色差間引きに必要となるＲＧＢ信号を読出単位ごとに揃えることができる。なお、他の読出単位での加算間引き読み出しについては、基準画素の位置をシフトさせて同様の読み出しを行えばよい。一例として、標本点（ｘ＋２，ｙ），（ｘ＋３，ｙ），（ｘ＋２，ｙ＋１），（ｘ＋３，ｙ＋１）を含む読出単位（ｐ＋１，ｑ）の場合、基準画素（ｍ，ｎ）＝（ｉ＋８，ｊ）として、上記の式（１）、式（２）によって縮小画像のＲＧＢ信号値を求めることができる。

また、上記の説明では、読出単位の基準画素が赤画素であるケースのみ説明したが、基準画素が緑画素、青画素である場合にも上記と類似の手法で加算間引き読み出しが行えることはいうまでもない。

次に、各読出単位ごとのＲＧＢ信号値は、画像処理エンジン４に入力される。そして、画像処理エンジン４は、以下の色変換処理により、縮小画像のＲＧＢ信号値からＹＵＶ４２０形式に準拠した画像情報を生成する。ＹＵＶ４２０形式は、縮小画像の２×２の標本点で輝度信号Ｙを１つずつ有し、縮小画像の２×２の標本点で共通の色差信号Ｕ，Ｖを有する（つまり、１つの読出単位につき、輝度信号Ｙが４つ、色差信号Ｕ，Ｖが１つずつ）形式である。

まず、画像処理エンジン４は、読出単位（ｐ，ｑ）のＧ信号値（Ｇ'（ｐ，ｑ））を式（３）により求める。

また、画像処理エンジン４は、読出単位（ｐ，ｑ）のＲＧＢ信号値を用いて、読出単位（ｐ，ｑ）の色差信号Ｕ，Ｖをそれぞれ生成する。

ＹＵＶ４２０形式では、縮小画像の２×２の標本点に対して、色差信号Ｕ，Ｖが１つずつとなるので、上記の式（４）により、読出単位（ｐ，ｑ）で必要な色差信号が揃うこととなる。一方、各標本点でそれぞれ必要となる輝度信号Ｙは、各標本点のＲ，Ｂ信号値から計算する必要がある。

例えば、画像処理エンジン４は、読出単位（ｐ，ｑ）での色差ＣＲ＝Ｒ−Ｇ，ＣＢ＝Ｒ−Ｂを式（５）で計算する。次に、画像処理エンジン４は、読出単位（ｐ，ｑ）の各標本点のＲ，Ｂ信号値を式（６）でそれぞれ計算する。

そして、画像処理エンジン４は、式（６）で求めた各標本点のＲ，Ｂ信号値を用いて、式（７）により、読出単位（ｐ，ｑ）の各標本点の輝度信号Ｙを生成すればよい。

上記の処理により、縮小画像の読出単位（ｐ，ｑ）についてＹＵＶ４２０形式の画像情報が生成される。そして、画像処理エンジン４は、他の読出単位にも同様の処理を行い、縮小画像全体のＹＵＶ４２０形式の画像情報を生成する。

その後、画像処理エンジン４は、縮小画像の画像情報を記録Ｉ／Ｆ６を介して記憶媒体９に記録する。あるいは、画像処理エンジン４は、縮小画像の画像情報を用いてモニタ７に画像表示をしてもよい。

以下、実施例１の作用効果を述べる。実施例１の構成では、固体撮像素子３からの加算間引読出時に、縮小画像の２×２の標本点を含む１つの読出単位に対して、各標本点についてＧの画像信号をそれぞれ生成し、さらに読出単位ごとにＲ，Ｂの画像信号を１つずつ生成する。

実施例１の場合、加算間引き読み出しでＹＵＶ４２０形式に対応する画像信号を予め揃えておくことで、縮小画像の補間処理を行わずに縮小画像の画像情報を生成できる。例えば、合焦に近い状態で高周波信号を多く含む画像を縮小するケースを考えると、ベイヤ配列構造の間引き読み出し画像を色補間して縮小画像を生成する場合と比べ、実施例１の場合には補間処理に起因する縮小画像でのモアレや偽色の発生が大幅に抑制される。また、実施例１の場合、読み出す信号量がＹＵＶ４２０形式に対応する分に限られるので、縮小画像の各標本点でＲＧＢの各色を読み出す場合と比べて画像読み出しをより高速化できる。

また、実施例１では、縮小画像の各標本点でＧの画像信号が生成されるため、縮小画像の輝度成分について充分な解像力を実現できる。また、実施例１では、各標本点と重畳する読出単位ごとにＲ，Ｂの画像信号を生成するため、縮小画像での色差を正しく求めることができる。なお、実施例１の場合、Ｒ，Ｂのサンプリング数が少ないため、縮小画像での色差信号の画素密度は低くなる。しかし、一般的な画像圧縮では色差成分の画素密度が低いデータを保存するので実用上の問題は生じない。

なお、実施例１の場合、４標本点を含む読出単位から６つの信号値を取得する。そのため、実施例１では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×６／４＝３／３２倍となる。

（実施例１の変形例）
実施例１において、縮小画像のＲ信号値（Ｒ'）およびＢ信号値（Ｂ'）を生成するときに、赤画素および青画素の信号を重み付け加算してもよい。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、読出単位のＲ信号値（Ｒ'_R（ｐ，ｑ））およびＢ信号値（Ｂ'_R（ｐ，ｑ））を、式（８）で求めてもよい。

図９（ａ）は、実施例１での赤画素の重み付け加算例を示す図である。図９（ｂ）は、実施例１での青画素の重み付け加算例を示す図である。なお、図９では、加算する画素の位置に重み係数の値をそれぞれ表記している。かかる重み付け加算を行った場合、加算読み出し後のＲおよびＢの重心位置を、読出単位の重心位置（○）に一致させることができる。これにより、上記の実施例１の場合と比べて偽色の発生をより抑制できる。

（実施例２）
次に、図１０〜図１２を参照しつつ、実施例２の加算間引き読出モードでの電子カメラ１の動作例を説明する。以下の各実施例での装置構成や動作は、特に断りがないかぎり実施例１と共通であることを前提とする。なお、各実施例での縮小画像のサイズは実施例１と同じである。

実施例２では、固体撮像素子３からＹＵＶ４２２形式に対応する加算間引き読み出しを行う。すなわち、実施例２では、縮小画像の２×１の２標本点を１組とする読出単位を設定する。そして、読出単位１つにつき４つの信号値（２つのＧ信号値と、１つのＲ信号値、１つのＢ信号値）を加算間引きで生成する。

図１０（ａ）は、実施例２での縮小画像の標本点の座標（ｘ，ｙ）を示す図である。また、図１０（ｂ）は、実施例２での縮小画像の読出単位の座標（ｐ，ｑ）を示す図である。また、図１１は、実施例２での固体撮像素子３での画素位置と、縮小画像の標本点および読出単位との関係を示す図である。

実施例２の場合、縮小画像のＧ信号値（Ｇ'）は、読出単位（ｐ，ｑ）の２つの標本点（（ｘ，ｙ），（ｘ＋１，ｙ））で１つずつ生成される。基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、各標本点のＧ信号値（Ｇ'_R（ｘ，ｙ），Ｇ'_R（ｘ＋１，ｙ））は、上記の式（１）で求めればよい。なお、実施例２の場合も、加算読み出し後における２つのＧの重心位置（●）は標本点と同じ分布となり、読出単位全体でのＧの重心位置は、読出単位の重心位置（○）と一致する（図１２（ａ）参照）。

また、実施例２の場合も、縮小画像のＲ信号値（Ｒ'）およびＢ信号値（Ｂ'）は、読出単位（ｐ，ｑ）で１つずつ生成される。縮小画像のＲ信号値は、読出単位に対応する８×４画素の範囲に含まれる８つの赤画素の信号を加算平均して生成される。同様に、縮小画像のＢ信号値は、読出単位に対応する８×４画素の範囲に含まれる８つの青画素の信号を加算平均して生成される。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、読出単位のＲ信号値（Ｒ'_R（ｐ，ｑ））およびＢ信号値（Ｂ'_R（ｐ，ｑ））は、式（９）で求めることができる。

実施例２の場合、加算読み出し後のＲの重心位置（×）は、図１２（ｂ）のようになる。また、実施例２の場合、加算読み出し後のＢの重心位置（△）は、図１２（ｃ）のようになる。実施例２の場合も、上記のＲの重心位置（×）およびＢの重心位置（△）は、読出単位の重心位置（○）から僅かに斜めにずれる（図１１参照）。もっとも、各色の加算範囲は上記の重心位置のズレと比べて充分に広いため、上記のズレによる偽色の影響は非常に軽微であると考えられる。なお、実施例１の変形例と同様に、実施例２でもＲ信号値およびＢ信号値を重み付け加算することで、読出単位の重心位置と各色の重心とを一致させてもよい。

かかる加算間引き読み出しによれば、ＹＵＶ４２２形式の色差間引きに必要となるＲＧＢ信号を読出単位ごとに揃えることができる。なお、他の読出単位での加算間引き読み出しについては、実施例１と同様に基準画素の位置をシフトさせて同様の読み出しを行えばよい。例えば、標本点（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１）を含む読出単位の場合、基準画素（ｍ，ｎ）＝（ｉ，ｊ＋４）として、上記の式（１）、式（９）によって縮小画像のＲＧＢ信号値を求めることができる。

また、実施例２の場合、画像処理エンジン４は、以下の色変換処理により、縮小画像の上記のＲＧＢ信号値からＹＵＶ４２２形式に準拠した画像情報を生成する。ＹＵＶ４２２形式は、縮小画像の２×１の標本点で輝度信号Ｙを１つずつ有し、縮小画像の２×１の標本点で共通の色差信号Ｕ，Ｖを有する（つまり、１つの読出単位につき、輝度信号Ｙが２つ、色差信号Ｕ，Ｖが１つずつ）形式である。

実施例２の場合、画像処理エンジン４は、読出単位（ｐ，ｑ）のＧ信号値（Ｇ'（ｐ，ｑ））を式（１０）により求める。

そして、画像処理エンジン４は、読出単位（ｐ，ｑ）のＲＧＢ信号値を用いて、上記の式（４）により読出単位（ｐ，ｑ）の色差信号Ｕ，Ｖをそれぞれ生成すればよい。また、実施例２での画像処理エンジン４は、上記の式（５）〜式（７）により、標本点（ｘ，ｙ），（ｘ＋１，ｙ）の輝度信号Ｙをそれぞれ生成すればよい。上記の処理により、縮小画像の読出単位（ｐ，ｑ）についてＹＵＶ４２２形式の画像情報が生成される。そして、画像処理エンジン４は、他の読出単位にも同様の処理を行い、縮小画像全体のＹＵＶ４２２形式の画像情報を生成すればよい。

かかる実施例２の構成によっても、実施例１とほぼ同様の作用効果を得ることができる。なお、実施例２の場合、２標本点を含む読出単位から４つの信号値を取得する。そのため、実施例２では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×４／２＝１／８倍となる。

（実施例３）
次に、図１３〜図１５を参照しつつ、実施例３の加算間引き読出モードでの電子カメラ１の動作例を説明する。

実施例３では、固体撮像素子３からＹＵＶ４１１形式に対応する加算間引き読み出しを行う。すなわち、実施例３では、縮小画像の４×１の４標本点を１組とする読出単位を設定する。そして、読出単位１つにつき６つの信号値（４つのＧ信号値と、１つのＲ信号値、１つのＢ信号値）を加算間引きで生成する。

図１３（ａ）は、実施例３での縮小画像の標本点の座標（ｘ，ｙ）を示す図である。また、図１３（ｂ）は、実施例３での縮小画像の読出単位の座標（ｐ，ｑ）を示す図である。また、図１４は、実施例３での固体撮像素子３での画素位置と、縮小画像の標本点および読出単位との関係を示す図である。

実施例３の場合、縮小画像のＧ信号値（Ｇ'）は、読出単位（ｐ，ｑ）の４つの標本点（（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ＋２，ｙ），（ｘ＋３，ｙ））で１つずつ生成される。上記のＧ信号値（Ｇ'（ｘ，ｙ），Ｇ'（ｘ＋１，ｙ），Ｇ'（ｘ＋２，ｙ），Ｇ'（ｘ＋３，ｙ））は、実施例１および実施例２と同様に、標本点に対応する４×４画素の範囲に含まれる８つの緑画素の信号を加算平均して生成すればよい。なお、実施例３の場合も、加算読み出し後における４つのＧの重心位置（●）は標本点と同じ分布となり、読出単位全体でのＧの重心位置は、読出単位の重心位置（○）と一致する（図１５（ａ）参照）。

また、実施例３の場合も、縮小画像のＲ信号値（Ｒ'）およびＢ信号値（Ｂ'）は、読出単位（ｐ，ｑ）で１つずつ生成される。縮小画像のＲ信号値は、読出単位に対応する１６×４画素の範囲に含まれる１６の赤画素の信号を加算平均して生成される。同様に、縮小画像のＢ信号値は、読出単位に対応する１６×４画素の範囲に含まれる１６の青画素の信号を加算平均して生成される。

例えば、読出単位の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）が赤画素である場合、読出単位のＲ信号値（Ｒ'_R（ｐ，ｑ））およびＢ信号値（Ｂ'_R（ｐ，ｑ））は、式（１１）で求めることができる。

実施例３の場合、加算読み出し後のＲの重心位置（×）は、図１５（ｂ）のようになる。また、実施例３の場合、加算読み出し後のＢの重心位置（△）は、図１５（ｃ）のようになる。実施例３の場合も、上記のＲの重心位置（×）およびＢの重心位置（△）は、読出単位の重心位置（○）から僅かに斜めにずれる（図１４参照）。もっとも、各色の加算範囲は上記の重心位置のズレと比べて充分に広いため、上記のズレによる偽色の影響は非常に軽微であると考えられる。なお、実施例１の変形例と同様に、実施例３でもＲ信号値およびＢ信号値を重み付け加算することで、読出単位の重心位置と各色の重心とを一致させてもよい。

かかる加算間引き読み出しによれば、ＹＵＶ４１１形式の色差間引きに必要となるＲＧＢ信号を読出単位ごとに揃えることができる。なお、他の読出単位での加算間引き読み出しについては、実施例１と同様に基準画素の位置をシフトさせて同様の読み出しを行えばよい。例えば、標本点（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１），（ｘ＋２，ｙ＋１），（ｘ＋３，ｙ＋１）を含む読出単位の場合、基準画素（ｍ，ｎ）＝（ｉ，ｊ＋４）として、上記の式（１）、式（１１）によって縮小画像のＲＧＢ信号値を求めることができる。

また、実施例３の場合、画像処理エンジン４は、以下の色変換処理により、縮小画像の上記のＲＧＢ信号値からＹＵＶ４１１形式に準拠した画像情報を生成する。ＹＵＶ４１１形式は、縮小画像の４×１の標本点で輝度信号Ｙを１つずつ有し、縮小画像の４×１の標本点で共通の色差信号Ｕ，Ｖを有する（つまり、１つの読出単位につき、輝度信号Ｙが４つ、色差信号Ｕ，Ｖが１つずつ）形式である。

実施例３の場合、画像処理エンジン４は、読出単位（ｐ，ｑ）のＧ信号値（Ｇ'（ｐ，ｑ））を式（１２）により求める。

そして、画像処理エンジン４は、読出単位（ｐ，ｑ）のＲＧＢ信号値を用いて、上記の式（４）により読出単位（ｐ，ｑ）の色差信号Ｕ，Ｖをそれぞれ生成すればよい。また、実施例３での画像処理エンジン４は、上記の式（５）〜式（７）に準拠して、標本点（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ＋２，ｙ），（ｘ＋３，ｙ）の輝度信号Ｙをそれぞれ生成すればよい。上記の処理により、縮小画像の読出単位（ｐ，ｑ）についてＹＵＶ４１１形式の画像情報が生成される。そして、画像処理エンジン４は、他の読出単位にも同様の処理を行い、縮小画像全体のＹＵＶ４１１形式の画像情報を生成すればよい。

かかる実施例３の構成によっても、実施例１とほぼ同様の作用効果を得ることができる。なお、実施例３の場合、４標本点を含む読出単位から６つの信号値を取得する。そのため、実施例３では、全画素読み出し時の画像サイズ（Ｗ×Ｈ）に対して縮小画像のサイズがＷ／４×Ｈ／４のとき、全画素読み出し時と比較して読出データ量は１／４×１／４×６／４＝３／３２倍となる。

（実施例４）
次に、図１６〜図１９を参照しつつ、実施例４の加算間引き読出モードでの電子カメラ１の動作例を説明する。

実施例４では、ＲＧＢのカラーフィルタをベイヤ配列で配置した固体撮像素子３から、Ｗ／３×Ｈ／３の画像サイズの縮小画像を読み出す。実施例４では、縮小画像の２×２の４標本点を１組とする読出単位を設定し、読出単位１つにつき６つの信号値（Ｇｈ，Ｇｌ信号値をそれぞれ２つ、１つのＲ信号値、１つのＢ信号値）を加算間引きで生成する（図１６、図１７参照）。

図１７は、実施例４での縮小画像の標本点および読出単位の座標を示す図である。また、図１８は、実施例４での固体撮像素子での画素位置と、縮小画像の標本点および読出単位との関係を示す図である。図１７、図１８では、標本点の座標を（ｘ，ｙ）で示し、読出単位の座標を（ｐ，ｑ）で示す。

実施例４の場合、ベイヤ配列に準拠して縮小画像の各標本点にＲＧＢ各色を割り当てる。Ｒに対応する標本点ではＲ信号値を加算間引きで生成し、Ｂに対応する標本点ではＢ信号値を加算間引きで生成する。そして、Ｇに対応する２つの標本点では、加算範囲における高周波成分を含む緑色の信号（Ｇｈ）と、加算範囲における低周波成分を含む緑色の信号（Ｇｌ）とを生成する。

ここで、実施例４における読出単位（ｐ，ｑ）での加算間引き読み出しを説明する。読出単位（ｐ，ｑ）は、縮小画像の標本点（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１）を１組にしたものであり、加算範囲（図１８にて破線で示す）の左上端に位置する基準画素（ｉ，ｊ）＝（ｍ，ｎ）は赤画素とする。

この場合、標本点（ｘ，ｙ）では、図１９（ａ）に示すように、９つの赤画素を加算したＲ信号を取得する。また、標本点（ｘ＋１，ｙ），（ｘ，ｙ＋１）では、図１９（ｂ），（ｃ）に示すように、中心部の５つの緑画素を加算したＧｈ信号と、その５画素を囲む周辺部の８つの緑画素を加算したＧｌ信号とをそれぞれ取得する。また、標本点（ｘ＋１，ｙ＋１）では、図１９（ｄ）に示すように、９つの青画素を加算したＢ信号を取得する。

具体的には、実施例４での各信号は、式（１３）で求めることができる。

その後、読出単位の各信号値は、画像処理エンジン４に入力される。ここで、画像処理エンジン４は、式（１４）により、ＧｈおよびＧｌの画像信号の加算平均を求める。

上記の処理により、読出単位に含まれる２×２の標本点の信号値がベイヤ配列の状態に変換される。その後、画像処理エンジン４は、公知の補間処理により、縮小画像の各標本点についてＲＧＢ信号値を生成する（図１６参照）。

また、実施例４の画像処理エンジン４は、ＧｈおよびＧｌの画像信号を用いて縮小画像にエッジ強調処理を施す。

具体的には、画像処理エンジン４は、式（１５）により、ＧｈおよびＧｌの画像信号の差分から画像の高周波成分（ΔＧ’）を抽出する。なお、ΔＧ’には、Ｇｌの加算範囲（５×５）に対してＧｈの加算範囲（３×３）のＧ信号が持つ凹凸が反映される。

なお、画像処理エンジン４は、Ｒ，Ｂ信号値に対応する読出単位の標本点については、公知の補間処理により、ΔＧ’の値を生成する。

その後、画像処理エンジン４は、公知の変換式により、各標本点のＲＧＢ信号値をＹＵＶの画像情報に変換する。なお、ＹＵＶの輝度信号値Ｙに対してはＧ信号値の寄与が大きいため、標本点での輝度信号値Ｙの凹凸はＧ信号の凹凸で近似できる。そこで、実施例４の画像処理エンジン４は、輝度信号値Ｙに対してΔＧ’を加算することでエッジ強調処理を施す。

その後、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を記録Ｉ／Ｆ６を介して記憶媒体９に記録する。あるいは、画像処理エンジン４は、縮小画像のＹＵＶ画像情報を用いてモニタ７に画像表示をしてもよい。

かかる実施例４の構成では、Ｇｈ，Ｇｌの画像信号に基づいて、縮小画像のエッジ強調処理を行うことができ、縮小画像の解像感を向上させることができる。

＜第２実施形態の説明＞
図２０は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、処理対象のカラー画像を加算間引きして縮小画像を生成するプログラムがインストールされたパーソナルコンピュータである。

図２０に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、データ読込部３２は、処理対象のカラー画像を取得する取得部として機能する。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータや、プログラムで生成された縮小画像のデータを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、縮小画像の生成を行う変換部として機能する。

メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

以下、図２１の流れ図を参照しつつ、第２実施形態の画像処理装置の動作例を説明する。

ステップ＃１０１：ＣＰＵ３４は、処理対象のカラー画像のデータを、データ読込部３２から取得する。ここで、カラー画像は、色補間前のＲＡＷ画像であってもよく、色補間後のカラー画像であってもよい。なお、第２実施形態では、電子カメラで撮像されるとともに、ベイヤ配列でＲＧＢの各色がモザイク状に配置された状態のＲＡＷ画像が処理対象である例を説明する。

＃１０１で取得されたカラー画像のデータは、ＣＰＵ３４の制御によって、記憶装置３３またはメモリ３５に記録される。なお、処理対象の画像のデータが予め記憶装置３３に記憶されている場合には、ＣＰＵ３４は＃１０１の処理を省略してもよい。

ステップ＃１０２：ＣＰＵ３４の変換部は、カラー画像を加算間引きして縮小画像のＲＧＢの画像信号を生成する。具体的には、＃１０２の変換部は、上記の実施例１〜実施例４のいずれかの手法で加算間引きを行う。

ステップ＃１０３：ＣＰＵ３４の変換部は、縮小画像のＲＧＢ信号値からＹＵＶの画像情報を生成する。

例えば、＃１０２で実施例１の加算間引きを行った場合、＃１０３の変換部は、実施例１の処理によりＹＵＶ４２０形式の画像情報を生成する。また、＃１０２で実施例２の加算間引きを行った場合、＃１０３の変換部は、実施例２の処理によりＹＵＶ４２２形式の画像情報を生成する。＃１０２で実施例３の加算間引きを行った場合、＃１０３の変換部は、実施例３の処理によりＹＵＶ４１１形式の画像情報を生成する。＃１０２で実施例４の加算間引きを行った場合、＃１０３の変換部は、実施例４のエッジ強調処理を実行してＹＵＶ画像情報を生成する。

ステップ＃１０４：ＣＰＵ３４は、＃１０４で生成した縮小画像の画像情報を記憶装置３３に記録する。あるいは、ＣＰＵ３４は縮小画像の画像情報を用いてモニタ３９に画像表示をしてもよい。以上で、図２１の流れ図の説明を終了する。

第２実施形態によれば、電子カメラで撮像したカラー画像から後処理工程で縮小画像を生成するときに、上記の第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：本発明における画像の縮小倍率は、上記実施形態の例に限定されることなく適宜変更できる。なお、本発明における画像の縮小倍率は、水平方向と垂直方向とが異なる倍率であってもよい。

（補足２）：上記実施形態の読出単位は実施例１〜３の例に限定されることなく、適宜設定することができる。また、上記実施形態の読出単位の形状は矩形に限定されることなく、十字形やＬ字形など適宜変更できる。

（補足３）：上記実施形態では、縮小画像の読出単位でいずれも画素の重複がない場合を説明した。しかし、本発明では、隣接する読出単位の間で画素の重複が生じるようにしてもよい。

（補足４）：上記実施形態の加算間引きによっても、要求されるフレームレートに対して画像読み出しの高速化が不十分な場合、縮小画像のビット精度の削減を行って読み出しの高速化を補ってもよい。

（補足５）：縮小倍率が大きいときには、縮小画像のフォーマットに対して固体撮像素子の画素サイズが不足する場合がある。このような場合には、縮小画像に対して超解像処理などの公知のアップコンバート処理を施してもよい。

（補足６）：上記実施形態では、撮像装置の一例としての電子カメラを説明した。しかし、本発明の撮像装置は、例えば、第１実施形態の固体撮像素子３のみの構成や、固体撮像素子３と画像処理エンジン４（画像処理部）とをオンチップで一体化したデバイスを含む概念である。

（補足７）：上記実施形態において、固体撮像素子３のカラーフィルタアレイはベイヤ配列に限定されない。例えば、マゼンタ、グリーン、シアンおよびイエローを用いる補色系カラーフィルタアレイの場合や、ベイヤ配列のＧｒまたはＧｂを他の色に置換したカラーフィルタアレイの場合にも本発明を適用できる。

（補足８）：第２実施形態では、画像処理装置の変換部の機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、変換部の機能を、例えばＡＳＩＣでハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１…電子カメラ、２…撮像光学系、３…固体撮像素子、４…画像処理エンジン、５…メモリ、６…記録Ｉ／Ｆ、７…モニタ、８…操作部、９…記憶媒体、１１…画素部、１２…水平制御信号線、１３…垂直走査回路、１４…垂直信号線、１５…信号出力回路、１６…撮像素子制御回路、２１…カラムコンデンサ、２２…水平加算部、２３…カラムアンプ、２４…サンプルホールド部、２５…カラムＡＤＣ、２６…水平データバス、２７…データレジスタ、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims (13)

1. 入射光を電気信号に変換する複数の画素が行列状に配置された画素部と、
   それぞれが異なる色成分の光を透過させるとともに、所定の色配列に従って前記画素に配置される複数種類のカラーフィルタと、
   前記画素部から前記電気信号を加算間引きで読み出し、縮小画像の画像信号を生成する信号出力部と、を備え、
   前記信号出力部は、前記加算間引きのときに、前記縮小画像の複数の標本点を含む読出単位を設定し、１つの前記読出単位について、前記読出単位に含まれる前記標本点の数よりも多い複数の画像信号を生成することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記信号出力部は、前記加算間引きのときに、前記読出単位の各標本点について第１色の画像信号をそれぞれ生成し、前記第１色とは異なる第２色の画像信号と、前記第１色および前記第２色とは異なる第３色の画像信号とを前記読出単位ごとに１つずつ生成することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記読出単位内で前記第１色の画像信号の平均値を求めるとともに、前記第２色の画像信号または前記第３色の画像信号と前記平均値とを用いて、前記読出単位で共通の色差信号を生成する画像処理部をさらに備えることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記画像処理部は、前記色差成分と前記第１色の画像信号とを用いて、前記読出単位の各標本点に対応する輝度信号をそれぞれ生成することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記読出単位は、前記縮小画像の２×２の４標本点を１組とすることを特徴とする撮像装置。
6. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記読出単位は、前記縮小画像の２×１の２標本点を１組とすることを特徴とする撮像装置。
7. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記読出単位は、前記縮小画像の４×１の４標本点を１組とすることを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   前記信号出力部は、前記加算間引きのときに、前記読出単位に含まれる第１の標本点について、それぞれ第１色の画素の出力に基づく第１画像信号および第２画像信号をそれぞれ生成し、前記読出単位に含まれる第２の標本点について、前記第１色とは異なる第２色の画素の出力に基づく画像信号を生成し、前記読出単位に含まれる第３の標本点について、前記第１色および前記第２色とは異なる第３色の画素の出力に基づく画像信号を生成し、
   前記第１画像信号で加算する画素のサンプリング間隔は、前記第２画像信号で加算する画素のサンプリング間隔よりも小さく設定されることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記第１画像信号および前記第２画像信号の差分を用いて画像の高周波成分を抽出し、前記縮小画像にエッジ強調処理を施す画像処理部をさらに備えることを特徴とする撮像装置。
10. 請求項１から請求項９のいずれか１項に記載の撮像装置において、
    前記カラーフィルタの色配列は、赤色、緑色、青色を含む２行２列の配列であることを特徴とする撮像装置。
11. 請求項１から請求項１０のいずれか１項に記載の撮像装置において、
    前記信号出力部は、異なる色の画像信号の間で前記読出単位上での標本点の重心が一致するように、前記電気信号を重み付け加算することを特徴とする撮像装置。
12. カラー画像を取得する取得部と、
    前記カラー画像を加算間引きして縮小画像の画像信号を生成する変換部と、を備え、
    前記変換部は、前記加算間引きのときに、前記縮小画像の複数の標本点を含む読出単位を設定し、１つの前記読出単位について、前記読出単位に含まれる前記標本点の数よりも多い複数の画像信号を生成することを特徴とする画像処理装置。
13. コンピュータに、
    カラー画像を取得する処理と、
    前記カラー画像を加算間引きして縮小画像の画像信号を生成する処理と、を実行させ、
    前記加算間引きのときに、前記縮小画像の複数の標本点を含む読出単位を設定し、１つの前記読出単位について、前記読出単位に含まれる前記標本点の数よりも多い複数の画像信号をそれぞれ生成することを特徴とするプログラム。

Images