JP2004023518A

JP2004023518A - 撮像装置

Info

Publication number: JP2004023518A
Application number: JP2002176911A
Authority: JP
Inventors: Nobuyuki Watanabe; 渡辺　伸之
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-06-18
Filing date: 2002-06-18
Publication date: 2004-01-22
Anticipated expiration: 2022-06-18
Also published as: US7542084B2; US20030231247A1; JP4285948B2

Abstract

【課題】高解像度の撮像素子から、高速な撮像レートで任意のサイズに変更した縮小画像を生成することの可能な撮像装置を提供する。
【解決手段】ＣＦＡを前面に配置した撮像素子２−１と、撮像素子の読み出しの制御を行うサンプリング制御部２−２と、撮像素子から出力される映像信号の画像サイズの縮小率を選択設定する画像サイズ変更制御部３と、画像縮小率と読み出し規則を対応させて記憶させたルックアップテーブル７とを有し、画像サイズ変更制御部で設定された縮小率に対応した読み出し規則をルックアップテーブルより読み出しサンプリング制御部へ供給し、その読み出し規則に基づいて撮像素子の読み出し制御を行い、所定の縮小率の映像信号を出力させる。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、特に、高解像度の撮像素子から任意サイズの縮小画像を高速で生成することの可能な撮像装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。前記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は　４００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。
【０００３】
しかしながら、撮影画像の全ての用途において、　４００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像としては、むしろ画素サイズを小さくしたものを使用する場合が多い。また、デジタルカメラの特徴としては、撮像後に画像を取捨選択することができる。すなわち、同一に被写体においても、撮像条件を異ならせて、複数の画像を撮像し、でき映えのよいものだけを残すようにしたりすることができる。
【０００４】
ところが、現状のデジタルカメラにおいては、撮像素子から、画像メモリへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影ができるものが少ない。また、デジタルカメラにおいても、動画の撮影の要求があるため、やはり、メモリへの転送は高速に行わなければならず、予め扱うデータ量を少なくすることが好ましい。上述のように、記録される画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリに転送されるデータ量を減らし、メモリ転送の速度を向上できる。
【０００５】
従来、画像サイズを縮小する場合において、線形補間によるサイズ縮小手法では、まず、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって小さいサイズの画像を作成する。図１８及び図１９は、ベイヤー配列画像から双一次補間及び双三次補間のサンプリングで、フルカラーの縮小画像を生成する手法を示した説明図である。図１８に示した双一次補間のサンプリングによる場合は、点Ａ，Ｂ，Ｃ，Ｄのフルカラーデータを、近傍のＲ，Ｇ，Ｂのデータ計１２点から計算する。例えば、点Ａに対しては、Ｒ４３，Ｒ４５，Ｒ６３，Ｒ６５，Ｂ３４，Ｂ３６，Ｂ５４，Ｂ５６，Ｇ４４，Ｇ５３，Ｇ５５，Ｇ６４の線形結合、点Ｂに対しては、Ｒ０３，Ｒ０３，Ｒ２３，Ｒ２５，Ｂ１４，Ｂ１６，Ｂ３４，Ｂ３６，Ｇ１５，Ｇ２４，Ｇ２６，Ｇ３５の線形結合となる。以下点Ｃ，Ｄについても同様な線形結合となる。一方、図１９に示した双三次補間のサンプリングによる場合は、例えば点Ｂに対しては、Ｒ６１，Ｒ６３，Ｒ６５，Ｒ６７，Ｒ０１，Ｒ０３，Ｒ０５，Ｒ０７，Ｒ２１，Ｒ２３，Ｒ２５，Ｒ２７，Ｒ４１，Ｒ４３，Ｒ４５，Ｒ４７，Ｂ７２，Ｂ７４，Ｂ７６，Ｂ７０，Ｂ１２，Ｂ１４，Ｂ１６，Ｂ１０，Ｂ３２，Ｂ３４，Ｂ３６，Ｂ３０，Ｂ５２，Ｂ５４，Ｂ５６，Ｂ５０，Ｇ７５，Ｇ０４，Ｇ０６，Ｇ１３，Ｇ１５，Ｇ１７，Ｇ２２，Ｇ２４，Ｇ２６，Ｇ２０，Ｇ３３，Ｇ３５，Ｇ３７，Ｇ４４，Ｇ４６，Ｇ５５の合計４８点の線形結合になる。
【０００６】
このような、線形補間による縮小画像の生成手法は、画質の面では良好であるが、全画素のデータを取り込んで、線形補間を行っているので動作が遅いという欠点がある。これは、上述のように連写機能や、動画撮影の場合に不都合である。
【０００７】
【発明が解決しようとする課題】
上述のようにメモリに転送する読み出しデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法が知られている。特開２００１−２４５１４１号公報には、そのような方法の利点を利用した画像の縮小方法について開示がなされている。ところで、特開２００１−２４５１４１号公報開示の手法においては、ベイヤー配列の原画像をＲＧＢのプレーンに分解して、３板の状態で各色の水平及び垂直方向の画素積分を行って、水平及び垂直方向のサイズ変更を行っている。したがって、撮像素子の画素データの読み出しにおいては、全点数を読み出していることには変わりがない。画素の読み出しクロックの制限から、全点数の読み出しを行っていると、上述のように、動画の撮影や連写の撮影を行うことが困難である。
【０００８】
ところで、平均化読み出しの方法としては、ＣＣＤを用いた撮像素子においては、電流値の加算読み出しを行い、読み出しのクロックを上げるという方法がある。しかしながら、この方法を用いると転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまう課題があった。更に、このＣＣＤによる読み出しの課題を解決する方法としては、特開平６−２１７２０１号公報に開示されている、ＣＭＯＳのキャパシタ素子による電圧読み出しの平均化処理がある。また、特開平９−２４７６８９号公報には、平均化、間引きサンプリングを、動画静止画で切り替えるという手法の提案がなされており、読み出しスピードに関しては改善の効果が示されている。
【０００９】
本発明においては、上述のような画像の取り込みスピードの向上の要求について着眼し、高解像度の撮像素子から撮影画像の任意のサイズの縮小画像を取り込む速度の向上を図ることができるようにした撮像装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
上記の問題点を解決するため、請求項１に係る発明は、分光透過率が異なるカラーフィルタアレイ（ＣＦＡ）を前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行う全画素読み出しモードと、読み出し画素の間引きを行って読み出す間引き読み出しと複数画素を平均化して読み出す平均化読み出しの組み合わせによる画像サイズ変更読み出しモードのいずれかを設定可能なモード設定手段と、前記画像サイズ変更読み出しモード設定時における画像サイズを設定する画像サイズ設定手段と、撮像素子から画像信号を読み出す画素位置を、前記読み出しモードに対応した読み出し規則に基づいて制御する読み出し制御手段とを備え、前記画像サイズ設定手段で設定された画像サイズに対応して、前記読み出し制御手段に読み出し規則が設定されるように構成されていることを特徴とするものである。
【００１１】
このように構成された撮像装置においては、画像サイズ設定手段で設定された画像サイズに対応した読み出し規則で、撮像素子の読み出しが制御されるようになっているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度の向上を図ることができる。
【００１２】
請求項２に係る発明は、請求項１に係る撮像装置において、前記画像サイズ設定手段は、予め用意されている複数の画像サイズに対応する画像縮小率から所定の画像縮小率を選択設定するように構成されており、更に前記画像サイズ設定手段に用意されている複数の画像縮小率に対応する前記撮像素子の読み出し規則を記憶する手段を有し、前記画像サイズ設定手段で設定された画像縮小率に対応した読み出し規則を前記読み出し制御手段に供給するように構成されていることを特徴とするものである。
【００１３】
このように構成された撮像装置においては、画像サイズ設定手段において、予め用意されている画像縮小率から所定のものを選択設定することにより、対応する読み出し規則により読み出し制御手段を介して撮像素子を読み出し、所定の縮小率の画像信号を出力させることが可能となる。
【００１４】
請求項３に係る発明は、請求項２に係る撮像装置において、前記読み出し規則記憶手段には、予め制限された画像縮小率に対してのみ、対応する読み出し規則が記憶されていることを特徴とするものである。
【００１５】
このように構成された撮像装置においては、画像歪み等の生じる不適切な画像縮小率が選択設定された場合は、読み出し規則が対応しないように制限し、適切な縮小率の画像のみを出力させることができる。
【００１６】
請求項４に係る発明は、請求項１〜３のいずれか１項に係る撮像装置において、前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理により再配分し、読み出し画素間隔を等間隔とする画像信号を生成するフィルタ処理部を更に備えていることを特徴とするものである。
【００１７】
このように構成された撮像装置においては、所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【００１８】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は本発明に係る撮像装置の第１の実施の形態の全体の概略構成を示すブロック構成図である。図１において、１は光学系で、該光学系１は被写体の像を撮像モジュール２の、図示しない単板ベイヤー配列のカラーフィルタアレイを前面に配置したＣＭＯＳセンサなどからなる撮像素子２−１上に結像する。撮像素子２−１の動作は、サンプリング制御部２−２によって制御される。撮像素子２−１の出力信号は映像信号処理部４によって処理され、映像信号を記録する場合にはメモリ５にその結果を出力し、リアルタイムの情報をビューファインダなどの画像表示部６に出力する。サンプリング制御部２−２では、メモリ５に記録する場合及び画像表示部６に表示する場合に応じて、画像サイズ変更制御部３の制御に従って、サンプリング制御を切り替えるようになっている。
【００１９】
そして、画像サイズ変更制御部３は、全画素読み出しモードと画素サイズ変更読み出しモードの選択設定が行えるようになっていると共に、撮像素子２−１から出力される映像信号の画像サイズの複数の縮小率が予め用意されていて、所定の画像縮小率が選択設定できるようになっている。また、ルックアップテーブル７には、画像サイズ変更制御部３に用意されている複数の画像縮小率に対応した、後述の間引き読み出し及び平均化読み出しを組み合わせた画像サイズ変更読み出しのための読み出し規則が記憶されており、画像サイズ変更制御部３において選択設定されると、選択設定された縮小率に対応した読み出し規則が、ルックアップテーブル７よりサンプリング制御部２−２に供給され、サンプリング制御部２−２は供給された読み出し規則に基づいて、撮像素子２−１の読み出し制御を行い、所定の縮小率の映像信号が撮像素子２−１より出力されるようになっている。
【００２０】
次に、上記第１の実施の形態の撮像モジュール２における平均化読み出しを実現する処理回路付きのＣＭＯＳセンサからなる撮像素子２−１の構成を、図２に基づいて説明する。なお、説明を簡単にするため撮像素子２−１のうち水平１ラインでの動作を説明するための構成を図示している。読み出し開始位置を指定する、サンプリング制御部２−２に設けられているスタートパルス位置レジスタ１１からのＳＴＢ信号１２−１，１２−２，・・・を、ＣＭＯＳセンサを駆動するシフトレジスタ１３に対して入力信号として送る。この図示例では、シフトレジスタ１３の動作は、２相のフリップフロップ（ＦＦ）動作になっており、１相目のＦＦ１はＨＣＫ１Ａのクロック信号により動作し、２相目のＦＦ２はＨＣＫ２Ａのクロック信号により動作し、縦続接続されているシフトレジスタユニット（ＳＲ１）１３−１，（ＳＲ２）１３−２，・・・への転送操作を行うようになっている。そして、各シフトレジスタユニットの出力がＨになれば、ＣＭＯＳセンサを構成する各ＣＭＯＳセンサ素子１４−１，１４−２，・・・のゲートが開き、各コンデンサＣに蓄積されている光電荷に対応した電圧の読み出しのラインをアクティブにして、光信号を読み出す。
【００２１】
ここで、読み出し開始位置を指定するスタートパルス位置レジスタ１１で１１ａ，１１ｂの２カ所を同時にＨの状態にして、対応する２カ所のシフトレジスタユニット１３−１，１３−３の１相目のＦＦ１を同時にアクティブにすると、シフトレジスタユニット１３−１，１３−３の２相目のＦＦ２の出力を同時にＨの状態にして、ＣＭＯＳセンサ素子１４−１，１４−３の各ゲートを開く。これにより、指定された位置のキャパシタＣの電圧を平均化したものが読み出される。すなわち、ＣＭＯＳセンサ素子１４−１及び１４−３のキャパシタＣの電圧が平均化されて読み出される。以下、シフトレジスタ１３の動作により、ＣＭＯＳセンサ素子１４−２，１４−４の各ゲートが同時に開くと言うように、２個の読み出し位置は右側にシフトしていく。
【００２２】
図３に、このような平均化読み出し動作を行うためのスタート位置を指定するスタートパルス位置レジスタ１１の内容と、２相のシフトレジスタ１３の動作、及びＣＭＯＳセンサの出力信号を時系列に示している。上述のように、ＣＭＯＳセンサの出力端子１５では、ＣＭＯＳセンサ素子１４−１，ＣＭＯＳセンサ素子１４−３の平均ＡＶＥ（ＣＭＯＳ１・ＣＭＯＳ３），ＣＭＯＳセンサ素子１４−２，ＣＭＯＳセンサ素子１４−４の平均ＡＶＥ（ＣＭＯＳ２・ＣＭＯＳ４），ＣＭＯＳセンサ素子１４−３，ＣＭＯＳセンサ素子１４−５の平均ＡＶＥ（ＣＭＯＳ３・ＣＭＯＳ５）と順次出力していく。ここで、ＡＶＥは括弧内の２つのＣＭＯＳセンサ出力信号の平均値を示す。
【００２３】
このように、シフトレジスタ１３を駆動する１回の動作パルスによって、２カ所以上のＣＭＯＳセンサ素子のキャパシタの電圧を、平均化して読み出すことができる。ここで、ＣＭＯＳセンサの１ラインの色フィルタの並びが、Ｒ−Ｇ−Ｒ−Ｇ・・・のようになっているとすると、以上の読み出し動作では、水平方向に１画素おきに並んだ２　個のＲ信号の平均、Ｇ信号の平均というように逐次右側にシフトしながら、平均化した光信号を読み出していることになる。
【００２４】
次に、本実施の形態におけるＣＭＯＳセンサで利用する他の読み出し方式である画素間引き読み出し（飛び越し読み出し）について説明する。図４の（Ａ）は、１画素おきの読み出し（間引き飛び越し読み出し）動作を実現するためのシフトレジスタの構成を示すブロック構成図である。この１画素おきの読み出し動作用のシフトレジスタは、各シフトレジスタユニット１３−１，１３−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ１Ｂクロック信号で駆動される第３のＦＦ３を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は次段のシフトレジスタユニットの２相目ＦＦ２の入力に接続するようにして構成されている。なお、図４の（Ａ）においては、次に説明する２画素間引きの読み出し用シフトレジスタと兼用させているため、第４のＦＦ４も合わせて図示している。
【００２５】
このように構成されたシフトレジスタにおいては、図４の（Ｂ）に示すように、スタートパルス位置レジスタ１１より図示のようなパルスを入力すると共に、ＨＣＫ１Ａ，ＨＣＫ２Ａ，ＨＣＫ１Ｂクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子１４−２，ＣＭＯＳセンサ素子１４−４，・・・に対応するゲート制御信号が出力され、１画素おきの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子１４−２，ＣＭＯＳセンサ素子１４−４，・・・の順に画素信号ＣＭＯＳ２，ＣＭＯＳ４，・・・が得られる。
【００２６】
図５は、２画素間引きの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この２画素間引きの読み出し動作用のシフトレジスタは、各シフトレジスタユニット１３−１，１３−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ１Ｂクロック信号で駆動される第３のＦＦ３を配置すると共に、ＨＣＫ１Ｃクロック信号で駆動される第４のＦＦ４を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は１段離れた次々段のシフトレジスタユニット１３−３（ＳＲ３）の２相目ＦＦ２に接続するようにして構成されている。
【００２７】
このように構成されたシフトレジスタにおいては、図６に示すように、スタートパルス位置レジスタ１１より図示のようなパルスを入力すると共に、ＨＣＫ１Ａ，ＨＣＫ２Ａ，ＨＣＫ１Ｂ，ＨＣＫ１Ｃクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子１４−３，ＣＭＯＳセンサ素子１４−６，・・・に対応するゲート制御信号が出力され、２画素間引きの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子１４−３，ＣＭＯＳセンサ素子１４−６，・・・の順に画素信号ＣＭＯＳ３，ＣＭＯＳ６，・・・が得られる。
【００２８】
次に、撮像素子から前記平均化読み出し及び間引き読み出し（飛び越し読み出し）を利用して、実際に画像を縮小して読み出す手法について述べる。本実施の形態では、単板ベイヤー配列のカラーフィルタを設けた撮像素子を用いることを前提としている。したがって、同一の被写体の位置（座標位置）に対応するフルカラーのデータは、撮像素子上ではそれぞれ位置の異なるＲ，Ｇ，Ｂのデータを補間、平均化をするなどして推定して得るようにしている。図７では、４×４（４行４列）のサンプリングブロック１６個と、４×２のサンプリングブロック４個と、２×４のサンプリングブロック４個、２×２のサンプリングブロック１個とを用いて、（４＋４＋４＋４＋２）×（４＋４＋４＋４＋２）＝１８×１８画素を５×５画素に縮小する場合の態様の一部を示しており、この縮小化変換を画像全体で行うようになっている。
【００２９】
したがって、この場合の縮小率は５／１８で、約２７％となる。また、この縮小化変換処理において、４画素のブロックに対しては、１画素おきの２画素平均化読み出しで、２クロックでサンプリングを行うこととし、２画素のブロックに対しては２クロックの読み出しで行うことにすると、１８画素のサンプリングを、２×４＋２＝１０クロックで行うことができる。したがって、このような縮小化読み出しにより、撮像素子から光信号を読み出す時点での高速化が図れることが解る。
【００３０】
また、図８に示すように、４×４のブロック１６個、６×４のブロック４個、４×６のブロック４個、６×６のブロック１個で、２２×２２画素を５×５画素とすることにより、５／２２の約　２２．７２％の縮小化処理を行うことができる。この場合、水平読み出しのクロック数は、４画素のブロックでは２クロック、６画素のブロックでは３クロックとなり、合計２×４＋３＝１１クロックで読み出すことができる。この場合の縮小化読み出しの高速化の原理と効果は、図７に示したものと同様である。
【００３１】
次に、画像サイズ変更制御部３で設定される縮小率と、それに対応する読み出し規則の間の関係について説明する。次に示すように、縮小率ａが与えられると、ある長さの基本ブロックがｘ−１個、調整用のブロックが１個というようなｘの値が与えられる。
（１）２画素ブロック（ｘ−１）個＋４画素ブロック１個で調整
ｉｆ　５０＞ａ＞３３．３（％）
ａ／１００　＝ｘ／｛２（ｘ−１）＋４｝→ｘ＝ａ／（５０−ａ）
（２）４画素ブロック（ｘ−１）個＋２画素ブロック１個で調整
ｅｌｓｅ　ｉｆ　３３．３＞ａ＞２５（％）
ａ／１００　＝ｘ／｛４（ｘ−１）＋２｝→ｘ＝ａ／（２ａ−５０）
（３）４画素ブロック（ｘ−１）個＋６画素ブロック１個で調整
ｅｌｓｅ　ｉｆ　２５＞ａ＞２０（％）
ａ／１００　＝ｘ／｛４（ｘ−１）＋６｝→ｘ＝ａ／（５０−２ａ）
（４）６画素ブロック（ｘ−１）個＋４画素ブロック１個で調整
ｅｌｓｅ　ｉｆ　２０＞ａ＞１６．６（％）
ａ／１００　＝ｘ／｛６（ｘ−１）＋４｝→ｘ＝ａ／（３ａ−５０）
【００３２】
このように、ブロックの組み合わせ（例えば４画素の基本ブロックと２画素の調整用のブロック）は、縮小率によって変わるようになっている。例えば、（１）のケースは、２画素の基本ブロックをｘ−１個、４画素の調整用ブロック１　個としたときに、ｘの値と縮小率ａの関係を表している。この（１）のケースの場合、例えば、２画素のブロックの方が多ければ（ｘ≧２）、３３％以下の縮小率は、どのような組み合わせでも実現しない。したがって、縮小率を３３％〜５０％に限定した場合に、２画素のブロックと４画素のブロックの読み出しで画像の縮小が実現することを示している。同様に、（２）のケースの場合では、４画素と２画素の組み合わせでは、２５％以下の縮小率は実現しない。以下同様に考え、縮小率によってブロックの画素数の組み合わせを割り当てるようにして、（１）〜（４）の場合分けを行い、サンプリング規則を算出するようにしている。
【００３３】
このような変換の計算をリアルタイムで行ってもよいが、本実施の形態では、画像サイズ変更制御部３で設定される縮小率ａとサンプリングブロック数ｘ（ある長さの基本ブロック（ｘ−１）個と調整用ブロック１個）の関係を、ルックアップテーブル（ＬＵＴ）７にして記憶させている。更に、このような画像縮小率ａとサンプリングブロック数ｘの関係を、グラフで示すと、図９のようになる。この図から解るように、前記（１）〜（４）で示した縮小化変換規則では、縮小率がとびとびの値しかとれないことが解る。特に３３％付近の値の飛び方を見ると、３％程度の間隔があり、例えば３５％とか３２．５％などの縮小率に対しては、サンプリング方法（読み出し規則）がない。実用上、縮小率が離散的な値でも構わないとすれば、最大の離散幅を考慮して、２５％までは縮小率を約３％刻み、２０％までは　１．６％刻みと言うように、ＬＵＴを構成するようにする。
【００３４】
ところで、このような読み出し規則を構成するブロック単位での分割読み出しは、図２〜図６で説明したような、シフトレジスタを用いた平均化読み出し及び間引き読み出し（飛び越し読み出し）の組み合わせにおいて、読み出し位置等の調整を行うことで実現できる。次に、図１０及び図１１に基づいて、具体的な読み出し規則について説明する。図１０及び図１１は、いずれも縮小率を５／１８とし、４画素の基本ブロック４個と調整用２画素ブロック１個とした読み出し規則によるサンプリング態様を示す図で、図１０は調整用２画素ブロックの読み出しにおいて読み出しシフトを行わない態様を示し、図１１は調整用２画素ブロックの読み出しにおいて読み出しシフトを行う態様を示している。なお、ここでは説明を簡単にするために、水平方向の読み出しについて示している。ここで、矢印で同時に読み出す画素のペアを示し、数字で読み出し位置のシフト量を示している。この図示例は、４＋４＋４＋４＋２＝１８画素を５画素に変換を行った、縮小率５／１８の態様を示している。この縮小率に応じて、読み出しペアの数は、例えば４画素のブロックが基本であれば２個、６画素のブロックが基本の場合は３個になる。
【００３５】
図１０及び図１１の図示例の場合、左端のブロックのサンプリングでは、Ｇ００＋Ｇ０２のペア、Ｒ０１＋Ｒ０３のペアとなり（平均化読み出し）、４画素のブロックの場合、読み出し位置はブロック内では１画素のシフト、ブロック間では３画素のシフトになる（１，３，１，３の飛び越し数）。このような飛び越しの制御を行うには、図５及び図６に示したシフトレジスタのＦＦ１，ＦＦ２と外付けのＦＦ３，ＦＦ４の動作パルスを所定のものにセットすればよい。すなわち、このように画像の縮小率に対応させた平均化読み出し方法とシフト量とを、ルックアップテーブル７に記憶しておけばよい。
【００３６】
２画素のブロック部分の読み出しは、図１０においては、カッコＡで示すように、次の４画素ブロックの画素を１個ずつ用いて４画素分の読み出しを、１画素シフトの２回の２画素平均化読み出しで行っている。一方、図１１における２画素ブロック部分の読み出しは、カッコＡで示すように、２画素ブロックの前後の４画素ブロックの１個ずつの画素を使って４画素分の読み出しを２回の平均化読み出しで行う。そのため、２画素ブロックの前後のブロックでは、読み出し規則シフトが、（１，２）になる。２画素ブロック部分における平均化読み出しのクロック数は、単一画素の読み出しクロックと同じなので、元の画像の情報を有効に用いて、縮小画像が生成できる。
【００３７】
図１０に示した読み出し手法では、２画素ブロック部分においてＧ，Ｒの読み出しの位相は変化しない。これに対して、図１１に示した画素読み出し手法では、２画素ブロック部分で、Ｇ，Ｒの読み出しの位相が逆転する。すなわち、４画素ブロックでは、Ｇ→Ｒの順で読み出しているが、２画素ブロックでは、Ｒ→Ｇの順になっている。
【００３８】
この場合、読み出した画素を各色のプレーンに割り当てるときに、タイミングの同期（Ｒ→Ｇの位相反転）を必要とする。このように、本発明によれば、ＣＭＯＳの平均化読み出し、及び飛び越し読み出しの制御と、画像の縮小率を関連づけることによって、サイズ縮小の画像得るときに読み出しの速度を向上させることができる。したがって、動画撮影や連写撮影を行うときに、画像の解像度と読み出しスピードの関係を適切に設定することができる。すなわち、読み出し速度の向上のために解像度の関係を柔軟にすることができる。
【００３９】
上記第１の実施の形態における読み出し規則による読み出し態様は、調整用ブロックの介在によって読み出し間隔が一定ではないため、この縮小サンプリング読み出しの規則を撮像素子の画素アレイに割り当てると、縮小率によっては、画像の歪みや、あるいは、エッジのジヤギー（不自然な凹凸）が目立ってしまう。例えば、図９のグラフ図において、縮小率が４１．６％だとすると、２画素の基本ブロック４個と、４画素の調整用ブロック１個の読み出し規則（５／１２）となり、２７．３％程度の縮小率であると、４画素の基本ブロック５個に対して２画素の調整用ブロック１個の読み出し規則（６／２２）となる。このようにいずれも２画素ブロックと４画素ブロックの組み合わせとなるが、２画素のサンプリングと４画素のサンプリングの比率は２倍であるため、縮小画像では大きな段差ができてしまう。これに対して、縮小率２０％の場合は、４画素の基本ブロックに対して６画素の調整用ブロック、あるいは６画素の基本ブロックに対して４画素の調整用ブロックが交互に現れるので、縮小画像ではジャギーが目立たない。
【００４０】
前者のような歪みを押さえるためには、画像サイズ変更制御部３において選択設定された縮小率に対応して読み出し規則を割り当てるために設けたルックアップテーブル７において、２画素と４画素の組み合わせからなる読み出し規則となる前記（１）及び（２）のケースの縮小率とならないように、画像サイズ変更制御部で設定される縮小率に制限を加え、画素サイズ変更制御部で設定された縮小率のうち、４画素と６画素の組み合わせからなる読み出し規則となる縮小率のみを採用し、その縮小率に対応した読み出し規則を割り当てるように構成する。これにより、歪みの目立たない縮小画像を提供することができる。
【００４１】
例えば、３３．３％の縮小率の場合、２画素サンプリングブロックと４画素サンプリングブロックが交互の読み出し規則〔２／（４＋２）〕となる。このようにブロックの組み合わせにおけるブロック数（３３．３％の縮小率の場合は２個）が少ない方が、直線を縮小サンプリングしたときのジャギーが規則的なものになるため歪みが目立たなくなる。また、３０％の縮小率の場合は、４画素の基本ブロックが２個と２画素の調整ブロックが１個の読み出し規則〔３／（４＋４＋２）〕となり、この場合のブロックの組み合わせにおけるブロック数は３個となり少ないので、直線を縮小サンプリングしたときのジャギーは目立たないものとなる。このように、縮小するときには、ブロックの組み合わせにおけるブロック数が少ない方が、直線を縮小サンプリングしたときのジャギーの周期が短くなるため歪みが目立たない。これに対して、ブロックの組み合わせにおけるブロック数が多い場合、例えば、４１．６％の縮小率の場合、２画素の基本ブロックが４個と４画素の調整ブロックが１個の読み出し規則〔５／（２＋２＋２＋２＋４）〕となり、４画素のサンプリングブロックの間に２画素のサンプリングブロックが４個も入ってしまうために、直線を縮小サンプリングしたときのジャギーの周期が長くなるため、急激な段差を生じることとなり、結果、歪みが目立ってしまうこととなる。よって、ブロックの組み合わせにおけるブロック数が少なくなるような縮小率（例えば、３３％，３０％，２８．５％など）を選択するようにすると、ジャギーが目立たないようになる。
【００４２】
（第２の実施の形態）
次に、第２の実施の形態を図１２に示すブロック構成図に基づいて説明する。この実施の形態は、上記第１の実施の形態で指摘したようなサンプリングによる縮小画像の歪みを押さえるための別の手法を示すものである。すなわち、図１２に示したように、撮像素子２−１をサンプリング制御部２−２で、読み出し規則によりサンプリング読み出した後に、フィルタ処理部８による重み付けフィルタ処理（補間処理）で歪みを低減するようにしたものである。フィルタ処理部８の重み付けフィルタ処理における計数処理は、画素サイズ変更制御部３により選択設定された縮小率の内容に対応して指定される。
【００４３】
次に、このようなフィルタ処理部８の動作の詳細について説明する。フィルタ処理部８では、撮像素子２−１から一旦サンプリング出力した画素信号を、均等幅のサンプリング画素信号に割り当てるために、重み付けフィルタ加算の演算処理を行う。図１３に示した例にとって、重み付けフィルタ加算の手法を説明する。画素配列で４つの４画素基準ブロックと１つの２画素調整用ブロックの画素４＋４＋４＋４＋２＝１８個を縮小して、５画素の読み出しを行うステップを１周期とする。各ブロックの中央位置（図１３の（Ａ）における２，６，１０，１４，１８，２０で示す位置ｉ〜ｎ）のうち、１周期のブロック配列の先頭ブロックの中央位置２（ｉ）と２０（ｎ）では、読み出した画素と均等配列の画素の位置Ａ〜Ｆが一致している基準位置（Ａ＝ｉ，Ｆ＝ｎ）として、以下２〜５番目のブロックの中央位置（６，１０，１４，１８で示す位置ｊ〜ｍ）は、基準位置の間で均等配列になるように、読み出した画素の水平方向の重み付け加算を行う。
【００４４】
この場合、ブロック位置２（ｉ）と２０（ｎ）の間を５個に均等配分すると、均等配列の各点Ａ〜Ｆの間の距離は、それぞれ１８／５となる。したがって、Ａ＝２の次の均等配列の各位置（Ｂ，Ｃ，Ｄ，Ｅ）の値は、それぞれ５．６　，９．２　，１２．８，１６．４となる。これらの均等配列の各位置Ａ〜Ｆを、それに隣接するサンプリング位置（例えば、均等配列位置Ｂ＝５．６　に対しては、ｉ＝２，ｊ＝６）を用いて、それらの重み付けフィルタ加算で表すと、Ｂ＝０．１　×ｉ＋０．９　×ｊとなる。以下、均等配列位置Ｃ，Ｄ，Ｅに付いても同様に表すことができ、その重み付けフィルタ加算で表した値は図１３の（Ａ）に示すとおりである。このような５画素単位での再配分線形変換を、行列の線形フィルタ形式で表すと、図１３の（Ｂ）のようになる。
【００４５】
また、図１４の（Ａ），（Ｂ）は、４つの４画素基準ブロックと１つの６画素調整用ブロックの画素４＋４＋４＋４＋６＝２２個を縮小して、５画素でサンプリングした例に付いて示したものである。また図１５，１６は、図１３及び図１４において調整用の最後のブロック（２画素又は６画素）のサンプリングを、図１１に示したようにシフトして行った場合を示している。これらの図では、説明を簡単にするために水平方向の例のみを示しているが、垂直方向に関しても同様に重み付けフィルタ加算によって、均等間隔の配列に、再配分する。
【００４６】
したがって、画像サイズ変更制御部で設定される縮小率と、それに対応する図１０，図１１に示した様な読み出しの規則（平均化と、読み出しの位置のシフト）と、図１３〜図１６に示したような画素の重み付けの係数とをパラメータとして関連づけて記憶しておくことによって、図１２のフィルタ処理部８の処理で、均等間隔の配列に再配列処理することができる。なお、このようなフィルタ処理の重み付け係数は、画像サイズの変更に連動して、サンプリング規則と同様にルックアップテーブル７として記憶しておけばよい。このような処理によって、例えば、図１７の（Ａ）に矢印で示したような、エッジのジヤギーを、フィルタリングの効果によって、図１７の（Ｂ）に矢印で示すように抑制することができる。
【００４７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば，画像サイズ設定手段で設定された画像サイズに対応した読み出し規則で、撮像素子の読み出しが制御されるように構成されているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度を向上させることができる。また請求項２に係る発明によれば、予め用意されている画像縮小率から所定のものを選択設定することにより、対応する読み出し規則により読み出し制御手段を介して撮像素子を読み出し、所定の縮小率の画像信号を出力させることができる。また請求項３に係る発明によれば、画像歪み等の生じる不適切な画像縮小率が選択設定された場合は、読み出し規則が対応しないように制限し、適切な縮小率の画像のみを出力させることができる。また請求項４に係る発明によれば、所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した撮像モジュールにおいて、平均化読み出し処理を行うための回路構成を示す図である。
【図３】図２に示した平均化読み出し処理回路の動作を説明するためのタイミングチャートである。
【図４】図１に示した撮像モジュールにおいて、間引き読み出し処理を行うための回路構成及びその動作を説明するためのタイミングチャートである。
【図５】間引き読み出し処理を行うための他の回路構成を示す図である。
【図６】図５に示した間引き読み出し処理回路の動作を説明するためのタイミングチャートである。
【図７】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、１８×１８画素を５×５画素に縮小する態様を示す図である。
【図８】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、２２×２２画素を５×５画素に縮小する態様を示す図である。
【図９】画像縮小率とサンプリングブロック数との関係を示すグラフ図である。
【図１０】縮小率５／１８としたときの読み出し規則によるサンプリング態様（読み出しシフトなし）を示す説明図である。
【図１１】縮小率５／１８としたときの読み出し規則によるサンプリング態様（読み出しシフトあり）を示す説明図である。
【図１２】本発明の第２の実施の形態を示すブロック構成図である。
【図１３】図１２に示した第２の実施の形態におけるフィルタ処理部の重み付けフィルタ加算処理の一例を示す説明図である。
【図１４】フィルタ処理部の重み付けフィルタ加算処理の他の例を示す説明図である。
【図１５】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図１６】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図１７】フィルタ処理部による処理後の画像態様を示す説明図である。
【図１８】ベイヤー配列画像から双一次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【図１９】ベイヤー配列画像から双三次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【符号の説明】
１　光学系
２　撮像モジュール
２−１　撮像素子
２−２　サンプリング制御部
３　画像サイズ変更制御部
４　映像信号処理部
５　メモリ
６　画像表示部
７　ルックアップテーブル
８　フィルタ処理部
１１　スタートパルス位置レジスタ
１２−１，１２−２，・・・　ＳＴＢ信号
１３　シフトレジスタ
１３−１，１３−２，・・・　シフトレジスタユニット
１４−１，１４−２，・・・　ＣＭＯＳセンサ素子
１５　出力端子

Claims

分光透過率が異なるカラーフィルタアレイを前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行う全画素読み出しモードと、読み出し画素の間引きを行って読み出す間引き読み出しと複数画素を平均化して読み出す平均化読み出しの組み合わせによる画像サイズ変更読み出しモードのいずれかを設定可能なモード設定手段と、前記画像サイズ変更読み出しモード設定時における画像サイズを設定する画像サイズ設定手段と、撮像素子から画像信号を読み出す画素位置を、前記読み出しモードに対応した読み出し規則に基づいて制御する読み出し制御手段とを備え、前記画像サイズ設定手段で設定された画像サイズに対応して、前記読み出し制御手段に読み出し規則が設定されるように構成されていることを特徴とする撮像装置。
前記画像サイズ設定手段は、予め用意されている複数の画像サイズに対応する画像縮小率から所定の画像縮小率を選択設定するように構成されており、更に前記画像サイズ設定手段に用意されている複数の画像縮小率に対応する前記撮像素子の読み出し規則を記憶する手段を有し、前記画像サイズ設定手段で設定された画像縮小率に対応した読み出し規則を前記読み出し制御手段に供給するように構成されていることを特徴とする請求項１に係る撮像装置。
前記読み出し規則記憶手段には、予め制限された画像縮小率に対してのみ、対応する読み出し規則が記憶されていることを特徴とする請求項２に係る撮像装置。
前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理により再配分し、読み出し画素間隔を等間隔とする画像信号を生成するフィルタ処理部を更に備えていることを特徴とする請求項１〜３のいずれか１項に係る撮像装置。