JP2005109994A - 撮像装置 - Google Patents

Abstract

【課題】 本発明は、撮像素子が有する本来の解像度よりも低い解像度でかつ画質の良い画像を得る撮像装置を提供する。
【解決手段】 固体撮像素子は補色配列又はベイヤ配列の色フィルタを有し、色ごとに３行又は３列ずれた境界で区切られる６行６列の部分ごとに、その部分に配置される一つの色に関係する９個の光電変換素子からの電荷を、一つに集積して一画素として出力する。この処理によって空間的なローパスフィルタ作用が生まれ、前記目的解像度におけるナイキスト周波数を超える信号成分が低減されるため、前記目的画像データにより表される画像中に現れる周波数折り返しノイズが減って画質が向上する。
【選択図】 図２

Description

本発明は、撮像装置に関し、特に、撮像素子が有する本来の解像度よりも低い解像度でかつ画質の良い画像を得る技術に関する。

昨今、固体撮像素子の多画素化が進み、メガピクセル（１００万画素）を超える解像度を有する固体撮像素子が、コンパクトカメラや携帯電話機に備えられるようになっている。
このことによって、このような手軽な機材で非常に高い解像度のスチル写真の撮影が可能になると同時に、より低い解像度の画像、例えば、動画を撮影する場合の個々のフレーム画像や、メールに添付して送付するための画像を得るために、解像度を下げる処理が不可欠となっている。

低解像度の画像を得るために、固体撮像素子の画素を間引いて用いる技術が周知である。この技術によって整数分の１の解像度の画像を得ることができる。
画素を間引くことでちょうど目的の解像度の画像が得られない場合には、さらにズーム処理を行って、目的の解像度の画像を得ることになる。
このようなズーム処理を画質できるだけ損なわずに行う技術が、例えば特許文献１に開示されている。
特開２００２−３７４４０７号公報

しかしながら、従来の画素間引きとズーム処理によって低解像度の画像を得る技術によれば、画素を間引く段階で大きな周波数折り返しノイズが発生するため、低解像度でかつ画質の良い画像を得ることができない。
この問題に鑑み、本発明は、固体撮像素子が有する本来の解像度よりも低い解像度でかつ画質の良い画像が得られる撮像装置を提供することを目的とする。

上記問題を解決するため、本発明の撮像装置は、二次元行列状に配置され、複数色のうちそれぞれ所定の一色の色フィルタを受光面に有する複数の光電変換手段と、前記光電変換手段が配置される行列のＬ行Ｃ列（６≦Ｌ、６≦Ｃ、Ｌ、Ｃは何れも偶数）の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から光電変換の結果個別に得られる電荷を一つに集積する電荷集積手段と、前記集積の結果得られる電荷を前記部分ごとに読み出す読出手段と、前記読み出される電荷によって表される画素で構成される中間解像度の画像を表す中間画像データを生成する画像データ生成手段と、前記中間画像データを、所定の目的解像度で前記画像を表す目的画像データに変換する解像度変換手段とを備え、前記光電変換手段は、前記中間解像度が前記所定の目的解像度となる個数よりも多数設けられる。

本発明の撮像装置は、前述した構成によって、前記Ｌ行Ｃ列の部分ごとに光電変換手段から得られる電荷を一つに集積する。これにより、空間的なローパスフィルタ作用が生まれ、前記所定の目的解像度におけるナイキスト周波数を超える信号成分が低減されるため、前記目的画像データにより表される画像中に現れる周波数折り返しノイズが減って画質が向上する。従来の画素間引きには、空間的なローパスフィルタ作用がないので、この効果は生じない。

また、前記中間解像度が前記所定の目的解像度となる個数よりも多数の光電変換手段を設けるので、目的解像度よりも高い中間解像度の画像を一旦生成し、そこからさらに解像度を下げることによって前記目的画像データを得ることができる。解像度を下げるために、前記特許文献１に開示されている技術を用いれば、前記目的解像度の画像にナイキスト周波数の信号成分を残すことができる。

対比される一つの例として、前記中間解像度がちょうど前記目的解像度となり解像度変換を行う余地がない程度の個数の光電変換手段が設けられる場合を考える。この場合に、前記目的解像度の画像にナイキスト周波数の信号成分を残すことは不可能である。
つまり、ナイキスト周波数の近傍の高域信号成分のレベルについては、本撮像装置により得られる画像がこの対比される例に勝る。

また、前記撮像装置は、さらに、前記目的画像データによって表される画像に含まれる輪郭部分が強調されるように前記目的画像データを補正する輪郭補正手段を備えてもよい。
この構成によれば、高域信号成分のレベルがさらに高まるので、良好な画質の画像が得られる。

また、前記電荷集積手段は、色ごとに異なる境界で区切られるＬ行Ｃ列の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から個別に得られる電荷を一つに集積してもよい。
この構成によれば、集積の結果得られる電荷が表す異なる色の画素が接近しにくくなり、全ての色の画素が均等に整列しやすくなるので、良好な画質の画像が得られる。

また、前記電荷集積手段は、前記複数色のうち何れの２色についても、行方向にＬ／２行、列方向にＣ／２列、又は、行方向及び列方向にそれぞれＬ／２行及びＣ／２列ずれた境界で区切られるＬ行Ｃ列（Ｌ＝４ｍ＋２、Ｃ＝４ｎ＋２、ｍ、ｎは何れも自然数）の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から個別に得られる電荷を一つに集積してもよい。

この構成によれば、集積の結果得られる電荷が表す一つの色の画素が他の色の画素のちょうど中間に位置することとなり、全ての色の画素が均等に整列するので、良好な画質の画像が得られる。

本発明の実施の形態に係る撮像装置は、固体撮像素子の個々の画素について得られた電荷を、所定の複数ごとに集積して１画素として扱うことにより、固体撮像素子が有する本来の解像度よりも低くかつ目的の解像度よりも高い中間的な解像度の画像データを生成した後、生成された画像データにズーム処理及び輪郭補正処理を行って、目的の解像度の画像データを生成する。

以下、本発明の実施の形態に係る撮像装置について、図面を参照しながら説明する。
＜全体構成＞
図１は、撮像装置３０の本発明に主題に関連する主要部の一構成例を示す機能ブロック図である。
固体撮像素子３１は、半導体基板上に複数の光電変換素子が二次元行列状に設けられてなる。個々の光電変換素子は複数色のうち所定の一色の色フィルタを受光面に有し、駆動部３２から供給される駆動信号によって示される期間、被写体から受けた光を電荷に変換する。

固体撮像素子３１は、個々の光電変換素子が変換した電荷を個別に読み出すか、又は、前記光電変換素子が配置される行列をＬ行Ｃ列（６≦Ｌ、６≦Ｃ、Ｌ、Ｃは何れも偶数）の大きさに区切ってなる部分ごとに、その部分に配置される同じ色に関係する全ての光電変換素子が変換した電荷を一つに集積して読み出し、読み出した電荷に応じた信号をアナログフロントエンド３３へ出力する。

固体撮像素子３１が電荷を個別に読み出すか、集積して読み出すかは、駆動部３２から供給される駆動信号の内容に応じて切り換えられる。
前記部分ごとに一つに集積される電荷に関係する画素数をＬＣ／４個とすると、固体撮像素子３１は、集積された電荷を読み出す場合、個別の電荷を読み出す場合に比べて、ＬＣ／４倍の感度と、４／ＬＣ倍の解像度とを有することとなる。

固体撮像素子３１の詳細については後述する。
アナログフロントエンド３３は、固体撮像素子３１から受け取った信号を、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、自動利得調整（ＡＧＣ：Auto Gain Control）した後、デジタル信号へ変換する。
画像情報生成部３５、ズーム及び輪郭補正部３７、制御部３８、及び同期信号生成部３４は、具体的には、ＤＳＰ（Digital Signal Processor）、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）等を用いて実現され、これらの各部の機能は、ＤＳＰ及びＣＰＵが、ＲＯＭに記録されているプログラムを実行することによって果たされる。

画像情報生成部３５は、アナログフロントエンド３３から受け取ったデジタル信号を、作業用メモリ３６を用いて処理して、撮影された画像を輝度及び色差で表す画像データを生成し、作業用メモリ３６へ記録する。作業用メモリ３６は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いて実現される。
ズーム及び輪郭補正部３７は、前述した特許文献１に開示される画像処理装置を含んで構成される。ズーム及び輪郭補正部３７は、作業用メモリ３６に記録された画像データを読み出し、読み出した画像データに前記画像処理装置によるズーム処理と、周知の輪郭補正処理とを施すことにより、目的の解像度でかつ輪郭補正された画像データに変換して制御部３８へ出力する。この輪郭補正処理は、例えば、輝度勾配が変化する点に位置する画素を、その変化がより大きくなるように補正するフィルタを用いて行えばよい。

制御部３８は、受け取った画像データを、図示しない記録用メモリへ記録し、また、受け取った画像データによって表される画像を、図示しない表示部へ表示する。
＜固体撮像素子３１＞
固体撮像素子３１は、特願２００３−１００１８７号（以降、関連出願と言う）において既に出願されている発明を採用するものである。ここでは、この関連出願に記載されている発明の特徴を表す典型的な実施の形態を説明する。なお、説明の簡潔のため、技術内容の同一性を損なわない範囲で、この関連出願とは一部異なる表現を用いる。
＜色フィルタ配列と電荷の集積範囲の例＞
図２は、固体撮像素子３１を受光方向から見た模式図であり、一隅のみ示している。固体撮像素子３１は、半導体基板上に複数の光電変換素子３１１、３１２、３２１、３２２、・・・が二次元行列状に形成されてなる。光電変換素子３１１、３１２、３２１、及び３２２は、それぞれ、Ｙ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）、及びＧ（緑）の色フィルタを受光面に有している。色フィルタのこのような配列は、いわゆる補色フィルタの標準的な例であり、この配列を繰り返して全ての光電変換素子に色フィルタが設けられる。

固体撮像素子３１は、前記光電変換素子が配置される行列の６行６列の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換素子から光電変換の結果個別に得られる電荷を一つに集積する機能を有している。この機能を実現するための構成について詳述する前に、電荷の集積範囲について簡単に説明する。
図２に、一例として、電荷の集積単位となる６行６列の部分を、黄、マゼンタ、シアン、及び緑に関して、それぞれ、境界Ｙ、境界Ｍ、境界Ｃ、及び境界Ｇによって示す。ここでは、色ごとに電荷の集積単位となる部分を区切る境界が異なる場合を例示する。境界Ｙに対して、境界Ｍは３行、境界Ｃは３列、境界Ｇは３行３列、それぞれずれて設定される。

境界Ｙで区切られた一つの部分において電荷の集積対象となる黄色に関係する９個の光電変換素子を、実線で接続して示す。この部分における集積の結果得られる一つの電荷が表す黄色の画素位置（つまり、集積対象となった９個の画素位置の重心）を円で示す。
他の部分、及び他の色については、個々の部分において集積の結果得られる一つの電荷が表す画素位置のみを円で示す。個々の部分において、円に重なる光電変換素子から得られる電荷と、その光電変換素子から行方向、列方向、及び斜め方向に最も近く位置する同じ色に関係する光電変換素子から得られる電荷とが集積の対象となる。

元の個別画素と同様、集積の結果得られる個々の電荷が表す画素もまた、二次元行列状に等間隔に整列し、その色配列は元の個別画素の色配列と同じである。また、電荷の集積単位に満たない周辺部を除いて、元の個別の電荷が全て集積される。
なお、図示した境界線、接続線、及び円は、何れも説明のために示したものであって、固体撮像素子３１の構成要素として半導体集積基板上に具体的に形成されるものではないことを注意する。
＜詳細な構成と動作＞
以下、前記関連出願に記載されている発明の特徴を表す典型的な実施の形態について説明する。

図３は、固体撮像素子３１を、ＣＣＤ（Charge Coupled Device）固体撮像素子を用いて実現する場合に、前述した電荷の集積を行うための具体的な構成例を示す。
Ｙ１１、Ｍ１２、Ｃ２１、Ｇ２２・・・は光電変換素子であり、それぞれ前述した配列の色フィルタを備える。ＶＣＣＤ１、ＶＣＣＤ２・・・は、列ごとに設けられる垂直ＣＣＤであり、各行に対応する段を連ねてなり、光電変換素子から受け取った電荷を個別に転送するか、又は集積しながら転送する。ＶＣＣＤ１Ａ、ＶＣＣＤ２Ａ・・・は、ＶＣＣＤ１、ＶＣＣＤ２・・・の延長部分に設けられる接続ＣＣＤであり、３行分に相当する段を連ねてなり、垂直ＣＣＤから水平ＣＣＤへ電荷を転送する。ＨＣＣＤは、水平ＣＣＤであり、各列に対応する段を連ねてなり、ＶＣＣＤ１Ａ、ＶＣＣＤ２Ａ・・・から受け取った電荷を個別に転送するか、又は集積しながら転送する。ＡＭＰは出力アンプであり、ＨＣＣＤから受け取った電荷に応じた電気信号を出力する。

これらの構成を駆動するために、駆動部３２は同期信号生成部３４の制御下で、大別して、蓄積信号、読出信号、垂直転送信号、接続転送信号、水平転送信号を、固体撮像素子３１へ供給する。
固体撮像素子３１は、蓄積信号を全ての光電変換素子へ一斉に供給する配線を備える。各光電変換素子は、蓄積信号が供給されている期間、被写体から受けた光を電荷に変換して蓄積する。

読出信号には、独立して発行される第１読出信号、第２読出信号、及び第３読出信号の３種類がある。固体撮像素子３１は、第１読出信号、第２読出信号、及び第３読出信号を、それぞれ一斉に、第３ｉ行（ｉは自然数）の光電変換素子、第３ｉ−１行（ｉは自然数）の光電変換素子、及び第３ｉ−２行（ｉは自然数）の光電変換素子へ供給する配線を備える。各光電変換素子は、読出信号を供給されると、蓄積した電荷を垂直ＣＣＤへ転送する。

垂直転送信号には、独立して発行される第１垂直転送信号、第２垂直転送信号、及び第３垂直転送信号の３種類がある。固体撮像素子３１は、第１垂直転送信号、第２垂直転送信号、及び第３垂直転送信号を、それぞれ一斉に、第３ｊ列（ｊは自然数）の垂直ＣＣＤ、第３ｊ−１列（ｊは自然数）の垂直ＣＣＤ、及び第３ｊ−２列（ｊは自然数）の垂直ＣＣＤへ供給する配線を備える。各垂直ＣＣＤは、垂直転送信号を供給されると、個々の段に保持している電荷を紙面の下方へ一段転送する。

ここまでに説明した制御信号を参照しながら、各列の垂直ＣＣＤ内において電荷が集積されると共に転送される動作を説明する。
まず、第２読出信号の供給によって、第２行、第５行、第８行・・・の光電変換素子が、個々に蓄積した電荷を全列一斉に垂直ＣＣＤのその行の段に転送する。そして、第１垂直転送信号、第２垂直転送信号、及び第３垂直転送信号のそれぞれ２度の供給によって、各垂直ＣＣＤは、受け取った電荷を２行下の段へ転送する。ここまでの動作で、第８行の光電変換素子が蓄積した電荷は各列の垂直ＣＣＤの第６行の段にあり、第５行の光電変換素子が蓄積した電荷は各列の垂直ＣＣＤの第３行の段にある。

次に、第１読出信号の供給によって、第３行、第６行、第９行・・・の光電変換素子が、個々に蓄積した電荷を全列一斉に垂直ＣＣＤのその行の段に転送する。この動作で、各列の垂直ＣＣＤの第６行の段に、第８行及び第６行の光電変換素子が蓄積した２画素分の電荷が集積され、各列の垂直ＣＣＤの第３行の段に、第５行及び第３行の光電変換素子が蓄積した２画素分の電荷が集積される。

次に、第１垂直転送信号、第２垂直転送信号、及び第３垂直転送信号のそれぞれ２度の供給によって、各垂直ＣＣＤは、集積した電荷を２行下の段へ転送する。そして、第３読出信号の供給によって、第１行、第４行、第７行・・・の光電変換素子が、個々に蓄積した電荷を全列一斉に垂直ＣＣＤのその行の段に転送する。この動作で、各列の垂直ＣＣＤの第４行の段に、第８行、第６行、及び第４行の光電変換素子が蓄積した３画素分の電荷が集積され、各列の垂直ＣＣＤの第１行の段に、第５行、第３行、及び第１行の光電変換素子が蓄積した３画素分の電荷が集積される。

さらに、制御信号について説明を続ける。
接続転送信号には、独立して発行される第１接続転送信号、第２接続転送信号、及び第３接続転送信号の３種類がある。固体撮像素子３１は、第１接続転送信号、第２接続転送信号、及び第３接続転送信号を、それぞれ一斉に、第３ｊ列（ｊは自然数）の接続ＣＣＤ、第３ｊ−１列（ｊは自然数）の接続ＣＣＤ、及び第３ｊ−２列（ｊは自然数）の接続ＣＣＤへ供給する配線を備える。各列の接続ＣＣＤは、接続転送信号を供給されると、個々の段に保持している電荷を紙面の下方へ一段転送するとともに、最終段にある電荷を水平ＣＣＤのその列の段へ転送する。

固体撮像素子３１は、水平転送信号を水平ＣＣＤへ供給する配線を備える。水平ＣＣＤは、水平転送信号を供給されると、個々の段に保持している電荷を紙面の左方へ一段転送する。
ここまでに説明した制御信号を参照しながら、水平ＣＣＤ内において電荷が集積されると共に転送される動作を説明する。

まず、第１〜第３垂直転送信号、及び第１〜第３接続転送信号のそれぞれ３度の供給によって、各列の接続ＣＣＤの最終段へ３画素分集積された電荷が転送される。
次に、第２接続転送信号の供給によって、第２列、第５列、第８列・・・の接続ＣＣＤがそれぞれ、３画素分集積された電荷を水平ＣＣＤのその列の段に転送する。そして、水平転送信号の２度の供給によって、水平ＣＣＤは受け取った電荷を２列左の段へ転送する。ここまでの動作で、第８列の３画素分の電荷は水平ＣＣＤの第６列の段にあり、第５列の３画素分の電荷は水平ＣＣＤの第３列の段にある。

次に、第１接続転送信号の供給によって、第３列、第６列、第９列・・・の接続ＣＣＤがそれぞれ、３画素分集積された電荷を水平ＣＣＤのその列の段に転送する。この動作で、水平ＣＣＤの第６列の段に、第８列及び第６列それぞれ３画素分の、合わせて６画素分の電荷が集積され、水平ＣＣＤの第３列の段に、第５列及び第３列それぞれ３画素分の、合わせて６画素分の電荷が集積される。

次に、水平転送信号の２度の供給によって、水平ＣＣＤは、集積した電荷を２列左の段へ転送する。そして、第３接続転送信号の供給によって、第１列、第４列、第７列・・・の接続ＣＣＤが、３画素分集積された電荷を水平ＣＣＤのその列の段に転送する。この動作で、水平ＣＣＤの第４列の段に、第８列、第６列、及び第４列それぞれ３画素分の、合わせて９画素分の電荷が集積され、水平ＣＣＤの第１列の段に、第５列、第３列、及び第１列それぞれ３画素分の、合わせて９画素分の電荷が集積される。

水平ＣＣＤに集積された９画素分の電荷は、出力アンプＡＭＰを介してアナログフロントエンド３３へ出力される。
以上説明したように、固体撮像素子３１は、光電変換手段から垂直ＣＣＤへの電荷の転送を特定の行ごとに行い、かつ、垂直ＣＣＤから水平ＣＣＤへの電荷の転送を特定の列ごとに行うための特徴的な構成を備える。

この構成によって、固体撮像素子３１は、駆動部３２から供給される特徴的な制御信号に応じて、列ごとの垂直ＣＣＤ内、及び水平ＣＣＤ内で、それぞれ電荷の集積と転送とを行い、一つに集積された９画素分の電荷を一画素として出力することができる。
また、駆動部３２から、従来の制御信号、つまり光電変換手段から垂直ＣＣＤへの電荷の転送を全行で一斉に行い、かつ、垂直ＣＣＤから接続ＣＣＤを介して水平ＣＣＤへの電荷の転送を全列で一斉に行うための制御信号が供給される場合、固体撮像素子３１は、その従来の制御信号に応じて、集積されていない個別の電荷を転送し、個々の電荷をそれぞれ一画素として出力することもできる。

この動作によって、固体撮像素子３１が有している最高の解像度の画像を得ることができる。ただし、低い解像度でかつ良好な画質の画像を得る本発明の主題とは直接関係がないため、詳しく説明しない。
なお、垂直ＣＣＤ、接続ＣＣＤ、及び水平ＣＣＤそれぞれの段を、複数のゲートを用いて構成してもよい。例えば、１段を２ゲートで構成する場合、第１〜第３垂直転送信号のそれぞれが２ゲートを駆動する２相の制御信号となり、垂直ＣＣＤは全部で６相の制御信号によって駆動される。また、水平ＣＣＤも２相の制御信号によって駆動される。

電荷の集積単位を区切る境界は、各色で一致していてもよく、また異なっていてもよい。集積の結果得られる電荷が表す画素重心が二次元行列状に均等に整列しない場合、不均等配列を補正するためのフィルタを適用してもよい。
電荷の集積単位を、各色でＬ行Ｃ列（Ｌ＝４ｍ＋２、Ｃ＝４ｎ＋２、ｍ、ｎは何れも自然数）とし、電荷の集積単位を区切る境界を、色ごとに、行方向にＬ／２行、列方向にＣ／２列、又は、行方向及び列方向にそれぞれＬ／２行及びＣ／２列ずれて設定してもよい。前述した固体撮像素子３１の例では、ｍ＝１、ｎ＝１の場合、つまり、電荷の集積単位が６行６列であって、境界Ｙに対して、境界Ｍが３行、境界Ｃが３列、境界Ｇが３行３列、それぞれずれて設定される場合を示した。

色フィルタの配列は、ベイヤ配列であってもよい。また、４行２列を繰返しの単位とし、各繰返し内の１行１列目と３行２列目、１行２列目と３行１列目、２行１列目と４行２列目、及び２行２列目と４行１列目の各組に同じ色の色フィルタを設ける配列であってもよい。また、２行４列を繰返しの単位とし、各繰返し内の１行１列目と２行３列目、２行１列目と１行３列目、１行２列目と２行４列目、及び２行２列目と４行４列目の各組に同じ色の色フィルタを設ける配列であってもよい。

駆動部は、独立して第１〜第６読出信号、第１〜第６接続転送信号を発行し、固体撮像素子３１は、隣接する６行に配置される光電変換素子へ相異なる読出信号を供給する配線を備え、隣接する６列に設けられる接続ＣＣＤへ相異なる接続転送信号を供給する配線を備えてもよい。
これらの事項は全て、前記関連出願に詳細に記載されているので、ここでは詳しい説明を省略する。

なお、ＭＯＳ（Metal Oxide Semiconductor）固体撮像素子を用いて、同様に９画素分の電荷を集積しながら読み出す構成が、特願２００３−０１８１４３号に示されており、固体撮像素子３１を実現するために、この構成を採用することもできる。
＜周波数特性の対比＞
前述した構成の撮像装置によって、画素を間引いてからズーム処理を行う従来の場合よりも画質の良い画像が得られることを、画像の空間周波数特性を対比しながら説明する。

図４は、３種類の画像の空間周波数特性を示すグラフであり、横軸に空間周波数、縦軸に画像に含まれる信号成分のレベルを表す。以降、空間周波数のことを簡略に周波数と言う。
全画素周波数特性は、固体撮像素子３１が備える個々の光電変換素子から個別に得られる電荷それぞれを一画素として扱って得られる画像、つまり、固体撮像素子３１本来の解像度の画像に含まれる周波数成分を示す。

ｆ０は本来の解像度におけるナイキスト周波数である。固体撮像素子３１には、サンプリングによって生じる周波数折り返しノイズを除去するための光学的なフィルタが設けられ、ｆ０以上の周波数成分はこのフィルタによって阻止される。
画素混合周波数特性は、前述した構成によって固体撮像素子３１の本来の解像度で９画素分の電荷を集積して１画素として扱って得られる画像（以降、画素混合画像と略称する）に含まれる周波数成分を示す。

これと対比される画素間引き周波数特性は、固体撮像素子３１が備える光電変換素子のうち、１つの色に関係する光電変換素子の、列方向に３個かつ行方向に３個の９個に１個の光電変換素子から得られる電荷を１画素として扱い、残りの光電変換素子から得られる電荷は読み出さないか、又は読み捨てて得られる画像（以降、画素間引き画像と略称する）に含まれる周波数成分を示す。

画素混合画像、及び、画素間引き画像の何れも、本来の解像度の１／９の中間的な解像度を有し、その中間的な解像度におけるナイキスト周波数はｆ０／３である。サンプリング定理から、ｆ０／３を超える周波数の信号成分はその中間的な解像度の画像中に周波数折り返しノイズとして現れ、画質を劣化させる。
グラフに見られるように、画素間引き画像は、画質を劣化させるｆ０／３を超える信号成分を、画素混合画像に比べて多く含んでいる。この違いは、画素を混合する操作は、隣接する画素を加算することによる空間的なＬＰＦ（Low Pass Filter）作用をおのずから含んでいるのに対して、画素を間引く操作には空間的なＬＰＦ作用がないためｆ０／３を超える信号成分が除去されないことに起因する。

図５は、ズーム及び輪郭補正部３７が行うズーム処理を説明するための模式図である。このズーム処理については、前記特許文献１に詳細に開示されているので、ここではその特徴のみをごく簡単に説明する。
図５は、このズーム処理が、元の画素間隔の例えば５／４倍の間隔で並ぶ新たな画素をリサンプリングする場合を示し、上段の白丸が元の画素、下段の網掛けで示した画素がリサンプリングされる画素である。リサンプリングされる画素の位置（以降、単に画素位置）は、（Ａ）元の画素の一つと一致するか、（Ｂ）元の画素の一つから元の画素間隔の１／４離れるか、又は（Ｃ）元の隣接する二つの画素の中間のどれかになる。

このリサンプリングは、画素位置の近傍にある元の５個の画素に、前記（Ａ）、（Ｂ）及び（Ｃ）それぞれの場合に固有の係数（図５の、Ａ０〜Ａ４、Ｂ０〜Ｂ４、Ｃ０〜Ｃ４）を乗じて合算する操作である。
この係数を画素位置に依らず比較的均一な周波数特性が得られるように選択するための基準、及び、係数を予めテーブルに保持し画素位置に応じて元の画素に乗じて合算するための構成が、前記特許文献１に示されている。

図６は、このズーム処理によって得られるゲインの周波数特性の一例を示すグラフである。ｆはリサンプリング後、即ち目的の解像度におけるナイキスト周波数である。参照のため、前述した中間的な解像度におけるナイキスト周波数ｆ０／３を併記する。特性Ａ、特性Ｂ、及び特性Ｃは、それぞれ、画素位置が前記（Ａ）、（Ｂ）、及び（Ｃ）である場合の周波数特性を例示する。周波数ｆにおけるゲインは、特性Ａ、特性Ｂ、及び特性Ｃの順に低下するが、特性Ｃの場合でも完全に０にならない。

このズーム処理によれば、画素位置に依存した周波数特性の揺らぎが緩和され、良好な画質を保ったズーム処理が行われる。
図７は、このズーム処理を、前述した画素混合画像、及び、画素間引き画像に行って得られる、混合リサイズ画像、及び、間引きリサイズ画像の周波数特性を示すグラフである。

混合リサイズ周波数特性、及び、間引きリサイズ周波数特性は、それぞれ、図４に示す画素混合周波数特性、及び、画素間引き周波数特性に、図６に示すズーム処理の周波数特性を乗じて得られる。なお、前述したように、ズーム処理のゲインの周波数特性は画素位置に応じて複数の種類があるが、ここでは見易さのため、それらの最小値を用いた。
図８は、混合リサイズ画像、及び、間引きリサイズ画像に、さらに、輪郭補正処理を行って得られる、混合リサイズ輪郭補正画像、及び、間引きリサイズ輪郭補正画像の周波数特性を示すグラフである。

以上説明したように、画質を劣化させるナイキスト周波数を超える信号成分のレベルに関して、画素混合画像、混合リサイズ画像、及び混合リサイズ輪郭補正画像の何れに含まれるレベルも、それぞれ、画素間引き画像、間引きリサイズ画像、及び間引きリサイズ輪郭補正画像に含まれるレベルよりも小さい。このことから、本撮像装置によれば、従来の画素間引きを行う場合よりも、画質の良い画像が得られることが分かる。

また、本撮像装置によれば、混合リサイズ輪郭補正画像の、目的の解像度におけるナイキスト周波数ｆの信号成分が完全に０にならない。
この特徴は、画素混合画像の解像度が目的の解像度よりも高くなるような解像度を有する固体撮像素子を利用することで、目的の解像度よりも高い中間的な解像度の画素混合画像を一旦生成し、その画素混合画像に前記周波数ｆの最小ゲインが完全に０でないズーム処理と輪郭補正処理とを行って混合リサイズ輪郭補正画像を得る構成によって実現されている。

固体撮像素子本来の解像度によっては画素混合画像がちょうど目的の解像度となりズーム処理を行う余地がない場合が考えられる。この場合に、目的の解像度の画像に前記周波数ｆの信号成分を残すことは不可能である。
このような画像と、本撮像装置により得られる画像とを比べると、何れも同じ目的の解像度を有していて、かつ、前記周波数ｆの近傍の高域信号成分のレベルについては本撮像装置により得られる画像が勝る。

このことは、本撮像装置によれば、画素混合画像の解像度が目的の解像度よりも高くなるような解像度を有する固体撮像素子を積極的に利用することで、目的の解像度で前記周波数ｆの信号成分を残した高域特性に優れた画像が得られることを意味している。

本発明に係る撮像装置は、例えば、撮影機能付き携帯電話機、動画撮影機能付きデジタルスチルカメラ、デジタルビデオカメラに利用できる。

撮像装置３０の主要部の一構成例を示す機能ブロック図である。 固体撮像素子３１を受光方向から見た模式図である。 固体撮像素子３１をＣＣＤ固体撮像素子を用いて実現する場合の構成例である。 全画素画像、画素混合画像、及び画素間引き画像の周波数特性を示すグラフである。 ズーム処理を説明するための模式図である。 ズーム処理の周波数特性の一例を示すグラフである。 混合リサイズ画像、及び間引きリサイズ画像の周波数特性を示すグラフである。 混合リサイズ輪郭補正画像、及び間引きリサイズ輪郭補正画像の周波数特性を示すグラフである。

符号の説明

３０ 撮像装置
３１ 固体撮像素子
３２ 駆動部
３３ アナログフロントエンド
３４ 同期信号生成部
３５ 画像情報生成部
３６ 作業用メモリ
３７ ズーム及び輪郭補正部
３８ 制御部
３１１〜３２２ 光電変換素子

Claims (4)

1. 二次元行列状に配置され、複数色のうちそれぞれ所定の一色の色フィルタを受光面に有する複数の光電変換手段と、
   前記光電変換手段が配置される行列のＬ行Ｃ列（６≦Ｌ、６≦Ｃ、Ｌ、Ｃは何れも偶数）の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から光電変換の結果個別に得られる電荷を一つに集積する電荷集積手段と、
   前記集積の結果得られる電荷を前記部分ごとに読み出す読出手段と、
   前記読み出される電荷によって表される画素で構成される中間解像度の画像を表す中間画像データを生成する画像データ生成手段と、
   前記中間画像データを、所定の目的解像度で前記画像を表す目的画像データに変換する解像度変換手段と
   を備え、
   前記光電変換手段は、前記中間解像度が前記所定の目的解像度となる個数よりも多数設けられる
   ことを特徴とする撮像装置。
2. 前記撮像装置は、さらに、
   前記目的画像データによって表される画像に含まれる輪郭部分が強調されるように前記目的画像データを補正する輪郭補正手段を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記電荷集積手段は、色ごとに異なる境界で区切られるＬ行Ｃ列の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から個別に得られる電荷を一つに集積する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記電荷集積手段は、前記複数色のうち何れの２色についても、行方向にＬ／２行、列方向にＣ／２列、又は、行方向及び列方向にそれぞれＬ／２行及びＣ／２列ずれた境界で区切られるＬ行Ｃ列（Ｌ＝４ｍ＋２、Ｃ＝４ｎ＋２、ｍ、ｎは何れも自然数）の部分ごとに、その部分に配置される一つの色に関係する全ての光電変換手段から個別に得られる電荷を一つに集積する
   ことを特徴とする請求項３に記載の撮像装置。

Images