JP2004088260A - デジタルカメラ - Google Patents
デジタルカメラ Download PDFInfo
- Publication number
- JP2004088260A JP2004088260A JP2002244197A JP2002244197A JP2004088260A JP 2004088260 A JP2004088260 A JP 2004088260A JP 2002244197 A JP2002244197 A JP 2002244197A JP 2002244197 A JP2002244197 A JP 2002244197A JP 2004088260 A JP2004088260 A JP 2004088260A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- signal
- receiving element
- digital camera
- determination value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させる。
【解決手段】対象画素を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第１の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する第１の信号生成部１４６と、対象画素を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第２の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する第２の信号生成部１４８と、対象画素を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第３の規定値以上の場合に、相関の大きい方向を考慮して輝度データを作成する第３の信号生成部１５０とを有する。
【選択図】図６
【解決手段】対象画素を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第１の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する第１の信号生成部１４６と、対象画素を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第２の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する第２の信号生成部１４８と、対象画素を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これらの値のいずれかが第３の規定値以上の場合に、相関の大きい方向を考慮して輝度データを作成する第３の信号生成部１５０とを有する。
【選択図】図６
Description
【０００１】
【発明の属する技術分野】
本発明は、開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にすることができ、被写体再現性を高めることができるデジタルカメラに関する。
【０００２】
【従来の技術】
固体撮像装置には、モアレ等の偽信号が発生することがある。また、画素の高集積化を行いながら、受光する光量を増やすことにより、受光効率の向上を図ることができる固体撮像装置が、特開平１０−１３６３９１号公報に開示されている。
【０００３】
この固体撮像装置は、画像の空間サンプリングの最適化をもたらす新規な構造、即ち、ハニカム画素配列を有する。
【０００４】
このハニカム画素配列は、各画素間の距離をピッチと定義すると、例えば行方向及び／又は列方向に半ピッチずらして配置する配列である。この画素配置に伴って、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子では、垂直方向の転送レジスタが各画素を迂回するように蛇行して形成されている。
【０００５】
画素は、それぞれ実際に存在する画素（実画素）に対して色フィルタセグメントが割り当てられている。画素（受光素子）では、色フィルタセグメントからの透過光を光電変換して色属性を有する信号電荷を、垂直方向に形成された垂直転送レジスタに読み出す。固体撮像装置では、この垂直転送方向に直交する水平転送レジスタを介して電荷／電圧変換された電圧信号、即ち、アナログの撮像信号を出力する。
【０００６】
この撮像信号には、信号処理が施される。この信号処理では、供給される実画素の色を考慮して画素データの相関を求める。つまり、この信号処理では、色を設定し、同色の相関の高い画素データ同士を用いて画素の実在しない位置における画素データ、即ち、仮想画素における画素データと、実在する異なった色の画素での画素データとが算出される。そして、相関が強い方向の画素データを用いて画素補間処理が行われる。この画素補間処理は、偽信号の発生を抑制することができる。また、画素データの広帯域化処理も施して解像力も高めている。
【０００７】
ところで、このような信号処理においては、仮想画素における画素データを、周りの実画素における画素データから推定することによって、解像度の高い画像を得るようにしている。
【０００８】
しかしながら、この仮想画素の画素データは、あくまでも周りの画素データから推定したものであり、この推定値は、実際の画素データとは異なるため、その推定を誤ると、生成される画素データが例えば忠実な色や階調を反映できなくなり、本来のシーンに対して偽色や解像度の低下を招くおそれがあった。
【０００９】
【発明が解決しようとする課題】
上述の問題点を解決する方法として、仮想画素として設定される部分に小型の受光素子を配置する方法が考えられている。この方法によれば、仮想画素の画素データを求めるための推定値の信頼性を高めることができ、高解像度、高精細度の再現画像を得ることができる。
【００１０】
本発明はこのような課題を考慮してなされたものであり、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができるデジタルカメラを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係るデジタルカメラは、複数の受光素子と複数の小型受光素子並びに複数の色フィルタが配列された撮像部と、撮像部からの撮像信号に対して信号処理を行って画像情報を出力する信号処理部とを有するデジタルカメラにおいて、前記撮像部における前記複数の受光素子は、行方向の配列が１行置きに１／２ピッチずつずらされて配置され、前記複数の小型受光素子は、前記複数の受光素子の間に配置され、前記信号処理部は、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号を生成する成分信号生成部を有し、前記成分信号生成部は、前記複数の受光素子のうち、緑色の色フィルタに対応する受光素子以外の受光素子に関する前記成分信号を、所定の条件を満足した場合に、当該受光素子の周辺に配列された小型受光素子の撮像信号を考慮して作成することを特徴とする。
【００１２】
ここで、前記所定の条件は、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とが共に規定値未満とすること等が挙げられる。また、緑色以外の色は、青色及び赤色であってもよいし、黄色及びシアンであってもよい。
【００１３】
具体的には、前記成分信号生成部は、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が前記規定値未満の場合に、前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出し、その検出結果に応じて前記成分信号を作成するようにしてもよい。
【００１４】
これにより、撮像された画像における１／２ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号の広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【００１５】
また、前記成分信号生成部は、前記当該受光素子を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第１の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第１の信号生成部と、前記第１の信号生成部での検出結果が、前記第１の規定値未満の場合に、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第２の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第２の信号生成部と、前記第２の信号生成部での検出結果が、前記第２の規定値未満の場合に、前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第３の規定値以上の場合に、相関の大きい方向を考慮して成分信号を作成する第３の信号生成部とを有するようにしてもよい。
【００１６】
つまり、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした２ピッチ間の相関を検出することで、ほとんどが第１の信号生成部を通じて成分信号が生成されることになるが、第２及び第３の信号生成部によって、幅が１画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【００１７】
前記成分信号は、前記当該受光素子の撮像信号と、当該受光素子の周辺に配置され、かつ、緑色以外の色であって、当該受光素子の配色以外の色に対応する受光素子の撮像信号に基づいて生成するようにしてもよい。
【００１８】
即ち、緑色に関する受光素子については、その撮像信号（あるいはガンマ補正等がされた後の撮像信号）そのものが成分信号となる。一方、緑色以外の色に関しては、緑以外の色の撮像信号を考慮して成分信号を生成することで、水平及び垂直方向の周波数帯域を緑色の成分信号の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【００１９】
また、前記構成において、前記信号処理部は、前記当該受光素子の周辺の配色のうち、緑色以外の色であって、かつ、当該受光素子の配色以外の色の相関の方向が全て同じである場合に、前記当該受光素子の成分信号を、前記相関の方向を考慮して修正する修正部を有するようにしてもよい。この場合、パターン認識を更に向上させることができる。
【００２０】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を水平補間する水平補間処理部と、水平補間後の各成分信号を垂直方向にローパスフィルタ処理を施して垂直補間する垂直補間処理部とを有するようにしてもよい。この場合、前記水平補間は、前記複数の受光素子間の仮想受光素子の成分信号を、水平方向にローパスフィルタ処理を施して行う、又は、水平方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【００２１】
これにより、１／２ピッチ幅のパターン認識が可能な成分信号に基づく補間となるため、上述の補間処理部を通じて仮想画素（仮想受光素子）に対する補間を行って得られた全体の成分信号によれば、上述した成分信号生成部での信号処理による効果を損なうことなく、再現画像の高解像度並びに広帯域化が実現でき、被写体再現性を高めることができる。
【００２２】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を垂直補間する垂直補間処理部と、垂直補間後の各成分信号を水平方向にローパスフィルタ処理を施して水平補間する水平補間処理部とを有するようにしてもよい。この場合、前記垂直補間は、前記複数の受光素子間の仮想受光素子の成分信号を、垂直方向にローパスフィルタ処理を施して行う、又は、垂直方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【００２３】
あるいは、前記信号処理部は、複数の緑色の受光素子における各成分信号に基づいて、緑色以外の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第１の補間処理部と、複数の緑色以外の受光素子における各成分信号に基づいて、緑色の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第２の補間処理部と、前記第１の補間処理にて求められた複数の成分信号と、前記第２の補間処理にて求められた複数の成分信号とをそれぞれ対応づけて加算して全受光素子及び全仮想受光素子に対応する成分信号を求める加算処理部とを有するようにしてもよい。
【００２４】
【発明の実施の形態】
以下、本発明に係るデジタルカメラの実施の形態例を図１〜図２６を参照しながら説明する。
【００２５】
本実施の形態に係るデジタルカメラ１０は、基本的には、図１に示すように、以下に示す主要部品１２が筐体１４に収容されて構成され、主要部品１２は、光学部品１６と、撮像素子１８と、ドライバ２０と、タイミング発生器２２と、機構系２４と、機構系用ＣＰＵ２６と、カメラ用ＣＰＵ２８と、前処理回路３０と、Ａ／Ｄ変換器３２と、システムＬＳＩ３４と、バッテリ３６と、着脱自在の記録媒体３８と、操作部４０と、表示部４２等である。
【００２６】
光学部品１６は、複数枚の光学レンズを組み合わせて構成されている（図１では代表的に１つのレンズで図示してある）。
【００２７】
機構系２４は、光学レンズの配置する位置を調節して画面の画角を操作部４０からの操作信号に応じて調節するズーム機構と、撮像素子１８で光電変換した信号電荷を基に自動露出を行い、また、被写体とカメラとの距離に応じてピント調節するＡＥ／ＡＦ調節機構と、被写体の撮影において最適な入射光の光束を撮像素子に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する絞り調節機構とを有する。
【００２８】
撮像素子１８の入射光側には、赤外線カットフィルタ４４と、該撮像素子１８に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ４６とが一体的に配設される。本実施の形態では単板方式の色フィルタを用いて撮像する。
【００２９】
撮像素子１８には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：金属酸化型半導体）タイプの固体撮像デバイスが適用される。
【００３０】
撮像素子１８では、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号にされ、後段の前処理回路３０に出力される。撮像素子１８は、ＣＣＤタイプでは信号電荷の読出しモードに応じてフィールド蓄積２行混合読出しの色多重化方式や全画素読出し方式を用いる。
【００３１】
前処理回路３０は、例えばＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路やガンマ変換回路等が挙げられる。ＣＤＳ回路は、例えばＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生器２２からのタイミング信号によりクランプするクランプ回路と、タイミング信号により撮像信号をホールドするサンプルホールド回路とを有する。ガンマ変換回路は、ＣＤＳ回路を通じてノイズが除去された後の撮像信号にガンマ補正、いわゆるガンマ変換を施す。
【００３２】
Ａ／Ｄ変換器３２は、供給される撮像信号の信号レベルを所定の量子化レベルにより量子化してデジタル信号に変換し、撮像データとして後段のシステムＬＳＩ３４に出力する。
【００３３】
システムＬＳＩ３４は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）５０と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）５２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５４と、不揮発性メモリ５６と、メモリ制御部５８と、記録媒体用インターフェース（Ｉ／Ｆ）６０と、画像処理ブロック６２と、圧縮伸長部６４と、通信制御部６６と、表示制御ブロック６８と、電源制御部７０とを有する。
【００３４】
画像処理ブロック６２は、画像処理部７２と、画像メモリ７４とを有し、表示制御ブロック６８は、表示メモリ７６と、表示制御部７８と、Ｄ／Ａ変換部８０とを有する。このＤ／Ａ変換部８０からのアナログ信号が表示部４２に供給されて該表示部４２の画面上に撮像映像が表示されることになる。
【００３５】
Ａ／Ｄ変換器３２から供給された撮像データは、メモリ制御部５８及びＭＰＵ５０による制御によってラインバッファを経て画像メモリ７４に格納される。
【００３６】
撮像素子１８の構成、特に、受光部と垂直転送部の構成は、図２及び図３に示すように、開口部８１を通じて入射する光を光電変換する受光素子ＰＤに隣接した他の受光素子ＰＤが垂直方向及び／又は水平方向にずらされて２次元配置され、水平方向の受光素子ＰＤの間には２列分の垂直転送レジスタ（ＶＣＣＤ）８２がそれぞれ形成されている。このような受光素子ＰＤの配列が、いわゆるハニカム配列である。開口部８１の形状は、一般的に正方格子であるが、図示のように、八角形でもよい。もちろん、他の例として、八角形以外（六角形等）の多角形や、正方格子を４５°回転させた開口形状（例えば菱形等）でもよい。
【００３７】
ここで、実在する受光素子ＰＤを実画素として定義した場合、４つの受光素子（実画素）で囲まれた受光素子ＰＤの実在しない領域を仮想画素の領域と定義することができる。そして、この実施の形態では、仮想画素の位置に透孔８４を設け、光が垂直転送レジスタ８２のポテンシャル井戸に入射するように構成している。なお、図２において、受光素子ＰＤ内に記載されている文字Ｒ、Ｇ及びＢは、色フィルタセグメントの色を示している。ここで使用する色フィルタセグメントの配列パターンは、Ｇ正方ＲＢ完全市松パターンである。もちろん、ＲとＢが入れ替わっても構わない。以下の説明では、赤色（Ｒ）に対応する実画素をＲ画素、緑色（Ｇ）に対応する実画素をＧ画素、青色（Ｂ）に対応する実画素をＢ画素と記す。
【００３８】
撮像素子１８の縦断面に基づいて受光部と垂直転送部の構成を説明すると、ｎ型シリコンウェーハ９０の上にｐウェル９２が形成され、該ｐウェル９２は、受光素子ＰＤと垂直転送レジスタ８２の領域を仕切るように形成される。このｐウェル９２にて仕切られた受光素子ＰＤの領域内に図示しないｎ層が形成され、該ｎ層上にｐ＋層が形成される。
【００３９】
垂直転送レジスタ８２には、その領域内に図示しないｐウェルが形成され、該ｐウェルにｎ層（図示せず）が形成されている。また、垂直転送レジスタ８２上には、例えばポリシリコンによる２層構造の転送電極９４及び９６が形成され、更に、最上層の転送電極９６上に例えばタングステンやアルミニウムによる遮光膜９８が形成されている。
【００４０】
そして、この実施の形態では、仮想画素の位置に遮光膜９８及び２層の転送電極９４及び９６を貫通する透孔８４が形成され、該透孔８４を通じて垂直転送レジスタ８２内に光が入射するようになっている。各受光素子ＰＤ上には、それぞれ対応する色フィルタ１００並びにオンチップ・マイクロレンズ１０２が形成されている。
【００４１】
色フィルタ１００が受光素子ＰＤの領域のみを覆うように色フィルタセグメントを形成すると、透孔８４を通して垂直転送レジスタ８２内に白色光が入射することになる。この場合、垂直転送レジスタ８２のうち、透孔８４に対応する位置には、輝度信号に対応する信号電荷が生成される。ＲＧＢ三原色のうち、ある１つの色フィルタセグメント（例えば緑色）により透孔８４が覆われている場合、その色フィルタセグメントの色属性を有する信号電荷が生成されることになる。
【００４２】
このように、これまで仮想画素として扱っていた位置に、透孔８４を形成するようにしたので、該透孔８４を通じて生成された信号電荷を新たな情報源として利用することができる。
【００４３】
ここで、静止画撮影モードを主体に撮像データが画像メモリ７４に格納されるまでの動作について図４のフローチャートを参照しながら説明する。
【００４４】
まず、撮像素子１８の駆動を行う。この撮像素子１８の駆動は、システムＬＳＩ３４からの制御に基づいてドライバ２０から駆動信号が供給されることにより行われる。撮像素子１８の駆動により得られた撮像データを基にＡＦ／ＡＥの制御を行う（ステップＳ１）。即ち、システムＬＳＩ３４のＭＰＵ５０は、供給される撮像データを用いてＡＦ調節及びＡＥ調節のパラメータを生成してカメラ用ＣＰＵ２８に供給する。カメラ用ＣＰＵ２８は、供給されたパラメータに応じた制御信号を生成し、該制御信号を機構系用ＣＰＵ２６に供給する。機構系用ＣＰＵ２６は、供給された制御信号に基づいてＡＦ／ＡＥ調節の駆動信号を生成して機構系２４に供給する。
【００４５】
次に、撮像素子１８での撮像が開始される。この制御として、システムＬＳＩ３４におけるＭＰＵ５０の制御に応答して機構系用ＣＰＵ２６から駆動信号が出力され、これにより、メカニカルシャッタが閉じ、その後、ドライバ２０から撮像素子１８に対して転送駆動信号が出力され、垂直転送レジスタ８２（図３参照）に蓄積されているスミア成分が掃き出される（ステップＳ２）。スミア成分の掃き出しに伴って、垂直転送レジスタ８２には規定のポテンシャルが形成される。
【００４６】
その後、露光が行われる（ステップＳ３）。即ち、機構系用ＣＰＵ２６から機構系２４に駆動信号が出力され、これにより、メカニカルシャッタが開く（露光開始）。所定の露光時間が経過した時点で、ＭＰＵ５０から機構系用ＣＰＵ２６に対して指示が出力され、この指示に基づいてメカニカルシャッタが閉じる（露光終了）。上述の露光開始から露光終了までの期間において、垂直転送レジスタ８２には、透孔８４を通じて入射された光に応じた信号電荷が生成される。また、各受光素子ＰＤにおいても、それぞれ入射された光に応じた信号電荷が蓄積される。
【００４７】
露光終了の後、ドライバ２０から撮像素子１８に対して転送駆動信号が出力され、垂直転送レジスタ８２に蓄積されている信号電荷が垂直転送される。垂直転送された信号電荷は、その後、水平転送レジスタ（図示せず）を通じて水平転送され、出力部（図示せず）を通じてＱ／Ｖ変換されてアナログの電圧信号（撮像信号）に変換されて出力される（ステップＳ４）。
【００４８】
撮像素子１８から出力された撮像信号は、後段の前処理回路３０においてノイズが除去され、更にガンマ変換が施された後、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて、システムＬＳＩ３４のメモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される（ステップＳ５）。この段階で、仮想画素の位置に対応する撮像データ（補助データ）が画像メモリの例えば補助データファイル１１０（図５参照）に格納されることになる。
【００４９】
その後、撮像素子１８は、通常行っている受光素子ＰＤから垂直転送レジスタ８２への信号電荷の読み出し、即ち、全画素読出しを行う。この場合も、出力部においてＱ／Ｖ変換が行われて撮像信号とされる（ステップＳ６）。各受光素子ＰＤからの全画素読出しによる撮像信号は、後段の前処理回路３０においてノイズが除去され、更にガンマ変換が施された後、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて、上述と同様に、システムＬＳＩ３４のメモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される（ステップＳ７）。この段階で、全受光素子ＰＤに対応する撮像データが画像メモリ７４の例えば撮像データファイル１１２（図５参照）に格納されることになる。
【００５０】
次に、本実施の形態に係るデジタルカメラ１０の画像処理ブロック６２における画像処理部７２の構成について図５を参照しながら説明する。
【００５１】
画像処理部７２は、図５に示すように、データ演算処理部１２０、マトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６が備えられている。データ演算処理部１２０は、画像メモリ７４に格納された撮像データに演算処理を施す各種の演算部がある。
【００５２】
即ち、データ演算処理部１２０には、輝度データ作成部１３０、高域輝度データ作成部１３２及びプレーン補間展開部１３４が備えられている。データ演算処理部１２０は、図示しないが、ＭＰＵ５０から供給される制御信号によって制御されている。
【００５３】
輝度データ作成部１３０には、画像メモリ７４における補助データファイル１１０から仮想画素に対応する補助データと、撮像データファイル１１２からＲＧＢの撮像データが供給され、プレーン補間展開部１３４には、前記撮像データファイル１１２からＲＧＢの撮像データが供給される。
【００５４】
輝度データ作成部１３０は、ＲＧＢの各画素に対応する位置での輝度データを前記補助データとＲＧＢの撮像データとに基づいて演算する演算部１４０と、演算された輝度データについて修正を施す修正部１４２とを有する。
【００５５】
演算部１４０は、図６に示すように、画素選択部１４４と、第１〜第４の信号生成部１４６〜１５２と、輝度データ設定部１５４と、相関フラグ設定部１５６とを有する。
【００５６】
画素選択部１４４は、撮像データファイル１１２から対象画素（輝度データを生成すべき対象画素）を選択してその撮像データを読み出し、また、補助データファイル１１０及び撮像データファイル１１２から前記対象画素の周辺画素を選択してそれぞれ補助データ及び撮像データを読み出して、第１〜第４の信号生成部に供給する。
【００５７】
第１の信号生成部１４６は、選択した対象画素を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第１の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【００５８】
第２の信号生成部１４８は、前記第１の信号生成部１４６での検出結果が、第１の規定値未満の場合に、当該対象画素を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第２の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【００５９】
第３の信号生成部１５０は、前記第２の信号生成部１４８での検出結果が、第２の規定値未満の場合に、当該対象画素を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第３の規定値以上の場合に、相関の大きい方向を考慮して輝度データを作成する。
【００６０】
第４の信号生成部１５２は、当該対象画素の１／２ピッチにおいて、垂直方向及び水平方向のいずれについて相関があるか不明の場合に、垂直方向及び水平方向における周辺画素の撮像データを考慮して輝度データを作成する。
【００６１】
輝度データ設定部１５４は、第１〜第４の信号生成部１４６〜１５２のいずれかにおいて生成された輝度データを画像メモリ７４における輝度データファイル１５８の対象画素に対応するアドレスに格納する。
【００６２】
相関フラグ設定部１５６は、第１〜第４の信号生成部１４６〜１５２のいずれかを通じて輝度データが作成された場合に、その輝度データの作成の基となった相関方向を示すフラグ情報を画像メモリ７４におけるフラグファイル１６０の対象画素に対応するアドレスに格納する。相関方向を示すフラグ情報としては、例えば垂直相関＝「０１」、水平相関＝「１０」、相関不明＝「００」等が挙げられる。
【００６３】
一方、修正部１４２は、１つの対象画素（例えば１つのＢ画素）について、その周辺の８つのＲ画素の相関の方向が全て同じである場合に、当該Ｂ画素の輝度データを、Ｒ画素の相関の方向を考慮して修正する。これは対象画素が１つのＲ画素についても同様である。
【００６４】
この修正部１４２は、図７に示すように、相関判別部１６２と再設定部１６４とを有する。相関判別部１６２は、フラグファイル１６０から対象画素（修正の要否を確認すべき対象画素）の８つの周辺画素を選択して、それぞれ相関方向を示すフラグ情報を読み出し、８つの周辺画素について全て相関方向が同じであった場合に、再設定部１６４を起動し、該再設定部１６４に対して相関方向の情報を供給する。
【００６５】
再設定部１６４は、相関判別部１６２からの相関方向の情報に基づいて、対象画素の輝度データをその相関方向を考慮して再設定し、その再設定された輝度データを輝度データファイル１５８の対象画素に対応するアドレスに格納する。即ち、対象画素の輝度データについて修正を行う。
【００６６】
この修正部１４２での動作を図８に基づいて説明すると、例えば１つのＢ画素ｂに関する周辺の８つのＲ画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）に関する相関方向を示すフラグ情報を読み取り、読み取ったフラグ情報が全て同じ方向であった場合に、Ｂ画素ｂの輝度データをその相関方向を考慮した値に再設定する。
【００６７】
例えば８つの周辺画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）が全て水平相関を有する場合は、対象画素ｂも水平相関を有するとして、以下の関係式にて演算を行って対象画素ｂの輝度データを再設定する。
【００６８】
反対に、例えば８つの周辺画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）が全て垂直相関を有する場合は、対象画素ｂも垂直相関を有するとして、以下の演算を行って対象画素ｂの輝度データを再設定する。
【００６９】
次に、高域輝度データ作成部１３２は、得られた輝度データから仮想画素の輝度データを補間すると共に、得られる輝度データの周波数帯域を高域にして高域輝度データＹＨを得る。そして、この高域輝度データ作成部１３２は、得られた高域輝度データＹＨを画像メモリ７４の高域輝度データファイル１６６に格納する。
【００７０】
この高域輝度データＹＨの作成は、図９〜図１２に示すように、３種類の機能部１７０Ａ〜１７０Ｃのいずれかによって実現することができる。図９、図１１及び図１２において、「ｇ」はＧ画素の輝度データを示し、「ｍ」はＲ画素又はＢ画素の輝度データを示し、「＊」は輝度データが決定されていない仮想画素を示す。また、「Ｇ」及び「Ｍ」は水平補間あるいは垂直補間後の輝度データを示し（実画素の輝度データについては実質的に変化はない）、「ＹＨ」は高域輝度データを示す。この場合、高域輝度データが実画素及び仮想画素全てに配列されてなるデータ群は、高解像度及び広帯域の輝度情報を構成することになる。
【００７１】
そして、第１の機能部１７０Ａは、図９に示すように、水平方向のＬＰＦ（ローパスフィルタ）と垂直方向のＬＰＦ１７４とを有する。ここで、水平方向のＬＰＦ１７２の処理について図１０Ａ及び図１０Ｂを参照しながら説明する。図１０Ａ及び図１０Ｂにおいて、実画素ｄ（−３），ｄ（−１），ｄ（１），ｄ（３）は実線で示し、仮想画素は破線で示し、これら仮想画素は、実画素の間に配された関係になっている。
【００７２】
仮想画素ｄｎ（−４），ｄｎ（−２），ｄｎ（０），ｄｎ（２），ｄｎ（４）は、実画素との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。即ち、これらの仮想画素には、ゼロが予め設定されている。例えば、図１０Ａに示すように、画素ｄｎ（０）を水平方向に補間するとき、デジタルフィルタのタップ係数をｋ０，ｋ１，ｋ２，ｋ３，ｋ４，・・・，ｋｎとして整理すると、高域成分を含む輝度データＹ（０）が以下の式（３）を演算することにより得られる。
【００７３】
但し、この場合、図１０Ａから明らかなように、ゼロのデータが交互に入るので、係数は２倍になる。この関係は、図１０Ａにおけるこの他の補間対象の画素ｄｎ（−４），ｄｎ（−２），ｄｎ（２），ｄｎ（４）に対しても当てはめることができる。これらの補間処理が施されることにより、高域成分を含む輝度データＹ（−４），Ｙ（−２），Ｙ（２），Ｙ（４）が得られる（図１０Ｂ参照）。
【００７４】
輝度データファイル１５８の全ての行について上述の水平方向のＬＰＦ処理が終了した段階で、仮想画素に対応する輝度データが一時的に決定される。その後、全ての列について垂直方向のＬＰＦ処理が行われる。この場合、既に水平方向のＬＰＦ処理によって仮想画素の輝度データＹが補間されているので、輝度データＹは密に入っている。従って、ＬＰＦの係数は通常と同じにして済ませることができる。上述の垂直方向のＬＰＦ処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００７５】
第２の機能部１７０Ｂは、図１１に示すように、垂直方向のＬＰＦ１７４と水平方向のＬＰＦ１７２とを有し、上述した第１の機能部１７０Ａとは逆の処理手順となっている。即ち、まず、輝度データファイル１５８の全ての列について垂直方向のＬＰＦ処理が行われて、仮想画素に対応する輝度データＹが一時的に決定され、その後、全ての行について水平方向のＬＰＦ処理が行われて、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００７６】
第３の機能部１７０Ｃは、図１２に示すように、輝度データファイル１５８をＧ画素に関する第１の輝度データファイル１５８Ａと、Ｒ画素及びＢ画素に関する第２の輝度データファイル１５８Ｂとに分離して処理を行う。
【００７７】
そして、この第３の機能部１７０Ｃは、第１及び第２の補間処理部１７６及び１７８と、加算処理部１８０とを有する。第１の補間処理部１７６は、第１の輝度データファイル１５８Ａに対し補間処理を行って、第１の輝度データファイル１５８Ａにおける実画素及び仮想画素の全てについて輝度データを決定する。
【００７８】
第２の補間処理部１７８は、第２の輝度データファイル１５８Ｂに対し補間処理を行って、第２の輝度データファイル１５８Ｂにおける実画素及び仮想画素の全てについて輝度データを決定する。これらの補間処理としては、ＬＰＦによる補間や、周辺画素との相関判断による方法等が挙げられる。
【００７９】
加算処理部１８０は、第１及び第２の輝度データファイル１５８Ａ及び１５８Ｂにおけるそれぞれ対応する画素の輝度データを加算する。この加算処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００８０】
プレーン補間展開部１３４は、図１３に示すように、３種類の演算部を有し、具体的には、Ｒ補間展開部１８２、Ｇ補間展開部１８４及びＢ補間展開部１８６が備えられている。これらＲ補間展開部１８２、Ｇ補間展開部１８４及びＢ補間展開部１８６には、それぞれの一方の入力端子に高域輝度データＹＨが供給され、他方の入力端子にそれぞれ対応する撮像データ、即ちＲデータＤｒ、ＧデータＤｇ、ＢデータＤｂが供給される。このプレーン補間展開によってＲプレーンデータＤＰｒ、ＧプレーンデータＤＰｇ及びＢプレーンデータＤＰｂが作成される。
【００８１】
マトリクス部１２２は、補間展開によって得られたＲプレーンデータＤＰｒ、ＧプレーンデータＤＰｇ及びＢプレーンデータＤＰｂから輝度データＹと色差データＣｒ及びＣｂを生成する。マトリクス部１２２は、以下の式（４）に基づいて輝度データＹを求め、更に、この輝度データＹを用いて色差データＣｒ＝ＤＰｒ−Ｙ及びＣｂ＝ＤＰｂ−Ｙを生成する。
Ｙ＝０．３＊ＤＰｒ＋０．５＊ＤＰｇ＋０．１１＊ＤＰｂ ………（４）
【００８２】
また、アンチエリアシングフィルタ部１２４は、高域成分を含むように調整されたデジタルフィルタで構成されている。アパーチャ調整部１２６は、輝度データに対してアパーチャ効果、例えば、輪郭強調等を施す。これらアンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６として、従来の構成を用いることができる。
【００８３】
次に、デジタルカメラ１０の動作について図１４のメインルーチンを参照しながら説明する。まず、ステップＳ１０１において、デジタルカメラ１０に電源が投入されると、システムＬＳＩ３４のＭＰＵ５０によって各種の初期設定が行われる。
【００８４】
その後、ステップＳ１０２において、撮像素子１８での撮像が行われる。その後、ステップＳ１０３において、前記撮像素子１８から読み出された撮像信号は、後段の前処理回路３０にてノイズ除去及びガンマ変換等が行われ、更に、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて後段のシステムＬＳＩ３４に供給され、メモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される。
【００８５】
このとき、撮像素子１８からは、まず、仮想画素に対応する位置からの撮像信号が読み出され、補助データとして画像メモリ７４の補助データファイル１１０に格納され、その後、各受光素子ＰＤからの全画素読出しによる撮像データが画像メモリ７４の撮像データファイル１１２に格納される。
【００８６】
前記ステップＳ１０３での処理が終了した段階で、ステップＳ１０４において、輝度データ作成部１３０における演算部１４０での処理に入る。
【００８７】
演算部１４０は、画像メモリ７４における補助データファイル１１０からの補助データ及び撮像データファイル１１２からの撮像データに基づいて各受光素子ＰＤに対応する位置の輝度データを作成して画像メモリ７４の輝度データファイル１５８に格納する。
【００８８】
ここで、演算部１４０での処理について図１５〜図１８のフローチャートを参照しながら説明する。
【００８９】
まず、図１５のステップＳ２０１において、輝度データを作成すべき対象画素を選択して撮像データファイル１１２から該対象画素に対応する撮像データを読み出す。その後、ステップＳ２０２において、対象画素がＲ画素又はＢ画素であるか否かが判別される。対象画素がＧ画素である場合は、そのＧデータが、そのまま輝度データとなるため、ステップＳ２０３において、該輝度データを第１のレジスタＲｇ１に格納する。その後、ステップＳ２２７での処理に進む。
【００９０】
一方、対象画素がＢ画素あるいはＲ画素である場合は、次のステップＳ２０４〜Ｓ２１０において、第１の信号生成部１４６での処理が行われる。具体的に図１９の配列パターンも参照しながら説明すると、対象画素をＢ３としたとき、ここでの処理は、まず、ステップＳ２０４において、対象画素Ｂ３を中心とした同色（この場合、赤色）における２ピッチ間隔の実画素Ｒ１〜Ｒ４の各撮像データを読み出して、水平相関判定値ａｈ＝｜Ｒ２−Ｒ３｜と垂直相関判定値ａｖ＝｜Ｒ１−Ｒ４｜とを求める。
【００９１】
その後、ステップＳ２０５において、垂直相関があるか否かが判別される。垂直方向に相関がある場合は、垂直方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、水平相関判定値ａｈから第１のしきい値ＴＨ１（２ピッチ間隔の相関方向を判定する規定値）を差し引いた値（ａｈ−ＴＨ１）が垂直相関判定値ａｖ以上であるかどうかで行われる。
【００９２】
前記ステップＳ２０５において、（ａｈ−ＴＨ１）≧ａｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２０６に進み、以下の式（５）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ２０７において、フラグ情報として垂直相関を示す情報（例えば「０１」）を第２のレジスタに格納する。
ＹＢ３＝０．５＊Ｂ３＋０．２５＊（Ｒ１＋Ｒ４） ………（５）
【００９３】
（ａｈ−ＴＨ１）≧ａｖを満足しない場合は、ステップＳ２０８に進み、今度は、水平相関があるか否かが判別される。水平方向に相関がある場合は、水平方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、垂直相関判定値ａｖから第１のしきい値ＴＨ１を差し引いた値（ａｖ−ＴＨ１）が水平相関判定値ａｈ以上であるかどうかで行われる。
【００９４】
前記ステップＳ２０８において、（ａｖ−ＴＨ１）≧ａｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２０９に進み、以下の式（６）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ２１０において、フラグ情報として水平相関を示す情報（例えば「１０」）を第２のレジスタに格納する。
ＹＢ３＝０．５＊Ｂ３＋０．２５＊（Ｒ２＋Ｒ３） ………（６）
【００９５】
（ａｖ−ＴＨ１）≧ａｈを満足しない場合、即ち、対象画素を中心とした同色における２ピッチ間隔の実画素Ｒ１〜Ｒ４の情報では相関方向の判別ができない場合は、図１６のステップＳ２１１〜Ｓ２１７において、第２の信号生成部１４８での処理が行われる。
【００９６】
まず、ステップＳ２１１において、対象画素Ｂ３を中心とした同色（この場合、緑色）における１ピッチ間隔の実画素Ｇ１〜Ｇ４の各撮像データを読み出して、水平相関判定値ａｇｈ＝｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜と垂直相関判定値ａｇｖ＝｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜とを求める。
【００９７】
その後、ステップＳ２１２において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｇｈから第２のしきい値（１ピッチ間隔の相関方向を判定する規定値）ＴＨ２を差し引いた値（ａｇｈ−ＴＨ２）が垂直相関判定値ａｇｖ以上であるかどうかで行われる。
【００９８】
前記ステップＳ２１２において、（ａｇｈ−ＴＨ２）≧ａｇｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２１３に進み、前記式（５）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１４において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【００９９】
（ａｇｈ−ＴＨ２）≧ａｇｖを満足しない場合は、ステップＳ２１５に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｇｖから第２のしきい値ＴＨ２を差し引いた値（ａｇｖ−ＴＨ２）が水平相関判定値ａｇｈ以上であるかどうかで行われる。
【０１００】
前記ステップＳ２１５において、（ａｇｖ−ＴＨ２）≧ａｇｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２１６に進み、前記式（６）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１７において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０１】
（ａｇｖ−ＴＨ２）≧ａｇｈを満足しない場合、即ち、対象画素Ｂ３を中心とした同色における１ピッチ間隔の実画素Ｇ１〜Ｇ４の情報では相関方向の判別ができない場合は、図１７のステップＳ２１８〜Ｓ２２４において、第３の信号生成部１５０での処理が行われる。
【０１０２】
まず、ステップＳ２１８において、Ｇ画素Ｇ１〜Ｇ４の各撮像データと仮想画素Ｐ１〜Ｐ４の各補助データを読み出して、水平相関判定値ｐｈ＝｜Ｇ１−αＰ１｜＋｜Ｇ２−αＰ１｜＋｜Ｇ３−αＰ４｜＋｜Ｇ４−αＰ４｜と、垂直相関判定値ｐｖ＝｜Ｇ１−αＰ２｜＋｜Ｇ３−αＰ２｜＋｜Ｇ２−αＰ３｜＋｜Ｇ４−αＰ３｜を求める。ここでの演算は、仮想画素の位置に形成された透孔８４上に緑色の色フィルタが形成されている場合を想定している。また、αは、透孔８４の面積が受光素子ＰＤの受光面積よりも小さいため、補助データを撮像データのレベルまで合わせ込むための係数である。
【０１０３】
その後、ステップＳ２１９において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ｐｈから第３のしきい値（１／２ピッチ間隔の相関方向を判定する規定値）ＴＨ３を差し引いた値（ｐｈ−ＴＨ３）が垂直相関判定値ｐｖ以上であるかどうかで行われる。
【０１０４】
前記ステップＳ２１９において、（ｐｈ−ＴＨ３）≧ｐｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２２０に進み、前記式（５）の演算を行って、当該対象画素Ｂ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ２２１において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０５】
（ｐｈ−ＴＨ３）≧ｐｖを満足しない場合は、ステップＳ２２２に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ｐｖからしきい値ＴＨ３を差し引いた値（ｐｖ−ＴＨ３）が水平相関判定値ｐｈ以上であるかどうかで行われる。
【０１０６】
前記ステップＳ２２２において、（ｐｖ−ＴＨ３）≧ｐｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２２３に進み、前記式（６）の演算を行って、当該対象画素Ｂ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ２２４において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０７】
（ｐｖ−ＴＨ３）≧ｐｈを満足しない場合、即ち、対象画素Ｂ３を基点とした１／２ピッチ間隔における相関方向の判別ができない場合は、図１８のステップＳ２２５において、第４の信号生成部１５２での処理が行われる。
【０１０８】
即ち、この第４の信号生成部１５２は、ステップＳ２１８において、以下の式（７）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１９において、フラグ情報として相関不明を示す情報（例えば「００」）を第２のレジスタＲｇ２に格納する。
【０１０９】
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップＳ２２７に進み、輝度データ設定部１５４は、第１のレジスタＲｇ１に格納されている輝度データを輝度データファイル１５８における当該対象画素に対応するアドレスに格納する。その後、ステップＳ２２８において、相関フラグ設定部１５６は、第２のレジスタＲｇ２に格納されているフラグ情報をフラグファイル１６０における当該対象画素に対応するアドレスに格納する。
【０１１０】
上述の処理は、１つのＢ画素Ｂ３の輝度データを求める手順について説明したが、他のＢ画素やＲ画素についても同様に行われる。
【０１１１】
ステップＳ２２８での処理が終了した段階で、次のステップＳ２２９に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップＳ２０１に戻り、次の実画素についての輝度データの作成処理に入る。
【０１１２】
そして、前記ステップＳ２２９にて、全ての実画素について処理が終了したと判別された場合に、この輝度データ作成部１３０における演算部１４０での処理が終了する。
【０１１３】
図１４のメインルーチンの説明に戻り、ステップＳ１０４での輝度データ作成処理が終了した段階で、次のステップＳ１０５に進み、輝度データ作成部１３０における修正部１４２での処理に入る。この処理の詳細については、既に説明したので、ここではその重複説明を省略するが、この修正部１４２での処理によって、例えば１つの対象画素（例えば１つのＢ画素）について、その周辺の８つのＲ画素の相関の方向が全て同じである場合に、当該Ｂ画素の輝度データが、Ｒ画素の相関の方向を考慮して修正される。そして、全てのＢ画素並びにＲ画素について、修正の要否が判別されて選択的に修正が施されることになる。
【０１１４】
前記修正部１４２での処理が終了した段階で、次のステップＳ１０６において、高域輝度データ作成部１３２での処理に入る。この高域輝度データ作成部１３２での処理は、上述したように、第１〜第３の機能部１７０Ａ〜１７０Ｃのいずれかでの処理によって行われる。即ち、画像メモリ７４の輝度データファイル１５８に格納されている実画素の輝度データを基に仮想画素を補間し、高域輝度データＹＨを作成して、高域輝度データファイル１６６に格納する。
【０１１５】
次に、ステップＳ１０７において、プレーン補間展開部１３４での処理に入る。このプレーン補間展開部１３４は、まず、Ｇ補間展開部１８４での処理が行われ、高域輝度データファイル１６６に格納された高域輝度データＹＨと撮像データファイル１１２に格納された実画素のＧデータＤｇに基づいて、全ての仮想画素のＧデータを補間して、ＧプレーンデータＤＰｇを作成する。
【０１１６】
その後、Ｒ補間展開部１８２での処理が行われ、高域輝度データＹＨと実画素のＲデータＧｒに基づいて全ての仮想画素のＲデータを補間して、ＲプレーンデータＤＰｒを作成する。その後、Ｂ補間展開部１８６での処理が行われ、高域輝度データＹＨと実画素のＢデータＧｂとに基づいて全ての仮想画素のＢデータを補間して、ＢプレーンデータＤＰｂを作成する。
【０１１７】
すべての色における全仮想画素のプレーンデータが作成された段階で、このプレーン補間展開部１３４での処理が終了する。
【０１１８】
ここで、ステップＳ１０４〜Ｓ１０７の処理により得られた各データ等の信号が持つ周波数帯域を図２０に表す。横軸は水平方向の周波数軸（ｆｈ）で縦軸は垂直方向の周波数軸（ｆｖ）である。
【０１１９】
図２０のハニカム配列における空間周波数表示から、Ｒ画素及びＢ画素は、市松状で、かつ完全に交互いにＲ画素及びＢ画素が入れ換わるパターンで配される関係から実線Ｒ／Ｂの分布で表される。
【０１２０】
これに対して、Ｇ画素は、画素ずらしを含んだ４画素でストライプパターンに配されたことにより周波数が高く、Ｒ画素及びＢ画素の周波数（Ｒ／Ｂで示す範囲）が含まれるようになる。Ｇ画素の空間周波数は、ほぼｆｓ／４で水平方向及び垂直方向の周波数軸を通っている。補間処理により得られた高域輝度信号ＹＨは、Ｇ画素の周波数並びにＲ画素及びＢ画素の周波数を含み、帯域をｆｓ／２まで延ばしている。
【０１２１】
図１４のメインルーチンでの説明に戻り、次のステップＳ１０８において、マトリクス部１２２での処理が行われ、プレーン補間展開部１３４からのＧプレーンデータＤＰｇ、ＲプレーンデータＤＰｒ及びＢプレーンデータＤＰｂに基づいて、全実画素及び全仮想画素に対応する輝度データＹと色差データＣｒ及びＣｂが生成される。
【０１２２】
その後、ステップＳ１０９において、アンチエリアシングフィルタ部１２４での処理が行われ、供給される輝度データＹ及び色差データＣｒ及びＣｂにそれぞれ折り返し歪みが生じないようにデジタルフィルタを適用して、ローパスフィルタ処理が施される。
【０１２３】
その後、ステップＳ１１０において、アパーチャ調整部１２６での処理が行われ、具体的には、輝度データＹに対してアパーチャ効果、例えば輪郭強調処理等が行われる。
【０１２４】
なお、上述のマトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６は、従来からデジタルカメラに用いられている構成で済ませることができる。
【０１２５】
得られた輝度データＹ、色差データＣｒ及びＣｂは、図１に図示していないが表示部４２や圧縮伸長部６４にそれぞれ供給される。表示部４２では、高品質な画像データが供給されることにより、一層高い品質の表示画像や印刷を提供できる。
【０１２６】
次に、ステップＳ１１０において、圧縮伸長部６４での処理によって、輝度データＹ、色差データＣｒ及びＣｂに圧縮処理を施して情報量を減少させ、その後、ステップＳ１１１において、圧縮後の輝度データ等をインターフェース６０を介して記録媒体３８（例えば半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体）に記録する。
【０１２７】
ステップＳ１１１での処理が終了した段階で、ステップＳ１１２に進み、撮影を終了するか否かを判別する。この判別は、電源断や動画表示要求等のように静止画処理の終了を示す要求があったかどうかで行われる。終了要求がない場合は、ステップＳ１０１に戻って、前述の動作を繰り返す。終了要求があった場合は、このデジタルカメラ１０での処理、特に、静止画処理が終了する。
【０１２８】
このように、本実施の形態に係るデジタルカメラ１０においては、撮像された画像における１／２ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した輝度データの広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【０１２９】
特に、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした２ピッチ間の相関を検出することで、ほとんどが第１の信号生成部１４６を通じて輝度データが生成されることになるが、第２及び第３の信号生成部１４８及び１５０によって、幅が１画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【０１３０】
また、Ｇ画素については、その撮像データそのものが輝度データとなるが、Ｒ画素及びＢ画素に関しては、Ｇ画素の撮像データを考慮して輝度データを生成するようにしているため、水平及び垂直方向の周波数帯域をＧ画素の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【０１３１】
次に、変形例に係るデジタルカメラ１０ａについて図２１〜図２６を参照しながら説明する。この変形例に係るデジタルカメラ１０ａは、上述した本実施の形態に係るデジタルカメラ１０とほぼ同様の構成を有するが、図２１に示すように、色フィルタセグメントの配列パターンが、Ｇ正方ＣｙＹｅ完全市松パターンである。もちろん、ＣｙとＹｅが入れ替わっても構わない。以下の説明では、シアン（Ｃｙ）に対応する実画素をＣｙ画素、緑色（Ｇ）に対応する実画素をＧ画素、黄色（Ｙｅ）に対応する実画素をＹｅ画素と記す。
【０１３２】
また、色フィルタセグメントとして補色フィルタを用いたことから、図２２に示すように、データ演算処理部にＧ画素、Ｃｙ画素及びＹｅ画素にそれぞれ対応する撮像データ、即ち、ＧデータＤｇ、ＣｙデータＤＣｙ及びＹｅデータＤＹｅに対して既知の演算を行ってＲデータＤｒ、ＧデータＤｇ及びＢデータＤｂに変換するミキシング回路１９０を有する。このミキシング回路１９０からのＲデータＤｒ、ＧデータＤｇ及びＢデータＤｂは、後段のプレーン補間展開部１３４に供給される。
【０１３３】
ここで、この変形例における輝度データ作成部１３０での処理を具体的に説明すると、まず、原色系の色Ｒ、Ｇ及びＢと補色系の色Ｍｇ、Ｃｙ及びＹｅとの間には以下のような関係がある。なお、この変形例では、α＝β＝１とする。
Ｙｅ＝Ｇ＋αＲ
Ｃｙ＝Ｇ＋βＢ
Ｍｇ＝Ｒ＋Ｂ
【０１３４】
そして、この変形例では、輝度データを求める場合に、Ｇ画素では該Ｇ画素の撮像データ（Ｇデータ）を２倍にする。Ｙｅ画素では、該Ｙｅ画素の撮像データ（Ｙｅデータ）と、該Ｙｅ画素の周辺のＣｙ画素のうち、相関方向に対応したＣｙ画素の撮像データ（Ｃｙデータ）とをそれぞれ５０％の割合で加算する。Ｃｙ画素も同様に、該Ｃｙ画素の撮像データ（Ｃｙデータ）と、該Ｃｙ画素の周辺のＹｅ画素のうち、相関方向に対応したＹｅ画素の撮像データ（Ｙｅデータ）とをそれぞれ５０％の割合で加算する。
【０１３５】
この処理により得られる輝度データに基づく高域輝度データは、
上述の式で、Ｇ１（ｇ）はＧ画素のＧ成分を示し、Ｇ１（ｙｃ）はＹｅ画素、Ｃｙ画素中のＧ成分を示す。
【０１３６】
ここで、前記（８）式に着目すると、第１項のＧ１（ｇ）＋Ｇ１（ｙｃ）は、実画素全体のＧ成分を示し、第２項のＧ２（ｇ）＋１／２・Ｍｇ（ｙｃ）は、原色配列方式で用いたＧとＭｇの画素ずらし効果を発揮できる加算式となる。
【０１３７】
ＹＨ＝ＹＨ１＋ＹＨ２と置いて、式（８）の第１項と第２項を対応させると、
ＹＨ１＝Ｇ１（ｇ）＋Ｇ１（ｙｃ）
ＹＨ２＝Ｇ２（ｇ）＋１／２・Ｍｇ（ｙｃ）
となる。このＹＨの加算手法は、ＹＨ１とＹＨ２が、重ね合わせの原理で、その効果も加算されることを示す。即ち、上述した本実施の形態に係るデータ演算処理部１２０における輝度データ作成部１３０での処理を大幅に変更することなく、例えばＹｅ画素をＲ画素に対応させ、Ｃｙ画素をＢ画素に対応させて輝度データを求めることができる。
【０１３８】
従って、この変形例に係る輝度データ作成部１３０での処理、例えば演算部１４０での処理は、図２３〜図２６に示すように、本実施の形態に係る輝度データ作成部１３０における演算部１４０での処理（図１５〜図１８参照）とほぼ同様の過程を経ることになる。
【０１３９】
ここで、変形例に係る輝度データ作成部１３０の演算部１４０での処理について図２３〜図２６を参照しながら説明する。
【０１４０】
まず、ステップＳ３０１において、撮像データファイル１１２から対象画素の撮像データを読み出す。その後、ステップＳ３０２において、対象画素がＣｙ画素又はＹｅ画素であるか否かが判別される。対象画素がＧ画素である場合は、そのＧデータが、そのまま輝度データとなるため、ステップＳ３０３において、該輝度データを第１のレジスタＲｇ１に格納する。その後、ステップＳ３２７での処理に進む。
【０１４１】
一方、対象画素がＣｙ画素あるいはＹｅ画素である場合は、次のステップＳ３０４〜Ｓ３１０において、第１の信号生成部１４６での処理が行われる。具体的に図２１の配列パターンも参照しながら説明すると、対象画素をＣｙ３としたとき、ここでの処理は、まず、ステップＳ３０４において、対象画素Ｃｙ３を中心とした同色（この場合、赤色）における２ピッチ間隔の実画素Ｙｅ１〜Ｙｅ４の各撮像データを読み出して、水平相関判定値ａｈ＝｜Ｙｅ２−Ｙｅ３｜と垂直相関判定値ａｖ＝｜Ｙｅ１−Ｙｅ４｜を求める。
【０１４２】
その後、ステップＳ３０５において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｈから第１のしきい値ＴＨ１を差し引いた値（ａｈ−ＴＨ１）が垂直相関判定値ａｖ以上であるかどうかで行われる。
【０１４３】
前記ステップＳ３０５において、垂直相関があると判別された場合は、ステップＳ３０６に進み、以下の式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ３０７において、フラグ情報として垂直相関を示す情報を第２のレジスタに格納する。
ＹＣｙ３＝０．５＊Ｃｙ３＋０．２５＊（Ｙｅ１＋Ｙｅ４） ………（９）
【０１４４】
（ａｈ−ＴＨ１）≧ａｖを満足しない場合は、ステップＳ３０８に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｖから第１のしきい値ＴＨ１を差し引いた値（ａｖ−ＴＨ１）が水平相関判定値ａｈ以上であるかどうかで行われる。
【０１４５】
前記ステップＳ３０８において、水平相関があると判別された場合は、ステップＳ３０９に進み、以下の式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ３１０において、フラグ情報として水平相関を示す情報を第２のレジスタに格納する。
ＹＣｙ３＝０．５＊Ｃｙ３＋０．２５＊（Ｙｅ２＋Ｙｅ３） ……（１０）
【０１４６】
（ａｖ−ＴＨ１）≧ａｈを満足しない場合、即ち、対象画素Ｃｙ３を中心とした同色における２ピッチ間隔の実画素Ｙｅ１〜Ｙｅ４の情報では相関方向の判別ができない場合は、図２４のステップＳ３１１〜Ｓ３１７において、第２の信号生成部１４８での処理が行われる。
【０１４７】
まず、ステップＳ３１１において、対象画素Ｃｙ３を中心とした同色（この場合、緑色）における１ピッチ間隔の実画素Ｇ１〜Ｇ４の各撮像データを読み出して、水平相関判定値ａｇｈ＝｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜と垂直相関判定値ａｇｖ＝｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜を求める。
【０１４８】
その後、ステップＳ３１２において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｇｈから第２のしきい値ＴＨ２を差し引いた値（ａｇｈ−ＴＨ２）が垂直相関判定値ａｇｖ以上であるかどうかで行われる。
【０１４９】
前記ステップＳ３１２において、垂直相関があると判別された場合は、ステップＳ３１３に進み、前記式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１４において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５０】
（ａｇｈ−ＴＨ２）≧ａｇｖを満足しない場合は、ステップＳ３１５に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｇｖから第２のしきい値ＴＨ２を差し引いた値（ａｇｖ−ＴＨ２）が水平相関判定値ａｇｈ以上であるかどうかで行われる。
【０１５１】
前記ステップＳ３１５において、水平相関があると判別された場合は、ステップＳ３１６に進み、前記式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１７において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５２】
（ａｇｖ−ＴＨ２）≧ａｇｈを満足しない場合、即ち、対象画素Ｃｙ３を中心とした同色における１ピッチ間隔の実画素Ｇ１〜Ｇ４の情報では相関方向の判別ができない場合は、図２５のステップＳ３１８〜Ｓ３２４において、第３の信号生成部１５０での処理が行われる。
【０１５３】
まず、ステップＳ３１８において、Ｇ画素Ｇ１〜Ｇ４の各撮像データと仮想画素Ｐ１〜Ｐ４の各補助データを読み出して、水平相関判定値ｐｈ＝｜Ｇ１−αＰ１｜＋｜Ｇ２−αＰ１｜＋｜Ｇ３−αＰ４｜＋｜Ｇ４−αＰ４｜と、垂直相関判定値ｐｖ＝｜Ｇ１−αＰ２｜＋｜Ｇ３−αＰ２｜＋｜Ｇ２−αＰ３｜＋｜Ｇ４−αＰ３｜を求める。
【０１５４】
その後、ステップＳ３１９において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ｐｈから第３のしきい値（１／２ピッチ間隔の相関方向を判定する規定値）ＴＨ３を差し引いた値（ｐｈ−ＴＨ３）が垂直相関判定値ｐｖ以上であるかどうかで行われる。
【０１５５】
前記ステップＳ３１９において、垂直相関があると判別された場合は、ステップＳ３２０に進み、前記式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ３２１において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５６】
（ｐｈ−ＴＨ３）≧ｐｖを満足しない場合は、ステップＳ３２２に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ｐｖから第３のしきい値ＴＨ３を差し引いた値（ｐｖ−ＴＨ３）が水平相関判定値ｐｈ以上であるかどうかで行われる。
【０１５７】
前記ステップＳ３２２において、水平相関があると判別された場合は、ステップＳ３２３に進み、前記式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ３２４において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５８】
（ｐｖ−ＴＨ３）≧ｐｈを満足しない場合、即ち、対象画素Ｃｙ３を基点とした１／２ピッチ間隔における相関方向の判別ができない場合は、図２６のステップＳ３２５において、第４の信号生成部１５２での処理が行われる。
【０１５９】
即ち、この第４の信号生成部１５２は、ステップＳ３１８において、以下の式（１１）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１９において、フラグ情報として相関不明を示す情報を第２のレジスタＲｇ２に格納する。
【０１６０】
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップＳ３２７に進み、輝度データ設定部１５４は、第１のレジスタＲｇ１に格納されている輝度データを輝度データファイル１５８における当該対象画素に対応するアドレスに格納する。その後、ステップＳ３２８において、相関フラグ設定部１５６は、第２のレジスタＲｇ２に格納されているフラグ情報をフラグファイル１６０における当該対象画素に対応するアドレスに格納する。
【０１６１】
上述の処理は、１つのＢ画素Ｃｙ３の輝度データを求める手順について説明したが、他のＣｙ画素やＹｅ画素についても同様に行われる。
【０１６２】
ステップＳ３２８での処理が終了した段階で、次のステップＳ３２９に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップＳ３０１に戻り、次の実画素についての輝度データの作成処理に入る。
【０１６３】
そして、前記ステップＳ３２９にて、全ての実画素について処理が終了したと判別された場合に、この変形例に係る輝度データ作成部１３０の演算部１４０での処理が終了する。
【０１６４】
なお、輝度データ作成部１３０における修正部１４２、高域輝度データ作成部１３２、プレーン補間展開部１３４、マトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６での処理は、上述した本実施の形態に係るデジタルカメラにおけるデータ演算処理部１２０と同様であるため、ここでは、その説明を省略する。
【０１６５】
このように、この変形例に係るデジタルカメラ１０ａにおいては、上述した本実施の形態に係るデジタルカメラ１０と同様に、再現画像の周波数分布の広帯域化を図ることができ、被写体再現性を高めることができる。
【０１６６】
なお、本発明に係るデジタルカメラは、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【０１６７】
【発明の効果】
以上説明したように、本発明に係るデジタルカメラによれば、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができる。
【図面の簡単な説明】
【図１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】本実施の形態に係るデジタルカメラにおける撮像素子の受光部及び垂直転送部の構成を一部省略して示す平面図である。
【図３】図２におけるＩＩＩ−ＩＩＩ線上の断面図である。
【図４】静止画撮影モードにおける撮像データの画像メモリへの格納動作を示すフローチャートである。
【図５】画像処理部を示す機能ブロック図である。
【図６】輝度データ作成部における演算部を示す機能ブロック図である。
【図７】輝度データ作成部における修正部を示す機能ブロック図である。
【図８】修正部での処理動作を説明するための配列パターンの参考例を示す図である。
【図９】高域輝度データ作成部における第１の機能部での処理を示す説明図である。
【図１０】図１０Ａ及び図１０Ｂは、第１の機能部における水平方向と垂直方向のＬＰＦの処理を示す説明図である。
【図１１】高域輝度データ作成部における第２の機能部での処理を示す説明図である。
【図１２】高域輝度データ作成部における第３の機能部での処理を示す説明図である。
【図１３】プレーン補間展開部を示す機能ブロック図である。
【図１４】本実施の形態に係るデジタルカメラの処理動作（静止画撮影モード）を示すフローチャートである。
【図１５】輝度データ作成部における演算部の処理動作を示すフローチャート（その１）である。
【図１６】輝度データ作成部における演算部の処理動作を示すフローチャート（その２）である。
【図１７】輝度データ作成部における演算部の処理動作を示すフローチャート（その３）である。
【図１８】輝度データ作成部における演算部の処理動作を示すフローチャート（その４）である。
【図１９】演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図２０】撮像データ（Ｒデータ、Ｇデータ及びＢデータ）並びに高域輝度データが有する周波数分布を示す説明図である。
【図２１】変形例に係るデジタルカメラにおける演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図２２】変形例に係るデジタルカメラにおける画像処理部を示す機能ブロック図である。
【図２３】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その１）である。
【図２４】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その２）である。
【図２５】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その３）である。
【図２６】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その４）である。
【符号の説明】
１０、１０ａ…デジタルカメラ １８…撮像素子
３４…システムＬＳＩ ７２…画像処理部
７４…画像メモリ ８２…垂直転送レジスタ
８４…透孔 １２０…データ演算処理部
１３０…輝度データ作成部 １３２…高域輝度データ作成部
１４０…演算部 １４２…修正部
１４４…画素選択部 １４６…第１の信号生成部
１４８…第２の信号生成部 １５０…第３の信号生成部
１５２…第４の信号生成部 １６２…相関判別部
１６４…再設定部
１７０Ａ〜１７０Ｃ…第１〜第３の機能部 １７２…水平方向のＬＰＦ
１７４…垂直方向のＬＰＦ
１７６及び１７８…第１及び第２の補間処理部
１８０…加算処理部
【発明の属する技術分野】
本発明は、開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にすることができ、被写体再現性を高めることができるデジタルカメラに関する。
【０００２】
【従来の技術】
固体撮像装置には、モアレ等の偽信号が発生することがある。また、画素の高集積化を行いながら、受光する光量を増やすことにより、受光効率の向上を図ることができる固体撮像装置が、特開平１０−１３６３９１号公報に開示されている。
【０００３】
この固体撮像装置は、画像の空間サンプリングの最適化をもたらす新規な構造、即ち、ハニカム画素配列を有する。
【０００４】
このハニカム画素配列は、各画素間の距離をピッチと定義すると、例えば行方向及び／又は列方向に半ピッチずらして配置する配列である。この画素配置に伴って、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子では、垂直方向の転送レジスタが各画素を迂回するように蛇行して形成されている。
【０００５】
画素は、それぞれ実際に存在する画素（実画素）に対して色フィルタセグメントが割り当てられている。画素（受光素子）では、色フィルタセグメントからの透過光を光電変換して色属性を有する信号電荷を、垂直方向に形成された垂直転送レジスタに読み出す。固体撮像装置では、この垂直転送方向に直交する水平転送レジスタを介して電荷／電圧変換された電圧信号、即ち、アナログの撮像信号を出力する。
【０００６】
この撮像信号には、信号処理が施される。この信号処理では、供給される実画素の色を考慮して画素データの相関を求める。つまり、この信号処理では、色を設定し、同色の相関の高い画素データ同士を用いて画素の実在しない位置における画素データ、即ち、仮想画素における画素データと、実在する異なった色の画素での画素データとが算出される。そして、相関が強い方向の画素データを用いて画素補間処理が行われる。この画素補間処理は、偽信号の発生を抑制することができる。また、画素データの広帯域化処理も施して解像力も高めている。
【０００７】
ところで、このような信号処理においては、仮想画素における画素データを、周りの実画素における画素データから推定することによって、解像度の高い画像を得るようにしている。
【０００８】
しかしながら、この仮想画素の画素データは、あくまでも周りの画素データから推定したものであり、この推定値は、実際の画素データとは異なるため、その推定を誤ると、生成される画素データが例えば忠実な色や階調を反映できなくなり、本来のシーンに対して偽色や解像度の低下を招くおそれがあった。
【０００９】
【発明が解決しようとする課題】
上述の問題点を解決する方法として、仮想画素として設定される部分に小型の受光素子を配置する方法が考えられている。この方法によれば、仮想画素の画素データを求めるための推定値の信頼性を高めることができ、高解像度、高精細度の再現画像を得ることができる。
【００１０】
本発明はこのような課題を考慮してなされたものであり、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができるデジタルカメラを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係るデジタルカメラは、複数の受光素子と複数の小型受光素子並びに複数の色フィルタが配列された撮像部と、撮像部からの撮像信号に対して信号処理を行って画像情報を出力する信号処理部とを有するデジタルカメラにおいて、前記撮像部における前記複数の受光素子は、行方向の配列が１行置きに１／２ピッチずつずらされて配置され、前記複数の小型受光素子は、前記複数の受光素子の間に配置され、前記信号処理部は、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号を生成する成分信号生成部を有し、前記成分信号生成部は、前記複数の受光素子のうち、緑色の色フィルタに対応する受光素子以外の受光素子に関する前記成分信号を、所定の条件を満足した場合に、当該受光素子の周辺に配列された小型受光素子の撮像信号を考慮して作成することを特徴とする。
【００１２】
ここで、前記所定の条件は、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とが共に規定値未満とすること等が挙げられる。また、緑色以外の色は、青色及び赤色であってもよいし、黄色及びシアンであってもよい。
【００１３】
具体的には、前記成分信号生成部は、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が前記規定値未満の場合に、前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出し、その検出結果に応じて前記成分信号を作成するようにしてもよい。
【００１４】
これにより、撮像された画像における１／２ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号の広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【００１５】
また、前記成分信号生成部は、前記当該受光素子を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第１の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第１の信号生成部と、前記第１の信号生成部での検出結果が、前記第１の規定値未満の場合に、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第２の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第２の信号生成部と、前記第２の信号生成部での検出結果が、前記第２の規定値未満の場合に、前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第３の規定値以上の場合に、相関の大きい方向を考慮して成分信号を作成する第３の信号生成部とを有するようにしてもよい。
【００１６】
つまり、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした２ピッチ間の相関を検出することで、ほとんどが第１の信号生成部を通じて成分信号が生成されることになるが、第２及び第３の信号生成部によって、幅が１画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【００１７】
前記成分信号は、前記当該受光素子の撮像信号と、当該受光素子の周辺に配置され、かつ、緑色以外の色であって、当該受光素子の配色以外の色に対応する受光素子の撮像信号に基づいて生成するようにしてもよい。
【００１８】
即ち、緑色に関する受光素子については、その撮像信号（あるいはガンマ補正等がされた後の撮像信号）そのものが成分信号となる。一方、緑色以外の色に関しては、緑以外の色の撮像信号を考慮して成分信号を生成することで、水平及び垂直方向の周波数帯域を緑色の成分信号の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【００１９】
また、前記構成において、前記信号処理部は、前記当該受光素子の周辺の配色のうち、緑色以外の色であって、かつ、当該受光素子の配色以外の色の相関の方向が全て同じである場合に、前記当該受光素子の成分信号を、前記相関の方向を考慮して修正する修正部を有するようにしてもよい。この場合、パターン認識を更に向上させることができる。
【００２０】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を水平補間する水平補間処理部と、水平補間後の各成分信号を垂直方向にローパスフィルタ処理を施して垂直補間する垂直補間処理部とを有するようにしてもよい。この場合、前記水平補間は、前記複数の受光素子間の仮想受光素子の成分信号を、水平方向にローパスフィルタ処理を施して行う、又は、水平方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【００２１】
これにより、１／２ピッチ幅のパターン認識が可能な成分信号に基づく補間となるため、上述の補間処理部を通じて仮想画素（仮想受光素子）に対する補間を行って得られた全体の成分信号によれば、上述した成分信号生成部での信号処理による効果を損なうことなく、再現画像の高解像度並びに広帯域化が実現でき、被写体再現性を高めることができる。
【００２２】
また、前記信号処理部は、前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を垂直補間する垂直補間処理部と、垂直補間後の各成分信号を水平方向にローパスフィルタ処理を施して水平補間する水平補間処理部とを有するようにしてもよい。この場合、前記垂直補間は、前記複数の受光素子間の仮想受光素子の成分信号を、垂直方向にローパスフィルタ処理を施して行う、又は、垂直方向に隣接する受光素子の成分信号との相関によって行うようにしてもよい。
【００２３】
あるいは、前記信号処理部は、複数の緑色の受光素子における各成分信号に基づいて、緑色以外の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第１の補間処理部と、複数の緑色以外の受光素子における各成分信号に基づいて、緑色の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第２の補間処理部と、前記第１の補間処理にて求められた複数の成分信号と、前記第２の補間処理にて求められた複数の成分信号とをそれぞれ対応づけて加算して全受光素子及び全仮想受光素子に対応する成分信号を求める加算処理部とを有するようにしてもよい。
【００２４】
【発明の実施の形態】
以下、本発明に係るデジタルカメラの実施の形態例を図１〜図２６を参照しながら説明する。
【００２５】
本実施の形態に係るデジタルカメラ１０は、基本的には、図１に示すように、以下に示す主要部品１２が筐体１４に収容されて構成され、主要部品１２は、光学部品１６と、撮像素子１８と、ドライバ２０と、タイミング発生器２２と、機構系２４と、機構系用ＣＰＵ２６と、カメラ用ＣＰＵ２８と、前処理回路３０と、Ａ／Ｄ変換器３２と、システムＬＳＩ３４と、バッテリ３６と、着脱自在の記録媒体３８と、操作部４０と、表示部４２等である。
【００２６】
光学部品１６は、複数枚の光学レンズを組み合わせて構成されている（図１では代表的に１つのレンズで図示してある）。
【００２７】
機構系２４は、光学レンズの配置する位置を調節して画面の画角を操作部４０からの操作信号に応じて調節するズーム機構と、撮像素子１８で光電変換した信号電荷を基に自動露出を行い、また、被写体とカメラとの距離に応じてピント調節するＡＥ／ＡＦ調節機構と、被写体の撮影において最適な入射光の光束を撮像素子に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する絞り調節機構とを有する。
【００２８】
撮像素子１８の入射光側には、赤外線カットフィルタ４４と、該撮像素子１８に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ４６とが一体的に配設される。本実施の形態では単板方式の色フィルタを用いて撮像する。
【００２９】
撮像素子１８には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：金属酸化型半導体）タイプの固体撮像デバイスが適用される。
【００３０】
撮像素子１８では、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号にされ、後段の前処理回路３０に出力される。撮像素子１８は、ＣＣＤタイプでは信号電荷の読出しモードに応じてフィールド蓄積２行混合読出しの色多重化方式や全画素読出し方式を用いる。
【００３１】
前処理回路３０は、例えばＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）回路やガンマ変換回路等が挙げられる。ＣＤＳ回路は、例えばＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生器２２からのタイミング信号によりクランプするクランプ回路と、タイミング信号により撮像信号をホールドするサンプルホールド回路とを有する。ガンマ変換回路は、ＣＤＳ回路を通じてノイズが除去された後の撮像信号にガンマ補正、いわゆるガンマ変換を施す。
【００３２】
Ａ／Ｄ変換器３２は、供給される撮像信号の信号レベルを所定の量子化レベルにより量子化してデジタル信号に変換し、撮像データとして後段のシステムＬＳＩ３４に出力する。
【００３３】
システムＬＳＩ３４は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）５０と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）５２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５４と、不揮発性メモリ５６と、メモリ制御部５８と、記録媒体用インターフェース（Ｉ／Ｆ）６０と、画像処理ブロック６２と、圧縮伸長部６４と、通信制御部６６と、表示制御ブロック６８と、電源制御部７０とを有する。
【００３４】
画像処理ブロック６２は、画像処理部７２と、画像メモリ７４とを有し、表示制御ブロック６８は、表示メモリ７６と、表示制御部７８と、Ｄ／Ａ変換部８０とを有する。このＤ／Ａ変換部８０からのアナログ信号が表示部４２に供給されて該表示部４２の画面上に撮像映像が表示されることになる。
【００３５】
Ａ／Ｄ変換器３２から供給された撮像データは、メモリ制御部５８及びＭＰＵ５０による制御によってラインバッファを経て画像メモリ７４に格納される。
【００３６】
撮像素子１８の構成、特に、受光部と垂直転送部の構成は、図２及び図３に示すように、開口部８１を通じて入射する光を光電変換する受光素子ＰＤに隣接した他の受光素子ＰＤが垂直方向及び／又は水平方向にずらされて２次元配置され、水平方向の受光素子ＰＤの間には２列分の垂直転送レジスタ（ＶＣＣＤ）８２がそれぞれ形成されている。このような受光素子ＰＤの配列が、いわゆるハニカム配列である。開口部８１の形状は、一般的に正方格子であるが、図示のように、八角形でもよい。もちろん、他の例として、八角形以外（六角形等）の多角形や、正方格子を４５°回転させた開口形状（例えば菱形等）でもよい。
【００３７】
ここで、実在する受光素子ＰＤを実画素として定義した場合、４つの受光素子（実画素）で囲まれた受光素子ＰＤの実在しない領域を仮想画素の領域と定義することができる。そして、この実施の形態では、仮想画素の位置に透孔８４を設け、光が垂直転送レジスタ８２のポテンシャル井戸に入射するように構成している。なお、図２において、受光素子ＰＤ内に記載されている文字Ｒ、Ｇ及びＢは、色フィルタセグメントの色を示している。ここで使用する色フィルタセグメントの配列パターンは、Ｇ正方ＲＢ完全市松パターンである。もちろん、ＲとＢが入れ替わっても構わない。以下の説明では、赤色（Ｒ）に対応する実画素をＲ画素、緑色（Ｇ）に対応する実画素をＧ画素、青色（Ｂ）に対応する実画素をＢ画素と記す。
【００３８】
撮像素子１８の縦断面に基づいて受光部と垂直転送部の構成を説明すると、ｎ型シリコンウェーハ９０の上にｐウェル９２が形成され、該ｐウェル９２は、受光素子ＰＤと垂直転送レジスタ８２の領域を仕切るように形成される。このｐウェル９２にて仕切られた受光素子ＰＤの領域内に図示しないｎ層が形成され、該ｎ層上にｐ＋層が形成される。
【００３９】
垂直転送レジスタ８２には、その領域内に図示しないｐウェルが形成され、該ｐウェルにｎ層（図示せず）が形成されている。また、垂直転送レジスタ８２上には、例えばポリシリコンによる２層構造の転送電極９４及び９６が形成され、更に、最上層の転送電極９６上に例えばタングステンやアルミニウムによる遮光膜９８が形成されている。
【００４０】
そして、この実施の形態では、仮想画素の位置に遮光膜９８及び２層の転送電極９４及び９６を貫通する透孔８４が形成され、該透孔８４を通じて垂直転送レジスタ８２内に光が入射するようになっている。各受光素子ＰＤ上には、それぞれ対応する色フィルタ１００並びにオンチップ・マイクロレンズ１０２が形成されている。
【００４１】
色フィルタ１００が受光素子ＰＤの領域のみを覆うように色フィルタセグメントを形成すると、透孔８４を通して垂直転送レジスタ８２内に白色光が入射することになる。この場合、垂直転送レジスタ８２のうち、透孔８４に対応する位置には、輝度信号に対応する信号電荷が生成される。ＲＧＢ三原色のうち、ある１つの色フィルタセグメント（例えば緑色）により透孔８４が覆われている場合、その色フィルタセグメントの色属性を有する信号電荷が生成されることになる。
【００４２】
このように、これまで仮想画素として扱っていた位置に、透孔８４を形成するようにしたので、該透孔８４を通じて生成された信号電荷を新たな情報源として利用することができる。
【００４３】
ここで、静止画撮影モードを主体に撮像データが画像メモリ７４に格納されるまでの動作について図４のフローチャートを参照しながら説明する。
【００４４】
まず、撮像素子１８の駆動を行う。この撮像素子１８の駆動は、システムＬＳＩ３４からの制御に基づいてドライバ２０から駆動信号が供給されることにより行われる。撮像素子１８の駆動により得られた撮像データを基にＡＦ／ＡＥの制御を行う（ステップＳ１）。即ち、システムＬＳＩ３４のＭＰＵ５０は、供給される撮像データを用いてＡＦ調節及びＡＥ調節のパラメータを生成してカメラ用ＣＰＵ２８に供給する。カメラ用ＣＰＵ２８は、供給されたパラメータに応じた制御信号を生成し、該制御信号を機構系用ＣＰＵ２６に供給する。機構系用ＣＰＵ２６は、供給された制御信号に基づいてＡＦ／ＡＥ調節の駆動信号を生成して機構系２４に供給する。
【００４５】
次に、撮像素子１８での撮像が開始される。この制御として、システムＬＳＩ３４におけるＭＰＵ５０の制御に応答して機構系用ＣＰＵ２６から駆動信号が出力され、これにより、メカニカルシャッタが閉じ、その後、ドライバ２０から撮像素子１８に対して転送駆動信号が出力され、垂直転送レジスタ８２（図３参照）に蓄積されているスミア成分が掃き出される（ステップＳ２）。スミア成分の掃き出しに伴って、垂直転送レジスタ８２には規定のポテンシャルが形成される。
【００４６】
その後、露光が行われる（ステップＳ３）。即ち、機構系用ＣＰＵ２６から機構系２４に駆動信号が出力され、これにより、メカニカルシャッタが開く（露光開始）。所定の露光時間が経過した時点で、ＭＰＵ５０から機構系用ＣＰＵ２６に対して指示が出力され、この指示に基づいてメカニカルシャッタが閉じる（露光終了）。上述の露光開始から露光終了までの期間において、垂直転送レジスタ８２には、透孔８４を通じて入射された光に応じた信号電荷が生成される。また、各受光素子ＰＤにおいても、それぞれ入射された光に応じた信号電荷が蓄積される。
【００４７】
露光終了の後、ドライバ２０から撮像素子１８に対して転送駆動信号が出力され、垂直転送レジスタ８２に蓄積されている信号電荷が垂直転送される。垂直転送された信号電荷は、その後、水平転送レジスタ（図示せず）を通じて水平転送され、出力部（図示せず）を通じてＱ／Ｖ変換されてアナログの電圧信号（撮像信号）に変換されて出力される（ステップＳ４）。
【００４８】
撮像素子１８から出力された撮像信号は、後段の前処理回路３０においてノイズが除去され、更にガンマ変換が施された後、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて、システムＬＳＩ３４のメモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される（ステップＳ５）。この段階で、仮想画素の位置に対応する撮像データ（補助データ）が画像メモリの例えば補助データファイル１１０（図５参照）に格納されることになる。
【００４９】
その後、撮像素子１８は、通常行っている受光素子ＰＤから垂直転送レジスタ８２への信号電荷の読み出し、即ち、全画素読出しを行う。この場合も、出力部においてＱ／Ｖ変換が行われて撮像信号とされる（ステップＳ６）。各受光素子ＰＤからの全画素読出しによる撮像信号は、後段の前処理回路３０においてノイズが除去され、更にガンマ変換が施された後、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて、上述と同様に、システムＬＳＩ３４のメモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される（ステップＳ７）。この段階で、全受光素子ＰＤに対応する撮像データが画像メモリ７４の例えば撮像データファイル１１２（図５参照）に格納されることになる。
【００５０】
次に、本実施の形態に係るデジタルカメラ１０の画像処理ブロック６２における画像処理部７２の構成について図５を参照しながら説明する。
【００５１】
画像処理部７２は、図５に示すように、データ演算処理部１２０、マトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６が備えられている。データ演算処理部１２０は、画像メモリ７４に格納された撮像データに演算処理を施す各種の演算部がある。
【００５２】
即ち、データ演算処理部１２０には、輝度データ作成部１３０、高域輝度データ作成部１３２及びプレーン補間展開部１３４が備えられている。データ演算処理部１２０は、図示しないが、ＭＰＵ５０から供給される制御信号によって制御されている。
【００５３】
輝度データ作成部１３０には、画像メモリ７４における補助データファイル１１０から仮想画素に対応する補助データと、撮像データファイル１１２からＲＧＢの撮像データが供給され、プレーン補間展開部１３４には、前記撮像データファイル１１２からＲＧＢの撮像データが供給される。
【００５４】
輝度データ作成部１３０は、ＲＧＢの各画素に対応する位置での輝度データを前記補助データとＲＧＢの撮像データとに基づいて演算する演算部１４０と、演算された輝度データについて修正を施す修正部１４２とを有する。
【００５５】
演算部１４０は、図６に示すように、画素選択部１４４と、第１〜第４の信号生成部１４６〜１５２と、輝度データ設定部１５４と、相関フラグ設定部１５６とを有する。
【００５６】
画素選択部１４４は、撮像データファイル１１２から対象画素（輝度データを生成すべき対象画素）を選択してその撮像データを読み出し、また、補助データファイル１１０及び撮像データファイル１１２から前記対象画素の周辺画素を選択してそれぞれ補助データ及び撮像データを読み出して、第１〜第４の信号生成部に供給する。
【００５７】
第１の信号生成部１４６は、選択した対象画素を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第１の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【００５８】
第２の信号生成部１４８は、前記第１の信号生成部１４６での検出結果が、第１の規定値未満の場合に、当該対象画素を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第２の規定値以上の場合に、相関の大きい方向を考慮して輝度データを生成する。
【００５９】
第３の信号生成部１５０は、前記第２の信号生成部１４８での検出結果が、第２の規定値未満の場合に、当該対象画素を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第３の規定値以上の場合に、相関の大きい方向を考慮して輝度データを作成する。
【００６０】
第４の信号生成部１５２は、当該対象画素の１／２ピッチにおいて、垂直方向及び水平方向のいずれについて相関があるか不明の場合に、垂直方向及び水平方向における周辺画素の撮像データを考慮して輝度データを作成する。
【００６１】
輝度データ設定部１５４は、第１〜第４の信号生成部１４６〜１５２のいずれかにおいて生成された輝度データを画像メモリ７４における輝度データファイル１５８の対象画素に対応するアドレスに格納する。
【００６２】
相関フラグ設定部１５６は、第１〜第４の信号生成部１４６〜１５２のいずれかを通じて輝度データが作成された場合に、その輝度データの作成の基となった相関方向を示すフラグ情報を画像メモリ７４におけるフラグファイル１６０の対象画素に対応するアドレスに格納する。相関方向を示すフラグ情報としては、例えば垂直相関＝「０１」、水平相関＝「１０」、相関不明＝「００」等が挙げられる。
【００６３】
一方、修正部１４２は、１つの対象画素（例えば１つのＢ画素）について、その周辺の８つのＲ画素の相関の方向が全て同じである場合に、当該Ｂ画素の輝度データを、Ｒ画素の相関の方向を考慮して修正する。これは対象画素が１つのＲ画素についても同様である。
【００６４】
この修正部１４２は、図７に示すように、相関判別部１６２と再設定部１６４とを有する。相関判別部１６２は、フラグファイル１６０から対象画素（修正の要否を確認すべき対象画素）の８つの周辺画素を選択して、それぞれ相関方向を示すフラグ情報を読み出し、８つの周辺画素について全て相関方向が同じであった場合に、再設定部１６４を起動し、該再設定部１６４に対して相関方向の情報を供給する。
【００６５】
再設定部１６４は、相関判別部１６２からの相関方向の情報に基づいて、対象画素の輝度データをその相関方向を考慮して再設定し、その再設定された輝度データを輝度データファイル１５８の対象画素に対応するアドレスに格納する。即ち、対象画素の輝度データについて修正を行う。
【００６６】
この修正部１４２での動作を図８に基づいて説明すると、例えば１つのＢ画素ｂに関する周辺の８つのＲ画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）に関する相関方向を示すフラグ情報を読み取り、読み取ったフラグ情報が全て同じ方向であった場合に、Ｂ画素ｂの輝度データをその相関方向を考慮した値に再設定する。
【００６７】
例えば８つの周辺画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）が全て水平相関を有する場合は、対象画素ｂも水平相関を有するとして、以下の関係式にて演算を行って対象画素ｂの輝度データを再設定する。
反対に、例えば８つの周辺画素（ｕ１，ｕ２，ｕ３，ｍ１，ｍ２，ｄ１，ｄ２，ｄ３）が全て垂直相関を有する場合は、対象画素ｂも垂直相関を有するとして、以下の演算を行って対象画素ｂの輝度データを再設定する。
次に、高域輝度データ作成部１３２は、得られた輝度データから仮想画素の輝度データを補間すると共に、得られる輝度データの周波数帯域を高域にして高域輝度データＹＨを得る。そして、この高域輝度データ作成部１３２は、得られた高域輝度データＹＨを画像メモリ７４の高域輝度データファイル１６６に格納する。
【００７０】
この高域輝度データＹＨの作成は、図９〜図１２に示すように、３種類の機能部１７０Ａ〜１７０Ｃのいずれかによって実現することができる。図９、図１１及び図１２において、「ｇ」はＧ画素の輝度データを示し、「ｍ」はＲ画素又はＢ画素の輝度データを示し、「＊」は輝度データが決定されていない仮想画素を示す。また、「Ｇ」及び「Ｍ」は水平補間あるいは垂直補間後の輝度データを示し（実画素の輝度データについては実質的に変化はない）、「ＹＨ」は高域輝度データを示す。この場合、高域輝度データが実画素及び仮想画素全てに配列されてなるデータ群は、高解像度及び広帯域の輝度情報を構成することになる。
【００７１】
そして、第１の機能部１７０Ａは、図９に示すように、水平方向のＬＰＦ（ローパスフィルタ）と垂直方向のＬＰＦ１７４とを有する。ここで、水平方向のＬＰＦ１７２の処理について図１０Ａ及び図１０Ｂを参照しながら説明する。図１０Ａ及び図１０Ｂにおいて、実画素ｄ（−３），ｄ（−１），ｄ（１），ｄ（３）は実線で示し、仮想画素は破線で示し、これら仮想画素は、実画素の間に配された関係になっている。
【００７２】
仮想画素ｄｎ（−４），ｄｎ（−２），ｄｎ（０），ｄｎ（２），ｄｎ（４）は、実画素との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。即ち、これらの仮想画素には、ゼロが予め設定されている。例えば、図１０Ａに示すように、画素ｄｎ（０）を水平方向に補間するとき、デジタルフィルタのタップ係数をｋ０，ｋ１，ｋ２，ｋ３，ｋ４，・・・，ｋｎとして整理すると、高域成分を含む輝度データＹ（０）が以下の式（３）を演算することにより得られる。
但し、この場合、図１０Ａから明らかなように、ゼロのデータが交互に入るので、係数は２倍になる。この関係は、図１０Ａにおけるこの他の補間対象の画素ｄｎ（−４），ｄｎ（−２），ｄｎ（２），ｄｎ（４）に対しても当てはめることができる。これらの補間処理が施されることにより、高域成分を含む輝度データＹ（−４），Ｙ（−２），Ｙ（２），Ｙ（４）が得られる（図１０Ｂ参照）。
【００７４】
輝度データファイル１５８の全ての行について上述の水平方向のＬＰＦ処理が終了した段階で、仮想画素に対応する輝度データが一時的に決定される。その後、全ての列について垂直方向のＬＰＦ処理が行われる。この場合、既に水平方向のＬＰＦ処理によって仮想画素の輝度データＹが補間されているので、輝度データＹは密に入っている。従って、ＬＰＦの係数は通常と同じにして済ませることができる。上述の垂直方向のＬＰＦ処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００７５】
第２の機能部１７０Ｂは、図１１に示すように、垂直方向のＬＰＦ１７４と水平方向のＬＰＦ１７２とを有し、上述した第１の機能部１７０Ａとは逆の処理手順となっている。即ち、まず、輝度データファイル１５８の全ての列について垂直方向のＬＰＦ処理が行われて、仮想画素に対応する輝度データＹが一時的に決定され、その後、全ての行について水平方向のＬＰＦ処理が行われて、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００７６】
第３の機能部１７０Ｃは、図１２に示すように、輝度データファイル１５８をＧ画素に関する第１の輝度データファイル１５８Ａと、Ｒ画素及びＢ画素に関する第２の輝度データファイル１５８Ｂとに分離して処理を行う。
【００７７】
そして、この第３の機能部１７０Ｃは、第１及び第２の補間処理部１７６及び１７８と、加算処理部１８０とを有する。第１の補間処理部１７６は、第１の輝度データファイル１５８Ａに対し補間処理を行って、第１の輝度データファイル１５８Ａにおける実画素及び仮想画素の全てについて輝度データを決定する。
【００７８】
第２の補間処理部１７８は、第２の輝度データファイル１５８Ｂに対し補間処理を行って、第２の輝度データファイル１５８Ｂにおける実画素及び仮想画素の全てについて輝度データを決定する。これらの補間処理としては、ＬＰＦによる補間や、周辺画素との相関判断による方法等が挙げられる。
【００７９】
加算処理部１８０は、第１及び第２の輝度データファイル１５８Ａ及び１５８Ｂにおけるそれぞれ対応する画素の輝度データを加算する。この加算処理によって、実画素及び仮想画素全てについて高域成分を含む輝度データＹＨが作成される。
【００８０】
プレーン補間展開部１３４は、図１３に示すように、３種類の演算部を有し、具体的には、Ｒ補間展開部１８２、Ｇ補間展開部１８４及びＢ補間展開部１８６が備えられている。これらＲ補間展開部１８２、Ｇ補間展開部１８４及びＢ補間展開部１８６には、それぞれの一方の入力端子に高域輝度データＹＨが供給され、他方の入力端子にそれぞれ対応する撮像データ、即ちＲデータＤｒ、ＧデータＤｇ、ＢデータＤｂが供給される。このプレーン補間展開によってＲプレーンデータＤＰｒ、ＧプレーンデータＤＰｇ及びＢプレーンデータＤＰｂが作成される。
【００８１】
マトリクス部１２２は、補間展開によって得られたＲプレーンデータＤＰｒ、ＧプレーンデータＤＰｇ及びＢプレーンデータＤＰｂから輝度データＹと色差データＣｒ及びＣｂを生成する。マトリクス部１２２は、以下の式（４）に基づいて輝度データＹを求め、更に、この輝度データＹを用いて色差データＣｒ＝ＤＰｒ−Ｙ及びＣｂ＝ＤＰｂ−Ｙを生成する。
Ｙ＝０．３＊ＤＰｒ＋０．５＊ＤＰｇ＋０．１１＊ＤＰｂ ………（４）
【００８２】
また、アンチエリアシングフィルタ部１２４は、高域成分を含むように調整されたデジタルフィルタで構成されている。アパーチャ調整部１２６は、輝度データに対してアパーチャ効果、例えば、輪郭強調等を施す。これらアンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６として、従来の構成を用いることができる。
【００８３】
次に、デジタルカメラ１０の動作について図１４のメインルーチンを参照しながら説明する。まず、ステップＳ１０１において、デジタルカメラ１０に電源が投入されると、システムＬＳＩ３４のＭＰＵ５０によって各種の初期設定が行われる。
【００８４】
その後、ステップＳ１０２において、撮像素子１８での撮像が行われる。その後、ステップＳ１０３において、前記撮像素子１８から読み出された撮像信号は、後段の前処理回路３０にてノイズ除去及びガンマ変換等が行われ、更に、Ａ／Ｄ変換器３２にてデジタルの撮像データに変換されて後段のシステムＬＳＩ３４に供給され、メモリ制御部５８及びＭＰＵ５０を通じて画像メモリ７４に格納される。
【００８５】
このとき、撮像素子１８からは、まず、仮想画素に対応する位置からの撮像信号が読み出され、補助データとして画像メモリ７４の補助データファイル１１０に格納され、その後、各受光素子ＰＤからの全画素読出しによる撮像データが画像メモリ７４の撮像データファイル１１２に格納される。
【００８６】
前記ステップＳ１０３での処理が終了した段階で、ステップＳ１０４において、輝度データ作成部１３０における演算部１４０での処理に入る。
【００８７】
演算部１４０は、画像メモリ７４における補助データファイル１１０からの補助データ及び撮像データファイル１１２からの撮像データに基づいて各受光素子ＰＤに対応する位置の輝度データを作成して画像メモリ７４の輝度データファイル１５８に格納する。
【００８８】
ここで、演算部１４０での処理について図１５〜図１８のフローチャートを参照しながら説明する。
【００８９】
まず、図１５のステップＳ２０１において、輝度データを作成すべき対象画素を選択して撮像データファイル１１２から該対象画素に対応する撮像データを読み出す。その後、ステップＳ２０２において、対象画素がＲ画素又はＢ画素であるか否かが判別される。対象画素がＧ画素である場合は、そのＧデータが、そのまま輝度データとなるため、ステップＳ２０３において、該輝度データを第１のレジスタＲｇ１に格納する。その後、ステップＳ２２７での処理に進む。
【００９０】
一方、対象画素がＢ画素あるいはＲ画素である場合は、次のステップＳ２０４〜Ｓ２１０において、第１の信号生成部１４６での処理が行われる。具体的に図１９の配列パターンも参照しながら説明すると、対象画素をＢ３としたとき、ここでの処理は、まず、ステップＳ２０４において、対象画素Ｂ３を中心とした同色（この場合、赤色）における２ピッチ間隔の実画素Ｒ１〜Ｒ４の各撮像データを読み出して、水平相関判定値ａｈ＝｜Ｒ２−Ｒ３｜と垂直相関判定値ａｖ＝｜Ｒ１−Ｒ４｜とを求める。
【００９１】
その後、ステップＳ２０５において、垂直相関があるか否かが判別される。垂直方向に相関がある場合は、垂直方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、水平相関判定値ａｈから第１のしきい値ＴＨ１（２ピッチ間隔の相関方向を判定する規定値）を差し引いた値（ａｈ−ＴＨ１）が垂直相関判定値ａｖ以上であるかどうかで行われる。
【００９２】
前記ステップＳ２０５において、（ａｈ−ＴＨ１）≧ａｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２０６に進み、以下の式（５）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ２０７において、フラグ情報として垂直相関を示す情報（例えば「０１」）を第２のレジスタに格納する。
ＹＢ３＝０．５＊Ｂ３＋０．２５＊（Ｒ１＋Ｒ４） ………（５）
【００９３】
（ａｈ−ＴＨ１）≧ａｖを満足しない場合は、ステップＳ２０８に進み、今度は、水平相関があるか否かが判別される。水平方向に相関がある場合は、水平方向に並ぶ撮像データ同士の値が近いことを示すことから、この判別は、垂直相関判定値ａｖから第１のしきい値ＴＨ１を差し引いた値（ａｖ−ＴＨ１）が水平相関判定値ａｈ以上であるかどうかで行われる。
【００９４】
前記ステップＳ２０８において、（ａｖ−ＴＨ１）≧ａｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２０９に進み、以下の式（６）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ２１０において、フラグ情報として水平相関を示す情報（例えば「１０」）を第２のレジスタに格納する。
ＹＢ３＝０．５＊Ｂ３＋０．２５＊（Ｒ２＋Ｒ３） ………（６）
【００９５】
（ａｖ−ＴＨ１）≧ａｈを満足しない場合、即ち、対象画素を中心とした同色における２ピッチ間隔の実画素Ｒ１〜Ｒ４の情報では相関方向の判別ができない場合は、図１６のステップＳ２１１〜Ｓ２１７において、第２の信号生成部１４８での処理が行われる。
【００９６】
まず、ステップＳ２１１において、対象画素Ｂ３を中心とした同色（この場合、緑色）における１ピッチ間隔の実画素Ｇ１〜Ｇ４の各撮像データを読み出して、水平相関判定値ａｇｈ＝｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜と垂直相関判定値ａｇｖ＝｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜とを求める。
【００９７】
その後、ステップＳ２１２において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｇｈから第２のしきい値（１ピッチ間隔の相関方向を判定する規定値）ＴＨ２を差し引いた値（ａｇｈ−ＴＨ２）が垂直相関判定値ａｇｖ以上であるかどうかで行われる。
【００９８】
前記ステップＳ２１２において、（ａｇｈ−ＴＨ２）≧ａｇｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２１３に進み、前記式（５）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１４において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【００９９】
（ａｇｈ−ＴＨ２）≧ａｇｖを満足しない場合は、ステップＳ２１５に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｇｖから第２のしきい値ＴＨ２を差し引いた値（ａｇｖ−ＴＨ２）が水平相関判定値ａｇｈ以上であるかどうかで行われる。
【０１００】
前記ステップＳ２１５において、（ａｇｖ−ＴＨ２）≧ａｇｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２１６に進み、前記式（６）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１７において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０１】
（ａｇｖ−ＴＨ２）≧ａｇｈを満足しない場合、即ち、対象画素Ｂ３を中心とした同色における１ピッチ間隔の実画素Ｇ１〜Ｇ４の情報では相関方向の判別ができない場合は、図１７のステップＳ２１８〜Ｓ２２４において、第３の信号生成部１５０での処理が行われる。
【０１０２】
まず、ステップＳ２１８において、Ｇ画素Ｇ１〜Ｇ４の各撮像データと仮想画素Ｐ１〜Ｐ４の各補助データを読み出して、水平相関判定値ｐｈ＝｜Ｇ１−αＰ１｜＋｜Ｇ２−αＰ１｜＋｜Ｇ３−αＰ４｜＋｜Ｇ４−αＰ４｜と、垂直相関判定値ｐｖ＝｜Ｇ１−αＰ２｜＋｜Ｇ３−αＰ２｜＋｜Ｇ２−αＰ３｜＋｜Ｇ４−αＰ３｜を求める。ここでの演算は、仮想画素の位置に形成された透孔８４上に緑色の色フィルタが形成されている場合を想定している。また、αは、透孔８４の面積が受光素子ＰＤの受光面積よりも小さいため、補助データを撮像データのレベルまで合わせ込むための係数である。
【０１０３】
その後、ステップＳ２１９において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ｐｈから第３のしきい値（１／２ピッチ間隔の相関方向を判定する規定値）ＴＨ３を差し引いた値（ｐｈ−ＴＨ３）が垂直相関判定値ｐｖ以上であるかどうかで行われる。
【０１０４】
前記ステップＳ２１９において、（ｐｈ−ＴＨ３）≧ｐｖを満足する場合、即ち、垂直相関があると判別された場合は、ステップＳ２２０に進み、前記式（５）の演算を行って、当該対象画素Ｂ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ２２１において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０５】
（ｐｈ−ＴＨ３）≧ｐｖを満足しない場合は、ステップＳ２２２に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ｐｖからしきい値ＴＨ３を差し引いた値（ｐｖ−ＴＨ３）が水平相関判定値ｐｈ以上であるかどうかで行われる。
【０１０６】
前記ステップＳ２２２において、（ｐｖ−ＴＨ３）≧ｐｈを満足する場合、即ち、水平相関があると判別された場合は、ステップＳ２２３に進み、前記式（６）の演算を行って、当該対象画素Ｂ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ２２４において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１０７】
（ｐｖ−ＴＨ３）≧ｐｈを満足しない場合、即ち、対象画素Ｂ３を基点とした１／２ピッチ間隔における相関方向の判別ができない場合は、図１８のステップＳ２２５において、第４の信号生成部１５２での処理が行われる。
【０１０８】
即ち、この第４の信号生成部１５２は、ステップＳ２１８において、以下の式（７）の演算を行って、当該対象画素Ｂ３における輝度データＹＢ３を求め、該輝度データＹＢ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ２１９において、フラグ情報として相関不明を示す情報（例えば「００」）を第２のレジスタＲｇ２に格納する。
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップＳ２２７に進み、輝度データ設定部１５４は、第１のレジスタＲｇ１に格納されている輝度データを輝度データファイル１５８における当該対象画素に対応するアドレスに格納する。その後、ステップＳ２２８において、相関フラグ設定部１５６は、第２のレジスタＲｇ２に格納されているフラグ情報をフラグファイル１６０における当該対象画素に対応するアドレスに格納する。
【０１１０】
上述の処理は、１つのＢ画素Ｂ３の輝度データを求める手順について説明したが、他のＢ画素やＲ画素についても同様に行われる。
【０１１１】
ステップＳ２２８での処理が終了した段階で、次のステップＳ２２９に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップＳ２０１に戻り、次の実画素についての輝度データの作成処理に入る。
【０１１２】
そして、前記ステップＳ２２９にて、全ての実画素について処理が終了したと判別された場合に、この輝度データ作成部１３０における演算部１４０での処理が終了する。
【０１１３】
図１４のメインルーチンの説明に戻り、ステップＳ１０４での輝度データ作成処理が終了した段階で、次のステップＳ１０５に進み、輝度データ作成部１３０における修正部１４２での処理に入る。この処理の詳細については、既に説明したので、ここではその重複説明を省略するが、この修正部１４２での処理によって、例えば１つの対象画素（例えば１つのＢ画素）について、その周辺の８つのＲ画素の相関の方向が全て同じである場合に、当該Ｂ画素の輝度データが、Ｒ画素の相関の方向を考慮して修正される。そして、全てのＢ画素並びにＲ画素について、修正の要否が判別されて選択的に修正が施されることになる。
【０１１４】
前記修正部１４２での処理が終了した段階で、次のステップＳ１０６において、高域輝度データ作成部１３２での処理に入る。この高域輝度データ作成部１３２での処理は、上述したように、第１〜第３の機能部１７０Ａ〜１７０Ｃのいずれかでの処理によって行われる。即ち、画像メモリ７４の輝度データファイル１５８に格納されている実画素の輝度データを基に仮想画素を補間し、高域輝度データＹＨを作成して、高域輝度データファイル１６６に格納する。
【０１１５】
次に、ステップＳ１０７において、プレーン補間展開部１３４での処理に入る。このプレーン補間展開部１３４は、まず、Ｇ補間展開部１８４での処理が行われ、高域輝度データファイル１６６に格納された高域輝度データＹＨと撮像データファイル１１２に格納された実画素のＧデータＤｇに基づいて、全ての仮想画素のＧデータを補間して、ＧプレーンデータＤＰｇを作成する。
【０１１６】
その後、Ｒ補間展開部１８２での処理が行われ、高域輝度データＹＨと実画素のＲデータＧｒに基づいて全ての仮想画素のＲデータを補間して、ＲプレーンデータＤＰｒを作成する。その後、Ｂ補間展開部１８６での処理が行われ、高域輝度データＹＨと実画素のＢデータＧｂとに基づいて全ての仮想画素のＢデータを補間して、ＢプレーンデータＤＰｂを作成する。
【０１１７】
すべての色における全仮想画素のプレーンデータが作成された段階で、このプレーン補間展開部１３４での処理が終了する。
【０１１８】
ここで、ステップＳ１０４〜Ｓ１０７の処理により得られた各データ等の信号が持つ周波数帯域を図２０に表す。横軸は水平方向の周波数軸（ｆｈ）で縦軸は垂直方向の周波数軸（ｆｖ）である。
【０１１９】
図２０のハニカム配列における空間周波数表示から、Ｒ画素及びＢ画素は、市松状で、かつ完全に交互いにＲ画素及びＢ画素が入れ換わるパターンで配される関係から実線Ｒ／Ｂの分布で表される。
【０１２０】
これに対して、Ｇ画素は、画素ずらしを含んだ４画素でストライプパターンに配されたことにより周波数が高く、Ｒ画素及びＢ画素の周波数（Ｒ／Ｂで示す範囲）が含まれるようになる。Ｇ画素の空間周波数は、ほぼｆｓ／４で水平方向及び垂直方向の周波数軸を通っている。補間処理により得られた高域輝度信号ＹＨは、Ｇ画素の周波数並びにＲ画素及びＢ画素の周波数を含み、帯域をｆｓ／２まで延ばしている。
【０１２１】
図１４のメインルーチンでの説明に戻り、次のステップＳ１０８において、マトリクス部１２２での処理が行われ、プレーン補間展開部１３４からのＧプレーンデータＤＰｇ、ＲプレーンデータＤＰｒ及びＢプレーンデータＤＰｂに基づいて、全実画素及び全仮想画素に対応する輝度データＹと色差データＣｒ及びＣｂが生成される。
【０１２２】
その後、ステップＳ１０９において、アンチエリアシングフィルタ部１２４での処理が行われ、供給される輝度データＹ及び色差データＣｒ及びＣｂにそれぞれ折り返し歪みが生じないようにデジタルフィルタを適用して、ローパスフィルタ処理が施される。
【０１２３】
その後、ステップＳ１１０において、アパーチャ調整部１２６での処理が行われ、具体的には、輝度データＹに対してアパーチャ効果、例えば輪郭強調処理等が行われる。
【０１２４】
なお、上述のマトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６は、従来からデジタルカメラに用いられている構成で済ませることができる。
【０１２５】
得られた輝度データＹ、色差データＣｒ及びＣｂは、図１に図示していないが表示部４２や圧縮伸長部６４にそれぞれ供給される。表示部４２では、高品質な画像データが供給されることにより、一層高い品質の表示画像や印刷を提供できる。
【０１２６】
次に、ステップＳ１１０において、圧縮伸長部６４での処理によって、輝度データＹ、色差データＣｒ及びＣｂに圧縮処理を施して情報量を減少させ、その後、ステップＳ１１１において、圧縮後の輝度データ等をインターフェース６０を介して記録媒体３８（例えば半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体）に記録する。
【０１２７】
ステップＳ１１１での処理が終了した段階で、ステップＳ１１２に進み、撮影を終了するか否かを判別する。この判別は、電源断や動画表示要求等のように静止画処理の終了を示す要求があったかどうかで行われる。終了要求がない場合は、ステップＳ１０１に戻って、前述の動作を繰り返す。終了要求があった場合は、このデジタルカメラ１０での処理、特に、静止画処理が終了する。
【０１２８】
このように、本実施の形態に係るデジタルカメラ１０においては、撮像された画像における１／２ピッチ間のパターン認識を簡易に実現することができ、しかも、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した輝度データの広帯域化を図ることができる。これは、再現画像の周波数分布の広帯域化をもたらし、被写体再現性を高めることができる。
【０１２９】
特に、撮像した画像は一般に垂直方向及び水平方向の相関が高いことから、当該受光素子を中心とした２ピッチ間の相関を検出することで、ほとんどが第１の信号生成部１４６を通じて輝度データが生成されることになるが、第２及び第３の信号生成部１４８及び１５０によって、幅が１画素分のストライプ画像であっても認識することが可能となり、パターン認識の高精度化を実現することができる。
【０１３０】
また、Ｇ画素については、その撮像データそのものが輝度データとなるが、Ｒ画素及びＢ画素に関しては、Ｇ画素の撮像データを考慮して輝度データを生成するようにしているため、水平及び垂直方向の周波数帯域をＧ画素の周波数帯域まで広げることができ、再現画像の周波数の広帯域化を達成させることができる。
【０１３１】
次に、変形例に係るデジタルカメラ１０ａについて図２１〜図２６を参照しながら説明する。この変形例に係るデジタルカメラ１０ａは、上述した本実施の形態に係るデジタルカメラ１０とほぼ同様の構成を有するが、図２１に示すように、色フィルタセグメントの配列パターンが、Ｇ正方ＣｙＹｅ完全市松パターンである。もちろん、ＣｙとＹｅが入れ替わっても構わない。以下の説明では、シアン（Ｃｙ）に対応する実画素をＣｙ画素、緑色（Ｇ）に対応する実画素をＧ画素、黄色（Ｙｅ）に対応する実画素をＹｅ画素と記す。
【０１３２】
また、色フィルタセグメントとして補色フィルタを用いたことから、図２２に示すように、データ演算処理部にＧ画素、Ｃｙ画素及びＹｅ画素にそれぞれ対応する撮像データ、即ち、ＧデータＤｇ、ＣｙデータＤＣｙ及びＹｅデータＤＹｅに対して既知の演算を行ってＲデータＤｒ、ＧデータＤｇ及びＢデータＤｂに変換するミキシング回路１９０を有する。このミキシング回路１９０からのＲデータＤｒ、ＧデータＤｇ及びＢデータＤｂは、後段のプレーン補間展開部１３４に供給される。
【０１３３】
ここで、この変形例における輝度データ作成部１３０での処理を具体的に説明すると、まず、原色系の色Ｒ、Ｇ及びＢと補色系の色Ｍｇ、Ｃｙ及びＹｅとの間には以下のような関係がある。なお、この変形例では、α＝β＝１とする。
Ｙｅ＝Ｇ＋αＲ
Ｃｙ＝Ｇ＋βＢ
Ｍｇ＝Ｒ＋Ｂ
【０１３４】
そして、この変形例では、輝度データを求める場合に、Ｇ画素では該Ｇ画素の撮像データ（Ｇデータ）を２倍にする。Ｙｅ画素では、該Ｙｅ画素の撮像データ（Ｙｅデータ）と、該Ｙｅ画素の周辺のＣｙ画素のうち、相関方向に対応したＣｙ画素の撮像データ（Ｃｙデータ）とをそれぞれ５０％の割合で加算する。Ｃｙ画素も同様に、該Ｃｙ画素の撮像データ（Ｃｙデータ）と、該Ｃｙ画素の周辺のＹｅ画素のうち、相関方向に対応したＹｅ画素の撮像データ（Ｙｅデータ）とをそれぞれ５０％の割合で加算する。
【０１３５】
この処理により得られる輝度データに基づく高域輝度データは、
【０１３６】
ここで、前記（８）式に着目すると、第１項のＧ１（ｇ）＋Ｇ１（ｙｃ）は、実画素全体のＧ成分を示し、第２項のＧ２（ｇ）＋１／２・Ｍｇ（ｙｃ）は、原色配列方式で用いたＧとＭｇの画素ずらし効果を発揮できる加算式となる。
【０１３７】
ＹＨ＝ＹＨ１＋ＹＨ２と置いて、式（８）の第１項と第２項を対応させると、
ＹＨ１＝Ｇ１（ｇ）＋Ｇ１（ｙｃ）
ＹＨ２＝Ｇ２（ｇ）＋１／２・Ｍｇ（ｙｃ）
となる。このＹＨの加算手法は、ＹＨ１とＹＨ２が、重ね合わせの原理で、その効果も加算されることを示す。即ち、上述した本実施の形態に係るデータ演算処理部１２０における輝度データ作成部１３０での処理を大幅に変更することなく、例えばＹｅ画素をＲ画素に対応させ、Ｃｙ画素をＢ画素に対応させて輝度データを求めることができる。
【０１３８】
従って、この変形例に係る輝度データ作成部１３０での処理、例えば演算部１４０での処理は、図２３〜図２６に示すように、本実施の形態に係る輝度データ作成部１３０における演算部１４０での処理（図１５〜図１８参照）とほぼ同様の過程を経ることになる。
【０１３９】
ここで、変形例に係る輝度データ作成部１３０の演算部１４０での処理について図２３〜図２６を参照しながら説明する。
【０１４０】
まず、ステップＳ３０１において、撮像データファイル１１２から対象画素の撮像データを読み出す。その後、ステップＳ３０２において、対象画素がＣｙ画素又はＹｅ画素であるか否かが判別される。対象画素がＧ画素である場合は、そのＧデータが、そのまま輝度データとなるため、ステップＳ３０３において、該輝度データを第１のレジスタＲｇ１に格納する。その後、ステップＳ３２７での処理に進む。
【０１４１】
一方、対象画素がＣｙ画素あるいはＹｅ画素である場合は、次のステップＳ３０４〜Ｓ３１０において、第１の信号生成部１４６での処理が行われる。具体的に図２１の配列パターンも参照しながら説明すると、対象画素をＣｙ３としたとき、ここでの処理は、まず、ステップＳ３０４において、対象画素Ｃｙ３を中心とした同色（この場合、赤色）における２ピッチ間隔の実画素Ｙｅ１〜Ｙｅ４の各撮像データを読み出して、水平相関判定値ａｈ＝｜Ｙｅ２−Ｙｅ３｜と垂直相関判定値ａｖ＝｜Ｙｅ１−Ｙｅ４｜を求める。
【０１４２】
その後、ステップＳ３０５において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｈから第１のしきい値ＴＨ１を差し引いた値（ａｈ−ＴＨ１）が垂直相関判定値ａｖ以上であるかどうかで行われる。
【０１４３】
前記ステップＳ３０５において、垂直相関があると判別された場合は、ステップＳ３０６に進み、以下の式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ３０７において、フラグ情報として垂直相関を示す情報を第２のレジスタに格納する。
ＹＣｙ３＝０．５＊Ｃｙ３＋０．２５＊（Ｙｅ１＋Ｙｅ４） ………（９）
【０１４４】
（ａｈ−ＴＨ１）≧ａｖを満足しない場合は、ステップＳ３０８に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｖから第１のしきい値ＴＨ１を差し引いた値（ａｖ−ＴＨ１）が水平相関判定値ａｈ以上であるかどうかで行われる。
【０１４５】
前記ステップＳ３０８において、水平相関があると判別された場合は、ステップＳ３０９に進み、以下の式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納する。その後、ステップＳ３１０において、フラグ情報として水平相関を示す情報を第２のレジスタに格納する。
ＹＣｙ３＝０．５＊Ｃｙ３＋０．２５＊（Ｙｅ２＋Ｙｅ３） ……（１０）
【０１４６】
（ａｖ−ＴＨ１）≧ａｈを満足しない場合、即ち、対象画素Ｃｙ３を中心とした同色における２ピッチ間隔の実画素Ｙｅ１〜Ｙｅ４の情報では相関方向の判別ができない場合は、図２４のステップＳ３１１〜Ｓ３１７において、第２の信号生成部１４８での処理が行われる。
【０１４７】
まず、ステップＳ３１１において、対象画素Ｃｙ３を中心とした同色（この場合、緑色）における１ピッチ間隔の実画素Ｇ１〜Ｇ４の各撮像データを読み出して、水平相関判定値ａｇｈ＝｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜と垂直相関判定値ａｇｖ＝｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜を求める。
【０１４８】
その後、ステップＳ３１２において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ａｇｈから第２のしきい値ＴＨ２を差し引いた値（ａｇｈ−ＴＨ２）が垂直相関判定値ａｇｖ以上であるかどうかで行われる。
【０１４９】
前記ステップＳ３１２において、垂直相関があると判別された場合は、ステップＳ３１３に進み、前記式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１４において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５０】
（ａｇｈ−ＴＨ２）≧ａｇｖを満足しない場合は、ステップＳ３１５に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ａｇｖから第２のしきい値ＴＨ２を差し引いた値（ａｇｖ−ＴＨ２）が水平相関判定値ａｇｈ以上であるかどうかで行われる。
【０１５１】
前記ステップＳ３１５において、水平相関があると判別された場合は、ステップＳ３１６に進み、前記式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１７において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５２】
（ａｇｖ−ＴＨ２）≧ａｇｈを満足しない場合、即ち、対象画素Ｃｙ３を中心とした同色における１ピッチ間隔の実画素Ｇ１〜Ｇ４の情報では相関方向の判別ができない場合は、図２５のステップＳ３１８〜Ｓ３２４において、第３の信号生成部１５０での処理が行われる。
【０１５３】
まず、ステップＳ３１８において、Ｇ画素Ｇ１〜Ｇ４の各撮像データと仮想画素Ｐ１〜Ｐ４の各補助データを読み出して、水平相関判定値ｐｈ＝｜Ｇ１−αＰ１｜＋｜Ｇ２−αＰ１｜＋｜Ｇ３−αＰ４｜＋｜Ｇ４−αＰ４｜と、垂直相関判定値ｐｖ＝｜Ｇ１−αＰ２｜＋｜Ｇ３−αＰ２｜＋｜Ｇ２−αＰ３｜＋｜Ｇ４−αＰ３｜を求める。
【０１５４】
その後、ステップＳ３１９において、垂直相関があるか否かが判別される。この判別は、水平相関判定値ｐｈから第３のしきい値（１／２ピッチ間隔の相関方向を判定する規定値）ＴＨ３を差し引いた値（ｐｈ−ＴＨ３）が垂直相関判定値ｐｖ以上であるかどうかで行われる。
【０１５５】
前記ステップＳ３１９において、垂直相関があると判別された場合は、ステップＳ３２０に進み、前記式（９）の演算を行って、当該対象画素Ｃｙ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ３２１において、垂直相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５６】
（ｐｈ−ＴＨ３）≧ｐｖを満足しない場合は、ステップＳ３２２に進み、今度は、水平相関があるか否かが判別される。この判別は、垂直相関判定値ｐｖから第３のしきい値ＴＨ３を差し引いた値（ｐｖ−ＴＨ３）が水平相関判定値ｐｈ以上であるかどうかで行われる。
【０１５７】
前記ステップＳ３２２において、水平相関があると判別された場合は、ステップＳ３２３に進み、前記式（１０）の演算を行って、当該対象画素Ｃｙ３における輝度データを求め、該輝度データを第１のレジスタＲｇ１に格納し、更に、ステップＳ３２４において、水平相関を示すフラグ情報を第２のレジスタＲｇ２に格納する。
【０１５８】
（ｐｖ−ＴＨ３）≧ｐｈを満足しない場合、即ち、対象画素Ｃｙ３を基点とした１／２ピッチ間隔における相関方向の判別ができない場合は、図２６のステップＳ３２５において、第４の信号生成部１５２での処理が行われる。
【０１５９】
即ち、この第４の信号生成部１５２は、ステップＳ３１８において、以下の式（１１）の演算を行って、当該対象画素Ｃｙ３における輝度データＹＣｙ３を求め、該輝度データＹＣｙ３を第１のレジスタＲｇ１に格納し、更に、ステップＳ３１９において、フラグ情報として相関不明を示す情報を第２のレジスタＲｇ２に格納する。
上述のように、輝度データ及びフラグ情報が決定された段階で、次のステップＳ３２７に進み、輝度データ設定部１５４は、第１のレジスタＲｇ１に格納されている輝度データを輝度データファイル１５８における当該対象画素に対応するアドレスに格納する。その後、ステップＳ３２８において、相関フラグ設定部１５６は、第２のレジスタＲｇ２に格納されているフラグ情報をフラグファイル１６０における当該対象画素に対応するアドレスに格納する。
【０１６１】
上述の処理は、１つのＢ画素Ｃｙ３の輝度データを求める手順について説明したが、他のＣｙ画素やＹｅ画素についても同様に行われる。
【０１６２】
ステップＳ３２８での処理が終了した段階で、次のステップＳ３２９に進み、全ての実画素について処理が終了したか否かが判別される。処理が終了していなければ、前記ステップＳ３０１に戻り、次の実画素についての輝度データの作成処理に入る。
【０１６３】
そして、前記ステップＳ３２９にて、全ての実画素について処理が終了したと判別された場合に、この変形例に係る輝度データ作成部１３０の演算部１４０での処理が終了する。
【０１６４】
なお、輝度データ作成部１３０における修正部１４２、高域輝度データ作成部１３２、プレーン補間展開部１３４、マトリクス部１２２、アンチエリアシングフィルタ部１２４及びアパーチャ調整部１２６での処理は、上述した本実施の形態に係るデジタルカメラにおけるデータ演算処理部１２０と同様であるため、ここでは、その説明を省略する。
【０１６５】
このように、この変形例に係るデジタルカメラ１０ａにおいては、上述した本実施の形態に係るデジタルカメラ１０と同様に、再現画像の周波数分布の広帯域化を図ることができ、被写体再現性を高めることができる。
【０１６６】
なお、本発明に係るデジタルカメラは、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【０１６７】
【発明の効果】
以上説明したように、本発明に係るデジタルカメラによれば、仮想画素として設定される部分に小型の受光素子を配置する撮像部を有する場合において、より高い被写体再現性を実現させることができる。
【図面の簡単な説明】
【図１】本実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】本実施の形態に係るデジタルカメラにおける撮像素子の受光部及び垂直転送部の構成を一部省略して示す平面図である。
【図３】図２におけるＩＩＩ−ＩＩＩ線上の断面図である。
【図４】静止画撮影モードにおける撮像データの画像メモリへの格納動作を示すフローチャートである。
【図５】画像処理部を示す機能ブロック図である。
【図６】輝度データ作成部における演算部を示す機能ブロック図である。
【図７】輝度データ作成部における修正部を示す機能ブロック図である。
【図８】修正部での処理動作を説明するための配列パターンの参考例を示す図である。
【図９】高域輝度データ作成部における第１の機能部での処理を示す説明図である。
【図１０】図１０Ａ及び図１０Ｂは、第１の機能部における水平方向と垂直方向のＬＰＦの処理を示す説明図である。
【図１１】高域輝度データ作成部における第２の機能部での処理を示す説明図である。
【図１２】高域輝度データ作成部における第３の機能部での処理を示す説明図である。
【図１３】プレーン補間展開部を示す機能ブロック図である。
【図１４】本実施の形態に係るデジタルカメラの処理動作（静止画撮影モード）を示すフローチャートである。
【図１５】輝度データ作成部における演算部の処理動作を示すフローチャート（その１）である。
【図１６】輝度データ作成部における演算部の処理動作を示すフローチャート（その２）である。
【図１７】輝度データ作成部における演算部の処理動作を示すフローチャート（その３）である。
【図１８】輝度データ作成部における演算部の処理動作を示すフローチャート（その４）である。
【図１９】演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図２０】撮像データ（Ｒデータ、Ｇデータ及びＢデータ）並びに高域輝度データが有する周波数分布を示す説明図である。
【図２１】変形例に係るデジタルカメラにおける演算部での処理動作を説明するための配列パターンの参考例を示す図である。
【図２２】変形例に係るデジタルカメラにおける画像処理部を示す機能ブロック図である。
【図２３】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その１）である。
【図２４】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その２）である。
【図２５】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その３）である。
【図２６】変形例に係るデジタルカメラの輝度データ作成部における演算部の処理動作を示すフローチャート（その４）である。
【符号の説明】
１０、１０ａ…デジタルカメラ １８…撮像素子
３４…システムＬＳＩ ７２…画像処理部
７４…画像メモリ ８２…垂直転送レジスタ
８４…透孔 １２０…データ演算処理部
１３０…輝度データ作成部 １３２…高域輝度データ作成部
１４０…演算部 １４２…修正部
１４４…画素選択部 １４６…第１の信号生成部
１４８…第２の信号生成部 １５０…第３の信号生成部
１５２…第４の信号生成部 １６２…相関判別部
１６４…再設定部
１７０Ａ〜１７０Ｃ…第１〜第３の機能部 １７２…水平方向のＬＰＦ
１７４…垂直方向のＬＰＦ
１７６及び１７８…第１及び第２の補間処理部
１８０…加算処理部
Claims (13)
- 複数の受光素子と複数の小型受光素子並びに複数の色フィルタが配列された撮像部と、撮像部からの撮像信号に対して信号処理を行って画像情報を出力する信号処理部とを有するデジタルカメラにおいて、
前記撮像部における前記複数の受光素子は、行方向の配列が１行置きに１／２ピッチずつずらされて配置され、前記複数の小型受光素子は、前記複数の受光素子の間に配置され、
前記信号処理部は、輝度信号並びに色差信号の元となる、少なくとも解像度を考慮した成分信号を生成する成分信号生成部を有し、
前記成分信号生成部は、前記複数の受光素子のうち、緑色の色フィルタに対応する受光素子以外の受光素子に関する前記成分信号を、所定の条件を満足した場合に、当該受光素子の周辺に配列された小型受光素子の撮像信号を考慮して作成することを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記所定の条件は、
前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とが共に規定値未満であることを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記成分信号生成部は、
前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が前記規定値未満の場合に、
前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出し、その検出結果に応じて前記成分信号を作成することを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記成分信号生成部は、
前記当該受光素子を中心とした同色における２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第１の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第１の信号生成部と、
前記第１の信号生成部での検出結果が、前記第１の規定値未満の場合に、前記当該受光素子を中心とした同色における１ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第２の規定値以上の場合に、相関の大きい方向を考慮して成分信号を生成する第２の信号生成部と、
前記第２の信号生成部での検出結果が、前記第２の規定値未満の場合に、前記当該受光素子を基点とした１／２ピッチ間の水平相関判定値と垂直相関判定値とを検出して、これら水平相関判定値又は垂直相関判定値が第３の規定値以上の場合に、相関の大きい方向を考慮して成分信号を作成する第３の信号生成部とを有することを特徴とするデジタルカメラ。 - 請求項１〜４のいずれか１項に記載のデジタルカメラにおいて、
前記成分信号は、前記当該受光素子の撮像信号と、当該受光素子の周辺に配置され、かつ、緑色以外の色であって、当該受光素子の配色以外の色に対応する受光素子の撮像信号に基づいて生成されることを特徴とするデジタルカメラ。 - 請求項１〜５のいずれか１項に記載のデジタルカメラにおいて、
前記信号処理部は、
前記当該受光素子の周辺の配色のうち、緑色以外の色であって、かつ、当該受光素子の配色以外の色の相関の方向が全て同じである場合に、
前記当該受光素子の成分信号を、前記相関の方向を考慮して修正する修正部を有することを特徴とするデジタルカメラ。 - 請求項１〜６のいずれか１項に記載のデジタルカメラにおいて、
緑色以外の色は、青色及び赤色であることを特徴とするデジタルカメラ。 - 請求項１〜６のいずれか１項に記載のデジタルカメラにおいて、
緑色以外の色は、黄色及びシアンであることを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記信号処理部は、
前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を水平補間する水平補間処理部と、
水平補間後の各成分信号を垂直方向にローパスフィルタ処理を施して垂直補間する垂直補間処理部とを有することを特徴とするデジタルカメラ。 - 請求項９記載のデジタルカメラにおいて、
前記水平補間は、前記複数の受光素子間の仮想受光素子の成分信号を、水平方向にローパスフィルタ処理を施して行う、又は、水平方向に隣接する受光素子の成分信号との相関によって行うことを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記信号処理部は、
前記複数の受光素子における成分信号に基づいて、前記複数の受光素子間の仮想受光素子の成分信号を垂直補間する垂直補間処理部と、
垂直補間後の各成分信号を水平方向にローパスフィルタ処理を施して水平補間する水平補間処理部とを有することを特徴とするデジタルカメラ。 - 請求項１１記載のデジタルカメラにおいて、
前記垂直補間は、前記複数の受光素子間の仮想受光素子の成分信号を、垂直方向にローパスフィルタ処理を施して行う、又は、垂直方向に隣接する受光素子の成分信号との相関によって行うことを特徴とするデジタルカメラ。 - 請求項１記載のデジタルカメラにおいて、
前記信号処理部は、
複数の緑色の受光素子における各成分信号に基づいて、緑色以外の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第１の補間処理部と、
複数の緑色以外の受光素子における各成分信号に基づいて、緑色の受光素子の成分信号並びに前記複数の受光素子間の仮想受光素子の成分信号を補間する第２の補間処理部と、
前記第１の補間処理にて求められた複数の成分信号と、前記第２の補間処理にて求められた複数の成分信号とをそれぞれ対応づけて加算して全受光素子及び全仮想受光素子に対応する成分信号を求める加算処理部とを有することを特徴とするデジタルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244197A JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002244197A JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004088260A true JP2004088260A (ja) | 2004-03-18 |
| JP4015905B2 JP4015905B2 (ja) | 2007-11-28 |
Family
ID=32052758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002244197A Expired - Fee Related JP4015905B2 (ja) | 2002-08-23 | 2002-08-23 | デジタルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4015905B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016051932A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 撮像素子および撮像装置 |
-
2002
- 2002-08-23 JP JP2002244197A patent/JP4015905B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016051932A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 撮像素子および撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4015905B2 (ja) | 2007-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112261391B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US20050089241A1 (en) | Image processing apparatus and method, recording medium, and program | |
| JP3946492B2 (ja) | 低解像度イメージの生成方法 | |
| KR100468169B1 (ko) | 위색(僞色)신호발생이억제가능한단판식컬러카메라 | |
| JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
| JP4600315B2 (ja) | カメラ装置の制御方法及びこれを用いたカメラ装置 | |
| JP2006174404A (ja) | 固体撮像素子および固体撮像装置 | |
| JP4579043B2 (ja) | 固体撮像素子及び撮像装置 | |
| JP2004048445A (ja) | 画像合成方法及び装置 | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
| JP2004363902A (ja) | 撮像装置 | |
| JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| JP4015905B2 (ja) | デジタルカメラ | |
| JP2003101815A (ja) | 信号処理装置及び信号処理方法 | |
| WO2022088310A1 (zh) | 图像处理方法、摄像头组件及移动终端 | |
| Theuwissen | Image processing chain in digital still cameras | |
| JP2008131291A (ja) | 撮像装置 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JP4434556B2 (ja) | 固体撮像装置および固体撮像素子 | |
| JP3905342B2 (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070813 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070813 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070914 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |