JP2008131291A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子の画素数を増やすことなく画像の水平解像度及び垂直解像度を向上させた撮像装置を提供することである。
【解決手段】この発明の撮像装置は、光学像を撮像信号に変換する複数の光電変換素子から成るプログレッシブ撮像素子１２と、前記撮像信号を正方配列の画像信号に変換する画素配列変換部１４とから構成される。そして、前記撮像信号はナイキストドメインを含むもので、このナイキストドメインは斜方配列で構成される。また、前記ナイキストドメインは、水平座標と垂直座標とで互いに独立した位相を有している。
【選択図】 図１

Description

本発明は撮像装置に関し、より詳細には、撮像素子の画素配列を改善した撮像装置に関するものである。

水平転送部の駆動周波数を低減しつつも高精細の動画像が得られる撮像装置に関する技術が、例えば、下記特許文献１に開示されている。この特許文献１に記載された撮像装置は、被写体の像を光電変換するために水平方向及び垂直方向に各々画素として配列された複数の光電変換部を有する撮像素子と、前記撮像素子の水平方向及び垂直方向に隣り合う４画素の電荷を混合して出力するための混合手段とを備え、前記４画素混合後の信号がライン毎にオフセットサンプリングの関係になるように、水平方向の画素混合の組み合わせをライン毎に変化させることを特徴としている。

一方、下記特許文献２には、垂直解像度を損なうことなく、従来に比して２倍の水平解像度を得るカラー固体撮像装置に関する技術が開示されている。このカラー固体撮像装置は、被写体の異なるカラー成分光に感応する感光部が水平読出し方向に規則的に配置されてなる第１および第２のふたつの水平画素列を垂直読出し方向に交互に繰返し配列してなる固体撮像素子を具備し、隣接する前記第１、第２の水平画素列の出力信号列をそれぞれ独立して同時に読出し、得られる２列の信号を処理することによりカラーテレビジョン信号を得るカラー固体撮像装置において、前記第１、第２の水平画素列は空間位相を１８０゜ずらして交互に繰返し配列されていることを特徴としている。
特開２００３−１１６０６１号公報 特開昭５９−２１１８９号公報

近年、撮像画像の高解像度化が市場より強く求められてきた結果、撮像素子の画素数が従来よりも増加している。ところが、画素数の増加に伴い、画素サイズの微細化と、画素の読み出し速度の高速化とが画質上に悪影響を及ぼす懸念がある。例えば、画素サイズの微細化は、撮像電荷の減少、Ｓ／Ｎ劣化、スミア発生、ブルーミング発生について不利な要因となり、画素の読み出し速度の高速化は、熱雑音の増加、アナログフロントエンド信号の高帯域劣化に影響を及ぼす。

そこで、画素数を増加させずに画像の高解像度化を実現する技術が求められている。

これに対し、前述した特許文献１に記載の撮像装置では、撮像素子上で画素混合読み出しをすることで画素の読み出し速度を抑制しているものの、画素サイズの微細化による画質上の不利については解決していない。更に、４画素混合後の信号がライン毎にオフセットサンプリングの関係にすることで水平解像度の劣化を防いでいるが、垂直解像度は劣化する。

また、前記特許文献２に記載のカラー固体撮像装置では、第１、第２の水平画素列は空間位相を１８０°ずらして交互に繰返し配列したことで、画素の読み出し速度一定にて水平解像度を向上させており、また、画素サイズを微細化せずに高解像度化が実現している。しかしながら、特許文献２に記載のカラー固体撮像装置では、水平解像度の向上は実現したが、垂直解像度については向上していない。

したがって本発明は、前記課題に鑑みてなされたものであって、その目的は、撮像素子の画素数を増やすことなく画像の水平解像度及び垂直解像度を向上させた撮像装置を提供することである。

すなわち、請求項１に記載の発明は、光学像を撮像信号に変換し撮像画素を得る複数の光電変換素子から成る撮像素子と、前記撮像信号を正方配列の画像信号に変換する画素配列変換手段と、を具備し、前記撮像信号はナイキストドメインを含み、前記ナイキストドメインは斜方配列であり、前記ナイキストドメインは水平座標と垂直座標とで互いに独立した位相を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明に於いて、前記ナイキストドメインの単位配列の配列は、水平方向及び垂直方向に正方配列されるものであることを特徴とする。

請求項３に記載の発明は、請求項１に記載の発明に於いて、前記画素配列変換手段は、水平方向の前記各撮像画素を通る互いに平行な直線と、垂直方向の前記各撮像画素を通る互いに平行な直線とで構成される格子に於いて前記撮像画素のない格子点の撮像データを周辺の前記撮像画素から画素補間によって求めるものであり、前記周辺の撮像画素は、前記撮像画素のない格子点と同一線上の水平分解能線から４つの前記撮像画素と、前記撮像画素のない格子点と同一線上の垂直分解能線から４つの前記撮像画素とから成る８つの前記撮像画素で構成されることを特徴とする。

請求項４に記載の発明は、請求項１に記載の発明に於いて、前記撮像信号からナイキストドメインを抽出して画素配列変換をする第１の経路の信号と、前記撮像信号から輝度信号を生成する第２の経路の信号と、前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、を更に具備することを特徴とする。

請求項５に記載の発明は、光学像を撮像信号に変換し撮像画素を得る複数の光電変換素子から成るもので、前記複数の光電変換素子から生成される前記撮像信号が前記光電変換素子毎に独立に読み出し可能であり、前記撮像信号はナイキストドメインを単位配列の中に４つの前記撮像画素以上含み、前記ナイキストドメインを斜方配列にすることで、前記ナイキストドメインは水平座標と垂直座標との双方共に独立した位相を有する撮像素子と、前記斜方配列から成る撮像信号または画像信号を正方配列の画像信号に変換する画素配列変換手段と、を有することを特徴とする。

請求項６に記載の発明は、請求項５に記載の発明に於いて、前記単位配列の配列は、水平方向及び垂直方向に一定周期にて正方配列されることを特徴とする。

請求項７に記載の発明は、請求項５に記載の発明に於いて、前記画素配列変換手段は、水平方向の前記各撮像画素を通る互いに平行な直線と、垂直方向の前記各撮像画素を通る互いに平行な直線とで構成される格子に於いて前記撮像画素のない正方格子点の撮像データを周辺の前記撮像画素から画素補間によって求めるものであり、前記周辺の撮像画素は、前記撮像画素のない格子点と同一線上の水平分解能線から４つの前記撮像画素と、前記撮像画素のない格子点と同一線上の垂直分解能線から４つの前記撮像画素と、から成る８つの前記撮像画素であることを特徴とする。

請求項８に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記ナイキストドメインは３色以上の画素で構成されており、前記撮像信号からナイキストドメインを抽出するためのナイキストドメイン抽出手段と、前記ナイキストドメインのゲイン調整をするための味付け係数処理手段と、から成る第１の経路の信号と、色毎に画素補間した色毎の画像信号を生成する画素補間演算手段と、前記色毎の画像信号から輝度信号を生成するための輝度信号演算器と、前記輝度信号の階調性を調整するための輝度階調性調整手段と、から成る第２の経路の信号と、前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、を更に具備することを特徴とする。

請求項９に記載の発明は、請求項８に記載の発明に於いて、前記第１の経路の信号は、前記ナイキストドメイン抽出手段の前にホワイトバランス補正手段を有することを特徴とする。

請求項１０に記載の発明は、請求項８に記載の発明に於いて、前記第２の経路の信号は、輝度周波数別にゲイン補正することができるエンハンス補正手段を更に具備することを特徴とする。

請求項１１に記載の発明は、請求項８に記載の発明に於いて、前記色毎の画像信号からクロマ信号を生成するためのクロマ信号演算器と、前記クロマ信号の色の濃さを調整するＹＣバランス調整手段と、を更に具備し、前記ＹＣバランス調整手段は、輝度階調性調整手段による調整値に基づいて輝度信号レベルとクロマ信号レベルとの比率が調整されることを特徴とする。

請求項１２に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記ナイキストドメインは緑色の画素で構成されており、前記撮像信号から緑色の画素を抽出するための緑色画素抽出手段と、前記緑色画素のゲイン調整をするための味付け係数処理手段と、から成る第１の経路の信号と、色毎に画素補間した色毎の画像信号を生成する画素補間演算手段と、前記色毎の画像信号から輝度信号を生成するための輝度信号演算器と、前記輝度信号の階調性を調整するための輝度階調性調整手段と、から成る第２の経路の信号と、前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、を更に具備することを特徴とする。

請求項１３に記載の発明は、請求項１２に記載の発明に於いて、前記単位配列は、４画素の緑色画素と、１画素の赤色画素と、１画素の青色画素と、から成る１単位６画素で構成されることを特徴とする。

請求項１４に記載の発明は、請求項１３に記載の発明に於いて、前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は緑色画素用と赤色画素用または青色画素用との少なくとも２種類以上の形状を有し、前記緑色画素用のオンチップレンズは前記赤色画素用または青色画素用のオンチップレンズよりも面積が小さいことを特徴とする。

請求項１５に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は楕円形または長方円形であり、前記オンチップレンズの中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする。

請求項１６に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記光電変換素子の開口部上面形状は楕円形状または長方円形状であり、前記光電変換素子の開口部の中心点は、前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする。

請求項１７に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は角が丸められた長方形状であり、前記オンチップレンズの中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする。

請求項１８に記載の発明は、請求項５若しくは請求項６に記載の発明に於いて、前記光電変換素子の開口部上面形状は角が丸められた長方形状であり、前記光電変換素子の開口部の中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする。

本発明によれば、撮像素子の画素数を増やすことなく画像の水平解像度及び垂直解像度を向上させた撮像装置を提供することができる。

以下、図面を参照して本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の構成を示すブロック図である。

図１に於いて、この撮像装置１０は、光学像を撮像信号に変換するプログレッシブ撮像素子（撮像素子）１２と、該プログレッシブ撮像素子１２により得られた撮像信号（斜方配列）を画像信号（正方配列）に変換する画素配列変換部（画素配列変換手段）１４とより構成されている。

プログレッシブ撮像素子１２は、例えば、ＣＣＤやＭＯＳ型撮像素子等により構成されるものであり、シャッタ方式はグローバルシャッタ方式、ローリングシャッタ方式を問わない。また、プログレッシブ撮像が得られるものであれば、読み出し方式はインタレース読み出し方式、複数フィールドに跨る読み出し方式、ライン単位読み出し方式を問わない。更に、このプログレッシブ撮像素子１２は、動画用、静止画用、計測用を問わないものである。

次に、図１に示されたプログレッシブ撮像素子１２の画素配列の詳細について説明する。

図２（ａ）は一般的な撮像素子であって、正方配列による画素配列の一部を拡大して示した図、図２（ｂ）は一般的な撮像素子であって、六角配列による画素配列の一部を拡大して示した図、図２（ｃ）は本実施形態によるプログレッシブ撮像素子の斜方配列の一部を拡大して示した図である。また、図３は、図２（ｃ）に示された斜方配列と同じ画素配列であるが、単位配列上に補助線が引かれており、４画素から成る単位配列が４単位あることを示している。

図２（ａ）〜（ｃ）に於いて、複数の水平分解能線２０と垂直分解能線２１上に、それぞれ画素１６ａ、１７ａ、１２ａが配列されて、撮像素子１６、１７、１２を構成している。

改めて図２（ｃ）に着目すれば、単位配列にある４画素は水平座標と垂直座標との双方共に独立した位相を有する斜方配列であることを特徴としている。

図２（ｃ）に示される、斜方配列から成る画素は、ナイキストドメインの役目を義務付けられている。このナイキストドメインとは、限界解像度を生成する輝度サンプリング画素のことである。本実施形態の撮像信号は、ナイキストドメインから出力される画素信号と、ナイキストドメインではない画素から出力される画素信号とから成っている。ここで、ナイキストドメインではない画素の有無は問わない。

図２（ｃ）に示される撮像素子１２は、ナイキストドメインではない画素が撮像素子上には無い一例である。また、この撮像信号のナイキスト周波数は、撮像装置の中にある画像処理で用いられる画像信号のナイキスト周波数と、必ずしも一致してなくても良く、撮像装置から最終的に出力される映像信号のナイキスト周波数と必ずしも一致してなくとも良い。何故ならば、本実施形態の撮像装置に於ける撮像信号の水平垂直解像度は、撮像装置から出力される映像信号の水平垂直解像度に必ずしも反映させなくても、例えば、撮像装置から出力される映像信号の輝度周波数変調度特性に反映させても良いからである。

次に、ナイキストドメインの画素配列が水平解像度と垂直解像度とに密接に関係することについて説明する。

図２（ａ）に示される正方配列、図２（ｂ）に示される六角配列、図２（ｃ）に示される斜方配列は、何れも撮像素子の一部である１６画素を拡大して示しているもので、平面の解像度（ｄｐｉ）については、図２（ａ）〜（ｃ）で略一致している。ところが、同じ１６画素であるにも関わらず、図２（ａ）は４本の水平分解能線２０と４本の垂直分解能線２１とから成り、図２（ｂ）は８本の水平分解能線２０と４本の垂直分解能線２１とから成り、更に図２（ｃ）では８本の水平分解能線２０と８本の垂直分解能線２１とから成ることがわかる。水平分解能線２０は限界水平解像度の基となるものであり、垂直分解能線２１は限界垂直解像度の基となるものであるので、同じ画素数でも画素配列によって水平解像度と垂直解像度とが異なることがわかる。

つまり、図２（ｃ）に示される本発明一実施形態による斜方配列は、図２（ａ）に示される一般的な正方配列と比べると、平面の解像度は略一致であるのにも関わらず、水平解像度と垂直解像度とが向上していることがわかる。また、図２（ｃ）に示される斜方配列と図２（ｂ）に示される一般的な六角配列とを比較してみても、図２（ｃ）に示される斜方配列の方が垂直解像度の向上があることがわかる。

尚、斜方配列の具体的な配列形状については、図２（ｃ）に示されるものに限られるものではなく、水平座標と垂直座標との双方共に独立した位相を有する斜方配列であれば良い。また、図２（ｃ）では画素の形状を楕円形にしているが、長方円形、角丸長方形であっても良い。

図２（ｃ）に示される画素の形状については、光電変換素子の形状の一例としても良いし、光電変換素子の開口部の形状の一例としても良く、光電変換素子の上部に設置されるオンチップレンズの形状の一例としても良い。

また、図３に示される撮像素子では単位配列上に補助線１２ｂが引いてあり、それぞれ４画素から成る単位配列が示されている。斜方配列を必要としているのは、限界解像度を生成するナイキストドメインを形成するためであり、限界解像度を生成しない単位配列の配列には斜方性は持たせず正方配列としても良い。例えば、低周波輝度成分から成る左上から右下に向かう線状の第１の被写体と、第１の被写体と垂直座標軸に対して線対称であり低周波輝度成分から成る右上から左下に向かう線状の第２の被写体とで画質が変わるのは不自然だからである。

図３に示されるように、単位配列の配列を正方配列にすれば、低周波輝度成分と中周波輝度成分とから成る被写体については、一般的な正方配列のものと画質的にも変わらないことを特徴としている。

次に、平面の解像度をそのままに、水平解像度と垂直解像度とを向上させることについての画質的な意味合いについて補足説明する。

先ず、人間の視覚特性上に於いて、水平方向と垂直方向の解像度及び変調度（周波数別コントラスト）が、斜め方向の解像度及び変調度よりも敏感であることが挙げられる。これは、水平解像度と垂直解像度とを斜め解像度よりも優先的に向上させた方が、人間の視覚特性上では画像に解像感が感じられることを意味する。

他の理由としては、以下のことが挙げられる。すなわち、被写体の構図について述べれば、自然界にある被写体を対象に映像（または写真画像）の構図（デザイン）を無視してランダムな画枠にて撮像したならば、輝度信号の水平成分と垂直成分と斜め成分とについて、確率統計上では３６０°全方向平等に分布するはずである。しかし、被写体の構図を考えて撮像するならば、水平または垂直方向に被写体を揃えた構図を採ることが多い。例えば、ビル街を撮像するならば、ビルが空に向かっておおよそ垂直に建つような構図を採るのが普通である。このことは、被写体に直線部を有しない場合に於いても、人間の視覚機能の中で、被写体に直線部に相当するようなガイドラインを思い描いて、そのガイドラインが水平方向または垂直方向と略一致するような構図を採ることが多い、ということからわかる。

次に、図１に示された画素配列変換部１４の一例について説明する。

図４は、水平分解能線と垂直分解能線を正方格子に見立てて、撮像画素のない格子点について画素補間する手法の一例を示したものである。

図４に示される黒点２３に着目して説明すると、この黒点２３を中心とした水平分解能線２０上に、黒点２３を挟んだ形でそれぞれ上下に２点ずつ、同図に斜線で示されている画素２４が存在することがわかる。また、黒点２３を中心として、垂直分解能線２１上に、それぞれ左右に２点ずつ、同図に斜め格子状に示される画素２５が存在している。つまり、図４には、黒点２３は撮像画素のない格子点の１つであり、黒点２３と同一線上の水平分解能線２０から４つの画素２４と、黒点２３と同一線上の垂直分解能線２１から４つの画素２５の合計８画素から画素補間する一例が示されている。

このようにして、撮像画素のない格子点の全てについて画素補間することで、画素配列変換が達成される。

ここで、図５を参照して、前述した画素配列変換部１４の具体的な画素補間演算式について一例を説明する。

図５には、sinc関数による画素補間を応用した手法が示されている。ここでは、sinc関数の代わりに３次多項式で近似した関数ｈ(ｔ)を用いている。この関数ｈ(ｔ)は、対象となる補間画素の相関パラメータ係数に用いる。

sinc(ｔ)＝ sin(πｔ)／πｔ
を３次多項式にて近似すれば、下記（１）式のようになる。

ここで、ｔは距離の変数であり、ｔ＝１であれば、補間すべき黒点から１画素分離れていることを指す。

補間すべき黒点座標(ｘ，ｙ)から導き出される補間画素値Ｉ_(x,y) について、下記（２）式が導き出される。

ここで、ｆｘ₁ ，ｆｘ₂ ，ｆｘ₃ ，ｆｘ₄ はＩ(x,y) の垂直分解能線上にある左右近隣２画素ずつの画素値であり、ｆｙ₁ ，ｆｙ₂ ，ｆｙ₃ ，ｆｙ₄ はＩ(x,y) の水平分解能線上にある上下近隣２画素ずつの画素値である。

尚、画素補間演算式の例は、前述してきたようなsinc関数に限られるものではなく、また、いろいろな変形が考えられる。例えば、ｘ項とｙ項とで画像の形状判断からｘ，ｙ比率を算出する手法や、水平及び垂直方向からだけではなく、周辺の斜め方向からの画素補間も含めて用いる手法等も考えられる。図５に示されるｔ₁ ，ｔ₂ ，ｔ₃ ，ｔ₄ は一例として、図４に示された黒点２３と同一線上の水平分解能線２０から斜線で示される４つの画素２４について代入したものであり、ｔ₁ ，ｔ₂ ，ｔ₃ ，ｔ₄ は図４に示された黒点２３と同一線上の垂直分解能線２１から斜め格子の４つの画素２５について代入する際にも用いられる。

尚、前記ｔ₁ ，ｔ₂ ，ｔ₃ ，ｔ₄ については、下記（３）式の通りに定義する。

画素補間演算パラメータは、一例として、図６に示されるように、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌの計１２種類のパターンを具備すると良い。また、撮像画素のある格子点の取り扱いの一例としては、実画素の値をそのままに画素値としても良いし、周辺画素に任意の重み付け係数を乗算した値と相関を持たせても良い。

前記Ａ〜Ｌの画素補間演算パラメータの一例を行列で示せば、下記（４）式の通りとなる。

但し、行列内のパラメータは１６進数で示しており、00〜7Fhex を正のパラメータ、FF〜80hex を負のパラメータとし、7Fhex ＝0.5dec で正規化している。

前述した図４乃至図６、及び前記（１）〜（４）式に示されるように、撮像信号（斜方配列）が、画素配列変換部１４により画素密度４倍の正方格子上の全ての画素に於いて画素値が記入され、画像信号（正方配列）として出力されるに至る。

次に、本実施形態に於ける撮像装置を、ＲＧＢ単板（Ｙ_H 処理）式の撮像装置へ応用した例について説明する。

図７はＲＧＢ単板（Ｙ_H 処理）式の撮像素子について画素配列の一部を拡大して示すものであり、図８はＲＧＢ単板（Ｙ_H 処理）式の撮像装置へ応用した一例の構成を示すブロック図である。

図８に於いて、この撮像装置３０は、図７に示された撮像素子３１と、ホワイトバランス補正部３２と、ナイキストドメイン抽出部３３と、画素配列変換部３４と、味付け係数処理部３５と、画素補間演算部３６と、輝度信号演算器３７と、輝度階調性調整部３８と、エンハンス補正部３９と、加算器４０と、クロマ信号演算器４３と、ＹＣバランス調整部４４と、より構成されている。

前記ホワイトバランス補正部３２は、ＲＧＢ各色にゲインを掛けて（但し、Ｇ色は１倍に固定としても良い）ＲＧＢ各色の信号レベルを揃えるものである。ナイキストドメイン抽出部３３は、前記ＲＧＢ各色に拘らず実画素をナイキストドメインＹ_H として抽出するためのものである。また、画素配列変換部３４は、ナイキストドメイン（斜方配列）をナイキストドメインの画像信号（正方配列）に変換するものである。味付け係数処理部３５は、前記ナイキストドメインにゲインの微調整を行うためのものである。

前記画素補間演算部３６は、前記ＲＧＢ各色に於いてナイキストドメインの画像信号（正方配列）と同一の正方格子上にそれぞれ画素補間するための演算を行う。輝度信号演算器３７は、前記画素補間演算部３６から出力されるＲＧＢ各色信号を輝度マトリクス演算して輝度信号を生成するためのものである。輝度階調性調整部３８は、前記輝度信号の階調性を調整するためのものである。エンハンス補正部３９は、輝度周波数毎に変調度の補正を実施するための補正部である。そして、加算器４０は、前記エンハンス補正部３９より出力される経路２から成る輝度信号に、前記味付け係数処理部３５から出力される経路１から成るナイキストドメイン信号を加算する。

前記クロマ信号演算器４３は、ＲＧＢ各色信号からクロマ信号を演算するためのものであり、ＹＣバランス調整部４４は輝度階調性に基づいて色の濃さを調整するためのものである。

尚、図８に示される画素配列変換部３４は、図１の画素配列変換部１４と等価である。ナイキストドメイン抽出部３３では、ＲＧＢ各色がホワイトバランス補正されており、色の区別なくナイキストドメインＹ_H として、限界解像度を生成する輝度サンプリングＹ_H として処理される。

一方で、図８に示される画素補間演算部３６では、ＲＧＢ各色についてそれぞれ画素補間され、ＲＧＢ各色をマトリクス演算して輝度信号とクロマ信号とにそれぞれ演算される。この画素補間演算部３６には、バイリニア補間や周辺１６画素を用いたバイキュービック補間等が考えられる。

このように、第１の実施形態によれば、撮像素子の画素数を増やすことなく画像の水平解像度及び垂直解像度を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図９は、本発明の第２の実施形態のＲＧＢ単板（Ｇ処理）式の撮像素子について、画素配列の一部を拡大して示すものであり、Ｇ画素を若干短くすることでＲ画素、Ｂ画素のスペースを確保している。

この撮像素子３１ａでは、Ｒ画素、Ｂ画素は、Ｇ画素よりも画素数が少ない。したがって、Ｒ画素用、Ｂ画素用のオンチップレンズまたは開口部は、Ｇ画素用よりも面積が大きい方が良い。ナイキストドメインをＧ画素のみから得るＧ処理式の撮像装置では、Ｒ画素、Ｂ画素からはナイキストドメインを抽出することはないので、Ｒ画素、Ｂ画素を画素配列変換後の格子点に置くことに拘らない。図９に示される画素配列では、Ｇ画素のみに着目すれば、図２（ｃ）と同じ斜方配列であり、それにＲ画素とＢ画素を添加した６画素を単位配列としていることを特徴としている。

図１０は、ＲＧＢ単板（Ｇ処理）式の撮像装置へ応用した一例の構成を示すブロック図である。

図１０に於いて、この撮像装置４５は、図９に示された撮像素子３１ａと、ホワイトバランス補正部３２と、Ｇ色（緑色）の実画素をナイキストドメインＧとして抽出するための緑色画素抽出部４６と、緑色画素（斜方配列）をナイキストドメインの画像信号（正方配列）に変換する画素配列変換部４７と、味付け係数処理部３５と、画素補間演算部３６と、輝度信号演算器３７と、輝度階調性調整部３８と、エンハンス補正部３９と、加算器４０と、クロマ信号演算器４３と、ＹＣバランス調整部４４と、より構成されている。

尚、図１０に示される画素配列変換部４７は、図１に示された画素配列変換部１４と等価である。緑色画素抽出部４６では、色信号としてではなくナイキストドメインＧとして、換言すれば、限界解像度を生成する輝度サンプリングＹ_H と等価に処理される。

図１０に示される画素補間演算部３６は、ＲＧＢ各色について画素補間する。経路１による格子点に対して、経路２によるＲ画素、Ｂ画素の実画素が、格子点上にないが、この画素補間演算部３６でもバイリニア補間や周辺１６画素を用いたバイキュービック補間等を施せば何ら問題はない。Ｒの実画素とＢの実画素は、全て補間画素に変換されるので、ＲＢ双方共に実画素の値は失われてしまうが、限界解像度はナイキストドメインＧから生成されるので、画像の解像度及び変調度としてはそれほど劣化しない。

図１０に示された撮像装置４５に於いても、経路２によるＲＧＢ各色をマトリクス演算して生成した輝度信号に、経路１によるナイキストドメイン信号が加算されることを特徴としている。

次に、図２（ａ）の正方配列、図２（ｂ）の六角配列、図２（ｃ）の斜方配列に、IN-MEGAチャート（水平解像度）を撮像した様子について、図１１（ａ）、（ｂ）、（ｃ）それぞれを参照して説明する。

図１１（ａ）〜（ｃ）に示される４本の黒い縦帯は、IN-MEGAチャート（水平解像度）の０％である遮光部５０である。また、黒い縦帯（遮光部５０）のないところが、白部で１００％である透過部を示している。図１２は、図１１（ａ）、（ｂ）、（ｃ）に示されるそれぞれの撮像素子１６、１７、１２にIN-MEGAチャートを撮像した後、画素配列変換部１４にて正方配列に処理された画像信号のコントラスト（％）を示した図である。

図１２に示される正方配列は、画像信号のコントラストが０％になっていることがわかる。一方で、図１２に示される六角配列及び斜方配列には、画像信号のコントラスト（水平）が残っていることがわかる。尚、図１２に示される斜方配列のコントラスト（水平）は、図８または図１０で示した味付け係数処理部にてコントラスト調整することも可能であり、六角配列と斜方配列との水平解像度、及び変調度の優劣は一概には述べられない。

次に、図２（ａ）の正方配列、図２（ｂ）の六角配列、図２（ｃ）の斜方配列に、IN-MEGAチャート（垂直解像度）を撮像した様子について、図１３（ａ）、（ｂ）、（ｃ）を参照して説明する。

図１３（ａ）〜（ｃ）に示される４本の黒い横帯がIN-MEGAチャート（垂直解像度）の０％である遮光部５１を示している。また、黒い横帯（遮光部５１）のないところが白部で１００％である透過部を示している。そして、図１４は、図１３（ａ）、（ｂ）、（ｃ）に示される、それぞれの撮像素子１６、１７、１２にIN-MEGAチャートが撮像され、画素配列変換部１４にて正方配列に処理された画像信号のコントラスト（％）を示した図である。

図１４に示される正方配列及び六角配列では、画像信号のコントラストが０％になっていることがわかる。一方、図１４に示されるように、画像信号のコントラスト（垂直）が残っているのは斜方配列だけであることがわかる。換言すれば、図１３（ａ）、（ｂ）、（ｃ）で示されるIN-MEGAチャート（垂直解像度）の解像度を有する画素配列は、図２（ｃ）に示された斜方配列だけである。

前述したように、本実施形態に於ける撮像装置は、撮像素子の画素数を増やすことなく、画像の水平解像度及び垂直解像度を向上させることができ、白黒単板式撮像装置、ＲＧＢ単板（Ｙ_H 処理）式撮像装置、ＲＧＢ単板（Ｇ処理）式撮像装置等に広く応用することができる。

このように、第２の実施形態によっても、撮像素子の画素数を増やすことなく画像の水平解像度及び垂直解像度を向上させることができる。

次に、主に第１の実施形態について、画素の形状による撮像素子の感度と、水平及び垂直解像度、または変調度とのトレードオフについて補足説明する。

図２（ｃ）では、画素の形状の一例として楕円形にしているが、図１５（ａ）に示されるように、画素の形状は角が丸められた長方形状であっても良い。図１５（ａ）に示される画素の角が丸められた長方形状については、光電変換素子の形状の一例としても良いし、光電変換素子の開口部の形状の一例としても良く、光電変換素子の上部に設置されるオンチップレンズの形状の一例としても良い。

また、図２（ｃ）で示された楕円形状の画素よりも、図１５（ａ）で示された角が丸められた長方形状の画素の方が、撮像素子の感度を向上させることができる。撮像素子の感度は、撮像素子の画素形状の面積の総和と関係があり、画素形状の面積が大きい方が画素に入光する光量が多い。撮像素子の感度が大きいことは、撮像装置の高画質化に大きく貢献する。ところが、画素形状の面積を大きくすれば、水平及び垂直解像度、または変調度がトレードオフとなり劣化する懸念がある。

ここで、図１１（ｃ）に示された楕円形状の画素と、図１５（ｂ）に示される角が丸められた長方形状の画素とについて、IN-MEGAチャート（水平解像度）を撮像した様子で比較してみれば、IN-MEGAチャート（水平解像度）の遮光部と透過部とを画素単位でより正しく判別できるのは、図１１（ｃ）に示された楕円形状の画素であることがわかる。図１５（ｂ）を参照すると、遮光部５０に位置する画素が透過部にも跨っており、透過部からの光を受光してしまう光量比が図１１（ｃ）の画素よりも劣っている。このような理由があるので、図１５（ｂ）の画素によるIN-MEGAチャート（水平解像度）のコントラストは、図１１（ｃ）の画素よりも劣化するはずである。

また、図１３（ｃ）に示された楕円形状の画素と、図１５（ｃ）に示される角が丸められた長方形状の画素とを、それぞれIN-MEGAチャート（垂直解像度）を撮像した様子で比較してみれば、前述したIN-MEGAチャート（水平解像度）の場合と同じ理由から、図１５（ｃ）に示される画素によるIN-MEGAチャート（垂直解像度）のコントラストは劣化するはずである。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 （ａ）は一般的な撮像素子であって、正方配列による画素配列の一部を拡大して示した図、（ｂ）は一般的な撮像素子であって、六角配列による画素配列の一部を拡大して示した図、（ｃ）は本発明の第１の実施形態によるプログレッシブ撮像素子の斜方配列の一部を拡大して示した図である。 図２（ｃ）に示された斜方配列と同じ画素配列であって、単位配列上に補助線が引かれて４画素から成る単位配列が４単位あることを示した図である。 本発明の第１の実施形態による撮像画素のない格子点について画素補間する手法を示す一例を示した図である。 画素補間演算式にsinc関数を用いた一例を示したグラフである。 本発明の第１の実施形態によるＡ〜Ｌの１２種類の画素補間演算パラメータを示す一例を示した図である。 本発明の第１の実施形態によるＲＧＢ単板（ＹH 処理）式撮像装置で搭載する撮像素子の斜方配列の一部を拡大して示す一例を示した図である。 本発明の第１の実施形態によるＲＧＢ単板（Ｙ_H 処理）式撮像装置の構成を示すブロック図である。 本発明の第２の実施形態によるＲＧＢ単板（Ｇ処理）式撮像装置で搭載する撮像素子の斜方配列の一部を拡大して示す一例を示した図である。 本発明の第２の実施形態によるＲＧＢ単板（Ｇ処理）式撮像装置の構成を示すブロック図である。 （ａ）は図２（ａ）の撮像素子の正方配列にIN-MEGAチャート（水平解像度）を撮像した例を示した図、（ｂ）は図２（ｂ）の撮像素子の六角配列にIN-MEGAチャート（水平解像度）を撮像した例を示した図、（ｃ）は図２（ｃ）の撮像素子の斜方配列にIN-MEGAチャート（水平解像度）を撮像した例を示した図である。 図１１（ａ）〜（ｃ）に示される正方配列、六角配列、斜方配列それぞれの撮像素子にIN-MEGAチャート（水平解像度）が撮像され、得られる画像信号のコントラスト（％）のシミュレートを示すグラフである。 （ａ）は図２（ａ）の撮像素子の正方配列にIN-MEGAチャート（垂直解像度）を撮像した例を示した図、（ｂ）は図２（ｂ）の撮像素子の六角配列にIN-MEGAチャート（垂直解像度）を撮像した例を示した図、（ｃ）は図２（ｃ）の撮像素子の斜方配列にIN-MEGAチャート（垂直解像度）を撮像した例を示した図である。 図１３（ａ）〜（ｃ）に示される正方配列、六角配列、斜方配列それぞれの撮像素子にIN-MEGAチャート（垂直解像度）が撮像され、得られる画像信号のコントラスト（％）のシミュレートを示すグラフである。 （ａ）は本発明の第１の実施形態による撮像素子の角が丸められた長方形状の画素の斜方配列の一部を拡大して示す一例を示した図、（ｂ）は本発明の第１の実施形態による撮像素子の角が丸められた長方形状の画素の斜方配列にIN-MEGAチャート（水平解像度）を撮像した例を示した図、（ｃ）は本発明の第１の実施形態による撮像素子の角が丸められた長方形状の画素の斜方配列にIN-MEGAチャート（垂直解像度）を撮像した例を示した図である。

符号の説明

１０、３０、４５…撮像装置、１２…プログレッシブ撮像素子（撮像素子）、１２ａ、１６ａ、１７ａ、２４、２５…画素、１４、３４、４７…画素配列変換部、１６、１７、３１…撮像素子、２０…水平分解能線、２１…垂直分解能線、２３…黒点、３２…ホワイトバランス補正部、３３…ナイキストドメイン抽出部、３５…味付け係数処理部、３６…画素補間演算部、３７…輝度信号演算器、３８…輝度階調性調整部、３９…エンハンス補正部、４０…加算器、４３…クロマ信号演算器、４４…ＹＣバランス調整部、４６…緑色画素抽出部。

Claims (18)

1. 光学像を撮像信号に変換し撮像画素を得る複数の光電変換素子から成る撮像素子と、
   前記撮像信号を正方配列の画像信号に変換する画素配列変換手段と、
   を具備し、
   前記撮像信号はナイキストドメインを含み、
   前記ナイキストドメインは斜方配列であり、
   前記ナイキストドメインは水平座標と垂直座標とで互いに独立した位相を有することを特徴とする撮像装置。
2. 前記ナイキストドメインの単位配列の配列は、水平方向及び垂直方向に正方配列されるものであることを特徴とする請求項１に記載の撮像装置。
3. 前記画素配列変換手段は、水平方向の前記各撮像画素を通る互いに平行な直線と、垂直方向の前記各撮像画素を通る互いに平行な直線とで構成される格子に於いて前記撮像画素のない格子点の撮像データを周辺の前記撮像画素から画素補間によって求めるものであり、
   前記周辺の撮像画素は、前記撮像画素のない格子点と同一線上の水平分解能線から４つの前記撮像画素と、前記撮像画素のない格子点と同一線上の垂直分解能線から４つの前記撮像画素とから成る８つの前記撮像画素で構成されることを特徴とする請求項１に記載の撮像装置。
4. 前記撮像信号からナイキストドメインを抽出して画素配列変換をする第１の経路の信号と、
   前記撮像信号から輝度信号を生成する第２の経路の信号と、
   前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、
   を更に具備することを特徴とする請求項１に記載の撮像装置。
5. 光学像を撮像信号に変換し撮像画素を得る複数の光電変換素子から成るもので、前記複数の光電変換素子から生成される前記撮像信号が前記光電変換素子毎に独立に読み出し可能であり、前記撮像信号はナイキストドメインを単位配列の中に４つの前記撮像画素以上含み、前記ナイキストドメインを斜方配列にすることで、前記ナイキストドメインは水平座標と垂直座標との双方共に独立した位相を有する撮像素子と、
   前記斜方配列から成る撮像信号または画像信号を正方配列の画像信号に変換する画素配列変換手段と、
   を有することを特徴とする撮像装置。
6. 前記単位配列の配列は、水平方向及び垂直方向に一定周期にて正方配列されることを特徴とする請求項５に記載の撮像装置。
7. 前記画素配列変換手段は、水平方向の前記各撮像画素を通る互いに平行な直線と、垂直方向の前記各撮像画素を通る互いに平行な直線とで構成される格子に於いて前記撮像画素のない正方格子点の撮像データを周辺の前記撮像画素から画素補間によって求めるものであり、
   前記周辺の撮像画素は、前記撮像画素のない格子点と同一線上の水平分解能線から４つの前記撮像画素と、前記撮像画素のない格子点と同一線上の垂直分解能線から４つの前記撮像画素と、から成る８つの前記撮像画素であることを特徴とする請求項５に記載の撮像装置。
8. 前記ナイキストドメインは３色以上の画素で構成されており、
   前記撮像信号からナイキストドメインを抽出するためのナイキストドメイン抽出手段と、前記ナイキストドメインのゲイン調整をするための味付け係数処理手段と、から成る第１の経路の信号と、
   色毎に画素補間した色毎の画像信号を生成する画素補間演算手段と、前記色毎の画像信号から輝度信号を生成するための輝度信号演算器と、前記輝度信号の階調性を調整するための輝度階調性調整手段と、から成る第２の経路の信号と、
   前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、
   を更に具備することを特徴とする請求項５若しくは請求項６に記載の撮像装置。
9. 前記第１の経路の信号は、前記ナイキストドメイン抽出手段の前にホワイトバランス補正手段を有することを特徴とする請求項８に記載の撮像装置。
10. 前記第２の経路の信号は、輝度周波数別にゲイン補正することができるエンハンス補正手段を更に具備することを特徴とする請求項８に記載の撮像装置。
11. 前記色毎の画像信号からクロマ信号を生成するためのクロマ信号演算器と、
    前記クロマ信号の色の濃さを調整するＹＣバランス調整手段と、
    を更に具備し、
    前記ＹＣバランス調整手段は、輝度階調性調整手段による調整値に基づいて輝度信号レベルとクロマ信号レベルとの比率が調整されることを特徴とする請求項８に記載の撮像装置。
12. 前記ナイキストドメインは緑色の画素で構成されており、
    前記撮像信号から緑色の画素を抽出するための緑色画素抽出手段と、前記緑色画素のゲイン調整をするための味付け係数処理手段と、から成る第１の経路の信号と、
    色毎に画素補間した色毎の画像信号を生成する画素補間演算手段と、前記色毎の画像信号から輝度信号を生成するための輝度信号演算器と、前記輝度信号の階調性を調整するための輝度階調性調整手段と、から成る第２の経路の信号と、
    前記第１の経路の信号と前記第２の経路の信号とを加算処理する加算手段と、
    を更に具備することを特徴とする請求項５若しくは請求項６に記載の撮像装置。
13. 前記単位配列は、４画素の緑色画素と、１画素の赤色画素と、１画素の青色画素と、から成る１単位６画素で構成されることを特徴とする請求項１２に記載の撮像装置。
14. 前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は緑色画素用と赤色画素用または青色画素用との少なくとも２種類以上の形状を有し、前記緑色画素用のオンチップレンズは前記赤色画素用または青色画素用のオンチップレンズよりも面積が小さいことを特徴とする請求項１３に記載の撮像装置。
15. 前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は楕円形または長方円形であり、前記オンチップレンズの中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする請求項５若しくは請求項６に記載の撮像装置。
16. 前記光電変換素子の開口部上面形状は楕円形状または長方円形状であり、前記光電変換素子の開口部の中心点は、前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする請求項５若しくは請求項６に記載の撮像装置。
17. 前記光電変換素子の上部にはオンチップレンズが形成されており、前記オンチップレンズの上面形状は角が丸められた長方形状であり、前記オンチップレンズの中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする請求項５若しくは請求項６に記載の撮像装置。
18. 前記光電変換素子の開口部上面形状は角が丸められた長方形状であり、前記光電変換素子の開口部の中心点は前記ナイキストドメインの各画素の中心点と略一致していることを特徴とする請求項５若しくは請求項６に記載の撮像装置。

Images