JP2009246465A - 撮像装置、撮像モジュール、及び撮像システム - Google Patents

Abstract

【課題】画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図る。
【解決手段】入射した光を光電変換した画素信号を出力する複数の画素２１と、各画素２１に入射する光を濾光するカラーフィルタと、互いに隣り合った行の画素２１からの画素信号を画素混合して出力する画素混合部（22,23,24）とを設ける。そして、カラーフィルタを、４行×４列の１６画素単位の単位配列７１の繰り返しパターンで構成し、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しくなるようにする。
【選択図】図７

Description

本発明は、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール及び撮像システムに関するものである。

多数個の画素ずらしされた画素からなる撮像装置において、撮像装置からの画素信号読み出しの速度の向上、或いは感度向上の手段として、画素を混合して読み出す技術がある（例えば特許文献１を参照）。

この特許文献１には、緑色画素とマゼンタ色画素とを交互に繰り返し配置した画素行と、シアン色画素と黄色画素とを交互に繰り返し配置した画素行とを、交互に繰り返し形成し、緑色画素とシアン色画素または黄色画素とを対象に画素加算を行うと共に、マゼンタ色画素と黄色画素またはシアン色画素とを対象に画素加算を行う方法が開示されている。
特開２００３−９１６６号公報

ところで、上述の特許文献１のような画素混合及びカラーフィルタ配列では、画素混合をして得られる画素の水平軸上のナイキスト周波数において偽色が発生する。そのため、画素ずらし配列された撮像装置のメリットである、近傍の上下ラインの画素データを用いて水平方向の解像度を向上する処理を行っても、画質的に十分な品位を得ることができない。

図２６は、特許文献１に記載の画素混合、及びカラーフィルタ配列における、被写体の周波数と偽色の発生するポイントの概略を示した図である。

ポイント２６１は、全画素を独立で読み出した場合の水平軸上の１／４の周波数のポイントを示しており、画素を混合して読み出した場合のナイキスト周波数に相当する。

特許文献１に記載の撮像素子においては、画素を混合して読み出した場合に、ラインごとに水平オフセットサンプリングの関係をもっているので、水平軸上の解像周波数はポイント２６１のおよそ２倍を有することになる。そのため、水平軸上の解像度を最大限に確保した場合に、その１／２の周波数のポイントで偽色が発生し、画質的に品位が低いものになってしまう。

一方で、ポイント２６１をヌル点にもつ光学ＬＰＦ等を組み込む対策も考えられるが、水平軸上の解像度の劣化、及び、全画素を独立に読み出した際の解像度の劣化等に加え、コストの上昇が発生し、対策案としては現実的ではない。

また、画素上に配置されたカラーフィルタが補色にしか対応しておらず、色信号のＳ／Ｎで有利な原色に対応することができていない。

本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置において、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることである。

上記の課題を解決するため、本発明の一態様は、
行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、各画素に入射する光を濾光するカラーフィルタと、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
前記カラーフィルタは、所定の単位配列の繰り返しパターンで構成され、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しいことを特徴とする。

これにより、画素を混合した後の色成分が、偽色をキャンセルする位相関係となる。

本発明によれば、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置において、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができる。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。

《発明の実施形態１》
図１は、本実施形態における撮像システムの機能構成を示すブロック図である。この撮像システムは、デジタルビデオカメラ１として構成されており、撮像モジュール２、ＤＳＰ５、ＣＰＵ６、及びＳＤＲＡＭ８を備えている。

（撮像モジュール２の構成）
撮像モジュール２は、レンズ３、イメージセンサ４（撮像装置）を備えている。また、図示はしていないが、この撮像モジュール２は、イメージセンサ４を駆動するのに必要な制御信号を生成するＴＧ（タイミングジェネレータ）や、イメージセンサ４から出力されたアナログ信号の撮像信号をデジタル信号にＡ／Ｄ変換するＡ／Ｄ変換部も備えている。このイメージセンサ４には、画素信号を混合しない読出し動作と、画素信号を混合する混合読出し動作が可能である。なお、イメージセンサ４の構成については後に詳述する。

（ＤＳＰ５及びＳＤＲＡＭ８）
ＤＳＰ５は、メモリコントローラ７、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２を備え、イメージセンサ４からの出力を処理する。

メモリコントローラ７は、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２においてそれぞれの機能ブロックにおける処理に必要な画素数分画素信号が揃うまで、ＳＤＲＡＭ８に画素信号を書き込むことで保持する。そして、適宜必要に応じてＳＤＲＡＭ８から画素信号を読み出し、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２の機能ブロックに出力する。また、メモリコントローラ７、及びＳＤＲＡＭ８は画素信号だけでなく、ＹＣ処理されることで得られる輝度信号や色信号、圧縮処理することで得られる符号データ等も、書き込み及び読み出しを行う。

次に、レベル検出部９について説明する。レベル検出部９は、イメージセンサ４から出力される画素信号の画面全体、或いは画面の一部分の平均値等から、画素信号のレベルを算出し、その算出結果をＣＰＵ６に通知する。

次に、ＹＣ処理部１０について説明する。ＹＣ処理部１０は、イメージセンサ４から出力される画素信号に対して、同時化、フィルタリング処理、周波数補正等を行うことで、輝度信号と色差信号を生成する。

次に、圧縮処理部１１について説明する。圧縮処理部１１は、イメージセンサ４から出力される画素信号に対して、ＲＡＷデータのレベルで圧縮を行う。さらに、ＹＣ処理部１０によって生成された輝度信号と色差信号に対して、静止画であればＪＰＥＧ、動画であればＨ．２６４のフォーマットに従い、静止画、及び動画の圧縮を行って符号を生成する。

次に、デジタル信号処理部１２について説明する。デジタル信号処理部１２は、外部に接続されている記録媒体であるＳＤカード１３に対して、データの読み込みやデータの書き出しを行う。さらに、表示媒体であるＬＣＤ１４に対してプレビュー等の画像を表示する。さらに、画角サイズの調整のためのズームによる拡大縮小処理等を行う。

（ＣＰＵ６の構成）
次に、ＣＰＵ６について説明する。

ＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。なお、外部入力１５は、レリーズボタンやデジタルビデオカメラ１の動作を設定するための外部からの入力である。

（イメージセンサ４の構成）
次に、イメージセンサ４について説明する。図２はイメージセンサ４の構成を示すブロック図である。同図に示すように、イメージセンサ４は、複数の画素２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、及び出力回路２４を備えている。また、図示はしていないが、画素２１には、カラーフィルタが配置されている。

イメージセンサ４は、２ｎ＋１ライン目の画素２１を２ｎライン目の画素２１に対して１／２画素分重心をずらして配置されており、画素２１の列毎に垂直転送ＣＣＤ２２、垂直転送ＣＣＤ２２の端部に水平転送ＣＣＤ２３、水平転送ＣＣＤ２３の端部に出力回路２４がそれぞれ配置された構成となっている。

垂直転送ＣＣＤ２２、及び水平転送ＣＣＤ２３には、それぞれＶ１〜Ｖ４、Ｈ１〜Ｈ４の電極（ゲート）が備わっていて、Ｖ１〜Ｖ４、Ｈ１〜Ｈ４には、それぞれ同じ制御信号が入力される。

画素２１は、画素２１に入射した光を光電変換することで、電荷信号に変換し画素信号を得る。画素２１に蓄積された画素信号は、撮像モジュール２内のＴＧから入力された制御信号により、画素２１から垂直転送ＣＣＤ２２へ転送される。

垂直転送ＣＣＤ２２に転送された画素信号は、ＴＧから入力された制御信号により、水平転送ＣＣＤ２３に向けて順次転送される。そして、水平転送ＣＣＤ２３に転送された画素信号は、ＴＧから入力された制御信号により、出力回路２４へ転送される。

その際、画素信号を混合しないで読み出す場合には、水平転送ＣＣＤ２３に転送された画素信号は、水平順転送により出力回路２４へ転送される。また、画素信号を混合して読み出す場合には、水平転送ＣＣＤ２３に転送された画素信号は、出力回路２４へ転送する水平順転送と、出力回路２４の逆方向へ転送する水平逆転送を組み合わせた転送により出力回路２４へ転送される。

出力回路２４は、水平転送ＣＣＤ２３によって転送されてきた電荷である画素信号をアナログの電圧信号に変換して出力する。この出力回路２４は、上記の垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３とともに、画素混合部を構成している。

（イメージセンサ４のカラーフィルタ）
既述の通り、イメージセンサ４の画素２１には、カラーフィルタが配置されている。図７は、本実施形態のイメージセンサ４の画素２１に配置されているカラーフィルタを説明する図である。

カラーフィルタは、単位配列７１の繰り返しパターンで構成されている。詳しくは、単位配列は、第１から第８の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、第１列目は、第１の色、第５の色、第２の色、第６の色の順でフィルタが配置され、第２列目は、第３の色、第７の色、第４の色、第８の色の順でフィルタが配置され、第３列目は、第２の色、第６の色、第１の色、第５の色の順でフィルタが配置され、第４列目は、第４の色、第８の色、第３の色、第７の色の順でフィルタが配置されている。そして、第１及び第５の色がマゼンダ、第２及び第６の色がグリーン、第３の色及び第７がイエロー、第４の色及び第８がシアンである。

このカラーフィルタでは、画素信号を混合しないで読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光されて画素２１において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号として読み出されることになる。

一方で、画素信号を混合して読み出す場合では、被写体からの入射光がそれぞれのカラーフィルタによって濾光されて画素２１において光電変換された後、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）の画素信号となり、出力回路２４に画素信号が到達する前に、図６に示すパターンでＭｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅのように混合され、その混合された画素信号が読み出されることになる。

《デジタルビデオカメラ１（撮像システム）の動作》
（全体の動作）
デジタルビデオカメラ１により撮影を行うと、被写体はレンズ３を通してイメージセンサ４に入光し、イメージセンサ４上の画素において光電変換され、撮像信号としてＤＳＰ５へ出力される。この撮像信号は、メモリコントローラ７を介して、ＳＤＲＡＭ８に対して読み出しと書き込みが行われ、レベル検出部９、ＹＣ処理部１０、圧縮処理部１１、デジタル信号処理部１２、記録媒体であるＳＤカード１３、表示媒体であるＬＣＤ１４に対して、信号の入出力が実現される。

具体的には、レベル検出部９は、撮像信号のレベルを検出し、撮像信号のレベルをＣＰＵ６に通知する。ＹＣ処理部１０は、撮像信号に対してフィルタリングや同時化等を行い、撮像信号をＹＣ信号に変換する。また、圧縮処理部１１は、撮像信号、又はＹＣ信号を、例えば静止画ならばＪＰＥＧ、動画ならばＨ．２６４等のフォーマットに従いデータ量の圧縮を行う。

デジタル信号処理部１２は、ズーム処理、傷補正、照明光色温度検出等のビデオカメラとしての動作に必要な信号処理を行う。

一方で、ＣＰＵ６は、デジタルビデオカメラ１がユーザの期待する動作を実現するのに必要な制御信号を、イメージセンサ４、ＤＳＰ５の各機能ブロックに対して出力する。

（イメージセンサの駆動）
イメージセンサ４が映像信号を上記のように出力する際の該イメージセンサ４の駆動方法について説明する。既述の通り、このイメージセンサ４には、画素信号を混合しない読出し動作と、画素信号を混合して読み出す動作の２種類の動作がある。

−画素信号を混合しない読出し動作（第一の読出し動作）−
まず、画素信号を混合しないで読み出す場合について説明する。

図３は、垂直転送ＣＣＤ２２に備わっているゲートＶ１〜Ｖ４、及び水平転送ＣＣＤ２３に備わっているゲートＨ１〜Ｈ４にそれぞれ印加されるパルスである。図３に示すように、期間３１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、ゲートＶ１に対して高電圧の読み出しパルスを印加する。この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送される。

その後、期間３２において、図３に示す制御パルスをＶ１〜Ｖ４に印加することで、画素２１から垂直転送ＣＣＤ２２に読み出された画素信号が水平転送ＣＣＤ２３に転送される。

さらに、その後、期間３３において、水平転送ＣＣＤ２３のＨ１〜Ｈ４へ、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。

なお、図３、図４では図を簡便化するために全体の期間の一部しか示していないが、イメージセンサ４の画素数に応じて、各期間、各印加パルス数は変動する。

−混合読出し動作（第二の読出し動作）−
次に、画素信号を混合して読み出す場合について説明する。

図５は、垂直転送ＣＣＤ２２に備わっているゲートＶ１〜Ｖ４、及び水平転送ＣＣＤ２３に備わっているゲートＨ１〜Ｈ４に印加されるパルスである。

期間５１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、Ｖ１に対して高電圧の読み出しパルスを印加する。この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送され、その後に、垂直転送ＣＣＤ２２のＶ１〜Ｖ４に期間５１に示される制御パルスを印加することで、０Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。

一方で、４ｎ＋０ライン目と４ｎ＋２ライン目の画素信号は、４ｎ−２ライン目と４ｎ＋０ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。さらに、１Ｌｉｎｅ目の画素信号は、水平転送ＣＣＤ２３に接するゲートＶ１、Ｖ２まで転送され、４ｎ＋１ライン目と４ｎ＋３ライン目の画素信号は、４ｎ−３ライン目と４ｎ＋１ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。

その後、期間５２において、期間５２に示される制御パルスをＨ１〜Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に接する水平転送ＣＣＤ２３まで出力回路２４と逆の方向に転送される。

その後、期間５３において、期間５３に示される制御パルスをＶ１〜Ｖ４に印加することで、１Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送される。そして、０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合される（第一の画素混合動作）。画素の混合の形状を示したものが図６における画素混合形状６１に相当する。

一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３〜Ｖ４に転送される。その後、期間５４において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。その後、期間５５において、期間５５に示される制御パルスをＶ１〜Ｖ４に印加することで、２Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。

一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ１〜Ｖ２に転送される。その後、期間５６において、期間５５に示される制御パルスをＨ１〜Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に接する水平転送ＣＣＤ２３まで出力回路２４の方向に転送される。

その後、期間５３において、期間５３に示される制御パルスをＶ１〜Ｖ４に印加することで、３Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送され、２Ｌｉｎｅ目の４ｉ＋０列目の画素と３Ｌｉｎｅ目の４ｉ−１列目の画素、２Ｌｉｎｅ目の４ｉ＋２列目の画素と３Ｌｉｎｅ目の４ｉ＋１列目の画素が混合される（第二の画素混合動作）。画素の混合の形状を示したものが図６における画素混合形状６２に相当する。

一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３〜Ｖ４に転送される。その後、期間５４において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送し、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。

以降、同様に図５に示す制御パルスを印加することで、所定の画素の混合が行われ、イメージセンサ４からは画素を混合した信号が画素信号として出力される。

以上のように本実施形態によれば、画素混合後の出力信号により得られる画像において列方向に並んだ位置に対応した出力信号が、偽色をキャンセルする位相関係となる。図２７は、本実施形態の画素混合、及びカラーフィルタ配列における、被写体の周波数と偽色の発生するポイントの概略を示した図（空間周波数平面）である。図２７において、ポイント２６１は、全画素を独立で読み出した場合の水平軸上の１／４の周波数のポイントを示しており、画素を混合して読み出した場合のナイキスト周波数に相当する。ポイント２６１では、画素を混合した後の色成分が偽色をキャンセルする位相関係となるため、原理的に偽色が発生しない。そのため、水平軸上の解像度を限界まで伸ばすことが可能になる。すなわち、本実施形態によれば、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができる。なお、ポイント２７１では偽色が発生することになるが、ポイント２７１をヌル点とする光学ＬＰＦを斜め方向に組み込むことで、限界の解像度は減少するが、偽色を抑圧しつつ全体的な解像度のバランスをとることも可能になる。

《実施形態１の変形例１》
なお、単位配列７１は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色としてもよい。

また、上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、原色のカラーフィルタを最小する場合には、図８のような単位配列８１をもつカラーフィルタ配列としてもよい。単位配列８１に示されているＲは赤で、Ｇは緑で、Ｂは青である。

このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。

《実施形態１の変形例２》
また、上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図９のような単位配列９１をもつカラーフィルタ配列としてもよい。

このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。

《実施形態１の変形例３》
上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１０のような単位配列１０１をもつカラーフィルタ配列としてもよい。

このようにすれば、画素を混合して読み出す場合は、Ｍｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅとして画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）として画素信号が出力される。

《実施形態１の変形例４》
上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１１のような単位配列１１１をもつカラーフィルタ配列としてもよい。

このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。

《実施形態１の変形例５》
上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図１２のような単位配列１２１をもつカラーフィルタ配列としてもよい。詳しくは、この単位配列１２１は、第１から第６の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、第１列目は、第１の色、第１の色、第３の色、第４の色の順でフィルタが配置され、第２列目は、第３の色、第５の色、第１の色、第６の色の順でフィルタが配置され、第３列目は、第２の色、第４の色、第４の色、第１の色の順でフィルタが配置され、第４列目は、第４の色、第６の色、第２の色、第５の色の順でフィルタが配置されている。そして、この例では、第１の色がマゼンダ、第２及び第６の色がグリーン、第３及び第５の色がイエロー、第４の色がシアンである。

このようにすれば、画素を混合して読み出す場合は、Ｍｇ＋Ｙｅ、Ｇｒ＋Ｃｙ、Ｍｇ＋Ｃｙ、Ｇｒ＋Ｙｅとして画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｍｇ（マゼンダ）、Ｃｙ（シアン）、Ｙｅ（イエロー）、Ｇｒ（グリーン）として画素信号が出力される。

また、単位配列１２１では、原色のカラーフィルタの採用も可能である。この場合には、第１の色を赤色、第２、第３、第５、第６の色を緑色、第４の色を青色とする。

《実施形態１の変形例６》
上記においては、イメージセンサ４上の画素２１に配置されているカラーフィルタを、図７のようにしたが、図２８のような単位配列２８１をもつカラーフィルタ配列としてもよい。

このようにすれば、画素を混合して読み出す場合は、Ｒ＋Ｂ（マゼンダ）、Ｒ＋Ｇ（イエロー）、Ｇ＋Ｇ（グリーン）、Ｂ＋Ｇ（シアン）として画素信号が出力される。また、画素を混合しないで読み出す場合には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）として画素信号が出力される。

《実施形態１の変形例７》
上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１３のようにしてもよい。

図１３のような制御パルスを印加することで図１４に示すように、画素の混合の形状と生成アドレスが画素混合形状１４１と１４２になるような形態であってもよい。

《実施形態１の変形例８》
上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１５のように０ライン目を読み捨てて上述の画素を混合する動作を行う形態としてもよい。

また、図１５のような制御パルスを印加することで図１６に示すように、画素の混合の形状と生成アドレスが画素混合形状１６１と１６２になるような形態であってもよい。

《実施形態１の変形例９》
上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図１７のように０ライン目を読み捨てて上述の画素を混合する動作を行う形態としてもよい。

図１７のような制御パルスを印加することで図１８に示すように、画素の混合の形状と生成アドレスが画素混合形状１８１と１８２になるような形態であってもよい。

《実施形態１の変形例１０》
上記においては、画素の混合する形状の変化については特に限定をしていないが、所定の垂直帰線期間毎に、実施形態１、或いはその変形例７〜９で示した画素を混合する形状を、組み合わせて駆動する形態（すなわち、インタレース方式により画素信号を読み出す形態）であってもよい。このようにすれば、複数枚の画像を利用して画像を生成する際に、単一のフレーム画像では存在しないアドレスの画素を読み出すことが可能になるので、より高精細な画像を生成することが可能になる。

《実施形態１の変形例１１》
上記においては、画素を混合してイメージセンサ４から読み出す際に、１水平帰線期間で２ｎライン目の画素と２ｎ＋１ライン目の画素を混合した画素信号を読み出す形態としたが、図１９に示すような制御パルスを印加し、１水平帰線期間に、２ｎライン目の画素と２ｎ＋１ライン目の画素を混合した画素信号と、２ｎ＋２ライン目の画素と２ｎ＋３ライン目の画素を混合した画素信号を読み出す形態であってもよい。

《実施形態１の変形例１２》
上記においては、イメージセンサ４上の画素信号を混合して読み出す際に印加する制御パルスを図５のようにしたが、図２０のようにしてもよい。

図２０のような制御パルスを印加することで図２１に示すように、画素の混合の形状を示したものが画素混合形状２１１と２１２と２１３に変更することが可能になる。特に、画素混合形状２１１と２１２は、画素信号を混合したものをさらに混合し、４画素の混合を行っている。

図示はしていないが、画素信号を水平転送ＣＣＤ２３で混合する際に、水平転送ＣＣＤ２３を出力回路２４方向に転送するか、出力回路２４と逆の方向に転送するかを入れ替えることで画素混合の形状を左右反転する形態であってもよい。

さらに、図示しているように、画素信号を混合する画素数を、一垂直帰線期間内に変動させてもよいし、固定していてもよい。

さらに、水平転送ＣＣＤ２３のゲート数を増加させることでさらに離れたラインの画素信号同士を混合する形態であってもよい。

さらに、画素信号を読み出すまでに水平転送ＣＣＤ２３で画素信号を混合することで、画素混合を実現する形態であってもよい。

《発明の実施形態２》
本発明の実施形態２における撮像システムについて説明する。本発明の実施形態２における撮像システムは、実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。

本実施形態においては、ＣＰＵ６がイメージセンサ４における画素信号の混合画素数を制御するという点で異なっている。具体的にＣＰＵ６について説明する。

ＣＰＵ６は、撮像モジュール２やＤＳＰ５に配置されている各機能ブロックに対して、例えば、画素信号を混合して読み出すか画素信号を混合せずに読み出すかの切り替えや、ＹＣ処理部１０における画像処理のパラメータ等を設定する。

本実施形態においては、レベル検出部９からの検出結果に応じて、ＣＰＵ６は撮像モジュール２のＴＧ（タイミングジェネレータ）（不図示）に対して、混合する画素信号の数を通知する。これにより、ＴＧは、ＣＰＵ６から通知された画素信号の混合数に基づいて、イメージセンサ４を駆動するための制御パルスを生成する。

図２２は、本実施形態の撮像システムにおける、レベル検出部９の検知結果と画素信号の混合数の関係を示したものである。横軸は、レベル検出部９の検知結果であり、横軸の右側になるにつれて、イメージセンサ４から出力された撮像信号のレベルが大きい、すなわち、被写体の明るさが明るいことを示している。

ＣＰＵ６は、図２２に示すように、被写体の明るさを複数の閾値で場合分けを行う。具体的には、第１の閾値よりレベル検出部９の検知結果が小さい場合は、６画素分の画素信号の混合を行い、レベル検出部９の検知結果が第１の閾値より大きく第２の閾値より小さい場合は、４画素分の画素信号の混合を行い、レベル検出部９の検知結果が第２の閾値より大きく第３の閾値より小さい場合は、２画素分の画素信号の混合を行い、第３の閾値よりレベル検出部９の検知結果が大きい場合は、画素の混合を行わずに画素信号を読み出す。このようにすれば、被写体の明るさに応じて、画素の混合数を増加させることが可能になり、画素信号の読み出し速度、或いは感度の大幅な向上を行うことが可能になる。

《実施形態２の変形例１》
上記においては、混合する画素信号の数を６、４、２、１画素としたが、その他の組み合わせであってもよい。

さらに、混合する画素信号の数の組み合わせを４通りではなく、２通り以上とした形態であってもよい。

《実施形態２の変形例２》
上記においては、ＣＰＵ６が混合する画素信号の数をレベル検出部９の結果にのみ基づいて決定していたが、外部入力１５から直接指定された値に応じて決定される方式であっても良い。また、外部入力１５から指定された値とレベル検出部９の検出結果を組み合わせても良いし、外部入力１５から上記の閾値を設定する形態であってもよい。

《発明の実施形態３》
本発明の実施形態３における撮像システムについて説明する。本発明の実施形態３における撮像システムは、実施形態１の一部の構成を変更したものであり、以下、当該相違点に着目して説明する。本実施形態においては、イメージセンサ４の水平転送ＣＣＤ２３の構造において異なっている。

（１）イメージセンサの構成
まず、撮像モジュール２に配置されているイメージセンサ４の構成について説明する。

イメージセンサ４は、２ｎ＋１ライン目の画素２１を２ｎライン目の画素２１に対して１／２画素分重心をずらして配置されており、画素２１の列毎に垂直転送ＣＣＤ２２、垂直転送ＣＣＤ２２の端部に水平転送ＣＣＤ２３、水平転送ＣＣＤ２３の端部に出力回路２４が配置された構成となっている。

垂直転送ＣＣＤ２２、及び水平転送ＣＣＤ２３には、それぞれＶ１〜Ｖ４、Ｈ１〜Ｈ４の電極が備わっている。Ｖ１〜Ｖ４、Ｈ１〜Ｈ４には、それぞれ同じ制御信号が入力される。

図２３は、本実施形態におけるイメージセンサ４の構造であって、水平転送ＣＣＤ２３のゲート構成が、画素列毎にＨ１〜Ｈ４の組み合わせが二つ連続した構造となっている。

（２）イメージセンサの駆動
次に、イメージセンサ４の駆動方法について説明する。

画素信号を混合しないで画素信号を読み出す場合は概ね同一であり、画素信号を混合して画素信号を読み出す場合の駆動方法が異なっている。

図２４は、垂直転送ＣＣＤ２２に備わっているＶ１〜Ｖ４、及び水平転送ＣＣＤ２３に備わっているＨ１〜Ｈ４に印加されるパルスである。期間２４１において、画素２１に蓄積されている画素信号を垂直転送ＣＣＤ２２に転送するために、Ｖ１に対して高電圧の読み出しパルスを印加する。

この読み出しパルスにより、画素２１に蓄積されている画素信号が垂直転送ＣＣＤ２２のゲートＶ１，Ｖ２に転送される。その後に、垂直転送ＣＣＤ２２のＶ１〜Ｖ４に期間５１に示される制御パルスを印加することで、０Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３に転送される。

一方で、４ｎ＋０ライン目と４ｎ＋２ライン目の画素信号は、４ｎ−２ライン目と４ｎ＋０ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。さらに、１Ｌｉｎｅ目の画素信号は水平転送ＣＣＤ２３に接するゲートＶ１、Ｖ２まで転送され、４ｎ＋１ライン目と４ｎ＋３ライン目の画素信号は、４ｎ−３ライン目と４ｎ＋１ライン目の画素２１に隣接するゲートＶ１，Ｖ２まで転送される。

その後、期間２４２において、期間２４２に示される制御パルスをＨ１〜Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び４ｉ＋３列目の中間位置に存在する水平転送ＣＣＤ２３のＨ１、Ｈ２まで出力回路２４と逆の方向に転送される。

その後、期間２４２において、期間２４２に示される制御パルスをＨ１〜Ｈ４に印加することで、４ｉ＋０列目、及び、４ｉ＋２列目に接する水平転送ＣＣＤ２３に転送されている画素信号が、隣接する列である４ｉ＋１列目、及び、４ｉ＋３列目に隣接する水平転送ＣＣＤ２３まで出力回路２４と逆の方向に転送される。

その後、期間２４３において、期間２４３に示される制御パルスをＶ１〜Ｖ４に印加することで、１Ｌｉｎｅ目の画素信号が水平転送ＣＣＤ２３へ転送され、０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合される。画素の混合の形状を示したものが画素混合形状２５１に相当する。

一方で、垂直転送ＣＣＤ２２に転送されている画素信号は、水平転送ＣＣＤ２３方向に隣接しているＶ３〜Ｖ４に転送される。

その後、期間２４４において、期間２４４に示される制御パルスをＨ１〜Ｈ４に印加することで、４ｉ＋１列目、及び４ｉ＋３列目に接する水平転送ＣＣＤ２３に転送されている０Ｌｉｎｅ目の４ｉ＋０列目の画素と１Ｌｉｎｅ目の４ｉ＋１列目の画素、０Ｌｉｎｅ目の４ｉ＋２列目の画素と１Ｌｉｎｅ目の４ｉ＋３列目の画素が混合された画素信号が、隣接する列である４ｉ＋１列目、及び４ｉ＋３列目の中間位置に存在する水平転送ＣＣＤ２３のＨ１、Ｈ２まで出力回路２４の方向に転送される。

その後に、垂直転送ＣＣＤ２２のＶ１〜Ｖ４に期間２４５，２４６，２４７に示される制御パルスを印加することで、２、３、４ライン目の画素信号が水平転送ＣＣＤ２３まで転送される。

その後、期間２４８において、図４に示す制御パルスを印加することで、垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３に転送された画素信号を出力回路２４へ転送する。これにより、出力回路２４は転送された画素信号をアナログの電圧信号に変換してイメージセンサ４から出力する。

以下同様に図２４に示す制御パルスを印加することで、図２５に示す画素信号の混合形状を実現することができる。

なお、上記において、読み出し画素信号として無効な画素を、水平転送ＣＣＤ２３において各列に対応した場所で蓄積を行ったが、読み出し画素信号として無効な画素のみを特定の水平転送ＣＣＤ２３に局所的に蓄積するように制御パルスを印加しても良い。

《実施形態３の変形例１》
上記においては、水平転送ＣＣＤ２３のゲートをＨ１〜Ｈ４として構成したが、Ｈ１〜Ｈ８のような組み合わせにして、本発明の実施形態１や実施形態２で示した画素信号の混合を行う際には、それぞれＨ１とＨ２、Ｈ３とＨ４、Ｈ５とＨ５、Ｈ７とＨ８が同じポテンシャルになる制御パルスを印加し、実施形態３で示した画素信号の混合を行う際と異なる転送方法と切り替える形態であってもよい。

《実施形態３の変形例２》
上記においては、水平転送ＣＣＤ２３のゲートが、画素列毎にＨ１〜Ｈ４の組み合わせが２つ連続した構成としたが、２つ以上連続する構成であってもよい。

《実施形態３の変形例３》
上記において、画素信号を混合する画素数に応じて、画素２１を構成するフォトダイオードの飽和を調整するように、ｓｕｂ電圧（基板電圧）を、混合する画素数に応じて変調しても良い。

《実施形態３の変形例４》
上記において、無効ラインの画素として読み捨てるための画素信号を水平転送ＣＣＤ２３で混合し出力していたが、垂直転送ＣＣＤ２２の読み出しゲートであるＶ１を幾つかにグループ分けをして、画素２１から読み出さない形態としてもよい。

《その他の実施形態》
なお、上記の説明は本発明を限定する物ではなく、発明の範囲内で種々の変更が可能である。例えば、上記の説明においては、イメージセンサ４をＣＣＤとして説明したが、ＣＭＯＳセンサであってもよいし、ＮＭＯＳセンサであってもよい。

また、イメージセンサ４に配置されているカラーフィルタの単位配列は、上記に限らず上下左右反転であってもよいし、色成分の入れ替えを行っても良い。

本発明に係る撮像装置は、画素混合によって増感したときでも、偽色の発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図ることができるという効果を有し、画素ずらし配置された多数個の画素を有し、画素を混合して読み出す撮像装置、それを用いた撮像モジュール及び撮像システム等として有用である。

本発明の実施形態１におけるデジタルビデオカメラの機能構成を示すブロック図である。 本発明の実施形態１におけるイメージセンサの構造を示す図である。 本発明の実施形態１における画素信号を混合せずに読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 本発明の実施形態１における水平転送ＣＣＤに蓄積された画素信号を読み出すために印加する制御パルスのタイミング図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 本発明の実施形態１における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスの変形例のタイミング図である。 本発明の実施形態１における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 本発明の実施形態２における画素信号を混合する画素数と検知レベルの関係を示す図である。 本発明の実施形態３におけるイメージセンサの構造を示す図である。 本発明の実施形態３における画素信号を混合して読み出すためにイメージセンサに印加する制御パルスのタイミング図である。 本発明の実施形態３における画素信号を混合して読み出した際の画素混合形状の変形例を示す図である。 従来の方式による色モアレの発生する周波数を示す図である。 本発明による色モアレの発生する周波数を示す図である。 本発明の実施形態１におけるカラーフィルタ配列の単位配列の変形例を示す図である。

符号の説明

１ デジタルビデオカメラ（撮像システム）
２ 撮像モジュール
３ レンズ
４ イメージセンサ（撮像装置）
５ ＤＳＰ（デジタル信号処理回路）
９ レベル検出部
２１ 画素
２２ 垂直転送ＣＣＤ
２３ 水平転送ＣＣＤ
２４ 出力回路
７１，８１，９１，１０１，１１１，１２１，２８１ 単位配列

Claims (18)

1. 行方向の配置がずれた行列状に配置されて入射した光を光電変換した画素信号を出力する複数の画素と、各画素に入射する光を濾光するカラーフィルタと、複数行の画素からの画素信号を画素混合して出力する画素混合部とを備えた撮像装置であって、
   前記カラーフィルタは、所定の単位配列の繰り返しパターンで構成され、画素混合後の出力信号により得られる画像において、行方向に互いに隣接する隣接画素を構成するカラーフィルタと、前記隣接画素と行方向の重心位置が同じで且つ列方向に隣接する画素を構成するカラーフィルタとは、色成分の比が等しいことを特徴とする撮像装置。
2. 請求項１の撮像装置において、
   前記単位配列は、第１から第８の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、
   第１列目は、第１の色、第５の色、第２の色、第６の色の順でフィルタが配置され、
   第２列目は、第３の色、第７の色、第４の色、第８の色の順でフィルタが配置され、
   第３列目は、第２の色、第６の色、第１の色、第５の色の順でフィルタが配置され、
   第４列目は、第４の色、第８の色、第３の色、第７の色の順でフィルタが配置されていることを特徴とする撮像装置。
3. 請求項１の撮像装置において、
   前記単位配列は、第１から第６の色をそれぞれ濾光するフィルタが４行×４列の１６画素単位に配列され、
   第１列目は、第１の色、第１の色、第３の色、第４の色の順でフィルタが配置され、
   第２列目は、第３の色、第５の色、第１の色、第６の色の順でフィルタが配置され、
   第３列目は、第２の色、第４の色、第４の色、第１の色の順でフィルタが配置され、
   第４列目は、第４の色、第６の色、第２の色、第５の色の順でフィルタが配置されていることを特徴とする撮像装置。
4. 請求項２の撮像装置において、
   前記単位配列は、第１及び第５の色がマゼンダ、第２及び第６の色がグリーン、第３の色及び第７がイエロー、第４及び第８の色がシアンであることを特徴とする撮像装置。
5. 請求項２の撮像装置において、
   前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色であることを特徴とする撮像装置。
6. 請求項３の撮像装置において、
   前記単位配列は、第１の色がマゼンダ、第２及び第６の色がグリーン、第３及び第５の色がイエロー、第４の色がシアンであることを特徴とする撮像装置。
7. 請求項３の撮像装置において、
   前記単位配列は、第１の色が赤色、第２、第３、第５、第６の色が緑色、第４の色が青色であることを特徴とする撮像装置。
8. 請求項２の撮像装置において、
   前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第７の色が緑色、第３及び第８の色が青色であることを特徴とする撮像装置。
9. 請求項３の撮像装置において、
   前記単位配列は、第１の色が赤色、第２、第３、第５、及び第６の色が緑色、第４の色が青色であることを特徴とする撮像装置。
10. 請求項２の撮像装置において、
    前記単位配列は、第１及び第５の色が赤色、第２、第６、第４、及び第８の色が緑色、第３及び第７の色が青色であることを特徴とする撮像装置。
11. 請求項１の撮像装置において、
    前記画素混合部は、インタレース方式により前記画素信号を読み出すように構成されていることを特徴とする撮像装置。
12. 請求項１の撮像装置において、
    前記画素混合部は、３個以上の画素の画素信号を混合するように構成されていることを特徴とする撮像装置。
13. 請求項１の撮像装置において、
    前記画素混合部は、所定の行を間引いて前記画素信号を読み出すように構成されていることを特徴とする撮像装置。
14. 請求項１の撮像装置において、
    前記画素は、ＣＣＤ、ＣＭＯＳ、又はＮＭＯＳにより構成されていることを特徴とする撮像装置。
15. 請求項１の撮像装置において、
    さらに、各画素から読み出された画素信号のレベルを検知するレベル検出部を備え、
    前記画素混合部は、前記レベル検出部が検出した画素信号のレベルに応じて、画素混合する画素数を変更することを特徴とする撮像装置。
16. 請求項１の撮像装置において、
    前記画素混合部は、画素混合する画素数を外部から変更できるように構成されていることを特徴とする撮像装置。
17. 請求項１の撮像装置と、
    レンズと、
    を備えて映像信号を出力することを特徴とする撮像モジュール。
18. 請求項１７の撮像モジュールと、
    前記撮像モジュールが出力した映像信号を処理するデジタル信号処理回路と、
    を備えていることを特徴とする撮像システム。

Images