JP2016036115A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮像素子の複数の読み出し方法に対して精度のよい固定パタンノイズ補正を行うことができる撮像装置を提供する。
【解決手段】複数の画素を有し、それぞれ複数の画素の信号の読み出し方法を異ならせて読み出された複数の映像信号と、複数の映像信号を補正する補正用信号とを出力することが可能な撮像素子と、補正用信号を複数の映像信号における読み出し方法にそれぞれ対応するように処理する処理部と、処理部により処理された補正用信号を用いて複数の映像信号をそれぞれ補正する補正部とを備える。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法、プログラム、記憶媒体に関する。

一般に、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子を備える撮像装置においては、撮像素子内で生じる固定パタンノイズ、シェーディング、フリッカーなどの画質に影響を与える現象に対して、補正処理が行われている。補正処理は、撮像素子から出力される画像信号から各現象に対する補正値を生成し、生成された補正値を用いて画像信号を補正する。

ところで、昨今の撮像素子においては、多画素化、高速撮像の需要がさらに拡大し、高速に信号処理を行うことが要求されている。このため、画素から出力されたアナログ信号を処理する回路を高速化させることが必要となっている。そこで、画素から出力されるアナログ信号を列ごとに同時に読み出したり、その後の水平転送において１本に集約せず、出力手段としてアンプを複数有するようにしたりするなど、様々な並列読み出し処理技術が提案されている。このような並列読み出し処理技術によって、多画素化や、高速撮像を可能にしている。しかしながら、並列読み出し処理を行うそれぞれの回路は、レイアウト設計上では同じように設計されていても、製造工程上におけるばらつきなどが原因で、各々の特性にばらつきが生じる。この特性のばらつきは、出力画像においてはスジ状の固定パタンノイズとして現れる。
そこで、例えば、特許文献１では、撮像素子上に固定パタンノイズを検出するための固定パタンノイズ検出行を設け、複数のフレームを用いて固定パタンノイズを補正するための補正値を算出する方法が提案されている。この方法では、撮像素子から読み出す速度を高速化するために固定パタンノイズ検出行が十分に確保できない場合であっても、フレーム数を増やすことにより固定パタンノイズを補正するための補正パタンの精度を向上させることができる。
また、特許文献２では、撮像素子の複数の読み出し方式のそれぞれに対して予め固定パタンノイズの検出を行い、補正値を生成することによって、読み出し方法の切替時に補正値を切り替える方法が提案されている。

特許第４１４４５１７号公報 特許第５１３２３８６号公報

しかしながら、特許文献１に記載の方法では、固定パタンの形状が変わる場合は最初から補正値を算出することになる。例えば、撮像素子の画素信号を読み出す方法として、水平方向及び垂直方向の複数画素の信号を混合して読み出す混合読み出し方法と、１画素ずつ全画素の信号を読み出す非混合読み出し方法とがある。混合読み出し方法は、早い読み出しが求められる動画の生成に用いられ、非混合読み出し方法は、高精細な静止画の生成に用いられる。ここで、混合読み出し方法において水平方向の混合を行った場合は、固定パタンノイズが合計されて１列として現れることになり、非混合読み出し方法の場合と固定パタンの形状が異なってしまう。

読み出し方法が切り替わると、固定パタン検出行のサンプル数が少なく、補正値のＳ／Ｎ比が低くなる。そのため、読み出し方法切り替え直後の画像に対する固定パタンノイズを精度良く補正できないという問題点があった。

また、特許文献２に記載の方法では、読み出し方法の切り替えに対応してはいるものの、予め検出を行って補正値を生成しているため、温度変動などによって固定パタンノイズの形状が変化した場合には精度よく補正できないという問題点があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の複数の読み出し方法に対して精度のよい固定パタンノイズ補正を行うことができる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素を有し、それぞれ前記複数の画素の信号の読み出し方法を異ならせて読み出された複数の映像信号と、該複数の映像信号を補正する補正用信号とを出力することが可能な撮像素子と、前記補正用信号を前記複数の映像信号における前記読み出し方法にそれぞれ対応するように処理する処理手段と、前記処理手段により処理された前記補正用信号を用いて前記複数の映像信号をそれぞれ補正する補正手段と、を備えることを特徴とする。

本発明によれば、撮像素子の複数の読み出し方法に対して精度のよい固定パタンノイズ補正を行うことができる撮像装置を提供することが可能となる。

第１の実施形態に係る撮像装置の構成例を示すブロック図。 第１の実施形態における撮像素子の内部構成図。 撮像素子の単位画素の構成図。 撮像素子の遮光領域と有効画素領域とを示す図。 第１の実施形態の動作を示すタイミングチャート。 第２の実施形態に係る撮像装置の構成例を示すブロック図。 第２の実施形態における撮像素子の内部構成図。 第２の実施形態の動作を示すタイミングチャート。 第３の実施形態における撮像素子の構成を示す図。 第４の実施形態に係る携帯電話機の構成を示すブロック図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
この第１の実施形態では、連続するフレームで、撮像素子の水平方向の画素混合方法が変化した場合でも、精度よく固定パタンノイズを補正できるようにするための構成と動作を図面を参照しながら説明する。

図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。図１において、光学系１０１はズームレンズ、絞り、フォーカスレンズ、シフトレンズなどで構成され、被写体像を結像させる。撮像素子１０２は、光学的に遮光される遮光領域と露光される有効画素領域とを有しており、それぞれの領域の画像信号を区別して読み出し可能である。固定パタン検出部１０３は、撮像素子１０２の遮光領域から読み出された補正用信号から複数のフレームに亘って固定パタンノイズを検出し、固定パタン補正信号を生成する。固定パタン補正部１０４は、固定パタン検出部１０３で生成された固定パタン補正値を撮像素子１０２の有効画素領域から出力された映像信号から減算して補正する。
カメラ信号処理部１０５は、固定パタン補正部１０４から出力された映像信号に対してホワイトバランス等のカメラ信号処理を行う。表示部１０６は、カメラ信号処理部１０５から出力された映像信号を液晶パネルなどの表示装置に表示する。記録部１０７は、カメラ信号処理部１０５から出力された映像信号をＳＤカードなどの記録メディアに記録する。また、制御部１０８は、撮像素子１０２における各領域の読み出し方法を制御するとともに、読み出し方式に応じて固定パタン検出部１０３を制御する。

図２は、撮像素子１０２の構成を示す図である。図２に示すように撮像素子１０２は、単位画素２０１、フローティングディフュージョンアンプ（以下、ＦＤアンプと略記）２０２、行読み出し制御線２０３（２０行目〜２３行目の分を２０３-２０〜２０３-２３と表記）を備えている。１単位画素２０１は、後述する図３で詳細構成を説明する。また、行リセット制御線２０４（２０行目〜２３行目の分を２０４-２０〜２０４-２３と表記）、行選択線２０５（２０行目〜２３行目の分を２０５-２０〜２０５-２３と表記）を備える。

さらに、列信号線２０６、列アンプおよびＡ／Ｄ変換回路２０７、垂直走査回路２０８、水平走査回路２０９、水平信号線２１０、画素加算回路２１１，２１２、信号出力端子２１３，２１４、タイミングジェネレータ（以下ＴＧと略記）２１５を備える。

ＴＧ２１５は、設定によってリセットタイミング、読み出しタイミングを生成する。ＴＧ２１５は、垂直同期信号入力端子２１６、水平同期信号入力端子２１７を備え、また、外部制御部よりリセットと読み出しの設定を行う設定信号線２１８が接続される。ＴＧ２１５は、読み出し行タイミング信号２１９を垂直走査回路２０８に出力し、読み出し列タイミング信号２２０を水平走査回路２０９に出力する。

図３は、図２の単位画素２０１の構成例を示す図である。図３に示すように単位画素２０１は、フォトダイオード（以下ＰＤと略記）３０１、図２の行読み出し制御線２０３に接続される行読み出し制御入力３０２、行読み出しトランジスタ３０３を備える。また、フローティングディフュージョン（以下ＦＤと略記）３０４、図２の行リセット制御線２０４に接続される行リセット制御入力３０５、行リセットトランジスタ３０６を備える。さらに、リセットレベル入力３０７、図２の行選択線２０５に接続される行選択制御入力３０８、行選択トランジスタ３０９、画素出力３１０を備える。

図４は、撮像素子１０２から読み出した画像データを示す模式図である。図４に示すように、撮像素子１０２から読み出した画像データは遮光領域データ４ａ、有効画素領域データ４ｂから構成される。撮像素子１０２内の列アンプおよびＡ／Ｄ変換回路２０７による列ごとの特性のばらつきによって生じる固定パタンノイズは、例えば、水平座標４ｃの２列目及び７列目に示すような縦スジ状のノイズとして現れる。このような列ごとの回路に起因する固定パタンノイズは、遮光領域データ４ａと有効画素領域データ４ｂに同様に現れる。そのため、遮光領域データ４ａから固定パタンノイズ成分を検出し、有効画素領域データ４ｂから減算することで、有効画素領域データ４ｂ上の固定パタンノイズを補正することが可能である。遮光領域データ４ａの行数が少ない場合は、Ｓ／Ｎ比が低くなるため、通常、複数フレームの遮光領域データ４ａの値を用いて固定パタンノイズを検出する。

次に、本発明の第１の実施形態の動作を図１、図２、図３、図４および図５を用いて説明する。図１において、制御部１０８によって撮像素子１０２内のＴＧ２１５に対して、フィールドまたはフレームごとの各画素群のリセット・読み出しタイミングが設定される。光学系１０１により撮像素子１０２の受光面上に被写体像が結像されると、撮像素子１０２上の各画素群のフォトダイオードには、各々の画素でのリセット・読み出しタイミングおよび入射光量に応じて光電荷が発生する。

撮像素子１０２内の動作について説明する。図３において、ＦＤ３０４は所定の容量のキャパシタンスで構成されており、このキャパシタンスにチャージされた電荷に応じた電圧を発生する。まず、行リセット制御入力３０５のレベル変化により、行リセットトランジスタ３０６が動作すると、リセットレベル入力（電源ＶＤＤ）３０７がＦＤ３０４をチャージし、ＦＤ３０４はリセットレベルとなる。一方、フォトダイオード３０１には、各画素への入射光量に応じた光電荷が蓄積され、行読み出し制御入力３０２のレベル変化により行読み出しトランジスタ３０３が動作すると、フォトダイオード３０１の光電荷がＦＤ３０４に移動される。このときＦＤ３０４においては、リセットレベルに対して光電荷分の差だけ電圧レベルが変化する。これがこの画素の信号レベルとなり、行選択制御入力３０８のレベル変化により行選択トランジスタ３０９が動作すると、図２のＦＤアンプ２０２において画素電圧信号に変換される。そして、列信号線２０６を経由して列アンプおよびＡ／Ｄ変換回路２０７で増幅されるとともにデジタルデータに変換される。各列の信号は、水平走査回路２０９において順次読みだされ、水平信号線２１０を介して画素加算回路２１１，２１２に入力される。画素加算回路２１１は、有効画素領域の映像信号４ｂに対して、制御部１０８からの指示に従い、フレームごとに水平方向の加算処理を行う。画素加算回路２１２は、制御部１０８からの指示に従い、遮光領域の映像信号４ａに対して画素加算処理を行う。その後、有効画素領域の映像信号は信号出力端子２１３から、遮光画素領域の映像信号は補正用信号として信号出力端子２１４から出力される。

図５は、連続するフレームで、撮像素子の映像信号の画素加算を行うフレームと画素加算を行わないフレームが混在する場合のタイミングチャートである。垂直同期信号５０１に同期するタイミングで信号出力端子２１３から各フレームの映像信号５０２が出力され、また、信号出力端子２１４から各フレームの補正用信号５０３が出力される。

図５において、フレーム番号５０４が１，２，３，４，７，８，９のフレームについては、有効画素領域の画素出力が画素加算回路２１１によって加算された映像信号が図２の信号出力端子２１３から出力され、フレーム番号５０４が５，６のフレームについては、非加算の映像信号が出力される。一方、図２の信号出力端子２１４からは、遮光領域の画素出力がフレーム１から９まですべて非加算で出力される。

図１の固定パタン検出部１０３は、信号出力端子２１４から出力された複数のフレームの補正用信号を用いて固定パタンノイズの検出を行う。このとき信号出力端子２１３から出力される映像信号の加算・非加算が切り替わったとしても補正用信号は非加算のままなので、安定して固定パタンノイズの検出を行うことができる。その後、固定パタン検出部１０３は、検出した固定パタンノイズに対して、映像用信号の加算／非加算状態に合わせて固定パタン補正値を生成する。具体的には、画素加算回路２１１での水平方向の加算処理に対応するように、固定パタンノイズを水平方向に加算処理して固定パタン補正値を生成する。固定パタン補正部１０４は、固定パタン検出部１０３から出力された固定パタン補正値を、撮像素子１０２の信号出力端子２１３から出力された映像信号から減算処理して固定パタンノイズを補正する。以上のような処理が行われた後、カメラ信号処理回路１０５により所定のカメラ信号処理が行われ、表示部１０６により表示され、記録部１０７にて記録される。

このように、本実施形態では、撮像素子の読み出しモードが切り替わって有効画素領域の固定パタンノイズが変化する場合でも、遮光領域の読み出しモードを切り替えずに固定パタンノイズの検出を行う。そして、検出された固定パタンノイズに対して有効画素領域の読み出しに対応するように固定パタン補正値を生成して補正することにより、良好な固定パタンノイズの補正を行うことができる。

（第２の実施形態）
この第２の実施形態では、撮像素子の水平方向の画素加算を行う映像信号と画素加算を行わない映像信号からなる複数の映像信号が出力される場合でも、精度よく固定パタンノイズを補正できるようにするための構成と動作について図面を参照しながら説明する。

図６は、本実施形態に係る撮像装置の構成例を示すブロック図である。光学系６０１はズームレンズ、絞り、フォーカスレンズ、シフトレンズなどで構成され、被写体像を結像させる。撮像素子６０２は、光学的に遮光される遮光領域と露光される有効画素領域とを有しており、有効画素領域に対して異なった読み出し方法による複数の映像信号を出力可能である。そして、それぞれの映像信号に対して遮光領域から固定パタンノイズを検出する固定パタン検出部６０３を備える。

固定パタン検出部６０３は、撮像素子１０２の遮光領域から読み出された補正用信号から複数のフレームに亘って固定パタンノイズを検出し、固定パタン補正信号を生成する。固定パタン補正部６０４ａ，６０４ｂは、固定パタン検出部６０３で生成された固定パタン補正値を撮像素子６０２の有効画素領域から出力された複数の映像信号それぞれから減算して補正する。

カメラ信号処理回路６０５ａ，６０５ｂは、固定パタン補正部６０４ａ，６０４ｂから出力された映像信号に対してホワイトバランス等のカメラ信号処理を行う。表示部６０６は、カメラ信号処理部６０５ａから出力された映像信号を液晶パネルなどの表示装置に表示する。記録部６０７は、カメラ信号処理部６０５ｂから出力された映像信号をＳＤカードなどの記録メディアに記録する。また、制御部６０８は、撮像素子６０２における各領域の読み出し方法を制御するとともに、読み出し方式に応じて固定パタン検出部６０３を制御する。

図７は、撮像素子６０２の構成を示す図である。図７に示すように撮像素子１０２は、単位画素７０１、フローティングディフュージョンアンプ（以下、ＦＤアンプと略記）７０２を備えている。単位画素７０１の詳細な構成は、前述した図３で示したとおりである。また、行読み出し制御線７０３ａ，７０３ｂ（２０行目〜２３行目の分を７０３ａ-２０〜７０３ａ-２３，７０３ｂ-２０〜７０３ｂ-２３と表記）、行リセット制御線７０４ａ，７０４ｂ（２０行目〜２３行目の分を７０４ａ-２０〜７０４ａ-２３，７０４ｂ-２０〜７０４ｂ-２３と表記）を備える。さらに、行選択線７０５ａ，７０５ｂ（２０行目〜２３行目の分を７０５ａ-２０〜７０５ａ-２３，７０５ｂ-２０〜７０５ｂ-２３と表記）、列信号線７０６ａ，７０６ｂ、アンプおよびＡ／Ｄ変換回路７０７ａ，７０７ｂ、垂直走査回路７０８ａ，７０８ｂ、水平走査回路７０９ａ，７０９ｂ、水平信号線７１０ａ，７１０ｂを備える。画素加算回路７１１ａ，７１１ｂは、固定パタン検出部６０３、信号出力端子７１３ａ，７１３ｂ，７１４、タイミングジェネレータ（以下ＴＧと略記）７１５ａ，７１５ｂを備える。ＴＧ７１５ａ，７１５ｂは、設定によってリセットタイミング、読み出しタイミングを生成する。ＴＧ７１５ａ，７１５ｂは、垂直同期信号入力端子７１６、水平同期信号入力端子７１７を備え、外部ＣＰＵからリセットと読み出しの設定を行う設定信号線７１８ａ，７１８ｂが接続される。ＴＧ７１５ａ，７１５ｂは、読み出し行タイミング信号７１９ａ，７１９ｂを垂直走査回路７０８ａ，７０８ｂに出力し、読み出し列タイミング信号７２０ａ，７２０ｂを水平走査回路７０９ａ，７０９ｂに出力する。

図７においては、第１の画素群（番号の添え字ａの回路に接続されているもの）が離散的に第２の画素群（番号の添え字ｂの回路に接続されているもの）の中に１行１列おきに配置されているような例を示している。しかし、本発明は、必ずしもこの例で示す配置に限定されるものではない。

図３は、図７の１単位画素７０１の構成例を示す図である。図４は、撮像素子６０２の遮光領域と有効画素領域とを示す模式図である。図３、図４の説明は第１の実施形態と同一であるため省略する。

次に、本実施形態の動作を図３、図６、図７および図８を用いて説明する。図６において、制御部６０８によって撮像素子６０２内のＴＧ７１５に対して、フィールドまたはフレームごとの各画素群のリセット・読み出しタイミングが設定される。光学系６０１により撮像素子６０２の受光面上に被写体像が結像されると、撮像素子６０２上の各画素群のフォトダイオードには、各々の画素でのリセット・読み出しタイミングおよび入射光量に応じて光電荷が発生する。

撮像素子６０２内の動作について説明する。図３において、ＦＤ３０４は所定の容量のキャパシタンスで構成されており、このキャパシタンスにチャージされた電荷に応じた電圧を発生する。まず、行リセット制御入力３０５のレベル変化により、行リセットトランジスタ３０６が動作すると、リセットレベル入力（電源ＶＤＤ）３０７がＦＤ３０４をチャージし、ＦＤ３０４はリセットレベルとなる。一方、フォトダイオード３０１には、各画素の入射光量に応じた光電荷が蓄積され、行読み出し制御入力３０２のレベル変化により行読み出しトランジスタ３０３が動作すると、フォトダイオード３０１の光電荷がＦＤ３０４に移動する。このときＦＤ３０４においては、リセットレベルに対して光電荷分の差だけ電圧レベルが変化する。これがこの画素の信号レベルとなり、行選択制御入力３０８のレベル変化により行選択トランジスタ３０９が動作すると、図６のＦＤアンプ２０３において画素電圧信号に変換される。そして、列信号線７０６ａ，７０６ｂを経由して列アンプおよびＡ／Ｄ変換回路７０７ａ，７０７ｂで増幅されるとともにデジタルデータに変換される。各列の信号は、水平走査回路７０９ａ，７０９ｂにおいて順次読みだされ、水平信号線７１０ａ，７１０ｂを介して画素加算回路７１１ａと７１１ｂに入力される。

画素加算回路７１１ａは、水平信号線７１０ａから読みだされる有効画素領域の映像信号４ａに対して、制御部６０８からの指示に従い、水平方向の加算処理を行って信号出力端子７１３ａから出力させる。画素加算回路７１１ｂは、水平信号線７１０ｂから読みだされる有効画素領域の映像信号４ａに対して、制御部６０８からの指示に従い、水平方向の加算処理を行って信号出力端子７１３ｂから出力させる。また、画素加算回路７１１ａ，７１１ｂの出力は、固定パタン検出部６０３に入力される。固定パタン検出部６０３は、制御部６０８からの指示に従い、画素加算回路７１１ａから読みだされる遮光領域の映像信号４ａおよび画素加算回路７１１ｂから読みだされる遮光領域の映像信号４ｂのそれぞれに対して固定パタンノイズの検出を行う。そして、それぞれに対する固定パタン補正値を生成する。生成された固定パタン補正値は、補正用信号として信号出力端子７１４から出力される。

図８は、連続するフレームで、撮像素子の水平方向の画素加算を行う映像信号ａと画素加算を行わない映像信号ｂからなる複数の映像信号が出力される様子を表すタイミングチャートである。垂直同期信号８０１に同期するタイミングで信号出力端子７１３ａから映像信号ａ（８０２）が出力され、信号出力端子７１３ｂから映像信号ｂ（８０３）が出力される。また、映像信号ａに対応する遮光領域映像信号ａ（８０４）、映像信号ｂに対応する遮光領域映像信号ｂ（８０５）も、信号出力端子７１３ａ，７１３ｂからそれぞれ出力される。補正用信号８０６は、遮光領域映像信号ａ（８０４）と遮光領域映像信号ｂ（８０５）から固定パタン検出部６０３によって生成され、信号出力端子７１４から出力される。

図８において、フレーム番号８０７が１，２，３，４，９，１０，１１のフレームについては、有効画素領域の画素出力が画素加算回路７１１ａによって加算された映像信号ａ（８０２）が、信号出力端子７１３ａから出力される。一方、フレーム番号８０７が５，６，７，８のフレームについては、有効画素領域の画素出力が画素加算回路７１１ｂによって加算されず非加算の状態の映像信号ｂ（８０３）が、信号出力端子７１３ｂから出力される。非加算画像は画素数が多いため、フレーム番号５，６と７，８それぞれ２つのフレーム番号の期間で１フレームの信号が出力される。

図６の固定パタン検出部６０３は、映像信号ａ（８０２）に対応する遮光領域ａの映像信号（８０４）と映像信号ｂ（８０３）に対応する遮光領域ｂの映像信号（８０５）のそれぞれに対して固定パタンノイズの検出を行う。映像信号ａ（８０２）と遮光領域ａの映像信号（８０４）は、同じ列アンプおよびＡＤ変換回路７０７ａと、画素加算回路７１１ａを経由している。また、映像信号ｂ（８０３）と遮光領域ｂの映像信号（８０５）は、同じ列アンプおよびＡＤ変換回路７０７ｂと、画素加算回路７１１ｂを経由している。そのため、それぞれ独立に固定パタンノイズの検出が可能である。

また、映像信号ｂ（８０３）が出力されないフレーム（フレーム番号１，２，３，４，９，１０，１１）においては、遮光領域ａの映像信号（８０４）のみを読み出して固定パタンノイズ検出を行うことにより、信号出力端子７１３ｂからの映像信号の出力の有無が切り替わったとしても、連続して固定パタンノイズ検出を行うことができ、精度の高い検出が可能である。

また、検出された固定パタンノイズから生成された補正値は、補正される映像信号の出力に合わせて補正用信号８０６として出力すればよい。図８では、映像信号ｂ（８０３）が出力されるフレーム番号５，７に対しては、遮光領域ａと遮光領域ｂのそれぞれで検出され生成された補正値ａ，ｂ両方が出力され、それ以外のフレームでは遮光領域ａで検出された固定パタンノイズから生成された補正値ａが出力される。その後、固定パタン補正部６０４ａ，６０４ｂは、信号出力端子７１４から出力された固定パタン補正値ａ、固定パタン補正値ｂを、それぞれ信号出力端子７１４ａから出力された映像信号ａと信号出力端子７１４ｂから出力された映像信号ｂから減算処理することによって固定パタンノイズを補正する。以上のような処理が行われた後、カメラ信号処理回路６０５ａ，６０５ｂにより所定のカメラ信号処理が行われ、表示部６０６により表示され、記録部６０７にて記録される。

このように、撮像素子の画素加算を行う映像信号と画素加算を行わない映像信号からなる複数の映像信号が出力される場合でも、それぞれの映像信号の加算方法に対応した遮光領域からの固定パタンノイズの検出を連続的に行って補正することにより、良好な固定パタンノイズの補正を行うことができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では、上述した第１の実施形態および第２の実施形態の撮像素子１４００（撮像素子１０２，６０２に対応）が積層型である例を示す。図９に示す様に、本実施形態の撮像素子１４００は、イメージセンサ用チップ１３００と高速ロジックプロセス用チップ１３０１がチップレベルで積層されている。図９（ａ）は斜投影図、図９（ｂ）は各チップの上面図である。イメージセンサ用チップ１３００には画素部２１０を含む領域が含まれ、高速ロジックプロセス用チップ１３０１には列ＡＤ回路や水平走査回路などデジタルデータを含む高速処理が可能な部分が含まれる。

（第４の実施形態）
図１０は、本発明の第４の実施形態としての携帯電話機１０００の構成を示すブロック図である。本実施形態の携帯電話機１０００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

図１０において、通信部１１０１は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部１１０２は、音声通話時において、マイクロフォン１１０３からの音声データを発信に適した形式に変換して通信部１１０１に送る。また、音声処理部１１０２は、通信部１１０１から送られた通話相手からの音声データを復号し、スピーカ１１０４に送る。撮像部１１０５は、上述した第１の実施形態から第３の実施形態のいずれかの構成の撮像素子を備え、被写体の画像を撮影し、画像データを出力する。画像処理部１１０６は、画像の撮影時においては、撮像部１１０５により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部１１０６は、記録された画像の再生時には、再生された画像を処理して表示部１１０７に送る。表示部１１０７は、数インチ程度の液晶表示パネルを備え、制御部１１０９からの指示に応じて各種の画面を表示する。不揮発メモリ１１０８は、アドレス帳の情報や、電子メールのデータ、撮像部１１０５により撮影された画像データ等のデータを記憶する。

制御部１１０９はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機１１００の各部を制御する。操作部１１１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ１１１１は、メモリカード１１１２に対して各種のデータを記録再生する。外部ＩＦ１１１３は、不揮発メモリ１１０８やメモリカード１１１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ１１１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、電話機１１００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部１１１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ１１０８に記憶されたアドレス帳を表示部１１０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部１１０９は通信部１１０１に対し、通話相手に発信する。通話相手に着信すると、通信部１１０１は音声処理部１１０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部１１１０を用いて、メール作成を指示する。メール作成が指示されると、制御部１１０９はメール作成用の画面を表示部１１０７に表示する。ユーザは操作部１１０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部１１０９はメール送信が指示されると、通信部１１０１に対しアドレスの情報とメール本文のデータを送る。通信部１１０１は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部１１０１は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部１１０７に表示する。

次に、電話機１１００における撮影機能について説明する。ユーザが操作部１１１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部１１０５は静止画データ或いは動画データを撮影して画像処理部１１０６に送る。画像処理部１１０６は撮影された静止画データや動画データを処理し、不揮発メモリ１１０８に記憶する。また、画像処理部１１０６は、撮影された静止画データや動画データをカードＩＦ１１１１に送る。カードＩＦ１１１１は静止画や動画データをメモリカード１１１２に記憶する。

また、電話機１１００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ１１０８やメモリカード１１１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

また、電話機１１００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ１１１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部１１１０を操作して、不揮発メモリ１１０８やメモリカード１１１２に記憶された画像ファイルを選択し、送信を指示する。制御部１１０９は、選択された画像ファイルを不揮発メモリ１１０８或いはメモリカード１１１２から読み出し、外部機器に送信するよう、外部ＩＦ１１１３を制御する。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１，６０１：光学系、１０２，６０２：撮像素子、１０３，６０３：固定パタン検出部、１０４，６０４ａ，６０４ｂ：固定パタン補正部、１０５，６０５ａ，６０５ｂ：カメラ信号処理部、１０８，６０８：制御部

Claims (16)

1. 複数の画素を有し、それぞれ前記複数の画素の信号の読み出し方法を異ならせて読み出された複数の映像信号と、該複数の映像信号を補正する補正用信号とを出力することが可能な撮像素子と、
   前記補正用信号を前記複数の映像信号における前記読み出し方法にそれぞれ対応するように処理する処理手段と、
   前記処理手段により処理された前記補正用信号を用いて前記複数の映像信号をそれぞれ補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子は、前記複数の画素の内の有効画素領域の画素の信号を前記映像信号として出力し、前記複数の画素の内の遮光領域の画素の信号を前記補正用信号として出力し、前記処理手段は、前記補正用信号から固定パタンノイズを検出して補正値を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記有効画素領域の画素の信号の読み出し方法を変えて前記映像信号を出力した場合でも、前記遮光領域の画素の信号の読み出し方法は変えずに前記補正用信号を出力することを特徴とする請求項２に記載の撮像装置。
4. 前記撮像素子における前記有効画素領域の画素の信号の読み出し方法とは、水平方向に加算する画素が異なる読み出し方法であり、前記処理手段は、前記撮像素子の有効画素領域における水平方向の画素の加算の方法に対応するように、前記遮光領域の画素の信号を加算して前記補正用信号を生成することを特徴とする請求項３に記載の撮像装置。
5. 前記処理手段は、前記複数の映像信号のそれぞれを補正するための複数の補正用信号を出力し、前記補正手段は、前記複数の補正用信号を用いて、それぞれ対応する映像信号を補正することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像素子は、前記映像信号の出力を行わない期間も、前記固定パタンノイズの検出を行うことを特徴とする請求項２に記載の撮像装置。
7. 前記補正手段は、前記映像信号の出力を行う期間に、前記固定パタンノイズを用いて前記映像信号の補正を行うことを特徴とする請求項２に記載の撮像装置。
8. 複数の画素を有し、それぞれ前記複数の画素の信号の読み出し方法を異ならせて読み出された複数の映像信号と、該複数の映像信号を補正する補正用信号とを出力することが可能な撮像素子を備える撮像装置を制御する方法であって、
   前記補正用信号を前記複数の映像信号における前記読み出し方法にそれぞれ対応するように処理する処理工程と、
   前記処理工程により処理された前記補正用信号を用いて前記複数の映像信号をそれぞれ補正する補正工程と、
   を備えることを特徴とする撮像装置の制御方法。
9. 前記撮像素子は、前記複数の画素の内の有効画素領域の画素の信号を前記映像信号として出力し、前記複数の画素の内の遮光領域の画素の信号を前記補正用信号として出力し、前記処理工程では、前記補正用信号から固定パタンノイズを検出して補正値を生成することを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記撮像素子は、前記有効画素領域の画素の信号の読み出し方法を変えて前記映像信号を出力した場合でも、前記遮光領域の画素の信号の読み出し方法は変えずに前記補正用信号を出力することを特徴とする請求項９に記載の撮像装置の制御方法。
11. 前記撮像素子における前記有効画素領域の画素の信号の読み出し方法とは、水平方向に加算する画素が異なる読み出し方法であり、前記処理工程では、前記撮像素子の有効画素領域における水平方向の画素の加算の方法に対応するように、前記遮光領域の画素の信号を加算して前記補正用信号を生成することを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記処理工程では、前記複数の映像信号のそれぞれを補正するための複数の補正用信号を出力し、前記補正工程では、前記複数の補正用信号を用いて、それぞれ対応する映像信号を補正することを特徴とする請求項８に記載の撮像装置の制御方法。
13. 前記撮像素子は、前記映像信号の出力を行わない期間も、前記固定パタンノイズの検出を行うことを特徴とする請求項９に記載の撮像装置の制御方法。
14. 前記補正工程では、前記映像信号の出力を行う期間に、前記固定パタンノイズを用いて前記映像信号の補正を行うことを特徴とする請求項９に記載の撮像装置の制御方法。
15. 請求項８乃至１４のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。
16. 請求項８乃至１４のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images