JP2010278560A - 撮像システムおよび電子情報機器 - Google Patents

Abstract

【課題】撮像システムによって実施される画素欠陥補正およびシェーディング補正などの補正処理における制御回路の負荷を軽減する。
【解決手段】入射光を撮像する複数の受光部が配設された画素アレイ２と、この画素アレイ２の撮像動作を制御すると共に画素アレイ２から受光部毎の撮像信号を読み出す制御回路７と、撮像素子１の駆動情報およびチップ特有情報を記憶する不揮発性メモリまたはＯＴＰメモリ９と、制御回路７から制御されて不揮発性メモリまたはＯＴＰメモリ９からの情報を読み出すメモリ読み出し制御回路１０と、メモリ読み出し制御回路１０により不揮発性メモリまたはＯＴＰメモリ９から読み出した情報が格納されるレジスタ８とを有し、制御回路７がレジスタ８内の情報に基づいて駆動制御し、画素アレイ２から読み出された撮像信号をＡＤ変換した信号をレジスタ８内の情報に基づいて画像処理する制御回路２１および画像処理回路２２が配設される。
【選択図】図２

Description

本発明は、被写体からの画像光を光電変換して撮像する半導体素子で構成された固体撮像素子を用いた撮像システムおよびこの撮像システムを画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器に関する。

従来、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子を用いてカメラやカムコーダなどの撮像システムを構成する際に、個々の固体撮像素子の特性に基づいて個別の画質調整を行う必要がある。これに必要な情報として、例えば、各固体撮像素子に含まれる欠陥画素の座標位置や欠陥の度合いなどの欠陥画素情報や、固体撮像素子のシェーディング（撮像面内の各色の画素の感度分布）などのシェーディング情報などがある。

例えば欠陥画素については、工業製品として製造された従来の固体撮像素子において、１撮像素子当たりに数百万個含まれる画素（受光部）のうち、全く欠陥画素が存在しないことはむしろまれであり、欠陥は必ず存在すると考えられる。ある撮像素子のある座標位置に欠陥が存在することが判明している場合、その撮像システムにおいて、その画素からの出力信号を用いずに周囲の画素の出力信号から補完した撮像信号を代わりに用いるなどの補完処理を行うことによって、欠陥画素が存在する固体撮像素子を用いた場合でも破たんのない良好な画像を得ることが可能となる。

一方、シェーディングについては、固体撮像素子の表示画面内において各色の感度が或る分布を持つことが判明している場合、その撮像システムにおいて、そのシェーディング情報を用いて表示画面内の局所毎に色信号の重み付けを演算して調整することによってシェーディングを抑制し、表示画面全体を均一な色調に統一することができる。

上記した欠陥画素やシェーディングについては、固体撮像素子の製造プロセス上のばらつきによって生じるため、個々の固体撮像素子毎に異なっており、固体撮像素子の製造後のテストや評価の時点において初めてその状態を把握することができる。したがって、製造工程中に予め記録することができず、固体撮像素子の製造後において個々のチップに関する上記欠陥画素情報やシェーディング情報などを何らかの記録媒体に記録する手段が必須となる。

また、上記に説明した欠陥画素やシェーディングに関する情報以外にも、個々のチップに関して保存することが望ましい情報がある。その一例としては、個々の固体撮像素子の製造時期（年月日）、製造ロット番号、ウエハ面内の座標（画素アドレス）または欠陥画素およびシェーディング以外のテスト結果情報などがある。これらの情報は、トレーサビリティ情報とも呼ばれており、個々の固体撮像素子が万一不具合を生じた場合などに、その原因を探索する際に必要となる情報が含まれている。

上記に述べたように、固体撮像素子の製造後に判明する固体撮像素子毎の欠陥画素情報やシェーディング情報およびトレーサビリティ情報（以下チップ固有情報という）を記録するチップ固有情報記録方式について、大きく分けて２つの方式がある。

即ち、その１番目のチップ固有情報記録方式としては、固体撮像素子とは別の記録媒体（例えばＥＥＰＲＯＭやフラッシュメモリなど）にチップ固有情報を記録しておき、撮像システムを構成する際には、必ず固体撮像素子と一対一に対応した記録媒体をセットで用いる方式である。

また、その２番目のチップ固有情報記録方式としては、固体撮像素子内にチップ製造後に書き込み可能な記憶媒体を備え、このチップ固有情報を固体撮像素子内の記録媒体に格納する方式である。

この場合の記録媒体としては、撮像素子に電源が供給されない場合でも記録内容を失わないことが必要条件となるため、不揮発性メモリとして、ＥＥＰＲＯＭやフラッシュメモリが望ましいが、これに加えて、１回のみ書き込み可能なＯＴＰ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ）メモリであってもよい。これは、チップ固有情報は１度書き込めばその後は変更されることなく、その固体撮像素子の使用時に撮像システムから読み出されるのみであるからである。もちろん、ＯＴＰメモリにより１回のみデータ書き込みが可能であっても、全ての情報を１度に全部書き込む必要はなく、複数の情報を複数回に分けて書き込むことは可能である。

以上の２つのチップ固有情報記録方式を用いた従来の撮像システムの事例について図５〜図７を用いて説明している。

図５は、特許文献１に開示されているチップ固有情報記録方式を用いた、不揮発性メモリを撮像素子外部に持つ従来の撮像システムのブロック図である。

図５に示すように、従来の撮像システム１００としてのデジタルカメラ画像処理系は、画像処理ＬＳＩ１１０と、固体撮像素子としてのＣＣＤ１０１と、ＡＦＥ（アナログ・フロント・エンド）１０２と、フラッシュＲＯＭ１０３と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４とを含んでいる。

画像処理ＬＳＩ１１０は、制御部としてのＣＰＵ１１１と、画像データ転送器１１２と、画像取込部１１３と、色補間処理部１１４と、解像度変換部１１５と、ＪＰＥＧ処理部１１６と、カードインターフェース１１７と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェース１１８とを有している。

ＣＣＤ１０１は、水平同期信号、垂直同期信号およびクロック信号と共に、撮像した画像信号をデジタルデータとしてＡＦＥ１０２に供給する。ＡＦＥ１０２は、ノイズを除去する相関二重サンプリング回路、利得を調整する可変利得回路、アナログ信号をデジタル信号へ変換するアナログ・デジタル変換器を含んでいる。ＡＦＥ１０２が出力するデジタル画像データは、画像処理ＬＳＩ１１０の画像取込部１１３により取り込まれる。画像取込部１１３では、例えば画像信号中の欠陥画素のデータを処理して欠陥を補正する欠陥画素補正、色データを元にレンズのひずみを補正するシェーディング補正、自動ホワイトバランス処理などを実行するようにしてもよい。

画像取込部１１３が処理した画像データは、画像データ転送器１１２を介して色補間処理部１１４に供給される。色補間処理部１１４では、フラッシュＲＯＭ１０３に格納された色処理パラメータを含むファームウェアに基づいて色処理プロセッサが色補間処理を実行する。この色補間処理により、ベイヤ配列に基づいたＲＡＷデータがＲＧＢデータに変換されてカラー画像が生成される。なお、この色処理は、ＲＧＢ表色系ではなくＹＵＶ表色系などの他の表色系のデータを生成するように構成してもよい。

解像度変換部１１５は、画像の切り出し、切り出し画像の拡大、更には画像の縮小などの処理を行う。これにより例えばデジタルズームなどの機能が実現される。ＪＰＥＧ処理部１１６は、ビットマップ形式の画像データをＪＰＥＧ形式の画像データに符号化することによりデータ圧縮する。カードインターフェース１１７は、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｍｅｍｏｒｙ Ｃａｒｄ）などのカードメディアと通信するインターフェースである。またＵＳＢインターフェース１１８は、ＵＳＢバスを介してパーソナルコンピュータなどと通信するためのインターフェースである。

上記説明した画像処理ＬＳＩ１１０内の各部分は、ＣＰＵ１１１により制御される。なお、画像データ転送器１１２は、ＳＤＲＡＭ１０４とのデータのやり取りを制御するＳＤＲＡＭコントローラ（ＳＤＲＡＭＣ）を含んでいる。

ここでは、色処理のパラメータ設定、色補間処理部１１４を用いた色処理（色補間処理）、およびファイル管理を行うエミュレータファームウェアをフラッシュＲＯＭ１０３に格納しておく。このエミュレータファームウェアが外部コンピュータと通信しながら画像処理ＬＳＩ１１０の動作を制御することで、対象製品のデジタルカメラの実際の色処理ハードウェアである色補間処理部１１４を利用しながら、画質評価およびパラメータ調整を可能としている。

要するに、図５による方式は、上記ＣＣＤ１０１とは別に記録媒体を持つ１番目のチップ固有情報記録方式による実現方法である。この場合、固体撮像素子は図６のＣＣＤ１０１であり、チップ固有情報はフラッシュメモリ１０３に格納されている。本撮像システムでは、ＣＰＵ１１１がフラッシュメモリ１０３よりチップ固有情報の読み込み処理をした後にその処理情報をＳＤＲＡＭ１０４に格納し、この処理情報に基づいて画像処理を実施している。

図６は、特許文献２に開示されているチップ固有情報記録方式を用いた、不揮発性メモリを撮像素子内部に持つ従来のカメラの撮像システムのブロック図である。

図６に示すように、従来のカメラの撮像システム２００において、電源立ち上げに伴い、固体撮像装置２１０に搭載されるメモリ２１１にデジタル符号で記録された画素欠陥位置データがカメラ側のＲＡＭ２２０（ランダムアクセスメモリ）に読み出される。このデータ読み出しは電源投入時に１回行えば済むもので、従って高速で読み出す必要はない。

メモリ２１１に記録されるデータ量は、例えば１Ｋビットと少ないことから、１ＭＨｚ程度の低速で読出したとしても０．１秒以下で読み出せるため、使用する上での支障はない。

なお、このＲＡＭ２２０は、固体撮像装置２１０から出力される映像信号をリアルタイムで処理する必要から、例えば１８ＭＨｚ程度の高速動作ができることが要求される。

画素欠陥の位置データをメモリ２１１からＲＡＭ２２０に記録した後は、周知の技術を用いて、固体撮像装置２１０の固体撮像素子２１２から出力される映像信号から画素欠陥位置に該当する信号を修正することができる。

即ち、固体撮像素子２１２から出力される映像信号に対して、修正すべき画素欠陥の位置を、制御回路２３０で同期をとり、サンプルホールド回路２４０で修正した後に、映像信号処理回路２５０により、サンプルホールド回路２４０からの修正された映像信号に対して所定の信号処理を行って出力する。

なお、メモリ２１１からのデータ読み出しが十分早い速度で行える場合には、ＲＡＭ２２０を設けることは不要とされ、回路を簡素化できる。また、駆動パルス発生回路２６０は、固体撮像装置２１０、ＲＡＭ２２０および制御回路２３０に所定の駆動パルスを出力している。

要するに、図６による方式は、上記固体撮像装置２１０の内に記憶媒体としてメモリ２１１を持つ２番目のチップ固有情報記録方式による実現方法である。固体撮像装置２１０の内部にメモリ２１１を保有しており、ここにチップ固有情報が格納されている。この撮像システム２００では、このメモリ２１１の内容をいったんＲＡＭ２２０に読み出して格納し、このＲＡＭ２２０の情報に基づいて画像処理を実施している。

以上のように、不揮発性メモリを撮像素子チップ外部に持つ上記従来の撮像システム１００では、傷補正用パラメータ（傷アドレス）、シェーディング補正パラメータなど、個体撮像素子の駆動調整に必要なチップ固有情報を、固体撮像素子（ＣＣＤ１０１）とは別の不揮発性メモリ（フラッシュメモリ１０３）に格納しておき、撮像システム１００全体のコントロールを行うマイクロプロセッサなどの制御回路（ＣＰＵ１１１）から不揮発性メモリ（フラッシュメモリ１０３）にアクセスして情報を得る上記１番目のチップ固有情報記録方式である。

また、不揮発性メモリを撮像素子チップ内部に持つ上記従来の撮像システム２００では、固体撮像装置２１０の素子チップ内の不揮発性メモリ（メモリ２１１）にチップ固有情報を格納しておき、撮像システム２００全体のコントロールを行うマイクロプロセッサ（制御回路２３０）内または外に別途用意したＲＡＭ２２０にそのチップ固有情報をメモリ２１１から一時保存して用いる上記２番目のチップ固有情報記録方式である。

特開２００８−４８１６８号公報 特開平１０−２１０３７３号公報

イメージセンサ（固体撮像素子）を用いて撮像システムを構成する場合、画質に影響を及ぼす素子固有の特性を補正する必要がある。例えば、欠陥画素のアドレスやその欠陥の大きさ、シェーディング（画面中央に対する周辺部の光学的特性変動）などは、主としてプロセスバラツキによって生じるものであるため、チップ１個１個で個体差があり、これらの特性は製造後の測定によって、個体差情報（チップ固有情報）を検出して、各々のチップに合わせたチップ固有の補正を行う必要がある。

上記従来のいずれの方式においても、不揮発性メモリに格納されたチップ固有情報を取り出すステップ（図７のステップＳ１１）と、取り出したチップ固有情報を別のメモリ（ＲＡＭ）に格納するステップ（図７のステップＳ１２）と、この別のメモリ（ＲＡＭ）内のチップ固有情報に基づいて画像処理を実行するステップ（図７のステップＳ１３）という一連の手順が共通している。

このとき、チップ固有情報の取り出し手順において、ＣＰＵまたは制御回路が不揮発性メモリからチップ固有情報を読み込むための特別の手続きを実施する必要があり、次のチップ固有情報のＲＡＭへの格納手順において、その取り出したチップ固有情報を別のメモリ（ＲＡＭ）に格納する必要がある。このように、従来の方式ではＣＰＵまたは制御回路がメモリにアクセスするという負荷を負担することになるため、本来、撮像システムが実施するＣＰＵまたは制御回路の処理に余分な負担を加えることになり、撮像システムの立ち上がり時間を増大させる原因となっていた。

このように、従来の撮像システムでは、前記の特性の個体差を補正するためのチップ固有情報を不揮発性メモリなど、チップ製造後に書き込み可能なメモリに格納しておき、固体撮像素子を駆動する際にそのチップ固有情報を用いて駆動を行っているが、不揮発性メモリからのチップ固有情報を読み出すに当たっては、マイクロプロセッサなどの制御回路から特別な方式を用いてアクセスする必要があり、撮像システムに負荷を生じていた。

本発明は、上記従来の問題を解決するもので、固体撮像素子を用いた撮像システムを構成する際に、撮像システムによって実施される画素欠陥補正およびシェーディング補正などの補正処理における制御回路の負荷を軽減することができる撮像システムおよびこの撮像システムを画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。

本発明の撮像システムは、入射光を撮像する複数の受光部が配設された画素アレイと、該画素アレイの撮像動作を制御すると共に該画素アレイから該受光部毎の撮像信号を読み出す駆動制御部と、撮像素子の駆動情報およびチップ特有情報を記憶可能とする記憶部と、該駆動制御部から制御されて該記憶部からの情報を読み出すメモリ読み出し制御部と、該メモリ読み出し制御部により該記憶部から読み出した情報が格納されるレジスタ手段とを有し、該駆動制御部が該レジスタ手段内の情報に基づいて駆動制御し、該画素アレイから読み出された撮像信号がＡＤ変換された信号を該レジスタ手段内の情報に基づいて画像処理する画像処理制御部が配設されているものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の撮像システムにおける駆動制御部が前記記憶部に直接アクセスすることなく、該駆動制御部が電源立ち上げ時の初期化期間に前記メモリ読み出し制御部を制御して前記記憶部内の情報を前記レジスタ手段にデータ転送する。

さらに、好ましくは、本発明の撮像システムにおける記憶部に記憶させた情報を読み出して前記レジスタ手段に保持するデータ転送処理を、前記撮像素子の電源立ち上がり時の初期化期間に前記駆動制御部からの制御信号により行う。

さらに、好ましくは、本発明の撮像システムにおけるレジスタ手段内の定められた各記憶位置に対応して、前記駆動情報と前記チップ固有情報の各種情報がデータ転送される。

さらに、好ましくは、本発明の撮像システムにおけるレジスタ手段内の番地と記憶内容が１対１対応している。

さらに、好ましくは、本発明の撮像システムにおけるレジスタ手段は、前記画像処理制御部からの情報や命令を前記駆動制御部に伝えるために撮像素子外部から書き込み可能であり、前記撮像素子のその時点での駆動条件を検知するために該画像処理制御部から情報が読み出されるメモリ領域である。

さらに、好ましくは、本発明の撮像システムにおける記憶部に対して、前記撮像素子のバラツキによって変動する特性に関する前記チップ固有情報および前記駆動情報の少なくともいずれかを書き込むメモリ書き込み制御部をさらに有する。

さらに、好ましくは、本発明の撮像システムにおける画像処理制御部は、前記レジスタ手段内の前記チップ特有情報に基づいて画像処理項目のうちの画素欠陥補正およびシェーディング補正の少なくともいずれかを含んで実行する。

さらに、好ましくは、本発明の撮像システムにおけるチップ固有情報は、素子固有の欠陥画素情報、シェーディング情報およびトレーサビリティ情報のうちの少なくとも該欠陥画素情報またはシェーディング情報である。

さらに、好ましくは、本発明の撮像システムにおける欠陥画素情報は、前記撮像素子に含まれる欠陥画素の座標位置およびその欠陥の度合いの情報のうちの少なくとも該欠陥画素の座標位置である。

さらに、好ましくは、本発明の撮像システムにおけるトレーサビリティ情報は、各撮像素子の製造時期（年月日）、製造ロット番号、および、前記欠陥画素および前記シェーディング以外のテスト結果情報である。

さらに、好ましくは、本発明の撮像システムにおける撮像素子の駆動情報は、前記複数の受光部に光を当てる露光蓄積時間および信号増幅率、該複数の受光部からの信号読み出し動作を指示する動作タイミングに関する条件である。

さらに、好ましくは、本発明の撮像システムにおける画素アレイ、前記駆動制御部、前記記憶部、前記メモリ読み出し制御部および前記レジスタ手段は撮像素子チップ内に設けられ、前記画像処理制御部は該撮像素子チップ外に設けられている。

さらに、好ましくは、本発明の撮像システムにおける記憶部は、不揮発性メモリまたは、１回のみ書き込み可能なＯＴＰ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ）メモリである。

本発明の電子情報機器は、本発明の上記撮像システムを画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用を説明する。

本発明においては、入射光を撮像する複数の受光部が配設された画素アレイと、この画素アレイの撮像動作を制御すると共に画素アレイから受光部毎の撮像信号を読み出す駆動制御部と、撮像素子の駆動情報、該撮像素子の状態情報およびチップ特有情報を記憶する記憶部と、駆動制御部から制御されて記憶部からの情報を読み出すメモリ読み出し制御部と、メモリ読み出し制御部により記憶部から読み出した情報が格納されるレジスタとを有し、駆動制御部がレジスタ内の情報に基づいて駆動制御し、画素アレイから読み出された撮像信号をＡＤ変換した信号をレジスタ内の情報に基づいて画像処理する画像処理制御部が配設されている。

これによって、駆動制御部が記憶部に直接アクセスすることなく、駆動制御部が電源立ち上げ時にメモリ読み出し制御部を制御して記憶部内の情報をレジスタ側にデータ転送するので、撮像システムによって実施される画素欠陥補正やシェーディング補正などの補正処理における制御回路の負荷を軽減することが可能となる。

また、レジスタ手段内の定められた各記憶位置に対応して、駆動情報とチップ固有情報の各種情報がデータ転送される。要するに、レジスタ手段内の番地と記憶内容が１対１対応している。このように、レジスタ手段内のどの番地に情報が記憶されているかによって、情報の記憶内容を明確に認識することが可能となる。

以上により、本発明によれば、駆動制御部が記憶部に直接アクセスすることなく、駆動制御部が電源立ち上げ時にメモリ読み出し制御部を制御して記憶部内の情報をレジスタ側にデータ転送するため、撮像システムによって実施される画素欠陥補正およびシェーディング補正などの補正処理における制御回路の負荷を軽減することができる。

また、レジスタ手段内の定められた各記憶位置に対応して、駆動情報とチップ固有情報の各種情報がデータ転送されて、レジスタ手段内の番地と記憶内容が１対１対応しているため、レジスタ手段内のどの番地に情報が記憶されているかによって、情報の記憶内容を明確に認識することができる。

本発明の実施形態１による撮像素子チップの要部構成例を概略的に示すブロック図である。 図１の撮像素子チップを用いた撮像システムの要部構成例を概略的に示すブロック図である。 図２の撮像システムにおいて、チップ固有情報をを自動的にレジスタに転送する場合の手続きフローを示す図である。 本発明の実施形態２として、本発明の実施形態１の撮像システムを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 特許文献１に開示されているチップ固有情報記録方式を用いた、不揮発性メモリを撮像素子チップの外部に持つ従来の撮像システムのブロック図である。 特許文献２に開示されているチップ固有情報記録方式を用いた、不揮発性メモリを撮像素子チップの内部に持つ従来のカメラの撮像システムのブロック図である。 図５および図６の従来の撮像システムにおいて、チップ固有情報をＲＡＭに格納して画像処理に用いる場合の手続きフローを示す図である。

以下に、本発明の撮像システムの実施形態１および、この撮像システムの実施形態１を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態２について図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１による撮像素子チップの要部構成例を概略的に示すブロック図であり、図２は、図１の撮像素子チップを用いた撮像システムの要部構成例を概略的に示すブロック図である。なお、ここでは、撮像システムの内部が機能ブロック毎に分けて描かれている。

図１および図２において、本実施形態１の撮像システム９１における撮像素子１のチップ内には、入射光を撮像するための複数の受光部（画素部）が配設された画素アレイ２が設けられている。この画素アレイ２には、個々の画素が縦横に２次元的に（行列方向のマトリクス状に）配列されている。この撮像アレイ２は、画素数で称されることが多く、例えば２Ｍ画素という場合には、画素（ピクセル）の数が約２００万個あることを表しており、この場合、例えば縦１２００行、横１６００列に画素を行列方向に配置すれば約２００万個となる。また、例えばカムコーダなどの動画においてよく用いられるＶＧＡサイズの場合には、規格により、縦４８０行、横６４０列というサイズが決まっており、これに用いる撮像素子は少なくとも４８０×６４０画素以上の画素をチップ内に備えている。

また、画素アレイ２の周辺には、画素アレイ２からが画素毎の撮像信号を順次読み出すと共に撮像動作を駆動するための水平走査部３および垂直走査部４が配設されている。これらの水平走査部３および垂直走査部４は、前述した通り、画素アレイ２の撮像動作を駆動するための周辺駆動回路であり、複数の受光部からなる画素アレイ２によって入射光が光電変換されて電圧画像情報の各撮像信号となり、この撮像信号が読み出し回路５に順次送られてデータ読み出しが行われる。

この読み出し回路５では、個々の画素からの電圧情報である撮像信号をＡＤ変換してアナログ信号をデジタル信号に変換する。その後、データ出力回路６によって個々の画素の並びの順番でデジタル信号を定められた順序に整列（直列）させて画像データ（各画素の輝度情報出力）を撮像素子１からチップ外部の図２の画像処理部２２に出力する。

これらの動作を制御するのは制御回路７であり、この制御回路７は、各画素に光を当てる時間（露光蓄積時間）や、その他の制御として、各画素からの信号読み出し動作を最適のタイミングにするための各種指令信号（制御信号）を出力して画素アレイ２、水平走査部３、垂直走査部４および読み出し回路５の制御をそれぞれ行う。

これらの水平走査部３、垂直走査部４、読み出し回路５、データ出力回路６および制御回路７により読み出す駆動制御部が構成されており、この駆動制御部により画素アレイ２の撮像動作を制御すると共に画素アレイ２から受光部毎の撮像信号を読み出す処理を実施する。

制御回路７の駆動動作を決定するための基礎駆動情報となる各種パラメータは、レジスタ手段としてのレジスタ８を介して制御回路７に伝えられる。レジスタ８はチップ外部との入出力機能８１を備えており、撮像素子１の入出力機能８１によって、画像データ以外、撮像素子１のチップ外部（制御回路２１）との情報のやり取りは全てレジスタ８が担うことになる。このレジスタ８の情報の中には、例えば撮像素子１のチップ外部から撮像アレイ２に対する動作タイミングに関する指示や、撮像対象の明るさに対応して露光蓄積時間を最適化するための駆動情報などがある。また、撮像素子１が現在の撮像アレイ２の状態（現時点でどのような駆動条件で駆動されているのかの状態情報）を把握した撮像アレイ状態情報も、撮像素子１のチップ外部の制御回路２１とレジスタ８を通してやり取りされる。これらの通信方式としては、例えばＩ２Ｃ（アイツーシー）などの既存規格に則った方式が一般的に用いられている。現時点での駆動条件としてと露光蓄積時間や信号増幅率などがある。なお、レジスタ８として、複数のレジスタが並列に設けられてそのレジスタ毎に番地が設定されていてもよい。

レジスタ８の横には記憶部としての不揮発性メモリまたはＯＴＰメモリ９が設けれられており、ここには、動作タイミングや露光蓄積時間に関わる駆動情報（撮像アレイ状態情報を含む）およびチップ固有情報などが記憶されている。制御回路７は、不揮発性メモリまたはＯＴＰメモリ９に直接アクセスすることなく、この不揮発性メモリまたはＯＴＰメモリ９の記憶内容をメモリ読み出し制御部としてのメモリ読み出し制御回路１０を介して電源立ち上げ時に制御回路７のメモリ読み出し制御回路１０への指示によりレジスタ８にデータ転送することにより、制御回路７が撮像アレイ２の撮像アレイ状態情報を含む駆動情報と合わせてチップ固有情報をも取得することが可能となる。撮像システム９１の撮像素子１のチップにとって、駆動情報（撮像アレイ状態情報を含む）およびチップ固有情報による個々の撮像素子の特性バラツキをも考慮に入れた最適撮像条件をきめ細かく設定することが可能となるため、より良好な画像撮影が行われる。

この場合、チップ固有情報とは、撮像素子の製造後に判明する素子固有（チップ固有）の欠陥画素情報やシェーディング情報およびトレーサビリティ情報である。この欠陥画素情報とは各撮像素子１に含まれる欠陥画素の座標位置（欠陥アドレス）や欠陥の度合いなどの情報であり、シェーディング情報とは、撮像素子１のシェーディング（撮像面内の各色の画素の感度分布）の情報である。この他に、トレーサビリティ情報として、個々の撮像素子１の製造時期（年月日）、製造ロット番号、および欠陥画素およびシェーディング以外のテスト結果情報などがある。これらのトレーサビリティ情報には、個々の撮像素子１が万一不具合を生じた場合などに、その原因を探索する際に必要となる情報が含まれている。

一方、メモリ書き込み制御部としてのメモリ書き込み制御回路１１は、チップ外部から不揮発性メモリまたはＯＴＰメモリ９に所定データ（例えば撮像アレイ状態情報を含む駆動情報およびチップ固有情報）を書き込む際にのみ用いられる。

したがって、不揮発性メモリまたはＯＴＰメモリ９に書き込まれた所定データ（メモリ書き込みの際のチップ固有情報などのデータ入力）をチップ外部に読み出す際に、レジスタ８の入出力機能８１により、不揮発性メモリまたはＯＴＰメモリ９からメモリ読み出し制御回路１０さらにレジスタ８を介して撮像素子１のチップ外部の制御回路２１により読み出すことができるが、不揮発性メモリまたはＯＴＰメモリ９に書き込む際には、前述したようにメモリ書き込み回路１１のような専用書き込み回路が必要となる。これは、不揮発性メモリまたはＯＴＰメモリ９に所定データを書き込む際にメモリ素子に印加する電圧やタイミングなど特殊な専用手続きが不可欠であるためである。

これらの制御回路２１および画像処理部２２により画像処理制御部が構成されており、画素アレイ２から読み出された撮像信号をＡＤ変換した信号をレジスタ８内のチップ特有情報に基づいて画像処理する。

即ち、画像処理部２２は、レジスタ８内のチップ特有情報に基づいて、画像処理項目のうちの画素欠陥補正およびシェーディング補正の少なくともいずれかを含んで実行する。他の画像処理項目としては、ホワイトバランス補正、ガンマ補正、色補正および色補間などがある。

しかしながら、メモリ書き込み回路１１を用いた不揮発性メモリまたはＯＴＰメモリ９へのデータの書き込みについては、撮像素子１の製造後のテスト時など、撮像素子１が撮像システム９１に組み込まれる前の段階に限られることから、撮像システム９１における制御回路２１の負荷を増大させることはない。

また、不揮発性メモリまたはＯＴＰメモリ９における不揮発性メモリとＯＴＰメモリとには機能的な違いがある。不揮発性メモリの場合は書き込まれた内容を消去し、新たな内容を書き込むことができ、その回数は一般的に数百回以上であるのに対して、ＯＴＰメモリの場合は１回のみ書き込みが可能であり、一度、書き込まれた内容は消去または書き換え不可となる。

しかしながら、上記に説明した通り、不揮発性メモリまたはＯＴＰメモリ９へのデータの書き込みは限られた時点であり、メモリ書き込み回路１１による書き込み回数は１回でよい。なお、ＯＴＰメモリであっても複数の異なる情報を複数回に分割して書き込むことは有効であるが、ＯＴＰメモリでは、個々のメモリビットに対しての書き込みは１回のみ有効である。

このように、不揮発性メモリまたはＯＴＰメモリ９へのデータの書き込みは１回であるため、本実施形態１では、不揮発性メモリとＯＴＰメモリとは同等の機能を果たすことができる。つまり、不揮発性メモリに代えてＯＴＰメモリを用いることができる。さらに、ＯＴＰメモリの場合には、１回のみ書き込み可能という特性上、書き換え可能な不揮発性メモリが備えているメモリ内容消去の機能が不要となるために、不揮発性メモリを設ける場合に比べて回路が簡略なものとなって、データ書き込み手続きも簡略なものとなる。したがって、不揮発性メモリとＯＴＰメモリとは同様の機能を果たすが、ＯＴＰメモリを用いた場合の方がより撮像素子１のチップ面積が縮小化できるという利点がある。

ここで、本実施形態１の撮像素子１のチップ内において、実際に、メモリ読み出し制御回路１０によって不揮発性メモリまたはＯＴＰメモリ９からレジスタ８へのデータ転送が行われる手順について詳細に説明する。

レジスタ８は各情報に対応した格納場所毎に予め定められた固有の番地（アドレス）を持っており、この撮像素子１の場合、不揮発性メモリまたはＯＴＰメモリ９の記憶容量（ビット数）分の専用領域をレジスタ８内に持つことにより、不揮発性メモリまたはＯＴＰメモリ９の記憶内容全体をレジスタ８に記憶領域を区分けして保持することが可能となる。

撮像素子１が起動する際（たとえば電源が供給される際）に、制御回路７の指示により撮像素子１の内部で各種の初期化シーケンスが自動的に実行される。このときに、メモリ読み出し制御回路１０によって不揮発性メモリまたはＯＴＰメモリ９内の情報がレジスタ８内の定められた番地毎の決まったメモリ位置に自動的にデータ転送されるシーケンスが並行して実施される。この自動のデータ転送手続きによって、撮像素子１に電源が供給されて機能する初期化期間内において、常に、不揮発性メモリまたはＯＴＰメモリ９のデータ内容をレジスタ８の所定位置に保持することが可能となる。

このように、番地の決まったレジスタメモリ位置に所定内容の情報を記憶させることによって、どの情報が駆動情報かチップ固有情報かを区別することができ、さらに、駆動情報であっても、露光蓄積時間情報か信号増幅率（ゲイン）情報か、さらに複数の受光部からの信号読み出し動作を指示する動作タイミングに関する条件情報かを区別することができ、さらに、チップ固有情報であっても、素子固有の欠陥画素情報であるのか、シェーディング情報であるのか、トレーサビリティ情報であるのかを区別することができ、欠陥画素情報であっても、撮像素子に含まれる欠陥画素の座標位置情報であるのか、その欠陥度合いの情報であるのかを区別でき、トレーサビリティ情報であっても、各撮像素子の製造時期（年月日）、製造ロット番号、および、前記欠陥画素および前記シェーディング以外のテスト結果情報のいずれであるかが明確に区別することができる。

このように、レジスタ８内の定められた各記憶位置に対応して、駆動情報とチップ固有情報の各種情報がデータ転送されて、レジスタ手段内の番地と記憶内容が１対１対応するため、レジスタ８内のどの番地にどの情報が記憶されているかによって、情報の記憶内容を明確に認識することができる。

この制御回路７によるデータ転送シーケンスは自律的に実行されるため、撮像素子１のチップ外部（撮像システム９１の制御回路２１）からの特別な命令を行うことなく実行される。したがって、撮像素子１のチップ外部の撮像システム９１の制御回路２１側からは、撮像素子１が不揮発性メモリまたはＯＴＰメモリ９を保有していることを全く意識することなくレジスタ８内のチップ固有情報を用いることが可能となる。

以上のように、撮像素子１のチップ内部に、不揮発性メモリまたは、１回書き込み可能なＯＴＰメモリ、およびレジスタ８を備えており、撮像素子１の起動時に不揮発性メモリまたはＯＴＰメモリ９の記憶内容（チップ固有情報）をレジスタ８に予め読み込むシーケンスを行うことにより、周辺回路から不揮発性メモリまたはＯＴＰメモリ９内部のチップ固有情報を得る際に、撮像システム９１の制御回路２１において、特殊な専用手続きを用いることなく、撮像素子１と通信する際の通常の通信手続き（Ｉ２Ｃなど）によってチップ固有情報などを得ることが可能となることを本実施形態１の特徴構成としている。

ここでは、撮像素子１（センサチップ）の内部に不揮発性メモリまたはＯＴＰメモリ９（ＯＴＰメモリは１回のみ書き込み可能なＲＯＭ）を持ち、併せてレジスタ８を持っている。

不揮発性メモリまたはＯＴＰメモリ９へのデータ書き込みについては、チップのテスト時など性能を測定した時点で、個々のチップ（撮像素子１）のバラツキによって変動する特性に関する情報（チップ固有情報）などを書き込む。このチップ固有情報などの書き込みは複数回に分けられる場合があるが、一度、書き込まれたチップ固有情報は後で修正されない。したがって、１回のみ書き込み可能なＯＴＰメモリでも不揮発性メモリの場合と同等の機能を果たすことができる。

撮像素子１を使用する場合には、起動シーケンス実行中に不揮発性メモリまたはＯＴＰメモリ９のデータ内容（チップ固有情報などの情報）をレジスタ８へ読み出して保持する（データ転送処理）。このデータ転送処理によって、撮像素子１のチップ外部（例えば画像処理チップ）からは、撮像素子１のレジスタ８にアクセスして読み書きする場合と同様の簡単な手続きだけによってチップ外部の制御回路２１がチップ固有情報などの情報を得ることが可能となる。この手続きは、通常、撮像素子１とその周辺回路とが通信を行うに際して用いられる方法（例えばＩ２Ｃなど）を用いることが可能である。

これにより、本発明のイメージセンサでは、不揮発性メモリまたはＯＴＰメモリ９中のチップ固有情報を得るために従来技術の撮像システムにおいて実施していた専用の手続き（制御回路がＲＡＭにアクセスする手続き）を行う必要がないため、撮像システム９１における制御回路２１またはこれによりチップ固有情報などの情報に基づいて制御される画像処理回路２２の負荷が軽減される。

繰り返し説明するが、本実施形態１の撮像素子１のチップ内部に不揮発性メモリまたはＯＴＰメモリ９を配置し、撮像素子１のチップを起動する際に、図３のステップＳ１で撮像素子１の内部で自動的にその不揮発性メモリまたはＯＴＰメモリ９のデータ内容（チップ固有情報などの情報）がメモリ読み出し制御回路１０により読み出されて一時記憶手段としてのレジスタ８にデータ転送処理されて保持される。次に、図３のステップＳ２でカメラやカムコーダを構成する撮像システム９１の制御回路２１から撮像素子１のレジスタ８内のチップ固有情報などの情報を読むことによって、チップ固有情報などの情報に基づいて画像処理部２２にて画素補間処理などの最適な画像処理を行うことができる。レジスタ８は、一般的に、制御回路２１からの情報や命令を撮像素子１に伝えるために外部から書き込まれることがあり、また、逆に、撮像素子１のその時点での状態（検知している明るさなどの各種駆動条件）を検知するために制御回路２１から読み出されるといった用い方をするメモリ領域であり、いわば撮像素子１を用いた撮像システム９１において用いられる情報伝達経路である。撮像素子１のチップ内部のチップ固有情報などの情報を、制御回路７および２１から共にデータ読み出しができるレジスタ８内に保持しておくことにより、撮像システム９１の制御回路２１側から不揮発性メモリまたはＯＴＰメモリ９に直接アクセスするという特別な専用手続きを行うことなくチップ固有情報などの情報を制御回路２１側に得てこれに基づいて画像処理部２２にて最適な画像処理を行うことができるため、画像処理回路が簡略化され、かつ、制御回路２１の負荷が軽くなる。さらに、チップ内の制御回路７により欠陥画素の画素補間処理を行ってしまえば、画像処理回路がより簡略化され、かつ、制御回路２１の負荷がより軽くなる。

以上により、本実施形態１によれば、撮像素子１を用いた撮像システム９１において、制御回路２１または画像処理回路２２の回路構成を簡略化することが可能となるため、撮像システム９１全体を小型化できる。また、撮像素子１のチップ外部の撮像システム９１から、不揮発性メモリまたはＯＴＰメモリ９へアクセスする専用手続きが不要となるため、データ処理の手続きが簡便なものとなって、撮像システム９１の操作性（動作スピード）を向上させることができる。

（実施形態２）
図４は、本発明の実施形態２として、本発明の実施形態１の撮像システム９１を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。

図４において、本実施形態２の電子情報機器９０は、上記実施形態１の撮像素子１からの撮像信号に所定の信号処理をしてカラー画像信号を得る撮像システム９１と、この撮像システム９１からのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９２と、この撮像システム９１からのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９３と、この撮像システム９１からのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９４と、この撮像システム９１からのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力手段９５とを有している。なお、この電子情報機器９０として、これに限らず、撮像システム９１の他に、メモリ部９２と、表示手段９３と、通信手段９４と、プリンタなどの画像出力手段９５とのうちの少なくともいずれかを有していてもよい。

この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。

したがって、本実施形態２によれば、この撮像システム９１からのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９５により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９２に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。

なお、上記実施形態１では、特に説明しなかったが、入射光を撮像する複数の受光部が配設された画素アレイ２と、この画素アレイ２の撮像動作を制御すると共に画素アレイ２から受光部毎の撮像信号を読み出す制御回路７と、撮像素子１の駆動情報およびチップ特有情報を記憶する不揮発性メモリまたはＯＴＰメモリ９と、制御回路７から制御されて不揮発性メモリまたはＯＴＰメモリ９からの情報を読み出すメモリ読み出し制御回路１０と、このメモリ読み出し制御回路１０により不揮発性メモリまたはＯＴＰメモリ９から読み出した情報が格納されるレジスタ８とを有し、制御回路７がレジスタ８内の情報に基づいて駆動制御し、画素アレイ２から読み出された撮像信号をＡＤ変換した信号をレジスタ８内の情報に基づいて画像処理する制御回路２１および画像処理回路２２が配設されている。これによって、制御回路７が不揮発性メモリまたはＯＴＰメモリ９に直接アクセスすることなく、制御回路７が電源立ち上げ時にメモリ読み出し制御回路１０を制御して不揮発性メモリまたはＯＴＰメモリ９内の情報をレジスタ８側にデータ転送するため、撮像システム９１によって実施される画素欠陥補正およびシェーディング補正などの補正処理における制御回路２１の負荷を軽減することができる本発明の目的を達成することができる。

以上のように、本発明の好ましい実施形態１、２を用いて本発明を例示してきたが、本発明は、この実施形態１、２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１、２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、被写体からの画像光を光電変換して撮像する半導体素子で構成された固体撮像素子を用いた撮像システムおよびこの撮像システムを画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器の分野において、制御回路が不揮発性メモリまたはＯＴＰメモリに直接アクセスすることなく、制御回路が電源立ち上げ時にメモリ読み出し制御回路を制御して不揮発性メモリまたはＯＴＰメモリ内の情報をレジスタ側にデータ転送するため、撮像システムによって実施される画素欠陥補正およびシェーディング補正などの補正処理における制御回路の負荷を軽減することができる。また、レジスタ手段内の定められた各記憶位置に対応して、駆動情報とチップ固有情報の各種情報がデータ転送されて、レジスタ手段内の番地と記憶内容が１対１対応しているため、レジスタ手段内のどの番地に情報が記憶されているかによって、情報の記憶内容を明確に認識することができる。

１ 撮像素子
２ 画素アレイ
３ 水平走査部
４ 垂直走査部
５ 読み出し回路
６ データ出力回路
７ 制御回路（駆動制御部）
８ レジスタ
８１ レジスタと撮像素子外部との情報の入出力機能
９ 不揮発性メモリまたはＯＴＰメモリ
１０ メモリ読み出し制御回路
１１ メモリ書き込み制御回路
２１ 撮像システムの制御回路
２２ 撮像システムの画像処理部
９０ 電子情報機器
９１ 撮像システム
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段

Claims (15)

1. 入射光を撮像する複数の受光部が配設された画素アレイと、
   該画素アレイの撮像動作を制御すると共に該画素アレイから該受光部毎の撮像信号を読み出す駆動制御部と、
   撮像素子の駆動情報およびチップ特有情報を記憶可能とする記憶部と、
   該駆動制御部から制御されて該記憶部からの情報を読み出すメモリ読み出し制御部と、
   該メモリ読み出し制御部により該記憶部から読み出した情報が格納されるレジスタ手段とを有し、
   該駆動制御部が該レジスタ手段内の情報に基づいて駆動制御し、
   該画素アレイから読み出された撮像信号がＡＤ変換された信号を該レジスタ手段内の情報に基づいて画像処理する画像処理制御部が配設されている撮像システム。
2. 前記駆動制御部が前記記憶部に直接アクセスすることなく、該駆動制御部が電源立ち上げ時の初期化期間に前記メモリ読み出し制御部を制御して前記記憶部内の情報を前記レジスタ手段にデータ転送する請求項１に記載の撮像システム。
3. 前記記憶部に記憶させた情報を読み出して前記レジスタ手段に保持するデータ転送処理を、前記撮像素子の電源立ち上がり時の初期化期間に前記駆動制御部からの制御信号により行う請求項１に記載の撮像システム。
4. 前記レジスタ手段内の定められた各記憶位置に対応して、前記駆動情報と前記チップ固有情報の各種情報がデータ転送される請求項２または３に記載の撮像システム。
5. 前記レジスタ手段内の番地と記憶内容が１対１対応している請求項４に記載の撮像システム。
6. 前記レジスタ手段は、前記画像処理制御部からの情報や命令を前記駆動制御部に伝えるために撮像素子外部から書き込み可能であり、前記撮像素子のその時点での駆動条件を検知するために該画像処理制御部から情報が読み出されるメモリ領域である請求項１に記載の撮像システム。
7. 前記記憶部に対して、前記撮像素子のバラツキによって変動する特性に関する前記チップ固有情報および前記駆動情報の少なくともいずれかを書き込むメモリ書き込み制御部をさらに有する請求項１に記載の撮像システム。
8. 前記画像処理制御部は、前記レジスタ手段内の前記チップ特有情報に基づいて画像処理項目のうちの画素欠陥補正およびシェーディング補正の少なくともいずれかを含んで実行する請求項１に記載の撮像システム。
9. 前記チップ固有情報は、素子固有の欠陥画素情報、シェーディング情報およびトレーサビリティ情報のうちの少なくとも該欠陥画素情報またはシェーディング情報である請求項１に記載の撮像システム。
10. 前記欠陥画素情報は、前記撮像素子に含まれる欠陥画素の座標位置およびその欠陥の度合いの情報のうちの少なくとも該欠陥画素の座標位置である請求項９に記載の撮像システム。
11. 前記トレーサビリティ情報は、各撮像素子の製造時期（年月日）、製造ロット番号、および、前記欠陥画素および前記シェーディング以外のテスト結果情報である請求項９に記載の撮像システム。
12. 前記撮像素子の駆動情報は、前記複数の受光部に光を当てる露光蓄積時間および信号増幅率、該複数の受光部からの信号読み出し動作を指示する動作タイミングに関する条件である請求項１に記載の撮像システム。
13. 前記画素アレイ、前記駆動制御部、前記記憶部、前記メモリ読み出し制御部および前記レジスタ手段は撮像素子チップ内に設けられ、前記画像処理制御部は該撮像素子チップ外に設けられている請求項１に記載の撮像システム。
14. 前記記憶部は、不揮発性メモリまたは、１回のみ書き込み可能なＯＴＰ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ）メモリである請求項１に記載の撮像システム。
15. 請求項１〜１４のいずれかに記載の撮像システムを画像入力デバイスとして撮像部に用いた電子情報機器。

Images